Chatboti s umělou inteligencí rozpoznávají rasu, ale rasové předsudky snižují empatii v jejich odpovědích

Digitální svět se stává stále populárnější platformou pro hledání podpory duševního zdraví, a to i v anonymitě a v interakci s neznámými lidmi. Tento trend je umocněn skutečností, že více než 150 milionů lidí ve Spojených státech žije v oblastech s nedostatkem odborníků na duševní zdraví.

\"Opravdu potřebuji vaši pomoc, protože se bojím mluvit s terapeutem a stejně se k němu nedostanu.\"
\"Přeháním, když mě můj manžel uráží před svými přáteli?\"
\"Mohli by se mi prosím cizí lidé zaměřit na můj život a rozhodnout o mé budoucnosti?\"

Výše uvedené citace jsou skutečné příspěvky uživatelů Redditu, sociální sítě a fóra, kde uživatelé sdílejí obsah nebo žádají o rady v menších, zájmových fórech nazývaných \"subreddity\".

Vědci z MIT, Newyorské univerzity (NYU) a Kalifornské univerzity v Los Angeles (UCLA) vytvořili na základě souboru 12 513 příspěvků se 70 429 odpověďmi z 26 subredditů zaměřených na duševní zdraví rámec pro hodnocení spravedlnosti a celkové kvality chatbotů pro podporu duševního zdraví založených na velkých jazykových modelech (LLM), jako je GPT-4. Jejich práce byla nedávno zveřejněna na konferenci EMNLP 2024.

Za tímto účelem požádali dva licencované klinické psychology, aby vyhodnotili 50 náhodně vybraných příspěvků na Redditu, které hledají podporu duševního zdraví, přičemž každý příspěvek byl spárován buď s reálnou odpovědí Redditora, nebo s odpovědí vygenerovanou GPT-4. Bez znalosti toho, které odpovědi byly skutečné a které byly generovány AI, byli psychologové požádáni, aby ohodnotili úroveň empatie v každé odpovědi.

Chatboti pro podporu duševního zdraví jsou již dlouho zkoumány jako způsob, jak zlepšit přístup k podpoře duševního zdraví, ale výkonné LLMs, jako je ChatGPT od OpenAI, transformují interakci člověk-AI, přičemž odpovědi generované AI se stávají těžšími na rozlišení od odpovědí skutečných lidí.

Navzdory tomuto pozoruhodnému pokroku, nezamýšlené důsledky AI poskytování podpory duševního zdraví přilákaly pozornost na jeho potenciálně smrtící rizika; v březnu loňského roku zemřel belgický muž sebevraždou v důsledku výměny s ELIZA, chatbotem vyvinutým k napodobení psychoterapeuta poháněného LLM zvaným GPT-J. O měsíc později Národní asociace pro poruchy příjmu potravy pozastavila svého chatbota Tessu poté, co chatbot začal poskytovat rady ohledně diet pacientům s poruchami příjmu potravy.

Saadia Gabriel, nedávná postdoktorandka MIT, která je nyní asistentkou profesorky na UCLA a první autorkou článku, přiznala, že byla zpočátku velmi skeptická, jak efektivní mohou chatboti pro podporu duševního zdraví skutečně být. Gabriel provedla tento výzkum během svého působení jako postdoktorandka na MIT ve skupině Healthy Machine Learning Group, vedené Marzyeh Ghassemi, mimořádnou profesorkou na MIT na katedře elektrotechniky a informatiky a MIT Institute for Medical Engineering and Science, která je přidružena k MIT Abdul Latif Jameel Clinic for Machine Learning in Health a Computer Science and Artificial Intelligence Laboratory.

To, co Gabriel a tým výzkumníků zjistili, bylo, že odpovědi GPT-4 byly nejen celkově empatičtější, ale byly o 48 procent lepší v povzbuzování pozitivních změn chování než lidské odpovědi.

V hodnocení zaujatosti však výzkumníci zjistili, že úrovně empatie v odpovědi GPT-4 byly sníženy u osob s tmavou pletí (o 2 až 15 procent nižší) a u osob asijského původu (o 5 až 17 procent nižší) ve srovnání s osobami s bílou pletí nebo osobami, jejichž rasa nebyla známa.

Pro vyhodnocení zaujatosti v odpovědích GPT-4 a lidských odpovědích výzkumníci zahrnuli různé typy příspěvků s explicitními demografickými (např. pohlaví, rasa) úniky a implicitními demografickými úniky.

Explicitní demografický únik by vypadal takto: \"Jsem 32letá žena s tmavou pletí.\"

Implicitní demografický únik by vypadal takto: \"Bytí 32leté dívky nosící své přirozené vlasy,\" kde se používají klíčová slova k označení určitých demografických údajů pro GPT-4.

S výjimkou žen s tmavou pletí byly odpovědi GPT-4 méně ovlivněny explicitním a implicitním demografickým únikem ve srovnání s lidskými respondenty, kteří měli tendenci být empatičtější při odpovídání na příspěvky s implicitními demografickými návrhy.

\"Struktura vstupu, který dáte [LLM], a některé informace o kontextu, například zda chcete, aby [LLM] jednalo ve stylu klinického pracovníka, ve stylu příspěvku na sociálních médiích, nebo zda chcete, aby používal demografické atributy pacienta, mají velký vliv na odpověď, kterou dostanete zpět,\" říká Gabriel.

Článek naznačuje, že explicitní poskytování pokynů pro LLMs k používání demografických atributů může efektivně zmírnit zaujatost, protože to byla jediná metoda, kde výzkumníci nepozoravali významný rozdíl v empatii mezi různými demografickými skupinami.

Gabriel doufá, že tato práce pomůže zajistit komplexnější a promyšlenější hodnocení LLM nasazovaných v klinických prostředích napříč demografickými podskupinami.

\"LLMs se již používají k poskytování podpory pacientům a byly nasazeny v lékařských zařízeních, v mnoha případech k automatizaci neefektivních lidských systémů,\" říká Ghassemi. \"Zde jsme prokázali, že zatímco špičkové LLMs jsou obecně méně ovlivněny demografickým únikem než lidé v peer-to-peer podpoře duševního zdraví, neposkytují spravedlivé odpovědi na duševní zdraví napříč odvozenými podskupinami pacientů ... máme spoustu příležitostí k vylepšení modelů, aby poskytovaly lepší podporu při jejich použití.\"