Vedoucí výzkumu za prací ChatGPT v oblasti duševního zdraví opouští OpenAI

Bezpečnost OpenAI Vedoucí výzkumu, který pomohl utvářet reakce ChatGPT na uživatele, kteří zažívají krize duševního zdraví, minulý měsíc interně oznámila svůj odchod ze společnosti, jak se dozvěděl WIRED. Andrea Vallone, vedoucí bezpečnostního výzkumného týmu známého jako model policy, má na konci roku opustit OpenAI.

Mluvčí OpenAI Kayla Wood potvrdil Valloneho odchod. Wood řekl, že OpenAI aktivně hledá náhradu a že mezitím bude Valloneův tým podřízen přímo Johannesu Heideckemu, vedoucímu bezpečnostních systémů společnosti.

Odchod společnosti Vallone přichází v době, kdy OpenAI čelí rostoucí kontrole toho, jak její vlajkový produkt reaguje na uživatele v nouzi. V posledních měsících bylo proti OpenAI podáno několik žalob, které tvrdily, že uživatelé vytvořili nezdravé přílohy k ChatGPT. Některé ze soudních sporů tvrdí, že ChatGPT přispěl k poruchám duševního zdraví nebo podpořil sebevražedné myšlenky.

Uprostřed tohoto tlaku se OpenAI snažila pochopit, jak by měl ChatGPT zvládat problémové uživatele a zlepšit reakce chatbota. Model policy je jedním z týmů, které tuto práci vedou a stojí v čele říjnové zprávy podrobně popisující pokrok společnosti a konzultace s více než 170 odborníky na duševní zdraví.

Ve zprávě OpenAI uvedla, že stovky tisíc uživatelů ChatGPT mohou každý týden vykazovat známky manické nebo psychotické krize a že více než milion lidí „má konverzace, které zahrnují explicitní indikátory potenciálního sebevražedného plánování nebo úmyslu“. Prostřednictvím aktualizace na GPT-5 OpenAI ve zprávě uvedla, že byla schopna snížit nežádoucí reakce v těchto konverzacích o 65 až 80 procent.

„Během minulého roku jsem vedl výzkum OpenAI na otázku, která nemá téměř žádné ustálené precedenty: jak by měly modely reagovat, když jsou konfrontovány se známkami nadměrného emocionálního spoléhání nebo ranými známkami duševní poruchy?“ napsal Vallone v příspěvku na LinkedIn.

Vallone neodpověděl na žádost WIRED o komentář.

Udělat z ChatGPT příjemný chat, ale ne příliš lichotivý, je hlavním napětím OpenAI. Společnost se agresivně snaží rozšířit uživatelskou základnu ChatGPT, která nyní zahrnuje více než 800 milionů lidí týdně, aby mohla konkurovat AI chatbotům od Googlu, Anthropic a Meta.

Poté, co OpenAI v srpnu vydalo GPT-5, uživatelé odstoupili a tvrdili, že nový model je překvapivě studený. V poslední aktualizaci ChatGPT společnost uvedla, že výrazně snížila patolízalství a zároveň zachovala „teplost“ chatbota.

Valloneho odchod následuje po srpnové reorganizaci další skupiny zaměřené na reakce ChatGPT na problémové uživatele, modelové chování. Jeho bývalá vedoucí Joanne Jang opustila tuto roli, aby založila nový tým zkoumající nové metody interakce mezi člověkem a AI. Zbývající zaměstnanci modelového chování byli přesunuti pod vedení po školení Maxe Schwarzera.