Modely AI mají také hnilobu mozku

Modely umělé inteligence mohou být nakonec trochu jako lidé.

Nová studie z University of Texas v Austinu, Texas A&M a Purdue University ukazuje, že velké jazykové modely, které krmí populární, ale nekvalitní obsah sociálních médií, zažívají jakousi „hnilobu mozku“, kterou může znát každý, kdo strávil příliš dlouho doomscrollingem na X nebo TikTok.

„Žijeme ve věku, kdy informace rostou rychleji, než upoutává pozornost – a velká část z nich je navržena tak, aby zachycovala kliknutí, nikoli sdělovala pravdu nebo hloubku,“ říká Junyuan Hong, nastupující odborný asistent na National University of Singapore, který na studii pracoval jako postgraduální student na UT Austin. „Zajímalo nás: Co se stane, když jsou AI trénovány na stejné věci?“

Hong a jeho kolegové v rámci předškolního vzdělávání vložili různé druhy textu do dvou velkých jazykových modelů s otevřeným zdrojovým kódem. Zkoumali, co se stalo, když byly modelky krmeny směsí vysoce „poutavých“ nebo široce sdílených příspěvků na sociálních sítích a těch, které obsahovaly senzační nebo medializovaný text jako „wow“, „podívejte se“ nebo „jen dnes“.

Výzkumníci poté použili několik různých měřítek, aby změřili dopad této „nezdravé“ stravy na sociálních sítích na dva modely s otevřeným zdrojovým kódem: Meta’s Llama a Alibaba’s Qwen.

Modely krmené nevyžádaným textem zažily určitý druh hniloby mozku AI – s kognitivním poklesem včetně snížených schopností uvažování a zhoršené paměti. Modely se také staly méně eticky sladěnými a více psychopatickými podle dvou měřítek.

Výsledky odrážejí výzkum na lidských subjektech, který ukazuje, že nekvalitní online obsah má škodlivý vliv na kognitivní schopnosti lidí. Všudypřítomnost tohoto jevu zaznamenala v roce 2024 „hnilobu mozku“ jako slovo roku v Oxfordském slovníku.

Výsledky jsou důležité pro průmysl AI, říká Hong, protože tvůrci modelů mohou předpokládat, že příspěvky na sociálních sítích jsou dobrým zdrojem školicích dat pro jejich modely. „Trénink na virální obsah nebo obsah, který přitahuje pozornost, může vypadat jako zvětšování dat,“ říká. „Může to ale tiše nahlodat uvažování, etiku a pozornost v dlouhém kontextu.“

Skutečnost, že LLM trpí hnilobou mozku, se zdá být obzvláště znepokojivá, když AI sama stále více generuje obsah sociálních médií, z nichž většina je zdánlivě optimalizována pro zapojení. Výzkumníci také zjistili, že modely poškozené nekvalitním obsahem nelze snadno vylepšit rekvalifikací.

Zjištění také naznačují, že systémy umělé inteligence postavené na sociálních platformách, jako je Grok, mohou trpět problémy s kontrolou kvality, pokud se příspěvky vytvořené uživateli používají při školení bez ohledu na integritu příspěvků.

„Vzhledem k tomu, že se po sociálních médiích šíří více AI generovaných chyb, kontaminuje právě ta data, ze kterých se budoucí modely budou učit,“ říká Hong. „Naše zjištění ukazují, že jakmile se tento druh „hniloby mozku“ objeví, pozdější čistý trénink to nemůže úplně vrátit.“

Toto je vydání Will Knight’s Informační bulletin AI Lab. Přečtěte si předchozí zpravodaje zde.