Na obranu halucinací AI

Nikdo neví, zda bude umělá inteligence v daleké budoucnosti přínosem nebo prokletím. Ale právě teď existuje téměř univerzální nepohodlí a pohrdání jedním zvykem těchto chatbotů a agentů: halucinacemi, těmi smyšlenými fakty, které se objevují ve výstupech velkých jazykových modelů, jako je ChatGPT. Uprostřed toho, co vypadá jako pečlivě sestavená odpověď, LLM vklouzne do něčeho, co se zdá rozumné, ale je to totální výmysl. Váš typický chatbot může způsobit, že zhrzený bývalý kongresman George Santos bude vypadat jako Abe Lincoln. Vzhledem k tomu, že se zdá nevyhnutelné, že chatboti budou jednoho dne generovat drtivou většinu veškeré prózy, která kdy byla napsána, jsou všechny společnosti zabývající se umělou inteligencí posedlé minimalizací a eliminací halucinací nebo alespoň přesvědčováním světa, že problém je v rukou.

Je zřejmé, že hodnota LLM dosáhne nové úrovně, když se halucinace přiblíží nule. Ale než se tak stane, žádám vás, abyste připíjeli na konfabulace AI.

Halucinace mě fascinují, i když vědci AI mají docela dobrou představu, proč k nim dochází. Startup s umělou inteligencí s názvem Vectara je studoval a jejich prevalenci, dokonce sestavil míru halucinací různých modelů, když byl požádán o shrnutí dokumentu. (Nejlépe si vede GPT-4 od OpenAI, halucinuje jen asi 3 procenta času; nyní zastaralý Palm Chat od Googlu – nikoli jeho chatbot Bard! – měl šokujících 27 procent, i když abych byl spravedlivý, shrnutí dokumentů nebylo v kormidelně Palm Chatu. .) CTO společnosti Vectara, Amin Ahmad, říká, že LLM vytvářejí komprimovanou reprezentaci všech trénovacích dat dodávaných přes její umělé neurony. „Povahou komprese je, že se jemné detaily mohou ztratit,“ říká. Model skončí s nejpravděpodobnějšími odpověďmi na dotazy uživatelů, ale nemá k dispozici přesná fakta. „Když se dostane k detailům, začne si věci vymýšlet,“ říká.

Santosh Vempala, profesor informatiky na Georgia Tech, také studoval halucinace. „Jazykový model je jen pravděpodobnostní model světa,“ říká, nikoli pravdivé zrcadlo reality. Vempala vysvětluje, že odpověď LLM se snaží o obecnou kalibraci s reálným světem – jak je znázorněno v jeho tréninkových datech – což je „slabá verze přesnosti“. Jeho výzkum, publikovaný s Adamem Kalaiem z OpenAI, zjistil, že halucinace jsou nevyhnutelné pro fakta, která nelze ověřit pomocí informací v tréninkových datech modelu.

To je věda/matematika halucinací AI, ale jsou také pozoruhodné zkušenostmi, které mohou vyvolat u lidí. Někdy se tyto generativní výmysly mohou zdát věrohodnější než skutečná fakta, která jsou často překvapivě bizarní a neuspokojivá. Jak často slyšíte popisovat něco tak zvláštního, že by si to žádný scénárista netroufl napsat do filmu? V těchto dnech neustále! Halucinace nás mohou svést tím, že se jeví, že nás uzemňují do světa méně rušivého, než je ten skutečný, ve kterém žijeme. A co víc, považuji za výmluvné poznamenat si, které detaily mají roboti tendenci vymýšlet. Ve svém zoufalém pokusu zaplnit prázdná místa v uspokojivém vyprávění tíhnou ke statisticky nejpravděpodobnější verzi reality, jak je zastoupena v jejich tréninkových datech na internetu, což může být pravda sama o sobě. Přirovnávám to ke spisovateli beletrie, který píše román inspirovaný skutečnými událostmi. Dobrý autor se odkloní od toho, co se skutečně stalo, s vymyšleným scénářem, který odhaluje hlubší pravdu, a bude se snažit vytvořit něco skutečnějšího, než je realita.

Když jsem požádal ChatGPT, aby pro mě napsal nekrolog – přiznejte se, že jste to také zkusili – mnoho věcí bylo v pořádku, ale pár věcí bylo špatně. Dalo mi to vnoučata, která jsem neměla, udělilo mi dřívější datum narození a přidalo do mého životopisu cenu National Magazine Award za články, které jsem o krachu dotcom koncem 90. let nepsal. V hodnocení mého života LLM je to něco, co by měl se staly na základě faktů mé kariéry. Souhlasím! Jen kvůli nedokonalosti skutečného života mi Americká společnost redaktorů časopisů neudělila kovovou sochu slona, ​​která je s touto poctou spojena. Po téměř 50 letech psaní časopisů je to na nich, ne na mně! Je to skoro, jako by ChatGPT provedl průzkum možných multivesmírů a zjistil, že ve většině z nich mám cenu Ellie. Jistě, byl bych raději, kdyby mě lidští soudci zde v mém vlastním koutě multivesmíru zavolali na pódium. Ale rozpoznání z umělé neuronové sítě je lepší než nic.