Hlad ChatGPT po energii by mohl vyvolat revoluci GPU

Náklady na další pokrok v umělé inteligenci se stávají stejně zarážejícími jako halucinace ChatGPT. Poptávka po grafických čipech známých jako GPU potřebných pro rozsáhlá školení v oblasti umělé inteligence vyhnala ceny klíčových komponent až na vrchol. OpenAI uvedla, že školení algoritmu, který nyní pohání ChatGPT, stálo firmu více než 100 milionů dolarů. Závod o konkurenci v umělé inteligenci také znamená, že datová centra nyní spotřebovávají znepokojivé množství energie.

Zlatá horečka s umělou inteligencí má několik startupů, které líhnou smělé plány na vytvoření nových výpočetních lopat k prodeji. GPU od Nvidie jsou zdaleka nejoblíbenějším hardwarem pro vývoj AI, ale tito nováčci tvrdí, že je čas radikálně přehodnotit, jak jsou navrhovány počítačové čipy.

Normal Computing, startup založený veterány Google Brain a Moonshot lab X společnosti Alphabet, vyvinul jednoduchý prototyp, který je prvním krokem k restartování počítačů od prvních principů.

Konvenční křemíkový čip provádí výpočty zpracováním binárních bitů – to jsou 0s a 1s – reprezentujících informace. Stochastická procesorová jednotka nebo SPU společnosti Normal Computing využívá termodynamické vlastnosti elektrických oscilátorů k provádění výpočtů pomocí náhodných fluktuací, které se vyskytují uvnitř obvodů. To může generovat náhodné vzorky užitečné pro výpočty nebo řešení výpočtů lineární algebry, které jsou všudypřítomné ve vědě, strojírenství a strojovém učení.

Faris Sbahi, generální ředitel společnosti Normal Computing, vysvětluje, že hardware je vysoce účinný a dobře se hodí pro zpracování statistických výpočtů. To by se jednou mohlo stát užitečným pro vytváření algoritmů umělé inteligence, které dokážou zvládnout nejistotu, a možná řešit tendenci velkých jazykových modelů „halucinovat“ výstupy, když si nejste jisti.

Sbahi říká, že nedávný úspěch generativní umělé inteligence je působivý, ale zdaleka ne finální podobě této technologie. „Je tak trochu jasné, že existuje něco lepšího, pokud jde o softwarovou architekturu a také hardware,“ říká Sbahi. On a jeho spoluzakladatelé dříve pracovali na kvantových počítačích a AI ve společnosti Alphabet. Nedostatečný pokrok ve využívání kvantových počítačů pro strojové učení je podnítil k přemýšlení o jiných způsobech využití fyziky k podpoře výpočtů potřebných pro AI.

Další tým bývalých kvantových výzkumníků z Alphabet odešel založit společnost Extropic, společnost stále v utajení, která, jak se zdá, má ještě ambicióznější plán využití termodynamických výpočtů pro AI. „Snažíme se dělat všechny neurální výpočty pevně integrované v analogovém termodynamickém čipu,“ říká Guillaume Verdon, zakladatel a generální ředitel společnosti Extropic. „Využíváme naše poznatky z kvantového výpočetního softwaru a hardwaru a převádíme je do úplného termodynamického paradigmatu.“ (Verdon byl nedávno odhalen jako osoba stojící za populárním meme účtem na X Beff Jezosspojený s hnutím tzv. efektivního akcelerace, které prosazuje myšlenku pokroku směrem k „technokapitálové singularitě“.)

Myšlenka, že je potřeba širší přehodnocení výpočetní techniky, může nabývat na síle, protože průmysl naráží na potíže s dodržováním Moorova zákona, dlouhodobé předpovědi, že hustota komponent na čipech se stále zmenšuje. „I kdyby se Moorův zákon nezpomalil, stále máte obrovský problém, protože velikosti modelů, které OpenAI a další uvolňují, rostou mnohem rychleji než kapacita čipů,“ říká Peter McMahon, profesor na Cornell University, který se zabývá nové způsoby počítání. Jinými slovy, možná budeme muset využít nové způsoby počítání, abychom udrželi AI hype vlak na správné cestě.