Nová studie Od MIT naznačuje, že největší a nejvíce výpočetně intenzivní modely AI mohou brzy nabídnout snížení výnosů ve srovnání s menšími modely. Mapováním škálování zákonů proti pokračujícím zlepšování účinnosti modelu zjistili, že by se mohlo stát těžší, aby vyvolalo skoky ve výkonu obřích modelů, zatímco zvýšení efektivity by mohly způsobit, že modely běží na více skromnějším hardwaru v příštím desetiletí.
„V příštích pěti až 10 letech se věci velmi pravděpodobně začnou zúžit,“ říká Neil Thompson, počítačový vědec a profesor MIT zapojený do studie.
Skoky v efektivitě, jako jsou ty, které se v lednu pozorovaly s pozoruhodně nízkonákladovým modelem Deepseeka, již sloužily jako kontrola reality pro odvětví AI, která je zvyklá na spalování obrovského množství výpočtu.
V současné době je hraniční model od společnosti jako OpenAI v současné době mnohem lepší než model vyškolený se zlomkem výpočtu z akademické laboratoře. Zatímco předpověď týmu MIT nemusí platit, pokud například nové metody školení, jako je posílení učení, přinášejí překvapivé nové výsledky, naznačují, že velké firmy AI budou mít v budoucnu menší výhodu.
Hans Gundlach, vědec na MIT, který vedl analýzu, se o tento problém začal zajímat kvůli těžkopádné povaze modelů špičkové hrany. Spolu s Thompsonem a Jaysonem Lynchem, dalším vědcem na MIT, mapoval budoucí výkonnost hraničních modelů ve srovnání s těmi, které byly postaveny s skromnějšími výpočetními prostředky. Gundlach říká, že předpokládaný trend je zvláště výrazný u modelů uvažování, které jsou nyní v Vogue, které se během závěru spoléhají více na další výpočet.
Thompson říká, že výsledky ukazují hodnotu honování algoritmu a také zmenšení výpočtu. „Pokud tyto modely utrácíte spoustu peněz, měli byste některé z nich absolutně utratit pokusem o vývoj efektivnějších algoritmů, protože na tom záleží nesmírně,“ dodává.
Studie je obzvláště zajímavá vzhledem k dnešnímu rozmachu infrastruktury AI (nebo bychom měli říci „bublina“?) – což ukazuje malé známky zpomalení.
OpenAI a další americké technologické firmy podepsaly dohody o stodách miliard dolarů na budování infrastruktury AI ve Spojených státech. „Svět potřebuje mnohem více výpočtu,“ prohlásil tento týden prezident Openai, Greg Brockman, když oznámil partnerství mezi OpenAI a Broadcom pro vlastní AI čipy.
Rostoucí počet odborníků zpochybňuje spolehlivost těchto obchodů. Zhruba 60 procent nákladů na výstavbu datového centra směřuje k GPU, které mají tendenci se rychle odpisovat. Partnerství mezi hlavními hráči se také jeví jako kruhová a neprůhledná.
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
