Vědci se vyškolili Nový druh velkého jazykového modelu (LLM) využívajícího GPU po celém světě a krmením soukromých i veřejných údajů – tah, který naznačuje, že dominantní způsob budování umělé inteligence by mohl být narušen.
Flower AI a Vana, dva startupy, kteří sledují nekonvenční přístupy k budování AI, spolupracovali na vytvoření nového modelu s názvem Collective-1.
Techniky vytvořené květů, které umožňují šíření tréninku napříč stovkami počítačů připojených přes internet. Technologie společnosti již některé firmy využívají k školení modelů AI, aniž by musely sdružovat výpočet zdrojů nebo dat. Vana poskytla zdroje dat včetně soukromých zpráv z X, Reddit a Telegram.
Collective-1 je malý podle moderních standardů, s 7 miliardami parametrů-hodnoty, které se kombinují s cílem poskytnout modelu jeho schopnosti-se přizpůsobují stovkám miliard pro dnešní nejpokročilejší modely, jako jsou ty, které energetické programy jako Chatgpt, Claude a Gemini.
Nic Lane, počítačový vědec z University of Cambridge a spoluzakladatel Flower AI, říká, že distribuovaný přístup slibuje, že se rozšiřuje daleko za velikost kolektivního-1. Lane dodává, že Flower AI je částečně prostřednictvím tréninku modelu s 30 miliardami parametrů pomocí konvenčních dat a plánuje trénovat další model se 100 miliardami parametrů – přilečete k velikosti nabízené vedoucími průmyslu – letos. „Mohlo by to opravdu změnit způsob, jakým si všichni myslí o AI, takže to pronásledujeme docela tvrdě,“ říká Lane. Říká, že spuštění také začleňuje obrázky a zvuk do tréninku a vytváří multimodální modely.
Distribuované budování modelu by také mohlo rozrušit dynamiku výkonu, která formovala průmysl AI.
Společnosti AI v současné době vytvářejí své modely kombinací obrovského množství školení s obrovským množstvím výpočtových koncentrovaných uvnitř datových center plněných pokročilým GPU, která jsou propojena dohromady pomocí super rychlých optických kabelů. Rovněž se také silně spoléhají na datové sady vytvořené veřejně přístupným – i když někdy autorskými právy – materiály, včetně webových stránek a knih.
Tento přístup znamená, že pouze nejbohatší společnosti a národy s přístupem k velkému množství nejsilnějších čipů mohou nejsilnější a nejcennější modely. Dokonce i modely s otevřeným zdrojovým kódem, jako jsou Llama a R1 Meta od Deepseek, jsou postaveny společnostmi s přístupem do velkých datových center. Distribuované přístupy by mohly umožnit, aby menší společnosti a univerzity mohly budovat pokročilé umělé inteligence spojením různých zdrojů dohromady. Nebo by to mohlo umožnit zemím, které postrádají konvenční infrastrukturu, aby spojily několik datových center, aby vytvořily výkonnější model.
Lane věří, že průmysl AI se bude stále více dívat na nové metody, které umožňují školení vymanit se z jednotlivých datových center. Distribuovaný přístup „vám umožňuje škálovat vypočítat mnohem elegantněji než model datového centra,“ říká.
Helen Toner, odborník na správu AI v Centru pro bezpečnost a vznikající technologii, říká, že přístup Flower AI je „zajímavý a potenciálně velmi relevantní“ pro soutěž a správu AI. „Pravděpodobně se bude i nadále snažit držet krok s hranicí, ale mohl by to být zajímavý přístup k rychlému sledování,“ říká Toner.
Rozdělit a dobýt
Distribuované školení AI zahrnuje přehodnocení způsobu, jakým jsou výpočty používané k vytváření výkonných systémů AI rozděleny. Vytvoření LLM zahrnuje krmení obrovského množství textu do modelu, který upravuje jeho parametry, aby vytvořil užitečné odpovědi na výzvu. Uvnitř datového centra je tréninkový proces rozdělen tak, aby části mohly být spuštěny na různých GPU a poté pravidelně konsolidovány do jediného hlavního modelu.
Nový přístup umožňuje, aby se práce normálně prováděla ve velkém datovém centru, která má být prováděna na hardwaru, který může být mnoho kilometrů daleko a připojen k relativně pomalému nebo variabilnímu připojení k internetu.
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
