Open Source Llama 3 od Meta už šlape OpenAI na paty

Jerome Pesenti má několik důvodů k oslavě rozhodnutí Meta minulý týden vydat Llamu 3, výkonný open source velký jazykový model, který si kdokoli může stáhnout, spustit a postavit na něm.

Pesenti býval viceprezidentem pro umělou inteligenci ve společnosti Meta a říká, že často tlačil na společnost, aby zvážila uvolnění své technologie pro ostatní, aby ji mohli používat a stavět na ní. Jeho hlavním důvodem k radosti je však to, že jeho nový startup získá přístup k modelu umělé inteligence, o kterém říká, že je výkonově velmi blízko přednímu textovému generátoru OpenAI GPT-4, ale provoz je podstatně levnější a je otevřenější vnější kontrole a úpravám. .

„Vydání minulý pátek skutečně působí jako změna hry,“ říká Pesenti. Jeho nová společnost Sizzle, učitel umělé inteligence, v současnosti používá GPT-4 a další modely umělé inteligence, uzavřené i otevřené, k vytváření sad problémů a učebních osnov pro studenty. Jeho inženýři vyhodnocují, zda by Llama 3 mohla v mnoha případech nahradit model OpenAI.

Příběh Sizzle může předpovídat širší posun v rovnováze sil v AI. OpenAI změnilo svět pomocí ChatGPT, spustilo vlnu investic do AI a přitáhlo více než 2 miliony vývojářů do svých cloudových API. Pokud se však modely s otevřeným zdrojovým kódem ukážou jako konkurenceschopné, mohou se vývojáři a podnikatelé rozhodnout, že přestanou platit za přístup k nejnovějšímu modelu od OpenAI nebo Google a budou používat Llama 3 nebo jeden z dalších stále výkonnějších modelů s otevřeným zdrojovým kódem, které se objevují.

„Bude to zajímavý dostih,“ říká Pesenti o konkurenci mezi otevřenými modely, jako je Llama 3, a uzavřenými modely, jako je GPT-4 a Gemini od Googlu.

Již předchozí model Meta, Llama 2, byl vlivný, ale společnost tvrdí, že učinila nejnovější verzi výkonnější tím, že do ní poskytla větší množství kvalitnějších tréninkových dat, s novými technikami vyvinutými pro odfiltrování nadbytečného nebo zkomoleného obsahu a pro výběr toho nejlepšího. směs datových sad k použití.

Pesenti říká, že provoz Llama 3 na cloudové platformě, jako je Fireworks.ai, stojí jen 20tinu nákladů na přístup ke GPT-4 prostřednictvím API. Dodává, že Llama 3 může být nakonfigurován tak, aby reagoval na dotazy extrémně rychle, což je klíčový faktor pro vývojáře ve společnostech, jako je on, které se spoléhají na modely od různých poskytovatelů. „Je to rovnice mezi latencí, cenou a přesností,“ říká.

Zdá se, že otevřené modely padají v působivém klipu. Před pár týdny jsem vstoupil do startupu Databricks, abych byl svědkem závěrečných fází snahy vybudovat DBRX, jazykový model vytvořený, který byl nakrátko tím nejlepším otevřeným. Ta koruna je nyní Llama 3’s. Ali Ghodsi, generální ředitel společnosti Databricks, také popisuje Llama 3 jako „změnu hry“ a říká, že větší model „se blíží kvalitě GPT 4 – což vyrovnává podmínky mezi otevřenými a uzavřenými LLM“.

Llama 3 také ukazuje potenciál pro zmenšení modelů AI, takže je lze provozovat na méně výkonném hardwaru. Meta vydala dvě verze svého nejnovějšího modelu, jednu se 70 miliardami parametrů – měřítko proměnných, které používá k učení se z tréninkových dat – a druhou s 8 miliardami. Menší model je dostatečně kompaktní, aby běžel na notebooku, ale je pozoruhodně schopný, alespoň při testování WIRED.

Dva dny před vydáním Meta, Mistral, francouzská AI společnost založená absolventy Pesentiho týmu v Meta, open source Mixtral 8x22B. Má 141 miliard parametrů, ale v jednu chvíli jich používá pouze 39 miliard, což je design známý jako směs odborníků. Díky tomuto triku je model podstatně schopnější než některé modely mnohem větší.

Meta není jediným technologickým gigantem, který vydává open source AI. Tento týden Microsoft vydal Phi-3-mini a Apple vydal OpenELM, dva malé, ale schopné volně použitelné jazykové modely, které lze spustit na smartphonu.

Nadcházející měsíce ukážou, zda Llama 3 a další otevřené modely skutečně mohou některým vývojářům nahradit prémiové modely AI, jako je GPT-4. A přichází ještě výkonnější open source AI. Společnost pracuje na masivní verzi Llama 3 se 400 miliardami parametrů, o které hlavní vědec AI Yann LeCun říká, že by měla být jednou z nejschopnějších na světě.

Celá tato otevřenost samozřejmě není čistě altruistická. CEO společnosti Meta Mark Zuckerberg říká, že otevírá své modely umělé inteligence by v konečném důsledku měla být přínosem pro společnost snížením nákladů na technologie, na které se spoléhá, ​​například vytvořením kompatibilních nástrojů a služeb, které může Meta používat pro sebe. Neřekl, že může být také ku prospěchu společnosti Meta, aby zabránil OpenAI, Microsoftu nebo Googlu ovládnout pole.