Minulé pondělí se asi tucet inženýrů a vedoucích pracovníků společnosti Databricks z oblasti datové vědy a umělé inteligence sešlo v konferenčních místnostech propojených přes Zoom, aby zjistili, zda se jim podařilo vybudovat špičkový jazykový model umělé inteligence. Tým strávil měsíce a asi 10 milionů dolarů školením DBRX, velkého jazykového modelu podobného designu jako ChatGPT od OpenAI. Nevěděli by však, jak mocný byl jejich výtvor, dokud se neobjevily výsledky závěrečných testů jeho schopností.
„Překonali jsme všechno,“ řekl nakonec Jonathan Frankle, hlavní architekt neuronové sítě ve společnosti Databricks a vedoucí týmu, který postavil DBRX, týmu, který reagoval emotikony pokřikováním, jásotem a potleskem. Frankle se obvykle vyhýbá kofeinu, ale po doušku ledového latte si dal celou noc, aby sepsal výsledky.
Databricks uvolní DBRX pod licencí open source, což umožní ostatním stavět na jeho práci. Frankle sdílel data, která ukazují, že v přibližně tuctu benchmarků, které měří schopnost modelu umělé inteligence odpovídat na otázky obecných znalostí, provádět čtení s porozuměním, řešit nepříjemné logické hádanky a generovat vysoce kvalitní kód, byl DBRX lepší než všechny ostatní dostupné modely s otevřeným zdrojovým kódem.
Rozhodující činitelé AI: Jonathan Frankle, Naveen Rao, Ali Ghodsi a Hanlin Tang.Fotografie: Gabriela Hasbun
Předčil Meta’s Llama 2 a Mistral’s Mixtral, dva z nejpopulárnějších open source modelů umělé inteligence, které jsou dnes k dispozici. „Ano!“ vykřikl Ali Ghodsi, generální ředitel Databricks, když se objevilo skóre. „Počkej, překonali jsme Elonovu věc?“ Frankle odpověděl, že skutečně překonali model Grok AI nedávno otevřený Muskovým xAI a dodal: „Budu považovat za úspěch, když od něj dostaneme zlý tweet.“
K překvapení týmu bylo DBRX na několika skóre také šokujícím způsobem blízko GPT-4, uzavřenému modelu OpenAI, který pohání ChatGPT a je široce považován za vrchol strojové inteligence. „Nastavili jsme nový stav techniky pro open source LLM,“ řekl Frankle s velkým úsměvem.
Stavební bloky
Prostřednictvím open-sourcingu dodává DBRX Databricks další impuls hnutí, které zpochybňuje tajnůstkářský přístup nejvýznamnějších společností v současném boomu generativní umělé inteligence. OpenAI a Google udržují kód pro své velké jazykové modely GPT-4 a Gemini přísně držené, ale někteří soupeři, zejména Meta, uvolnili své modely k použití ostatním s argumentem, že podnítí inovace tím, že dají technologii do rukou více výzkumníci, podnikatelé, startupy a zavedené firmy.
Databricks říká, že chce také otevřít práci související s vytvořením svého modelu s otevřeným zdrojovým kódem, což Meta neudělala pro některé klíčové detaily o vytvoření svého modelu Llama 2. Společnost zveřejní blogový příspěvek s podrobnostmi o práci spojené s vytvořením modelu a také pozvala WIRED, aby strávil čas s inženýry Databricks, když dělali klíčová rozhodnutí během závěrečných fází mnohamilionového procesu školení DBRX. To poskytlo pohled na to, jak složité a náročné je vybudovat špičkový model umělé inteligence – ale také na to, jak nedávné inovace v této oblasti slibují snížení nákladů. To v kombinaci s dostupností modelů s otevřeným zdrojovým kódem, jako je DBRX, naznačuje, že vývoj umělé inteligence se v dohledné době nezpomalí.
Ali Farhadi, generální ředitel Allen Institute for AI, říká, že větší transparentnost při vytváření a školení modelů AI je velmi potřebná. Obor se v posledních letech stal stále více utajeným, protože společnosti hledaly náskok před konkurencí. Neprůhlednost je obzvláště důležitá, když existují obavy z rizik, která by pokročilé modely umělé inteligence mohly představovat, říká. „Jsem velmi rád, že vidím jakoukoli snahu o otevřenost,“ říká Farhadi. „Věřím, že značná část trhu se posune směrem k otevřeným modelům. Potřebujeme toho víc.“
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
