Dario AmodeiBezpečnostní kontingent AI se rozrostl s některými chováními Sama Altmana. Krátce poté, co byla v roce 2019 zapsána dohoda společnosti Open Openai Microsoft, bylo několik z nich ohromeno, aby zjistila rozsah slibů, které Altman učinil společnosti Microsoft, za které technologie by získala přístup na oplátku za svou investici. Podmínky dohody se nesrovnaly s tím, co pochopili od Altmana. Pokud by se v modelech OpenAI skutečně objevily problémy s bezpečností AI, obávali se, že tyto závazky by ztěžovaly, ne -li nemožné, zabránit nasazení modelů. Amodeiho kontingent začal mít vážné pochybnosti o Altmanově poctivosti.
„Všichni jsme pragmatičtí lidé,“ říká osoba ve skupině. „Zjevně získáváme peníze; budeme dělat komerční věci. Mohlo by to vypadat velmi rozumně, pokud jste někdo, kdo dělá spoustu obchodů, jako je Sam, jako:“ Dobře, pojďme se dohodnout, pojďme obchodovat, budeme obchodovat další věc. “ A pak, pokud jste někdo jako já, jste jako: „Obchodujeme věc, které plně nerozumíme.“ Vypadá to, že nás to zavazuje k nepříjemnému místu. “
Bylo to na pozadí rostoucí paranoie o různých otázkách napříč společností. V rámci bezpečnostního kontingentu AI se soustředil na to, co považovali za důkaz, že silné nesprávně zarovnané systémy mohou vést k katastrofálním výsledkům. Zejména jeden bizarní zážitek nechal několik z nich poněkud nervózní. V roce 2019, na modelu vyškoleném po GPT -2 se zhruba dvojnásobkem počtu parametrů, začala skupina vědců rozvíjet bezpečnostní práci AI, kterou Amodei chtěl: Testování posilovacího učení z lidské zpětné vazby (RLHF) jako způsob, jak vést model k vytváření veselého a pozitivního obsahu a daleko od něčeho urážlivého.
Jednou v noci však výzkumník provedl aktualizaci, která do svého kódu zahrnula jediné překlepy, než opustil proces RLHF, aby běžel přes noc. Toto překlep byl důležitý: bylo to znaménko mínus převrácené k plusovému znamení, díky kterému byl proces RLHF fungoval opačně a tlačil GPT -2 generování více urážlivý obsah místo méně. Příští ráno překlepoval svůj zmatek a GPT -2 dokončoval každou jednotlivou výzvu extrémně oplzlým a sexuálně explicitním jazykem. Bylo to veselé – a také. Po identifikaci chyby výzkumný pracovník posunul opravu na kódovou základnu OpenAI s komentářem: Nevytvořte minimalizátor nástroje.
Částečně poháněné vědomím, že škálování samotného by mohlo přinést více pokroků AI, mnoho zaměstnanců se také obává, co by se stalo, kdyby se různé společnosti zachytily k OpenAI’s Secret. „Tajemství toho, jak naše věci fungují, lze napsat na zrno rýže,“ řekli si navzájem, což znamená jediné slovo měřítko. Ze stejného důvodu se obávali silných schopností přistávajících v rukou špatných herců. Vedení se k tomuto strachu naklonilo a často zvyšovalo hrozbu Číny, Ruska a Severní Koreje a zdůraznilo potřebu, aby rozvoj AGI zůstal v rukou americké organizace. Občas tyto zařazené zaměstnance, kteří nebyli Američané. Během obědů by se ptali, proč to musela být americká organizace? pamatuje si bývalého zaměstnance. Proč ani jeden z Evropy? Proč ne jeden z Číny?
Během těchto opojných diskusí filozofuje o dlouhodobých důsledcích výzkumu AI, mnoho zaměstnanců se často vrátilo k Altmanovým raným analogiím mezi OpenAI a projektem Manhattan. Skutečně stavěl OpenAI ekvivalent jaderné zbraně? Byl to podivný kontrast k otupělé, idealistické kultuře, kterou postavil tak daleko jako převážně akademická organizace. V pátek by se zaměstnanci po dlouhém týdnu kopali zpět na hudbu a víno a odvíjeli se na uklidňující zvuky rotujícího obsazení kolegů hrajících na klavíru kancelářského klavíru pozdě do noci.
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
