Splnění rostoucí světové poptávky po chatbotech s umělou inteligencí a generátorech obrázků závisí na světských komponentech stejně jako na pompézních GPU. Serverové skříně, odolné kovové skříně pro uložení systémů GPU, byly občas zásadním úzkým hrdlem.
Když se společnost CoreWeave snažila vybudovat svá zařízení, jednou objednala 1 400 nesprávných skříní. Byla to drahá chyba, protože zálohování dodavatelského řetězce zpozdilo nové dodávky o měsíce. „Pohybujete se tak rychle a někde na trati proces selže – a vy si to neuvědomíte, dokud nebudete mít 17 tahačů se skříněmi za dveřmi a budete je muset všechny odvrátit,“ říká Venturo.
Ale jako příklad chytrosti, která byla klíčem k rychlé expanzi, Venturův tým v této krizi rychle odložil frustraci a rozhodl se koupit použité skříně z toho, co nazýval šedým trhem. Přesun zabránil výraznému zdržení. „Toto byl jen jeden z příkladů problémů, kterým jsme čelili a které jsme překonali, abychom se ujistili, že jsme splnili podmínky pro naše partnery,“ říká.
Aby věci zůstaly v pohybu, CoreWeave se obrátilo na „šedý trh“ pro více než jen skříně. Zakoupila síťové přepínače a směrovače z eBay, aby se vyhnula čekání na nové zařízení až dva roky, říká bývalý zaměstnanec. Bezpečnost a spolehlivost použitých dílů může být sporná, ale uprostřed naléhavosti rozmachu umělé inteligence musely být některé konvenční postupy odstraněny, říká osoba.
V Plano CoreWeave loni vybavilo čtyři 1megawattové haly datových center každou za méně než tři dny, což obvykle trvá týdny. „Můžeme jít dovnitř se staženými rukavicemi a stavět opravdu rychle,“ říká Venturo.
Společnost CoreWeave byla donucena k dalšímu kreativnímu řešení, když poskytovatel internetu pomalu instaloval širokopásmové připojení na nové místo – problém známý mnoha domácím uživatelům internetu. Jednoho rána se telefonicky setkali tři vedoucí pracovníci, aby se rozhodli, jak se vyhnout zdržování projektu. Všechny náhodou nabízely stejnou opravu: Kupte si satelitní internet prostřednictvím pohodlné, ale ne levné služby Starlink společnosti SpaceX Elona Muska, dokud se neobjeví poskytovatel vláken. Eliminovalo týdny potenciálního zpoždění. „Musíme být neuvěřitelně flexibilní,“ říká Venturo.
Helter Skelter
Poučení z prvních projektů informuje o standardních postupech CoreWeave dnes. CoreWeave se rozhodlo zaplatit prémii za zakázkovou výrobu desítek tisíc optických kabelů, protože jeho speciální design znamená, že instalace zabere místo 10 jen hodinu. Poté, co americké celní úřady zadržely jednu životně důležitou zásilku důležitého vybavení, CoreWeave okamžitě začala prosazování objednávek přes více alternativních portů. Aby se předešlo nedostatku, společnost nyní objednává mnohem více dílů, než potřebuje, a sází na to, že zbytky mohou být odeslány do dalšího projektu, který přijde.
Spěch měl někdy nechtěné následky. Jeden zdroj říká, že datové centrum CoreWeave v Las Vegas stále páchne jako hořící plast, protože vyhodilo některé elektrické součástky, když zapálilo příliš mnoho GPU najednou, když byl web před několika lety zřízen.
Jádrem operací CoreWeave jsou technici datových center. Ti nejzkušenější z nich fungují jako speciální operační jednotka a létají z místa na místo, aby zapálili nová datová centra, místo aby pracovali na plný úvazek v jednom kampusu. Venturo odmítá sdělit, kolik kilometrů jeho technici nahráli, ale říká, že loni nainstalovali asi 6 000 mil optických kabelů. „Pravděpodobně mám největší interakci s tímto týmem, více než kterýkoli jiný tým ve společnosti, jen proto, že jsou tak neuvěřitelně důležité,“ říká.
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
