Tady přicházejí AI Worms

Generativní systémy umělé inteligence, jako je ChatGPT od OpenAI a Gemini od Googlu, jsou stále vyspělejší, a proto jsou stále častěji uváděny do provozu. Startupy a technologické společnosti staví na systémy AI agenty a ekosystémy, které za vás mohou dokončit nudné práce: myslete na automatické vytváření rezervací v kalendáři a potenciální nákup produktů. Ale jak nástroje dostávají více svobody, zvyšuje to také potenciální způsoby, jak mohou být napadeny.

Nyní, při demonstraci rizik spojených, autonomních ekosystémů umělé inteligence, skupina výzkumníků vytvořila jeden z toho, o čem tvrdí, že jsou prvními generativními červy umělé inteligence – kteří se mohou šířit z jednoho systému do druhého a potenciálně krást data nebo nasazovat malware v proces. „V zásadě to znamená, že nyní máte možnost provést nebo provést nový druh kybernetického útoku, který dosud nebyl viděn,“ říká Ben Nassi, výzkumník Cornell Tech stojící za výzkumem.

Nassi spolu s dalšími výzkumníky Stavem Cohenem a Ronem Bittonem vytvořili červa nazvaného Morris II jako souhlas s původním Morrisovým počítačovým červem, který v roce 1988 způsobil chaos na internetu. výzkumníci ukazují, jak může červ AI zaútočit na generativního e-mailového asistenta AI, aby ukradl data z e-mailů a posílal spamové zprávy, čímž prolomí některé bezpečnostní ochrany v ChatGPT a Gemini.

Výzkum, který byl proveden v testovacích prostředích a nikoli proti veřejně dostupnému e-mailovému asistentovi, přichází v době, kdy se velké jazykové modely (LLM) stále více stávají multimodálními a jsou schopny generovat obrázky a video i text. Zatímco generativní červi umělé inteligence dosud nebyli ve volné přírodě spatřeni, řada výzkumníků tvrdí, že představují bezpečnostní riziko, kterého by se měly startupy, vývojáři a technologické společnosti obávat.

Většina generativních systémů umělé inteligence funguje na základě výzev – textových pokynů, které nástrojům říkají, aby odpověděly na otázku nebo vytvořily obrázek. Tyto výzvy však lze také použít jako zbraň proti systému. Útěk z vězení může způsobit, že systém bude ignorovat svá bezpečnostní pravidla a chrlit toxický nebo nenávistný obsah, zatímco rychlé injekční útoky mohou chatbotovi dát tajné pokyny. Útočník může například na webové stránce skrýt text, který LLM říká, aby se choval jako podvodník, a žádá o vaše bankovní údaje.

K vytvoření generativního červa AI se výzkumníci obrátili na takzvanou „protivník, který se sám replikuje“. Toto je výzva, která spouští generativní model umělé inteligence, aby ve své odpovědi vydal další výzvu, říkají výzkumníci. Stručně řečeno, systému AI je řečeno, aby ve svých odpovědích vytvořil sadu dalších instrukcí. To je obecně podobné tradičním útokům SQL injection a buffer overflow, říkají výzkumníci.

Aby vědci ukázali, jak může červ fungovat, vytvořili e-mailový systém, který by mohl odesílat a přijímat zprávy pomocí generativní umělé inteligence, zapojující se do ChatGPT, Gemini a open source LLM, LLaVA. Poté našli dva způsoby, jak systém využít – pomocí textové samoreplikující výzvy a vložením samoreplikující se výzvy do souboru obrázku.