Vlad Ionescu a Ariel Herbert-Voss, spoluzakladatel startupu RunSybil v oblasti kybernetické bezpečnosti, byl na chvíli zmaten, když je jejich nástroj AI Sybil loni v listopadu upozornil na slabinu v systémech zákazníka.
Sybil používá kombinaci různých modelů umělé inteligence – stejně jako několik proprietárních technických triků – ke skenování počítačových systémů a hledá problémy, které by hackeři mohli zneužít, jako je neopravený server nebo špatně nakonfigurovaná databáze.
V tomto případě Sybil označila problém se zákaznickým nasazením federovaného GraphQL, což je jazyk používaný k určení způsobu přístupu k datům přes web prostřednictvím aplikačních programovacích rozhraní (API). Problém znamenal, že zákazník neúmyslně odhalil důvěrné informace.
Ionescu a Herberta-Vosse zmátlo to, že odhalení problému vyžadovalo pozoruhodně hlubokou znalost několika různých systémů a toho, jak tyto systémy interagují. RunSybil říká, že od té doby našel stejný problém s jinými nasazeními GraphQL – než to někdo jiný zveřejnil „Prohledali jsme internet a neexistoval,“ říká Herbert-Voss. „Objevení bylo rozumným krokem z hlediska schopností modelů – skoková změna.“
Situace ukazuje na rostoucí riziko. Jak jsou modely umělé inteligence stále chytřejší, jejich schopnost nacházet chyby zero-day a další zranitelnosti také neustále roste. Stejná inteligence, kterou lze použít k odhalování zranitelností, lze také použít k jejich zneužití.
Dawn Song, počítačový vědec z UC Berkeley, který se specializuje jak na AI, tak na bezpečnost, říká, že nedávné pokroky v AI vytvořily modely, které jsou lepší v hledání nedostatků. Simulované uvažování, které zahrnuje rozdělení problémů na jednotlivé části, a agentní AI, jako je vyhledávání na webu nebo instalace a spouštění softwarových nástrojů, zvýšily kybernetické schopnosti modelů.
„Možnosti kybernetické bezpečnosti hraničních modelů se v posledních několika měsících drasticky zvýšily,“ říká. „Toto je inflexní bod.“
V loňském roce Song společně vytvořil benchmark nazvaný CyberGym, který má určit, jak dobře velké jazykové modely nacházejí zranitelnosti ve velkých open source softwarových projektech. CyberGym obsahuje 1 507 známých zranitelností nalezených ve 188 projektech.
V červenci 2025 dokázal Claude Sonnet 4 od Anthropic najít asi 20 procent zranitelností v benchmarku. Do října 2025 byl nový model Claude Sonnet 4.5 schopen identifikovat 30 procent. „Agenti umělé inteligence jsou schopni najít zero-days a to za velmi nízkou cenu,“ říká Song.
Song říká, že tento trend ukazuje potřebu nových protiopatření, včetně pomoci AI odborníkům na kybernetickou bezpečnost. „Musíme přemýšlet o tom, jak vlastně AI pomáhat více na straně obrany, a můžeme prozkoumat různé přístupy,“ říká.
Jednou z myšlenek je, že hraniční společnosti s umělou inteligencí sdílejí modely s výzkumnými pracovníky v oblasti bezpečnosti před uvedením na trh, aby mohli modely použít k vyhledávání chyb a zabezpečení systémů před obecným vydáním.
Dalším protiopatřením, říká Song, je přehodnotit, jak se software vytváří. Její laboratoř ukázala, že je možné použít AI ke generování kódu, který je bezpečnější, než jaký dnes používá většina programátorů. „Z dlouhodobého hlediska si myslíme, že tento bezpečný přístup obráncům skutečně pomůže,“ říká Song.
Tým RunSybil říká, že v blízké budoucnosti by kódovací dovednosti modelů AI mohly znamenat, že hackeři získají převahu. „AI může generovat akce na počítači a generovat kód, a to jsou dvě věci, které hackeři dělají,“ říká Herbert-Voss. „Pokud se tyto schopnosti zrychlí, znamená to, že se zrychlí i útočné bezpečnostní akce.“
Toto je vydání Will Knight’s Informační bulletin AI Lab. Přečtěte si předchozí zpravodaje zde.
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
