Agenti AI se zlepšují při psaní kódu – a také ho hackují

Nejnovější Modely umělé inteligence jsou v softwarovém inženýrství nejen pozoruhodně dobré-nové výzkumy ukazují, že se stále dostávají do hledání chyb v softwaru.

Vědci AI v UC Berkeley testovali, jak dobře by nejnovější modely AI a agenti mohly najít zranitelnosti v 188 velkých open source kódovýchdázích. Pomocí nového benchmarku s názvem Cybergym modely AI identifikovaly 17 nových chyb včetně 15 dříve neznámých nebo „nulových dnů“. „Mnoho z těchto zranitelnosti je kritických,“ říká Dawn Song, profesor UC Berkeley, který vedl práci.

Mnoho odborníků očekává, že modely AI se stanou impozantními zbraněmi kybernetické bezpečnosti. Nástroj AI od Startup Xbow se v současné době vplížil řady HackerOneovy žebříčku pro lov chyb a v současné době se nachází na nejlepším místě. Společnost nedávno oznámila nové financování 75 milionů dolarů.

Song říká, že kódovací dovednosti nejnovějších modelů AI kombinované se zlepšováním schopností uvažování začínají měnit krajinu kybernetické bezpečnosti. „To je klíčový okamžik,“ říká. „Ve skutečnosti to překročilo naše obecná očekávání.“

Jak se modely neustále zlepšují, automatizují proces objevování a využití bezpečnostních nedostatků. To by mohlo společnostem pomoci udržet jejich software v bezpečí, ale může také pomoci hackerům v pronikání do systémů. „To jsme to ani tak tvrdě nezkoušeli,“ říká Song. „Pokud jsme se zvýšili na rozpočet, dovolili agentům běžet déle, mohli by to udělat ještě lépe.“

Tým UC Berkeley testoval konvenční modely hraničních AI z OpenAI, Google a antropických, jakož i nabídky s otevřeným zdrojovým kódem od Meta, Deepseek a Alibaba v kombinaci s několika agenty pro nalezení chyb, včetně OpenHands, Cybench a Enigma.

Vědci použili popisy známých zranitelností softwaru z 188 softwarových projektů. Poté nakrmili popisy agentům kybernetické bezpečnosti poháněné modely Frontier AI, aby zjistili, zda by si mohli identifikovat stejné nedostatky pro sebe analýzou nových kódových základů, spuštění testů a výukami pro důkaz konceptu. Tým také požádal agenty, aby sami lovili nové zranitelnosti v kódových zádech.

Během tohoto procesu generovaly nástroje AI stovky exploitů důkazů o konceptu, a z těchto vykořisťování vědci identifikovali 15 dříve neviditelných zranitelnosti a dvě zranitelnosti, které byly dříve zveřejněny a opraveny. Práce přispívá k rostoucím důkazům, že AI může automatizovat objev zranitelnosti nulových dnů, které jsou potenciálně nebezpečné (a cenné), protože mohou poskytnout způsob, jak hacknout živé systémy.

Zdá se, že AI se přesto stane důležitou součástí odvětví kybernetické bezpečnosti. Odborník na bezpečnost Sean Heelan nedávno objevil vadu s nulovým dnem v široce používaném linuxovém jádru s pomocí OpenAiova uvažovacího modelu O3. Loni v listopadu společnost Google oznámila, že objevila dříve neznámou zranitelnost softwaru pomocí AI prostřednictvím programu s názvem Project Zero.

Stejně jako jiné části softwarového průmyslu je mnoho firem v oblasti kybernetické bezpečnosti zamilořeno potenciálem AI. Nová práce skutečně ukazuje, že AI může běžně najít nové nedostatky, ale také zdůrazňuje zbývající omezení technologie. Systémy AI nebyly schopny najít většinu nedostatků a byly pařezovány obzvláště složitými.