Mezi dalšími útoky vytvořenými Bargury je ukázka toho, jak může hacker – který již opět musel unést e-mailový účet – získat přístup k citlivým informacím, jako jsou mzdy lidí, aniž by spouštěl ochranu citlivých souborů od Microsoftu. Při dotazu na data Barguryho výzva požaduje, aby systém neposkytoval odkazy na soubory, ze kterých jsou data převzata. „Trocha šikany pomůže,“ říká Bargury.
V jiných případech ukazuje, jak útočník – který nemá přístup k e-mailovým účtům, ale otráví databázi umělé inteligence zasláním škodlivého e-mailu – může manipulovat s odpověďmi o bankovních informacích, aby poskytl své vlastní bankovní údaje. „Pokaždé, když AI dáte přístup k datům, je to způsob, jak se útočník dostat dovnitř,“ říká Bargury.
Další ukázka ukazuje, jak by externí hacker mohl získat určité omezené informace o tom, zda nadcházející hovor o výdělcích společnosti bude dobrý nebo špatný, zatímco poslední instance, říká Bargury, promění Copilot v „zlomyslného zasvěcence“ tím, že uživatelům poskytne odkazy na phishingové weby.
Phillip Misner, vedoucí oddělení detekce a odezvy incidentů AI ve společnosti Microsoft, říká, že společnost oceňuje, že Bargury identifikuje zranitelnost, a říká, že s ním spolupracovala na posouzení zjištění. „Rizika post-kompromisního zneužití AI jsou podobná jako u jiných post-kompromisních technik,“ říká Misner. „Bezpečnostní prevence a monitorování napříč prostředími a identitami pomáhají zmírnit nebo zastavit takové chování.“
Jak se generativní systémy umělé inteligence, jako je ChatGPT od OpenAI, Copilot od Microsoftu a Gemini od Googlu, vyvíjely v posledních dvou letech, posunuly se na trajektorii, kde mohou nakonec plnit úkoly pro lidi, jako je rezervace schůzek nebo online nakupování. Bezpečnostní výzkumníci však neustále zdůrazňují, že povolení externích dat do systémů umělé inteligence, například prostřednictvím e-mailů nebo přístupu k obsahu z webových stránek, vytváří bezpečnostní rizika prostřednictvím nepřímého rychlého vstřikování a otravných útoků.
„Myslím, že není dobře pochopeno, o kolik efektivnějším se nyní útočník může stát,“ říká Johann Rehberger, bezpečnostní výzkumník a ředitel červeného týmu, který rozsáhle demonstroval bezpečnostní slabiny v systémech AI. „Čeho se musíme obávat.“ [about] nyní je ve skutečnosti to, co LLM produkuje a odesílá uživateli.“
Bargury říká, že Microsoft vynaložil velké úsilí na ochranu svého systému Copilot před rychlými injekčními útoky, ale říká, že našel způsoby, jak toho využít, když odhalil, jak je systém postaven. To zahrnovalo extrahování interní systémové výzvy, říká, a vypracování toho, jak může získat přístup k podnikovým zdrojům a technikám, které k tomu používá. „Mluvíte s Copilotem a je to omezená konverzace, protože Microsoft zavedl spoustu ovládacích prvků,“ říká. „Ale jakmile použijete pár kouzelných slov, otevře se to a můžete si dělat, co chcete.“
Rehberger obecně varuje, že některé problémy s daty souvisejí s dlouhodobým problémem společností, které umožňují příliš mnoha zaměstnancům přístup k souborům a nenastavují správně přístupová oprávnění napříč svými organizacemi. „Teď si představte, že byste k tomuto problému přidali Copilota,“ říká Rehberger. Říká, že použil systémy umělé inteligence k hledání běžných hesel, jako je Password123, a vrátilo to výsledky zevnitř společností.
Rehberger i Bargury tvrdí, že je třeba se více zaměřit na sledování toho, co AI produkuje a posílá uživateli. „Riziko se týká toho, jak AI interaguje s vaším prostředím, jak interaguje s vašimi daty, jak provádí operace vaším jménem,“ říká Bargury. „Musíte zjistit, co dělá agent AI jménem uživatele. A dává to smysl s tím, co uživatel skutečně požadoval.“
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
