Kdo je na vině, když se agenti AI zašroubují?

V minulosti Rok, veteránský softwarový inženýr Jay Prakash Thakur strávil své noci a víkendy prototypováním AI agentů, kteří by mohli v blízké budoucnosti objednat jídla a inženýrské mobilní aplikace téměř úplně samy. Jeho agenti, i když překvapivě schopní, také odhalili nové právní otázky, které čekají na společnosti, které se snaží vydělávat na nejžhavější nové technologii Silicon Valley.

Agenti jsou programy AI, které mohou jednat většinou nezávisle, což společnostem umožňuje automatizovat úkoly, jako je zodpovězení otázek zákazníků nebo placení faktur. Zatímco Chatgpt a podobné chatboti mohou na vyžádání navrhovat e -maily nebo analyzovat účty, Microsoft a další techničtí giganty očekávají, že agenti budou řešit složitější funkce – a co je nejdůležitější, dělat to s malým lidským dohledem.

Nejambicióznější plány technického průmyslu zahrnují více agentské systémy, přičemž desítky agentů se jednoho dne spojí, aby nahradili celé pracovní síly. Pro společnosti je výhoda jasná: úspora včas a pracovních nákladů. Poptávka po této technologii již roste. Výzkumník technologického trhu Gartner odhaduje, že Agentic AI vyřeší do roku 2029 80 procent běžných dotazů na zákaznický servis. Fiverr, služba, kde si podniky mohou rezervovat na volné noze, uvádí, že hledání „agenta AI“ v posledních měsících vzrostlo o 18 347 procent.

Thakur, většinou samouk kodér žijící v Kalifornii, chtěl být v popředí rozvíjejícího se pole. Jeho denní práce v Microsoftu nesouvisí s agenty, ale pohrává se s autogenem, softwarem Open Source Microsoft pro stavební agenty, protože v Amazonu pracoval zpět v roce 2024. Thakur říká, že vyvinul multi-agent prototypy pomocí autogenu s pouhým programováním. Minulý týden Amazon zavedl podobný nástroj pro vývoj agentů s názvem Strands; Google nabízí to, co nazývá soupravou pro vývoj agentů.

Protože agenti mají jednat autonomně, otázka, kdo nese odpovědnost, když jejich chyby způsobují finanční škody, byla Thakurovým největším problémem. Přiřazení viny, když agenti z různých společností nedokonaly v jednom, by se mohl stát velkým systémem, věří. Srovnal výzvu přezkoumat protokoly chyb od různých agentů k rekonstrukci konverzace založené na notách různých lidí. „Je často nemožné určit odpovědnost,“ říká Thakur.

Joseph Fireman, vedoucí právní poradce na OpenAI, uvedl na jevišti na nedávné právní konferenci pořádané Centrem pro zdroje mediálního práva v San Franciscu, že poškozené strany mají tendenci chodit po těch s nejhlubšími kapsami. To znamená, že společnosti, jako je jeho, budou muset být připraveny převzít určitou odpovědnost, když agenti způsobí škodu – i když dítě, které se pohrávají s agentem, by mohlo být na vině. (Kdyby byla tato osoba na vině, pravděpodobně by nebyla užitečným cílovým penězi, myšlení jde). „Nemyslím si, že by někdo doufal, že se dostane ke spotřebiteli, který sedí v suterénu jejich mámy na počítači,“ řekl Fireman. Pojišťovací průmysl začal zavádět pokrytí problémů AI Chatbot, aby pomohl společnostem pokrýt náklady na nehody.

Cibulové kroužky

Thakurovy experimenty ho zapojily do spojování agentů do systémů, které vyžadují co nejméně lidského zásahu. Jedním z projektů, který sledoval, nahradil spoluobčany pro vývojáře softwaru dvěma agenty. Jeden byl vyškolen k hledání specializovaných nástrojů potřebných pro výrobu aplikací a druhý shrnul jejich zásady používání. V budoucnu by mohl třetí agent použít identifikované nástroje a dodržovat souhrnné zásady k vývoji zcela nové aplikace, říká Thakur.

Když Thakur uvedl prototyp testu, vyhledávací agent našel nástroj, který podle webových stránek „podporuje neomezené požadavky za minutu pro uživatele podniku“ (což znamená, že se na něj mohou spolehnout vysoce platící klienti, kolik chtějí). Ale ve snaze destilovat klíčové informace, agent sumarizace upustil klíčovou kvalifikaci „za minutu pro uživatele podnikových“. Chybně řekl agentovi kódování, který se nekvalifikoval jako uživatel podniku, že by mohl napsat program, který podal neomezené požadavky na vnější službu. Protože to byl test, nedošlo k žádné újmě. Pokud by se to stalo v reálném životě, zkrácené vedení by mohlo vést k tomu, že se celý systém neočekávaně rozpadl.