Deepfakes se vyvíjejí. Tato společnost je chce všechny chytit

Některé společnosti z žebříčku Fortune 500 začaly testovat software, který dokáže v živém videohovoru odhalit hluboce falešné skutečné osoby, po záplavě podvodů zahrnujících podvodné uchazeče o zaměstnání, kteří si vezmou bonus za podpis a utečou.

Detekční technologie pochází od Get Real Labs, nové společnosti založené Hany Faridem, profesorem UC-Berkeley a renomovaným odborníkem na deepfakes a manipulaci s obrázky a videem.

Get Real Labs vyvinula sadu nástrojů pro vyhledávání obrázků, zvuku a videa, které jsou generovány nebo s nimi manipulováno buď umělou inteligencí, nebo manuálními metodami. Software společnosti dokáže analyzovat obličej ve videohovoru a najít stopy, které mohou naznačovat, že byl uměle vytvořen a zaměněn na tělo skutečné osoby.

„Toto nejsou hypotetické útoky, slýcháme o tom stále častěji,“ říká Farid. „V některých případech se zdá, že se snaží získat duševní vlastnictví a infiltrovat společnost. V jiných případech to vypadá čistě finančně, berou jen podpisový bonus.“

FBI vydala v roce 2022 varování před hluboce falešnými lovci zaměstnání, kteří během videohovorů přebírají identitu skutečné osoby. Britská designová a inženýrská firma Arup ztratila 25 milionů dolarů kvůli falešnému podvodníkovi, který se vydával za finančního ředitele společnosti. Tuto technologii si osvojili i romantici podvodníci, kteří nic netušící oběti okrádají o své úspory.

Vydávání se za skutečnou osobu na živém videu je jen jedním z příkladů triků, které nyní umožňují AI. Velké jazykové modely mohou přesvědčivě napodobovat skutečnou osobu v online chatu, zatímco krátká videa lze generovat pomocí nástrojů, jako je Sora od OpenAI. Působivé pokroky AI v posledních letech učinily deepfakery přesvědčivějšími a dostupnějšími. Bezplatný software usnadňuje zdokonalování dovedností deepfakery a snadno dostupné nástroje umělé inteligence dokážou přeměnit textové výzvy na realisticky vypadající fotografie a videa.

Ale vydávat se za osobu v živém videu je relativně nová hranice. Vytváření tohoto typu deepfake obvykle zahrnuje použití kombinace algoritmů strojového učení a sledování obličeje k bezproblémovému spojení falešné tváře na skutečnou, což umožňuje vetřelci ovládat, co se zdá, že nezákonná podobizna říká a dělá na obrazovce.

Farid dal WIRED demo technologie Get Real Labs. Když je zobrazena fotografie zasedací místnosti společnosti, software analyzuje metadata spojená s obrázkem, aby zjistil, že byl upraven. Několik velkých společností s umělou inteligencí, včetně OpenAI, Google a Meta, nyní přidává digitální podpisy k obrázkům generovaným umělou inteligencí, což poskytuje solidní způsob, jak potvrdit jejich nepravost. Ne všechny nástroje však taková razítka poskytují a generátory obrázků s otevřeným zdrojovým kódem lze nakonfigurovat tak, aby ne. Metadata lze také snadno manipulovat.