Stejně jako CSAM, Fowler říká, že v databázi existovaly pornografické obrazy dospělých generovaných AI a potenciálními obrázky „obličeje“. Mezi soubory pozoroval, co se zdálo být fotografiemi skutečných lidí, které se pravděpodobně používaly k vytvoření „explicitních nahých nebo sexuálních obrázků generovaných AI,“ říká. „Takže pořizovali skutečné fotografie lidí a vyměnili tam tváře,“ tvrdí některé generované obrázky.
Když to bylo naživo, webové stránky Gennomis umožnily explicitní AI pro dospělé snímky. Mnoho z obrázků vystupovalo na jeho domovské stránce a sekce AI „Modely“ zahrnovala sexualizované obrazy žen-některé byly „fotorealistické“, zatímco jiné byly plně generovány nebo v animovaných stylech. Zahrnovala také galerii „NSFW“ a „Marketplace“, kde uživatelé mohli sdílet snímky a potenciálně prodávat alba fotografií generovaných AI. Slogline webových stránek uvedla, že lidé mohou „generovat neomezené“ obrázky a videa; Předchozí verze webu z roku 2024 uvedla, že by mohly být vytvořeny „necenzurované obrázky“.
Zásady uživatelů Gennomis uvedly, že je povolen pouze „respektující obsah“ s tím, že „výslovné násilí“ a nenávistné projevy jsou zakázány. „Pornografie dětí a jakékoli další nezákonné činnosti jsou na Gennomis přísně zakázány,“ přečetla její pokyny pro komunitu a uvádějí, že účty zakázané obsah budou ukončeny. (Vědci, obhájci obětí, novináři, technologické společnosti a další z velké části vyřadili frázi „dětská pornografie“ ve prospěch CSAM za poslední desetiletí).
Není jasné, do jaké míry Gennomis používá jakékoli nástroje nebo systémy moderování k prevenci nebo zakazující vytvoření CSAM generovaného AI. Někteří uživatelé v loňském roce zveřejnili na své stránce „komunity“, že nemohli generovat obrázky lidí, kteří mají sex, a že jejich výzvy byly blokovány pro nesexuální „temné humor“. Další účet zveřejněný na stránce komunity, který by měl být řešen obsah „NSFW“, protože „by se na něj mohl dívat“.
„Kdybych mohl vidět ty obrázky s ničím jiným než URL, ukazuje mi to, že nepokojí všechny potřebné kroky k blokování tohoto obsahu,“ tvrdí Fowler z databáze.
Henry Ajder, odborník na Deepfake a zakladatel poradenství v oblasti poradenství Latent Space Advisory, říká, že i když se společnost nevolává vytvoření škodlivého a nelegálního obsahu, což není povoleno „bez bezpečnostního obsahu bez bezpečnostního obsahu.“
Ajder říká, že je překvapen, že webová stránka anglického jazyka byla spojena s jihokorejskou entitou. V loňském roce byla země sužována nekonsensuálním „nouzovým“ nouzovým filmem, který se zaměřil na dívky, než přijala opatření k boji proti vlnu zneužívání hlubokého. Ajder říká, že je třeba vyvíjet větší tlak na všechny části ekosystému, který umožňuje generovat nekonsensuální snímky pomocí AI. „Čím více toho vidíme, tím více nutí otázku zákonodárcům, na technické platformy, na webové hostingové společnosti, na poskytovatele plateb. Všichni lidé, kteří v nějaké formě v nějaké formě, vědomě nebo jinak – nejvíce nevědomky – usnadňují a umožňují tomu, aby se to stalo,“ říká.
Fowler říká, že databáze také exponované soubory, které vypadaly, že obsahují výzvy AI. Do exponovaných údajů nebyla zahrnuta žádná uživatelská data, jako jsou přihlášení nebo uživatelská jména, říká výzkumník. Screenshoty výzev ukazují použití slov jako „drobná“, „dívka“ a odkazy na sexuální činy mezi členy rodiny. Výzvy také obsahovaly sexuální činy mezi celebritami.
„Zdá se mi, že technologie závodila před jakýmkoli pokyny nebo kontrolami,“ říká Fowler. „Z právního hlediska všichni víme, že dítě explicitní obrazy jsou nezákonné, ale to nezabránilo technologii, aby tyto obrázky vytvořila.“
Vzhledem k tomu, že generativní systémy AI výrazně vylepšily, jak snadné je vytvářet a modifikovat obrázky v posledních dvou letech, došlo k explozi CSAM generovaného AI. „Webové stránky obsahující materiál sexuálního zneužívání dětí generovaného AI mají od roku 2023 více než čtyřnásobné a fotorealismus tohoto strašného obsahu také v sofistikovanosti vyskočil, říká Derek Ray-Hill, prozatímní generální ředitel Foundation Internet Watch Foundation (IWF), britské neziskové organizace, která se zabývá online CSAM.
IWF zdokumentoval, jak zločinci stále více vytvářejí CSAM generovaný AI a vyvíjejí metody, které používají k jeho vytvoření. „V současné době je pro zločince příliš snadné používat AI k generování a distribuci sexuálně explicitního obsahu dětí v měřítku a rychlostí,“ říká Ray-Hill.
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
