Minulý rok, internet Infrastrukturní firma CloudFlare spustila nástroje, které umožnily svým zákazníkům blokovat škrabky AI. Dnes společnost podnikla svůj boj proti bez povolení a škrábal o několik kroků dále. Ve výchozím nastavení přešel na blokování prohledávání AI pro své zákazníky a postupuje vpřed s programem platů za procházení, který zákazníkům umožňuje účtovat společnosti AI, aby škrábali své webové stránky.
Webové prohledávače po celá desetiletí vlezly na internet. Bez nich by lidé ztratili životně důležité online nástroje, od vyhledávání Google po neocenitelné digitální konzervační práce internetového archivu. Ale boom AI vytvořil odpovídající boomlet ve webových prohledávačích zaměřených na AI a tyto roboti seškrábaly webové stránky s frekvencí, která může napodobit útok DDOS, namáhající servery a klepání webových stránek offline. I když webové stránky zvládnou zvýšenou aktivitu, mnozí nechtějí, aby prohledávače AI škrábaly svůj obsah, zejména zpravodajské publikace, které požadují, aby společnosti AI platily za využití své práce. „Horečně jsme se snažili chránit sebe,“ říká Danielle Coffey, prezidentka a generální ředitelka aliance zpravodajských médií Trade Group, která zastupuje několik tisíc severoamerických prodejen.
Doposud, vedoucí CloudFlare Control, soukromí a mediální produkty, Will, říká Wired, více než 1 milion zákaznických webů aktivovalo své starší nástroje pro blokování AI-bot. Nyní miliony dalších budou mít možnost udržet blokování bota jako výchozí. CloudFlare také říká, že dokáže identifikovat i „stínové“ škrabky, které společnosti AI nejsou zveřejněny. Společnost poznamenala, že používá vlastnickou kombinaci analýzy chování, otisků prstů a strojového učení k klasifikaci a oddělení robotů AI od „dobrých“ robotů.
Široce používaný webový standard s názvem Robots Exclusion Protocol, často implementovaný prostřednictvím souboru Robots.txt, pomáhá vydavatelům blokovat roboty případ od případu, ale poté, co je to legálně vyžadováno, a existuje spousta důkazů, že se některé společnosti AI snaží vyhnout úsilí o blokování jejich šrotrů. „Robots.txt je ignorován,“ říká Coffey. Podle zprávy z licenční platformy Tollbit, která vydavatelům nabízí vlastní trh k vyjednávání se společnostmi AI ohledně přístupu robota, se škrábání AI stále roste – včetně škrábání, které ignoruje roboty.txt. Tollbit zjistil, že více než 26 milionů škrábanců ignorovalo protokol pouze v březnu 2025.
V této souvislosti by posun CloudFlare ve výchozím nastavení mohl být přesun Cloudflare k blokování významného zátarasu k tajným škrabkám a mohl by vydavatelům poskytnout více pákového efektu k vyjednávání, ať už prostřednictvím programu platů za procházení nebo jinak. „To by mohlo dramaticky změnit dynamiku energie. Až do této chvíle společnosti AI nemusely platit za licenční obsah, protože věděli, že to mohou vzít jen bez následků,“ říká generální ředitel Atlantic (a bývalý šéfredaktor šéfredace) Nicholas Thompson. „Nyní budou muset vyjednávat a stane se konkurenční výhodou pro společnosti AI, které dokážou více a lépe zabývat více a lepším vydavateli.“
Podle generálního ředitele a zakladatele Billa Grossa provozuje společnost AI Startup Prorata, která provozuje vyhledávací stroj AI Gist.ai. „Pevně se domníváme, že všichni tvůrci obsahu a vydavatelé by měli být kompenzováni, když je jejich obsah používán v odpovědích AI,“ říká Gross.
Samozřejmě zbývá zjistit, zda se velcí hráči v prostoru AI zúčastní programu, jako je plat za procházení, který je v beta beta. (Cloudflare odmítl pojmenovat současné účastníky.) Společnosti, jako je OpenAI, uzavřely licenční dohody s řadou vydavatelských partnerů, včetně kabelové mateřské společnosti Condé Nast, ale konkrétní podrobnosti o těchto dohodách nebyly zveřejněny, včetně toho, zda se dohoda týká přístupu robota.
Mezitím existuje celý online ekosystém výukových programů o tom, jak se vyhnout nástrojům blokování robotů CloudFlare zaměřené na webové škrabky. Jak se blokování výchozí zavedení, je pravděpodobné, že toto úsilí bude pokračovat. CloudFlare zdůrazňuje, že zákazníci, kteří chtějí nechat roboty, seškrábe zpravodajství, budou schopni vypnout nastavení blokování. „Veškeré blokování je plně volitelné a podle uvážení každého jednotlivého uživatele,“ říká Allen.
Čerpáme z těchto zdrojů: google.com, science.org, newatlas.com, wired.com, pixabay.com
