Algoritmy hlídané systémy sociální péče po celá léta. Teď jsou pod palbou kvůli zaujatosti

„Lidé pobírající sociální příspěvek vyhrazený pro osoby se zdravotním postižením [the Allocation Adulte Handicapé, or AAH] jsou přímo zacíleny proměnnou v algoritmu,“ říká Bastien Le Querrec, právní expert z La Quadrature du Net. „Skóre rizika pro lidi, kteří dostávají AAH a kteří pracují, se zvyšuje.“

Vzhledem k tomu, že má také vyšší skóre u neúplných rodin než u úplných rodin, skupiny argumentují, že nepřímo diskriminuje matky samoživitelky, u kterých je statisticky vyšší pravděpodobnost, že budou pečovat pouze sami. „V kritériích pro verzi algoritmu z roku 2014 je skóre pro příjemce, kteří byli rozvedení méně než 18 měsíců, vyšší,“ říká Le Querrec.

Changer de Cap říká, že se na něj poté, co byl předmětem vyšetřování, obrátily svobodné matky i zdravotně postižení lidé, kteří hledají pomoc.

Agentura CNAF, která má na starosti distribuci finanční pomoci včetně bydlení, invalidity a přídavků na děti, okamžitě neodpověděla na žádost o komentář ani na otázku WIRED, zda se aktuálně používaný algoritmus výrazně změnil od verze z roku 2014.

Stejně jako ve Francii i v jiných evropských zemích skupiny pro lidská práva tvrdí, že členy společnosti s nejnižšími příjmy podrobují intenzivnímu sledování – často s hlubokými důsledky.

Když byly desítky tisíc lidí v Nizozemsku – mnozí z nich z ghanské komunity – falešně obviněni z podvedení systému přídavků na děti, nebylo jim nařízeno pouze vrátit peníze, které podle algoritmu údajně ukradli. Mnoho z nich tvrdí, že jim také zůstaly spirálovité dluhy a zničené ratingy.

Problémem není způsob, jakým byl algoritmus navržen, ale jejich použití v systému sociální péče, říká Soizic Pénicaud, lektor politiky AI na Sciences Po Paris, který dříve pracoval pro francouzskou vládu na transparentnosti algoritmů veřejného sektoru. „Používání algoritmů v kontextu sociální politiky přináší mnohem více rizik než výhod,“ říká. „Neviděl jsem žádný příklad v Evropě nebo ve světě, kde by byly tyto systémy použity s pozitivními výsledky.“

Případ má důsledky i mimo Francii. Očekává se, že algoritmy sociální péče budou prvním testem toho, jak budou nová pravidla EU pro umělou inteligenci vynucována, jakmile vstoupí v platnost v únoru 2025. Od té doby bude „sociální bodování“ – používání systémů umělé inteligence k hodnocení chování lidí a následnému podrobení některých z nich ke škodlivému zacházení — bude zakázáno v celém bloku.

„Mnoho z těchto systémů sociální péče, které toto odhalování podvodů provádějí, může být podle mého názoru v praxi sociálním bodováním,“ říká Matthias Spielkamp, ​​spoluzakladatel neziskové organizace Algorithm Watch. Zástupci veřejného sektoru však s touto definicí pravděpodobně nebudou souhlasit – argumenty o tom, jak tyto systémy definovat, pravděpodobně skončí u soudu. „Myslím, že je to velmi těžká otázka,“ říká Spielkamp.