Studenti pravděpodobně píší miliony papírů s umělou inteligencí

Studenti zaslali více než 22 milionů prací, které mohly v minulém roce používat generativní umělou inteligenci, ukazují nová data zveřejněná společností Turnitin pro odhalování plagiátů.

Před rokem Turnitin spustil nástroj pro detekci psaní AI, který byl vyškolen na základě papírů napsaných studenty a dalších textů generovaných AI. Od té doby bylo detektorem zkontrolováno více než 200 milionů prací, které napsali převážně studenti středních a vysokých škol. Turnitin zjistil, že 11 procent může obsahovat jazyk psaný umělou inteligencí ve 20 procentech svého obsahu, přičemž 3 procenta z celkového počtu zkontrolovaných článků byla označena za 80 procent nebo více psaní AI. (Turnitin je ve vlastnictví společnosti Advance, která také vlastní Condé Nast, vydavatele WIRED.) Turnitin říká, že jeho detektor má falešnou pozitivitu méně než 1 procento při analýze úplných dokumentů.

Spuštění ChatGPT se setkalo s obavami, že esej třídy angličtiny zemře. Chatbot dokáže syntetizovat informace a destilovat je téměř okamžitě – ale to neznamená, že je vždy dostane správně. Je známo, že generativní umělá inteligence halucinuje, vytváří si vlastní fakta a uvádí akademické odkazy, které ve skutečnosti neexistují. Generativní chatboti s umělou inteligencí byli také přistiženi, jak chrlí neobjektivní text o pohlaví a rase. Navzdory těmto nedostatkům studenti používali chatboty pro výzkum, organizování nápadů a jako ghostwriter. Stopy chatbotů byly dokonce nalezeny v recenzovaných, publikovaných akademických textech.

Učitelé pochopitelně chtějí vést studenty k odpovědnosti za používání generativní umělé inteligence bez povolení nebo zveřejnění. To však vyžaduje spolehlivý způsob, jak dokázat, že v daném úkolu byla použita umělá inteligence. Instruktoři se občas pokoušeli najít vlastní řešení pro odhalování umělé inteligence písemně, pomocí chaotických, nevyzkoušených metod k prosazování pravidel a znepokojujících studenty. Tento problém dále komplikuje skutečnost, že někteří učitelé dokonce při hodnocení používají generativní umělou inteligenci.

Odhalit použití gen AI je složité. Není to tak snadné jako nahlásit plagiát, protože vygenerovaný text je stále původní text. Navíc je tu nuance v tom, jak studenti používají gen AI; někteří mohou požádat chatboty, aby za ně napsali své papíry ve velkých kouscích nebo v plném rozsahu, zatímco jiní mohou používat nástroje jako pomůcku nebo partnera pro brainstorming.

Studenty také neláká pouze ChatGPT a podobné velké jazykové modely. Takzvané slovo spinnery jsou dalším typem softwaru umělé inteligence, který přepisuje text a může učiteli snižovat, že práce byla plagiátem nebo vytvořena umělou inteligencí. Detektor umělé inteligence společnosti Turnitin byl také aktualizován, aby detekoval předení slov, říká Annie Chechitelli, hlavní produktová ředitelka společnosti. Může také označit práci, která byla přepsána službami, jako je kontrola pravopisu Grammarly, která má nyní svůj vlastní generativní nástroj AI. Jak známý software stále více přidává generativní komponenty umělé inteligence, to, co studenti mohou a nemohou používat, se stává stále zmatenějším.

Samotné detekční nástroje mají riziko zkreslení. U studentů anglického jazyka je pravděpodobnější, že je odpálí; studie z roku 2023 zjistila 61,3 procenta falešně pozitivních výsledků při hodnocení zkoušek TOEFL (Test of English as a Foreign Language) se sedmi různými detektory umělé inteligence. Studie nezkoumala Turnitinovu verzi. Společnost tvrdí, že svůj detektor vycvičila na psaní od studentů anglického jazyka i rodilých mluvčích angličtiny. Studie zveřejněná v říjnu zjistila, že Turnitin patřil mezi nejpřesnější ze 16 detektorů jazyků AI v testu, který měl tento nástroj zkoumat vysokoškolské práce a papíry vytvořené AI.