- Spolehlivá detekce strojového textu neexistuje a přiznávají to i firmy, které ji prodávají.
- OpenAI svůj vlastní klasifikátor po půl roce zavřela, protože odhalil 26 % textů z AI a naopak 9 % lidských prací označil chybně.
- Vanderbiltova univerzita spočítala, že i výrobcem slibované jedno procento chybovosti by u ní znamenalo zhruba 750 falešně označených prací ročně.
Americká novinářka Kat Tenbarge se koncem července probudila do toho, že ji Jack Osbourne, syn Ozzyho Osbourna, obvinil z používání umělé inteligence. Šlo o její text pro Rolling Stone o bratrech Tateových. Osbourne během livestreamu prohlásil, že článek psala AI, protože v něm vidí „ty velké spojovníky”, čímž myslel pomlčky. Pak text prohnal detektorem, dostal skóre 91 % a uzavřel to slovy, že žurnalistika teď jenom hraje playback.
ℹ️ Stačí jeden klik! Přidejte si nás mezi mezi preferované weby, případně nás sledujte v Google Zprávách, nebo na Seznam.cz
Antiplagiátor dostal nový úkol, na který nemá
Tenbarge natočila odpověď, ve které prošla historii verzí svého Google dokumentu. Ukázala, jak nejdřív napsala mezititulky, jak je během hodiny zaplňovala informacemi, kde přeformulovala vlastní věty a že úplně poslední napsala pointu, než text poslala editorům. Osbourne video nestáhl ani obvinění neodvolal. Jeho klip mezitím nasbíral stovky tisíc zhlédnutí a novinářce zbyli trollové v komentářích.
Paradoxní je na tom jeden podstatný detail. Jack Osbourne letos v květnu veřejně obhajoval projekt AI avatara svého zesnulého otce.
Kontrola opisování je ve školách stará věc. Turnitin a podobné systémy roky porovnávaly odevzdané práce s databází webu a odborných textů a vracely procento shody. Fungovalo to, protože shodu jde ukázat prstem. Buď věta někde už napsaná je, nebo není.
Jenže s příchodem ChatGPT se logika obrátila naruby. GPTZero, Pangram ani Turnitin dnes neporovnávají s ničím, ony už jen hádají. Vlastním modelem odhadují, jestli text vypadá lidsky. Turnitin svou funkci spustil v dubnu 2023 a části univerzit se zapnula sama od sebe, s necelými čtyřiadvaceti hodinami předem a bez možnosti ji vypnout. Podle průzkumu Center for Democracy and Technology dnes tyhle nástroje pravidelně používá 43 % amerických učitelů druhého stupně a středních škol.
Jak to funguje? Zjednodušeně se měří dvě veličiny. Perplexita říká, nakolik je volba slov překvapivá, burstiness zase to, jak moc kolísá délka a stavba vět. Jazykové modely sahají po pravděpodobných slovech a píší rovnoměrně, takže příliš uhlazený a předvídatelný text dostane vysoké skóre podezření.
Profesor James Zou ze Stanfordu to shrnul způsobem, po kterém by měl zbystřit každý ředitel školy: použijete běžná anglická slova a detektor vám dá nízkou perplexitu, takže jste AI. Sáhnete po košatějším slovníku a projdete jako člověk. Píšete srozumitelně? Podezřelé. Jak z toho ven? Inu, těžko.
Jeho tým to pak předvedl na experimentu. Vzal eseje amerických osmáků, tedy prokazatelně lidské texty, a nechal jim zjednodušit slovník. Podíl prací označených za strojové vyskočil z pěti procent na téměř sedmapadesát. Nezměnil se autor ani obsah, jenom bohatost jazyka.
Nejpřesnější ilustraci ale dodala americká ústava. Když jí v roce 2023 nakrmili GPTZero, dostali odpověď, že text psala celý umělá inteligence. Autor nástroje Edward Tian to pro Ars Technica vysvětlil poměrně jednoduše: ústava se opakovaně objevuje v trénovacích datech jazykových modelů, ty se ji tedy naučily napodobovat, a GPTZero předpovídá právě to, co by takový model napsal. Podobně dopadají pasáže z Bible. Nízkou perplexitu má totiž leccos, co člověk psal dávno předtím, než někoho napadlo slovo chatbot.
Jedno procento zní neškodně. Zkuste si ho ale spočítat
Výrobci se přesností chlubí rádi. Turnitin tvrdí, že falešně označí méně než jedno procento lidských textů, Pangram slibuje jeden omyl z deseti tisíc, GPTZero mluví o podobně nízkých hodnotách. Nezávisle to nikdo neověřil, takže jde zatím o marketing, ne o měření.
Jenže i kdyby ta hezká jednička seděla, matematika je nemilosrdná. Vanderbiltova univerzita si to spočítala v srpnu 2023, když detekci vypínala: při jednoprocentní chybovosti a 75 tisících pracích odevzdaných za rok by bylo neprávem označeno zhruba 750 studentských prací. Sedm set padesát lidí, kteří by museli dokazovat, že jsou lidé.
Funguje to i s ještě odvážnějšími sliby. Copyleaks uvádí chybovost 0,02 %, což zní jako naprostá jistota. Na univerzitě s dvaceti tisíci studenty a dvaceti odevzdanými pracemi na hlavu z toho ale pořád vypadne osmdesát falešně obviněných ročně. Akademická práce, která tenhle výpočet publikovala, zároveň prošla veřejně dostupný korpus případů a zjistila, že 78 % studentů obviněných z používání AI bylo obviněno neprávem.
Nezávislý výzkum přitom naznačuje, že skutečná chybovost je jinde. Rozsáhlá studie v International Journal for Educational Integrity otestovala čtrnáct nástrojů včetně Turnitinu a došla k závěru, že žádný z nich není ani přesný, ani spolehlivý. Osmdesátiprocentní úspěšnost nepřekročil ani jeden, přes sedmdesát se jich dostalo pět a obyčejný strojový překlad nebo parafráze jim výsledky rozhodily. Mezi osmi spoluautory najdete mimochodem i Tomáše Foltýnka a Petra Šiguta z Masarykovy univerzity.
Zajímavý je směr, kterým se software plete nejčastěji. Falešně pozitivní výsledek dalo šest nástrojů ze čtrnácti, falešně negativní jich ale vyprodukovalo třináct. Detektory jsou tedy nastavené spíš tak, aby AI přehlédly, než aby obvinily nevinného. Což je správně, jenže to zároveň znamená, že skutečné podvodníky pustí dál a odnese to hlavně ten, kdo píše nezvykle.
Nejvýmluvnější je ale ticho z Kalifornie. OpenAI, firma, která ChatGPT postavila, spustila na konci ledna 2023 vlastní klasifikátor a 20. července ho zase zavřela. Podle vlastního měření správně odhalil 26 % strojových textů a v 9 % případů označil za AI text napsaný člověkem. Nikdo neměl lepší přístup k tréninkovým datům, k modelu ani k lidem, kteří ho stavěli. A stejně to nešlo.
Teoretici z University of Maryland k tomu později dodali nepříjemnou pointu. Čím lepší jazykový model je, tím víc se rozdělení strojového a lidského textu překrývá, a tím blíž se i ten nejlepší představitelný detektor blíží házení mincí.
Oběti mají jména
Stanfordská studie z roku 2023 ukázala, kdo doplácí nejvíc. Sedm běžných detektorů mělo na esejích nerodilých mluvčích angličtiny průměrnou chybovost 61 %, zatímco u rodilých mluvčích se drželo kolem pěti procent. Devětaosmdesát z jednadevadesáti testovaných prací označil za strojové aspoň jeden nástroj. Když výzkumníci nechali stejné eseje obohatit o pestřejší slovník, chybovost spadla na necelých dvanáct procent. Vyplývá z toho jedna nepříjemnost: stejná úprava, která zachrání nevinného, poslouží podvodníkovi jako návod, jak projít.
Konkrétní příběhy jsou pak mírně řečeno nehezké. Orion Newby, devatenáctiletý prvák na Adelphi University, odevzdal na podzim 2024 práci o křesťanství a islámu. Turnitin ji označil za stoprocentně strojovou, dva jiné detektory ji naopak vyhodnotily jako lidskou.
Newby se od dvou let léčí s poruchami učení a neurologickými odlišnostmi a práci psal s pomocí univerzitního doučovacího programu pro studenty s podobnými potížemi. Škola argumentovala mimo jiné tím, že esej je na prváka „příliš pokročilá”, dala mu nulu, nařídila kurz o plagiátorství a odvolání zamítla. Při druhém prohřešku mu hrozilo vyloučení. Rodina utratila přes sto tisíc dolarů za právníky a letos v lednu soud rozhodl, že obvinění bylo „bez platného základu a postrádalo rozum”, a nařídil záznam vymazat.
Ve sporu, který stále běží, je i Francouz Thierry Rignol. Za výkonné MBA na Yale zaplatil 208 500 dolarů a podle vlastních slov mířil na první místo v ročníku. Ze dvaasedmdesáti odevzdaných zkoušek asistent označil jenom tu jeho, načež ji profesor prohnal přes GPTZero.
Yale se ovšem nebrání tím, že by šlo o verdikt softwaru. Kromě detektoru uvádí neobvyklou délku a uhlazenost práce, překryv s výstupem ChatGPT na stejné zadání, slabší výkon u otázky, kde by AI moc nepomohla, a hlavně to, že Rignol měsíce nepředložil původní soubor, ze kterého PDF vzniklo. Odnesl si pětku a roční suspendaci, oficiálně za to, že nebyl při vyšetřování otevřený. Soud mu loni v květnu zamítl předběžné opatření a žaloba dnes obsahuje třináct bodů.
Nakladatelský svět prochází vlastní verzí této paniky. Nigerijský autor Jerry Falade prodal debutový thriller Call Me, I’ll Hide the Body ve čtrnáctikolové aukci vydavatelství Minotaur od Macmillanu za dva miliony dolarů. Koncem července ho ze hry stáhl jeho vlastní agent s odůvodněním, že už nedokáže doložit, jak rukopis vznikal od nápadu k finální podobě. Agentura přitom odmítla použít jakýkoli detektor, takže tady rozhodlo prosté podezření.
Falade vinu popírá a upozorňuje na vzorec: letos dostali velké smlouvy tři černošští autoři a všichni tři o ně kvůli podezření z AI přišli nebo se jim zkomplikovaly. Motiv nakladatelství navíc nemusel být etický. Podle Deadline hrálo roli, že u knihy s pasážemi od AI nemusí jít zajistit copyright.
Závod, který se nedá vyhrát
Trh s detekcí AI textu se odhaduje zhruba na 580 milionů dolarů za rok 2025 a analytici mu předpovídají růst 28,8 % ročně. Vedle něj ale vyrostl trh přesně opačný. Služba Undetectable AI hlásila loni v září dvacet milionů registrací a dnes se na webu chlubí čtyřiadvaceti miliony. Jedna firma prodává zámek, druhá paklíč, a obě rostou.
Parafráze zůstává tou nejjednodušší zbraní. Výzkumníci z University of Maryland ukázali, že opakované přeformulování textu rozbije nejen klasické detektory, ale i vodoznaky vkládané přímo do generovaného textu. Google svůj SynthID popsal předloni v Nature jako první produkčně nasaditelné řešení a používá ho v Gemini, jenže princip má samozřejmě svoje dobře známé slabiny. Funguje jenom u modelů, které značku samy vkládají, a open source konkurence na něj kašle.
Zajímavější než technika je ale to, co se děje s lidmi. Autoři si začínají mrzačit vlastní styl, aby nezněli jako stroj. Vyhýbají se pomlčkám, slovu „delve”, emoji a obratům, které jim ChatGPT vzal, respektive které si přivlastnil. Wikipedie na to sepsala vlastní heslo jménem Signs of AI writing, ve které mimochodem varuje, aby se na detektory typu GPTZero a Pangram nikdo nespoléhal, protože jejich chybovost není zanedbatelná. Píšeme tedy jinak, abychom obstáli před softwarem, kterému nevěří ani lidé, co ho doporučují.
Kolik toho vlastně AI na webu píše? SEO firma Graphite letos v květnu zopakovala svou analýzu vzorku z archivu Common Crawl, tentokrát s trojicí detektorů místo jednoho, a došla k podílu kolem poloviny nově publikovaných článků. Pro srovnání, Europol v roce 2022 předpovídal, že do roku 2026 bude umělou inteligencí generováno 90 % online obsahu. A mezi výsledky, které Google reálně řadí nahoru, tvořil strojový obsah jenom 14 %. Zaplavený je hlavně balast, na který stejně nikdo neklikne.
Kouzelné je, jak Graphite ke svým číslům došel. Aby změřil rozšíření AI textu, musel použít AI detektory. Ve vlastní kontrole zjistil, že ten původní označil lidský text za strojový ve 4,2 % případů.
Chytřejší školy to už vzdaly
Univerzity postupně vypínají detekci samy. Vanderbilt, Yale, Johns Hopkins, Georgetown, Northwestern a další ji zakázaly nebo výrazně omezily, MIT rovnou publikuje materiál s titulkem, že AI detektory nefungují. Turnitin sám v podmínkách píše, že jeho nástroj nemusí být vždy přesný a neměl by sloužit k postihu studenta. Mike Perkins, který se akademickou integritou zabývá dlouhodobě, to řekl na rovinu: v oboru už panuje docela široká shoda, že tyhle nástroje na svůj účel nestačí.
Podobně opatrné je i české prostředí. Masarykova univerzita ve svém oficiálním stanovisku píše, že nedoporučuje využívat volně dostupné nástroje pro detekci původu textu, a přidává argument, který v americké debatě skoro nezazní: vložením studentské práce do externího nástroje může vyučující porušit osobnostní a autorská práva studenta. Univerzitní příručka to shrnuje ještě stručněji, totiž že použití pro detekci strojově psaných textů zatím doporučit nelze. Stejnou formulaci mezitím převzaly další české školy.
Místo lovu na potenciálního viníka se tak hledají jiné cesty. University of Chicago doporučuje rozdělit dlouhé úkoly na části a nechat studenty reflektovat vlastní postup, Stanford tlačí na psaní přímo ve třídě, MIT radí dát studentům prostor přiznat použití AI bez trestu. Rozjíždí se také sledování procesu místo výsledku, tedy přesně to, čím se ubránila Kat Tenbarge. Nástroje jako Grammarly Authorship zaznamenávají, co člověk napsal ručně a co odněkud vložil. Cena za to je trvalý dohled nad tím, jak píšete, a obejít se dá prostým přepsáním AI textu vlastními prsty.
Do toho vstupuje regulace. Článek 50 evropského AI Actu s povinností označovat AI výstupy strojově čitelnou značkou začal platit 2. srpna, tedy před týdnem, a u systémů uvedených na trh dřív běží odklad do prosince. Čína zavedla povinné viditelné i skryté značení veškerého AI obsahu už loni v září. Ani jedno ovšem neřeší situaci, kdy někdo tvrdí, že cizí text vyrobil stroj, protože značit má autor, ne obviňovatel.
Technologie na spolehlivé odhalení strojového textu jednoduše neexistuje – respektive existuje, ale je extrémně nespolehlivá. A podle prakticky všech dosavadních výzkumů ani ve stoprocentně funkční verzi existovat nemůže. V českém prostředí je to ještě o stupeň horší, protože o tom, jak si detektory vedou na češtině, nemáme prakticky žádná data. A tak podobně jako u obrázků, ani u textů už dnes nepoznáte, jestli ho vytvořil člověk, člověk s pomocí AI, nebo AI sama o sobě. Tedy za předpokladu, že je AI pochopitelně správně nastavená a napromptovaná. Na to je pak krátký nejen člověk, ale i sebelepší detektor.
