OpenAI v tichosti ukončila provoz experimentálního nástroje AI Classifier, který sloužil k detekci textu psaného umělou inteligencí. Vyřazení z provozu si všiml server Decrypt a bylo oznámeno jen prostřednictvím malé poznámky přidané na oficiální webovou stránku OpenAI AI Classifier.
AI Classifier už nefunguje. Nebyl dostatečně spolehlivý. | Zdroj: screenshot OpenAI.
Jak provozovatel píše, „AI Classifier už není k dispozici kvůli nízké míře přesnosti“. V současné době OpenAI zkoumá efektivnější techniky prokazování původu textu a zavazuje se vyvinout a nasadit mechanismy, které uživatelům umožní zjistit, zda byl zvukový nebo vizuální obsah vytvořen umělou inteligencí.
AI Classifier není spolehlivý
Klasifikátor umělé inteligence byl zprovozněn na začátku roku, kdy se o ChatGPT a možnostech jeho zneužití hodně diskutovalo. Je nutno podotknout, že společnost OpenAI od počátku přiznávala, že její AI Classifier není "plně spolehlivý", protože správně identifikoval pouze 26 % textů napsaných umělou inteligencí jako "pravděpodobně napsané umělou inteligencí" a v 9 % případů nesprávně označil i práce napsané člověkem. A to zkoumaný text musel mít alespoň 1 000 znaků a u textů psaných v jiném jazyce než v angličtině byla spolehlivost ještě nižší.
Vypadá to, že detektory textu napsaného umělou inteligencí, jako je AI Classifier, Turnitin nebo GPTZero, nepracují s dostatečnou přesností, aby se na ně dalo spolehnout. Metodika jejich fungování je spekulativní a neověřená a tyto nástroje by mohly být naopak využity k falešnému obvinění studentů z podvádění.
Je tomu tak proto, že lidé mohou psát stylem podobným modelu umělé inteligence a jazykové modely zase mohou psát podobně jako lidé – pokud jsou k tomu správně vyzváni. ChatGPT lze například jednoduše požádat, aby psal stylem nějakého známého autora.
I samotní učitelé někdy zjistili, že jejich vlastnoručně psaná práce byla označena těmito nástroji jako práce vytvořená umělou inteligencí. Stalo se také, že detektory psaní umělou inteligencí nespravedlivě trestaly autory, pro které angličtina nebyla rodným jazykem, a případně autory s neurodiverzitou.
Stále probíhá výzkum, jehož cílem je zjistit, zda lze text generovaný umělou inteligencí opatřit jakýmsi vodoznakem, ale ukazuje se, že vodoznak textu lze snadno překonat modely umělé inteligence, které výstup parafrázují.
Zdroj : Decrypt, OpenAI, AI Classifier, NYT, GPTZero, Arstechnica
video
