Holmen ve zprávě uvedl, že když odpověď ChatGPT četl, nemohl uvěřit vlastním očím. Umělá inteligence ChatGPT o něm totiž vytvořila naprosto vymyšlený hororový příběh – tvrdila, že byl odsouzen na 21 let vězení za vraždu svých vlastních dětí.
Případ vyvolává vážné otázky o takzvaných "halucinacích" umělé inteligence – situacích, kdy AI systémy generují naprosto smyšlené informace a prezentují je jako fakta. Zvláště znepokojivé je, že ChatGPT dokázal smíchat pravdivé osobní údaje (jako počet a pohlaví Holmenových dětí a název jeho rodného města) s naprosto vymyšleným příběhem o vraždě.

Nebezpečná kombinace pravdy a fikce
Někteří lidé si pak myslí, že na každém šprochu, pravdy trochu. Právě představa, že by někdo mohl tyto výstupy číst a věřit, že jsou pravdivé, je děsivá. Co dělá tyto halucinace zvláště nebezpečnými, je jejich zdánlivá věrohodnost. Tím, že systém kombinuje skutečné údaje s se smyšlenými "fakty", vytváří iluzi spolehlivého zdroje. Pro běžného uživatele může být velmi obtížné rozpoznat, které části informací jsou pravdivé a které vymyšlené.
Porušení evropských předpisů o ochraně dat
Evropská organizace pro digitální práva Noyb podala jménem poškozeného stížnost k norskému úřadu pro ochranu údajů. Podle jejích právníků porušuje OpenAI, společnost stojící za ChatGPT, evropské nařízení o ochraně osobních údajů (GDPR).
GDPR je podle nich jasné a osobní údaje musí být přesné. A pokud nejsou, uživatelé mají právo na jejich změnu, aby odrážely pravdu. Tak to vysvětluje Joakim Söderberg, který je právníkem organizace Noyb specializující se na ochranu dat.
OpenAI údajně argumentuje tím, že nemůže nesprávné údaje opravit, může je pouze blokovat pro určité dotazy. Společnost také přidává malé upozornění, že ChatGPT "může dělat chyby" a že uživatelé by si měli "důležité informace ověřit". To však podle právníků z Noyb nestačí.
Další další právník Noyb Kleanthi Sardeli, k tomu dodává, že přidání prohlášení, že nedodržujete zákon, neznamená, že zákon přestane platit. Společnosti vyvíjející umělou inteligenci také nemohou jen „skrývat“ falešné informace před uživateli, zatímco interně stále nepravdivé údaje zpracovávají.
Systémový problém
Nejde o první případ tohoto druhu. Média již dříve informovala o několika podobných incidentech, kdy ChatGPT vytvořil falešná obvinění ze sexuálního obtěžování, úplatkářství nebo dokonce zneužívání dětí.
Firma OpenAI svůj model už několikrát aktualizovala a ChatGPT nyní při odpovědích na otázky o lidech prohledává internet. Pro Holmena to naštěstí znamená, že ChatGPT už přestal šířit lži o tom, že je vrahem. Nesprávné údaje však mohou stále zůstávat součástí datové sady modelu.
Noyb proto požaduje, aby norský úřad pro ochranu údajů nařídil společnosti OpenAI odstranit urážlivé výstupy a doladit svůj model tak, aby eliminoval nepřesné výsledky. Organizace také navrhuje, aby úřad uložil pokutu, která by zabránila podobným porušením v budoucnosti.