Výzkumníci testovali přesnost vyhledávacího nástroje s podporou AI ChatGPT Search na 200 citacích od 20 různých vydavatelů. Výsledky jsou alarmující - ve 153 případech ChatGPT poskytl částečně nebo zcela nesprávné odpovědi. „Co jsme zjistili, není pro vydavatele zpráv slibné“ uvádějí autoři studie.
Sebejistota AI
Zvláště problematická je sebejistota, s jakou ChatGPT poskytuje nesprávné informace. Pouze v sedmi případech přiznal, že si odpovědí není jistý. Na rozdíl od tradičních vyhledávačů, které u výsledků jasně označí, když nemohou najít přesnou shodu, ChatGPT raději vymyslí falešnou odpověď, než by přiznal svou neschopnost.
„Já, vzhledem ke své profesi, samozřejmě velmi dobře vím, že chatboti mají tendenci halucinovat a vymýšlet si.“ říká Mat Honan, šéfredaktor MIT Tech Review. „Ale také vím, že většina lidí to pravděpodobně neví.“
Další znepokojivé trendy
Studie odhalila i další znepokojivé trendy. ChatGPT někdy cituje plagiátorské weby místo původních zdrojů a při opakovaných dotazech poskytuje různé odpovědi na stejnou otázku. Vydavatelé tak nemají prakticky žádnou kontrolu nad tím, jak je jejich obsah prezentován, a to ani v případě, že mají s OpenAI uzavřenou smlouvu.
OpenAI v reakci na studii uvedla, že šlo o „netypický test produktu“ a zdůraznila, že ChatGPT Search týdně pomáhá 250 milionům uživatelů objevovat kvalitní obsah. Společnost slíbila, že bude na zlepšování výsledků vyhledávání pracovat.
Pro vydavatele zpráv však současná situace představuje vážný problém. Nejenže riskují poškození své reputace nepřesnými citacemi, ale ChatGPT může navíc nevědomky podporovat plagiátorství a odklánět čtenáře od původních zdrojů.1
Zdroj: Columbia Journalism Review