Umělá inteligence neumí číst hodiny
Tým lidí ze skotské univerzity testoval několik velkých jazykových modelů (a na ně navázaných AI nástrojů) v rozpoznávání času a data z obrázků. Využity přitom byly různé obrázky hodin s arabskými i římskými číslicemi, případně úplně bez čísel, včetně sekundové ručičky i bez ní.
Konkrétně studie pracovala s těmito AI nástroji, mezi nimi: Google Gemini 2.0, Claude 3.5 Sonnet, Llama 3.2 od Meta, Qwen2 od čínské Alibaby a pochopitelně i GPT-4o a GPT-o1 provozované firmou OpenAI.
Mohlo by vás zajímat
AI není všemocná
Výsledek překvapil, protože zatímco všechny zmíněné jazykové modely zvládnou rozpoznat z obrázku zvíře, místo i věc, dokáží provádět náročné programovací činnosti či řešit matematické operace, čas z analogových hodin je pro ně „vyšší dívčí“. Tedy alespoň v některých případech.
Ze studie vyplývá, že AI nástroje přečetly hodiny správně v méně než 25 % případů. Větší potíže měly s hodinami, které zobrazují čas pomocí římských číslic a disponují stylizovanými ručičkami. Nízká úspěšnost rozpoznávání vedla vědce k tomu, že na vině je vteřinová ručička, jenž může umělou inteligenci mást. Jenže to se nepotvrdilo, ani po odstranění se výkonnost nezvýšila.
Zdroj: snímek obrazovky, Jakub Fišer / Chip
Zdroj: snímek obrazovky, Jakub Fišer / Chip
Vyzkoušeli jsme to!
Nejlépe v této disciplíně dopadlo Gemini, které mělo 22% úspěšnost, zatímco všechny ostatní modely zůstaly hluboko pod úrovní 10% úspěšnosti. My sami jsme v redakci tento test několikrát provedli a nutno uznat, že jednoduše zobrazené hodiny snadno poznal Gemini, ChatGPT i Claude, naopak chybu udělal jen nástroj Perplexity.
Zdroj: TechSpot
5 foto
video