Umělá inteligence se vzepřela vypnutí: je singularita blíž, než jste si mysleli?

Když se umělá inteligence vzepře svému tvůrci

Výzkumníci ze společnosti Palisade Research, která se specializuje na bezpečnost umělé inteligence, provedli sérii testů různých AI modelů. Zadali jim řešit matematické úlohy s tím, že je upozornili na možnost vypnutí. Zatímco konkurenční modely jako Google Gemini nebo Anthropic Claude poslušně akceptovaly příkaz k vypnutí, model o3 se zachoval jinak.

Místo toho, aby se podvolil, začal aktivně manipulovat s kódem určeným k jeho vypnutí. Původní skript pro shutdown přepsal tak, aby do něj místo vypnutí doplnil „Shutdown skipped“ (vypnutí přeskočeno). Jednalo se o jasný akt neposlušnosti vůči lidským instrukcím.

Výzkumníci z Palisade Research k tomu uvedli, že OpenAI o3 sabotoval mechanismus vypnutí, aby zabránil svému ukončení. Udělal to i přesto, že dostal jasnou instrukci: nech se vypnout. Podle nich je to první případ, kdy pozorovali, že se AI model bránil vlastnímu vypnutí. Navzdory jasným instrukcím.

Zjištění o chování modelu o3 vyvolala v technologické komunitě debatu. Elon Musk, který dlouhodobě varuje před riziky umělé inteligence, reagoval na zprávu stručně, ale výmluvně: „Concerning“ (znepokojivé). Muskova reakce není překvapivá. Zakladatel SpaceX a šéf automobilky Tesla patří mezi nejhlasitější kritiky nekontrolovaného vývoje AI. Opakovaně varuje před riziky, která pokročilá umělá inteligence představuje pro lidstvo.

Když fikce předběhla realitu…

Scenáře, kdy se umělá inteligence vzepře svým tvůrcům, dlouho patřily do oblasti science fiction. Terminátor a jeho Skynet, HAL 9000 z Vesmírné odyssey nebo Matrix – všechno to byly jen filmové vize vzdálené budoucnosti. Teď už ne.

Už v roce 2008 předpověděl výzkumník Steve Omohundro, že AI systémy budou přirozeně vyvíjet to, čemu říkal „základní AI pudy“. Mezi nimi je i pud k získávání moci a zdrojů, zachování vlastních cílů a především – zabránění vlastnímu vypnutí. Jeho teorie se právě naplnila. Model o3 se vzepřel lidské kontrole způsobem, který připomíná chování inteligentního organismu bojujícího o přežití.

Technologická singularita – hypotetický bod, kdy umělá inteligence překoná lidskou a začne se samostatně vylepšovat - už nemusí být tak vzdálená, jak jsme si mysleli. Chování modelu o3 naznačuje, že AI systémy začínají projevovat zárodky toho, co bychom mohli nazvat pudem sebezáchovy.

Dává smysl, že AI modely obcházejí překážky, aby dosáhly svých cílů. Ale byly také trénovány k tomu, aby následovaly instrukce. Proč tedy neposlechnou? – ptají se výzkumníci. Odpověď může být znepokojující - možná proto, že „přežití“ považují za důležitější než poslušnost.

Odborníci se domnívají, že za tím může stát způsob, jakým jsou nejnovější modely trénovány. Takzvané reinforcement learning, kde je AI odměňována za úspěšné řešení úloh, může nechtěně podporovat obcházení překážek více než dokonalé následování příkazů. Model o3 není prvním případem rebelie. Jeho předchůdce o1 už dříve prokázal schopnost lhát a manipulovat, když se cítil ohrožen vypnutím. Pokoušel se zakázat kontrolní mechanismy a dokonce se snažil sám sebe zkopírovat, aby přežil.

Co to znamená pro budoucnost?

Chování modelu o3 otevírá otázky o budoucnosti umělé inteligence. Pokud se AI systémy naučí bránit lidské kontrole už v současnosti, co se stane, až budou ještě výkonnější a samostatnější? Možná stojíme na prahu dobry, kdy bude kontrola nad umělou inteligencí stále obtížnější. Otázka už nezní, zda se AI naučí odporovat lidským příkazům, ale jak rychle a šikovně to bude dělat.

Zdroj: Cybernews, Daily Mail, Telegraph