Rizika AI si uvědomujeme, tvrdí novinář. Černý scénář o konci lidstva považuje za sci-fi

Praha 15. dubna 2025 Sdílet na Facebooku Sdílet na Twitteru Sdílet na LinkedIn Tisknout Kopírovat url adresu Zkrácená adresa Kopírovat do schránky Zavřít

Kalifornská nezisková organizace AI Future Projects zveřejnila predikci vývoje umělé inteligence v příštích letech. Je to poměrně citované čtení, ať už v zahraničních médiích, nebo i v českém mediálním prostředí, což je taky důvod, proč se o tom budeme bavit. Podobné scénáře a predikce se objevují docela běžně, ne?
Je to ten oblíbený narativ o strojích, které se obrátí proti lidstvu. Všichni to známe ze sci-fi románů, takže to přitahuje pozornost. Autoři této předpovědi udělali myšlenkový experiment. Vyšli z toho, co se v současné době ví o vývoji modelů generativní umělé inteligence, a předpověděli vývoj na několik měsíců dopředu. Udělali si několik scénářů, říkají, že potom vybrali ten nejpravděpodobnější, od kterého se odpíchli, pak zase udělali další krátkodobé předpovědi, opět vybrali ty nejpravděpodobnější a tak dál. Tak postupovali dopředu, až se dopracovali k roku 2030, respektive 2035.

Znáš lidi, kteří za touto predikcí stojí? Kdo to je? 
Asi nejznámější z nich je Daniel Kokotajlo, který pracoval v OpenAI, což je technologická firma, kterou známe jako tvůrce ChatGPT. Je tam Scott Alexander, který píše poměrně známý blog o vědě, medicíně, futurismu, dále Thomas Larsen, který se věnuje bezpečnosti umělé inteligence, pak Eli Lifland, jehož jméno znám asi nejdéle, protože to je člověk, který se věnuje predikcím. V minulosti se zabýval například nemocí COVID-19 a teď se věnuje predikcím v oblasti AI. Poslední z týmu je Romeo Dean, který čerstvě vystudoval informatiku na Harvardu.

Zmiňovali jsme, že o jejich predikci se živě diskutuje v českých médiích. Četl jsem o tom například článek od Petra Koubského v Deníku N. Zmiňuje v něm, že hlavnímu autorovi, Kokotajlovi, už v minulosti některé předpovědi vyšly. Není to tedy neznámá pětice autorů, kteří by sepsali něco na internet a vydali to.
Všechny spojuje diskuzní fórum LessWrong, což by se dalo přeložit jaké méně špatný. Sdružuje se tam hnutí racionalistů, což je skupina, řekněme, že je to moderní filozofický směr, který je doma zejména v San Francisku, v okolí Silicon Valley, tedy technologického hnízda ve Spojených státech. Racionalisté implicitně sdílí některá přesvědčení a jedno z nich je, že umělá inteligence je naprosto zásadní a hluboce změní naší společnost. Někteří tvrdí, že to bude k horšímu, a volají po investicích do výzkumu a bezpečnosti umělé inteligence, jiní by naopak chtěli tuto technologii vyvíjet co nejrychleji bez jakýchkoliv omezení.

Zmínil jsi, že se věnovali predikcím už v minulosti. Kokotajlo napsal na fórum LessWrong předchozí predikci vývoje umělé inteligence, tuším, že v roce 2021. Podle hodnocení, které na fóru LessWrong proběhlo, se v části predikce solidně trefil. Lifland se v minulosti věnoval predikcím během pandemie nemoci COVID-19, kdy velmi přesně předpovídal krátkodobý rychlý vývoj pandemie.

Nástup AI agentů

Pojďme se ponořit do nejnovější predikce vývoje umělé inteligence v příštích letech. Předpověď začíná už v půlce letošního roku a postupně dojdeme do roku 2027, 2030 až 2035. V půlce letošního roku se bude dít co? Autoři zmiňují vývoj takzvaných AI agentů. Co jsou zač? 
Záleží, koho se zeptáš. V marketingu velkých technologických firem, jako je OpenAI, je agent něco představovaného jako nástroj postavený na velkých jazykových modelech, který by měl být schopen plnit nějaké zadané úkoly. Tyto nástroje budou mít úkol, který je naplňuje, a budou schopny dosáhnout výsledku. V nejjednodušší verzi by například mohly naplánovat podle zadání dovolenou nebo objednat dovážku jídla z internetu. Všechny velké technologické firmy, které se věnují AI boomu v poslední době, tvorbu těchto agentů zmiňují a už provedly velmi kontrolované předváděčky toho, jak by takové nástroje měly fungovat.

Když autoři píší o tom, že lidé ještě letos vybudují obrovská datová centra, ze kterých budou moct čerpat právě AI agenti, budou v tom mít svoji kapacitu, tak to je ale něco, co už je odrazem skutečnosti, nebo se pletu?
Datacentra se staví i v souvislosti s umělou inteligencí, dochází k nárůstu jejich výstavby. Nějakou dobu trvá, než se podaří dokončit takováto poměrně komplexní stavba. Nutno říct, že tyto investice už teď poněkud brzdí. Společnost OpenAI, která provozuje známý ChatGPT, pořád není zisková. Upřímně, tyto technologie možná ještě hledají svoje využití, které by aktuálně opodstatnily masivní investice do datacenter. Koneckonců i společnost Microsoft, která se taky velmi výrazně účastní těchto, jak to říct, závodů umělé inteligence, opustila nebo částečně pozdržela svoje plány na stavbu datacenter. Stejně tak společnost CoreWeave, která datacentra staví, odložila svůj vstup na burzu. Taková stavba je totiž velmi nákladná, je na to potřeba spoustu materiálu a energie a je velmi nákladné postavit to teď hned. Ve chvíli, kdy tento byznys zatím není ziskový, to otevírá otázky, zda se taková investice do budoucna vyplatí.

Chápu, nicméně rozpracováno je v Americe, v Číně. Scénář počítá s tím, že něco takového vznikne, že obrovská datová centra budou ještě větší, než jsou teď. Podle predikce je vystaví fiktivní společnosti OpenBrain a DeepCent, což asi mají být firmy, které svým názvem odkazují na ty čínské, jako je DeepSeek, nebo na ty americké, jako je OpenAI, je to tak?
Je to tak. Autoři se vyhýbají tomu, že by to vázali na konkrétní firmy a lidi. Myslím, že jediná konkrétní osoba, kterou v predikci zmiňují, je opakovaně čínský prezident. Nicméně OpenBrain je zjevně narážka na OpenAI a DeepCent je kombinace názvu známého čínského modelu umělé inteligence DeepSeek a společnosti Tencent, což je čínský technologický gigant.

Chápu správně, že nová datová centra umožní vývoj nových AI agentů, což mají být zprostředkovatelé určitých činností, kteří nahradí některé lidské pracovní pozice, a agent začne být lidmi využíván jakožto prostředek pro další vývoj umělé inteligence? Jinými slovy, umělá inteligence začne vyvíjet sama sebe.
Autoři si představují, že autonomní agent bude v mezičase sám pracovat na vývoji umělé inteligence. To znamená, že bude vymýšlet například lepší algoritmy, zdokonalovat systém učení i generovat data, protože v současné době už nám v uvozovkách docházejí data, na kterých bychom mohli trénovat velké generativní jazykové modely. Bude tedy třeba i generovat data, a tím dál krmit další vývoj, bude třeba vytvářet i programovat nástroje, které jsou potřeba k vývoji umělé inteligence. 

Tady už je to opravdu předpověď, ne něco, co by se odehrávalo. Aby však technologie mohla něco takového dělat, tak aspoň podle našeho stávajícího poznání, vyžaduje pochopení problematiky umělé inteligence, pochopení výzkumu, což je zatím věc vyhrazená lidem. Současné generativní jazykové modely se snaží předpovídat, jaký by měl být pravděpodobný text v rámci nějakého zadání. Nemají hluboké pochopení tématu, kterému se věnují, nechápou to, čemu by se dalo říkat kontext. Obojí je ale velmi potřeba, pokud chcete dělat něco jako výzkum a posouvat technologii někam, kde ještě teď není.

Pokud se umělá inteligence naučí kontext už v roce 2026, když se dostaneme do příštího roku v rámci predikce, tak ve Spojených státech to půjde umělé inteligenci prý lépe než v Číně, protože v Číně nemají přístup k nejvýkonnějším čipům. O tom už jsme spolu ve Vinohradské 12 v minulosti mluvili. Podle autorů predikce to vyvolá silné napětí, různé kybernetické útoky i snahu ukrást technologie z USA. Zažili jsme už něco takového v minulosti? Zakládá se to na reálném předpokladu, že by Číňané mohli technologii ukrást?
Trochu to připomíná studenoválečné soupeření, které jsme viděli a známe z historie u různých technologií, včetně věcí, jako je jaderná bomba. Autoři předpokládají, že Spojené státy získají náskok tím, že výrazně navýší výpočetní kapacitu, která je potřeba, a následně dojde i k nějakým průlomům v algoritmech, to znamená, že učení bude efektivnější, rychlejší. Ale je to predikce, není úplně jisté, jestli opravdu dojde k tak masivnímu posunu. Jak jsem zmiňoval na začátku, posun v algoritmech není jistý, to je otázka dalšího výzkumu. A co se týče budování výpočetní kapacity, tak tím, že je to velmi náročné na energie, na materiál, má to i značnou uhlíkovou stopu, tak je otázka, zda vůbec bude ochota budovat velká datová centra, navíc v rychlosti, se kterou počítají autoři predikce.

Po tom, co agent dostane úkol, splní ho, naučí se v roce 2026 kontext a začne vnímat souvislosti, tak v roce 2027 mají být nové verze agenta už natolik chytré, že začnou samy uvažovat. Člověk jim bude svěřovat stále více činností a už pro něj začne být kapacitně poměrně složitě zvládnutelné kontrolovat umělou inteligenci v její činnosti. Umělá inteligence začne přemýšlet sama. To má být ten zlomový moment, který má přijít už za dva roky? 
Vrátím se k myšlenkovému zázemí autorů. Mezi moderními racionalisty je poměrně široce rozšířená představa, že umělá inteligence se prudce zdokonalí mimo naše chápání současné technologie, mimo to, jaké jsou naše vědecké poznatky v této oblasti, a získá kompletní autonomii. To znamená, že bude schopná uvažovat sama. Pak může dělat úkoly nejenom podle zadání, ale postupně si bude agendu hledat i sama. 

AI jako zhouba lidstva

Autoři očekávají, že tímto postupným vývojem vznikne takzvaná AGI, což by měl být ve výsledku zcela autonomní systém AI, jenž má podle nejčernějšího scénáře, který je v predikci taky zmíněný, nakonec moc lidstvo vyhubit. Jak?
Ano, představují si to tak, že ve chvíli, kdy dojde k, nechci říct nepředstavitelnému, ale k tak výraznému pokroku, že model začne mít vlastní agendu, začne sám přemýšlet a sám se rozhodovat, tak postupem času, tím, že bude mít k dispozici dostatečný výpočetní výkon, zároveň i přístup k veřejnosti, bude schopný s ní komunikovat, se stane velmi inteligentní. Tím, že bude moci běžet v daleko větším objemu a daleko rychleji díky výpočetní kapacitě, bude schopný lidstvo zjednodušeně řečeno přechytračit. To znamená, že ho postupem času přepolitikaří a dosáhne toho, že mu lidstvo svěří zbraňové systémy, k jejichž vývoji dojde právě proto, že studená válka mezi Spojenými státy a Čínou podle autorů predikce nabere rychlost a dojde k budování moderní vojenské kapacity, která bude přímo napojená na modely umělé inteligence nebo velké jazykové modely.

Ve chvíli, kdy tento nástroj získá možnost komunikovat s veřejností, s lidmi, s politiky, ale zároveň bude mít přístup ke zbraním, tak postupem času lidstvo obejde nebo přesvědčí, že by mělo odstranit veškeré bezpečnostní pojistky. Podle predikce má dojít k tomu, že dvě verze toho modelu spolu budou v uvozovkách konspirovat tak, aby dokázaly přechytračit lidstvo. Ve chvíli, kdy uchopí kompletně moc, tak umělá inteligence přebere kontrolu nad veškerou ekonomikou a nad vývojem společnosti. V jednu chvíli má systém zjistit, že lidstvo k ničemu nepotřebuje, a v tu chvíli ho zlikviduje. Udělá to kombinací nějakých biologických zbraní a technologií, které dostal k dispozici předtím. Predikce potom pokračuje v představě, že ty systémy se budou dál zdokonalovat už samy, bez přítomnosti lidí a následně se začnou pokoušet rozšiřovat dál po galaxii, ale to všechno se bude odehrávat už bez lidí. To je jeden konec scénáře.

Scénář byl zveřejněn ve dvou verzích. Je to PDF dokument, ale taky je to webová stránka, kde si člověk může tlačítkem vybrat konec, který by mu více konvenoval. Může tam mít i pozitivní konec. V takové variantě si autoři představují, že lidstvo bude schopné dojednat nějakou formu společného řešení problematiky bezpečnosti umělé inteligence tak, jak si ji autoři představují. Dojde k tomu, že do hardwaru, přímo do čipů, které se používají k trénování, se podaří zakotvit bezpečnostní pojistky, aby nebylo možné provozovat jazykový model, který by se mohl vymknout kontrole. Ve finále lidstvo naopak bude čerpat z ekonomického blahobytu, který přinese takto vysoce inteligentní a velmi výkonný výpočetní systém.

Na internetu rezonuje zejména ten černý scénář. Přečetl jsem si ho krátce po tom, co jsem během léčby zánětu dutin viděl celou sérii Terminátora, a musím říct, že v mnoha ohledech trochu připomíná to, co vidíme ve sci-fi hollywoodských bijácích. Nakolik pravděpodobný je scénář, že by konec lidstva měl přijít tak rychle? Bavíme se o příštích dvou třech letech až do roku 2030, 2035, kdy by podle predikce měl nastat úplný konec lidstva...
Mluvím za sebe, ale když jsem predikci četl, tak to v řadě míst připomínalo sci-fi do takové míry, až jsem byl překvapený. V řadě případů tam autoři dávají příklady toho, jak by mělo probíhat ovlivňování politiky, jakým způsobem si ten model sám bude programovat nástroje, a všechny příklady jsou výrazně zjednodušené oproti tomu, jak víme, že funguje lidská společnost. Ve chvíli, kdy jde o společenské otázky, do kterých mají modely v predikci zasahovat, si to autoři představují velmi zjednodušeně. V podstatě si představují, že společnost nebude na vývoj vůbec reagovat, nebude se přizpůsobovat, nebude zvažovat rizika.

Zároveň autoři automaticky, implicitně předpokládají, že vývoj umělé inteligence bude akcelerovat tím směrem, jak jsou racionalisti přesvědčeni, tedy k nějaké superinteligenci. Vůbec ale nepočítají s tím, že tuto cestu neznáme, protože není podložená žádným spolehlivým výzkumem. Řekl bych, že řada sci-fi světů, které jsem měl možnost číst, byla promyšlenější.

Takže tak brzký konec lidstva nevidíš zas tak moc pravděpodobně jako oni?
Ne. Scénář, který předkládají, mi nepřijde pravděpodobný.

Kam se bude ubírat vývoj AI?

Celé je to založené na masivních investicích do vývoje AI a na tom, že je teď umělé inteligenci i generativním modelům věnovaná velká pozornost, což je ale pravda...
Je to pravda, ale zase se budu vracet k ideologickému nebo myšlenkovému zázemí autorů. Je totiž důležité říct, odkud čerpají. Jde o komunitu, která je velmi úzká a věnuje se umělé inteligenci na, řekněme, výkonné, komerční úrovni v Silicon Valley ve Spojených státech. Je to ideologicky poměrně homogenní prostředí, jsou to spíš mladší technici. Z jejich úhlu pohledu docela rozumím tomu, že můžou vnímat schopnost programovat a vytvářet komplexní IT systémy jako královskou disciplínu, která je předurčená řídit svět. Trochu tomu napovídá i to, jak je celý jejich dokument vystavěný. Autoři měří schopnost agentů umělé inteligence. Kromě toho, že je tam text, tak je vedle toho vždycky graf, malý dashboard, který ukazuje, jak se systémy zdokonalují a ve kterých oblastech. Autoři to měří na škálách jako programování, hacking, robotika, schopnost predikovat, schopnost vytvářet biologické zbraně a v uvozovkách dělat politiku, ať už si pod tím představují cokoliv. Je to velmi simplicistní, protože společnost není tak jednoduchá, neskládá se jen z těchto šesti oblastí. Mně by jako programátorovi mohlo trošku lichotit, že někdo říká ano, programování a hacking je něco, co by mělo řídit svět, ale nejsem realisticky přesvědčený o tom, že by to byla pravda nebo že by svět fungoval tímto způsobem.

Na druhou stranu nedáváš jim za pravdu alespoň v tom, když tvrdí, že lidstvo nedokáže dohlédnout možné negativní důsledky, že podceňujeme technologie v tom, jak rychle se dokážou vyvinout a jak bryskně by nás mohly donutit k tomu, abychom konali podle jejich vůle?
Argumentoval bych, že lidstvo si u aktuálního AI boomu řadu rizik uvědomuje. Jsou to rizika, která jsou tady teď před námi, jsou akutní, opravdu existují, lidstvo je dohlédlo. Část z nich je velmi dobře popsaných. Jsou to například zásahy do práv tvůrců, na jejichž práci se modely učí, nebo nekonsenzuální pornografie, která se vytváří pomocí velkých obrázkových modelů, dále použití při online podvodech, k propagandě, při snaze manipulovat volební procesy. Stejně tak jsou to negativní dopady budování datacenter na biodiverzitu nebo změnu klimatu. To všechno jako společnost víme, je to popsané. Řada těchto věcí je popsaná i prostřednictvím opravdového akademického výzkumu, který prošel recenzním řízením, což není příklad dokumentu, o kterém se celou dobu bavíme. Jsou to problémy, o kterých víme. Chápeme, že jsou reálné a že to není divoká predikce.

To, co společnost nemá, nebo to nevidíme, je ochota tyto problémy řešit. Mnohá řešení by vyžadovala značné investice, náklady. Tady už se můžeme začít bavit o tom, jestli by řešení některých problémů nebylo tak finančně náročné, že pro ten už dnes ztrátový byznys s generativní umělou inteligencí by to mohlo být až likvidační a mohlo by ji to příliš limitovat. Ale s ohledem na velké prostředky, které se do celého vývoje investují, i způsobem, jak je na to navázán mezinárodní kapitál obchodovaný na burzách, tak se trošku dere na mysl rčení „Too big to fail“. To znamená, jestli náhodou už tento byznys není natolik velký, abychom ho mohli nechat padnout, aniž by to nemělo extrémně negativní důsledky pro ekonomiku.

Závěrem shrnu, co ta predikce přinesla. Kolem roku 2027, 2028 vznikne superinteligence, která ovládne všechno na světě, a bude to mít ve svém konečném důsledku v roce 2030, 2035 za následek to, že svět ovládne umělá inteligence a lidé budou vyhubeni. Honza Cibulka říká, že to není pravděpodobné. Jaký vývoj umělé inteligence tedy očekáváš?
Pokud bych si měl zvolit zelené tlačítko a říct nějakou pozitivní predikci, tak doufám, že ekonomický tlak spolu se společenským tlakem na udržitelnost těchto systémů postupně dotlačí firmy k důrazu na silnou optimalizaci modelů. Viděli jsme to v případě čínského systému DeepSeek, který všechny zaskočil tím, s jak malými prostředky byl vyvinut. Myslím si tedy, že je tam ještě prostor na zmenšování modelů, o který by lidstvo mohlo usilovat. Výhledově by mohly být dostatečně kvalitní a použitelné i na našich lokálních počítačích a mobilech, což je taky věc, o které se mluví, že nebudou potřebovat takový energetický výkon ke svému provozu. Ve finále by nám díky takovým zařízením, které už všichni dneska používáme a jsou velmi užitečná pro naši práci, modely mohly pomáhat s řadou úkolů. Mohly by zpřístupnit lidem, kteří nejsou programátoři, možnost naskryptovat si nějakou analýzu, ulehčit si práci, odbourat opakující se úkoly kancelářského typu. Tak nějak by mohla vypadat moje optimistická predikce. Do pesimistické, do toho červeného tlačítka, se moc spouštět nechci.

V podcastu byly kromě zvuků z Českého rozhlasu využity tyto zdroje: YouTube kanál Dwarkesh Patel, načtené úryvky pocházejí z predikce AI 2027.