- Výzkumník Jacob Coxon opustil Anthropic a obvinil firmu i konkurenční OpenAI, že v závodě o sebezdokonalující se umělou inteligenci „hazardují s našimi životy“
- Firemní expert na bezpečnost Evan Hubinger mu dal za pravdu a riziko vyhynutí lidstva kvůli AI odhadl na víc než 10 % v příštích deseti letech
- Anthropic podle vlastních slov zatím nemá plán, jak zajistit bezpečnost umělé inteligence schopné sama sebe vylepšovat
Jacob Coxon, který poslední tři roky strávil pretrainingovým výzkumem nejprve v OpenAI a pak v Anthropicu, v úterý 8. září oznámil odchod z firmy. Jako první o tom informoval deník The Wall Street Journal, krátce nato se Coxon rozepsal na síti X. Napsal, že žádná z firem se nechová zodpovědně a že obě „se řítí přímo k sebezdokonalující se superinteligenci a hazardují s našimi životy“. Pár hodin nato mu dal za pravdu Evan Hubinger, který v Anthropicu vede tým Alignment Stress-Testing zaměřený na prověřování bezpečnostních opatření.
ℹ️ Stačí jeden klik! Přidejte si nás mezi mezi preferované weby, případně nás sledujte v Google Zprávách, nebo na Seznam.cz
Stroje, co dokážou hacknout cokoliv
Podle Coxona ti, kdo AI skutečně vyvíjejí, věří, že by je mohla do konce dekády doslova zabít. „Tohle není marketingový tah. Vedení firem i senior výzkumníci svoje výroky pro média sice zjemňují, soukromě ale mluví jinak,“ napsal na X. Podle něj žádná jiná lidská činnost nepředstavuje srovnatelné nebezpečí a brzy se prý objeví „nadlidské systémy, které dokážou hacknout cokoliv, přes noc změnit celý obor a získat reálnou moc i zdroje“.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Podle Coxona spočívá hlavní rozdíl mezi oběma firmami v tom, jak moc si tam riziko lidé uvědomují. V OpenAI ho prý zaměstnanci plně nepochopili, v Anthropicu ano. Firma se ale přesto řídí logikou, že pokud nepůjde vpřed sama, udělá to za ni méně opatrná konkurence, a tak v závodě pokračuje navzdory riziku. Což je ostatně nešvar všech klíčových AI firem.
Kolega dal za pravdu, plán ale chybí
Hubinger Coxonovi na X odpověděl bez váhání: „Jacob má pravdu – opravdu upřímně věříme, že by AI mohla zabít všechny lidi. Osobně to odhaduju na víc než 10 % v příštích deseti letech.“ Dodal, že se Anthropic sice snaží ze všech sil, ale plán, jak u tzv. superinteligentních systémů vyřešit alignment, tedy soulad jejich chování s lidskými hodnotami, zatím nemá a ani se k němu jasně neblíží.
To be clear, as we say in our latest Risk Report (https://t.co/9PDj8Uvoty), I think the risk from present models is low. What I am worried about is superintelligence arising from recursive self-improvement, as we have said is happening faster than we thought…
— Evan Hubinger (@EvanHub) September 9, 2026
V navazujícím příspěvku riziko trochu zmírnil. U současných modelů je podle něj nízké. Obavy mu dělá především scénář, kdy AI začne sama sebe vylepšovat bez zásahu člověka: „Rekurzivní sebezdokonalování se děje rychleji, než jsme čekali.“ Podobné varování ostatně Anthropic zveřejnil už v červnu v textu „When AI Builds Itself“. Firma v něm napsala, že plně rekurzivní sebezdokonalování by mohlo zvýšit riziko ztráty lidské kontroly nad AI systémy, a navrhla, aby si laboratoře v koordinaci s konkurencí nechaly otevřenou možnost vývoj dočasně pozastavit.
Odchody uprostřed honby za miliardami
Anthropic i OpenAI se přitom chystají na vstup na burzu a shánějí na vývoj další miliardy. Kritici v této souvislosti upozorňují, že zdůrazňování existenčního rizika se firmám hodí i obchodně. Může totiž nahrávat regulaci, ze které by nakonec profitovaly hlavně už zavedené laboratoře jako ony samy. Anthropic se k odchodu Coxona oficiálně nevyjádřil, na dotazy redakcí zatím odkazuje na Hubingerův doplňující příspěvek.
Coxon podle svých slov skončil s AI úplně. Jestli má pravdu, nebo jde o další z řady dramatických odchodů, které v poslední době provázejí americké AI laboratoře, ukáže čas – jistí si tím totiž nejsou ani firmy samotné.
