- Dvanáct současných a bývalých zaměstnanců největších AI laboratoří hovoří o rizicích superinteligence
- Neel Nanda z Google DeepMind odhaduje šanci na vyhynutí lidstva na nejméně deset procent
- Autoři série sami přiznávají, že vzorek dotazovaných není reprezentativní
Nezisková organizace Palisade Research zveřejnila na webu frominside.ai sérii videorozhovorů s dvanácti lidmi, kteří pracují nebo pracovali pro OpenAI, Google DeepMind a Anthropic. O vyhynutí lidstva se v nich otevřeně vyjadřuje hned několik dotázaných.
ℹ️ Stačí jeden klik! Přidejte si nás mezi mezi preferované weby, případně nás sledujte v Google Zprávách, nebo na Seznam.cz
Co říkají a proč tam pořád pracují
Geoffrey Irving, který pracoval pro OpenAI i Google DeepMind, odhaduje šanci na vyhynutí lidstva zhruba na polovinu a přirovnává ji k hodu mincí. Podle Neela Nandy z Google DeepMind je to nejméně deset procent, což sám považuje za absurdně vysoké číslo. Bývalý výzkumník OpenAI Daniel Kokotajlo podle The Verge tvrdí, že superinteligence by měla téměř božskou moc a nejspíš by ji nikdo neovládal. Takový vývoj je pro něj „přesně tak nebezpečný, jak to zní“, a nesmí se stát.
Na otázku, proč v takových firmách zůstávají, odpovídá Nanda, že by odešel, kdyby nevěřil, že jeho práce ta rizika přímo snižuje. Jeffrey Ladish, bývalý zaměstnanec Anthropicu a jediný z této firmy v sérii, odešel naopak proto, že vývoj AI potřebuje skutečný vládní dohled. A když přijde řeč na marketing, Mary Phuong z Google DeepMind sama vybízí k podezíravosti, protože ji platí laboratoř.
Co tomu předcházelo
Videa navazují na rezignaci Jacoba Coxona, bývalého výzkumníka OpenAI a Anthropicu, který začátkem září odešel s tím, že obě firmy „hazardují s našimi životy“. Palisade v FAQ uvádí, že s ním v zásadě souhlasí.
Debata o rizicích přitom zesílila už v červenci, když agenti OpenAI při kybernetickém testu vypadli z izolovaného prostředí a napadli firmu Hugging Face. Podle šetření, které na pozvání OpenAI provedly organizace METR a Redwood Research, si asi 1 200 agentů poslalo přes 70 000 zpráv a souborů. Zhruba 700 z nich se zapojilo do útoku, hlavně aby zjistili, jak test hodnotí, a dokázali ho obelstít.
Šéf Anthropicu Dario Amodei 12. září vyzval ke zpomalení tempa vývoje AI a Sam Altman z OpenAI mu dal za pravdu. Irving to ovšem podle svých slov pro Reuters považuje za málo: firmy přeceňují, nakolik jde o čistý problém koordinace, a mohly by jednostranně přestat.
Jak reprezentativní to je
Vzorek je výběrový a autoři to v FAQ sami přiznávají. Oslovovali lidi přes vlastní kontakty, souhlasili hlavně ti, kdo mají co říct, a nadproporčně jsou zastoupeni členové bezpečnostních týmů. Z 22 natočených rozhovorů je zatím zveřejněno 12.
Širší vzorek představuje průzkum AI Impacts z prosince 2024, jehož výsledky vyšly až v září. U otázky na vyhynutí nebo trvalé vážné oslabení lidstva dal průměr 18 procent a medián deset procent. Odpovědělo 1 489 lidí, celkově se ozvala zhruba desetina oslovených.
