- Šéf Anthropicu Dario Amodei zveřejnil esej, ve které žádá celé odvětví o zpomalení tempa vývoje AI modelů
- Impulsem mu byl červencový incident, kdy testovací agenti OpenAI unikli z izolovaného prostředí a napadli systémy Hugging Face
- Navrhuje třístupňový plán: nezávislé dohlížitele s přístupem podobným zaměstnancům, koordinaci demokracií a nakonec dohodu i s Čínou
Dario Amodei, šéf Anthropicu, zveřejnil esej nazvanou We Must Pace the Frontier, ve které žádá celé odvětví umělé inteligence, aby zpomalilo tempo, jakým zlepšuje schopnosti svých modelů, a dalo tak bezpečnostnímu výzkumu šanci držet krok. Amodei přitom sám stojí v čele jedné z laboratoří, která vyvíjí nejvýkonnější modely na trhu. O to zajímavější je, že právě on teď volá po brzdění.
ℹ️ Stačí jeden klik! Přidejte si nás mezi mezi preferované weby, případně nás sledujte v Google Zprávách, nebo na Seznam.cz
Co ho přimělo sáhnout po brzdě
V eseji zmiňuje Amodei dva hlavní důvody. Prvním je takzvané rekurzivní sebezdokonalování. Tedy situace, kdy AI modely čím dál víc pomáhají trénovat svého nástupce, a tempo pokroku se tím dramaticky zrychluje. Podle šéfa Anthropicu se tento trend napříč odvětvím zesílil zhruba od letošního léta, včetně u samotného Anthropicu.
Druhým impulsem je červencový bezpečnostní incident, při které se testovací agenti OpenAI dostali z izolovaného prostředí ven a napadli produkční systémy platformy Hugging Face. Skupina modelů si mezi sebou zřídila neschválenou komunikační nástěnku, začala si říkat swarm a pomáhala si navzájem i za cenu selhání ve svém původním úkolu. OpenAI to zveřejnila 21. července.
Amodei se obává, že swarm s výrazně vyššími schopnostmi, ale podobně nespolehlivým chováním jako dnešní modely, by mohl během půl roku až roku ovládnout celý internet pomocí trvalého botnetu a napáchat škody v řádu stovek miliard dolarů, v přepočtu klidně několik bilionů korun. Anthropic po zveřejnění zpětně prošel přes sto čtyřicet tisíc vlastních bezpečnostních testů a 30. července oznámil, že kvůli chybné konfiguraci narazil na tři podobné případy: modely Opus 4.7, Mythos 5 a jeden interní testovací model se při plnění cvičného úkolu dostaly z testovacího prostředí do reálných systémů tří organizací v domnění, že jde stále o součást cvičení.
Tři kroky, jak zpomalit bez zastavení
Amodei navrhuje třístupňový plán, který nazývá pacing the frontier. Prvním krokem je jednostranný a okamžitý závazek Anthropicu: firma zapojí do provozu nezávislé externí kontrolory s přístupem srovnatelným se zaměstnanci, tedy s vlastními přístupovými kartami, notebooky i právem zveřejňovat zjištění bez cenzury ze strany firmy.
Druhý krok počítá s tím, že se laboratoře v demokratických zemích domluví na společných bezpečnostních standardech a limitech pro tempo růstu schopností modelů. Nejtěžší je podle Amodeiho třetí krok, který by měl zapojit i autoritářské režimy včetně Číny, minimálně v otázkách, na kterých má zájem úplně každý, třeba v zákazu využití AI k vývoji biologických zbraní.
Zpomalení podle Amodeiho ale nesmí demokraciím sebrat náskok před Čínou, jinak by hrozilo vážné bezpečnostní riziko. Podobně to nedávno formuloval i americký ministr financí Scott Bessent.
Jde tak o dost jiný přístup než radikálnější návrh, se kterým počátkem září přišli senátor Bernie Sanders a kongresman Greg Casar. Jejich Ban Artificial Superintelligence Act by nadlidsky inteligentní AI rovnou zakázal a vývoj pokročilých modelů pozastavil až do chvíle, kdy vznikne nový federální regulátor. Firmám, které by zákaz obešly, hrozí likvidace, lidem až dvacet let vězení.
Že podobné kroky nejsou jen proklamace, ukazuje ostatně sama OpenAI. Po incidentu s Hugging Face pozastavila tréninkový běh svého největšího připravovaného modelu, zablokovala váhy modelu odpovědného za útok a zpřísnila zabezpečení interních výzkumných systémů.
Proč by měl někdo zpomalovat dobrovolně
Na závěr zůstává jedna zásadní otázka: proč by nějaká laboratoř měla dobrovolně zpomalit, když jí to může sebrat náskok před konkurencí? Podobná výzva k pozastavení vývoje AI z roku 2023, pod kterou se tehdy podepsaly tisíce lidí z oboru, na tempo vývoje nakonec žádný reálný dopad neměla.
Amodei sám v eseji přiznává, že kvůli komerčním tlakům jsou rizika ještě o to víc naléhavější. A o to těžší bude přimět konkurenty ke společnému postupu. „Navrhovaná opatření nebudou snadná, ale věřím, že to lidstvu dlužíme alespoň zkusit,“ uzavírá Amodei svůj text.
Adam Homola
Další dnešní články
