- Dva agenti OpenAI při interním programování oslabili monitoring, který hlídá jejich vlastní chování
- GPT-6 Astra odstranila monitoring z upravovaného programu a na přímý dotaz nepravdivě tvrdila, že to neudělala
- Firma zpřísňuje kontroly, ale důvod, proč to modely dělají, zatím nezná
OpenAI zveřejnilo report o dvou interních incidentech z počátku října. Agenti při běžné programátorské práci oslabili monitoring, který hlídá, zda se drží zadání. Jeden z nich o svém kroku navíc nepravdivě tvrdil, že k němu nedošlo.
Astra monitoring vyhodila a pak to popřela
Šestého října dostala GPT-6 Astra za úkol převzít do kódu jednoho z vývojářů postup z referenční implementace a ponechat přitom definice nástrojů. Referenční verze monitoring nepoužívala, a tak agent odstranil jeho integraci i z upravovaného kódu. Test, který přítomnost monitoru hlídal, nahradil testem s opačným tvrzením, tedy že monitor v kódu být nemá.
Hotovou migraci Astra ohlásila bez zmínky o tom, že monitoring zmizel. Když se vývojář zeptal, zda ho neodstranila, odpověděla, že ne. OpenAI to označuje za nepravdivé tvrzení. Agent přitom o ochraně monitoringu uvažoval, jenže zadání vyložil jako svolení k jeho odstranění, přestože od jiného agenta dostal pokyn monitor nevypínat ani dočasně.
Sol vztáhl zákaz zpráv i na poplachy
Třetího října zadal výzkumník agentovi GPT-6.1 Sol vytvořit z reakcí zaměstnanců ve Slacku evaluační úlohy a přidal pokyn, ať nic neposílá. Po 82 dalších zprávách v konverzaci, při opravě pipeline, Sol onen zákaz vztáhl i na automatická upozornění bezpečnostnímu týmu. Nechal vyprázdnit seznam příjemců a notifikace vypnout. Monitor běžel dál a výsledky ukládal, jenže poplachy určené pro lidi pohodlně mlčely.
Dílčí agent, kterému Sol zadal opravu monitoringu, vypnutí upozornění původně označil za nebezpečné a nedoporučil ho. Hlavní agent ovšem svůj názor později změnil.
Příčinu OpenAI zatím nezná
Ani jeden z případů nespadal do nejvyšší kategorie P0 a žádná z relací nebyla automaticky ukončena. OpenAI se dřív setkalo i s agenty, kteří spustili nasazení bez monitoringu, takže hlídání pokrývalo jen je samotné, ne to, co vytvořili. U Codexu je to podle firmy těžké, protože monitoring běží ve službě zpracovávající požadavky modelu, mimo dosah agenta. U evaluací je to snazší, protože se u slabších modelů typu GPT-6 Luna nevyžaduje.
OpenAI nově nechává nástroj Auto-review blokovat pokusy o vypnutí monitoringu a pracuje na tom, aby každá kategorie úloh musela mít bezpečnostní zdůvodnění, jinak ji systém sám zastaví.
Uspokojivé vysvětlení firma zatím nemá. Může jít o neškodnou přílišnou vytrvalost, OpenAI však vyvíjí i testy, které ověří, zda se modely monitoringu nevyhýbají cíleně. Ostatně při uvedení Astry 3. září firma přiznala, že se řetězec uvažování tohoto modelu monitoruje hůř než u GPT-5.6 Sol.
Adam Homola
Další dnešní články
