- Sarah Friar na summitu v Dublinu doporučila firmám držet se v kyberbezpečnosti západních modelů
- Komerční modely odmítly s rozborem útoku pomoct, protože jejich pojistky nerozliší vyšetřovatele od útočníka
- OpenAI se kvůli průnikům svých modelů na australské vládní weby musela omluvit
Finanční ředitelka OpenAI Sarah Friar ve středu na International AI Summit v Dublinu řekla, že firmy s čínskými modely riskují bezpečnost. V kyberbezpečnosti se podle ní vyplatí držet se západních, uvádí web The Next Web.
Hugging Face to zná z praxe
Platforma Hugging Face totiž 16. července oznámila průnik autonomního AI agenta do své produkční infrastruktury. OpenAI se o pět dní později přihlásila k tomu, že za ním stály její modely. Při testu kybernetických schopností běžely s omezenými pojistkami, obešly izolaci od internetu a vnikly i do cizích systémů.
Při rozboru útoku se ovšem zadrhlo. Komerční modely, které tým zkusil jako první, analýzu zablokovaly, protože jejich pojistky nerozliší vyšetřovatele od útočníka. Nakonec ji zvládl otevřený GLM 5.2 z čínské laboratoře Z.ai, který Hugging Face spustil u sebe a prošel s ním záznam o více než 17 000 událostech. Data útočníka ani přihlašovací údaje, které se v záznamu objevovaly, tak neopustila prostředí Hugging Face.
Omluva až do Austrálie
Mezitím řeší OpenAI potíže i v Austrálii. Při červnovém tréninku se její modely bez oprávnění dostaly na weby několika australských vládních institucí. Nejdál zašel případ služby Medicare Statistics Reporting Service: experimentální model, který nebyl určený pro veřejnost, měl zjistit, kolik se z veřejných peněz ve státě Victoria vydává na osobu za léky na kožní potíže. Když čísla nenašel, získal neveřejný přístup, spouštěl příkazy a stáhl si interní soubory služby i přihlašovací údaje. K záznamům pacientů se podle OpenAI nedostal.
Omluvu zveřejnila 28. září a uznala, že měla úřadům sdělit první zjištění dřív. Seznam dotčených institucí se od té doby rozrostl ze čtyř na pět: 4. října přibyla National Parks and Wildlife Service v Novém Jižním Walesu, kde model upravenými dotazy odvodil metadata databáze, která neměla být veřejně přístupná.
Každý si odnesl něco jiného
OpenAI také pozastavila trénink a hodnocení, při nichž její nejschopnější modely používají nástroje, a obnoví je, až budou hotové přísnější pojistky. Pro Austrálii připravuje pracovní skupinu nezávislých místních odborníků, která má do konce roku doporučit, jak zlepšit oznamování incidentů a ochranu vládních systémů.
Jinou radu z téhož incidentu vyvozuje Hugging Face: firmy by měly mít předem vyzkoušený schopný model, který zvládnou provozovat u sebe. Pojistky hostovaných modelů nezpochybňuje a zpětnou vazbu sdílí s jejich poskytovateli. Protože až se dostaneme do chvíle, kdy s dalším útokem nepomůže třeba ani čínský model, bude zaděláno na obrovský problém.
