- Analytik velitelství speciálních operací nechal chatbota vyhodnotit zpravodajská data o nákladu čínské lodi na Blízkém východě
- Chatbot usoudil, že loď veze součástky pro jaderný program, a zpráva bez dalšího ověření začala kolovat armádou
- Jednotky se chystaly k nalodění a ve vzduchu byla letadla, operaci zastavili až těsně před startem, když někdo zprávu prověřil podrobněji
Americká armáda letos na jaře, uprostřed války s Íránem, málem zahájila vojenskou akci proti čínské lodi na Blízkém východě. Umělá inteligence totiž její náklad mylně spojila s jaderným programem, a analytik zprávu s touto chybnou domněnkou pustil do oběhu bez dalšího ověření. Informovala o tom CNN, která případ zrekonstruovala na základě výpovědí čtyř zdrojů obeznámených s incidentem.
ℹ️ Stačí jeden klik! Přidejte si nás mezi mezi preferované weby, případně nás sledujte v Google Zprávách, nebo na Seznam.cz
Jak vznikla chybná zpráva
Analytik velitelství speciálních operací (SOCOM) měl k dispozici zpravodajské údaje o jejím nákladu, pocházející z havajského velitelství speciálních operací pro Tichomoří (SOCPAC), a nechal je vyhodnotit chatbotem. Ten kombinoval veřejně dostupné informace s tajnými signálovými zpravodajskými daty. Zůstává ale nejasné, jestli šlo o komerčně dostupný nástroj, nebo o software vyvinutý přímo pro americkou vládu.
Chatbot usoudil, že plavidlo veze součástky pro jaderný program. Analytik jeho výstup bez dalšího ověření přepsal do podoby standardní vojenské zpravodajské zprávy, a ta pak kolovala běžnými kanály jako plnohodnotně prověřená informace. Nikdo z příjemců tak neměl důvod pochybovat o jejím původu.
Letadla ve vzduchu, jednotky připravené k nalodění
Hlášení vyvolalo okamžitý poplach. Podle dvou zdrojů CNN se ozbrojení příslušníci americké armády začali připravovat na nalodění na loď a do vzduchu už vzlétla vojenská letadla. Teprve těsně před zahájením operace se někdo rozhodl podklady prověřit důkladněji.
Tehdy vyšlo najevo, že šlo o výstup umělé inteligence a že chatbot náklad lodi identifikoval špatně. Jeden ze zdrojů zprávu pro CNN označil za „naprosto nepravdivou“ a dodal, že „to skoro spustilo válku“. Co loď doopravdy převážela, se stanici zjistit nepodařilo.
Případ podle CNN zpochybňuje i koncept takzvaného human-in-the-loop, tedy že rozhodnutí o nasazení síly vždy prochází kontrolou člověka. Lidé byli do procesu zapojení po celou dobu, přesto se chyba dostala pozoruhodně daleko. Armáda navíc nemá jednotný standard pro ověřování výstupů umělé inteligence napříč jednotlivými složkami, každá si totiž vystačí s vlastními modely a postupy. Podle jednoho zdroje nasazení AI v cílení jednoznačně nabírá na obrátkách, ale chybí jasný návod, jak má člověk v procesu zabránit civilním obětem nebo palbě po vlastních.
Riziko podobných případů přitom podle CNN roste, protože armáda i zpravodajská komunita se snaží AI zapojit hlouběji do analýzy dat i vytipovávání cílů. Spoléhání na chybná data by tak mohlo vést k závažnému chybnému odhadu s reálnými následky, varují zdroje CNN. Jeden z nich to shrnul stručně, umělá inteligence podle něj hlavně umožňuje „dostat se ke špatnému nápadu rychleji“. Reportáž navíc přichází jen několik dní před plánovanou návštěvou čínského prezidenta Si Ťin-pchinga ve Washingtonu, kde by nasazení AI armádami obou zemí mohlo být jedním z témat jednání.
