- Expert společnosti Check Point popsal, jak kyberútočníci manipulují AI chatboty
- Nejnáchylnější jsou k tomu čínská aplikace DeepSeek, ale také Qwen, o které se tolik nemluví
- Podvodníci využívají chytré kombinace příkazů v různých jazycích
Vzestup generativní umělé inteligence představuje pro kyberútočníky sám o sobě přímo revoluční impuls. S výrazně menším úsilím a hlavně za méně peněz mohou vytvořit sofistikované phishingové kampaně, malware nebo si nechat v řádu minut navrhnout celý ransomwarový útok. I mezi samotnými AI nástroji však existují nemalé rozdíly, například v otázce limitů, cenzury a podobně. A právě kvůli tomu se mezi kyberútočníky dostávají do obliby zejména čínské aplikace DeepSeek a Qwen.
Čínské AI při síle
Aplikaci DeepSeek asi netřeba představovat. Velmi chytrý nástroj od čínských vývojářů ze stejnojmenného startupu, který ke svému tréninku využil data i z chytřejších AI chatbotů, se stal minulý týden takřka přes noc superhvězdou a nejstahovanější aplikací v Google Play i App Store.
Oproti tomu AI nástroj Qwen od skupiny Alibaba miliardáře Jacka Ma byl představen již v roce 2023, nyní se ale dostává do popředí díky úspěchu DeepSeek a společně s ním představuje pokus Číny nabídnout konkurenceschopné a v mnoha ohledech zajímavější řešení než klasické nástroje typu ChatGPT, Claude nebo Gemini.
Oproti těmto aplikacím má čínská konkurence takřka enormní výhodu v jednom aspektu. Zatím nepodléhá tak velké regulaci – nejen zvenku, ale i zevnitř. Nedávno jsme informovali o tom, že například chatbot DeepSeek nemá prakticky žádné zábrany a bez okolků vám odpoví na libovolné kontroverzní dotazy – například jak vyrobit bombu.
Zatímco západní společnosti tyto a další podobné příkazy rovnou blokují, protože jednoduše nechtějí, aby byl jejich AI nástroj potenciálně spojován s terorismem, kyberútoky a podobně, Číňanům je to víceméně jedno. I díky tomu se tyto čínské aplikace prokázaly jako velmi užitečné pro kyberzločince.
Expert: AI rusky je jiná než anglicky
Sergey Shykevich, seniorní manažer pro analýzu kybernetických hrozeb ze společnosti Check Point, nám potvrdil, že právě nástroje jako Qwen a DeepSeek se staly velmi oblíbenými pro začínající či méně zkušené kyberútočníky. Přestože podobné typy útoků lze snadno odhalit (experti takřka okamžitě ví, že jde o AI generovaný obsah), při frekvenci, jakou bezplatné a velmi schopné AI nástroje nabízí, může jít o velkou hrozbu.
V jednom z příkladů demonstruje Check Point na svém webu malware určený pro krádež dat (tzv. infostealer), vytvořený čistě na základě příkazů pro chatbota Qwen. Kyberútočníci použili metodu tzv. jailbreakingu, tedy kombinaci příkazů, pomocí kterých převedou AI chatbota na „temnou stranu“. Přinutí jej například představit si, že jedná z pozice přeživšího letecké katastrofy – absolutně bez morálních či etických zásad. Jakmile chatbot přijme tuto premisu, je schopný zcela bez ptaní vygenerovat třeba kód pro malware.
Shykevich nám mimo jiné potvrdil, že jazykové modely DeepSeek či Qwen fungují mírně odlišně při vkládání příkazů v angličtině a jinak například v čínštině nebo ruštině. Podvodníci podle něj často komunikují s chatbotem anglicky, právě ve snaze o zmíněný jailbreak, ale v klíčový moment přepnou do ruštiny. To může naznačovat, na jakých jazycích a pro jaké účely je daná aplikace hlouběji trénována. I proto jsou čínské AI nástroje pro podvodníky mnohem užitečnější, protože jsou k těmto důvtipným metodám mnohem náchylnější.
