- Desítky kanálů na YouTube využívají umělou inteligenci k tvorbě nevhodných videí pro děti
- Obsah často zahrnuje násilí, fetišismus a zneužívání s populárními animovanými postavami
- YouTube s problémem bojuje, ale rychlost a snadnost tvorby s generativní AI vyhrává
Vyšetřování Wired odhalilo desítky kanálů na YouTube, které pomocí nástrojů generativní umělé inteligence vytvářejí a publikují znepokojivý animovaný obsah cílený na děti. Videa často zobrazují populární postavy, jako jsou Mimoňové nebo kreslené kočky, v násilných, sexuálně podbarvených nebo jinak nevhodných situacích, což vyvolává obavy z nové vlny tzv. Elsagate.
Děti v ohrožení
Elsagate byl fenomén pojmenovaný podle postavy Elsa z filmu Ledové království, tedy jedné z nejpopulárnějších moderních pohádek. V praxi šlo o to, že YouTube zaplavily tisíce videí, které zobrazovaly známé dětské postavy (Elsu, Spider-Mana, prasátko Pepu a nespočet dalších) v podivných, bizarních, násilných, či dokonce sexuálně podbarvených situacích.
Cílem nebylo nic jiného než manipulovat algoritmy YouTube a přilákat dětské diváky k masivnímu generování kliknutí a příjmů z reklam. YouTube tehdy reagovalo rozsáhlými kroky, včetně odstranění reklam, smazání statisíců videí a zrušení stovek účtů. Jenže to bylo tehdy.
Nástup snadno dostupných generativních AI nástrojů teď umožňuje tvorbu podobného obsahu mnohem rychleji, levněji a ve větším měřítku, a především i lidem bez technických dovedností. Tvůrci těchto videí často využívají návody na monetizaci dětského obsahu a obcházejí bezpečnostní filtry AI modelů zadáváním specifických pokynů (promptů).
Nebezpečné kočičky
Wired ve svém pátrání identifikoval mnoho takových kanálů při vyhledávání běžných termínů, jako např. Mimoňové, Mašinka Tomáš nebo roztomilé kočky. Některé kanály, jako například Go Cat s více než 24 000 odběrateli a miliony zhlédnutí, se navenek prezentují jako zábavné kanály pro děti, ale jejich obsah hraničí s bizarním hororovým obsahem a zobrazuje například zmutované Mimoně požírající děti. Jiné kanály se zaměřují na animované kočky, které jsou v příbězích týrány, bity baseballovými pálkami, hladověny nebo nuceny k nepříjemným pracím.
V reakci na zjištění Wired YouTube uvedlo, že „ukončilo provoz dvou nahlášených kanálů pro porušení smluvních podmínek“ a pozastavilo monetizaci tří dalších. Mluvčí YouTube dodal, že řada videí byla odstraněna pro porušení zásad bezpečnosti dětí, a zdůraznil, že veškerý obsah nahraný na platformu podléhá pravidlům komunity a zásadám kvality pro děti, bez ohledu na způsob jeho vzniku. YouTube také tvrdí, že důsledně vymáhá pravidla proti zakládání nových účtů ze strany již zablokovaných uživatelů. Přesto WIRED potvrdil, že některé kanály s problematickým obsahem, včetně zmíněného Go Cat, zůstávají aktivní.
Jak oklamat YouTube
Tvůrci problematických videí často používají zavádějící taktiky k přilákání dětského publika. Ačkoli se obsah nyní objevuje spíše v hlavní aplikaci YouTube než v YouTube Kids (díky změnám pravidel z roku 2019), videa často obsahují zvuky dětského smíchu, jasné barvy připomínající populární dětské pořady (jako Cocomelon) a jsou označována klíčovými slovy jako funnycat, familyfun nebo disneyanimatedmovies, aby se zobrazovala vedle legitimního obsahu.
Problém se přitom neomezuje pouze na YouTube. Podobná „minion gore“ videa, kde AI generátor překryl reálné záběry násilných činů, se objevila i na TikToku. Zástupce TikToku uvedl, že platforma takový obsah zakazuje a podniká kroky k jeho odstranění.
Řešení v nedohlednu?
Že tzv. AI slop, tedy nekvalitní obsah vygenerovaný pomocí umělé inteligence, zaplavuje internet, je zřejmé už několik let. Platformy přitom, zdá se, toho s novou lavinou obsahu dělají pramálo. Na podobně problematická videa lze narazit nejen na YouTube či TikToku, ale prakticky všude, kde se dají přehrávat videa nahraná uživateli.
A nejde přitom jen o videa, AI slopu se nevyhýbá ani Instagram či Facebook a AI texty jsou taktéž, jak se zdá, všudypřítomné. Ostatně třeba Meta tomu jde i oficiálně naproti, kdy s AI účty už experimentovala v minulosti a Zuckerberg veřejně prohlašuje, že AI účty na službách Mety budou a vy se tam s nimi budete moct kamarádit a povídat si. Nová doba, kdy internet začíná být opravdu přeplněný AI slopem, se tak neblíží, je tady. Otázkou je, jestli s tím platformy budou mít vůbec motivaci cokoliv zásadního dělat, nebo se tím vytvoří prostor pro novou sociální síť, která bude postavena jen a pouze na ověřených lidech – a jestli o něco takového mohou mít běžní lidé vůbec zájem.
