- Google představil Genie 4, svůj první světový model, který v reálném čase generuje i zvuk včetně dialogů
- Svět lze za běhu měnit textovými pokyny a děj hlídá Gemini 3.8 Flash
- Jde o výzkumné preview s omezeným přístupem, předplatitelé Google AI Ultra se mají dočkat brzy
Google DeepMind v úterý oznámil Genie 4, nástupce modelu Genie 3. Nový model skládá z textových i obrazových zadání skvěle vypadající interaktivní světy, které lze v reálném čase procházet i upravovat, a firma ho označuje za svůj dosud nejrealističtější a nejinteraktivnější světový model. Širší veřejnost si ho ale zatím bohužel nevyzkouší, protože jde zatím pouze o výzkumné preview pro vybrané testery.
Svět, který poslechne a ještě se ozve
Vytvořený svět lze za běhu upravovat obyčejnou větou. Stačí napsat, aby se změnilo počasí, posunula kamera nebo přibyla postava či předmět, a Gemini pokyn přizpůsobí okolní scéně. Mezi pokyny pak děj sleduje a usměrňuje, aby se svět vyvíjel soudržně.
DeepMind uvádí, že jde o jeho první světový model, který zvuk generuje za chodu, takže hudba, šumění větru nebo příboj vznikají společně s obrazem. Postavy dokonce mluví a reagují na zásahy do scény i na dění kolem sebe.
Gemini sedí v režii
Složitější děje má na starosti Gemini 3.8 Flash. V roli řídicího agenta sleduje generované snímky, rozkládá zadaný cíl na kroky a kontroluje, jestli se podařily, a když do dění zasáhne člověk, plán upraví. Vzhled a chování světa zároveň ukotvuje k realitě Gemini Omni.
DeepMind zkouší spojení i s robotikou. Gemini 4 Argon tam rozepisuje úlohu na kroky, které se Genie 4 předávají jako textové titulky. V ukázce takto společně simulují humanoida Apollo od firmy Apptronik při hře dámy.
Předvizualizace, prototypy a pár háčků
Využití se nabízí v předvizualizaci pro filmaře, prototypování herních nápadů a tréninkových scénářích pro roboty. Filmaři si podle firmy mohou projít živou simulaci scény a zkoušet víc záběrů s jinou kamerou, světlem i dialogy. Herní vývojáři se prý za pár sekund dostanou od nápadu k prototypu, po kterém se dá chodit, a to ještě dřív, než napíšou řádek kódu pro engine.
Jenže DeepMind sám připouští, že model je raný a experimentální. Detaily a stálost objektů se mohou časem posouvat, hlavně u delších simulací, po více složitých úpravách nebo při pohybu po scéně. Souvislá interakce vydrží jen několik minut. Čitelný text se často objeví pouze tehdy, když je přímo v zadání, a přesnost zvuku v reálném čase zůstává předmětem výzkumu. Veškerý obraz i zvuk, který model vygeneruje, ponese nepostřehnutelný vodoznak SynthID.
Genie 4 má brzy dorazit k předplatitelům Google AI Ultra v Project Genie a k partnerům s předčasným přístupem do Gemini API a Google AI Studia. Na pořadník do Project Genie se lze přihlásit už teď, datum spuštění ale firma neupřesnila.
Adam Homola
Další dnešní články
