- Nový režim Guided Vision v Gemini Live čte drobné písmo, hledá předměty a popisuje okolí; když kamera míří vedle, hlasem poradí, kam telefonem pohnout
- Při tréninku pomáhala služba Aira a do testování se zapojilo přes tisíc nevidomých a slabozrakých
- Novinka funguje i česky na kompatibilních telefonech s Androidem 9 nebo novějším; Google ji ale zapíná postupně
- Google zároveň jasně vymezil, k čemu se nehodí: k navigaci, hledání překážek ani jako náhrada bílé hole
Ukázat Gemini okolí přes kameru a zeptat se, co vidí, můžete už od jara 2025. Vidící člověk namíří telefon na neznámou rostlinu nebo na etiketu s drobným písmem a dostane odpověď. Nevidomý ale narazí dřív, než se na cokoli zeptá: neví, jestli má etiketu v záběru, jestli ji nedrží moc blízko, nebo jestli kamera zrovna nesnímá strop.
Tuhle mezeru má zaplnit Guided Vision neboli asistované vidění, nový režim Gemini Live, který Google spustil na začátku října. Gemini v něm popisuje, co kamera zachytí, a navíc člověku průběžně radí, jak telefonem pohnout, aby se to podstatné vůbec dostalo do záběru. Google funkci stavěl hlavně pro nevidomé a slabozraké, zapnout si ji ale může kdokoli.
Telefon, který řekne, kam mířit
Po zapnutí Guided Vision stačí v Gemini Live nasdílet kameru a začít si povídat. Gemini průběžně popisuje, co má před sebou, odpovídá na doplňující otázky a přitom hlídá záběr. Když telefon míří příliš vysoko, je moc blízko nebo trochu stranou, vyzve vás, abyste telefonem pomalu pohnuli doprava, sklopili ho dolů nebo o krok ustoupili.
Gemini Live přitom umělo už dřív ukázat, o čem mluví: s loňskými Pixely 10 začal asistent v hledáčku zvýrazňovat předměty, třeba ten správný nástroj v krabici s nářadím. Vidícímu uživateli to ušetří hledání, nevidomému ale zvýraznění na displeji nic neřekne. Nový režim stejnou informaci předává řečí a přidává k ní radu, jak hledanou věc do záběru vůbec dostat.
Gemini se učilo od lidí, kteří popisují svět nevidomým
Za tím, jak Gemini radí, stojí zkušenosti americké služby Aira. Ta spojuje nevidomé a slabozraké s asistenty, kteří přes kameru jejich telefonu popisují, co mají klienti kolem sebe. Při tréninku Gemini Live pomohla Aira s vizuálním popisem dat v rozsahu desítek tisíc hodin a poslední dva roky spolupracovala s Google DeepMind na projektu Astra, tedy na výzkumu, ze kterého nová funkce vzešla.
Data doplnila zpětná vazba. Přes tisíc nevidomých a slabozrakých členů testovací skupiny Airy zkoušelo model v běžných denních situacích a jejich hlášení zkoumali inženýři Airy, kteří problémy předávali Googlu. Komunitu vedla Lynette Frison, která je sama nevidomá, a podle její zkušenosti se lidé lišili i v tom, jak má dobrý popis znít. Někomu vyhovuje rychlejší řeč, další chce podrobné líčení a jiný by ho nejraději zkrátil.
Specialisté Airy navíc s Googlem nastavovali a hodnotili bezpečnostní mantinely funkce. Popisy, pokyny ke kameře i odpovědi Google ladil s komunitami nevidomých v Indii, Brazílii, Singapuru, Indonésii, Japonsku a dalších zemích, aby zněly přirozeně a srozumitelně.
Od pepře v kořenkách po prací program
Google funkci předvádí na drobných každodenních situacích, kde stačí rychle něco ověřit. Gemini přečte nutriční údaje na obalu, popisky na otočném ovladači pračky nebo jídelní lístek v šeru a text v cizím jazyce rovnou přeloží. Pomůže najít sluchátko, které spadlo na zem, nebo černý pepř v přecpané skříňce s kořením. Na otázku, jestli se pruhovaná košile hodí ke konkrétním kalhotám nebo jakou barvu má bunda, odpoví popisem barev, vzorů a tvarů. V neznámé místnosti umí shrnout, jak je zařízená, nebo vyjmenovat, co leží na stole.
Guided Vision při hledání koření kombinuje obraz z kamery s průběžným rozhovorem (Google / Android)
Rozhovor přitom nekončí první odpovědí. Když vám Gemini pomůže najít v lednici konkrétní kelímek, můžete se rovnou zeptat na datum spotřeby. Gemini se navíc můžete ptát i na význam přečteného textu, třeba který program pračky je určený na vlnu nebo co z jídelního lístku je bez masa.
Guided Vision se může mýlit, a proto se nehodí k navigaci ani hledání překážek a nenahradí bílou hůl. Generativní model obraz interpretuje a může sebejistě popsat i něco, co ve skutečnosti vypadá jinak. Splete-li si Gemini odstín saka, odnese to nanejvýš outfit. Přehlédnutý schod nebo špatně odhadnutá vzdálenost od kraje chodníku už bolí doopravdy.
Jak Guided Vision spustit a kdy se objeví ve vašem telefonu
Funkce běží na telefonech s Androidem 9 a novějším a Google ji nevázal na Pixely. Aplikace Gemini vyžaduje alespoň 2 GB operační paměti a plnohodnotný Android; odlehčený Android Go nepodporuje. Druhou podmínkou je region a jazyk, ve kterých funguje Gemini Live. Česko i čeština ji splňují, protože Gemini Live mluví česky od ledna 2025. Google ale novinku zpřístupňuje postupně, takže ji zatím nemusíte mít ani na telefonu, který požadavky splňuje. Pokud v nastavení Gemini volbu asistovaného vidění nevidíte, funkce pro vás ještě není dostupná.
V aplikaci Gemini klepnete na svou profilovou fotku a v nastavení zapnete možnost „Používat v režimu Live asistované vidění“, pak spustíte Gemini Live a nasdílíte kameru. Pro nevidomé je užitečné hlavně spouštění gestem nebo tlačítky hlasitosti, které si mohou nastavit jako zkratku. V nastavení přístupnosti Androidu, v části „Zraková asistence“ pod položkou „Asistované vidění“, si můžete nastavit zkratku: plovoucí tlačítko přístupnosti, přejetí dvěma prsty od spodního okraje displeje nebo podržení obou tlačítek hlasitosti. Kdo používá čtečku obrazovky TalkBack, otevře její nabídku klepnutím třemi prsty a vybere v ní položku „Asistované vidění“.
Co Google dělá se záběrem a s přepisem rozhovoru
Obraz z kamery putuje ke Googlu, který rozlišuje mezi samotným záběrem a přepisem rozhovoru. Video a zvuk ve výchozím nastavení nepoužívá ke zlepšování svých služeb; takové využití musíte sami povolit v aktivitě aplikací Gemini. Při zapnutém ukládání aktivity se ale do historie ukládají i zvukové a obrazové záznamy. Přepisy rozhovorů navíc slouží ke zlepšování AI modelů a část z nich mohou číst lidští hodnotitelé. V přepisu přitom skončí i to, co vám Gemini nahlas přečte, třeba částka z vyúčtování nebo diagnóza z lékařské zprávy.
Kdo na kameru ukazuje citlivé dokumenty, může ukládání aktivity vypnout. Nové rozhovory se pak v historii neobjeví a k tréninku modelů se nepoužijí, pokud sami neodešlete zpětnou vazbu. Google si je přesto ponechá až 72 hodin kvůli fungování a bezpečnosti služby a může je nechat zkontrolovat lidmi.
Nástroj na rychlé úkoly vedle lidské pomoci
Guided Vision rozšiřuje možnosti, jak mohou nevidomí využít telefon k pomoci v běžném životě. Aplikace Be My Eyes už léta spojuje nevidomé přes videohovor s vidícími dobrovolníky, mezi nimiž jsou i Češi. Nabízí také funkci Be My AI, která popisuje fotografie a odpovídá na doplňující otázky; funguje na Androidu i iOS. Guided Vision je zatím jen pro Android, ale místo práce s jednotlivými fotografiemi nabízí živý rozhovor, při kterém Gemini průběžně radí, kam kamerou mířit.
Majitelé iPhonů s podporou Apple Intelligence zase mají podobnou pomoc v systému: tlačítkem Akce se mohou zeptat na to, co je v hledáčku, a pokračovat doplňujícími otázkami. Čeština ale mezi podporovanými jazyky Apple Intelligence chybí.
Lynette Frison, která testery vedla, uvedla, že Guided Vision bere jako další nástroj vedle lidských asistentů, ne jako jejich náhradu. Na rychlý úkol, kvůli kterému není nutné mluvit s člověkem, podle ní stačí AI, a nevidomým to dává víc samostatnosti. Když potřebujete najít ztracené sluchátko, přečíst složení na sáčku nebo zjistit barvu trička, dává novinka smysl už teď a stejně pomůže i vidícím, kterým drobné písmo splývá před očima.
