- Noční vidění v infračerveném spektru postrádá barvy
- Umělá inteligence dokáže černobílý obraz „vybarvit“, má ale svá omezení
- Nová metoda díky většímu množství vstupních dat docílila vyšší přesnosti predikce
Systémy nočního vidění se používají už desítky let, např. již v 50. letech měli někteří američtí mariňáci v Korejské válce k dispozici jedny z prvních nočních zaměřovačů na bázi umělého infračerveného osvětlení. Od té doby samozřejmě tato technologie doznala výrazných zlepšení. Přístroje pro noční vidění využívající infračerveného spektra jsou dnes výrazně menší i výkonnější a poskytují lepší přehled o pozorované scéně.
Jeden problém však stále zůstává – takto získaný obraz postrádá barvy. To nemusí být takový zádrhel například pro bezpečnostní kamery, ale v mnoha jiných odvětvích už je absence barev poměrně výraznou překážkou v identifikaci objektů. A to se právě rozhodli změnit vědci z University of California Irvine, kteří se pokoušejí černobílé scény s využitím AI „obarvit“. A první výsledky vypadají slibně.
Předvídání barev umělou inteligencí
Lidské oko vnímá světlo přibližně ve spektru vlnové délky 300 až 700 nm. V tomto světelném rozsahu vidíme okem i běžnými kamerami to, čemu říkáme viditelné barevné spektrum. Vlnové délky nad 700 nm pak označujeme jako infračervené, a běžným okem či kamerou je již nevidíme.
Noční vidění využívající infračerveného osvětlení tak funguje na principu, že scénu osvětlí běžnému oku neviditelným infračerveným světlem a obraz pak snímá kamerou s filtrem převádějícím toto spektrum do viditelného obrazu. Jak již bylo řečeno výše, to však vede k tomu, že je výsledný obraz pro člověka jednobarevný.
Samozřejmě nápad tento obraz převést do barevného spektra s využitím umělé inteligence není nikterak nový. Jestliže může umělá inteligence kolorovat historické černobílé snímky, proč by tak nemohla činit u infračervených záběrů? Vysvětlení je ale poměrně jednoduché. Zatímco u snímku ze svatby prababičky nám může být jedno, že umělou inteligencí vybarvená kravata pradědečka neodpovídá barvou realitě, v případě např. vědeckého či vojenského použití už může být realitě neodpovídající barevnost problém.
Logicky vzato, jestliže nám v určité aplikaci nestačí pouze černobílý záběr a potřebujeme barevný, asi nám jde o to, aby barvy pokud možno odpovídaly realitě, nebo se jí alespoň co nejvíce blížily. Z podstaty fungování této metody totiž pochopitelně nikdy nebudeme mít stoprocentní jistotu, že dopočítaná barva se shoduje s realitou. Umělá inteligence zkrátka jen na základě co největšího souboru vzorků předpovídá, jaká barva je v dané scéně nejpravděpodobnější.
Jak odhadnout barvy co nejvěrněji?
Dosavadní experimenty fungovaly tak, že se vzaly dvojice snímků stejné scény pořízené klasickou kamerou a infračervenou kamerou a jednoduše se na nich vytrénovala umělá inteligence, aby u obdobných snímků dokázala provést „obarvení“ už jen na základě naučených dat. A to samozřejmě funguje, nicméně šance na barevnou věrnost není úplně velká.
Kalifornští vědci si lámali hlavu s tím, jak tento proces vylepšit, tak aby produkované výsledky byly bližší realitě. Nakonec došli k závěru, že zlepšit výsledky by mohlo poskytnutí více vstupních dat umělé inteligenci tak, aby měla lepší možnost hledat podobnosti mezi barevnou scénou a jejím černobílým protějškem.
Místo klasického jednokanálového černobílého snímku tak začali pořizovat fotografie v infračerveném spektru ve třech různých exemplářích pod různými vlnovými délkami infračerveného světla. Na základě experimentů byly jako nejvhodnější zvoleny snímky pořízené ve světle vlnové délky 718, 777 a 807 nm. Dále už to bylo vlastně jednoduché. Umělá inteligence se klasicky učila na souboru čtveřic stejných scén, kdy vždy jeden snímek byl klasicky barevný a tři pořízeny v infračerveném spektru.
Snímky kolorované umělou inteligencí na základě více vstupních dat se ukázaly jako jednoznačně věrnější. Vědecký tým experimentuje s více modely, ale obecně vzato se zdá, že barvy jsou opravdu blízko vzorové scéně. Odstíny samozřejmě nejsou zcela identické jako v originále a občas se AI s nějakou barvou úplně netrefí, ale jak i autoři potvrzují, predikce barev jsou prostě ve srovnání s klasickým jednokanálovým vstupem přesnější.
Jsme teprve na začátku
Vědecký tým stojící za tímto výzkumem spatřuje v takto věrném předvídání barev velký potenciál. Kromě vojenských aplikací dle nich přichází v úvahu třeba také nasazení v chemickém průmyslu při práci s látkami citlivými na světlo, nebo v medicíně např. při ošetřování citlivé sítnice oka.
Je však třeba říct, že výzkum je stále na začátku. Experiment probíhal výhradně na tištěných snímcích lidské tváře. Po analyzování 140 vzorků pořízených v obou spektrech dokázala umělá inteligence úspěšně „vybarvit“ dalších 20 snímků tváří jen na základě dat z infračerveného spektra. Lze se domnívat, že obdobně úspěšně bude s dostatečným referenčním vzorkem systém fungovat i u jiných jednodušších scén. Těmi mohou být například rostliny, zvířata, možná architektura atd., zkrátka záběry obsahující relativně omezený soubor objektů. Problém může být ale u velmi komplexních scén, jimiž jsou třeba záběry krajiny či otevřených městských prostranství, kde bude složitější se u jednotlivých objektů strefit do odpovídající barvy. Pro takové použití bude třeba výrazně širší paleta vzorků na vytrénování AI.
Profesor Adrian Hilton z britské University of Surrey v komentáři pro New Scientist tato omezení potvrzuje a upozorňuje také na to, že sebelepší AI vždy bude produkovat jen odhad, byť třeba velmi přesný. Jako příklad scény, s níž bude mít umělá inteligence vždy problém, uvádí zátiší s ovocem, do nějž bude podstrčen modrý banán. Ani s vícekanálovým vstupem výchozí scény nebude zřejmě schopna určit, že tento konkrétní banán má být modrý. A to proto, že na základě dosud analyzovaných scén a jejich kontextu bude „znát“ banán jen jako žlutý objekt.
Dalším problémem je, že navrhovaný systém zatím dokáže zpracovávat jen tři snímky za vteřinu. Aktuálně ho tedy nelze použít pro kolorování scén v reálném čase, byť zrovna urychlení asi problém nebude. Ostatně i autoři studie poukazují na možné způsoby urychlení, ať už optimalizací softwaru nebo výkonnějším hardwarem.
Uvidíme někdy v noci jako ve dne?
Studii je třeba brát jen jako „proof-of-concept“, tedy ověření teorie, že i v infračerveném spektru lze zaznamenat více dat a umožnit tak umělé inteligenci přesnější předpověď barev. Tento cíl byl zjevně naplněn a lze tak očekávat, že s dalším rozvíjením konceptu bude AI schopna věrněji a rychleji „vybarvovat“ i komplexnější scény.
Co ale můžeme označit za konečný cíl? Lze předpokládat, že jednou pomocí přístrojů uvidíme v noci stejně dobře jako ve dne? Pravděpodobně ne. Umělé infračervené osvětlení bude vždy schopno pokrýt jen určitý prostor a ani velmi pokročilá umělá inteligence nebude nikdy schopna se stoprocentní jistotou barvy rekonstruovat.
Na druhou stranu však lze očekávat, že ve srovnání se současnými nazelenalými scénami z kamer s nočním viděním uvidíme v budoucnu mnohem kvalitnější obraz. Bude však nutné se nějak vyrovnat s tím, že předkládaný obraz nemusí odpovídat realitě. Zejména v citlivých vojenských či lékařských aplikacích by se přílišné spoléhání na počítačově dopočítanou barvu mohlo nepěkně vymstít.
