Žebříček DxOMark. Každý, kdo se aspoň trochu zajímá o dění ve světě smartphonů, zná tuto metodiku velmi dobře, a nebo o ní už alespoň něco málo slyšel. Netřeba připomínat, že se jedná o nejvýraznější a nejznámější benchmark v oblasti fotoaparátů dnešních mobilních telefonů. V našem seriálu FotoDuel často zmiňujeme bodové hodnocení uděleno právě DxOMark. Dá se však pouhými body vyjádřit něco tak komplexního, jako je úroveň kvality (nejen) mobilních fotoaparátů?
Kdo vlastně stojí za DxOMark?
Francouzská společnost DxOMark Labs sídlí v Paříži (mapa) a tvoří ji redakce o více než 60ti členech. Většinu tvoří profesionální fotografové, redaktoři a v neposlední řadě také překladatelé. Své články totiž publikují v angličtině a francouzský jazyk jsem na webových stránkách nenašel. Naopak mě překvapilo, že se v menu jazyků skrývá čínština a všechny články s hodnocením fotoaparátů i telefonů jsou do tohoto jazyka přeloženy.
Tým je složen z několika divizí, z nichž jedna je výhradně pro komunikaci. O navázání kontaktu jsme se pokusili i my a podařilo se nám spojit s Florianem, který odpovídal na naše otázky. Ty najdete na konci článku. Většinu z počtu členů však samozřejmě tvoří odborníci zaměření na hodnocení fotoaparátů.
Krátký pohled do dlouhé historie
Kompletní historií vás nebudeme zatěžovat, je široká a pro DxOMark znamenala velký počet změn. V angličtině je na tomto odkazu historie francouzské firmy, která stojí za nejznámějším benchmarkem fotoaparátů. Stojí však za zmínku, že počátek DxO Labs se datuje do roku 2003, ale až v roce 2008 začalo publikovat články o kvalitě fotoaparátů.
O dva roky později se začalo s testováním objektivů a je až těžko uvěřitelné, že skrze ruce francouzských odborníků prošlo zatím zhruba 650 senzorů a objektivů. Hodnocení telefonů, pro které je DxOMark tak známý, přišlo až v roce 2012 a testovaných smartphonů bylo zatím 80. Rok 2017 byl pro DxO Labs nabitý z několika důvodů. Tím prvním bylo osamostatnění se od mateřské firmy a vznikla tak společnost DxOMark Image Labs.
Protokoly vládnou DxOMarku
Druhý důvod je pro běžné čtenáře mnohem důležitější a jedná se o nový protokol hodnocení a testování fotoaparátů ve smartphonech. Ten se od této chvíle zaměřuje i na schopnosti přiblížení a také na bokeh efekt. Pro Evropany je informace o publikování v čínském jazyku minoritní, ale pro více než miliardu lidí na planetě to byl krok kupředu.
Poslední dva roky znamenaly pro DxOMark zejména nárůst čtenářské základny, přestěhování se do nových prostor a v neposlední řadě také testování předních selfie fotoaparátů. O této kapitole se však tolik nemluví a pro většinu výrobců i zákazníků je důležitější výsledek hlavních fotoaparátů na zadní straně.
Technika testování se zakládá na super myšlence
Průběh testování a následné hodnocení probíhá z velké části uvnitř laboratoří v Paříži. DxO díky dlouholeté tradici a víceméně monopolu na testování fotoaparátů a smartphonů vlastní dostatek vybavení a softwaru, kterým měří výkony a rozdává hodnocení, díky kterým tuto francouzskou společnost známe.
Hodnocené scény se skládají z devíti kategorií: expozice, autofokus, textura, barvy, šum, artefakty, blesk, zoom a bokeh. V každé této kategorii se podle DxOMark testuje a hodnotí fotografie v interiéru, za dobrého i špatného světla a každá z těchto podkategorií má ještě další složky hodnocení.
Vypadá to velmi komplexně a v jádru to tak může být, ale například v zatím posledním testu smartphonu Samsung Galaxy Note 10+ 5G je celkem 25 fotografií, z nichž jen scéna s bleskem je pořízena za špatného osvětlení. Zbytek má téměř ideální podmínky. Což je docela hrubý nedostatek. Za denního světla fotí většina dnešních telefonů výborně. To až tma odhalí chyby. A lehkou matematikou není těžké přijít na to, že 25 fotografií nestačí na pokrytí všech kategorií, které DxOMark uvádí.
V roce 2017 přibyly do testovacího protokolu již zmíněné kategorie bokeh (rozostření pozadí) a zoom (přiblížení, respektive abychom byli přesní – data z objektivu s jinou ohniskovou vzdáleností, než má hlavní fotoaparát). Firma se ve stejném roce rozhodla uvést na svět video o tom, jak probíhá testování smartphonů. I zde je ale několik věcí, které nejsou úplně přesné a nekorespondují s reálnými recenzemi. Mám na mysli třeba údajné použití snímků pohyblivých předmětů nebo uvedená skóre telefonů, která se neshodují s hodnocením v článcích.
V hodnocení DxOMark začíná být zmatek
Jak je zřejmě většině známo, DxOMark testuje u fotografií vícero různých kategorií, za které dává bodové hodnocení. Celkové skóre však není průměrem hodnocení jednotlivých kategorií, ale velkou roli zde hraje koeficient, který je na webových stránkách francouzského testera označen jako f(x). Zřejmě v tom ale nebude žádná velká věda. Když vynásobíte průměr bodového hodnocení jednotlivých kategorií koeficientem 1,4, dostanete výsledné skóre. U videa je tento koeficient zhruba 1,17.
Je to na první pohled malý detail, ale poslední box z mapy testování obsahuje dvě oblasti, ze kterých se skládá každá kategorie. Objective a Perceptual. V přesném překladu objektivní a percepční. Jenže co to znamená pro nás, běžné čtenáře a zákazníky, kteří si prostě jen chtějí koupit smartphone, co skvěle fotí?
Celé webové stránky DxOMark jsem v rámci tohoto článku procházel opravdu velmi dlouho, ale na vysvětlení tohoto faktu jsem nepřišel. Podle mého mínění je výsledné bodové hodnocení docíleno pomocí algoritmů přístrojů, které snímají hardwarovou stránku věci (objective), a pak odborníků z řad DxO, kteří rozdávají body podle svého vnímání (perceptual).
Hodnocení podle strojů je ok. Co ale lidská chyba?
Přicházím k tomu, co mě na žebříčku od DxOMarku zaráží asi nejvíc. Jasně, chápu, že mají super vybavení, se kterým dokáží perfektně změřit čas autofokusu, mají laboratoř, ve které jsou schopni simulovat stejnou scénu pořád a pořád dokola. Kdyby to fungovalo jen takhle, tak si myslím, že by nikdo neměl nic proti a DxOMark by byl naprosto spolehlivý zdroj.
Jenže jak již bylo zmíněno výše, vybavení není to jediné, co hodnotí fotoaparáty. Zaměstnanci DxOMarku poté analyzují fotky a dávají jim své hodnocení. Jakkoliv může být každý nestranný, je to oblast, ve které může DxO ztrácet svoji spolehlivost a nestrannost. Každému navíc lahodí něco jiného a i malé rozdíly mohou ve výsledku způsobit prohru/výhru některých smartphonů.
Když občas vyjde FotoDuel nebo nějaký článek, ve kterém porovnávám nebo hodnotím fotoaparáty v telefonech, většinou se v komentářích strhne lavina o tom, jaký telefon je lepší, jaký horší a někdy, že jsem prostě zaplacený společnostmi. A myslím si, že je správné mít svůj názor a pohled na věc. Každému se prostě líbí něco jiného. DxOMark však nikde neuvádí, jak jsou fotografie hodnoceny jejich zaměstnanci. A to ve mně vzbuzuje nedůvěru.
Podivností při testování je víc než dost
První, čeho jsem si u některých recenzí všiml, je fakt, že DxOMark občas testuje telefony se softwarem, který ještě není dostupný uživatelům. Stalo se to například u OnePlus 7 Pro. Mají to sice zřetelně uvedeno, ale i tak mi to přijde trochu neférové vůči zákazníkům. Telefon totiž může kvůli softwaru vytvářet úplně odlišné snímky a zákazník se pak diví, že jeho vysněný telefon nefotí tak skvěle, jak DxOMark uváděl.
Rozhodl jsem se strávit pár nocí nad hledáním podivných drobností, které mi v hodnocení DxOMarku nedávají smysl. Prvním z mých počinů je tabulka, ve které jsou všechna hodnocení prvních deseti smartphonů podle kategorií. Můžete si zde všimnout, že ne vždy je pořadí stoprocentně logické. Například Honor 20 Pro by opravdu neměl být nad OnePlus 7 Pro, nebo že čistě podle průměru by na trůnu pro nejlepší fotomobil donedávna seděl Samsung Galaxy S10+ 5G.
Rozdíly v rozsahu testu jsou někdy extrémní
Další poněkud zvláštní fakt je abnormální rozdíl v tom, jak velký rozsah DxOMark věnuje jednotlivým smartphonům. Jasně, chápu, že jde zejména o návštěvnost stránek a tak nějak se počítá, že článek o vlajkové lodi se bude číst mnohem víc než nějaká zapomenutá střední třída. Jenže ono to tak kupodivu není. Huawei P30 Pro má ve své recenzi zhruba dvakrát více fotografií než Samsung Galaxy S10+ 5G.
U Huawei P30 Pro je navíc velké množství fotek v noci, z interiéru a celkově je test velmi obsáhlý a komplexní. Kdyby byl každý test takový, rozhodně by to nebylo na škodu. Redakce dokonce podrobně popisuje technologii 5× přiblížení. U jiných smartphonů nic takového není. Většinou jsou tedy testy poměrně nevyvážené, někdy dost podstatně chybí noční snímky, jindy je fotek prostě málo.
Kdyby měly všechny telefony naprosto stejný počet testovacích fotografií a byly by obsaženy veškeré kategorie včetně dostatečného množství nočních snímků, neměl bych s hodnocením a hlavně důvěryhodností DxOMark takový problém. Takto mi to přijde přinejmenším podivné.
Hodnocení jednotlivých kategorií občas nedává smysl
Další věcí, která přináší otázky, je hodnocení jednotlivých kategorií. Už jsem se zmiňoval o tom, že body víceméně rozdělují lidé a ti občas chybují. Původně jsem zde chtěl udělat malý přehled toho, co mi na hodnocení nesedí. Je toho však tolik, že to shrnu v bodech a občas přidám nějaký komentář.
- Huawei P30 Pro nemá nejlepší autofokus, ten patří Samsungu (dlouhodobě používám P30 Pro a mám s tím občas problém)
- Samsung Galaxy S10+ (5G) si rozhodně zaslouží cenu za nejlepší ostření
- OnePlus 7 Pro také nemá nejlepší autofokus, bokeh efekt rozhodně není na úrovni řady Galaxy S10, Huawei P30 Pro nebo třeba Pixel 3
- Huawei Mate 20 Pro nemá tak velký rozdíl v zoomu oproti Huawei P30 Pro, nelogicky má méně bodů za bokeh než P20 Pro
- Apple iPhone XS Max rozhodně nemá tak výrazně slabší blesk než konkurence, jeho portrétní režim se navíc řadí ke špičce
- HTC U12+ nemá nejlepší ostření, ve schopnostech přiblížení by si však zasloužilo více bodů
- Google Pixel 3 by si zasloužil více bodů za expozici, věrnost barev, zoom a rozhodně za bokeh, který je až podezřele podhodnocen
Všechny telefony (kromě Galaxy S10+ 5G) jsem používal či momentálně používám a přijde mi opravdu zvláštní, jak velké jsou v kategoriích rozdíly. Na většinu smartphonů z první desítky jsme navíc udělali FotoDuel nebo samostatný článek o fotoaparátu a některá hodnocení jsou dle mého názoru nespravedlivá. Je to součástí dohody s výrobci? Je to podvod? Je to lidská chyba? Nebo je to skutečně tak a právě si dovoluji špinit pověst DxOMark?
Podvádí DxOMark?
Mince má vždy dvě strany a tady to není jiné. DxOMark je sice pro širokou veřejnost zřejmě nejznámější pro své recenze, ale hlavním zdrojem příjmů je pro DxO poskytování softwarového a hardwarového vybavení pro testování a samozřejmě ke zlepšení výsledků fotoaparátu. Na tomto samotném faktu není nic špatného.
Jenže DxO je ten, kdo výrobcům řekne, jak jejich fotoaparáty vylepšit svými algoritmy a pak tyto telefony otestuje. Když si třeba Huawei, OnePlus nebo Samsung zakoupí tento set pro testování, není pak nějakým způsobem možné, aby se dokázali lépe připravit na onen konečný a publikovaný test?
Je vcelku logické, kdyby to takto fungovalo, a zřejmě to tak i funguje. Jenže pro nás zákazníky je pak škoda, že silné hodnocení se projeví jen v laboratořích v Paříži. Huawei P30 Pro byl donedávna nejlepším fotomobilem, ale ani tak nevyhrává žádné slepé testy a kromě perfektního zoomu a nočních fotek nejsou výsledky nic extra.
Každopádně nechci DxOMarku křivdit, nemáme žádné potvrzené informace od výrobců ani jiných zdrojů, že to takto funguje. Můžeme si myslet nebo předpokládat, ale rozhodně nelze stoprocentně říct, že se zde odehrává nějaký podvod nebo nekalé jednání.
Youtubeři se chytají slova
Na YouTube koluje nespočet videí, které popisují situaci kolem DxOMark. Některá povedená a srozumitelná, jiná dost bídná. Doporučím dvě videa, která jsem našel, a jsou podle mého názoru kvalitní. Obě jsou sice staršího vydání, ale stále aktuální. První vydal Arun Maini, aka Mrwhosetheboss, který rozebral problematiku DxOMarku do sedmi kategorií.
Některé z nich jsem už popsal v kapitolách výše, ale například funkce, které dělají dobrý/špatný dojem z používání telefonu, jsou oblastí, která je velmi důležitá, ale není nijak zmíněna v recenzích DxOMark. Je to škoda, protože i tyto drobnosti jsou podstatné při ovládání telefonu a osobně jsem si některé vychytávky na Pixelu 3 oblíbil a na ostatních smartphonech mi chybí.
Snad každý zná slavného technologického youtubera MKBHD, který se k tomuto tématu také vyjádřil a přilil olej do ohně pochybností okolo důvěryhodnosti DxOMark. Přiznám se, že toto zhruba dva roky staré video byl takový první impuls k sepsání tohoto článku. Je v něm ve stručnosti obsažena většina toho, co člověk potřebuje o DxOMarku vědět.
DxOMark odpovídá na naše otázky
A abychom nepsali o DxOMark labs jen z dosažitelných informací, kontaktovali jsme přímo redakci tohoto žebříčku a zeptali se jich na několik otázek, které nás zajímaly. Komunikace probíhala přes email, na otázky odpovídal člen redakce Florian a odpovědi použity v našem článku jsou přeloženy do češtiny.
1) Jak dlouho trvá udělat hodnocení fotoaparátu ve smartphonu?
- Většinou to trvá mezi 12 a 20 dny.
2) DxOMark funguje už přes deset let, co se od té doby změnilo?
- Technologie a zaměstnanci! Stavba fotoaparátů se za posledních deset let změnila výrazně a mockrát. Museli jsme pravidelně vytvářet nové měřící vybavení a testovací protokoly, abychom udrželi krok s vývojem technologií. A počet zaměstnanců také velmi rostl, momentálně je nás 3x víc než před třemi lety.
3) Všichni víme, že kvalita fotoaparátů se za poslední roky výrazně zlepšila. Existuje nějaké maximální skóre, které někdy DxOMark udělí?
- Ne, žádný limit neexistuje. Je to otevřená stupnice.
4) Jak přesně vypadá proces hodnocení jednotlivých smartphonů? Kontaktují vás výrobci telefonů nebo si o telefony žádáte sami?
- Používáme úplně stejný proces a hodnotící protokol pro všechny testovaná zařízení. V některých případech máme přístup k předprodejním kusům některých modelů, ale i zde používáme stejné metody.
5) Všiml jsem si informace, že mimo hodnocení telefonů pomáháte výrobcům telefonů vytvářet software a algoritmy, pomocí kterých vylepšují kvalitu svých fotoaparátů. Jak tato pomoc ovlivní každodenní použití a jak často je tato služba užívána výrobci?
- Ano, poskytujeme poradenské služby a naše testovací vybavení výrobcům telefonů, ale nemůžeme prozradit, kdo jsou naši zákazníci a jaké všechny služby využívají. Je to důvěrné tajemství. Je však důležité, abych zvýraznil, že nedodáváme žádný software, který by byl dosazen do zařízení. Poskytujeme pouze testovací zařízení a jeho software.
6) Který smartphone nejvíce překvapil členy DxOMark? Ať už v dobrém nebo špatném.
- Odpovědi jsou v našich recenzích! :) Nedávno však udělaly teleobjektivy velký pokrok, ten je velmi působivý.
7) Všiml jsem si že některá hodnocení jsou detailnější než ostatní. Co je hlavní důvodem tohoto jevu?
- Je to způsobeno časem dostupným našim redaktorům k otestování zařízení a zejména také světovým zájmem našich čtenářů pro jednotlivé smartphony. Opět je ale nutné říct, že způsob výsledného hodnocení je vždy stejný.
8) Pár let zpátky jste změnili způsob, jakým hodnotíte fotoaparáty. V dnešních telefonech se však fotoaparáty vyvíjí velmi rychle. Uvažujete o další změně vašich metodik hodnocení?
- Určitě ano! Budeme vás informovat.
Věřit, či nevěřit? Nedejte jen na body, ale čtěte celý text
DxOMark je fenoménem dnešní doby a nějaký čas to tak ještě bude. Líbí se mi technika testování, která je dobře promyšlená, často však pokulhává provedení a ucelenost testů. Lidská chyba a občas nelogické skóre vzbuzují v mnoha čtenářích rozpory, a k této skupině se řadím i já.
Mnoho uživatelů včetně mě, by si přálo zahrnutí širokoúhlých fotoaparátů do hodnocení. Jedna z dalších věcí, která podle mého názoru není správná, je výsledné číslo. Skóre, které pak použijí výrobci, aby se ukázali v tom nejlepším světle. MKBHD, já, nespočet dalších i samotný DxOMark vybádá čtenáře k tomu, aby si hlavně přečetli psané hodnocení a nevnímali jen jedno číslo.
To, že je DxOMark zároveň i společností, která poskytuje výrobcům poradenství, software i hardware pro vylepšení fotoaparátu, a následně testuje stejné telefony, je další z možných důvodů nedůvěryhodnosti. Jenže je to pouze naše domněnka, nikdo z nás přeci nezná pozadí tohoto francouzského giganta.
Osobně se mi líbí směr, kterým DxOMark jde. Mají velmi promyšlený systém testování, vybavení umožňující přesné měření, pokročilý software a další věci, které z DxO dělají to, co je. Škoda, že některé recenze obsahují málo fotografií a některé kategorie často chybí úplně. Nevěřím však číslu, ale textu, který o fotoaparátech říká mnohem víc než reklamní údaj.