- ChatGPT je postaven na statických datech, což znamená, že jeho odpovědi nemusí být vždy aktuální
- Studie prokázaly, že si model často vymýšlí důvěryhodně znějící, ale nesprávné odpovědi
- OpenAI a Microsoft se snaží model přiblížit aktuálnímu času, ale cesta k dokonalosti je ještě dlouhá
ChatGPT byl původně navržen jako statický model trénovaný na obrovském množství dat od knih přes články až po různé webové stránky. Hlavní nevýhodou je, že tato data nejsou pravidelně aktualizována. Když tedy dojde na aktuální události, model může poskytovat zastaralé, nebo dokonce chybné informace. Například pokud se ho zeptáte na dění z posledních dnů, odpoví často na základě starších dat, což může vést k nepřesnostem. A jak asi tušíte, ve světě, kde se informace mění téměř každou minutou, to může být často velký problém.
Výzkum Tow Center a odhalení slabin ChatGPT
Tow Center for Digital Journalism se nedávno rozhodlo prozkoumat, jak přesné jsou odpovědi ChatGPT, a výsledky nebyly příliš lichotivé. Výzkum zahrnoval 200 citací z 20 různých publikací. Z těchto 200 případů bylo 153 odpovědí modelu nepřesných, přičemž umělá inteligence často sebevědomě tvrdila nesprávné informace. Jen v sedmi případech ChatGPT přiznal, že není schopen odpovědět přesně, a použil fráze typu: „Nemohl jsem najít přesný článek.“
A new study by the Tow Center for Digital Journalism (@TowCenter) looks at how #ChatGPT produces citations (i.e. sources) for publishers’ content – and the findings are concerning. (via @techcrunch) https://t.co/5qk1d0hnL8
— Beyond Bylines (@BeyondBylines) December 3, 2024
Jedním z hlavních problémů bylo, že ChatGPT měl problémy i s citacemi ze zdrojů, které poskytly OpenAI svá data. Ještě horší však je, že odpovídal na otázky o zdrojích, které měly přístup k datům zakázaný. To vše jen posiluje pocit, že model má občas tendenci tzv. halucinovat, tedy vytvářet odpovědi, které vypadají důvěryhodně, ale jsou fakticky nesprávné.
Microsoft se snaží tuto situaci zlepšit integrací ChatGPT do svého vyhledávače Bing prostřednictvím technologie Prometheus. Ta kombinuje statická data s aktuálními informacemi z webu, aby byla odpověď přesnější. I přesto však kritici poukazují na případy, kdy i Bing s touto metodou selhal. Microsoft a OpenAI tvrdí, že do budoucna chtějí zavést real-time aktualizace, ale tyto procesy jsou velmi náročné jak finančně, tak materiálně.
Hlavní důvod nepřesností leží údajně v tom, jak je AI konstruována. ChatGPT nevytváří vyhledávací výsledky jako Google, ale spíše kontextové odpovědi, které mohou být subjektivní nebo neúplné. Tento problém se zhoršuje při dotazech na složité nebo kontroverzní otázky.
A recent study by Columbia University's Tow Center for Digital Journalism reveals that ChatGPT Search frequently misattributes news content, raising concerns for publishers about brand visibility and control.#AI #ChatGPT #Journalism https://t.co/AoQlKtqpmD
— Justin Cox (@JutCox) December 3, 2024
OpenAI pracuje na vylepšeních, která by mohla problémy s nepřesnostmi řešit. Jednou z možností je umožnit uživatelům označovat nesprávné odpovědi, což by model pomohlo průběžně zlepšovat. Další možností je integrace širších a aktuálnějších datových sad. To vše ale zabere čas a bude vyžadovat spolupráci jak s uživateli, tak s partnery jako Microsoft.
Nepřehlédněte
ChatGPT-4o umí lépe psát i zpracovávat soubory. Na chvíli tak zase poráží všechny ostatní AI
Pokud potřebujete rychlé a absolutně přesné informace o aktuálním dění, tradiční vyhledávače nebo zpravodajské portály stále vedou. ChatGPT má své místo v kreativních úkolech nebo obecných otázkách, ale pro přesné a aktuální informace se na něj prozatím nedá stoprocentně spoléhat.
