- Meta představila možného nástupce současných modelů LLM
- Nová architektura LCM dokáže lépe pochopit abstrakce obsažené ve vstupu
- LCM přináší možnost hlubšího pochopení vstupu a kvalitnější komunikaci s člověkem
Umělá inteligence nám už dlouho pomáhá odstraňovat rutinní, nudné nebo časově náročné úkoly. S nástupem jazykových modelů (LLMs) se naše schopnost komunikovat s AI výrazně zlepšila, ale Meta teď představuje nový přístup: velké konceptuální modely (LCMs), které rozšiřují a zkvalitňují dovednosti umělé inteligence a její schopnost přemýšlet o světě kolem nás.
LLMs, jak je známe, fungují na základě tokenizace – rozdělení textu na malé části (tokeny, typicky se jedná o jednotlivá slova) a následné predikce těchto částí. Tento přístup má však své limity.
Například otázka „Kolik písmen R je ve slově strawberry?“ může být pro model problém, protože slovo vnímá jako jediný celek. Tokenizace tak často narazí na své hranice, když jde o pochopení širších konceptů nebo abstraktních myšlenek.
Meta se rozhodla tento problém řešit tím, že přesune pozornost od tokenů k větším celkům – konceptům. A právě tím otevírá dveře nové éře AI. Tomuto tématu se věnuji ve videu výše, ale pro ty z vás, kteří mají raději text najdete to důležité i níže:
Velké konceptuální modely
LCMs přinášejí nový přístup k jazykovému zpracování. Namísto práce s jednotlivými slovy se zaměřují na koncepty – abstraktní myšlenky, které přesahují konkrétní výrazy a umožňují modelům pracovat na vyšší úrovni porozumění. Tento přístup připomíná způsob, jakým přemýšlejí lidé: nejprve si vytvoří základní plán nebo osnovu, která definuje klíčové myšlenky, a teprve poté přidávají detaily a rozvíjejí jednotlivé body.
Například při přípravě prezentace většina z nás nevytváří podrobný scénář každé věty, ale raději si připraví osnovu hlavních bodů, které slouží jako struktura pro komunikaci. Tato osnova umožňuje pružně reagovat na situaci a přizpůsobit konkrétní detaily aktuálním podmínkám. Stejný princip využívají LCMs. Nejprve identifikují hlavní myšlenky, tedy abstraktní koncepty, a ty pak převedou do konkrétních slov a vět, čímž vytvářejí koherentní a smysluplné výstupy. Tento hierarchický přístup modelům umožňuje pracovat efektivněji a blíže lidskému způsobu myšlení.
Jak to technicky funguje?
LCMs staví na třech vrstvách:
- Konceptuální enkodér: Tato vrstva slouží jako počáteční krok, který převádí text do abstraktních myšlenek (konceptů). Můžete si to představit jako proces, kdy se z jednotlivých slov a vět stává soubor myšlenkových jednotek, které nejsou svázány konkrétním jazykem nebo syntaktickými pravidly. Tento krok pomáhá oddělit formu od obsahu a připravit data na hlubší analýzu.
- Model konceptů: V této vrstvě dochází k hlubší analýze a zpracování konceptů. Model identifikuje vztahy mezi jednotlivými abstraktními myšlenkami, hledá jejich logickou strukturu a propojuje je do smysluplných celků. Tento krok se podobá lidskému procesu uvažování, kdy chápeme souvislosti mezi pojmy a stavíme na nich další logiku nebo strukturu.
- Konceptuální dekodér: Poslední vrstva má za úkol převést zpracované koncepty zpět do přirozeného jazyka. Tento proces zahrnuje vytvoření srozumitelného textu, který odpovídá zadanému úkolu a zachovává smysl a logiku původní myšlenky. Dekodér také zajistí, že text bude vhodný pro lidského uživatele a bude odpovídat požadovanému stylu nebo jazyku.
Tento proces připomíná překlad mezi jazyky: od slov k univerzálním symbolům a zpět. Díky tomu mohou LCMs chápat a zpracovávat jazyk na vyšší úrovni, než jaké dosahují tradiční modely.
Proč je to důležité?
Tradiční LLMs často narážejí na limity při řešení složitějších problémů. Mohou sice brilantně odpovědět na otázky z pokročilé matematiky, ale často selhávají u jednodušších úkolů, například při porovnání čísel nebo logickém uvažování. LCMs tento problém řeší díky schopnosti pracovat s hierarchickými strukturami myšlenek.
Meta také zdůrazňuje, že lidský mozek nepracuje pouze na úvrovni slov. Přemýšlíme v abstrakcích, plánujeme a řešíme úkoly odshora dolů – od obecných konceptů po detaily. LCMs tuto hierarchickou strukturu napodobují a dokáží tak vytvářet texty, které lépe odpovídají lidskému stylu uvažování.
Budoucnost umělé inteligence
Tokenizace, která je základním kamenem současných modelů, by se mohla stát minulostí nebo aspoň druhým hráčem na poli AI. LCMs otevírají nové možnosti – nejen v generování textu, ale i v řešení složitějších úkolů a chápání našeho světa umělou inteligencí. Tento přístup může umělou inteligenci ještě více přiblížit člověku a udělat z ní tak mnohem rovnocennějšího partnera pro běžné používání nejen v pracovní, ale i osobní sféře.
Je třeba si však uvědomit, že LCM, podobně jako LLM, pouze generují další „myšlenky“ na základě toho, co viděly během svého tréninku a co považují za nejpravděpodobnější následující krok. Přestože tento přístup umožňuje modelům dosahovat lepšího porozumění a plynulejšího výstupu, nelze očekávat, že budou v současném stavu přicházet s vlastními originálními nápady. I když to tak občas může působit, vše, co LCM vytvářejí, je stále výsledkem extrapolace z předchozích dat, nikoli skutečné tvořivosti.
O autorovi článku
A co dál? Budou LCMs dalším krokem ve vývoji umělé inteligence, nebo se stanou součástí hybridních modelů? To ukáže až čas. Stále jsme totiž na začátku.
