- Umělá inteligence je zpravidla vyhrazena pro velmi výkonná zařízení
- S trochou snahy lze velké jazykové modely spustit i na obstarožním hardwaru
- To alespoň dokázal jeden šikovný inženýr, který spustil AI na PowerBooku G4
Umělá inteligence je v současné době velkým hitem. Ať už dáváte přednost větším modelům, nebo naopak preferujete menší a osobnější AI, využívat jejich výhod není od věci v řadě lidských činností. Samostatnou kapitolou jsou poté lidé, kteří si staví vlastní modely na svém hardwaru, což s sebou nese řadu limitací, ovšem na druhou stranu mají jistotu, že budou mít svá data plně pod kontrolou. Pro rychlé a spolehlivé fungování je ovšem potřeba mít dostatečně výkonný hardware, jinak se na odpověď na svůj dotaz pořádně načekáte.
Velké jazykové modely lze spustit i na starém hardwaru
Zatímco hardwarové požadavky na velké jazykové modely (LLM) jsou obvykle vysoké, rozhodně neplatí, že na slabším hardwaru vůbec nepoběží. Alespoň to se svým projektem pokusil dokázat šikovný inženýr Andrew Rossignol, který spustil velký jazykový model na počítači Apple PowerBook G4 z roku 2005, který je vybaven pouhým 1,5GHz procesorem PowerPC G4 a 1 GB RAM. Navzdory tomuto 20 let starému hardwaru byl Rossignol schopen na notebooku dosáhnout inference s modelem LLM Llama 2 společnosti Meta.
Experiment zahrnoval přenesení open-source projektu llama2.c a následné urychlení výkonu pomocí vektorového rozšíření PowerPC s názvem AltiVec. Podobné příklady generativních modelů umělé inteligence běžících na PlayStationu 3, Xbox 360 a dalších starých zařízeních se čas od času na internetu objevují, přesto nepřestávají fascinovat. Pokud se o celém projektu chcete dozvědět více, můžete zabrousit na inženýrův blog, kde celý proces popisuje. Ačkoli se jedná spíše o zajímavost než věc využitelnou v praxi, dává nám to jistou naději, že bychom v blízké budoucnosti mohli mít velké jazykové modely i tam, kde si je doposud nedokážeme ani představit.
