- Nvidia optimalizovala TensorRT, čímž dramaticky zvýšila výkon generativní umělé inteligence na více než 100 milionech počítačů
- Nová aktualizace TensorRT umožňuje uživatelům lépe ovládat výstupy AI a zvyšuje rychlost a přesnost modelů
- Nvidia vydala open-source knihovnu pro optimalizaci odvozování velkých jazykových modelů (LLM), čímž zpřístupňuje pokročilé nástroje AI široké škále uživatelů
Nvidii se podařil další významný krok vpřed v oblasti generativní umělé inteligence, a to díky optimalizaci stabilního rozptylu videa pro svou softwarovou vývojovou sadu TensorRT, čímž výrazně zvýšila výkon na více než 100 milionech počítačů a pracovních stanic se systémem Windows vybavených grafikami s podporou RTX.
Lepší uživatelská kontrola
Nejnovější aktualizace rozšíření TensorRT pro webové rozhraní Stable Diffusion WebUI totiž zavádí podporu pro ControlNets, čímž zvyšuje uživatelskou kontrolu nad výstupy generovanými AI začleněním dalších obrázků pro navádění. Tato aktualizace nejenže zjednodušuje pracovní postup pro uživatele, ale také zvyšuje rychlost a přesnost modelů AI, přičemž interní testy prokázaly až 50% nárůst výkonu na grafické kartě GeForce RTX 4080 SUPER ve srovnání s předchozími implementacemi bez technologie TensorRT.
Vyšší výkon i v jiných aplikacích
Integrace technologie TensorRT do populárních aplikací rozšiřuje její výhody i nad rámec vlastních technologií Nvidie. Aplikace DaVinci Resolve od společnosti Blackmagic Design a aplikace Photo AI a Video AI od Topaz Labs zaznamenaly výrazné zvýšení výkonu, přičemž na grafikách s podporou RTX došlo ke zvýšení rychlosti o více než 50 %, resp. až o 60 %. Tato vylepšení jsou důkazem síly TensorRT při akceleraci generativních modelů AI, jako je Stable Diffusion a SDXL. Ve výsledku jsou tak díky tomu pokročilé nástroje AI dostupnější a efektivnější pro širokou škálu uživatelů.
Nvidia navíc ještě vydala TensorRT-LLM, open-source knihovny určené k optimalizaci odvozování velkých jazykových modelů (LLM). Tato novinka nabízí hotovou podporu populárních komunitních modelů a usnadňuje vývojářům, tvůrcům i běžným uživatelům využití optimalizovaného výkonu na grafických kartách s podporou RTX. Prostřednictvím spolupráce s open-source komunitou chce pak Nvidia zefektivnit integraci TensorRT-LLM s populárními aplikačními frameworky.
Je budoucnost AI lokální?
Generativní umělá inteligence pokračuje v revoluci v průmyslových odvětvích a kroky Nvidie s TensorRT na počítačích a pracovních stanicích RTX odemykají poměrně zásadní možnosti pro vývojáře i běžné uživatele. Díky lokálnímu běhu aplikací AI tak může řešení od Nvidie zajišťovat nižší latenci, nižší náklady a lepší ochranu dat, což se o cloudu zatím říct nedá, byť jeho výhodou je pochopitelně fakt, že na vašem lokálním hardwaru nezáleží.
