AI kútik
Prípadová štúdia: 4x pracovná stanica s umelou inteligenciou RTX 4090
Tento článok dokumentuje kompletnú zostavu zadanú pre výskumného zákazníka, ktorý potreboval inferenčnú pracovnú stanicu LLM s možnosťou montáže do racku, ktorá by mohla fungovať nepretržite 24 hodín denne, 7 dní v týždni a mala by mať dostatok VRAM na hosťovanie modelov triedy 70B bez závislosti od cloudu. Všetko...
Prípadová štúdia: 4x pracovná stanica s umelou inteligenciou RTX 4090
Tento článok dokumentuje kompletnú zostavu zadanú pre výskumného zákazníka, ktorý potreboval inferenčnú pracovnú stanicu LLM s možnosťou montáže do racku, ktorá by mohla fungovať nepretržite 24 hodín denne, 7 dní v týždni a mala by mať dostatok VRAM na hosťovanie modelov triedy 70B bez závislosti od cloudu. Všetko...
TurboQuant: Čítanie kompresného bloku vyrovnávacej pamäte KV...
Čas čítania: 10 min | Ako 3-bitová kompresia od spoločnosti Google zlacňuje dlhokontextové LLM a čo nám to hovorí o nasledujúcich 18 mesiacoch inferencie umelej inteligencie. Existuje tiché...
TurboQuant: Čítanie kompresného bloku vyrovnávacej pamäte KV...
Čas čítania: 10 min | Ako 3-bitová kompresia od spoločnosti Google zlacňuje dlhokontextové LLM a čo nám to hovorí o nasledujúcich 18 mesiacoch inferencie umelej inteligencie. Existuje tiché...
Požiadavky AI modelu VRAM naprieč rôznymi GPU...
Požiadavky AI modelu VRAM v rôznych konfiguráciách GPU Táto tabuľka poskytuje prehľad približných veľkostí modelov (v miliardách parametrov), ktoré možno spustiť na rôznych konfiguráciách VRAM, spolu s...
Požiadavky AI modelu VRAM naprieč rôznymi GPU...
Požiadavky AI modelu VRAM v rôznych konfiguráciách GPU Táto tabuľka poskytuje prehľad približných veľkostí modelov (v miliardách parametrov), ktoré možno spustiť na rôznych konfiguráciách VRAM, spolu s...