Fázové vyváženie medzi AI rackmi: Prečo je to dôležité a čo skutočne funguje

Trojfázové napájanie s prúdom 32 A vyzerá na papieri ako veľa priestoru. 32 A × 400 V × √3 = ~22 kW. To pohodlne zmestia štyri osem-GPU servery K-AI pri trvalom zaťažení s rezervou. Prečo teda polovica vlastnoručne postavených laboratórií umelej inteligencie v prvom mesiaci vypne istič?

Odpoveďou je takmer vždy fázová vyváženosť – alebo skôr jej absencia. Celkové zaťaženie racku je v poriadku. Jedna fáza horí.

Tento článok pojednáva o tom, ako sa trojfázové napájanie v skutočnosti distribuuje v rámci racku so servermi s umelou inteligenciou, prečo pracovné zaťaženie umelou inteligenciou špecifickým spôsobom zaťažuje problém vyvažovania a čo robiť na úrovni zásuviek PDU, aby vás istič už neprekvapoval.

Matematika, stručne

Pre vyvážené zapojenie hviezdy s napätím medzi fázami Vcelkový a činný výkon Pcelkový účinník PF:

I_line  =  P_tot  /  (V_ll × √3 × PF)

Na európskom napájaní 400 V s PF = 0.98, ktoré prenáša vyvážený výkon 20 kW: I_vedenie = 20 000 / (400 × 1.732 × 0.98) ≈ 29.5 A. Vhodné pre istič 32 A. Každá fáza prenáša ~29.5 A, nulový vodič blízko nuly.

Rozložte rovnakých 20 kW nerovnomerne — 12 kW na L1, 5 kW na L2, 3 kW na L3:

Celkový výkon je stále 20 kW. 32 A istič sa nestará o celkové hodnoty – záleží mu na tom, ktorá jedna fáza sa vypne ako prvá. L1 pri 165 % menovitých spúští. Ostatné dve fázy zostali nečinné.

Nevyvážené zaťaženie nielenže plytvá kapacitou, ale premieňa aj priestor nad hlavou, za ktorý ste zaplatili, na cestu, ktorá len čaká na uskutočnenie.

Problém s neutrálnym prúdom

Trojfázové systémy hviezdy nesú štvrtý vodič – nulový – ktorý vracia vektorový súčet troch fázových prúdov. Pri dokonale vyváženej lineárnej záťaži sa tri prúdy rušia v intervaloch 120° a nulový vodič prenáša nulu. Pri nerovnováhe nulový vodič prenáša všetko, čo sa nevyruší.

Užitočná aproximácia pre neutrálny prúd pri nevyváženom lineárne naložiť:

I_N  =  √( I_R² + I_Y² + I_B² − I_R·I_Y − I_Y·I_B − I_B·I_R )

Pre náš príklad 53/22/13 A to znamená, že cez nulový vodič preteká približne 35 A. V rozvádzači, kde je nulový vodič dimenzovaný na menovitý fázový prúd, je 35 A nulový vodič na fázovom prúde 32 A nepohodlný. V rozvádzači, kde je nulový vodič poddimenzovaný (staršia inštalácia, modernizácia alebo predpoklad vyváženého zaťaženia), sa práve tu nachádza roztavená izolácia.

Úprimné ponaučenie: v každom stojane s umelou inteligenciou, ktorý si zaslúži toto meno, musí mať neutrálny vodič aspoň rovnaký prierez ako fázové vodiče a ideálne musí byť predimenzovaný. K tomu sa vrátime v časti o K-faktore, pretože nelineárne zaťaženie to zhoršuje.

Prečo to pracovné zaťaženie umelej inteligencie kladie väčší dôraz ako tradičné IT

Tradičný podnikový rack – webové servery, databázy, niekoľko sieťových prepínačov – má záťaž, ktorá je štatisticky nekorelovaná medzi jednotlivými strojmi. CPU servera A v jednom okamihu prudko stúpa, servera B v inom, priemer v celom racku je plynulý a vyvažovanie medzi tromi fázami približne funguje, pretože náhodné výkyvy sa rušia.

Pracovné zaťaženie umelej inteligencie tento predpoklad porušuje dvoma špecifickými spôsobmi.

Synchrónna korelácia zaťaženia. Distribuované trénovanie vykonáva rovnaký krok na každej GPU súčasne. Spätný priechod sa začína súčasne na všetkých ôsmich GPU servera. Ak trénujete na štyroch uzloch, všetkých 32 GPU sa súčasne dostane do fázy úplnej redukcie a potom všetky súčasne prejdú do ďalšieho priechodu dopredu. Zaťaženie nie je vyhladený priemer – je to štvorcová vlna s frekvenciou tréningového kroku, možno 0.5 – 5 Hz v závislosti od modelu.

Ak sú všetky štyri servery v rovnakej fáze, táto fáza vidí plnú obdĺžnikovú vlnu. Ak sú servery rozmiestnené medzi fázami, každá fáza stále vidí rovnakú obdĺžnikovú vlnu, pretože kroky sú synchrónne. Fázové vyváženie nevyhladzuje korelované zaťaženie. Iba vyrovnáva priemer na fázu.

Prechodové javy v rámci subcyklu. Jedna grafická karta RTX 5090 má menovitý príkon 575 W, ale je schopná krátkodobých výkyvov na 738 W počas 5–10 ms, 824 W počas 1–5 ms a 901 W v špičkách pod 1 ms. Server K-AI s ôsmimi grafickými procesormi má preto menovitý trvalý príkon okolo 4–4.5 kW a špičku za milisekundu, ktorá môže krátkodobo prekročiť 7 kW. Väčšinu tohto príkonu absorbuje zdroj napájania a rozvody v budove – ale... prúd Hroty sú skutočné, nie sú sínusoidné a šíria sa do nadradeného PDU.

Štandardné termomagnetické ističe ignorujú prechodové javy v rámci subcyklu. Moderné hydraulické magnetické a elektronické ističe to nerobia vždy; niektoré vypínajú pri okamžitej špičke, nie pri efektívnej hodnote. Ak sa váš ističe počas určitých tréningových fáz neustále vypínajú a regál je inak v rámci svojho priemerného výkonu, pozeráte sa na krivku prechodových javov, nie na priemer.

Čo fázové vyvažovanie dokáže a čo nemôže urobiť

Preto sa ľudia, ktorí prišli z tradičných dátových centier, niekedy ocitnú v pasti: v ich svete je vyvažovanie celým príbehom. V racku s umelou inteligenciou je to nevyhnutné, ale nie postačujúce.

Stratégia vyvažovania na úrovni predajní

Praktická práca prebieha na úrovni zásuviek PDU. Trojfázová 32 A racková PDU s výškou 0U predstavuje skupiny zásuviek na fázu. Typické rozloženie 30-zásuvkovej PDU je: zásuvky 1 – 10 na L1, 11 – 20 na L2, 21 – 30 na L3. Niektoré PDU používajú pruhované alebo striedavé rozloženie pre lepšiu správu káblov – zásuvky 1, 4, 7 na L1; 2, 5, 8 na L2; 3, 6, 9 na L3. Produkčné PDU majú farebné kódovanie na fázu.

Pravidlo je jednoduché a neustále sa porušuje: priraďte servery tak, aby súčet trvalého zaťaženia v každej fáze bol v rozmedzí ~10 % od ostatnýchPre identické jednotky sa používa systém round-robin; pre zmiešané náklady sa používa systém bin-packing.

Pracovaný príklad, 32 A 3-fázová PDU (menovitý výkon ~22 kW, trvalý výkon 17.6 kW pri 80 %). Koľko osem GPU serverov K-AI (trvalý výkon ~4 kW každý) sa zmestí?

Realistický rozpočet: jeden 32 A trojfázový napájací zdroj do racku podporuje približne tri osem-GPU servery s umelou inteligenciou, nie osem. Server so štyrmi grafickými procesormi s trvalým výkonom ~2 kW to zhruba zdvojnásobí na šesť na okruh.

Toto zaskočí väčšinu plánovačov laboratórií. Papierový priestor pre 22 kW obvod sa vyparí, keď zohľadníte krivky ističov, prechodové špičky a 80 % zníženie trvalého zaťaženia vo väčšine elektrických predpisov.

Meranie – PDU s meraním podľa zásuvky

Základný PDU vám neposkytne nič. Meraný PDU vám poskytne fázový RMS prúd na vstupe. merané v zásuvke PDU vám udáva prúd na zásuvku, čo je jednotka, ktorú skutočne chcete.

Čo sledovať:

• RMS prúd na fázu, trend v priebehu času. Väčšina PDU s meraním cez zásuvky využíva SNMP alebo REST API; sťahovanie do Prometheus, vytváranie grafov v Grafane, alarm pri 80 % menovitého napätia.
• Špičkový prúd na fázu v okne vzorkovania. Ak PDU vykazuje zadržanie vrcholu, zaznamenajte ho; ak nie, vzorkujte minimálne s frekvenciou 1 Hz.
• Pomer fázovej nerovnováhy — (max − min) / max v troch fázach. Pod 10 % je dobré. Nad 25 % znamená, že ponechávate kapacitu na podlahe.
• Neutrálny prúd, ak to hlási PDU. Ak je nulový vodič pri zaťažení väčší ako ~30 % akéhokoľvek fázového prúdu, niečo nie je v poriadku buď s vyvážením, alebo s obsahom harmonických.

32 A PDU je jedno zariadenie. Dve redundantné 32 A PDU (napájanie A a B) zdvojnásobia množstvo údajov, ktoré potrebujete sledovať, ale tiež zdvojnásobia toleranciu zlyhania – ak niektorý z napájaní prestane fungovať, servery s dvoma zdrojmi PSU zostanú v prevádzke a preživší PDU musí absorbovať všetko. Veľkosť pre tento prípad: stojan s dvoma zdrojmi by mal prevádzkovať každý PDU na ~40 % nominálnej hodnoty, takže záložný režim jedného napájania zostane vo vnútri ističa.

Harmonické a K-faktor

Každý zdroj AI servera je spínaný zdroj, čo je nelineárna záťaž: odoberá prúd v impulzoch okolo vrcholu každej polperiódy, a nie ako hladkú sínusovú vlnu. To vnáša späť do zdroja harmonické prúdy, prevažne 3., 5. a 7. harmonické v jednofázových systémoch a 5., 7., 11. a 13. harmonické v trojfázovom zapojení do hviezdy.

Tretia harmonická najviac škodí v trojfázovom systéme: je to trojnásobok harmonická, čo znamená, že prúdy tretej harmonickej zo všetkých troch fáz prichádzajú do neutrálu v jednej fáze a nie sú od seba vzdialené 120°. Sčítavajú sa aritmeticky. Vyvážená lineárna záťaž má takmer nulový neutrálny prúd. Vyvážená nelineárna záťaž s významným obsahom tretej harmonickej môže mať neutrálny prúd blížiaci sa k fázovému prúdu alebo ho prekračujúci.

Preto existujú transformátory s K-faktorom. K-1 je normálny transformátor s lineárnou záťažou; K-13 je dimenzovaný na značný obsah harmonických; K-20 je to, čo teraz špecifikujú seriózne dátové centrá umelej inteligencie, pretože klastre umelej inteligencie predstavujú v podstate 100 % nelineárnu záťaž bez motorov alebo ohrievačov, ktoré by zmierňovali obsah harmonických.

V prípade laboratória s jedným stojanom je to zriedka váš problém – transformátor v budove je predradený a je dimenzovaný na zmiešanú záťaž. V prípade viacrackovej miestnosti umelej inteligencie pridanej k existujúcej budove sa opýtajte elektrikára: aká je hodnota K predradeného transformátora, či má neutrálny vodič aspoň rovnaký prierez ako fázové vodiče (väčšia je lepšia) a či je rozvádzač dimenzovaný na harmonický obsah? Ak sú odpovede „K-1, rovnaké ako fáza, všeobecné“, jeden stojan je v poriadku, ale mali by ste to pred rozšírením na štyri znova skontrolovať.

Problém s úprimnosťou poloprázdneho regálu

Fázové vyváženie predpokladá, že máte dostatok záťaže na rozloženie. Rack s jedným serverom a dvadsiatimi prázdnymi U nie je možné vyvážený – jeden server je na tej fáze, do ktorej je zapojený. Ostatné dve fázy sú nečinné, nulový vodič nesie plný prúd jedného servera a 32 A trojfázové napájanie má možno 8 % kapacity, ale je 100 % nevyvážené.

Tri úprimné možnosti:

1. Prijmite nerovnováhu. Je to jeden server. Panel to zvládne.
2. Prepnite na jednofázový režim. Jednofázové napájanie 230 V s prúdom 32 A má výkon ~7.3 kW – čo je v poriadku pre jeden alebo dva servery so 4 GPU. Jednoduchšie, bez problémov s vyvažovaním, bez problémov s trojnásobnou harmonickou nulovou frekvenciou. Správna odpoveď pre malé laboratórium bez plánu rastu v nasledujúcich 12 mesiacoch.
3. Plánujte dopredu, zapojte sa dopredu. Ak v budúcom roku plánujete rozšíriť sieť na 6 alebo 8 serverov, nainštalujte trojfázové napájanie teraz a správne ho vyvážte pri pridávaní serverov. Rozdiel v nákladoch oproti jednofázovému napájaniu je malý v porovnaní s jeho neskorším odstránením.

Návod na scenár z reálneho sveta

Realistické laboratórium strednej veľkosti: dva racky, 8× serverov K-AI s ôsmimi GPU v oboch, plus sieťové rozhranie, úložisko a testovacia laboratórium Intel-Arc. Celkový trvalý výkon ~35.5 kW (32 kW pre flotilu K-AI, 2.5 kW pre testovacie zariadenie Arc, 1 kW pre prepínače a úložisko).

Plán obvodu: rozdeliť štyri servery K-AI na rack, každý rack na 63 A trojfázové napájanie (menovitý výkon ~43.5 kW, trvalý výkon 34.8 kW – pohodlné pre štyri 4 kW servery plus príslušenstvo).

Priradenie zásuviek v racku A:

Na fázu: L1 = 4.6 kW (20 A), L2 = 4.2 kW (18 A), L3 = 8 kW (35 A). Nevyvážené – dve jednotky K-AI zdieľajú L3. S iba štyrmi servermi na stojan nie je možné dokonale vyvážiť tri fázy; jedna fáza vždy berie viac. 35 A pri 63 A napájaní je 56 % menovitého ističa vo vnútri. Akceptujte to. Stojan B zodpovedá rozloženiu pre zostávajúce štyri servery K-AI a pracovnú stanicu Arc.

Redundancia duálneho napájania sa rieši tak, že každý server má pripojenie napájacieho zdroja A a B na dvoch fyzicky oddelených PDU – pozri W04, kde nájdete informácie o tom, ako to interaguje s rozdeleným, nie redundantným dodávaním na napájacích zdrojoch serverov s umelou inteligenciou.

Monitoring: Obe jednotky PDU exportujú prúd na fázu a na zásuvku cez SNMP. Prometheus zaznamenáva prúd každých 15 sekúnd, Grafana zobrazuje 24-hodinový trend, alarm sa spustí, ak ktorákoľvek fáza prekročí 80 % menovitej hodnoty po dobu > 5 minút alebo ak pomer fázovej nerovnováhy prekročí 25 % po dobu > 30 minút. Vyhladzovanie je dôležité – spúšťanie a zastavovanie tréningových úloh spúšťa krátkodobé nerovnováhy, ktoré nie je možné akčne ovplyvniť.

---

Toto je súčasť Kentino Wiki, referenčnej série o umelej inteligencii, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy sú vítané na info@kentino.com.