Dimenzovanie ističov a zapínací prúd pre servery s umelou inteligenciou
Sťažnosť, ktorú najčastejšie počúvame po inštalácii servera s umelou inteligenciou, je nejakým variantom „istič sa stále vypína“. Približne polovicu času je rack v priemere v poriadku – grafické karty bežia, riadiaca jednotka BMC zostáva zapnutá, grafy SNMP vyzerajú rozumne – a napriek tomu sa v nepredvídateľných chvíľach panel preklopí a miestnosť stmavne. Menej často sa spustí prúdový chránič (RCD), čo je ešte frustrujúcejšie, pretože záťaž vyzerá vyvážená a zariadenie vyzerá v poriadku.
Podľa našich skúseností ani jeden z príznakov zvyčajne nie je preťažením. Približne v polovici prípadov ide o nesprávna krivka jazdy na ističi – zvyčajne ide o istič s krivkou B, ktorý nainštaloval elektrikár, ktorý predpokladal, že výpočty s umelou inteligenciou sa správajú ako kancelárske IT. Približne v 30 % prípadov ide o nesprávny typ prúdového chrániča (RCD), kde sa od zariadenia typu AC alebo typu A vyžaduje, aby rozlišovalo únik jednosmernej zložky zo stohu serverových zdrojov s korigovanou PFC. Zvyšných 20 % predstavuje skutočné preťaženie, takmer vždy v danom okamihu, keď niekoľko zdrojov synchrónne štartuje za studena a obálka zapínacieho prúdu krátkodobo prekročí čokoľvek, čo by predpovedal priemerný odber.
Tento článok je doplnkom k článku W04 (dimenzovanie zdroja) z elektrickej stránky. P02 (Typy PDU). Zahŕňa to, čo vypínacie krivky v skutočnosti znamenajú podľa normy IEC 60898, skutočné správanie sa dodávaných zdrojov pri zapínaní, kedy dôjde k 80 % zníženiu výkonu pri trvalom zaťažení a aký typ prúdového chrániča (RCD) špecifikovať pre rack s prepínateľnými zdrojmi AI pre servery. Na konci sú uvedené praktické príklady pre zostavu 4-GPU 5090 a zostavu 8-GPU.
Čo istič v skutočnosti meria – dva vypínacie mechanizmy v jednom zariadení
Každý miniatúrny istič podľa IEC 60898 má dva ochranné mechanizmy zabalené v tom istom kryte.
tepelný prvok je bimetalický pásik, ktorý sa zahrieva prúdom počas niekoľkých sekúnd. Modeluje profil I²t, ktorý určuje, či sa kábel prehrieva. Podľa normy IEC 60898 sú konvenčné tepelné body: pri 1.13 × menovitý prúd ističa (In) musí zariadenie nie vypnutie v rámci konvenčného času (typicky > 1 hodina pre menovité prúdy ≤ 63 A) a pri 1.45 × In musieť vypnutie v rámci konvenčného času. Toto je časť, ktorá chráni kábel pred trvalým preťažením.
magnetický prvok je elektromagnetická cievka, ktorá rozpojí kontakty v zlomku polcyklu, keď prúd prekročí pevnú prahovú hodnotu. Toto je časť, ktorá chráni pred skratmi – a časť, ktorá rozhoduje, či je zapínací prúd vášho servera AI „v poriadku, krátky prepätie“ alebo „vypnutie, uvidíme sa zajtra“.
Písmeno na vypínacej krivke (B, C, D) označuje pásmo magnetického prahu. Tepelná charakteristika je pri rovnakom In rovnaká naprieč krivkami; líši sa iba magnetický bod.
| krivka | Magnetický pásik | Typický prípad použitia | Reakcia na krátkodobý prepätie ≤ 100 ms |
|---|---|---|---|
| B | 3–5 × palcov | Rezidenčné odporové záťaže, osvetlenie, zásuvky | Vypnutia pri akomkoľvek trvalom prepätí nad 5× In |
| C | 5–10 × palcov | Komerčné / zmiešané indukčné, malé motory, servery s umelou inteligenciou | Krátkodobo vydrží až 10× In |
| D | 10–20 × palcov | Priemyselné, transformátory, zváračky, veľké motory | Krátkodobo vydrží až 20× In |
Pre 16 A istič sú magnetické prahy približne tieto: B16 vypína nad 48 – 80 A; C16 vypína nad 80 – 160 A; D16 vypína nad 160 – 320 A. Presný bod v každom pásme závisí od výrobcu a teploty.
Väčšina obytných a malých komerčných budov v EÚ sa štandardne dodáva s ističmi s krivkou B. Táto voľba je správna pre kancelárske zásuvky, osvetlenie a odporové záťaže. Je to nesprávne predvolené nastavenie pre obvod servera AI z dôvodov, ktorými sa chystáme prejsť.
Skutočné správanie zdroja pri zapínaní – technické listy súčiastok ho podceňujú
Keď je serverový zdroj zapojený a zapnutý za studena, prvou úlohou vstupného stupňa je nabitie objemových kondenzátorov na strane jednosmerného prúdu. Tieto kondenzátory majú zvyčajne kapacitu 470 µF až 2200 µF s menovitým napätím 400 V alebo 450 V a sú umiestnené za mostíkovým usmerňovačom. Z plochého štartu vyzerajú ako takmer skrat k striedavému napätiu na niekoľko stoviek mikrosekúnd, kým sa napätie na kondenzátore nepriblíži k špičkovému napätiu v sieti.
| Trieda zdroja | Vrchol studeného štartu | Trvanie | Poznámky |
|---|---|---|---|
| Spotrebiteľský ATX 850–1200 W (NTC obmedzovač) | 30 - 60 A. | <5 ms | Väčšina „herných“ zdrojov |
| Spotrebiteľský ATX 1500–2000 W (NTC obmedzovač) | 60 - 100 A. | <5 ms | Špičková Corsair AX, trieda Seasonic PRIME |
| Serverový CRPS 1600–2400 W (NTC + aktívny) | 40 - 80 A. | <5 ms | Nižšia ako ekvivalenty ATX |
| Lacný spotrebiteľský ATX (bez obmedzovača) | 100 - 200 A. | <2 ms | Nepoužívajte v stojanoch s viacerými zdrojmi |
| 2 kW priemyselný ATX, nízka úroveň zdroja-Z | 80 - 150 A. | <5 ms | Najhorší prípad je v zásuvke. |
Mechanizmus vo väčšine slušných zdrojov je termistor NTC (záporný teplotný koeficient) sériovo so vstupom. Za studena predstavuje 5 – 20 Ω; spínací prúd ho sám zahreje v priebehu milisekúnd, odpor klesne na niekoľko percent studenej hodnoty a termistor sa stane efektívne priehľadným pre prevádzku v ustálenom stave. Nevýhodou je, že NTC sa musí po zapnutí a vypnutí znova ochladiť – zdroj, ktorý práve bežal a bol vypnutý na desať sekúnd, sa môže zapínať takmer tak, akoby žiadny obmedzovač neexistoval, pretože termistor je stále horúci a má nízky odpor.
Moduly CRPS serverovej úrovne často pridávajú aktívny obmedzovač zapínacieho prúdu: relé alebo MOSFET, ktorý obchádza odpor obmedzujúci prúd po nabití kondenzátorov. Toto kombinuje ochranu NTC pri studenom štarte s nezávislosťou hardvérového spínača od ochladzovania. Moduly CRPS v rozsahu 1.6 – 3 kW sa zvyčajne správajú lepšie pri náraze ako jednotky ATX s rovnakým výkonom, čiastočne preto, že aktívny obvod je štandardný, čiastočne preto, že predpoklad impedancie zdroja (dátové centrum 230 V) je prísnejší.
Dva dôsledky pre návrh stojana s umelou inteligenciou:
- Špička zapínacieho prúdu uvedená v technickom liste je pri menovitom napätí a „typickej“ impedancii zdroja. Pri 245 V (horná hranica tolerancie EÚ) na krátkom napájaní s nízkou impedanciou z blízkeho rozvádzača môže byť špička 1.5 – 2-násobok zadanej hodnoty. Namerali sme špičky 180 A na 1500 W ATX jednotke, ktorá bola špecifikovaná na 100 A.
- Viaceré zdroje, ktoré sa spúšťajú súčasne, sčítajú svoje zapínacie špičky. Sieťový cyklus je pre všetky rovnaké; ak sú štyri zdroje zapojené do toho istého obvodu a všetky súčasne zopnú svoje vstupné spínače, istič zaznamená približne 4-násobok špičky na zdroj. Server 4× 5090 s dvoma 2 kW zdrojmi ATX (špička ~150 A každý v najhoršom prípade) začína krátkodobo so špičkou ~300 A. Istič B16 (magnetický prah 48 – 80 A) sa vypne. Istič C16 (80 – 160 A) sa vypne v najhoršom prípade. Istič C32 (160 – 320 A) zostane zapnutý.
Toto je mechanizmus, ktorý stojí za najčastejšou sťažnosťou „môj nový server s umelou inteligenciou stále vypína istič“. Trvalé zaťaženie je v poriadku. Vypína sa pri zapínacej záťaži pri studenom štarte.
Nepretržité odľahčovanie záťaže – pravidlo 80 %, ktoré zachytáva pracovné zaťaženie umelej inteligencie
Prax EÚ (a v duchu normy IEC 60364) spočíva v znížení menovitého trvalého prúdu ističa na približne 80 % menovitého výkonu pre záťaže, ktoré odoberajú trvalý prúd dlhšie ako tri hodiny. Severná Amerika to kodifikuje v norme NEC 210.20(A); Európa to uplatňuje ako osvedčený postup a nie ako jedno pevné pravidlo, ale základná fyzika – ohrev bimetalu v ističi, ohrev vodiča v kábli – je rovnaká.
| Menovitý výkon ističa | Teoretické maximum pri 230 V | 80% nepretržite | Čomu sa to hodí |
|---|---|---|---|
| B/C 10 A | 2.3 kW | 1.84 kW | Pracovná stanica, malý vývojový box |
| B/C 16 A | 3.68 kW | 2.94 kW | Jeden server so 4 GPU 5090 (s trvalou spotrebou 2.4 kW) |
| B/C 20 A | 4.6 kW | 3.68 kW | Jeden server so 4 GPU s rezervou |
| B/C 25 A | 5.75 kW | 4.6 kW | Jeden server s 8 GPU 5090 (s trvalou spotrebou 4.5 kW) na limite |
| B/C 32 A | 7.36 kW | 5.89 kW | Jeden server s 8 GPU s rezervou alebo dva servery so 4 GPU |
Inferencia a trénovanie umelej inteligencie sú explicitne kontinuálne zaťaženia. Koncový bod vLLM obsluhujúci 70B model pri stabilnom zaťažení požiadavkami spotrebúva 80 – 95 % menovitého TDP GPU počas hodín. Tréningový beh je ešte rovnomernejší. 80 % zníženie sa uplatňuje v plnom rozsahu — pre pracovné zaťaženia umelej inteligencie neexistuje žiadna výnimka pre „prerušované nárazové zaťaženie“, pretože záťaž je presne ten druh trvalého odberu, proti ktorému má zníženie výkonu chrániť.
Server so 4× 5090 a trvalým výkonom 2.4 kW dosahuje 81 % trvalého menovitého prúdu ističa B/C 16 A, čo je presne na hranici limitu. S ističom s krivkou B je vedenie v priemere v poriadku a vypína sa pri nárazovom prúde. S ističom s krivkou C je vedenie v priemere v poriadku a občas sa vypína pri súčasných prechodových špičkách naprieč štyrmi grafickými procesormi. S ističom s krivkou C 20 A alebo C 25 A má vedenie skutočnú rezervu a nikdy sa nevypína. Preto je naším predvoleným odporúčaním pre zostavu 5090 so 4 grafickými procesormi... vyhradený obvod C 20 A alebo C 25 A, nie 16 A obvod, na ktorý matematika „sedí“.
Výber vypínacej krivky pre rad K-AI
| vybudovať | trvalá | Počet zdrojov | Vrchol studeného štartu (najhorší prípad) | Odporúčaný istič |
|---|---|---|---|---|
| 1× pracovná stanica 4090/5090 | 0.7 kW | 1× ATX 1200 W | 60 - 100 A. | B 10 A alebo C 10 A |
| 4× server 5090 (2× 1500–2000 W ATX) | 2.4 kW | 2× ATX | 200 – 400 A kombinovane | C 20 A alebo C 25 A |
| 4× RTX Pro 6000 (2× 2000W ATX) | 2.8 kW | 2× ATX | 200 – 400 A kombinovane | C 25 A |
| 8× server 5090 (2+2 CRPS pri 2 kW) | 4.5 kW | 4× KRPS | 200 – 320 A kombinovane | C 32 A alebo 3-fázový |
| 8× RTX Pro 6000 (2+2 CRPS pri 2.4 kW) | 5.5 kW | 4× KRPS | 200 – 320 A kombinovane | 3-fázová 16 A krivka C |
| 8× L40 inferencia (2× 1500 W ATX) | 2.6 kW | 2× ATX | 200 – 400 A kombinovane | C 20 A |
| 8× L4 inferencia (1× 1200 W ATX) | 0.7 kW | 1× ATX | 60 - 100 A. | B 10 A alebo C 16 A |
Dve poznámky k tejto tabuľke:
- D-krivka je zriedka správna odpoveď. D 10–20× In je určené pre zapínanie transformátora a spúšťanie motora, ktoré môže trvať stovky milisekúnd. Zapínací prúd zdroja je udalosť s dobou trvania menej ako milisekundy až niekoľko milisekúnd. Istič s krivkou D triviálne toleruje zapínací prúd, ale stráca citlivosť na ochranu pred skratom na konci záťaže dlhého kábla. Pokiaľ nemáte konkrétny dôvod, držte sa C.
- Zvýšenie o jednu veľkosť ističa je takmer vždy lacnejšie ako zvýšenie o jednu krivku. AC 20 A na správne dimenzovanom kábli predstavuje výmenu súčiastky z C 16 A za 15 eur. Prechod z B na C pri rovnakom menovitom prúde je tiež výmenou súčiastky, ale je v rozpore s pôvodným návrhom elektrikára. Fungujú oba prístupy; zvyčajne robíme oba – zvýšenie na krivku C a zvýšenie o jednu menovitú veľkosť – aby sme vytvorili miesto pre druhý zdroj, ktorý nakoniec pridáte.
Prečo dátové listy dodávateľov o nábehu podceňujú skutočné číslo
Tri dôvody, prečo je údaj o zapínacom prúde v údajovom liste spodnou hranicou, nie stropom:
- Merania dodávateľa sú pri nominálnom napätí 230 V striedavého prúdu. V niektorých regiónoch a počas hodín s nízkym zaťažením môže mať sieťové napätie 245 V alebo viac. Špičkový nárazový prúd sa lineárne škáluje s napätím siete nad napätím čiastočne nabitého kondenzátora. Nárazový prúd 100 A pri 230 V je 107 A pri 245 V – malý efekt, ale kombinuje sa s ostatnými.
- Impedancia zdroja uvedená v technickom liste je „typický“ laboratórny zdroj, často niekoľko stoviek miliohmov. Skutočná inštalácia s rozvádzačom v tej istej miestnosti ako rack a krátkym napájacím vedením môže dosiahnuť impedanciu zdroja pod 100 mΩ. Nižšia impedancia zdroja znamená menší pokles napätia počas nárazového prúdu, čo znamená vyšší špičkový prúd. Videli sme ten istý zdroj, ktorý odoberá špičkový prúd 80 A na dlhom káblovom vedení a špičkový prúd 140 A na krátkom.
- Stav prednabitia jednosmernej zbernice je dôležitý pri rýchlom zapnutí/vypnutí. Po vypnutí zdroja na niekoľko sekúnd a jeho opätovnom zapnutí sa môžu vyskytnúť teplé kondenzátory so zvyškovým nábojom – zvyčajne to pomáha, menší nárazový prúd. Ale po vypnutí zdroja na niekoľko sekúnd s... studený NTC, ktorý sa neresetoval a čiastočne vybitý Kondenzátory môžu spôsobiť zvláštny nárazový prúd pri druhom štarte, ktorý prekročí hodnotu studeného štartu. Toto je zriedkavé, ale objavuje sa to v rackoch, kde niekto počas ladenia zapína a vypína napájanie cez prepínaný PDU.
Praktickou odpoveďou je predpokladať najhorší prípad vrcholu je zhruba 2-násobok hodnoty v údajovom liste pri dimenzovaní krivky ističa. To je dôvod, prečo sa v tabuľke vyššie uvádza C 20–25 A pre zostavy so 4 grafickými kartami a C 32 A alebo trojfázový prúd pre zostavy s 8 grafickými kartami, aj keď matematika ustáleného stavu by sa hodila pre menšie ističe.
Diferenciálna ochrana: typ RCD pre serverové racky s umelou inteligenciou
Prúdový chránič (RCD) chráni pred zemným zvodom, ktorý prekročí bezpečnú prahovú hodnotu – zvyčajne 30 mA pre obvody osobnej ochrany. Mechanizmus je prúdový transformátor, ktorý sčítava fázový a neutrálny prúd; za normálnej prevádzky je súčet nulový a akákoľvek nerovnováha (prúd smerujúci do zeme) sa prejaví ako reziduálny prúd, ktorý vypína zariadenie nad jeho prahovou hodnotou.
Dva spôsoby, ako stojan servera s umelou inteligenciou ovplyvňuje prúdový chránič:
Únik Y-kondenzátora v ustálenom stave. Každý spínaný zdroj má vo svojom vstupnom filtri EMC kondenzátory Y, ktoré sú umiestnené medzi fázou a nulovým vodičom a zemou. Tieto odvádzajú vysokofrekvenčný spínací šum do zeme. Ako vedľajší efekt tiež prepúšťajú malý 50 Hz prúd do zeme – zvyčajne 0.5 – 1 mA na zdroj v spotrebiteľských ATX jednotkách, 1 – 3 mA na zdroj v serverových jednotkách CRPS s náročnejším filtrovaním. Norma IEC/EN 60950-1 a jej nástupca IEC 62368-1 to z bezpečnostných dôvodov obmedzujú na 3.5 mA na IT zariadenie. Stojan so 4 zdrojmi preto môže pred akoukoľvek poruchou vykazovať 4 – 12 mA uzemňovacieho prúdu v ustálenom stave. Na 30 mA prúdovom chrániči je to „na papieri v poriadku“, ale spotrebuje to takmer polovicu prahovej hodnoty vypnutia.
Únik jednosmernej zložky z aktívneho korekčného prvku (PFC). Moderné serverové zdroje používajú aktívnu korekciu účinníka (PFC) – zvyšujúci menič na vstupe, ktorý odoberá prúd úmerný tvaru vlny sieťového napätia, čím dosahuje PF > 0.95. Stupeň PFC vytvára malú, ale nenulovú jednosmernú zložku pri akomkoľvek zemnom zvode, ku ktorému dôjde (väčšinou v poruchových podmienkach). Prúdové chrániče typu AC reagujú iba na čistý sínusový striedavý zvyškový prúd – budú... nie detekujú poruchy jednosmerných zložiek. Prúdové chrániče typu A detekujú striedavý a pulzujúci jednosmerný prúd, čo pokrýva väčšinu jednofázových elektronických záťaží. Prúdové chrániče typu B detekujú aj hladké jednosmerné reziduá, čo dokáže vytvoriť aktívny PFC a akýkoľvek trojfázový usmerňovač pri záťaži.
| Zariadenia | Minimálny typ prúdového chrániča (RCD) | Prečo |
|---|---|---|
| Kancelárske zásuvky, osvetlenie | Typ AC | Čisté striedavé záťaže |
| Jednofázový zdroj ATX (spotrebiteľský / pracovný) | typ A | Pulzujúci jednosmerný prúd z usmerňovača |
| Serverový zdroj CRPS s aktívnym PFC | typu B | Možný únik jednosmernej zložky |
| Viacero rackov s AI servermi | Selektívny typ B + typ A po prúde | Selektívna diskriminácia |
| Nabíjačka pre elektromobily, menič frekvencie, fotovoltaický invertor | typu B | Rovnaká skupina záťaží |
Prúdové chrániče typu B sú 3–5-krát drahšie ako typ A. Pre jeden 4-GPU server s umelou inteligenciou v existujúcom kancelárskom okruhu je typ A... zvyčajne v poriadku – úniku dominuje striedavý prúd z Y-kondenzátora, jednosmerná zložka je malá a náklady na dodatočnú montáž typu B na celý panel je ťažké odôvodniť. Pre špecializované laboratórium umelej inteligencie s viacerými servermi, Typ B na prívode proti prúdu je správna odpoveď, s prúdovými chráničmi typu A s prúdovým prúdom 30 mA zapojenými na úrovni zásuvky pre osobnú ochranu pri čistení zásuviek a podobne.
Selektivita: odpojovač prúdového chrániča pred/za prúdom
Jeden nepríjemný spôsob poruchy v laboratóriách, ktoré pripevňujú ďalšie prúdové chrániče na existujúci panel: 30 mA prúdový chránič pred ďalšie 30 mA prúdový chránič neposkytuje žiadnu selektívnu diskrimináciu. Pri poruche sa môže ako prvé vypnúť ktorékoľvek z nich a po vypnutí jedného sa môže vypnúť druhé, pretože sa únik prerozdeľuje cez vlastné dráhy mechanizmu spúšte. Výsledkom je, že celý panel zhasne pri poruche, ktorá by mala byť lokalizovanou poruchou jedného obvodu.
Správna topológia pre laboratórium umelej inteligencie:
- Serverový obvod 1 (žiadny ďalší prúdový chránič)
- Serverový okruh 2
- Monitorovanie PDU / pomocné zariadenia
Osobná ochrana – nie je na serverovom kanáli
Správna topológia selektivity prúdového chrániča: 100 mA selektívne typu B pred obvodmi AI, 30 mA iba typu A na pomocných a kancelárskych zásuvkách.
Označenie „S“ alebo „selektívne“ na prúdovom chrániči pred napätím pridáva k mechanizmu vypnutia zámerné časové oneskorenie 40 – 200 ms, čím sa zabezpečí, že zariadenia s prúdovým prúdom 30 mA pred napätím majú čas najskôr odstrániť poruchu. Bez časového oneskorenia by dva prúdové chrániče zapojené sériovo s rovnakou prahovou hodnotou navzájom pretekali. Selektívny prúd 100 mA typu B proti prúdu a 30 mA typu A po prúde iba na pomocných zásuvkách a žiadny Topológia RCD na vyhradenom serverovom obvode (spoliehajúca sa na 100 mA proti prúdu na odstránenie poruchy) skutočne funguje pre viacserverový AI rack.
Pracovaný príklad 1 — 4-GPU 5090 K-AI server
Zostava: jedna základná doska K-AI 96 Turin so 4× RTX 5090, 2× 1500 W ATX zdrojmi (rozdelená dodávka na W04), v malom laboratóriu na novo nainštalovanom vyhradenom obvode.
Trvalé zaťaženie: ~2.4 kW pri 230 V = 10.4 A nepretržite. Pri 80 % znížení výkonu je najmenší istič, ktorý je legálne vhodný, 13 A; ďalšia štandardná veľkosť je 16 A.
Špičkový nábehový prúd (najhorší prípad): 2× 150 A = 300 A kombinovane, trvajúce < 5 ms. Istič AB 16 A (magnetický 48 – 80 A) sa v tomto prípade vypína. Istič AC 16 A (magnetický 80 – 160 A) sa vypína na hornej hranici najhoršieho prípadu. Istič AC 20 A (magnetický 100 – 200 A) drží.
Prúdový chránič: jeden pár zdroja, odhadovaný únik cez Y-konektor je ~3–5 mA v kombinovanom ustálenom stave. Prúdový chránič typu A s prúdom 30 mA má rezervu ~25 mA – v poriadku. Ak má budova iba prúdový chránič typu AC, vymeňte predradené zariadenie za typ A alebo typ B; neumiestňujte druhé 30 mA zariadenie na seba.
Špecifikácia odovzdaná elektrikárovi:
- Vyhradený jednofázový obvod 230 V, istič C 20 A (alebo B 20 A, ak dodávateľ neuvádza krivku C v danom hodnotení; uprednostňuje sa C).
- 30 mA prúdový chránič typu A minimálne typ B, ak sa budova aj tak modernizuje.
- Zásuvka Schuko (alebo jednofázový 16 A konektor pre vašu krajinu) v racku. Kábel C19/C20 zo zásuvky do PDU.
- Žiadne iné záťaže na tom istom okruhu.
Tento obvod udrží 4-GPU server 5090 počas studených štartov, trvalého tréningu a občasného zapnutia a vypnutia bez rušivých výpadkov.
Pracovaný príklad 2 — 8-GPU 5090 K-AI server
Nastavenie: jeden K-AI 256 Turin Dual s 8× RTX 5090, 2+2 CRPS modulmi s výkonom 2 kW každý, určený pre dlhodobé školenie v malej serverovni.
Trvalé zaťaženie: ~4.5 kW pri 230 V = 19.6 A nepretržite. Pri 80 % znížení výkonu je potrebný istič s prúdom aspoň 25 A; ďalšia štandardná veľkosť je 32 A.
Špičkový nábehový prúd (najhorší prípad): 4× 80 A = 320 A kombinovane pre moduly CRPS, < 5 ms. Istič AC 32 A (magnetický 160 – 320 A) je na hrane. Istič AC 40 A (200 – 400 A) drží s rezervou.
RCD: 4× CRPS s PFC, únik cez Y-konektor odhadovaný na ~8–15 mA v kombinovanom ustálenom stave plus nenulová jednosmerná zložka. 30 mA prúdový chránič typu A v tomto prípade nakoniec spôsobí rušivé vypnutie.a nemusí správne detekovať poruchový jednosmerný prúd. Správnou špecifikáciou je selektívny typ B 100 mA.
Možnosti špecifikácie:
- Možnosť A – jednofázová: Istič C 32 A alebo C 40 A na vyhradenom obvode 230 V, selektívny prúdový chránič typu B 100 mA pred napätím. Modrá zásuvka CEE 32 A (jednofázová podľa IEC 60309) na stojane. Funguje to, ale je to na hornej hranici jednofázového rozvodu; káblové vedenie je vystavené značnému prúdu.
- Možnosť B – trojfázová (preferovaná): Trojfázová 400 V 16 A červená zásuvka CEE v racku so štyrmi modulmi CRPS rozmiestnenými medzi fázami na PDU (na P02/P03). Každá fáza prenáša trvalý prúd ~6.5 A, čo je v rámci akéhokoľvek ističa C 16 A, prúdového chrániča na vetvu alebo zdieľaného selektívneho prúdu 100 mA typu B na trojfázovom napájaní. Toto je čistejšie riešenie pre akúkoľvek zostavu s 8 grafickými procesormi, ktorá má k dispozícii tri fázy.
Pracovaný príklad 3 – plánovanie laboratória so štyrmi regálmi
Nastavenie: plánovanie laboratória robotiky a umelej inteligencie so štyrmi rackmi, z ktorých každý bude obsahovať 2× 8-GPU servery K-AI, 2× 4-GPU servery, sieťové pripojenie a nabíjanie humanoidov. Približný trvalý výkon na rack: 2× 4.5 + 2× 2.4 = 13.8 kW; so sieťovými pripojeniami, prepínačmi a nabíjačkami zaokrúhlené na 15 kW na rack, spolu 60 kW.
Jednofázová distribúcia je tu po príchode mŕtva – trvalý počet na stojan už vyžaduje trojfázovú distribúciu. Plán:
- Budovanie kanála: Trojfázové napájanie 400 V, minimálne 100 A na fázu. Existujúce budovy často potrebujú modernizáciu inžinierskych sietí; pred podpísaním nájomnej zmluvy skontrolujte rozvádzač.
- Laboratórny podpanel: Trojfázové 400 V, napájané z hlavného vedenia 4× 63 A alebo 4× 100 A na káblovú trasu.
- Na stojan: 400 V trojfázové 32 A CEE červené napájanie z pomocného panela (~22 kW teoreticky, 17.6 kW trvalo – zodpovedá 15 kW na stojan s 17 % rezervou). Trojpólový istič C 32 A pred každým napájaním racku.
- Stratégia RCD: 100 mA selektívny typ B na napájanie racku, 300 mA selektívny typ B na hlavnom rozvádzači ako protipožiarna ochrana. Prúdové chrániče 30 mA typu A na ochranu osôb iba na pomocných zásuvkách v laboratóriu (pracovné stoly, zásuvky na čistenie), nie na napájaniach serverov.
- Fázové vyváženie: za P03fázovo pruhovaná PDU s meraným výkonom zásuviek na rack so zdokumentovaným mapovaním zásuviek a fáz.
- Postupné spustenie: pozri nižšie.
Pasca postupného štartu
Špecifický scenár, ktorý laboratóriá postihne hneď na prvýkrát: výpadok napájania aktivuje istič pred napájaním, sieťové napájanie sa vráti a každý server v racku sa pokúsi o studený štart v rovnakom okamihu. Celkový nárazový prúd je N × špičkový prúd na zdroj PSU na všetkých serveroch v racku. Pre rack so štyrmi servermi to môže krátkodobo dosiahnuť 1000 – 2000 A na jednom napájaní.
Nadradený istič MCB to zistí a vypne sa. Miestnosť opäť stmavne. Správca systému vypne a zapne panel. Opakuje sa to isté.
Dve riešenia, ktoré obe štandardne nasadzujeme na multiserverových zostaveniach Kentina:
- Prepínaná PDU s postupným spúšťaním (Pre P02). Zásuvky PDU sú nakonfigurované tak, aby sa zapínali postupne s 2 – 5 sekundovým oneskorením medzi jednotlivými zásuvkami. Celkový čas potrebný na zapnutie štyroch serverov je 8 – 20 sekúnd; udalosti zapínania sa neprekrývajú.
- „Oneskorený štart“ alebo „mäkký štart“ zdroja PSU v BIOS / IPMI. Mnohé platformy serverovej úrovne majú konfigurovateľné oneskorenie obnovenia napájania zo siete, ktoré náhodne alebo postupne rozdeľuje čas spustenia v rámci malého okna. V kombinácii s rozložením PDU to poskytuje druhú vrstvu dekorelácie.
Bez jedného z nich sa 8-serverový rack na jednom ističi vypne pri každej jednej udalosti obnovenia napájania. Videli sme to; je to spoľahlivo reprodukovateľné; nemá to nič spoločné s priemerným zaťažením.
Čo robiť ďalej – kontrolný zoznam predinštalácie elektrickej energie
Odovzdajte to elektrikárovi, ktorý vyhodnocuje rozsah inštalácie. Ak sa na tom nevie vysporiadať alebo sa chystá na konkrétnu položku, opýtajte sa prečo; pre niektoré lokálne odchýlky existujú legitímne dôvody, ale plošné ignorovanie vypínacích kriviek alebo typov prúdových chráničov je znakom niekoho, kto sa predtým nevenoval výpočtom s umelou inteligenciou.
Na okruh servera
- Trvalé zaťaženie sčítané pri realistickom pracovnom odbere, nie podľa typového štítku.
- Veľkosť ističa zvolená pri 80 % znížení súčtového odberu pri trvalom zaťažení plus o jednu štandardnú veľkosť viac, kde je to možné.
- Vypínacia krivka je predvolene určená krivkou C. Krivka B sa používa iba v obvodoch, ktoré napájajú iba jednu pracovnú stanicu. Krivka D sa používa takmer nikdy; iba ak je na obvode aj špecifické zaťaženie motora/transformátora.
- Prierez kábla dimenzovaný pre zvolený istič (1.5 mm² pre 16 A, 2.5 mm² pre 20 – 25 A, 4 mm² pre 32 A, 6 mm² pre 40 A na štandardných EÚ vedeniach; dlhšie vedenia vyžadujú zväčšenie rozmerov kvôli poklesu napätia).
- Vyhradený okruh na server. Nezdieľajte s kancelárskymi zásuvkami, osvetlením ani systémom HVAC.
Výber prúdového chrániča (RCD)
- Minimálne typ A pre akýkoľvek obvod servera AI; Uprednostňuje sa typ B pre akýkoľvek rack so 4× alebo viacerými zdrojmi PSU.
- Žiadne dva 30 mA prúdové chrániče zapojené sériovo. Použite selektívny 100 mA typ B pred zástrčkou a 30 mA typ A iba na pomocných zásuvkách alebo jeden 30 mA typ B pri záťaži, nikdy nie oba oba.
- Osobný ochranný chránič 30 mA na zásuvkách pracovnej stanice, osvetlenia a čistenia – nie na napájaní servera.
Zmiernenie nárazového prúdu
- PDU nakonfigurované na postupné spúšťanie zásuviek (2–5 s medzi zásuvkami) na viacserverových rackoch.
- Oneskorenie obnovenia napájania zo siete v systéme BIOS servera / IPMI nakonfigurované na každom uzle.
- Špecifikácie zdroja po overení: jednokolejnicový 12 V, NTC alebo aktívny obmedzovač zapínacieho prúdu, pokiaľ je to možné, serverovej triedy.
dokumentácia
- Jednovodičová elektrická schéma bola aktualizovaná a zobrazuje menovitý výkon, krivku a typ prúdového chrániča pre každý istič.
- Štítky na každom ističi v rozvádzači zodpovedajúce racku, ktorý napája.
- Zdokumentovaná špička zapínacieho prúdu na obvod (údajový list × 2 ako predpoklad najhoršieho prípadu).
- Priradenie fáz pre každú zásuvku na trojfázových napájaniach, uvedené na dvierkach rozvádzača (za P03).
Úprimné zhrnutie: 80% zníženie výkonu a istič s krivkou C nie sú voliteľné, prúdový chránič typu A alebo B nie je voliteľný a postupné spustenie nie je voliteľné, ak je v racku viac ako dva servery. Ak tieto štyri správne nastavíte, problém s „ističom sa stále vypína“ zmizne.
Krížové odkazy: W04 sa zaoberá dimenzovaním zdroja PSU a topológiou rozdeleného napájania s dvoma zdrojmi PSU; P01 zahŕňa výber jednofázového verzus trojfázového napájania; P02 zahŕňa typy PDU a výber prepínaných/zásuvkovo meraných jednotiek; P03 pokrýva fázové vyvažovanie medzi stojanmi; P05 (ďalší v rade P) sa zaoberá dimenzovaním UPS pre výpočty s umelou inteligenciou, kde sa rovnaká logika zapínania uplatňuje o jeden stupeň vyššie.
Toto je súčasť Kentino Wiki, referenčnej série o umelej inteligencii, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy sú vítané na info@kentino.com.