Topológia siete pre výpočtové laboratórium robotiky a umelej inteligencie

Robotické laboratórium nie je kancelária, dátové centrum ani domáce laboratórium. Je to malá, ale nezvyčajne náročná sieť: hŕstka zariadení s veľmi odlišnými profilmi prenosu, ktoré všetky zdieľajú rovnaký kábel. Jeden humanoid streamuje stereo video na inferenčný server. Vývojárska pracovná stanica ťahá 70 GB modelový kontrolný bod. Štvornožca sa prechádza a hľadá svoju dokovaciu stanicu. Port IPMI ticho hlási otáčanie ventilátora.

Ak sa topológia zmýli, príznaky budú hrozné a nepriame: robot sa zasekne, keď kolega odošle obraz Dockeru; latencia inferenčného servera sa zdvojnásobí, keď sa niekto pripojí k Wi-Fi; synchronizácia gradientu s vaším dolaďovacím boxom záhadne zaznamená 200 ms špičky počas obedňajšej špičky. Ak to urobíte správne, sieť zostane neviditeľná, čo je jediné, čo od nej chcete.

Tento článok je o správnom tvare tejto siete v roku 2026. Cieľová skupina: integrátori a stavitelia laboratórií, ktorí si budujú „laboratórium v ​​krabici“ – jeden až štyri roboty, jeden alebo dva inferenčné servery K-AI, niekoľko vývojových pracovných staníc a úložné a spravovacie komponenty, ktoré ich spájajú. Nie referenčná architektúra hyperškálovateľného systému. Nie rozpočtová zostava domáceho laboratória. Skutočný stred.

Cieľ „laboratórium v ​​krabici“

Referenčné nasadenie pre tento článok:

• 1–4 roboty — humanoidi, štvornožci alebo ich kombinácia. Primárne Wi-Fi 6E, voliteľné káblové pripojenie počas vývoja.
• 1–2 inferenčné servery K-AI — 4× alebo 8× GPU (5090 / RTX Pro 6000 Blackwell) spúšťajúca vLLM / SGLang pre VLM a LLM.
• 1–2 úložné / NAS boxy — súbory údajov, kontrolné body, zaznamenané protokoly senzorov. Zvyčajne jeden ZFS box s vyrovnávacou pamäťou NVMe.
• 2–6 vývojových pracovných staníc — inžinieri prevádzkujúci ROS 2, Isaac Sim, dolaďovanie tréningu, kopírovanie dát.
• Riadiaca rovina — IPMI/BMC na každom serveri, prepínačoch, prístupových bodoch a lokálnom hostiteľovi DNS/DHCP.

Celkom: 15 – 40 aktívnych sieťových zariadení. Jeden prepínač by ho mohol prenášať elektricky. Dôvodom, prečo sú v nižšie uvedenom návrhu dva prepínače, nie je kapacita – je to doména chýb, rozpočet PoE a snaha udržiavať prevádzku robotov a prevádzku GPU na rôznych fyzických vodičoch, aby jedno nemohlo vyčerpať druhé.

Fyzická topológia

Dva fyzické prepínače, jeden firewall, jeden alebo dva prístupové body. Servery K-AI pristávajú na jadre s rýchlosťou 25 GbE; prístupový prepínač agreguje pracovné stanice a prístupové body; roboty sa pripájajú cez vyhradené SSID s frekvenciou 6 GHz.

Dva fyzické prepínače, jeden firewall, jeden alebo dva prístupové body (AP). Servery K-AI a úložný box sú pripojené k hlavnému prepínaču s rýchlosťou 25 GbE. Prístupový prepínač zachytáva káblové, ale pomalšie zariadenia – pracovné stanice, prístupové body, IPMI, kamery – a odosiela ich do hlavného spojenia s rýchlosťou 10 GbE. Roboty prichádzajú cez Wi-Fi 6E na vyhradenom SSID.

Prečo 25 GbE medzi jadrom a K-AI? Pretože dvojportová sieťová karta ConnectX-6 Lx SFP28 je najlacnejšou dôveryhodnou kartou v roku 2026 (cena 700 – 900 € na ulici, niekedy menej pri použitom modeli) a 25 GbE je viac než dosť na streamovanie inferencie na jednom serveri. Model 70B Q4 streamuje tokeny štyrom robotom naraz v rozsahu desiatok Mbit/s. Preskupenie kontrolných bodov modelu je udalosťou dňa týkajúcou sa šírky pásma a 25 GbE vymaže 100 GB za približne 35 sekúnd. Zákazníci, ktorí spúšťajú tréning viacerých uzlov, potrebujú 100 GbE – čo je uvedené v... N01 a N08 — ale to je iná sieť ako tá v tomto článku.

Veľkosť úrovne rýchlosti

Dve veci, ktoré treba internalizovať:

• V laboratóriu s jedným serverom nepotrebujete 100 GbE. Ľudia to špecifikujú, pretože technický list vyzerá pôsobivo. Skutočná trvalá rýchlosť siete servera K-AI je „výstup tokenov“ (Mbit/s) plus občasné preskupenia kontrolných bodov (jednociferné Gb/s). Kábel nikdy nie je úzkym hrdlom v laboratóriu zameranom iba na inferenciu.
• Wi-Fi je vždy najpomalší internet. Plánujte podľa toho. Dobré 6 GHz pripojenie ku klientovi Wi-Fi 6E dosahuje skutočnú priepustnosť 1.2 – 1.8 Gb/s pri priamej viditeľnosti 10 m s latenciou 3 – 8 ms a jitterom ±2 ms za primeraných podmienok. Toky z robotických senzorov (jedna alebo dve kamery RGB-D s rozlíšením 1080p30 každá) potrebujú trvalo ~150 – 300 Mb/s; máte dostatok priestoru – kým sa k SSID nepripojí niekto iný.

Segmentácia VLAN

Dôvod, prečo má táto sieť šesť VLAN, nie je firemná hygiena. Je to preto, aby zlé správanie jedného zariadenia nemohlo pokaziť deň inému.

Rozkol, ktorý ľudí zaskočí: Roboty a K-AI sú na rôznych VLAN, aj keď spolu neustále komunikujú. Smerovanie medzi VLAN je úlohou firewallu/smerovača a je to miesto, kde sa vynucuje kontrola, kto s kým môže hovoriť. Ak by roboty a K-AI zdieľali VLAN, napadnutý robot (a spotrebiteľskí humanoidi sa dodávajú s útočnou plochou) by mal plochý L2 prístup k GPU serveru. To je pri akomkoľvek vážnom nasadení tvrdé „nie“.

Druhý rozkol, ktorý stojí za obhajobu: rovina riadenia je vlastná VLAN, bodka. Rozhrania IPMI/BMC sa už dve desaťročia dodávajú s backdoormi od dodávateľov a mali by ste predpokladať, že to tak bude vždy. Majú vlastnú podsieť, vlastné pravidlá prístupu a nikto k nim nesmeruje okrem administrátorského notebooku v riadiacej VLAN.

Pravidlá brány firewall

Predvolené zamietnutie medzi VLAN. Potom výnimky:

Dve pravidlá, ktoré stoja za zmienku:

• Roboty nemajú prístup na internet. Ľudia sa tomu bránia, pretože to narúša telemetriu/tok aktualizácií firmvéru výrobcu. Výborne. Pridajte konkrétny server aktualizácií výrobcu na bielu listinu v okne údržby a potom ho znova zatvorte. Predvolený stav je „tento robot nemôže telefonovať domov“.
• Výstup WAN siete K-AI je na požiadanie. Počas sťahovania modelu alebo načítavania kontajnera otvorte kód 443. V opačnom prípade ho nechajte zatvorený. Inferenčný server nemá čo robiť prehliadať web a nechcete, aby zvedavý vývojár... curl skript je cesta, ktorú červ používa na únik z vašej množiny údajov.

Nastavenie Wi-Fi

Najčastejšou chybou pri zostavovaní Wi-Fi siete v robotickom laboratóriu je „priradíme robotom kancelársky SSID“. Tento SSID sa zdieľa s telefónmi, notebookmi, tlačiarňami, inteligentnou chladničkou a tromi ľuďmi v hovoroch cez Teams. Rozdiel v latencii je obrovský a reaktívne správanie robota sa rozpadá.

Správna odpoveď:

• Jedno SSID na VLAN. „lab-robots“ na VLAN 10, „lab-dev“ na VLAN 30, „lab-guest“ na VLAN 99. V riadiacej VLAN nie je prítomné žiadne bezdrôtové pripojenie.
• SSID robotiky je iba 6 GHz. Žiadne 2.4 GHz, žiadne záložné 5 GHz. Áno, to znamená, že staršie zariadenia sa nemôžu pripojiť – o to ide. 6 GHz má dramaticky menej konkurencie, pretože populácia starších zariadení na ňom bude v roku 2026 v podstate nulová.
• Šírka kanála 80 MHz, nie 160. 160 MHz vyzerá v technickom liste lepšie, ale dva 160 MHz prístupové body v tej istej budove sa navzájom preháňajú. 80 MHz pri 6 GHz vám poskytne štyri až šesť čistých kanálov a predvídateľnú latenciu.
• Jeden prístupový bod na približne 60–80 m² pracovnej plochy robota, pokiaľ je to možné v priamej viditeľnosti. Ak má laboratórium steny, pridajte prístupový bod. Roaming je v poriadku na Wi-Fi 6E so zapnutým štandardom 802.11r/k/v, ale robot počas úlohy udalosť roamingu neocení.
• Zakážte spravodlivé vysielacie časy pre SSID robota. Predvolené nastavenie uprednostňuje pomalších klientov; chcete, aby robot, ktorý je jediným spotrebiteľom daného SSID, získal každý vysielací čas.

Pre hardvér pre rok 2026: UniFi U6 Enterprise (Wi-Fi 6E, ~450 €) alebo novší U7 Pro / E7 (Wi-Fi 7, 189 € / 499 €+) sú cenovo výhodnejšie. Aruba série 650 a Cisco Meraki série MR sú alternatívami podnikovej triedy za 2–3-násobok ceny; rovina správy je lepšia a rádiové zariadenia sú lepšie pri vysokej hustote klientov, čo nasadenie v jednom laboratóriu s dvoma robotmi v skutočnosti nepotrebuje.

Synchronizácia času — PTP a NTP

Posun hodín medzi robotom a serverom nenápadným a trápnym spôsobom narúša fúziu senzorov. 20 ms odchýlka spôsobí, že stereo hĺbkový kanál vytvára virtuálne objekty. 100 ms odchýlka spôsobí, že plánovač manipulácie si myslí, že chápadlo je niekde, kde nie je.

Dve úrovne riešenia:

• NTP s chronyd proti lokálnemu serveru stratum-1 (Raspberry Pi s GPS, celkovo ~80 € alebo firewall fungujúci ako stratum-2). Dosahuje presnosť ~1 ms na káblovej sieti LAN, ~5–20 ms cez Wi-Fi. Dostatočné pre väčšinu robotických prác.
• PTP (IEEE 1588v2) s hardvérovým časovým pečiatkovaním na prepínačoch, ktoré ho podporujú. MikroTik série CRS3xx/CRS5xx podporuje hraničné hodiny PTP so synchronizáciou v nanosekundovom rozsahu; Aruba CX 6300 a Cisco Catalyst to tiež zvládajú. Dosahuje submikrosekundy na káblových trasách a submilisekundy cez Wi-Fi.

Pre 1–2 roboty je NTP v poriadku. Spustiť chronyd na každom uzle ho nasmerujte na lokálny master, monitorujte offset, spúšťajte alarm pri drifte > 5 ms. Pre štyri a viac robotov alebo akékoľvek nasadenie vykonávajúce fúziu viacerých senzorov naprieč strojmi spustite PTP na káblovej strane a NTP použite ako záložnú možnosť. V oboch prípadoch, monitorovať driftPočet laboratórnych úloh, ktoré „majú synchronizovaný čas“, pretože boli spustené apt install ntp raz pred dvoma rokmi je veľké.

DNS, DHCP a IPAM

Lokálny resolver na úrovni riadenia, bodka. Pi-hole alebo Unbound na malom virtuálnom počítači to splní. Dôvody:

1. Roboty a inferenčné servery musia vyriešiť vllm.lab.local, nas.lab.localatď. bez spiatočnej cesty do siete WAN.
2. Pri spustení nového koncového bodu K-AI chcete pridať položku hosts na jedno miesto.
3. Pi-hole vám poskytuje bezplatný blok reklám/telemetrie v celej sieti, ktorý zabraňuje zahlteniu vašich káblov prevádzkou z telefónov výrobcov.

DHCP na VLAN, nakonfigurované na firewalle/routeri (UDM Pro Max, OPNsense, pfSense to robia bez problémov). Rezervácie pre všetko, na čom záleží — roboty, servery, prístupové body, IPMI, prepínače, NAS. Dynamické fondy sú určené len pre návštevníkov a dočasné pracovné stanice. Robot, ktorý pri každom reštarte dostane inú IP adresu, je robot, ktorého spúšťacie súbory ROS 2 sa každý utorok pokazia.

Monitorovanie

Laboratórium bez monitorovania je laboratórium, kde sa problémy diagnostikujú podľa ich dôsledkov. Spustite štandardný zásobník na rovine riadenia:

• Prometheus prepínač skrabovania SNMPv3, počítadlá sieťovej karty (node_exporter), metriky GPU (dcgm_exporter) a metriky inferenčného servera (vLLM natívne sprístupňuje Prometheus).
• grafana dashboardy: využitie portu, priepustnosť VLAN, teplota a využitie GPU, drift PTP/NTP, doba prevádzkyschopnosti pripojenia robota.
• Upozornenie ktoré sa skutočne spúšťajú: počítadlo pauzy PFC > 0 na ľubovoľnom porte (znamená to, že niekto preťažuje RDMA, čo by ste v tejto sieti nemali mať, ale aj tak to skontrolujte), teplota GPU > 80 °C, časový posun > 5 ms, anomália v počte klientov AP.

SNMPv3, nie v2c. Laboratórium je dostatočne malé, takže minimálna konfigurácia trvá pätnásť minút a minimálna bezpečnosť je skutočná.

Kusovník betónu — 1 server, 2 roboty, 4 pracovné stanice

Funkčný nákupný zoznam pre referenčné nasadenie s poctivými cenami, polovica roka 2026 EUR bez DPH:

Pre porovnanie: samotný 8-GPU server K-AI stojí 40 000 – 70 000 EUR, dvaja humanoidi stoja 30 000 – 80 000 EUR každý. Sieť tvorí 5 – 10 % z celkových výdavkov a je to časť, ktorá s najväčšou pravdepodobnosťou rozhoduje o tom, či laboratórium funguje, alebo nie.

Ak je rozpočet obmedzený, rozumné škrty: namiesto hlavného prepínača použite MikroTik CRS504-4XQ-IN (4× QSFP28, rozhrania na 16× 25 GbE, ~700 €) a akceptujte menší počet portov; použite jeden prístupový bod, ak je pracovná plocha <60 m²; vynechajte zdroj GPS NTP a zmierte sa s chronickým prenosom dát cez WAN.

Bežné chyby

V zhrubam poradí, ako často jednotlivé hryzú:

• Miešanie robotickej prevádzky s bežnou kancelárskou Wi-Fi sieťou. Rozptyl latencie ničí reaktívne správanie. Prvým riešením každého volania „môj robot má chybu“ je „priradiť mu vlastné SSID na 6 GHz“.
• Poddimenzované buffery na lacných prepínačoch. 8-portový 10G prepínač za 200 € zvláda dve zariadenia bez problémov a preruší sa, keď štyri uzly dosiahnu rovnaký uplink. Prevádzka umelej inteligencie je nárazová; vyrovnávacie pamäte prepínača absorbujú tento výbuch. Najlacnejším dôveryhodným prepínačom s hlbokou vyrovnávacou pamäťou v tomto článku je Aruba CX 6300 (zdieľaná vyrovnávacia pamäť 8/16/32 MB); MikroTik CRS5xx je plytší, ale postačuje pre laboratórium s jedným serverom.
• Žiadny PTP master, žiadny NTP audit. Synchronizácia času „funguje“, kým neprestane, a fúzia senzorov medzi tým ticho zlyhá. Monitorujte posun a alarm.
• Rozpočet PoE bol nesprávne vypočítaný. Prepínač inzeruje „PoE++“ a zistíte, že jeho celkový rozpočet je 200 W, z čoho polovicu spotrebujú kamery, o ktorých vám nikto nepovedal, a výpadky napájania prístupového bodu pri štarte. Spočítajte výkon a nechajte 30 % rezervy.
• Robotovi bolo dovolené telefonovať domov. Aktualizácia firmvéru od výrobcu v utorok ráno, ktorá stiahne nový model, čo zmení latenciu inferencie na palube, čo preruší načasovanie chápadla. Zakaždým. Firewall pre WAN výstup robota; manuálne ovládanie aktualizácií.
• Žiadne monitorovanie, kým sa niečo nepokazí. Laboratórium funguje bez problémov šesť mesiacov. Potom prístupový bod začne dvakrát denne vyraďovať klientov a nikto si to týždeň nevšimne, pretože neexistujú žiadne dashboardy. Kým sa do toho niekto pustí, zmenia sa ďalšie štyri veci a nikto nevie povedať, čo zlyhalo ako prvé.

Úprimný pohľad

Väčšina robotických laboratórií prepracúva svoje siete príliš vysoko a nedostatočne prepracúva dôležité časti. Ľudia špecifikujú 100 GbE chrbticové siete pre inferenčné laboratóriá s jedným serverom a potom pripoja robota k kancelárskej Wi-Fi sieti. Kúpia si Cisco Catalyst 9300X s hlbokými vyrovnávacími pamäťami a potom prevádzkujú plochú L2 sieť bez segmentácie VLAN.

Návrh 80/20 pre laboratórium s jedným serverom a 1–4 robotmi v roku 2026 je malý a neestetický:

• 25 GbE medzi hlavným prepínačom a serverom K-AI. Jedna sieťová karta, jeden DAC, hotovo.
• 10 GbE medzi jadrom a prístupom. Dva DAC prevodníky.
• Jeden hlavný prepínač, jeden prístupový prepínač, jeden firewall, jeden alebo dva prístupové body.
• Šesť VLAN, firewall s predvoleným odmietnutím, samostatné SSID pre každú rolu.
• NTP z lokálneho zdroja, monitorovaný.
• Prometheus + Grafana na malom virtuálnom počítači.

Celkové výdavky na sieť: menej ako 7 000 EUR. Celkový čas do uvedenia do prevádzky: približne týždeň, ak je kabeláž pripravená. Toto zahŕňa skutočné produkčné laboratórium; ďalší krok – 100 GbE chrbticová sieť, smerované Close, prepínače AI s hlbokou vyrovnávacou pamäťou – je určený na tréning viacerých serverov, čo je oblasťou N04, N08a K02.

---

Toto je súčasť Kentino Wiki, referenčnej série o umelej inteligencii, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy sú vítané na info@kentino.com.