SDK pre roboty, ROS 2 a simulačné prostredia
zdieľam
Robotická platforma z roku 2026 – humanoidná alebo štvornožcová – sa dodáva s tromi softvérovými príbehmi, s ktorými sa musíte vysporiadať predtým, ako sa spustí akýkoľvek váš vlastný kód. SDK výrobcu, ktoré komunikuje s kĺbmi. Wrapper ROS 2, ktorý komunikuje so všetkým ostatným. A simulátor, ktorý používate, pretože lietanie s Unitree G1 EDU za 43 000 dolárov do steny je drahý spôsob, ako odladiť preklep.
Tieto tri vrstvy nie sú zameniteľné. SDK funguje v reálnom čase a je proprietárne. ROS 2 je lingua franca, ktorá umožňuje, aby zvyšok svetového robotického kódu fungoval s vašou platformou. Simulátor je miesto, kde robíte prácu, ktorú nechcete robiť na skutočnom robotovi – posilňovacie učenie, generovanie rozsiahlych dát, návrh scén, bezhlavá CI. Väčšina tímov na všetky tri vrstvy vynakladá menej peňazí.
Tento článok sa venuje tomu, čo každá vrstva v skutočnosti ponúka v roku 2026, kde sú hranice a ktoré kombinácie sa oplatí postaviť s reálnym rozpočtom robotického laboratória. Referenčné platformy sú tie, ktoré sú uvedené v R01 a R02Referenčným výpočtovým procesorom je rad K-AI (4× alebo 8× RTX 5090 alebo RTX Pro 6000 Blackwell, EPYC alebo Xeon host).
Vrstva SDK – čo vám výrobcovia skutočne poskytujú
Každý dôveryhodný predajca robotov dodáva súpravu na vývoj softvéru. Názov je rovnaký, obsah nie. Tu je to, čo sa v krabici skutočne nachádza.
| SDK dodávateľa | Jazykové väzby | Spoločná kontrola | Streamovanie zo senzorov | API pre lokomotívy | ROS 2 obal |
|---|---|---|---|---|---|
| Unitree SDK2 (G1/H1/B2/Go2) | C++ / Python (založené na DDS) | Áno, v reálnom čase | Áno (IMU, kĺb, kamera) | Parametre chôdze, státia, sedenia a chôdze | Oficiálna unitree_ros2 (Skromné + Jazzové) |
| SDK pre robotiku Booster | C++ / Python | Áno | Áno | Chôdza, rovnováha, naplánované pohyby | Open-source, natívny ROS 2 |
| SDK EngineAI (PM01 / SE01) | C++ / Python | Áno | Áno | Chôdza, rovnováha | Komunita + URDF dodaný dodávateľom |
| SDK pre Boston Dynamics Spot | Python (gRPC), niečo C++ | Iba na vysokej úrovni (bez krútiaceho momentu kĺbu) | Áno (proto streamy) | Chôdza, státie, sedenie, navigácia, Spot Arm |
spot_ros2 (komunitné + požehnanie od BD) |
| ANYbotics ANYmal API | C++ / Python (gRPC) | Vysoká úroveň (lokomočné primitívy) | Áno | Chôdza, lezenie, dokovanie | Interný; Altánok + URDF pre výskumnú úroveň |
| Sada SDK DeepRobotics (X30/Lite3) | C++ / Python | Áno | Áno | Chôdza, stúpanie | Komunita + dodávateľ URDF |
Dve delenia sú dôležitejšie ako ostatné.
Otvorené verzus uzavreté. Unitree, Booster, EngineAI a DeepRobotics vám poskytujú prístup na úrovni kĺbov. Môžete vydávať príkazy krútiaceho momentu s frekvenciou 500 Hz až 1 kHz priamo do akčných členov. To je to, čo potrebujete pre nasadenie politík RL, výskum vlastnej lokomotívy a čokoľvek dynamické. Boston Dynamics a ANYbotics udržiavajú riadenie kĺbov uzavreté – získate primitívy na vysokej úrovni (chôdza sem, lezenie tam, manipulácia s týmto), SDK ich sprístupní ako volania RPC a prácu na kĺbe vykoná vlastný ovládač spoločnosti. To je zámerná voľba. Uzavretý zásobník je spoľahlivejší a softvér na autonómiu je to, za čo platíte 74 000 až 200 000 dolárov. Je to tiež nesprávny zásobník, ak je váš výskum na nízkej úrovni riadenia.
V reálnom čase verzus nie. Unitree SDK2 používa Cyclone DDS cez vyhradené sieťové rozhranie a poskytuje submilisekundový okružný cyklus v spoločnej slučke. Boosterova platforma je podobná. Spot SDK je gRPC cez HTTP/2 – v poriadku na ovládanie správania, ale nepoužiteľné na uzatváranie riadiacej slučky pri 1 kHz. Ak vaša práca vyžaduje slučku s kratšou ako 2 ms, architektúra je dôležitejšia ako jazyk.
Poznámka k otázke Pythonu. Každý dodávateľ ponúka väzby Pythonu. Žiadna z nich nie je jazykom, v ktorom beží riadiaca slučka. Vzor v celom odvetví je rovnaký: C++ pre ovládač reálneho času, Python pre všetko nad ním. SDK od dodávateľov to odrážajú: väzby C++ poskytujú viac informácií, bežia rýchlejšie a sú v jazyku, v ktorom sú napísané vlastné príklady dodávateľa. Väzby Pythonu sú prvotriedne pre prácu na vysokej úrovni a obalujú cestu na nízkej úrovni. Pri písaní vnútornej riadiacej slučky si vyberte C++ a Python pre orchestráciu, prepojenie vnímania a integráciu s inferenčným serverom.
ROS 2 – prečo sa naň všetci normalizujú
Natívne SDK vás dostane k robotovi. ROS 2 vás dostane do ekosystému.
Existujú tri dôvody, prečo každá seriózna integrácia nakoniec používa ROS 2, aj keď je SDK výrobcu postačujúce:
- Interoperabilita. Váš percepčný zásobník, váš SLAM, vaša navigácia, váš plánovač manipulácie, váš teleop – všetky tieto implementácie sú spravované stovkami prispievateľov. Nikto z nich natívne nehovorí formátom tém Unitree DDS. Stačí SDK raz zabaliť do správ ROS 2 a otvorí sa celý ekosystém.
- Vozové parky od viacerých dodávateľov. V deň, keď pridáte druhého robota od iného dodávateľa, prístup s natívnou SDK sa zrúti. ROS 2 je jediná abstrakcia, ktorá umožňuje robotom Spot, ANYmal a G1 zdieľať rovnaký mapový server, rovnaký graf úloh a rovnaké rozhranie človek-stroj.
- Prijímanie zamestnancov. Ľudia poznajú ROS 2. Nepoznajú však konvencie pomenovávania tém Unitree DDS. Tím, ktorý stavia na ROS 2, si môže najať zamestnancov z globálneho poolu. Tím, ktorý stavia na proprietárnom balíku, to nemôže.
Distribúcia ROS 2, máj 2026:
| distribúcia | Uvoľnený | EOL | Stav v roku 2026 |
|---|---|---|---|
| Pokorný jastrab | môže 2022 | môže 2027 | Dominantná LTS v produkčnom prostredí. Väčšina obalových riešení od dodávateľov sa zameriava na túto platformu. |
| Železo Irwini | môže 2023 | November 2024 (koniec života) | Preskočiť. Nie je LTS, už je v dôchodku. |
| Jazzový Jalisco | môže 2024 | môže 2029 | Aktuálne LTS pre nové projekty. Prebieha migrácia v rámci ekosystému. |
| Kaiju s kiltmi | môže 2025 | novembra 2026 | Most bez LTS. Používa sa pre skorých používateľov. |
| Lyrický Luth | môže 2026 | môže 2031 | Nová LTS práve vyšla. Počkajte šesť mesiacov, kým sa pustíte do jej produkcie. |
Úprimné čítanie. V produkčných nasadeniach sa dnes stále používa Humble. Humble je LTS, na ktorý sa predajcovia zameriavajú — Unitree unitree_ros2, Boosterov stack, komunita spot_ros2a grid_map od ANYbotics majú všetky stabilné vetvy Humble. Jazzy je miesto, kde by mali začať nové zostavenia: má ešte tri roky LTS životnosti a migračné nástroje sú zrelé. Lyrical Luth je príliš nový na to, aby sme sa k nemu zaviazali – počkajte s ním do konca roka 2026, kým na ňom postavíte produkčný systém.
Ak začínate projekt v máji 2026, choďte na Jazzy. Ak predlžujete projekt, ktorý ste začali v roku 2023, zostaňte na Humble, kým ďalší nákup robota nevynúti migráciu. Úplne vynechajte Iron a Kilted; vydania bez LTS sú určené pre ľudí, ktorí chcú pozorne sledovať aktualizácie Gazebo Harmonic a akceptovať daň z údržby.
Rozdelenie regulačnej slučky
Toto je architektonické rozhodnutie, ktoré zaskočí väčšinu tímov.
- C++ na RT ovládači robota
- Príkazy na krútiaci moment kĺbu
- Rovnováha, chôdza, bezpečnostné reflexy
- Fúzia IMU + enkodéra
- Iba SDK výrobcu
- Python (alebo C++) v ROS 2
- Vnímanie, SLAM, plánovanie
- Smerovač príkazov
- gRPC klient k inferenčnému serveru
- Všetka logika neutrálna voči dodávateľovi
Rozdelenie riadiacej slučky: vrstva C++ SDK v reálnom čase dole, orchestrácia ROS 2 Python hore, prepojené s frekvenciou 10–50 Hz prostredníctvom stavových správ DDS.
Riadiaca slučka zostáva na robote v jazyku C++. Vrstva vyššej úrovne beží v uzloch ROS 2, buď na aplikačnom procesore robota (Jetson Orin AGX), alebo v prípade náročnejšej práce na externom inferenčnom serveri (pozri I01). Tieto dve vrstvy komunikujú s frekvenciou 10–50 Hz cez DDS. Nezdieľajú žiadny proces.
Toto rozdelenie nie je voliteľné. Uzol Python ROS 2 nedokáže uzavrieť 1 kHz spoločnú slučku – samotný zberač odpadu to znemožňuje. Pokus o to je najčastejšou chybou v prvom roku práce s humanoidmi. SDK dodávateľa existuje práve preto, aby ste to nemuseli robiť.
Kedy potrebujete simulátor (a kedy nie)
Simulátor je povinný pre štyri druhy práce:
- Posilňovacie učenie. Politiku pohybu nemožno natrénovať od nuly na skutočnom robotovi. Robot by sa pokazil, tréner by prestal fungovať a náklady by boli neúnosné. RL sa deje v simulátore – milióny epizód, tisíce prostredí paralelne.
- Generovanie rozsiahlych dát. Syntetické dáta pre doladenie VLM, pochopenie scény, uchopenie manipulácie. Najmodernejšie tímy (R09) vygenerujú cez noc stovky tisíc označených scén.
- Bezhlavá CI. Chcete, aby sa pri každom spustení gitu overilo, či robot stále chodí. Robiť to na hardvéri je nepraktické. Nočný simulátor, ktorý precvičuje lokomóciu a vnímanie, je.
- Dizajn prostredia. Navrhovanie skladu, továrenskej bunky, laboratória – pred stavbou je potrebné vedieť, či sa v ňom robot dokáže orientovať.
Simulátor nepotrebujete na:
- Skoré prototypovanie. Ak píšete demo na „prinútite robota mávať“, simulátor je nad hlavou. Použite skutočného robota.
- Jednoduchá manipulácia. Zdvihnutie krabice, otvorenie zásuvky. Rozdiel medzi simuláciou a realitou pri týchto úlohách je často väčší ako čas, ktorý by ste strávili ich vykonaním na skutočnom robote.
- Vývoj Teleopu. Celý zmysel teleopu je človek v slučke. Simulácia nepomáha.
- Jednorazové správanie. Čokoľvek, čo dvakrát spustíte a zahodíte.
Chyba, ktorú tímy robia, je, že považujú simulátor za predvolený. Nie je to tak. Je to nástroj pre štyri vyššie uvedené prípady plus zjavný bezpečnostný argument typu „nechcem havarovať skutočného robota“.
Zostava simulátorov pre rok 2026
V roku 2026 existujú štyri simulátory, ktoré sú dôležité pre robotiku s jazdou na nohách. Nie sú ekvivalentné a výber je subjektívny.
| Simulator | Fyzika | preklad | Paralelné prostredia (jedno 5090) | Najlepšie pre |
|---|---|---|---|---|
| NVIDIA Isaac Sim / Isaac Lab | PhysX 5 / Omniverse | Fotorealistické (RTX) | 4,096-8,192 | Generovanie fotorealistických dát, rozsiahle RL, simulácia do reality |
| MuJoCo / MJX | MuJoCo (tuhé teleso, bohatý kontakt) | Základný raster | 4,000-16,000 + | Lokomócia RL, obratná manipulácia, deterministická |
| Altánok Harmonický | ŠÍPKA / Odrážka / ODE | OBR 2 | 1-8 | ROS 2 - natívny vývoj, integračné testy |
| Genesis | Multifyzikálny (tuhý + mäkký + tekutý) | Trasované / rastrové | 10,000+ | Vysokokapacitné úlohy RL akademického štýlu so zmiešanou fyzikou |
Čísla v stĺpci paralelných prostredí sú praktické, nie teoretické. Závisia od zložitosti modelu. Frankovo rameno beží s vyšším počtom paralelných prostredí ako humanoid so 41 stupňami voľnosti a obratnými rukami.
Isaac Sim a Isaac Lab – stávka spoločnosti NVIDIA
Isaac Sim je fotorealistický simulátor akcelerovaný GPU, postavený na platforme Omniverse. Isaac Lab je framework pre učenie robotov, ktorý je na ňom umiestnený. Spoločne predstavujú odpoveď spoločnosti NVIDIA na každú otázku týkajúcu sa simulácie robotiky.
V čom sa dobre vyzná:
- Fotorealistické vykresľovanie. Osvetlenie s lúčovým sledovaním, presné materiály, modely kamier z reálneho sveta. Ak sa váš systém vnímania potrebuje naučiť, ako svet v skutočnosti vyzerá, toto je jediný simulátor, ktorý to poskytuje vo veľkom meradle.
- Fyzika akcelerovaná GPU. Paralelné prostredia fungujú v pamäti GPU. Jedna RTX 5090 spúšťa tisíce humanoidných inštancií rýchlosťou stoviek fyzikálnych krokov za sekundu.
- Laboratórium Isaaca. Čistý RL framework so vstavanou podporou pre RSL RL, RL-Games, SKRL a Stable Baselines3. Medzi viac ako 16 predpripravených modelov robotov patria G1, H1, Spot, ANYmal, Franka a rastúci zoznam nováčikov.
- Integrácia GR00T. Tu sa nachádza základný model humanoidov od spoločnosti NVIDIA. Ak chcete trénovať politiku vízie, jazyka a akcie a nasadiť ju na viacerých platformách, toto je tá správna cesta.
Čo robí zle:
- Bolesť pri nastavovaní Omniverse. Runtime Omniverse je tvrdohlavý, náročný a nie je priateľský k predvolenej inštalácii Ubuntu. Pred spustením prvej simulácie očakávajte deň boja so spúšťačom, serverom Nucleus a vyrovnávacou pamäťou.
- Viazané na GPU. Isaac Sim nebeží na CPU. Nefunguje dobre na jednom 4090. Referenčné nastavenie je minimálne 5090, preferovaný Pro 6000 Blackwell a hostiteľ EPYC na prenos dát.
- S vlastným názorom. Formáty dát sú USD. Fyzika je PhysX. Renderovanie je RTX. Ak chcete iný fyzikálny engine, ste v nesprávnom simulátore.
Vypočítajte realitu. Server K-AI so 4× RTX 5090 pohodlne zvládne tréning humanoidov z Isaac Lab – 4 000 – 8 000 paralelných prostredí, plne fotorealistický render s 30 – 60 FPS, konvergencia politík v úlohe lokomocie za 6 – 24 hodín. S 8× 5090 môžete škálovať širšie alebo spúšťať viacero experimentov paralelne. Pro 6000 Blackwell je tou správnou voľbou, keď je pamäť obmedzujúcim faktorom (veľké dávky, väčšie knižnice humanoidných aktív).
MuJoCo a MJX – odpoveď založená na fyzike
MuJoCo je fyzikálny simulátor od DeepMind. MJX je prepis XLA/JAX, ktorý spúšťa MuJoCo na GPU s plným dávkovým spracovaním. MJWarp je novší spoločný projekt spoločností NVIDIA a Google, ktorý píše MuJoCo vo Warpe a lepšie sa škáluje pre scény bohaté na kontakty.
V čom sa dobre vyzná:
- Rýchlosť. Čistá fyzika tuhých telies bohatá na kontakty, napísaná pre GPU od základov. Na jednej grafickej karte RTX 5090 spúšťa MJX tisíce humanoidných prostredí rýchlosťou fyzikálnych krokov za sekundu, ktorej sa Isaac Sim pri rovnakej zložitosti scény nevyrovná.
- Determinizmus. Rovnaké semeno, rovnaká trajektória. Reprodukovateľný RL je vlastnosťou.
- Podpora DeepMind. Každý významný článok o robotike v časopise DeepMind za posledných päť rokov používa MuJoCo. Knižnice modelov (MuJoCo Menagerie) zahŕňajú G1, H1, Spot, ANYmal, Franka Arm a Shadow Hand.
- Jednoduchšie. Žiadny Omniverse, žiadny USD, žiadny Nucleus. Nainštalujte a spustite Pip.
Čo robí zle:
- Vizuálne vykresľovanie. Renderer v MuJoCo je z éry OpenGL. Na vizualizáciu postačujúci, na generovanie fotorealistických dát nepoužiteľný.
- Ekosystém aktív. Menší ako Isaac. Dovoz z URDF funguje, ale leštenie je horšie.
- Modely senzorov. Modely kamery, hĺbky a LiDAR sú základné. Ak vaša politika závisí od realistického šumu senzorov, budete si tieto modely vytvárať sami.
Vypočítajte realitu. Jedna RTX 5090 spúšťa 4 000 – 16 000 paralelných humanoidných prostredí MJX v závislosti od zložitosti kontaktu. Server 4× 5090 K-AI dokáže paralelne spúšťať viac ako 50 000 humanoidných prostredí pre lokomočné vedenie v reálnom čase. Toto je matematika, ktorú má DeepMind a väčšina akademických laboratórií na MuJoCo pre vnútornú slučku tréningu politík.
Gazebo Harmonic – pôvodný model ROS 2
Gazebo je open-source simulátor, ktorý je už dve desaťročia štandardným nástrojom pre ROS. Gazebo Harmonic je aktuálny LTS a výborne sa hodí k ROS 2 Humble a Jazzy.
V čom sa dobre vyzná:
-
Integrácia ROS2. Prvotriedny.
ros_gzBridge znamená, že vaše uzly ROS 2 fungujú v simulácii bez zmien. - Otvorené a zadarmo. Žiadna licencia, žiadny Omniverse, žiadna závislosť od NVIDIA. Beží na CPU, na GPU AMD, na čomkoľvek.
- Právo na integračné testovanie. Ak je vaším cieľom „overiť, či navigačný zásobník a plánovač stále fungujú aj po refaktorovaní“, Gazebo je tou správnou voľbou.
Čo robí zle:
- Pomaly. Jednovláknová fyzika, štandardne softvérové vykresľovanie. Paralelné prostredia znamenajú spúšťanie viacerých procesov Gazebo. Politiky RL sa v Gazebo netrénujú, ale testujú sa dymom.
- Nie je kompatibilný s GPU. Žiadne dávkovanie pomocou GPU. Pridanie akcelerácie vykresľovania pomáha, ale nemení základné škálovanie.
- Rozdiel medzi simuláciou a skutočnou hodnotou je horší. Kontaktný model je menej prísny ako MuJoCo, senzorové modely sú menej realistické ako Isaac.
Vypočítajte realitu. Gazebo beží na čomkoľvek, čo máte. Server K-AI je na to zbytočne výkonný. Notebook je v poriadku. Nevýhodou je, že pri akomkoľvek netriviálnom zaťažení RL Gazebo prerastiete v priebehu niekoľkých dní.
Genesis – akademický uchádzač o vysokú priepustnosť
Genesis je multiinštitucionálny simulátor, ktorý prišiel koncom roka 2024 s výraznými tvrdeniami o výkone a odvtedy väčšinu z nich dokázal. Prispeli k nemu CMU, Stanford, MIT CSAIL, NVIDIA a Tsinghua.
V čom sa dobre vyzná:
- Priepustnosť. Genesis dosahuje na jednej grafickej karte RTX 4090 viac ako 40 miliónov FPS pri záťaži s inverznou kinematikou od Franky. Pre humanoidy je toto číslo nižšie, ale stále ide o milióny. Architektúra je od začiatku postavená na paralelnej simulácii hmotnosti.
- Multifyzika. Tuhé, tekuté, mäkké teleso, granulované, MPM. Ak vaša úloha zahŕňa niečo iné ako tuhý kontakt (deformovateľná manipulácia, liatie tekutín, granulárna interakcia), Genesis je jediný simulátor v tomto zozname, ktorý to zvláda natívne.
- Nástroje pre generatívnu tvorbu scén. Genesis je dodávaný s generovaním scén riadeným promptom. Popíšete prostredie v texte a dostanete scénu.
Čo robí zle:
- Novší ekosystém. Menej predpripravených modelov, menej tutoriálov, menšia komunita ako MuJoCo alebo Isaac.
- Menej overené bojmi pre simuláciu v reálnom svete. Fyzika je rýchla; či sa na hardvéri prenáša rovnako dobre ako MuJoCo, komunita ešte len zisťuje.
- Medzery v dokumentácii. Bežné pri rýchlo sa rozvíjajúcich výskumných projektoch.
Kam sa to zmestí v roku 2026. Genesis je tou správnou voľbou pre akademické RL, kde chcete maximálnu priepustnosť prostredia a ste ochotní písať viac vlastných prvkov. Pre dnešný produkčný proces prechodu zo simulácie do reality je bezpečnejšou voľbou MuJoCo alebo Isaac. Sledujte tento priestor.
Simulácia reality, vydanie 2026
Praktický stav simulácie v reálnom živote, máj 2026:
- Randomizácia domén je povinná. Nemôžete trénovať s jednou sadou fyzikálnych parametrov a očakávať prenos. Hmota, trenie, oneskorenia motora, šum senzorov, latencia – všetky tieto parametre sa počas tréningu náhodne menia v určitom rozsahu.
- Odkladanie konania je dôležitejšie, než si ľudia pripúšťajú. Pohony skutočného robota majú oneskorenie 5 – 25 ms od príkazu po krútiaci moment. Simulátor, ktorý beží bez tohto oneskorenia, vytvára pravidlá, ktoré oscilujú na hardvéri. Začleňte oneskorenie do simulátora od prvého dňa.
- Musí byť vložený šum senzora. Drift IMU, šum kamery, výpadky hĺbkového senzora. Práce z roku 2026, ktoré fungujú, zahŕňajú všetky tieto oblasti v tréningových prácach.
- Tréning na viacerých simulátoroch je na špičke. PolySim a podobné frameworky sa trénujú súčasne na MuJoCo + Isaac + niekedy aj Gazebo. Prvé výsledky sú dobré. Výpočtové náklady sú 2–3× trénovanie na jednej simulácii.
- Pohyb ťažkých humanoidov je stále ťažký. Prenášanie užitočného zaťaženia, zotavovanie sa z tlačenia počas prepravy niečoho – tieto faktory sa na platformách v porovnaní so simuláciou a reálnym stavom stále zhoršujú o 50 – 80 %. R01.
Naplánujte si, že dve tretiny vášho reálneho výkonu budú pochádzať zo simulácie. Poslednú tretinu naplánujte na doladenie hardvéru, identifikáciu systému a náročné ladenie.
Betónový recept: G1 + ROS 2 Humble + Isaac Lab na serveri K-AI
Hardware:
- Unitree G1 EDU (Jetson Orin AGX, 23–43 DOF)
- K-AI 256 Turin Dual / 4× RTX 5090 / 1× RTX Pro 6000 Blackwell
(the Pro 6000 for sim, the 5090s for batched policy training)
- Wi-Fi 6E AP, line of sight to working area
- 10 GbE switch, wired link from K-AI to AP
Software on the K-AI server:
- Ubuntu 22.04, CUDA 13, Docker
- Isaac Sim 5.x + Isaac Lab (Omniverse runtime, Nucleus local)
- ROS 2 Humble (or Jazzy, if starting fresh today)
- PyTorch 2.x, JAX, RSL RL
- vLLM serving a VLM for high-level perception (see I02)
- MuJoCo + MJX as the second sim, for cross-sim validation
Software on the G1:
- Unitree SDK2 (C++ joint-control loop)
- unitree_ros2 (Humble) on the Jetson
- Custom ROS 2 nodes: command_router, perception_relay
- gRPC client to vLLM on the K-AI server
Workflow:
1. Train a locomotion or whole-body policy in Isaac Lab on the
Pro 6000 (4,000+ parallel G1 instances, RSL RL).
2. Validate the policy in MJX (4× 5090 batched) with different
domain randomization seeds.
3. Deploy the policy via TorchScript to the G1's Jetson, wrapped
in a ROS 2 node that the Unitree SDK2 control loop calls.
4. ROS 2 high-level commands flow from the lab's task graph
through the command_router into the policy.
5. Heavy perception (VLM) lives on the K-AI server, reached over
Wi-Fi 6E + gRPC.
Celkový čas potrebný na prípravu tímu s predchádzajúcimi skúsenosťami s ROS 2 je dva až tri týždne. Celkový čas potrebný na prípravu tímu, ktorý sa učí ROS 2 od nuly, je dva až tri mesiace. Naplánujte si to podľa toho. Výpočtová časť servera K-AI je jednoduchšia.
Úprimný pohľad
Tri názory, jasne:
- ROS 2 je tá správna abstrakčná vrstva. Natívne SDK sú potrebné, ale nie postačujúce. Stavte na ROS 2 wrappere a zaobchádzajte s SDK výrobcu ako so službou, ktorú wrapper spotrebuje. Prechod na proprietárne riešenie vám nič nekúpi a stojí vás zvyšok ekosystému.
- Isaac Sim je budúcnosť, ale prítomnosť je pre väčšinu tímov MuJoCo + ROS 2. Ak sa vaša práca zameriava na RL (realistické vnímanie) a obratnú manipuláciu, MuJoCo / MJX je lacnejšia, rýchlejšia a jednoduchšia voľba na nasadenie. Ak sa vaša práca zameriava na fotorealistické vnímanie, generovanie rozsiahlych dát alebo doladenie základného modelu v štýle VLA, Isaac je jediná voľba. Väčšina laboratórií potrebuje oboje a server K-AI má dostatok priestoru na spustenie oboch.
- Najmodernejšie laboratóriá používajú všetky štyri. Isaac za renderovanie a pipeline foundation-model. MuJoCo za vnútornú slučku RL. Gazebo za integračné testy ROS 2. Genesis za prácu s viacerými fyzikami. Predstieranie, že budete potrebovať iba jeden, je spôsob, akým tímy nakoniec o rok prepíšu svoj stack.
Čo robiť ďalej – rozhodovací strom
Otázka 1: Robíte RL alebo klasické ovládanie + vnímanie?
- RL → potrebujete simulátor. Pokračujte otázkou 2.
- Iba klasická hudba → môžete sa vyhnúť náročnej práci so simulátorom. Stavajte na ROS 2 + SDK výrobcu, používajte Gazebo na integračné testy a minite svoj rozpočet na simulátor na hardvér.
Otázka 2: Je fotorealistické vykresľovanie pre vašu prácu nosné?
- Áno (Trénovanie VLA, syntetické dáta pre VLM, vizuálne servo na textúrach) → Isaac Sim / Isaac Lab na Blackwell 5090 alebo Pro 6000.
- Nie (lokomócia RL, manipulácia s bohatými kontaktmi, politiky riadenia na nízkej úrovni) → MuJoCo / MJX. Lacnejšie, rýchlejšie a knižnica modelov pokrýva každú platformu s nohami v tomto článku.
Otázka 3: Potrebujete viacero fyzikálnych prvkov (deformovateľné látky, kvapaliny, granuláty)?
- Áno → Genesis. Prijmite drsnejší ekosystém výmenou za jediný simulátor, ktorý ho všetko zvládne.
- Nie → drž sa Isaaca alebo MuJoCo.
Otázka 4: Aká je vaša výpočtová realita?
- Jedna pracovná stanica, jedna alebo dve grafické karty → MuJoCo / MJX. Použijeme, čo máte. Isaac Sim technicky pobeží, ale bude to stiesnené.
- 4× až 8× GPU server (vrstva K-AI) → buď Isaac, alebo MuJoCo v plnom rozsahu, alebo oba paralelne. Toto je správny výpočet pre danú prácu; pozri I01 pre stavbu.
- Zatiaľ žiadny dedikovaný server → kúpte si jedného predtým, ako si kúpite druhého robota. Výpočtová technika robí z robota výskumnú platformu namiesto chodiacej ukážky.
Otázka 5: Aká je východisková hodnota ROS 2 vášho tímu?
- Silné → začnite s Jazzy. Päť rokov podpory LTS, aktuálne nástroje, moderná integrácia Gazebo Harmonic.
- Slabý → začnite na Humble. Väčšina tutoriálov, väčšina vendor wrapperov, väčšina komunitnej pomoci. Migrujte na Jazzy, keď to vynúti ďalší robot alebo rozsiahly refaktoring.
Roboty sú skutočné, simulátory sú skutočné, práca je skutočná. Sľub „nasadíme ich len zo simulátora“ nie je. Naplánujte si medzeru.
Toto je súčasť Kentino Wiki, referenčnej série o umelej inteligencii, robotike a systémoch, ktoré ich spájajú. Komentáre a opravy sú vítané na info@kentino.com.