NVIDIA и Hugging Face 21 октября опубликовали пошаговый разбор: как обучить походку для открытого двуногого робота Microduck в симуляции и перенести готовую политику на железо. Microduck стоит $399, весит около 800 г, достигает 25 см в высоту и приводится в движение 15 моторами. Это не игрушка для демонстраций, а полигон, на котором проверяют весь путь от параллельной симуляции до ONNX-файла на борту.
Робота сделали Pollen Robotics и Hugging Face. Прелесть платформы в том, что она снимает порог входа: раньше похожий цикл обучения требовал лабораторной руки за десятки тысяч долларов и своей команды по инфраструктуре, теперь тот же цикл проходят на настольном устройстве.
4096 копий вместо одной
Обучение идёт в Isaac Lab, фреймворке с GPU-параллельными средами. Базовая команда запускает 4096 копий Microduck одновременно. Политика получает 61 значение наблюдений и выдаёт 14 целевых положений суставов. В распределённой конфигурации на 16 GPU с шероховатой местностью и люфтом редукторов обучение доходит до 1,25 млн шагов в секунду.
Смысл в том, что робот учится не на одной траектории, а на тысячах слегка разных. Каждая копия получает своё состояние: массу, трение, напряжение батареи, задержку команд. Политика вынуждена находить решение, которое работает не в идеальном мире, а в разбросе условий.
Где симуляция обычно врёт
Главная причина, по которой обученная в симуляции походка разваливается на реальном роботе, — приводы. В симуляторе мотор послушно выдаёт заданный момент, в железе есть прошивка контроллера, ограничение тока, трение, тепловой дрейф и задержка реакции. Авторы используют Newton с решателем MJWarp и модель BAM (Better Actuator Models), которая превращает позиционные команды в реалистичные моменты с учётом этих эффектов.
Отдельно моделируется люфт — механический зазор в редукторе, из-за которого сустав сначала выбирает слабину, а потом начинает движение. Люфт задаётся независимо для каждого сустава, чтобы политика видела неравномерный износ. Дальше включается доменная рандомизация: масса и центр масс, трение о грунт, инерция суставов, смещения энкодеров, просадка напряжения батареи, задержка команд, толчки и разная местность.
Это не украшение, а способ сделать обучение честнее. Если политика выживает при случайных толчках и разболтанных редукторах, у неё больше шансов не упасть на первом же ковре.
ONNX и перенос на железо
После обучения политику проверяют в визуализаторе Newton, а затем экспортируют. Штатный механизм RSL-RL сохраняет два файла: TorchScript и ONNX. На борт Microduck ставится именно ONNX, потому что его загружает родной runtime робота. При экспорте важно сохранить порядок наблюдений, нормировку и масштаб действий — малейшее расхождение с обучением, и походка превращается в дрожь.
Дальше файл копируется на робота по scp, загружается командой `robotctl policy load walk` и проверяется через `robotctl monitor`. Если что-то пошло не так, `robotctl policy reset walk` возвращает заводскую политику. В ролике показано, как Microduck после падения встаёт и продолжает идти — это и есть проверка на устойчивость, которую симуляция обещала.
Есть и общий стенд для сравнения: Microduck Arena на Hugging Face принимает модели с теми же 61 наблюдением и 14 действиями, размер файла ограничен 64 МиБ. Политику можно выложить на Hub с карточкой модели и конфигурацией обучения, чтобы результат воспроизвели другие.
Что это значит
Microduck не заменит складского робота: 800 г полезной нагрузки не хватит даже на тяжёлую коробку. Ценность в другом — в отработанном и опубликованном конвейере. Симуляция, реалистичная модель привода, доменная рандомизация, экспорт в ONNX, загрузка на железо и публичная арена для сравнения — это те же шаги, которые проходят команды, обучающие полноразмерных гуманоидов. Разница только в цене ошибки.
Когда такой цикл стоит $399 и несколько часов на рабочей станции, проверять гипотезы о походке можно до того, как появляется бюджет на железо. Именно поэтому демонстрация важнее самого робота: она показывает, что sim-to-real перестал быть привилегией лабораторий с собственным парком GPU.
Источник: https://huggingface.co/blog/nvidia/microduck-isaac-lab-sim-to-real
