Mistral выпустила Robostral Navigate, свою первую модель для навигации роботов. На вход она получает обычную RGB-картинку и текстовую инструкцию, на выходе выдаёт, куда ехать. Команды выглядят как человеческая просьба: «выйди из холла, пройди по коридору, зайди в кладовую и остановись напротив второй полки».
Обычно такие задачи решают связкой из датчиков глубины, лидара и нескольких камер. Robostral Navigate обходится одной камерой и на бенчмарке R2R-CE (Room-to-Room in Continuous Environments) в режиме validation unseen показывает 76,6%. Это на 9,7 пункта больше, чем у лучшей одномоторной системы, и на 4,5 пункта больше, чем у лучшего варианта с глубиной или несколькими камерами. На validation seen результат 79,4%.
Как модель выбирает, куда идти
Вместо метрических команд вроде «сдвинься на два метра» модель предсказывает точку: координаты цели в текущем кадре и желаемый разворот по прибытии. Авторы называют это pointing. Приём делает политику устойчивой к разнице в параметрах камер и масштабе мира, потому что модели не нужно переводить пиксели в метры.
У pointing есть очевидная слабость: если цель вне поля зрения, указывать не на что. В таких случаях модель переключается на смещение в локальной системе координат робота: «два метра вперёд, полтора влево, поворот на 25 градусов влево».
Модель собрана внутри Mistral, без опоры на открытые vision-language модели. Её инициализировали из собственной VLM, натренированной на grounding-задачах: указать на объект, посчитать предметы, найти их положение. Навигация выросла из этих умений. Сначала модель понимает, где что находится, потом учится туда двигаться.
Синтетика вместо часов съёмки
Данные собирали целиком в симуляции. Пайплайн позволил быстро перебирать сценарии и дал около 2,4 млн траекторий в 350 тыс. сцен. Реальные съёмки в таком объёме обошлись бы дорого и всё равно не покрыли бы разнообразие планировок.
Отдельная история, за счёт чего обучение уложилось в разумное время. Mistral применила схему с prefix-caching и маскированием внимания по дереву: целый эпизод сжимается в одну последовательность, все шаги считаются за один проход, а утечка информации между шагами блокируется маской. По сравнению с обучением по одному шагу это даёт в 22 раза меньше токенов при том же сигнале. То, что раньше занимало месяцы, теперь занимает дни.
После обучения с учителем модель дообучали онлайн-подкреплением алгоритмом CISPO. Она пробует, ошибается, восстанавливается после провалов и находит исследовательское поведение, чего обычное поведенческое клонирование не даёт. Один этот этап добавил 3,2% к успешности. Авторы отмечают, что выхода на плато пока не видно.
Где это работает
Модель запускается на колёсных, ногих и летающих платформах и переносится между роботами разного размера. В демонстрации она проходит длинный маршрут по работающему офису с людьми и препятствиями, которых не было в обучении. Mistral перечисляет заказчиков из производства, доставки, логистики и гостиничного бизнеса.
Для Mistral это заявка на другую роль. Компания известна языковыми моделями, а здесь выходит на рынок embodied AI, где конкурируют с Google DeepMind, Physical Intelligence и производителями роботов. Ставка на компактную модель и одну камеру выглядит практичной: дешевле по железу и проще в установке на существующие платформы. Хватит ли 8 млрд параметров для длинных маршрутов в незнакомых зданиях без подсказок, покажут независимые тесты, а не бенчмарк, на котором обучались авторы.
Источник: https://mistral.ai/news/robostral-navigate
