Figure выпустила Helix 2.5, самую продвинутую нейросеть в своей истории. Робота привезли в 30 домов в районе залива Сан-Франциско, где он не снимал ни одного кадра и ничего не дообучал, и попросили сделать три вещи: убрать гостиную, сложить полотенца и заправить кровать. Успешных попыток 56%.
Цифра выглядит скромно, пока не сравнишь её с контрольной группой. Ту же задачу обучили на тех же данных, но с нуля, без предварительного обучения на датасете Figure. Такая политика справилась с 9% попыток.
Что именно считали успехом
Критерии жёсткие. В гостиной нужно собрать все 13-15 разбросанных игрушек в корзину. Полотенца не просто сложить, а донести до корзины. В кровати обе подушки и углы одеяла должны оказаться в верхней трети, одеяло разглажено. Частичных зачётов нет: не убрал одну игрушку, попытка провалена. На каждую игрушку даётся минута, на полотенце три.
Во всех 30 домах использовали один и тот же чекпоинт модели. Веса не подстраивали под планировку или предметы, данные из этих домов не собирали, игрушки и постельное бельё в обучающую выборку не попадали. Проверяли это так: предметы отложили до начала экспериментов, а затем модель и человек сверяли, что они не встречались в данных.
Оговорка, которую Figure проговаривает сама: zero-shot здесь относится к домам и предметам, а не к самим навыкам. Уборке, складыванию и заправке модель училась на данных, собранных в других местах.
Откуда взялся прирост
Helix 2.5 целиком предобучена на Index, датасете поведения людей, который Figure собирает по всему миру. Из одной базовой модели получили три разных поведения, включая ходьбу, работу с твёрдыми и мягкими предметами, двуручную координацию и активное восприятие.
Разница между 9% и 56% измерена честно: архитектура, гиперпараметры, дообучающие данные и оценка были одинаковыми, менялось только предобучение. В отличие от Helix 02, которая стартовала с готовой vision-language модели, Helix 2.5 обучали с нуля и только на Index.
Дальше Figure показывает то, что называет первым законом масштабирования переноса от человека к гуманоиду. Четыре модели обучили на вложенных подвыборках Index с восьмикратным разбросом по объёму данных, размер модели и дообучение не трогали. Ошибка падала предсказуемо, и по трём меньшим прогонам авторы предсказали результат самого большого с точностью до четвёртого знака. Ошибка прогноза составила 0,54% от разброса по всему диапазону.
Отдельный результат касается цены нового навыка. Helix 2.5 потребовалось вдвое меньше данных, чем Helix 02 на ту же задачу, а обобщение при этом растянулось на 30 незнакомых домов вместо одного знакомого.
Почему 56% это много и мало
Для гуманоида, который впервые заходит в чужую квартиру и работает всем телом, 56% без подстройки это заметный сдвиг. Роботу нужно подойти к дивану, переставить ноги, чтобы дотянуться до игрушки под ним, и не застрять между мебелью. Настольная рука или колёсная база такую задачу решить не могут, им нужно пространство под себя, а дома его не выделяют.
С другой стороны, 44% провалов означают, что в половине квартир работу придётся доделывать человеку. Для демонстрации это нормально, для продукта нет. Figure и не утверждает обратного: в посте прямо сказано, что общая гуманоидная робототехника не решена, а Helix 2.5 это первое свидетельство, что интеллект можно выучить на человеческом опыте и перенести в новое место, а не собирать заново под каждую комнату.
Что стоит проверить независимо: хватит ли одного и того же чекпоинта на дома с другой культурой быта. Все 30 квартир были в Калифорнии, и мебель там примерно одного типа. Кровати, диваны и полотенца в Токио или Москве выглядят иначе, а именно на разнообразии обстановки держится вся идея переноса.
Сейчас Index добавляет около 35 минут человеческого опыта в секунду, а на обучение Helix компания выделила $3,5 млрд вычислений. Если зависимость из их графика сохранится, следующий шаг будет не в архитектуре, а в объёме данных. И это самый простой тезис из всех, что можно проверить деньгами.
Источник: https://www.figure.ai/news/helix-2-5-zero-shot-30-home-generalization
