Все, кто обучал визуальные политики имитационного обучения, знают предел камер: манипуляции, богатые контактом, с деформируемыми объектами.
Недавно авторы протестировали двуручную задачу: разъединить и сложить вложенные бумажные стаканчики на роботе AI Worker с двумя 20-DoF кистями HX5-D20. Разделить два вложенных стаканчика требует ровно такой силы захвата, чтобы вытянуть верхний, не раздавив его и не потащив нижний. Визуально захват одного стаканчика и двух почти неотличим.
Поскольку каждый кончик пальца HX5-D20 имеет тактильный массив давления, авторы проверили, насколько тактильная обратная связь помогает и как архитектура модели влияет на результат в 54-DoF пространстве действий. Три модели на одной задаче:
- Baseline ACT (0% успеха): только RGB-камеры и состояния суставов — политика не регулировала контактную силу, опрокидывала стаканчики или не разделяла их.
- Tactile ACT (10% успеха): проекция сырых массивов давления через MLP и добавление как токенов в ACT сделала захват стабильнее, но робот всё ещё брал оба стаканчика вместе.
- ViTacFormer (40% успеха): двухэтапная архитектура сначала предсказывает будущие тактильные состояния по истории визуальных, проприоцептивных и тактильных данных, затем обусловливает декодер действий этими предсказанными токенами. Предвидение изменения давления на кончиках пальцев позволило снять верхний стаканчик, сложить его и завершить стек.
40% успеха показывают, что есть куда расти, но скачок с 0% при одной камере до 40% за счёт предсказания будущих тактильных состояний подчёркивает: дизайн архитектуры важен не меньше, чем сами тактильные сенсоры.
Источник: https://discourse.openrobotics.org/t/teaching-robots-to-feel-with-ai-worker-tactile-imitation-learning/58932
