NVIDIA Research продвигает робототехнику от симуляции к реальному миру

Робототехника вступает в новую фазу: переход от контролируемых демонстраций и запрограммированной автоматизации к обобщаемой, надёжной воплощённой автономии в реальном мире.

На Международной конференции по робототехнике и автоматизации (ICRA) восемь из 28 принятых докладов исследовательского подразделения NVIDIA демонстрируют, как перенос результатов моделирования в реальный мир становится основой для этого перехода, помогая роботам воспринимать, рассуждать, планировать и действовать в динамичных, непредсказуемых средах.

В совокупности эти доклады охватывают полный спектр проблем, с которыми сталкиваются разработчики роботов: координация нескольких манипуляторов параллельно, создание политик, обобщаемых для разных типов роботов, захват незнакомых объектов в загромождённой обстановке, выполнение точной сборки и разработка моделей «видение-язык-действие», способных рассуждать перед выполнением движения.

Общая идея очевидна: переход «симуляция-реальность» становится основой для создания роботов, способных адаптироваться, обобщать знания и действовать с повышенной надёжностью за пределами лаборатории.

Представьте лабораторию, в которой работают роботизированные руки: они берут пробирки, переливают жидкости, смешивают реагенты — каждый этап требует разного времени и всё это нуждается в тщательной координации.

Традиционное программное обеспечение для планирования работы роботов выполняет эти этапы последовательно, по одной руке за раз.

ScheduleStream меняет это, выполняя вычисления на GPU, что позволяет нескольким манипуляторам планировать движения и работать параллельно. Результат — трёхкратное ускорение в сценариях многорукого планирования на таком оборудовании, как платформа периферийного ИИ NVIDIA Jetson. Код фреймворка доступен на GitHub.

Робот, который учится перемещаться по пространству — обходя препятствия и находя пункт назначения — обычно осваивает это для одного типа корпуса. Если установить то же программное обеспечение для навигации в робота другой формы, оно часто перестаёт работать, потому что его части двигаются по-разному.

Фреймворк политик COMPASS решает эту проблему, сначала создавая базовую функциональность навигации с помощью имитационного обучения, а затем применяя остаточное обучение с подкреплением в NVIDIA Isaac Lab для создания специализированных политик для различных воплощений роботов. Ключевой момент: на любом этапе не используются реальные данные от роботов — всё обучение происходит в симуляции Isaac Lab.

По сравнению с базовым подходом имитационного обучения COMPASS показал улучшение среднего уровня успеха в 4,5 раза. Он также обеспечивает бесшовный перенос в реальные среды, демонстрируя около 80% успеха в 20 реальных навигационных испытаниях на автономных мобильных роботах и гуманоидах.

COMPASS является агентно-ориентированным, обладает специализированными навыками — и разработчики могут подключить конвейер к NVIDIA Omniverse NuRec, чтобы проводить пост-обучение и валидацию роботов в цифровом двойнике новой среды перед развёртыванием.

Большинство систем захвата идентифицируют объект, предсказывают захват, планируют траекторию, а затем выполняют действие. Но последние несколько сантиметров — это то место, где даже небольшие ошибки имеют наибольшее значение.

Grasp-MPC адаптивно вычисляет роботизированные захваты, непрерывно корректируя движение робота по мере его приближения к объекту, вместо того чтобы выполнять фиксированный план — так же, как человек берёт что-либо, полагаясь на тактильные ощущения, а не вычисляя заранее каждый угол сочленения.

Для построения такой политики исследователи сгенерировали 2 миллиона симулированных траекторий на 8000 объектов, используя аннотации из набора данных GraspGen и данные планирования движений из cuRobo — библиотеки с ускорением CUDA для генерации движений роботов.

После обучения как на успешных, так и на неудачных траекториях Grasp-MPC научилась захватывать незнакомые объекты на загромождённых столах и полках — достигнув общей успешности около 75% на реальных роботах по сравнению с базовым показателем в 41%.

Deformable Cluster Manipulation (Управление деформируемыми кластерами) представляет фреймворк, который решает параллельную задачу: обеспечение возможности системам захватывать не один объект, а сразу целый пучок гибкого, перепутанного материала.

Этот фреймворк был мотивирован реальной задачей: расчистка массы древесных ветвей, разросшихся на линии электропередачи, где нет ни одного отдельного «чистого» объекта для захвата. Система использует всю свою руку, а не только захват: обвивая ею скопление ветвей и сметая их в сторону, подобно тому, как человек собирает охапку кабелей или отталкивает спутанный кустарник с пути.

Исследователи создали генератор деревьев, используя уравнения биологического роста, чтобы синтезировать деревья множества различных форм и размеров — а затем обучили систему на тысячах таких моделей в рамках открытых симуляционных фреймворков NVIDIA Isaac.

Политика развёртывается на реальных ветвях без дообучения (zero-shot). Помимо линий электропередачи, исследователи видят потенциал применения в управлении кабелями, сельскохозяйственной инспекции и везде, где роботам нужно обрабатывать спутанные объекты, а не отдельные предметы, которые можно захватить.

Точная сборка — накручивание гайки на болт, установка шестерни на вал, вставка штифта в отверстие — как известно, чрезвычайно трудно реализуема с использованием только симуляции.

Реальный мир сложен. Реальные поверхности не являются идеально гладкими. Датчики ведут себя не так, как указано в спецификациях. Небольшие расхождения, которые симулятор игнорирует, могут полностью остановить робота.

Метод SPARR решает эту проблему, разделяя задачу на две части. Политика, обученная в Isaac Lab, осваивает общую стратегию выполнения сборочной задачи в симуляции. Затем, на реальном оборудовании, второй уровень обучается корректировать ошибки симулятора — используя собственную камеру робота и без каких-либо демонстраций или подсказок со стороны человека.

SPARR повышает уровень успеха на 38% и сокращает время цикла примерно на 30% по сравнению с базовыми подходами zero-shot при переносе из симуляции в реальность.

На сборочных задачах Национального института стандартов и технологий (NIST), не встречавшихся во время обучения, уровень успеха повышается почти на 75% — приближаясь к результатам методов, требующих участия человека в контуре.

Фреймворк Refinery берёт на себя следующий уровень сложности в сборке: задачи с множеством последовательных шагов, где то, как выполнен первый шаг, определяет, возможен ли второй. Это как собирать мебель — оставьте панель под неправильным углом, и следующее крепление не войдёт.

Понимая, как успех варьируется в зависимости от начальных условий, и обучаясь на сотнях смоделированных сборочных сценариев, Refinery учится выполнять каждый шаг и оставлять каждый компонент в положении, которое подготавливает следующий этап. Он достигает 91% успеха в симуляции и среднего улучшения почти на 11% по сравнению с базовыми методами, демонстрируя сопоставимые результаты в реальном мире, — а его политики можно объединять в цепочки для обработки длинных многоэтапных последовательностей.

Конвейер PEEK помогает роботам видеть сквозь загромождения. В типичной задаче манипуляции камера робота фиксирует всё в сцене — но большая часть этого является нерелевантным шумом.

Одна из задач, продемонстрированная на проектной странице PEEK, — «передайте банан основателю и генеральному директору NVIDIA Дженсену Хуану»: на столе рядом с фотографией Майкла Джордана, набором посторонних предметов и других отвлекающих объектов находится фото Хуана.

Человек, выполняя эту задачу, мгновенно фокусируется на банане и нужной фотографии; стандартная политика робота вынуждена обрабатывать всё и часто путается. PEEK решает эту проблему, позволяя визуально-языковой модели прочитать инструкцию к задаче и соответствующим образом сфокусировать линию обзора робота — показывая траекторию движения и выделяя объекты, которые важны, одновременно затемняя всё остальное.

Затем политика действует на основе этого аннотированного представления, а не необработанной сцены. Для политики, обученной исключительно в симуляции, добавление PEEK дало 41-кратное улучшение точности в реальном мире. Для больших VLA-моделей и меньших политик выигрыш составляет от 2 до 3,5 раза. Поскольку PEEK работает на уровне изображения, он интегрируется с любой политикой, использующей камеру, без модификаций.

«Делай то, что говоришь» — совместная работа с исследователями из Университета Карнеги-Меллон, Университета Юты и Сиднейского университета — решает конкретный сбойный сценарий, который становится всё более значимым по мере того, как роботы берутся за более длинные и сложные задачи.

Дайте роботу инструкцию вроде «уберите всё с этого стола в шкаф» или «приготовьте Манхэттен», и он должен разбить её на отдельные шаги и выполнить их последовательно.

Проблема в том, что ИИ-модель может корректно рассуждать о том, что ей нужно сделать, — а затем выполнить нечто иное.

Метод, названный SEAL, исправляет это во время выполнения без какого-либо дообучения: робот генерирует несколько последовательностей кандидатов действий, продумывает, к чему на самом деле приведёт каждая из них, и выбирает тот результат, который соответствует тому, что он сказал сделать. SEAL обеспечивает повышение точности до 15% по сравнению с предыдущими работами, демонстрируя устойчивость к переформулированным инструкциям, изменённым объектам, загромождённости сцены и изменённым углам обзора камеры.

В дополнение к научным статьям NVIDIA расширяет инфраструктуру исследований в области робототехники с помощью крупномасштабных открытых наборов данных для робототехники. Набор данных NVIDIA Physical AI Dataset является крупнейшим в мире открытым набором данных для физического развития, количество загрузок превысило 15 миллионов, в то время как NVIDIA Isaac GR00T X Embodiment Sim стал одним из самых загружаемых наборов данных в робототехнике.

Робототехнические команды из таких университетов, как Университет Карнеги-Меллон (CMU), ETH Zurich, Массачусетский технологический институт и Техасский университет в Остине, используют технологии NVIDIA для перевода исследований в области физического ИИ от симуляции к реальным системам — почти в 50 принятых статьях упоминаются симуляция с ускорением NVIDIA, обучение роботов и вычисления.

Примеры включают статью CMU, демонстрирующую фреймворк управления роботами, обученный в NVIDIA Isaac Lab, и работу MIT по обучению с подкреплением под управлением больших языковых моделей, выполняемому на графических процессорах NVIDIA.

Изучите работы NVIDIA Research в области физического ИИ. Разработчики могут начать работу с Isaac Lab и Isaac Sim.

Будьте в курсе последних новостей, подписавшись на нашу рассылку, а также следя за NVIDIA Robotics в LinkedIn, Instagram, X и Facebook.

Чтобы начать свой путь в робототехнике, запишитесь на наши бесплатные курсы NVIDIA Robotics Fundamentals уже сегодня.