Inteligência Artificial 9 min

MIT AI создает виртуальные миры для обучения роботов

Lucas Oliveira
Robô treinando em uma cozinha virtual criada por inteligência artificial
Ambientes virtuais permitem que robôs pratiquem tarefas antes dos testes no mundo real.

Научить робота работать на кухне, передвигаться по отелю или расставлять предметы в комнате кажется простым, пока не возникает первое препятствие: реальный мир полон вариаций. Стекло меняет местоположение, дверь открывается в неожиданном направлении, а предмет мебели полностью меняет доступный путь. Обучение каждой ситуации вручную требует времени, денег и многих часов тестирования.

Исследователи из Массачусетского технологического института (MIT) и Исследовательского института Toyota представили альтернативу этому узкому месту. Система СценаСмит использует агенты искусственного интеллекта для создания трехмерных, полных и физически функциональных виртуальных сред, в которых роботы могут практиковать задачи, прежде чем включиться в реальный мир.

Это предложение выходит за рамки создания красивого образа дома. Среда должна содержать стены, мебель и предметы, расположенные согласованно, а также физические свойства, позволяющие открывать шкафы, перемещать посуду и тестировать различные маршруты. Это попытка превратить генеративный ИИ в своего рода команду дизайнеров декораций для роботов.

Что такое SceneSmith

SceneSmith — это готовая внутренняя среда генерации сцен для симуляторов робототехники. На основе текстового описания система может создавать такие помещения, как кухни, спальни, рестораны, офисы, гаражи и магазины. Эти виртуальные локации служат тренировочными лагерями, где роботы-контролеры отрабатывают задачи, не подвергая риску реальные машины, людей или оборудование.

В соответствии с презентация опубликована MIT CSAILВ рамках проекта создано более 1300 сцен. Среды спроектированы так, чтобы быть разнообразными и детализированными, что снижает зависимость от небольших повторяющихся библиотек, которые ограничивают работу многих симуляторов.

Работа также была представлена ​​на Международной конференции по машинному обучению (ICML). Это важно, поскольку оно представляет предложение научному сообществу и позволяет изучить методы, результаты и ограничения, выходящие за рамки визуальной демонстрации.

Три ИИ-агента работают в команде

Вместо того, чтобы передать все творение одной модели, исследователи разделили процесс между тремя агентами. Каждый из них выполняет определенную функцию:

  • Дизайнер: предлагает план, выбирает элементы и организует объекты в окружающей среде.
  • Критический: проверяет, имеет ли сценарий смысл, и указывает на несоответствия, например, на ванну, расположенную посередине комнаты.
  • Оркестратор: отслеживает диалог между другими агентами, решает, когда шаг необходимо переделать, и завершает генерацию, когда результат достигает ожидаемого уровня.

Все три используют мультимодальную модель, способную интерпретировать текстовую и визуальную информацию. Процесс начинается с общей структуры пространства и развивается по слоям: стены, мебель, декоративные предметы и, наконец, предметы, которыми робот может манипулировать. Затем механизм моделирования добавляет физические правила.

Такое разделение функций напоминает человеческую проектную команду. Один человек создает, другой проверяет, третий координирует решения. Разница в том, что агенты автоматически повторяют цикл и могут создавать множество вариантов одного и того же типа места.

Зачем роботам виртуальные миры

Языковые модели обучаются на больших объемах текста. Системы машинного зрения используют банки изображений и видео. Однако для робота наблюдения недостаточно: ему необходимо понимать пространство, движение, контакт и последствия.

Машина, которой поручено доставить фрукт на разделочную доску, должна рассчитать, где удерживать объект, по какой траектории следовать и какую силу приложить. Вам также необходимо избегать столкновений и адаптировать план при изменении окружающей среды. Сбор такого опыта только с физическими роботами был бы медленным и дорогим.

Моделирование позволяет повторять задачу тысячи раз, изменять форму помещения и обнаруживать неисправности, не ломая оборудование. Проблема в том, что плохие виртуальные настройки учат узкому поведению. Если все моделируемые кухни практически одинаковы, робот может не найти другую конфигурацию.

Именно здесь SceneSmith пытается двигаться вперед. По словам исследователей, их сцены содержали в шесть раз больше объектов, чем предыдущие методы. Больше предметов означает больше препятствий, возможностей и комбинаций для тренировок.

Тесты показали больше, чем просто визуальный реализм

3D-сцена может выглядеть убедительно, но при этом быть бесполезной для робототехники. Например, дверь без петель работает как украшение, но бесполезна для обучения машины открывать шкаф. Поэтому команда оценивала как внешний вид, так и физическое поведение окружающей среды.

В одном эксперименте контроллер, обученный в основном на реальных данных, был помещен в сцену, которую он никогда раньше не видел. Ему дали задание достать яблоко из миски и положить его на разделочную доску. Виртуальный робот завершил действие, указав, что окружающая среда сохранила достаточное сходство с реальными ситуациями для передачи навыка.

Исследователи также удаленно управляли роботами, которые открывали шкафы, хранили бутылки и перемещались между комнатами. В другом тесте агент оценивал планы действий, созданные для 100 различных помещений. Согласие между оценщиком ИИ и участниками-людьми превысило 99% при выявлении ошибочных стратегий.

По сравнению с предыдущими подходами, более 200 участников предпочли сцены SceneSmith в более чем 90% оценок реализма. Эти цифры не означают, что проблема обучения роботов решена, но они показывают, что система производит нечто более полезное, чем простая цифровая модель.

Виртуальным объектам также придаются физические свойства.

SceneSmith может создавать элементы, которые ранее не были доступны в фиксированной библиотеке. Например, при запросе сервисной тележки система сначала создает визуальное представление, преобразует результат в 3D-модель и добавляет такие характеристики, как масса, трение и инерция.

Этот шаг приближает создание ИИ к инженерным потребностям. Роботу недостаточно признать, что что-то является тележкой. Ему необходимо предсказать усилие, необходимое для его толкания, реакцию колес и что произойдет при контакте с другим объектом.

Сочетание генеративных моделей и физических движков указывает на важное изменение. ИИ перестает просто создавать контент для людей и начинает создавать обучающие данные для других машин. Это движение сопровождает распространение так называемого физического ИИ, в котором алгоритмам приходится иметь дело с конкретными последствиями, а не только с реакциями на экране.

Каковы ограничения

Система еще далека от мгновенного создания какой-либо среды. Детальное создание одной сцены может занять несколько часов, поскольку агентам приходится собирать и просматривать множество объектов. Вычислительные затраты имеют тенденцию расти по мере усложнения среды.

Еще одно ограничение касается деформируемых материалов. Губки, ткани, кабели и продукты питания меняют форму в ходе манипуляций и требуют более сложных физических моделей. Команда намерена изучить эту категорию, когда появятся подходящие 3D-библиотеки для поддержки тестирования.

Существует также хорошо известная дистанция между симуляцией и реальностью. Освещение, износ, небольшие ошибки датчиков и непредсказуемые движения могут повлиять на физического робота таким образом, который виртуальный мир не может полностью воспроизвести. Таким образом, моделирование сокращает объем реального тестирования, но не исключает проверки за пределами компьютера.

Что это исследование может изменить на практике

Автоматически создаваемая среда может ускорить разработку роботов для логистики, гостиничного бизнеса, фабрик, больниц и домов. Компания может протестировать один и тот же контроллер на сотнях виртуальных складов, прежде чем размещать его рядом с сотрудниками и товарами.

Для домашних роботов разнообразие еще более актуально. Нет двух одинаковых домов. Обучение на маленьких кухнях, в узких коридорах и при разном расположении мебели может помочь машине лучше реагировать, когда она находит новый дом.

Исследование также подтверждает тенденцию, уже наблюдаемую в ИИ работает ближе к пользователю и устройствам: модели больше не просто генерируют ответы, а берут на себя задачи планирования, оценки и координации. В SceneSmith разные агенты сотрудничают, чтобы предоставить результат, который симулятор может использовать напрямую.

Самым интересным достижением, возможно, станет не конкретный робот, а создание фабрики опыта. Чем разнообразнее и физически связнее виртуальные миры, тем больше шансов подготовить роботов к непредсказуемости реального мира.

Часто задаваемые вопросы

SceneSmith управляет настоящими роботами

Не напрямую. Он создает трехмерную среду для обучения и оценки роботизированных контроллеров. После моделирования системы все равно необходимо протестировать на реальных машинах.

Сцены — это просто 3D-изображения.

Нет. Они включают в себя объекты с физическими свойствами и шарнирные элементы, позволяющие виртуальным роботам перемещать предметы, открывать шкафы и перемещаться в пространстве.

Технология теперь коммерчески доступна

SceneSmith — исследовательский проект. ТО официальный сайт проекта объединяет примеры и техническую информацию, а научная статья описывает метод и эксперименты.

Использованные источники: Лаборатория компьютерных наук и искусственного интеллекта Массачусетского технологического института, официальная страница SceneSmith и научная статья исследователей.

Continue lendo