Inteligência Artificial 9 min

麻省理工学院人工智能创建虚拟世界来训练机器人

Lucas Oliveira

训练机器人在厨房工作、在酒店里走动或整理房间里的物品似乎很简单，但第一个障碍出现了：现实世界充满了变化。一块玻璃改变了位置，一扇门以意想不到的方向打开，一件家具完全改变了可用的路径。手动教授每种情况都需要时间、金钱和大量的测试时间。

来自麻省理工学院 (MIT) 和丰田研究所的研究人员提出了解决这一瓶颈的替代方案。系统 场景史密斯 使用人工智能代理创建三维、完整且具有物理功能的虚拟环境，机器人可以在其中练习任务，然后再在现实世界中启动。

该提案不仅仅是生成美丽的房屋图像。环境需要包含以连贯方式放置的墙壁、家具和物体，以及允许打开柜子、移动器具和测试不同路线的物理属性。这是将生成式人工智能转变为一种机器人布景设计团队的尝试。

什么是场景史密斯

SceneSmith 是一个用于机器人模拟器的现成的内部场景生成框架。根据文本描述，系统可以创建厨房、卧室、餐厅、办公室、车库和商店等空间。这些虚拟地点充当训练营，机器人控制器可以在其中尝试任务，而不会让真实的机器、人员或设备面临风险。

根据 麻省理工学院 CSAIL 发布的演示文稿，该项目制作了1300多个场景。环境被设计得多样化且详细，减少了对限制许多模拟器的小型重复库的依赖。

这项工作还在国际机器学习会议（ICML）上进行了展示。这很重要，因为它将提案提交给科学界，并允许在视觉演示之外检查方法、结果和局限性。

三个人工智能代理作为一个团队工作

研究人员没有将所有创作交给单一模型，而是将整个过程分配给三个代理。每个执行特定的功能：

  • 设计师： 提出计划，选择元素并组织环境中的物体。
  • 批判的： 检查场景是否合理并指出不一致之处，例如浴缸放置在房间中间。
  • 协调员： 监视其他代理之间的对话，决定何时需要重做步骤，并在结果达到预期水平时结束生成。

这三者都使用能够解释文本和视觉信息的多模态模型。该过程从空间的总体结构开始，逐层进行：墙壁、家具、装饰物，最后是机器人可以操纵的物品。然后，模拟引擎添加物理规则。

这种职能划分让人想起人类项目团队。一个人负责创建，另一个人负责审核，第三个人负责协调决策。不同之处在于，智能体会自动重复这个循环，并且能够产生同一类型地点的许多变化。

为什么机器人需要虚拟世界

语言模型从大量文本中学习。视觉系统使用图像和视频库。然而，对于机器人来说，观察是不够的：它需要了解空间、运动、接触和后果。

负责将水果放到切板上的机器必须计算在哪里固定物体、遵循哪个轨迹以及施加多少力。您还需要避免碰撞并在环境变化时调整计划。仅通过物理机器人收集这种经验将是缓慢且昂贵的。

模拟允许您重复任务数千次、改变房间的形状并在不损坏设备的情况下发现故障。问题在于，糟糕的虚拟环境会教导狭隘的行为。如果所有模拟厨房实际上都相同，则机器人可能无法找到不同的配置。

这就是 SceneSmith 试图前进的地方。据研究人员称，他们的场景包含的物体比以前的方法多了六倍。更多的项目意味着更多的训练障碍、可能性和组合。

测试显示的不仅仅是视觉真实感

3D 场景可能看起来很有说服力，但对于机器人技术来说仍然毫无用处。例如，没有铰链的门可以用作装饰，但对于教机器打开柜子没有用处。因此，团队评估了环境的外观和物理行为。

在一项实验中，主要根据真实世界数据进行训练的控制器被放置在它以前从未见过的场景中。他的任务是从碗中取出一个苹果并将其放在切菜板上。虚拟机器人完成了动作，表明环境与真实情况保持了足够的相似度，可以进行技能转移。

研究人员还远程驾驶机器人进入场景，以打开柜子、存放瓶子以及在房间之间移动。在另一项测试中，代理评估了为 100 个不同空间生成的行动计划。在识别错误​​策略时，AI 评估者和人类参与者之间的一致性超过 99%。

与之前的方法相比，超过 200 名参与者在超过 90% 的真实感评分中更喜欢 SceneSmith 场景。这些数字并不意味着机器人训练问题已经解决，但它们确实表明该系统产生了比简单数字模型更有用的东西。

虚拟对象也被赋予了物理属性

SceneSmith 可以生成以前在固定库中不可用的项目。例如，在订购服务车时，系统首先创建视觉表示，将结果转换为 3D 模型，并添加质量、摩擦力和惯性等特征。

这一步骤使人工智能生成更接近工程需求。对于机器人来说，仅仅识别出某物是推车是不够的。它需要预测推动它所需的力、轮子如何响应以及与另一个物体接触时会发生什么。

生成模型和物理引擎的结合预示着一个重要的变化。人工智能不再仅仅为人们生产内容，而是开始为其他机器创建训练数据。这一运动伴随着所谓的物理人工智能的扩展，其中算法需要处理具体的后果，而不仅仅是屏幕上的响应。

有什么限制

该系统距离立即生成任何环境还很远。由于特工需要组装和检查大量对象，因此单个场景的详细创建可能需要几个小时。随着环境变得更加复杂，计算成本往往会增加。

另一个限制涉及可变形材料。海绵、织物、电缆和食物在操作过程中会改变形状，需要更困难的物理模型。当有合适的 3D 库支持测试时，团队打算探索这一类别。

模拟与现实之间也存在着众所周知的距离。照明、磨损、微小的传感器误差和不可预测的运动可能会以虚拟世界无法完美复制的方式影响物理机器人。因此，模拟减少了实际测试的数量，但并没有消除计算机外部的验证。

这项研究可以在实践中改变什么

自动生成的环境可以加速物流、酒店、工厂、医院和家庭机器人的开发。公司可以在数百个虚拟仓库中测试相同的控制器，然后将其放置在员工和商品附近。

对于家用机器人来说，多样性更为重要。没有两栋房子是完全相同的。在小厨房、狭窄的走廊和以不同方式放置的家具中进行训练可以帮助机器在找到新家时做出更好的反应。

该研究还强化了已经观察到的趋势 人工智能离用户和设备更近：模型不再只是生成响应，而是承担规划、评估和协调任务。在 SceneSmith 中，不同的代理协作提供模拟器可以直接使用的结果。

最有趣的进步可能不是特定的机器人，而是体验工厂的创建。虚拟世界越多样化、物理上越连贯，机器人就越有可能为现实世界的不可预测性做好准备。

常问问题

SceneSmith 控制真实的机器人

不直接。它创建用于训练和评估机器人控制器的 3D 环境。仿真完成后，系统仍需用真机进行测试。

场景只是 3D 图像

不会。它们包括具有物理属性和铰接元件的物体，允许虚拟机器人移动物品、打开橱柜和在空间中导航。

该技术现已商用

SceneSmith 是一个研究项目。这 官方项目网站 汇集了示例和技术信息，同时 科学文章 描述了方法和实验。

参考来源：麻省理工学院计算机科学和人工智能实验室、SceneSmith 官方页面和研究人员的科学文章。

Continue lendo