Inteligência Artificial 9 min

MIT AI がロボットを訓練するための仮想世界を作成

Lucas Oliveira

キッチンで作業したり、ホテル内を移動したり、室内の物を整理したりするロボットのトレーニングは、最初の障害が発生するまでは簡単そうに思えます。それは、現実世界はバリエーションに満ちています。ガラスの位置が変わり、ドアが予期せぬ方向に開き、家具によって利用可能な道が完全に変わります。それぞれの状況を手動で教えるには、時間、費用、そして何時間ものテストがかかります。

マサチューセッツ工科大学 (MIT) とトヨタ研究所の研究者は、このボトルネックに対する代替案を発表しました。システム シーンスミス 人工知能エージェントを使用して、ロボットが現実世界で動作する前にタスクを練習できる、3 次元の完全で物理的に機能する仮想環境を作成します。

この提案は単に住宅の美しいイメージを生み出すだけではありません。環境には、一貫した方法で配置された壁、家具、物体だけでなく、キャビネットを開けたり、食器を移動したり、さまざまなルートをテストしたりできる物理的特性が含まれている必要があります。これは、生成 AI をロボットのセット デザイン チームのようなものにしようとする試みです。

シーンスミスとは

SceneSmith は、ロボット シミュレーター用の既製の内部シーン生成フレームワークです。テキストの説明に基づいて、システムはキッチン、寝室、レストラン、オフィス、ガレージ、店舗などのスペースを作成できます。これらの仮想の場所は、ロボット コントローラーが実際のマシン、人、機器を危険にさらすことなくタスクを試すトレーニング キャンプとして機能します。

によると MIT CSAIL によって発表されたプレゼンテーション、このプロジェクトでは 1,300 を超えるシーンが制作されました。環境は多様かつ詳細になるように設計されており、多くのシミュレーターを制限する小規模で反復的なライブラリへの依存を軽減します。

この研究は、機械学習に関する国際会議 (ICML) でも発表されました。これは、提案を科学界に提出し、視覚的なデモンストレーションを超えて方法、結果、限界を検討できるようにするため、重要です。

3 人の AI エージェントがチームとして動作する

研究者らは、すべての作成を単一のモデルに引き渡す代わりに、プロセスを 3 つのエージェントに分割しました。それぞれが特定の機能を実行します。

  • デザイナー： 計画を提案し、要素を選択し、環境内のオブジェクトを整理します。
  • 致命的： シナリオが理にかなっているかどうかをチェックし、バスタブが部屋の中央に配置されているなどの矛盾点を指摘します。
  • オーケストレーター: 他のエージェント間の会話を監視し、ステップをやり直す必要がある時期を決定し、結果が期待されるレベルに達したときに生成を終了します。

3 つすべてが、テキストと視覚情報を解釈できるマルチモーダル モデルを使用しています。このプロセスは、空間の一般的な構造から始まり、壁、家具、装飾品、そして最後にロボットが操作できるアイテムという層に進みます。次に、シミュレーション エンジンが物理ルールを追加します。

この機能分割は人間のプロジェクトチームを彷彿とさせます。 1 人が作成し、もう 1 人がレビューし、3 人目が意思決定を調整します。違いは、エージェントが自動的にサイクルを繰り返し、同じ種類の場所のさまざまなバリエーションを作成できることです。

ロボットに仮想世界が必要な理由

言語モデルは大量のテキストから学習します。ビジョン システムは画像バンクとビデオ バンクを使用します。しかし、ロボットの場合、観察するだけでは十分ではありません。空間、動き、接触、結果を理解する必要があります。

果物をまな板に置くという使命を負った機械は、物体をどこに保持するか、どの軌道をたどるのか、どのくらいの力を加えるのかを計算する必要があります。また、衝突を避け、環境が変化したときに計画を適応させる必要もあります。物理的なロボットだけでこの種の経験を収集するには時間がかかり、費用もかかります。

シミュレーションにより、機器を破損することなくタスクを何千回も繰り返し、部屋の形状を変更し、障害を発見することができます。問題は、不十分な仮想設定が狭い行動を教えてしまうことです。シミュレートされたキッチンがすべて実質的に同じである場合、ロボットは異なる構成を見つけられない可能性があります。

ここがSceneSmithが前進しようとしているところです。研究者らによると、シーンには以前の方法よりも最大 6 倍多くのオブジェクトが含まれていました。アイテムが多いほど、トレーニングの障害、可能性、組み合わせが多くなります。

テストでは視覚的なリアリズム以上のものを示しました

3D シーンは説得力があるように見えても、ロボット工学には役に立たない場合があります。たとえば、ヒンジのないドアは装飾として機能しますが、キャビネットを開けるように機械に教えるには役に立ちません。したがって、チームは環境の外観と物理的動作の両方を評価しました。

ある実験では、主に実世界のデータに基づいてトレーニングされたコントローラーが、これまで見たことのないシーンに配置されました。彼はボウルからリンゴを取り出してまな板の上に置くという課題を与えられました。仮想ロボットはアクションを完了しました。これは、環境がスキルを伝達するために実際の状況との十分な類似性を維持していることを示しています。

研究者らはまた、ロボットをリモートでシナリオに導入し、キャビネットを開けたり、ボトルを保管したり、部屋間を移動したりした。別のテストでは、エージェントが 100 の異なるスペースに対して生成されたアクション プランを評価しました。欠陥のある戦略を特定する際、AI 評価者と人間の参加者との間の合意は 99% を超えました。

以前のアプローチと比較すると、200 人を超える参加者が、リアリズム評価の 90% 以上で SceneSmith のシーンを好んでいました。これらの数値は、ロボットのトレーニング問題が解決されたことを意味するものではありませんが、システムが単純なデジタル モデルよりも有用なものを生成することを示しています。

仮想オブジェクトにも物理的特性が与えられます

SceneSmith は、こ​​れまで固定ライブラリでは利用できなかったアイテムを生成できます。たとえば、サービス カートを注文する場合、システムはまず視覚的な表現を作成し、その結果を 3D モデルに変換して、質量、摩擦、慣性などの機能を追加します。

このステップにより、AI の生成がエンジニアリングのニーズに近づきます。ロボットの場合、何かがカートであると認識するだけでは十分ではありません。押すのに必要な力、車輪がどのように反応するか、他の物体と接触したときに何が起こるかを予測する必要があります。

生成モデルと物理エンジンの組み合わせは、重要な変化を示しています。 AI は人間向けのコンテンツを作成するだけでなく、他のマシンのトレーニング データを作成し始めます。この動きは、いわゆる物理 AI の拡大に伴い、アルゴリズムは画面上の応答だけでなく、具体的な結果に対処する必要があります。

制限事項は何ですか

このシステムは、環境を即座に生成するにはまだ程遠いです。エージェントは多数のオブジェクトを組み立てて確認する必要があるため、単一のシーンを詳細に作成するには数時間かかる場合があります。環境が複雑になるにつれて、計算コストは​​増加する傾向があります。

もう 1 つの制限には、変形可能な材料が関係します。スポンジ、布地、ケーブル、食品は操作中に形状が変化するため、より複雑な物理モデルが必要になります。チームは、テストをサポートする適切な 3D ライブラリが存在する場合には、このカテゴリを検討する予定です。

シミュレーションと現実の間にはよく知られた距離もあります。照明、磨耗、小さなセンサーのエラー、予測不可能な動きなどが、仮想世界では完全には再現できない形で物理的なロボットに影響を与える可能性があります。したがって、シミュレーションによって実際のテストの量は減りますが、コンピュータ外部での検証が排除されるわけではありません。

この研究によって実際に何が変わるのか

自動生成された環境により、物流、接客業、工場、病院、家庭用のロボットの開発を加速できます。企業は、従業員や商品の近くに同じコントローラーを配置する前に、何百もの仮想倉庫で同じコントローラーをテストできます。

家庭用ロボットの場合、多様性はさらに重要です。まったく同じ家は二つとありません。小さなキッチン、狭い廊下、さまざまな方法で配置された家具でトレーニングすると、マシンが新しい場所を見つけたときの反応が良くなります。

この研究はまた、すでに観察されている傾向を強化します。 AIはユーザーとデバイスの近くで動作します: モデルはもはや応答を生成するだけでなく、計画、評価、調整のタスクを引き受けます。 SceneSmith では、さまざまなエージェントが連携して、シミュレーターが直接使用できる結果を提供します。

最も興味深い進歩は、特定のロボットではなく、エクスペリエンス ファクトリーの構築かもしれません。仮想世界がより多様性に富み、物理的に一貫性があるほど、現実世界の予測不可能性にロボットを備える可能性が高くなります。

よくある質問

SceneSmith は本物のロボットを制御します

直接ではありません。ロボット コントローラーのトレーニングと評価のための 3D 環境を作成します。シミュレーションの後、システムを実際のマシンでテストする必要があります。

シーンは単なる 3D 画像です

いいえ。物理的特性を持つオブジェクトや多関節要素が含まれており、仮想ロボットがアイテムを移動したり、キャビネットを開けたり、空間を移動したりできるようになります。

この技術は現在商用化されています

SceneSmith は研究プロジェクトです。ザ プロジェクト公式サイト 事例や技術情報をまとめます。 科学論文 方法と実験について説明します。

参照した情報源: MIT コンピューターサイエンスおよび人工知能研究所、SceneSmith の公式ページ、および研究者による科学論文。

Continue lendo