Entraîner un robot à travailler dans une cuisine, à se déplacer dans un hôtel ou à organiser des objets dans une pièce semble simple jusqu'au premier obstacle : le monde réel regorge de variations. Une vitre change de place, une porte s'ouvre dans une direction inattendue et un meuble change complètement le chemin disponible. Enseigner manuellement chaque situation coûte du temps, de l’argent et de nombreuses heures de tests.
Des chercheurs du Massachusetts Institute of Technology (MIT) et du Toyota Research Institute ont présenté une alternative à ce goulot d'étranglement. Le système ScèneSmith utilise des agents d'intelligence artificielle pour créer des environnements virtuels tridimensionnels, complets et physiquement fonctionnels dans lesquels les robots peuvent s'entraîner à des tâches avant d'être activés dans le monde réel.
La proposition va au-delà de la génération d’une belle image d’une maison. Les environnements doivent contenir des murs, des meubles et des objets positionnés de manière cohérente, ainsi que des propriétés physiques permettant d'ouvrir des armoires, de déplacer des ustensiles et de tester différents itinéraires. Il s'agit d'une tentative de transformer l'IA générative en une sorte d'équipe de conception de décors pour robots.
Qu'est-ce que SceneSmith
SceneSmith est un framework de génération de scènes interne prêt à l'emploi pour les simulateurs robotiques. Sur la base d'une description textuelle, le système peut créer des espaces tels que des cuisines, des chambres, des restaurants, des bureaux, des garages et des magasins. Ces lieux virtuels servent de camps d’entraînement où les contrôleurs robotiques testent des tâches sans mettre en danger les machines, les personnes ou les équipements réels.
Selon présentation publiée par MIT CSAIL, le projet a produit plus de 1 300 scènes. Les environnements sont conçus pour être diversifiés et détaillés, réduisant ainsi le recours à de petites bibliothèques répétitives qui limitent de nombreux simulateurs.
Les travaux ont également été présentés à la Conférence internationale sur l'apprentissage automatique (ICML). Ceci est important car cela soumet la proposition à la communauté scientifique et permet d’examiner les méthodes, les résultats et les limites au-delà de la démonstration visuelle.
Trois agents IA travaillent en équipe
Au lieu de confier toute la création à un seul modèle, les chercheurs ont divisé le processus entre trois agents. Chacun remplit une fonction spécifique :
- Designer: propose le plan, choisit les éléments et organise les objets dans l'environnement.
- Critique: vérifie si le scénario a du sens et souligne les incohérences, comme une baignoire placée au milieu de la pièce.
- Orchestrateur : surveille la conversation entre les autres agents, décide quand une étape doit être refaite et termine la génération lorsque le résultat atteint le niveau attendu.
Tous trois utilisent un modèle multimodal capable d’interpréter du texte et des informations visuelles. Le processus commence par la structure générale de l'espace et progresse par couches : murs, meubles, objets de décoration et enfin, éléments que le robot peut manipuler. Ensuite, un moteur de simulation ajoute les règles physiques.
Cette répartition des fonctions n’est pas sans rappeler une équipe projet humaine. Une personne crée, une autre révise et une troisième coordonne les décisions. La différence est que les agents répètent le cycle automatiquement et sont capables de produire de nombreuses variantes d’un même type de lieu.
Pourquoi les robots ont besoin de mondes virtuels
Les modèles linguistiques apprennent à partir de grands volumes de texte. Les systèmes de vision utilisent des banques d'images et de vidéos. Mais pour un robot, observer ne suffit pas : il doit comprendre l’espace, le mouvement, le contact et les conséquences.
Une machine chargée d'amener un fruit sur une planche à découper doit calculer où tenir l'objet, quelle trajectoire suivre et quelle force appliquer. Vous devez également éviter les collisions et adapter le plan lorsque l’environnement change. Collecter ce type d’expérience avec des robots physiques uniquement serait lent et coûteux.
La simulation permet de répéter une tâche des milliers de fois, de modifier la forme de la pièce et de découvrir des défauts sans casser le matériel. Le problème est que de mauvais environnements virtuels enseignent des comportements étroits. Si toutes les cuisines simulées sont pratiquement identiques, le robot risque de ne pas parvenir à trouver une configuration différente.
C'est là que SceneSmith tente d'avancer. Selon les chercheurs, leurs scènes contenaient jusqu'à six fois plus d'objets que les méthodes précédentes. Plus d'éléments signifie plus d'obstacles, de possibilités et de combinaisons pour l'entraînement.
Les tests ont montré plus que le réalisme visuel
Une scène 3D peut paraître convaincante tout en étant inutile pour la robotique. Une porte sans charnières, par exemple, fait office de décoration, mais n'est pas utile pour apprendre à une machine à ouvrir une armoire. Par conséquent, l’équipe a évalué à la fois l’apparence et le comportement physique des environnements.
Dans une expérience, un contrôleur formé principalement à partir de données du monde réel a été placé dans une scène qu’il n’avait jamais vue auparavant. On lui a confié la tâche de sortir une pomme d'un bol et de la placer sur une planche à découper. Le robot virtuel a complété l'action, indiquant que l'environnement conservait suffisamment de similitudes avec des situations réelles pour que la compétence soit transférée.
Les chercheurs ont également piloté à distance des robots dans les scénarios pour ouvrir des armoires, stocker des bouteilles et se déplacer entre les pièces. Dans un autre test, un agent a évalué les plans d'action générés pour 100 espaces différents. L'accord entre l'évaluateur d'IA et les participants humains a dépassé 99 % lors de l'identification de stratégies défectueuses.
En comparaison avec les approches précédentes, plus de 200 participants ont préféré les scènes SceneSmith dans plus de 90 % des évaluations de réalisme. Ces chiffres ne signifient pas que le problème de la formation robotique est résolu, mais ils montrent que le système produit quelque chose de plus utile qu'un simple modèle numérique.
Les objets virtuels reçoivent également des propriétés physiques
SceneSmith peut générer des éléments qui n'étaient pas disponibles auparavant dans une bibliothèque fixe. Lors de la demande d'un chariot de service, par exemple, le système crée d'abord une représentation visuelle, convertit le résultat en modèle 3D et ajoute des caractéristiques telles que la masse, le frottement et l'inertie.
Cette étape rapproche la génération d’IA des besoins d’ingénierie. Pour un robot, il ne suffit pas de reconnaître que quelque chose est un chariot. Il doit prédire l’effort nécessaire pour le pousser, la réaction des roues et ce qui se passe en cas de contact avec un autre objet.
La combinaison de modèles génératifs et de moteurs physiques indique un changement important. L’IA cesse de produire du contenu pour les personnes et commence à créer des données d’entraînement pour d’autres machines. Ce mouvement accompagne l’expansion de l’IA dite physique, dans laquelle les algorithmes doivent gérer des conséquences concrètes, et pas seulement des réponses à l’écran.
Quelles sont les limites
Le système est encore loin de générer instantanément un quelconque environnement. La création détaillée d'une seule scène peut prendre plusieurs heures car les agents doivent assembler et examiner de nombreux objets. Le coût de calcul a tendance à augmenter à mesure que les environnements deviennent plus complexes.
Une autre limitation concerne les matériaux déformables. Les éponges, les tissus, les câbles et les aliments changent de forme lors de la manipulation et nécessitent des modèles physiques plus difficiles. L’équipe a l’intention d’explorer cette catégorie lorsqu’il existera des bibliothèques 3D appropriées pour prendre en charge les tests.
Il y a aussi la distance bien connue entre la simulation et la réalité. L'éclairage, l'usure, les petites erreurs de capteur et les mouvements imprévisibles peuvent affecter un robot physique d'une manière que le monde virtuel ne reproduit pas parfaitement. Ainsi, la simulation réduit le nombre de tests réels, mais n’élimine pas la validation en dehors de l’ordinateur.
Ce que cette recherche peut changer dans la pratique
Les environnements générés automatiquement peuvent accélérer le développement de robots pour la logistique, l’hôtellerie, les usines, les hôpitaux et les habitations. Une entreprise pourrait tester le même contrôleur dans des centaines d’entrepôts virtuels avant de le placer à proximité des employés et des marchandises.
Pour les robots domestiques, la diversité est encore plus pertinente. Il n’y a pas deux maisons identiques. S'entraîner dans de petites cuisines, des couloirs étroits et des meubles positionnés de différentes manières peut aider la machine à mieux réagir lorsqu'elle trouve un nouveau logement.
La recherche renforce également une tendance déjà observée dans L'IA se rapproche de l'utilisateur et des appareils: les modèles ne se contentent plus de générer des réponses et assument des tâches de planification, d'évaluation et de coordination. Dans SceneSmith, différents agents collaborent pour fournir un résultat qu'un simulateur peut utiliser directement.
L’avancée la plus intéressante n’est peut-être pas un robot spécifique, mais la création d’une usine à expériences. Plus les mondes virtuels sont variés et physiquement cohérents, plus grandes sont les chances de préparer les robots à l’imprévisibilité du monde réel.
FAQ
SceneSmith contrôle de vrais robots
Pas directement. Il crée des environnements 3D pour la formation et l'évaluation des contrôleurs robotiques. Après simulation, les systèmes doivent encore être testés avec des machines réelles.
Les scènes ne sont que des images 3D
Non. Ils incluent des objets dotés de propriétés physiques et des éléments articulés, permettant aux robots virtuels de déplacer des objets, d’ouvrir des armoires et de naviguer dans l’espace.
La technologie est désormais disponible dans le commerce
SceneSmith est un projet de recherche. LE site officiel du projet rassemble des exemples et des informations techniques, tandis que le article scientifique décrit la méthode et les expériences.
Sources consultées : Laboratoire d'informatique et d'intelligence artificielle du MIT, page officielle SceneSmith et article scientifique des chercheurs.
Continue lendo
Le nouveau cycle de fluctuation de poids avec les médicaments contre l'obésité
Entenda como a interrupção de tratamentos com GLP-1 pode criar um novo padrão de oscilação de peso, desafiando…
Incendies au Canada : la fumée atteint les USA et altère la qualité de l'air
Incêndios florestais no Canadá geram plumas de fumaça que cruzam fronteiras, impactando a qualidade do ar em regiões…
L'US Air Force lance un missile avec un drone autonome
A Força Aérea dos EUA testou com sucesso o disparo de um míssil a partir de um drone…