Entrenar a un robot para que trabaje en una cocina, se desplace por un hotel u organice objetos en una habitación parece sencillo hasta que surge el primer obstáculo: el mundo real está lleno de variaciones. Un cristal cambia de ubicación, una puerta se abre en una dirección inesperada y un mueble cambia por completo el camino disponible. Enseñar cada situación manualmente cuesta tiempo, dinero y muchas horas de pruebas.
Investigadores del Instituto Tecnológico de Massachusetts (MIT) y del Instituto de Investigación Toyota han presentado una alternativa a este cuello de botella. el sistema EscenaSmith utiliza agentes de inteligencia artificial para crear entornos virtuales tridimensionales, completos y físicamente funcionales en los que los robots pueden practicar tareas antes de activarse en el mundo real.
La propuesta va más allá de generar una bella imagen de una casa. Los ambientes necesitan contener paredes, muebles y objetos colocados de forma coherente, así como propiedades físicas que permitan abrir armarios, mover utensilios y probar diferentes recorridos. Es un intento de convertir la IA generativa en una especie de equipo de diseño de escenarios para robots.
¿Qué es SceneSmith?
SceneSmith es un marco de generación de escenas interno listo para usar para simuladores de robótica. A partir de una descripción de texto, el sistema puede crear espacios como cocinas, dormitorios, restaurantes, oficinas, garajes y almacenes. Estas ubicaciones virtuales sirven como campos de entrenamiento donde los controladores robóticos prueban tareas sin poner en riesgo máquinas, personas o equipos reales.
De acuerdo a presentación publicada por MIT CSAIL, el proyecto produjo más de 1.300 escenas. Los entornos están diseñados para ser diversos y detallados, lo que reduce la dependencia de bibliotecas pequeñas y repetitivas que limitan muchos simuladores.
El trabajo también se presentó en la Conferencia Internacional sobre Aprendizaje Automático (ICML). Esto es importante porque presenta la propuesta ante la comunidad científica y permite examinar métodos, resultados y limitaciones más allá de la demostración visual.
Tres agentes de IA trabajan en equipo
En lugar de entregar toda la creación a un solo modelo, los investigadores dividieron el proceso entre tres agentes. Cada uno realiza una función específica:
- Diseñador: propone el plan, elige los elementos y organiza los objetos del entorno.
- Crítico: comprueba si el escenario tiene sentido y señala inconsistencias, como por ejemplo una bañera colocada en el centro de la habitación.
- Orquestrador: monitorea la conversación entre otros agentes, decide cuándo es necesario rehacer un paso y finaliza la generación cuando el resultado alcanza el nivel esperado.
Los tres utilizan un modelo multimodal capaz de interpretar texto e información visual. El proceso comienza con la estructura general del espacio y avanza por capas: paredes, muebles, objetos decorativos y, finalmente, elementos que el robot puede manipular. Luego, un motor de simulación añade las reglas físicas.
Esta división de funciones recuerda a un equipo de proyecto humano. Una persona crea, otra revisa y una tercera coordina las decisiones. La diferencia es que los agentes repiten el ciclo automáticamente y pueden producir muchas variaciones del mismo tipo de lugar.
Por qué los robots necesitan mundos virtuales
Los modelos de lenguaje aprenden de grandes volúmenes de texto. Los sistemas de visión utilizan bancos de imágenes y vídeos. Para un robot, sin embargo, observar no es suficiente: necesita comprender el espacio, el movimiento, el contacto y las consecuencias.
Una máquina encargada de llevar una fruta a una tabla de cortar debe calcular dónde sujetar el objeto, qué trayectoria seguir y cuánta fuerza aplicar. También es necesario evitar colisiones y adaptar el plan cuando cambie el entorno. Reunir este tipo de experiencia sólo con robots físicos sería lento y costoso.
La simulación le permite repetir una tarea miles de veces, cambiar la forma de la habitación y descubrir fallas sin romper el equipo. El problema es que los entornos virtuales deficientes enseñan comportamientos estrechos. Si todas las cocinas simuladas son prácticamente iguales, es posible que el robot no encuentre una configuración diferente.
Aquí es donde SceneSmith intenta avanzar. Según los investigadores, sus escenas contenían hasta seis veces más objetos que los métodos anteriores. Más elementos significan más obstáculos, posibilidades y combinaciones para el entrenamiento.
Las pruebas mostraron más que realismo visual
Una escena en 3D puede parecer convincente y aun así resultar inútil para la robótica. Una puerta sin bisagras, por ejemplo, funciona como decoración, pero no sirve para enseñar a una máquina a abrir un armario. Por tanto, el equipo evaluó tanto la apariencia como el comportamiento físico de los entornos.
En un experimento, un controlador entrenado principalmente con datos del mundo real fue colocado en una escena que nunca antes había visto. Le dieron la tarea de sacar una manzana de un cuenco y colocarla sobre una tabla de cortar. El robot virtual completó la acción, lo que indica que el entorno mantenía suficientes similitudes con situaciones reales para que se transfiriera la habilidad.
Los investigadores también condujeron robots de forma remota a los escenarios para abrir gabinetes, almacenar botellas y moverse entre habitaciones. En otra prueba, un agente evaluó planes de acción generados para 100 espacios diferentes. El acuerdo entre el evaluador de IA y los participantes humanos superó el 99% al identificar estrategias defectuosas.
En comparación con enfoques anteriores, más de 200 participantes prefirieron escenas de SceneSmith en más del 90% de las valoraciones de realismo. Estos números no significan que el problema del entrenamiento robótico esté resuelto, pero sí muestran que el sistema produce algo más útil que un simple modelo digital.
Los objetos virtuales también reciben propiedades físicas.
SceneSmith puede generar elementos que anteriormente no estaban disponibles en una biblioteca fija. Al pedir un carro de servicio, por ejemplo, el sistema primero crea una representación visual, convierte el resultado en un modelo 3D y añade características como masa, fricción e inercia.
Este paso acerca la generación de IA a las necesidades de ingeniería. Para un robot, no basta con reconocer que algo es un carrito. Necesita predecir el esfuerzo necesario para empujarlo, cómo responden las ruedas y qué sucede cuando hay contacto con otro objeto.
La combinación de modelos generativos y motores físicos indica un cambio importante. La IA deja de producir contenido para personas y comienza a crear datos de entrenamiento para otras máquinas. Este movimiento acompaña la expansión de la llamada IA física, en la que los algoritmos deben lidiar con consecuencias concretas, no solo con respuestas en pantalla.
¿Cuáles son las limitaciones?
El sistema aún está lejos de generar instantáneamente cualquier entorno. La creación detallada de una sola escena puede llevar varias horas, ya que los agentes necesitan ensamblar y revisar numerosos objetos. El costo computacional tiende a crecer a medida que los entornos se vuelven más complejos.
Otra limitación se refiere a los materiales deformables. Esponjas, telas, cables y alimentos cambian de forma durante la manipulación y requieren modelos físicos más difíciles. El equipo tiene la intención de explorar esta categoría cuando existan bibliotecas 3D adecuadas para respaldar las pruebas.
También existe la conocida distancia entre simulación y realidad. La iluminación, el desgaste, los pequeños errores de los sensores y los movimientos impredecibles pueden afectar a un robot físico de maneras que el mundo virtual no reproduce perfectamente. Por tanto, la simulación reduce la cantidad de pruebas reales, pero no elimina la validación fuera de la computadora.
Lo que esta investigación puede cambiar en la práctica
Los entornos generados automáticamente pueden acelerar el desarrollo de robots para logística, hostelería, fábricas, hospitales y hogares. Una empresa podría probar el mismo controlador en cientos de almacenes virtuales antes de colocarlo cerca de los empleados y la mercancía.
Para los robots domésticos, la diversidad es aún más relevante. No hay dos casas exactamente iguales. Entrenar en cocinas pequeñas, pasillos estrechos y muebles colocados de diferentes maneras puede ayudar a que la máquina reaccione mejor cuando encuentre un nuevo hogar.
La investigación también refuerza una tendencia ya observada en La IA se acerca al usuario y a los dispositivos: los modelos ya no se limitan a generar respuestas y asumen tareas de planificación, evaluación y coordinación. En SceneSmith, diferentes agentes colaboran para ofrecer un resultado que un simulador puede utilizar directamente.
El avance más interesante quizá no sea un robot concreto, sino la creación de una fábrica de experiencias. Cuanto más variados y físicamente coherentes sean los mundos virtuales, mayores serán las posibilidades de preparar a los robots para la imprevisibilidad del mundo real.
Preguntas frecuentes
SceneSmith controla robots reales
No directamente. Crea entornos 3D para entrenar y evaluar controladores robóticos. Después de la simulación, los sistemas aún deben probarse con máquinas reales.
Las escenas son solo imágenes en 3D.
No. Incluyen objetos con propiedades físicas y elementos articulados, lo que permite a los robots virtuales mover artículos, abrir gabinetes y navegar por el espacio.
La tecnología ya está disponible comercialmente
SceneSmith es un proyecto de investigación. EL sitio web oficial del proyecto reúne ejemplos e información técnica, mientras que el artículo científico Describe el método y los experimentos.
Fuentes consultadas: Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT, página oficial de SceneSmith y artículo científico de los investigadores.
Continue lendo
El nuevo ciclo de fluctuación de peso con los medicamentos para la obesidad
Entenda como a interrupção de tratamentos com GLP-1 pode criar um novo padrão de oscilação de peso, desafiando…
Incendios en Canadá: el humo llega a EE.UU. y afecta la calidad del aire
Incêndios florestais no Canadá geram plumas de fumaça que cruzam fronteiras, impactando a qualidade do ar em regiões…
La Fuerza Aérea de EE.UU. lanza misil con un dron autónomo
A Força Aérea dos EUA testou com sucesso o disparo de um míssil a partir de um drone…