Inteligência Artificial 9 min

MIT AI erschafft virtuelle Welten, um Roboter zu trainieren

Lucas Oliveira
Robô treinando em uma cozinha virtual criada por inteligência artificial
Ambientes virtuais permitem que robôs pratiquem tarefas antes dos testes no mundo real.

Einem Roboter beizubringen, in einer Küche zu arbeiten, sich in einem Hotel zu bewegen oder Gegenstände in einem Raum zu organisieren, scheint einfach zu sein, bis das erste Hindernis auftaucht: Die reale Welt ist voller Variationen. Ein Glas verändert den Standort, eine Tür öffnet sich in die unerwartete Richtung und ein Möbelstück verändert den verfügbaren Weg völlig. Das manuelle Einlernen jeder Situation kostet Zeit, Geld und viele Teststunden.

Forscher des Massachusetts Institute of Technology (MIT) und des Toyota Research Institute haben eine Alternative zu diesem Engpass vorgestellt. Das System SceneSmith nutzt Agenten der künstlichen Intelligenz, um dreidimensionale, vollständige und physisch funktionierende virtuelle Umgebungen zu schaffen, in denen Roboter Aufgaben üben können, bevor sie in der realen Welt eingesetzt werden.

Der Vorschlag geht über die Erstellung eines schönen Bildes eines Hauses hinaus. Die Umgebungen müssen Wände, Möbel und Gegenstände enthalten, die in einer zusammenhängenden Weise positioniert sind, sowie physikalische Eigenschaften, die das Öffnen von Schränken, das Bewegen von Utensilien und das Testen verschiedener Routen ermöglichen. Es ist ein Versuch, generative KI in eine Art Bühnenbildteam für Roboter zu verwandeln.

Was ist SceneSmith?

SceneSmith ist ein vorgefertigtes internes Szenengenerierungs-Framework für Robotiksimulatoren. Basierend auf einer Textbeschreibung kann das System Räume wie Küchen, Schlafzimmer, Restaurants, Büros, Garagen und Geschäfte erstellen. Diese virtuellen Orte dienen als Trainingslager, in denen Robotersteuerungen Aufgaben ausprobieren, ohne reale Maschinen, Menschen oder Geräte zu gefährden.

Entsprechend Präsentation veröffentlicht von MIT CSAILDas Projekt produzierte mehr als 1.300 Szenen. Die Umgebungen sind vielfältig und detailliert gestaltet, wodurch die Abhängigkeit von kleinen, sich wiederholenden Bibliotheken, die viele Simulatoren einschränken, verringert wird.

Die Arbeit wurde auch auf der International Conference on Machine Learning (ICML) vorgestellt. Dies ist wichtig, da dadurch der Vorschlag der wissenschaftlichen Gemeinschaft vorgelegt wird und Methoden, Ergebnisse und Einschränkungen über die visuelle Demonstration hinaus untersucht werden können.

Drei KI-Agenten arbeiten als Team

Anstatt die gesamte Schöpfung einem einzigen Modell zu überlassen, teilten die Forscher den Prozess auf drei Agenten auf. Jeder von ihnen erfüllt eine bestimmte Funktion:

  • Designer: schlägt den Plan vor, wählt die Elemente aus und organisiert die Objekte in der Umgebung.
  • Kritisch: prüft, ob das Szenario sinnvoll ist und weist auf Ungereimtheiten hin, wie zum Beispiel eine mitten im Raum platzierte Badewanne.
  • Orchestrator: überwacht die Konversation zwischen anderen Agenten, entscheidet, wann ein Schritt wiederholt werden muss und beendet die Generierung, wenn das Ergebnis das erwartete Niveau erreicht.

Alle drei nutzen ein multimodales Modell, das Text und visuelle Informationen interpretieren kann. Der Prozess beginnt mit der allgemeinen Struktur des Raums und verläuft schichtweise: Wände, Möbel, Dekorationsgegenstände und schließlich Gegenstände, die der Roboter manipulieren kann. Anschließend fügt eine Simulations-Engine die physikalischen Regeln hinzu.

Diese Funktionsaufteilung erinnert an ein menschliches Projektteam. Eine Person erstellt, eine andere überprüft und eine dritte koordiniert Entscheidungen. Der Unterschied besteht darin, dass Agenten den Zyklus automatisch wiederholen und viele Variationen desselben Ortstyps erzeugen können.

Warum Roboter virtuelle Welten brauchen

Sprachmodelle lernen aus großen Textmengen. Bildverarbeitungssysteme nutzen Bild- und Videodatenbanken. Für einen Roboter reicht das Beobachten jedoch nicht aus: Er muss Raum, Bewegung, Kontakt und Konsequenzen verstehen.

Eine Maschine, die eine Frucht zu einem Schneidebrett transportieren soll, muss berechnen, wo sie das Objekt halten soll, welcher Flugbahn sie folgen und wie viel Kraft sie aufwenden muss. Sie müssen außerdem Kollisionen vermeiden und den Plan anpassen, wenn sich die Umgebung ändert. Solche Erfahrungen allein mit physischen Robotern zu sammeln, wäre langsam und teuer.

Mit der Simulation können Sie eine Aufgabe tausende Male wiederholen, die Form des Raums ändern und Fehler entdecken, ohne dass Geräte kaputt gehen. Das Problem besteht darin, dass schlechte virtuelle Einstellungen engstirnige Verhaltensweisen lehren. Wenn alle simulierten Küchen praktisch gleich sind, kann es sein, dass der Roboter keine andere Konfiguration findet.

Hier versucht SceneSmith voranzukommen. Den Forschern zufolge enthielten ihre Szenen bis zu sechsmal mehr Objekte als bei früheren Methoden. Mehr Gegenstände bedeuten mehr Hindernisse, Möglichkeiten und Kombinationen für das Training.

Tests zeigten mehr als nur visuellen Realismus

Eine 3D-Szene kann überzeugend aussehen und dennoch für die Robotik unbrauchbar sein. Eine Tür ohne Scharnier dient beispielsweise als Dekoration, eignet sich jedoch nicht dazu, einer Maschine beizubringen, einen Schrank zu öffnen. Daher bewertete das Team sowohl das Erscheinungsbild als auch das physische Verhalten der Umgebungen.

In einem Experiment wurde ein Controller, der hauptsächlich anhand realer Daten trainiert wurde, in einer Szene platziert, die er noch nie zuvor gesehen hatte. Ihm wurde die Aufgabe gegeben, einen Apfel aus einer Schüssel zu nehmen und ihn auf ein Schneidebrett zu legen. Der virtuelle Roboter schloss die Aktion ab und zeigte damit an, dass die Umgebung genügend Ähnlichkeiten mit realen Situationen aufwies, um die Fähigkeit zu übertragen.

Die Forscher steuerten außerdem Roboter aus der Ferne in die Szenarien, um Schränke zu öffnen, Flaschen aufzubewahren und sich zwischen Räumen zu bewegen. In einem anderen Test bewertete ein Agent Aktionspläne, die für 100 verschiedene Räume erstellt wurden. Bei der Identifizierung fehlerhafter Strategien lag die Übereinstimmung zwischen dem KI-Bewerter und den menschlichen Teilnehmern bei über 99 %.

Im Vergleich zu früheren Ansätzen bevorzugten mehr als 200 Teilnehmer SceneSmith-Szenen in mehr als 90 % der Realismusbewertungen. Diese Zahlen bedeuten nicht, dass das Problem des Robotertrainings gelöst ist, aber sie zeigen, dass das System etwas Nützlicheres als ein einfaches digitales Modell produziert.

Auch virtuellen Objekten werden physikalische Eigenschaften verliehen

SceneSmith kann Elemente generieren, die zuvor nicht in einer festen Bibliothek verfügbar waren. Bei der Anforderung eines Servicewagens beispielsweise erstellt das System zunächst eine visuelle Darstellung, wandelt das Ergebnis in ein 3D-Modell um und fügt Eigenschaften wie Masse, Reibung und Trägheit hinzu.

Dieser Schritt bringt die KI-Generierung näher an die technischen Anforderungen heran. Für einen Roboter reicht es nicht aus zu erkennen, dass es sich bei etwas um einen Karren handelt. Es muss vorhersagen, wie viel Kraft zum Schieben erforderlich ist, wie die Räder reagieren und was passiert, wenn es mit einem anderen Objekt in Kontakt kommt.

Die Kombination von generativen Modellen und Physik-Engines weist auf eine wichtige Veränderung hin. KI produziert nicht mehr nur Inhalte für Menschen, sondern beginnt mit der Erstellung von Trainingsdaten für andere Maschinen. Diese Bewegung geht mit der Ausbreitung der sogenannten physischen KI einher, bei der Algorithmen mit konkreten Konsequenzen umgehen müssen, nicht nur mit Reaktionen auf dem Bildschirm.

Welche Einschränkungen gibt es?

Das System ist noch weit davon entfernt, sofort eine Umgebung zu erzeugen. Die detaillierte Erstellung einer einzelnen Szene kann mehrere Stunden dauern, da die Agenten zahlreiche Objekte zusammenstellen und überprüfen müssen. Der Rechenaufwand nimmt tendenziell zu, je komplexer die Umgebungen werden.

Eine weitere Einschränkung betrifft verformbare Materialien. Schwämme, Stoffe, Kabel und Lebensmittel verändern bei der Manipulation ihre Form und erfordern schwierigere physikalische Modelle. Das Team beabsichtigt, diese Kategorie zu erkunden, wenn es geeignete 3D-Bibliotheken zur Unterstützung von Tests gibt.

Hinzu kommt die bekannte Distanz zwischen Simulation und Realität. Beleuchtung, Verschleiß, kleine Sensorfehler und unvorhersehbare Bewegungen können einen physischen Roboter auf eine Weise beeinflussen, die die virtuelle Welt nicht perfekt nachbildet. Somit reduziert die Simulation den Umfang realer Tests, macht aber die Validierung außerhalb des Computers nicht überflüssig.

Was diese Forschung in der Praxis verändern kann

Automatisch generierte Umgebungen können die Entwicklung von Robotern für Logistik, Gastgewerbe, Fabriken, Krankenhäuser und Privathaushalte beschleunigen. Ein Unternehmen könnte denselben Controller in Hunderten von virtuellen Lagerhäusern testen, bevor er ihn in der Nähe von Mitarbeitern und Waren platziert.

Für Haushaltsroboter ist Diversität sogar noch relevanter. Keine zwei Häuser sind genau gleich. Das Training in kleinen Küchen, engen Fluren und unterschiedlich positionierten Möbeln kann dazu beitragen, dass die Maschine besser reagiert, wenn sie ein neues Zuhause findet.

Die Forschung bestätigt auch einen bereits beobachteten Trend KI ist näher am Benutzer und an den Geräten: Modelle generieren nicht mehr nur Antworten, sondern übernehmen Planungs-, Auswertungs- und Koordinationsaufgaben. In SceneSmith arbeiten verschiedene Agenten zusammen, um ein Ergebnis zu liefern, das ein Simulator direkt verwenden kann.

Der interessanteste Fortschritt ist möglicherweise nicht ein bestimmter Roboter, sondern die Schaffung einer Erlebnisfabrik. Je vielfältiger und physikalisch zusammenhängender virtuelle Welten sind, desto größer sind die Chancen, Roboter auf die Unvorhersehbarkeit der realen Welt vorzubereiten.

FAQ

SceneSmith steuert echte Roboter

Nicht direkt. Es erstellt 3D-Umgebungen für das Training und die Bewertung von Robotersteuerungen. Nach der Simulation müssen die Systeme noch mit realen Maschinen getestet werden.

Szenen sind nur 3D-Bilder

Nein. Dazu gehören Objekte mit physikalischen Eigenschaften und bewegliche Elemente, die es virtuellen Robotern ermöglichen, Gegenstände zu bewegen, Schränke zu öffnen und durch den Raum zu navigieren.

Die Technologie ist jetzt kommerziell verfügbar

SceneSmith ist ein Forschungsprojekt. DER offizielle Projektwebsite vereint Beispiele und technische Informationen, während die wissenschaftlicher Artikel beschreibt die Methode und Experimente.

Zugezogene Quellen: MIT Computer Science and Artificial Intelligence Laboratory, offizielle SceneSmith-Seite und wissenschaftlicher Artikel der Forscher.

Continue lendo