Forschende der Technischen Universität München (TUM) haben einen neuartigen Roboter entwickelt, der Bildverständnis gezielt für konkrete Aufgaben einsetzt. Der mobile Roboter aus dem Learning Systems and Robotics Lab von Prof. Angela Schoellig kann seine Umgebung analysieren, ein dreidimensionales Modell erstellen und gezielt nach Gegenständen suchen.

Der Roboter ähnelt äußerlich einem fahrbaren Besenstil mit Kamera an der Spitze. Mithilfe einer Kamera und zusätzlicher Tiefeninformationen erstellt er ein zentimetergenaues 3D-Modell seiner Umgebung, das kontinuierlich aktualisiert wird.

KI kombiniert Bildverständnis und Sprachmodelle

Die Kamera liefert zunächst zweidimensionale Bilder, deren Bildpunkte zusätzliche Tiefeninformationen enthalten. Daraus entsteht eine räumliche Karte der Umgebung. Gleichzeitig nutzt ein angeschlossener Computer künstliche Intelligenz zur Objekterkennung sowie ein Sprachmodell, das Beziehungen zwischen Gegenständen analysiert.

So kann der Roboter beispielsweise erkennen, dass eine Brille mit höherer Wahrscheinlichkeit auf einem Tisch oder einer Fensterbank liegt als auf einer Herdplatte oder im Spülbecken. Diese Informationen werden in die interne „Sprache“ des Roboters übersetzt und auf der dreidimensionalen Karte der Umgebung als Wahrscheinlichkeiten dargestellt.

Dadurch kann der Roboter gezielt nach Gegenständen suchen und relevante Orte deutlich effizienter anfahren – laut Forschungsergebnissen bis zu 30 Prozent effizienter als eine zufällige Suche.

Lernen aus Veränderungen in der Umgebung

Der Roboter ist außerdem in der Lage, alte und neue Bilder seiner Umgebung zu vergleichen. Wenn sich beispielsweise ein neuer Gegenstand in einem Raum befindet, erkennt er diese Veränderung mit einer Trefferquote von rund 95 Prozent. Diese Bereiche werden dann als besonders wahrscheinlich für die Suche markiert.

Langfristig könnten solche Technologien autonome Roboter in Fabriken oder im Pflegebereich ermöglichen, die sich selbstständig in dynamischen Umgebungen zurechtfinden.

Im nächsten Schritt arbeiten die Forschenden daran, dass Roboter auch Gegenstände hinter Türen oder in Schubladen finden können. Dafür sollen sie künftig stärker mit ihrer Umgebung interagieren – etwa indem Roboterarme Schränke öffnen und erkennen, wie sich unterschiedliche Griffe oder Türen bedienen lassen.