Toussaint stellte das Konzept der „verkörperten Sprachmodelle“ vor, die durch die direkte Einbindung von kontinuierlichen Sensormodalitäten aus der realen Welt in Sprachmodelle eine Brücke zwischen Worten und Wahrnehmungen schlagen. Diese Modelle verarbeiten multimodale Sätze, die visuelle, kontinuierliche Zustandsschätzungen und textuelle Eingaben verschmelzen. Trainiert werden diese Modelle end-to-end, in Kombination mit vorab trainierten großen Sprachmodellen, für verschiedene verkörperte Aufgaben einschließlich sequentieller robotergesteuerter Manipulationsplanung, visueller Fragebeantwortung und Beschreibung.
Der renommierte Robotik-Experte sprach über seine Task and Motion Planning (TAMP)-Forschung, einem grundlegenden Thema in der Robotik, das darauf abzielt, komplexe Roboterverhaltensweisen zu definieren. Er präsentierte eine nuancierte Perspektive auf die Planung und betonte, dass sie über konventionelle Methoden hinausgeht und neben Lernansätzen auch Optimierung und Sampling umfasst. Darüber hinaus beschrieb er, wie LLMs die Kluft zwischen Objekten in der realen Welt und der Sprache, die Menschen zu ihrer Beschreibung verwenden, verringern können, was eine natürliche Sprach-Interaktion mit Robotern ermöglicht. Abschließend erörterte er seine Überlegungen zu den umfassenderen Zielen der KI-Entwicklung, wobei er sich für ein tieferes Verständnis der von uns geschaffenen Systeme über ihre betriebliche Funktionalität hinaus aussprach und die alleinige Abhängigkeit von der Datenakkumulation in Frage stellte.
Marc Toussaint betonte die Bedeutung des Zusammenspiels von Lernen und Denken in der KI. Seine Forschung kombiniert Planung, Optimierung, Inferenz und maschinelles Lernen, um grundlegende Probleme in der Robotik und im physischen Denken zu lösen. Wir freuen uns auf die nächste Munich AI Lecture im Juni. Details zum genauen Termin und Speaker folgen.
