#112 Embodied AI mit Milan Ferus-Comelo: Was bringen KI-Roboter, warum ist Sim-to-Real so schwer?

Michael Witzenleiter und Jean-Luc Winkler nehmen in Folge 112 wieder eine Gästeperspektive ein – mit einem Thema, das regelmäßig über LinkedIn eingefordert wurde: Robotik. Zu Gast ist Milan Ferus-Comelo, Masterstudent am KIT (Karlsruhe Institute of Technology), der Robotik und KI verbindet und Embodied AI aus Forschung, Bastelpraxis und Open-Source-Perspektive einordnet.

Gast & Thema: Milan Ferus-Comelo über „verkörperte KI“ (embodied AI)

Milan Ferus-Comelo studiert Robotik und KI am KIT, kommt ursprünglich aus der Elektrotechnik und arbeitet daran, Machine Learning mit Hardware zusammenzubringen. Im Zentrum steht „Embodied AI“ (verkörperte KI): der Versuch, Large Language Models (LLMs) mit Robotik zu koppeln, um von einer natürlichsprachlichen Zielbeschreibung bis zur physischen Ausführung zu kommen. Milan spannt dafür den Bogen von klassischen LLM-Ansätzen hin zu Vision-Language-Modellen (VLMs) und Vision-Language-Action-Modellen (VLAs), die neben Sprache auch Bildinformationen und Aktionen direkt abbilden.

Von Tool Calling bis VLA: Wie LLMs Roboter steuern (und warum Sicherheit dominiert)

Ein Kernpunkt ist die Unterscheidung zwischen deterministischen, kontrollierbaren Ansätzen und datenhungrigen End-to-End-Modellen. Tool Calling gilt als pragmatischer Einstieg: Ein LLM erhält eine Liste vorab definierter Funktionen („Tools“) und ruft je nach Aufgabe deterministisch passende Aktionen auf – etwa „bewege Roboterarm zu Position XYZ“ oder „drehe Kamera nach links“. VLAs dagegen sind die „Next Level“-Variante, weil sie Eingaben (Kamera), Kontext (Sprache) und Aktionen (Motorik) in einer Pipeline vereinen, aber dafür Unmengen an Trainingsdaten und Rechenleistung benötigen. Dazu kommt das Problem der Halluzinationen: Was bei Chatbots „nur“ falsche Antworten bedeutet, kann in der physischen Welt zu Sach- oder Personenschäden führen. Entsprechend wird Deployment aktuell eher über kontrollierte Tool-Setups gedacht, selbst wenn die Demos mit VLA-Modellen spektakulärer wirken.

Sim-to-Real-Gap: Warum Training in der Simulation skaliert – und trotzdem scheitert

Der zweite große Block der Folge ist der „Sim-to-Real Gap“: Viele Trainingsdaten entstehen zunächst in Simulationsumgebungen, weil dort nichts kaputtgeht und sich Prozesse beliebig resetten lassen. Gleichzeitig ist genau die Übertragung in die echte Welt schwierig, weil Simulationen nie alle Variablen abbilden – Milan nennt explizit Lichtverhältnisse als häufige Fehlerquelle. Der Hebel in der Praxis liegt in der Skalierung: Mit genug Rechenleistung lassen sich nicht nur ein paar, sondern „tausend, zehntausend Roboterarme parallel“ in Simulation trainieren, was real kaum möglich wäre. Optimierung passiert dann durch gezieltes Sammeln von Edge Cases: Nicht „mehr Daten“, sondern „die richtigen Daten“ – vor allem Situationen, in denen das System unsicher ist oder Fehler macht, werden zurück in die Trainingspipeline gespielt.

• Fokus bei der Verbesserung: Fehler/Edge Cases loggen statt nur Routinefälle sammeln
• Typische Realwelt-Störgrößen: Licht, Sensorrauschen, Umgebungsvariabilität
• Ziel: Robustheit und sichere Ausführung statt maximale Geschwindigkeit

Hardware-Realität: Rechenleistung, Latenz, Edge AI und Privatsphäre

Auch wenn Embodied AI nach „LLM auf Rädern“ klingt, setzt die Hardware enge Grenzen. Tool Calling kann laut Milan bereits lokal – sogar auf einem Laptop – funktionieren, während VLA-Ansätze in Richtung „Server mit zigtausend GPUs“ driften, wenn Echtzeit-Verarbeitung großer Sensordatenströme gefordert ist. Latenz ist dabei nicht nur Komfortfrage: In industriellen Settings sind ein paar Sekunden „Denken“ oft tolerierbar, wenn dafür die Ausführung sicherer wird. Zusätzlich rückt Privatsphäre in den Vordergrund: Ein Roboter in der Wohnung kennt Grundrisse, Räume, Routinen – und die Idee, Inferenz und Datenhaltung auf externe Server auszulagern, bleibt heikel. Der Gegenentwurf heißt Edge AI: lokale Verarbeitung auf dem Roboter, ohne dauerhafte Internetverbindung. Milan verweist auf den Trend, dass Microcontroller und günstige Hardware (Beispiel ESP32, Größenordnung „Fingerspitze“, Preis „4–5 Euro“) immer leistungsfähiger werden und sogar kleine Computer-Vision-Modelle ermöglichen.

Einstieg & Plattformen: Reachy Mini, Open Source Arme und Robotertypen im Überblick

Die Folge bleibt nicht abstrakt, sondern nennt konkrete Einstiegsplattformen. Milan hat einen „Reachy Mini“ von Pollen Robotics (Frankreich) als Tischroboter dabei: Kopfbewegung, Kamera, Mikrofon, „Ohren“-Antennen – genügend Aktorik und Sensorik, um Embodied-AI-Projekte aufzubauen, inklusive gut dokumentierter Bibliotheken und Simulationsumgebung. Nebenbei fällt als Open-Source-Beispiel ein Roboterarm-Kit von Seeed Studio („Reboard Arm“), das sich auch mit 3D-Drucker selbst bauen lässt. Beim Robotik-Überblick wird klar: Von Roboterarmen über Vierbeiner und mobile Plattformen bis zu Humanoiden ist alles dabei – Roboter sind letztlich „Sensoren und Aktoren, zusammengeschraubt für einen Task“. Humanoide Haushaltsroboter bewertet Milan allerdings als „noch lange weg“: Zwei Beine balancieren und menschliche Handmechanik seien extrem komplex und ineffizient, weshalb eher spezialisierte Systeme (z. B. Staubsaugerroboter, später statische Küchenstationen) früher realen Nutzen bringen.

Nächste Use Cases: Natürliche Sprache statt wochenlanger UI-Schulungen

Als naher, realistischer Mehrwert wird weniger „Roboter tanzen“, sondern bessere Bedienbarkeit beschrieben. Milan arbeitet in einem Forschungsprojekt daran, einem Roboterhund autonomes Laufen und Navigieren beizubringen – mit dem Ziel, komplexe Benutzeroberflächen zu umgehen, die heute oft „mehrere Wochen“ Schulung benötigen. Der Hebel ist natürliche Sprache: Aufgaben wie „hol das Teil aus Lagerhalle A“ sollen von einem System verstanden, geplant und in der physischen Welt ausgeführt werden – inklusive Rückkopplung (Inspektion, Computer Vision, Schadenerkennung) und geschlossenem Loop zwischen Wahrnehmung, Aktion und Bericht. Dabei wird auch ein Marktargument sichtbar: Hardware ist teurer und schwerer zu skalieren als Software, aber genau deshalb verlagert sich Interesse und Investment langsam in Richtung Robotik, sobald reine LLM-Fortschritte weniger differenzieren.

Event-Hinweis: Hardware-Hackathon in Karlsruhe (Dezember)

Zum Schluss gibt Milan einen konkreten Ausblick in die Community-Praxis: In Karlsruhe ist ein Hardware-Hackathon geplant, bei dem Hardware (Beispiel Reachy Mini) für Embodied-AI-Projekte „in die Hand gedrückt“ wird. Termin: erstes Dezemberwochenende, 4.–6. Dezember.

🎙️ Folge in kompletter Länge anhören auf allen beliebten Podcast-Plattformen.