Ich bin Luis Castillo, Solution Engineer bei CNEXT. Aber bevor ich über Security und Zero Trust gesprochen habe, habe ich einem Roboter das Denken beigebracht. Das hier ist die Geschichte, wie ich als Student den Misty II Roboter von einem programmierbaren Spielzeug in ein autonomes KI-System verwandelt habe – eines, das sieht, hört, spricht und selbstständig Entscheidungen trifft.
Wie alles begann: Ein Student und ein Roboter
Als ich mein Studium begann, war «Embodied AI» für mich nur ein Buzzword. Roboter, die denken können? Klang nach Science-Fiction. Dann stellte mir CNEXT einen Misty II Roboter auf den Tisch und sagte: «Mach was draus.»
Misty II ist ein kleiner, niedlicher Roboter mit grossen Augen, einem LED-Display als Gesicht, Kameras, Mikrofonen, Touch-Sensoren und der Fähigkeit, sich autonom zu bewegen. Aber «out of the box» kann Misty nicht viel mehr als vorprogrammierte Animationen abspielen und auf einfache Befehle reagieren. Das Gehirn fehlte.
Mein Ziel war klar: Ich wollte Misty zu einem Roboter machen, der sieht, hört, versteht, spricht und autonom handelt. Nicht mit vorprogrammierten Antworten – sondern mit echter KI.
Die Architektur: OpenAI als Gehirn von Misty
Die zentrale Erkenntnis war: Misty braucht kein Gehirn auf der lokalen Hardware – die Cloud ist das Gehirn. Ich habe eine Architektur entwickelt, die Mistys Sensoren mit OpenAI und Azure AI Services verbindet:
Das System im Überblick
| Fähigkeit | Technologie | Funktion |
|---|---|---|
| Hören | Azure Speech-to-Text | Mistys Mikrofone nehmen Sprache auf, Azure transkribiert in Text |
| Verstehen | OpenAI GPT-5 & Claude Opus | Der transkribierte Text wird als Prompt an GPT-5 oder Claude Opus gesendet |
| Denken | OpenAI + Anthropic + System Prompts | GPT-5 / Claude Opus entscheidet, was Misty tun soll – antworten, sich bewegen, eine Emotion zeigen |
| Sprechen | OpenAI TTS & Azure Text-to-Speech | Die KI-Antwort wird über OpenAI oder Azure in natürliche Sprache umgewandelt |
| Sehen | OpenAI Vision & Azure Computer Vision | Mistys Kamera erkennt Gesichter, Objekte und Gesten via OpenAI und Azure |
| Handeln | Misty REST API | Misty führt Bewegungen, Navigationen und Ausdrücke autonom aus |
| Verketten | LLM Chaining (GPT-5 → Claude Opus) | Der Output eines Modells wird als Input an das nächste weitergegeben – für präzisere und validierte Ergebnisse |
Der Datenfluss
- 1Misty hört: Die 3 Mikrofone nehmen Audio auf
- 2Audio → Text: Azure Speech-to-Text transkribiert in Echtzeit
- 3Text → GPT-5 / Claude Opus: Der Text wird zusammen mit Kontext (erkannte Personen, aktuelle Position, Gesprächshistorie) an OpenAI oder Anthropic gesendet
- 4LLM → Entscheidung: Das Modell generiert nicht nur eine Antwort, sondern auch Handlungsanweisungen im JSON-Format
- 5Antwort → Sprache: Azure TTS wandelt die Antwort in Sprache um
- 6Handlung → Misty: Bewegungsbefehle werden über die REST API an Misty gesendet
- 7Emotion → Display: Misty zeigt passende Gesichtsausdrücke auf seinem LED-Display
Die grössten Herausforderungen
1. Spracherkennung in lauten Umgebungen
Mistys Mikrofone sind gut, aber auf Messen und Events ist es laut. Meine Lösung:
- Noise Gate: Nur Audio über einem bestimmten Schwellenwert wird verarbeitet
- Wake Word Detection: Misty reagiert nur auf direkte Ansprache
- Chunk-basierte Verarbeitung: Audio wird in Segmenten verarbeitet, nicht als Endlos-Stream
- Fehlertoleranz: Wenn die Transkription unsicher ist, fragt Misty nach
2. Latenz – der Feind der natürlichen Konversation
Der Weg von Mikrofon → Azure STT → OpenAI → Azure TTS → Lautsprecher hat Latenz. Meine Optimierungen:
- Streaming-Responses: GPT-5 / Claude Opus antwortet im Stream, die TTS startet sofort mit den ersten Wörtern
- Caching: Häufige Begrüssungen und Standardantworten werden lokal gecached
- Predictive Loading: Während Misty spricht, wird schon die nächste mögliche Antwort vorbereitet
- Zwischenanimationen: Misty zeigt «Denk-Animationen», damit die Wartezeit natürlich wirkt
3. Computer Vision: Gesichter erkennen und merken
Misty soll Besucher:innen nicht nur sehen, sondern wiedererkennen. Dafür nutze ich Azure Face API:
- Face Detection: Erkennung von Gesichtern im Kamerabild
- Face Identification: Vergleich mit gespeicherten Gesichtern
- Emotion Detection: Erkennung von Emotionen (lächelnd, überrascht, etc.)
- Personalisierung: Wenn Misty jemanden wiedererkennt, begrüsst er ihn persönlich: «Hallo Marcel, schön dich wiederzusehen!»
4. Autonomes Handeln – der schwierigste Teil
Das Schwierigste war nicht die Spracherkennung oder die Vision – es war die autonome Entscheidungsfindung. Ich wollte, dass Misty nicht einfach auf Befehle reagiert, sondern selbst entscheidet, was als Nächstes zu tun ist.
Meine Lösung: Ein State Machine Konzept, kombiniert mit GPT-5 Function Calling und Claude Opus:
Mistys Zustände:
- Idle: Misty schaut sich um, reagiert auf Bewegung
- Greeting: Jemand nähert sich, Misty begrüsst
- Conversation: Aktives Gespräch mit einer Person
- Guiding: Misty führt jemanden zu einem Ort
- Presenting: Misty hält eine Präsentation
- Exploring: Misty erkundet autonom die Umgebung
GPT-5 entscheidet mit Function Calling, welche Aktion Misty ausführen soll:
// Beispiel Function Calling Response von GPT-5:
{
"action": "navigate_to",
"target": "meeting_room_1",
"speech": "Folgen Sie mir zum Meetingraum!",
"emotion": "happy",
"speed": "medium"
}5. LLM Chaining – Zwei KI-Modelle sind besser als eines
Eine der spannendsten Techniken im Misty-Projekt ist LLM Chaining: Der Output eines Sprachmodells wird direkt als Input an ein zweites Modell weitergegeben. Konkret nutze ich GPT-5 und Claude Opus in einer Kette:
- GPT-5 generiert die erste Antwort oder Handlungsentscheidung basierend auf dem Kontext
- Claude Opus validiert und verfeinert die Antwort – prüft auf Konsistenz, Sicherheit und Tonalität
- Das Ergebnis ist präziser und zuverlässiger als mit einem einzelnen Modell
Warum ist das wichtig? Ein einzelnes LLM kann halluzinieren oder inkonsistente Antworten geben. Durch die Verkettung von zwei unterschiedlichen Modellen – eines von OpenAI, eines von Anthropic – gleichen sich Schwächen aus. GPT-5 ist stark im kreativen Generieren, Claude Opus exzellent im kritischen Überprüfen. Zusammen liefern sie Ergebnisse, die für einen autonomen Roboter verlässlich genug sind.
Der technische Ablauf:
- 1Kontext sammeln: Sensordaten, Gesprächshistorie, erkannte Personen
- 2GPT-5 Erstantwort: Generiert Antwort + Handlungsanweisungen (JSON)
- 3Claude Opus Review: Validiert die Antwort auf Sicherheit, Angemessenheit und Konsistenz
- 4Finale Ausgabe: Die validierte Antwort wird an Mistys Sprach- und Bewegungssystem weitergegeben
6. Mehrsprachigkeit
Misty musste Deutsch, Englisch, Französisch und Italienisch verstehen und sprechen können – schliesslich sind wir in der Schweiz. Die Spracherkennung erkennt automatisch die Sprache, und GPT-5 / Claude Opus antwortet in derselben Sprache.
Was Misty heute kann
Nach Monaten der Entwicklung kann Misty:
Sehen
- Gesichter erkennen und wiederkehrende Besucher:innen persönlich begrüssen
- Objekte in der Umgebung identifizieren
- Gesten erkennen (Winken, Zeigen)
- Emotionen von Gesprächspartner:innen einschätzen
Hören
- Natürliche Sprache in 4 Sprachen verstehen
- Geräusche erkennen (Klatschen, Klopfen)
- Stimmen unterscheiden (wer spricht gerade?)
- In lauten Umgebungen zuhören
Sprechen
- Natürliche, kontextbezogene Antworten geben
- Witze erzählen und auf Humor reagieren
- Informationen über CNEXT und unsere Services vermitteln
- Smalltalk führen – ja, Misty kann übers Wetter reden
Autonom handeln
- Eigenständig entscheiden, ob er jemanden begrüssen soll
- Besucher:innen zu Meetingräumen navigieren
- Zwischen Gesprächspartner:innen wechseln
- Sich «langweilen» und eigenständig die Umgebung erkunden, wenn niemand da ist
- Seine Emotionen kontextbezogen anpassen
Was ich als Student gelernt habe
Embodied AI ist mehr als Code
Die grösste Erkenntnis: Einen Roboter intelligent zu machen ist zu 30% Programmierung und zu 70% Design von Interaktionsmustern. Wie lange soll Misty warten, bevor er jemanden anspricht? Wie reagiert er, wenn jemand mitten im Gespräch weggeht? Was macht er, wenn er eine Frage nicht versteht?
Diese Fragen sind keine technischen Fragen – es sind UX-Fragen für die physische Welt.
Die Bedeutung von Fehlertoleranz
In der Software-Welt zeigt man eine Fehlermeldung. Wenn ein Roboter einen Fehler hat, steht er da und starrt dich an. Oder schlimmer: Er sagt etwas Unsinniges. Ich habe gelernt, dass Graceful Degradation bei Robotern noch wichtiger ist als bei Websites.
KI demokratisiert Robotik
Vor OpenAI und Anthropic hätte ich Jahre gebraucht, um Misty natürliche Konversation beizubringen. Mit GPT-5, Claude Opus und Azure AI Services konnte ich als Student – ohne Robotik-Studium – einen Roboter bauen, der Menschen begeistert. Das ist die wahre Revolution.
Misty bei CNEXT: Von der Studentenarbeit zum Showpiece
Was als Studentenprojekt begann, ist heute ein zentraler Teil von CNEXTs Embodied-AI-Angebot. Misty ist:
- Messe-Highlight: Auf Veranstaltungen und Events zieht Misty alle Blicke auf sich
- Kundenbegeisterer: Über 10'000 Interaktionen – und die Menschen lieben ihn
- Technologie-Demonstrator: Er zeigt, was mit Azure AI und OpenAI möglich ist
- Türöffner für Gespräche: Nichts bricht das Eis besser als ein freundlicher Roboter
Mehr über unser Embodied-AI-Angebot erfahren Sie auf unserer Embodied AI Seite. Und das vollständige Misty-Projekt finden Sie in unserer Projektübersicht.
Fazit: Die Zukunft ist embodied
Wir stehen am Anfang einer Revolution. KI-Agenten werden nicht für immer im Bildschirm gefangen bleiben – sie werden in die physische Welt kommen. Als Roboter, als autonome Systeme, als Begleiter im Alltag.
Und ich durfte als Student den ersten Schritt machen. Aus einem kleinen Roboter mit grossen Augen wurde ein autonomes KI-System, das sieht, hört, spricht und handelt. Aus einer Studentenarbeit wurde ein Produkt, das Menschen begeistert.
Das ist Embodied AI. Und bei CNEXT sind wir erst am Anfang.
Fragen zu Misty oder Embodied AI? Schreibt mir: luis.castillo@cnext.ch