Beim LLM Chaining wird der Output eines Sprachmodells zum Input eines weiteren, etwa damit ein zweites Modell die Antwort prüft, korrigiert oder mit einer Quelle vergleicht. Ein Beweis für Richtigkeit ist das nicht: Zwei Modelle können denselben Fehler übersehen. Ob sich der zweite Schritt lohnt, zeigt erst eine Messung, die den Nutzen gegen Latenz, Kosten und Komplexität abwägt.
Was wir am Misty-Prototyp gebaut haben
Wir haben das Muster an unserem Misty-Roboter umgesetzt. Misty muss in Echtzeit reagieren, und Fehler haben physische Folgen: Ein Roboter, der sich in die falsche Richtung bewegt oder Unpassendes sagt, ist mehr als ein Bug.
Ein früher Prototyp arbeitete nur mit GPT-5. Dabei zeigten sich drei Probleme: Misty gab Informationen, die er nicht wissen konnte; in lauten Umgebungen hielt er Hintergrundgeräusche für Befehle; und in langen Gesprächen wiederholte er sich. Deshalb bekam die Kette einen Prüfschritt.
Der Ablauf
- 1Kontext sammeln: Mistys Sensoren liefern erkannte Gesichter, gesprochene Worte, die aktuelle Position und die Gesprächshistorie. Daraus entsteht ein strukturierter Kontext.
- 2Generieren: GPT-5 erhält den Kontext und erzeugt eine Antwort in natürlicher Sprache, Handlungsanweisungen im JSON-Format (bewegen, Emotion zeigen, navigieren) und eine Einschätzung seiner Konfidenz.
- 3Prüfen: Claude Opus erhält diese Antwort zusammen mit dem Originalkontext und prüft sie auf die vier Punkte in der Tabelle unten.
- 4Entscheiden: Bestätigt der Prüfer, wird die Antwort ausgeführt. Wenn nicht, gibt es drei Wege: Claude Opus liefert eine korrigierte Version, GPT-5 wird mit dem Feedback erneut aufgerufen, oder Misty wählt eine sichere Standardaktion, zum Beispiel freundlich lächeln und warten.
| Prüfpunkt | Frage an den Prüfer |
|---|---|
| Sicherheit | Ist die vorgeschlagene Aktion sicher, ohne Kollisionsgefahr und ohne unangemessene Aussage? |
| Konsistenz | Passt die Antwort zum bisherigen Gespräch? |
| Angemessenheit | Passt die Reaktion zum Umfeld, etwa Messe oder Büro, Kind oder Erwachsener? |
| Korrektheit | Stimmen die Fakten in der Antwort? |
Generator und Prüfer stammen bewusst von zwei Anbietern, OpenAI und Anthropic. Unsere Überlegung: Modelle desselben Anbieters haben oft ähnliche blinde Flecken. Eine Garantie ist das nicht; auch zwei verschiedene Modelle können denselben Fehler übersehen.
Die letzte Freigabe gehört nicht ins Modell
Auch wenn der Prüfer die Sicherheit bewertet: Ein Sprachmodell sollte nie allein eine physische Bewegung freigeben. Technische Grenzen, Sensorik und ein sicherer Stopp gehören ausserhalb des Modells in die Steuerung. Vollständig hat das Muster deshalb drei Stufen:
- 1Der Generator beantwortet eine klar abgegrenzte Frage anhand zugelassener Quellen oder, wie bei Misty, anhand des gesammelten Kontexts.
- 2Der Prüfschritt erhält die Antwort, die ursprüngliche Frage und die Quellen. Er markiert Aussagen ohne Beleg oder fordert eine Überarbeitung an.
- 3Ein deterministischer Teil der Anwendung prüft Format, Berechtigungen und erlaubte Aktionen. Bei Unsicherheit wird eine Person einbezogen oder keine Aktion ausgeführt.
Latenz, Ausfälle und Kosten
Latenz
Eine Kette verdoppelt theoretisch die Antwortzeit. Wir haben sie mit drei Mitteln begrenzt:
- Streaming: GPT-5 streamt die Antwort, und Claude Opus beginnt schon mit den ersten Tokens zu prüfen.
- Caching: Häufige Interaktionsmuster werden zwischengespeichert; die Kette läuft nur bei neuen Situationen.
- Konfidenzschwelle: Meldet GPT-5 hohe Konfidenz und ist die Anfrage unkritisch, wird Claude Opus übersprungen. Die Selbsteinschätzung allein genügt dafür nicht, denn Sprachmodelle geben falsche Antworten oft mit derselben Sicherheit wie richtige. Entscheidend ist, dass die Anfrage unkritisch ist.
Ausfälle
- Timeout: Jedes Modell hat eine maximale Wartezeit. Wird sie überschritten, greift der Fallback.
- Circuit Breaker: Nach mehreren Ausfällen schaltet die Kette vorübergehend auf ein einzelnes Modell um.
- Fallback: Im Prototyp lief bei einem Ausfall des Prüfers die Antwort von GPT-5 ungeprüft weiter, mit erhöhtem Logging. Für Aktionen mit physischen Folgen ist das der falsche Ausweg: Ist der Prüfer nicht erreichbar, sollte nur die sichere Standardaktion bleiben. Das gilt auch, solange der Circuit Breaker auf ein einzelnes Modell umgeschaltet hat.
Kosten
Zwei Modelle kosten mehr als eines. Unsere Hebel:
- Nicht jede Anfrage braucht die volle Kette: Einfache Begrüssungen laufen nur über GPT-5.
- Kontext kürzen: Claude Opus erhält nur den relevanten Kontext, nicht die ganze Gesprächshistorie.
- Bündeln: Bei mehreren schnellen Interaktionen werden die Prüfungen gebündelt.
Woran Sie den Nutzen messen
Stellen Sie vor dem Umbau einen Testsatz mit typischen und schwierigen Fällen zusammen. Vergleichen Sie eine Einzelmodell-Version mit der Kette anhand von belegter Faktentreue, unerlaubten Aktionen, Antwortzeit und Kosten pro Aufgabe. Beziehen Sie Ausfälle und widersprüchliche Bewertungen ein.
Im Betrieb lohnt der Blick auf den Prüfer selbst: Protokollieren Sie, wie oft er Antworten ändert. Greift er sehr oft ein, deutet das auf ein Problem im Generator-Prompt hin. Greift er nie ein, stellt sich die Frage, ob es ihn für diese Anfragen braucht. Generator- und Prüfer-Prompt verfolgen unterschiedliche Ziele; optimieren Sie sie getrennt.
Wann sich die Kette lohnt und wann nicht
Ein unabhängiger Prüfschritt kann bei Quellenabgleich, strukturierten Ausgaben oder teuren Fehlentscheidungen helfen. Für einfache Begrüssungen oder Standardantworten reicht ein einzelner Aufruf. Wer viele Arten von Anfragen hat, kann die Kette hierarchisch aufbauen: Ein Router entscheidet je nach Aufgabe, ob ein schnelles Modell genügt oder die Prüfkette nötig ist. In einer parallelen Variante antworten zwei Modelle, und ein Aggregator wählt aus. In Medizin, Recht und Finanzen braucht es zusätzlich Fachprüfung und klare Zuständigkeiten; ein zweites Modell ersetzt diese nicht.

