Was ist LLM Chaining?

LLM Chaining (auch Prompt Chaining oder Model Chaining) ist eine Technik, bei der der Output eines Sprachmodells (LLM) direkt als Input an ein anderes Sprachmodell weitergegeben wird. Statt sich auf ein einzelnes Modell zu verlassen, werden mehrere Modelle in einer Kette kombiniert – jedes mit einer spezifischen Aufgabe.

Klingt simpel? Die Idee ist einfach, aber die Auswirkungen sind enorm. In meiner Arbeit mit dem Misty-Roboter bei CNEXT habe ich erlebt, wie LLM Chaining den Unterschied zwischen «nettes Experiment» und «produktionsreifer KI» ausmacht.

Das Problem: Ein LLM allein ist nicht genug

Jedes Sprachmodell hat Stärken und Schwächen:

• GPT-5 von OpenAI ist hervorragend im kreativen Generieren, im Verstehen komplexer Kontexte und im Function Calling
• Claude Opus von Anthropic glänzt bei der kritischen Analyse, der Konsistenzprüfung und dem Befolgen exakter Anweisungen

Wenn man sich auf ein einzelnes Modell verlässt, bekommt man dessen blinde Flecken mit dazu:

• Halluzinationen: Das Modell erfindet Fakten, die plausibel klingen
• Inkonsistenzen: Bei langen Konversationen widerspricht sich das Modell selbst
• Bias: Jedes Modell hat systematische Verzerrungen in seinen Antworten
• Overconfidence: LLMs geben falsche Antworten mit der gleichen Sicherheit wie richtige

Wie LLM Chaining funktioniert

Das Grundprinzip

Das Prinzip ist wie eine Redaktion: Ein:e Autor:in schreibt den Text, ein:e Lektor:in prüft und verfeinert ihn. Beide bringen unterschiedliche Perspektiven ein – und das Endergebnis ist besser als das, was eine Person allein produzieren könnte.

In der Praxis sieht das so aus:

1. 1Modell A (Generator) – empfängt den ursprünglichen Input und generiert eine erste Antwort
2. 2Modell B (Validator) – erhält die Antwort von Modell A zusammen mit dem Originalkontext und prüft, verfeinert oder ergänzt sie
3. 3Output – die validierte, verbesserte Antwort geht an die Anwendung

Varianten von LLM Chaining

Es gibt verschiedene Muster, wie man LLMs verketten kann:

Sequential Chaining (Sequenziell) Das häufigste Muster. Modell A generiert, Modell B validiert – nacheinander.

• Input → GPT-5 → Erstantwort → Claude Opus → Validierte Antwort → Output

Parallel Chaining (Parallel) Beide Modelle erhalten denselben Input gleichzeitig. Ein Aggregator wählt die bessere Antwort oder kombiniert beide.

• Input → GPT-5 → Antwort A
• Input → Claude Opus → Antwort B
• Aggregator → Beste Antwort → Output

Hierarchical Chaining (Hierarchisch) Ein übergeordnetes Modell entscheidet, welches spezialisierte Modell für die jeweilige Aufgabe zuständig ist.

• Input → Router-LLM → Aufgabenklassifikation
• Einfach → schnelles Modell (z.B. GPT-4o-mini)
• Komplex → starkes Modell (z.B. GPT-5)
• Kritisch → Validierungs-Chain (GPT-5 → Claude Opus)

Praxisbeispiel: LLM Chaining beim Misty-Roboter

Bei meinem Misty-Projekt nutze ich LLM Chaining in der Praxis. Misty muss in Echtzeit Entscheidungen treffen – und Fehler haben physische Konsequenzen. Ein Roboter, der in die falsche Richtung läuft oder unangemessene Dinge sagt, ist mehr als nur ein Bug.

Der Ablauf im Detail

Schritt 1: Kontextsammlung Mistys Sensoren liefern Daten: erkannte Gesichter, gesprochene Worte, aktuelle Position, Gesprächshistorie. All das wird zu einem strukturierten Kontext zusammengeführt.

Schritt 2: GPT-5 als Generator GPT-5 erhält den Kontext und generiert:

• Eine natürlichsprachige Antwort
• Handlungsanweisungen im JSON-Format (bewegen, Emotion zeigen, navigieren)
• Eine Konfidenz-Einschätzung

Schritt 3: Claude Opus als Validator Claude Opus erhält die GPT-5-Antwort zusammen mit dem Originalkontext und prüft:

• Sicherheit: Ist die vorgeschlagene Aktion sicher? (Keine Kollisionsgefahr, keine unangemessenen Aussagen)
• Konsistenz: Passt die Antwort zum bisherigen Gespräch?
• Angemessenheit: Ist die Reaktion für den Kontext passend? (Messe vs. Büro, Kind vs. Erwachsener)
• Korrektheit: Stimmen die Fakten in der Antwort?

Schritt 4: Finale Entscheidung Wenn Claude Opus die Antwort bestätigt, wird sie ausgeführt. Wenn nicht, gibt es drei Optionen:

• Claude Opus liefert eine korrigierte Version
• GPT-5 wird mit dem Feedback erneut aufgerufen
• Misty wählt eine sichere Standardaktion (z.B. freundlich lächeln und warten)

Warum nicht nur ein Modell?

In einem frühen Prototyp habe ich nur GPT-5 verwendet. Das funktionierte in 90% der Fälle gut. Aber die restlichen 10% waren problematisch:

• Misty gab Informationen, die er nicht wissen konnte
• In lauten Umgebungen interpretierte er Hintergrundgeräusche als Befehle
• Er wiederholte sich in langen Gesprächen

Mit Claude Opus als Validator sank die Fehlerquote auf unter 2%.

Technische Implementierung

Architektur-Entscheidungen

Latenz-Management LLM Chaining verdoppelt theoretisch die Latenz. Meine Lösungen:

• Streaming: GPT-5 streamt die Antwort, Claude Opus beginnt die Validierung schon mit den ersten Tokens
• Caching: Häufige Interaktionsmuster werden gecached – die Chain läuft nur bei neuen Situationen
• Confidence Threshold: Wenn GPT-5 eine hohe Konfidenz meldet und die Anfrage unkritisch ist, wird Claude Opus übersprungen

Fehlerbehandlung Was passiert, wenn ein Modell ausfällt?

• Fallback: Wenn Claude Opus nicht erreichbar ist, wird GPT-5s Antwort direkt verwendet (mit erhöhtem Logging)
• Timeout: Maximale Wartezeit pro Modell – bei Überschreitung greift der Fallback
• Circuit Breaker: Nach mehreren Ausfällen wird die Chain temporär auf Single-Model umgeschaltet

Kosten-Optimierung Zwei Modelle kosten mehr als eines. Meine Strategie:

• Nicht jede Anfrage braucht die volle Chain: Einfache Begrüssungen laufen nur über GPT-5
• Kontextlänge reduzieren: Claude Opus erhält nur den relevanten Kontext, nicht die gesamte Gesprächshistorie
• Batching: Bei mehreren schnellen Interaktionen werden Validierungen gebündelt

Anwendungsfälle für LLM Chaining

LLM Chaining ist nicht nur für Roboter relevant. Hier sind weitere Szenarien, in denen die Technik Sinn macht:

1. Kundensupport-Bots

• Generator: Erstellt eine Antwort basierend auf der Wissensdatenbank
• Validator: Prüft, ob die Antwort korrekt ist und keine sensiblen Informationen enthält
• Ergebnis: Weniger falsche Antworten, höhere Kundenzufriedenheit

2. Content-Erstellung

• Generator: Schreibt einen Blog-Artikel oder Social-Media-Post
• Validator: Prüft auf Markenkonformität, Tonalität und Fakten
• Ergebnis: Content, der schnell erstellt wird, aber qualitätsgeprüft ist

3. Code-Generierung

• Generator: Schreibt Code basierend auf Anforderungen
• Validator: Prüft auf Bugs, Sicherheitslücken und Best Practices
• Ergebnis: Zuverlässigerer Code mit weniger Review-Aufwand

4. Medizinische Informationssysteme

• Generator: Beantwortet Gesundheitsfragen
• Validator: Prüft medizinische Korrektheit und warnt bei gefährlichen Empfehlungen
• Ergebnis: Sicherere Gesundheitsinformationen

5. Juristische Dokumente

• Generator: Erstellt Vertragsentwürfe oder Zusammenfassungen
• Validator: Prüft auf rechtliche Korrektheit und fehlende Klauseln
• Ergebnis: Weniger rechtliche Risiken

Vergleich: Single Model vs. LLM Chaining

Best Practices für LLM Chaining

Aus meiner Erfahrung beim Misty-Projekt und anderen CNEXT-Projekten habe ich folgende Best Practices entwickelt:

1. Verschiedene Anbieter:innen nutzen

Verwenden Sie Modelle von unterschiedlichen Anbietern (z.B. OpenAI + Anthropic). Modelle desselben Anbieters haben oft ähnliche blinde Flecken.

2. Klare Rollen definieren

Jedes Modell in der Chain braucht eine klar definierte Aufgabe. «Generieren» und «Validieren» sind verschiedene Kompetenzen.

3. Nicht alles verketten

LLM Chaining ist für kritische oder komplexe Aufgaben gedacht. Für einfache Klassifikationen oder Standardantworten ist ein einzelnes Modell effizienter.

4. Monitoring einbauen

Loggen Sie, wie oft der Validator Änderungen vornimmt. Wenn es zu häufig ist, stimmt etwas mit dem Generator-Prompt nicht. Wenn es nie passiert, können Sie auf den Validator verzichten.

5. Graceful Degradation

Bauen Sie Fallbacks ein. Die Chain darf nicht komplett ausfallen, wenn ein Modell nicht verfügbar ist.

6. Prompts separat optimieren

Der Generator-Prompt und der Validator-Prompt haben unterschiedliche Ziele. Optimieren Sie sie unabhängig voneinander.

Die Zukunft: Multi-Model als Standard

LLM Chaining ist kein Workaround – es ist die Zukunft der KI-Architektur. Genau wie wir in der Softwareentwicklung nicht alles in einer Funktion schreiben, werden wir in der KI nicht alles einem Modell überlassen.

Die nächsten Entwicklungen, die ich erwarte:

• Spezialisierte Modelle: Statt immer grösserer Generalisten werden wir mehr spezialisierte Modelle sehen, die in Chains kombiniert werden
• Standardisierte Protocols: Einheitliche Schnittstellen für Model-zu-Model-Kommunikation
• Automatisches Routing: KI entscheidet selbst, welche Chain für welche Anfrage optimal ist
• Edge-Cloud-Chains: Schnelle Modelle lokal, komplexe Validierung in der Cloud

Fazit

LLM Chaining hat mein Misty-Projekt von einem beeindruckenden Demo zu einem zuverlässigen System gemacht. Die Technik ist einfach zu verstehen, aber mächtig in der Anwendung: Verschiedene KI-Modelle arbeiten zusammen, gleichen gegenseitig Schwächen aus und liefern Ergebnisse, denen man vertrauen kann.

Ob Sie einen Chatbot bauen, Content generieren oder – wie ich – einem Roboter das Denken beibringen: LLM Chaining ist ein Werkzeug, das Sie kennen sollten. CNEXT als Microsoft Partner unterstützt Sie gerne beim Aufbau robuster Multi-Model-Architekturen.

Fragen zu LLM Chaining oder Multi-Model-Architekturen? Schreibt mir: luis.castillo@cnext.ch