Astra, Sol oder Luna für den ersten Fall?
Optionen
- 1Luna für Zuordnung, Extraktion und Kurztexte in grosser Menge
- 2Sol für Büroarbeit, Entwürfe und Programmierung
- 3Astra für lange, mehrstufige Arbeit mit Werkzeugen
Unsere Empfehlung: Luna, wenn die Masse der Aufrufe aus Zuordnung, Extraktion und Routing besteht; Sol für Entwürfe, Zusammenfassungen und Programmierung im Alltag; Astra erst, wenn Sol am Testsatz an einer langen, mehrstufigen Aufgabe scheitert. In jedem Fall treten zwei Kandidaten am Testsatz an, und der günstigere gewinnt, sobald er die Fälle gleich gut löst.
Wovon wir abraten: Astra für alles, weil es das stärkste Modell ist. Jeder Aufruf kostet mehr Tokens und Zeit, und ein Testsatz, der nie ein kleineres Modell geprüft hat, kennt die Ersparnis nicht.
Ein Modell pro Anwendung oder eines pro Schritt?
Optionen
- 1Ein Modell für alle Schritte
- 2Ein kleines Modell für Vorsortierung und Extraktion, ein grosses für die Antwort
- 3Dazu ein zweites Modell als Prüfer
Unsere Empfehlung: Pro Schritt. Ein kleines Modell übernimmt Vorsortierung und Extraktion, weil dort die Masse der Aufrufe anfällt, ein grosses die Antwort, und wo eine falsche Antwort teuer ist, prüft ein zweites Modell Fundstellen und Vollständigkeit, bevor eine Person entscheidet. Welche Kombination trägt, zeigt der Testsatz mit den Kosten pro Fall.
Wovon wir abraten: Mehrere Modelle, weil es geht. Jedes zusätzliche Modell braucht einen Platz im Datenblatt, im Testsatz und in der Kostenrechnung.
Decisions API oder Modellaufruf mit Schema?
Optionen
- 1Ein Modellaufruf mit Ausgabeschema
- 2Die Decisions API für feste Antwortmengen
- 3Beides, je nach Schritt
Unsere Empfehlung: Die Decisions API, wo ein Schritt genau eine Antwort aus einer festen Menge braucht, etwa das Routing im Posteingang oder der nächste Schritt eines Agenten, und ein Testsatz mit Ihren Fällen die Trefferquote misst. Ein Modellaufruf mit Schema, wo die Ausgabe mehrere Felder trägt, etwa die Beschlussliste. In einem Agenten kommen oft beide vor, und Entscheide mit Folgen für eine Person fallen an einen Menschen zurück.
Wovon wir abraten: Einen Entscheid mit Folgen für eine Person an die Trefferquote hängen. Die Quote aus dem Testsatz steht neben jeder Freigabe, sie ersetzt sie nicht.
Wann wechseln wir das Modell?
Optionen
- 1Wenn die Abkündigungsseite ein Datum nennt
- 2Wenn ein neues Modell am Testsatz besser abschneidet
- 3Zu einem festen Termin pro Quartal
Unsere Empfehlung: Wenn der Testsatz es zeigt oder das Ablaufdatum es verlangt, und nie unbemerkt. Jedes Projekt-Datenblatt trägt das Datum der Ablösung; ein Quartal vorher tritt der Nachfolger am Testsatz an, Anweisungen werden nachgezogen, wo die Antworten abweichen, und der Wechsel geht als neue Version durch die Freigabe wie jede andere Änderung.
Wovon wir abraten: Auf die neueste Version umstellen, weil sie da ist. Eine neue Version antwortet anders, und was sich an Anweisungen und Schemas bewährt hat, muss erneut gemessen werden.