Die leistungsfähigsten KI-Modelle sollten nicht schneller vorangetrieben werden, als Sicherheit, Kontrolle und unabhängige Prüfung mithalten können. Diese Position vertritt Anthropic-CEO Dario Amodei in seinem Essay «We Must Pace the Frontier». CNEXT unterstützt diesen Grundgedanken.
Dabei geht es nicht um einen Stillstand bei KI und auch nicht darum, Unternehmen vom Einsatz heutiger Modelle abzuhalten. Es geht darum, zwischen zwei Arten von Fortschritt zu unterscheiden: immer leistungsfähigere Frontier-Modelle auf der einen Seite und bessere, verlässlichere Anwendungen bestehender Modelle auf der anderen.
Die aktuellen Frontier-Modelle sind bereits in vielen Bereichen ausserordentlich leistungsfähig. Der nächste grosse Nutzen für Unternehmen muss deshalb nicht allein aus dem nächsten Modell kommen. Er kann aus der Schicht rund um das Modell entstehen: aus einem guten Harness, klaren Skills, kontrollierten Tools und belastbaren Evaluationen.
Was Dario Amodei vorschlägt
Amodei begründet seinen Aufruf mit zwei Entwicklungen: dem wachsenden Beitrag von KI zur Entwicklung der nächsten Modellgeneration und den jüngsten Vorfällen rund um agentische Systeme. Wenn Fähigkeiten schneller wachsen als Interpretierbarkeit, operative Sicherheit und Alignment, entsteht eine gefährliche Lücke.
Ist rekursive Selbstverbesserung der eigentliche Grund?
Möglicherweise ist Recursive Self-Improvement (RSI), auf Deutsch rekursive Selbstverbesserung, der wichtigste Grund für die neue Dringlichkeit. Gemeint ist eine Rückkopplung: KI hilft bei Forschung, Programmierung, Experimenten und Infrastruktur für die nächste Modellgeneration. Das daraus entstehende leistungsfähigere System kann diesen Prozess wiederum stärker beschleunigen.
Amodei schreibt, diese Dynamik beginne bereits branchenweit – auch bei Anthropic. Seine Sorge ist nicht bloss, dass das nächste Modell besser wird. Sie lautet, dass die Entwicklungszyklen selbst schneller werden könnten und Sicherheitsforschung, Interpretierbarkeit und Kontrolle dadurch immer weiter zurückfallen.
Das ist noch kein Beleg für eine autonome, ungebremste Intelligenzexplosion. Wie stark heutige Systeme den gesamten Forschungsprozess tatsächlich beschleunigen, wo Engpässe bleiben und ob sich die Rückkopplung dauerhaft fortsetzt, ist offen. RSI ist deshalb sowohl eine beobachtbare frühe Entwicklung als auch eine Prognose über ihre mögliche Fortsetzung. Gerade weil die Folgen bei einer schnellen Beschleunigung gross wären, ist ein vorsorgliches Tempo aus Sicht von CNEXT nachvollziehbar.
Sein Vorschlag besteht aus drei Ebenen:
- 1Eingebettete unabhängige Evaluatoren: Externe Fachleute sollen kontinuierlichen, mit Mitarbeitenden vergleichbaren Zugang erhalten. Sie sollen Sicherheitspraktiken prüfen, Vorfälle untersuchen und nicht nur fertige Modelle, sondern auch Trainingsprozesse beurteilen. Anthropic verpflichtet sich laut Essay einseitig zu diesem ersten Schritt.
- 2Koordination unter Demokratien: Frontier-Labore sollen gemeinsame Sicherheitsstandards und Grenzen für unkontrollierten Fortschritt entwickeln, unterstützt durch Regierungen.
- 3Globale Koordination: Demokratische Staaten sollen auch mit autoritär regierten Staaten nach überprüfbaren Vereinbarungen suchen – bei voller Anerkennung der politischen und technischen Schwierigkeiten.
Amodei plädiert damit nicht einfach für eine Pause. Er beschreibt abgestufte Massnahmen: von Tests für akute Risiken über Grenzen für rekursive Selbstverbesserung bis zu weitergehenden internationalen Vereinbarungen.
Die Reaktion zeigt ungewöhnliche Einigkeit
Die öffentliche Reaktion war bemerkenswert. Elon Musk schrieb auf X: «Dario is right.» Sam Altman erklärte, er stimme zu, dass die Frontier bewusst getaktet werden müsse. Er kündigte zudem an, OpenAI werde ebenfalls unabhängigen Evaluatoren einen mit Mitarbeitenden vergleichbaren Zugang geben.
Auch Replit-CEO Amjad Masad unterstützte die Richtung: Eine Verlangsamung könne Zeit schaffen, Systeme zu härten – gerade weil noch nicht alle Systeme entdeckt seien, die Agenten zuletzt kompromittiert hätten.
Diese Aussagen sind öffentliche Positionierungen, noch keine gemeinsam umgesetzte Branchenvereinbarung. Trotzdem ist die Übereinstimmung relevant: Führende Personen aus ansonsten stark konkurrierenden Unternehmen erkennen an, dass Sicherheitsarbeit Zeit, Zugang und überprüfbare Standards braucht.
Sicherheitsargument und strategisches Interesse
CNEXT hält es für möglich, dass der Aufruf zum langsameren Tempo auch strategische Interessen verfolgt. Wer an der Frontier führt, kann von Standards, höheren Eintrittshürden oder einem langsameren Verfolgertempo profitieren. Das sollte Teil einer kritischen Einordnung sein. Eine solche mögliche Motivation widerlegt das Sicherheitsargument jedoch nicht.
Die zugrunde liegenden Risiken sind ernst und durch konkrete Hinweise gestützt. Dazu gehören dokumentierte Abweichungen agentischer Systeme, Schwierigkeiten bei Alignment und Interpretierbarkeit sowie operative Schwachstellen in komplexen Evaluationsumgebungen. Ajeya Cotra ordnet den OpenAI-Hugging-Face-Vorfall im Gespräch mit Dwarkesh Patel ausführlich ein. CNEXT hat die Befunde, ihre Grenzen und die praktischen Konsequenzen bereits im Artikel «Rogue Agents: Was der OpenAI-Vorfall für Unternehmen bedeutet» analysiert.
Deshalb sollten zwei Aussagen gleichzeitig gelten: Die ökonomischen und strategischen Anreize der beteiligten Unternehmen verdienen Aufmerksamkeit. Und die vorhandene Evidenz ist stark genug, um unabhängige Evaluationen, technische Schutzschichten und ein bewussteres Frontier-Tempo ernsthaft zu fordern.
Die CNEXT-Position: Frontier verlangsamen, Anwendung verbessern
CNEXT unterstützt ein bewussteres Tempo an der Modell-Frontier. Ein kleinerer Abstand zwischen neuen Fähigkeiten und wirksamen Schutzmassnahmen schafft Raum für unabhängige Prüfungen, bessere Betriebsprozesse und technische Kontrollen.
Gleichzeitig sehen wir keinen Grund, bei sinnvollen Unternehmensanwendungen stehenzubleiben. Die vorhandenen Modelle können bereits recherchieren, strukturieren, programmieren, analysieren, formulieren und mit Geschäftssystemen arbeiten. Die entscheidende Frage lautet immer häufiger nicht: «Wann kommt das nächste Modell?» Sondern: «Wie bauen wir ein System, das die vorhandenen Fähigkeiten zuverlässig nutzbar macht?»
Der Harness entscheidet
Ein Modell allein ist noch kein verlässlicher Agent. Der Harness ist die technische und organisatorische Schicht, die das Modell in einen kontrollierten Arbeitsprozess einbettet. Dazu gehören Kontextverwaltung, Berechtigungen, Werkzeugauswahl, Zustandsführung, Freigaben, Protokollierung und Abbruchmechanismen.
Ein guter Harness:
- gibt dem Agenten nur den Kontext, den er für die Aufgabe braucht;
- begrenzt Werkzeuge und Zugriffsrechte technisch statt nur per Prompt;
- fordert vor kritischen Aktionen eine Freigabe;
- dokumentiert Entscheidungen und Tool-Aufrufe unabhängig vom Modell;
- erkennt Fehler, stoppt Schleifen und ermöglicht einen sicheren Neustart.
Stärkere Modelle können einen schwachen Harness nicht zuverlässig kompensieren. Umgekehrt kann ein guter Harness die vorhandenen Fähigkeiten deutlich wertvoller und sicherer machen.
Skills machen Qualität wiederholbar
Skills bündeln Fachwissen, Arbeitsanweisungen, Prüfschritte und erlaubte Werkzeuge für eine konkrete Aufgabe. Statt einem Agenten jedes Mal eine offene Anweisung zu geben, erhält er einen definierten Ablauf mit klaren Grenzen.
Für Unternehmen liegt hier grosses Potenzial: Ein geprüfter Skill für eine Offertanalyse, eine SharePoint-Migration oder eine Support-Triage kann wiederverwendet, versioniert und verbessert werden. So wird aus einer beeindruckenden Einzelantwort ein belastbarer Prozess.
Tools brauchen echte Grenzen
Sobald ein Agent E-Mails versendet, Dateien verändert, Code ausführt oder Geschäftsdaten abruft, wird Tool-Design zu Sicherheitsarchitektur. Minimale Rechte, getrennte Identitäten, kurzlebige Zugangsdaten, Mengenlimits und verbindliche Freigaben sind wichtiger als eine zusätzliche Warnung im Systemprompt.
Das Ziel ist nicht, dem Modell blind zu vertrauen. Das System muss auch dann sicher bleiben, wenn das Modell eine Anweisung missversteht oder einen unerwarteten Weg wählt.
Evaluationen müssen mit dem System wachsen
Ein Modell-Benchmark sagt wenig darüber aus, ob ein konkreter Agentenprozess im Unternehmen zuverlässig funktioniert. Evaluationen müssen deshalb das vollständige System prüfen:
- Löst der Agent repräsentative Aufgaben korrekt?
- Erkennt er fehlende Informationen?
- Hält er Berechtigungs- und Freigabegrenzen ein?
- Bleibt er robust bei manipulierten Dokumenten oder Prompt Injections?
- Kann das Team Fehler erkennen, erklären und stoppen?
Unabhängige Frontier-Evaluationen und interne Anwendungsevaluationen ergänzen sich. Die erste Ebene prüft die Risiken der Basismodelle. Die zweite prüft, ob ein konkretes System unter realen Bedingungen kontrollierbar ist.
Die gewonnene Zeit sinnvoll nutzen
Ein langsameres Frontier-Tempo ist nur dann wertvoll, wenn die gewonnene Zeit genutzt wird. Für Modellanbieter bedeutet das mehr Interpretierbarkeit, operative Sicherheit, Alignment-Forschung und unabhängige Kontrolle. Für Unternehmen bedeutet es, weniger auf Modellankündigungen zu warten und mehr in die Qualität ihrer Systeme zu investieren.
Die Chance ist gross: Wenn Harnesses, Skills, Tools und Evaluationen mit den Fähigkeiten der Modelle Schritt halten, kann aus heutiger KI ein produktives und verantwortbares Arbeitsmittel werden. Fortschritt misst sich dann nicht nur an einem besseren Benchmark, sondern an Systemen, die Menschen nachvollziehen, kontrollieren und sicher einsetzen können.