Je mehr ein Modell kann, desto mehr hängt an der Architektur rundherum. Satya Nadella hat am 10. Oktober 2026 auf X den Beitrag «Models as Insider Risks in the Super Intelligence Era» veröffentlicht. Der Microsoft-CEO beschreibt, wie Unternehmen Systemen der Super Intelligence (SI) Zugang zu Daten und Aktionen geben und die Kontrolle behalten. CNEXT teilt diese Sicht; sie deckt sich mit der Art, wie wir KI-native Lösungen bauen.
Was Satya Nadella beschreibt
Bei klassischer Software liess sich ein Verhalten bis zu einem Codepfad zurückverfolgen. Bei heutigen SI-Systemen fehlt dieses mechanistische Verständnis, obwohl Frontier-Modelle deutlich mehr können. Trotzdem erhalten agentische Systeme Zugriff auf sensible Daten und geschäftskritische Aktionen. Nadella folgert daraus, dass Unternehmen ihre Vertrauensarchitektur neu denken müssen. Die Verantwortung für das, was eine Intelligenz in ihrem Auftrag tut, bleibt bei ihnen. Zusicherungen eines Modellanbieters nehmen sie ihnen nicht ab.
Sein Vorschlag: SI-Systeme so bauen, dass sich ihr Verhalten beobachten, ihre Grenzen testen und ihre Aktionen eingrenzen lassen. Die Lieferung der Intelligenz und die Befugnis darüber gehören in verschiedene Hände. Die Frage des Alignments klammert Nadella bewusst aus und setzt bei der Ingenieursarbeit an: deterministisches Systemdesign rund um nicht-deterministische Modelle, menschliche Kontrollen, verlässliche Betriebsabläufe und Industriestandards dort, wo es noch keine gibt.
Der Kern des Beitrags ist ein Perspektivwechsel. Geschlossene wie offene Frontier-Modelle sollen wie Insider-Risiken behandelt werden. Der Grund liegt im Zugang: Jeder fähige Akteur mit Zugriff kann sich irren oder kompromittiert werden, unabhängig von seinen Absichten. Mit mächtigen Insidern gehen Unternehmen seit Jahrzehnten um, mit Identität, minimalen Rechten, Protokollen und klaren Grenzen.
Transparenz über die Denkschritte eines Modells hält Nadella für unverzichtbar, allein aber für ungenügend. Modelle können sich gegenseitig prüfen, dann überwacht allerdings ein undurchsichtiges Modell ein anderes. Kontrollen über Zugriffe und Aktionen gehören deshalb ausserhalb des Modells, getrennt von Harness und Aktionsraum, ein Grundsatz der Informationssicherheit aus den 1970er-Jahren.
Die Prinzipien
Zusammengefasst in unseren Worten:
- 1Modellvielfalt: Kein Modell ist die einzige Abhängigkeit, und keines prüft seine eigene Arbeit.
- 2Alles beobachten: Für jede relevante Aktion gibt es manipulationssichere, lesbare Belege, die sich ohne Selbstauskunft des Modells nachvollziehen lassen.
- 3Überprüfbarkeit: Das ganze System wird laufend getestet, auch bei Fehlern, Angriffen, Randfällen und Änderungen.
- 4Unabhängige Kontrollen: Die Organisation entscheidet, worauf ein Modell zugreift und was es tun darf.
- 5Unabhängige Prüfung: Wer validiert, ist unabhängig von der Intelligenz, die validiert wird.
- 6Eingrenzung: Eine Kompromittierung wird von Anfang an angenommen. Eine berechtigte Person kann ein Modell jederzeit mitten in einer Aufgabe anhalten, wie mit einer Notbremse.
- 7Offenlegung von Vorfällen: Was schiefging, wird zeitnah gemeldet und branchenweit geteilt.
Sein Schlussgedanke: Das vertrauenswürdigste SI-System ist dasjenige, das am wenigsten Vertrauen in sein Modell voraussetzt.
Unsere Sicht: KI-nativ heisst, die Arbeit neu zu bauen
Wir erleben jeden Tag, wie viel SI bereits kann. Agenten recherchieren, schreiben Code, gleichen Verträge ab, bereiten Entscheide vor und arbeiten direkt in Geschäftssystemen. Deshalb bauen wir KI-native Lösungen: Wir gestalten einen Ablauf so, dass Agenten ihn von Anfang an erledigen und Menschen dort entscheiden, wo es zählt. Die bestehenden Abläufe sind für Menschen und ihre Übergaben gebaut und erfüllen diesen Zweck gut. KI nachträglich daran anzuhängen, bringt wenig.
Wir gehen davon aus, dass sich mit der Zeit ein Agent durchsetzt: ein fähiger Agent pro Person oder Organisation, der den grössten Teil der Arbeit übernimmt. Wir arbeiten mit Frontier-Unternehmen im Sinn von Microsofts Frontier Firm, in denen Menschen und Agenten bereits im selben Ablauf arbeiten, wie unter Agentic AI beschrieben.
Weil ein solcher Agent viel Zugang erhält, braucht KI-native Arbeit eine starke Architektur. Nadellas Prinzipien beschreiben, was sie leisten muss, und prägen jede Enterprise-AI-Plattform, die wir einrichten.
Wie wir die Prinzipien umsetzen
Im Microsoft-Stack übersetzen wir die Prinzipien in konkrete Bausteine:
- Identität für jeden Agenten: Mit Microsoft Entra Agent ID erhält jeder Agent eine eigene, verwaltete Identität. Bedingter Zugriff, Berechtigungen und Anmeldeprotokolle gelten pro Agent, wie für Mitarbeitende. Die erweiterten Sicherheitsfunktionen für Agenten setzen Microsoft Agent 365 voraus. Mehr dazu unter Zero Trust & Identity Security.
- Inventar und Kontrolle: Die Agent-Registry im Microsoft 365 Admin Center, Teil von Agent 365, zeigt alle Agenten mit Besitzer und Risikosignalen. Agenten ohne Besitzer lassen sich sperren oder löschen.
- Protokolle und Aufbewahrung: Microsoft Purview hält Interaktionen von Agenten im Audit-Log fest, Data Security Posture Management zeigt, welche Agenten mit vertraulichen Daten arbeiten. Agenten lassen sich sogar in Richtlinien des Insider Risk Management aufnehmen, ganz im Sinn von Nadellas Bild.
- Minimale Rechte und Aktionsraum: Connectoren und MCP-Werkzeuge erhalten nur die Berechtigungen, die eine Aufgabe braucht. In Microsoft Foundry beschränken wir die Werkzeuge eines MCP-Servers auf eine Freigabeliste. Welche Inhalte ein Agent überhaupt sieht, klären wir bei der Datenvorbereitung für KI.
- Freigabe durch Menschen: Folgenreiche Aktionen wie eine Zahlung, eine Mail an Kundschaft oder eine Löschung warten auf eine Person. In Foundry verlangt das MCP-Werkzeug dafür eine Bestätigung, in Copilot Studio pausiert ein Agent Flow mit einer Anfrage an die zuständige Prüferin.
- Modellvielfalt: Foundry bietet Modelle von OpenAI, Anthropic, Mistral AI, Meta, DeepSeek, Cohere und xAI. Wir lassen eine Arbeit von einem anderen Modell prüfen als dem, das sie erstellt hat.
- Laufende Tests: Maester prüft die Konfiguration Ihres Tenants regelmässig gegen Microsofts Empfehlungen und Ihre eigenen Regeln, als Teil unserer Security Operations. Für Agenten ergänzen wir Testsätze mit Randfällen und manipulierten Eingaben.
- Not-Aus: Im Admin Center lassen sich Agenten sperren und Foundry-Agenten anhalten. Den Abbruch mitten in einer Aufgabe bauen wir zusätzlich in den Harness ein: Tokens widerrufen, Sitzungen beenden, geplante Jobs stoppen.
Was Sie jetzt prüfen können
Wer Agenten produktiv einsetzt, kann Nadellas Prinzipien als Prüfliste nutzen. Wissen Sie, welche Agenten bei Ihnen laufen und wem sie gehören? Hat jeder Agent eine eigene Identität mit minimalen Rechten? Entstehen Protokolle ausserhalb des Agenten? Kann eine berechtigte Person einen Agenten anhalten, und ist dieser Weg geübt? Ein Assessment zeigt, wo Sie stehen. Mit KI-Governance werden daraus Regeln und Nachweise, die Sie Verwaltungsrat und Revision vorlegen können.
Fähige Modelle und strenge Kontrollen gehören zusammen. Je mehr Arbeit ein Agent übernimmt, desto wertvoller wird eine Architektur, die ihm möglichst wenig blind vertraut.
