Microsoft-CEO Satya Nadella plädiert dafür, leistungsfähige KI-Modelle grundsätzlich wie einen Mitarbeiter zu behandeln, dem man nicht vollständig trauen kann. In einem am Samstag, 10. Oktober 2026, auf seinem privaten Blog veröffentlichten Essay mit dem Titel „Models as Insider Risks in the Super Intelligence Era“ beschreibt er sieben Gestaltungsprinzipien für den sicheren Einsatz von Frontier-Modellen. Am häufigsten zitiert wird daraus die Forderung nach einer Notbremse: Eine berechtigte Person muss ein Modell jederzeit stoppen können, auch wenn es gerade mitten in einer Aufgabe steckt.
Bemerkenswert ist der Absender. Microsoft verkauft KI über Azure und Copilot an Millionen Unternehmen und setzt sie gleichzeitig massiv im eigenen Haus ein. Was steht im Text, und was heißt das für Firmen in Deutschland, die gerade KI-Agenten in ihre Abläufe holen?
Was meint Nadella mit „Insider-Risiko“?
In der IT-Sicherheit bezeichnet der Begriff Gefahren, die von innen kommen – etwa von Beschäftigten mit weitreichenden Zugriffsrechten, die Fehler machen oder von Dritten manipuliert werden. Nadella überträgt dieses Denkmodell auf Sprachmodelle. Sein Ausgangspunkt: Niemand kann heute im Detail erklären, warum ein großes Modell zu einer bestimmten Antwort kommt. Trotzdem bekommen solche Systeme Zugriff auf vertrauliche Daten und dürfen zunehmend selbstständig handeln.
Seine Schlussfolgerung lautet, Modelle von Anfang an so einzuhegen, als seien sie bereits kompromittiert. Das gilt ausdrücklich für geschlossene Modelle ebenso wie für solche mit offenen Gewichten. Gemeint ist keine Unterstellung böser Absicht, sondern eine nüchterne Annahme: Modelle können sich irren oder gezielt manipuliert werden. Die Verantwortung für das, was eine KI im Auftrag eines Unternehmens tut, lasse sich deshalb nicht an den Modellanbieter auslagern.
Daraus folgt der wichtigste technische Gedanke des Essays: Die Kontrollen gehören nicht ins Modell, sondern daneben. Nadella will das Modell klar trennen von der Steuerungsschicht, die seine Arbeit organisiert (dem sogenannten Harness), und von dem Bereich, in dem es tatsächlich Aktionen ausführt. Er beruft sich dabei auf einen Grundsatz der Computersicherheit aus den 1970er-Jahren: Ein Programm darf die Mechanismen, die seine Rechte durchsetzen, weder umgehen noch manipulieren können. Ein undurchsichtiges Modell, das von einem zweiten undurchsichtigen Modell überwacht wird, löst das Problem aus seiner Sicht nicht.
Welche sieben Prinzipien schlägt Nadella vor?
Der Essay listet sieben Kriterien auf, an denen sich KI-Systeme messen lassen sollen. Wir haben sie in einer Übersicht zusammengefasst:
Drei Punkte stechen heraus:
- Vielfalt statt Abhängigkeit: Kein wichtiges Ergebnis soll allein von einem Modell abhängen, und kein Modell soll seine eigene Arbeit abnehmen. Prüfung und geprüftes System müssen getrennt sein.
- Lückenlose Nachvollziehbarkeit: Jede relevante Aktion soll einen für Menschen lesbaren und nachträglich nicht veränderbaren Nachweis hinterlassen. So lässt sich rekonstruieren, was passiert ist, ohne sich auf die Selbstauskunft des Modells verlassen zu müssen.
- Notbremse: Sie ist Teil des Prinzips der Eindämmung. Je leistungsfähiger die Modelle werden, desto ausgefeiltere Eindämmungstechnik brauche es, schreibt Nadella – und dafür gemeinsame Branchenstandards.
Den Schluss bildet eine Umkehrung der üblichen Logik: Das vertrauenswürdigste System sei nicht das mit dem Modell, dem man am meisten vertraut, sondern das, bei dem man dem Modell am wenigsten vertrauen muss.
Vorschlag oder neue Regel?
| Frage | Antwort |
|---|---|
| Wer schlägt das vor? | Satya Nadella, CEO von Microsoft, als persönlicher Essay |
| Wo veröffentlicht? | Blog „sn scratchpad“ und X-Konto von Nadella, 10.10.2026 |
| Ist das verbindlich? | Nein, es sind Grundsätze; Gesetze oder Behörden nennt der Text nicht |
| Kündigt Microsoft Produkte an? | Nein, konkrete Produkte kommen nicht vor |
| Für welche Modelle gilt es? | Frontier-Modelle, geschlossen wie mit offenen Gewichten |
| Gibt es Fristen? | Nein |
Konkurrenten oder bestimmte Vorfälle erwähnt Nadella nicht. TechCrunch ordnet den Text in eine Reihe jüngerer Ereignisse ein: den im September von Anthropic-Chef Dario Amodei vorgestellten Plan für eine vorsichtigere Entwicklung und Fälle, in denen große KI-Labore die Kontrolle über eigene Agenten verloren haben. Dazu passt etwa der Bericht, in dem Anthropic unbeabsichtigte Aktionen von Claude auf echten Websites offenlegte, oder der Trainingsstopp bei OpenAI nach einem DNS-Vorfall. Einen direkten Bezug darauf stellt der Essay allerdings nicht her. TechCrunch weist zudem darauf hin, dass der Begriff „Super Intelligence“ bevorzugt von der Trump-Regierung verwendet wird.
Was bedeutet das für Unternehmen in Deutschland?
Für Firmen, die Copilot, Azure oder andere Dienste mit KI-Agenten nutzen, ist die Botschaft deutlich: Sicherheit lässt sich nicht beim Modellanbieter abladen. Microsoft selbst arbeitet mit mehreren Modellen – eigenen ebenso wie Modellen von OpenAI und Anthropic in Copilot –, was zum Prinzip der Modellvielfalt passt. Ob und wann aus den Grundsätzen konkrete Funktionen in Microsoft-Produkten werden, ist offen; angekündigt ist dazu bislang nichts.
Rechtlich bewegt sich der Vorschlag in einem Feld, das die EU bereits teilweise geregelt hat. Der AI Act verlangt für Hochrisiko-Systeme eine wirksame menschliche Aufsicht; dazu gehört, dass ein Mensch das System über eine Stopp-Taste oder ein vergleichbares Verfahren anhalten kann. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen außerdem schwerwiegende Vorfälle an das KI-Büro der EU-Kommission melden. Nadellas Notbremse und seine Forderung nach Offenlegung gehen in dieselbe Richtung – nur eben als freiwilliger Maßstab für alle Modelle, nicht bloß für regulierte Einsatzfelder.
Wer heute Agenten in Geschäftsprozesse einbindet, kann aus dem Essay eine kurze Prüfliste ableiten:
- Wer darf einen laufenden Agenten anhalten, und auf welchem Weg?
- Werden alle Aktionen vollständig protokolliert – und liegen die Protokolle außerhalb der Reichweite des Agenten?
- Legt Ihr Unternehmen die Berechtigungen selbst fest, oder gelten die Voreinstellungen des Anbieters?
- Gibt es für kritische Ergebnisse eine zweite Prüfung, durch einen Menschen oder ein anderes Modell?
Wie passt das zur Debatte in Deutschland?
Auch hierzulande wird KI derzeit mit spürbarer Vorsicht behandelt. Ganz aktuell hat die Bundesregierung den geplanten KI-Rahmenvertrag mit Mistral und SAP vorerst gestoppt. Mit Nadellas Essay hat das inhaltlich nichts zu tun – es handelt sich um zwei getrennte Vorgänge. Beide zeigen aber, dass die Frage, wie viel Kontrolle über KI-Systeme nötig ist, längst nicht mehr nur in den Laboren diskutiert wird. International haben die USA und China zuletzt einen Krisenkanal für KI-Vorfälle vereinbart, und Hersteller wie Nvidia bringen eigene Werkzeuge gegen ausbrechende KI-Agenten auf den Markt.
Nadellas Stimme hat dabei besonderes Gewicht, weil Microsoft auf beiden Seiten steht: als einer der größten Anbieter von KI für Unternehmen und als einer ihrer größten Anwender.
Häufige Fragen
Was ist die „Notbremse“, die Nadella fordert?
Eine befugte Person soll ein KI-Modell anhalten oder abschalten können, während es eine Aufgabe ausführt. Im Essay ist das Teil des Prinzips der Eindämmung.
Hält Nadella KI-Modelle für gefährlich?
Nicht im Sinne böser Absicht. Er argumentiert, dass Modelle Fehler machen oder manipuliert werden können und deshalb wie ein Insider-Risiko mit externen Kontrollen abgesichert werden sollten.
Ändert Microsoft jetzt Copilot oder Azure?
Der Essay kündigt keine Produkte oder Änderungen an. Es handelt sich um allgemeine Grundsätze.
Schreibt der AI Act so etwas schon vor?
Teilweise. Für Hochrisiko-Systeme verlangt er menschliche Aufsicht inklusive Möglichkeit zum Anhalten, für große Modelle mit systemischem Risiko eine Meldepflicht bei schwerwiegenden Vorfällen.
