Microsoft-Chef Satya Nadella fordert überprüfbare Grenzen für KI-Systeme, die Daten auswerten und selbstständig Aktionen ausführen. In einem Beitrag auf X vom 10. Oktober legt er sieben Prinzipien vor: vom unabhängigen Prüfen über begrenzte Zugriffsrechte bis zur Möglichkeit, laufende Aufgaben anzuhalten. Sein Ausgangspunkt ist die Verantwortung der Organisationen, die solche Systeme einsetzen. Die Zusicherung eines Modellanbieters soll ihnen nicht genügen.[a]
„Wir müssen die Bereitstellung von Intelligenz von der Verfügungsgewalt darüber trennen“, schreibt Nadella. Die Forderung berührt eine größere Debatte: Wer kontrolliert KI, wie unabhängig müssen die Kontrollen sein – und wann reichen technische Vorkehrungen nicht mehr aus? Die Vorschläge führender Forscher und Unternehmenschefs reichen von freiwilliger Zusammenarbeit bis zu verbindlichen Prüfungen und Entwicklungsbeschränkungen.[a]
Warum Nadella KI als internes Sicherheitsrisiko behandelt
Nadellas Vergleich stammt aus der Unternehmenssicherheit. Auch ein Akteur innerhalb der eigenen Organisation kann Fehler machen oder kompromittiert werden. Deshalb soll seine Zugehörigkeit zum System keinen unbegrenzten Zugriff rechtfertigen. Nadella wendet diese Überlegung auf geschlossene Modelle ebenso an wie auf Modelle mit zugänglichen Gewichten. Er unterstellt ihnen damit keine zwangsläufig böswillige Absicht.[a]
Ein verwandter Gedanke steckt im Zero-Trust-Ansatz der US-Standardisierungsbehörde NIST: Vertrauen entsteht nicht allein daraus, dass ein Konto oder Gerät zum eigenen Netzwerk gehört. Zugriffe müssen eigens autorisiert werden. Für KI-Agenten – Software, die mithilfe eines Modells Aufgaben bearbeitet und Werkzeuge bedient – lässt sich daraus eine praktische Frage ableiten: Welche Befugnisse benötigt diese konkrete Aufgabe überhaupt?[b]
Ein Beispiel: Ein Assistent soll Rechnungen zusammenstellen. Dafür kann er Leserechte für ausgewählte Unterlagen brauchen. Die Erlaubnis, Geld zu überweisen oder Dokumente zu löschen, folgt daraus nicht. Eine außerhalb des Modells durchgesetzte Berechtigungsprüfung kann solche Aktionen blockieren, auch wenn der Assistent sie vorschlägt. Das ist ein Beispiel für die von Nadella verlangte Trennung zwischen Modell, steuernder Software und erlaubten Aktionen.[a]
Die sieben Prinzipien
Nadellas Katalog betrifft das gesamte eingesetzte System. In der Reihenfolge seines Beitrags umfasst er diese Punkte:[a]
- Modellvielfalt. Ein wichtiges Ergebnis soll nicht ausschließlich von einem Modell abhängen; dasselbe Modell soll seine Arbeit nicht allein überprüfen.
- Beobachtbarkeit. Bedeutsame Aktionen sollen manipulationsgeschützte, menschenlesbare Nachweise hinterlassen. Ein Ablauf muss sich unabhängig von der Selbstauskunft des Modells rekonstruieren lassen.
- Überprüfbarkeit. Tests sollen das ganze System einschließlich Fehlerfällen, Angriffen, Änderungen und ungewöhnlichen Situationen erfassen – und fortlaufend stattfinden.
- Unabhängige Kontrollen. Die einsetzende Organisation soll selbst bestimmen können, worauf ein Modell zugreift und welche Aktionen es ausführt.
- Unabhängige Prüfung. Das Modell darf nicht zugleich das Verhalten eines Systems und die Belege beherrschen, anhand derer dieses Verhalten bewertet wird.
- Eingrenzung. Die Architektur soll von Anfang an mit einem kompromittierten Modell rechnen. Berechtigte Menschen sollen eine Aufgabe jederzeit unterbrechen oder das Modell abschalten können.
- Offenlegung von Vorfällen. Betroffene sollen zeitnah informiert werden. Die Branche soll daraus lernen, welche Kontrollen versagt haben – einschließlich Änderungen, die das Verhalten von Agenten im laufenden Betrieb beeinflussen.
Die Abschaltmöglichkeit ist damit ein Teil eines umfassenderen Betriebsmodells. Der Beitrag legt jedoch weder eine neue Microsoft-Funktion noch einen Zeitplan für die Umsetzung aller sieben Punkte vor.[a]
Eine lesbare Begründung ist noch kein verlässlicher Nachweis
Nadella verlangt transparente ausgegebene Gedankengänge, hält sie allein aber für unzureichend. Auch die Überwachung eines Modells durch ein zweites kann nach seiner Darstellung mehrere undurchsichtige Ebenen übereinanderlegen. Die Regeln für Zugriffe und Aktionen müssten deshalb außerhalb des zu kontrollierenden Modells liegen.[a]
Eine Untersuchung von Anthropic aus dem April 2025 verdeutlicht das Problem. In Tests mit Claude 3.7 Sonnet und DeepSeek R1 nutzten Modelle Hinweise, ohne diese zuverlässig in ihren ausgegebenen Begründungen zu nennen. Solche als Chain of Thought bezeichneten Texte können für die Überwachung hilfreich sein; sie sind aber kein vollständiges Protokoll darüber, wie eine Antwort zustande kam. Der Befund betrifft die untersuchten Modelle und Aufgaben, nicht pauschal jede heutige KI.[c]
Für die Praxis folgt daraus eine Trennung: Die Erklärung eines Assistenten kann bei der Prüfung helfen. Ob er tatsächlich eine Datei geöffnet, eine Nachricht verschickt oder eine Berechtigungsgrenze überschritten hat, muss zusätzlich aus dem Systemablauf hervorgehen. Ein plausibler Text ersetzt diesen Nachweis nicht.[a][c]
Hassabis und Altman wollen gemeinsame Prüfmaßstäbe
Nadellas Schwerpunkt liegt auf der Architektur einzelner Systeme. Demis Hassabis, Chef von Google DeepMind, setzt in einem Vorschlag vom Juli zusätzlich bei einer gemeinsamen Prüfinstitution an. Er beschreibt ein staatlich beaufsichtigtes US-Standardsorgan mit unabhängigen Fachleuten und Vertretern offener Entwicklung. Anfangs könnten Anbieter ihre besonders leistungsfähigen Modelle freiwillig vor der Veröffentlichung prüfen lassen.[f]
Nach einer Bewährungsphase könnten bestandene Prüfungen Voraussetzung für den US-Marktzugang werden. Sein Vorschlag lautet: „Spitzenmodelle müssten sie bestehen, um auf dem US-Markt eingesetzt werden zu dürfen.“ Maßgeblich wären die Fähigkeiten eines Modells; kleinere Modelle unterhalb dieser Schwelle wären ausgenommen. Das beschreibt einen möglichen Übergang zu verbindlichen Regeln, kein bereits geltendes Zulassungsverfahren.[f]
OpenAI-Chef Sam Altman betonte in seiner Rede vor dem UN-Sicherheitsrat am 23. September die politische Legitimation. Die wichtigsten Entscheidungen könnten „nicht allein von Laboren in San Francisco getroffen werden“, sagte er. Er fordert gemeinsame nationale und internationale Standards, rasche Vorfallmeldungen und belastbare Belege für menschliche Kontrolle vor dem Training. Staaten sollen solche Maßstäbe in ihren jeweiligen Rechtssystemen verankern.[d]
Dabei warnt Altman auch vor Machtkonzentration und Regeln, die neue oder offene Anbieter ausschließen. Hassabis beschreibt somit vor allem einen möglichen Prüfmechanismus, Altman einen Rahmen für demokratisch legitimierte und international abgestimmte Entscheidungen. Beides geht über die Frage hinaus, wer einem einzelnen Agenten welche Zugriffsrechte erteilt.[d][f]
Amodei will das Entwicklungstempo begrenzen, Ng Überregulierung vermeiden
Anthropic-Chef Dario Amodei greift in seinem September-Essay „We Must Pace the Frontier“ früher ein: schon beim Zuwachs an Fähigkeiten. „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern“, schreibt er. Gemeint ist kein allgemeiner Trainingsstopp. Seine Argumentation zielt auf mehr Zeit für Sicherheitsarbeit und überprüfbare Grenzen für die führenden Entwickler.[e]
Er skizziert drei Stufen: dauerhaft eingebettete externe Prüfer mit weitreichendem Zugang; abgestimmte Regeln in demokratischen Staaten; schließlich internationale Vereinbarungen. Gesetze für alle US-Spitzenlabore bezeichnet er als besonders wirksamen Weg. Seine Forderung ist zugleich geopolitisch eingeschränkt: Demokratische Staaten sollen ihren Vorsprung erhalten. Eine umfassende globale Pause hält er kurzfristig für schwer erreichbar. Er fordert damit zusätzliche Aufsicht bereits während der Entwicklung.[e]
Der KI-Forscher Andrew Ng setzt einen anderen Akzent. In einem Brief vom Juni warnt er vor Überregulierung, die Wettbewerb und offene Entwicklung erschwert. Konkrete Cyberrisiken erkennt er zugleich an; freiwillige Zusammenarbeit zwischen Laboren und Regierung kann für ihn sinnvoll sein. Man solle „vernünftige und verhältnismäßige Maßnahmen ergreifen“, formuliert er. Seine Position lässt sich deshalb nicht als Ablehnung sämtlicher Sicherheitsregeln zusammenfassen.[g]
Der Unterschied ist erheblich: Amodei möchte auch das Entwicklungstempo zum Gegenstand überprüfbarer Vereinbarungen machen. Ng fragt vorrangig, ob Eingriffe zu konkreten Risiken passen und neue Anbieter unnötig belasten. Die Positionen stammen aus unterschiedlichen Monaten; sie sind keine gemeinsamen Antworten auf Nadellas aktuellen Beitrag.[e][g]
Offene Briefe verlangen sehr unterschiedliche Eingriffe
Wie weit die Forderungen auseinanderliegen, zeigen drei unterschiedlich weitreichende Erklärungen. Der offene Brief des Future of Life Institute vom März 2023 verlangte mindestens sechs Monate Trainingspause für Systeme, die leistungsfähiger als GPT-4 sind. Falls eine freiwillige Pause nicht rasch zustande käme, sollten Regierungen ein Moratorium durchsetzen. Zu den Unterzeichnern gehören Yoshua Bengio, Stuart Russell und Elon Musk. Ein Stopp sämtlicher KI-Forschung war damit nicht gemeint.[h]
Die ebenfalls 2023 veröffentlichte Erklärung des Center for AI Safety formulierte etwas anderes: Die Verringerung möglicher existenzieller KI-Risiken solle globale Priorität haben. Auf ihrer Namensliste stehen unter anderem Geoffrey Hinton, Bengio, Hassabis, Altman und Amodei. Der kurze Text legt jedoch weder eine Trainingspause noch ein bestimmtes Regulierungsmodell fest. Eine gemeinsame Warnung belegt keine Einigkeit über die Instrumente.[i]
Weiter geht die 2025 lancierte Erklärung „Statement on Superintelligence“. Sie fordert ein Verbot der Entwicklung von Superintelligenz – KI, die Menschen bei nahezu allen geistigen Aufgaben deutlich übertreffen würde –, bis ein breiter wissenschaftlicher Konsens über sichere Kontrollierbarkeit und starke öffentliche Zustimmung bestehen. Hinton, Bengio und Russell zählen zu den Unterzeichnern. Die Forderung bezieht sich auf Superintelligenz, nicht auf jede KI-Anwendung. Altman, Amodei und Musk werden auf der Website zwar zitiert, aber ausdrücklich in einem Abschnitt über Nichtunterzeichner.[j]
Eine zeitlich begrenzte Trainingspause, eine allgemeine Risikowarnung und ein an Bedingungen geknüpftes Entwicklungsverbot greifen also unterschiedlich tief ein. Historische Unterschriften müssen außerdem als solche gelesen werden: Sie beschreiben die Unterstützung für den jeweiligen Text und nicht automatisch jede spätere Position dieser Personen.[h][i][j]
Trumps Abkommen und der EU AI Act unterscheiden sich bei der Verbindlichkeit
Wie solche Forderungen politisch aufgegriffen werden, zeigt das am 29. September unterzeichnete White-House-Abkommen. Es sieht vier Kontrollebenen vor: interne Kontrollen, ein internes Prüfteam, externe unabhängige Evaluatoren und einen unabhängigen Ausschuss des Unternehmensaufsichtsgremiums. Hinzu kommt der Austausch über gemeinsame Standards. Neben Trump unterschrieben unter anderem Amodei, Musk und OpenAI-Mitgründer Greg Brockman.[k]
Das Dokument ist eine Selbstverpflichtung. Es benennt selbst weder staatliche Sanktionen noch eine konkrete öffentliche Meldepflicht für Vorfälle. Mögliche spätere Gesetze und Regulierung bleiben ausdrücklich im Blick. Die vorgesehenen externen Prüfer sind daher relevant; ihre bloße Nennung schafft aber noch keine staatliche Durchsetzung. Nadellas Forderungen überschneiden sich mit Teilen dieses Prüfgedankens, ohne dass sein Beitrag als direkte Reaktion auf das Abkommen ausgewiesen ist.[k][a]
Den politischen Hintergrund des Abkommens erläutert unser Artikel „Trump lässt die KI-Konzerne sich selbst kontrollieren“.[l]
In der EU bestehen dagegen gesetzliche Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischen Risiken. Dazu gehören Risikobewertung und -minderung, Modellevaluierungen, die Dokumentation und Meldung schwerer Vorfälle sowie Cybersicherheit. Der freiwillige Verhaltenskodex ist ein Weg, die Erfüllung dieser Pflichten nachzuweisen. Freiwillig ist damit die Wahl dieses Nachweiswegs, nicht das Gesetz.[m]
Das europäische AI Office kann im Rahmen seiner Aufsicht Informationen und Modellzugang verlangen, Evaluierungen veranlassen und Abhilfemaßnahmen bis zur Einschränkung der Verfügbarkeit fordern. Die Anwendung der Regeln ist gestaffelt. Der entscheidende Unterschied zum Unternehmensabkommen liegt in den gesetzlichen Durchsetzungsbefugnissen. Auch das ist kein pauschales Verbot weiterer KI-Entwicklung.[n]
Wer kontrolliert, was kontrolliert wird
Die Vorschläge lassen sich deshalb nicht sinnvoll nur nach „mehr“ oder „weniger“ Regulierung sortieren. Eine Abschaltmöglichkeit begrenzt eine laufende Aufgabe. Eine unabhängige Prüfung soll Risiken sichtbar machen. Eine gesetzliche Pflicht klärt, ob eine Aufsicht Maßnahmen erzwingen kann. Eine Entwicklungsgrenze setzt bereits vor dem Einsatz an. Diese Instrumente können sich ergänzen; keines beantwortet automatisch die Fragen der anderen.[a][e][f][m]
Nadellas Beitrag macht vor allem die Verantwortung beim Einsatz konkret. Entscheidend wäre, ob eine Organisation Zugriffe tatsächlich begrenzen, Aktionen nachvollziehen und im Ernstfall eingreifen kann. Wer daraus gemeinsame Prüfstandards entwickelt, ihre Einhaltung kontrolliert und Folgen bei Verstößen festlegt, bleibt die politische und institutionelle Anschlussfrage. Genau dort unterscheiden sich die übrigen Vorschläge.[a][d][f]
Fragen zum Hintergrund
Ist Nadellas „Notbremse“ eine angekündigte Microsoft-Funktion?
Warum ist eine Unterschrift unter einer KI-Warnung noch keine Zustimmung zu einem Verbot?
Die Zitate aus englischsprachigen Originalen hat Ex Silico ins Deutsche übersetzt.
Titelbild: Satya Nadella, Archivporträt von 2017. Foto: Brian Smale und Microsoft (öffnet in neuem Tab), CC BY-SA 4.0 (öffnet in neuem Tab). Darstellung je nach Bildschirmformat beschnitten; auch der Bildausschnitt steht unter dieser Lizenz.
