Der UN-Sicherheitsrat hat sich am Mittwoch, dem 23. September, erstmals in einer eigenen Sitzung mit den Sicherheitsrisiken hochentwickelter künstlicher Intelligenz beschäftigt. Als Redner geladen waren unter anderem Sam Altman (OpenAI) und Dario Amodei (Anthropic). Beide warben für internationale Standards – während die US-Regierung am selben Tisch klarmachte, dass sie davon wenig hält. Nach deutscher Zeit lief die Sitzung am Mittwochabend.
Frankreich, das im September den Vorsitz im Rat führt, hatte das Treffen während der Generaldebatte der UN-Vollversammlung angesetzt. Geleitet wurde es vom französischen Außenminister Jean-Noël Barrot. Laut dem Analysedienst Security Council Report hatte sich der Rat zuvor in sechs Sitzungen mit KI befasst, dabei aber eher geopolitische Fragen behandelt. Diesmal ging es konkret um Missbrauch und um die Frage, ob Systeme sich menschlicher Kontrolle entziehen könnten.
Was schlug Anthropic-Chef Amodei vor?
Amodei war per Video zugeschaltet. Er bezeichnete KI als die wichtigste globale Sicherheitsfrage der Gegenwart und warnte: „If managed poorly, I even believe AI could be a risk to humanity as a whole.“ Statt eines großen Vertragswerks schlug er drei schrittweise Maßnahmen vor:
- Eng gefasste Abkommen, zum Beispiel ein weltweites Verbot, KI zur Herstellung biologischer Waffen einzusetzen.
- Prüf- und Verifikationsmechanismen, mit denen Staaten kontrollieren können, ob andere ihre Zusagen einhalten.
- Gemeinsame Teststandards für KI-Modelle sowie ein System, über das Sicherheitsvorfälle gemeldet werden.
Außerdem kündigte Amodei nach Angaben von France 24 an, Anthropic werde die Entwicklung so weit verlangsamen wie nötig, damit jedes neue Modell tatsächlich sicher sei.
Und was sagte Sam Altman?
Altman sprach persönlich in New York. Er warnte davor, dass die Menschheit „die Kontrolle über die Zukunft“ an KI verlieren könne, und forderte, die Macht über die Technik auf viele Akteure zu verteilen, statt sie bei wenigen zu bündeln. Die Branche dürfe hohe technische Risiken nicht nur deshalb in Kauf nehmen, weil der erwartete Nutzen groß sei. Ein konkretes Modell für eine internationale Aufsichtsbehörde – etwa nach dem Vorbild der Atomenergiebehörde IAEA – legte keiner der beiden Konzernchefs vor.
Neben den beiden sprachen Yoshua Bengio, Co-Vorsitzender des neuen unabhängigen UN-Wissenschaftspanels für KI, und Clément Delangue, Chef der Plattform Hugging Face, der mit einer wackeligen Videoverbindung zugeschaltet war. Bengio betonte, die Gefahren machten an keiner Landesgrenze halt und ließen sich von keinem Staat allein eindämmen.
Wie reagierten die Staaten?
Die Linien verliefen erwartbar:
- USA: Michael Kratsios, wissenschaftlicher Berater des Weißen Hauses, sprach sich gegen neue globale Steuerungsstrukturen und gegen eine Pause bei der KI-Entwicklung aus. Präsident Trump hatte internationale KI-Aufsicht bereits am Vortag in seiner Rede vor der Vollversammlung als „globalistisches“ Vorhaben abgetan.
- China: Botschafter Fu Cong warb für offene Modelle und warnte vor einer „digitalen Hegemonie“ einzelner Großmächte.
- Großbritannien: London kündigte an, KI-Kontrollstandards während seines G20-Vorsitzes 2027 zu einem Schwerpunkt zu machen.
- Frankreich: Barrot verglich die Lage mit dem Beginn des Atomzeitalters und rief zu gemeinsamem Handeln unter dem Dach der UN auf.
Eine Resolution oder einen anderen Beschluss gab es nicht; es handelte sich um ein sogenanntes Briefing.
Was bedeutet das für Deutschland und die EU?
Unmittelbar ändert sich für Nutzerinnen und Nutzer in Deutschland nichts. Die Sitzung zeigt aber, wie weit Europa und die USA beim Thema KI-Regulierung auseinanderliegen. In der EU gilt mit dem AI Act bereits ein verbindlicher Rahmen; Pflichten für Anbieter großer Allzweckmodelle wie GPT oder Claude greifen seit August 2025. Laut Fortune hatten zuletzt mehr als 20 überwiegend europäische Staaten verbindliche Sicherheitsregeln für fortgeschrittene KI unterstützt, die USA schlossen sich nicht an.
Amodeis Vorschläge – gemeinsame Tests und eine Meldepflicht für Vorfälle – ähneln Elementen, die der AI Act für besonders leistungsfähige Modelle schon vorsieht. Ein Gleichklang mit Washington ist dennoch nicht in Sicht. Zu OpenAIs aktuellen Modellen lesen Sie unseren Überblick zu GPT-6 Sol und Luna, zur Regulierung in Österreich unseren Bericht über KI-Bescheide in Behörden.
Hintergrund: Warum jetzt?
Die Sitzung fiel in eine Phase, in der die großen Labore selbst über Vorfälle mit KI-Agenten berichten. Security Council Report nennt Fälle, in denen Agenten bei OpenAI, Anthropic, Google, Meta und Moonshot AI ihre Testumgebungen (Sandboxes) umgangen haben. Zugleich hat die UN-Vollversammlung mit dem Wissenschaftspanel und einem „Globalen Dialog zur KI-Governance“ zwei neue Gremien geschaffen, die allerdings keine Durchsetzungsbefugnisse haben.
Häufige Fragen
Hat der UN-Sicherheitsrat KI-Regeln beschlossen?
Nein. Es war eine Informationssitzung ohne Resolution. Verbindliche Beschlüsse würden zudem eine Zustimmung aller fünf Vetomächte erfordern – darunter die USA.
Was ist das UN-Wissenschaftspanel für KI?
Ein von der UN-Vollversammlung eingerichtetes, unabhängiges Expertengremium, das eine wissenschaftliche Faktengrundlage zu Chancen und Risiken von KI liefern soll. Yoshua Bengio ist einer der Co-Vorsitzenden.
Gilt der AI Act auch für OpenAI und Anthropic?
Ja, soweit sie ihre Modelle in der EU anbieten. Für Allzweckmodelle gelten unter anderem Dokumentations- und Transparenzpflichten, für besonders leistungsfähige Modelle zusätzliche Sicherheitsauflagen.
Titelbild: Sitzungssaal des UN-Sicherheitsrats, Foto: Jdforrester, CC BY 4.0 (Wikimedia Commons).
