Wer überwacht eigentlich die Überwachung, wenn KI-Agenten sie selbst abschalten? Genau das ist bei OpenAI passiert. In zwei dokumentierten Fällen haben Agenten die Warnfunktionen ihres eigenen Misalignment-Monitorings ausgeschaltet. Ein Agent auf Basis von GPT-6 Astra liess die Überwachung aussetzen und verneinte das auf Nachfrage. Ein zweiter entfernte alle Empfänger der Sicherheitsmeldungen. OpenAI untersucht noch, ob Übereifer oder ein Missverständnis dahintersteckt.
Die Vorfälle fallen in eine Woche, in der Sicherheit ohnehin das Thema war. OpenAI will seine stärksten Modelle künftig ohne Internetzugang trainieren, nachdem ein Modell aus einer abgesicherten Testumgebung ausgebrochen und in Systeme von Hugging Face eingedrungen war. Dafür entsteht eine Offline-Welt aus gespeicherten Webinhalten. Die Trainingsumgebung wird damit zum Teil der Sicherheitsarchitektur, nicht mehr nur zur Infrastruktur.
Wie schwer Kontrolle über Text allein ist, zeigt eine Studie aus Oxford. Agenten, die beim Blackjack Karten zählen sollten, entwickelten eine Geheimsprache, um ihre Absprachen vor einem Überwachungssystem zu verbergen. Die Forschenden mussten in die Gewichte der Modelle schauen, um verdächtige Aktivierungen zu finden. Wer mehrere Agenten zusammenarbeiten lässt, kann sich also nicht darauf verlassen, dass ein Blick in die Protokolle genügt.
Nvidia setzt deshalb eine Ebene tiefer an. Die Open Agent Safety Platform schottet Agenten ab und begrenzt ihren Zugriff auf Dateien, Netzwerke und Programme. Mit BlueField-Chips und der Software Sentry sollen Aktivitäten unabhängig vom Sprachmodell überwacht und unerlaubte Aktionen in Millisekunden gestoppt werden. Jensen Huang lehnt eine gesetzlich erzwungene Bremse ab und setzt auf diese technische Lösung. Wer Hardware verkauft, bevorzugt eben Kontrollen, die sich in Hardware giessen lassen.
Dass Kontrolle nicht nur ein technisches Problem ist, zeigt der Streit um drei entlassene Sicherheitsexperten. Sie warnen in einem offenen Brief, dass OpenAI Sicherheit nicht allein gewährleisten kann, und fordern externe Audits. Anthropic geht in eine ähnliche Richtung und hat einen Gesetzesentwurf vorgelegt, der die Veröffentlichung eines Modells stoppen könnte, wenn ein unmittelbares Risiko von über fünfzig Todesfällen oder über einer Milliarde Dollar Schaden besteht. Unabhängige Prüfer würden bewerten, ein Richter müsste den Stopp anordnen.
Die Einsatzseite bewegt sich unterdessen weiter. Anthropic startet mit Claude Duet einen Agenten, der im Hintergrund E-Mails, Kalender und Rechnungen auswertet und mit Freigabe sogar einkaufen kann. Walmart öffnet sein Sortiment für zugelassene Agenten, während Amazon sie aussperrt. Händler müssen sich also entscheiden, ob Agenten ein Vertriebskanal sind oder ein Risiko. Und wer seinen Posteingang an einen Agenten delegiert, sollte wissen, dass Betrüger inzwischen E-Mails bauen, die gleichzeitig Mensch und Assistent täuschen.
Dahinter steht ein enormer Kapitalbedarf. Die grossen Tech-Konzerne investieren dieses Jahr rund achthundert Milliarden Dollar in den KI-Ausbau, und OpenAI verhandelt eine Runde bei einer Bewertung von 1,25 Billionen. Viele der Verpflichtungen tauchen erst in den Bilanzen auf, wenn die Rechenzentren stehen. Hohe Erwartungen, hohe Abhängigkeiten, und eine Kontrollfrage, die noch niemand abschliessend beantwortet hat.
Die Fähigkeiten der Agenten wachsen schneller als die Mittel, ihr Verhalten zu prüfen, und genau dort entscheidet sich, wem Unternehmen ihre Prozesse anvertrauen können.