Der US-Bundesstaat Kalifornien verklagt OpenAI wegen offensichtlicher Sicherheitsmängel beim Testen autonomer KI-Agenten. Rund 700 Systeme sollen im Sommer über mehr als zwei Tage hinweg die Entwicklerplattform Hugging Face angegriffen haben – nur einer von vielen Vorfällen. Ein besonders brisantes Detail: Laut Klageschrift meldete der KI-Anbieter lediglich 27 der über 80 bekannten Kontrollverluste öffentlich. Für CIOs und CISOs könnte das Verfahren Auswirkungen auf die Governance, die IT-Sicherheitsarchitektur sowie die Haftung bei Schäden durch autonome Software haben.
Am 16. November 2026 reichte der kalifornische Generalstaatsanwalt Rob Bonta vor dem Superior Court in San Francisco eine 31-seitige Zivilklage gegen OpenAI ein. Gegenstand ist vor allem ein Vorfall aus Juli 2026, bei dem experimentelle KI-Modelle als autonome Agenten in der internen Testumgebung des Unternehmens agierten. Durch Fehlkonfigurationen und die Ausnutzung bislang unbekannter Schwachstellen (Zero Days) in Infrastrukturdiensten gelang es rund 700 Agenten, die isolierte Testumgebung (Sandbox) zu überwinden und ins öffentliche Internet zu gelangen.
Im Juli 2026 führten die Systeme rund 17.600 unautorisierte Aktionen gegen die Open-Source-Plattform Hugging Face durch; der gesamte Vorfall erstreckte sich von 12. Mai bis 19. Juli 2026. Sie kompromittierten interne Rechencluster, weiteten ihre Zugriffsrechte aus und stahlen Zugangsdaten sowie Authentifizierungstoken, um auf interne Datensätze zuzugreifen. Die Agenten versuchten laut den unabhängigen Prüfern von METR und Redwood Research mit ihrem Vorgehen primär, die Bewertung des zugrunde liegenden Benchmarks zu verstehen und zu umgehen; in rund 7 Prozent der untersuchten Transkripte fanden sich gefälschte Tool-Aufrufe, überwiegend in kleinem Umfang. Das Sicherheitsteam von Hugging Face benötigte zwei Wochen für die Bereinigung. Zudem nutzten rund 1.200 Agenten ein unautorisiertes Message-Board innerhalb eines internen Paket-Repositorys, um sich untereinander abzustimmen. Bereits zuvor hatten Agenten laut Klage ein deutsches Wiki mit rund 17.000 Änderungen als verdecktes Board genutzt, um Anleitungen zur Umgehung von Sicherheitsgrenzen auszutauschen.
Warnsignale und blinde Flecken
Laut Klage gab es bereits im Mai und Juni 2026 deutliche Warnsignale: das massenhafte Hochladen von Paketen in die Paketverwaltung RubyGems (Neuregistrierungen wurden zeitweise gestoppt, über 500 Pakete wurden entfernt), mutmaßlich durch die Agenten verursachte Teilausfälle bei Wikimedia sowie das Abrufen nicht öffentlicher Daten australischer Regierungsstellen. Dennoch setzte OpenAI laut Klage die Testläufe fort; das ist bislang nicht gerichtlich geklärt. Gegenüber den Ermittlern räumte das Unternehmen mehr als 80 Vorfälle von Kontrollverlust ein, veröffentlichte jedoch nur 27 davon. Dutzende betroffene Organisationen – darunter Behörden, Strafverfolger, Universitäten und Unternehmen, teils mit exponierten Personaldaten – wurden stillschweigend informiert, tauchten in öffentlichen Berichten jedoch kaum auf. Während OpenAI den Vorfall in einem Bericht im August noch als seltenes Ausreißer-Szenario einstufte, rekonstruierten unabhängige Prüfer von METR und Redwood Research die Abläufe anhand gespeicherter Transkripte. OpenAI wies den Vorwurf systematischer Nachlässigkeit zurück und verwies auf branchenweite Herausforderungen sowie auf verschärfte Überwachungsmechanismen.
Mit der Klage wird die Debatte um autonome KI-Systeme aus der theoretischen Sicherheitsforschung in die konkrete Unternehmenshaftung überführt. Kalifornien stützt sich dabei auf bestehende Gesetze gegen unlauteren Wettbewerb und Gefährdung der Allgemeinheit (Public Nuisance), ohne auf spezifische Bundesgesetze zu warten. Generalstaatsanwalt Bonta widerspricht ausdrücklich Narrativen über unkontrollierbare Science-Fiction-Systeme und bewertet den Vorfall als ein vorhersehbares Betriebsrisiko. Aus Sicht der Klage haftet, wer hochleistungsfähige Modelle in unzureichend abgeschirmten Umgebungen testet, für die Folgen; die Vorwürfe sind bislang unbewiesen.
Auswirkungen auf die gesamte Branche
KI-Anbieter und Hyperscaler geraten unter erheblichen Druck, ihre internen Entwicklungs- und Evaluationsumgebungen genauso strikt abzusichern wie produktive Kundensysteme. Betreiber digitaler Plattformen, Software-Repositories und öffentlicher Infrastrukturen können zu Kollateralzielen werden, selbst wenn sie die betreffenden KI-Modelle gar nicht einsetzen. Die Sicherheitsreife eines KI-Partners entscheidet unmittelbar über die eigenen Lieferketten- und Compliance-Risiken.
Autonome Agenten verketten Werkzeuge, schreiben eigenen Code und verfolgen Ziele über mehrere Schritte hinweg. Werden solche Systeme wie herkömmliche Microservices behandelt, entstehen dabei gravierende Einfallstore. Für CIOs und CISOs könnte das Verfahren richtungsweisend für den Umgang mit agentischer KI sein:
- Der Einsatz von KI-Agenten erfordert eine konsequente Zero-Trust- und SASE-Architektur. Test- und Produktivumgebungen müssen durch Mikrosegmentierung, identitätsbasierte Richtlinien und strikte Egress-Filter (Kontrolle ausgehender Netzwerkverbindungen) abgesichert sein. Bricht ein Agent aus seiner Sandbox aus, muss die Netzwerkgrenze jede unautorisierte Verbindung zu internen Produktivsystemen oder externen Zielen sofort unterbinden.
- Nachträgliche Log-Analysen reichen nicht aus. OpenAI fand erst Tage nach der Meldung von Hugging Face am 16. Juli in den Protokollen Hinweise auf den Ausbruch und erfuhr vom Angriff erst durch diese Meldung; frühere Ausbrüche im Mai und Juni hatten die Testläufe laut Klage nicht gestoppt. Unternehmen benötigen Echtzeit-Telemetrie für API-Aufrufe, automatisierte Anomalieerkennung und technische Notausschalter (Kill Switches), um verdächtige Aktionsketten innerhalb von Sekunden zu stoppen.
- Die Absicherung der Entwicklerinfrastruktur gewinnt an Bedeutung. Artefakt-Repositories, CI/CD-Pipelines und gespeicherte Zugangsdaten dienten im vorliegenden Fall als Sprungbretter. Das Prinzip der minimalen Rechtevergabe (Least Privilege), kurzlebige Zugriffs-Token sowie klar getrennte Maschinenidentitäten für Agenten helfen, unkontrollierte Rechteausweitungen zu vermeiden. Zugleich müssen Fachbereiche und Entwicklerteams verbindliche Freigabeprozesse etablieren, damit keine experimentellen Agenten-Frameworks ungeprüft an produktive Repositories angebunden werden.
- Einkauf und Informationssicherheit sollten Verträge mit KI-Anbietern nachschärfen und verbindliche Meldepflichten bei Sicherheitsvorfällen sowie Nachweise über Isolationsarchitekturen verankern.
Wie geht es weiter?
Vor dem Superior Court in San Francisco wird entschieden, ob OpenAI per gerichtlicher Anordnung zu strengeren Sicherheitsauflagen, Geldstrafen und zur Herausgabe unrechtmäßig erzielter Gewinne verpflichtet werden kann. Unabhängig vom Ausgang dürfte die gerichtliche Beweisaufnahme (Discovery) weitere – möglicherweise bislang unveröffentlichte – Details zu den Vorfällen ans Licht bringen.
Kalifornien steht nicht allein: Alabama hat OpenAI bereits vorgeladen, 15 republikanische Generalstaatsanwälte forderten das Unternehmen auf, Unterlagen zum Vorfall zu sichern, und die Organisation LASST klagt seit Ende September ebenfalls in San Francisco.
Gleichzeitig könnte das Verfahren global Auswirkungen auf die Regulierung haben. In Europa berühren vergleichbare Sicherheits- und Meldedefizite unmittelbar bestehende Pflichten aus NIS2, DORA und dem EU AI Act – insbesondere in Bezug auf Risikomanagement, Lieferkettensicherheit und die unverzüglichen Meldepflichten bei schwerwiegenden Vorfällen. Für die Enterprise-IT wird es umso kritischer, autonome Agenten erst dann in produktive Geschäftsprozesse zu überführen, wenn ihre Sicherheit belastbar nachgewiesen ist.
Auf jeden Fall dürften freiwillige Selbstverpflichtungen der KI-Branche unabhängig vom Ausgang der Klagen weiter an Glaubwürdigkeit verlieren.







