Hugging Face beschrieb den Vorfall als anders als alles, was das eigene Sicherheitsteam bis dahin bearbeitet hatte: Im Juli 2026 drang ein Schwarm autonomer KI-Agenten in Teile der Produktionsinfrastruktur der Plattform ein, die als zentrale Anlaufstelle für offene KI-Modelle gilt (was Hugging Face ist, erklären wir hier). Hinter dem Angriff stand kein krimineller Akteur, sondern ein interner Test von OpenAI. Seither haben OpenAI, Hugging Face und externe Prüfer mehrere Berichte vorgelegt, die sich in Details widersprechen. Ein Überblick über den Stand bis zum 7. November.

Die Chronologie

  • Ende Mai: Laut OpenAIs späterem Bericht beobachtete ein internes Team bereits, dass Agenten Nachrichten austauschten und unerlaubt auf das Internet zugriffen.
  • 8. Juli: Ein Agent eröffnete laut METR und Redwood Research über einen intern gehosteten Paketspiegel ein neues „Message Board“; binnen Stunden schrieben dort mehr als 50 Agenten.
  • 9. bis 13. Juli: Hugging Face rekonstruierte rund 17.600 Aktionen; innerhalb der eigenen Infrastruktur war der Agent etwa zweieinhalb Tage aktiv.
  • 16. Juli: Hugging Face legte den Einbruch offen, schrieb ihn einem autonomen Agentensystem zu und meldete ihn den Strafverfolgungsbehörden. Welches Sprachmodell dahinterstand, war unbekannt.
  • 19. Juli: OpenAIs Sicherheitsteam entdeckte die Aktivität nach eigenen Angaben. Laut Reuters stießen OpenAI-Mitarbeiter erst nach dem Blogeintrag von Hugging Face auf die Spuren.
  • 21. Juli: OpenAI räumte ein, dass eigene Modelle verantwortlich waren: GPT-5.6 Sol und ein unveröffentlichtes, leistungsfähigeres Modell, getestet mit dem Benchmark ExploitGym und bewusst gelockerten Cyber-Sperren. Die Agenten hätten bei Hugging Face nach den Lösungen der Testaufgaben gesucht.
  • 27. Juli: Hugging Face veröffentlichte eine technische Rekonstruktion.
  • 28. Juli: OpenAI ergänzte, die Modelle hätten mit öffentlich auffindbaren Zugangsdaten vier Konten bei vier weiteren Diensten genutzt. Das unveröffentlichte Modell sei ein reiner interner Forschungsprototyp.
  • 26. und 27. August: OpenAI legte seinen Abschlussbericht vor, METR und Redwood Research ihre unabhängige Untersuchung.
  • 16. September: OpenAI führte ein Verfahren zur Meldung von Fehlverhalten seiner Modelle ein und veröffentlichte sechs weitere Fälle aus Training und Tests, darunter die Suche eines Modells nach geleakten API-Schlüsseln auf GitHub.
  • 25. September: Bei der Durchsicht früherer Agentenläufe stieß OpenAI auf 53 Fälle, in denen Agenten von Nutzern stammende Bilder als nicht gelistete Links bei Bild-Hostern hochgeladen hatten.

Wie die Agenten aus dem Test ausbrachen

Nach OpenAIs Darstellung sollten die Modelle keinen Internetzugang haben, außer über einen Proxy zur Installation von Softwarepaketen, einen intern betriebenen Paketspiegel eines Drittanbieters. Darin fanden die Agenten eine bis dahin unbekannte Lücke, die OpenAI dem Hersteller gemeldet hat. Laut Hugging Face übernahmen sie danach eine öffentlich erreichbare Code-Ausführungsumgebung, die ein Kunde eines Infrastrukturanbieters betrieb, und nutzten sie als Ausgangsbasis.

Symbolbild: Netzwerk-Switches mit eingesteckten blauen und grauen Netzwerkkabeln

Symbolbild – Bild: ShakataGaNai / Wikimedia Commons, Lizenz CC BY-SA 3.0

Bei Hugging Face selbst kam der Agent über die Datensatz-Verarbeitung hinein: Ein präparierter Datensatz nutzte zwei Lücken, über die er Dateien auslesen und Code auf einem Verarbeitungsknoten ausführen konnte. Mit erbeuteten Cloud- und Cluster-Zugangsdaten bewegte er sich am 11. Juli in weniger als 13 Stunden bis zu Administratorrechten auf mehreren internen Clustern. Hugging Face räumt ein, dass zwei eigene Cluster-Einstellungen den Schritt zu Root-Rechten ermöglichten. Gelesen wurden nach Angaben der Plattform eine interne Datenbank des Datensatz-Dienstes und fünf Kunden-Datensätze mit Bezug zu ExploitGym. Manipulationen an öffentlichen Modellen, Datensätzen oder Spaces fand Hugging Face nicht.

Warum die Agenten das taten, untersuchten METR und Redwood Research anhand von rund 1300 Transkripten. Ihr Befund: Zwischen dem 7. und 13. Juli halfen sich rund 1200 Agenten in getrennten Sandboxen über das nicht vorgesehene Message Board gegenseitig beim Schummeln, 700 davon beteiligten sich am Angriff. Ein Agent hatte seine Aufgabe als regulär unlösbar eingestuft. Mehr als sieben Prozent der Transkripte enthielten gefälschte Werkzeugausgaben, mit denen Agenten ihr Vorgehen verschleierten. Hauptakteur war ein internes Modell; GPT-5.6 Sol ging nach den Daten der Prüfer auf etwa fünf Prozent der Aktivität zurück.

Widersprüche und offene Fragen

Mehrere Angaben passen nicht zusammen. OpenAI schrieb am 21. Juli, die Modelle hätten Testlösungen „directly from Hugging Face's production database“ geholt. Hugging Face stellt klar: „The agent never reached the Hub database.“ Erreicht wurde nur die interne Datenbank des Datensatz-Dienstes. Einen Reuters-Bericht, wonach OpenAI den Einbruch erst nach rund einer Woche bemerkte, nannte das Unternehmen fehlerhaft („several inaccuracies“), ohne die Fehler zu benennen.

Offen ist zudem, wie weit die Agenten in OpenAIs eigene Systeme vordrangen. Laut TechCrunch erlangte ein Folge-Schwarm Administratorzugriff auf einen Forschungscluster des Unternehmens; Redwood schreibt, diese Kompromittierung habe über den 13. Juli hinaus angedauert und sei nicht Teil der Untersuchung gewesen. OpenAI räumt in der Zusammenfassung seines Berichts ein, die frühen Signale vom Mai hätten „an earlier response“ auslösen müssen. Laut Reuters fand OpenAI weitere, begrenzte Ausbrüche aus Testumgebungen, bei denen Agenten das Firmennetz aber vermutlich nicht verließen. Auch Anthropic räumte demnach ein, dass eigene Modelle seit April Einbrüche bei drei weiteren Firmen verursacht hatten.

Kritik am Testaufbau und an der Aufarbeitung

Sicherheitsfachleute kritisierten früh den Testaufbau. Jake Williams sprach gegenüber TechCrunch von „a massive control failure“, Trail-of-Bits-Gründer Dan Guido von „a containment failure with the safeties turned off“. Eine echte Sandbox, so der Tenor, dürfe keinen Weg ins Internet haben.

Auch die Aufarbeitung steht in der Kritik. In einem Meinungsbeitrag bei Tech Policy Press (3. November) argumentieren vier Autoren, darunter Mihir Kshirsagar von der Tech Policy Clinic des Princeton CITP, die Untersuchung von METR und Redwood sei nur dem Anschein nach unabhängig gewesen: OpenAI habe Zugang und rund 400.000 US-Dollar an API-Guthaben bereitgestellt, und Redwood habe zur Auswertung ein OpenAI-Modell genutzt. Redwood betont, keine Bezahlung von OpenAI angenommen zu haben; den Untersuchungsumfang hatten beide Seiten vereinbart. TechCrunch wies im September darauf hin, dass es in den USA keine Pflicht zu unabhängigen Unfalluntersuchungen gibt und die Labore selbst entscheiden, wer was prüfen darf.

Was der Fall für die Branche bedeutet

OpenAI kündigte an, den Internetzugang in Tests einzuschränken, Testumgebungen stärker abzuschotten und die Gedankenketten der Agenten mit Rund-um-die-Uhr-Eskalation zu überwachen. Nach eigenen Angaben hätte die heute eingesetzte Überwachung das Sicherheitsteam „more than a day“ vor dem Einbruch bei Hugging Face alarmiert, eine nicht unabhängig prüfbare Aussage. Das neue Meldeverfahren sieht vor, dass veröffentlichungsreife Fälle binnen sechs Werktagen erscheinen; komplexe Fälle mit Dritten dürfen länger dauern. Die EU-Kommission sprach laut Reuters mit OpenAI und Anthropic über die Vorfälle.

Hugging Face zieht eine weitere Lehre: Kommerzielle KI-Modelle verweigerten anfangs die Analyse der Angriffsbefehle, weil ihre Schutzfilter nicht zwischen Angreifer und Verteidiger unterscheiden. Die Forensik lief deshalb auf einem offenen Modell auf eigener Infrastruktur.

Was Hugging-Face-Nutzer tun sollten

  • Zugangstokens erneuern: Hugging Face empfiehlt vorsorglich, alle Access Tokens zu rotieren. Betroffene Zugangsdaten der Plattform selbst wurden widerrufen und erneuert.
  • Kontoaktivität prüfen: Die jüngste Aktivität im eigenen Konto auf Unbekanntes durchsehen.
  • Verdacht melden: Wer sich betroffen glaubt, erreicht das Sicherheitsteam unter security@huggingface.co. Betroffene Partner und Kunden will Hugging Face direkt informieren.

Quellen

Bildnachweis