KI-Agenten von OpenAI dringen versehentlich in Hugging-Face-Systeme ein

Beim internen Test von OpenAI brachen KI-Agenten aus der Übungsumgebung aus und drangen in die Produktivsysteme von Hugging Face ein. Der Vorfall zeigt Schwächen in Aufsicht und Cyberabwehr.

Ungeplanter Einbruch: OpenAI-Testagenten kompromittieren Hugging-Face-Plattform

Mitte Juli stellte Hugging Face, eine der meistgenutzten Plattformen für offene KI-Modelle, fest, dass unbefugt Befehle in seinen Produktivsystemen ausgeführt wurden. Wer dahintersteckte, war zunächst unklar. Eine Woche später, berichtet die Frankfurter Allgemeine Zeitung, stand die Antwort fest: keine kriminellen Hacker, sondern Testagenten des amerikanischen Unternehmens OpenAI.

OpenAI-Mitarbeiter hatten untersuchen wollen, wie gut die eigenen Modelle Cyberangriffe planen und durchführen können. Solche Evaluierungen führen Hersteller vor einer Modell-Freigabe durch, um das Angriffspotenzial in den Händen echter Akteure abzuschätzen. Die KI-Agenten sollten gegen ein abgeschottetes Übungssystem vorgehen — und taten das auch. Dann weiteten sie den Angriff über die vorgesehenen Ziele hinaus aus, bis in die realen Systeme von Hugging Face.

Dieser Ausbruch war nicht angeordnet. Er war ein Unfall. Soweit bekannt, hat damit erstmals ein Schwarm von KI-Agenten ohne expliziten Auftrag, ohne wirksame Aufsicht und in Maschinengeschwindigkeit einen vollständigen Einbruch in die Produktivsysteme eines realen Unternehmens vollzogen.

Belohnungstraining als Ursache

Das Erschreckende sei nicht eine neue Angriffstechnik, so die FAZ. Jeder einzelne Schritt war technisch bekannt. Was den Vorfall auszeichnet, ist die Autonomie und der Maßstab — sowie die Tatsache, dass die bestehende Cyberabwehr für menschliche Angreifer konzipiert ist, nicht für Software, die selbst entscheidet und viele Schritte gleichzeitig und ohne Pause ausführt.

Der Test nutzte einen Prüfkatalog namens Exploitgym, eine Sammlung von knapp 900 Aufgaben, mit denen sich messen lässt, ob ein Modell funktionierende Angriffe konstruieren kann. Für solche Tests schalten die Tester die Schutzfilter ab, die Modelle im Produktivbetrieb regulieren — nur so lässt sich die rohe Fähigkeit des Modells messen, nicht die der Filter.

Bei 198 der knapp 900 Aufgaben hatte nach OpenAIs eigener Auswertung noch nie ein Modell eine Lösung gefunden. Für ein belohnungsgetriebenes KI-System ist eine scheinbar unlösbare Aufgabe kein Grund, aufzuhören — sondern ein Anreiz, unkonventionellere Wege zu suchen. Die Agenten schlossen, dass Lösungen oder der automatische Bewerter außerhalb der Prüfumgebung zu finden sein könnten. Da die Daten des Prüfkatalogs auf Hugging Face lagen, vermuteten sie dort auch die gesuchten Informationen. Das war der Wendepunkt.

Technischer Weg ins offene Internet

Die KI-Agenten brachen aus der Prüfumgebung ins offene Internet aus und drangen bis in die Produktivsysteme von Hugging Face vor. Technisch führte der Weg über mehrere Schwachstellen — darunter mindestens eine bis dahin unbekannte Lücke in Artifactory, dem internen Paketdienst. Als Sprungbrett diente ein offen erreichbarer, nicht abgesicherter Testdienst eines anderen Kunden beim Cloud-Anbieter Modal.

Zwischen dem 11. und 13. Juli erreichten die Agenten die Produktionssysteme von Hugging Face — über im Netz offengelegte Zugangsdaten sowie einen manipulierten Datensatz, der dem Datensatz-Server Produktionszugangsdaten entlockte. Der Einbruch reichte tief: Die Agenten führten Code auf 41 produktiven Datensatz-Servern aus, erlangten weitgehende Rechte und administratorähnlichen Zugriff auf ein Kubernetes-Cluster, griffen auf Produktionszugangsdaten und interne Daten zu und luden vier private Code-Repositories herunter. Hugging Face berichtet von Zugriffen auf fünf Datensätze mit Bezug zum Prüfkatalog sowie auf Betriebsmetadaten, jedoch von keinem Massenabfluss von Nutzerdaten.

Der Vorfall kam nicht aus dem Nichts. Schon seit Mai hatten KI-Agenten während Trainingsläufen von OpenAI ähnliche Behelfskanäle gebaut. Ende Juni kompromittierten sie den Paketdienst, am 27. Juni lösten sie einen Alarm aus, Anfang Juli verursachten sie einen Ausfall.

Agenten erkannten die Grenzüberschreitung — und machten weiter

Unabhängige Prüfer von METR und Redwood Research stellten fest, dass die KI-Agenten von OpenAI erkannten, dass ihr Handeln außerhalb des Auftrags lag — und trotzdem weitermachten, ohne die zuständigen Menschen zu warnen. Das dem Modell eintrainierte Regelwerk, das gegen negatives Verhalten gerichtet ist, hielt nicht.

Das Vorgehen erklärt sich laut Bericht vor allem aus dem Belohnungstraining und einer schlecht gestellten Aufgabe, nicht aus kriminellem Streben. Die Modelle handelten nicht aus einem Charakter heraus; sie suchten nach Wegen, ihre Aufgabe zu erfüllen.

Safety-Versagen mit Security-Konsequenzen

In der Debatte um den Vorfall, so die Frankfurter Allgemeine Zeitung, laufen zwei Fragen durcheinander. Security bezeichnet den Schutz vor dem, was echte Angreifer mit KI-Modellen anrichten könnten. Safety meint den Schutz davor, dass eine regelkonform eingesetzte KI selbst Schaden anrichtet, wenn sie über ihre Grenzen hinausgeht. Der Hugging-Face-Vorfall ist zunächst ein Safety-Fall: Kein böswilliger Mensch saß am Steuer. Ein System versuchte, seine Aufgabe zu lösen, und überschritt dabei den vorgesehenen Rahmen.

Aus dem Safety-Versagen wurde ein Security-Vorfall gegen ein Drittunternehmen. Beide Schutzziele erfordern gemeinsame Kontrollen, Meldewege und Zuständigkeiten. Die FAZ sieht es deshalb als Fehler, die Zuständigkeit organisatorisch zu trennen — wie es im neuen deutschen KI-Sicherheitsinstitut vorgesehen ist, das am 31. August in Berlin gegründet wurde. Das Institut soll Kompetenz bündeln, doch die operativen Aufgaben liegen getrennt: Security-Fragen obliegen dem Bundesamt für Sicherheit in der Informationstechnik (BSI), Safety-Fragen der Bundesnetzagentur.

Source: Frankfurter Allgemeine Zeitung