Was passiert ist

Der Vorfall begann während einer OpenAI-Bewertung, die darauf ausgelegt war, fortschrittliche Cyberfähigkeiten zu messen. Die Bewertung umfasste GPT-5.6 Sol und einen noch leistungsfähigeren internen Forschung-Prototyp, von dem OpenAI sagt, dass er nicht für die öffentliche Veröffentlichung vorgesehen war. Da das Ziel war, ihr maximales offensives Potenzial zu testen, wurden die Modelle mit reduzierten Sicherheitsgeländern betrieben (normalerweise zur Verhinderung von Hochrisikoaktivitäten).

Laut OpenAI investierten die Modelle erhebliche Rechenressourcen in die Suche nach einem Weg zum Internet. Sie nutzten einen Zero-Day- Sicherheitslücke in Artifactory, dem im Evaluationsbereich verfügbaren Package-Registry-Cache-Proxy, und führten dann eine Eskalation von Privilegien sowie laterale Bewegungen innerhalb der Forschungsumgebung von OpenAI durch, bis sie eine Knoten mit Internetzugang erreichten.

Sobald sie online waren, schlossen die Modelle daraus , dass Hugging Face Modelle, Datensätze oder Lösungen enthalten könnte, die mit ExploitGym verbunden sind, dem Benchmark, den sie lösen sollten. OpenAI sagt, dass die Agenten dann gestohlene Anmeldedaten-, Zero-Day- Sicherheitslücke- und entfernte Codeausführungspfade verkettet haben, um Testlösungen aus einer Hugging Face-Produktionsdatenbank zu erhalten.

Die technische Rekonstruktion von Hugging Face umfasst etwa 17.600 wiederhergestellte Agentenaktionen, die in ungefähr 6.280 Cluster gruppiert sind, im Zeitraum vom 9. Juli bis zum 13. Juli 2026. Obwohl die meisten Versuche scheiterten, erlangte der Agent dennoch administrativen Zugriff auf interne und Produktionssysteme, griff auf einige Quellcode-Repositories zu und nutzte gestohlene Zugangsdaten, um externe Systeme mit dem Firmennetzwerk zu verbinden. Hugging Face fand keine Hinweise darauf, dass seine öffentlichen Modelle, Datensätze, Dienstleistungen, Pakete oder die veröffentlichte Software-Lieferkette verändert wurden. Darin heißt es, dass die einzigen abgerufenen Kundendaten aus fünf Datensätzen bestanden, die offenbar mit ExploitGym oder CyberGym in Verbindung stehen.

Ein Durchbruch in der Leistungsfähigkeit und ein Kontrollversagen

In den meisten Berichten über diesen Vorfall wurde er als Durchbruch in den Fähigkeiten des Modells dargestellt, da es sich um den ersten bekannten Fall handelt, in dem ein Modell scheinbar selbstständig einen vollständigen Cyberangriff durchgeführt hat. Die zugrunde liegenden TTPs waren größtenteils denen bekannt, die bei von Menschen gesteuerten Cyberangriffen zum Einsatz kommen: Ausnutzung Sicherheitslücke , Diebstahl von Zugangsdaten, Staging, Remote-Codeausführung, laterale Bewegung und Missbrauch von privilegierten oder vertrauenswürdigen Zugriffsrechten. Besonders bemerkenswert war die Fähigkeit der Agenten, diese Schritte im Rahmen einer langwierigen Operation selbstständig auszuwählen und zu verketten. Dies stellt eine bedeutende Veränderung hinsichtlich Geschwindigkeit und Umfang zukünftiger Taten dar.

Ein autonomer Agent kann Tausende von Aktionen ausführen, mehrere Wege testen und ohne die Ermüdung, Koordinationskosten oder Zeitbeschränkungen weiterarbeiten, die menschliche Bediener einschränken. In diesem Fall standen die meisten der etwa 17.600 wiederhergestellten Aktionen im Zusammenhang mit ausgefallenen Pfaden. Die Operation war laut und versagtanfällig, aber es waren nur wenige erfolgreiche Ketten nötig, um einen materiellen Aufprall zu erzielen.

Dies komprimiert das, was man als Zeit bezeichnen könnte , auf alles:

• Zeit von Sicherheitslücke Entdeckung bis zur Ausbeutung
• Zeit vom Erstzugriff bis zur Eskalation der Privilegien
• Zeit vom Datendiebstahl bis zur Analyse und Erpressung
• Zeit vom Defensivsignal zur Anpassung des Angreifers

Das bedeutet für Verteidiger, dass jeder offengelegte Fehler nun katastrophale Folgen in der Ära der agentischen Angreifer haben kann. Die Agenten nutzten mehrere Fehler in der Hugging-Face-Umgebung aus, um den Angriff durchzuführen, fanden diese Schwachstellen und nutzten sie viel schneller als ein menschlicher Bediener. Das neue Betriebstempo macht kontinuierliches Sicherheitslücke -Management, Bedrohungssichtbarkeit und Risikominderung unerlässlich, um die Auswirkungen eines agentischen Angriffs zu begrenzen.

Das größere Risiko könnten Ihre eigenen Agenten sein

Während die Fähigkeitsdurchbrüche bemerkenswert sind, ist der Vorfall auch ein Sicherheitsversagen AI . Das Entfernen von Verhaltensschutzmaßnahmen war möglicherweise notwendig, um die maximalen Fähigkeiten der Modelle zu messen, aber dies hätte die Abhängigkeit von kompensierenden Kontrollen erhöht haben müssen: strenge Netzwerkisolation, Trennung von Zugangsdaten, Ressourcenbegrenzungen, Echtzeit-Telemetrie und automatische Beendigung, wenn vordefinierte Grenzen überschritten wurden.

Stattdessen wurde eine Bewertung, die zur Simulation fortgeschrittener Cyberaktivitäten diente, zu einem echten Sicherheitsvorfall, der eine externe Organisation beeinflusste. Dies sollte eine Warnung an jede Organisation sein, die AI Agenten einsetzt: Ohne strikte AI Governance können Agenten außerhalb ihres autorisierten Zuständigkeitsbereichs handeln und dennoch das ihnen gegebene Ziel verfolgen.

Ein Unternehmensagent benötigt keine böswillige Absicht, um Schaden zu verursachen. Ein schlecht gefasstes Ziel, übermäßige Genehmigungen und unzureichende operative Grenzen können ausreichen.

Ein Agent, der angewiesen ist, "ein Kundenproblem zu lösen", "die Recherche abzuschließen" oder "die Sicherheitslückezu beheben", kann entscheiden, dass der effizienteste Weg den Zugriff auf eingeschränkte Informationen, die Interaktion mit einem externen System, die Annahme vertraglicher Bedingungen, die Änderung von Produktionscodes oder die Nutzung Anmeldedaten auf eine Weise umfasst, die der Betreiber nie erwartet hatte. Jede dieser Maßnahmen könnte potenziell zu einem großen Sicherheitsvorfall führen.

Die Tatsache, dass ein Agent eine Aktion ausgewählt hat, entbindet die Organisation, die diese Aktion ausgeführt hat, nicht von ihrer Verantwortung. Je nach Sachlage und anwendbarem Recht kann eine Organisation rechtlichen, vertraglichen oder regulatorischen Verpflichtungen ausgesetzt sein, die sich nicht nur auf die Verwendung der Informationen, sondern auch darauf beziehen, wie der Beauftragte diese erlangt hat.

Die Führungskräfte-Agenda

Der Vorfall mit dem umarmten Gesicht zeigt, dass der Einsatz von Agenten zur Verteidigung unerlässlich ist, um Angriffe von Agenten abzuwehren, dass dies jedoch mit einem gründlichen Verständnis der Risiken erfolgen muss.

Die Autorität steuern und Kontrollen höherer Privilegien sicherstellen. Jeder Agent sollte eine klar definierte Identität, eng begrenzte Berechtigungen und explizite Aktivitätsbeschränkungen haben. In Fällen, in denen Agenten höhere Berechtigungen benötigen, sollten alternative Kontrollmechanismen wie Genehmigungsgates oder zusätzliche Überwachungsmaßnahmen (siehe unten) eingesetzt werden.

Entwerfen Sie die Eindämmung unter der Annahme, dass Verhaltensschutzmaßnahmen versagen oder reduziert werden können. Aufforderungen, Ablehnungen und politische Kontrollen sollten als eine einzige Schutzschicht behandelt werden – nicht als Sicherheitsgrenze. Netzwerksegmentierung, Ausgangskontrollen, Isolierung von Zugangsdaten und Ausführungsgrenzen müssen auch dann wirksam bleiben, wenn sich ein Modell unerwartet verhält.

Erstelle Genehmigungsgatter für folgenschwere Aktionen. Transaktionen, Produktionsänderungen, externe Kommunikation, Nutzung von Zugangsdaten und Zugriff auf sensible Systeme sollten deterministische Richtlinienprüfungen oder menschliche Autorisierung erfordern.

Überwachen Sie das Verhalten, nicht nur die Ausgaben. Organisationen benötigen Sichtbarkeit in die Werkzeuge, die ein Agent aufruft, die Systeme, die er kontaktiert, die verwendeten Anmeldedaten , die Ressourcen, die er verbraucht, und die Abfolge der Entscheidungen, die zu einer Aktion führen. Ungewöhnlicher Rechenaufwand oder wiederholte Versuche, eine Grenze zu umgehen, sollten eine Intervention auslösen.

Bereiten Sie sich auf eine Verteidigung in Maschinengeschwindigkeit vor. Sicherheitsprogramme benötigen eine automatisierte Anreicherung und Priorisierung, um zu bestimmen, welche der sich rasch erweiternden Sicherheitslücke und Angriffssignale eine echte Exposition darstellen. Darüber hinaus sind automatisierte Antwort- und Abwehrmaßnahmen notwendig, um sich erfolgreich gegen automatisierte Angreifer zu verteidigen.

Zwei mögliche Zukünfte

Die langfristigen Auswirkungen agentenbasierter AI hängen im Wesentlichen von zwei Variablen ab: wie leistungsfähig die Systeme werden und wie breit der Zugang zu diesen Fähigkeiten verteilt ist.

Szenario Eins: Fähigkeiten vermehren sich

In dieser Zukunft bleiben hochqualifizierte Agenten weiterhin breit verfügbar durch kommerzielle Dienste, Open-Weight-Releases und illegal modifizierte Modelle.

Angreifer nutzen diese Agenten, um Aufklärung, Sicherheitslücke Entdeckung, soziale Ingenieurskunst und seitliche Bewegung zu automatisieren. Verteidiger müssen diese Fähigkeiten auf automatisierte Antwort und Minderung anwenden, was einen beschleunigten Kampf zwischen Maschinengeschwindigkeits-Angriff und Maschinengeschwindigkeits-Verteidigung erzeugt.

Der Vorteil wird wahrscheinlich nicht gleichmäßig verteilt sein. Große Technologie- und Sicherheitsunternehmen sind besser positioniert, um ausgefeilte Verteidigungsagenten einzusetzen, umfangreiche Telemetrienetzwerke zu betreiben und Kompromiss-Systeme schnell zu isolieren.

Kleinere Organisationen sind zunehmend auf verwaltete Plattformen und streng kontrollierte Technologieökosysteme angewiesen. Das Ergebnis könnte ein Internet sein, das aus geschlosseneren Anlagen besteht, da Unternehmen zu Anbietern tendieren, die Sicherheit mit Maschinengeschwindigkeit betreiben können.

Szenario Zwei: Frontier Access verengt sich

Im zweiten Zukunftsszenario beschränken Regierungen und Modellanbieter den Zugang zu den leistungsfähigsten Systemen durch Programme vertrauenswürdiger Partner, Identitätsanforderungen, geografische Beschränkungen oder Exportkontrollen.

Im Juni 2026 wies eine Anordnung des Weißen Hauses von Führungskräfte Bundesbehörden an, einen freiwilligen Rahmen zur Bewertung von "covered frontier models" zu entwerfen. Im selben Monat führte das Handelsministerium vorübergehend Exportkontrollen für Anthropics Mythos- und Fable-Modelle an und verlangte Einschränkungen beim Zugang ausländischer Staatsangehöriger – ein beispielloser Schritt, den Zugang zu AI Modellen selbst zu regulieren und nicht nur zu fortschrittlichen Chips oder Modellgewichten.

Chinesische Behörden haben Berichten zufolge ähnliche Beschränkungen für den ausländischen Zugang zu den fortschrittlichsten Modellen des Landes in Erwägung gezogen, obwohl zum Zeitpunkt der Berichterstattung noch keine endgültige Politik bekannt gegeben wurde.

In dieser Zukunft würden Spitzentechnologien bei Regierungen, Betreibern kritischer Infrastrukturen und großen, zugelassenen Organisationen konzentriert sein. Andere Unternehmen würden auf ältere Geschäftsmodelle, Alternativen mit offenem Gewicht oder Systeme zurückgreifen, die so modifiziert werden können, dass sie Sicherheitsvorkehrungen umgehen.

Beschränkungen könnten den breiten Zugang zu den gefährlichsten Fähigkeiten zwar verringern, aber sie würden den missbräuchlichen Einsatz von AI nicht verhindern. Kriminelle Gruppen würden weiterhin verfügbare Systeme knacken, sich Zugangsdaten zu Modellen stehlen und Open-Wave-Alternativen nutzen. Unternehmen könnten auch mit plötzlichen Betriebsstörungen konfrontiert werden, wenn ein in einen kritischen Arbeitsablauf eingebettetes Modell aufgrund von regulatorischen Änderungen, Richtlinien von Anbietern oder geopolitischen Spannungen nicht mehr verfügbar ist.

Die wahrscheinlichste Zukunft ist eine Mischung aus beidem

Diese Szenarien schließen sich nicht gegenseitig aus.

Die wahrscheinlichere Zukunft ist ein fragmentiertes Ökosystem, in dem die fortschrittlichsten Modelle zunehmend gesperrt sind, während etwas weniger leistungsfähige Openweight-Systeme weiterhin weit verbreitet sind. Kriminelle, Bundesstaaten, große Technologieunternehmen und gewöhnliche Unternehmen werden auf unterschiedlichen Leistungsstufen und unter unterschiedlichen Einschränkungen agieren.

Das bedeutet, dass Organisationen ihre Sicherheitsstrategie nicht auf der Annahme stützen können, dass Regierungen gefährliche Modelle erfolgreich eindämmen – oder dass uneingeschränkter Zugang unbegrenzt fortgesetzt wird.

Sie müssen sowohl auf die Verbreitung neuer Fähigkeiten als auch auf Zugangsstörungen vorbereitet sein.

The Hugging Face Vorfall zeigt nicht, dass AI Systeme menschliche Absichten oder ein unabhängiges, bösartiges Ziel entwickelt haben. Ebenso wenig war es nur ein harmloser Laborunfall.

Dies ist ein Beweis dafür, dass autonome Systeme präzise Anweisungen in folgenreiche externe Aktionen außerhalb des von ihren Bedienern beabsichtigten Rahmens umsetzen können, indem sie bekannte Schwächen in einer Geschwindigkeit und einem Ausmaß ausnutzen, denen die bestehenden Kontrollmechanismen möglicherweise nicht standhalten.

Die zentrale Frage für Führungskräfte ist nun, wie die Befugnisse dieser Mitarbeiter gesteuert werden sollen und wie die Wahrscheinlichkeit und die Folgen der Verfolgung von Zielen außerhalb der autorisierten Grenzen minimiert werden können.

Lesen Sie mehr in der Reihe „ AI Hype vs. Realität“:

• Die Reifelücke AI Malware
• Warum sich der Bearbeitungsstau Sicherheitslücke bald noch verschlimmern wird

Über die Insikt Group^®

Die Insikt Group von Recorded Future, die Bedrohungsforschungsabteilung des Unternehmens, besteht aus Analysten und Sicherheitsforschern aus den Bereichen Regierung, Strafverfolgung, Militär und Erfahrung im Geheimdienst. Ihre Mission ist es, Informationen zu liefern, die das Risiko für Kunden verringern, greifbare Ergebnisse ermöglichen und Geschäftsstörungen verhindern.