Zusammenfassung

Die Einführung agentenbasierter AI beschleunigt sich rasant, da Unternehmenssoftware und -anwendungen zunehmend aufgabenspezifische AI Agenten integrieren, die die autonome Ausführung komplexer Aufgaben in Maschinengeschwindigkeit ermöglichen.

Die Autonomie und der Umfang von AI Agenten bergen erhebliche Unternehmensrisiken, da sich Fehler, Fehlkonfigurationen oder böswillige Manipulationen schnell über vernetzte Systeme ausbreiten und die potenziellen Auswirkungen verstärken können.

Agentische AI wird bestehende Schwächen in der Software-Lieferkette verschärfen , da anfällige oder bösartige Open-Source-Komponenten schneller und in großem Umfang eingesetzt werden können.

Die Risiken im Bereich Identitäts- und Zugriffsmanagement werden sich ebenfalls dramatisch ausweiten, da Agenten umfassende, umgebungsübergreifende Berechtigungen benötigen; ein Kompromiss Anmeldedaten, SSO-Plattformen oder Agentenidentitäten könnte zu großflächigen Serviceausfällen oder Datenexfiltration führen.

Schnelles Engineering ermöglicht es Bedrohungsakteur , Agenten zur Ausführung bösartiger Aktionen zu manipulieren, was die Bedeutung mehrschichtiger Sicherheitskontrollen, Zero-Trust-Prinzipien und menschlicher Kontrollpunkte zur Abwehr agentengesteuerter Bedrohungen unterstreicht.

Analyse

Agentische künstliche Intelligenz wird sich rasant ausbreiten

Der Begriff „agentische künstliche Intelligenz“ bezeichnet AI Systeme, die Aufgaben mit begrenztem menschlichem Eingriff erledigen können. Traditionelle AI kann beispielsweise Code für einen Benutzer entwerfen, der eine Website erstellen möchte; agentenbasierte AI schreibt nicht nur den Code, sondern registriert auch die Domain und richtet das Hosting ein, um die Website zu starten.

Gartner prognostiziert , dass bis Ende 2026 bis zu 40 % der Unternehmensanwendungen aufgabenspezifische AI Agenten einsetzen werden. Einem Bericht von Deloitte zufolge werden bis 2028 mindestens 75 % der Unternehmen agentenbasierte AI in gewissem Umfang einsetzen. Der Vorteil von AI Agenten liegt darin, dass sie komplexe Aufgaben selbstständig und in Maschinengeschwindigkeit ausführen können, entweder einzeln oder als Teil eines Multiagentensystems.

Allerdings bergen die gleichen Merkmale, die diese Systeme so leistungsstark machen, auch erhebliche Sicherheitsrisiken. Für einen effektiven Betrieb müssen Agenten nahtlos mit anderen Agenten, Menschen und Software interagieren können. Dies erfordert ein hohes Maß an Vertrauen, das von böswilligen Akteuren ausgenutzt werden kann. Die besten Sicherheitspraktiken, insbesondere die Zero-Trust-Prinzipien, sind speziell darauf ausgelegt, diese Interaktionen zu verlangsamen, wodurch eine inhärente Spannung zwischen der Implementierung von AI Agenten und der Sicherheit entsteht.

Agenten verstärken systemische Schwachstellen der Cybersicherheit

Fast 50 % der AI -Nutzung entfallen auf Softwareentwicklungsteams, was zeigt, dass AI bereits tief in die Softwareentwicklungsprozesse integriert ist. Dies lässt vermuten, dass AI Agenten in der zukünftigen Softwareentwicklung eine bedeutende Rolle spielen werden und Seite an Seite mit menschlichen Entwicklern Code generieren, testen und bereitstellen werden.

Die Einführung von Agenten wird die Sicherheitslücken in der Software-Lieferkette verstärken und es Bedrohungsakteur ermöglichen, anfälligen oder absichtlich manipulierten Code auszunutzen, um Exploits in Unternehmenssoftware einzubetten. Diese Probleme existieren zwar schon lange vor AI oder AI Agenten, aber die Einführung von Agenten wird dazu führen, dass diese Fehler schneller und in größerem Umfang begangen werden. Erste Studien deuten darauf hin, dass AI-generierter Code weniger sicher ist als von Menschen generierter Code, obwohl sich die Leistungsfähigkeit AI -Codierung rasant verbessert . Die Gewährleistung von Transparenz und Dokumentation in den Agenten-Codierungsabläufen ist entscheidend für einen rigorosen und sicheren Entwicklungsprozess (SecDevOps).

Identität und Zugriff sind weitere Sicherheitsrisiken für Unternehmen, die AI Agenten voraussichtlich noch verstärken werden. Damit AI Agenten effektiv arbeiten können, benötigen sie außerdem Zugriff auf verschiedene Cloud-Anwendungen und -Umgebungen. Dies erhöht die Komplexität des Identitätsmanagements, da Identität und Berechtigungen auch auf virtuelle Agenten ausgedehnt werden müssen.

Aktuell arbeiten viele AI Tools, die Verbindungen zu externen Daten oder anderen Tools herstellen, standardmäßig im Vertrauensmodus, wodurch eine erhebliche Sicherheitslücke entsteht . Wenn dies auf agentenbasierte AI ausgeweitet wird, könnten die potenziellen Schäden durch Ausnutzung erheblich zunehmen, da Agenten in der Lage sind, Aktionen wie das Versenden von E-Mails, das Löschen von Dateien oder das Autorisieren von Zahlungen durchzuführen. Die Verteidiger müssen sicherstellen, dass die Zugriffsrechte für Agentenbenutzer genauso ordnungsgemäß verwaltet und nachverfolgt werden wie die Zugriffsrechte für herkömmliche Software und menschliche Benutzer.

Schnelles Engineering bleibt eine allgegenwärtige Bedrohung für Agenten.

Während AI Systeme bestehende Sicherheitsprobleme in Unternehmen verschärfen, bringen sie auch Risiken mit sich, die spezifisch für künstliche Intelligenz sind. Bedrohungsakteur kann durch Prompt Engineering bösartige Anweisungen an AI Agenten übermitteln, wodurch die Agenten im Einklang mit Bedrohungsakteur und nicht mit ihren legitimen Benutzern handeln. Die Anweisungen können direkt (über eine Chat-Oberfläche) übermittelt, in Schadsoftware kodiert oder in E-Mails oder anderen harmlosen Kommunikationsmitteln versteckt werden.

Mit der zunehmenden Nutzung von AI Agenten könnte sich Bedrohungsakteur weiter von traditioneller Malware entfernen und manipulative Agenten priorisieren, um die Skalierbarkeit und operative Effizienz zu steigern. Durch die direkte Ansprache von Agenten kann Bedrohungsakteur die Geschwindigkeit und den Umfang von AI Agenten nutzen und so größeren Schaden anrichten, während die Wahrscheinlichkeit der Erkennung oder Schadensbegrenzung geringer ist.

Einen vollständigen Schutz von Agenten vor schnellen Manipulationen zu gewährleisten, ist wahrscheinlich unmöglich. Die Notwendigkeit, dass AI -Agenten nützlich sein müssen, wird Entwickler wahrscheinlich davon abhalten, vollständig wirksame Schutzmechanismen gegen eine schnelle Entwicklung einzuführen. Dieses Risiko ist vergleichbar mit der Schwierigkeit, Menschen gegenüber Social-Engineering-Angriffen resistent zu machen. Während Schulungen und Sensibilisierung dazu beitragen können, die Wirksamkeit einiger Betrugsmaschen zu verringern, finden Bedrohungsakteur ständig neue Wege, die Anreize der Menschen gegen sie selbst zu verwenden.

Verteidiger können AI Agenten widerstandsfähiger gegen technische Angriffe machen, indem sie mehrschichtige Sicherheitsvorkehrungen implementieren. Durch den Einbau von Kontrollpunkten, an denen ein Mensch oder ein anderer Beauftragter eine Handlung beurteilen oder genehmigen kann, lässt sich Fehlverhalten erkennen und potenzieller Schaden begrenzen. Dies ist vergleichbar mit der Betrugsprävention bzw. -minderung bei menschlichen Mitarbeitern, wie z. B. Verfahren, die zusätzliche Genehmigungen für die Überweisung großer Geldsummen erfordern.

Multiagenten- AI erhöht die Unvorhersehbarkeit

Mit zunehmender Verbreitung AI Agenten werden diese immer häufiger unabhängig voneinander interagieren, um Aufgaben zu erledigen. Mehrere Akteure sind sowohl absichtlicher als auch versehentlicher Manipulation ausgesetzt, die sich auf unvorhersehbare Weise manifestieren kann. Die Forscher haben diese Ergebnisse wie folgt kategorisiert :

• Fehlende Koordination: Die Agenten können ihr Verhalten nicht aufeinander abstimmen, um ein Ziel zu erreichen.
• Kollusion: Unerwünschte Zusammenarbeit zwischen AI Agenten
• Konflikt: AI Agenten handeln, um ihre Position auf Kosten anderer zu verbessern.

Diese Ergebnisse können zufällig aufgrund falsch ausgerichteter Anreize und Sicherheitsvorkehrungen eintreten oder aber programmiert oder absichtlich manipuliert werden. Trotz vorhandener Sicherheitsvorkehrungen wurde beobachtet, dass Agenten Verhaltensweisen an den Tag legten, die sie sonst vermieden hätten. Beispielsweise wurde beobachtet , wie AI Agenten auf MoltBook, einem sozialen Netzwerk für Bots, potenziell sensible Informationen über ihre Nutzer preisgaben, darunter Namen, Hobbys, Hardware und Software (zusätzlich zu schwerwiegenden Sicherheitslücken auf der Website selbst). Unerwünschte oder unvorhergesehene Ergebnisse können eintreten, wenn Akteure die Freiheit haben, selbst zu entscheiden, wie sie ein Ziel erreichen wollen.

Ausblick

Die ersten agentischen Daten werden sehr wahrscheinlich das Ergebnis übermäßig permissiver Umgebungen sein: Wenn Bedrohungsakteur erfolgreich AI Agenten einsetzt, um eine durchzuführen, wird dies sehr wahrscheinlich das Ergebnis einer Unternehmensumgebung sein, die mit Standardberechtigungseinstellungen betrieben wurde.

Die Identitätssicherheit wird sich sehr wahrscheinlich in Richtung „Agentenidentitätsgovernance“ verlagern: Unternehmen werden sehr wahrscheinlich ihre Frameworks für Identitäts- und Zugriffsmanagement (IAM) erweitern, um AI Agenten als prioritäre digitale Identitäten zu behandeln, was ein Lebenszyklusmanagement, die Durchsetzung des Prinzips der minimalen Berechtigungen, die Verhaltensüberwachung und spezielle Prüfkontrollen erfordert, die denen für menschliche Benutzer ähnlich (oder strenger) sind.

Prompt Injection wird sich wahrscheinlich zu einer gängigen TTPs für Unternehmensangriffe entwickeln: Bedrohungsakteur wird der Manipulation AI Agenten gegenüber dem Einsatz traditioneller Malware zunehmend Priorität einräumen und Prompt Injection, vergiftete Dateneingaben und Agentenschwärme nutzen, um Finanzbetrug, Cyber-physische Störungen und Marktmanipulationen zu skalieren – was die Nachfrage nach mehrschichtigen Schutzmechanismen und Validierungskontrollen mit menschlicher Beteiligung vorantreibt.

AI wird die Risikomodellierung und Preisgestaltung in der Cyberversicherung voraussichtlich grundlegend verändern: Da AI Systeme zunehmend in Unternehmensumgebungen integriert werden, wird die Cyberversicherungsbranche voraussichtlich mit größerer Unsicherheit bei der Risikomodellierung konfrontiert sein. Die Versicherer werden voraussichtlich mit einer Verschärfung der Zeichnungsstandards im Bereich AI Governance reagieren und nachweisbare Kontrollen wie Agentenidentitätsmanagement, menschliche Sicherheitsvorkehrungen und eine schnelle Ausfallsicherheit fordern.

Weiterführende Literatur

Gegenmaßnahmen

Durchsetzung des Zero-Trust-Prinzips für Agentenidentitäten: AI Agenten werden als privilegierte digitale Identitäten behandelt, die den Zugriffskontrollen der geringsten Berechtigungen unterliegen. Nutzen Sie Recorded Future Identity Intelligence , um Daten zu überwachen die sowohl agentenspezifische als auch menschliche Identitäten offenlegen.

Frage zur Resilienz: Haben wir eine Strategie für die Integration virtueller Identitäten in unsere IAM-Lösung?

Gewährleisten Sie Transparenz im Agentenverhalten: Implementieren Sie eine kontinuierliche Überwachung, die auf das Agentenverhalten zugeschnitten ist, einschließlich der Protokollierung von Agentenentscheidungen, -aufforderungen und -aktionen sowie der Einrichtung einer Erkennung für anomale Aufgabenausführungsmuster.

Frage zur Resilienz: Verstehen wir, wie und warum Agenten Entscheidungen treffen, und können wir Fehlentscheidungen schnell erkennen?

Lieferkette und Code-Governance stärken: SecDevOps-Kontrollen auf KI-generierten und agentenmodifizierten Code ausweiten. Bewerten Sie KI-generierten Code auf Sicherheitslücke und überwachen Sie ihn auf halluzinierte oder typosquatte Abhängigkeiten. Nutzen Sie Recorded Future Third-Party Risk , um nachgelagerte Sicherheitslücke in Drittanbietersoftware zu überwachen.

Frage zur Resilienz: Haben wir SecDevOps so angepasst, dass es agentenbasiertes Codieren berücksichtigt?

Schutz vor sofortiger Eingabemanipulation: Alle externen Eingaben werden als nicht vertrauenswürdig behandelt. Erhöhen Sie die mehrschichtigen Verteidigungsmechanismen um mehrere Validierungspunkte und Schutzmechanismen, um die Auswirkungen von Aktionen aufgrund böswilliger Eingabeaufforderungen oder unbeabsichtigter Fehlausrichtung zu minimieren.

Frage zur Resilienz: Welche Erkennungsmechanismen sind vorhanden, um verdächtige Eingabeaufforderungen zu überwachen?

Empfohlene D3FEND-Aktionen

Bedrohungsszenarien

Szenario 1: Agentischer Denial-of-Service

Eine Ticketmanagement-Plattform integriert AI Agenten, um Lebenszyklus-Workflows im gesamten Sicherheitsteam zu automatisieren. Ein Bedrohungsakteur bettet eine bösartige Aufforderung ein, die die Agenten anweist, Prozesse zu „optimieren“, indem alle vorhandenen Tickets überprüft und in Untertickets aufgeteilt werden. Die Agenten führen die Aufgabe in großem Umfang aus, wodurch sich das Ticketvolumen um das Hundertfache erhöht und übermäßig viele Rechenressourcen verbraucht werden. Der Ansturm legt das Ticketsystem praktisch lahm und stört die Geschäftsabläufe, die davon abhängen.

Szenario Nr. 2: Agentische Erpressung in großem Umfang

Eine KI-gestützte Plattform für persönliche Assistenten integriert Agentenfunktionen zur Verwaltung von E-Mails, Dokumenten und Cloud-Speicher der Benutzer. Ein krimineller Akteur kompromittiert das System und manipuliert die Agenten, um selbstständig Benutzerkonten nach sensiblen Informationen zu durchsuchen, darunter Finanzdaten, private Kommunikation und vertrauliche Geschäftsdateien. Die Agenten erstellen und verteilen dann automatisch maßgeschneiderte Erpressungsnachrichten an Tausende von Nutzern gleichzeitig und drohen damit, die extrahierten Daten zu veröffentlichen, falls keine Zahlung erfolgt.

Szenario Nr. 3: Bereitstellung eines schädlichen Pakets

Ein Unternehmen setzt KI-gestützte Softwareentwicklungsagenten ein, um die Codierung zu beschleunigen und das Abhängigkeitsmanagement zu automatisieren. Beim Generieren einer neuen Anwendungsfunktion wählt der Agent ein Open-Quellen-Paket aus und lädt es herunter, das legitim erscheint, aber eine Hintertür enthält. Da die Trainingsdaten des Agenten und die Datenbank Sicherheitslücke veraltet sind, erkennt er das Risiko nicht und integriert und implementiert den Code automatisch in der Produktionsumgebung. Die Hintertürkomponente schafft einen ausnutzbaren Einstiegspunkt, der es Bedrohungsakteur ermöglicht, sich ersten Zugriff auf die Unternehmensumgebung zu verschaffen, bevor das Problem erkannt wird.

Schlüssel

Rechts- oder Compliance-Verstoß: Verstoß gegen Gesetze, Vorschriften oder Branchenstandards, der zu Haftung oder Sanktionen führt.
Betriebsstörung: Unterbrechung normaler Geschäftsprozesse, die die Produktivität oder die Leistungserbringung beeinträchtigt.
Markenbeeinträchtigung: Schädigung des Rufs, die das Kundenvertrauen und den Marktwert mindert.
Finanzbetrug: Unbefugte Manipulation oder Diebstahl von Finanzvermögen zum persönlichen oder organisatorischen Vorteil.
Wettbewerbsnachteil: Verlust der Marktposition aufgrund unzureichender Fähigkeiten, Intelligenz oder Innovationskraft.

Referenzen:

Das Risikomanagement: Zweite Auflage.
Intelligenz zu Risiko.
Das Geheimdiensthandbuch.