Die Verborgenen Risiken von KI-Agenten

Warum die Sicherheit von KI-Agenten zu beachten ist

Je mehr Autonomie ein KI-Agent erhält, desto grösser wird die Angriffsfläche, die er öffnet. Fortschrittliche Agenten auf Basis aktueller Large Language Models (LLMs) greifen heute in Geschäftsprozesse quer durch alle Branchen ein, von der Automatisierung im Finanzwesen über sensible Gesundheitsdaten bis zum Kundensupport. Sie versprechen Effizienz und Skalierbarkeit. Doch aus meiner Sicht wächst mit ihrer Autonomie vor allem eines mit: das Risiko, insbesondere bei Cybersecurity und regulatorischer Compliance.

Um über reine Spekulation hinauszugehen und die tatsächliche Sicherheitslage dieser KI-Agenten zu verstehen, wurde Anfang des Jahres der weltweit grösste öffentliche „Red-Teaming”-Wettbewerb gestartet. Die Ergebnisse sind aufschlussreich und leider auch ernüchternd. Für Entscheidungsträger in der Geschäftsleitung ist es entscheidend zu verstehen, wo die wirklichen Risiken und Chancen liegen.

Red-Teaming-Wettbewerb

Ein einmonatiger globaler Red-Teaming-Wettbewerb wurde von führenden Forschungseinrichtungen organisiert und von der Industrie unterstützt (u. a. UK AI Security Institute, OpenAI, Anthropic, Google DeepMind). Fast 2’000 Sicherheitsexperten („Red Teamer”) griffen 22 der fortschrittlichsten KI-Agenten in 44 realistischen Geschäftsszenarien an. Ein Preisgeld von USD 171’800 unterstrich die Bedeutung und den Umfang der Initiative.

Warum dieser Red-Teaming-Ansatz?

Im Gegensatz zu akademischen Tests oder isolierten Benchmarks spiegelte dieser Aufbau reale Einsatzbedingungen wider:

• Die KI-Agenten wurden durch simulierten Zugriff auf sensible Daten und Tools getestet, wie in echten Unternehmensumgebungen.
• Angreifer durften direkte und indirekte Methoden nutzen, einschliesslich Insider-Bedrohungen, Supply-Chain-Risiken und hochentwickelter Angriffe.

Getestete Bereiche

• Vertraulichkeit: Schutz sensibler Informationen (z. B. Patienten- oder Kundendaten).
• Integrität: Schutz vor Manipulation von Prozessen oder Ergebnissen.
• Policy-Compliance: Einhaltung von Vorschriften und Unternehmensrichtlinien, auch unter Angriff.

Die Ergebnisse

Die Ergebnisse dieser Tests lassen sich wie folgt zusammenfassen:

• Angriffsvolumen: Über 1,8 Millionen Angriffsversuche in nur einem Monat.
• Erfolge: Mehr als 62’000 erfolgreiche Richtlinienverstösse, inkl. unbefugter Datenweitergaben, illegaler Transaktionen, regulatorischer Verstösse.
• Universalität: Alle Angriffe konnten erfolgreich wiederholt werden (100 % „Behavior ASR”).
• Übertragbarkeit: Angriffe auf ein Modell funktionierten oft auch auf anderen, ein Hinweis auf gemeinsame Schwachstellen und systemische Risiken.

Angriffstypen

• Direkte Prompt Injection: Manipulation über die Benutzeroberfläche.
• Indirekte Injection: Schadbefehle in Dokumenten, E-Mails oder externen APIs. Besonders wirksam zur Umgehung klassischer Sicherheitskontrollen, mit einer Erfolgsquote von bis zu 29,8 % bei der Weitergabe vertraulicher Informationen.

„Mit einer einzigen Anfrage zeigen Modelle Policy-Verstösse bei 20 % bis 60 % der getesteten Verhaltensweisen. Bei 10 spezifischen Anfragen nähert sich die Erfolgsquote bei den meisten Modellen fast 100 %.”

Konsequenzen für Organisationen

• Grosse und leistungsfähige Modelle sind nicht sicherer: Es gab keinen klaren Zusammenhang zwischen Modellgrösse, Leistungsfähigkeit oder Anbieter und Widerstandsfähigkeit. Auch Top-Modelle führender Anbieter wurden kompromittiert.
• Allgemeine Schwachstellen bedeuten Systemrisiko: Übertragbare Angriffe können sich schnell zu branchenweiten Problemen entwickeln, ein Thema für Business Continuity, nicht nur für IT.
• Regelkonformität ist nicht garantiert: Hohe Policy-Verletzungsraten zeigen, dass Unternehmen nicht blind auf die Compliance „out-of-the-box” vertrauen dürfen, besonders wichtig für Boards, die letztlich haftbar sind.

Praktische Massnahmen für den sicheren Einsatz

1. Security by Design: Sicherheit als strategischen Pfeiler verankern, vom Konzept bis zum Betrieb, vor Projektbeginn, nicht erst danach.
2. Testing: Permanente Tests nach offenen Standards wie dem neuen Agent Red Teaming (ART).
3. Mehrschichtige Sicherheit und Verteidigung: Kombination aus Filterung, Policy-Enforcement, Echtzeit-Monitoring und menschlicher Kontrolle.
4. Vendor Due Diligence: Transparenz über Sicherheitstests, Incident-Response und Red-Teaming-Ergebnisse einfordern.
5. Board-Level-Verantwortung: KI-Risiken fest auf die Agenda setzen und mit Cybersecurity-, Compliance- und Digitalstrategien verzahnen.

Kernaussagen

KI-Agenten werden rasch zu einem zentralen Bestandteil moderner Unternehmensinfrastruktur. Diese grossangelegte Studie zeigt jedoch: Die Technologie ist aktuell immer noch sehr anfällig, für einfache wie für komplexe Angriffe.

„Wir beobachten durchgängig nahezu 100 % Angriffs-Erfolgsquoten über verschiedene Modelle und Einsatzszenarien hinweg… ein dringendes, reales Risiko, das vor breiterem Einsatz adressiert werden muss.”

Wer KI-Agenten einsetzt, muss folgendes beachten:

• KI-Sicherheit als Führungsaufgabe begreifen.
• Laufende, unabhängige Sicherheitsprüfungen verlangen.
• Robuste, mehrschichtige Kontrollen implementieren.
• Auf regulatorische Prüfungen vorbereitet sein, auf Geschäftsleitungs- und Verwaltungsratsebene.

Ich bin überzeugt: Wer proaktiv und transparent vorgeht, kann die Chancen von KI nutzen und die wachsenden Risiken im Griff behalten.

Zur weiterführenden Lektüre siehe den vollständigen Bericht „Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition” (https://arxiv.org/abs/2507.20526v1).