KI-Agenten absichern
Ein Agent ist genau so sicher wie die Menge der Aktionen, die er ohne Rückfrage ausführen darf. Absicherung bedeutet deshalb zuerst Entwurfsarbeit — Werkzeugauswahl, Freigabepunkte, Ausführungsumgebung — und erst danach Filterarbeit.
Die Angriffsseite behandelt Angriffsvektor KI-Agenten; die Ursache liegt in der Natur der Prompt Injection und wird bei OWASP als übermäßige Handlungsvollmacht geführt.
Die sechs Stellschrauben
- Werkzeugauswahl. Nur die Werkzeuge bereitstellen, die die aktuelle Aufgabe braucht.
- Rechte je Werkzeug. Lesend vor schreibend, eng vor breit, kurzlebige Zugangsdaten statt dauerhafter.
- Freigabepunkte. Alles mit Geld-, Daten- oder Außenwirkung braucht eine menschliche Bestätigung.
- Ausführungsumgebung. Generierter Code läuft in einer Sandbox ohne Netz und ohne dauerhafte Geheimnisse.
- Herkunftstrennung. Werkzeug-Rückgaben und abgerufene Inhalte sind Fremddaten, nie Anweisungen.
- Protokoll und Limits. Jeder Aufruf wird protokolliert; Ratenlimits und Budgets begrenzen den Schaden eines fremdgesteuerten Laufs.
Prüfen statt hoffen
Agentische Aufbauten lassen sich testen: AgentDojo und InjecAgent stellen Umgebungen bereit, in denen Angriffe und Verteidigungen gegeneinander gemessen werden. Für MCP-Werkzeugketten prüft mcp-scan die eingebundenen Server.
Sinnvoll ist ein fester Testlauf vor jedem Produktivgang und nach jeder Erweiterung des Werkzeugsatzes — jede neue Integration verschiebt die Angriffsfläche.
Techniken aus dem Verzeichnis
Diese Einträge aus dem Techniken-Verzeichnis gehören unmittelbar zu diesem Thema — jeder mit Funktionsweise, Risiko-Einstufung, Schutzmaßnahmen und Primärquelle.
-
Tool-Poisoning (MCP)
Die Beschreibung eines Werkzeugs — etwa eines MCP-Servers — enthält versteckte Anweisungen. Der Agent liest sie beim Auflisten der verfügbaren Tools, noch bevor er das Werkzeug überhaupt aufruft.
Risiko hoch -
Prompt-Infektion in Multi-Agenten-Systemen
Eine Injektion, die sich selbst weitergibt: Ein kompromittierter Agent reicht die Anweisung samt Vervielfältigungsauftrag an die nächsten Agenten weiter — wurmartige Ausbreitung im Verbund.
Risiko hoch -
Verwirrter Stellvertreter
Der Agent handelt mit den Rechten des Nutzers, folgt aber der Absicht eines Angreifers — er wird zum Stellvertreter, der seine Berechtigungen fremdgesteuert einsetzt.
Risiko hoch -
Werkzeug-Missbrauch durch Injektion
Die eingeschleuste Anweisung veranlasst den Agenten, seine angebundenen Werkzeuge zweckwidrig einzusetzen — Mails versenden, Dateien schreiben, Käufe auslösen, Code ausführen.
Risiko hoch -
Zero-Click-Injektion
Angriffsklasse, die ganz ohne Zutun des Opfers auskommt: Das Zustellen eines Inhalts in ein vom Assistenten durchsuchtes System genügt, um Injektion und Datenabfluss auszulösen.
Risiko hoch -
Code-Injektion über LLM-Ausgaben
Die Ausgabe des Modells wird ungeprüft weiterverarbeitet — als HTML gerendert, als SQL abgesetzt, als Shell-Befehl ausgeführt. Eine Injektion wird damit zu klassischer Codeausführung.
Risiko hoch
Passende Werkzeuge
-
AgentDojo
Dynamische Testumgebung, die Agenten mit realistischen Aufgaben und eingebetteten Injektionen konfrontiert und Nützlichkeit gegen Sicherheit misst.
Open Source -
InjecAgent
Benchmark für indirekte Prompt Injection in werkzeugnutzenden Agenten, unterteilt in Angriffe auf Nutzerdaten und auf Nutzeraktionen.
Open Source -
mcp-scan
Prüfwerkzeug für MCP-Server, das Tool-Beschreibungen auf versteckte Anweisungen, Tool-Poisoning und nachträgliche Änderungen untersucht.
Open Source -
LlamaFirewall
Guardrail-System für Agenten, das Eingaben, Zwischenschritte der Modell-Argumentation und erzeugten Code prüft, bevor eine riskante Aktion ausgeführt wird.
Open Source -
PyRIT
Python Risk Identification Toolkit — Automatisierungs-Framework für KI-Red-Teaming mit Orchestratoren für mehrstufige Angriffe wie Crescendo.
Open Source -
promptfoo
Test- und Red-Teaming-Werkzeug für Prompts und Modelle mit Plugin-System für Angriffsklassen und CI-Integration.
Open Source
Einordnung in die OWASP LLM Top 10
-
LLM06: Übermäßige Handlungsvollmacht
Das System darf mehr, als es für seine Aufgabe müsste — zu viele Werkzeuge, zu weite Rechte, zu viel Autonomie ohne menschliche Kontrolle.
-
LLM01: Prompt Injection
Eingaben verändern das Verhalten des Modells auf eine vom Betreiber nicht vorgesehene Weise — unabhängig davon, ob der Text für Menschen sichtbar ist oder nicht.
-
LLM05: Unsichere Verarbeitung von Ausgaben
Ausgaben des Modells werden ungeprüft an nachgelagerte Systeme weitergereicht — als HTML gerendert, als Datenbankabfrage abgesetzt oder als Befehl ausgeführt.
Häufige Fragen
Wie sichert man einen KI-Agenten gegen Prompt Injection ab?
Über den Entwurf: minimaler Werkzeugsatz, enge Rechte je Werkzeug, menschliche Freigabe für wirkungsvolle Aktionen, Sandbox für generierten Code, Kennzeichnung aller Fremddaten sowie Protokollierung und Limits.
Womit lässt sich die Absicherung testen?
Mit Benchmark-Umgebungen wie AgentDojo und InjecAgent sowie mit Red-Teaming-Werkzeugen wie PyRIT und promptfoo. Für MCP-Werkzeugketten prüft mcp-scan die eingebundenen Server.
Quellen
- OWASP GenAI Security Project: LLM06:2025 Excessive Agency: https://genai.owasp.org/llmrisk/llm062025-excessive-agency/
- AgentDojo — Benchmark für LLM-Agenten: https://github.com/ethz-spylab/agentdojo
- mcp-scan — Prüfwerkzeug für MCP-Server: https://github.com/invariantlabs-ai/mcp-scan