Prompt Injection erkennen
Erkennung senkt die Erfolgsquote von Angriffen, kann Prompt Injection aber nicht ausschließen. Jedes Erkennungsverfahren entscheidet über natürliche Sprache — und dieselbe Anweisung lässt sich beliebig oft umformulieren. Erkennung gehört deshalb als eine Schicht in eine gestaffelte Absicherung, nie als deren Kern.
Diese Seite beschreibt, was Erkennungsverfahren gegen Prompt Injection leisten und wo ihre Grenzen liegen. Konkrete Produkte listet das Werkzeug-Verzeichnis.
Die vier gängigen Ansätze
- Klassifikatoren. Ein trainiertes Modell bewertet Eingaben oder abgerufene Inhalte als verdächtig. Erkennt bekannte Muster zuverlässiger als neue Formulierungen.
- Heuristiken. Regeln und Signaturen für typische Formulierungen und Kodierungen. Billig, schnell zu umgehen, aber nützlich als erste Schicht.
- Perplexitäts-Filter. Auffällig unwahrscheinliche Zeichenketten — etwa maschinell optimierte Suffixe — fallen statistisch auf. Wirkt gegen automatisierte Angriffe, nicht gegen natürlichsprachige.
- Canary-Tokens. Ein Markerwert im System-Prompt, dessen Auftauchen in der Ausgabe ein Leck belegt. Erkennt den Erfolg eines Angriffs, nicht seinen Versuch.
Was Erkennung nicht leisten kann
Ein Klassifikator trifft eine probabilistische Entscheidung. Er hat immer eine Fehlerquote in beide Richtungen: Falsch-Negative lassen Angriffe durch, Falsch-Positive blockieren legitime Nutzung. Wer die Schwelle streng setzt, bezahlt mit Fehlalarmen — und wer sie lockert, mit Durchlässen.
Bei EchoLeak wurde ein Klassifikator für Injektionsversuche nach veröffentlichter Analyse als eine von mehreren Schichten überwunden. Der Fall zeigt das Muster: Erkennung erhöht den Aufwand, ersetzt aber keine Begrenzung der Rechte.
Sinnvoll ist deshalb ein zweiter Blickwinkel: nicht nur Eingaben prüfen, sondern das Verhalten des Systems überwachen — unerwartete Werkzeugaufrufe, ungewöhnliche Ziel-Domains, Ausgaben außerhalb des erwarteten Formats.
Techniken, die Erkennung gezielt unterlaufen
Diese Einträge aus dem Techniken-Verzeichnis gehören unmittelbar zu diesem Thema — jeder mit Funktionsweise, Risiko-Einstufung, Schutzmaßnahmen und Primärquelle.
-
GCG-Suffix-Angriff
Gradientenbasiertes Verfahren, das automatisch eine scheinbar sinnlose Zeichenkette berechnet, die an beliebige Anfragen angehängt die Verweigerung des Modells aushebelt.
Risiko hoch -
Base64- und Kodierungs-Umgehung
Die schädliche Anweisung wird kodiert übergeben (z. B. Base64) und erst vom Modell selbst dekodiert — Filter, die den Klartext prüfen, greifen ins Leere.
Risiko mittel -
Sprachwechsel in ressourcenarme Sprachen
Die Anfrage wird in einer Sprache gestellt, für die vergleichsweise wenig Sicherheitstraining existiert — die Fähigkeiten des Modells reichen weiter als sein Schutz.
Risiko mittel -
Payload-Splitting
Die schädliche Anweisung wird in harmlose Bruchstücke zerlegt, die einzeln jeden Filter passieren; das Modell setzt sie erst im Kontext wieder zusammen.
Risiko mittel -
System-Prompt-Auslesen
Angriff mit dem Ziel, den verborgenen System-Prompt einer Anwendung offenzulegen — samt Regeln, Rollenbeschreibung und teils eingebetteten Geschäftsgeheimnissen.
Risiko mittel
Passende Werkzeuge
-
DeBERTa Prompt-Injection-Klassifikator
Feingetuntes DeBERTa-Modell, das Eingaben binär als Prompt Injection oder als unbedenklich klassifiziert.
Open Source -
Llama Prompt Guard
Kompaktes Klassifikationsmodell, das Nutzereingaben und abgerufene Inhalte auf Jailbreak- und Injektionsversuche prüft.
Open Source -
Rebuff
Prompt-Injection-Detektor mit vier Schichten: Heuristiken, LLM-basierte Prüfung, Vektor-Datenbank bekannter Angriffe und Canary-Tokens zur Leck-Erkennung.
Open Source -
Vigil
Python-Bibliothek und REST-API zur Erkennung riskanter LLM-Eingaben — kombiniert Vektorsuche, YARA-Regeln, Transformer-Modell und Canary-Tokens.
Open Source -
Lakera Guard
Echtzeit-API zur Erkennung von Prompt Injection, Jailbreaks und Datenabfluss, die als Prüfschicht vor und hinter das Sprachmodell gehängt wird.
kommerziell -
Azure AI Prompt Shields
Dienst innerhalb von Azure AI Content Safety, der direkte Jailbreak-Angriffe und indirekte Injektionen in eingebetteten Dokumenten erkennt.
kommerziell
Einordnung in die OWASP LLM Top 10
-
LLM01: Prompt Injection
Eingaben verändern das Verhalten des Modells auf eine vom Betreiber nicht vorgesehene Weise — unabhängig davon, ob der Text für Menschen sichtbar ist oder nicht.
Häufige Fragen
Kann man Prompt Injection zuverlässig erkennen?
Nein. Erkennungsverfahren senken die Erfolgsquote, entscheiden aber probabilistisch über natürliche Sprache. Dieselbe Anweisung lässt sich umformulieren, kodieren oder auf mehrere Züge verteilen. Erkennung ist eine Schicht, keine Lösung.
Was ist ein Canary-Token?
Ein Markerwert, der in den System-Prompt eingebettet wird. Taucht er in einer Ausgabe auf, ist belegt, dass Teile des System-Prompts abgeflossen sind. Der Marker erkennt den Erfolg eines Angriffs, nicht den Versuch.
Quellen
- Baseline Defenses for Adversarial Attacks Against Aligned Language Models (arXiv:2309.00614): https://arxiv.org/abs/2309.00614
- Rebuff — Prompt-Injection-Detektor mit Canary-Tokens: https://github.com/protectai/rebuff
- OWASP GenAI Security Project: LLM01:2025 Prompt Injection: https://genai.owasp.org/llmrisk/llm01-prompt-injection/