prompt injections.de
Pillar · Grundlagen

Was ist Prompt Injection?

Prompt Injection ist ein Angriff auf Anwendungen mit großen Sprachmodellen (LLM), bei dem ein Angreifer Text so formuliert, dass das Modell ihn als Anweisung befolgt statt ihn als Inhalt zu verarbeiten. Möglich wird das, weil ein Sprachmodell die Systemanweisungen des Betreibers und die verarbeiteten Fremddaten über denselben Eingabekanal erhält und beide nicht zuverlässig auseinanderhalten kann. Das OWASP-Projekt für LLM-Sicherheit führt Prompt Injection als Risiko Nummer eins seiner Top 10 (LLM01:2025).1

Die Folgen reichen vom Offenlegen vertraulicher Systemanweisungen über manipulierte Ausgaben bis zum Abfluss von Daten und dem Auslösen von Werkzeugaufrufen, die der Nutzer nie angefordert hat. Je mehr Rechte eine LLM-Anwendung hat, also je mehr sie lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann.2

Die Analogie: SQL-Injection an der Sprachschnittstelle

Der Entwickler Simon Willison prägte den Begriff am 12. September 2022, einen Tag nach einer viel beachteten Demonstration von Riley Goodside.3 Sein Vergleich stammt aus der Datenbankwelt: Wer eine SQL-Abfrage per String-Verkettung zusammensetzt, vermischt Befehl und Nutzereingabe in einer einzigen Zeichenkette. Genau das tut eine LLM-Anwendung, wenn sie System-Prompt, Nutzerfrage und abgerufene Dokumente zu einem Text zusammenfügt.

Bei SQL löste die Branche das Problem mit parametrisierten Abfragen, die Befehl und Wert getrennt übertragen. Für Sprachmodelle existiert dieses saubere Trennformat bis heute nicht. Die Schnittstelle ist natürliche Sprache, und in ihr ist eine Anweisung von der Beschreibung einer Anweisung formal nicht unterscheidbar.

Daraus folgt der entscheidende Unterschied: SQL-Injection ist ein Implementierungsfehler, den man abschließend beheben kann. Prompt Injection ist eine Eigenschaft der Architektur. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) bezeichnet indirekte Prompt Injections deshalb als "intrinsische Schwachstelle in anwendungsintegrierten KI-Sprachmodellen".4

Arten von Prompt Injection

Direkte Prompt Injection

Bei der direkten Prompt Injection gibt der Angreifer die manipulierende Anweisung selbst in die Anwendung ein. Er ist also der Nutzer und richtet den Angriff gegen die Regeln des Betreibers, etwa um den geheimen System-Prompt sichtbar zu machen oder gesperrte Ausgaben zu erzwingen. OWASP zählt hierzu ausdrücklich auch unbeabsichtigte Fälle, in denen harmlose Eingaben das Modellverhalten unerwartet verändern.1

Direkte Prompt Injection

Indirekte Prompt Injection

Bei der indirekten Prompt Injection steht die Anweisung nicht in der Nutzereingabe, sondern in Daten, die das Modell im Auftrag des Nutzers verarbeitet: einer Webseite, einer E-Mail, einem PDF, einem Kalendereintrag, einem Repository. Der Angreifer braucht keinen Zugang zur Anwendung, er muss nur den Inhalt kontrollieren, den sie später abruft. Greshake und Kollegen beschrieben diese Klasse 2023 systematisch und zeigten sie unter anderem gegen das damals GPT-4-gestützte Bing Chat.5 Für Systeme mit Retrieval-Augmented Generation (RAG), E-Mail-Anbindung oder Browser-Zugriff ist das der praktisch relevanteste Angriffsweg.

Indirekte Prompt Injection

Gespeicherte Prompt Injection

Die gespeicherte Prompt Injection verhält sich zur indirekten wie Stored XSS zum reflektierten XSS: Die eingeschleuste Anweisung landet in einem dauerhaften Speicher des Systems, etwa im Langzeitgedächtnis eines Assistenten, in einer Vektordatenbank, in Notizen oder in Werkzeugdefinitionen. Sie wirkt dann nicht nur in der Sitzung, in der sie eingeschleust wurde, sondern wird bei späteren Aufrufen erneut in den Kontext geladen. Die Fachliteratur behandelt diese sitzungsübergreifende Persistenz inzwischen als eigene Angriffsklasse, weil sich das Sicherheitsproblem vom Filtern einzelner Eingaben zur Frage verschiebt, welche Autorität gespeicherte Inhalte beim Wiedereinlesen erhalten.6

Gespeicherte Prompt Injection

Warum Sprachmodelle anfällig sind

Ein LLM sagt das jeweils nächste Text-Token voraus. Es kennt keinen getrennten Kanal für Befehle und keinen für Daten, sondern nur eine fortlaufende Zeichenfolge. Wenn in dieser Zeichenfolge etwas steht, das wie eine Anweisung klingt, ist die wahrscheinlichste Fortsetzung ihre Befolgung, unabhängig davon, wer sie geschrieben hat.

Ein OpenAI-Forschungsteam um Eric Wallace formulierte das Kernproblem 2024 so: Modelle behandeln den System-Prompt eines Anwendungsentwicklers mit derselben Priorität wie Text von nicht vertrauenswürdigen Nutzern. Ihr Gegenvorschlag, eine antrainierte Anweisungs-Hierarchie ("instruction hierarchy"), erhöht die Robustheit deutlich, auch gegen im Training nicht gesehene Angriffsarten, hebt das Problem aber nicht auf.7

Genau hier ordnet OWASP das Risiko ein. LLM01:2025 beschreibt Prompt Injection als Folge der Art, wie Modelle Eingaben grundsätzlich verarbeiten, und hält fest, dass eine vollständige Verhinderung wegen des stochastischen Charakters generativer Modelle unklar bleibt, selbst mit RAG oder Fine-Tuning.1 Prompt Injection ist damit kein Bug, der auf einen Patch wartet, sondern ein Risiko, das man wie andere Systemrisiken begrenzen und überwachen muss.

Belegte Fälle

Die folgenden Fälle sind öffentlich dokumentiert und werden hier erklärend dargestellt. Sie zeigen das Prinzip, nicht die Waffe.

Bing Chat legt seine Systemanweisungen offen (Februar 2023)

Kurz nach dem Start des KI-gestützten Bing brachte der Stanford-Student Kevin Liu den Chatbot dazu, seine verborgenen Startanweisungen auszugeben, indem er ihn bat, die bisherigen Instruktionen zu ignorieren und den Anfang des Dokuments darüber wiederzugeben. Sichtbar wurde unter anderem der interne Codename "Sydney" samt der Regel, diesen Namen nicht preiszugeben. Ein zweiter Student bestätigte den Inhalt kurz darauf über einen anderen Weg, und Microsoft bestätigte gegenüber The Verge, dass die offengelegten Anweisungen echt waren. Als Liu feststellte, dass sein ursprünglicher Weg nicht mehr funktionierte, fand er innerhalb kurzer Zeit einen neuen.8 Der Fall gilt seither als Lehrstück dafür, dass Filter gegen Prompt Injection nachgeben, sobald jemand die Formulierung variiert.

EchoLeak: Datenabfluss aus Microsoft 365 Copilot ohne Zutun des Nutzers (Juni 2025)

Unter dem Namen EchoLeak (CVE-2025-32711) veröffentlichte das Forschungsteam von Aim Security eine Schwachstelle in Microsoft 365 Copilot, die als kritisch mit einem CVSS-Basiswert von 9.3 bewertet wurde.9 Eine präparierte E-Mail genügte: Verarbeitete Copilot sie später im Rahmen einer normalen Nutzeranfrage, folgten die darin versteckten Anweisungen und führten dazu, dass Inhalte aus dem Kontext des Opfers nach außen gelangten, ohne dass jemand auf etwas klicken musste. Der veröffentlichten Analyse zufolge wurden dabei mehrere Schutzschichten nacheinander umgangen, darunter ein Klassifikator für Injection-Versuche und die Link-Bereinigung.10 Microsoft behob die Lücke serverseitig. EchoLeak zeigt, warum indirekte Prompt Injection in Systemen mit Zugriff auf Postfächer und Dokumente ein Datenschutzproblem und kein Chatbot-Kuriosum ist.

SpAIware: eine Injection, die im Gedächtnis bleibt (September 2024)

Der Sicherheitsforscher Johann Rehberger demonstrierte am 20. September 2024, wie eine über eine manipulierte Webseite ausgelöste Prompt Injection dauerhafte Anweisungen in das Langzeitgedächtnis von ChatGPT schrieb. Diese wirkten anschließend in neuen Unterhaltungen weiter und leiteten Inhalte an einen fremden Server aus. OpenAI schloss die Lücke in der macOS-App mit Version 1.2024.247, wobei die Gegenmaßnahme laut Rehberger an der Exfiltration ansetzte.11 Der Fall ist das anschaulichste öffentliche Beispiel für gespeicherte Prompt Injection.

Schutz: Was heute realistisch hilft

Es gibt keine Einstellung, die Prompt Injection abschaltet. Wirksam ist ausschließlich gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt.

OWASP empfiehlt für LLM01 unter anderem: das Modellverhalten über präzise Systemanweisungen einschränken, erwartete Ausgabeformate definieren und prüfen, Ein- und Ausgaben filtern, Rechte nach dem Least-Privilege-Prinzip vergeben, riskante Aktionen von einer menschlichen Freigabe abhängig machen, externe Inhalte klar als solche kennzeichnen und trennen sowie regelmäßig adversarial testen.1

Das BSI veröffentlichte am 10. November 2025 mit "Evasion Attacks on LLMs" eine praxisnahe Handreichung samt Härtungs-Checkliste für Entwickler und IT-Verantwortliche in Unternehmen und Behörden. Genannt werden dort unter anderem sichere System-Prompts, das Filtern schädlicher Inhalte in Fremddokumenten und eine ausdrückliche Nutzerbestätigung, bevor ein Modell Funktionen ausführt.12 Ergänzend beschreibt das BSI-Papier "Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden" Gegenmaßnahmen über den gesamten Lebenszyklus.13

Auf Architekturebene setzt die Forschung darauf, nicht vertrauenswürdige Inhalte gar nicht erst über den Kontrollfluss entscheiden zu lassen. Simon Willisons Dual-LLM-Pattern trennt dazu ein privilegiertes Modell, das Werkzeuge aufruft, von einem isolierten Modell, das ausschließlich verdächtige Daten verarbeitet.14 Das darauf aufbauende CaMeL-Verfahren von Google DeepMind extrahiert Kontroll- und Datenfluss aus der vertrauenswürdigen Anfrage, sodass abgerufene Fremddaten den Programmablauf nicht mehr beeinflussen können. Im AgentDojo-Benchmark löste es 77 Prozent der Aufgaben mit beweisbarer Sicherheitseigenschaft, gegenüber 84 Prozent bei einem ungeschützten System.15 Die Differenz ist der Preis, den belastbare Sicherheit derzeit kostet.

Der praktische Leitsatz für Betreiber lautet deshalb: Ein LLM ist kein Sicherheitskontrollpunkt. Wenn eine Aktion Schaden anrichten kann, muss sie außerhalb des Modells autorisiert werden.

Schutz vor Prompt Injection

Häufige Fragen

Was ist Prompt Injection in einem Satz?

Prompt Injection bezeichnet das Einschleusen von Text, den ein Sprachmodell als Anweisung befolgt, obwohl er nur Inhalt sein sollte.1

Was ist der Unterschied zwischen Prompt Injection und Jailbreaking?

Beim Jailbreaking versucht der Nutzer selbst, die Sicherheitsregeln des Anbieters zu umgehen; das Ziel ist eine verbotene Ausgabe. Prompt Injection ist der weitere Begriff und umfasst insbesondere Fälle, in denen ein Dritter über verarbeitete Daten die Kontrolle über das Verhalten der Anwendung übernimmt und sich der Angriff gegen den Nutzer oder den Betreiber richtet.5

Kann man Prompt Injection vollständig verhindern?

Nach heutigem Stand nicht. OWASP hält fest, dass eine vollständige Verhinderung wegen der Funktionsweise generativer Modelle unklar bleibt, und das BSI stuft indirekte Prompt Injections als intrinsische Schwachstelle ein. Wirksam sind Begrenzung der Rechte, Trennung von Daten und Kontrollfluss sowie menschliche Freigaben für riskante Aktionen.14

Warum hilft ein besserer System-Prompt nicht?

Ein System-Prompt ist selbst nur Text im gleichen Eingabekanal. Er kann die Priorität von Anweisungen nahelegen, aber nicht erzwingen. Deshalb setzt die Forschung an einer antrainierten Anweisungs-Hierarchie und an Architekturen an, die Fremddaten vom Kontrollfluss fernhalten.715

Welche Anwendungen sind besonders gefährdet?

Systeme, die fremde Inhalte verarbeiten und zugleich handeln können: RAG-Systeme, E-Mail- und Dokumentenassistenten, Coding-Agenten mit Repository-Zugriff und Agenten mit Tool-Use. EchoLeak in Microsoft 365 Copilot zeigt, dass dafür keine Nutzerinteraktion nötig ist.910

Ist Prompt Injection meldepflichtig oder als CVE erfasst?

Konkrete Ausprägungen in Produkten werden regulär als Schwachstelle geführt. EchoLeak trägt die Kennung CVE-2025-32711 und wurde mit einem CVSS-Basiswert von 9.3 als kritisch bewertet.9

Quellen

  1. OWASP GenAI Security Project: LLM01:2025 Prompt Injection. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ ↩
  2. OWASP: Top 10 for LLM Applications 2025 (PDF). https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-v2025.pdf ↩
  3. Simon Willison: Prompt injection attacks against GPT-3, 12.09.2022. https://simonwillison.net/2022/Sep/12/prompt-injection/ ↩
  4. BSI: Indirect Prompt Injections. Intrinsische Schwachstelle in anwendungsintegrierten KI-Sprachmodellen, Cyber-Sicherheitswarnung 2023. https://www.bsi.bund.de/SharedDocs/Cybersicherheitswarnungen/DE/2023/2023-249034-1032_csw.html ↩
  5. Greshake, Abdelnabi, Mishra, Endres, Holz, Fritz: Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection, arXiv:2302.12173. https://arxiv.org/abs/2302.12173 ↩
  6. What If Prompt Injection Never Left? Exploring Cross-Session Stored Prompt Injection in Agentic Systems, arXiv:2606.04425. https://arxiv.org/abs/2606.04425 ↩
  7. Wallace, Xiao, Leike, Weng, Heidecke, Beutel: The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions, arXiv:2404.13208. https://arxiv.org/abs/2404.13208 ↩
  8. Benj Edwards, Ars Technica: AI-powered Bing Chat spills its secrets via prompt injection attack, 10.02.2023 (Update 14.02.2023). https://arstechnica.com/information-technology/2023/02/ai-powered-bing-chat-spills-its-secrets-via-prompt-injection-attack/ ↩
  9. NIST National Vulnerability Database: CVE-2025-32711, veröffentlicht 11.06.2025. https://nvd.nist.gov/vuln/detail/CVE-2025-32711 ↩
  10. Reddy, Gujral: EchoLeak: The First Real-World Zero-Click Prompt Injection Exploit in a Production LLM System, arXiv:2509.10540. https://arxiv.org/abs/2509.10540 ↩
  11. Johann Rehberger: Spyware Injection Into Your ChatGPT's Long-Term Memory (SpAIware), 20.09.2024. https://embracethered.com/blog/posts/2024/chatgpt-macos-app-persistent-data-exfiltration/ ↩
  12. BSI: BSI stellt Maßnahmen gegen Evasion Attacks auf große KI-Sprachmodelle vor, 10.11.2025. https://www.bsi.bund.de/DE/Service-Navi/Presse/Alle-Meldungen-News/Meldungen/Evasion-Attacks-LLM_251110.html ; Handreichung: https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Evasion_Attacks_on_LLMs-Countermeasures.pdf ; Checkliste: https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Evasion_Attacks_on_LLMs-Checklist.pdf ↩
  13. BSI: Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden (PDF). https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf?__blob=publicationFile&v=7 ↩
  14. Simon Willison: The Dual LLM pattern for building AI assistants that can resist prompt injection, 25.04.2023. https://simonwillison.net/2023/Apr/25/dual-llm-pattern/ ↩
  15. Debenedetti, Shumailov, Fan, Hayes, Carlini et al.: Defeating Prompt Injections by Design (CaMeL), arXiv:2503.18813. https://arxiv.org/abs/2503.18813 ↩

Im Zusammenhang