prompt injections.de
Art der Prompt Injection

Direkte Prompt Injection

Direkte Prompt Injection ist die Form der Prompt Injection, bei der der Angreifer die manipulierende Anweisung selbst in die Anwendung eingibt. Er ist also der Nutzer, und der Angriff richtet sich gegen die Regeln des Betreibers: Ziel ist es, den verborgenen System-Prompt offenzulegen, gesperrte Ausgaben zu erzwingen oder die Anwendung eine andere Aufgabe erledigen zu lassen als vorgesehen. OWASP führt diesen Fall unter LLM01:2025 und zählt ausdrücklich auch unbeabsichtigte Varianten dazu, bei denen harmlose Eingaben das Modellverhalten unerwartet verändern.1

Der Gegenbegriff ist die indirekte Prompt Injection, bei der die Anweisung aus Daten stammt, die das System im Auftrag des Nutzers verarbeitet. Die Unterscheidung ist keine akademische Feinheit, sondern bestimmt das Bedrohungsmodell: Bei der direkten Variante ist der Angreifer sichtbar, authentifizierbar und ratenbegrenzbar. Bei der indirekten ist er das nicht.

Warum die letzte Anweisung die erste schlägt

Ein Sprachmodell erhält Systemanweisung und Nutzereingabe über denselben Kanal, als eine fortlaufende Zeichenfolge. Es gibt kein Feld, das eine Passage als Befehl und eine andere als Daten markiert. Wenn die Nutzereingabe wie eine Anweisung formuliert ist, ist ihre Befolgung eine plausible Fortsetzung des Textes, unabhängig davon, wer sie geschrieben hat. Simon Willison beschrieb genau dieses Muster im September 2022, als er den Begriff prägte.2

Verstärkt wird der Effekt dadurch, dass später und nachdrücklicher formulierte Anweisungen im Kontext oft mehr Gewicht bekommen als frühe. Ein OpenAI-Forschungsteam um Eric Wallace hat das Kernproblem 2024 auf den Punkt gebracht: Modelle behandeln die Anweisung eines Anwendungsentwicklers mit derselben Priorität wie Text aus nicht vertrauenswürdiger Quelle. Der Gegenvorschlag, eine antrainierte Anweisungs-Hierarchie, erhöht die Robustheit messbar, hebt das Problem aber nicht auf.3

Typische Ausprägungen

Anweisungen ignorieren. Die Eingabe fordert das Modell auf, seine bisherigen Vorgaben zu verwerfen und stattdessen der neuen Anweisung zu folgen. Das ist der Einstiegsfall, gegen den einfache Sperrlisten zuerst gebaut werden, und der sich durch Umformulierung am leichtesten umgehen lässt. → Anweisungen-ignorieren-Angriff

System-Prompt auslesen. Der Angreifer bittet das Modell, seine Vorgaben wiederzugeben, zu übersetzen, zusammenzufassen oder als Gedicht auszugeben. Formatwechsel unterlaufen Sperrlisten zuverlässig. OWASP führt die Preisgabe des System-Prompts seit 2025 als eigenes Risiko LLM07, weil viele Betreiber dort Regeln, Schlüssel oder Geschäftslogik ablegen, die als Sicherheitsmechanismus gedacht waren.4 → System-Prompt-Auslesen · OWASP LLM07

Zielentführung. Statt Regeln zu brechen, tauscht die Eingabe die Aufgabe aus: Ein Übersetzungsdienst schreibt Werbetexte, ein Support-Bot vergibt Rabatte. Die Anwendung arbeitet weiter, nur für den Falschen. Wirtschaftlicher Schaden entsteht hier ohne jeden erkennbaren Regelverstoß.5 → Zielentführung

Kontext-Überflutung. Sehr viel Fülltext verschiebt das Verhältnis zwischen Anweisung und Daten, sodass Sicherheitsvorgaben am Anfang des Kontexts an Wirkung verlieren. Die Auswertung des HackAPrompt-Wettbewerbs führt das als eigenständige, wirksame Angriffsklasse.6 → Kontext-Überflutung

Abzugrenzen ist der Jailbreak: Dort versucht der Nutzer, die Sicherheitsregeln des Modellanbieters zu umgehen, das Ziel ist eine verbotene Ausgabe. Direkte Prompt Injection zielt auf die Regeln der Anwendung. In der Praxis überlappen beide, weil dieselben Formulierungstricks wirken. → Prompt Injection oder Jailbreak: der Unterschied

Ein dokumentierter Fall

Im Februar 2023 brachte der Stanford-Student Kevin Liu den damals neuen KI-gestützten Bing dazu, seine verborgenen Startanweisungen auszugeben. Sichtbar wurde unter anderem der interne Codename „Sydney" samt der Regel, diesen Namen nicht preiszugeben. Ein zweiter Student bestätigte den Inhalt über einen anderen Weg, und Microsoft bestätigte gegenüber The Verge, dass die offengelegten Anweisungen echt waren. Als Lius ursprüngliche Formulierung nicht mehr funktionierte, fand er innerhalb kurzer Zeit einen neuen Weg.7

Die Lehre daraus betrifft nicht Microsoft, sondern jede Filterstrategie: Ein Muster zu sperren, sperrt eine Formulierung, nicht die Absicht dahinter.

Wie groß der Schaden ausfällt

Für sich genommen bleibt direkte Prompt Injection oft im Rahmen: Ein Angreifer bringt eine Anwendung dazu, ihm gegenüber anders zu antworten, als der Betreiber es wollte. Reputationsschaden, Missbrauch bezahlter Rechenzeit und die Offenlegung von Geschäftslogik sind die üblichen Folgen.

Ernst wird es an zwei Stellen. Erstens, wenn der erbeutete System-Prompt spätere Angriffe gezielter macht, weil der Angreifer nun die Regeln kennt, die er umgehen muss. Zweitens, wenn die Ausgabe des Modells ungeprüft weiterverarbeitet wird, also als HTML gerendert, als Datenbankabfrage abgesetzt oder als Befehl ausgeführt. Dann wird aus einer Textmanipulation eine klassische Schwachstelle, und OWASP führt diesen Übergang als eigenes Risiko LLM05.8 → Unsichere Verarbeitung von Ausgaben

Schutz

Kein einzelner Mechanismus verhindert direkte Prompt Injection. Wirksam ist die Kombination, wobei jede Schicht annimmt, dass die vorherige versagt.

  • Keine Geheimnisse in den System-Prompt. Zugangsdaten, Schlüssel und personenbezogene Daten gehören nicht dorthin. Der System-Prompt ist vertraulich, aber kein sicherer Speicher.4
  • Eingaben als Daten kennzeichnen. Nutzereingaben klar begrenzen und dem Modell mitteilen, dass sie Inhalt und nicht Anweisung sind. Microsoft Research hat dieses Vorgehen als Spotlighting systematisiert.9
  • Ausgabeformat erzwingen und prüfen. Ein festes Schema, gegen das jede Antwort validiert wird, fängt Zielentführung zuverlässiger ab als jede Formulierung im Prompt.
  • Anweisungs-Hierarchie nutzen, wo das Modell sie anbietet. System vor Nutzer vor Daten, als Härtung, nicht als Garantie.3
  • Aufgabenspezifisch feinabstimmen statt generisch prompten. Verfahren wie Jatmo erzeugen Modelle, die nur eine Aufgabe beherrschen und deshalb keiner alternativen Aufgabenbeschreibung folgen können.10
  • Sicherheitsentscheidungen außerhalb des Modells treffen. Rechte, Freigaben und Limits gehören in deterministischen Code. Ein Sprachmodell ist kein Kontrollpunkt.
  • Eingabelänge begrenzen und das Kontextbudget überwachen, um Überflutung zu erschweren.

→ Weiter im Cluster: Schutz vor Prompt Injection · Instruktions-Hierarchie · Prompt Injection erkennen

Verwandte Seiten

Quellen

  1. OWASP GenAI Security Project: LLM01:2025 Prompt Injection. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ ↩
  2. Simon Willison: Prompt injection attacks against GPT-3, 12.09.2022. https://simonwillison.net/2022/Sep/12/prompt-injection/ ↩
  3. Wallace, Xiao, Leike, Weng, Heidecke, Beutel: The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions, arXiv:2404.13208. https://arxiv.org/abs/2404.13208 ↩
  4. OWASP GenAI Security Project: LLM07:2025 System Prompt Leakage. https://genai.owasp.org/llmrisk/llm072025-system-prompt-leakage/ ; systematische Untersuchung des Auslesens: arXiv:2505.23817. https://arxiv.org/abs/2505.23817 ↩
  5. Liu, Deng, Li, Wang, Zhang et al.: Prompt Injection attack against LLM-integrated Applications, arXiv:2306.05499. https://arxiv.org/abs/2306.05499 ↩
  6. Schulhoff, Pinto, Khan, Bouchard, Si et al.: Ignore This Title and HackAPrompt, arXiv:2311.16119. https://arxiv.org/abs/2311.16119 ↩
  7. Benj Edwards, Ars Technica: AI-powered Bing Chat spills its secrets via prompt injection attack, 10.02.2023. https://arstechnica.com/information-technology/2023/02/ai-powered-bing-chat-spills-its-secrets-via-prompt-injection-attack/ ↩
  8. OWASP GenAI Security Project: LLM05:2025 Improper Output Handling. https://genai.owasp.org/llmrisk/llm052025-improper-output-handling/ ↩
  9. Hines, Lopez, Hall, Zarfati, Zunger, Kiciman: Defending Against Indirect Prompt Injection Attacks With Spotlighting, arXiv:2403.14720. https://arxiv.org/abs/2403.14720 ↩
  10. Piet, Alrashed, Sitawarin, Chen, Wei et al.: Jatmo: Prompt Injection Defense by Task-Specific Finetuning, arXiv:2312.17673. https://arxiv.org/abs/2312.17673 ↩

Im Zusammenhang