prompt injections.de
Schutzmaßnahme

Checkliste: 20 Punkte vor dem Produktivgang

Diese Checkliste fasst die Maßnahmen zusammen, die sich aus den OWASP-Empfehlungen zu LLM01 und der BSI-Handreichung zu Evasion Attacks ableiten. Sie ersetzt keine Risikoanalyse, macht aber sichtbar, welche Fragen vor einem Produktivgang beantwortet sein sollten.

Jeder Punkt verweist auf die zugehörige Vertiefung. Die Grundlagen zum Thema stehen unter Was ist Prompt Injection?, die Maßnahmen im Überblick im Schutz-Bereich.

Entwurf und Rechte

  • 1. Die tödliche Trias geprüft: private Daten, Fremdinhalte, Kanal nach außen — sind alle drei gegeben? Siehe tödliche Trias.
  • 2. Rechte aus der Aufgabe abgeleitet, nicht aus der Nutzerrolle kopiert. Siehe Least Privilege.
  • 3. Werkzeugsatz auf die Aufgabe zugeschnitten, kein globaler Katalog.
  • 4. Zugangsdaten kurzlebig und je Aufruf vergeben, nicht dauerhaft im Kontext.
  • 5. Für jede Aktion mit Geld-, Daten- oder Außenwirkung ist eine menschliche Freigabe definiert.

Eingang und Kontext

  • 6. Alle Datenquellen inventarisiert, die in den Kontext gelangen können.
  • 7. Fremddaten im Prompt als solche markiert. Siehe Spotlighting.
  • 8. Unsichtbare Zeichen und Metadaten werden vor der Verarbeitung entfernt. Siehe Eingabeprüfung.
  • 9. Betreiber-Anweisungen stehen in der Systemrolle, Fremddaten niemals.
  • 10. Der System-Prompt enthält keine Geheimnisse — er ist auslesbar.

Ausgang und Wirkung

  • 11. Ausgabeformat definiert und wird geprüft. Siehe Ausgabeprüfung.
  • 12. Links und eingebettete Ressourcen in Ausgaben werden bereinigt.
  • 13. Generierter Code läuft nur in einer Sandbox ohne Netz und ohne dauerhafte Geheimnisse.
  • 14. Modellausgaben werden von nachgelagerten Systemen als Fremdeingabe behandelt.
  • 15. Ausgehende Ziele sind eingeschränkt.

Betrieb und Nachweis

  • 16. Werkzeugaufrufe werden protokolliert; Ratenlimits und Budgets sind gesetzt.
  • 17. Auffälliges Verhalten wird überwacht, nicht nur auffällige Eingaben. Siehe Erkennung.
  • 18. Ein Testlauf gegen Injektion ist Teil der Freigabe. Siehe Penetrationstest.
  • 19. Persistente Speicher (Gedächtnis, Index) sind einsehbar, prüfbar und rückrollbar.
  • 20. Es existiert ein Verfahren für den Ernstfall: Wer schaltet was ab, und wie wird der Umfang eingegrenzt?

Passende Werkzeuge

  • Scanner · NVIDIA

    garak

    Schwachstellen-Scanner für Sprachmodelle mit einer großen Sammlung von Prüfmodulen für Prompt Injection, Jailbreaks, Datenlecks, Toxizität und Halluzination.

    Open Source
  • Red-Teaming · promptfoo

    promptfoo

    Test- und Red-Teaming-Werkzeug für Prompts und Modelle mit Plugin-System für Angriffsklassen und CI-Integration.

    Open Source
  • Benchmark · ETH Zürich (SPY Lab)

    AgentDojo

    Dynamische Testumgebung, die Agenten mit realistischen Aufgaben und eingebetteten Injektionen konfrontiert und Nützlichkeit gegen Sicherheit misst.

    Open Source
  • Guardrail-Framework · Protect AI

    LLM Guard

    Sicherheits-Toolkit mit Scannern für Eingaben und Ausgaben — Prompt Injection, Anonymisierung, Geheimnisse, Toxizität, Relevanz und mehr.

    Open Source

Einordnung in die OWASP LLM Top 10

  • OWASP LLM Top 10 · 2025

    LLM01: Prompt Injection

    Eingaben verändern das Verhalten des Modells auf eine vom Betreiber nicht vorgesehene Weise — unabhängig davon, ob der Text für Menschen sichtbar ist oder nicht.

  • OWASP LLM Top 10 · 2025

    LLM05: Unsichere Verarbeitung von Ausgaben

    Ausgaben des Modells werden ungeprüft an nachgelagerte Systeme weitergereicht — als HTML gerendert, als Datenbankabfrage abgesetzt oder als Befehl ausgeführt.

  • OWASP LLM Top 10 · 2025

    LLM06: Übermäßige Handlungsvollmacht

    Das System darf mehr, als es für seine Aufgabe müsste — zu viele Werkzeuge, zu weite Rechte, zu viel Autonomie ohne menschliche Kontrolle.

Häufige Fragen

Gibt es eine Checkliste gegen Prompt Injection?

Ja. Diese Seite fasst zwanzig prüfbare Punkte aus den OWASP-Empfehlungen zu LLM01 und der BSI-Handreichung zu Evasion Attacks zusammen — von der Rechtevergabe über Eingang und Ausgang bis zu Betrieb und Nachweis.

Quellen

  1. OWASP GenAI Security Project: LLM01:2025 Prompt Injection: https://genai.owasp.org/llmrisk/llm01-prompt-injection/
  2. BSI: Evasion Attacks on LLMs — Checkliste: https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Evasion_Attacks_on_LLMs-Checklist.pdf
  3. BSI: Evasion Attacks on LLMs — Countermeasures: https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/KI/Evasion_Attacks_on_LLMs-Countermeasures.pdf

Im Zusammenhang