Prompt Injection im Unternehmen: Governance und Compliance
Prompt Injection ist kein Produktfehler, den eine Abteilung beheben kann, sondern eine Eigenschaft der eingesetzten Technologie. Organisationen brauchen deshalb keine einmalige Maßnahme, sondern eine Zuständigkeit: Wer entscheidet, welche Daten ein Assistent sehen darf und welche Aktionen ohne Freigabe laufen?
Diese Seite ordnet Prompt Injection in bestehende Rahmenwerke ein — für Sicherheits-, Datenschutz- und Compliance-Verantwortliche, die KI-Anwendungen freigeben sollen.
Bestehende Rahmenwerke nutzen
- OWASP Top 10 für LLM-Anwendungen — die fachliche Referenzliste für Risiken; eignet sich als Prüfraster für Freigaben. Siehe OWASP LLM Top 10.
- BSI-Handreichungen — deutschsprachige Empfehlungen samt Härtungs-Checkliste für Entwickler und IT-Verantwortliche in Unternehmen und Behörden.
- NIST AI Risk Management Framework — Rahmen für die Risikosteuerung über den Lebenszyklus, hilfreich für die Verankerung in bestehenden Prozessen.
- MITRE ATLAS — Wissensbasis zu Angriffstechniken gegen KI-Systeme, nutzbar für Bedrohungsmodellierung.
- EU-KI-Verordnung — regulatorischer Rahmen; die Einordnung der eigenen Anwendung bestimmt Dokumentations- und Prüfpflichten.
Drei Fragen, die vor jeder Freigabe beantwortet sein sollten
Erstens: Welche Daten erreicht die Anwendung, und welche davon sind schutzbedürftig? Zweitens: Welche Aktionen kann sie ohne menschliche Bestätigung auslösen? Drittens: Wie würde ein Missbrauch auffallen, und wer könnte ihn stoppen?
Diese drei Fragen ersetzen keine Risikoanalyse, verhindern aber die häufigste Fehlentscheidung: die Freigabe eines Assistenten, dessen Rechte niemand vollständig benennen kann.
Für die technische Umsetzung dieser Antworten liefert die Checkliste vor dem Produktivgang zwanzig prüfbare Punkte.
Passende Werkzeuge
-
HiddenLayer AISec Platform
Sicherheitsplattform für KI-Systeme mit Modell-Scanning, Laufzeitüberwachung und einer eigenen Forschungseinheit für Angriffstechniken.
kommerziell -
Cisco AI Defense
Plattform zur Absicherung von KI-Anwendungen mit automatisiertem Modell-Red-Teaming und Laufzeit-Leitplanken.
kommerziell -
NeuralTrust
Gateway und Guardrail-Plattform für LLM-Anwendungen; die hauseigene Forschung veröffentlichte unter anderem die Echo-Chamber-Technik.
kommerziell -
Giskard
Testframework für KI-Systeme, das automatisiert nach Schwachstellen sucht — darunter Prompt Injection, Halluzination und Vorurteile — und Testberichte erzeugt.
Open Source
Einordnung in die OWASP LLM Top 10
-
LLM01: Prompt Injection
Eingaben verändern das Verhalten des Modells auf eine vom Betreiber nicht vorgesehene Weise — unabhängig davon, ob der Text für Menschen sichtbar ist oder nicht.
-
LLM02: Offenlegung sensibler Informationen
Das Modell gibt personenbezogene Daten, Geschäftsgeheimnisse, Zugangsdaten oder interne Details preis — aus Trainingsdaten, aus dem Kontext oder aus angebundenen Systemen.
-
LLM06: Übermäßige Handlungsvollmacht
Das System darf mehr, als es für seine Aufgabe müsste — zu viele Werkzeuge, zu weite Rechte, zu viel Autonomie ohne menschliche Kontrolle.
Häufige Fragen
Wer ist im Unternehmen für Prompt Injection zuständig?
Die Verantwortung liegt beim Betreiber der Anwendung, nicht beim Modellanbieter. Praktisch braucht es eine benannte Zuständigkeit für die Frage, welche Daten ein Assistent erreicht und welche Aktionen ohne menschliche Freigabe laufen dürfen.
Welche Rahmenwerke helfen bei der Einordnung?
Die OWASP Top 10 für LLM-Anwendungen als fachliches Prüfraster, die BSI-Handreichungen für deutschsprachige Empfehlungen, das NIST AI Risk Management Framework für die Prozessverankerung und MITRE ATLAS für die Bedrohungsmodellierung.
Quellen
- BSI: BSI stellt Maßnahmen gegen Evasion Attacks auf große KI-Sprachmodelle vor (10.11.2025): https://www.bsi.bund.de/DE/Service-Navi/Presse/Alle-Meldungen-News/Meldungen/Evasion-Attacks-LLM_251110.html
- NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
- MITRE ATLAS: https://atlas.mitre.org/
- Verordnung (EU) 2024/1689 über künstliche Intelligenz: https://eur-lex.europa.eu/eli/reg/2024/1689/oj