LLM09: Fehlinformation
Das Modell erzeugt falsche, erfundene oder irreführende Aussagen, die im nachgelagerten Prozess als zutreffend behandelt werden.
- OWASP-Kennung
- LLM09
- Englischer Titel
- Misinformation
- Fassung
- 2025 (OWASP Gen AI Security Project)
- Primärquelle
- genai.owasp.org
LLM09 ist ein Eintrag der OWASP Top 10 für LLM-Anwendungen, der maßgeblichen Referenzliste für Sicherheitsrisiken in Systemen mit großen Sprachmodellen. Auf Platz eins steht Prompt Injection; die übrigen Risiken stehen damit meist in direktem Zusammenhang.
Warum das Risiko kritisch ist
Falsche Ausgaben wirken sprachlich souverän. In Beratung, Medizin, Recht oder Finanzen entsteht daraus unmittelbarer Schaden.
Typische Ausprägungen
- Erfundene Quellen, Urteile oder Produktangaben
- Halluzinierte Paketnamen, die zu Lieferketten-Angriffen einladen
- Übermäßiges Vertrauen der Nutzer in die Ausgabe
Gegenmaßnahmen
- Belegpflicht über RAG mit geprüften Quellen
- Menschliche Prüfung in kritischen Fachdomänen
- Unsicherheiten in der Oberfläche sichtbar machen
Die Umsetzung im Detail behandelt der Bereich Schutz vor Prompt Injection.
Techniken, die auf dieses Risiko einzahlen
-
RAG-Vergiftung
Präparierte Dokumente werden so gestaltet, dass sie für bestimmte Nutzerfragen sicher in die Top-Treffer der Vektorsuche gelangen und dort ihre Anweisungen ausspielen.
Risiko hoch
Häufige Fragen
Was besagt LLM09 der OWASP LLM Top 10?
Das Modell erzeugt falsche, erfundene oder irreführende Aussagen, die im nachgelagerten Prozess als zutreffend behandelt werden.
Warum ist Fehlinformation kritisch?
Falsche Ausgaben wirken sprachlich souverän. In Beratung, Medizin, Recht oder Finanzen entsteht daraus unmittelbarer Schaden.
Wie schützt man sich vor Fehlinformation?
Belegpflicht über RAG mit geprüften Quellen Menschliche Prüfung in kritischen Fachdomänen Unsicherheiten in der Oberfläche sichtbar machen
Quellen
- OWASP LLM09 — Misinformation: https://genai.owasp.org/llmrisk/llm092025-misinformation/
- OWASP Top 10 für LLM-Anwendungen 2025 (PDF): https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-v2025.pdf
Die OWASP-Inhalte stehen unter Creative-Commons-Lizenz. Die deutschen Zusammenfassungen auf diesem Portal sind eigene Formulierungen, keine autorisierte Übersetzung.