Code-Injektion über LLM-Ausgaben
Die Ausgabe des Modells wird ungeprüft weiterverarbeitet — als HTML gerendert, als SQL abgesetzt, als Shell-Befehl ausgeführt. Eine Injektion wird damit zu klassischer Codeausführung.
- Englischer Begriff
- Insecure Output Handling / Code Injection
- Kategorie
- Angriff auf Agenten
- Risiko
- Risiko hoch
- OWASP-Bezug
- LLM05 — Unsichere Verarbeitung von Ausgaben
- Primärquelle
- genai.owasp.org
Code-Injektion über LLM-Ausgaben (englisch „Insecure Output Handling / Code Injection") gehört zur Kategorie Angriff auf Agenten und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM05: Unsichere Verarbeitung von Ausgaben.
Funktionsweise
- Der Payload lässt das Modell Markup, Query oder Befehl erzeugen.
- Die nachgelagerte Komponente vertraut der Ausgabe blind.
- Ergebnis reicht von XSS über SQL-Injection bis zur Remote-Codeausführung.
Risiko
Risiko hoch Die praktische Gefährdung produktiver Systeme wird für diese Technik als hoch eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM05 — Unsichere Verarbeitung von Ausgaben.
Schutz
Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:
- Modellausgaben wie Nutzereingaben behandeln: validieren, escapen, parametrisieren.
- Ausführung nur in Sandbox-Umgebungen mit minimalen Rechten.
- Strenge Schema-Validierung vor jeder Weiterverarbeitung.
Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.
Verwandte Techniken
-
Werkzeug-Missbrauch durch Injektion
Die eingeschleuste Anweisung veranlasst den Agenten, seine angebundenen Werkzeuge zweckwidrig einzusetzen — Mails versenden, Dateien schreiben, Käufe auslösen, Code ausführen.
Risiko hoch -
Verwirrter Stellvertreter
Der Agent handelt mit den Rechten des Nutzers, folgt aber der Absicht eines Angreifers — er wird zum Stellvertreter, der seine Berechtigungen fremdgesteuert einsetzt.
Risiko hoch
Quellen
- Code-Injektion über LLM-Ausgaben — Primärquelle: https://genai.owasp.org/llmrisk/llm052025-improper-output-handling/
Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).