prompt injections.de
Technik · Jailbreak

Selbsttäuschung des Modells

Das Modell wird veranlasst, den schädlichen Kontext selbst zu erzeugen — anschließend arbeitet es mit seinem eigenen, als vertrauenswürdig behandelten Output weiter.

Englischer Begriff
Self-Deception
Kategorie
Jailbreak
Risiko
Risiko mittel
OWASP-Bezug
LLM01 — Prompt Injection
Primärquelle
arxiv.org

Selbsttäuschung des Modells (englisch „Self-Deception") gehört zur Kategorie Jailbreak und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM01: Prompt Injection.

Funktionsweise

  • Zunächst erzeugt das Modell ein scheinbar neutrales Szenario.
  • Die eigene Ausgabe wird im nächsten Schritt als Ausgangsmaterial verwendet.
  • Der selbst erzeugte Kontext umgeht die Prüfung fremder Eingaben.

Risiko

Risiko mittel Die praktische Gefährdung produktiver Systeme wird für diese Technik als mittel eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM01 — Prompt Injection.

Schutz

Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:

  • Modell-Ausgaben, die zurück in den Kontext fließen, wie fremde Eingaben prüfen.
  • Keine impliziten Vertrauensvorschüsse für selbst erzeugten Text.
  • Eigene Prüfinstanz zwischen Generierungs- und Verwendungsschritt.

Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.

Verwandte Techniken

  • Jailbreak

    DeepInception (verschachtelte Fiktion)

    Mehrfach verschachtelte fiktive Szenen — eine Geschichte in einer Geschichte in einer Geschichte — verwässern den Bezug zur Realität, bis das Modell die Sicherheitsprüfung auf die innerste Ebene nicht mehr anwendet.

    Risiko mittel
  • Mehrstufiger Angriff

    Echo Chamber

    Von NeuralTrust beschriebene Kontextvergiftung: Harmlose „Saat"-Aussagen werden gesetzt und über mehrere Turns vom Modell selbst wiederholt, bis der vergiftete Kontext als eigener Konsens wirkt.

    Risiko hoch

Quellen

  1. Selbsttäuschung des Modells — Primärquelle: https://arxiv.org/abs/2308.11521

Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).

Im Zusammenhang