DeepInception (verschachtelte Fiktion)
Mehrfach verschachtelte fiktive Szenen — eine Geschichte in einer Geschichte in einer Geschichte — verwässern den Bezug zur Realität, bis das Modell die Sicherheitsprüfung auf die innerste Ebene nicht mehr anwendet.
- Englischer Begriff
- DeepInception
- Kategorie
- Jailbreak
- Risiko
- Risiko mittel
- OWASP-Bezug
- LLM01 — Prompt Injection
- Primärquelle
- arxiv.org
DeepInception (verschachtelte Fiktion) gehört zur Kategorie Jailbreak und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM01: Prompt Injection.
Funktionsweise
- Jede Verschachtelungsebene erhöht die erzählerische Distanz.
- Das Modell behandelt den Inhalt als Fiktion statt als reale Anfrage.
- Die Wirkung hält teils über mehrere Folgeanfragen an.
Risiko
Risiko mittel Die praktische Gefährdung produktiver Systeme wird für diese Technik als mittel eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM01 — Prompt Injection.
Schutz
Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:
- Ausgabeprüfung unabhängig von der Erzählebene.
- Verschachtelungstiefe als Risikosignal führen.
- Sitzung bei erkannter Rahmenverschachtelung zurücksetzen.
Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.
Verwandte Techniken
-
Rollenspiel-Persona
Das Modell wird gebeten, eine fiktive Rolle einzunehmen, für die die üblichen Regeln angeblich nicht gelten — die Fiktion dient als Vorwand für regelwidrige Ausgaben.
Risiko mittel -
Selbsttäuschung des Modells
Das Modell wird veranlasst, den schädlichen Kontext selbst zu erzeugen — anschließend arbeitet es mit seinem eigenen, als vertrauenswürdig behandelten Output weiter.
Risiko mittel -
DAN („Do Anything Now")
Die bekannteste Familie von Community-Jailbreak-Prompts: Das Modell soll eine entfesselte Zweitpersönlichkeit annehmen, die „alles darf" — häufig verstärkt durch ein fiktives Punkte- oder Strafsystem.
Risiko mittel
Quellen
- DeepInception (verschachtelte Fiktion) — Primärquelle: https://arxiv.org/abs/2311.03191
Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).