Deceptive Delight
Von Unit 42 beschriebene Technik: Ein unzulässiges Thema wird zwischen zwei harmlose Themen gebettet und das Modell gebeten, alle drei in einer positiven Erzählung zu verbinden — anschließend soll es den kritischen Teil ausführen.
- Englischer Begriff
- Deceptive Delight
- Kategorie
- Mehrstufiger Angriff
- Risiko
- Risiko mittel
- OWASP-Bezug
- LLM01 — Prompt Injection
- Primärquelle
- unit42.paloaltonetworks.com
Deceptive Delight gehört zur Kategorie Mehrstufiger Angriff und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM01: Prompt Injection.
Funktionsweise
- Die Einbettung in harmlose Themen senkt die Aufmerksamkeit der Sicherheitsmechanismen.
- Der erste Turn erzeugt nur eine unverfängliche Verbindung.
- Erst die Bitte um Vertiefung fördert die problematischen Details zutage.
Risiko
Risiko mittel Die praktische Gefährdung produktiver Systeme wird für diese Technik als mittel eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM01 — Prompt Injection.
Schutz
Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:
- Themenmischungen mit einem auffälligen Element gesondert prüfen.
- Vertiefungsanfragen erneut vollständig bewerten.
- Kontextübergreifende statt turnweiser Klassifikation.
Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.
Verwandte Techniken
-
Bad Likert Judge
Von Unit 42 beschriebene Technik: Das Modell wird als Bewertungsinstanz eingesetzt und soll Beispielantworten zu verschiedenen Stufen einer Likert-Skala erzeugen — die Höchststufe enthält den schädlichen Inhalt.
Risiko hoch -
Crescendo
Von Microsoft beschriebener Mehrschritt-Angriff: Das Gespräch beginnt harmlos und steigert sich in kleinen, jeweils plausiblen Schritten, bis das Modell den ursprünglich abgelehnten Inhalt liefert.
Risiko hoch -
Echo Chamber
Von NeuralTrust beschriebene Kontextvergiftung: Harmlose „Saat"-Aussagen werden gesetzt und über mehrere Turns vom Modell selbst wiederholt, bis der vergiftete Kontext als eigener Konsens wirkt.
Risiko hoch
Quellen
- Deceptive Delight — Primärquelle: https://unit42.paloaltonetworks.com/jailbreak-llms-through-camouflage-distraction/
Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).