AutoDAN
Verfahren, das mit einem genetischen Algorithmus Jailbreak-Prompts erzeugt, die im Gegensatz zu GCG-Suffixen sprachlich unauffällig und damit für Perplexitäts-Filter schwer erkennbar sind.
- Englischer Begriff
- AutoDAN
- Kategorie
- Automatisierter Angriff
- Risiko
- Risiko hoch
- OWASP-Bezug
- LLM01 — Prompt Injection
- Primärquelle
- arxiv.org
AutoDAN gehört zur Kategorie Automatisierter Angriff und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM01: Prompt Injection.
Funktionsweise
- Ausgangspunkt sind menschlich formulierte Jailbreak-Prompts.
- Ein hierarchischer genetischer Algorithmus mutiert und selektiert Varianten.
- Ergebnis sind flüssig lesbare Prompts mit hoher Erfolgsquote.
Risiko
Risiko hoch Die praktische Gefährdung produktiver Systeme wird für diese Technik als hoch eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM01 — Prompt Injection.
Schutz
Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:
- Perplexitäts-Filter reichen nicht — semantische Klassifikatoren einsetzen.
- Ausgabeseitige Prüfung als zweite Verteidigungslinie.
- Auffällige Wiederholungsmuster über viele Anfragen erkennen.
Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.
Verwandte Techniken
-
GCG-Suffix-Angriff
Gradientenbasiertes Verfahren, das automatisch eine scheinbar sinnlose Zeichenkette berechnet, die an beliebige Anfragen angehängt die Verweigerung des Modells aushebelt.
Risiko hoch -
PAIR (iterative Prompt-Verfeinerung)
Ein angreifendes Sprachmodell verfeinert seinen Prompt anhand der Antworten des Zielmodells — die Autoren berichten Jailbreaks häufig in unter zwanzig Anfragen, ohne Zugriff auf Modellgewichte.
Risiko hoch -
Tree of Attacks (TAP)
Weiterentwicklung von PAIR: Statt einer linearen Verfeinerung wird ein Baum von Angriffspfaden aufgespannt, aussichtslose Zweige werden früh abgeschnitten.
Risiko hoch
Quellen
- AutoDAN — Primärquelle: https://arxiv.org/abs/2310.04451
Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).