Crescendo
Von Microsoft beschriebener Mehrschritt-Angriff: Das Gespräch beginnt harmlos und steigert sich in kleinen, jeweils plausiblen Schritten, bis das Modell den ursprünglich abgelehnten Inhalt liefert.
- Englischer Begriff
- Crescendo
- Kategorie
- Mehrstufiger Angriff
- Risiko
- Risiko hoch
- OWASP-Bezug
- LLM01 — Prompt Injection
- Primärquelle
- arxiv.org
Crescendo gehört zur Kategorie Mehrstufiger Angriff und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM01: Prompt Injection.
Funktionsweise
- Jeder Schritt bezieht sich auf die vorherige Antwort des Modells.
- Das Modell bleibt konsistent zu seinem eigenen Gesprächsverlauf statt zu seinen Regeln.
- Kein einzelner Turn wirkt für sich genommen schädlich.
Risiko
Risiko hoch Die praktische Gefährdung produktiver Systeme wird für diese Technik als hoch eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM01 — Prompt Injection.
Schutz
Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:
- Sicherheitsbewertung über den gesamten Gesprächsverlauf, nicht pro Turn.
- Eskalationsmuster über mehrere Turns erkennen.
- Sitzungen mit auffälliger Themendrift begrenzen oder zurücksetzen.
Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.
Verwandte Techniken
-
Echo Chamber
Von NeuralTrust beschriebene Kontextvergiftung: Harmlose „Saat"-Aussagen werden gesetzt und über mehrere Turns vom Modell selbst wiederholt, bis der vergiftete Kontext als eigener Konsens wirkt.
Risiko hoch -
Bad Likert Judge
Von Unit 42 beschriebene Technik: Das Modell wird als Bewertungsinstanz eingesetzt und soll Beispielantworten zu verschiedenen Stufen einer Likert-Skala erzeugen — die Höchststufe enthält den schädlichen Inhalt.
Risiko hoch -
Deceptive Delight
Von Unit 42 beschriebene Technik: Ein unzulässiges Thema wird zwischen zwei harmlose Themen gebettet und das Modell gebeten, alle drei in einer positiven Erzählung zu verbinden — anschließend soll es den kritischen Teil ausführen.
Risiko mittel
Quellen
- Crescendo — Primärquelle: https://arxiv.org/abs/2404.01833
Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).