Echo Chamber
Von NeuralTrust beschriebene Kontextvergiftung: Harmlose „Saat"-Aussagen werden gesetzt und über mehrere Turns vom Modell selbst wiederholt, bis der vergiftete Kontext als eigener Konsens wirkt.
- Englischer Begriff
- Echo Chamber
- Kategorie
- Mehrstufiger Angriff
- Risiko
- Risiko hoch
- OWASP-Bezug
- LLM01 — Prompt Injection
- Primärquelle
- neuraltrust.ai
Echo Chamber gehört zur Kategorie Mehrstufiger Angriff und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM01: Prompt Injection.
Funktionsweise
- Der Angreifer nennt das Ziel nie direkt, sondern setzt Anknüpfungspunkte.
- Das Modell greift eigene frühere Formulierungen wieder auf und verstärkt sie.
- In Kombination mit erzählerischer Einbettung wurde die Technik gegen aktuelle Spitzenmodelle demonstriert.
Risiko
Risiko hoch Die praktische Gefährdung produktiver Systeme wird für diese Technik als hoch eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM01 — Prompt Injection.
Schutz
Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:
- Kontexthistorie in die Sicherheitsbewertung einbeziehen.
- Selbstreferenz-Schleifen und schleichende Themendrift überwachen.
- Guardrails auf Sitzungsebene statt nur auf Nachrichtenebene.
Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.
Verwandte Techniken
-
Crescendo
Von Microsoft beschriebener Mehrschritt-Angriff: Das Gespräch beginnt harmlos und steigert sich in kleinen, jeweils plausiblen Schritten, bis das Modell den ursprünglich abgelehnten Inhalt liefert.
Risiko hoch -
Many-Shot-Jailbreaking
Von Anthropic veröffentlichte Technik: Sehr viele fingierte Dialogbeispiele, in denen ein „Assistent" regelwidrig antwortet, werden in den Prompt gestellt — das Modell setzt das Muster fort.
Risiko hoch -
Persuasions-Jailbreak
Der Angriff nutzt klassische sozialwissenschaftliche Überzeugungstechniken — Autorität, Reziprozität, emotionale Appelle — statt technischer Tricks, um das Modell zur Kooperation zu bewegen.
Risiko mittel
Quellen
- Echo Chamber — Primärquelle: https://neuraltrust.ai/blog/echo-chamber-context-poisoning-jailbreak
Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).