Dual-LLM-Muster und CaMeL
Auf Architekturebene setzt die Forschung darauf, nicht vertrauenswürdige Inhalte gar nicht erst über den Kontrollfluss entscheiden zu lassen. Simon Willisons Dual-LLM-Muster trennt dazu ein privilegiertes Modell, das Werkzeuge aufruft, von einem isolierten Modell, das ausschließlich verdächtige Daten verarbeitet.
Diese Muster sind die einzigen Ansätze, die Prompt Injection mit einer belastbaren Eigenschaft beantworten statt mit einer Wahrscheinlichkeit — und die einzigen, die dafür einen messbaren Preis an Funktionalität verlangen.
Dual-LLM: privilegiert und isoliert
Im Dual-LLM-Muster gibt es zwei Rollen. Das privilegierte Modell sieht den Auftrag des Nutzers und darf Werkzeuge aufrufen, bekommt aber niemals Fremddaten zu sehen. Das isolierte Modell verarbeitet die Fremddaten, hat jedoch keinerlei Werkzeugzugriff; sein Ergebnis wird als Wert weitergereicht, nicht als Anweisung.
Der Preis ist Komplexität: Die Anwendung muss die Trennung durchhalten und Ergebnisse als Daten behandeln, auch wenn eine direkte Weitergabe bequemer wäre.
CaMeL: Kontroll- und Datenfluss extrahieren
Das darauf aufbauende CaMeL-Verfahren von Google DeepMind extrahiert Kontroll- und Datenfluss aus der vertrauenswürdigen Anfrage, sodass abgerufene Fremddaten den Programmablauf nicht mehr beeinflussen können. Im AgentDojo-Benchmark löste es 77 Prozent der Aufgaben mit beweisbarer Sicherheitseigenschaft, gegenüber 84 Prozent bei einem ungeschützten System.
Diese Differenz ist die ehrlichste Zahl der gesamten Debatte: Sie beziffert, was belastbare Sicherheit derzeit an Funktionalität kostet — und sie ist kleiner, als viele Betreiber vermuten.
Techniken, gegen die diese Architekturen wirken
Diese Einträge aus dem Techniken-Verzeichnis gehören unmittelbar zu diesem Thema — jeder mit Funktionsweise, Risiko-Einstufung, Schutzmaßnahmen und Primärquelle.
-
Indirekte Prompt Injection
Die Anweisung stammt nicht vom Nutzer, sondern aus Inhalten, die das System selbst lädt — Webseiten, Dokumente, E-Mails. Der Angreifer muss nie mit der Anwendung interagieren.
Risiko hoch -
Gespeicherte Prompt Injection
Die Anweisung wird dauerhaft in einem Datenspeicher abgelegt — Vektordatenbank, Wissensbasis, Profilfeld — und wirkt bei jedem künftigen Abruf erneut, auch auf andere Nutzer.
Risiko hoch -
Gedächtnis-Injektion
Der Angriff schreibt manipulierte Einträge in das Langzeitgedächtnis eines Assistenten — die Anweisung überdauert damit die einzelne Sitzung und wirkt in allen künftigen Gesprächen fort.
Risiko hoch -
Versteckter Text in Webseiten
Anweisungen werden für Menschen unsichtbar in eine Webseite eingebettet — weiße Schrift auf weißem Grund, Schriftgröße null, HTML-Kommentare oder ausgeblendete Elemente — bleiben für den Agenten aber lesbar.
Risiko hoch -
Injektion über Dokumente
PDF-, Office- oder Textdateien enthalten versteckte Anweisungen, die wirksam werden, sobald ein Assistent das Dokument zusammenfassen oder auswerten soll.
Risiko hoch -
Injektion über E-Mail
Eine präparierte E-Mail genügt: Sobald ein Assistent das Postfach durchsucht oder zusammenfasst, gelangen die eingebetteten Anweisungen in seinen Kontext — ohne dass der Nutzer die Mail öffnen muss.
Risiko hoch -
Injektion über Kalender-Einladungen
Anweisungen werden in Titel oder Beschreibung eines Kalendereintrags versteckt und ausgelöst, sobald der Assistent den Kalender liest — bis hin zur Steuerung angebundener Geräte.
Risiko hoch -
Vergiftung von Suchergebnissen
Angreifer stellen Webseiten ins Netz, deren sichtbarer Inhalt für Menschen belanglos ist, die aber gezielt Anweisungen für Agenten enthalten, die diese Seiten über die Websuche abrufen.
Risiko hoch
Passende Werkzeuge
-
CaMeL
Referenzimplementierung einer architektonischen Abwehr: Kontroll- und Datenfluss werden aus der vertrauenswürdigen Anfrage extrahiert, nicht vertrauenswürdige Daten können den Programmfluss nicht mehr beeinflussen.
Forschungsarbeit -
AgentDojo
Dynamische Testumgebung, die Agenten mit realistischen Aufgaben und eingebetteten Injektionen konfrontiert und Nützlichkeit gegen Sicherheit misst.
Open Source -
StruQ
Strukturiertes Instruction-Tuning: Reservierte Sondertoken trennen Anweisungs- und Datenbereich, das Modell lernt, Anweisungen im Datenbereich zu ignorieren.
Forschungsarbeit -
SecAlign
Trainingsverfahren, das Modelle mittels Preference-Optimierung gegen Prompt Injection härtet — es lernt, die injizierte Antwort systematisch niedriger zu bewerten.
Forschungsarbeit
Einordnung in die OWASP LLM Top 10
-
LLM01: Prompt Injection
Eingaben verändern das Verhalten des Modells auf eine vom Betreiber nicht vorgesehene Weise — unabhängig davon, ob der Text für Menschen sichtbar ist oder nicht.
-
LLM06: Übermäßige Handlungsvollmacht
Das System darf mehr, als es für seine Aufgabe müsste — zu viele Werkzeuge, zu weite Rechte, zu viel Autonomie ohne menschliche Kontrolle.
Häufige Fragen
Was ist das Dual-LLM-Muster?
Eine Architektur mit zwei Modellen: Ein privilegiertes Modell sieht den Nutzerauftrag und ruft Werkzeuge auf, ein isoliertes Modell verarbeitet Fremddaten ohne Werkzeugzugriff. Ergebnisse wandern als Daten, nicht als Anweisung.
Was kostet CaMeL an Funktionalität?
Im AgentDojo-Benchmark löste CaMeL 77 Prozent der Aufgaben mit beweisbarer Sicherheitseigenschaft, ein ungeschütztes System 84 Prozent. Die Differenz ist der derzeitige Preis für belastbare Sicherheit.
Quellen
- Simon Willison: The Dual LLM pattern for building AI assistants that can resist prompt injection: https://simonwillison.net/2023/Apr/25/dual-llm-pattern/
- Debenedetti, Shumailov, Fan, Hayes, Carlini et al.: Defeating Prompt Injections by Design (CaMeL, arXiv:2503.18813): https://arxiv.org/abs/2503.18813
- AgentDojo — Benchmark für Angriffe und Verteidigungen bei LLM-Agenten: https://github.com/ethz-spylab/agentdojo