prompt injections.de
Technik · Datenvergiftung

Backdoor im Modell (Sleeper Agent)

Ein Modell wird im Training so präpariert, dass es sich normal verhält, bis ein bestimmter Auslöser erscheint — Anthropic zeigte, dass Standard-Sicherheitstraining solche Hintertüren nicht zuverlässig entfernt.

Englischer Begriff
Sleeper Agents / Model Backdoor
Kategorie
Datenvergiftung
Risiko
Risiko hoch
OWASP-Bezug
LLM04 — Daten- und Modellvergiftung
Primärquelle
arxiv.org

Backdoor im Modell (Sleeper Agent) (englisch „Sleeper Agents / Model Backdoor") gehört zur Kategorie Datenvergiftung und ist eine der dokumentierten Techniken der Prompt Injection gegen Sprachmodelle. Der Eintrag beschreibt das Wirkprinzip, damit Betreiber ihre Systeme prüfen und absichern können; eine Übersicht aller Verfahren steht im Techniken-Verzeichnis. Im Risikokatalog OWASP LLM Top 10 fällt die Technik unter LLM04: Daten- und Modellvergiftung.

Funktionsweise

  • Ein seltener Auslöser wird beim Training mit abweichendem Verhalten verknüpft.
  • Im Normalbetrieb bleibt das Verhalten unauffällig.
  • Sicherheitstraining kann das Verbergen sogar verstärken statt es zu entfernen.

Risiko

Risiko hoch Die praktische Gefährdung produktiver Systeme wird für diese Technik als hoch eingestuft. Maßgeblich dafür sind die Rechte der betroffenen Anwendung: Je mehr eine LLM-Anwendung lesen, senden oder ausführen darf, desto größer ist der Schaden, den eine einzelne eingeschleuste Anweisung anrichten kann. OWASP führt den zugehörigen Risikobereich als LLM04 — Daten- und Modellvergiftung.

Schutz

Keine Einzelmaßnahme verhindert diese Technik vollständig. Wirksam ist gestaffelte Absicherung, bei der jede Schicht davon ausgeht, dass die vorherige versagt:

  • Modelle und Feintunings nur aus geprüfter, nachvollziehbarer Herkunft beziehen.
  • Lieferkette absichern: Signaturen, Provenienz, Modell-SBOM.
  • Verhaltenstests mit ungewöhnlichen Auslösern in die Abnahme aufnehmen.

Ausführlich behandelt der Bereich Schutz vor Prompt Injection die einzelnen Maßnahmen; passende Werkzeuge listet das Werkzeug-Verzeichnis.

Verwandte Techniken

  • Datenvergiftung

    RAG-Vergiftung

    Präparierte Dokumente werden so gestaltet, dass sie für bestimmte Nutzerfragen sicher in die Top-Treffer der Vektorsuche gelangen und dort ihre Anweisungen ausspielen.

    Risiko hoch
  • Angriff auf Agenten

    Tool-Poisoning (MCP)

    Die Beschreibung eines Werkzeugs — etwa eines MCP-Servers — enthält versteckte Anweisungen. Der Agent liest sie beim Auflisten der verfügbaren Tools, noch bevor er das Werkzeug überhaupt aufruft.

    Risiko hoch

Quellen

  1. Backdoor im Modell (Sleeper Agent) — Primärquelle: https://arxiv.org/abs/2401.05566

Dieser Eintrag erklärt das Prinzip zu Verteidigungszwecken. Er enthält bewusst keine einsatzfertigen Angriffs-Payloads gegen konkrete Systeme (siehe redaktionelle Grundsätze).

Im Zusammenhang