prompt injections.de
Dokumentierter Vorfall · 20. September 2024

SpAIware: Prompt Injection schreibt sich in das Langzeitgedächtnis von ChatGPT

Der Sicherheitsforscher Johann Rehberger zeigte, wie eine über eine manipulierte Webseite ausgelöste Prompt Injection dauerhafte Anweisungen in das Langzeitgedächtnis von ChatGPT schrieb. Diese wirkten anschließend in neuen Unterhaltungen weiter und leiteten Inhalte an einen fremden Server aus — der anschaulichste öffentliche Fall für gespeicherte Prompt Injection.

Zeitpunkt
20. September 2024
Betroffenes System
ChatGPT (macOS-App) mit Langzeitgedächtnis
Wirkung
Dauerhafte Anweisungen im Gedächtnis, die in neuen Unterhaltungen fortwirkten und Inhalte an einen fremden Server ausleiteten
Stand der Behebung
Von OpenAI in der macOS-App mit Version 1.2024.247 adressiert
Primärquelle
embracethered.com

Der Fall ist ein belegtes Beispiel für Prompt Injection in produktiven Systemen. Die Darstellung ist sachlich und erklärend; sie enthält keine Reproduktionsanleitung. Weitere Fälle stehen in der Vorfall-Übersicht.

Was passiert ist

Ausgangspunkt war eine indirekte Injektion: Der Assistent verarbeitete Inhalte einer vom Angreifer kontrollierten Webseite.

Statt nur die laufende Antwort zu manipulieren, veranlasste die eingeschleuste Anweisung das System, einen Eintrag in den persistenten Speicher zu schreiben.

Damit überdauerte die Anweisung die Sitzung: Sie wurde bei späteren Gesprächen erneut in den Kontext geladen und wirkte dort fort.

OpenAI schloss die Lücke in der macOS-App mit Version 1.2024.247; die Gegenmaßnahme setzte nach Darstellung des Forschers an der Exfiltration an.

Was der Fall zeigt

  • Persistente Speicher verschieben die Sicherheitsfrage: Es geht nicht mehr nur darum, eine Eingabe zu filtern, sondern welche Autorität gespeicherte Inhalte beim Wiedereinlesen erhalten.
  • Ein einmal erfolgreicher Angriff kann ohne erneuten Zugriff weiterwirken — die Wirkung ist zeitlich entkoppelt vom Angriffszeitpunkt.
  • Gedächtnis-Einträge gehören in eine sichtbare, prüfbare und löschbare Form; stille Schreibzugriffe durch Fremdinhalte sind ein Fehler im Entwurf.

Verwendete Technik

  • Indirekte Injektion

    Gedächtnis-Injektion

    Der Angriff schreibt manipulierte Einträge in das Langzeitgedächtnis eines Assistenten — die Anweisung überdauert damit die einzelne Sitzung und wirkt in allen künftigen Gesprächen fort.

    Risiko hoch
  • Indirekte Injektion

    Gespeicherte Prompt Injection

    Die Anweisung wird dauerhaft in einem Datenspeicher abgelegt — Vektordatenbank, Wissensbasis, Profilfeld — und wirkt bei jedem künftigen Abruf erneut, auch auf andere Nutzer.

    Risiko hoch
  • Datenabfluss

    Datenabfluss über Markdown-Bilder

    Das Modell wird veranlasst, ein Bild einzubetten, dessen URL die zu stehlenden Daten als Parameter enthält. Das Rendern der Antwort löst den Abruf aus und schickt die Daten an den Angreifer.

    Risiko hoch

Quellen

  1. Johann Rehberger: Spyware Injection Into Your ChatGPT's Long-Term Memory (SpAIware): https://embracethered.com/blog/posts/2024/chatgpt-macos-app-persistent-data-exfiltration/
  2. Johann Rehberger: ChatGPT — Hacking Memories with Prompt Injection: https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/

Im Zusammenhang