prompt injections.de
Glossar

StruQ

StruQ ist ein Trainingsverfahren, das mit reservierten Sondertoken eine strukturelle Trennung von Anweisung und Daten erzwingt. Das Modell lernt dabei, Anweisungen im Datenbereich systematisch zu ignorieren.

Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind SecAlign, Begrenzer (Delimiter), Instruktions-Hierarchie.

Verwandte Begriffe

  • SecAlign — SecAlign härtet Modelle über Preference-Optimierung: Trainiert wird auf simulierten Injektionen mit jeweils erwünschter und…
  • Begrenzer (Delimiter) — Begrenzer sind Markierungen, die Datenbereiche im Prompt vom Anweisungsbereich abgrenzen. Sie helfen nur, wenn die Zeichen in…
  • Instruktions-Hierarchie — Die Instruktions-Hierarchie trainiert ein Modell darauf, Anweisungen nach Vertrauensstufe zu gewichten: System vor Entwickler…

Quellen

  1. StruQ — Beleg: https://arxiv.org/abs/2402.06363

Im Zusammenhang