Glossar
Instruktions-Hierarchie
Die Instruktions-Hierarchie trainiert ein Modell darauf, Anweisungen nach Vertrauensstufe zu gewichten: System vor Entwickler vor Nutzer vor abgerufenen Daten. Sie erhöht die Widerstandsfähigkeit deutlich, ersetzt aber keine Rechtekontrolle außerhalb des Modells.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind System-Prompt, Spotlighting, StruQ.
Verwandte Begriffe
- System-Prompt — Der System-Prompt ist die vom Betreiber gesetzte Grundanweisung, die Rolle, Regeln und Aufgabenrahmen des Modells festlegt. Er…
- Spotlighting — Spotlighting kennzeichnet externe Inhalte im Prompt eindeutig als Daten — durch Begrenzer, Markierungen oder Kodierung — damit…
- StruQ — StruQ ist ein Trainingsverfahren, das mit reservierten Sondertoken eine strukturelle Trennung von Anweisung und Daten erzwingt…
Quellen
- Instruktions-Hierarchie — Beleg: https://arxiv.org/abs/2404.13208