Glossar
SecAlign
SecAlign härtet Modelle über Preference-Optimierung: Trainiert wird auf simulierten Injektionen mit jeweils erwünschter und unerwünschter Antwort. Gegenüber StruQ berichten die Autoren eine nochmals deutlich reduzierte Erfolgsquote optimierungsfreier Angriffe.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind StruQ, Alignment, Instruktions-Hierarchie.
Verwandte Begriffe
- StruQ — StruQ ist ein Trainingsverfahren, das mit reservierten Sondertoken eine strukturelle Trennung von Anweisung und Daten erzwingt…
- Alignment — Alignment bezeichnet die Ausrichtung eines Modells auf hilfreiches, ehrliches und unschädliches Verhalten, typischerweise über…
- Instruktions-Hierarchie — Die Instruktions-Hierarchie trainiert ein Modell darauf, Anweisungen nach Vertrauensstufe zu gewichten: System vor Entwickler…
Quellen
- SecAlign — Beleg: https://arxiv.org/abs/2410.05451