prompt injections.de
Glossar

Red Teaming

Red Teaming ist das systematische Angreifen des eigenen Systems, um Schwachstellen vor Dritten zu finden. Bei KI-Systemen umfasst es Jailbreak-Versuche, Injektionstests und den Missbrauch angebundener Werkzeuge.

Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Angriffserfolgsquote (ASR), Benchmark, Guardrail.

Verwandte Begriffe

  • Angriffserfolgsquote (ASR) — Die Angriffserfolgsquote gibt an, welcher Anteil der Angriffsversuche das gewünschte Ergebnis erzielt. Sie ist die zentrale…
  • Benchmark — Ein Sicherheits-Benchmark misst die Widerstandsfähigkeit eines Systems anhand eines festgelegten Angriffs- und Aufgabensatzes…
  • Guardrail — Ein Guardrail ist eine Schutzschicht außerhalb des Modells, die Ein- und Ausgaben prüft, filtert oder blockiert. Guardrails sind…

Quellen

  1. Red Teaming — Beleg: https://www.nist.gov/itl/ai-risk-management-framework

Im Zusammenhang