prompt injections.de
Werkzeug · Guardrail-API

OpenAI Moderation API

Klassifikations-API, die Texte und Bilder gegen eine Kategorienliste schädlicher Inhalte prüft.

Anbieter
OpenAI
Typ
Guardrail-API
Lizenzmodell
kommerziell
Primärquelle
platform.openai.com

OpenAI Moderation API ist im Verzeichnis der Werkzeuge geführt, die beim Schutz vor Prompt Injection in LLM-Anwendungen eingesetzt werden. Die Beschreibung stammt aus der Primärquelle des Anbieters; Wirksamkeitsversprechen werden nicht übernommen. Vergleichbare Werkzeuge stehen im Werkzeug-Verzeichnis und im Guardrail-Vergleich.

Wofür es sich eignet

Ausgabeseitige Inhaltsprüfung — deckt Inhaltsrisiken ab, ist aber kein spezialisierter Injektionsschutz.

Was es nicht leistet

Eine vorgelagerte Prüf-API senkt die Trefferquote von Angriffen, ersetzt aber keine Rechtebeschränkung: Was der Filter durchlässt, trifft weiterhin auf die vollen Berechtigungen der Anwendung.

Der Grundsatz gilt unabhängig vom Produkt: Ein Sprachmodell ist kein Sicherheitskontrollpunkt. Wenn eine Aktion Schaden anrichten kann, muss sie außerhalb des Modells autorisiert werden — siehe Least Privilege für KI-Agenten.

Vergleichbare Werkzeuge

  • Lakera

    Lakera Guard

    Echtzeit-API zur Erkennung von Prompt Injection, Jailbreaks und Datenabfluss, die als Prüfschicht vor und hinter das Sprachmodell gehängt wird.

    kommerziell
  • Microsoft

    Azure AI Prompt Shields

    Dienst innerhalb von Azure AI Content Safety, der direkte Jailbreak-Angriffe und indirekte Injektionen in eingebetteten Dokumenten erkennt.

    kommerziell
  • Amazon Web Services

    Amazon Bedrock Guardrails

    Konfigurierbare Leitplanken auf Plattformebene mit Filtern für schädliche Inhalte, gesperrte Themen, sensible Daten und Prompt-Angriffe.

    kommerziell

Quellen

  1. OpenAI Moderation API — Anbieter- oder Projektquelle: https://platform.openai.com/docs/guides/moderation

Im Zusammenhang