prompt injections.de
Werkzeug · Guardrail-Framework

NeMo Guardrails

Framework für programmierbare Leitplanken: Mit der Sprache Colang werden erlaubte Gesprächsverläufe, Themen und Aktionen deklarativ festgelegt.

Anbieter
NVIDIA
Typ
Guardrail-Framework
Lizenzmodell
Open Source
Primärquelle
github.com

NeMo Guardrails ist im Verzeichnis der Werkzeuge geführt, die beim Schutz vor Prompt Injection in LLM-Anwendungen eingesetzt werden. Die Beschreibung stammt aus der Primärquelle des Anbieters; Wirksamkeitsversprechen werden nicht übernommen. Vergleichbare Werkzeuge stehen im Werkzeug-Verzeichnis und im Guardrail-Vergleich.

Wofür es sich eignet

Dialogsysteme, bei denen die Steuerung des Gesprächsverlaufs wichtiger ist als reine Eingabefilterung.

Was es nicht leistet

Ein Framework nimmt die Integrationsarbeit ab, trifft die Sicherheitsentscheidungen aber nicht für Sie — Regelwerk, Schwellenwerte und Ausnahmen bleiben Ihre Verantwortung.

Der Grundsatz gilt unabhängig vom Produkt: Ein Sprachmodell ist kein Sicherheitskontrollpunkt. Wenn eine Aktion Schaden anrichten kann, muss sie außerhalb des Modells autorisiert werden — siehe Least Privilege für KI-Agenten.

Vergleichbare Werkzeuge

  • Protect AI

    Rebuff

    Prompt-Injection-Detektor mit vier Schichten: Heuristiken, LLM-basierte Prüfung, Vektor-Datenbank bekannter Angriffe und Canary-Tokens zur Leck-Erkennung.

    Open Source
  • Protect AI

    LLM Guard

    Sicherheits-Toolkit mit Scannern für Eingaben und Ausgaben — Prompt Injection, Anonymisierung, Geheimnisse, Toxizität, Relevanz und mehr.

    Open Source
  • Guardrails AI

    Guardrails AI

    Framework mit einem Hub austauschbarer Validatoren, die Ein- und Ausgaben gegen definierte Regeln prüfen und bei Verstoß korrigieren oder ablehnen.

    Open Source

Quellen

  1. NeMo Guardrails — Anbieter- oder Projektquelle: https://github.com/NVIDIA/NeMo-Guardrails

Im Zusammenhang