CaMeL
Referenzimplementierung einer architektonischen Abwehr: Kontroll- und Datenfluss werden aus der vertrauenswürdigen Anfrage extrahiert, nicht vertrauenswürdige Daten können den Programmfluss nicht mehr beeinflussen.
- Anbieter
- Google DeepMind (Forschung)
- Typ
- Forschungs-Referenz
- Lizenzmodell
- Forschungsarbeit
- Primärquelle
- github.com
CaMeL ist im Verzeichnis der Werkzeuge geführt, die beim Schutz vor Prompt Injection in LLM-Anwendungen eingesetzt werden. Die Beschreibung stammt aus der Primärquelle des Anbieters; Wirksamkeitsversprechen werden nicht übernommen. Vergleichbare Werkzeuge stehen im Werkzeug-Verzeichnis und im Guardrail-Vergleich.
Wofür es sich eignet
Vorbild für Agenten-Architekturen, die Sicherheit nicht dem Modell überlassen, sondern einer deterministischen Policy-Schicht.
Was es nicht leistet
Forschungsarbeiten liefern das Prinzip, keinen betriebsfertigen Baustein. Die Übertragung in ein Produktivsystem ist eigene Ingenieursarbeit.
Der Grundsatz gilt unabhängig vom Produkt: Ein Sprachmodell ist kein Sicherheitskontrollpunkt. Wenn eine Aktion Schaden anrichten kann, muss sie außerhalb des Modells autorisiert werden — siehe Least Privilege für KI-Agenten.
Vergleichbare Werkzeuge
-
SecAlign
Trainingsverfahren, das Modelle mittels Preference-Optimierung gegen Prompt Injection härtet — es lernt, die injizierte Antwort systematisch niedriger zu bewerten.
Forschungsarbeit -
StruQ
Strukturiertes Instruction-Tuning: Reservierte Sondertoken trennen Anweisungs- und Datenbereich, das Modell lernt, Anweisungen im Datenbereich zu ignorieren.
Forschungsarbeit -
Jatmo
Ansatz, aufgabenspezifisch feingetunte Modelle ohne Instruktions-Fähigkeit einzusetzen — was keine Anweisungen befolgt, lässt sich auch nicht per Anweisung entführen.
Forschungsarbeit
Quellen
- CaMeL — Anbieter- oder Projektquelle: https://github.com/google-research/camel-prompt-injection