Glossar
Tokenisierung
Die Tokenisierung zerlegt Text in die Einheiten, die ein Modell tatsächlich verarbeitet. Angriffe wie Homoglyphen- oder Zero-Width-Obfuskation nutzen aus, dass diese Zerlegung nicht der menschlichen Wortwahrnehmung entspricht.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Token, Obfuskation, Homoglyph.
Verwandte Begriffe
- Token — Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells — meist ein Wortteil, seltener ein ganzes Wort oder ein…
- Obfuskation — Obfuskation verschleiert einen Angriffs-Payload so, dass Filter ihn nicht erkennen, das Modell ihn aber weiterhin versteht…
- Homoglyph — Ein Homoglyph ist ein Zeichen, das einem anderen optisch gleicht, aber einen anderen Codepunkt hat — etwa kyrillisches „а" statt…
Quellen
- Tokenisierung — Beleg: https://github.com/openai/tiktoken