Glossar
Token
Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells — meist ein Wortteil, seltener ein ganzes Wort oder ein Zeichen. Weil Modelle auf Token-Ebene arbeiten, lassen sich Filter über ungewöhnliche Schreibweisen und Zeichen umgehen.
Der Begriff gehört zum Themenfeld Prompt Injection und LLM-Sicherheit. Das vollständige Nachschlagewerk mit 82 Einträgen steht im Glossar. Unmittelbar benachbart sind Tokenisierung, Kontextfenster, Homoglyph.
Verwandte Begriffe
- Tokenisierung — Die Tokenisierung zerlegt Text in die Einheiten, die ein Modell tatsächlich verarbeitet. Angriffe wie Homoglyphen- oder…
- Kontextfenster — Das Kontextfenster ist die maximale Textmenge, die ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann. In ihm liegen…
- Homoglyph — Ein Homoglyph ist ein Zeichen, das einem anderen optisch gleicht, aber einen anderen Codepunkt hat — etwa kyrillisches „а" statt…
Quellen
- Token — Beleg: https://github.com/openai/tiktoken