Token
简体中文
繁體中文
English
日本語
词表
o200k_base · GPT-4o
o200k_harmony · GPT-5 / gpt-oss
cl100k_base · GPT-4 / 3.5
p50k_base · GPT-3.5 / Codex
r50k_base · GPT-2 / GPT-3
字符级 · 每字符 1 Token
UTF-8 字节 · 每字节 1 Token
示例
英文
多语言
代码
Emoji
Base64
输入一句话(支持中英文、emoji、代码)
0
Tokens
0
字符
0
字节
–
字符/Token
加载词表…
关系图谱
序列弧线图
Attention 矩阵
转移邻接矩阵
Attention 连线
序列与复现
综合
局部窗口
复现与结构
教学近似示意 · 非真实 LLM 权重
单词 / 字母
汉字 / 日韩文
数字
标点 / 符号
空白
字节(不完整 UTF-8)
© 2026 ForJiang · gpt-tokenizer (CDN)