🧩
你对 ChatGPT 说"我爱你"三个字，AI 看到的却是 [25, 8013, 220, 42468] 四个数字。
你说一句话花 0.1 秒，AI 要把它切成 几十块碎片逐个处理。
这些碎片就叫 Token——AI 世界的"最小货币单位"。
↓ 往下看，3 分钟搞懂
🤖 AI

Token

词元 / 令牌

Token 就是 AI 的乐高积木——一块块拼起来才是完整的话。
🧒 极简版🧑 场景版🎓 精准版

🧒 极简版

你写字是一笔一笔写的。AI 读文字也不是一口气读完一句话，而是把文字切成一块一块的积木，一块一块处理。

有的积木是一个完整的词（比如"hello"），有的只是半个字（比如"un"+"happy"）。这些积木就叫 Token。AI 看到的世界不是文字，而是一堆编了号的积木块。

🧑 场景版

你问 ChatGPT 一个问题，系统提示"已使用 1,200 token，剩余 6,800 token"。

这是什么意思？简单说：
· 你输入的文字被切成了若干 token（每个 token ≈ 3/4 个英文单词，或 ≈ 1-2 个中文字）
· AI 的回答也消耗 token
· Token 就是 AI 的"流量"——用完了就不能继续对话了
· API 定价也按 token 计费：输入 $X/百万 token，输出 $Y/百万 token

为什么不按字数收费？因为AI 内部根本不认识"字"，只认识 token。

🎓 精准版

Token 是自然语言处理中文本序列化的基本单位。现代 LLM 使用 BPE（Byte Pair Encoding）或类似算法将文本切分为子词（subword）级别的 token。

· 高频词保持完整（"the" = 1 token）
· 罕见词被拆分为子词（"tokenization" = "token" + "ization"）
· 每个 token 映射到一个整数 ID（词表通常 32K-128K 大小）
· 模型的输入和输出都是 token ID 序列，不是文字
· 上下文窗口（如 128K token）决定了模型一次能"看到"多少内容

🧪 动手试试：看看你的话被切成了几块

输入任意文字，看 AI 怎么把它切成 Token

💡 试试这些：
· 中文："今天天气真好"（每个字基本是1个token）
· 英文："I love programming"（常见词1个token，长词可能被拆分）
· 混合："AI让世界更美好"（中英文切分方式不同）
· 代码：`console.log("hello")`（标点和关键词各算token）

💰 Token = AI 的货币

不同模型的 Token 价格差距巨大

模型输入价格输出价格上下文窗口
GPT-4o$2.5/百万$10/百万128K
Claude Sonnet$3/百万$15/百万200K
Claude Opus$15/百万$75/百万1M（100万）
GPT-4o mini$0.15/百万$0.6/百万128K

1 百万 token ≈ 一本 75 万字的小说。你和 AI 聊一次天大约用 1,000-5,000 token。

📦 拆开看

点击卡片翻转

✂️分词器点我翻转 ↻
把文字切成 token 的工具（Tokenizer）。不同模型用不同的分词器，所以同一句话在不同模型里 token 数不同。🔪 切积木的刀
📖词表点我翻转 ↻
所有可能的 token 的"字典"，通常 3-13 万个。每个 token 对应一个 ID 数字。AI 看到的不是文字，而是一串数字。📋 积木零件目录
📐上下文窗口点我翻转 ↻
模型一次能处理的最大 token 数。128K = 一次能"看到" 约 10 万字。超出窗口的内容 AI 就"看不见"了。🪟 窗户的大小

🔄 AI 怎么处理你的话？

📝 你输入文字→✂️ 切分成 Token→🔢 转为数字 ID→🧠 模型处理→📤 输出 Token→文字
你在输入框里打了"今天天气真好"六个字。

⚠️ 别搞混

❌ 很多人以为
一个 Token 就是一个字或一个词。
✅ 其实是
Token 的大小不固定。英文中一个常见词=1 token，长词可能被拆成 2-3 个。中文每个字通常是 1-2 个 token。标点符号也是 token。
❌ 很多人以为
Token 数就是字数——"写了100个字就用了100个token"。
✅ 其实是
中文大约 1 个字 ≈ 1.5 个 token，英文大约 1 个词 ≈ 1.3 个 token。而且你的输入和 AI 的输出都消耗 token。
❌ 很多人以为
"上下文窗口128K"意味着可以发128K字。
✅ 其实是
128K token ≈ 9万字中文。而且这个窗口是输入+输出共享的——你的问题 + 系统提示 + AI回答，全部要装在这个窗口里。

📏 类比的边界

⚠️乐高积木大小固定，但 token 大小不固定——有的 token 是一个字母，有的是一整个常见词。
⚠️乐高积木可以任意组合，但 token 的切分方式是由算法预先学习好的，不能随意改变。

🔗 相关概念

LLMContext WindowEmbeddingBPETransformerPromptAPI 定价

✅ 秒测

1"Hello world" 在 AI 看来是什么？
A. 两个英文单词
B. 一串数字 ID（如 [9906, 1917]）
2你发了100字的问题，AI 回了200字。总共消耗了多少 token？
A. 约 100 个（只算你的输入）
B. 约 450 个（输入≈150 + 输出≈300，中文每字约1.5 token）
3为什么 AI 有时候回答到一半就"截断"了？
A. AI 觉得说够了自己停了
B. 输出 token 达到了设定的上限（max_tokens）

手机端可长按图片保存到相册