词元（Token）（2026.08.24）

概念编号：054

一句话理解

Token 是模型把文字切成的小块，是模型读取、生成和统计内容时使用的基本单位。

苏苏的入门解释

词元（Token）：模型的砖块。

作用：统计大模型的工作量，用于计件和评价工作量。

具体解释

人读文章时会按字、词和句子理解；模型通常会先把输入切分成一串 Token，再对这些 Token 进行计算。一个 Token 可能是一个汉字、一个英文单词的一部分、一个标点，也可能是多个常见字符组合。具体切法由模型使用的 tokenizer 决定。

所以 Token 不是“字数”的同义词。中文、英文、数字、代码和空格的 Token 数量可能不同，同一段内容换一种语言或写法，所占 Token 也会变化。

它为什么重要

• 影响上下文窗口：一段对话、文件或工具结果要占用一定数量的 Token。
• 影响 API 费用：很多模型按输入 Token 和输出 Token 计费。
• 影响输出长度：模型一次能生成多少内容，通常也受输出 Token 上限限制。
• 帮助评价工作量：Token 数可以粗略表示模型处理了多少输入和输出，但不能单独代表任务难度或答案质量。

边界与易混淆概念

• Token 不等于汉字：一个汉字常常接近一个 Token，但不是固定规则。
• Token 不等于参数：Token 是一次输入或输出中的数据单位；参数是模型训练后保存的内部数值。
• Token 数多不等于思考质量高：长回答可能只是重复，短回答也可能很准确。
• Token 也不只是文字单位：支持图像、音频和视频的模型，可能用其他内部表示来计算对应内容，但对用户仍常以 Token 或等价用量计费。

例子

当你把一篇长文交给模型总结时，长文会先被切成大量 Token。模型的上下文窗口必须装得下原文、你的指令、工具返回结果和它准备生成的答案；如果装不下，就需要分段、压缩或检索。

相关概念

• 大模型（LLM）（2026.08.24）
• 上下文窗口（Context Window）（2026.08.24）
• 推理（Reasoning）（2026.08.24）
• 预训练（Pre-training）（2026.08.24）

来源

• 本轮 AI 概念清单原始笔记：提供“模型的砖块”和“用于计件”的入门解释。
• AI学习导航：本概念在 AI 基础学习框架中的入口。

概念卡更新日志

• 2026.08.24｜创建概念卡：依据用户提供的“模型的砖块”比喻及 Token 在模型用量、上下文和计费中的复用价值，登记为 054。