Token 与分词Token and Tokenization

语言模型的最小处理单位不是「字」，也不是「词」，而是 Token——一个介于两者之间的片段。分词就是决定怎么切的那一步。

为什么要切

如果按字切，序列会很长，模型要花更多计算去处理；如果按词切，词表会爆炸，而且遇到没见过的新词、拼写错误、代码符号就没法处理。子词切分是折中方案：常见词整体保留为一个 Token，罕见词拆成更小的片段。

常见做法

• 基于统计的子词方法：从字符出发，反复把出现频率高的相邻片段合并起来，高频词逐渐变成一个整体。
• 字节级方法：先在字节层面处理，任何文本（包括表情符号、稀有字符、各种语言）都能表示，代价是同一个汉字可能被拆成多个 Token。 切完之后，每个 Token 对应词表里的一个编号，再查表变成向量送进网络。

实际影响

Token 数量直接决定三件事：一是费用和速度，按量计费的服务通常就是按 Token 算；二是上下文长度，窗口是用 Token 计量的；三是注意力计算的成本，随长度快速增长。 不同语言的「密度」不一样：表达同样一段意思，中文、日文等往往需要比英文更多的 Token，这会影响成本估算和多语言任务的难度。

常见误区

• Token 不等于字或词：有人按「字数」估算成本，结果对不上，就是因为两者并不一一对应。
• 不是切得越细越好：切得太碎会拉长序列、增加运算；切得太粗则词表庞大且不灵活。
• 分词本身也会出错：比如把一个数字或专有名词切得七零八落，模型就更难处理好它。