词元：大模型时代的最小语义单元

词元（Token）并非简单等同于‘字’或‘词’，而是模型输入/输出时经分词器（Tokenizer）切分后的最小可处理单元——可能是一个汉字、一个子词（如‘transformer’→‘transform’+‘##er’）、甚至一个标点或空白符。近期多项技术突破正重塑词元范式：OpenAI通过重构归一化策略降低长文本token膨胀；字节跳动针对中文语境优化Byte-Pair Encoding（BPE），显著减少冗余切分；Llama 3则首次为中日韩字符设计专属Unicode-aware分词逻辑；而Qwen2.5的动态token调度，可在推理时依据语义密度实时调整token分配，兼顾精度与延迟。值得注意的是，信通院白皮书首次提出‘有效词元率’评估指标，呼吁行业从单纯计数转向语义承载力考量——这标志着词元研究正由工程实践迈向理论建模新阶段。