#Tokenizer

BPE 不是一个汉字一个 Token：从 Qwen tokenizer 实验看懂 token 计费

用 Qwen2.5 tokenizer 的中文、英文、代码和 emoji 实测数据，讲清为什么 token 不是字符，以及为什么 LLM 按 token 而不是字符计费。