今日实时汇率
1 美元（USD）=
7.3043 人民币（CNY）
反向汇率：1 CNY = 0.1369 USD
更新时间：2025-04-19 08:02:31
来源：未来科技力
作者：李欣帅
ChatGPT等AI工具的使用正越来越普遍。在与AI交互时，我们知道，输入的提示词差异会对输出结果产生影响。那么，如果相同意思的提示词，用不同语言分别表述，结果差异是否较大？另外，提示词的输入和输出是和模型背后的计算量直接挂钩的。因此，不同语言之间在AI输出和成本消耗方面是不是有着天然的差异性或者说是“不公平性”？这种“不公平性”又是如何产生的呢？
据了解，提示词背后其实对应的不是文字，而是token。当接收到用户输入的提示词之后，模型会将输入转换为token列表进行处理和预测，同时将预测的token转换为我们在输出中看到的单词。也就是，token是语言模型处理和生成文本或代码的基本单位。可以关注到，各家厂商会宣称自家模型支持多少token的上下文，而不是说支持的单词或汉字的数量。
影响Token计算的因素
首先，一个token并不对应一个英文单词或一个汉字，token跟单词之间没有具体的换算关系。比如，根据OpenAI发布的token计算工具，hamburger一词被分解为ham、bur和ger，共计3个token。另外，同一个词语，如果在两句话中的结构不同，会被记作不同数目的token。
具体token如何计算主要取决于厂商使用的标记化（tokenization）方法。标记化是将输入和输出文本拆分为可由语言模型处理的token的过程。该过程可以帮助模型处理不同的语言、词汇表和格式。而ChatGPT背后采用的是一种称为“字节对编码”（Byte-Pair Encoding，BPE）的标记化方法。
目前来看，一个单词被分解成多少token，跟它的发音和在句子中的结构有关。而不同语言之间的计算差异似乎较大。
拿“hamburger”对应的中文“汉堡包”来说，这三个汉字被计作8个token，也就是被分解成了8部分。
