中文比英文贵两倍，AI大模型处理不同语言体系，运算成本差距极大

文章来源：万象ai发布时间：2025-03-29 11:35:29

AI奇点网2023年7月31日报道丨用户所使用的语言对于大型语言模型（LLM）的费用有很大的影响，可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。最近的一项研究显示，由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语则是英语的 15 倍。

推特用户 Dylan Patel（@dlan522p）分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个 LLM 处理一句缅甸语句子需要 198 个词元（tokens），而同样的句子用英语写只需要 17 个词元。词元代表了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）访问 LLM 所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。

词元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据 OpenAI 的 GPT3 分词器，“你的爱意（your affection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符（你的爱意），而英文有 14 个字符。

上一篇: iPhone推出一键查询苹果浏览器过往历史：妥妥“人生搜索引擎”，黑镜预言成真

iPhone推出一键查询苹果浏览器过往历史的APP，APP名叫 Rewind，背靠 GPT-4，可以一键记录、搜索、回答用 Safari 浏览过的所有内容，网友表示简直黑镜预言成真。

下一篇: 一周盘点丨WPS AI海外版开启公测丨AI代码神器Copilot大升级丨谷歌发布AI大模型机器人

WPS Office 海外版智能办公助手 WPS AI 正式开启公测（wps ai），海外版 WPS AI 由 OpenAI 和 PaLM2 提供大模型支持。微软将GPT-4能力集成到Office 365后，GitHub曾官宣发布了，基于GPT-4的新一代代码生成工具Copilot X。Google DeepMind宣布以训练AI聊天机器人的方式训练了一款全新的机器人模型Robotic Transformer 2（RT-2）。