跳到主要内容

AI 百科词条

词元(Token)是什么?

AI 读文本的「计量单位」——模型把文字切成小块处理,一个汉字约等于 1-2 个 token,按量计费也按它算。

一句话说清楚

大模型不是逐字阅读,而是先把文本切成 token(词元):英文一个单词常是 1 个 token,中文一个汉字约 1-2 个。它同时是三件事的标尺:上下文窗口(见「上下文窗口」词条)的容量、API 计费的单价基准、响应速度的负载来源。长文档「读不完」不是按字数算,是按 token 总量算。

这对你选工具意味着什么

对比 AI 产品价格时先看 token 单价与折扣档(输入/输出分开计费,输出更贵);处理长文档选「长上下文+按量计费」的产品,短对话选包月制更划算。

常见误区

别用「字数」估算 token——中英混排、代码、表格的切分差异很大,实际消耗常比直觉高 30%-50%;免费额度通常按 token 限流,批量任务前先算一笔账。

和「词元」最相关的工具按真实人气排序

用这些工具解决真实场景