AI 百科词条

分词器（Tokenizer）是什么？

把文本切成模型能处理的「词元」的组件，计费、上下文长度都按它数。

一句话说清楚

大模型不能直接读文字，先把文本切分成 token（一个汉字约 1-2 个 token，一个英文单词约 1-1.5 个 token）。你看到的「8K 上下文」说的就是 8K 个 token，API 计费也按 token 数结算。不同模型分词器不同，同一段文本在不同模型下的 token 数会有差异。

估算成本用「中文 1 字 ≈ 1.5 token」粗算就够精确；对长文档处理场景，优先选长上下文模型而不是自己做切分。

「上下文 8K」不等于能塞 8K 汉字——加上系统提示和回复预算后实际可用更少，超长输入会被截断或报错。

AI 读论文：速读、问答到文献综述

先让 AI 产出结构化摘要（问题/方法/结论），再针对公式与实验细节追问，支持引用溯源的工具可信度更高。

AI 做旅行攻略：行程、预算、避坑一次排好

说清天数、预算、偏好，AI 出逐日行程表，你只负责按真实交通与评价微调。

AI 模拟面试：从自我介绍到追问链全真演练

贴岗位 JD 与简历，AI 扮演面试官逐层追问，答完即给点评与改进版话术。