一句话说清楚
调用大模型 API 时,同样的大文档或系统提示词每次都要重新计费、重新计算。上下文缓存让这部分内容被服务端记住:后续请求引用缓存,按「缓存命中价」计费(通常是正常价的零头),响应也更快。对「固定知识库 + 多轮问答」类应用(客服机器人、内部文档助手)是显著的成本优化。
这对你选工具意味着什么
系统提示词长(超过几千字)且被反复调用的应用,开缓存收益立竿见影;每条请求内容都不同的场景(开放式写作)收益有限。
常见误区
缓存有有效期与失效条件:改了一个字整个缓存作废,费用照旧——把「常变的部分」放在提示词末尾,「不常变的大块头」放前面,命中率才高。