跳到主要内容

AI 百科词条

上下文缓存(Context Caching)是什么?

把重复用的大段内容「记住」,下次调用更快也更便宜。

一句话说清楚

调用大模型 API 时,同样的大文档或系统提示词每次都要重新计费、重新计算。上下文缓存让这部分内容被服务端记住:后续请求引用缓存,按「缓存命中价」计费(通常是正常价的零头),响应也更快。对「固定知识库 + 多轮问答」类应用(客服机器人、内部文档助手)是显著的成本优化。

这对你选工具意味着什么

系统提示词长(超过几千字)且被反复调用的应用,开缓存收益立竿见影;每条请求内容都不同的场景(开放式写作)收益有限。

常见误区

缓存有有效期与失效条件:改了一个字整个缓存作废,费用照旧——把「常变的部分」放在提示词末尾,「不常变的大块头」放前面,命中率才高。

和「上下文缓存」最相关的工具按真实人气排序

用这些工具解决真实场景