一句话说清楚
路由层判断「这个问题难不难」:简单改写给小模型(成本 1/10),复杂推理给旗舰模型。实现方式从关键词规则到小模型分类器都有。对日均千次以上的应用,路由能省 50%+ 成本,代价是路由判断本身可能出错。
这对你选工具意味着什么
日均请求量小(几百次)直接用旗舰模型别折腾;量大且任务分层明显(客服问答+深度分析混合)再上路由,从「按场景人工路由」开始就够。
常见误区
路由错误是静默的——用户感知到「变笨了」但没人报错,上线后必须抽样对比各档模型的回答质量。
AI 百科词条
按任务难度自动把请求分给不同档位的模型,便宜模型处理简单活。
路由层判断「这个问题难不难」:简单改写给小模型(成本 1/10),复杂推理给旗舰模型。实现方式从关键词规则到小模型分类器都有。对日均千次以上的应用,路由能省 50%+ 成本,代价是路由判断本身可能出错。
日均请求量小(几百次)直接用旗舰模型别折腾;量大且任务分层明显(客服问答+深度分析混合)再上路由,从「按场景人工路由」开始就够。
路由错误是静默的——用户感知到「变笨了」但没人报错,上线后必须抽样对比各档模型的回答质量。