一句话说清楚
大模型逐 token 生成内容,流式输出让每个 token 生成后立刻传给用户——你看到的「打字机效果」就是它。这不改变总生成时间,但把「等待首字」从十几秒压到一秒内,体感速度差几倍。技术上是 SSE 或 WebSocket 长连接,产品上是对等待焦虑的解药。
这对你选工具意味着什么
选 AI 产品时看「首字延迟」(TTFT)而非「总时长」:流式做得好的产品,长回答也能让你三秒内开始阅读。自建应用对接大模型 API 时,流式接口应是默认选择。
常见误区
流式输出的内容可能中途被打断(网络抖动、内容审核),前端必须处理「半截回答」的展示与重试逻辑,否则用户会看到莫名截断的段落。