AI 百科词条

推理延迟（Inference Latency）是什么？

从发出请求到收到第一个字的等待时间，直接决定 AI 功能的「手感」。

一句话说清楚

延迟由三段构成：排队与预处理（几百毫秒）、首 token 生成时间（TTFT，几百毫秒到数秒）、流式输出速度（每秒几十到上百 token）。用户体验的生死线是 TTFT——首字快，流式再慢都不觉得卡；首字慢三秒，后面再快也像死机。

面向用户的功能优先选 TTFT 低的模型或开启流式；批处理任务（如夜间跑数据）完全不用管延迟，按单价选便宜模型。

压测延迟要用真实长度输入——厂商标称的延迟常按短输入测，你的 5000 字长文投进去可能慢一个量级。

AI 读论文：速读、问答到文献综述

先让 AI 产出结构化摘要（问题/方法/结论），再针对公式与实验细节追问，支持引用溯源的工具可信度更高。

AI 做旅行攻略：行程、预算、避坑一次排好

说清天数、预算、偏好，AI 出逐日行程表，你只负责按真实交通与评价微调。

AI 模拟面试：从自我介绍到追问链全真演练

贴岗位 JD 与简历，AI 扮演面试官逐层追问，答完即给点评与改进版话术。