TTFT / TPS
你可能会说
为什么有的 AI 半天才出第一个字，有的秒回？
TTFT 和 TPS 分别表示 AI 出现第一段回答前的等待时间，以及之后每秒生成多少内容。TTFT 是从发送问题到看到第一个字的等待时间，TPS 是开始回答后每秒出现多少文字片段。第一段出现得快，不代表整段回答一定很快，回答长度也会影响总时长。
也常被叫作TTFT 与 TPSTTFT & TPS首 Token 延迟每秒 Token 数
延伸阅读 · 权威出处
为什么有的 AI 半天才出第一个字，有的秒回？
以下时间和速度均为示意，只用来比较指标之间的关系。
B 更早开始说话，但后面生成得慢，所以完整回答反而更晚结束。
先等 TTFT：TTFT 是从点击发送到收到第一个 Token（文字片段）的时间。
再看 TPS：TPS 是第一个片段之后每秒生成多少 Token；这里不是每秒交易数。
最后看总时长：回答越长，即使开头很快，也可能需要更久才完整结束。
请分别测量请求到首段的 TTFT、开始输出后的 TPS 和完整回答总时长，使用相同模型参数与回答目标。不要用“秒回”代替完整比较，并把网络、排队和生成阶段分开记录。