速率限制Rate Limit
AI 概念速率限制是服务对一定时间内请求数、Token 数或并发任务数设置的上限例如，请求过密时可能收到 429，产品应排队、减少并发并按 Retry-After 等待。无限重试会持续撞上限制，还可能加重故障。
先知道
也常被叫作限流请求频率限制
开始前
见过加载排队、稍后重试或请求失败的提示。
看完后
能判断遇到 429 时应排队、降低同时任务数并按提示等待。
一批任务怎样经过队列、并发上限和 429 重试
500 篇摘要任务#1#2#3#4#5#6#7#8
worker 1正在请求
worker 2正在请求
worker 3正在请求
1 / 43 个任务同时运行
队列中还有 497 个任务429 不是“立刻多试几次”；应用要排队、控制同时请求数，并按服务给出的等待时间重试。
刚才发生了什么
- 1先进入队列
产品把很多任务排队，只放一部分同时执行；这叫控制并发数。
- 2达到限制会 429
429 是服务常用的“请求太多”状态，表示现在不该继续猛发。
- 3按 Retry-After 等待
Retry-After 是服务可能返回的等待建议；产品应据此延后重试并继续排队。
收到 429 后立刻无限重试只会持续撞上限制，还可能让队列和故障更严重。
接下来学什么