速率限制Rate Limit
你可能会说
调用太频繁就报错,说什么超过限制,是怎么回事?
速率限制是服务规定一段时间内最多能发多少次请求、处理多少内容或同时运行多少任务的上限。达到限制后,请求可能排队、延迟或收到 429。具体上限会随服务、模型和账号而变化,处理时要分别看请求数、Token 数与并发任务数。
先知道
也常被叫作限流请求频率限制
延伸阅读 · 权威出处
调用太频繁就报错,说什么超过限制,是怎么回事?
队列数量、并发数和等待时间均为示意。
队列中还有 497 个任务先进入队列:产品把很多任务排队,只放一部分同时执行;这叫控制并发数。
达到限制会 429:429 是服务常用的“请求太多”状态,表示现在不应继续立即重试。
按服务提示等待:响应有 Retry-After 时按提示延后;没有时按服务文档逐步增加等待时间,并继续控制队列。
重新生成功能遇到限流时,请读取可用的等待信息,禁用重复点击并显示下一次可尝试的时间;到时间后恢复操作。模拟一次 429,确认只发出一次请求、用户看到等待说明,并能在等待结束后重试。