速率限制Rate Limit

你可能会说

调用太频繁就报错,说什么超过限制,是怎么回事?

速率限制是服务规定一段时间内最多能发多少次请求、处理多少内容或同时运行多少任务的上限。达到限制后,请求可能排队、延迟或收到 429。具体上限会随服务、模型和账号而变化,处理时要分别看请求数、Token 数与并发任务数。
先知道
也常被叫作限流请求频率限制
延伸阅读 · 权威出处