API 参考
限流与重试
#限流规则
支持按 key 设置 RPM/RPD 上限。触发 429 时会返回 Retry-After;上游限制由熔断器保护,坏渠道不会拖垮整个集群。
限流按密钥计——项目拆开用不同密钥即可隔离限流。密钥级上限在控制台 → 密钥 编辑。
#正确地重试
有 Retry-After 就照办,否则带抖动的指数退避。限制总尝试次数——模型彻底不可用时,尽早把错误抛给调用方好过无限重试。
backoff.py
import time, requests
def call_with_backoff(url, headers, body, tries=5):
for i in range(tries):
r = requests.post(url, headers=headers, json=body)
if r.status_code != 429:
return r
# Respect Retry-After (seconds); fall back to 2**i backoff.
wait = int(r.headers.get("Retry-After", 2 ** i))
time.sleep(wait)
r.raise_for_status()还是没解决?
把请求 ID 或报错信息发给我们,我们来查。