API 参考

限流与重试

#限流规则

支持按 key 设置 RPM/RPD 上限。触发 429 时会返回 Retry-After;上游限制由熔断器保护,坏渠道不会拖垮整个集群。

限流按密钥计——项目拆开用不同密钥即可隔离限流。密钥级上限在控制台 → 密钥 编辑。

#正确地重试

有 Retry-After 就照办,否则带抖动的指数退避。限制总尝试次数——模型彻底不可用时,尽早把错误抛给调用方好过无限重试。

backoff.py
import time, requests

def call_with_backoff(url, headers, body, tries=5):
    for i in range(tries):
        r = requests.post(url, headers=headers, json=body)
        if r.status_code != 429:
            return r
        # Respect Retry-After (seconds); fall back to 2**i backoff.
        wait = int(r.headers.get("Retry-After", 2 ** i))
        time.sleep(wait)
    r.raise_for_status()

还是没解决?

把请求 ID 或报错信息发给我们,我们来查。