API 參考

限流與重試

#限流規則

支援按 key 設定 RPM/RPD 上限。觸發 429 時會回傳 Retry-After；上游限制由斷路器保護，壞通道不會拖垮整個叢集。

限流按金鑰計算——專案拆開用不同金鑰即可隔離限流。金鑰層級上限在控制台 → 金鑰編輯。

#正確地重試

有 Retry-After 就照做，否則使用帶抖動的指數退避。限制總嘗試次數——模型徹底不可用時，儘早把錯誤拋給呼叫方好過無限重試。

backoff.py

import time, requests

def call_with_backoff(url, headers, body, tries=5):
    for i in range(tries):
        r = requests.post(url, headers=headers, json=body)
        if r.status_code != 429:
            return r
        # Respect Retry-After (seconds); fall back to 2**i backoff.
        wait = int(r.headers.get("Retry-After", 2 ** i))
        time.sleep(wait)
    r.raise_for_status()

還是沒解決？

把請求 ID 或錯誤訊息傳給我們，我們來查。