Ratenlimits & Wiederholungen

#So funktionieren Limits

RPM- und RPD-Limits pro Schlüssel. Bei 429 sendet das Gateway Retry-After; Upstream-Limits sind durch Circuit Breaker geschützt, damit ein fehlerhafter Kanal nicht die gesamte Flotte belastet.

Limits gelten pro Schlüssel; wenn Sie Projekte auf mehrere Schlüssel verteilen, sind ihre Drosselungen voneinander isoliert. Limits auf Schlüsselebene bearbeiten Sie unter Konsole → API-Schlüssel.

#Richtig wiederholen

Beachten Sie Retry-After, falls vorhanden, ansonsten nutzen Sie exponentiellen Backoff mit Jitter. Begrenzen Sie die Gesamtzahl der Versuche — ein komplett ausgefallenes Modell sollten Sie Ihrem Aufrufer besser melden, als es endlos erneut zu versuchen.

import time, requests

def call_with_backoff(url, headers, body, tries=5):
    for i in range(tries):
        r = requests.post(url, headers=headers, json=body)
        if r.status_code != 429:
            return r
        # Respect Retry-After (seconds); fall back to 2**i backoff.
        wait = int(r.headers.get("Retry-After", 2 ** i))
        time.sleep(wait)
    r.raise_for_status()