Routing heißt hier: Du entscheidest.
Du nennst das Modell als provider/model, FlowModels leitet die Anfrage genau dorthin. Ein Schlüssel und eine Rechnung, egal wie viele Anbieter du nutzt.
Kein automatisches Failover.
FlowModels wählt kein Modell für dich und wechselt nie still zu einem anderen Anbieter. Antwortet der gewählte Anbieter mit 429 oder 503, wiederholen wir denselben Aufruf bei demselben Anbieter höchstens zweimal, solange die Frist der Anfrage reicht. Danach bekommst du den Fehler mit seinem Code.
Der Weg einer Anfrage.
Die Reihenfolge ist die Reihenfolge im Code. Eine Anfrage stoppt beim ersten Schritt, der sie ablehnt.
-
Anfrage-ID
Jede Antwort trägt eine eigene Kennung im Header
x-request-id. -
Schlüssel nur im Header
Der Schlüssel muss in
Authorization: Bearerstehen. In URL oder Body wird er abgelehnt.401 invalid_token_source -
Schlüssel prüfen
Unbekannte, gesperrte oder abgelaufene Schlüssel kommen nicht weiter.
401 invalid_api_key -
Konto prüfen
Ein gesperrtes Konto wird abgewiesen, bevor Limits oder Guthaben angefasst werden.
403 account_suspended -
Berechtigung des Schlüssels
Nur ein Schlüssel für KI-Aufrufe darf ein Modell aufrufen.
403 insufficient_key_scope -
Minutenlimit
Das Budget deiner Stufe je Minute. Bei den OpenAI-Modellfamilien gilt zusätzlich eine gemeinsame Obergrenze für alle Konten, die dein eigenes Budget nicht belastet. Die Header
x-ratelimit-*nennen dir den Stand.429 rate_limit_exceeded503 provider_overloaded -
Gleichzeitige Anfragen
Laufen bereits so viele Anfragen wie deine Stufe erlaubt, wird die nächste sofort abgewiesen.
429 concurrent_requests_exceeded -
Abkündigung
Ein Modell im Auslauf meldet das über die Header
DeprecationundSunset, nach dem Stichtag wird es abgewiesen.410 model_deprecated -
Idempotenz
Mit dem Header
Idempotency-Keybekommst du für dieselbe Anfrage ohne Streaming dieselbe Antwort, statt zweimal zu zahlen. Gestreamte Antworten werden nicht aufbewahrt: Nach einem vollständigen Stream ist der Schlüssel wieder frei, und eine Wiederholung läuft neu.409 idempotency_key_in_progress422 idempotency_key_reuse -
Anfrage und Modell prüfen
Felder werden geprüft,
provider/modelwird im Katalog aufgelöst, das Modell muss das Feld können.400 invalid_field_value404 model_not_found400 unsupported_for_model -
Guthaben reservieren
Nur wenn das Guthaben reicht und der Preis feststeht, geht die Anfrage weiter.
429 insufficient_quota503 pricing_unavailable -
Anbieter
FlowModels ruft genau das genannte Modell auf, gestreamt oder als JSON, und rechnet den tatsächlichen Verbrauch ab.
502 routing_execution_failed503 provider_overloaded
Parameter von POST /v1/chat/completions
Das gewählte Modell muss ein Feld auch können. Tut es das nicht, antwortet die API mit 400 unsupported_for_model.
| Feld | Wirkung |
|---|---|
model |
Pflichtfeld: das Modell als provider/model |
messages |
Pflichtfeld: Verlauf mit system, user, assistant und tool |
stream |
Antwort als Server-Sent Events |
stream_options.include_usage |
Verbrauch im letzten Stream-Ereignis |
temperature, top_p |
Streuung der Antwort |
max_tokens |
Obergrenze der Ausgabe, auch Grundlage der Reservierung |
frequency_penalty, presence_penalty, stop, seed |
Weitere Steuerung, soweit das Modell sie annimmt |
tools, tool_choice |
Eigene Werkzeuge, das Modell ruft sie auf, du führst sie aus |
response_format |
JSON-Objekt oder festes JSON-Schema |
reasoning_effort |
Rechenaufwand bei Reasoning-Modellen |
web_search |
Websuche, wenn das Modell sie unterstützt |
Lehnt die API ab
Diese Felder beantwortet /v1/chat/completions mit 400 unsupported_field, statt sie still zu ignorieren.
nlogprobstop_logprobsaudiostoreprevious_response_idbackgroundconversationwebhook_endpoint_idmetadata