Konto erstellen
Nur für Unternehmen und Selbstständige

Menü

Routing heißt hier: Du entscheidest.

Du nennst das Modell als provider/model, FlowModels leitet die Anfrage genau dorthin. Ein Schlüssel und eine Rechnung, egal wie viele Anbieter du nutzt.

Kein automatisches Failover.

FlowModels wählt kein Modell für dich und wechselt nie still zu einem anderen Anbieter. Antwortet der gewählte Anbieter mit 429 oder 503, wiederholen wir denselben Aufruf bei demselben Anbieter höchstens zweimal, solange die Frist der Anfrage reicht. Danach bekommst du den Fehler mit seinem Code.

Der Weg einer Anfrage.

Die Reihenfolge ist die Reihenfolge im Code. Eine Anfrage stoppt beim ersten Schritt, der sie ablehnt.

  1. Anfrage-ID

    Jede Antwort trägt eine eigene Kennung im Header x-request-id.

  2. Schlüssel nur im Header

    Der Schlüssel muss in Authorization: Bearer stehen. In URL oder Body wird er abgelehnt.

    401 invalid_token_source
  3. Schlüssel prüfen

    Unbekannte, gesperrte oder abgelaufene Schlüssel kommen nicht weiter.

    401 invalid_api_key
  4. Konto prüfen

    Ein gesperrtes Konto wird abgewiesen, bevor Limits oder Guthaben angefasst werden.

    403 account_suspended
  5. Berechtigung des Schlüssels

    Nur ein Schlüssel für KI-Aufrufe darf ein Modell aufrufen.

    403 insufficient_key_scope
  6. Minutenlimit

    Das Budget deiner Stufe je Minute. Bei den OpenAI-Modellfamilien gilt zusätzlich eine gemeinsame Obergrenze für alle Konten, die dein eigenes Budget nicht belastet. Die Header x-ratelimit-* nennen dir den Stand.

    429 rate_limit_exceeded 503 provider_overloaded
  7. Gleichzeitige Anfragen

    Laufen bereits so viele Anfragen wie deine Stufe erlaubt, wird die nächste sofort abgewiesen.

    429 concurrent_requests_exceeded
  8. Abkündigung

    Ein Modell im Auslauf meldet das über die Header Deprecation und Sunset, nach dem Stichtag wird es abgewiesen.

    410 model_deprecated
  9. Idempotenz

    Mit dem Header Idempotency-Key bekommst du für dieselbe Anfrage ohne Streaming dieselbe Antwort, statt zweimal zu zahlen. Gestreamte Antworten werden nicht aufbewahrt: Nach einem vollständigen Stream ist der Schlüssel wieder frei, und eine Wiederholung läuft neu.

    409 idempotency_key_in_progress 422 idempotency_key_reuse
  10. Anfrage und Modell prüfen

    Felder werden geprüft, provider/model wird im Katalog aufgelöst, das Modell muss das Feld können.

    400 invalid_field_value 404 model_not_found 400 unsupported_for_model
  11. Guthaben reservieren

    Nur wenn das Guthaben reicht und der Preis feststeht, geht die Anfrage weiter.

    429 insufficient_quota 503 pricing_unavailable
  12. Anbieter

    FlowModels ruft genau das genannte Modell auf, gestreamt oder als JSON, und rechnet den tatsächlichen Verbrauch ab.

    502 routing_execution_failed 503 provider_overloaded

Parameter von POST /v1/chat/completions

Das gewählte Modell muss ein Feld auch können. Tut es das nicht, antwortet die API mit 400 unsupported_for_model.

FeldWirkung
model Pflichtfeld: das Modell als provider/model
messages Pflichtfeld: Verlauf mit system, user, assistant und tool
stream Antwort als Server-Sent Events
stream_options.include_usage Verbrauch im letzten Stream-Ereignis
temperature, top_p Streuung der Antwort
max_tokens Obergrenze der Ausgabe, auch Grundlage der Reservierung
frequency_penalty, presence_penalty, stop, seed Weitere Steuerung, soweit das Modell sie annimmt
tools, tool_choice Eigene Werkzeuge, das Modell ruft sie auf, du führst sie aus
response_format JSON-Objekt oder festes JSON-Schema
reasoning_effort Rechenaufwand bei Reasoning-Modellen
web_search Websuche, wenn das Modell sie unterstützt

Lehnt die API ab

Diese Felder beantwortet /v1/chat/completions mit 400 unsupported_field, statt sie still zu ignorieren.

  • n
  • logprobs
  • top_logprobs
  • audio
  • store
  • previous_response_id
  • background
  • conversation
  • webhook_endpoint_id
  • metadata

Schlüssel erstellen, Modell nennen, loslegen.

FlowModels richtet sich ausschließlich an Unternehmen und Selbstständige.