Konto erstellen
Nur für Unternehmen und Selbstständige

Menü

Alle Anleitungen

Von Groq zu FlowModels.

Wenn du Groq schon über das OpenAI-SDK nutzt, bleibt fast alles gleich. Vor dem Modellnamen steht künftig groq/.

Was sich ändert

Basis-URL, Schlüssel und Modellname. Alles Übrige bleibt, solange du keine Felder aus der Tabelle weiter unten benutzt.

Stelle Vorher Bei FlowModels
Basis-URL https://api.groq.com/openai/v1 https://api.flowmodels.one/v1
Schlüssel GROQ_API_KEY FLOWMODELS_API_KEY
Modellname llama-3.1-8b-instant groq/llama-3.1-8b-instant

Der Code davor und danach

  client = OpenAI(
-     base_url="https://api.groq.com/openai/v1",
-     api_key=os.environ["GROQ_API_KEY"],
+     base_url="https://api.flowmodels.one/v1",
+     api_key=os.environ["FLOWMODELS_API_KEY"],
  )
  
  response = client.chat.completions.create(
-     model="llama-3.1-8b-instant",
+     model="groq/llama-3.1-8b-instant",
      messages=[{"role": "user", "content": "Hallo!"}],
  )

Felder, die sich anders verhalten

Maßgeblich ist, was das gewählte Modell kann. Welche Felder es annimmt, steht bei GET /v1/models unter supported_parameters.

Feld Verhalten bei FlowModels
Modell-IDs mit Schrägstrich Die ID behält ihre Schrägstriche: aus qwen/qwen3.8-27b wird groq/qwen/qwen3.8-27b.
response_format Fehlt bei json_object das Wort „json“ in den Nachrichten, ergänzt FlowModels einen kurzen Hinweis, damit Groq den Aufruf annimmt.
reasoning_effort Nur bei Modellen mit Reasoning. Die Stufen stehen unter capabilities.reasoning_levels; eine andere Stufe ergibt 400 unsupported_for_model.
tools, tool_choice Nur Typ function. FlowModels führt deine Funktionen nicht aus, das Modell meldet tool_calls.

Das prüfst du nach dem Umstieg

  • Der neue Schlüssel steht in FLOWMODELS_API_KEY, und GET /v1/models nennt dein Modell.
  • Ein Aufruf ohne Streaming liefert wie erwartet choices[0].message.content.
  • Mit stream: true kommen die Ereignisse an; mit stream_options.include_usage steht der Verbrauch im letzten Ereignis.
  • Werkzeugaufrufe und response_format laufen mit genau dem Modell, das du einsetzt.
  • Deine Fehlerbehandlung trennt 429 insufficient_quota (Guthaben leer) von 429 rate_limit_exceeded, 429 concurrent_requests_exceeded und 503 provider_overloaded.
  • Im Anfrageprotokoll deines Dashboards stehen Modell, Token und Kosten des Aufrufs.
  • Nutzt du das Groq-SDK, stellst du auf das OpenAI-SDK um; die Felder bleiben dieselben.

Schlüssel erstellen, Modell nennen, loslegen.

FlowModels richtet sich ausschließlich an Unternehmen und Selbstständige.