Von Groq zu FlowModels.
Wenn du Groq schon über das OpenAI-SDK nutzt, bleibt fast alles gleich. Vor dem Modellnamen steht künftig groq/.
Was sich ändert
Basis-URL, Schlüssel und Modellname. Alles Übrige bleibt, solange du keine Felder aus der Tabelle weiter unten benutzt.
| Stelle | Vorher | Bei FlowModels |
|---|---|---|
| Basis-URL | https://api.groq.com/openai/v1 |
https://api.flowmodels.one/v1 |
| Schlüssel | GROQ_API_KEY |
FLOWMODELS_API_KEY |
| Modellname | llama-3.1-8b-instant |
groq/llama-3.1-8b-instant |
Der Code davor und danach
client = OpenAI(
- base_url="https://api.groq.com/openai/v1",
- api_key=os.environ["GROQ_API_KEY"],
+ base_url="https://api.flowmodels.one/v1",
+ api_key=os.environ["FLOWMODELS_API_KEY"],
)
response = client.chat.completions.create(
- model="llama-3.1-8b-instant",
+ model="groq/llama-3.1-8b-instant",
messages=[{"role": "user", "content": "Hallo!"}],
)
Felder, die sich anders verhalten
Maßgeblich ist, was das gewählte Modell kann. Welche Felder es annimmt, steht bei GET /v1/models unter supported_parameters.
| Feld | Verhalten bei FlowModels |
|---|---|
Modell-IDs mit Schrägstrich |
Die ID behält ihre Schrägstriche: aus qwen/qwen3.8-27b wird groq/qwen/qwen3.8-27b. |
response_format |
Fehlt bei json_object das Wort „json“ in den Nachrichten, ergänzt FlowModels einen kurzen Hinweis, damit Groq den Aufruf annimmt. |
reasoning_effort |
Nur bei Modellen mit Reasoning. Die Stufen stehen unter capabilities.reasoning_levels; eine andere Stufe ergibt 400 unsupported_for_model. |
tools, tool_choice |
Nur Typ function. FlowModels führt deine Funktionen nicht aus, das Modell meldet tool_calls. |
Das prüfst du nach dem Umstieg
-
Der neue Schlüssel steht in
FLOWMODELS_API_KEY, undGET /v1/modelsnennt dein Modell. -
Ein Aufruf ohne Streaming liefert wie erwartet
choices[0].message.content. -
Mit
stream: truekommen die Ereignisse an; mitstream_options.include_usagesteht der Verbrauch im letzten Ereignis. -
Werkzeugaufrufe und
response_formatlaufen mit genau dem Modell, das du einsetzt. -
Deine Fehlerbehandlung trennt
429 insufficient_quota(Guthaben leer) von429 rate_limit_exceeded,429 concurrent_requests_exceededund503 provider_overloaded. - Im Anfrageprotokoll deines Dashboards stehen Modell, Token und Kosten des Aufrufs.
- Nutzt du das Groq-SDK, stellst du auf das OpenAI-SDK um; die Felder bleiben dieselben.