FlowModels

Antworten streamen: Chat Completions mit Server-Sent Events

Veröffentlicht am 11. November 2026

Bei langen Antworten willst du deinen Nutzern nicht minutenlang einen Ladekreis zeigen. Mit Streaming schickt dir FlowModels die Antwort Stück für Stück, sobald das Modell sie erzeugt. Das funktioniert wie bei OpenAI über Server-Sent Events (SSE). Hier siehst du, wie du einen Stream startest, wie die einzelnen Teile aussehen und wo am Ende Kosten und Tokens stehen.

Einen Stream starten

Setze in der Anfrage an POST /v1/chat/completions das Feld stream auf true. Mit curl brauchst du zusätzlich -N, damit die Ausgabe nicht gepuffert wird:

curl -N https://api.flowmodels.one/v1/chat/completions \
  -H "Authorization: Bearer at_dein_schluessel" \
  -H "Content-Type: application/json" \
  -H "Accept: text/event-stream" \
  -d '{"model": "groq/openai/gpt-oss-120b", "stream": true, "messages": [{"role": "user", "content": "Schreib eine kurze Begrüßung für unser Kundenportal."}]}'

Mit der OpenAI-Bibliothek für Python sieht das so aus:

stream = client.chat.completions.create(
    model="groq/openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Schreib eine kurze Begrüßung für unser Kundenportal."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)

Wie du die Bibliothek einrichtest, steht in Die OpenAI-Bibliothek für Python und Node.js mit FlowModels nutzen.

So sieht ein Stream aus

Die Antwort kommt als text/event-stream. Jede Zeile beginnt mit data: und enthält ein Objekt vom Typ chat.completion.chunk. Den neuen Text findest du in choices[0].delta.content:

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","model":"groq/openai/gpt-oss-120b","choices":[{"index":0,"delta":{"content":"Herzlich willkommen"},"finish_reason":null}]}

data: [DONE]

Hänge die Textteile in deiner Anwendung einfach aneinander. Sobald data: [DONE] kommt, ist die Antwort vollständig.

Kosten und Tokens bei einem Stream

Der letzte Chunk vor [DONE] enthält usage mit den Tokenzahlen sowie cost und currency, also den Betrag in Euro. Das ist bei uns standardmäßig so. Brauchst du diesen Block nicht, schickst du "stream_options": {"include_usage": false} mit. stream_options ist nur zusammen mit "stream": true erlaubt und kennt nur dieses eine Feld.

Hat das Modell im Web gesucht, stehen auch citations und search_results in diesem letzten Chunk. Ruft das Modell eine deiner Funktionen auf, kommt direkt vor dem Abschluss ein eigener Chunk mit choices[0].delta.tool_calls, und der Abschluss trägt finish_reason: "tool_calls". Mehr dazu in Eigene Funktionen aufrufen lassen: tools und tool_calls.

Wenn die Verbindung abreißt

Bricht die Verbindung mitten im Stream ab, gibt es keine Fortsetzung. Was beim Anbieter bis dahin entstanden ist, wird trotzdem berechnet. Schickst du die Anfrage neu, ist das eine neue Anfrage mit neuen Kosten.

Wenn du lange Antworten zuverlässig abholen musst, etwa über wackelige Mobilverbindungen, nimm stattdessen den Endpunkt /responses mit background: true. Dort läuft der Auftrag auf unserer Seite weiter, und du kannst den Stream nach einer Unterbrechung an der letzten Stelle wieder aufnehmen. Wie das geht, steht in Lange Anfragen im Hintergrund: Responses mit background, Abfragen und Abbrechen.

Gut zu wissen

  • Jeder laufende Stream belegt einen Platz in der Zahl gleichzeitiger Anfragen deiner Stufe. Sind alle belegt, kommt 429 concurrent_requests_exceeded. Die Grenzen je Stufe erklärt Anfragelimit: So funktionieren die Stufen.
  • Streaming funktioniert auch mit dem Brain, also zusammen mit external_identifier und conversation.
  • Ein Proxy oder Webserver zwischen deiner Anwendung und dem Browser darf die Antwort nicht puffern, sonst kommt der Text doch erst am Ende an.

War dieser Artikel hilfreich?

Zurück zu Erste Schritte & API-Schlüssel