Em respostas longas, você não quer deixar seus usuários olhando para um ícone de carregamento por vários minutos. Com streaming, o FlowModels envia a resposta pedaço por pedaço, à medida que o modelo a gera. Isso funciona como na OpenAI, via Server-Sent Events (SSE). Veja aqui como iniciar um stream, como são as partes individuais e onde ficam o custo e os tokens no final.
Iniciar um stream
Na requisição para POST /v1/chat/completions, defina o campo stream como true. Com curl, você também precisa de -N, para que a saída não fique em buffer:
curl -N https://api.flowmodels.one/v1/chat/completions \
-H "Authorization: Bearer at_sua_chave" \
-H "Content-Type: application/json" \
-H "Accept: text/event-stream" \
-d '{"model": "groq/openai/gpt-oss-120b", "stream": true, "messages": [{"role": "user", "content": "Escreva uma saudação curta para o nosso portal do cliente."}]}'
Com a biblioteca da OpenAI para Python, fica assim:
stream = client.chat.completions.create(
model="groq/openai/gpt-oss-120b",
messages=[{"role": "user", "content": "Escreva uma saudação curta para o nosso portal do cliente."}],
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].delta.content or "", end="", flush=True)
Como configurar a biblioteca está em Usar a biblioteca da OpenAI para Python e Node.js com o FlowModels.
Como é um stream
A resposta chega como text/event-stream. Cada linha começa com data: e contém um objeto do tipo chat.completion.chunk. O texto novo fica em choices[0].delta.content:
data: {"id":"chatcmpl-…","object":"chat.completion.chunk","model":"groq/openai/gpt-oss-120b","choices":[{"index":0,"delta":{"content":"Seja bem-vindo"},"finish_reason":null}]}
data: [DONE]
Na sua aplicação, basta concatenar os pedaços de texto. Quando chegar data: [DONE], a resposta está completa.
Custo e tokens em um stream
O último chunk antes de [DONE] contém usage com as contagens de tokens, além de cost e currency, ou seja, o valor em euros. Aqui isso é o padrão. Se não precisar desse bloco, envie "stream_options": {"include_usage": false}. stream_options só é permitido junto com "stream": true e só aceita esse campo.
Se o modelo tiver pesquisado na web, citations e search_results também aparecem nesse último chunk. Se o modelo chamar uma das suas funções, vem um chunk próprio com choices[0].delta.tool_calls logo antes do encerramento, e o encerramento traz finish_reason: "tool_calls". Mais detalhes em Deixar o modelo chamar suas funções: tools e tool_calls.
Quando a conexão cai
Se a conexão cair no meio do stream, não há continuação. O que já foi gerado no provedor até aquele momento é cobrado mesmo assim. Se você enviar a requisição de novo, ela é uma nova requisição, com novo custo.
Se você precisa buscar respostas longas de forma confiável, por exemplo em conexões móveis instáveis, use o endpoint /responses com background: true. Lá a tarefa continua rodando do nosso lado, e você pode retomar o stream do último ponto depois de uma interrupção. Como fazer isso está em Requisições longas em segundo plano: Responses com background, consulta e cancelamento.
Bom saber
- Cada stream em andamento ocupa uma vaga no número de requisições simultâneas do seu nível. Quando todas estão ocupadas, você recebe
429 concurrent_requests_exceeded. Os limites de cada nível estão em Limite de requisições: como funcionam os níveis. - O streaming também funciona com o Brain, ou seja, junto com
external_identifiereconversation. - Um proxy ou servidor web entre sua aplicação e o navegador não pode colocar a resposta em buffer, senão o texto só chega no final.