FlowModels

Transmitir respostas em streaming: Chat Completions com Server-Sent Events

Publicado em 11. novembro 2026

Em respostas longas, você não quer deixar seus usuários olhando para um ícone de carregamento por vários minutos. Com streaming, o FlowModels envia a resposta pedaço por pedaço, à medida que o modelo a gera. Isso funciona como na OpenAI, via Server-Sent Events (SSE). Veja aqui como iniciar um stream, como são as partes individuais e onde ficam o custo e os tokens no final.

Iniciar um stream

Na requisição para POST /v1/chat/completions, defina o campo stream como true. Com curl, você também precisa de -N, para que a saída não fique em buffer:

curl -N https://api.flowmodels.one/v1/chat/completions \
  -H "Authorization: Bearer at_sua_chave" \
  -H "Content-Type: application/json" \
  -H "Accept: text/event-stream" \
  -d '{"model": "groq/openai/gpt-oss-120b", "stream": true, "messages": [{"role": "user", "content": "Escreva uma saudação curta para o nosso portal do cliente."}]}'

Com a biblioteca da OpenAI para Python, fica assim:

stream = client.chat.completions.create(
    model="groq/openai/gpt-oss-120b",
    messages=[{"role": "user", "content": "Escreva uma saudação curta para o nosso portal do cliente."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)

Como configurar a biblioteca está em Usar a biblioteca da OpenAI para Python e Node.js com o FlowModels.

Como é um stream

A resposta chega como text/event-stream. Cada linha começa com data: e contém um objeto do tipo chat.completion.chunk. O texto novo fica em choices[0].delta.content:

data: {"id":"chatcmpl-…","object":"chat.completion.chunk","model":"groq/openai/gpt-oss-120b","choices":[{"index":0,"delta":{"content":"Seja bem-vindo"},"finish_reason":null}]}

data: [DONE]

Na sua aplicação, basta concatenar os pedaços de texto. Quando chegar data: [DONE], a resposta está completa.

Custo e tokens em um stream

O último chunk antes de [DONE] contém usage com as contagens de tokens, além de cost e currency, ou seja, o valor em euros. Aqui isso é o padrão. Se não precisar desse bloco, envie "stream_options": {"include_usage": false}. stream_options só é permitido junto com "stream": true e só aceita esse campo.

Se o modelo tiver pesquisado na web, citations e search_results também aparecem nesse último chunk. Se o modelo chamar uma das suas funções, vem um chunk próprio com choices[0].delta.tool_calls logo antes do encerramento, e o encerramento traz finish_reason: "tool_calls". Mais detalhes em Deixar o modelo chamar suas funções: tools e tool_calls.

Quando a conexão cai

Se a conexão cair no meio do stream, não há continuação. O que já foi gerado no provedor até aquele momento é cobrado mesmo assim. Se você enviar a requisição de novo, ela é uma nova requisição, com novo custo.

Se você precisa buscar respostas longas de forma confiável, por exemplo em conexões móveis instáveis, use o endpoint /responses com background: true. Lá a tarefa continua rodando do nosso lado, e você pode retomar o stream do último ponto depois de uma interrupção. Como fazer isso está em Requisições longas em segundo plano: Responses com background, consulta e cancelamento.

Bom saber

  • Cada stream em andamento ocupa uma vaga no número de requisições simultâneas do seu nível. Quando todas estão ocupadas, você recebe 429 concurrent_requests_exceeded. Os limites de cada nível estão em Limite de requisições: como funcionam os níveis.
  • O streaming também funciona com o Brain, ou seja, junto com external_identifier e conversation.
  • Um proxy ou servidor web entre sua aplicação e o navegador não pode colocar a resposta em buffer, senão o texto só chega no final.

Este artigo foi útil?

Voltar para Primeiros passos e chaves de API