FlowModels

Histórico longo demais: context_length_exceeded e compactação do histórico

Publicado em 11. novembro 2026

Cada modelo só consegue processar uma certa quantidade de texto de uma vez, a chamada janela de entrada. Quando um histórico de chat fica maior do que essa janela, o FlowModels recusa a requisição com 400 context_length_exceeded. Diferente de algumas outras APIs, não cortamos seu histórico sem avisar. Veja aqui quais são as suas opções.

Ler a mensagem de erro

A mensagem traz dois números: max_input_tokens é o limite do modelo, e estimated_input_tokens é a nossa estimativa para sua requisição. param fica como messages. O limite de um modelo pode ser consultado antes em GET /v1/models, em flowai_limits.input_tokens, veja O que um modelo sabe fazer: verificar capacidades, limites, tamanho da saída e profundidade de raciocínio.

O erro 400 input_tokens_exceeded é bem parecido. Nele também a entrada estimada é grande demais para o limite permitido.

Três formas de sair do erro

1. Enviar menos

Sem o Brain, o histórico é seu: você decide em cada requisição quais mensagens enviar. Deixe de fora as mensagens mais antigas ou resuma-as na sua aplicação. Essa é a forma mais barata.

2. Permitir a compactação

Com "context_compression": true, o FlowModels pode resumir por conta própria um histórico longo demais e depois executar a requisição:

{
  "model": "groq/openai/gpt-oss-120b",
  "context_compression": true,
  "messages": [ … seu histórico longo … ]
}

O resumo é uma chamada adicional de modelo e tem custo extra. Na resposta, essa parcela aparece em usage.flowai.compression, com calls, input_tokens, output_tokens e cost_micro_eur. O valor já está incluído em usage.cost e é apenas informado à parte, para que você consiga entender uma cobrança maior. Sem compactação, o campo não aparece.

Se você usa a biblioteca da OpenAI para Python, envie o campo por extra_body. Se a compactação estiver temporariamente desativada do nosso lado, a API responde a context_compression com 400 unsupported_field.

3. Deixar o Brain cuidar do histórico

Com external_identifier e conversation, armazenamos o histórico de uma conversa para você, veja Usar o Brain: salvar e continuar conversas por usuário final. Assim, você envia apenas a nova mensagem. Quando o histórico armazenado ultrapassa a janela de entrada, resumimos automaticamente os trechos mais antigos e salvamos o resumo.

Nesse caso:

  • Cada trecho é resumido exatamente uma vez e pago exatamente uma vez, não a cada requisição.
  • As mensagens mais recentes são sempre mantidas na íntegra. As mais antigas chegam ao modelo pelo resumo.
  • Nada se perde: uma mensagem só sai do texto integral depois que o resumo a incorporou.

Esses resumos também são chamadas de modelo e fazem parte do seu consumo.

Qual forma é a certa?

Situação Recomendação
Você já tem o histórico no seu banco de dados reduzir você mesmo ou usar context_compression
Você não quer se preocupar com históricos Brain com external_identifier
Requisição individual com um documento muito longo escolher um modelo com janela de entrada maior

Bom saber

  • Anexos como PDFs também contam para a entrada. Um documento grande pode encher a janela sozinho.
  • A contagem de tokens é, aqui, uma estimativa antes da execução. Por isso, deixe uma folga abaixo do limite.
  • Além do limite de tokens, há limites fixos por requisição: 1.000 mensagens, 1.000.000 de caracteres por mensagem e 4 MiB de JSON.

Este artigo foi útil?

Voltar para Modelos, limites e erros