Cada modelo só consegue processar uma certa quantidade de texto de uma vez, a chamada janela de entrada. Quando um histórico de chat fica maior do que essa janela, o FlowModels recusa a requisição com 400 context_length_exceeded. Diferente de algumas outras APIs, não cortamos seu histórico sem avisar. Veja aqui quais são as suas opções.
Ler a mensagem de erro
A mensagem traz dois números: max_input_tokens é o limite do modelo, e estimated_input_tokens é a nossa estimativa para sua requisição. param fica como messages. O limite de um modelo pode ser consultado antes em GET /v1/models, em flowai_limits.input_tokens, veja O que um modelo sabe fazer: verificar capacidades, limites, tamanho da saída e profundidade de raciocínio.
O erro 400 input_tokens_exceeded é bem parecido. Nele também a entrada estimada é grande demais para o limite permitido.
Três formas de sair do erro
1. Enviar menos
Sem o Brain, o histórico é seu: você decide em cada requisição quais mensagens enviar. Deixe de fora as mensagens mais antigas ou resuma-as na sua aplicação. Essa é a forma mais barata.
2. Permitir a compactação
Com "context_compression": true, o FlowModels pode resumir por conta própria um histórico longo demais e depois executar a requisição:
{
"model": "groq/openai/gpt-oss-120b",
"context_compression": true,
"messages": [ … seu histórico longo … ]
}
O resumo é uma chamada adicional de modelo e tem custo extra. Na resposta, essa parcela aparece em usage.flowai.compression, com calls, input_tokens, output_tokens e cost_micro_eur. O valor já está incluído em usage.cost e é apenas informado à parte, para que você consiga entender uma cobrança maior. Sem compactação, o campo não aparece.
Se você usa a biblioteca da OpenAI para Python, envie o campo por extra_body. Se a compactação estiver temporariamente desativada do nosso lado, a API responde a context_compression com 400 unsupported_field.
3. Deixar o Brain cuidar do histórico
Com external_identifier e conversation, armazenamos o histórico de uma conversa para você, veja Usar o Brain: salvar e continuar conversas por usuário final. Assim, você envia apenas a nova mensagem. Quando o histórico armazenado ultrapassa a janela de entrada, resumimos automaticamente os trechos mais antigos e salvamos o resumo.
Nesse caso:
- Cada trecho é resumido exatamente uma vez e pago exatamente uma vez, não a cada requisição.
- As mensagens mais recentes são sempre mantidas na íntegra. As mais antigas chegam ao modelo pelo resumo.
- Nada se perde: uma mensagem só sai do texto integral depois que o resumo a incorporou.
Esses resumos também são chamadas de modelo e fazem parte do seu consumo.
Qual forma é a certa?
| Situação | Recomendação |
|---|---|
| Você já tem o histórico no seu banco de dados | reduzir você mesmo ou usar context_compression |
| Você não quer se preocupar com históricos | Brain com external_identifier |
| Requisição individual com um documento muito longo | escolher um modelo com janela de entrada maior |
Bom saber
- Anexos como PDFs também contam para a entrada. Um documento grande pode encher a janela sozinho.
- A contagem de tokens é, aqui, uma estimativa antes da execução. Por isso, deixe uma folga abaixo do limite.
- Além do limite de tokens, há limites fixos por requisição: 1.000 mensagens, 1.000.000 de caracteres por mensagem e 4 MiB de JSON.