Jedes Modell kann nur eine bestimmte Menge Text auf einmal verarbeiten, das Eingabefenster. Wird ein Chatverlauf mit der Zeit länger als dieses Fenster, lehnt FlowModels die Anfrage mit 400 context_length_exceeded ab. Anders als manche andere Schnittstelle kürzen wir deinen Verlauf nicht heimlich. Hier erfährst du, welche Möglichkeiten du dann hast.
Die Fehlermeldung lesen
Die Meldung nennt zwei Zahlen: max_input_tokens ist die Grenze des Modells, estimated_input_tokens unsere Schätzung für deine Anfrage. param steht auf messages. Die Grenze eines Modells findest du vorab in GET /v1/models unter flowai_limits.input_tokens, siehe Was ein Modell kann: Fähigkeiten, Grenzen, Ausgabelänge und Denktiefe prüfen.
Eng verwandt ist 400 input_tokens_exceeded. Auch dann ist die geschätzte Eingabe zu groß für die zulässige Grenze.
Drei Wege aus dem Fehler
1. Weniger mitschicken
Ohne Brain gehört der Verlauf dir: Du entscheidest bei jeder Anfrage, welche Nachrichten du mitsendest. Lass ältere Nachrichten weg oder fasse sie in deiner Anwendung selbst zusammen. Das ist der günstigste Weg.
2. Verdichtung erlauben
Setzt du "context_compression": true, darf FlowModels einen zu langen Verlauf selbst zusammenfassen und die Anfrage danach ausführen:
{
"model": "groq/openai/gpt-oss-120b",
"context_compression": true,
"messages": [ … dein langer Verlauf … ]
}
Die Zusammenfassung ist ein zusätzlicher Modellaufruf und kostet extra. In der Antwort steht dieser Anteil unter usage.flowai.compression mit calls, input_tokens, output_tokens und cost_micro_eur. Der Betrag ist in usage.cost schon enthalten und wird nur zusätzlich einzeln genannt, damit du eine höhere Rechnung nachvollziehen kannst. Ohne Verdichtung fehlt das Feld ganz.
Wenn du die OpenAI-Bibliothek für Python verwendest, schickst du das Feld über extra_body mit. Ist die Verdichtung auf unserer Seite vorübergehend abgeschaltet, antwortet die API auf context_compression mit 400 unsupported_field.
3. Das Brain den Verlauf führen lassen
Mit external_identifier und conversation speichern wir den Verlauf einer Unterhaltung für dich, siehe Brain nutzen: Unterhaltungen je Endnutzer speichern und fortsetzen. Du schickst dann nur noch die neue Nachricht. Wird der gespeicherte Verlauf länger als das Eingabefenster, fassen wir ältere Abschnitte automatisch zusammen und speichern die Zusammenfassung.
Dabei gilt:
- Jeder Abschnitt wird genau einmal zusammengefasst und genau einmal bezahlt, nicht bei jeder Anfrage neu.
- Die jüngsten Nachrichten bleiben immer im Wortlaut erhalten. Ältere erreicht das Modell über die Zusammenfassung.
- Verloren geht nichts: Eine Nachricht fällt erst aus dem Wortlaut, wenn die Zusammenfassung sie aufgenommen hat.
Auch diese Zusammenfassungen sind Modellaufrufe und gehören zu deinem Verbrauch.
Welcher Weg passt?
| Situation | Empfehlung |
|---|---|
| Du hast den Verlauf ohnehin in deiner Datenbank | selbst kürzen oder context_compression |
| Du willst dich nicht um Verläufe kümmern | Brain mit external_identifier |
| Einzelne Anfrage mit einem sehr langen Dokument | Modell mit größerem Eingabefenster wählen |
Gut zu wissen
- Auch Anhänge wie PDFs zählen zur Eingabe. Ein großes Dokument kann das Fenster allein füllen.
- Die Tokenzahl ist bei uns eine Schätzung vor der Ausführung. Plane deshalb etwas Luft unter der Grenze ein.
- Neben der Tokengrenze gibt es feste Obergrenzen je Anfrage: 1.000 Nachrichten, 1.000.000 Zeichen je Nachricht und 4 MiB JSON.