Mit Function Calling kann das Modell entscheiden, dass es für eine Antwort Daten aus deinem System braucht, zum Beispiel einen Lagerbestand oder einen Termin. FlowModels unterstützt das im Format von OpenAI über tools. Wichtig vorab: Wir führen deine Funktionen nicht aus. Das Modell sagt dir, welche Funktion es mit welchen Werten aufrufen möchte. Du führst sie in deinem System aus und schickst das Ergebnis zurück.
Der Ablauf in zwei Schritten
Ein Funktionsaufruf besteht immer aus zwei Anfragen, und beide werden berechnet:
- Du schickst die Frage zusammen mit der Beschreibung deiner Funktionen.
- Das Modell antwortet mit einem Aufruf. Du führst ihn aus und schickst das Ergebnis in einer zweiten Anfrage zurück. Erst dann formuliert das Modell die eigentliche Antwort.
Schritt 1: Funktionen anbieten
{
"model": "groq/openai/gpt-oss-120b",
"messages": [{"role": "user", "content": "Ist der Artikel A-1042 noch auf Lager?"}],
"tools": [{
"type": "function",
"function": {
"name": "lagerbestand_abfragen",
"description": "Liefert den aktuellen Lagerbestand eines Artikels.",
"parameters": {
"type": "object",
"properties": {"artikelnummer": {"type": "string"}},
"required": ["artikelnummer"]
}
}
}]
}
Will das Modell die Funktion nutzen, kommt eine Antwort mit finish_reason: "tool_calls", content: null und den gewünschten Aufrufen:
"message": {
"role": "assistant",
"content": null,
"tool_calls": [{
"id": "call_abc",
"type": "function",
"function": {"name": "lagerbestand_abfragen", "arguments": "{\"artikelnummer\":\"A-1042\"}"}
}]
}
arguments ist ein Text mit JSON darin, kein Objekt. Parse ihn in deinem Code, bevor du die Werte verwendest, und prüfe sie wie jede andere Eingabe.
Schritt 2: Das Ergebnis zurückschicken
Ohne Brain schickst du den bisherigen Verlauf, die Nachricht des Modells mit tool_calls und dein Ergebnis als Nachricht mit role: "tool". Die tool_call_id muss genau der id aus dem Aufruf entsprechen, sonst lehnt die API die Anfrage mit HTTP 400 ab:
{
"model": "groq/openai/gpt-oss-120b",
"messages": [
{"role": "user", "content": "Ist der Artikel A-1042 noch auf Lager?"},
{"role": "assistant", "tool_calls": [{"id": "call_abc", "type": "function", "function": {"name": "lagerbestand_abfragen", "arguments": "{\"artikelnummer\":\"A-1042\"}"}}]},
{"role": "tool", "tool_call_id": "call_abc", "content": "{\"bestand\": 37, \"lager\": \"Hamburg\"}"}
],
"tools": [ … dieselbe Liste wie in Schritt 1 … ]
}
Nutzt du das Brain mit external_identifier, schickst du im zweiten Schritt nur dieselbe external_identifier, die conversation aus der Antwort und die Nachricht mit role: "tool". Den Aufruf des Modells haben wir schon gespeichert. Den ganzen Verlauf noch einmal mitzuschicken würde den Kontext verdoppeln. Mehr zum Brain in Brain nutzen: Unterhaltungen je Endnutzer speichern und fortsetzen.
Steuern, wann eine Funktion aufgerufen wird
tool_choice:"auto"lässt das Modell entscheiden,"none"verbietet Aufrufe,"required"erzwingt mindestens einen, und{"type": "function", "function": {"name": "lagerbestand_abfragen"}}erzwingt genau diese Funktion. Der Name muss intoolsvorkommen.parallel_tool_calls: erlaubt oder verbietet mehrere Aufrufe in einer Antwort.
Beide Felder sind nur zusammen mit tools erlaubt.
Grenzen
- höchstens 128 Funktionen je Anfrage
- jede Beschreibung höchstens 65.536 Zeichen, jedes Schema höchstens 65.536 Bytes
- Funktionsnamen bestehen aus 1 bis 64 Zeichen: Buchstaben, Ziffern, Unterstrich und Bindestrich
Ob ein Modell Funktionen überhaupt annimmt, steht in GET /models unter capabilities.tools und capabilities.parallel_tool_calls. Fehlt die Fähigkeit, kommt 400 unsupported_for_model, siehe Was ein Modell kann: Fähigkeiten, Grenzen, Ausgabelänge und Denktiefe prüfen.
Streaming und Responses
Beim Streaming kommen die Aufrufe gesammelt in einem eigenen Chunk direkt vor dem Abschluss, in choices[0].delta.tool_calls mit index. Auf dem Endpunkt /responses erscheinen sie als Einträge vom Typ function_call in output, und du antwortest mit einem Eintrag vom Typ function_call_output. Die Funktionen selbst sendest du auch dort in der verschachtelten Form wie oben.
Wenn etwas nicht klappt
400 invalid_field_valuebeitoolsundflowai_tools: Die beiden Felder schließen sich aus.flowai_toolssteuert Werkzeuge auf unserer Seite,toolsdeine eigenen Funktionen.- Das Modell ruft die Funktion immer wieder auf: Prüfe, ob deine Nachricht mit
role: "tool"die richtigetool_call_idträgt und ob im zweiten Schritt die Nachricht des Modells mittool_callsenthalten ist. 400wegen des Namens: Leerzeichen, Punkte und Umlaute sind im Funktionsnamen nicht erlaubt.