Потоковая передача

OpenGates поддерживает потоковую передачу ответов через Server-Sent Events (SSE).

Включение стриминга

Добавьте параметр stream: true в тело запроса:

{
  "model": "openai/gpt-4o-mini",
  "messages": [{"role": "user", "content": "Расскажи историю"}],
  "stream": true
}

Формат событий

data: {"choices":[{"delta":{"role":"assistant"},"index":0}]}

data: {"choices":[{"delta":{"content":"Жил-был"},"index":0}]}

data: {"choices":[{"delta":{"content":" программист..."},"index":0}]}

data: [DONE]

Клиенты

Большинство SDK поддерживают стриминг из коробки:

Python (OpenAI SDK):

stream = client.chat.completions.create(
    model="openai/gpt-4o-mini",
    messages=[...],
    stream=True
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

Node.js:

const stream = await client.chat.completions.create({
    model: "openai/gpt-4o-mini",
    messages: [...],
    stream: true
});
for await (const chunk of stream) {
    process.stdout.write(chunk.choices[0]?.delta?.content || "");
}