API de chat completions

Cómo usar modelos de chat con el endpoint /chat/completions compatible con OpenAI: formato de la solicitud, streaming, herramientas y caché de prompts.

Chat

POST /chat/completions acepta la solicitud de OpenAI sin cambios: messages, max_tokens, temperature, top_p, stop, tools y tool_choice, response_format, stream. Los campos desconocidos se pasan al modelo. Cada respuesta trae un encabezado x-request-id; cítalo cuando contactes a soporte.

Streaming

Usa "stream": true para recibir server-sent events. Agrega "stream_options": {"include_usage": true} para obtener los conteos de tokens en el último fragmento.

{
  "model": "deepseek-v4-1-flash",
  "stream": true,
  "stream_options": { "include_usage": true },
  "messages": [{ "role": "user", "content": "Hello" }]
}

Caché de prompts

Los prefijos de prompt repetidos (prompt del sistema, documentos largos, historial del chat) son almacenados en caché por el proveedor. Los tokens de entrada en caché se cobran automáticamente al precio más bajo de acierto de caché. Deja la parte estable del prompt al inicio y sin cambios.