API de chat completions
Cómo usar modelos de chat con el endpoint /chat/completions compatible con OpenAI: formato de la solicitud, streaming, herramientas y caché de prompts.
Chat
POST /chat/completions acepta la solicitud de OpenAI sin cambios: messages, max_tokens, temperature, top_p, stop, tools y tool_choice, response_format, stream. Los campos desconocidos se pasan al modelo. Cada respuesta trae un encabezado x-request-id; cítalo cuando contactes a soporte.
Streaming
Usa "stream": true para recibir server-sent events. Agrega "stream_options": {"include_usage": true} para obtener los conteos de tokens en el último fragmento.
{
"model": "deepseek-v4-1-flash",
"stream": true,
"stream_options": { "include_usage": true },
"messages": [{ "role": "user", "content": "Hello" }]
}Caché de prompts
Los prefijos de prompt repetidos (prompt del sistema, documentos largos, historial del chat) son almacenados en caché por el proveedor. Los tokens de entrada en caché se cobran automáticamente al precio más bajo de acierto de caché. Deja la parte estable del prompt al inicio y sin cambios.
