API chat completions

Cara memanggil model chat melalui endpoint /chat/completions yang kompatibel dengan OpenAI: format request, streaming, tool call, dan prompt caching.

Chat

POST /chat/completions menerima request OpenAI tanpa perubahan: messages, max_tokens, temperature, top_p, stop, tools dan tool_choice, response_format, stream. Field yang tidak dikenal diteruskan ke model. Setiap response membawa header x-request-id; sertakan saat Anda menghubungi tim dukungan.

Streaming

Atur "stream": true untuk menerima server-sent events. Tambahkan "stream_options": {"include_usage": true} untuk mendapatkan jumlah token di chunk terakhir.

{
  "model": "deepseek-v4-1-flash",
  "stream": true,
  "stream_options": { "include_usage": true },
  "messages": [{ "role": "user", "content": "Hello" }]
}

Prompt caching

Awalan prompt yang berulang (system prompt, dokumen panjang, riwayat chat) di-cache oleh penyedia. Token input yang di-cache otomatis ditagih dengan harga cache hit yang lebih murah. Letakkan bagian prompt yang stabil di awal dan jangan diubah.