DeepSeek V4.1 trong LiteLLM: proxy, Python SDK và chi tiêu đúng số thật
Thêm DeepSeek V4.1 từ API Store vào LiteLLM proxy hoặc Python SDK chỉ với một mục config, và cho LiteLLM biết giá để nhật ký chi tiêu và ngân sách luôn đúng.

LiteLLM là gateway mã nguồn mở, gom nhiều nhà cung cấp model sau một API kiểu OpenAI. Các team chạy LiteLLM để mọi ứng dụng dùng chung một endpoint, cấp virtual key và đặt ngân sách cho từng team. Bài này hướng dẫn thêm DeepSeek V4.1 từ API Store vào LiteLLM, qua proxy hoặc gọi thẳng từ Python, và cách để LiteLLM tính đúng chi phí.
Vì sao dùng DeepSeek qua API Store
API Store theo chuẩn OpenAI, nên LiteLLM nói chuyện với API Store giống như với OpenAI. Bạn dùng DeepSeek V4.1 với giá 0,21 US$ cho mỗi triệu token đầu vào và 0,84 US$ cho mỗi triệu token đầu ra, rẻ hơn nữa ngoài giờ cao điểm, trả từ số dư trả trước, không thuê bao. Cùng một key còn gọi được model video Seedance và ảnh Seedream khi bạn cần.
Proxy: một mục trong config.yaml
model_list:
- model_name: deepseek-v4-1-flash
litellm_params:
model: openai/deepseek-v4-1-flash
api_base: https://api.apistore.cloud/v1
api_key: os.environ/APISTORE_API_KEY
use_chat_completions_api: true
input_cost_per_token: 0.00000021
output_cost_per_token: 0.00000084
cache_read_input_token_cost: 0.0000000042Bốn phần làm nên việc:
openai/cho LiteLLM biết model dùng API chuẩn OpenAI. Tên phía sau là tên model trên API Store.api_basegửi request tới API Store thay vì OpenAI.use_chat_completions_apikhiến LiteLLM gửi các request Responses API và Anthropic Messages dưới dạng chat completions. Xem thêm ở phần dưới.- Các dòng giá là giá cho mỗi token. Thiếu chúng, LiteLLM không biết gì về model và ghi mọi request là $0.
Chạy proxy với key trong biến môi trường, rồi gọi bằng model_name trong config:
export APISTORE_API_KEY=sk-...
litellm --config config.yaml
curl http://localhost:4000/v1/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "deepseek-v4-1-flash", "messages": [{"role": "user", "content": "Say hello"}]}'Response có header x-litellm-response-cost. Với một câu "Say hello" ngắn, con số khoảng $0.00001, đúng bằng số API Store tính cho các token đó theo giá tiêu chuẩn.
Giá ở trên là giá hôm nay. Hướng dẫn cài đặt LiteLLM tạo sẵn config này với giá hiện tại.
Python SDK, không cần proxy
import os
from litellm import completion
response = completion(
model="openai/deepseek-v4-1-flash",
api_base="https://api.apistore.cloud/v1",
api_key=os.environ["APISTORE_API_KEY"],
messages=[{"role": "user", "content": "Say hello"}],
)
print(response.choices[0].message.content)Thêm stream=True để nhận câu trả lời dạng streaming. Tool call hoạt động như với model OpenAI: truyền tools, và response có tool_calls kèm tên hàm và tham số. Blog có ví dụ đầy đủ cho cả hai.
Client dùng Responses API và Anthropic Messages
LiteLLM chuyển đổi giữa các định dạng API, nên model sau proxy còn trả lời được trên endpoint /v1/responses và /v1/messages. Một công cụ viết cho Responses API hoặc Anthropic Messages API vẫn dùng được DeepSeek V4.1 mà không cần sửa.
Đó là việc của use_chat_completions_api: true. Model openai/ được xem như chính OpenAI, nên thiếu dòng này LiteLLM sẽ chuyển các request đó tới endpoint Responses của OpenAI, và API Store trả 404 Unknown path /v1/responses. Có dòng này, LiteLLM đổi chúng thành chat completions trước, và chi phí vẫn được tính như thường.
Hai model, hai mục
deepseek-v4-1-flash-economy có giá 0,168 US$ cho mỗi triệu token đầu vào và 0,672 US$ cho mỗi triệu token đầu ra. Để dùng cả hai, chép mục trên, đổi hai tên model và dùng giá của bản economy. Ứng dụng chọn model theo model_name, và ngân sách của LiteLLM áp dụng cho cả hai.
Giữ hai ngân sách khớp nhau
LiteLLM và API Store đều có giới hạn chi tiêu, và mỗi bên làm một việc khác nhau:
- Trong LiteLLM, cấp cho mỗi team hoặc ứng dụng một virtual key có ngân sách. Việc này chia chi tiêu trong công ty.
- Trong API Store, cấp cho LiteLLM proxy một key riêng có trần chi tiêu theo ngày. Đó là giới hạn cứng nếu có thứ gì chạy lặp.
Các dòng giá dùng giá giờ cao điểm. Giá giờ thấp điểm chỉ bằng một nửa, nên vào những giờ đó LiteLLM có thể ghi gấp đôi số bạn thực trả. Trang Usage trong dashboard API Store có đúng số tiền của từng request.
Xử lý sự cố
- 401 invalid_api_key:
APISTORE_API_KEYchưa được đặt ở nơi proxy chạy, chỉ có trong shell của bạn. - 404 model_not_found: tên sau
openai/phải là tên model của API Store, đúng như trên trang bảng giá. - Chi tiêu hiện $0: thiếu các dòng giá trong
litellm_params. - 404 Unknown path /v1/responses khi gọi
/v1/responseshoặc/v1/messages: thêmuse_chat_completions_api: truevàolitellm_params. - 402 insufficient_balance: nạp thêm, hoặc tăng trần chi tiêu theo ngày của key.
Chi phí
LiteLLM miễn phí và không thu thêm phí. Mỗi request được trừ vào số dư API Store theo giá token của model: 0,21 US$ đầu vào và 0,84 US$ đầu ra cho mỗi triệu token với deepseek-v4-1-flash, đầu vào đọc từ cache giá 0,0042 US$. Trang bảng giá có mọi model.

