GitHub repo xịn · Vui Coding chọn
MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark
Repository này cung cấp hướng dẫn sử dụng DeepSeek-v4-Flash trên 2 node DGX Spark, giúp tối ưu hiệu năng xử lý hình ảnh và hội thoại phức tạp. Điểm nổi bật là tích hợp nhiều tùy chỉnh cấu hình phù hợp với hệ thống đa nút, nâng cao hiệu suất và mở rộng khả năng AI vision.
Tóm tắt nhanh
Repo này làm được gì?
Repository này cung cấp hướng dẫn sử dụng DeepSeek-v4-Flash trên 2 node DGX Spark, giúp tối ưu hiệu năng xử lý hình ảnh và hội thoại phức tạp. Điểm nổi bật là tích hợp nhiều tùy chỉnh cấu hình phù hợp với hệ thống đa nút, nâng cao hiệu suất và mở rộng khả năng AI vision.
Mô tả từ GitHub
DeepSeek-v4-Flash 0731 recipe for 2x DGX Sparks
Bắt đầu với repo
Cài đặt và sử dụng
Hướng dẫn cài đặt
1. Sao chép file mẫu:
cp .env.dspark.example .env.dspark2. Cấu hình biến môi trường theo hướng dẫn trong file .env.dspark. 3. Tải ảnh của container:
docker pull ghcr.io/anemll/dspark-vllm-gx10:0.1.14. Chuẩn bị weights:
./prepare-dspark-model-cache.sh --official5. Khởi động hệ thống:
./start-deepseek-v4-flash-dspark.shHướng dẫn sử dụng
1. Kiểm tra hệ thống hoạt động:
curl -fsS http://127.0.0.1:8888/v1/models2. Gửi câu hỏi qua API, ví dụ:
{"model":"deepseek-v4-flash-vision-exp","messages":[{"role":"user","content":[{"type":"image_url","image_url":{"url":""}}, {"type":"text","text":"Bạn nhìn thấy gì trong hình?"}]}]}3. Quản lý, theo dõi hệ thống bằng các lệnh:
./status-deepseek-v4-flash-dspark.sh
./logs-…
./stop-…
