GitHub repo xịn · Vui Coding chọn
vllm-project/vllm
vLLM là thư viện nhanh và dễ sử dụng để inference và phục vụ các mô hình LLM, hỗ trợ đa dạng phần cứng và tối ưu hóa hiệu suất. Nó giúp đơn giản hóa việc triển khai và mở rộng các mô hình ngôn ngữ lớn một cách hiệu quả và linh hoạt.
Tóm tắt nhanh
Repo này làm được gì?
vLLM là thư viện nhanh và dễ sử dụng để inference và phục vụ các mô hình LLM, hỗ trợ đa dạng phần cứng và tối ưu hóa hiệu suất. Nó giúp đơn giản hóa việc triển khai và mở rộng các mô hình ngôn ngữ lớn một cách hiệu quả và linh hoạt.
Mô tả từ GitHub
A high-throughput and memory-efficient inference and serving engine for LLMs
Bắt đầu với repo
Cài đặt và sử dụng
Hướng dẫn cài đặt
Các bước cài đặt: 1. Cài đặt uv và vllm:
uv pip install vllm2. Tải kernel precompiled:
vllm download-kernelsHướng dẫn sử dụng
Các bước sử dụng: 1. Để chạy mô hình, dùng lệnh:
vllm start2. Tương tác API có thể thực hiện các yêu cầu inference theo hướng dẫn của tài liệu chính thức.
