GitHub repo xịn · Vui Coding chọn
JustVugg/colibri
Colibri là engine inference nhỏ gọn, chạy mô hình MoE lớn từ 744B đến 2.8T tham số trên phần cứng người dùng. Điểm mạnh là giảm phụ thuộc vào phần cứng cao cấp, tận dụng bộ nhớ phân tầng và streaming từ đĩa, giúp mở rộng khả năng truy cập và thử nghiệm mô hình lớn dễ dàng hơn.
Tóm tắt nhanh
Repo này làm được gì?
Colibri là engine inference nhỏ gọn, chạy mô hình MoE lớn từ 744B đến 2.8T tham số trên phần cứng người dùng. Điểm mạnh là giảm phụ thuộc vào phần cứng cao cấp, tận dụng bộ nhớ phân tầng và streaming từ đĩa, giúp mở rộng khả năng truy cập và thử nghiệm mô hình lớn dễ dàng hơn.
Mô tả từ GitHub
Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
Bắt đầu với repo
Cài đặt và sử dụng
Hướng dẫn cài đặt
Bước 1: Tải các tệp release phù hợp cho hệ thống của bạn từ [Releases](https://github.com/JustVugg/colibri/releases). Bước 2: Giải nén tệp đã tải vào thư mục mong muốn. Ví dụ:
mkdir colibri && tar xzf colibri-v1.8.0-linux-x86_64.tar.gz -C colibri && cd colibriBước 3: Chạy kiểm tra engine đã sẵn sàng bằng lệnh:
python3 coli infoHướng dẫn sử dụng
Bước 1: Khởi động mô hình cho cuộc trò chuyện:
./coli chatBước 2: Sử dụng các lệnh như `coli serve` để chạy dịch vụ hoặc kết nối các phần tử trong hệ thống theo hướng dẫn trong repository để luân chuyển và streaming mô hình lớn, tận dụng cache và streaming từ đĩa. Tham khảo phần hướng dẫn đầy đủ trong README hoặc tài liệu hướng dẫn sử dụng.
