GitHub repo xịn. Đỡ phải tự đào.

Colibri là engine inference nhỏ gọn, chạy mô hình MoE lớn từ 744B đến 2.8T tham số trên phần cứng người dùng. Điểm mạnh là giảm phụ thuộc vào phần cứng cao cấp, tận dụng bộ nhớ phân tầng và streaming từ đĩa, giúp mở rộng khả năng truy cập và thử nghiệm mô hình lớn dễ dàng hơn.

Repo này cung cấp mã nguồn của thư viện nén không mất dữ liệu Zstandard, hỗ trợ nén nhanh và phương pháp nén tối ưu cho dữ liệu nhỏ hoặc lớn. Nó giúp cải thiện hiệu suất và tỷ lệ nén trong các ứng dụng đòi hỏi xử lý dữ liệu thời gian thực.

Repo này thực hiện inference cho mô hình Kimi K3 có 2.78 nghìn tỷ tham số bằng ngôn ngữ C99 trên một CPU duy nhất, không cần GPU hoặc framework phức tạp, giúp tiết kiệm RAM và dễ triển khai. Điểm nổi bật là khả năng chạy mô hình lớn trên thiết bị có giới hạn về tài nguyên, phù hợp cho nghiên cứu AI và các ứng dụng đòi