GitHub repo xịn · Vui Coding chọn
FareedKhan-dev/kimi-k3-in-c
Repo này thực hiện inference cho mô hình Kimi K3 có 2.78 nghìn tỷ tham số bằng ngôn ngữ C99 trên một CPU duy nhất, không cần GPU hoặc framework phức tạp, giúp tiết kiệm RAM và dễ triển khai. Điểm nổi bật là khả năng chạy mô hình lớn trên thiết bị có giới hạn về tài nguyên, phù hợp cho nghiên cứu AI và các ứng dụng đòi
Tóm tắt nhanh
Repo này làm được gì?
Repo này thực hiện inference cho mô hình Kimi K3 có 2.78 nghìn tỷ tham số bằng ngôn ngữ C99 trên một CPU duy nhất, không cần GPU hoặc framework phức tạp, giúp tiết kiệm RAM và dễ triển khai. Điểm nổi bật là khả năng chạy mô hình lớn trên thiết bị có giới hạn về tài nguyên, phù hợp cho nghiên cứu AI và các ứng dụng đòi
Mô tả từ GitHub
A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.