GitHub repo xịn · Vui Coding chọn
AlexsJones/llmfit
llmfit là công cụ giúp kiểm tra khả năng chạy các mô hình LLM trên phần cứng của người dùng, từ đó đề xuất các mô hình phù hợp. Điều này giúp tối ưu hiệu năng và tiết kiệm tài nguyên khi sử dụng các mô hình ngôn ngữ lớn.
Tóm tắt nhanh
Repo này làm được gì?
llmfit là công cụ giúp kiểm tra khả năng chạy các mô hình LLM trên phần cứng của người dùng, từ đó đề xuất các mô hình phù hợp. Điều này giúp tối ưu hiệu năng và tiết kiệm tài nguyên khi sử dụng các mô hình ngôn ngữ lớn.
Mô tả từ GitHub
Hundreds of models & providers. One command to find what runs on your hardware.
Bắt đầu với repo
Cài đặt và sử dụng
Hướng dẫn cài đặt
Bước 1: Cài đặt qua Homebrew:
brew install AlexsJones/llmfit/llmfithoặc từ homebrew-core:
brew install llmfitBước 2: Cài đặt nhanh:
curl -fsSL https://llmfit.axjns.dev/install.sh | shBước 3: Cài đặt qua uv/pip:
uv tool install -U llmfithoặc chạy không cài đặt:
uvx llmfitHướng dẫn sử dụng
Bước 1: Khởi động giao diện TUI bằng cách chạy:
llmfitBước 2: Các thao tác chính: - Nhấn `b` để mở benchmark cộng đồng - Nhấn `I` để mở các benchmark chạy trực tiếp - Sử dụng `/` để tìm kiếm mô hình - Nhấn `Esc` để thoát tìm kiếm Bước 3: Sử dụng lệnh CLI: - `llmfit recommend` để xem các mô hình đề xuất dựa trên phần cứng - `llmfit serve --host 0.0.0.0 --port 8787` để khởi động API server - `llmfit info ""` để phân tích mô hình - `llmfit bench` để đo hiệu suất - `llmfit doctor` để kiểm tra hệ thống
