GitHub repo xịn · Vui Coding chọn
superlinked/sie
SIE là hệ thống mã nguồn mở cung cấp dịch vụ inference cho các mô hình AI, giúp tích hợp nhiều mô hình vào một hệ thống duy nhất cho các tác vụ của agent. Điểm hữu ích chính là khả năng phục vụ nhiều mô hình cùng lúc qua một API tiêu chuẩn và dễ tích hợp với các framework phổ biến.
Tóm tắt nhanh
Repo này làm được gì?
SIE là hệ thống mã nguồn mở cung cấp dịch vụ inference cho các mô hình AI, giúp tích hợp nhiều mô hình vào một hệ thống duy nhất cho các tác vụ của agent. Điểm hữu ích chính là khả năng phục vụ nhiều mô hình cùng lúc qua một API tiêu chuẩn và dễ tích hợp với các framework phổ biến.
Mô tả từ GitHub
Open-source inference server and production cluster for all the models your agent needs.
Bắt đầu với repo
Cài đặt và sử dụng
Hướng dẫn cài đặt
1. Cài đặt Python 3.12. 2. Chạy lệnh sau để cài đặt 'sie-server' và khởi động:
pip install "sie-server[local]" && sie-server serve3. Hoặc dùng Docker: - Đối với GPU:
docker run --gpus all -p 8080:8080 -v sie-hf-cache:/app/.cache/huggingface ghcr.io/superlinked/sie-server:latest-cuda12-default- Đối với CPU:
docker run -p 8080:8080 -v sie-hf-cache:/app/.cache/huggingface ghcr.io/superlinked/sie-server:latest-cpu-defaultHướng dẫn sử dụng
1. Cài đặt SDK:
pip install sie-sdk2. Gửi yêu cầu đến server: - Để tạo embeddings:
from sie_sdk import SIEClient
client = SIEClient("http://localhost:8080")
result = client.encode("sentence-transformers/all-MiniLM-L6-v2", Item(text="Hello world"))- Để thực hiện rerank:
scores = client.score("cross-encoder/ms-marco-MiniLM-L-6-v2", Item(text="What is machine learning?"), [Item(text="ML learns from data."), Item(text="The weather is sunny.")])- Để trích xuất entities:
result = client.extract("urchade/gliner_multi-v2.1", Item(text="Tim Cook is the CEO of Apple."), labels=["person", "organization"])3. Để gọi generate text:
result = client.generate("Qwen/Qwen3-0.6B", "Reply with a single word: the capital of France.", max_new_tokens=16, temperature=0.0)Lưu ý: nhiều thao tác cần server chạy với cấu hình phù hợp và mô hình đã được tải xuống.
Gợi ý triển khai · Được tài trợ
Mua Hosting & VPS ưu đãi tại Vietnix
Đón chào tháng 9, Vietnix bùng nổ ưu đãi cho Hosting và VPS, giúp bạn sở hữu hạ tầng lưu trữ mạnh mẽ với chi phí tối ưu.
Phù hợp cho VPS · backend · self-hosted
