aicentosLM Studio
LM Studio là máy chủ suy luận cục bộ chứ không phải client —— giải thích vai trò đúng của nó và cách làm thay thế
Cập nhật lần cuối:
LM Studio thường bị coi là "một client trò chuyện nữa", thực ra hướng là ngược lại: nó là trình chạy mô hình cục bộ, mở ra một giao diện tương thích OpenAI (mặc định http://localhost:1234/v1) để người khác kết nối tới. Nó không có chỗ "điền một Base URL từ xa", nên không thể dùng làm client kết nối aicentos.
Vì sao không thể kết nối trực tiếp
- Định vị chính thức là
Serve local models on OpenAI-like endpoints, vai trò máy chủ, không phải bên tiêu thụ. - Bản desktop và CLI
lmsđều không có mục cấu hình endpoint cho provider bên thứ ba. - Năng lực cloud của nó (LM Studio Secure Cloud, LM Link) là kênh tính toán do chính thức lưu trữ, không nhận endpoint bên thứ ba tùy chỉnh.
Cấu hình cần điền
| Trường | Giá trị |
|---|---|
| API Key | Key tạo trong Console |
| Base URL | https://aicentos.com/v1 |
| Mô hình | tên mô hình trong "Model Square" của Console |
Bảng trên là tham số chung phía aicentos, dùng cho phương án thay thế dưới đây.
Phương án thay thế
Phương án 1: Dùng ngược lại —— để client kết nối LM Studio
Nếu bạn muốn chạy mô hình cục bộ, giữ LM Studio làm máy chủ, và điền Base URL của Cherry Studio, Chatbox, Cline thành http://localhost:1234/v1. Chuỗi này không liên quan tới aicentos, nhưng đó là cách dùng đúng của LM Studio.
Phương án 2: Muốn mô hình của aicentos thì đổi frontend
Cherry Studio, Chatbox, LobeChat đều là client trò chuyện trên desktop, hỗ trợ nhiều provider cùng tồn tại: một mục điền aicentos, một mục điền LM Studio cục bộ, chuyển đổi ngay trong cùng giao diện.
Phương án 3: Dùng lẫn cục bộ và cloud
Dùng các client như Cherry Studio gắn đồng thời hai provider, tác vụ đơn giản đi cục bộ, tác vụ phức tạp đi aicentos, chuyển đổi theo nhu cầu là được.
Kiểm tra
Khi dùng LM Studio làm máy chủ, trước tiên lms server start, rồi dùng curl http://localhost:1234/v1/models xác nhận giao diện còn sống, sau đó gửi một câu prompt trong client.
Lưu ý
- Đừng tìm ô nhập Base URL trong LM Studio, nó chỉ hiển thị địa chỉ mà nó đang lắng nghe.
- Ngữ cảnh và tốc độ của mô hình cục bộ bị giới hạn bởi VRAM của máy, tác vụ ngữ cảnh dài khuyến nghị đi aicentos.
- Đừng nhầm hai hướng: máy chủ điền cổng, client điền endpoint.