aicentosKimchi
Dùng aicentos trong Kimchi —— đổi địa chỉ suy luận bằng llmEndpoint, kèm giải thích giới hạn năng lực
Cập nhật lần cuối:
Kimchi là agent lập trình trong terminal, đồng thời cung cấp extension VS Code và bản desktop Studio. Trong cấu hình của nó có trường llmEndpoint, mặc định trỏ về https://llm.kimchi.dev, đổi nó là có thể gửi yêu cầu suy luận đi nơi khác.
Cần nói trước: tài liệu chính thức chỉ mô tả llmEndpoint là địa chỉ suy luận, không cam kết nó có thể trỏ tới bất kỳ gateway tương thích OpenAI của bên thứ ba nào. Cách làm dưới đây dùng được trong cộng đồng, nhưng thuộc dạng "cấu hình theo ngữ nghĩa của trường", không phải đường BYOK được hỗ trợ chính thức, có thể mất tác dụng sau khi nâng cấp.
Chuẩn bị
Trước tiên, tạo một Key chuyên dụng cho Kimchi trong Console (khuyến nghị đặt tên kimchi), sau đó cài CLI:
brew install getkimchi/tap/kimchiHoặc dùng script cài đặt:
curl -fsSL https://github.com/getkimchi/kimchi/releases/latest/download/install.sh | bashCấu hình cần điền
| Trường | Giá trị |
|---|---|
llmEndpoint | https://aicentos.com/v1 |
apiKey | Key tạo trong Console |
| Mô hình | tên mô hình trong "Model Square" của Console |
Các bước thiết lập
File cấu hình ở ~/.config/kimchi/config.json, cũng có thể đặt .kimchi/config.json ở cấp dự án để ghi đè:
{
"apiKey": "sk-API-Key-của-bạn",
"llmEndpoint": "https://aicentos.com/v1"
}Mô hình tùy chỉnh được đăng ký trong models.json, định dạng giống các provider tự dựng như vLLM, LM Studio. Đặc tả trường chính thức chưa công bố đầy đủ, khuyến nghị chạy thông với mô hình mặc định trước, rồi mới cân nhắc thêm mục tùy chỉnh.
Sửa xong khởi động lại kimchi.
Kiểm tra
Sau khi khởi động, gửi một câu prompt trong phiên. Nếu báo 401, trước tiên xác nhận Key không có khoảng trắng thừa; nếu báo 404, kiểm tra llmEndpoint có chỉ ghi đến /v1 không.
Rồi quay lại Console xem mức sử dụng —— đây là bước then chốt: nếu mức sử dụng không tăng, nghĩa là yêu cầu hoàn toàn không đi qua llmEndpoint mà rơi về endpoint mặc định, lúc đó đường này không khả thi với phiên bản hiện tại.
Lưu ý
- Kimchi cần đăng nhập tài khoản của chính nó,
apiKeyvà trạng thái đăng nhập tài khoản là hai việc khác nhau, đừng chỉ làm một nửa. - Mô hình bên ngoài mặc định được xử lý theo mức
standard,vision: false, mô hình đa phương thức ở đây sẽ không mang theo hình ảnh. - Mô hình mặc định do harness của chính nó tự chọn, có thể bạn không chỉ định trực tiếp được một tên mô hình cụ thể trên aicentos.
- Chính thức chưa đưa đường này vào tài liệu, thuộc dạng "dùng được nhưng không bảo đảm", môi trường sản xuất hãy chuẩn bị phương án dự phòng.