aicentosHindsight
Cấu hình mô hình aicentos cho dịch vụ bộ nhớ Hindsight —— bốn biến môi trường là xong, tương thích OpenAI
Cập nhật lần cuối:
Hindsight là hệ thống bộ nhớ agent mã nguồn mở, cung cấp dịch vụ tự lưu trữ, giao diện HTTP / MCP, SDK và CLI. Bản thân nó không phải client trò chuyện, nhưng việc tinh lọc bộ nhớ cần dùng một LLM, và LLM đó có thể trỏ về aicentos.
Chuẩn bị
Trước tiên, tạo một Key chuyên dụng cho Hindsight trong Console (khuyến nghị đặt tên hindsight).
- Console: https://aicentos.com
- Tạo Key: https://aicentos.com/keys
- Nạp tiền Ví: https://aicentos.com/wallet
Máy chủ Hindsight cần PostgreSQL 14 trở lên. pg0 đi kèm chỉ phù hợp cho phát triển, môi trường sản xuất hãy kết nối instance của riêng bạn.
pip install hindsight-apiCấu hình cần điền
| Biến môi trường | Giá trị |
|---|---|
HINDSIGHT_API_LLM_PROVIDER | openai |
HINDSIGHT_API_LLM_BASE_URL | https://aicentos.com/v1 |
HINDSIGHT_API_LLM_API_KEY | Key tạo trong Console |
HINDSIGHT_API_LLM_MODEL | tên mô hình trong "Model Square" của Console |
Các bước thiết lập
Ghi vào môi trường khởi động là được, không cần sửa mã:
export HINDSIGHT_API_LLM_PROVIDER="openai"
export HINDSIGHT_API_LLM_BASE_URL="https://aicentos.com/v1"
export HINDSIGHT_API_LLM_API_KEY="sk-API-Key-của-bạn"
export HINDSIGHT_API_LLM_MODEL="tên-mô-hình-của-bạn"
hindsight-apiKhi triển khai bằng Docker, đặt các biến này vào environment của compose. Lưu ý image chính thức không chứa llama.cpp, đừng mong chạy mô hình cục bộ trong container.
Kiểm tra
curl -fsSL https://hindsight.vectorize.io/get-cli | bash
hindsight healthSau khi dịch vụ khởi động, ghi một bản ghi bộ nhớ rồi truy xuất lại, nếu đi thông được nghĩa là gọi LLM bình thường. Cũng có thể xem trực tiếp mức sử dụng trong Console: mỗi lần Hindsight tinh lọc bộ nhớ đều phát sinh một yêu cầu.
Lưu ý
BASE_URLphải kết thúc bằng/v1, và phía trên phải phục vụ được/chat/completions; ghi thànhhttps://aicentos.comsẽ 404.- Khi chưa cấu hình LLM Key, dịch vụ sẽ từ chối khởi động, đây là kiểm tra bắt buộc của nó, không phải Key điền sai.
- Tinh lọc bộ nhớ là xử lý hàng loạt chạy nền, mức sử dụng tăng theo số bản ghi bộ nhớ, khuyến nghị cấp riêng một Key cho Hindsight để dễ quan sát.
HINDSIGHT_API_LLM_PROVIDERđiềnopenainghĩa là dùng giao thức tương thích OpenAI, không có nghĩa là chỉ dùng được mô hình OpenAI.