Hindsight
Hindsight のメモリサービスに aicentos のモデルを設定する —— 環境変数 4 つで完了、OpenAI 互換
最終更新:
Hindsight はオープンソースの agent メモリシステムで、セルフホストサービス、HTTP / MCP インターフェース、SDK、CLI を提供します。それ自体はチャットクライアントではありませんが、メモリの抽出に 1 つの LLM を使うため、その LLM を aicentos に向けられます。
準備
まずコンソールで Hindsight 専用のキーを作成します(hindsight という名前を推奨)。
- コンソール:https://aicentos.com
- キーの作成:https://aicentos.com/keys
- ウォレットのチャージ:https://aicentos.com/wallet
Hindsight のサーバー側には PostgreSQL 14 以上が必要です。同梱の pg0 は開発向けのみなので、本番環境では自前のインスタンスに接続してください。
pip install hindsight-api設定値
| 環境変数 | 値 |
|---|---|
HINDSIGHT_API_LLM_PROVIDER | openai |
HINDSIGHT_API_LLM_BASE_URL | https://aicentos.com/v1 |
HINDSIGHT_API_LLM_API_KEY | コンソールで作成したキー |
HINDSIGHT_API_LLM_MODEL | コンソール「モデル広場」のモデル名 |
設定手順
起動環境に書き込むだけで、コードの変更は不要です:
export HINDSIGHT_API_LLM_PROVIDER="openai"
export HINDSIGHT_API_LLM_BASE_URL="https://aicentos.com/v1"
export HINDSIGHT_API_LLM_API_KEY="sk-あなたの-API-Key"
export HINDSIGHT_API_LLM_MODEL="あなたのモデル名"
hindsight-apiDocker でデプロイする場合は、これらの変数を compose の environment に入れます。公式イメージには llama.cpp が含まれていないため、コンテナ内でローカルモデルを動かすことは期待しないでください。
テスト
curl -fsSL https://hindsight.vectorize.io/get-cli | bash
hindsight healthサービスが起動したらメモリを 1 件書き込み、それを検索で取り戻せれば、LLM 呼び出しが正常だとわかります。コンソールの使用量を直接確認する方法もあります。Hindsight はメモリを 1 回抽出するたびに 1 リクエストを発生させます。
注意事項
BASE_URLは/v1で終わる必要があり、上流が/chat/completionsを提供できる必要があります。https://aicentos.comと書くと 404 になります。- LLM のキーが未設定の場合、サービスは起動を拒否します。これは強制チェックによるもので、キーの記入ミスではありません。
- メモリ抽出はバックグラウンドのバッチ処理なので、使用量はメモリ件数に応じて増えます。Hindsight 専用のキーを用意すると観察しやすくなります。
HINDSIGHT_API_LLM_PROVIDERにopenaiを指定するのは OpenAI 互換プロトコルを使うという意味で、OpenAI のモデルしか使えないという意味ではありません。