# Unsloth

來源: https://docs.aicentos.com/zh-TW/clients/unsloth

Language: zh-TW

> Unsloth 是微調與本地推理框架，不是聊天用戶端 —— 說明它接不了 aicentos 的原因

Unsloth 是開源的模型微調與本地推理框架，附帶桌面 App 和 Unsloth Studio（瀏覽器介面）。它的 `Connections` 面板看起來像「模型供應商設定」，但**只能填本地或自建端點，雲端供應商是一份固定名單**，沒有「任意 OpenAI 相容 URL」這一項，因此無法把推理請求指向 aicentos。

## 為什麼不能直接接入

* Studio 的 `Settings → Connections → Add Provider` 裡可選的是 llama.cpp、vLLM、Ollama 這類**本地/自建服務**，填的 Base URL 形如 `http://localhost:8000/v1`。
* 雲端方向是一份固定清單（OpenAI、Anthropic、OpenRouter、ChatGPT/Codex）+ API Key，沒有自訂端點入口。
* 官方文件裡「remote OpenAI-compatible endpoint」指的是**你自己部署的**推理服務，不是第三方聚合閘道。
* 方向上它也偏伺服器端：Unsloth 自己對外提供 OpenAI 相容 API，是給別人連的。

## 需要填寫的設定

| 欄位       | 值                         |
| -------- | ------------------------- |
| API Key  | 控制台建立的 Key                |
| Base URL | `https://aicentos.com/v1` |
| 模型       | 控制台「模型廣場」中的模型名            |

上表是 aicentos 側的通用參數，供下面的替代方案使用。

## 替代方案

### 方案一：訓練歸訓練，聊天歸聊天

用 Unsloth 做微調和本地推理，用 [Cherry Studio](https://docs.aicentos.com/zh-TW/clients/cherry-studio)、[Chatbox](https://docs.aicentos.com/zh-TW/clients/chatbox) 這類用戶端接 aicentos 做日常對話。兩者互不干擾。

### 方案二：本地起服務，前端接它

Unsloth 暴露的是 OpenAI 相容介面。`unsloth` 服務起在本地後，把用戶端的 Base URL 填成它的位址（例如 `http://localhost:8000/v1`），和填 aicentos 是同一套操作。

### 方案三：要對比效果就換前端

想比較「本地微調模型」和「aicentos 上的通用模型」，用一個支援多 provider 並存的用戶端最省事，同介面切換。

## 測試

本地服務起來後先 `curl http://localhost:8000/v1/models` 確認介面活著，再在用戶端裡發一句提示詞。

## 注意事項

* 別把 Studio 的 `Connections` 當成 BYOK 面板，它管的是本地執行環境。
* 本地推理吃硬體，長上下文和大批次任務建議走 aicentos。
* 官方文件沒有「用第三方 API 產生訓練資料」的流程說明，別按這個思路規劃流水線。

## 相關連結

* [Unsloth Connections 文件](https://unsloth.ai/docs/integrations/connections)
* [unsloth 儲存庫](https://github.com/unslothai/unsloth)