# Unsloth

来源: https://docs.aicentos.com/clients/unsloth

Language: zh-CN

> Unsloth 是微调与本地推理框架，不是聊天客户端 —— 说明它接不了 aicentos 的原因

Unsloth 是开源的模型微调与本地推理框架，附带桌面 App 和 Unsloth Studio（浏览器界面）。它的 `Connections` 面板看起来像「模型供应商设置」，但**只能填本地或自建端点，云端供应商是一份固定名单**，没有「任意 OpenAI 兼容 URL」这一项，因此无法把推理请求指向 aicentos。

## 为什么不能直接接入

* Studio 的 `Settings → Connections → Add Provider` 里可选的是 llama.cpp、vLLM、Ollama 这类**本地/自建服务**，填的 Base URL 形如 `http://localhost:8000/v1`。
* 云端方向是一份固定清单（OpenAI、Anthropic、OpenRouter、ChatGPT/Codex）+ API Key，没有自定义端点入口。
* 官方文档里「remote OpenAI-compatible endpoint」指的是**你自己部署的**推理服务，不是第三方聚合网关。
* 方向上它也偏服务端：Unsloth 自己对外提供 OpenAI 兼容 API，是给别人连的。

## 需要填写的配置

| 字段       | 值                         |
| -------- | ------------------------- |
| API Key  | 控制台创建的 Key                |
| Base URL | `https://aicentos.com/v1` |
| 模型       | 控制台「模型广场」中的模型名            |

上表是 aicentos 侧的通用参数，供下面的替代方案使用。

## 替代方案

### 方案一：训练归训练，聊天归聊天

用 Unsloth 做微调和本地推理，用 [Cherry Studio](https://docs.aicentos.com/clients/cherry-studio)、[Chatbox](https://docs.aicentos.com/clients/chatbox) 这类客户端接 aicentos 做日常对话。两者互不干扰。

### 方案二：本地起服务，前端接它

Unsloth 暴露的是 OpenAI 兼容接口。`unsloth` 服务起在本地后，把客户端的 Base URL 填成它的地址（例如 `http://localhost:8000/v1`），和填 aicentos 是同一套操作。

### 方案三：要对比效果就换前端

想比较「本地微调模型」和「aicentos 上的通用模型」，用一个支持多 provider 并存的客户端最省事，同界面切换。

## 测试

本地服务起来后先 `curl http://localhost:8000/v1/models` 确认接口活着，再在客户端里发一句提示词。

## 注意事项

* 别把 Studio 的 `Connections` 当成 BYOK 面板，它管的是本地运行时。
* 本地推理吃硬件，长上下文和大批量任务建议走 aicentos。
* 官方文档没有「用第三方 API 生成训练数据」的流程说明，别按这个思路规划流水线。

## 相关链接

* [Unsloth Connections 文档](https://unsloth.ai/docs/integrations/connections)
* [unsloth 仓库](https://github.com/unslothai/unsloth)