# Unsloth

Источник: https://docs.aicentos.com/ru/clients/unsloth

Language: ru

> Unsloth — фреймворк дообучения и локального инференса, а не чат-клиент: почему он не подключается к aicentos

Unsloth — открытый фреймворк для дообучения моделей и локального инференса с десктопным приложением и Unsloth Studio (интерфейс в браузере). Панель `Connections` выглядит как «настройки провайдеров моделей», но **принимает только локальные или собственные эндпоинты, а облачные провайдеры заданы фиксированным списком**: пункта «произвольный OpenAI-совместимый URL» нет, поэтому направить запросы инференса на aicentos нельзя.

## Почему прямое подключение невозможно

* В `Settings → Connections → Add Provider` в Studio доступны **локальные и собственные сервисы** вроде llama.cpp, vLLM, Ollama, а Base URL заполняется в виде `http://localhost:8000/v1`.
* Облачное направление — фиксированный список (OpenAI, Anthropic, OpenRouter, ChatGPT/Codex) плюс API Key; входа для кастомного эндпоинта нет.
* В официальной документации «remote OpenAI-compatible endpoint» означает **развёрнутый вами** сервис инференса, а не сторонний агрегирующий шлюз.
* По направлению он тоже ближе к серверной стороне: Unsloth сам публикует OpenAI-совместимый API, к которому подключаются другие.

## Конфигурация для заполнения

| Поле     | Значение                                  |
| -------- | ----------------------------------------- |
| API Key  | ключ, созданный в консоли                 |
| Base URL | `https://aicentos.com/v1`                 |
| Модель   | имя модели из «витрины моделей» в консоли |

В таблице выше — общие параметры на стороне aicentos; они понадобятся для альтернатив ниже.

## Альтернативные варианты

### Вариант 1: обучение отдельно, чат отдельно

Дообучение и локальный инференс — в Unsloth, повседневные диалоги — через клиенты вроде [Cherry Studio](https://docs.aicentos.com/ru/clients/cherry-studio), [Chatbox](https://docs.aicentos.com/ru/clients/chatbox), подключённые к aicentos. Одно другому не мешает.

### Вариант 2: поднять локальный сервис и подключить к нему фронтенд

Unsloth публикует OpenAI-совместимый интерфейс. После запуска сервиса `unsloth` локально укажите в клиенте его адрес (например, `http://localhost:8000/v1`) — действия те же, что и при указании aicentos.

### Вариант 3: нужно сравнить результаты — меняйте фронтенд

Если хотите сравнить «локальную дообученную модель» и «универсальные модели на aicentos», проще всего взять клиент с поддержкой нескольких провайдеров одновременно и переключаться в одном интерфейсе.

## Проверка

После запуска локального сервиса сначала выполните `curl http://localhost:8000/v1/models` и убедитесь, что интерфейс отвечает, затем отправьте один промпт из клиента.

## Примечания

* Не считайте `Connections` в Studio панелью BYOK: она управляет локальным рантаймом.
* Локальный инференс требователен к железу; для длинного контекста и больших пакетов задач лучше использовать aicentos.
* В официальной документации нет описания процесса «генерировать обучающие данные через сторонний API», не планируйте пайплайн исходя из этого.

## Полезные ссылки

* [Документация Unsloth Connections](https://unsloth.ai/docs/integrations/connections)
* [Репозиторий unsloth](https://github.com/unslothai/unsloth)