Unsloth

Unsloth — открытый фреймворк для дообучения моделей и локального инференса с десктопным приложением и Unsloth Studio (интерфейс в браузере). Панель Connections выглядит как «настройки провайдеров моделей», но принимает только локальные или собственные эндпоинты, а облачные провайдеры заданы фиксированным списком: пункта «произвольный OpenAI-совместимый URL» нет, поэтому направить запросы инференса на aicentos нельзя.

Почему прямое подключение невозможноКопировать ссылку на якорь

• В Settings → Connections → Add Provider в Studio доступны локальные и собственные сервисы вроде llama.cpp, vLLM, Ollama, а Base URL заполняется в виде http://localhost:8000/v1.
• Облачное направление — фиксированный список (OpenAI, Anthropic, OpenRouter, ChatGPT/Codex) плюс API Key; входа для кастомного эндпоинта нет.
• В официальной документации «remote OpenAI-compatible endpoint» означает развёрнутый вами сервис инференса, а не сторонний агрегирующий шлюз.
• По направлению он тоже ближе к серверной стороне: Unsloth сам публикует OpenAI-совместимый API, к которому подключаются другие.

Конфигурация для заполненияКопировать ссылку на якорь

В таблице выше — общие параметры на стороне aicentos; они понадобятся для альтернатив ниже.

Альтернативные вариантыКопировать ссылку на якорь

Вариант 1: обучение отдельно, чат отдельноКопировать ссылку на якорь

Дообучение и локальный инференс — в Unsloth, повседневные диалоги — через клиенты вроде Cherry Studio, Chatbox, подключённые к aicentos. Одно другому не мешает.

Вариант 2: поднять локальный сервис и подключить к нему фронтендКопировать ссылку на якорь

Unsloth публикует OpenAI-совместимый интерфейс. После запуска сервиса unsloth локально укажите в клиенте его адрес (например, http://localhost:8000/v1) — действия те же, что и при указании aicentos.

Вариант 3: нужно сравнить результаты — меняйте фронтендКопировать ссылку на якорь

Если хотите сравнить «локальную дообученную модель» и «универсальные модели на aicentos», проще всего взять клиент с поддержкой нескольких провайдеров одновременно и переключаться в одном интерфейсе.

ПроверкаКопировать ссылку на якорь

После запуска локального сервиса сначала выполните curl http://localhost:8000/v1/models и убедитесь, что интерфейс отвечает, затем отправьте один промпт из клиента.

ПримечанияКопировать ссылку на якорь

• Не считайте Connections в Studio панелью BYOK: она управляет локальным рантаймом.
• Локальный инференс требователен к железу; для длинного контекста и больших пакетов задач лучше использовать aicentos.
• В официальной документации нет описания процесса «генерировать обучающие данные через сторонний API», не планируйте пайплайн исходя из этого.

Полезные ссылкиКопировать ссылку на якорь

• Документация Unsloth Connections
• Репозиторий unsloth