Unsloth

Unsloth est un framework open source de fine-tuning et d'inférence locale, accompagné d'une application de bureau et d'Unsloth Studio (interface navigateur). Son panneau Connections ressemble à des « réglages de fournisseur de modèles », mais il n'accepte que des endpoints locaux ou auto-hébergés, les fournisseurs cloud formant une liste figée : il n'y a pas d'option « URL compatible OpenAI quelconque », et il est donc impossible de diriger les requêtes d'inférence vers aicentos.

Pourquoi une connexion directe est impossibleCopier le lien d’ancre

• Dans Settings → Connections → Add Provider de Studio, les choix disponibles sont des services locaux ou auto-hébergés comme llama.cpp, vLLM ou Ollama, avec une Base URL du type http://localhost:8000/v1.
• Côté cloud, c'est une liste figée (OpenAI, Anthropic, OpenRouter, ChatGPT/Codex) + clé API, sans entrée pour un endpoint personnalisé.
• Dans la documentation officielle, « remote OpenAI-compatible endpoint » désigne un service d'inférence que vous déployez vous-même, pas une passerelle d'agrégation tierce.
• Son orientation est aussi celle d'un serveur : Unsloth expose lui-même une API compatible OpenAI, destinée à ce que d'autres s'y connectent.

Configuration à renseignerCopier le lien d’ancre

Le tableau ci-dessus regroupe les paramètres génériques côté aicentos, utilisables par les alternatives ci-dessous.

AlternativesCopier le lien d’ancre

Option 1 : l'entraînement d'un côté, le chat de l'autreCopier le lien d’ancre

Utilisez Unsloth pour le fine-tuning et l'inférence locale, et un client comme Cherry Studio ou Chatbox connecté à aicentos pour les conversations quotidiennes. Les deux ne se gênent pas.

Option 2 : lancer un service local et y connecter un front-endCopier le lien d’ancre

Unsloth expose une interface compatible OpenAI. Une fois le service unsloth lancé en local, renseignez la Base URL du client sur son adresse (par exemple http://localhost:8000/v1) : c'est la même manipulation que pour aicentos.

Option 3 : pour comparer les résultats, changez de front-endCopier le lien d’ancre

Pour comparer « un modèle affiné localement » et « un modèle généraliste sur aicentos », le plus simple est un client acceptant plusieurs providers simultanés, avec bascule dans la même interface.

TestCopier le lien d’ancre

Une fois le service local démarré, vérifiez d'abord que l'interface répond avec curl http://localhost:8000/v1/models, puis envoyez une invite dans le client.

RemarquesCopier le lien d’ancre

• Ne prenez pas Connections de Studio pour un panneau BYOK : il gère le runtime local.
• L'inférence locale consomme du matériel ; pour les contextes longs et les gros lots, préférez aicentos.
• La documentation officielle ne décrit pas de processus « générer des données d'entraînement avec une API tierce » : ne planifiez pas votre pipeline sur cette idée.

Liens utilesCopier le lien d’ancre

• Documentation Unsloth Connections
• Dépôt unsloth