FR ▾
Obtenir une clé API

Meilleur LLM local pour SillyTavern vs un endpoint hébergé

Les recherches pour le meilleur LLM local pour SillyTavern ont une réponse honnête : le plus grand modèle qui tient sur votre carte graphique avec suffisamment de place restante pour le contexte, et pour beaucoup, c'est un modèle plus petit que prévu. Cette page vous aide à dimensionner ce choix et à le comparer à un endpoint hébergé.

Un GPU de bureau d'un côté et un serveur cloud de l'autre, reliés par la lumière, pour comparer les LLM locaux et hébergés
Flux de particules lumineuses s'écoulant d'une clé à travers un nœud cloud et revenant sous forme de bulles de chat

Mis à jour le

Points clés

  • Les modèles locaux sont limités par la VRAM : les poids et le cache de contexte doivent tous deux tenir.
  • L'exécution locale vous offre confidentialité, aucune facture d'utilisation et un mode hors ligne ; l'hébergement offre une plus grande fenêtre de contexte et aucun matériel.
  • SillyTavern prend en charge les deux, vous pouvez donc tester un endpoint hébergé en quelques minutes avant d'acheter un GPU.
  • En cas d'utilisation intensive de jeu de rôle, les tokens hébergés coûtent environ 11,55 $ par mois à 0,15 $ et 0,50 $ par 1M.

Ce qui détermine l'utilité d'un modèle local

Trois limites façonnent l'expérience, et ce sont toutes des limites matérielles.

Les poids doivent tenir en mémoire

Un modèle avec N milliards de paramètres nécessite de la mémoire pour ses poids. En format 16 bits, cela représente environ 2 Go par milliard de paramètres. Quantifié en 4 bits, ce que font la plupart des utilisateurs locaux, cela représente environ 0,5 à 0,6 Go par milliard. Un modèle 8B nécessite alors environ 5 Go, un modèle de 24B à 32B en nécessite 14 à 20 Go, et un modèle 70B environ 40 Go. Ce sont des règles empiriques ; le format de quantification et la taille du fichier varient, vérifiez donc la taille réelle du fichier sur la page de téléchargement.

Le contexte utilise aussi de la mémoire

Chaque token dans la conversation occupe de l'espace dans le cache clé-valeur. Un long jeu de rôle avec 16 000 ou 32 000 tokens d'historique peut prendre plusieurs gigaoctets en plus des poids. Beaucoup chargent un modèle, constatent qu'il tient, puis manquent de mémoire après quelques centaines de messages dans un chat. Laissez de la marge.

La vitesse dépend de l'emplacement du modèle

Si tout le modèle est en mémoire GPU, les réponses sont rapides. Si des couches débordent vers la RAM système, la génération ralentit considérablement. Un modèle qui « fonctionne techniquement » à deux tokens par seconde est un mauvais partenaire de chat.

La question pratique n'est donc pas « quel modèle est le meilleur » mais « quelle taille de modèle convient à ma carte avec de la marge de contexte ». Les classements communautaires et les fils de recommandation changent d'un mois à l'autre et sont subjectifs ; vérifiez avec vos propres prompts.

Un guide approximatif par matériel

Mémoire GPUTaille de modèle réaliste (4 bits)À quoi s'attendre
6 à 8 Go7B à 8BRapide, contexte court, prose plus simple
12 à 16 Go12B à 14BBon équilibre pour le jeu de rôle occasionnel
24 Go24B à 32BLe point idéal habituel pour les passionnés
48 Go ou plusClasse 70BNécessite deux cartes ou une carte workstation
Pas de GPUPetits modèles sur CPULent ; convenable pour les tests, fatigant pour une utilisation quotidienne

Pour les faire fonctionner, les choix courants sont Ollama, KoboldCpp, llama.cpp et text-generation-webui. SillyTavern se connecte à chacun via ses paramètres d'API. KoboldCpp est populaire auprès des utilisateurs de jeu de rôle car il expose les paramètres d'échantillonnage et gère bien les longs contextes, mais n'importe lequel fonctionne.

Ces chiffres sont des directives, pas des benchmarks. Si vous trouvez un modèle qui convient, testez-le pendant une semaine de vrais chats avant de décider que c'est le bon.

Où un endpoint hébergé l'emporte

Hébergé signifie qu'un serveur exécute le modèle et que vous l'appelez via HTTPS. SillyTavern prend en charge les endpoints compatibles OpenAI, donc celui-ci fonctionne avec une URL de base, une clé et un nom de modèle. Les paramètres sont dans le panneau de connexion API de SillyTavern ; choisissez la source de complétion de chat personnalisée ou compatible OpenAI et saisissez :

  • URL : https://api.unrestrictedaimodels.com/v1
  • Clé : la clé de votre tableau de bord
  • Modèle : uncensored

Avantages par rapport au local :

  • Contexte. La fenêtre fait 100 000 tokens (prompt plus réponse), bien au-delà de ce que la plupart des GPU domestiques peuvent contenir.
  • Pas de matériel. Cela fonctionne sur un ordinateur portable, un navigateur de tablette ou un téléphone.
  • Pas de chaleur ni de bruit, et aucun coût d'électricité de votre côté.
  • Rien à maintenir. Vous ne mettez pas à jour les pilotes, ne téléchargez pas de fichiers ou ne réglez pas les paramètres pour la mémoire.

Le modèle est ajusté pour répondre sans refus de contenu pour une utilisation adulte légale. Les prompts ne sont pas utilisés pour l'entraînement. La page SillyTavern vs Janitor AI explique comment les interfaces frontales diffèrent.

Où le local l'emporte

Pour être juste, le local a de réels avantages.

  • Confidentialité totale. Rien ne quitte votre machine.
  • Utilisation hors ligne. Un avion, une cabine ou un réseau bloqué ne sont pas des obstacles.
  • Aucun coût par token une fois le matériel payé.
  • Choix total. Vous pouvez essayer des centaines de fine-tunes communautaires, de fusions et de LoRAs et passer de l'un à l'autre. Un endpoint hébergé comme celui-ci n'offre qu'un seul modèle.
  • Contrôle des paramètres d'échantillonnage et de toute la pile, ce qui plaît aux bidouilleurs.

Si votre passion est le modèle lui-même, essayer les nouvelles versions et les comparer, le local est le bon choix. Si votre passion est les histoires et les personnages, le modèle est un moyen et un modèle hébergé stable fait gagner du temps.

Comparaison des coûts, avec des chiffres

Prenons un utilisateur intensif : 200 messages par jour, 12 000 tokens de contexte pour chacun, 250 tokens de réponse. Pour un mois de 30 jours :

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

Un utilisateur plus léger avec 50 messages par jour paie environ un quart de ce montant, soit près de 2,89 $. Le crédit n'expire jamais, et les recharges commencent à 20 $, donc il n'y a pas d'engagement mensuel ; consultez la page des tarifs.

Pour le local, calculez ce que vous possédez. Si vous avez déjà une carte de 24 Go pour d'autres raisons, le coût marginal est l'électricité. Un système consommant 350 W pendant 3 heures par jour utilise 0,35 x 3 x 30 = 31,5 kWh par mois ; multipliez par votre tarif local. Si vous devez acheter le GPU juste pour cela, comparez son prix (vérifiez les annonces actuelles) avec le montant mensuel ci-dessus ; l'option hébergée reste moins chère longtemps à un usage normal.

Paramètres SillyTavern qui comptent dans tous les cas

Quel que soit le backend que vous choisissez, quelques paramètres de SillyTavern déterminent l'expérience de la conversation.

  • Taille du contexte. Adaptez-la à ce que le backend prend vraiment en charge. Un modèle local chargé avec 8 192 tokens de contexte ignorera un paramètre de 32 000. Pour l'API hébergée, le plafond est de 100 000 tokens incluant la réponse, donc laissez de la place pour la réponse.
  • Longueur de la réponse. Quelques centaines de tokens suffisent pour la plupart des tours. Les réponses longues sont lentes sur les petites cartes locales et coûtent plus de tokens de sortie sur les modèles hébergés.
  • Streaming. Activez-le. Vous voyez le texte immédiatement et pouvez arrêter une mauvaise réponse tôt.
  • Lorebooks et résumés. Ils maintiennent la cohérence de l'histoire sans inclure tout l'historique dans chaque prompt, ce qui aide pour la VRAM en local et pour le coût en hébergé.
  • Samplers. Commencez avec une température proche de 0,8 et modifiez une valeur à la fois. Les backends locaux exposent plus de samplers qu'une API de type chat completion, ce qui est une raison pour laquelle les passionnés les préfèrent.

Si vous passez du local à l'hébergé, attendez-vous à réajuster les deux premiers. Un modèle hébergé avec une grande fenêtre récompense un paramètre de contexte plus grand et une bonne habitude de résumé ; un petit modèle local récompense des prompts courts et des fiches de personnage concises.

Comment décider, et comment tester à moindre coût

  1. Listez votre matériel. Si vous avez moins de 12 Go de VRAM, une configuration locale sera limitée en contexte et en qualité de prose, et l'hébergé est probablement meilleur.
  2. Décidez de ce qui compte le plus : la confidentialité et l'utilisation hors ligne, ou un long contexte et zéro configuration.
  3. Essayez d'abord l'endpoint hébergé. Créez une clé et réclamez le crédit d'essai de 0,50 $ en un clic ; il ne nécessite pas de carte et dure 7 jours. Au tarif d'utilisation légère ci-dessus, cela couvre plusieurs jours de discussion décontractée.
  4. Téléchargez un modèle local qui convient à votre carte et exécutez le même personnage et la même scène. Comparez la qualité de la réponse, la vitesse et la durée de conservation de la mémoire.

Beaucoup d'utilisateurs gardent les deux : local pour les sessions privées ou hors ligne, hébergé pour les longues aventures nécessitant une grande fenêtre de contexte. SillyTavern permet de sauvegarder des profils de connexion séparés, de sorte que le changement ne prend que quelques clics. Pour une vue plus large sur la configuration des chats, lisez le guide de chatbot.

Questions et réponses

Combien de VRAM me faut-il pour SillyTavern ?

Pour un modèle 8B en 4 bits, environ 6 à 8 Go avec un contexte modeste. Pour les modèles de 24B à 32B, prévoyez 24 Go, et laissez de la place pour le cache de contexte.

Puis-je utiliser SillyTavern avec cette API hébergée ?

Oui. Ajoutez-le comme source de complétion de conversation compatible OpenAI avec l'URL de base https://api.unrestrictedaimodels.com/v1, votre clé et le modèle uncensored.

Le modèle hébergé est-il le même qu'un modèle local ?

C'est un seul modèle à poids ouverts exécuté par un fournisseur indépendant, pas une API officielle d'un grand vendeur et pas un routeur entre fournisseurs. Les configurations locales vous permettent de choisir parmi de nombreux modèles.

Quelle est la limite de contexte sur l'API hébergée ?

100 000 tokens pour le prompt plus la réponse. Les limites locales dépendent de votre mémoire et du modèle que vous chargez.

Votre clé n'est qu'à un formulaire d'ici

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé API