IT ▾
Ottieni la chiave API

Miglior LLM locale per SillyTavern rispetto a un endpoint ospitato

Le ricerche per il miglior LLM locale per SillyTavern hanno una risposta onesta: il modello più grande che entra nella tua scheda grafica lasciando spazio sufficiente per il contesto, e per molte persone questo è un modello più piccolo del previsto. Questa pagina ti aiuta a dimensionare questa scelta e a confrontarla con un endpoint ospitato.

Una GPU desktop da una parte e un server cloud dall'altra uniti dalla luce, che confrontano LLM locali e ospitati
Flusso di particelle luminose che scorrono da una chiave attraverso un nodo cloud e tornano come bolle di chat

Aggiornato

Punti chiave

  • I modelli locali sono limitati dalla VRAM: i pesi e la cache del contesto devono entrambi entrare.
  • L'esecuzione locale ti garantisce privacy, nessuna bolletta d'uso e l'uso offline; l'hosting ti offre un contesto più ampio e non richiede hardware.
  • SillyTavern supporta entrambi, quindi puoi testare un endpoint ospitato in pochi minuti prima di acquistare una GPU.
  • In un uso tipico di roleplay pesante, i token ospitati costano circa $11,55 al mese a $0,15 e $0,50 per 1M.

Cosa determina l'utilità di un modello locale

Tre limiti plasmano l'esperienza e sono tutti limiti hardware.

I pesi devono entrare nella memoria

Un modello con N miliardi di parametri richiede memoria per i suoi pesi. In formato a 16 bit sono necessari circa 2 GB per miliardo di parametri. Quantizzato a 4 bit, come fanno la maggior parte degli utenti locali, servono circa 0,5-0,6 GB per miliardo. Un modello da 8B richiede quindi circa 5 GB, un modello da 24B a 32B ne richiede 14-20 e un modello 70B circa 40 GB. Si tratta di stime approssimative; il formato di quantizzazione e la dimensione del file variano, quindi controlla la dimensione effettiva del file nella pagina di download.

Il contesto usa anche memoria

Ogni token nella conversazione occupa spazio nella cache key-value. Un lungo roleplay con 16.000 o 32.000 token di cronologia può richiedere diversi gigabyte oltre ai pesi. Molte persone caricano un modello, scoprono che si adatta, e poi rimangono senza memoria dopo poche centinaia di messaggi in una chat. Lascia margine.

La velocità dipende da dove vive il modello

Se l'intero modello è nella memoria GPU, le risposte sono veloci. Se gli strati traboccano nella RAM di sistema, la generazione si rallenta notevolmente. Un modello che "tecnicamente funziona" a due token al secondo è un pessimo partner di chat.

Quindi la domanda pratica non è "quale modello è il migliore" ma "quale classe di dimensioni entra nella mia scheda con spazio per il contesto". Le classifiche della comunità e i thread di raccomandazione cambiano di mese in mese e sono opinioni, quindi verifica con i tuoi prompt.

Una guida approssimativa per hardware

La memoria della tua GPUDimensione realistica del modello (4-bit)Cosa aspettarsi
6-8 GB7B a 8BVeloce, contesto breve, prosa più semplice
12-16 GB12B a 14BBuon equilibrio per il roleplay occasionale
24 GB24B a 32BIl punto dolce usuale per gli appassionati
48 GB o piùClasse 70BServe una scheda doppia o una scheda workstation
Nessuna GPUModelli piccoli su CPULento; va bene per i test, stancante per l'uso quotidiano

Per eseguirli, le scelte comuni sono Ollama, KoboldCpp, llama.cpp e text-generation-webui. SillyTavern si connette a ciascuno tramite le impostazioni API. KoboldCpp è popolare tra gli utenti di roleplay perché espone le opzioni del sampler e gestisce bene i contesti lunghi, ma ciascuno di essi funziona.

Queste cifre sono linee guida, non benchmark. Se trovi un modello che soddisfa i requisiti, provane uno per una settimana di chat reali prima di decidere che è quello giusto.

Dove un endpoint ospitato vince

Hosted significa che un server esegue il modello e tu lo chiami tramite HTTPS. SillyTavern supporta endpoint compatibili con OpenAI, quindi questo funziona con un URL base, una chiave e un nome del modello. Le impostazioni sono nel pannello di connessione API di SillyTavern; scegli la sorgente di completamento chat personalizzata o compatibile con OpenAI e inserisci:

  • URL: https://api.unrestrictedaimodels.com/v1
  • Chiave: la chiave dalla tua dashboard
  • Modello: uncensored

Vantaggi rispetto al locale:

  • Contesto. La finestra è di 100.000 token (prompt più risposta), ben oltre la capacità della maggior parte delle GPU domestiche.
  • Nessun hardware. Funziona su un laptop, un browser su tablet o un telefono.
  • Nessun calore o rumore, e nessun costo elettrico da parte tua.
  • Niente da mantenere. Non aggiorni driver, scarichi di nuovo file o regoli le impostazioni per la memoria.

Il modello è ottimizzato per rispondere senza rifiuti di contenuto per l'uso adulto legale. I prompt non sono usati per l'addestramento. La pagina SillyTavern vs Janitor AI spiega come le interfacce front-end differiscano.

Dove vince il locale

Per essere equi, il locale ha veri punti di forza.

  • Privacy totale. Nulla esce dalla tua macchina.
  • Uso offline. Un aereo, una cabina o una rete bloccata non sono un ostacolo.
  • Nessun costo per token una volta pagato l'hardware.
  • Scelta totale. Puoi provare centinaia di fine-tune della community, fusioni e LoRA e passare da uno all'altro. Un endpoint ospitato come questo offre un singolo modello.
  • Controllo sui sampler e su tutto lo stack, che gli smanettoni apprezzano.

Se il tuo hobby è il modello stesso, provare nuove release e confrontarle, il locale è la scelta giusta. Se il tuo hobby sono le storie e i personaggi, il modello è un mezzo e un endpoint ospitato stabile fa risparmiare tempo.

Il confronto dei costi, con i numeri

Prendi un utente pesante: 200 messaggi al giorno, 12.000 token di contesto per ciascuno, 250 token di risposta. Per un mese di 30 giorni:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

Un utente più leggero con 50 messaggi al giorno paga circa un quarto di quella cifra, circa $2,89. Il credito non scade mai e le ricariche partono da $20, quindi non c'è un impegno mensile; vedi la pagina dei prezzi.

Per il locale, calcola quello che possiedi. Se hai già una scheda da 24 GB per altri motivi, il costo marginale è l'elettricità. Un sistema che consuma 350 W per 3 ore al giorno usa 0,35 x 3 x 30 = 31,5 kWh al mese; moltiplica per il costo dell'energia nella tua zona. Se dovessi acquistare la GPU solo per questo, confronta il suo prezzo (controlla le offerte attuali) con la cifra mensile sopra; l'opzione ospitata rimane più economica a lungo con un uso normale.

Impostazioni di SillyTavern che contano in ogni caso

Qualunque backend tu scelga, alcune impostazioni di SillyTavern decidono come si sente la chat.

  • Dimensioni del contesto. Abbinalo a ciò che il backend supporta realmente. Un modello locale caricato con 8.192 token di contesto ignorerà un'impostazione di 32.000. Per l'API ospitata, il limite è di 100.000 token inclusa la risposta, quindi lascia spazio per la risposta.
  • Lunghezza della risposta. Un paio di centinaia di token sono sufficienti per la maggior parte dei turni. Le risposte lunghe sono lente sulle schede locali piccole e costano più token di output su quelle ospitate.
  • Streaming. Attivalo. Vedi il testo immediatamente e puoi interrompere una risposta sbagliata in anticipo.
  • Lorebook e riassunti. Mantengono coerente la storia senza inserire tutta la cronologia in ogni prompt, il che aiuta con la VRAM in locale e con i costi quando è ospitata.
  • Sampler. Inizia con una temperatura vicina a 0,8 e cambia un valore alla volta. I backend locali espongono più sampler di quanto faccia un'API di chat completion, ed è uno dei motivi per cui gli appassionati li preferiscono.

Se passi dal locale all'hosting, aspettati di ricalibrare i primi due. Un modello ospitato con una finestra grande premia un'impostazione del contesto più ampia e un'abitudine a fare riassunti; uno locale piccolo premia prompt brevi e schede personaggio compatte.

Come decidere e come testare a basso costo

  1. Elenca il tuo hardware. Se hai meno di 12 GB di VRAM, un'installazione locale sarà limitata nel contesto e nella qualità della prosa, e un servizio ospitato è probabilmente la scelta migliore.
  2. Decidi cosa conta di più: privacy e uso offline, o contesto lungo e zero configurazione.
  3. Prova prima l'endpoint ospitato. Crea una chiave e ottieni il credito di prova da $0,50 con un clic; non serve una carta e dura 7 giorni. Al tasso di uso leggero sopra, questo copre diversi giorni di chat casuali.
  4. Scarica un modello locale che si adatti alla tua scheda ed esegui lo stesso personaggio e scena. Confronta la qualità della risposta, la velocità e per quanto tempo la memoria si mantiene.

Molti utenti mantengono entrambi: locale per sessioni private o offline, ospitato per lunghe avventure che richiedono un contesto enorme. SillyTavern ti permette di salvare profili di connessione separati, quindi il passaggio richiede solo alcuni clic. Per una visione più ampia sulla creazione di configurazioni di chat, leggi la guida chatbot.

Domande e risposte

Quanta VRAM mi serve per SillyTavern?

Per un modello 8B a 4 bit, circa 6-8 GB con un contesto modesto. Per modelli da 24B a 32B pianifica 24 GB e lascia spazio per la cache del contesto.

Posso usare SillyTavern con questa API ospitata?

Sì. Aggiungilo come origine di chat completion compatibile con OpenAI con l'URL di base https://api.unrestrictedaimodels.com/v1, la tua chiave e il modello uncensored.

Il modello ospitato è lo stesso di uno locale?

È un singolo modello a pesi aperti gestito da un provider indipendente, non un'API ufficiale di alcun grande fornitore e non un router tra fornitori. Le configurazioni locali ti permettono di scegliere tra molti modelli.

Qual è il limite di contesto sull'API ospitata?

100.000 token per prompt più risposta. I limiti locali dipendono dalla tua memoria e dal modello che carichi.

La tua chiave è a un passo di distanza

Crea un account, copia la chiave, modifica il base URL. È tutta la configurazione.

Ottieni la chiave API