Beste lokale LLM voor SillyTavern vs een gehost endpoint
Zoekopdrachten naar de beste lokale llm sillytavern hebben één eerlijk antwoord: het grootste model dat op je graphics card past met genoeg ruimte over voor context, en voor veel mensen is dat een kleiner model dan ze hopen. Deze pagina helpt je die keuze te maken en te vergelijken met een gehost endpoint.


Bijgewerkt
Belangrijkste punten
- Lokale modellen worden beperkt door VRAM: gewichten plus de contextcache moeten beide passen.
- Lokaal draaien geeft je privacy, geen verbruikskosten en offline gebruik; hosten geeft je een groter contextvenster en geen hardware.
- SillyTavern ondersteunt beide, zodat je een gehost endpoint in minuten kunt testen voordat je een GPU koopt.
- Bij zwaar roleplay-gebruik kosten gehoste tokens ongeveer $11,55 per maand bij $0,15 en $0,50 per 1M.
Wat bepaalt de bruikbaarheid van een lokaal model
Drie limieten bepalen de ervaring, en dit zijn allemaal hardwarelimieten.
Gewichten moeten in geheugen passen
Een model met N miljard parameters heeft geheugen nodig voor zijn gewichten. In 16-bit vorm is dat ongeveer 2 GB per miljard parameters. Gekwantiseerd naar 4 bits, wat de meeste lokale gebruikers doen, is dat ongeveer 0,5 tot 0,6 GB per miljard. Een 8B-model heeft dan ongeveer 5 GB nodig, een 24B tot 32B-model heeft 14 tot 20 GB nodig en een 70B-model ongeveer 40 GB. Dit zijn vuistregels; kwantisatieformaat en bestandsgrootte variëren, dus controleer de werkelijke bestandsgrootte op de downloadpagina.
Context gebruikt ook geheugen
Elke token in het gesprek neemt ruimte in de key-value cache in beslag. Een lang roleplaygesprek met 16.000 of 32.000 tokens geschiedenis kan enkele gigabytes bovenop de gewichten kosten. Veel mensen laden een model, vinden dat het past, en lopen dan het geheugen kwijt een paar honderd berichten in een chat. Laat ruimte over.
Snelheid hangt af van waar het model leeft
Als het hele model in GPU-geheugen zit, zijn antwoorden snel. Als lagen in systeem-RAM stromen, vertraagt de generatie sterk. Een model dat "technisch draait" met twee tokens per seconde is een slechte chatpartner.
Dus de praktische vraag is niet "welk model is het beste" maar "welke grootteklasse past op mijn card met ruimte voor context". Community-lijsten en aanbevelingsthreads veranderen van maand tot maand en zijn mening, dus verifieer dit met je eigen prompts.
Een ruwe gids op basis van hardware
| Je GPU-geheugen | Realistische modelgrootte (4-bit) | Wat je kunt verwachten |
|---|---|---|
| 6 tot 8 GB | 7B tot 8B | Snel, korte context, eenvoudigere tekst |
| 12 tot 16 GB | 12B tot 14B | Goede balans voor ontspannen rollenspel |
| 24 GB | 24B tot 32B | De gebruikelijke sweet spot voor enthousiastelingen |
| 48 GB of meer | 70B-klasse | Heeft twee kaarten of een workstation-kaart nodig |
| Geen GPU | Kleine modellen op CPU | Langzaam; prima om te testen, vermoeiend voor dagelijks gebruik |
Om ze te draaien zijn de veelgebruikte keuzes Ollama, KoboldCpp, llama.cpp en text-generation-webui. SillyTavern maakt verbinding met elk via hun API-instellingen. KoboldCpp is populair bij roleplay-gebruikers omdat het sampler-opties blootlegt en goed omgaat met lange contexten, maar elk van hen werkt.
Deze cijfers zijn richtlijnen, geen benchmarks. Als je een model vindt dat past, probeer het dan een week echte chats voordat je besluit dat het de juiste is.
Waar een gehost endpoint wint
Gehost betekent dat een server het model draait en je het aanroept via HTTPS. SillyTavern ondersteunt OpenAI-compatible endpoints, dus deze werkt met een base URL, een sleutel en een modelnaam. De instellingen staan in het API-verbindingspaneel van SillyTavern; kies de aangepaste of OpenAI-compatible chatcompletionbron en voer in:
- URL:
https://api.unrestrictedaimodels.com/v1 - Sleutel: de sleutel uit je dashboard
- Model:
uncensored
Voordelen boven lokaal:
- Context. Het venster is 100.000 tokens (prompt plus antwoord), ver buiten wat de meeste home GPUs aankunnen.
- Geen hardware. Het werkt op een laptop, een tabletbrowser of een telefoon.
- Geen hitte of lawaai, en geen elektriciteitskosten aan jouw kant.
- Niets te onderhouden. Je hoeft geen stuurprogramma's bij te werken, bestanden niet opnieuw te downloaden of instellingen af te stellen op het geheugen.
Het model is afgestemd om te antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik. Prompts worden niet gebruikt voor training. De SillyTavern vs Janitor AI-pagina legt uit hoe de frontends verschillen.
Waar lokaal wint
Om eerlijk te zijn, heeft lokaal echte sterktes.
- Volledige privacy. Niets verlaat jouw machine.
- Offline gebruik. Een vliegtuig, een cabine of een geblokkeerd netwerk zijn geen belemmering.
- Geen kosten per token nadat de hardware is betaald.
- Volledige keuze. Je kunt honderden community fine-tunes, merges en LoRA's uitproberen en ertussen wisselen. Een gehost endpoint zoals deze biedt slechts één model.
- Controle over samplers en de hele stack, wat hobbyisten aanspreekt.
Als je hobby het model zelf is, nieuwe releases uitproberen en ze vergelijken, dan is lokaal de juiste keuze. Als je hobby de verhalen en karakters is, is het model een middel en bespaart een stabiel gehost model tijd.
De kostenvergelijking, met cijfers
Neem een zware gebruiker: 200 berichten per dag, 12.000 tokens context per bericht, 250 tokens antwoord. Voor een maand van 30 dagen:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Een lichtere gebruiker met 50 berichten per dag betaalt ongeveer een kwart daarvan, rond $2,89. Credit vervalt nooit, en opwaarderingen beginnen bij $20, dus er is geen maandelijkse verplichting; zie de prijzenpagina.
Voor lokaal, tel wat je bezit. Als je al een 24 GB card hebt om andere redenen, zijn de marginale kosten elektriciteit. Een systeem dat 350 W trekt voor 3 uur per dag gebruikt 0,35 x 3 x 30 = 31,5 kWh per maand; vermenigvuldig dit met je lokale tarief. Als je de GPU alleen hiervoor zou moeten kopen, vergelijk dan de prijs (controleer huidige aanbiedingen) met het maandbedrag hierboven; de gehoste optie blijft voor lange tijd goedkoper bij normaal gebruik.
SillyTavern-instellingen die ertoe doen, ongeacht je keuze
Welke backend je ook kiest, een paar SillyTavern-instellingen bepalen hoe de chat aanvoelt.
- Contextgrootte. Pas het aan wat de backend echt ondersteunt. Een lokaal model geladen met 8.192 tokens context negeert een instelling van 32.000. Voor de gehoste API is de limiet 100.000 tokens inclusief het antwoord, dus laat ruimte over voor de respons.
- Responslengte. Een paar honderd tokens is genoeg voor de meeste beurten. Lange antwoorden zijn traag op kleine lokale kaarten en kosten meer outputtokens bij gehoste.
- Streaming. Zet het aan. Je ziet tekst onmiddellijk en kunt een slecht antwoord vroeg stoppen.
- Loreboeken en samenvattingen. Deze houden een verhaal consistent zonder de hele geschiedenis in elke prompt te duwen, wat helpt met VRAM lokaal en met kosten bij gehoste.
- Samplers. Begin met een temperatuur rond 0,8 en verander één waarde tegelijk. Lokale backends bieden meer samplers aan dan een chat completion API, wat een reden is waarom enthousiastelingen ze verkiezen.
Als je van lokaal naar gehost wisselt, verwacht dan dat je de eerste twee opnieuw moet afstellen. Een gehost model met een groot venster beloont een bredere contextinstelling en een goede gewoonte van samenvatten; een kleine lokale setup beloont korte prompts en strakke karakterkaarten.
Hoe te beslissen en hoe goedkoop te testen
- Lijst je hardware op. Als je minder dan 12 GB VRAM hebt, zal een lokale setup beperkt zijn in context en tekstkwaliteit, en is hosten waarschijnlijk beter.
- Bepaal wat belangrijker is: privacy en offline gebruik, of lange context en nul setup.
- Probeer eerst het gehoste endpoint. Maak een sleutel en claim het $0,50 proeftegoed met één klik; het vereist geen kaart en duurt 7 dagen. Bij het lichte gebruikstarief hierboven dekt dit enkele dagen van casual chatten.
- Download een lokaal model dat bij je kaart past en voer hetzelfde karakter en dezelfde scène uit. Vergelijk antwoordkwaliteit, snelheid en hoe lang het geheugen meegaat.
Veel gebruikers houden beide aan: lokaal voor privé- of offline sessies, gehost voor lange avonturen die een enorme context nodig hebben. SillyTavern laat je aparte verbindingsprofielen opslaan, dus wisselen kost een paar klikken. Voor een breder overzicht over het bouwen van chatopstellingen, lees de chatbotgids.
Meer handleidingen
Vragen en antwoorden
Hoeveel VRAM heb ik nodig voor SillyTavern?
Voor een 4-bit 8B-model, ongeveer 6 tot 8 GB met een bescheiden context. Voor 24B tot 32B-modellen plan je 24 GB in, en laat ruimte over voor de contextcache.
Kan ik SillyTavern gebruiken met deze gehoste API?
Ja. Voeg het toe als een OpenAI-compatibele chat-completiebron met de base URL https://api.unrestrictedaimodels.com/v1, je sleutel en het model uncensored.
Is het gehoste model hetzelfde als een lokaal model?
Het is een enkel open-weight model uitgevoerd door een onafhankelijke provider, geen officiële API van een grote leverancier en geen router tussen leveranciers. Lokale opstellingen stellen je in staat om te kiezen uit vele modellen.
Wat is de contextlimiet op de gehoste API?
100.000 tokens voor prompt plus antwoord. Lokale limieten hangen af van je geheugen en het model dat je laadt.
Je sleutel is nog maar één klik verwijderd
Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele configuratie.
API-sleutel aanvragen