Bestes lokales LLM für SillyTavern vs. gehosteter Endpunkt
Suchen nach dem besten lokalen LLM für SillyTavern haben eine ehrliche Antwort: das größte Modell, das auf deine Grafikkarte passt, mit genug Platz für den Kontext, und für viele ist das ein kleineres Modell als erhofft. Diese Seite hilft dir, diese Wahl einzuordnen und mit einem gehosteten Endpunkt zu vergleichen.


Aktualisiert
Wichtige Punkte
- Lokale Modelle sind durch VRAM begrenzt: Gewichte plus der Kontext-Cache müssen beide passen.
- Lokales Ausführen bietet dir Datenschutz, keine Nutzungsrechnung und Offline-Nutzung; Hosting bietet dir ein größeres Kontextfenster und keine Hardware.
- SillyTavern unterstützt beides, sodass du einen gehosteten Endpunkt in Minuten testen kannst, bevor du eine GPU kaufst.
- Bei typischer Heavy-Rollplay-Nutzung kosten gehostete Token etwa 11,55 $ pro Monat bei 0,15 $ und 0,50 $ pro 1 Mio.
Was die Nützlichkeit eines lokalen Modells bestimmt
Drei Grenzen prägen die Erfahrung, und alle sind Hardwaregrenzen.
Gewichte müssen in den Speicher passen
Ein Modell mit N Milliarden Parametern benötigt Speicher für seine Gewichte. In 16-Bit-Form sind das etwa 2 GB pro Milliardenparameter. Quantisiert auf 4 Bit, was die meisten lokalen Nutzer tun, sind es etwa 0,5 bis 0,6 GB pro Milliarde. Ein 8B-Modell benötigt dann etwa 5 GB, ein 24B- bis 32B-Modell 14 bis 20 GB und ein 70B-Modell etwa 40 GB. Dies sind Daumenregeln; Quantisierungsformat und Dateigröße variieren, also prüfe die tatsächliche Dateigröße auf der Download-Seite.
Kontext verbraucht auch Speicher
Jeder Token im Gespräch belegt Platz im Schlüssel-Wert-Cache. Ein langes Roleplay mit 16.000 oder 32.000 Token an Verlauf kann mehrere Gigabyte zusätzlich zu den Gewichten belegen. Viele laden ein Modell, stellen fest, dass es in den Speicher passt, und laufen dann nach einigen hundert Nachrichten in einem Chat aus dem Speicher. Lass Puffer.
Geschwindigkeit hängt davon ab, wo das Modell lebt
Wenn das gesamte Modell im GPU-Speicher liegt, sind Antworten schnell. Wenn Schichten in den Systemspeicher ausweichen, verlangsamt sich die Generierung stark. Ein Modell, das "technisch läuft" mit zwei Token pro Sekunde, ist ein schlechter Chat-Partner.
Die praktische Frage ist also nicht "welches Modell am besten ist", sondern "welche Größenklasse passt zu meiner Karte mit zusätzlichem Kontext". Community-Leaderboards und Empfehlungsthreads ändern sich von Monat zu Monat und sind subjektiv, also prüfe es mit eigenen Prompts.
Eine grobe Richtlinie nach Hardware
| Dein GPU-Speicher | Realistische Modellgröße (4-Bit) | Was du erwarten kannst |
|---|---|---|
| 6 bis 8 GB | 7B bis 8B | Schnell, kurzer Kontext, einfacherer Text |
| 12 bis 16 GB | 12B bis 14B | Gute Balance für gelegentliches Rollenspiel |
| 24 GB | 24B bis 32B | Der übliche Sweetspot für Enthusiasten |
| 48 GB oder mehr | 70B-Klasse | Benötigt zwei Karten oder eine Workstation-Karte |
| Keine GPU | Kleine Modelle auf CPU | Langsam; gut zum Testen, anstrengend für den täglichen Gebrauch |
Für das Ausführen sind die gängigen Optionen Ollama, KoboldCpp, llama.cpp und text-generation-webui. SillyTavern verbindet sich über die API-Einstellungen mit jedem davon. KoboldCpp ist bei Roleplay-Nutzern beliebt, weil es Sampler-Optionen bereitstellt und gut mit langen Kontexten umgeht, aber alle funktionieren.
Diese Zahlen sind Richtlinien, keine Benchmarks. Wenn du ein Modell findest, das passt, probiere es eine Woche echte Chats aus, bevor du entscheidest, dass es das Richtige ist.
Wo ein gehosteter Endpunkt gewinnt
Gehostet bedeutet, ein Server führt das Modell aus und du rufst es über HTTPS auf. SillyTavern unterstützt OpenAI-kompatible Endpunkte, also funktioniert dieser mit einer Basis-URL, einem Schlüssel und einem Modellnamen. Die Einstellungen befinden sich im API-Verbindungspanel von SillyTavern; wähle die benutzerdefinierte oder OpenAI-kompatible Chat-Vervollständigungsquelle und gib ein:
- URL:
https://api.unrestrictedaimodels.com/v1 - Schlüssel: der Schlüssel aus deinem Dashboard
- Modell:
uncensored
Vorteile gegenüber lokal:
- Kontext. Das Fenster umfasst 100.000 Token (Prompt plus Antwort), weit mehr, als die meisten Heim-GPUs unterstützen.
- Keine Hardware. Es funktioniert auf einem Laptop, einem Tablet-Browser oder einem Telefon.
- Keine Hitze oder Lärm, und keine Stromkosten bei dir.
- Nichts zu warten. Du aktualisierst keine Treiber, lädst keine Dateien neu oder optimierst die Speichereinstellungen.
Das Modell ist darauf abgestimmt, ohne Inhaltsablehnungen für die legale Erwachsenen-Nutzung zu antworten. Prompts werden nicht zum Training verwendet. Die SillyTavern vs Janitor AI-Seite erklärt die Unterschiede.
Wo lokale Lösungen gewinnen
Um fair zu sein: Lokale Lösungen haben echte Stärken.
- Volle Privatsphäre. Nichts verlässt deinen Rechner.
- Offline-Nutzung. Ein Flugzeug, eine Kabine oder ein blockiertes Netzwerk sind kein Hindernis.
- Keine Token-Kosten sobald die Hardware bezahlt ist.
- Volle Wahlfreiheit. Du kannst Hunderte von Community-Fine-Tunes, Merges und LoRAs ausprobieren und zwischen ihnen wechseln. Ein gehosteter Endpunkt wie dieser bietet nur ein einzelnes Modell.
- Kontrolle über Sampler und den gesamten Stack, was Bastler schätzen.
Wenn das Hobby für dich das Modell selbst ist, neue Releases auszuprobieren und sie zu vergleichen, ist lokal der richtige Ort. Wenn das Hobby die Geschichten und Charaktere sind, ist das Modell ein Mittel zum Zweck und ein stabiles gehostetes Modell spart Zeit.
Der Kostenvergleich mit Zahlen
Nimm einen intensiven Nutzer: 200 Nachrichten pro Tag, 12.000 Token an Kontext pro Nachricht, 250 Token Antwort. Für einen 30-Tage-Monat:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Ein leichterer Nutzer mit 50 Nachrichten pro Tag zahlt etwa ein Viertel davon, bei rund $2,89. Guthaben verfällt nie, und Aufladungen beginnen ab $20, sodass keine monatliche Verpflichtung besteht; sieh dir die Preisseite an.
Für lokal, zähle, was du besitzt. Wenn du bereits aus anderen Gründen eine 24-GB-Karte hast, sind die Grenzkosten Strom. Ein System, das 350 W für 3 Stunden am Tag verbraucht, nutzt 0,35 x 3 x 30 = 31,5 kWh im Monat; multipliziere das mit deinem lokalen Strompreis. Wenn du die GPU nur dafür kaufen müsstest, vergleiche ihren Preis (prüfe aktuelle Listings) mit der monatlichen Zahl oben; die gehostete Option bleibt bei normaler Nutzung lange günstiger.
SillyTavern-Einstellungen, die in jedem Fall wichtig sind
Welches Backend du auch wählst, einige SillyTavern-Einstellungen entscheiden darüber, wie sich der Chat anfühlt.
- Kontextgröße. Passe sie an das an, was das Backend wirklich unterstützt. Ein lokales Modell, das mit 8.192 Token Kontext geladen wird, ignoriert eine Einstellung von 32.000. Für die gehostete API liegt die Obergrenze bei 100.000 Token inklusive Antwort, also lass Platz für die Antwort.
- Antwortlänge. Ein paar hundert Token reichen für die meisten Durchgänge. Lange Antworten sind auf kleinen lokalen Karten langsam und kosten auf gehosteten mehr Output-Token.
- Streaming. Schalte es ein. Du siehst Text sofort und kannst eine schlechte Antwort frühzeitig stoppen.
- Lorebooks und Zusammenfassungen. Diese halten eine Geschichte konsistent, ohne die gesamte Historie in jeden Prompt zu schieben, was bei VRAM lokal hilft und bei Kosten, wenn gehostet.
- Sampler. Starte mit einer Temperatur nahe 0,8 und ändere einen Wert nach dem anderen. Lokale Backends bieten mehr Sampler an als eine Chat-Completion-API, was ein Grund ist, warum Enthusiasten sie bevorzugen.
Wenn du von lokal zu gehostet wechselst, erwarte, die ersten beiden Einstellungen neu abzustimmen. Ein gehostetes Modell mit großem Fenster belohnt eine größere Kontexteinstellung und eine gute Praxis beim Zusammenfassen; ein kleines lokales belohnt kurze Prompts und enge Charakterkarten.
Wie du entscheidest und wie du günstig testest
- Liste deine Hardware auf. Wenn du weniger als 12 GB VRAM hast, wird ein lokales Setup bei Kontext und Prosa-Qualität begrenzt sein, und Hosting ist wahrscheinlich besser.
- Entscheide, was dir wichtiger ist: Privatsphäre und Offline-Nutzung oder langer Kontext und Null-Einrichtung.
- Probiere zuerst den gehosteten Endpunkt aus. Erstelle einen Schlüssel und löse das $0,50-Testguthaben mit einem Klick ein; es benötigt keine Karte und dauert 7 Tage. Bei der oben genannten leichten Nutzungsrate deckt es mehrere Tage lockeren Chats ab.
- Lade ein lokales Modell herunter, das zu deiner Karte passt, und führe denselben Charakter und dieselbe Szene aus. Vergleiche Antwortqualität, Geschwindigkeit und wie lange der Speicher hält.
Viele Nutzer behalten beide: lokal für private oder Offline-Sessions, gehostet für lange Abenteuer, die einen riesigen Kontext benötigen. SillyTavern ermöglicht es dir, separate Verbindungsprofile zu speichern, sodass das Wechseln nur wenige Klicks dauert. Für einen breiteren Blick auf den Aufbau von Chat-Konfigurationen lies den Chatbot-Leitfaden.
Weitere Anleitungen
Fragen und Antworten
Wie viel VRAM brauche ich für SillyTavern?
Für ein 4-Bit-8B-Modell etwa 6 bis 8 GB mit einem bescheidenen Kontext. Für 24B- bis 32B-Modelle plane mit 24 GB und lasse Platz für den Kontext-Cache.
Kann ich SillyTavern mit dieser gehosteten API verwenden?
Ja. Füge es als OpenAI-kompatible Chat-Vervollständigungs-Quelle hinzu mit der Basis-URL https://api.unrestrictedaimodels.com/v1, deinem API-Schlüssel und dem Modell uncensored.
Ist das gehostete Modell dasselbe wie ein lokales?
Es ist ein einzelnes Open-Weight-Modell, das von einem unabhängigen Anbieter betrieben wird, keine offizielle API eines großen Anbieters und kein Router über Anbieter hinweg. Lokale Setups lassen dich zwischen vielen Modellen wählen.
Was ist das Kontextlimit der gehosteten API?
100.000 Token für Prompt plus Antwort. Lokale Limits hängen von deinem Speicher und dem geladenen Modell ab.
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.
API-Schlüssel erhalten