Najlepszy lokalny LLM dla SillyTavern vs endpoint hostowany
Wyszukiwania „najlepszy lokalny LLM dla SillyTavern” mają jedną uczciwą odpowiedź: największy model, który zmieści się na karcie graficznej z rezerwą na kontekst, a dla wielu osób jest to mniejszy model niż się spodziewali. Ta strona pomaga oszacować ten wybór i porównać go z endpointem hostowanym.


Zaktualizowano
Kluczowe punkty
- Modele lokalne są ograniczone przez VRAM: wagi i bufor kontekstu muszą się zmieścić.
- Uruchomienie lokalnie daje prywatność, brak rachunku za zużycie i pracę offline; hostowanie daje większe okno kontekstu i brak konieczności posiadania sprzętu.
- SillyTavern obsługuje oba, więc możesz przetestować endpoint hostowany w kilka minut przed zakupem GPU.
- Przy typowym intensywnym użyciu w roleplay tokeny hostowane kosztują około $11,55 miesięcznie przy stawce $0,15 i $0,50 za 1M tokenów.
Co decyduje o przydatności modelu lokalnego
Trzy limity kształtują doświadczenie, a wszystkie są limitami sprzętowymi.
Wagi muszą zmieścić się w pamięci
Model z N miliardami parametrów potrzebuje pamięci na wagi. W formacie 16-bit jest to około 2 GB na miliard parametrów. Skwantyzowany do 4 bitów, co robi większość użytkowników lokalnych, zajmuje około 0,5–0,6 GB na miliard. Model 8B potrzebuje więc około 5 GB, model 24B–32B potrzebuje 14–20 GB, a model 70B około 40 GB. To przybliżenia; format kwantyzacji i rozmiar pliku się różnią, więc sprawdź rzeczywisty rozmiar pliku na stronie pobierania.
Kontekst też zużywa pamięć
Każdy token w rozmowie zajmuje miejsce w buforze klucz-wartość. Długi odgrywanie ról z 16 000 lub 32 000 tokenami historii może zająć kilka gigabajtów ponad wagi. Wielu użytkowników ładuje model, stwierdza, że się mieści, a potem brakuje pamięci po kilkuset wiadomościach w czacie. Zostaw margines.
Prędkość zależy od tego, gdzie znajduje się model
Jeśli cały model mieści się w pamięci GPU, odpowiedzi są szybkie. Jeśli warstwy wyciekają do pamięci RAM systemu, generowanie zwalnia. Model, który „technicznie działa” z prędkością dwóch tokenów na sekundę, jest słabym partnerem do czatu.
Zatem praktyczne pytanie brzmi nie „jaki model jest najlepszy”, ale „jaka klasa rozmiaru zmieści się na mojej karcie z rezerwą na kontekst”. Rankingi społecznościowe i wąty rekomendacyjne zmieniają się miesiąc do miesiąca i są opinią, więc zweryfikuj to własnymi podpowiedziami.
Szybki przewodnik po sprzęcie
| Pamięć GPU | Realistyczny rozmiar modelu (4-bit) | Czego się spodziewać |
|---|---|---|
| 6–8 GB | 7B–8B | Szybki, krótki kontekst, prostszy styl |
| 12–16 GB | 12B–14B | Dobry balans dla luźnego odgrywania ról |
| 24 GB | 24B–32B | Typowy punkt słodki dla entuzjastów |
| 48 GB lub więcej | Klasa 70B | Wymaga dwóch kart lub karty roboczej |
| Brak GPU | Małe modele na CPU | Wolne; OK do testów, męczące do codziennego użytku |
Do ich uruchamiania powszechne wybory to Ollama, KoboldCpp, llama.cpp i text-generation-webui. SillyTavern łączy się z każdym przez ustawienia API. KoboldCpp jest popularny wśród użytkowników roleplay, ponieważ udostępnia opcje samplerów i dobrze obsługuje długie konteksty, ale każdy z nich zadziała.
Te liczby to wytyczne, nie benchmarki. Jeśli znajdziesz model, który się mieści, przetestuj go przez tydzień prawdziwych czatów, zanim uznasz go za ten właściwy.
Gdzie wygrywa endpoint hostowany
Hosting oznacza, że serwer uruchamia model, a Ty go wywołujesz przez HTTPS. SillyTavern obsługuje endpointy kompatybilne z OpenAI, więc ten działa z bazowym URL, kluczem i nazwą modelu. Ustawienia są w panelu połączenia API SillyTavern; wybierz źródło custom lub kompatybilne z OpenAI chat completion i wpisz:
- URL:
https://api.unrestrictedaimodels.com/v1 - Klucz: klucz z Twojego panelu
- Model:
uncensored
Zalety względem lokalnego:
- Kontekst. Okno ma 100 000 tokenów (prompt plus odpowiedź), znacznie wykraczając poza to, co większość kart GPU w domu pomieści.
- Brak sprzętu. Działa na laptopie, przeglądarce na tablecie lub telefonie.
- Brak ciepła ani hałasu, i brak kosztów prądu po Twojej stronie.
- Nic nie musisz utrzymywać. Nie aktualizujesz sterowników, nie pobierasz ponownie plików ani nie dostrajasz ustawień pod kątem pamięci.
Model jest dostrojony do odpowiadania bez odrzucania treści dla prawnego użytku dorosłych. Prompty nie są używane do trenowania. Strona SillyTavern vs Janitor AI wyjaśnia, jak różnią się interfejsy.
Gdzie wygrywa lokalny
Będąc uczciwym, lokalny ma prawdziwe zalety.
- Pełna prywatność. Nic nie opuszcza Twojego komputera.
- Praca offline. Samolot, kabina czy zablokowana sieć nie są przeszkodą.
- Brak kosztu za tokena po opłaceniu sprzętu.
- Pełny wybór. Możesz wypróbować setki dostosowań społeczności, fuzji i LoRA oraz przełączać się między nimi. Hostowany endpoint, taki jak ten, oferuje jeden model.
- Kontrola nad samplerami i całym stosem, co cenią entuzjaści.
Jeśli Twoim hobby jest sam model, testowanie nowych wydań i ich porównywanie, lokalna instalacja jest właściwym rozwiązaniem. Jeśli hobby to historie i postaci, model jest tylko narzędziem, a stabilny model w chmurze oszczędza czas.
Porównanie kosztów z liczbami
Weźmy pod uwagę intensywnego użytkownika: 200 wiadomości dziennie, 12 000 tokenów kontekstu w każdej wiadomości, 250 tokenów odpowiedzi. Przy 30-dniowym miesiącu:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Lżejszy użytkownik z 50 wiadomościami dziennie płaci około ćwierci tej kwoty, blisko $2,89. Kredyt nigdy nie wygasa, a doładowania zaczynają się od $20, więc nie ma miesięcznego zobowiązania; zobacz stronę z cenami.
Dla lokalnego, policz to, co posiadasz. Jeśli masz już kartę 24 GB z innych powodów, koszt to tylko prąd. System pobierający 350 W przez 3 godziny dziennie zużywa 0,35 x 3 x 30 = 31,5 kWh miesięcznie; pomnóż przez lokalną stawkę. Jeśli musiałbyś kupić kartę GPU tylko dla tego, porównaj jej cenę (sprawdź aktualne oferty) z miesięczną kwotą powyżej; opcja hostowana pozostanie tańsza przez długi czas przy normalnym użyciu.
Ustawienia SillyTavern, które mają znaczenie
Niezależnie od wybranego backendu, kilka ustawień SillyTavern decyduje o odczuciu z czatem.
- Rozmiar kontekstu. Dopasuj go do tego, co backend faktycznie obsługuje. Lokalny model załadowany z kontekstem 8 192 tokenów zignoruje ustawienie 32 000. W przypadku API w chmurze limit to 100 000 tokenów włącznie z odpowiedzią, więc zostaw miejsce na odpowiedź.
- Długość odpowiedzi. Kilka setek tokenów wystarczy w większości przypadków. Długie odpowiedzi są wolne na małych lokalnych kartach i generują więcej tokenów wyjściowych w chmurze.
- Strumieniowanie. Włącz je. Tekst pojawia się natychmiast, a możesz przerwać złą odpowiedź wcześniej.
- Księgi postaci i podsumowania. Utrzymują one spójność historii bez wciskania całej historii w każdy prompt, co pomaga z VRAM lokalnie i z kosztem przy hostowaniu.
- Próbniki. Zacznij od temperatury około 0,8 i zmieniaj jedną wartość na raz. Backendy lokalne oferują więcej próbników niż API ukończenia czatu, co jest jednym z powodów, dla których entuzjaści wolą backendy lokalne.
Po przełączeniu się z lokalnego na chmurowy, oczekuj konieczności ponownego dostrajania pierwszych dwóch. Model w chmurze z dużym oknem kontekstu nagradza większe ustawienie kontekstu i nawyk tworzenia dobrych podsumowań; mały lokalny model nagradza krótkie prompty i precyzyjne karty postaci.
Jak podjąć decyzję i jak tanio przetestować
- Wypisz swój sprzęt. Jeśli masz mniej niż 12 GB VRAM, lokalna konfiguracja będzie ograniczona w kontekście i jakości tekstu, a chmura będzie prawdopodobnie lepsza.
- Zdecyduj, co jest ważniejsze: prywatność i praca offline, czy długi kontekst i zero konfiguracji.
- Wypróbuj najpierw endpoint w chmurze. Utwórz klucz i aktywuj kredyt próbny za $0,50 jednym kliknięciem; nie wymaga karty i trwa 7 dni. Przy powyższym niskim zużyciu starczy to na kilka dni swobodnej rozmowy.
- Pobierz lokalny model pasujący do Twojej karty i uruchom tę samą postać i scenę. Porównaj jakość odpowiedzi, szybkość i długość pamięci.
Wielu użytkowników trzyma oba: lokalny do prywatnych lub offline'owych sesji, chmurowy do długich przygód wymagających ogromnego kontekstu. SillyTavern pozwala zapisać osobne profile połączeń, więc przełączenie zajmuje kilka kliknięć. Aby uzyskać szerszy obraz na temat tworzenia konfiguracji czatu, przeczytaj przewodnik po botach czatu.
Więcej przewodników
Pytania i odpowiedzi
Ile VRAM jest potrzebne do SillyTavern?
Dla modelu 8B w 4-bitach, około 6 do 8 GB przy umiarkowanym kontekście. Dla modeli 24B do 32B zaplanuj 24 GB i zostaw miejsce na bufor kontekstu.
Czy mogę używać SillyTavern z tym API w chmurze?
Tak. Dodaj go jako źródło ukończenia rozmowy kompatybilne z OpenAI, używając base URL https://api.unrestrictedaimodels.com/v1, swojego klucza i modelu uncensored.
Czy model w chmurze jest taki sam jak lokalny?
To pojedynczy model o otwartych wagach uruchamiany przez niezależnego dostawcę, nie oficjalne API żadnego dużego dostawcy i nie router między dostawcami. Konfiguracje lokalne pozwalają wybrać spośród wielu modeli.
Jaki jest limit kontekstu w API w chmurze?
100 000 tokenów na prompt i odpowiedź. Limity lokalne zależą od pamięci i modelu, który wczytujesz.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień base URL. To cała konfiguracja.
Pobierz klucz API