Melhor LLM local para SillyTavern vs endpoint hospedado
Buscas por melhor llm local para sillytavern têm uma resposta honesta: o maior modelo que cabe na sua placa de vídeo com espaço suficiente para o contexto, e para muitas pessoas isso é um modelo menor do que esperavam. Esta página ajuda você a dimensionar essa escolha e compará-la com um endpoint hospedado.


Atualizado
Pontos principais
- Modelos locais são limitados pela VRAM: pesos mais o cache de contexto devem caber.
- Executar localmente oferece privacidade, sem conta de uso e uso offline; hospedar oferece contexto maior e sem hardware.
- O SillyTavern suporta ambos, então você pode testar um endpoint hospedado em minutos antes de comprar uma GPU.
- Em uso típico de roleplay pesado, tokens hospedados custam cerca de $11,55 por mês a $0,15 e $0,50 por 1M.
O que determina a utilidade de um modelo local
Três limites moldam a experiência, e todos são limites de hardware.
Os pesos devem caber na memória
Um modelo com N bilhões de parâmetros precisa de memória para seus pesos. Na forma de 16 bits, isso é cerca de 2 GB por bilhão de parâmetros. Quantizado para 4 bits, como a maioria dos usuários locais faz, são cerca de 0,5 a 0,6 GB por bilhão. Um modelo de 8B então precisa de cerca de 5 GB, um modelo de 24B a 32B precisa de 14 a 20 GB e um modelo de 70B precisa de cerca de 40 GB. Estas são estimativas; o formato de quantização e o tamanho do arquivo variam, então verifique o tamanho real do arquivo na página de download.
O contexto também usa memória
Cada token na conversa ocupa espaço no cache de chave-valor. Um roleplay longo com 16.000 ou 32.000 tokens de histórico pode ocupar vários gigabytes além dos pesos. Muitas pessoas carregam um modelo, descobrem que cabe e depois ficam sem memória a algumas centenas de mensagens em uma conversa. Deixe margem.
A velocidade depende de onde o modelo está
Se o modelo inteiro estiver na memória da GPU, as respostas são rápidas. Se as camadas vazarem para a RAM do sistema, a geração fica mais lenta. Um modelo que "tecnicamente roda" a dois tokens por segundo é um companheiro de conversa ruim.
Então a pergunta prática não é "qual modelo é o melhor" mas "qual classe de tamanho cabe na minha placa com contexto de sobra". Os rankings da comunidade e threads de recomendação mudam mês a mês, e são opinião, então verifique com seus próprios prompts.
Um guia aproximado por hardware
| Memória da sua GPU | Tamanho realista do modelo (4-bit) | O que esperar |
|---|---|---|
| 6 a 8 GB | 7B a 8B | Rápido, contexto curto, prosa mais simples |
| 12 a 16 GB | 12B a 14B | Bom equilíbrio para roleplay casual |
| 24 GB | 24B a 32B | O ponto ideal usual para entusiastas |
| 48 GB ou mais | Classe 70B | Precisa de duas placas ou uma placa de estação de trabalho |
| Sem GPU | Modelos pequenos na CPU | Lento; bom para testes, cansativo para uso diário |
Para executá-los, as opções comuns são Ollama, KoboldCpp, llama.cpp e text-generation-webui. O SillyTavern se conecta a cada um por meio de suas configurações de API. O KoboldCpp é popular entre usuários de roleplay porque expõe opções de amostragem e lida bem com contextos longos, mas qualquer um deles funciona.
Esses valores são diretrizes, não benchmarks. Se você encontrar um modelo adequado, experimente-o por uma semana de chats reais antes de decidir que é o escolhido.
Onde um endpoint hospedado vence
Hospedado significa que um servidor executa o modelo e você o chama via HTTPS. O SillyTavern suporta endpoints compatíveis com OpenAI, então este funciona com uma URL base, uma chave e um nome de modelo. As configurações estão no painel de conexão de API do SillyTavern; escolha a fonte de conclusão de chat personalizada ou compatível com OpenAI e insira:
- URL:
https://api.unrestrictedaimodels.com/v1 - Chave: a chave do seu painel
- Modelo:
uncensored
Vantagens sobre o local:
- Contexto. A janela é de 100.000 tokens (prompt mais resposta), bem além da capacidade da maioria das GPUs domésticas.
- Sem hardware. Funciona em um laptop, navegador de tablet ou telefone.
- Sem calor ou ruído, e sem custo de eletricidade por sua conta.
- Nada para manter. Você não atualiza drivers, baixa arquivos novamente ou ajusta configurações para memória.
O modelo é ajustado para responder sem recusas de conteúdo para uso adulto legal. Prompts não são usados para treinamento. A página SillyTavern vs Janitor AI explica como as interfaces front-end diferem.
Onde a solução local vence
Sendo justo, a solução local tem vantagens reais.
- Privacidade total. Nada sai da sua máquina.
- Uso offline. Um avião, uma cabine ou uma rede bloqueada não são obstáculos.
- Sem custo por token depois que o hardware é pago.
- Escolha total. Você pode experimentar centenas de ajustes finos da comunidade, fusões e LoRAs e alternar entre eles. Um endpoint hospedado como este oferece um único modelo.
- Controle sobre os samplers e toda a pilha, o que agrada os entusiastas.
Se o seu hobby é o próprio modelo, testar novos lançamentos e compará-los, a solução local é o lugar certo. Se o hobby são as histórias e personagens, o modelo é um meio e um hospedado estável economiza tempo.
A comparação de custos, com números
Pegue um usuário pesado: 200 mensagens por dia, 12.000 tokens de contexto em cada, 250 tokens de resposta. Para um mês de 30 dias:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Um usuário mais leve com 50 mensagens por dia paga cerca de um quarto disso, perto de $2,89. O crédito nunca expira, e as recargas começam em $20, então não há compromisso mensal; veja a página de preços.
Para a solução local, calcule o que você possui. Se você já tem uma placa de 24 GB por outras razões, o custo marginal é a eletricidade. Um sistema que consome 350 W por 3 horas por dia usa 0,35 x 3 x 30 = 31,5 kWh por mês; multiplique pela sua tarifa local. Se você tivesse que comprar a GPU apenas para isso, compare o preço dela (verifique as listagens atuais) com o valor mensal acima; a opção hospedada continua mais barata por muito tempo em uso normal.
Configurações do SillyTavern que importam em qualquer caso
Qualquer que seja o backend escolhido, algumas configurações do SillyTavern determinam como a conversa é percebida.
- Tamanho do contexto. Ajuste-o ao que o backend realmente suporta. Um modelo local carregado com 8,192 tokens de contexto ignorará uma configuração de 32.000. Para a API hospedada, o limite é de 100.000 tokens incluindo a resposta, então deixe espaço para a resposta.
- Comprimento da resposta. Algumas centenas de tokens são suficientes para a maioria das rodadas. Respostas longas são lentas em placas locais pequenas e custam mais tokens de saída nas hospedadas.
- Streaming. Ative-o. Você vê o texto imediatamente e pode parar uma resposta ruim cedo.
- Livros de lore e resumos. Eles mantêm uma história consistente sem empurrar todo o histórico para cada prompt, o que ajuda com VRAM localmente e com o custo quando hospedado.
- Samplers. Comece com uma temperatura perto de 0,8 e altere um valor de cada vez. Backends locais expõem mais samplers do que uma API de conclusão de chat faz, o que é uma das razões pelas quais os entusiastas os preferem.
Se você mudar do local para o hospedado, espere ajustar os dois primeiros. Um modelo hospedado com uma janela grande recompensa uma configuração de contexto maior e um hábito de bom resumo; um local pequeno recompensa prompts curtos e cartões de personagem apertados.
Como decidir, e como testar barato
- Liste seu hardware. Se você tiver menos de 12 GB de VRAM, uma configuração local será limitada em contexto e qualidade de texto, e o hospedado provavelmente será melhor.
- Decida o que é mais importante: privacidade e uso offline, ou contexto longo e configuração zero.
- Experimente o endpoint hospedado primeiro. Crie uma chave e resgate o crédito de teste de $0,50 com um clique; não precisa de cartão e dura 7 dias. Na taxa de uso leve acima, isso cobre vários dias de conversa casual.
- Baixe um modelo local que se encaixe na sua placa e execute o mesmo personagem e cena. Compare a qualidade da resposta, a velocidade e por quanto tempo a memória se mantém.
Muitos usuários mantêm ambos: local para sessões privadas ou offline, hospedado para aventuras longas que precisam de um contexto enorme. O SillyTavern permite salvar perfis de conexão separados, então a troca leva alguns cliques. Para uma visão mais ampla sobre a criação de configurações de chat, leia o guia de chatbot.
Mais guias
Perguntas e respostas
Quanta VRAM eu preciso para o SillyTavern?
Para um modelo 8B de 4 bits, cerca de 6 a 8 GB com um contexto modesto. Para modelos de 24B a 32B planeje 24 GB, e deixe espaço para o cache de contexto.
Posso usar o SillyTavern com esta API hospedada?
Sim. Adicione-o como uma fonte de conclusão de chat compatível com OpenAI com a URL base https://api.unrestrictedaimodels.com/v1, sua chave e o modelo uncensored.
O modelo hospedado é o mesmo que um local?
É um único modelo de pesos abertos executado por um provedor independente, não uma API oficial de nenhum grande fornecedor e não um roteador entre fornecedores. Configurações locais permitem que você escolha entre muitos modelos.
Qual é o limite de contexto na API hospedada?
100.000 tokens para prompt mais resposta. Os limites locais dependem da sua memória e do modelo que você carrega.
Sua chave está a um formulário de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.
Obter chave de API