PT ▾
Obter chave de API

Melhor LLM local para SillyTavern vs endpoint hospedado

Buscas por melhor llm local para sillytavern têm uma resposta honesta: o maior modelo que cabe na sua placa de vídeo com espaço suficiente para o contexto, e para muitas pessoas isso é um modelo menor do que esperavam. Esta página ajuda você a dimensionar essa escolha e compará-la com um endpoint hospedado.

Uma GPU de desktop de um lado e um servidor de nuvem do outro, unidos por uma luz, comparando LLMs locais e hospedados
Fluxo de partículas brilhantes fluindo de uma chave através de um nó de nuvem e voltando como bolhas de chat

Atualizado

Pontos principais

  • Modelos locais são limitados pela VRAM: pesos mais o cache de contexto devem caber.
  • Executar localmente oferece privacidade, sem conta de uso e uso offline; hospedar oferece contexto maior e sem hardware.
  • O SillyTavern suporta ambos, então você pode testar um endpoint hospedado em minutos antes de comprar uma GPU.
  • Em uso típico de roleplay pesado, tokens hospedados custam cerca de $11,55 por mês a $0,15 e $0,50 por 1M.

O que determina a utilidade de um modelo local

Três limites moldam a experiência, e todos são limites de hardware.

Os pesos devem caber na memória

Um modelo com N bilhões de parâmetros precisa de memória para seus pesos. Na forma de 16 bits, isso é cerca de 2 GB por bilhão de parâmetros. Quantizado para 4 bits, como a maioria dos usuários locais faz, são cerca de 0,5 a 0,6 GB por bilhão. Um modelo de 8B então precisa de cerca de 5 GB, um modelo de 24B a 32B precisa de 14 a 20 GB e um modelo de 70B precisa de cerca de 40 GB. Estas são estimativas; o formato de quantização e o tamanho do arquivo variam, então verifique o tamanho real do arquivo na página de download.

O contexto também usa memória

Cada token na conversa ocupa espaço no cache de chave-valor. Um roleplay longo com 16.000 ou 32.000 tokens de histórico pode ocupar vários gigabytes além dos pesos. Muitas pessoas carregam um modelo, descobrem que cabe e depois ficam sem memória a algumas centenas de mensagens em uma conversa. Deixe margem.

A velocidade depende de onde o modelo está

Se o modelo inteiro estiver na memória da GPU, as respostas são rápidas. Se as camadas vazarem para a RAM do sistema, a geração fica mais lenta. Um modelo que "tecnicamente roda" a dois tokens por segundo é um companheiro de conversa ruim.

Então a pergunta prática não é "qual modelo é o melhor" mas "qual classe de tamanho cabe na minha placa com contexto de sobra". Os rankings da comunidade e threads de recomendação mudam mês a mês, e são opinião, então verifique com seus próprios prompts.

Um guia aproximado por hardware

Memória da sua GPUTamanho realista do modelo (4-bit)O que esperar
6 a 8 GB7B a 8BRápido, contexto curto, prosa mais simples
12 a 16 GB12B a 14BBom equilíbrio para roleplay casual
24 GB24B a 32BO ponto ideal usual para entusiastas
48 GB ou maisClasse 70BPrecisa de duas placas ou uma placa de estação de trabalho
Sem GPUModelos pequenos na CPULento; bom para testes, cansativo para uso diário

Para executá-los, as opções comuns são Ollama, KoboldCpp, llama.cpp e text-generation-webui. O SillyTavern se conecta a cada um por meio de suas configurações de API. O KoboldCpp é popular entre usuários de roleplay porque expõe opções de amostragem e lida bem com contextos longos, mas qualquer um deles funciona.

Esses valores são diretrizes, não benchmarks. Se você encontrar um modelo adequado, experimente-o por uma semana de chats reais antes de decidir que é o escolhido.

Onde um endpoint hospedado vence

Hospedado significa que um servidor executa o modelo e você o chama via HTTPS. O SillyTavern suporta endpoints compatíveis com OpenAI, então este funciona com uma URL base, uma chave e um nome de modelo. As configurações estão no painel de conexão de API do SillyTavern; escolha a fonte de conclusão de chat personalizada ou compatível com OpenAI e insira:

  • URL: https://api.unrestrictedaimodels.com/v1
  • Chave: a chave do seu painel
  • Modelo: uncensored

Vantagens sobre o local:

  • Contexto. A janela é de 100.000 tokens (prompt mais resposta), bem além da capacidade da maioria das GPUs domésticas.
  • Sem hardware. Funciona em um laptop, navegador de tablet ou telefone.
  • Sem calor ou ruído, e sem custo de eletricidade por sua conta.
  • Nada para manter. Você não atualiza drivers, baixa arquivos novamente ou ajusta configurações para memória.

O modelo é ajustado para responder sem recusas de conteúdo para uso adulto legal. Prompts não são usados para treinamento. A página SillyTavern vs Janitor AI explica como as interfaces front-end diferem.

Onde a solução local vence

Sendo justo, a solução local tem vantagens reais.

  • Privacidade total. Nada sai da sua máquina.
  • Uso offline. Um avião, uma cabine ou uma rede bloqueada não são obstáculos.
  • Sem custo por token depois que o hardware é pago.
  • Escolha total. Você pode experimentar centenas de ajustes finos da comunidade, fusões e LoRAs e alternar entre eles. Um endpoint hospedado como este oferece um único modelo.
  • Controle sobre os samplers e toda a pilha, o que agrada os entusiastas.

Se o seu hobby é o próprio modelo, testar novos lançamentos e compará-los, a solução local é o lugar certo. Se o hobby são as histórias e personagens, o modelo é um meio e um hospedado estável economiza tempo.

A comparação de custos, com números

Pegue um usuário pesado: 200 mensagens por dia, 12.000 tokens de contexto em cada, 250 tokens de resposta. Para um mês de 30 dias:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

Um usuário mais leve com 50 mensagens por dia paga cerca de um quarto disso, perto de $2,89. O crédito nunca expira, e as recargas começam em $20, então não há compromisso mensal; veja a página de preços.

Para a solução local, calcule o que você possui. Se você já tem uma placa de 24 GB por outras razões, o custo marginal é a eletricidade. Um sistema que consome 350 W por 3 horas por dia usa 0,35 x 3 x 30 = 31,5 kWh por mês; multiplique pela sua tarifa local. Se você tivesse que comprar a GPU apenas para isso, compare o preço dela (verifique as listagens atuais) com o valor mensal acima; a opção hospedada continua mais barata por muito tempo em uso normal.

Configurações do SillyTavern que importam em qualquer caso

Qualquer que seja o backend escolhido, algumas configurações do SillyTavern determinam como a conversa é percebida.

  • Tamanho do contexto. Ajuste-o ao que o backend realmente suporta. Um modelo local carregado com 8,192 tokens de contexto ignorará uma configuração de 32.000. Para a API hospedada, o limite é de 100.000 tokens incluindo a resposta, então deixe espaço para a resposta.
  • Comprimento da resposta. Algumas centenas de tokens são suficientes para a maioria das rodadas. Respostas longas são lentas em placas locais pequenas e custam mais tokens de saída nas hospedadas.
  • Streaming. Ative-o. Você vê o texto imediatamente e pode parar uma resposta ruim cedo.
  • Livros de lore e resumos. Eles mantêm uma história consistente sem empurrar todo o histórico para cada prompt, o que ajuda com VRAM localmente e com o custo quando hospedado.
  • Samplers. Comece com uma temperatura perto de 0,8 e altere um valor de cada vez. Backends locais expõem mais samplers do que uma API de conclusão de chat faz, o que é uma das razões pelas quais os entusiastas os preferem.

Se você mudar do local para o hospedado, espere ajustar os dois primeiros. Um modelo hospedado com uma janela grande recompensa uma configuração de contexto maior e um hábito de bom resumo; um local pequeno recompensa prompts curtos e cartões de personagem apertados.

Como decidir, e como testar barato

  1. Liste seu hardware. Se você tiver menos de 12 GB de VRAM, uma configuração local será limitada em contexto e qualidade de texto, e o hospedado provavelmente será melhor.
  2. Decida o que é mais importante: privacidade e uso offline, ou contexto longo e configuração zero.
  3. Experimente o endpoint hospedado primeiro. Crie uma chave e resgate o crédito de teste de $0,50 com um clique; não precisa de cartão e dura 7 dias. Na taxa de uso leve acima, isso cobre vários dias de conversa casual.
  4. Baixe um modelo local que se encaixe na sua placa e execute o mesmo personagem e cena. Compare a qualidade da resposta, a velocidade e por quanto tempo a memória se mantém.

Muitos usuários mantêm ambos: local para sessões privadas ou offline, hospedado para aventuras longas que precisam de um contexto enorme. O SillyTavern permite salvar perfis de conexão separados, então a troca leva alguns cliques. Para uma visão mais ampla sobre a criação de configurações de chat, leia o guia de chatbot.

Perguntas e respostas

Quanta VRAM eu preciso para o SillyTavern?

Para um modelo 8B de 4 bits, cerca de 6 a 8 GB com um contexto modesto. Para modelos de 24B a 32B planeje 24 GB, e deixe espaço para o cache de contexto.

Posso usar o SillyTavern com esta API hospedada?

Sim. Adicione-o como uma fonte de conclusão de chat compatível com OpenAI com a URL base https://api.unrestrictedaimodels.com/v1, sua chave e o modelo uncensored.

O modelo hospedado é o mesmo que um local?

É um único modelo de pesos abertos executado por um provedor independente, não uma API oficial de nenhum grande fornecedor e não um roteador entre fornecedores. Configurações locais permitem que você escolha entre muitos modelos.

Qual é o limite de contexto na API hospedada?

100.000 tokens para prompt mais resposta. Os limites locais dependem da sua memória e do modelo que você carrega.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API