Mejor LLM local para SillyTavern frente a un endpoint alojado
Las búsquedas del mejor llm local para sillytavern tienen una respuesta honesta: el modelo más grande que quepa en tu tarjeta gráfica dejando espacio suficiente para el contexto, y para muchas personas eso es un modelo más pequeño del que esperaban. Esta página te ayuda a dimensionar esa elección y compararla con un endpoint alojado.


Actualizado
Puntos clave
- Los modelos locales están limitados por la VRAM: los pesos más la caché de contexto deben caber.
- Ejecutar localmente te da privacidad, no factura de uso y uso sin conexión; alojar te da un contexto más grande y no requiere hardware.
- SillyTavern soporta ambos, así que puedes probar un endpoint alojado en minutos antes de comprar una GPU.
- En un uso típico de rol intenso, los tokens alojados cuestan unos $11,55 al mes a $0,15 y $0,50 por 1M.
Qué determina la utilidad de un modelo local
Tres límites moldean la experiencia, y todos son límites de hardware.
Los pesos deben caber en la memoria
Un modelo con N mil millones de parámetros necesita memoria para sus pesos. En formato de 16 bits eso son unos 2 GB por mil millones de parámetros. Cuantizado a 4 bits, como hacen la mayoría de usuarios locales, son unos 0,5 a 0,6 GB por mil millones. Un modelo de 8B necesita unos 5 GB, un modelo de 24B a 32B necesita 14 a 20 GB, y un modelo de 70B unos 40 GB. Estas son reglas generales; el formato de cuantización y el tamaño del archivo varían, así que revisa el tamaño real del archivo en la página de descarga.
El contexto también usa memoria
Cada token en la conversación ocupa espacio en la caché de claves y valores. Un rol largo con 16.000 o 32.000 tokens de historial puede ocupar varios gigabytes además de los pesos. Muchas personas cargan un modelo, ven que cabe, y luego se quedan sin memoria a unas pocas cientos de mensajes en un chat. Deja margen.
La velocidad depende de dónde esté el modelo
Si todo el modelo está en la memoria de la GPU, las respuestas son rápidas. Si las capas se derraman en la RAM del sistema, la generación se ralentiza drásticamente. Un modelo que "técnicamente funciona" a dos tokens por segundo es un mal compañero de chat.
Así que la pregunta práctica no es "qué modelo es el mejor" sino "qué clase de tamaño cabe en mi tarjeta con contexto de sobra". Los rankings de la comunidad y los hilos de recomendaciones cambian mes a mes, y son opinión, así que verifica con tus propios prompts.
Una guía aproximada por hardware
| Memoria de tu GPU | Tamaño realista del modelo (4-bit) | Qué esperar |
|---|---|---|
| 6 a 8 GB | 7B a 8B | Rápido, contexto corto, prosa más simple |
| 12 a 16 GB | 12B a 14B | Buen equilibrio para rol casual |
| 24 GB | 24B a 32B | El punto dulce habitual para entusiastas |
| 48 GB o más | Clase 70B | Necesita dos tarjetas o una tarjeta de estación de trabajo |
| Sin GPU | Modelos pequeños en CPU | Lento; bien para probar, cansado para uso diario |
Para ejecutarlos, las opciones comunes son Ollama, KoboldCpp, llama.cpp y text-generation-webui. SillyTavern se conecta a cada uno a través de sus ajustes de API. KoboldCpp es popular entre usuarios de rol porque expone opciones de muestreo y maneja bien contextos largos, pero cualquiera de ellos funciona.
Estas cifras son directrices, no benchmarks. Si encuentras un modelo que cabe, pruébalo durante una semana de chats reales antes de decidir que es el adecuado.
Dónde gana un endpoint alojado
Alojado significa que un servidor ejecuta el modelo y tú lo llamas por HTTPS. SillyTavern soporta endpoints compatibles con OpenAI, así que este funciona con una URL base, una clave y un nombre de modelo. Los ajustes están en el panel de conexión API de SillyTavern; elige la fuente de finalización de chat personalizada o compatible con OpenAI e ingresa:
- URL:
https://api.unrestrictedaimodels.com/v1 - Clave: la clave de tu panel
- Modelo:
uncensored
Ventajas sobre lo local:
- Contexto. La ventana es de 100,000 tokens (prompt más respuesta), muy por encima de lo que caben la mayoría de las GPUs domésticas.
- Sin hardware. Funciona en un portátil, un navegador de tableta o un teléfono.
- Sin calor ni ruido, y sin costo de electricidad en tu lado.
- Nada que mantener. No actualizas controladores, vuelves a descargar archivos ni ajustas configuraciones para la memoria.
El modelo está ajustado para responder sin rechazos de contenido para uso adulto legal. Los prompts no se usan para entrenamiento. La página SillyTavern vs Janitor AI explica cómo difieren las interfaces.
Dónde gana lo local
Siendo justos, lo local tiene ventajas reales.
- Privacidad total. Nada sale de tu máquina.
- Uso sin conexión. Un avión, una cabina o una red bloqueada no son un obstáculo.
- Sin costo por token una vez pagado el hardware.
- Elección total. Puedes probar cientos de ajustes finos de la comunidad, fusiones y LoRAs y cambiar entre ellos. Un endpoint alojado como este ofrece un único modelo.
- Control sobre los muestreadores y toda la pila, algo que disfrutan los entusiastas.
Si tu afición es el propio modelo, probar nuevos lanzamientos y compararlos, lo local es el lugar adecuado. Si tu afición son las historias y los personajes, el modelo es un medio y uno alojado y estable te ahorra tiempo.
La comparación de costos, con cifras
Toma un usuario intensivo: 200 mensajes al día, 12.000 tokens de contexto en cada uno, 250 tokens de respuesta. Para un mes de 30 días:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Un usuario más ligero con 50 mensajes al día paga unos una cuarta parte de eso, cerca de $2,89. El crédito no caduca y las recargas comienzan en $20, así que no hay compromiso mensual; consulta la página de precios.
Para local, cuenta lo que tienes. Si ya tienes una tarjeta de 24 GB por otras razones, el costo marginal es la electricidad. Un sistema que consume 350 W durante 3 horas al día usa 0,35 x 3 x 30 = 31,5 kWh al mes; multiplica por tu tarifa local. Si tendrías que comprar la GPU solo para esto, compara su precio (revisa los listados actuales) con la cifra mensual anterior; la opción alojada sigue siendo más barata durante mucho tiempo en uso normal.
Configuraciones de SillyTavern que importan en cualquier caso
Independientemente del backend que elijas, algunas configuraciones de SillyTavern determinan cómo se siente el chat.
- Tamaño del contexto. Ajústalo a lo que el backend realmente admite. Un modelo local cargado con 8,192 tokens de contexto ignorará una configuración de 32,000. Para la API alojada, el límite es de 100,000 tokens incluyendo la respuesta, así que deja espacio para la respuesta.
- Longitud de respuesta. Unas pocas cientos de tokens son suficientes para la mayoría de los turnos. Las respuestas largas son lentas en tarjetas locales pequeñas y cuestan más tokens de salida en las alojadas.
- Streaming. Actívalo. Ves texto inmediatamente y puedes detener una respuesta mala temprano.
- Lorebooks y resúmenes. Estos mantienen una historia consistente sin empujar todo el historial a cada prompt, lo que ayuda con la VRAM local y con el costo cuando está alojado.
- Samplers. Comienza con una temperatura cerca de 0,8 y cambia un valor a la vez. Los backends locales exponen más samplers que una API de finalización de chat, que es una de las razones por las que los entusiastas los prefieren.
Si cambias de local a alojado, espera ajustar de nuevo los dos primeros. Un modelo alojado con una ventana grande recompensa una configuración de contexto más grande y un buen hábito de resumen; uno local pequeño recompensa prompts cortos y tarjetas de personaje ajustadas.
Cómo decidir, y cómo probar barato
- Enumera tu hardware. Si tienes menos de 12 GB de VRAM, una configuración local estará limitada en contexto y calidad de prosa, y lo alojado es probablemente mejor.
- Decide qué importa más: privacidad y uso sin conexión, o contexto largo y cero configuración.
- Prueba primero el endpoint alojado. Crea una clave y reclama el crédito de prueba de $0,50 con un solo clic; no necesita tarjeta y dura 7 días. A la tasa de uso ligero anterior, eso cubre varios días de charlas casuales.
- Descarga un modelo local que se ajuste a tu tarjeta y ejecuta el mismo personaje y escena. Compara la calidad de la respuesta, la velocidad y cuánto dura la memoria.
Muchos usuarios mantienen ambos: local para sesiones privadas o sin conexión, alojado para aventuras largas que necesitan un contexto enorme. SillyTavern te permite guardar perfiles de conexión separados, así que cambiar toma unos pocos clics. Para una visión más amplia de la configuración de chats, lee la guía de chatbot.
Más guías
Preguntas y respuestas
¿Cuánta VRAM necesito para SillyTavern?
Para un modelo de 8B de 4 bits, unos 6 a 8 GB con un contexto modesto. Para modelos de 24B a 32B planea 24 GB, y deja espacio para la caché de contexto.
¿Puedo usar SillyTavern con esta API alojada?
Sí. Añádelo como una fuente de finalización de chat compatible con OpenAI con la URL base https://api.unrestrictedaimodels.com/v1, tu clave y el modelo uncensored.
¿Es el modelo alojado el mismo que uno local?
Es un único modelo de pesos abiertos ejecutado por un proveedor independiente, no una API oficial de ningún gran proveedor y no un enrutador entre proveedores. Las configuraciones locales te permiten elegir entre muchos modelos.
¿Cuál es el límite de contexto en la API alojada?
100.000 tokens para prompt más respuesta. Los límites locales dependen de tu memoria y del modelo que cargues.
Tu clave está a un solo formulario de distancia
Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.
Obtener clave de API