Лучшая локальная LLM для SillyTavern против хостингового эндпоинта
Поиски лучшей локальной LLM для SillyTavern дают один честный ответ: самая большая модель, которая помещается в вашу видеокарту с запасом для контекста, и для многих это меньшая модель, чем они надеялись. Эта страница поможет оценить этот выбор и сравнить его с хостинговым эндпоинтом.


Обновлено
Ключевые моменты
- Локальные модели ограничены VRAM: веса и кэш контекста должны помещаться вместе.
- Запуск локально обеспечивает конфиденциальность, отсутствие счёта за использование и офлайн-режим; хостинг даёт больший контекст и не нужно собственное железо.
- SillyTavern поддерживает оба варианта, поэтому вы можете протестировать хостинговый эндпоинт за несколько минут перед покупкой видеокарты.
- При типичном интенсивном использовании в ролевых играх токены на хостинге стоят около $11,55 в месяц при тарифах $0,15 и $0,50 за 1 млн токенов.
Что определяет полезность локальной модели
Три ограничения формируют опыт, и все они являются аппаратными ограничениями.
Веса должны помещаться в память
Модели с N миллиардами параметров требуется память для своих весов. В 16-битном формате это около 2 ГБ на миллиард параметров. При квантовании до 4 бит, что делает большинство локальных пользователей, это примерно 0,5–0,6 ГБ на миллиард. Для модели 8B требуется около 5 ГБ, для модели 24B–32B — 14–20 ГБ, а для модели 70B — около 40 ГБ. Это приблизительные правила; формат квантования и размер файла варьируются, поэтому проверяйте фактический размер файла на странице загрузки.
Контекст тоже использует память
Каждый токен в разговоре занимает место в кэше пар ключ-значение. Длинный ролевой диалог с историей в 16 000 или 32 000 токенов может занять несколько гигабайт поверх весов модели. Многие загружают модель, убеждаются, что она помещается, а затем память заканчивается через несколько сотен сообщений в чате. Оставьте запас.
Скорость зависит от того, где находится модель
Если вся модель помещается в видеопамяти, ответы быстрые. Если слои перетекают в оперативную память, генерация резко замедляется. Модель, которая «технически работает» со скоростью два токена в секунду, — плохой собеседник.
Таким образом, практический вопрос не в том, «какая модель лучшая», а в том, «какой класс размера помещается в мою карту с запасом для контекста». Рейтинги сообщества и рекомендации меняются от месяца к месяцу, и они субъективны, поэтому проверяйте их своими собственными промптами.
Приблизительное руководство по оборудованию
| Память вашего GPU | Реалистичный размер модели (4-бит) | Чего ожидать |
|---|---|---|
| 6–8 ГБ | 7B–8B | Быстро, короткий контекст, более простая проза |
| 12–16 ГБ | 12B–14B | Хороший баланс для неформального ролеплея |
| 24 ГБ | 24B–32B | Обычная оптимальная точка для энтузиастов |
| 48 ГБ и более | Класс 70B | Требуются две карты или карта рабочей станции |
| Нет GPU | Маленькие модели на CPU | Медленно; подходит для тестирования, утомительно для ежедневного использования |
Для их запуска распространены Ollama, KoboldCpp, llama.cpp и text-generation-webui. SillyTavern подключается к каждому через настройки API. KoboldCpp популярен среди пользователей ролевых игр, так как предоставляет настройки сэмплирования и хорошо обрабатывает длинные контексты, но любой из них работает.
Эти цифры — рекомендации, а не бенчмарки. Если вы нашли модель, которая подходит, попробуйте её в течение недели реальных чатов, прежде чем решить, что это ваш выбор.
Где выигрывает хостинговый эндпоинт
Хостинг означает, что сервер запускает модель, а вы обращаетесь к ней по HTTPS. SillyTavern поддерживает эндпоинты, совместимые с OpenAI, поэтому этот работает с базовым URL, ключом и именем модели. Настройки находятся в панели подключения API SillyTavern; выберите пользовательский или совместимый с OpenAI источник завершения чата и введите:
- URL:
https://api.unrestrictedaimodels.com/v1 - Ключ: ключ из вашей панели управления
- Модель:
uncensored
Преимущества перед локальной:
- Контекст. Окно составляет 100 000 токенов (промпт плюс ответ), что значительно превышает возможности большинства домашних видеокарт.
- Не нужно оборудование. Работает на ноутбуке, в браузере планшета или на телефоне.
- Никакого нагрева и шума, и никаких затрат на электричество с вашей стороны.
- Нечего обслуживать. Вам не нужно обновлять драйверы, скачивать файлы заново или настраивать параметры для памяти.
Модель настроена на ответы без отказов по контенту для законного использования взрослыми. Промпты не используются для обучения. На странице SillyTavern против Janitor AI объясняется, чем отличаются фронтенды.
Где выигрывает локальная модель
Будем справедливы: у локальной модели есть реальные преимущества.
- Полная конфиденциальность. Ничего не покидает ваш компьютер.
- Работа офлайн. Самолёт, загородный домик или заблокированная сеть — не помеха.
- Нет стоимости за токен после оплаты оборудования.
- Полный выбор. Вы можете попробовать сотни общедоступных дообученных моделей, слияний и LoRA и переключаться между ними. Хостинговый эндпоинт, как этот, предлагает только одну модель.
- Контроль над сэмплерами и всем стеком, что ценят энтузиасты.
Если ваше хобби — это сама модель, изучение новых релизов и их сравнение, локальное решение — правильный выбор. Если хобби — это истории и персонажи, модель является лишь инструментом, а стабильный хостинг экономит время.
Сравнение стоимости с цифрами
Рассмотрим активного пользователя: 200 сообщений в день, 12 000 токенов контекста в каждом, 250 токенов на ответ. За 30-дневный месяц:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Пользователь с меньшей нагрузкой, отправляющий 50 сообщений в день, платит около четверти этой суммы, примерно $2,89. Баланс не сгорает, а пополнения начинаются от $20, поэтому нет ежемесячных обязательств; см. страницу тарифов.
Для локального варианта посчитайте то, что у вас есть. Если у вас уже есть видеокарта на 24 ГБ по другим причинам, предельная стоимость — это электричество. Система, потребляющая 350 Вт в течение 3 часов в день, использует 0,35 x 3 x 30 = 31,5 кВт·ч в месяц; умножьте на ваш тариф. Если вам пришлось бы купить видеокарту только ради этого, сравните её цену (проверьте текущие предложения) с ежемесячной суммой выше; хостинговый вариант остаётся дешевле при обычном использовании.
Важные настройки SillyTavern в любом случае
Какой бы бэкенд вы ни выбрали, несколько настроек SillyTavern определяют, как ощущается чат.
- Размер контекста. Сопоставьте его с тем, что реально поддерживает бэкенд. Локальная модель, загруженная с контекстом в 8 192 токена, проигнорирует настройку в 32 000. Для API на хостинге потолок составляет 100 000 токенов включая ответ, поэтому оставьте место для ответа.
- Длина ответа. Нескольких сотен токенов достаточно для большинства ходов. Длинные ответы медленны на небольших локальных картах и обходятся дороже выходными токенами на хостинге.
- Потоковая передача. Включите её. Вы видите текст сразу и можете остановить плохой ответ раньше.
- Лорбуки и сводки. Они поддерживают согласованность истории, не отправляя всю историю в каждый промпт, что помогает с VRAM локально и со стоимостью при хостинге.
- Сэмплеры. Начните с температуры около 0,8 и меняйте одно значение за раз. Локальные бэкенды предоставляют больше сэмплеров, чем API завершения чата, что является одной из причин, по которым энтузиасты предпочитают их.
Если вы переключаетесь с локального на хостинг, ожидайте необходимости перенастройки первых двух. Хостинговая модель с большим контекстным окном поощряет больший размер контекста и привычку делать сводки; небольшая локальная модель поощряет короткие промпты и компактные карточки персонажей.
Как принять решение и как протестировать недорого
- Укажите ваше оборудование. Если у вас менее 12 ГБ VRAM, локальная настройка будет ограничена в контексте и качестве текста, и хостинг, вероятно, лучше.
- Решите, что для вас важнее: конфиденциальность и работа офлайн или длинный контекст и нулевая настройка.
- Сначала попробуйте хостинговый эндпоинт. Создайте ключ и получите пробный баланс $0,50 в один клик; для этого не нужна карта, и он действует 7 дней. При указанной выше низкой нагрузке этого хватит на несколько дней неспешного общения.
- Скачайте локальную модель, подходящую для вашей карты, и запустите того же персонажа и сцену. Сравните качество ответа, скорость и то, как долго сохраняется память.
Многие пользователи используют оба варианта: локальный для приватных или офлайн-сессий, хостинг для длинных приключений, требующих огромного контекста. SillyTavern позволяет сохранять отдельные профили подключения, поэтому переключение занимает несколько кликов. Для более широкого обзора создания чат-настроек прочитайте руководство по чат-ботам.
Дополнительные руководства
Вопросы и ответы
Сколько VRAM нужно для SillyTavern?
Для 8B модели с 4-битным квантованием требуется около 6–8 ГБ с умеренным контекстом. Для моделей на 24–32 млрд параметров рассчитывайте на 24 ГБ и оставьте место для кэша контекста.
Могу ли я использовать SillyTavern с этим хостинговым API?
Да. Добавьте его как источник завершения чата, совместимый с OpenAI, с базовым URL https://api.unrestrictedaimodels.com/v1, вашим ключом и моделью uncensored.
Является ли хостинговая модель такой же, как локальная?
Это одна модель с открытыми весами, запускаемая независимым провайдером, а не официальный API какого-либо крупного вендора и не маршрутизатор между вендорами. Локальные настройки позволяют выбирать среди многих моделей.
Каков лимит контекста в хостинговом API?
100 000 токенов для промпта плюс ответ. Локальные ограничения зависят от вашей памяти и загружаемой модели.
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.
Получить API-ключ