中文 ▾
获取 API 密钥

SillyTavern 的最佳本地 LLM 与托管端点对比

搜索“SillyTavern 最佳本地 LLM”只有一个诚实的答案:选择能装入显卡且留有足够上下文空间的最大的模型,对许多人来说,这比他们希望的模型更小。本页帮助你评估该选择并与托管接口进行比较。

一侧是桌面 GPU,另一侧是云服务器,中间由光线连接,对比本地和托管 LLM
发光的粒子流从密钥流向云节点,再作为聊天气泡返回

更新于

要点

  • 本地模型受显存限制:权重和上下文缓存都必须容纳在内。
  • 本地运行提供隐私、无使用账单和离线使用;托管提供更大的上下文且无需硬件。
  • SillyTavern 支持两者,因此你可以在购买 GPU 之前几分钟内测试托管接口。
  • 在典型的重度角色扮演使用中,托管 token 的成本约为每月 $11.55,其中输入为 $0.15/1M token,输出为 $0.50/1M token。

决定本地模型有用性的因素

三个限制塑造了体验,且它们都是硬件限制。

权重必须装入内存

拥有 N 十亿参数的模型需要内存来存储其权重。以 16 位精度计算,每十亿参数约需 2 GB 内存。若量化至 4 位(大多数本地用户采用的方式),每十亿参数仅需约 0.5 至 0.6 GB。因此,8B 模型大约需要 5 GB 内存,24B 至 32B 模型需要 14 至 20 GB,而 70B 模型则需要约 40 GB。这些是经验法则;由于量化格式和文件大小存在差异,请以下载页面上的实际文件大小为准。

上下文也占用内存

对话中的每个 token 都会在键值缓存中占用空间。拥有 16,000 或 32,000 token 历史记录的长角色扮演可能在权重之外占用数 GB。许多人加载模型后发现其能运行,但在聊天几百条消息后内存耗尽。请留出余量。

速度取决于模型所在的位置

如果整个模型都位于 GPU 内存中,回复速度很快。如果模型层溢出到系统 RAM 中,生成速度会急剧下降。一个“技术上能运行”但速度仅为每秒两个 token 的模型,作为聊天伙伴是很差的。

因此,实际问题不是“哪个模型最好”,而是“哪个尺寸类别能装入我的显卡并留有上下文空间”。社区排行榜和推荐线程每月都在变化,且属于观点,因此请用你自己的提示词进行验证。

按硬件的大致指南

你的 GPU 内存实际模型大小(4-bit)预期效果
6 到 8 GB7B 到 8B快速,短上下文,较简单的文风
12 到 16 GB12B 到 14B休闲角色扮演的良好平衡
24 GB24B 到 32B爱好者的通常甜点区
48 GB 或更多70B 级别需要两张卡或工作站卡
无 GPUCPU 上的小模型慢;适合测试,日常使用令人疲劳

运行它们的常见选择是 Ollama、KoboldCpp、llama.cpp 和 text-generation-webui。SillyTavern 通过其 API 设置连接到每个平台。KoboldCpp 因暴露采样器选项并很好地处理长上下文而在角色扮演用户中很受欢迎,但任何一款都可以使用。

这些数字是指导方针,而非基准测试。如果你找到一个能装入的模型,在实际聊天一周后再决定它是否是你的选择。

托管接口占优之处

托管意味着服务器运行模型,你通过 HTTPS 调用它。SillyTavern 支持 OpenAI 兼容的接口,因此这个接口可以与基础 URL、密钥和模型名称配合使用。设置位于 SillyTavern 的 API 连接面板中;选择自定义或 OpenAI 兼容的聊天补全源并输入:

  • URL: https://api.unrestrictedaimodels.com/v1
  • 密钥:来自你仪表板的密钥
  • 模型:uncensored

相对于本地的优势:

  • 上下文。 上下文窗口为 100,000 token(包含提示词和回复),远超大多数家用 GPU 的承载能力。
  • 无需硬件。 它可以在笔记本电脑、平板浏览器或手机上运行。
  • 无热量或噪音, 且你端无需电费。
  • 无需维护。 你无需更新驱动程序、重新下载文件或调整内存设置。

该模型经过调整,可在合法成人使用中无内容拒绝地回答。提示词不用于训练。SillyTavern 与 Janitor AI 对比页面解释了前端界面的差异。

本地占优之处

公平地说,本地具有真正的优势。

  • 完全隐私。 没有任何内容离开你的设备。
  • 离线使用。无论是飞机、机舱还是网络受限,都不会成为障碍。
  • 无需按 token 计费,硬件成本支付后即可使用。
  • 完全选择权。 你可以尝试数百种社区微调模型、合并模型和 LoRA,并在它们之间切换。而此类托管接口仅提供单一模型。
  • 控制采样器和整个技术栈,这正是极客们所享受的。

如果你的爱好是模型本身,尝试新版本并比较它们,本地部署是更好的选择。如果你的爱好是故事和角色,模型只是工具,稳定的托管服务能节省时间。

成本对比,用数字说话

以重度用户为例:每天 200 条消息,每条消息 12,000 token 的上下文,回复 250 token。按 30 天计算:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

较轻度用户每天 50 条消息,费用约为上述费用的四分之一,约 $2.89。预付额度永不过期,充值起步价为 $20,因此没有月度绑定;详见 定价页面。

对于本地部署,请计算你拥有的硬件成本。如果你出于其他原因已经拥有 24 GB 显存的显卡,边际成本仅为电费。一台每天运行 3 小时、功耗 350 W 的系统,每月耗电 0.35 x 3 x 30 = 31.5 kWh;乘以你的本地电价即可得出电费。如果必须为此专门购买 GPU,请将其价格(查看当前报价)与上述月度费用进行比较;在正常使用情况下,托管选项在很长一段时间内都更便宜。

无论哪种方式都重要的 SillyTavern 设置

无论你选择哪个后端,SillyTavern 的少数几个设置决定了聊天的体验。

  • 上下文大小。将其设置为后端实际支持的大小。本地模型如果加载 8,192 token 的上下文,就会忽略 32,000 的设置。对于托管 API,上限为 100,000 token(包含回复),因此请为回复留出空间。
  • 回复长度。大多数情况下,几百个 token 就足够了。在小型本地显卡上,长回复速度较慢;在托管服务上,长回复会消耗更多的输出 token。
  • 流式输出。开启它。你可以立即看到文本,并能尽早停止错误的回复。
  • Lorebooks 和摘要。 它们可以在不将全部历史注入每个提示词的情况下保持故事的一致性,这有助于降低本地部署时的显存占用以及托管时的成本。
  • 采样器。 建议从接近 0.8 的温度开始,并每次只更改一个值。本地后端提供的采样器比聊天补全 API 更多,这也是爱好者更倾向于使用它们的原因之一。

如果你从本地切换到托管,预计需要重新调整前两项。具有大上下文窗口的托管模型受益于更大的上下文设置和良好的摘要习惯;小型本地模型则受益于短提示词和紧凑的角色卡。

如何决定,以及如何低成本测试

  1. 列出你的硬件。如果你的显存低于 12 GB,本地设置在上下文和文本质量方面将受到限制,托管服务可能更好。
  2. 决定什么对你更重要:隐私和离线使用,还是长上下文和零配置。
  3. 先尝试托管接口。创建密钥并一键领取 $0.50 试用额度;无需信用卡,有效期 7 天。按照上述轻度使用率,该额度可覆盖几天的休闲聊天。
  4. 下载适合你显卡的本地模型,并运行相同的角色和场景。比较回复质量、速度以及记忆保持的时间。

许多用户同时保留两者:本地用于私密或离线会话,托管用于需要巨大上下文的长篇冒险。SillyTavern 允许你保存单独的连接配置文件,因此切换只需几次点击。要了解更广泛的聊天设置构建方法,请阅读 聊天机器人指南。

问答

SillyTavern 需要多少显存?

对于 4-bit 8B 模型,在适度上下文下需要约 6 到 8 GB。对于 24B 到 32B 模型,请规划 24 GB,并为上下文缓存留出空间。

我可以将此托管 API 与 SillyTavern 一起使用吗?

可以。将其添加为 OpenAI 兼容的聊天补全源,使用基础 URL https://api.unrestrictedaimodels.com/v1、你的密钥以及模型 uncensored。

托管模型与本地模型相同吗?

它是一个由独立提供商运行的单一开放权重模型,不是任何大型供应商的官方 API,也不是跨供应商的路由器。本地设置允许你在许多模型中进行选择。

托管 API 的上下文限制是多少?

提示词和回复的总 token 数为 100,000。本地限制取决于你的内存和加载的模型。

你的密钥只需填写一张表单即可获得

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥