繁中 ▾
取得 API 金鑰

SillyTavern 最佳本地 LLM 與託管端點比較

搜尋「最佳本地 llm sillytavern」只有一個誠實的答案:選擇能裝入您的顯示卡且留有足夠上下文空間的最大模型,對許多人來說,這比他們希望的模型更小。此頁面可協助您評估此選擇並與託管端點進行比較。

一側是桌面 GPU,另一側是雲端伺服器,以光纖連接,比較本地與託管 LLM
發光的粒子從金鑰流經雲端節點,最後變成聊天氣泡

更新於

重點摘要

  • 本地模型受 VRAM 限制:權重加上上下文快取必須都能裝入。
  • 本地運行提供隱私、無用量帳單和離線使用;託管提供更大的上下文且無需硬體。
  • SillyTavern 支援兩者,因此您可以在購買 GPU 之前,在幾分鐘內測試託管端點。
  • 在典型的重度角色扮演使用中,託管 token 的成本約為每月 $11.55(輸入費率為每 1M token $0.15,輸出費率為每 1M token $0.50)。

決定本地模型實用性的因素

三個限制塑造了體驗,且它們都是硬體限制。

權重必須裝入記憶體

具有 N 十億個參數的模型需要記憶體來儲存其權重。以 16 位元形式計算,每十億個參數約需 2 GB。若量化為 4 位元(多數本地使用者會這樣做),每十億個參數約需 0.5 至 0.6 GB。因此,8B 模型約需 5 GB,24B 至 32B 模型約需 14 至 20 GB,而 70B 模型約需 40 GB。這些僅為經驗法則;量化格式與檔案大小會有所不同,請以下載頁面的實際檔案大小為準。

上下文也會佔用記憶體

對話中的每個 token 都會佔用鍵值快取的空間。長達 16,000 或 32,000 token 歷史記錄的角色扮演,除了權重外還可能佔用數 GB。許多人載入模型後發現它能運行,但在對話幾百則訊息後卻記憶體不足。請保留緩衝空間。

速度取決於模型的位置

如果整個模型都在 GPU 記憶體中,回覆會很快。如果層溢出到系統 RAM,生成速度會顯著下降。每秒兩個 token 的模型作為聊天夥伴是很差的選擇。

因此,實際問題不是「哪個模型最好」,而是「哪個尺寸類別能裝入我的顯示卡並留有上下文空間」。社區排行榜和推薦貼文每月都會變化,且屬於觀點,因此請用您自己的提示詞進行驗證。

硬體粗略指南

您的 GPU 記憶體實際模型大小(4-bit)預期效果
6 到 8 GB7B 到 8B快速,短上下文,較簡單的文本
12 到 16 GB12B 到 14B休閒角色扮演的良好平衡
24 GB24B 到 32B愛好者的常見最佳選擇
48 GB 或更多70B 級別需要兩張卡或工作站卡
無 GPUCPU 上的小型模型慢;適合測試,日常使用會令人疲憊

運行它們的常見選擇是 Ollama、KoboldCpp、llama.cpp 和 text-generation-webui。SillyTavern 透過其 API 設定連接到其中一個服務。KoboldCpp 因提供採樣器選項並良好處理長上下文而在角色扮演用戶中很受歡迎,但任何一個都可以使用。

這些數字是指南,而非基準測試。如果您找到適合的模型,請在決定之前,先進行一週的真實聊天來試用該模型。

託管端點佔優勢的場景

託管意味著伺服器運行模型,您透過 HTTPS 呼叫它。SillyTavern 支援 OpenAI 相容端點,因此此方案可使用基礎 URL、金鑰和模型名稱。設定位於 SillyTavern 的 API 連接面板中;選擇自訂或 OpenAI 相容的聊天完成來源並輸入:

  • URL: https://api.unrestrictedaimodels.com/v1
  • 金鑰:您儀表板中的金鑰
  • 模型:uncensored

相對於本地的優勢:

  • 上下文視窗。 視窗大小為 100,000 token(提示詞加上回覆),遠超大多數家用 GPU 的承載能力。
  • 無需硬體。 它可在筆記型電腦、平板瀏覽器或手機上運行。
  • 無熱度或噪音, 且你無需支付電費。
  • 無需維護。 您無需更新驅動程式、重新下載檔案或調整記憶體設定。

此模型經過微調,在合法成人用途下回答時不會遭到內容拒絕。提示詞不會用於訓練。SillyTavern vs Janitor AI頁面說明了前端介面的差異。

本地勝出的地方

公平地說,本地具有真正的優勢。

  • 完全隱私。資料不會離開你的機器。
  • 離線使用。飛機、機艙或網路中斷都不是障礙。
  • 一旦硬體成本已支付,便無按 token 計費的成本。
  • 完全選擇權。 你可以嘗試數百種社群微調模型、合併模型與 LoRA,並在其中自由切換。像這樣的託管端點只提供單一模型。
  • 對採樣器和整個技術堆疊擁有掌控權,這正是愛好者所喜愛的。

如果你的興趣在於模型本身,例如嘗試新版本並進行比較,那麼本地部署是合適的選擇。如果你的興趣在於故事與角色,模型僅是工具,穩定的託管方案能節省時間。

成本比較,以數字說明

以重度使用者為例:每天 200 則訊息,每則 12,000 token 的上下文,回覆 250 個 token。以 30 天為一個月計算:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

用量較輕的使用者,若每天發送 50 則訊息,費用約為上述金額的四分之一,接近 $2.89。額度永不過期,儲值最低金額為 $20,因此沒有月度綁定;請見價格頁面。

對於本地方案,請計算你擁有的硬體成本。如果你因為其他原因已經擁有 24 GB 顯示卡,邊際成本僅需支付電費。一台每天運行 3 小時、功耗 350 W 的系統,每月耗電量為 0.35 x 3 x 30 = 31.5 kWh;請乘以你的當地電價。如果你必須為了此用途購買顯示卡,請將其價格(查看當前報價)與上述月度費用進行比較;在正常使用情況下,託管選項在長期來看會更便宜。

無論如何都重要的 SillyTavern 設定

無論你選擇哪個後端,幾個 SillyTavern 設定將決定聊天的體驗。

  • 上下文大小。請與後端實際支援的範圍匹配。本地模型若以 8,192 token 的上下文載入,將忽略 32,000 的設定。託管 API 的上限為 100,000 token(包含回覆),因此請為回覆預留空間。
  • 回覆長度。多數情況下,幾百個 token 就足夠了。在小型本地卡上長回覆較慢,在託管方案中則會消耗更多輸出 token。
  • 串流輸出。請開啟它。你可以立即看到文字,並能及早停止不良的回覆。
  • 設定書與摘要。 這些功能可在不將完整歷史記錄推入每個提示詞的情況下保持故事一致性,這有助於降低本地端的 VRAM 使用量,並在託管時節省成本。
  • 採樣器。從接近 0.8 的 temperature 開始,一次只更改一個數值。本地後端提供的採樣器比聊天完成 API 更多,這也是愛好者偏好它們的原因之一。

如果你從本地切換到託管,預期需要重新調整前兩項。具有大上下文視窗的託管模型適合更大的上下文設定和良好的摘要習慣;小型本地模型則適合短提示詞與精簡的角色卡。

如何決定,以及如何低成本測試

  1. 列出你的硬體。如果你的 VRAM 低於 12 GB,本地設置在上下文和散文風格上將受限,託管方案可能更好。
  2. 決定什麼更重要:隱私與離線使用,還是長上下文與零設置。
  3. 先嘗試託管端點。建立金鑰並點擊一次即可領取 $0.50 試用額度;無需信用卡,有效期 7 天。按照上述輕度使用率,這足以覆蓋幾天的休閒聊天。
  4. 下載適合你顯示卡的本地模型,並運行相同的角色與場景。比較回覆質量、速度以及記憶保持的時間。

許多用戶兩者兼備:本地用於私密或離線會話,託管用於需要巨大上下文的大型冒險。SillyTavern 允許你儲存不同的連線設定檔,因此切換只需幾次點擊。若要更廣泛地了解聊天設置的搭建,請閱讀 聊天機器人指南。

問答

SillyTavern 需要多少 VRAM?

對於 4-bit 8B 模型,約需 6 到 8 GB(搭配適度的上下文)。對於 24B 到 32B 模型,請預留 24 GB 的空間,並為上下文快取預留空間。

我可以將此託管 API 與 SillyTavern 搭配使用嗎?

可以。將其新增為 OpenAI 相容的聊天完成來源,使用 base URL https://api.unrestrictedaimodels.com/v1、你的金鑰以及模型 uncensored。

託管模型與本地模型相同嗎?

這是一個由獨立供應商運行的單一開放權重模型,並非任何大型廠商的官方 API,也不是跨廠商的路由器。本地設置允許你在許多模型之間進行選擇。

託管 API 的上下文限制是多少?

提示詞加回覆共 100,000 token。本地限制取決於你的記憶體和載入的模型。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰