繁中 ▾
取得 API 金鑰

SillyTavern 與 Janitor AI:哪一個適合你?

SillyTavern 是你自行運行並連接至自選模型的軟體。Janitor AI 是一個託管網站,你可以在瀏覽器中與角色聊天。本文將比較這兩者,並說明 API 如何融入其中。

本地工作站與雲端島嶼透過發光電纜連接至中央立方體,比較兩種聊天前端

更新於

重點摘要

  • SillyTavern 是一個你需要安裝的前端;後面的模型由你決定。
  • Janitor AI 是一個託管服務。請在其官方網站上查看其目前的條款、限制與選項。
  • 我們的 API 僅為後端:一個帶有模型 uncensored 的 OpenAI 相容端點,不包含前端。
  • 30,000 token 的角色扮演訊息成本約為 $0.0047(每百萬 token 輸入 $0.15 / 輸出 $0.50)。

簡短答案

在 SillyTavern 與 Janitor AI 的選擇中,決定因素在於誰來運行什麼。SillyTavern 是一個開源介面,你可以將其安裝在自己的電腦或伺服器上。它不包含模型,因此你需要將其指向後端:本地模型或 API。Janitor AI 是一個網站。你打開它,選擇或創建角色,然後進行聊天,託管工作由對方處理。

如果你希望掌控提示詞、設定檔、採樣設定以及數據存放位置,且不介意較長的設定過程,請選擇 SillyTavern。如果你希望一分鐘內開始聊天,且偏好無需維護任何東西,請選擇託管網站。許多人會同時使用兩者。

無論如何,語言模型都是獨立的決定。這就是為什麼需要像這樣的 OpenAI 相容 API。

並排比較

問題SillyTavernJanitor AI
它是什麼?自託管聊天前端託管角色聊天網站
它運行在哪裡?你的機器或伺服器供應商的伺服器
它包含模型嗎?不包含,你需要連接一個提供其自有選項;請查看網站以獲取當前選項
設定工作量安裝 Node,運行應用程式,添加 API 連接在瀏覽器中創建帳戶
提示詞與採樣控制應用程式內提供廣泛控制請查看網站以了解其暴露的選項
成本應用程式免費;你需為選擇的後端付費查看他們的當前定價

標註「檢查」的儲存格是故意的。託管服務會變更方案、限制與內容規則,此處的表格很快就會過時。在做出決定之前,請查看它們的當前頁面。

API 的適用場景

前端與後端是不同的層級。SillyTavern 是前端。我們的服務是後端:它處理標準的 POST /v1/chat/completions 請求,並從單一開放權重模型返回文本,由獨立供應商運行,並針對合法成人用途的無審查回答進行調優。它沒有角色、沒有畫廊,也沒有自己的聊天介面。

這使其非常適合 SillyTavern 以及任何接受 OpenAI 相容端點的客戶端。如果你使用允許輸入自定義端點的託管網站,相同的 Base URL 與金鑰同樣適用。特定網站是否提供該設定以及適用於哪些方案,請在該網站上確認。

該模型並非任何大型實驗室的正規產品,且僅限文本。如果你需要圖像或語音,你需要搭配其他服務使用。

將 SillyTavern 連接至 API

以下步驟遵循當前的 SillyTavern 選單名稱。它們在不同版本之間可能會略有變化。

  1. 建立帳戶並從API 金鑰頁面複製你的金鑰。
  2. 在 SillyTavern 中,打開插頭圖標(API 連接)。
  3. 將 API 設置為 Chat Completion,並將來源設置為 Custom (OpenAI-compatible)。
  4. 將 https://api.unrestrictedaimodels.com/v1 輸入為自定義端點(Base URL)。
  5. 將你的金鑰貼入 API 金鑰欄位。
  6. 輸入 uncensored 作為模型 ID。
  7. 按下 Connect,然後在任何聊天中發送測試訊息。

如果失敗,請先在應用程式外測試金鑰:

curl https://api.unrestrictedaimodels.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

包含 uncensored 的清單表示金鑰與 URL 正確,問題出在應用程式設定。/v1 拼寫錯誤或尾端路徑是最常見的原因。

連接後值得調整的設定

前端中的預設值是為一般後端所撰寫,因此連線正常後,請調整其中幾項。

  • 上下文大小。 將其設定在 100,000 token 視窗以下,例如 32,000 或 64,000。SillyTavern 會修剪較舊的訊息以適應空間,較小的數值可使每次請求更便宜。
  • 回應長度。 將聊天回應限制在數百個 token 內,並在長場景中提高限制。輸出 token 的成本高於輸入 token,因此若模型使用較長限制,成本會更高。
  • 溫度。 0.8 至 1.0 的值適合小說創作。若角色偏離主題或錯誤重複事實,請降低此值。
  • 串流輸出。 開啟它以讓文字邊寫邊顯示。API 透過 SSE 傳送 token,並在結尾回報用量。
  • 重複懲罰。 頻率懲罰與出現懲罰會直接傳遞。若回覆在同一短語上循環,請稍微提高這些值。

你可以隨時查看支出:每個回應都帶有 X-Balance-USD 標頭,顯示剩餘額度。完整金鑰允許 8 個並行請求和每分鐘 300 次請求,這比單一聊天工作階段所需的還要多。

角色扮演的實際成本

角色扮演前端在每則訊息中都會傳送大量文字:角色卡、系統提示詞、設定書條目和最近的聊天記錄。假設每次請求帶有 30,000 個 token 的提示詞,而模型寫出 400 個 token。

  • 輸入:30,000 x $0.15 / 1,000,000 = $0.0045
  • 輸出:400 x $0.50 / 1,000,000 = $0.0002
  • 總計:每則訊息 $0.0047,或每 1,000 則訊息 $4.70。

儲值 $20 可涵蓋約 4,250 則此類訊息。較大的儲值享有贈額:儲值 $50 贈 5%,儲值 $100 贈 10%,儲值 $200 贈 15%,因此 $100 可獲得 $110 的額度。額度永不過期,失敗或被拒絕的請求不會計費。詳情請見 定價頁面。付款方式為加密貨幣。

上下文視窗為 100,000 個 token,因此非常長的對話可以容納,但修剪舊的對話輪次可降低帳單金額。

兩者之間的選擇

當你想要自行設定、在不更換應用程式的情況下切換模型,並將聊天記錄保留在自己的磁碟上時,請選擇搭配 API 後端的 SillyTavern。預期需要花一個晚上的時間學習其設定。

當便利性最重要且你接受其模型選項與規則時,請選擇託管網站。若你之後想要更多控制權,可以將你的角色卡移至 SillyTavern,因為兩個生態系統通常共用卡片。

此服務供合法成人使用,任何情況下均不允許涉及未成年人的性內容。若想無負擔測試,新用戶可在 金鑰頁面 領取 $0.50 的免費試用額度,有效期 7 天,無需信用卡。文件 列出了完整的參數集,包括串流輸出以及 SillyTavern 發送的溫度和懲罰設定。

問答

SillyTavern 比 Janitor AI 更好嗎?

它們是不同類型的工具。SillyTavern 提供控制權並在你自己的機器上運行,而 Janitor AI 是託管的且啟動更快。更好的選擇取決於你希望進行多少設定。

我可以將此 API 與 SillyTavern 搭配使用嗎?

可以。選擇 Chat Completion,然後選擇 Custom (OpenAI-compatible),並輸入 https://api.unrestrictedaimodels.com/v1, 你的金鑰和模型 ID uncensored。

API 包含角色或聊天介面嗎?

沒有。它是純文字後端。你需要自行提供前端,例如 SillyTavern 或撰寫你自己的前端。

一則角色扮演訊息的成本是多少?

使用 30,000 token 的提示詞和 400 token 的回覆,費用約為 $0.0047,輸入 token 每 1M 個 $0.15,輸出 token 每 1M 個 $0.50。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改Base URL。這就是整個設定過程。

取得 API 金鑰