JA ▾
API キーを取得

SillyTavern用ローカルLLM vs ホストエンドポイント

最高のローカルLLMをSillyTavern向けに検索すると、一つの正直な答えがあります。コンテキストの余地を残してグラフィックスカードに収まる最大のモデルであり、多くの場合、期待していたよりも小さなモデルです。このページは、その選択の規模を把握し、ホストエンドポイントと比較するのに役立ちます。

ローカルとホストLLMを比較する、片側にデスクトップGPU、もう片側にクラウドサーバー、そしてそれらを結ぶ光
キーからクラウドノードを経てチャットバブルに戻る、輝く粒子のストリーム

更新日:

主要ポイント

  • ローカルモデルはVRAMに制限されます:重みとコンテキストキャッシュの両方が収まる必要があります。
  • ローカル実行はプライバシー、使用量請求なし、オフライン利用を提供します。ホスティングはより大きなコンテキストとハードウェア不要を提供します。
  • SillyTavernは両方をサポートしているため、GPUを購入する前に数分でホストエンドポイントをテストできます。
  • 典型的なロールプレイ使用では、ホスト利用のトークンコストは、1Mあたり$0.15および$0.50で月約$11.55です。

ローカルモデルの有用性を決定するもの

3つの制限が体験を形作り、それらはすべてハードウェアの制限です。

重みはメモリに収まる必要があります

N十億パラメータのモデルには重みのためのメモリが必要です。16ビット形式では10億パラメータあたり約2 GBです。4ビットに量子化すると(ローカルユーザーの多くがこれを行います)、10億パラメータあたり約0.5〜0.6 GBになります。8Bモデルには約5 GB、24B〜32Bモデルには14〜20 GB、70Bモデルには約40 GBが必要です。これらは目安であり、量子化フォーマットやファイルサイズは異なるため、ダウンロードページで実際のファイルサイズをご確認ください。

コンテキストもメモリを使用します

会話のすべてのトークンはキーバリュキャッシュのスペースを取ります。16,000または32,000トークンの履歴を持つ長いロールプレイでは、重みの上に数ギガバイトかかることがあります。多くの人はモデルを読み込んで収まることを確認しますが、チャットの数百メッセージ後にメモリ不足になります。余裕を持たせてください。

速度はモデルの場所によって異なります

モデル全体がGPUメモリに収まっている場合、返信は高速です。レイヤーがシステムRAMにオフロードされると、生成速度は著しく低下します。「技術的には動作する」が1秒あたり2トークンのモデルは、チャット相手としては不適切です。

したがって、実用的な質問は「どのモデルが最高か」ではなく、「コンテキストの余裕を持ってGPUメモリに収まるサイズクラスはどれか」です。コミュニティのリーダーボードや推奨スレッドは月ごとに変化し、主観的な意見なので、独自のプロンプトで検証してください。

ハードウェア別の概略ガイド

GPUメモリ現実的なモデルサイズ(4ビット)期待されること
6〜8 GB7B〜8B高速、短いコンテキスト、単純な文章
12〜16 GB12B〜14Bカジュアルなロールプレイに最適なバランス
24 GB24B〜32B愛好家にとっての一般的な最適解
48 GB以上70Bクラス2枚のカードまたはワークステーションカードが必要
GPUなしCPU上の小規模モデル低速;テストには適しているが、日常使用には負担になる

実行には、Ollama、KoboldCpp、llama.cpp、text-generation-webuiが一般的です。SillyTavernはAPI設定を通じてこれらすべてに接続します。KoboldCppはロールプレイユーザーに人気がありますが、サンプラーオプションを公開し、長いコンテキストを適切に処理できるためです。ただし、どれを使っても動作します。

これらの数値はガイドラインでありベンチマークではありません。収まるモデルが見つかったら、それが最適だと判断する前に、実際のチャットを1週間試してください。

ホストエンドポイントが優位な点

ホスティングとは、サーバーがモデルを実行し、HTTPS経由で呼び出すことを意味します。SillyTavernはOpenAI互換エンドポイントをサポートしているため、ベースURL、キー、モデル名で動作します。設定はSillyTavernのAPI接続パネルにあります。カスタムまたはOpenAI互換のチャット完了ソースを選択して以下を入力してください:

  • URL: https://api.unrestrictedaimodels.com/v1
  • キー:ダッシュボードのキー
  • モデル: uncensored

ローカルとの比較での利点:

  • コンテキスト。 コンテキストウィンドウは100,000トークン(プロンプトと応答を含む)で、ほとんどの家庭用GPUが収容できる範囲をはるかに超えています。
  • ハードウェア不要。 ラップトップ、タブレットブラウザ、またはスマートフォンで動作します。
  • 熱やノイズなし、 また、ご自身での電気代コストもかかりません。
  • メンテナンス不要。 ドライバーの更新、ファイルの再ダウンロード、メモリ用の設定調整は不要です。

このモデルは、法的な成人向け利用においてコンテンツ拒否なしで回答するようにチューニングされています。プロンプトはトレーニングには使用されません。SillyTavern vs Janitor AI ページで、フロントエンドの違いについて説明しています。

ローカルが優位な点

公平に言えば、ローカルには実際の強みがあります。

  • 完全なプライバシー。データはあなたのマシンから一切外部に出ません。
  • オフラインでの利用。飛行機内、キャビン、またはネットワークが遮断されていても問題ありません。
  • ハードウェアの購入後はトークンごとのコストなし。
  • 自由な選択。 数百あるコミュニティのファインチューン、マージ、LoRAを試して、それらの間で切り替えることができます。このようなホストされたエンドポイントは単一のモデルのみを提供します。
  • サンプラーを含むスタック全体の制御。カスタマイズ好きな趣味人に人気です。

モデルそのものを楽しみ、新しいリリースを試して比較することが趣味であれば、ローカルが適切な場所です。ストーリーやキャラクターが趣味であれば、モデルは手段に過ぎず、安定したホスト型モデルは時間を節約します。

数字によるコスト比較

重度のユーザーを想定します:1日200メッセージ、各メッセージに12,000トークンのコンテキスト、250トークンの返信。30日間の月で計算すると:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

より軽量なユーザー(1日50メッセージ)は、その約4分の1、つまり約$2.89を支払います。クレジットは期限切れにならず、チャージは$20から開始されるため、月額のコミットメントはありません。料金ページをご覧ください。

ローカル環境では、ご自身の所有物を計算してください。もし他の理由ですでに24 GBのカードをお持ちであれば、追加のコストは電気代のみです。1日3時間、350 Wのシステムを使用すると、月あたり0.35 x 3 x 30 = 31.5 kWhの電力を使用します。これにご自身の単価を掛けてください。もしこの目的のためにGPUを購入する必要がある場合は、その価格(現在の販売情報を確認)を上記の月額と比較してください。通常の使用では、ホストされたオプションの方が長期間安価です。

どちらの場合でも重要なSillyTavernの設定

バックエンドをどちら選択するかにかかわらず、チャットの雰囲気を決めるいくつかのSillyTavern設定があります。

  • コンテキストサイズ。バックエンドが実際にサポートするサイズに合わせてください。8,192トークンのコンテキストで読み込まれたローカルモデルは、32,000の設定を無視します。ホスト型APIの場合、上限は返信を含む100,000トークンなので、応答の余地を残してください。
  • 応答の長さ。ほとんどのターンでは数百トークンで十分です。長い応答は小さなローカルカードでは遅く、ホスト型ではより多くの出力トークンを消費します。
  • ストリーミング。有効にしてください。テキストが即座に表示され、悪い応答を早期に停止できます。
  • ロアブックと要約。これらはストーリーの一貫性を保ちつつ、すべてのプロンプトに履歴全体を送る必要がないため、ローカルでのVRAM節約やホスト時のコスト削減に役立ちます。
  • サンプラー。温度を0.8付近から始め、一度に1つの値だけ変更してください。ローカルバックエンドはチャット完了APIよりも多くのサンプラーを公開しており、これが熱狂的なユーザーがそれらを好む理由の一つです。

ローカルからホスト型に切り替える場合は、最初の2つの設定を再調整する必要があります。大きなウィンドウを持つホストモデルは、大きなコンテキスト設定と良い要約の習慣を評価します。小さなローカルモデルは短いプロンプトと厳密なキャラクターカードを評価します。

判断の方法と低コストでのテスト方法

  1. ハードウェアをリストアップしてください。VRAMが12 GB未満の場合、ローカルセットアップはコンテキストと文章の質に制限があり、ホスト型の方が適している可能性があります。
  2. プライバシーとオフライン利用、それとも長いコンテキストとゼロセットアップのどちらがより重要かを決めてください。
  3. まずホスト型エンドポイントを試してください。キーを作成して、ワンクリックで$0.50のトライアルクレジットを取得してください。カードは不要で、7日間有効です。上記の軽量使用率では、カジュアルなチャットを数日間カバーできます。
  4. あなたのカードに合うローカルモデルをダウンロードし、同じキャラクターとシーンを実行してください。応答の品質、速度、記憶の保持期間を比較してください。

多くのユーザーは両方を維持しています:プライベートまたはオフラインのセッションにはローカル、巨大なコンテキストを必要とする長い冒険にはホスト型。SillyTavernでは別々の接続プロファイルを保存できるため、切り替えには数クリックで済みます。チャットセットアップの構築についてさらに詳しく知りたい場合は、チャットボットガイドをお読みください。

質問と回答

SillyTavernにVRAMはどのくらい必要ですか?

4ビットの8Bモデルの場合、控えめなコンテキストで6〜8 GBが必要です。24Bから32Bのモデルの場合、24 GBを見込み、コンテキストキャッシュの余地を残してください。

このホスト型APIでSillyTavernを使用できますか?

はい。ベースURL https://api.unrestrictedaimodels.com/v1、キー、モデル uncensored を使用して、OpenAI互換のチャット完了ソースとして追加してください。

ホスト型モデルはローカルモデルと同じですか?

これは独立したプロバイダが実行する単一のオープンウェイトモデルであり、大手ベンダーの公式APIでも、ベンダー間のルーターでもありません。ローカルセットアップでは多くのモデルから選択できます。

ホスト型APIのコンテキスト制限は何ですか?

プロンプトと返信合わせて100,000トークン。ローカルの制限はメモリと読み込むモデルに依存します。

キーはフォームを1つ埋めるだけで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得