TR ▾
API anahtarı al

SillyTavern için En İyi Yerel LLM vs Barındırılan Uç Nokta

En iyi yerel llm sillytavern aramalarının dürüst bir cevabı vardır: grafik kartınıza sığan ve bağlam için yeterli alan bırakan en büyük model; ve birçok kişi için bu, umduklarından daha küçük bir modeldir. Bu sayfa, bu seçimi boyutlandırmanıza ve bir barındırılan uç nokta ile karşılaştırmanıza yardımcı olur.

Yerel ve barındırılan LLM'leri karşılaştıran, bir yanda masaüstü GPU ve diğer yanda bulut sunucusu
Anahtardan bulut düğümüne ve sohbet baloncuklarına akan parlayan parçacıklar

güncellendi

Temel noktalar

  • Yerel modeller VRAM ile sınırlıdır: ağırlıklar ve bağlam önbelleği birlikte sığmalıdır.
  • Yerel çalıştırmak size gizlilik, kullanım faturası olmaması ve çevrimdışı kullanım imkanı sağlar; barındırma ise daha büyük bir bağlam ve donanım gerektirmeme avantajı sunar.
  • SillyTavern her ikisini de destekler, böylece bir GPU satın almadan önce barındırılan bir uç nokta dakikalar içinde test edebilirsiniz.
  • Tipik ağır rol yapma kullanımında, barındırılan token'ların maliyeti 1M başına $0,15 ve $0,50 ile ayda yaklaşık $11,55'tir.

Bir yerel modelin yararlılığını ne belirler

Deneyimi şekillendiren üç sınır vardır ve bunların hepsi donanım sınırlarıdır.

Ağırlıklar belleğe sığmalıdır

N milyar parametreye sahip bir model, ağırlıkları için bellek gerektirir. 16-bit formda bu, milyar parametre başına yaklaşık 2 GB'tır. Çoğu yerel kullanıcının yaptığı gibi 4 bite quantize edildiğinde, bu milyar başına yaklaşık 0,5 ila 0,6 GB'tır. 8B bir model için yaklaşık 5 GB, 24B ila 32B bir model için 14 ila 20 GB ve 70B bir model için yaklaşık 40 GB gerekir. Bunlar kaba kuraldır; quantization formatı ve dosya boyutu değişkenlik gösterir, bu nedenle indirme sayfasındaki gerçek dosya boyutunu kontrol edin.

Bağlam da bellek kullanır

Sohbetin her token'ı anahtar-değer önbelleğinde yer kaplar. 16.000 veya 32.000 tokenlık bir geçmişe sahip uzun bir rol yapma, ağırlıkların üzerine birkaç gigabyte alabilir. Birçok kişi bir model yükler, sığdığını bulur ve ardından birkaç yüz mesajlık bir sohbetin ortasında bellek yetersizliği yaşar. Başlangıç payı bırakın.

Hız, modelin nerede çalıştığına bağlıdır

Tüm model GPU belleğindeyse, yanıtlar hızlıdır. Katmanlar sistem RAM'ine taşarsa, üretim hızı keskin bir şekilde yavaşlar. Saniyede iki token gibi "teknik olarak çalışan" bir model zayıf bir sohbet ortağıdır.

Bu nedenle pratik soru "hangi model en iyisi" değil, "bağlam için pay bırakarak kartıma hangi boyut sınıfı sığar" olmalıdır. Topluluk lider tabloları ve öneri konuları aydan aya değişir ve bunlar kişisel görüşlerdir, bu nedenle kendi istemlerinizle doğrulayın.

Donanım bazlı kabaca bir rehber

GPU belleğinizGerçekçi model boyutu (4-bit)Ne bekleyebilirsiniz
6 ila 8 GB7B ila 8BHızlı, kısa bağlam, daha basit anlatım
12 ila 16 GB12B ila 14BGünlük rol yapma için iyi bir denge
24 GB24B ila 32BTutkunlar için genellikle en iyi nokta
48 GB veya daha fazla70B sınıfıİki karta veya bir iş istasyonu kartına ihtiyaç duyar
GPU yokCPU üzerinde küçük modellerYavaş; test için uygundur, günlük kullanım için yorucudur

Çalıştırmak için yaygın seçenekler Ollama, KoboldCpp, llama.cpp ve text-generation-webui'dir. SillyTavern, her birine API ayarları üzerinden bağlanır. KoboldCpp, rol yapma kullanıcıları arasında popülerdir çünkü örnekleme seçeneklerini ortaya çıkarır ve uzun bağlamları iyi yönetir, ancak bunların herhangi biri çalışır.

Bu rakamlar rehberdir, kriter değildir. Uygun bir model bulursanız, onu seçmeden önce gerçek sohbetlerde bir hafta boyunca deneyin.

Barındırılan bir uç noktanın kazandığı yerler

Barındırılan, modelin bir sunucuda çalıştığı ve HTTPS üzerinden çağrıldığı anlamına gelir. SillyTavern OpenAI uyumlu uç noktaları destekler, bu nedenle bu uç nokta bir temel URL, bir anahtar ve bir model adı ile çalışır. Ayarlar SillyTavern'in API bağlantı panelindedir; özel veya OpenAI uyumlu sohbet tamamlama kaynağını seçin ve girin:

  • URL: https://api.unrestrictedaimodels.com/v1
  • Anahtar: panonuzdaki anahtar
  • Model: uncensored

Yerel olanlara göre avantajlar:

  • Bağlam. Pencere 100.000 token kapasitesindedir (istem ve yanıt birlikte), çoğu ev GPU'sunun kapasitesinin çok ötesindedir.
  • Donanım gerekmez. Bir dizüstü bilgisayarda, tablet tarayıcısında veya telefonda çalışır.
  • Isı veya gürültü yok, ve tarafınızda elektrik maliyeti de yoktur.
  • Bakım gerektirmez. Sürücüleri güncellemeniz, dosyaları yeniden indirmeniz veya bellek için ayarları düzenlemeniz gerekmez.

Model, yasal yetişkin kullanımında içerik reddi yapmadan yanıt verecek şekilde ayarlanmıştır. İstemler eğitim için kullanılmaz. SillyTavern vs Janitor AI sayfası ön uçların nasıl farklılaştığını açıklar.

Yerelin kazandığı yerler

Adil olmak gerekirse, yerelin gerçek güçleri vardır.

  • Tam gizlilik. Makinenizden hiçbir şey çıkmaz.
  • Çevrimdışı kullanım. Uçak, kulübe veya kesik ağ engel değildir.
  • Donanım satın alındıktan sonra token başına maliyet yok.
  • Tam seçim özgürlüğü. Yüzlerce topluluk ince ayarını, birleşimini ve LoRA'yı deneyebilir ve aralarında geçiş yapabilirsiniz. Bu tür bir barındırılan uç nokta tek bir model sunar.
  • Örnekleyiciler ve tüm yığın üzerinde kontrol. Bu, meraklılar için keyiflidir.

Eğer hobiniz modelin kendisiyse, yeni sürümleri denemek ve karşılaştırmaksa, yerel ortam doğru bir evdir. Eğer hobiniz hikayeler ve karakterlerse, model bir araçtır ve kararlı bir barındırılan model zaman kazandırır.

Maliyet karşılaştırması, sayılarla

Ağır bir kullanıcıyı ele alalım: günde 200 mesaj, her birinde 12.000 token bağlam, 250 token yanıt. 30 günlük bir ay için:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

Daha hafif bir kullanıcı günde 50 mesaj göndererek bunun yaklaşık dörtte birini, yani 2,89 $ civarında öder. Kredi asla sona ermez ve bakiye yükleme işlemleri 20 $'dan başlar, bu nedenle aylık taahhüt yoktur; fiyatlandırma sayfasına bakın.

Yerel kullanım için sahip olduğunuz donanımı hesaplayın. Eğer başka nedenlerle zaten 24 GB'lık bir kartınız varsa, marjinal maliyet elektrik enerjisidir. Günde 3 saat boyunca 350 W çeken bir sistem ayda 0,35 x 3 x 30 = 31,5 kWh kullanır; bunu yerel oranınızla çarpın. GPU'yu sadece bunun için satın almanız gerekiyorsa, fiyatını (güncel listeleri kontrol edin) yukarıdaki aylık tutarla karşılaştırın; normal kullanımda barındırılan seçenek uzun süre daha ucuz kalır.

İki durumda da önemli olan SillyTavern ayarları

Hangi arka ucu seçerseniz seçin, sohbetin nasıl hissettireceğini belirleyen birkaç SillyTavern ayarı vardır.

  • Bağlam boyutu. Bunu arka ucun gerçekten desteklediği şeyle eşleştirin. 8.192 token bağlam penceresi ile yüklenen bir yerel model, 32.000'lik bir ayarı yok sayacaktır. Barındırılan API için sınır, yanıt dahil 100.000 token'dır, bu nedenle yanıt için yer bırakın.
  • Yanıt uzunluğu. Çoğu dönüş için birkaç yüz token yeterlidir. Uzun yanıtlar küçük yerel kartlarda yavaştır ve barındırılanlarda daha fazla çıktı token'ına mal olur.
  • Akış. Bunu açın. Metni hemen görürsünüz ve kötü bir yanıtı erken durdurabilirsiniz.
  • Lorebook'lar ve özetler. Bunlar, tüm geçmişi her isteme itmeden bir hikayeyi tutarlı kılar; bu, yerelde VRAM için ve barındırılanlarda maliyet için yardımcı olur.
  • Örnekleyiciler. Yaklaşık 0,8 sıcaklık ile başlayın ve bir seferde bir değeri değiştirin. Yerel arka uçlar, bir sohbet tamamlama API'sinden daha fazla örnekleyici sunar; bu da meraklıların onları tercih etmesinin nedenlerinden biridir.

Yerelden barındırılana geçerseniz, ilk ikisini yeniden ayarlamanız gerekecektir. Büyük bir pencereye sahip bir barındırılan model, daha büyük bir bağlam ayarını ve iyi bir özet alışkanlığını ödüllendirir; küçük bir yerel model kısa istemleri ve sıkı karakter kartlarını ödüllendirir.

Nasıl karar verilir ve ucuzca nasıl test edilir

  1. Donanımınızı listeleyin. 12 GB'tan az VRAM'iniz varsa, yerel bir kurulum bağlam ve metin kalitesi açısından sınırlı olacaktır ve barındırılan muhtemelen daha iyidir.
  2. Ne daha önemli olduğuna karar verin: gizlilik ve çevrim dışı kullanım, yoksa uzun bağlam ve sıfır kurulum mu?
  3. Önce barındırılan uç noktayı deneyin. Bir anahtar oluşturun ve tek tıkla $0,50 deneme kredisi alın; kart gerekmez ve 7 gün sürer. Yukarıdaki düşük kullanım oranıyla bu, gündelik sohbetler için birkaç günü kapsar.
  4. Kartınıza uyan bir yerel modeli indirin ve aynı karakteri ve sahneyi çalıştırın. Yanıt kalitesini, hızını ve hafızanın ne kadar süre korunduğunu karşılaştırın.

Birçok kullanıcı ikisini de birlikte kullanır: özel veya çevrimdışı oturumlar için yerel, büyük bir bağlam penceresi gerektiren uzun maceralar için barındırılan. SillyTavern, ayrı bağlantı profilleri kaydetmenizi sağlar, böylece geçiş birkaç tıklama sürer. Sohbet kurulumları oluşturmaya dair daha geniş bir bakış için chatbot kılavuzunu okuyun.

Sorular ve cevaplar

SillyTavern için ne kadar VRAM'e ihtiyacım var?

4-bit 8B bir model için, mütevazı bir bağlam ile yaklaşık 6 ila 8 GB. 24B ila 32B modeller için 24 GB planlayın ve bağlam önbelleği için yer bırakın.

SillyTavern'i bu barındırılan API ile kullanabilir miyim?

Evet. Bunu temel URL https://api.unrestrictedaimodels.com/v1, anahtarınız ve uncensored modeli ile OpenAI uyumlu bir sohbet tamamlama kaynağı olarak ekleyin.

Barındırılan model yerel olanla aynı mı?

Bağımsız bir sağlayıcı tarafından yürütülen tek bir açık ağırlıklı modeldir; büyük bir satıcının resmi API'si değildir ve satıcılar arasında bir yönlendirici değildir. Yerel kurulumlar size birçok model arasında seçim yapma imkanı tanır.

Barındırılan API'deki bağlam sınırı nedir?

İstem ve yanıt için 100.000 token. Yerel limitler, belleğinize ve yüklediğiniz modele bağlıdır.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın, temel URL'yi değiştirin. Kurulum bu kadar.

API anahtarı al