LLM Lokal Terbaik untuk SillyTavern vs Endpoint Terhost
Pencarian untuk LLM lokal terbaik untuk SillyTavern memiliki satu jawaban jujur: model terbesar yang muat di kartu grafis Anda dengan sisa ruang yang cukup untuk konteks, dan bagi banyak orang itu adalah model yang lebih kecil dari yang mereka harapkan. Halaman ini membantu Anda menentukan ukuran pilihan tersebut dan membandingkannya dengan endpoint terhost.


Diperbarui
Poin utama
- Model lokal dibatasi oleh VRAM: bobot plus cache konteks harus keduanya muat.
- Menjalankan secara lokal memberi Anda privasi, tidak ada tagihan penggunaan, dan penggunaan offline; hosting memberi Anda konteks yang lebih besar dan tidak memerlukan perangkat keras sendiri.
- SillyTavern mendukung keduanya, sehingga Anda dapat menguji endpoint terhost dalam hitungan menit sebelum membeli GPU.
- Pada penggunaan roleplay berat khas, token yang dihosting berharga sekitar $11,55 per bulan pada $0,15 dan $0,50 per 1M.
Apa yang menentukan kegunaan model lokal
Tiga batas membentuk pengalaman, dan semuanya adalah batas perangkat keras.
Bobot harus muat dalam memori
Model dengan N miliar parameter membutuhkan memori untuk bobotnya. Dalam bentuk 16-bit, itu sekitar 2 GB per miliar parameter. Dikuantisasi menjadi 4 bit, yang dilakukan sebagian besar pengguna lokal, itu sekitar 0,5 hingga 0,6 GB per miliar. Model 8B kemudian membutuhkan sekitar 5 GB, model 24B hingga 32B membutuhkan 14 hingga 20 GB, dan model 70B sekitar 40 GB. Ini adalah aturan praktis; format kuantisasi dan ukuran file bervariasi, jadi periksa ukuran file aktual di halaman unduhan.
Konteks juga menggunakan memori
Setiap token dalam percakapan memakan ruang dalam cache kunci-nilai. Permainan peran panjang dengan 16.000 atau 32.000 token riwayat dapat memakan beberapa gigabyte di atas bobotnya. Banyak orang memuat model, menemukan bahwa itu muat, dan kemudian kehabisan memori setelah beberapa ratus pesan dalam obrolan. Sisakan ruang.
Kecepatan bergantung pada tempat model berada
Jika seluruh model berada dalam memori GPU, balasan cepat. Jika lapisan tumpah ke RAM sistem, generasi melambat secara tajam. Model yang "secara teknis berjalan" pada dua token per detik adalah mitra obrolan yang buruk.
Jadi pertanyaan praktisnya bukan "model mana yang terbaik" tetapi "kelas ukuran mana yang cocok dengan kartu saya dengan ruang konteks". Papan peringkat komunitas dan thread rekomendasi berubah bulan ke bulan, dan itu adalah opini, jadi verifikasi dengan prompt Anda sendiri.
Panduan kasar berdasarkan perangkat keras
| Memori GPU Anda | Ukuran model realistis (4-bit) | Yang harus diharapkan |
|---|---|---|
| 6 hingga 8 GB | 7B hingga 8B | Cepat, konteks pendek, prosa lebih sederhana |
| 12 hingga 16 GB | 12B hingga 14B | Keseimbangan bagus untuk roleplay kasual |
| 24 GB | 24B hingga 32B | Titik manis biasa untuk penggemar |
| 48 GB atau lebih | Kelas 70B | Membutuhkan dua kartu atau kartu workstation |
| Tanpa GPU | Model kecil pada CPU | Lambat; bagus untuk pengujian, melelahkan untuk penggunaan harian |
Untuk menjalankannya, pilihan umum adalah Ollama, KoboldCpp, llama.cpp dan text-generation-webui. SillyTavern terhubung ke masing-masing melalui pengaturan API-nya. KoboldCpp populer di kalangan pengguna roleplay karena mengekspos opsi sampler dan menangani konteks panjang dengan baik, tetapi semuanya berfungsi.
Angka-angka ini adalah pedoman, bukan benchmark. Jika Anda menemukan model yang cocok, cobalah selama seminggu obrolan nyata sebelum Anda memutuskan itu adalah yang tepat.
Keunggulan endpoint terhost
Hosted berarti server menjalankan model dan Anda memanggilnya melalui HTTPS. SillyTavern mendukung endpoint yang kompatibel dengan OpenAI, jadi ini bekerja dengan URL dasar, kunci, dan nama model. Pengaturannya ada di panel koneksi API SillyTavern; pilih sumber penyelesaian obrolan kustom atau yang kompatibel dengan OpenAI dan masukkan:
- URL:
https://api.unrestrictedaimodels.com/v1 - Kunci: kunci dari dasbor Anda
- Model:
uncensored
Keuntungan dibandingkan lokal:
- Konteks. Jendela konteksnya adalah 100.000 token (prompt plus balasan), jauh melampaui apa yang dimiliki sebagian besar GPU rumah.
- Tanpa perangkat keras. Ini berfungsi di laptop, browser tablet, atau ponsel.
- Tanpa panas atau kebisingan, dan tanpa biaya listrik di sisi Anda.
- Tidak perlu dipelihara. Anda tidak memperbarui driver, mengunduh ulang file, atau menyetel pengaturan untuk memori.
Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Prompt tidak digunakan untuk pelatihan. Halaman SillyTavern vs Janitor AI menjelaskan bagaimana antarmuka depan berbeda.
Di mana lokal menang
Sebenarnya, lokal memiliki kekuatan nyata.
- Privasi penuh. Tidak ada yang keluar dari mesin Anda.
- Penggunaan offline. Pesawat, kabin, atau jaringan yang diblokir bukanlah hambatan.
- Tidak ada biaya per token setelah perangkat keras dibayar.
- Pilihan total. Anda dapat mencoba ratusan fine-tune komunitas, merge, dan LoRA, lalu beralih di antaranya. Endpoint yang dihosting seperti ini hanya menawarkan satu model.
- Kontrol atas sampler dan seluruh tumpukan, yang disukai para pengutak-atik.
Jika hobi Anda adalah model itu sendiri, mencoba rilis baru dan membandingkannya, lokal adalah rumah yang tepat. Jika hobi Anda adalah cerita dan karakter, model hanyalah alat dan versi yang dihosting stabil menghemat waktu.
Perbandingan biaya, dengan angka
Ambil pengguna berat: 200 pesan per hari, 12.000 token konteks pada setiap pesan, 250 token balasan. Untuk bulan 30 hari:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Pengguna lebih ringan dengan 50 pesan per hari membayar sekitar seperempat dari jumlah itu, sekitar $2,89. Kredit tidak pernah kadaluarsa, dan isi saldo dimulai dari $20, sehingga tidak ada komitmen bulanan; lihat halaman harga.
Untuk lokal, hitung apa yang Anda miliki. Jika Anda sudah memiliki kartu 24 GB untuk alasan lain, biaya marginalnya adalah listrik. Sistem yang menarik daya 350 W selama 3 jam sehari menggunakan 0,35 x 3 x 30 = 31,5 kWh per bulan; kalikan dengan tarif lokal Anda. Jika Anda harus membeli GPU hanya untuk ini, bandingkan harganya (periksa daftar harga saat ini) dengan angka bulanan di atas; opsi yang dihosting tetap lebih murah untuk penggunaan normal dalam waktu lama.
Pengaturan SillyTavern yang penting
Terlepas dari backend yang Anda pilih, beberapa pengaturan SillyTavern menentukan bagaimana suasana obrolan terasa.
- Ukuran konteks. Sesuaikan dengan apa yang didukung backend secara nyata. Model lokal yang dimuat dengan 8.192 token konteks akan mengabaikan pengaturan 32.000. Untuk API yang dihosting, batas atasnya adalah 100.000 token termasuk balasan, jadi sisakan ruang untuk respons.
- Panjang respons. Beberapa ratus token sudah cukup untuk sebagian besar giliran. Balasan panjang lambat di kartu lokal kecil dan memakan lebih banyak token output di yang dihosting.
- Streaming. Aktifkan. Anda melihat teks segera dan dapat menghentikan balasan yang buruk lebih awal.
- Buku lore dan ringkasan. Ini menjaga konsistensi cerita tanpa mendorong seluruh riwayat ke setiap prompt, yang membantu dengan VRAM secara lokal dan dengan biaya saat dihosting.
- Sampler. Mulailah dengan suhu sekitar 0,8 dan ubah satu nilai pada satu waktu. Backend lokal mengekspos lebih banyak sampler daripada API penyelesaian obrolan, yang menjadi alasan para penggemar lebih menyukainya.
Jika Anda beralih dari lokal ke yang dihosting, bersiaplah untuk menyetel ulang dua hal pertama. Model yang dihosting dengan jendela besar menghargai pengaturan konteks yang lebih besar dan kebiasaan ringkasan yang baik; model lokal kecil menghargai prompt pendek dan kartu karakter yang ketat.
Cara memutuskan, dan cara menguji dengan murah
- Daftarkan perangkat keras Anda. Jika Anda memiliki VRAM di bawah 12 GB, pengaturan lokal akan terbatas dalam konteks dan kualitas prosa, dan yang dihosting kemungkinan lebih baik.
- Putuskan apa yang lebih penting: privasi dan penggunaan offline, atau konteks panjang dan tanpa setup.
- Coba endpoint yang dihosting terlebih dahulu. Buat kunci dan klaim kredit uji coba $0,50 dengan satu klik; tidak memerlukan kartu dan berlaku selama 7 hari. Dengan tingkat penggunaan ringan di atas, itu mencakup beberapa hari obrolan santai.
- Unduh model lokal yang sesuai dengan kartu Anda dan jalankan karakter dan adegan yang sama. Bandingkan kualitas balasan, kecepatan, dan seberapa lama memori bertahan.
Banyak pengguna menyimpan keduanya: lokal untuk sesi pribadi atau offline, yang dihosting untuk petualangan panjang yang membutuhkan konteks besar. SillyTavern memungkinkan Anda menyimpan profil koneksi terpisah, sehingga beralih membutuhkan beberapa klik. Untuk pandangan lebih luas tentang membangun pengaturan obrolan, baca panduan chatbot.
Panduan lainnya
Tanya jawab
Berapa banyak VRAM yang saya butuhkan untuk SillyTavern?
Untuk model 8B 4-bit, sekitar 6 hingga 8 GB dengan konteks yang wajar. Untuk model 24B hingga 32B rencanakan 24 GB, dan sisakan ruang untuk cache konteks.
Dapatkah saya menggunakan SillyTavern dengan API yang dihosting ini?
Ya. Tambahkan sebagai sumber penyelesaian obrolan yang kompatibel dengan OpenAI dengan URL dasar https://api.unrestrictedaimodels.com/v1, kunci Anda dan model uncensored.
Apakah model yang dihosting sama dengan yang lokal?
Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, bukan API resmi dari vendor besar manapun dan bukan router lintas vendor. Pengaturan lokal memungkinkan Anda memilih di antara banyak model.
Berapa batas konteks pada API yang dihosting?
100.000 token untuk prompt ditambah balasan. Batas lokal bergantung pada memori Anda dan model yang Anda muat.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah base URL. Itu saja seluruh proses pengaturannya.
Dapatkan kunci API