ID ▾
Dapatkan kunci API

LLM Lokal Terbaik untuk SillyTavern vs Endpoint Terhost

Pencarian untuk LLM lokal terbaik untuk SillyTavern memiliki satu jawaban jujur: model terbesar yang muat di kartu grafis Anda dengan sisa ruang yang cukup untuk konteks, dan bagi banyak orang itu adalah model yang lebih kecil dari yang mereka harapkan. Halaman ini membantu Anda menentukan ukuran pilihan tersebut dan membandingkannya dengan endpoint terhost.

GPU desktop di satu sisi dan server cloud di sisi lain yang terhubung dengan cahaya, membandingkan LLM lokal dan yang dihosting
Aliran partikel bercahaya mengalir dari kunci melalui node cloud dan kembali sebagai gelembung obrolan

Diperbarui

Poin utama

  • Model lokal dibatasi oleh VRAM: bobot plus cache konteks harus keduanya muat.
  • Menjalankan secara lokal memberi Anda privasi, tidak ada tagihan penggunaan, dan penggunaan offline; hosting memberi Anda konteks yang lebih besar dan tidak memerlukan perangkat keras sendiri.
  • SillyTavern mendukung keduanya, sehingga Anda dapat menguji endpoint terhost dalam hitungan menit sebelum membeli GPU.
  • Pada penggunaan roleplay berat khas, token yang dihosting berharga sekitar $11,55 per bulan pada $0,15 dan $0,50 per 1M.

Apa yang menentukan kegunaan model lokal

Tiga batas membentuk pengalaman, dan semuanya adalah batas perangkat keras.

Bobot harus muat dalam memori

Model dengan N miliar parameter membutuhkan memori untuk bobotnya. Dalam bentuk 16-bit, itu sekitar 2 GB per miliar parameter. Dikuantisasi menjadi 4 bit, yang dilakukan sebagian besar pengguna lokal, itu sekitar 0,5 hingga 0,6 GB per miliar. Model 8B kemudian membutuhkan sekitar 5 GB, model 24B hingga 32B membutuhkan 14 hingga 20 GB, dan model 70B sekitar 40 GB. Ini adalah aturan praktis; format kuantisasi dan ukuran file bervariasi, jadi periksa ukuran file aktual di halaman unduhan.

Konteks juga menggunakan memori

Setiap token dalam percakapan memakan ruang dalam cache kunci-nilai. Permainan peran panjang dengan 16.000 atau 32.000 token riwayat dapat memakan beberapa gigabyte di atas bobotnya. Banyak orang memuat model, menemukan bahwa itu muat, dan kemudian kehabisan memori setelah beberapa ratus pesan dalam obrolan. Sisakan ruang.

Kecepatan bergantung pada tempat model berada

Jika seluruh model berada dalam memori GPU, balasan cepat. Jika lapisan tumpah ke RAM sistem, generasi melambat secara tajam. Model yang "secara teknis berjalan" pada dua token per detik adalah mitra obrolan yang buruk.

Jadi pertanyaan praktisnya bukan "model mana yang terbaik" tetapi "kelas ukuran mana yang cocok dengan kartu saya dengan ruang konteks". Papan peringkat komunitas dan thread rekomendasi berubah bulan ke bulan, dan itu adalah opini, jadi verifikasi dengan prompt Anda sendiri.

Panduan kasar berdasarkan perangkat keras

Memori GPU AndaUkuran model realistis (4-bit)Yang harus diharapkan
6 hingga 8 GB7B hingga 8BCepat, konteks pendek, prosa lebih sederhana
12 hingga 16 GB12B hingga 14BKeseimbangan bagus untuk roleplay kasual
24 GB24B hingga 32BTitik manis biasa untuk penggemar
48 GB atau lebihKelas 70BMembutuhkan dua kartu atau kartu workstation
Tanpa GPUModel kecil pada CPULambat; bagus untuk pengujian, melelahkan untuk penggunaan harian

Untuk menjalankannya, pilihan umum adalah Ollama, KoboldCpp, llama.cpp dan text-generation-webui. SillyTavern terhubung ke masing-masing melalui pengaturan API-nya. KoboldCpp populer di kalangan pengguna roleplay karena mengekspos opsi sampler dan menangani konteks panjang dengan baik, tetapi semuanya berfungsi.

Angka-angka ini adalah pedoman, bukan benchmark. Jika Anda menemukan model yang cocok, cobalah selama seminggu obrolan nyata sebelum Anda memutuskan itu adalah yang tepat.

Keunggulan endpoint terhost

Hosted berarti server menjalankan model dan Anda memanggilnya melalui HTTPS. SillyTavern mendukung endpoint yang kompatibel dengan OpenAI, jadi ini bekerja dengan URL dasar, kunci, dan nama model. Pengaturannya ada di panel koneksi API SillyTavern; pilih sumber penyelesaian obrolan kustom atau yang kompatibel dengan OpenAI dan masukkan:

  • URL: https://api.unrestrictedaimodels.com/v1
  • Kunci: kunci dari dasbor Anda
  • Model: uncensored

Keuntungan dibandingkan lokal:

  • Konteks. Jendela konteksnya adalah 100.000 token (prompt plus balasan), jauh melampaui apa yang dimiliki sebagian besar GPU rumah.
  • Tanpa perangkat keras. Ini berfungsi di laptop, browser tablet, atau ponsel.
  • Tanpa panas atau kebisingan, dan tanpa biaya listrik di sisi Anda.
  • Tidak perlu dipelihara. Anda tidak memperbarui driver, mengunduh ulang file, atau menyetel pengaturan untuk memori.

Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Prompt tidak digunakan untuk pelatihan. Halaman SillyTavern vs Janitor AI menjelaskan bagaimana antarmuka depan berbeda.

Di mana lokal menang

Sebenarnya, lokal memiliki kekuatan nyata.

  • Privasi penuh. Tidak ada yang keluar dari mesin Anda.
  • Penggunaan offline. Pesawat, kabin, atau jaringan yang diblokir bukanlah hambatan.
  • Tidak ada biaya per token setelah perangkat keras dibayar.
  • Pilihan total. Anda dapat mencoba ratusan fine-tune komunitas, merge, dan LoRA, lalu beralih di antaranya. Endpoint yang dihosting seperti ini hanya menawarkan satu model.
  • Kontrol atas sampler dan seluruh tumpukan, yang disukai para pengutak-atik.

Jika hobi Anda adalah model itu sendiri, mencoba rilis baru dan membandingkannya, lokal adalah rumah yang tepat. Jika hobi Anda adalah cerita dan karakter, model hanyalah alat dan versi yang dihosting stabil menghemat waktu.

Perbandingan biaya, dengan angka

Ambil pengguna berat: 200 pesan per hari, 12.000 token konteks pada setiap pesan, 250 token balasan. Untuk bulan 30 hari:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

Pengguna lebih ringan dengan 50 pesan per hari membayar sekitar seperempat dari jumlah itu, sekitar $2,89. Kredit tidak pernah kadaluarsa, dan isi saldo dimulai dari $20, sehingga tidak ada komitmen bulanan; lihat halaman harga.

Untuk lokal, hitung apa yang Anda miliki. Jika Anda sudah memiliki kartu 24 GB untuk alasan lain, biaya marginalnya adalah listrik. Sistem yang menarik daya 350 W selama 3 jam sehari menggunakan 0,35 x 3 x 30 = 31,5 kWh per bulan; kalikan dengan tarif lokal Anda. Jika Anda harus membeli GPU hanya untuk ini, bandingkan harganya (periksa daftar harga saat ini) dengan angka bulanan di atas; opsi yang dihosting tetap lebih murah untuk penggunaan normal dalam waktu lama.

Pengaturan SillyTavern yang penting

Terlepas dari backend yang Anda pilih, beberapa pengaturan SillyTavern menentukan bagaimana suasana obrolan terasa.

  • Ukuran konteks. Sesuaikan dengan apa yang didukung backend secara nyata. Model lokal yang dimuat dengan 8.192 token konteks akan mengabaikan pengaturan 32.000. Untuk API yang dihosting, batas atasnya adalah 100.000 token termasuk balasan, jadi sisakan ruang untuk respons.
  • Panjang respons. Beberapa ratus token sudah cukup untuk sebagian besar giliran. Balasan panjang lambat di kartu lokal kecil dan memakan lebih banyak token output di yang dihosting.
  • Streaming. Aktifkan. Anda melihat teks segera dan dapat menghentikan balasan yang buruk lebih awal.
  • Buku lore dan ringkasan. Ini menjaga konsistensi cerita tanpa mendorong seluruh riwayat ke setiap prompt, yang membantu dengan VRAM secara lokal dan dengan biaya saat dihosting.
  • Sampler. Mulailah dengan suhu sekitar 0,8 dan ubah satu nilai pada satu waktu. Backend lokal mengekspos lebih banyak sampler daripada API penyelesaian obrolan, yang menjadi alasan para penggemar lebih menyukainya.

Jika Anda beralih dari lokal ke yang dihosting, bersiaplah untuk menyetel ulang dua hal pertama. Model yang dihosting dengan jendela besar menghargai pengaturan konteks yang lebih besar dan kebiasaan ringkasan yang baik; model lokal kecil menghargai prompt pendek dan kartu karakter yang ketat.

Cara memutuskan, dan cara menguji dengan murah

  1. Daftarkan perangkat keras Anda. Jika Anda memiliki VRAM di bawah 12 GB, pengaturan lokal akan terbatas dalam konteks dan kualitas prosa, dan yang dihosting kemungkinan lebih baik.
  2. Putuskan apa yang lebih penting: privasi dan penggunaan offline, atau konteks panjang dan tanpa setup.
  3. Coba endpoint yang dihosting terlebih dahulu. Buat kunci dan klaim kredit uji coba $0,50 dengan satu klik; tidak memerlukan kartu dan berlaku selama 7 hari. Dengan tingkat penggunaan ringan di atas, itu mencakup beberapa hari obrolan santai.
  4. Unduh model lokal yang sesuai dengan kartu Anda dan jalankan karakter dan adegan yang sama. Bandingkan kualitas balasan, kecepatan, dan seberapa lama memori bertahan.

Banyak pengguna menyimpan keduanya: lokal untuk sesi pribadi atau offline, yang dihosting untuk petualangan panjang yang membutuhkan konteks besar. SillyTavern memungkinkan Anda menyimpan profil koneksi terpisah, sehingga beralih membutuhkan beberapa klik. Untuk pandangan lebih luas tentang membangun pengaturan obrolan, baca panduan chatbot.

Tanya jawab

Berapa banyak VRAM yang saya butuhkan untuk SillyTavern?

Untuk model 8B 4-bit, sekitar 6 hingga 8 GB dengan konteks yang wajar. Untuk model 24B hingga 32B rencanakan 24 GB, dan sisakan ruang untuk cache konteks.

Dapatkah saya menggunakan SillyTavern dengan API yang dihosting ini?

Ya. Tambahkan sebagai sumber penyelesaian obrolan yang kompatibel dengan OpenAI dengan URL dasar https://api.unrestrictedaimodels.com/v1, kunci Anda dan model uncensored.

Apakah model yang dihosting sama dengan yang lokal?

Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, bukan API resmi dari vendor besar manapun dan bukan router lintas vendor. Pengaturan lokal memungkinkan Anda memilih di antara banyak model.

Berapa batas konteks pada API yang dihosting?

100.000 token untuk prompt ditambah balasan. Batas lokal bergantung pada memori Anda dan model yang Anda muat.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah base URL. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API