SillyTavern के लिए सर्वश्रेष्ठ स्थानीय LLM बनाम होस्ट किए गए एंडपॉइंट
स्थानीय LLM sillytavern के लिए सर्वोत्तम खोज का एक ही ईमानदार जवाब है: वह सबसे बड़ा मॉडल जो आपके ग्राफिक्स कार्ड में फिट हो और कॉन्टेक्स्ट के लिए पर्याप्त जगह बची हो, और कई लोगों के लिए यह एक छोटा मॉडल है जिसकी उम्मीद थी। यह पेज आपको उस चयन का आकार निर्धारित करने और इसे एक होस्ट किए गए एंडपॉइंट से तुलना करने में मदद करता है।


अपडेट किया गया
मुख्य बिंदु
- लोकल मॉडल VRAM द्वारा सीमित हैं: वजन और कॉन्टेक्स्ट कैश दोनों को फिट होना चाहिए।
- लोकल चलाने से आपको गोपनीयता, कोई उपयोग बिल नहीं और ऑफलाइन उपयोग मिलता है; होस्टिंग से आपको बड़ा कॉन्टेक्स्ट मिलता है और कोई हार्डवेयर नहीं चाहिए होता।
- SillyTavern दोनों का समर्थन करता है, इसलिए आप GPU खरीदने से पहले कुछ मिनटों में एक होस्ट किए गए एंडपॉइंट का परीक्षण कर सकते हैं।
- सामान्य भारी रोलप्ले उपयोग पर, होस्ट किए गए टोकन की लागत प्रति 1M पर $0.15 और $0.50 की दर से मासिक लगभग $11.55 है।
स्थानीय मॉडल की उपयोगिता का निर्णय क्या लेता है
तीन सीमाएं अनुभव को आकार देती हैं, और वे सभी हार्डवेयर सीमाएं हैं।
वेइट्स को मेमोरी में फिट होना चाहिए
N अरब पैरामीटर वाले मॉडल को उसके वेइट्स के लिए मेमोरी की आवश्यकता होती है। 16-बिट फॉर्म में यह प्रति अरब पैरामीटर लगभग 2 GB है। 4-बिट पर क्वान्टाइज्ड, जो ज्यादातर लोकल यूज़र करते हैं, यह प्रति अरब पैरामीटर लगभग 0.5 से 0.6 GB है। एक 8B मॉडल को लगभग 5 GB की आवश्यकता होती है, एक 24B से 32B मॉडल को 14 से 20 GB की आवश्यकता होती है, और एक 70B मॉडल को लगभग 40 GB की आवश्यकता होती है। ये अनुमानित नियम हैं; क्वान्टाइजेशन फॉर्मेट और फ़ाइल का आकार भिन्न होता है, इसलिए डाउनलोड पेज पर वास्तविक फ़ाइल का आकार जांचें।
कॉन्टेक्स्ट विंडो भी मेमोरी लेता है
बातचीत में हर टोकन की-वैल्यू कैश में जगह लेता है। 16,000 या 32,000 टोकन के इतिहास वाले लंबे रोलप्ले में वेट्स के अलावा कई गीगाबाइट लग सकते हैं। कई लोग एक मॉडल लोड करते हैं, पाते हैं कि यह फिट बैठता है, और फिर चैट में कुछ सौ संदेशों में मेमोरी खत्म हो जाती है। हेडरूम छोड़ें।
गति इस बात पर निर्भर करती है कि मॉडल कहाँ है
यदि पूरा मॉडल GPU मेमोरी में है, तो जवाब तेज़ होते हैं। यदि परतें सिस्टम RAM में फैल जाती हैं, तो जनरेशन धीमा हो जाता है। एक मॉडल जो "तकनीकी रूप से" प्रति सेकंड दो टोकन पर चलता है, वह एक खराब चैट पार्टनर है।
तो व्यावहारिक प्रश्न यह नहीं है कि "कौन सा मॉडल सबसे अच्छा है" बल्कि "कौन सा साइज़ क्लास मेरी कार्ड में कॉन्टेक्स्ट विंडो को छोड़कर फिट बैठता है"। कम्युनिटी लीडरबोर्ड और रेकमेंडेशन थ्रेड्स महीने-दर-महीने बदलते रहते हैं, और वे राय हैं, इसलिए अपने प्रॉम्प्ट से सत्यापित करें।
हार्डवेयर के आधार पर एक अनुमानित गाइड
| आपकी GPU मेमोरी | वास्तविक मॉडल साइज़ (4-बिट) | क्या उम्मीद करें |
|---|---|---|
| 6 से 8 GB | 7B से 8B | तेज़, छोटा कॉन्टेक्स्ट, सरल भाषा |
| 12 से 16 GB | 12B से 14B | कैजुअल रोलप्ले के लिए अच्छा संतुलन |
| 24 GB | 24B से 32B | शौकीनों के लिए सामान्य रूप से सबसे उपयुक्त विकल्प |
| 48 GB या उससे अधिक | 70B श्रेणी | दो कार्ड या वर्कस्टेशन कार्ड की आवश्यकता है |
| कोई GPU नहीं | CPU पर छोटे मॉडल | धीमी गति; परीक्षण के लिए ठीक है, लेकिन दैनिक उपयोग में थकाऊ |
उन्हें चलाने के लिए सामान्य विकल्प Ollama, KoboldCpp, llama.cpp और text-generation-webui हैं। SillyTavern अपनी API सेटिंग्स के माध्यम से प्रत्येक से कनेक्ट होता है। KoboldCpp रोलप्ले उपयोगकर्ताओं में लोकप्रिय है क्योंकि यह सैम्पलर विकल्प प्रदान करता है और लंबे कॉन्टेक्स्ट विंडो को अच्छी तरह संभालता है, लेकिन इनमें से कोई भी काम करेगा।
ये आंकड़े दिशानिर्देश हैं, बेंचमार्क नहीं। यदि आपको कोई ऐसा मॉडल मिलता है जो उपयुक्त है, तो यह तय करने से पहले कि वह वही है, इसे वास्तविक चैट के एक सप्ताह के लिए आज़माएं।
जहाँ होस्टेड एंडपॉइंट जीतता है
होस्टेड का अर्थ है कि एक सर्वर मॉडल को चलाता है और आप इसे HTTPS के माध्यम से कॉल करते हैं। SillyTavern OpenAI-कम्पैटिबल एंडपॉइंट का समर्थन करता है, इसलिए यह बेस URL, एक कुंजी और मॉडल नाम के साथ काम करता है। सेटिंग्स SillyTavern के API कनेक्शन पैनल में हैं; कस्टम या OpenAI-कम्पैटिबल चैट कंप्लीशन स्रोत चुनें और दर्ज करें:
- URL:
https://api.unrestrictedaimodels.com/v1 - कुंजी: आपके डैशबोर्ड से कुंजी
- मॉडल:
uncensored
लोकल की तुलना में लाभ:
- संदर्भ। विंडो 100,000 टोकन (प्रॉम्प्ट और रिप्लाई) की है, जो अधिकांश होम GPU द्वारा धारण की जाने वाली क्षमता से कहीं अधिक है।
- हार्डवेयर की आवश्यकता नहीं। यह लैपटॉप, टैबलेट ब्राउज़र या फ़ोन पर काम करता है।
- कोई गर्मी या शोर नहीं, और आपके अंत में बिजली का खर्च नहीं।
- रखरखाव की कोई आवश्यकता नहीं। आपको ड्राइवर अपडेट करने, फ़ाइलें फिर से डाउनलोड करने या मेमोरी के लिए सेटिंग्स ट्यून करने की आवश्यकता नहीं है।
मॉडल को कानूनी वयस्क उपयोग के लिए सामग्री अस्वीकृति के बिना उत्तर देने के लिए ट्यून किया गया है। प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता है। SillyTavern vs Janitor AI पृष्ठ बताता है कि फ्रंट एंड कैसे भिन्न हैं।
जहाँ लोकल जीतता है
न्याय करते हुए, लोकल की वास्तविक ताकतें हैं।
- पूर्ण गोपनीयता। आपकी मशीन से कुछ भी बाहर नहीं जाता।
- ऑफ़लाइन उपयोग। एक विमान, एक कैबिन या अवरुद्ध नेटवर्क कोई बाधा नहीं है।
- प्रति-टोकन लागत नहीं हार्डवेयर खरीदने के बाद।
- पूर्ण विकल्प। आप सैकड़ों समुदाय फाइन-ट्यून्स, मर्ज और LoRAs आज़मा सकते हैं और उनके बीच स्विच कर सकते हैं। इस तरह का होस्टेड एंडपॉइंट एकल मॉडल प्रदान करता है।
- सैम्पलर्स पर नियंत्रण और पूरी स्टैक पर, जिसका आनंद टिंकरर्स लेते हैं।
यदि आपका शौक मॉडल का स्वयं है, नई रिलीज़ आज़माना और उन्हें तुलना करना है, तो लोकल सही स्थान है। यदि शौक कहानियों और किरदारों का है, तो मॉडल एक साधन है और एक स्थिर होस्टेड एंडपॉइंट समय बचाता है।
लागत की तुलना, संख्याओं के साथ
एक भारी उपयोगकर्ता लें: प्रतिदिन 200 संदेश, प्रत्येक पर 12,000 टोकन का कॉन्टेक्स्ट, 250 टोकन की प्रतिक्रिया। 30-दिन के महीने के लिए:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
एक हल्के उपयोगकर्ता जो दिन में 50 संदेश भेजता है, उसकी लागत उसका लगभग एक चौथाई होती है, जो करीब $2.89 है। क्रेडिट कभी समाप्त नहीं होता, और टॉप-अप $20 से शुरू होते हैं, इसलिए कोई मासिक प्रतिबद्धता नहीं है; मूल्य निर्धारण पेज देखें।
स्थानीय उपयोग के लिए, अपनी संपत्ति की गणना करें। यदि आपके पास अन्य कारणों से पहले से ही एक 24 GB कार्ड है, तो मार्जिनल लागत बिजली है। एक सिस्टम जो दिन में 3 घंटे के लिए 350 W खींचता है, महीने में 0.35 x 3 x 30 = 31.5 kWh का उपयोग करता है; इसे अपनी स्थानीय दर से गुणा करें। यदि आपको केवल इसके लिए GPU खरीदना पड़ता है, तो इसकी कीमत (वर्तमान लिस्टिंग्स की जाँच करें) को ऊपर दी गई मासिक राशि से तुलना करें; सामान्य उपयोग के लिए होस्टेड विकल्प लंबे समय तक सस्ता रहेगा।
SillyTavern सेटिंग्स जो हर हालत में मायने रखती हैं
आप जो भी बैकएंड चुनते हैं, कुछ SillyTavern सेटिंग्स यह तय करती हैं कि चैट कैसी लगेगी।
- संदर्भ आकार। इसे बैकएंड वास्तव में सपोर्ट करता है उसके अनुरूप मिलाएं। 8,192 टोकन के संदर्भ के साथ लोड किया गया एक स्थानीय मॉडल 32,000 के सेटिंग को नज़रअंदाज कर देगा। होस्टेड API के लिए, सीमा 100,000 टोकन है जिसमें रिप्लाई शामिल है, इसलिए रिस्पॉन्स के लिए जगह छोड़ें।
- प्रतिक्रिया की लंबाई। अधिकांश संवादों के लिए कुछ सौ टोकन पर्याप्त हैं। छोटी लोकल कार्ड्स पर लंबी प्रतिक्रियाएँ धीमी होती हैं और होस्टेड एंडपॉइंट पर अधिक आउटपुट टोकन खर्च होती हैं।
- स्ट्रीमिंग। इसे चालू करें। आपको तुरंत पाठ दिखाई देता है और आप खराब प्रतिक्रिया को जल्दी रोक सकते हैं।
- लोरबुक्स और सारांश। ये कहानी को संगत रखते हैं बिना पूरे इतिहास को हर प्रॉम्प्ट में डाले, जो लोकल पर VRAM और होस्टेड पर लागत दोनों में मदद करता है।
- सैम्पलर्स। 0.8 के आसपास तापमान से शुरू करें और एक बार में एक मान बदलें। स्थानीय बैकएन्ड चैट कंप्लीशन API की तुलना में अधिक सैम्पलर्स प्रदान करते हैं, जो शौकीनों को उन्हें प्राथमिकता देने का एक कारण है।
यदि आप लोकल से होस्टेड पर स्विच करते हैं, तो पहले दो को री-ट्यून करने की उम्मीद करें। एक बड़ी विंडो वाला होस्टेड मॉडल बड़े कॉन्टेक्स्ट सेटिंग और अच्छी सारांश आदत को पुरस्कार देता है; एक छोटा लोकल छोटे प्रॉम्प्ट और सख्त कैरेक्टर कार्ड्स को पुरस्कार देता है।
निर्णय कैसे लें, और सस्ते कैसे टेस्ट करें
- अपने हार्डवेयर की सूची दें। यदि आपके पास 12 GB से कम VRAM है, तो एक लोकल सेटअप कॉन्टेक्स्ट और प्रोस क्वालिटी में सीमित होगा, और होस्टेड बेहतर हो सकता है।
- तय करें कि क्या ज्यादा मायने रखता है: प्राइवेसी और ऑफलाइन उपयोग, या लंबा कॉन्टेक्स्ट और जीरो सेटअप।
- पहले होस्टेड एंडपॉइंट की कोशिश करें। एक कुंजी बनाएं और एक क्लिक से $0.50 का ट्रायल क्रेडिट क्लेम करें; इसके लिए कार्ड की आवश्यकता नहीं है और यह 7 दिनों तक चलता है। ऊपर दी गई हल्के उपयोग की दर पर, यह कुछ दिनों के सामान्य चैटिंग को कवर करता है।
- एक लोकल मॉडल डाउनलोड करें जो आपकी कार्ड पर फिट बैठे और उसी कैरेक्टर और सीन को चलाएं। प्रतिक्रिया की गुणवत्ता, गति और मेमोरी कितनी देर तक टिकती है, इसकी तुलना करें।
अनेक उपयोगकर्ता दोनों रखते हैं: निजी या ऑफ़लाइन सत्रों के लिए स्थानीय, और विशाल कॉन्टेक्स्ट की आवश्यकता वाले लंबे रोमांचों के लिए होस्टेड। SillyTavern आपको अलग-अलग कनेक्शन प्रोफ़ाइल सेव करने देता है, इसलिए स्विच करने में कुछ क्लिक लगते हैं। चैट सेटअप बनाने के बारे में अधिक जानकारी के लिए चैटबॉट गाइड पढ़ें।
अधिक गाइड
प्रश्न और उत्तर
SillyTavern के लिए मुझे कितनी VRAM की आवश्यकता है?
4-बिट 8B मॉडल के लिए, एक सीमित संदर्भ के साथ लगभग 6 से 8 GB। 24B से 32B मॉडल्स के लिए 24 GB की योजना बनाएं, और संदर्भ कैश के लिए जगह छोड़ें।
क्या मैं इस होस्टेड API के साथ SillyTavern का उपयोग कर सकता हूँ?
हाँ। इसे https://api.unrestrictedaimodels.com/v1, के साथ बेस URL, अपनी API कुंजी और मॉडल uncensored के साथ एक OpenAI-कम्पैटिबल चैट कंप्लीशन स्रोत के रूप में जोड़ें।
होस्टेड मॉडल स्थानीय मॉडल के समान है?
यह एक स्वतंत्र प्रदाता द्वारा संचालित एकल ओपन-वेट मॉडल है, यह किसी बड़े विक्रेता की आधिकारिक API नहीं है और न ही यह विक्रेताओं के बीच एक राउटर है। स्थानीय सेटअप आपको कई मॉडलों के बीच चुनने की अनुमति देते हैं।
होस्टेड API पर कॉन्टेक्स्ट विंडो क्या है?
प्रॉम्प्ट और प्रतिक्रिया के लिए 100,000 टोकन। स्थानीय सीमाएँ आपकी मेमोरी और आपके द्वारा लोड किए गए मॉडल पर निर्भर करती हैं।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।
API कुंजी पाएँ