AR ▾
احصل على مفتاح API

أفضل نموذج LLM محلي لـ SillyTavern مقابل نقطة نهاية مستضافة

تبحث عن أفضل نموذج ذكاء اصطناعي محلي لـ SillyTavern. الجواب الصادق هو: أكبر نموذج يتسع لبطاقة الرسوميات لديك مع ترك مساحة كافية للسياق، وكثيراً ما يكون هذا النموذج أصغر مما تتوقع. تساعدك هذه الصفحة على تحديد حجم هذا الاختيار ومقارنته بنقطة نهاية مستضافة.

مقارنة بين بطاقة رسومات سطح المكتب وخادم سحابي، تربطهما سرعة الضوء، لمقارنة نماذج LLM المحلية والمستضافة
تدفق جسيمات متوهجة تتدفق من مفتاح عبر عقدة سحابية وتعود كفقاعات دردشة

تم التحديث

نقاط رئيسية

  • النماذج المحلية محدودة بذاكرة VRAM: يجب أن تتسع الأوزان وذاكرة التخزين المؤقت للسياق معاً.
  • يعطيك التشغيل المحلي الخصوصية، وعدم وجود فاتورة استخدام، والاستخدام دون اتصال؛ بينما يمنحك الاستضافة سياقاً أكبر ولا يتطلب عتاداً.
  • يدعم SillyTavern كلا الخيارين، لذا يمكنك اختبار نقطة نهاية مستضافة في دقائق قبل شراء بطاقة رسومات.
  • في استخدام لعب الأدوار الثقيل المعتاد، تكلف الرموز المستضافة حوالي $11.55 شهرياً بسعر $0.15 و $0.50 لكل مليون رمز.

ما يحدد فائدة النموذج المحلي

ثلاثة حدود تشكل التجربة، وهي جميعاً حدود للأجهزة.

يجب أن تتسع الأوزان للذاكرة

يحتاج النموذج الذي يحتوي على N مليار معلمة إلى ذاكرة لأوزانه. بصيغة 16-bit، يتطلب ذلك حوالي 2 GB لكل مليار معلمة. عند ضغطه إلى 4 bits، وهو ما يفعله معظم المستخدمين المحليين، يصبح الحجم حوالي 0.5 إلى 0.6 GB لكل مليار. وبالتالي، يحتاج نموذج 8B إلى حوالي 5 GB، بينما يحتاج نموذج بحجم 24B إلى 32B إلى 14 إلى 20 GB، ويحتاج نموذج 70B إلى حوالي 40 GB. هذه قواعد عامة؛ تختلف صيغة الضغط وحجم الملف، لذا تحقق من حجم الملف الفعلي في صفحة التحميل.

السياق يستهلك الذاكرة أيضاً

يحتل كل رمز في المحادثة مساحة في ذاكرة التخزين المؤقت للقيم الرئيسية. يمكن أن يستغرق سرد طويل يحتوي على 16,000 أو 32,000 رمز من السجل مساحة إضافية تبلغ عدة غيغابايت فوق أوزان النموذج. يحمّل الكثيرون نموذجاً، يجدون أنه يتسع، ثم ينفد الذاكرة بعد بضع مئات من الرسائل. اترك هامشاً.

السرعة تعتمد على مكان وجود النموذج

إذا كان النموذج بأكمله في ذاكرة GPU، تكون الردود سريعة. إذا تسربت الطبقات إلى ذاكرة النظام (RAM)، يتباطأ التوليد بشدة. نموذج يعمل "تقنياً" بسرعة رمزين في الثانية يكون شريك محادثة ضعيفاً.

لذا، فإن السؤال العملي ليس "أي نموذج هو الأفضل" بل "أي فئة حجم تتناسب مع بطاقتك مع ترك مساحة كافية للسياق". تتغير قوائم المتصدرين وتوصيات المجتمع شهراً بعد شهر، وهي آراء، لذا تحقق باستخدام موجهاتك الخاصة.

دليل تقريبي حسب الأجهزة

ذاكرة GPU الخاصة بكحجم النموذج الواقعي (4-bit)ما يمكن توقعه
6 إلى 8 GB7B إلى 8Bسريع، سياق قصير، أسلوب كتابة أبسط
12 إلى 16 GB12B إلى 14Bتوازن جيد لألعاب الأدوار العارضة
24 GB24B إلى 32Bالمنطقة المثالية المعتادة للمهتمين
48 جيجابايت أو أكثرفئة 70Bيتطلب بطاقتين أو بطاقة محطة عمل
بدون معالج رسومي (GPU)النماذج الصغيرة على وحدة المعالجة المركزية (CPU)بطيء؛ جيد للاختبار، لكنّه مرهق للاستخدام اليومي

لتشغيلها، الخيارات الشائعة هي Ollama وKoboldCpp وllama.cpp وtext-generation-webui. يتصل SillyTavern بكل منها عبر إعدادات الـ API الخاصة به. يُعد KoboldCpp شائعاً بين مستخدمي لعب الأدوار لأنه يوفر خيارات المُعدِّل (sampler) ويتعامل مع السياقات الطويلة بشكل جيد، لكن أيّاً منها يعمل.

هذه الأرقام إرشادية وليست معايير قياس. إذا وجدت نموذجاً يناسبك، جرّبه لمدة أسبوع من الدردشة الحقيقية قبل أن تقرر أنه الخيار الأمثل.

المكان الذي تتفوق فيه نقطة النهاية المستضافة

تعني "مستضافة" أن الخادم يشغّل النموذج وتقوم باستدعائه عبر HTTPS. يدعم SillyTavern نقاط النهاية المتوافقة مع OpenAI، لذا يعمل هذا مع عنوان URL أساسي ومفتاح واسم النموذج. توجد الإعدادات في لوحة اتصال الـ API الخاصة بـ SillyTavern؛ اختر مصدر إكمال الدردشة المخصص أو المتوافق مع OpenAI وأدخل:

  • URL: https://api.unrestrictedaimodels.com/v1
  • المفتاح: المفتاح الموجود في لوحة التحكم الخاصة بك
  • النموذج: uncensored

المزايا مقارنة بالتشغيل محلياً:

  • السياق. نافذة السياق تتسع لـ 100,000 رمز (token) (الموجّه بالإضافة إلى الرد)، وهو ما يتجاوز بكثير ما تتحمله معظم وحدات معالجة الرسومات المنزلية.
  • لا حاجة لأجهزة. يعمل على الحاسوب المحمول، أو متصفح الجهاز اللوحي، أو الهاتف.
  • لا حرارة أو ضوضاء، ولا تكلفة كهرباء من جانبك.
  • لا حاجة للصيانة. لا تقوم بتحديث برامج التشغيل، أو إعادة تنزيل الملفات، أو ضبط الإعدادات للذاكرة.

النموذج مُعدّ للإجابة دون رفض المحتوى للاستخدام القانوني للبالغين. لا تُستخدم الموجّهات في التدريب. توضح صفحة SillyTavern vs Janitor AI الفروقات بين واجهات المستخدم الأمامية.

المكان الذي يتفوق فيه التشغيل المحلي

وبعدالة، للتشغيل المحلي مزايا حقيقية.

  • خصوصية كاملة. لا يغادر أي شيء جهازك.
  • استخدام دون اتصال. الطائرة، الكوخ أو الشبكة المحظورة ليست عقبة.
  • لا تكلفة لكل رمز (token) بعد شراء الأجهزة.
  • خيار كامل. يمكنك تجربة مئات النماذج المُعدّلة مجتمعياً، والدمجات، وLoRAs والتبديل بينها. تقدم نقطة النهاية المستضافة مثل هذه نموذجاً واحداً فقط.
  • التحكم في المُعدِّلات (samplers) وبقية النظام، وهو ما يستمتع به المهتمون بالتخصيص.

إذا كان هوايتك هي النموذج نفسه، وتجربة الإصدارات الجديدة ومقارنتها، فالإعداد المحلي هو الخيار المناسب. أما إذا كانت الهواية هي القصص والشخصيات، فإن النموذج مجرد أداة، ويوفر لك النموذج المستضاف المستقر الوقت.

مقارنة التكاليف بالأرقام

خذ مستخدمًا كثيف الاستخدام: 200 رسالة يوميًا، و12,000 رمز من السياق في كل رسالة، و250 رمزًا للرد. لشهر مكون من 30 يومًا:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

مستخدم أخف استخدامًا مع 50 رسالة يوميًا يدفع حوالي ربع هذا المبلغ، أي ما يقارب $2.89. الرصيد لا ينتهي، وتبدأ الشحنات من $20، لذا لا يوجد التزام شهري؛ انظر إلى صفحة الأسعار.

بالنسبة للإعداد المحلي، احسب ما تملكه. إذا كان لديك بالفعل بطاقة رسومات بسعة 24 GB لأسباب أخرى، فإن التكلفة الحدية هي الكهرباء. يستهلك النظام الذي يستهلك 350 واط لمدة 3 ساعات يوميًا 0.35 × 3 × 30 = 31.5 كيلوواط ساعة في الشهر؛ اضرب هذا في معدل الكهرباء المحلي لديك. إذا كان عليك شراء بطاقة الرسومات (GPU) لهذا الغرض فقط، قارن سعرها (تحقق من القوائم الحالية) بالرقم الشهري أعلاه؛ يظل الخيار المستضاف أرخص لفترة طويلة في الاستخدام العادي.

إعدادات SillyTavern التي تهمك بأي حال

بغض النظر عن الخلفية التي تختارها، فإن بعض إعدادات SillyTavern تحدد كيفية شعور الدردشة.

  • حجم السياق. طابقه مع ما يدعمه الخادم فعليًا. سيتجاهل النموذج المحلي الذي تم تحميله بـ 8,192 رمز من السياق إعدادًا بقيمة 32,000. بالنسبة لواجهة برمجة التطبيقات المستضافة، فإن الحد الأقصى هو 100,000 رمز بما في ذلك الرد، لذا اترك مساحة للاستجابة.
  • طول الاستجابة. بضع مئات من الرموز كافية لمعظم الأدوار. الردود الطويلة بطيئة على بطاقات محلية صغيرة وتكلف المزيد من رموز المخرجات على الخوادم المستضافة.
  • البث المتدفق. فعّله. ترى النص على الفور ويمكنك إيقاف الرد السيئ مبكرًا.
  • كتب Lorebooks والملخصات. تحافظ هذه على اتساق القصة دون دفع كامل التاريخ إلى كل موجّه، مما يساعد في توفير ذاكرة الوصول العشوائي محلياً وتقليل التكلفة عند الاستضافة.
  • المُعينات (Samplers). ابدأ بدرجة حرارة قريبة من 0.8 وغير قيمة واحدة في كل مرة. تعرض الخوادم المحلية المزيد من المُعينات مما تفعله واجهة إكمال الدردشة، وهو أحد الأسباب التي يفضل بها المهوون هذه الخوادم.

إذا انتقلت من المحلي إلى المستضاف، فانتظر إعادة ضبط الإعدادين الأولين. يكافئ النموذج المستضاف ذو النافذة الكبيرة إعداد سياق أكبر وعادة تلخيص جيدة؛ بينما يكافئ النموذج المحلي الموجّهات القصيرة وبطاقات الشخصيات الضيقة.

كيف تقرر، وكيف تختبر بتكلفة منخفضة

  1. اذكر عتادك. إذا كان لديك أقل من 12 GB من ذاكرة الوصول العشوائي للفيديو (VRAM)، فسيكون الإعداد المحلي محدودًا في السياق وجودة النص، ومن المرجح أن يكون الخيار المستضاف أفضل.
  2. حدد ما يهم أكثر: الخصوصية والاستخدام دون اتصال، أو السياق الطويل وبدون إعدادات.
  3. جرب نقطة النهاية المستضافة أولاً. أنشئ مفتاحًا واحصل على رصيد التجربة بقيمة $0.50 بنقرة واحدة؛ لا يحتاج إلى بطاقة ويستمر لمدة 7 أيام. بمعدل الاستخدام الخفيف المذكور أعلاه، يغطي ذلك عدة أيام من الدردشة العارضة.
  4. قم بتنزيل نموذج محلي يناسب بطاقتك وشغل نفس الشخصية والمشهد. قارن جودة الرد والسرعة ومدة بقاء الذاكرة.

يحتفظ العديد من المستخدمين بكلا الخيارين: المحلي للجلسات الخاصة أو غير المتصلة، والمستضاف للمغامرات الطويلة التي تحتاج إلى سياق ضخم. يتيح لك SillyTavern حفظ ملفات تعريف اتصال منفصلة، بحيث يستغرق التبديل بضع نقرات. لمزيد من الاطلاع على إعدادات الدردشة، اقرأ دليل روبوت الدردشة.

أسئلة وأجوبة

كم ذاكرة الوصول العشوائي للفيديو (VRAM) أحتاج لـ SillyTavern؟

بالنسبة لنموذج 8B بـ 4 بت، حوالي 6 إلى 8 GB مع سياق متواضع. بالنسبة لنماذج 24B إلى 32B خطط لـ 24 GB، واترك مساحة لذاكرة التخزين المؤقت للسياق.

هل يمكنني استخدام SillyTavern مع واجهة برمجة التطبيقات هذه المستضافة؟

نعم. أضفه كمصدر لإكمال الدردشة متوافق مع OpenAI مع عنوان URL الأساسي https://api.unrestrictedaimodels.com/v1 ومفتاحك والنموذج uncensored.

هل النموذج المستضاف هو نفسه النموذج المحلي؟

إنه نموذج مفتوح الأوزان واحد تُشغّله جهة مستقلة، وليس واجهة برمجة تطبيقات رسمية من أي بائع كبير ولا وسيطًا بين عدة مزوّدين. تتيح لك الإعدادات المحلية اختيار العديد من النماذج.

ما هو حد السياق في واجهة برمجة التطبيقات المستضافة؟

100,000 رمز للموجّه بالإضافة إلى الرد. تعتمد الحدود المحلية على ذاكرتك والنموذج الذي تقوم بتحميله.

مفتاحك على بُعد نموذج واحد

أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذه هي الإعدادات الكاملة.

احصل على مفتاح API