TH ▾
รับคีย์ API

โมเดล LLM ท้องถิ่นที่ดีที่สุดสำหรับ SillyTavern เทียบกับเอนด์พอยต์แบบโฮสต์

การค้นหาโมเดลโลคัลที่ดีที่สุดสำหรับ sillytavern มีคำตอบที่ตรงไปตรงมา: โมเดลที่ใหญ่ที่สุดที่พอดีกับการ์ดจอของคุณโดยเหลือพื้นที่สำหรับบริบท และสำหรับหลายคน โมเดลที่เล็กกว่าที่หวังไว้ หน้าเว็บนี้ช่วยคุณประเมินขนาดการเลือกนั้นและเปรียบเทียบกับเอนด์พอยต์แบบโฮสต์

GPU บนเดสก์ท็อปฝั่งหนึ่งและเซิร์ฟเวอร์คลาวด์อีกฝั่งหนึ่งเชื่อมต่อกันโดยแสงสว่าง เปรียบเทียบโมเดล LLM แบบท้องถิ่นและแบบโฮสต์
ลำธารของอนุภาคเรืองแสงไหลจากคีย์ผ่านโหนดคลาวด์และกลับกลายเป็นฟองแชท

อัปเดต

ประเด็นสำคัญ

  • โมเดลท้องถิ่นถูกจำกัดด้วย VRAM: น้ำหนักโมเดลและแคชหน้าต่างบริบทต้องพอดีทั้งคู่
  • การรันแบบท้องถิ่นให้คุณมีความเป็นส่วนตัว ไม่มีบิลการใช้งาน และใช้งานออฟไลน์ได้; การโฮสต์ให้คุณมีหน้าต่างบริบทที่ใหญ่ขึ้นและไม่ต้องใช้ฮาร์ดแวร์
  • SillyTavern รองรับทั้งสองแบบ ดังนั้นคุณสามารถทดสอบเอนด์พอยต์แบบโฮสต์ได้ภายในไม่กี่นาทีก่อนซื้อ GPU
  • ในการใช้งานบทบาทสมมติแบบหนักทั่วไป ค่าโทเคนแบบโฮสต์อยู่ที่ประมาณ $11.55 ต่อเดือน ที่อัตรา $0.15 และ $0.50 ต่อ 1M โทเคน

อะไรที่กำหนดประสิทธิภาพของโมเดลท้องถิ่น

ข้อจำกัดสามประการกำหนดประสบการณ์ และทั้งหมดเป็นข้อจำกัดด้านฮาร์ดแวร์

น้ำหนักโมเดลต้องอยู่ในหน่วยความจำ

โมเดลที่มีพารามิเตอร์ N พันล้านตัวต้องการหน่วยความจำสำหรับน้ำหนักโมเดล ในรูปแบบ 16-bit จะมีขนาดประมาณ 2 GB ต่อพารามิเตอร์พันล้านตัว เมื่อ quantize เป็น 4-bit ซึ่งผู้ใช้โลคัลส่วนใหญ่ทำ จะมีขนาดประมาณ 0.5 ถึง 0.6 GB ต่อพารามิเตอร์พันล้านตัว โมเดล 8B จึงต้องการพื้นที่ประมาณ 5 GB โมเดลขนาด 24B ถึง 32B ต้องการ 14 ถึง 20 GB และโมเดล 70B ต้องการประมาณ 40 GB นี่คือกฎทั่วไป รูปแบบ quantization และขนาดไฟล์อาจแตกต่างกัน จึงควรตรวจสอบขนาดไฟล์จริงในหน้าดาวน์โหลด

หน้าต่างบริบทใช้หน่วยความจำเช่นกัน

โทเคนทุกตัวในการสนทนาจะใช้พื้นที่ในแคชแบบ key-value การเล่านิทานบทบาทที่ยาวนานซึ่งมีประวัติการสนทนา 16,000 หรือ 32,000 โทเคน อาจใช้พื้นที่หลายกิกะไบต์เพิ่มเติมจากน้ำหนักโมเดล หลายคนโหลดโมเดลแล้วพบว่ามันพอดี แต่แล้วเจอปัญหาหน่วยความจำหมดเมื่อแชทไปได้ไม่กี่ร้อยข้อความ ควรเผื่อพื้นที่ไว้

ความเร็วขึ้นอยู่กับตำแหน่งที่โมเดลทำงาน

หากโมเดลทั้งหมดอยู่ในหน่วยความจำ GPU การตอบกลับจะรวดเร็ว หากชั้นของโมเดลล้นเข้าไปใน RAM ของระบบ ความเร็วในการสร้างข้อความจะลดลงอย่างมาก โมเดลที่ "ทำงานได้" ที่ความเร็วสองโทเคนต่อวินาที ถือว่าเป็นคู่สนทนาที่ไม่ดี

ดังนั้นคำถามในทางปฏิบัติจึงไม่ใช่ "โมเดลใดดีที่สุด" แต่เป็น "คลาสขนาดใดที่พอดีกับการ์ดของฉันโดยมีพื้นที่เหลือสำหรับหน้าต่างบริบท" ตารางผู้นำและคำแนะนำของชุมชนเปลี่ยนแปลงไปทุกเดือน และเป็นการแสดงความคิดเห็น ดังนั้นควรตรวจสอบด้วยพรอมต์ของคุณเอง

แนวทางโดยประมาณตามฮาร์ดแวร์

หน่วยความจำ GPU ของคุณขนาดโมเดลที่สมจริง (4-bit)สิ่งที่คาดหวังได้
6 ถึง 8 GB7B ถึง 8Bเร็ว บริบทสั้น ภาษาเรียบง่าย
12 ถึง 16 GB12B ถึง 14Bสมดุลที่ดีสำหรับบทบาทสมมติแบบทั่วไป
24 GB24B ถึง 32Bจุดที่เหมาะสมที่สุดสำหรับผู้ที่ชื่นชอบ
48 GB ขึ้นไปรุ่นขนาด 70Bต้องการการ์ดสองใบหรือการ์ดเวิร์กสเตชัน
ไม่มี GPUโมเดลขนาดเล็กบน CPUช้า; เหมาะสำหรับการทดสอบ แต่ไม่สะดวกสำหรับการใช้งานประจำวัน

สำหรับการรันโมเดลเหล่านี้ ตัวเลือกทั่วไปคือ Ollama, KoboldCpp, llama.cpp และ text-generation-webui SillyTavern เชื่อมต่อกับแต่ละตัวผ่านการตั้งค่า API KoboldCpp เป็นที่นิยมในหมู่ผู้ใช้การเล่านิทานบทบาท เพราะเปิดใช้งานตัวเลือกตัวสุ่มตัวอย่าง (Sampler) และจัดการบริบทยาวได้ดี แต่ตัวเลือกใดก็ใช้งานได้

ตัวเลขเหล่านี้เป็นแนวทาง ไม่ใช่ผลการทดสอบ หากพบโมเดลที่ตรงใจ ให้ลองใช้งานจริงในการแชทเป็นเวลาหนึ่งสัปดาห์ก่อนตัดสินใจว่าเป็นตัวเลือกที่ดีที่สุด

จุดที่ Endpoint แบบโฮสต์ได้เปรียบ

Hosted หมายถึงเซิร์ฟเวอร์รันโมเดลและคุณเรียกใช้ผ่าน HTTPS SillyTavern รองรับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ดังนั้นตัวเลือกนี้จึงใช้งานได้โดยระบุ URL ฐาน, คีย์ และชื่อโมเดล การตั้งค่าอยู่ในแผงการเชื่อมต่อ API ของ SillyTavern ให้เลือกแหล่ง chat completion แบบกำหนดเองหรือที่เข้ากันได้กับ OpenAI แล้วกรอก:

  • URL: https://api.unrestrictedaimodels.com/v1
  • คีย์: คีย์จากแดชบอร์ดของคุณ
  • โมเดล: uncensored

ข้อได้เปรียบเมื่อเทียบกับแบบโลคอล:

  • บริบท หน้าต่างบริบทมีขนาด 100,000 โทเคน (รวมพรอมต์และการตอบกลับ) ซึ่งเกินกว่าที่การ์ดจอในบ้านส่วนใหญ่จะรองรับ
  • ไม่ต้องใช้ฮาร์ดแวร์เฉพาะ ทำงานบนแล็ปท็อป เบราเซอร์แท็บเล็ตหรือโทรศัพท์ได้
  • ไม่มีความร้อนหรือเสียงดัง และไม่มีค่าไฟฟ้าในส่วนของคุณ
  • ไม่ต้องดูแลรักษา คุณไม่ต้องอัปเดตไดรเวอร์ ดาวน์โหลดไฟล์ใหม่ หรือปรับการตั้งค่าสำหรับหน่วยความจำ

โมเดลได้รับการปรับแต่งให้ตอบกลับโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล หน้า SillyTavern vs Janitor AI อธิบายความแตกต่างระหว่างเฟรนต์เอนด์

จุดที่แบบโลคอลได้เปรียบ

ด้วยความยุติธรรม แบบโลคอลมีจุดแข็งที่แท้จริง

  • ความเป็นส่วนตัวเต็มรูปแบบ ข้อมูลทั้งหมดไม่ออกจากเครื่องของคุณ
  • การใช้งานแบบออฟไลน์ เครื่องบิน ห้องประชุมหรือเครือข่ายที่บล็อกไว้ไม่ใช่อุปสรรค
  • ไม่มีต้นทุนต่อโทเคน หลังจากจ่ายค่าฮาร์ดแวร์แล้ว
  • ทางเลือกทั้งหมด คุณสามารถลอง fine-tunes, merges และ LoRA จากชุมชนนับร้อยและสลับระหว่างโมเดลเหล่านั้นได้ เอนด์พอยต์แบบโฮสต์เช่นนี้มักมีเพียงโมเดลเดียว
  • การควบคุม sampler และสแต็กทั้งหมด ซึ่งผู้ที่ชอบปรับแต่งจะชื่นชอบ

หากงานอดิเรกของคุณคือโมเดลเอง การลองใช้เวอร์ชันใหม่และการเปรียบเทียบกัน การใช้งานแบบโลคัลคือตัวเลือกที่เหมาะสม หากงานอดิเรกของคุณคือเรื่องราวและตัวละคร โมเดลเป็นเพียงเครื่องมือ และการใช้งานแบบโฮสต์ช่วยประหยัดเวลา

การเปรียบเทียบต้นทุนด้วยตัวเลข

พิจารณาผู้ใช้หนัก: 200 ข้อความต่อวัน บริบท 12,000 โทเคนต่อข้อความ และการตอบกลับ 250 โทเคน สำหรับเดือน 30 วัน:

Input:  200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30    =  1,500,000 tokens ->  1.5 x $0.50 = $0.75
Total: $11.55 per month

ผู้ใช้ระดับเบาที่ส่งข้อความประมาณ 50 ข้อความต่อวัน จะเสียค่าใช้จ่ายประมาณหนึ่งในสี่ของจำนวนนั้น หรือประมาณ $2.89 เครดิตไม่หมดอายุ และการเติมเงินเริ่มต้นที่ $20 จึงไม่ต้องผูกมัดรายเดือน ดูหน้าราคา

สำหรับการใช้งานแบบโลคัล ให้คำนวณจากทรัพยากรที่คุณมี หากคุณมีการ์ดจอ 24 GB อยู่แล้วเพื่อวัตถุประสงค์อื่น ค่าใช้จ่ายเพิ่มเติมคือค่าไฟฟ้า ระบบที่ใช้พลังงาน 350 W เป็นเวลา 3 ชั่วโมงต่อวัน จะใช้ไฟฟ้า 0.35 x 3 x 30 = 31.5 kWh ต่อเดือน คูณด้วยอัตราค่าไฟฟ้าในท้องถิ่นของคุณ หากคุณต้องซื้อ GPU เฉพาะสำหรับการใช้งานนี้ ให้เปรียบเทียบราคา (ตรวจสอบราคาปัจจุบัน) กับตัวเลขรายเดือนข้างต้น ตัวเลือกแบบโฮสต์จะคุ้มค่ากว่าในระยะยาวสำหรับการใช้งานปกติ

การตั้งค่า SillyTavern ที่สำคัญไม่ว่าคุณจะเลือกอะไร

ไม่ว่าคุณจะเลือกแบ็กเอนด์แบบใด การตั้งค่า SillyTavern บางอย่างจะเป็นตัวกำหนดความรู้สึกของการแชท

  • ขนาดบริบท จับคู่กับสิ่งที่ backend รองรับจริง โมเดลโลคัลที่โหลดด้วยบริบท 8,192 โทเคน จะเพิกเฉยต่อการตั้งค่า 32,000 สำหรับ API แบบโฮสต์ ขีดจำกัดสูงสุดคือ 100,000 โทเคน รวมถึงการตอบกลับ จึงควรเหลือพื้นที่สำหรับการตอบกลับ
  • ความยาวการตอบกลับ โทเคนไม่กี่ร้อยตัวก็เพียงพอสำหรับการสนทนาส่วนใหญ่ การตอบกลับที่ยาวจะช้าบนการ์ดโลคัลขนาดเล็ก และใช้โทเคนเอาต์พุตมากขึ้นบนแบบโฮสต์
  • สตรีมมิง เปิดใช้งาน คุณจะเห็นข้อความทันทีและสามารถหยุดการตอบกลับที่ไม่ดีได้เร็วขึ้น
  • หนังสือเรื่องเล่าและบทสรุป สิ่งเหล่านี้ช่วยรักษาความสอดคล้องของเรื่องราวโดยไม่ต้องดันประวัติทั้งหมดเข้าไปในพรอมต์ทุกครั้ง ซึ่งช่วยประหยัด VRAM ในระบบโลคัลและประหยัดค่าใช้จ่ายเมื่อใช้งานแบบโฮสต์
  • ตัวสุ่มค่า (Samplers) เริ่มต้นที่อุณหภูมิประมาณ 0.8 แล้วเปลี่ยนค่าทีละค่า แบนด์เอนด์แบบโลคัลเปิดใช้งานตัวสุ่มได้มากกว่า API การสนทนาแบบเสร็จสิ้น ซึ่งเป็นเหตุผลหนึ่งที่ทำให้ผู้ชื่นชอบเลือกใช้

หากคุณเปลี่ยนจากโลคัลเป็นโฮสต์ คาดว่าจะต้องปรับจูนสองรายการแรก โมเดลแบบโฮสต์ที่มีหน้าต่างขนาดใหญ่จะได้รับประโยชน์จากการตั้งค่าบริบทที่ใหญ่ขึ้นและนิสัยการสรุปที่ดี โมเดลโลคัลขนาดเล็กจะได้รับประโยชน์จากพรอมต์ที่สั้นและการ์ดตัวละครที่กระชับ

วิธีการตัดสินใจและการทดสอบด้วยต้นทุนต่ำ

  1. ระบุฮาร์ดแวร์ของคุณ หากคุณมี VRAM น้อยกว่า 12 GB การตั้งค่าแบบโลคัลจะจำกัดขนาดบริบทและคุณภาพของเนื้อหา และตัวเลือกแบบโฮสต์น่าจะดีกว่า
  2. ตัดสินใจว่าสิ่งใดสำคัญกว่า: ความเป็นส่วนตัวและการใช้งานออฟไลน์ หรือบริบทที่ยาวและการตั้งค่าแบบไม่มีขั้นตอน
  3. ลองใช้เอนด์พอยต์แบบโฮสต์ก่อน สร้างคีย์ และรับเครดิตทดลองใช้ฟรี $0.50 ด้วยคลิกเดียว; ไม่ต้องใช้บัตรและใช้งานได้ 7 วัน อัตราการใช้งานเบาข้างต้นครอบคลุมการแชททั่วไปหลายวัน
  4. ดาวน์โหลดโมเดลโลคัลที่ตรงกับการ์ดจอของคุณและรันตัวละครและฉากเดียวกัน เปรียบเทียบคุณภาพการตอบกลับ ความเร็ว และระยะเวลาที่ความจำยังคงอยู่

ผู้ใช้จำนวนมากใช้ทั้งสองแบบ: แบบโลคัลสำหรับการสนทนาส่วนตัวหรือออฟไลน์ แบบโฮสต์สำหรับการผจญภัยที่ยาวนานซึ่งต้องการบริบทขนาดใหญ่ SillyTavern ช่วยบันทึกโปรไฟล์การเชื่อมต่อแยกกัน ทำให้การสลับทำได้เพียงไม่กี่คลิก สำหรับการดูภาพรวมกว้างๆ เกี่ยวกับการสร้างการตั้งค่าแชท อ่าน คู่มือแชทบอท

ถาม-ตอบ

ฉันต้องการ VRAM เท่าไหร่สำหรับ SillyTavern

สำหรับโมเดล 8B แบบ 4-bit ใช้ประมาณ 6 ถึง 8 GB พร้อมหน้าต่างบริบทเล็กน้อย สำหรับโมเดลขนาด 24B ถึง 32B วางแผนใช้ 24 GB และสำรองพื้นที่สำหรับแคชบริบท

ฉันสามารถใช้ SillyTavern กับ API แบบโฮสต์นี้ได้หรือไม่

ได้ เพิ่มเป็นแหล่งที่มาของการสนทนาแบบเสร็จสิ้นที่เข้ากันได้กับ OpenAI โดยใช้ URL ฐาน https://api.unrestrictedaimodels.com/v1, คีย์ของคุณ และโมเดล uncensored

โมเดลแบบโฮสต์เหมือนกับแบบโลคัลหรือไม่

เป็นโมเดล open-weight model เดียวที่ให้บริการโดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของผู้ขายรายใหญ่ และไม่ใช่ router ที่เชื่อมข้ามผู้ให้บริการ การติดตั้งในเครื่องช่วยให้คุณเลือกโมเดลได้หลายตัว

ขีดจำกัดบริบทบน API แบบโฮสต์คือเท่าใด

100,000 โทเคนสำหรับพรอมต์และการตอบกลับ ขีดจำกัดแบบโลคัลขึ้นอยู่กับหน่วยความจำและโมเดลที่คุณโหลด

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API