โมเดล LLM ท้องถิ่นที่ดีที่สุดสำหรับ SillyTavern เทียบกับเอนด์พอยต์แบบโฮสต์
การค้นหาโมเดลโลคัลที่ดีที่สุดสำหรับ sillytavern มีคำตอบที่ตรงไปตรงมา: โมเดลที่ใหญ่ที่สุดที่พอดีกับการ์ดจอของคุณโดยเหลือพื้นที่สำหรับบริบท และสำหรับหลายคน โมเดลที่เล็กกว่าที่หวังไว้ หน้าเว็บนี้ช่วยคุณประเมินขนาดการเลือกนั้นและเปรียบเทียบกับเอนด์พอยต์แบบโฮสต์


อัปเดต
ประเด็นสำคัญ
- โมเดลท้องถิ่นถูกจำกัดด้วย VRAM: น้ำหนักโมเดลและแคชหน้าต่างบริบทต้องพอดีทั้งคู่
- การรันแบบท้องถิ่นให้คุณมีความเป็นส่วนตัว ไม่มีบิลการใช้งาน และใช้งานออฟไลน์ได้; การโฮสต์ให้คุณมีหน้าต่างบริบทที่ใหญ่ขึ้นและไม่ต้องใช้ฮาร์ดแวร์
- SillyTavern รองรับทั้งสองแบบ ดังนั้นคุณสามารถทดสอบเอนด์พอยต์แบบโฮสต์ได้ภายในไม่กี่นาทีก่อนซื้อ GPU
- ในการใช้งานบทบาทสมมติแบบหนักทั่วไป ค่าโทเคนแบบโฮสต์อยู่ที่ประมาณ $11.55 ต่อเดือน ที่อัตรา $0.15 และ $0.50 ต่อ 1M โทเคน
อะไรที่กำหนดประสิทธิภาพของโมเดลท้องถิ่น
ข้อจำกัดสามประการกำหนดประสบการณ์ และทั้งหมดเป็นข้อจำกัดด้านฮาร์ดแวร์
น้ำหนักโมเดลต้องอยู่ในหน่วยความจำ
โมเดลที่มีพารามิเตอร์ N พันล้านตัวต้องการหน่วยความจำสำหรับน้ำหนักโมเดล ในรูปแบบ 16-bit จะมีขนาดประมาณ 2 GB ต่อพารามิเตอร์พันล้านตัว เมื่อ quantize เป็น 4-bit ซึ่งผู้ใช้โลคัลส่วนใหญ่ทำ จะมีขนาดประมาณ 0.5 ถึง 0.6 GB ต่อพารามิเตอร์พันล้านตัว โมเดล 8B จึงต้องการพื้นที่ประมาณ 5 GB โมเดลขนาด 24B ถึง 32B ต้องการ 14 ถึง 20 GB และโมเดล 70B ต้องการประมาณ 40 GB นี่คือกฎทั่วไป รูปแบบ quantization และขนาดไฟล์อาจแตกต่างกัน จึงควรตรวจสอบขนาดไฟล์จริงในหน้าดาวน์โหลด
หน้าต่างบริบทใช้หน่วยความจำเช่นกัน
โทเคนทุกตัวในการสนทนาจะใช้พื้นที่ในแคชแบบ key-value การเล่านิทานบทบาทที่ยาวนานซึ่งมีประวัติการสนทนา 16,000 หรือ 32,000 โทเคน อาจใช้พื้นที่หลายกิกะไบต์เพิ่มเติมจากน้ำหนักโมเดล หลายคนโหลดโมเดลแล้วพบว่ามันพอดี แต่แล้วเจอปัญหาหน่วยความจำหมดเมื่อแชทไปได้ไม่กี่ร้อยข้อความ ควรเผื่อพื้นที่ไว้
ความเร็วขึ้นอยู่กับตำแหน่งที่โมเดลทำงาน
หากโมเดลทั้งหมดอยู่ในหน่วยความจำ GPU การตอบกลับจะรวดเร็ว หากชั้นของโมเดลล้นเข้าไปใน RAM ของระบบ ความเร็วในการสร้างข้อความจะลดลงอย่างมาก โมเดลที่ "ทำงานได้" ที่ความเร็วสองโทเคนต่อวินาที ถือว่าเป็นคู่สนทนาที่ไม่ดี
ดังนั้นคำถามในทางปฏิบัติจึงไม่ใช่ "โมเดลใดดีที่สุด" แต่เป็น "คลาสขนาดใดที่พอดีกับการ์ดของฉันโดยมีพื้นที่เหลือสำหรับหน้าต่างบริบท" ตารางผู้นำและคำแนะนำของชุมชนเปลี่ยนแปลงไปทุกเดือน และเป็นการแสดงความคิดเห็น ดังนั้นควรตรวจสอบด้วยพรอมต์ของคุณเอง
แนวทางโดยประมาณตามฮาร์ดแวร์
| หน่วยความจำ GPU ของคุณ | ขนาดโมเดลที่สมจริง (4-bit) | สิ่งที่คาดหวังได้ |
|---|---|---|
| 6 ถึง 8 GB | 7B ถึง 8B | เร็ว บริบทสั้น ภาษาเรียบง่าย |
| 12 ถึง 16 GB | 12B ถึง 14B | สมดุลที่ดีสำหรับบทบาทสมมติแบบทั่วไป |
| 24 GB | 24B ถึง 32B | จุดที่เหมาะสมที่สุดสำหรับผู้ที่ชื่นชอบ |
| 48 GB ขึ้นไป | รุ่นขนาด 70B | ต้องการการ์ดสองใบหรือการ์ดเวิร์กสเตชัน |
| ไม่มี GPU | โมเดลขนาดเล็กบน CPU | ช้า; เหมาะสำหรับการทดสอบ แต่ไม่สะดวกสำหรับการใช้งานประจำวัน |
สำหรับการรันโมเดลเหล่านี้ ตัวเลือกทั่วไปคือ Ollama, KoboldCpp, llama.cpp และ text-generation-webui SillyTavern เชื่อมต่อกับแต่ละตัวผ่านการตั้งค่า API KoboldCpp เป็นที่นิยมในหมู่ผู้ใช้การเล่านิทานบทบาท เพราะเปิดใช้งานตัวเลือกตัวสุ่มตัวอย่าง (Sampler) และจัดการบริบทยาวได้ดี แต่ตัวเลือกใดก็ใช้งานได้
ตัวเลขเหล่านี้เป็นแนวทาง ไม่ใช่ผลการทดสอบ หากพบโมเดลที่ตรงใจ ให้ลองใช้งานจริงในการแชทเป็นเวลาหนึ่งสัปดาห์ก่อนตัดสินใจว่าเป็นตัวเลือกที่ดีที่สุด
จุดที่ Endpoint แบบโฮสต์ได้เปรียบ
Hosted หมายถึงเซิร์ฟเวอร์รันโมเดลและคุณเรียกใช้ผ่าน HTTPS SillyTavern รองรับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI ดังนั้นตัวเลือกนี้จึงใช้งานได้โดยระบุ URL ฐาน, คีย์ และชื่อโมเดล การตั้งค่าอยู่ในแผงการเชื่อมต่อ API ของ SillyTavern ให้เลือกแหล่ง chat completion แบบกำหนดเองหรือที่เข้ากันได้กับ OpenAI แล้วกรอก:
- URL:
https://api.unrestrictedaimodels.com/v1 - คีย์: คีย์จากแดชบอร์ดของคุณ
- โมเดล:
uncensored
ข้อได้เปรียบเมื่อเทียบกับแบบโลคอล:
- บริบท หน้าต่างบริบทมีขนาด 100,000 โทเคน (รวมพรอมต์และการตอบกลับ) ซึ่งเกินกว่าที่การ์ดจอในบ้านส่วนใหญ่จะรองรับ
- ไม่ต้องใช้ฮาร์ดแวร์เฉพาะ ทำงานบนแล็ปท็อป เบราเซอร์แท็บเล็ตหรือโทรศัพท์ได้
- ไม่มีความร้อนหรือเสียงดัง และไม่มีค่าไฟฟ้าในส่วนของคุณ
- ไม่ต้องดูแลรักษา คุณไม่ต้องอัปเดตไดรเวอร์ ดาวน์โหลดไฟล์ใหม่ หรือปรับการตั้งค่าสำหรับหน่วยความจำ
โมเดลได้รับการปรับแต่งให้ตอบกลับโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล หน้า SillyTavern vs Janitor AI อธิบายความแตกต่างระหว่างเฟรนต์เอนด์
จุดที่แบบโลคอลได้เปรียบ
ด้วยความยุติธรรม แบบโลคอลมีจุดแข็งที่แท้จริง
- ความเป็นส่วนตัวเต็มรูปแบบ ข้อมูลทั้งหมดไม่ออกจากเครื่องของคุณ
- การใช้งานแบบออฟไลน์ เครื่องบิน ห้องประชุมหรือเครือข่ายที่บล็อกไว้ไม่ใช่อุปสรรค
- ไม่มีต้นทุนต่อโทเคน หลังจากจ่ายค่าฮาร์ดแวร์แล้ว
- ทางเลือกทั้งหมด คุณสามารถลอง fine-tunes, merges และ LoRA จากชุมชนนับร้อยและสลับระหว่างโมเดลเหล่านั้นได้ เอนด์พอยต์แบบโฮสต์เช่นนี้มักมีเพียงโมเดลเดียว
- การควบคุม sampler และสแต็กทั้งหมด ซึ่งผู้ที่ชอบปรับแต่งจะชื่นชอบ
หากงานอดิเรกของคุณคือโมเดลเอง การลองใช้เวอร์ชันใหม่และการเปรียบเทียบกัน การใช้งานแบบโลคัลคือตัวเลือกที่เหมาะสม หากงานอดิเรกของคุณคือเรื่องราวและตัวละคร โมเดลเป็นเพียงเครื่องมือ และการใช้งานแบบโฮสต์ช่วยประหยัดเวลา
การเปรียบเทียบต้นทุนด้วยตัวเลข
พิจารณาผู้ใช้หนัก: 200 ข้อความต่อวัน บริบท 12,000 โทเคนต่อข้อความ และการตอบกลับ 250 โทเคน สำหรับเดือน 30 วัน:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
ผู้ใช้ระดับเบาที่ส่งข้อความประมาณ 50 ข้อความต่อวัน จะเสียค่าใช้จ่ายประมาณหนึ่งในสี่ของจำนวนนั้น หรือประมาณ $2.89 เครดิตไม่หมดอายุ และการเติมเงินเริ่มต้นที่ $20 จึงไม่ต้องผูกมัดรายเดือน ดูหน้าราคา
สำหรับการใช้งานแบบโลคัล ให้คำนวณจากทรัพยากรที่คุณมี หากคุณมีการ์ดจอ 24 GB อยู่แล้วเพื่อวัตถุประสงค์อื่น ค่าใช้จ่ายเพิ่มเติมคือค่าไฟฟ้า ระบบที่ใช้พลังงาน 350 W เป็นเวลา 3 ชั่วโมงต่อวัน จะใช้ไฟฟ้า 0.35 x 3 x 30 = 31.5 kWh ต่อเดือน คูณด้วยอัตราค่าไฟฟ้าในท้องถิ่นของคุณ หากคุณต้องซื้อ GPU เฉพาะสำหรับการใช้งานนี้ ให้เปรียบเทียบราคา (ตรวจสอบราคาปัจจุบัน) กับตัวเลขรายเดือนข้างต้น ตัวเลือกแบบโฮสต์จะคุ้มค่ากว่าในระยะยาวสำหรับการใช้งานปกติ
การตั้งค่า SillyTavern ที่สำคัญไม่ว่าคุณจะเลือกอะไร
ไม่ว่าคุณจะเลือกแบ็กเอนด์แบบใด การตั้งค่า SillyTavern บางอย่างจะเป็นตัวกำหนดความรู้สึกของการแชท
- ขนาดบริบท จับคู่กับสิ่งที่ backend รองรับจริง โมเดลโลคัลที่โหลดด้วยบริบท 8,192 โทเคน จะเพิกเฉยต่อการตั้งค่า 32,000 สำหรับ API แบบโฮสต์ ขีดจำกัดสูงสุดคือ 100,000 โทเคน รวมถึงการตอบกลับ จึงควรเหลือพื้นที่สำหรับการตอบกลับ
- ความยาวการตอบกลับ โทเคนไม่กี่ร้อยตัวก็เพียงพอสำหรับการสนทนาส่วนใหญ่ การตอบกลับที่ยาวจะช้าบนการ์ดโลคัลขนาดเล็ก และใช้โทเคนเอาต์พุตมากขึ้นบนแบบโฮสต์
- สตรีมมิง เปิดใช้งาน คุณจะเห็นข้อความทันทีและสามารถหยุดการตอบกลับที่ไม่ดีได้เร็วขึ้น
- หนังสือเรื่องเล่าและบทสรุป สิ่งเหล่านี้ช่วยรักษาความสอดคล้องของเรื่องราวโดยไม่ต้องดันประวัติทั้งหมดเข้าไปในพรอมต์ทุกครั้ง ซึ่งช่วยประหยัด VRAM ในระบบโลคัลและประหยัดค่าใช้จ่ายเมื่อใช้งานแบบโฮสต์
- ตัวสุ่มค่า (Samplers) เริ่มต้นที่อุณหภูมิประมาณ 0.8 แล้วเปลี่ยนค่าทีละค่า แบนด์เอนด์แบบโลคัลเปิดใช้งานตัวสุ่มได้มากกว่า API การสนทนาแบบเสร็จสิ้น ซึ่งเป็นเหตุผลหนึ่งที่ทำให้ผู้ชื่นชอบเลือกใช้
หากคุณเปลี่ยนจากโลคัลเป็นโฮสต์ คาดว่าจะต้องปรับจูนสองรายการแรก โมเดลแบบโฮสต์ที่มีหน้าต่างขนาดใหญ่จะได้รับประโยชน์จากการตั้งค่าบริบทที่ใหญ่ขึ้นและนิสัยการสรุปที่ดี โมเดลโลคัลขนาดเล็กจะได้รับประโยชน์จากพรอมต์ที่สั้นและการ์ดตัวละครที่กระชับ
วิธีการตัดสินใจและการทดสอบด้วยต้นทุนต่ำ
- ระบุฮาร์ดแวร์ของคุณ หากคุณมี VRAM น้อยกว่า 12 GB การตั้งค่าแบบโลคัลจะจำกัดขนาดบริบทและคุณภาพของเนื้อหา และตัวเลือกแบบโฮสต์น่าจะดีกว่า
- ตัดสินใจว่าสิ่งใดสำคัญกว่า: ความเป็นส่วนตัวและการใช้งานออฟไลน์ หรือบริบทที่ยาวและการตั้งค่าแบบไม่มีขั้นตอน
- ลองใช้เอนด์พอยต์แบบโฮสต์ก่อน สร้างคีย์ และรับเครดิตทดลองใช้ฟรี $0.50 ด้วยคลิกเดียว; ไม่ต้องใช้บัตรและใช้งานได้ 7 วัน อัตราการใช้งานเบาข้างต้นครอบคลุมการแชททั่วไปหลายวัน
- ดาวน์โหลดโมเดลโลคัลที่ตรงกับการ์ดจอของคุณและรันตัวละครและฉากเดียวกัน เปรียบเทียบคุณภาพการตอบกลับ ความเร็ว และระยะเวลาที่ความจำยังคงอยู่
ผู้ใช้จำนวนมากใช้ทั้งสองแบบ: แบบโลคัลสำหรับการสนทนาส่วนตัวหรือออฟไลน์ แบบโฮสต์สำหรับการผจญภัยที่ยาวนานซึ่งต้องการบริบทขนาดใหญ่ SillyTavern ช่วยบันทึกโปรไฟล์การเชื่อมต่อแยกกัน ทำให้การสลับทำได้เพียงไม่กี่คลิก สำหรับการดูภาพรวมกว้างๆ เกี่ยวกับการสร้างการตั้งค่าแชท อ่าน คู่มือแชทบอท
คู่มือเพิ่มเติม
ถาม-ตอบ
ฉันต้องการ VRAM เท่าไหร่สำหรับ SillyTavern
สำหรับโมเดล 8B แบบ 4-bit ใช้ประมาณ 6 ถึง 8 GB พร้อมหน้าต่างบริบทเล็กน้อย สำหรับโมเดลขนาด 24B ถึง 32B วางแผนใช้ 24 GB และสำรองพื้นที่สำหรับแคชบริบท
ฉันสามารถใช้ SillyTavern กับ API แบบโฮสต์นี้ได้หรือไม่
ได้ เพิ่มเป็นแหล่งที่มาของการสนทนาแบบเสร็จสิ้นที่เข้ากันได้กับ OpenAI โดยใช้ URL ฐาน https://api.unrestrictedaimodels.com/v1, คีย์ของคุณ และโมเดล uncensored
โมเดลแบบโฮสต์เหมือนกับแบบโลคัลหรือไม่
เป็นโมเดล open-weight model เดียวที่ให้บริการโดยผู้ให้บริการอิสระ ไม่ใช่ API ทางการของผู้ขายรายใหญ่ และไม่ใช่ router ที่เชื่อมข้ามผู้ให้บริการ การติดตั้งในเครื่องช่วยให้คุณเลือกโมเดลได้หลายตัว
ขีดจำกัดบริบทบน API แบบโฮสต์คือเท่าใด
100,000 โทเคนสำหรับพรอมต์และการตอบกลับ ขีดจำกัดแบบโลคัลขึ้นอยู่กับหน่วยความจำและโมเดลที่คุณโหลด
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด
รับคีย์ API