Mô hình LLM cục bộ tốt nhất cho SillyTavern so với endpoint lưu trữ
Các tìm kiếm cho mô hình LLM local tốt nhất của SillyTavern có một câu trả lời trung thực: mô hình lớn nhất vừa với card đồ họa của bạn, còn đủ chỗ cho ngữ cảnh, và với nhiều người, đó là một mô hình nhỏ hơn họ mong đợi. Trang này giúp bạn cân nhắc lựa chọn đó và so sánh nó với một endpoint được lưu trữ.


Cập nhật
Điểm chính
- Các mô hình local bị giới hạn bởi VRAM: trọng số cộng với bộ nhớ đệm ngữ cảnh đều phải vừa.
- Chạy cục bộ mang lại quyền riêng tư, không hóa đơn sử dụng và sử dụng ngoại tuyến; lưu trữ cho bạn ngữ cảnh lớn hơn và không cần phần cứng.
- SillyTavern hỗ trợ cả hai, vì vậy bạn có thể kiểm tra một endpoint được lưu trữ trong vài phút trước khi mua GPU.
- Với việc sử dụng roleplay nặng điển hình, chi phí token lưu trữ khoảng $11,55 mỗi tháng ở mức giá $0,15 và $0,50 cho mỗi 1 triệu token.
Điều gì quyết định mức độ hữu ích của một mô hình cục bộ
Ba giới hạn định hình trải nghiệm, và tất cả đều là giới hạn phần cứng.
Trọng số phải vừa với bộ nhớ RAM/VRAM
Một mô hình với N tỷ tham số cần bộ nhớ cho trọng lượng của nó. Ở định dạng 16-bit, điều đó tốn khoảng 2 GB cho mỗi tỷ tham số. Lượng tử hóa xuống 4 bit, điều mà hầu hết người dùng cục bộ đều làm, nó tốn khoảng 0,5 đến 0,6 GB cho mỗi tỷ. Một mô hình 8B sau đó cần khoảng 5 GB, một mô hình 24B đến 32B cần 14 đến 20 GB và một mô hình 70B cần khoảng 40 GB. Đây là các quy tắc ngón tay cái; định dạng lượng tử hóa và kích thước tệp khác nhau, vì vậy hãy kiểm tra kích thước tệp thực tế trên trang tải xuống.
Ngữ cảnh cũng sử dụng bộ nhớ
Mỗi token trong cuộc trò chuyện chiếm không gian trong bộ nhớ đệm khóa-giá trị. Một cuộc đóng vai dài với 16.000 hoặc 32.000 token lịch sử có thể tốn vài gigabyte ngoài trọng lượng. Nhiều người tải một mô hình, thấy rằng nó vừa, và sau đó hết bộ nhớ sau vài trăm tin nhắn trong một cuộc trò chuyện. Hãy để lại dung lượng dự phòng.
Tốc độ phụ thuộc vào nơi mô hình được lưu trữ
Nếu toàn bộ mô hình nằm trong bộ nhớ GPU, các phản hồi sẽ nhanh. Nếu các lớp tràn vào RAM hệ thống, việc tạo nội dung sẽ chậm lại đáng kể. Một mô hình "về mặt kỹ thuật chạy" ở tốc độ hai token mỗi giây là một đối tác trò chuyện kém.
Vì vậy, câu hỏi thực tế không phải là "mô hình nào tốt nhất" mà là "lớp kích thước nào vừa với thẻ của tôi với ngữ cảnh dự phòng". Bảng xếp hạng cộng đồng và các luồng đề xuất thay đổi hàng tháng và chúng là ý kiến, vì vậy hãy xác minh bằng các prompt của riêng bạn.
Hướng dẫn ước lượng theo phần cứng
| Bộ nhớ GPU của bạn | Kích thước mô hình thực tế (4-bit) | Điều bạn mong đợi |
|---|---|---|
| 6 đến 8 GB | 7B đến 8B | Nhanh, ngữ cảnh ngắn, văn phong đơn giản hơn |
| 12 đến 16 GB | 12B đến 14B | Cân bằng tốt cho việc đóng vai giải trí |
| 24 GB | 24B đến 32B | Điểm cân bằng tốt thông thường cho những người đam mê |
| 48 GB trở lên | Lớp 70B | Cần hai thẻ hoặc thẻ máy trạm |
| Không có GPU | Các mô hình nhỏ trên CPU | Chậm; ổn để kiểm tra, mệt mỏi cho việc sử dụng hàng ngày |
Để chạy chúng, các lựa chọn phổ biến là Ollama, KoboldCpp, llama.cpp và text-generation-webui. SillyTavern kết nối với từng cái thông qua cài đặt API của nó. KoboldCpp phổ biến với người dùng đóng vai vì nó cung cấp các tùy chọn bộ lấy mẫu và xử lý tốt ngữ cảnh dài, nhưng bất kỳ cái nào trong số chúng đều hoạt động.
Những con số này là hướng dẫn, không phải benchmark. Nếu bạn tìm thấy một mô hình vừa, hãy thử nó trong một tuần trò chuyện thực tế trước khi quyết định đó là mô hình bạn chọn.
Nơi endpoint lưu trữ thắng thế
Lưu trữ có nghĩa là một máy chủ chạy mô hình và bạn gọi nó qua HTTPS. SillyTavern hỗ trợ các endpoint tương thích OpenAI, vì vậy cái này hoạt động với URL cơ sở, khóa và tên mô hình. Các cài đặt nằm trong bảng kết nối API của SillyTavern; hãy chọn nguồn hoàn thành trò chuyện tùy chỉnh hoặc tương thích OpenAI và nhập:
- URL:
https://api.unrestrictedaimodels.com/v1 - Khóa: khóa từ bảng điều khiển của bạn
- Mô hình:
uncensored
Lợi thế so với cục bộ:
- Ngữ cảnh. Cửa sổ là 100.000 token (prompt cộng với phản hồi), vượt xa những gì hầu hết các GPU gia đình giữ được.
- Không cần phần cứng. Nó hoạt động trên laptop, trình duyệt máy tính bảng hoặc điện thoại.
- Không nhiệt hoặc tiếng ồn, và không tốn chi phí điện tại nơi bạn sử dụng.
- Không cần bảo trì. Bạn không cập nhật trình điều khiển, tải lại tệp hoặc tinh chỉnh cài đặt cho bộ nhớ.
Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Các prompt không được dùng để huấn luyện. Trang SillyTavern vs Janitor AI giải thích cách các front end khác nhau.
Nơi cục bộ thắng thế
Để công bằng, cục bộ có những điểm mạnh thực sự.
- Quyền riêng tư tuyệt đối. Không có gì rời khỏi máy của bạn.
- Sử dụng ngoại tuyến. Máy bay, cabin hoặc mạng bị chặn đều không phải là rào cản.
- Không tốn chi phí theo token sau khi đã trả tiền cho phần cứng.
- Lựa chọn hoàn toàn. Bạn có thể thử hàng trăm bản tinh chỉnh cộng đồng, hợp nhất và LoRA rồi chuyển đổi giữa chúng. Một endpoint được lưu trữ như thế này chỉ cung cấp một mô hình.
- Kiểm soát các bộ lấy mẫu và toàn bộ hệ thống, điều mà những người thích tùy chỉnh rất thích.
Nếu niềm đam mê của bạn là bản thân mô hình, thử các bản phát hành mới và so sánh chúng, thì chạy cục bộ là nơi phù hợp. Nếu niềm đam mê là câu chuyện và nhân vật, mô hình chỉ là công cụ và một mô hình được lưu trữ ổn định sẽ tiết kiệm thời gian.
So sánh chi phí, với các con số
Hãy xem xét một người dùng nặng: 200 tin nhắn mỗi ngày, mỗi tin có 12.000 token ngữ cảnh và 250 token phản hồi. Trong một tháng 30 ngày:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
Một người dùng nhẹ hơn với 50 tin nhắn mỗi ngày sẽ trả khoảng một phần tư số tiền đó, gần $2,89. Tín dụng không bao giờ hết hạn, và các khoản nạp tiền bắt đầu từ $20, nên không có cam kết hàng tháng; xem trang giá cả.
Với local, hãy tính những gì bạn sở hữu. Nếu bạn đã có card 24 GB vì lý do khác, chi phí biên chỉ là tiền điện. Một hệ thống tiêu thụ 350 W trong 3 giờ mỗi ngày sẽ sử dụng 0,35 x 3 x 30 = 31,5 kWh mỗi tháng; hãy nhân với giá điện địa phương của bạn. Nếu bạn phải mua GPU chỉ cho mục đích này, hãy so sánh giá của nó (kiểm tra các danh sách hiện tại) với con số hàng tháng ở trên; tùy chọn lưu trữ vẫn rẻ hơn trong thời gian dài khi sử dụng bình thường.
Các cài đặt SillyTavern quan trọng dù bạn chọn cách nào
Bất kể bạn chọn backend nào, một số cài đặt SillyTavern sẽ quyết định cảm giác của cuộc trò chuyện.
- Kích thước ngữ cảnh. Hãy khớp nó với những gì backend thực sự hỗ trợ. Một mô hình local được tải với 8,192 token ngữ cảnh sẽ bỏ qua cài đặt 32,000. Đối với API được lưu trữ, giới hạn trên là 100,000 token bao gồm cả phản hồi, nên hãy dành chỗ cho phản hồi.
- Độ dài phản hồi. Vài trăm token là đủ cho hầu hết các lượt. Các phản hồi dài chậm trên các card GPU local nhỏ và tốn nhiều token đầu ra hơn trên các tùy chọn được lưu trữ.
- Truyền phát (streaming). Hãy bật nó lên. Bạn sẽ thấy văn bản ngay lập tức và có thể dừng một phản hồi sai sớm.
- Sách lore và tóm tắt. Những thứ này giúp duy trì tính nhất quán của câu chuyện mà không cần đẩy toàn bộ lịch sử vào mỗi prompt, điều này giúp tiết kiệm VRAM khi local và tiết kiệm chi phí khi được lưu trữ.
- Các bộ lấy mẫu. Hãy bắt đầu với nhiệt độ gần 0,8 và thay đổi một giá trị tại một thời điểm. Các backend local cung cấp nhiều bộ lấy mẫu hơn so với API hoàn thành trò chuyện, đây là lý do tại sao những người đam mê thích chúng.
Nếu bạn chuyển từ local sang được lưu trữ, hãy chuẩn bị tinh thần để tinh chỉnh lại hai mục đầu tiên. Một mô hình được lưu trữ với cửa sổ ngữ cảnh lớn sẽ tận dụng được cài đặt ngữ cảnh lớn hơn và thói quen tóm tắt tốt; một mô hình local nhỏ sẽ tận dụng được các prompt ngắn và thẻ nhân vật chặt chẽ.
Cách đưa ra quyết định và cách kiểm tra với chi phí thấp
- Liệt kê phần cứng của bạn. Nếu bạn có dưới 12 GB VRAM, cài đặt local sẽ bị giới hạn về ngữ cảnh và chất lượng văn bản, và tùy chọn được lưu trữ có thể tốt hơn.
- Quyết định điều gì quan trọng hơn: quyền riêng tư và sử dụng ngoại tuyến, hay ngữ cảnh dài và không cần thiết lập.
- Hãy thử endpoint được lưu trữ trước. Tạo một khóa và nhận tín dụng dùng thử $0,50 chỉ với một cú nhấp chuột; nó không cần thẻ và kéo dài 7 ngày. Với tốc độ sử dụng nhẹ ở trên, điều đó bao gồm vài ngày trò chuyện nhẹ nhàng.
- Tải xuống một mô hình local phù hợp với card của bạn và chạy cùng nhân vật và cảnh đó. So sánh chất lượng phản hồi, tốc độ và thời gian bộ nhớ duy trì.
Nhiều người dùng giữ cả hai: local cho các phiên riêng tư hoặc ngoại tuyến, hosted cho các cuộc phiêu lưu dài hạn cần cửa sổ ngữ cảnh lớn. SillyTavern cho phép bạn lưu các profile kết nối riêng biệt, nên việc chuyển đổi chỉ cần vài cú nhấp chuột. Để tìm hiểu chi tiết hơn về cách thiết lập chatbot, hãy đọc hướng dẫn chatbot.
Hướng dẫn khác
Hỏi đáp
Tôi cần bao nhiêu VRAM cho SillyTavern?
Đối với mô hình 8B 4-bit, khoảng 6 đến 8 GB với ngữ cảnh vừa phải. Đối với các mô hình 24B đến 32B, hãy lên kế hoạch cho 24 GB và dành chỗ cho bộ nhớ đệm ngữ cảnh.
Tôi có thể sử dụng SillyTavern với API được lưu trữ này không?
Có. Thêm nó làm nguồn hoàn thành trò chuyện tương thích OpenAI với base URL https://api.unrestrictedaimodels.com/v1, khóa của bạn và mô hình uncensored.
Mô hình được lưu trữ có giống với mô hình local không?
Đó là một mô hình trọng số mở duy nhất do một nhà cung cấp độc lập chạy, không phải là API chính thức của bất kỳ nhà cung cấp lớn nào và không phải là bộ định tuyến giữa các nhà cung cấp. Các cài đặt local cho phép bạn chọn giữa nhiều mô hình.
Giới hạn ngữ cảnh trên API được lưu trữ là gì?
100,000 token cho prompt cộng với phản hồi. Giới hạn local phụ thuộc vào bộ nhớ của bạn và mô hình bạn tải.
Khóa của bạn chỉ cách một bước
Tạo tài khoản, sao chép khóa, thay đổi URL gốc. Đó là toàn bộ quá trình thiết lập.
Lấy khóa API