VI ▾
Lấy khóa API

SillyTavern so với Janitor AI: Cái nào phù hợp với bạn?

SillyTavern là phần mềm bạn tự chạy và kết nối với mô hình bạn chọn. Janitor AI là một trang web được lưu trữ nơi bạn trò chuyện với các nhân vật trong trình duyệt. Bài viết này so sánh hai công cụ và chỉ ra nơi API phù hợp với từng cái.

Một máy trạm cục bộ và một hòn đảo đám mây được nối bằng cáp phát sáng với một khối trung tâm, so sánh hai frontend trò chuyện

Cập nhật

Điểm chính

  • SillyTavern là một frontend bạn cài đặt; mô hình phía sau là lựa chọn của bạn.
  • Janitor AI là một dịch vụ được lưu trữ. Kiểm tra các điều khoản, giới hạn và tùy chọn hiện tại của nó trên trang web của riêng nó.
  • API của chúng tôi chỉ là một backend: một endpoint tương thích OpenAI với mô hình uncensored, không bao gồm frontend.
  • Một tin nhắn roleplay 30.000 token tốn khoảng $0,0047 ở mức $0,15 / $0,50 cho 1M token.

Câu trả lời ngắn gọn

Trong câu hỏi SillyTavern so với Janitor AI, yếu tố quyết định là ai chạy cái gì. SillyTavern là một giao diện mã nguồn mở mà bạn cài đặt trên máy tính hoặc máy chủ của riêng bạn. Nó không bao gồm mô hình, vì vậy bạn trỏ nó vào một backend: một mô hình cục bộ hoặc một API. Janitor AI là một trang web. Bạn mở nó, chọn hoặc tạo một nhân vật và trò chuyện, việc lưu trữ đã được xử lý cho bạn.

Chọn SillyTavern nếu bạn muốn kiểm soát prompt, lorebook, cài đặt sampling và nơi dữ liệu của bạn được lưu, và bạn không ngại thiết lập lâu hơn. Chọn một trang web được lưu trữ nếu bạn muốn bắt đầu trò chuyện trong một phút và thích không phải bảo trì bất cứ thứ gì. Nhiều người sử dụng cả hai.

Dù theo cách nào, mô hình ngôn ngữ là một quyết định riêng biệt. Đó là nơi một API tương thích OpenAI như thế này sẽ phù hợp.

So sánh cạnh nhau

Câu hỏiSillyTavernJanitor AI
Nó là gì?Frontend trò chuyện tự lưu trữTrang web trò chuyện nhân vật được lưu trữ
Nó chạy ở đâu?Máy của bạn hoặc máy chủ của bạnMáy chủ của nhà cung cấp
Nó có bao gồm mô hình không?Không, bạn kết nối một cáiCung cấp các tùy chọn của riêng nó; kiểm tra trang web để biết các tùy chọn hiện tại
Mức độ thiết lậpCài đặt Node, chạy ứng dụng, thêm kết nối APITạo tài khoản trong trình duyệt
Điều khiển prompt và lấy mẫuRất phong phú, trong ứng dụngKiểm tra trang web để xem những gì nó cung cấp
Chi phíỨng dụng miễn phí; bạn trả tiền cho backend bạn chọnKiểm tra giá hiện tại của họ

Các ô có chữ "kiểm tra" là cố ý. Các dịch vụ lưu trữ thay đổi gói, giới hạn và quy tắc nội dung, nên bảng này sẽ nhanh lỗi thời. Hãy xem trang hiện tại của họ trước khi quyết định.

Nơi API phù hợp

Frontend và backend là các lớp khác nhau. SillyTavern là frontend. Dịch vụ của chúng tôi là một backend: nó xử lý yêu cầu POST /v1/chat/completions chuẩn và trả về văn bản từ một mô hình trọng số mở duy nhất, do nhà cung cấp độc lập vận hành và tinh chỉnh để trả lời mà không từ chối nội dung cho người lớn sử dụng hợp pháp. Dịch vụ không có nhân vật, thư viện hay giao diện trò chuyện riêng.

Điều này khiến nó phù hợp với SillyTavern và bất kỳ client nào chấp nhận endpoint tương thích OpenAI. Nếu bạn sử dụng trang web lưu trữ cho phép nhập endpoint tùy chỉnh, cùng Base URL và khóa sẽ hoạt động ở đó. Việc một trang web cụ thể có cung cấp tùy chọn đó và trên những gói nào là điều cần xác nhận trên trang web đó.

Mô hình không phải là sản phẩm chính thức của bất kỳ phòng thí nghiệm lớn nào, và nó chỉ xử lý văn bản. Nếu bạn cần hình ảnh hoặc giọng nói, bạn sẽ cần các dịch vụ khác đi kèm với nó.

Kết nối SillyTavern với API

Các bước dưới đây tuân theo các tên menu SillyTavern hiện tại. Chúng có thể thay đổi nhẹ giữa các phiên bản.

  1. Tạo tài khoản và sao chép khóa của bạn từ trang Khóa API.
  2. Trong SillyTavern, mở biểu tượng phích cắm (Kết nối API).
  3. Đặt API thành Chat Completion và nguồn thành Custom (tương thích OpenAI).
  4. Nhập https://api.unrestrictedaimodels.com/v1 làm endpoint tùy chỉnh (URL cơ sở).
  5. Dán khóa của bạn vào trường khóa API.
  6. Nhập uncensored làm ID mô hình.
  7. Nhấn Connect, sau đó gửi một tin nhắn thử nghiệm trong bất kỳ cuộc trò chuyện nào.

Nếu nó thất bại, hãy kiểm tra khóa bên ngoài ứng dụng trước:

curl https://api.unrestrictedaimodels.com/v1/models \
  -H "Authorization: Bearer YOUR_KEY"

Một danh sách chứa uncensored có nghĩa là khóa và URL đúng, và vấn đề nằm ở cài đặt ứng dụng. Lỗi chính tả /v1 hoặc đường dẫn thừa là nguyên nhân phổ biến nhất.

Các cài đặt nên thay đổi sau khi kết nối

Các giá trị mặc định trong một frontend được viết cho backend trung bình, vì vậy hãy điều chỉnh một vài giá trị đó một khi kết nối hoạt động.

  • Kích thước ngữ cảnh. Đặt nó dưới cửa sổ 100.000 token, ví dụ 32.000 hoặc 64.000. SillyTavern sẽ cắt bớt các tin nhắn cũ hơn để phù hợp, và số nhỏ hơn giúp mỗi yêu cầu rẻ hơn.
  • Độ dài phản hồi. Giới hạn phản hồi ở vài trăm token cho trò chuyện, và tăng nó cho các cảnh dài. Token đầu ra tốn nhiều hơn token đầu vào, nên giới hạn dài sẽ tốn nhiều tiền hơn nếu mô hình sử dụng hết.
  • Nhiệt độ. Giá trị khoảng 0,8 đến 1,0 phù hợp cho văn học giả tưởng. Giảm nó nếu nhân vật đi chệch hướng hoặc lặp lại sự kiện sai.
  • Truyền phát. Bật nó để từ ngữ xuất hiện khi chúng được viết. API gửi token qua SSE và báo cáo việc sử dụng vào cuối.
  • Hình phạt lặp lại. Các hình phạt tần suất và hiện diện được chuyển tiếp. Tăng chúng lên một chút nếu các phản hồi lặp lại cùng một cụm từ.

Bạn có thể theo dõi mức chi tiêu trong quá trình sử dụng: mỗi phản hồi đều có tiêu đề X-Balance-USD hiển thị số tín dụng còn lại của bạn. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, mức cao hơn nhiều so với nhu cầu của một phiên chat đơn lẻ.

Chi phí thực tế của roleplay

Các frontend roleplay gửi rất nhiều văn bản trên mỗi tin nhắn: thẻ nhân vật, prompt hệ thống, các mục lorebook và trò chuyện gần đây. Giả sử mỗi yêu cầu mang 30.000 token của prompt và mô hình viết 400 token.

  • Đầu vào: 30.000 x $0,15 / 1.000.000 = $0,0045
  • Đầu ra: 400 x $0,50 / 1.000.000 = $0,0002
  • Tổng cộng: $0,0047 cho mỗi tin nhắn, hoặc $4,70 cho 1.000 tin nhắn.

Một khoản nạp tiền $20 sẽ bao gồm khoảng 4.250 tin nhắn như vậy. Các khoản nạp tiền lớn hơn có thêm bonus: +5% từ $50, +10% từ $100 và +15% từ $200, vì vậy $100 sẽ cho $110 tín dụng. Tín dụng không hết hạn và các yêu cầu thất bại hoặc bị từ chối sẽ không bị tính phí. Chi tiết có trên trang giá cả. Thanh toán bằng crypto.

Cửa sổ ngữ cảnh là 100.000 token, vì vậy các cuộc trò chuyện rất dài đều phù hợp, nhưng việc cắt bớt các lượt tin nhắn cũ sẽ giúp hóa đơn của bạn thấp hơn.

Lựa chọn giữa chúng

Hãy chọn SillyTavern với backend API khi bạn muốn tự quản lý cài đặt, chuyển đổi mô hình mà không cần thay đổi ứng dụng và giữ nhật ký trò chuyện trên đĩa của riêng bạn. Bạn sẽ cần dành một buổi tối để tìm hiểu các cài đặt của nó.

Hãy chọn một trang web được lưu trữ khi sự tiện lợi là ưu tiên hàng đầu và bạn chấp nhận các tùy chọn mô hình và quy tắc của trang đó. Nếu sau này bạn muốn kiểm soát nhiều hơn, bạn có thể chuyển các thẻ nhân vật của mình sang SillyTavern, vì cả hai hệ sinh thái thường chia sẻ thẻ.

Dịch vụ này dành cho mục đích sử dụng hợp pháp của người trưởng thành, nội dung tình dục liên quan đến người chưa thành niên không được phép trong mọi trường hợp. Nếu bạn muốn dùng thử mà không cần cam kết, người dùng mới có thể nhận $0,50 tín dụng dùng thử trên trang khóa, có hiệu lực trong 7 ngày, không cần thẻ. Tài liệu liệt kê bộ tham số đầy đủ, bao gồm truyền phát và các cài đặt nhiệt độ và hình phạt mà SillyTavern gửi.

Hỏi đáp

SillyTavern tốt hơn Janitor AI không?

Chúng là các loại công cụ khác nhau. SillyTavern cho bạn quyền kiểm soát và chạy trên máy của riêng bạn, trong khi Janitor AI được lưu trữ và nhanh chóng để bắt đầu. Lựa chọn tốt hơn phụ thuộc vào mức độ cài đặt mà bạn muốn.

Tôi có thể sử dụng API này với SillyTavern không?

Có. Hãy chọn Chat Completion, sau đó chọn Custom (tương thích OpenAI), và nhập https://api.unrestrictedaimodels.com/v1, khóa của bạn và ID mô hình uncensored.

API có bao gồm nhân vật hoặc giao diện trò chuyện không?

Không. Đây là backend chỉ hỗ trợ văn bản. Bạn cần cung cấp giao diện người dùng như SillyTavern hoặc tự viết.

Một tin nhắn nhập vai tốn bao nhiêu?

Với một prompt 30.000 token và câu trả lời 400 token, chi phí khoảng $0,0047 ở mức giá $0,15 cho 1 triệu token đầu vào và $0,50 cho 1 triệu token đầu ra.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API