SillyTavern용 최고의 로컬 LLM vs 호스팅 엔드포인트
최고의 로컬 LLM SillyTavern 검색에는 하나의 정직한 답변이 있습니다. 컨텍스트를 위한 충분한 여유 공간을 남기면서 그래픽 카드에 맞는 가장 큰 모델이며, 많은 사람들에게 이는 기대했던 것보다 작은 모델입니다. 이 페이지는 해당 선택의 규모를 파악하고 호스팅 엔드포인트와 비교하는 데 도움이 됩니다.


업데이트
주요 포인트
- 로컬 모델은 VRAM에 의해 제한됩니다: 가중치와 컨텍스트 캐시는 둘 다 맞아야 합니다.
- 로컬 실행은 프라이버시, 사용량 요금 없음 및 오프라인 사용을 제공하며, 호스팅은 더 큰 컨텍스트와 하드웨어 불필요을 제공합니다.
- SillyTavern은 둘 다 지원하므로 GPU 구매 전 몇 분 안에 호스팅 엔드포인트를 테스트할 수 있습니다.
- 일반적인 헤비 롤플레이 사용 시, 호스팅 토큰 비용은 100만 토큰당 $0.15 및 $0.50 기준 월 약 $11.55입니다.
로컬 모델의 유용성을 결정하는 요소
세 가지 제한이 경험을 형성하며, 모두 하드웨어 제한입니다.
가중치는 메모리에 맞아야 합니다
N십억 개의 파라미터를 가진 모델은 가중치용 메모리가 필요합니다. 16비트 형태로는 파라미터 10억 개당 약 2GB가 필요합니다. 4비트로 양자화된 경우(대부분 로컬 사용자가 사용하는 방식)에는 파라미터 10억 개당 약 0.5~0.6GB가 필요합니다. 8B 모델에는 약 5GB, 24B~32B 모델에는 14~20GB, 70B 모델에는 약 40GB가 필요합니다. 이는 대략적인 기준이며, 양자화 형식과 파일 크기는 다르므로 다운로드 페이지의 실제 파일 크기를 확인하세요.
컨텍스트도 메모리를 사용합니다
대화의 모든 토큰은 키-값 캐시에 공간을 차지합니다. 16,000개 또는 32,000개의 토큰에 달하는 긴 롤플레이 이력이 있으면 가중치 외에 수 GB의 공간이 더 필요합니다. 많은 사용자가 모델을 로드하여 맞는 것을 확인한 후, 채팅의 몇 백 번째 메시지 즈음에 메모리가 부족해지는 경험을 합니다. 여유 공간을 확보하세요.
속도는 모델의 위치에 따라 달라집니다
전체 모델이 GPU 메모리에 올라가면 응답이 빠릅니다. 레이어가 시스템 RAM으로 넘치면 생성 속도가 크게 떨어집니다. "기술적으로는 실행"되지만 초당 2개의 토큰만 생성하는 모델은 좋은 대화 상대가 아닙니다.
따라서 실용적인 질문은 "어떤 모델이 가장 좋은가"가 아니라 "내 그래픽 카드에 컨텍스트를 여유 있게 담을 수 있는 모델 크기 클래스는 무엇인가"입니다. 커뮤니티 리더보드와 추천 스레드는 매달 바뀌며, 이는 의견에 불과하므로 직접 프롬프트로 검증하세요.
하드웨어별 대략적인 가이드
| GPU 메모리 | 현실적인 모델 크기 (4비트) | 예상되는 성능 |
|---|---|---|
| 6 to 8 GB | 7B to 8B | 빠름, 짧은 컨텍스트, 단순한 문체 |
| 12 to 16 GB | 12B에서 14B | 캐주얼 롤플레이에 좋은 균형 |
| 24GB | 24B에서 32B | 열성적인 사용자를 위한 일반적인 최적점 |
| 48GB 이상 | 70B 클래스 | 두 개의 카드 또는 워크스테이션 카드 필요 |
| GPU 없음 | CPU의 작은 모델 | 느림; 테스트에는 적합하지만 일상 사용에는 지루함 |
실행을 위한 일반적인 선택지는 Ollama, KoboldCpp, llama.cpp 및 text-generation-webui입니다. SillyTavern은 API 설정을 통해 각각에 연결합니다. KoboldCpp은 샘플러 옵션을 제공하며 긴 컨텍스트를 잘 처리하여 롤플레이 사용자들 사이에서 인기가 있지만, 그 중 어느 것을 사용해도 작동합니다.
이 수치는 가이드라인일 뿐 벤치마크가 아닙니다. 맞는 모델을 찾았다면, 그것이 최종 선택이라고 결정하기 전에 실제 채팅을 일주일 동안 사용해 보세요.
호스팅 엔드포인트가 우세한 경우
호스팅은 서버에서 모델을 실행하고 HTTPS를 통해 호출하는 것을 의미합니다. SillyTavern은 OpenAI 호환 엔드포인트를 지원하므로, 이 방식은 base URL, 키, 모델 이름으로 작동합니다. 설정은 SillyTavern의 API 연결 패널에 있습니다. 커스텀 또는 OpenAI 호환 채팅 완료 소스를 선택하고 다음을 입력하세요:
- URL:
https://api.unrestrictedaimodels.com/v1 - API 키: 대시보드의 키
- 모델:
uncensored
로컬 대비 장점:
- 컨텍스트. 창은 프롬프트와 응답을 합쳐 100,000 토큰으로, 대부분의 가정용 GPU가 수용할 수 있는 범위를 훨씬 초과합니다.
- 하드웨어가 필요 없음. 노트북, 태블릿 브라우저 또는 휴대폰에서도 작동합니다.
- 열 또는 소음이 없고, 사용자의 전기 요금도 들지 않습니다.
- 유지보수 불필요. 드라이버를 업데이트하거나 파일을 다시 다운로드하거나 메모리를 위한 설정을 조정할 필요가 없습니다.
이 모델은 합법적인 성인 사용을 위해 콘텐츠 거부 없이 답변하도록 조정되었습니다. 프롬프트는 학습에 사용되지 않습니다. SillyTavern vs Janitor AI 페이지는 프론트 엔드의 차이점을 설명합니다.
로컬이 우세한 경우
공정하게 말해 로컬은 확실한 강점이 있습니다.
- 완전한 프라이버시. 데이터가 당신의 머신을 벗어나지 않습니다.
- 오프라인 사용 가능. 비행기, 캐빈 또는 차단된 네트워크도 문제가 되지 않습니다.
- 하드웨어 구매 후 토큰당 비용 없음.
- 완전한 선택권. 수백 가지 커뮤니티 파인튜닝, 병합 모델, LoRA를 시도하고 그 사이를 전환할 수 있습니다. 이러한 호스팅 엔드포인트는 단일 모델만 제공합니다.
- 샘플러와 전체 스택에 대한 제어, 이는 취미로 즐기는 사람들에게 매력적입니다.
취미가 모델 자체를 탐구하고 새 릴리스를 시도하며 비교하는 것이라면 로컬이 적합한 선택입니다. 취미가 스토리와 캐릭터라면 모델은 수단에 불과하며, 안정적인 호스팅 모델이 시간을 절약해 줍니다.
숫자를 통한 비용 비교
고사용자를 가정해 봅시다: 하루 200개의 메시지, 각 메시지당 12,000개의 컨텍스트 토큰, 250개의 응답 토큰. 30일 기준 월간:
Input: 200 x 12,000 x 30 = 72,000,000 tokens -> 72 x $0.15 = $10.80
Output: 200 x 250 x 30 = 1,500,000 tokens -> 1.5 x $0.50 = $0.75
Total: $11.55 per month
하루 50개의 메시지를 보내는 경량 사용자는 그 약 4분의 1인 약 $2.89를 지불합니다. 크레딧은 만료되지 않으며, 충전은 $20부터 시작하므로 월별 계약이 필요 없습니다. 가격 책정 페이지를 참조하세요.
로컬 환경에서는 자신이 보유한 자원을 계산하세요. 이미 다른 목적으로 24GB 그래픽 카드를 가지고 있다면 한계 비용은 전기 요금입니다. 하루 3시간 동안 350W를 소비하는 시스템은 월 0.35 x 3 x 30 = 31.5kWh를 사용하며, 이는 지역 전기 요금으로 곱해야 합니다. 만약 이를 위해 GPU를 새로 구매해야 한다면, 그 가격(현재 매물 확인)을 위의 월 비용과 비교하세요. 정상적인 사용 시 호스팅 옵션이 오랫동안 더 저렴합니다.
어떤 경우든 중요한 SillyTavern 설정
어떤 백엔드를 선택하든, SillyTavern의 몇 가지 설정이 채팅의 느낌을 결정합니다.
- 컨텍스트 크기. 백엔드가 실제로 지원하는 크기와 일치시켜야 합니다. 컨텍스트 8,192 토큰으로 로드된 로컬 모델은 32,000의 설정을 무시합니다. 호스팅 API의 경우 응답을 포함한 최대 100,000 토큰이므로 응답에 충분한 공간을 남겨두세요.
- 응답 길이. 대부분의 턴에는 몇백 토큰이면 충분합니다. 작은 로컬 카드에서는 긴 응답이 느리고, 호스팅에서는 더 많은 출력 토큰 비용이 발생합니다.
- 스트리밍. 활성화하세요. 텍스트가 즉시 표시되며 잘못된 응답을 조기에 중단할 수 있습니다.
- 로어북과 요약. 이를 통해 스토리의 일관성을 유지할 수 있으며, 모든 히스토리를 매 프롬프트에 넣지 않아도 됩니다. 이는 로컬에서는 VRAM을, 호스팅에서는 비용을 절약하는 데 도움이 됩니다.
- 샘플러. temperature을 약 0.8로 시작하고 한 번에 하나의 값만 변경하세요. 로컬 백엔드는 채팅 완료 API보다 더 많은 샘플러를 노출하므로, 이는 열성적인 사용자가 이를 선호하는 이유 중 하나입니다.
로컬에서 호스팅으로 전환하면 첫 두 가지를 다시 조정해야 합니다. 큰 컨텍스트 창을 가진 호스팅 모델은 큰 컨텍스트 설정과 좋은 요약 습관을 보상합니다. 작은 로컬 모델은 짧은 프롬프트와 제한된 캐릭터 카드를 보상합니다.
결정 방법과 저렴하게 테스트하는 방법
- 하드웨어를 나열하세요. VRAM이 12 GB 미만이면 로컬 설정은 컨텍스트와 문체 품질에 제한이 있을 수 있으며, 호스팅이 더 나을 가능성이 높습니다.
- 프라이버시와 오프라인 사용이 더 중요한지, 아니면 긴 컨텍스트와 제로 설정이 더 중요한지 결정하세요.
- 먼저 호스팅 엔드포인트를 사용해 보세요. API 키를 생성하고 한 번의 클릭으로 $0.50 체험 크레딧을 받습니다. 카드가 필요 없으며 7일 동안 유효합니다. 위의 저사용량 기준으로는 며칠간의 가벼운 채팅을 커버할 수 있습니다.
- 카드에 맞는 로컬 모델을 다운로드하고 동일한 캐릭터와 장면을 실행하세요. 응답 품질, 속도 및 기억 유지 기간을 비교하세요.
많은 사용자는 둘 다 유지합니다: 비공개 또는 오프라인 세션용 로컬, 거대한 컨텍스트가 필요한 긴 모험용 호스팅. SillyTavern은 별도의 연결 프로필을 저장할 수 있으므로 전환에는 몇 번의 클릭이 필요합니다. 채팅 구성을 더 넓은 관점에서 살펴보려면 채팅봇 가이드를 읽으세요.
더 많은 가이드
질문과 답변
SillyTavern에 VRAM이 얼마나 필요한가요?
4비트 8B 모델의 경우 적당한 컨텍스트로 약 6~8GB가 필요합니다. 24B에서 32B 모델의 경우 24GB를 계획하고 컨텍스트 캐시를 위한 여유 공간을 확보하세요.
이 호스팅 API와 SillyTavern을 사용할 수 있나요?
네. base URL https://api.unrestrictedaimodels.com/v1, 키, 그리고 uncensored 모델을 사용하여 OpenAI 호환 채팅 완료 소스로 추가하세요.
호스팅 모델은 로컬 모델과 동일한가요?
이것은 독립적인 공급자가 운영하는 단일 오픈 웨이트 모델이며, 주요 공급자의 공식 API가 아니며 공급자 간 라우터도 아닙니다. 로컬 설정을 통해 여러 모델 중 선택할 수 있습니다.
호스팅 API의 컨텍스트 제한은 얼마인가요?
프롬프트와 응답을 합해 100,000 토큰입니다. 로컬 제한은 메모리와 로드하는 모델에 따라 다릅니다.