‘나만의 AI 여자친구를 돌린다’는 말은 프로그램 하나처럼 들려요. 실제로는 서로 대화하는 세 부분이고, 어느 부분이 무엇을 하는지 이해하면 답답함의 대부분이 줄어요.
세 부분
일반적인 로컬 설정에서 무엇이 무엇과 통신하는지예요.
프런트엔드는 눈에 보이는 부분이에요. 채팅 창, 캐릭터, 아바타, 설정이요. SillyTavern은 캐릭터 채팅의 표준적인 선택이에요. 브라우저에서 돌아가고, 캐릭터와 채팅을 디스크의 파일로 저장하고, 거의 모든 백엔드에 연결할 수 있어요. 텍스트를 직접 생성하지는 않아요.
백엔드는 모델을 불러와 답장을 생성해요. KoboldCpp는 설치가 필요 없는 단일 프로그램이고 모든 생성 설정을 노출해서 롤플레이에 인기가 있어요. Ollama는 몇 가지 명령어로 모델을 돌리는 가장 쉬운 방법이에요. LM Studio는 친절한 모델 탐색기가 있는 데스크톱 앱이에요. 어느 것이든 프런트엔드가 연결하는 로컬 주소로 모델을 제공해요.
모델은 보통 GGUF 형식의 큰 파일이고 Hugging Face에서 내려받아요. 파라미터 크기(8B, 12B, 24B)와 양자화가 성능과 필요한 하드웨어를 결정해요.
하드웨어 문제
모델이 잘 돌아가는지를 가르는 건 그래픽 메모리(VRAM)예요. 모델이 들어가야 하고, 대화 자체를 위한 여유도 있어야 해요. 양자화는 모델을 줄여 맞춰 줘요. ‘Q4_K_M’은 크기와 품질 사이의 흔한 절충안이에요.
| 모델 크기 | Q4 기준 대략적인 메모리 | 일반적인 하드웨어 | 기대할 수 있는 것 |
|---|---|---|---|
| 7-8B | 5-6 GB | 8 GB 그래픽 카드 | 앞뒤가 맞고 빠르지만 긴 장면에서 세부 정보를 잊어요 |
| 12-14B | 9-10 GB | 12 GB 카드 | 캐릭터와 문장이 눈에 띄게 좋아져요 |
| 22-24B | 14-16 GB | 16-24 GB 카드 | 롤플레이에서 좋은 호스팅 앱에 가까워요 |
| 70B | 40 GB 이상 | 카드 두 장이나 고메모리 맥 | 훌륭하지만 느리고 비싸요 |
수치는 대략적인 값이에요. 컨텍스트가 길면 그 위에 메모리가 더 필요해요. Apple Silicon 맥은 프로세서와 그래픽이 메모리를 공유해서, 32 GB 맥북은 12 GB 그래픽 카드가 못 돌리는 모델을 돌릴 수 있어요. 모델이 들어가지 않으면 메인 프로세서로 넘쳐 기어가듯 느려져요. 답장이 초당 몇 단어씩 나온다면 더 강한 양자화를 시도하기 전에 더 작은 모델로 낮추세요. 좋은 품질의 작은 모델이 너무 심하게 쥐어짠 큰 모델보다 보통 나아요.
얻는 것
- 정책에 의존하지 않는 프라이버시. 아무것도 기기를 떠나지 않아요. 보관 기간도, 학습도, 직원 접근도, 나중에 삭제할 것도 없어요.
- 모델 자체의 것 외에는 필터가 없어요. 롤플레이에 맞춰 튜닝된 모델을 포함해 모델을 내가 골라요. 콘텐츠에 대한 법적 바닥선은 여전히 나에게 적용되지만, 그 위에 규칙을 얹는 운영사는 없어요.
- 구독도 크레딧도 없어요. 원하는 만큼 생성하세요.
- 내가 소유하는 캐릭터. 캐릭터 카드는 캐릭터 시트가 안에 들어 있는 평범한 PNG 이미지예요. 프런트엔드 사이에서 옮길 수 있고, 업데이트로 빼앗길 수 없어요.
- 안정성. 오늘 작동하는 모델은 5년 뒤에도 똑같이 작동해요. 아무도 내 밑에서 바꿀 수 없어요. AI 컴패니언이 하룻밤 사이에 바뀔 때에서 설명한 위험이에요.
포기하는 것
- 설정 시간. 첫 대화가 되기까지 저녁 한 번, 만지작거리는 게 즐겁다면 몇 주를 예상하세요.
- 기억은 내 몫이에요. 호스팅 앱은 나에 대한 사실을 조용히 요약하고 저장해요. 로컬에서는 SillyTavern의 로어북, 요약, 캐릭터 메모로 이를 직접 관리해요. AI 컴패니언의 기억이 작동하는 방식에서 설명한 것과 같은 세 가지 장치를 컨트롤이 드러난 채로 쓰는 거예요.
- 이미지와 음성은 별도 프로젝트예요. 그림 생성에는 자체 모델과 보통 더 많은 그래픽 메모리가 필요하고, 음성에는 음성 인식과 합성 도구가 필요해요. 모두 가능하지만 자동인 건 없어요.
- 모바일은 불편해요. 집 와이파이에서는 휴대폰으로 프런트엔드를 열 수 있어요. 집 밖에서 쓰려면 컴퓨터를 인터넷에 노출해야 하고, 주의가 필요해요.
- 품질의 천장. 최고의 호스팅 모델은 대부분의 사람이 집에서 돌릴 수 있는 어떤 것보다 커요. 특히 장기적인 일관성에서요.
중간 경로와 그 함정
많은 사람이 SillyTavern을 자기 컴퓨터에서 돌리되, 로컬 모델 대신 유료 클라우드 API에 연결해요. 프런트엔드의 통제력과 캐릭터 파일, 훨씬 큰 모델, 가볍게 쓰면 저렴할 수 있는 메시지당 과금을 얻어요.
하지만 사적이지는 않아요. 모든 메시지가 API 제공업체로 가고, 그곳의 로그 기록, 보관, 콘텐츠 규칙을 따라요. 롤플레이 콘텐츠에는 전문 컴패니언 앱보다 더 엄격한 경우가 많아요. 이건 로컬 설정이 아니라 다른 절충안이에요.
안전 기본 수칙
- 소프트웨어는 GitHub의 공식 프로젝트 페이지나 프로젝트 자체 사이트에서만 내려받으세요.
- 모델은 Hugging Face의 잘 알려진 업로더에게서 받고, 코드가 아니라 모델 데이터를 담은 GGUF 파일을 선호하세요.
- 모델의 라이선스를 읽으세요. 상업적 이용을 제한하는 것도 있고, 일부는 특정 콘텐츠를 제한해요.
- 비밀번호를 설정하고 무엇을 노출하는지 이해하지 않았다면 SillyTavern을 내 컴퓨터나 집 네트워크에만 묶어 두세요.
SillyTavern은 GitHub에서 공개적으로 개발돼요.
어떤 사람에게 맞나요
프라이버시가 가장 큰 관심사이거나, 이미 성능 좋은 하드웨어가 있거나, 쓰는 것만큼 설정하는 것도 즐긴다면 컴패니언을 로컬에서 돌리세요. 음성, 그림, 긴 기억이 처음부터 작동하길 원하거나 주로 휴대폰으로 채팅한다면 호스팅 앱을 쓰세요. 그쪽은 첫 앱 고르기 가이드에서 다뤄요. 편의를 위한 호스팅 앱과, 어디에도 저장하고 싶지 않은 대화를 위한 로컬 설정을 둘 다 쓰는 사람도 많아요.