비싼 모델 하나면 되는데, 왜 굳이 쪼개는 걸까?

비싼 모델을 그냥 쓰면 편하다. 그런데 나는 일을 쪼개고, 각 조각에 맞는 모델을 골라붙이는 길을 가고 있다. 맞는 건지 아직 모르겠다. 그런데 맞다고 생각한다. 이 모순이 요즘 내 상태다.

로컬 LLM을 공부하다가 생각이 연결됐다

로컬 LLM을 업무에 어떻게 쓸 수 있을지 공부하고 있었다. 요약 작업을 돌려봤는데, 생각보다 빠르고 품질도 쓸 만했다. 그러다 Claude의 Advisor tool 문서를 봤다.

Advisor tool은 실행은 싼 모델이, 판단은 비싼 모델이 하는 구조다. 이걸 보는 순간 내가 하고 있던 고민과 정확히 겹쳤다. 어떤 일에 어떤 모델을 붙일 것인가.

요즘 고민은 이거다. Opus를 쓸까, Sonnet을 쓸까, Haiku를 쓸까, 로컬 LLM을 쓸까. 무료도 있고, 유료도 있고, 유료 안에서도 토큰 단가가 다르다.

그런데 이 질문 자체가 성립하려면 먼저 해야 할 일이 있다. 내 업무를 쪼개는 것이다. 회의록 처리 하나만 봐도 녹음, 전사, 요약, 공유로 나뉜다. 이렇게 나눠야 각 조각에 맞는 모델을 붙일 수 있다.

그리고 그 모델이 내가 원하는 품질과 속도를 만족하는지도 확인해야 한다. 게다가 구독 요금 외에 API 비용이 추가로 나가지 않아야 한다는 제약도 있다.

자동화는 이 모든 과정의 끝에 있다. 일을 쪼개고, 프로세스로 만들고, 프로세스가 돌아가는지 확인하고, 거기에 모델을 붙이고, 품질을 점검한다. 단계가 많다.

회의 녹음을 처리하는 파이프라인을 직접 만들었다. 처음에는 관련 제품을 살까 했다. 그런데 만들어보자고 생각했다.

녹음 파일을 mlx-whisper로 전사하고, Gemma 4 로컬 LLM으로 요약한다. 전부 내 Mac에서 돌아간다. API 비용이 0원이다.

유료 제품은 써보지 않았다. 직접 비교는 못 한다. 다만 내 Mac에서 돌아간다는 것만으로도 보안 걱정이 없었고, 품질은 생각보다 괜찮았다.

이걸 해보고 나서 텍스트 관련 작업을 하나씩 로컬로 넘기고 있다. 적어도 내 워크로드에서는 요약, 분류, 태깅 정도는 로컬 LLM으로 돌아간다는 걸 확인했다. 아직 하나씩 경험해가는 과정이다.

동시에 구독 모델의 남는 Quota도 낭비하고 싶지 않다. claude -p나 codex exec 같은 CLI를 활용하면 단건 질문을 프로세스에 녹일 수 있다. 구독 안에서 해결되니까 추가 비용이 없다.

솔직히 인정한다. 가장 쉬운 방법은 비싼 모델 하나로 다 해결하는 것이다. 쪼갤 필요도 없고, 모델을 고를 필요도 없고, 프로세스를 만들 필요도 없다.

그런데 비용과 모델에 대한 고민 없이 자동화를 하면 날아오는 것은 청구서밖에 없다.

지금은 회사도 AI 사용을 장려하고 있고, 개인도 학습 단계라 비용에 관대한 시기다. 이 환경에서 최대한 효과를 배우는 것에 집중하는 건 맞다. 다만 "이게 과한 것 아닌가?"라는 의문은 항상 가지고 있으면 좋겠다.

Advisor tool의 구조를 다시 보면, Sonnet이 실행하다가 판단이 필요할 때만 Opus를 부른다. 모델 선택을 사람이 아니라 시스템이 한다.

나는 이게 결국 모델을 고르는 과정 자체가 사라지는 방향이라고 본다. 대화 내용을 보고 이 모델을 썼다가, 실행할 때는 저 모델을 쓰는 것이다. 신뢰의 문제이긴 하겠지만, 그 길로 가고 있는 것은 분명하다.

그런데 그 길에서 준비 없이 따라가기만 하면, AI에 종속되는 것 아닌가. 일을 직접 쪼개보고, 모델을 골라보고, 품질을 확인해본 경험이 있어야 나중에 시스템이 대신 해줄 때 그게 잘 되고 있는지 판단할 수 있다.

실제로 그런 경험이 있다. 내가 잘 모르는 영역에서 'AI가 알아서 잘하겠지'라고 넘겼다가, 결국 원복하거나 통째로 버렸던 적이 여러 번이다. 먼저 "쉽게 설명해줘"라고 물어서 내가 이해한 다음 판단했어야 했다. 모르는 채로 위임하는 건 판단이 아니라 방치다.

비싼 모델 하나로 편하게 갈 수 있는 길이 있다. 나는 굳이 일을 쪼개고, 로컬 LLM을 돌려보고, CLI로 Quota를 활용하고, 프로세스를 만드는 어려운 길을 가고 있다.

맞는 건지 모르겠다. 나중에 돌아보면 쓸데없는 고생이었을 수도 있다. Advisor 같은 기능이 더 발전하면 내가 손으로 하던 모델 선택이 의미 없어질 수도 있다.

그래도 지금은 이 길이 맞다고 생각한다. 직접 쪼개보고 굴려본 경험이 있어야, 나중에 더 좋은 도구가 나왔을 때 그걸 제대로 쓸 수 있을 테니까.

AI 도구 공부해야지, 이런 생각도 해야지. 바쁘다 바빠.