sLLM 자체구축, 정말 답일까 — 비용·성능·보안의 진짜 트레이드오프

1. sLLM 자체구축이 매력적으로 보이는 이유

먼저 왜 많은 기관이 sLLM 자체구축에 끌리는지부터 짚어야 합니다. 그 매력에는 정당한 부분이 분명히 있습니다.

1.1 데이터가 외부로 나가지 않는다는 안심감

가장 큰 매력은 완전한 데이터 통제입니다. 모든 프롬프트와 응답이 기관 내부에서만 처리되므로, 외부 유출 가능성이 구조적으로 0입니다. 보안담당관 입장에서 이만큼 명쾌한 답은 없습니다. "우리 데이터는 외부에 가지 않는다"는 한 문장으로 모든 의심을 해소할 수 있습니다.

N²SF 정합성 측면에서도 명확합니다. 「위치-주체-객체」가 모두 기관 전산망 내부(S 등급)에 위치하므로, 정보 이동 보안원칙 위배가 발생하지 않습니다. 외부 AI 활용 시 발생하는 21개의 보안위협 상당수가 구조적으로 해소됩니다.

1.2 데이터 주권과 자산화

두 번째 매력은 데이터 주권입니다. 기관이 보유한 데이터를 외부 클라우드나 외부 AI 제공자의 손에 맡기지 않고, 직접 자산으로 가져갈 수 있습니다. 자체 데이터로 파인튜닝한 모델은 기관의 핵심 자산이 되며, 정책 변화나 외부 의존성에 흔들리지 않습니다.

특정 기관의 미션이 도메인 특화 AI 모델 자체를 구축하는 것이라면, 이는 단순한 매력 이상의 의미를 갖습니다. 예를 들어 법령 검색 특화 AI를 보유하는 것이 핵심 가치인 기관이라면, 자체 모델은 그 자체로 미션 달성의 도구가 됩니다.

1.3 도메인 특화 가능성

세 번째 매력은 파인튜닝 자유도입니다. 자체 데이터로 모델을 학습시키면 일반 모델보다 해당 기관 업무에 더 적합한 응답을 생성할 수 있다는 가능성이 있습니다. 법령 해석, 민원 응대, 정책 분석 등에서 일반 ChatGPT보다 나은 성능을 기대해볼 수 있습니다.

이 세 가지 매력은 모두 정당합니다. 문제는 이 매력의 대가가 무엇인지, 그리고 그 매력이 실제로 실현되는지를 정확히 봐야 한다는 점입니다.

2. 진짜 비용 — 카탈로그가 보여주지 않는 것

sLLM 자체구축의 비용 논의는 종종 "GPU 서버 가격"으로 시작해서 거기서 끝납니다. 그러나 실제 총소유비용(TCO, Total Cost of Ownership)은 GPU 가격의 몇 배에 달합니다. 5년 운영 기준으로 정리해보면 다음과 같습니다.

2.1 초기 구축비의 함정

"GPU 서버 5~6억"이 전체 초기 비용이라고 생각하는 것은 흔한 오해입니다. 실제로는 GPU 외에도 다음이 필요합니다.

• 네트워크·스토리지 인프라: 고대역폭 네트워크 스위치, NVMe 스토리지, 백업 시스템
• 전력·냉각 설비: H100 8장은 약 5kW 이상의 전력을 소비. 전산실 환경 점검과 보강이 필요한 경우 다수
• 보안 인프라: 모델 보호·접근 통제·감사 로그 시스템
• 초기 셋업 인건비: 모델 선정, 파인튜닝, 인프라 구축에 들어가는 첫 3~6개월의 전담 인력 비용

2.2 연간 운영비의 본질 — 사람

sLLM 자체구축의 진짜 비용은 GPU가 아니라 사람입니다. 모델을 운영하려면 다음 역할이 필요합니다.

• MLOps 엔지니어: 모델 배포·운영·모니터링
• AI 엔지니어: 파인튜닝·성능 개선·새 모델 평가
• 인프라 엔지니어: GPU 서버 관리, 장애 대응

최소 2명, 일반적으로 3~4명의 전문 인력이 필요합니다. 공공기관에서 이런 인력을 확보하는 것은 단순히 인건비 문제가 아닙니다. 시장 수요가 폭발적인 분야의 인력을 공공 보수 체계로 채용·유지하는 것 자체가 큰 도전입니다. 외부 위탁 운영을 선택하면 비용은 더 올라갑니다.

2.3 보이지 않는 비용 — 베이스 모델 교체

가장 간과되는 비용이 베이스 모델 교체 부담입니다. 오픈소스 LLM 생태계는 매우 빠르게 발전하고 있습니다. Llama 3에서 Llama 4로, 또는 다른 신규 모델이 나올 때마다 다음 작업이 반복됩니다.

• 새 베이스 모델에 대한 파인튜닝 재수행 (수주~수개월)
• 인프라 최적화 재작업
• 성능 비교·검증
• 운영 중단 또는 병행 운영 부담

이 사이클이 1~2년마다 반복되며, 매번 2억~3억 원 규모의 비용이 발생합니다. 5년 운영을 가정하면 최소 2회의 교체 사이클을 거쳐야 하며, 이 비용이 TCO에 누적됩니다.

3. 성능 격차의 본질 — 따라잡히지 않는 이유

비용을 감당할 수 있다고 가정해봅시다. 다음 질문은 "그래서 성능은 어떤가"입니다. 여기서 sLLM 자체구축의 두 번째 본질적 문제가 드러납니다.

3.1 왜 격차는 좁혀지지 않고 오히려 벌어지는가

많은 sLLM 도입 검토 자료가 "오픈소스 모델 성능이 빠르게 좋아지고 있다"는 점을 강조합니다. 절대 점수만 보면 이는 사실입니다. 자체구축이 현실적으로 가능한 7~8B급 모델의 MMLU-Pro 점수는 Llama 3 8B 약 32점에서 Llama 3.3 8B·Qwen 2.5 7B를 거치며 약 47점까지 올라왔습니다. 1년 반 동안 15점 향상이라는 명확한 발전입니다.

그러나 같은 기간 상용 LLM의 발전 속도는 훨씬 빨랐습니다. 2024년 상반기 Claude 3 Opus가 MMLU-Pro 약 68점이었던 데서, 2024년 하반기 Claude 3.5 Sonnet 약 76점, 2025년에는 Claude 4 Sonnet·GPT-5 등이 약 85~88점대에 도달했습니다. 격차는 2024년 상반기 36점에서 2025년 하반기 41점으로 오히려 확대되었습니다.

더 본질적인 문제는 향후 3년의 추세입니다. 7~8B 모델은 모델 크기의 본질적 한계로 인해 MMLU-Pro 50점 부근에서 점진적으로 정체할 것으로 예상됩니다. 반면 상용 LLM은 추론 시간 스케일링(inference-time scaling)이라는 새로운 패러다임으로 진입했습니다. OpenAI o1·o3 시리즈와 Claude의 extended thinking 기능이 그 예시입니다. 이 방식은 추론 시점에 더 많이 계산해서 성능을 끌어올리는 접근으로, 단순히 모델 크기로 좁힐 수 있는 격차가 아닙니다. 7~8B 모델에 같은 기법을 적용하려면 추론 비용이 비현실적으로 증가하므로, 작은 모델은 이 흐름에서 구조적으로 배제됩니다.

그 결과 2028년경 격차는 46점 이상으로 더 벌어질 가능성이 큽니다. "지금 sLLM을 구축하면 곧 따라잡을 수 있다"는 기대는 지난 2년의 데이터로 이미 반증되었으며, 향후 3년의 기술 추세도 같은 방향을 가리키고 있습니다.

격차가 좁혀지지 않는 이유는 단순합니다.

• 투자 규모의 차이: OpenAI, Anthropic, Google은 각각 연 수조 원 단위를 모델 개발에 투입합니다. 오픈소스 진영 전체의 투자를 합쳐도 이에 못 미칩니다.
• 스케일링 법칙(Scaling Law): 현재 AI 성능은 모델 크기·데이터·연산량에 비례해 향상됩니다. 상용 모델은 수천억~조 단위 파라미터를 다루는 반면, 자체구축이 현실적으로 가능한 sLLM은 7~32B 수준입니다. 수십~수백 배의 규모 차이가 성능 차이로 직결됩니다.
• 인프라 격차: 상용 모델은 수만 장의 GPU 클러스터에서 학습됩니다. 단일 기관의 H100 8장 시스템과는 출발선부터 다릅니다.
• 추론 시간 스케일링 진입 장벽: 2024년 말부터 본격화된 추론 시간 스케일링 패러다임은 작은 모델에는 비용 측면에서 적용하기 어렵습니다. 상용 모델만 누릴 수 있는 새 차원의 성능 향상 경로가 열렸습니다.

3.2 도메인 특화로 격차를 메울 수 있는가

"우리는 특정 도메인에 특화된 모델이 필요하니까, 일반 성능이 낮아도 도메인 내에서는 더 우수하다"는 주장이 자주 제기됩니다. 이 주장에는 부분적 진실이 있지만, 무비판적으로 받아들이기에는 위험합니다.

현실은 다음과 같습니다.

• 일반 능력의 기반: 도메인 특화 작업도 결국 일반적 언어 이해·추론 능력에 기반합니다. 일반 능력이 낮으면 도메인 특화도 한계가 명확합니다.
• 상용 모델의 컨텍스트 학습: 최신 상용 LLM은 RAG와 결합하면 도메인 특화 데이터에 즉시 적응합니다. 사전 학습 없이도 도메인 성능을 발휘합니다.
• 파인튜닝의 한계: sLLM을 도메인 파인튜닝하면 분명히 향상되지만, 그 향상 폭이 일반 성능 격차를 메울 만큼 크지 않은 경우가 많습니다.

도메인 특화 자체가 매력적인 가치라는 점을 부정하는 것이 아닙니다. 다만 "도메인 특화면 성능 격차가 무의미해진다"는 단정은 검증이 필요합니다. 실제 POC를 통해 우리 기관 도메인에서 sLLM이 상용 LLM 대비 어떤 수준의 성능을 보이는지 측정하지 않고 결정하는 것은 위험합니다.

4. 운영의 무게 — 인력과 책임

비용과 성능에 더해, 세 번째로 자주 간과되는 것이 운영의 무게입니다. sLLM은 "구축하고 끝"이 아닙니다. 5년 이상 살아있는 시스템으로 유지해야 합니다.

4.1 전담 인력 확보의 어려움

AI 엔지니어·MLOps 전문가는 현재 가장 수요가 높은 인력군입니다. 대기업과 AI 스타트업이 연봉 1.5~2억 원대를 제시하는 시장에서, 공공기관 보수 체계로 이들을 채용·유지하는 것은 매우 어렵습니다. 외부 위탁 운영을 선택하면 비용이 올라갈 뿐 아니라, 지식의 외부 의존성이 생깁니다.

4.2 장애와 책임의 무게

자체 시스템 운영에는 책임이 따릅니다. 외부 상용 AI를 활용하면 서비스 장애 시 제공자가 일차 대응하지만, 자체 sLLM은 장애 발생 시 기관이 전적으로 책임집니다. GPU 하드웨어 장애, 모델 응답 품질 저하, 보안 사고 — 모든 책임이 기관 내부에 머무릅니다.

4.3 모델 evolution 부담

앞서 비용 측면에서 다룬 베이스 모델 교체는 운영 측면에서도 큰 부담입니다. 새 모델 출시 시 평가·도입 결정·전환 작업이 반복되며, 이는 일상 운영 외의 별도 프로젝트입니다. 운영팀의 인지적·시간적 부담이 누적됩니다.

5. 그럼에도 sLLM이 정답인 경우

이제 균형을 잡을 차례입니다. sLLM 자체구축이 분명히 정답이 되는 경우가 있습니다. 다음 조건들이 충족된다면 sLLM은 합리적 선택입니다.

• 연 IT 예산 100억 원 이상의 대형 기관: 28~38억 원의 5년 TCO를 부담할 여력이 있고, 전담 AI팀 구성이 가능한 규모
• 외부 LLM 활용이 정책적·법적으로 완전히 금지된 분야: 일부 안보·국방 관련 기관에서는 외부 AI 활용 자체가 선택지가 아닙니다
• 특정 도메인 모델 보유가 기관 미션인 경우: 예를 들어 법령 검색 특화 AI를 국가 자산으로 보유하는 것이 기관의 핵심 가치인 경우
• 대규모·고빈도 사용 시나리오: 일일 수십만 건 이상의 AI 호출이 발생하는 환경에서는 API 종량제 대비 자체 운영이 단가 측면에서 유리해질 수 있습니다
• 장기 자산화 전략이 명확한 경우: 단순 도구가 아니라 기관의 지속적 자산으로 AI 모델을 보유하려는 전략적 의지가 있는 경우

이 다섯 가지 조건 중 다수가 충족된다면, sLLM 자체구축은 충분히 검토할 만한 선택입니다. 그러나 위 조건 중 어느 것에도 해당하지 않는데 sLLM을 선택한다면, 그 선택의 근거를 다시 점검할 필요가 있습니다.

6. 잘못된 이유로 sLLM을 선택하는 패턴들

현장에서 자주 관찰되는 "잘못된 선택 이유"들이 있습니다. 이 중 하나에 해당한다면, sLLM 자체구축 결정을 한 번 더 점검해보시기 바랍니다.

패턴 1 — "외부 AI는 위험하니까"

가장 흔한 패턴입니다. "외부 AI는 위험하다"는 추상적 우려에서 출발해서, 자세한 분석 없이 "그러니까 자체구축"으로 결론을 내리는 경우입니다. 그러나 N²SF 모델 2는 외부 AI 활용에 대한 구체적 보안 통제 체계를 제시하고 있으며, 적절한 보호 레이어를 사용하면 외부 AI도 안전하게 활용 가능합니다. "외부 = 위험, 내부 = 안전"이라는 이분법은 분석이 아니라 직관입니다.

패턴 2 — "데이터 주권이니까"

"우리 데이터를 외부에 보낼 수 없다"는 명분으로 출발하는 경우입니다. 그러나 실제 활용 시나리오를 보면, 다루는 정보가 대부분 O 등급(공개 정보)이거나 적절한 보호 처리로 외부 전송이 가능한 정보인 경우가 많습니다. "데이터 주권"이라는 추상적 가치가 구체적 시나리오 분석을 대체해서는 안 됩니다.

패턴 3 — "다른 기관이 하니까"

비슷한 규모·유형의 기관이 sLLM 자체구축을 발표하면 따라가는 경우입니다. 그러나 그 기관의 선택이 우리 기관에도 맞다는 보장은 없습니다. 그 기관이 그렇게 선택한 이유와 우리 기관의 상황이 같은지 검증해야 합니다.

패턴 4 — "예산이 잡혔으니까"

"AI 구축 사업" 예산이 책정되었고, 그 예산을 사용해야 한다는 압박에서 sLLM이 선택되는 경우입니다. 예산을 받았다고 해서 가장 비싼 옵션을 골라야 하는 것은 아닙니다. 더 효율적인 옵션을 선택하고 남은 예산을 다른 디지털 전환 사업에 활용하는 것이 합리적입니다.

패턴 5 — "벤더가 추천하니까"

GPU·인프라·SI 벤더는 자연스럽게 자체구축을 권장합니다. 그들의 매출 구조와 일치하기 때문입니다. 벤더의 추천은 정보의 일부일 뿐이며, 의사결정의 근거가 되어서는 안 됩니다. 객관적 비교 분석이 필요합니다.

7. sLLM 자체구축 의사결정 체크리스트

sLLM 자체구축을 검토 중이라면, 다음 질문에 답해보시기 바랍니다. 대부분의 답이 "예"라면 sLLM은 합리적 선택입니다. 답이 명확하지 않거나 대부분 "아니오"라면, 다른 옵션을 함께 검토할 필요가 있습니다.

sLLM 자체구축은 매력적이지만 결코 가벼운 선택이 아닙니다. 5년 후 우리 기관이 어떤 상태에 있을지를 가늠하고, 그 길이 정말 우리가 가야 할 길인지를 진지하게 검토하시기 바랍니다.

자주 묻는 질문

7B 정도의 더 작은 모델로 시작하면 비용이 크게 줄지 않나요?

GPU 인프라 측면에서는 줄어들 수 있습니다. H100 8장 대신 1~2장으로도 7B 모델 운영이 가능하므로, 초기 구축비를 절반 이하로 낮출 수 있습니다. 다만 운영 인력·전력·교체 부담 같은 비-GPU 비용은 거의 동일하게 발생합니다. 그리고 7B 모델의 성능은 32B 대비 더 큰 격차를 보이므로, 활용 가치 측면에서 재검토가 필요합니다.

sLLM과 게이트웨이 방식을 병행할 수도 있나요?

가능합니다. 일부 부서는 sLLM 자체구축으로, 다른 부서는 게이트웨이 방식으로 운영하는 하이브리드 구조를 검토하는 기관이 있습니다. 다만 두 시스템의 운영 거버넌스를 동시에 가져가는 부담이 있으므로, 정말 두 방식이 모두 필요한지 검토가 필요합니다. 대부분의 경우 한 방식으로 시작해서 필요시 확장하는 것이 효율적입니다.

오픈소스 모델 성능이 곧 상용 모델을 따라잡지 않을까요?

특정 벤치마크에서 일부 오픈소스 모델이 상용 모델과 유사한 점수를 받는 경우가 있습니다. 그러나 실제 업무 활용에서의 종합 성능, 특히 복잡한 추론과 긴 문맥 처리 능력에서는 격차가 여전히 큽니다. 그리고 상용 모델도 멈춰 있지 않습니다. 일시적으로 격차가 좁혀지더라도, 다음 세대 모델이 나오면 격차가 다시 벌어지는 패턴이 반복되고 있습니다.

자체구축 시 어떤 베이스 모델을 선택해야 하나요?

현재 시점에서는 Llama 계열, Qwen 계열, 그리고 한국어 특화 모델(Polyglot-Ko 등)이 주요 선택지입니다. 선택은 라이선스 조건, 한국어 성능, 커뮤니티 지원, 기관의 활용 시나리오에 따라 달라집니다. 다만 어느 모델을 선택하든 1~2년 후 더 좋은 모델이 나올 가능성이 매우 높으며, 교체 부담을 처음부터 고려해야 합니다.

참고 자료

• 국가정보원, 「국가 망 보안체계(N²SF) 보안 가이드라인」, 2024
• 국가정보원, 국가보안기술연구소(NSR), 「국가 망 보안체계 보안 가이드라인 — 정보서비스 모델 해설서: 모델 2. 업무환경에서 생성형 AI 활용」, 2025.9
• Wang et al., "MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark", 2024
• Hugging Face Open LLM Leaderboard, MMLU-Pro 벤치마크 (huggingface.co/spaces/open-llm-leaderboard)
• Kaplan et al., "Scaling Laws for Neural Language Models", 2020
• Hoffmann et al., "Training Compute-Optimal Large Language Models" (Chinchilla), 2022