온프레미스 LLM 실행 경로: 규제 대상 운영을 위한 에어갭, 하이브리드, 및 리전 내 AI

하나가 아니라 두 개의 경로인 이유

기업이 하나의 규제 프로필만 가지는 경우는 드뭅니다. 통신사는 경로 A에서 NOC 분석을, 경로 B에서 미션 크리티컬 인시던트 워크플로를 운영할 수 있습니다. 병원은 경로 A를 일상 문서화에, 경로 B를 임상 의사결정 지원에 사용할 수 있습니다. 방산 계약업체는 경로 B만 사용할 수도 있습니다. 하나의 경로만 강제하면 하나의 규제 기준선만 강제하는 셈이지만, 두 경로를 제공하면 거버넌스가 워크플로에 맞게 경로를 선택할 수 있습니다.

경로 A — 외부 승인 LLM + 캡슐 데이터만 사용

캡슐(구조 보존, 차등 개인정보 보호 적용)은 승인된 외부 LLM 엔드포인트 — ChatGPT, Claude, Gemini, Perplexity 또는 기타 LLM API — 로 전송됩니다. 원시 운영 데이터는 기업 환경 밖으로 나가지 않습니다. 캡슐만 전송됩니다. LLM은 캡슐을 처리한 뒤 토큰화된 응답을 반환합니다. 상태 볼트가 기업 내부에서 응답을 복원합니다.

• 적합한 경우: 차등 프라이버시가 적용된 캡슐의 외부 전송을 허용하는 규제 프로필의 워크플로
• 강점: 최첨단 모델 성능에 대한 접근
• 제약: 승인된 외부 LLM 엔드포인트와 정책 정합성이 필요함

경로 B — 온프레미스 로컬 경량 모델

작은 사설 경량 모델이 기업 환경 내부에서만 실행됩니다. 캡슐은 로컬에서 처리됩니다. 외부 전송은 전혀 없습니다. 에어갭, 기밀, OT, 그리고 어떤 외부 엔드포인트도 허용되지 않는 엄격한 규제 운영에 사용됩니다.

• 적합한 경우: 에어갭 네트워크, 기밀 운영, OT 환경, 엄격한 데이터 주권 요구
• 강점: 외부 노출 제로, 완전한 데이터 레지던시
• 제약: 모델 성능은 로컬 경량 모델의 범위에 의해 제한됨

경로 선택: 의사결정 프레임워크

배포 토폴로지

온프레미스

기업 데이터 센터 내부에 Capsule Runtime + 온프레미스 로컬 경량 모델을 배포합니다. 경로 B가 기본값입니다. 경로 A는 정책상 허용 목록에 등록된 별도의 승인 외부 엔드포인트가 있는 경우에만 사용할 수 있습니다.

에어갭

완전히 격리된 네트워크에 Capsule Runtime + 온프레미스 로컬 경량 모델을 배포합니다. 경로 A는 설계상 사용할 수 없습니다. 모든 워크플로는 경로 B가 처리합니다. 기밀 운영, 방산, 고규제 OT 환경에서 흔히 사용됩니다.

하이브리드

온프레미스의 Capsule Runtime에서 두 경로를 모두 활성화합니다. 정책이 개별 워크플로를 라우팅합니다. 일부 워크플로는 외부 엔드포인트를 허용하고 다른 워크플로는 로컬 실행이 필요한 통신 및 금융 분야에서 흔합니다.

지역 내 배치(데이터 주권)

특정 지역(예: GDPR 적용 워크로드의 경우 EU)에 Capsule Runtime + 경량 모델을 배포합니다. 경로 A도 해당 지역 내 외부 엔드포인트로만 허용될 수 있습니다. 지역별 데이터 레지던시 의무가 있는 다국적 기업에서 흔합니다.

클라우드(AWS Marketplace)

고객의 클라우드 계정이 런타임과 로컬 경량 모델을 모두 호스팅하는 형태로 AWS Marketplace를 통해 Capsule Runtime를 배포합니다. 경로 A는 정책에 따라 선택 사항입니다.

임베디드 통합

기존 애플리케이션(NOC 콘솔, 티켓 시스템, 병원 포털, 미션 시스템)에 Capsule SDK를 내장합니다. 두 경로를 모두 지원하며, 임베디드 애플리케이션이 워크플로별로 선택합니다.

Slack 앱

Slack 워크플로용 Capsule 플러그인입니다. 일반 팀에는 경로 A가 일반적이며, 규제 대상 팀은 Slack을 온프레미스 런타임 위의 UI 계층으로 사용해 경로 B로 라우팅합니다.

경로 B 내부에서 기술적으로 일어나는 일

1. 커넥터 레인이 운영 데이터를 Capsule Runtime로 전달합니다(REST, webhook, 로그 탭, SDK).
2. 구조 보존 캡슐화가 운영 식별자를 순서와 구조는 유지하면서 토큰화합니다.
3. 차등 프라이버시 기반 보호가 캡슐에 대한 추론 위험을 제한합니다.
4. 캡슐은 동일한 네트워크 안에서 실행 중인 로컬 경량 모델로 전송됩니다.
5. 모델이 토큰화된 출력을 생성합니다.
6. 상태 볼트가 출력에서 원래 운영 식별자를 재구성합니다.
7. 결과는 원래 워크플로(티켓, 런북, EHR 필드, 미션 요약)에 다시 삽입됩니다.
8. 거버넌스가 적용된 경로, 호출된 정책, 감사 추적을 기록합니다.

경로 B의 어떤 단계도 기업 경계를 벗어나지 않습니다.

제로 노출 주장 — 올바르게 범위 지정하기

"Zero Exposure"는 범위를 지정해야만 방어 가능한 주장입니다. LLM Capsule이 사용하는 범위 지정 버전은 다음과 같습니다:

• 경로 A: "외부 LLM에 대한 원시 운영 데이터 노출 없음"
• 경로 B: "온프레미스 / 로컬 실행 경로에서 외부 노출 제로"

범위가 없는 "Zero Exposure"를 최상위 슬로건으로 사용하지 마십시오. 기술적 보장은 경로별이며 정책 조건에 따라 달라집니다.

구매자가 평가해야 할 항목

1. 경로 지원 범위. 두 경로를 모두 지원하나요, 아니면 하나만 지원하나요?
2. 경로 정책의 세분성. 동일한 거버넌스 아래에서 서로 다른 워크플로가 서로 다른 경로를 사용할 수 있나요?
3. 로컬 모델 크기. 온프레미스 경량 모델에 어떤 하드웨어가 필요한가요?
4. 에어갭 지원. 외부 연결 없이도 런타임이 완전히 작동하나요?
5. 상태 볼트의 로컬성. 경로 A에서도 상태 볼트가 로컬에 유지되나요?
6. 경로별 감사. 적용된 경로가 요청별, 워크플로별, 정책별로 기록되나요?