Model Deployment & Serving Physics

1. Overview

모델 배포 및 서빙 물리학(Model Deployment & Serving Physics, MSP)은 수개월간 준비한 '수리적 연구물'을 실제 하드웨어 세계의 '동적 서비스'로 탈바꿈시켜, 밀려드는 요청($Request$)에 대해 빛의 속도로 추론 수치를 뱉어내는 '실시간 지능 배포 물리학'입니다.

학습자는 모델의 수리적 크기를 하드웨어 메모리에 최적화하는 모델 압축의 물리적 수순과, 수천 개의 GPU 하드웨어를 효율적으로 배분하는 서빙 오케스트레이션의 원리를 배웁니다. 특히, 사용자 응답 속도인 **지연 시간(Latency)**과 시스템 처리량인 처리율(Throughput) 사이의 수치적 평형점을 익힙니다. 이를 통해 연구실의 실험이 아닌, 1억 명의 사용자가 동시에 수치 연산을 의뢰해도 끄떡없는 하이엔드 AI 서비스 거버넌스 역량을 확보합니다.

2. Scope & Boundaries

In-Scope

• Model Serialization: 수리적 가중치를 물리적 파일(ONNX, PKL 등)로 봉인하여 전달하는 법
• Inference Engines: TensorRT, ONNX Runtime 등을 통한 하드웨어 가속 수리 연산
• Serving Architectures: Online(REST/gRPC) vs. Batch vs. Streaming 서빙의 물리적 구조
• Scalability Dynamics: 트래픽 수치에 따라 서빙 하드웨어를 자동으로 늘리는(Auto-scaling) 기제
• Cost Optimization: 추론당 수치 연산 비용을 물리적으로 최소화하는 인프라 전략

Out-of-Scope

• 모델의 최초 학습(Training) 공정 및 수치 수렴 (11-01/02/03 영역에서 분담)
• 일반적인 웹 애플리케이션의 UI/UX 디자인 (14-XX-XX 영역에서 분담)

Boundaries

• MSP vs. Conventional Web Serving: 일반 웹 서빙이 '데이터 전달'에 집중한다면, MSP는 '방대한 행렬 연산 하중을 어떻게 CPU/GPU 물리 장치에 적재하여 수치를 즉각 뽑아낼 것인가'라는 연산 밀도에 집중하여 구분합니다.

3. Counterexample

• 단순히 "API를 만든다"라 설명하는 것은 MSP 학습이 아닙니다. 왜 모델의 가중치 정밀도(Precision) 수치를 낮추면 물리적 추론 속도는 빨라지지만 수리적 정확도는 추락하는지 증명할 수 있어야 하며, **배치 서빙(Batch)**과 **온라인 서빙(Online)**의 수치적 응답 도달 시간이 물리적으로 어떻게 다른지 논증하지 못한다면 서빙 역학의 본질을 이해하지 못한 것입니다.

4. Prerequisites

• System Architecture & Distributed Systems (Basic): 07-XX-XX의 분산 시스템 및 로드 밸런싱 이해가 필수입니다.
• Neural Network Foundations (Basic): 11-02-01의 순전파(Forward) 연산 수치 이해가 필수입니다.

5. Learning Map

1. Sealing the Intelligence: 훈련된 수조 개의 수치를 변함없는 물리적 파일로 봉인(Serialization)합니다.
2. The Speed of Thought: 하드웨어 가속기(GPU/NPU)를 수리 가동하여 추론 지연 시간 수치를 줄입니다.
3. Serving at Scale: 단일 모델을 거대한 물리 하드웨어 클러스터로 확장하여 수만 건의 동시 요청을 처리합니다.
4. Resilient Production: 0.001초의 수리 연산 오차도 허용하지 않는 하이엔드 추론 거버넌스를 완성합니다.

6. Learning Topics

Basic

Core: 모델 직렬화와 API 인터페이스 (Interface Physics)

• Why to Learn: 훈련용 코드 덩어리를 하드웨어가 즉각 실행 가능한 수리적 '블랙박스'로 변환하기 위해서입니다.
• What to Learn:
  • Serialization formats: Pickle, ONNX, TorchScript 등 수 가중치 보존 물리 포맷
  • REST/gRPC Endpoints: 모델을 외부 수리 요청과 물리 연결하는 대문(Interface) 설계
  • Input/Output Validation: 입력 수치의 물리적 범위와 출력 형식을 수리적으로 검수하는 법
• How to Learn:
  • Flask나 FastAPI를 사용하여 학습된 가중치 수치를 하드웨어 메모리에 올리고, 웹 호출에 대해 결과 수치를 뱉는 실습
  • 입력 수치의 **차원(Dimension)**이 맞지 않을 때 발생하는 물리 연산 오류($Runtime$ $Error$) 추적 훈련
• Implement: 모델 파일을 로드하여 예측 수치를 JSON으로 반환하는 기초 Easy_ModelServing_API

Recommended

Core: 추론 최적화와 양자화 (Optimization Dynamics)

• Why to Learn: 덩치가 큰 하이엔드 모델을 모바일 기기나 저가형 하드웨어에서도 물리적으로 돌아가게 만들기 위함입니다.
• What to Learn:
  • Quantization (Post-Training): 32bit 수치를 8bit로 깎아 물리적 메모리 점유 수치를 $4$배 절감
  • Pruning: 수리적 기여도가 낮은 물리 가중치 연결을 가지치기하여 연산량 수치 감축
  • Knowledge Distillation: 거대 모델의 수치 지능을 작은 모델로 물리 전이하는 기제
• How to Learn:
  • TensorRT를 사용하여 모델 전후의 FPS(Frames Per Second) 수치 변화를 물리적으로 직접 측정하는 실습
  • 수치 정밀도를 낮췄을 때 모델의 물리적 예측 결과가 수리적으로 얼마나 '뭉개지는지' 정밀 분석
• Implement: 모델의 수치 정밀도를 강제로 낮추어 용량을 줄이는 Weight_Compressor

Practical

Core: 오케스트레이션 및 부하 분산 (Deployment Mechanics)

• Why to Learn: 한 명의 요청엔 잘 답하던 모델이 천 명의 접속에 하드웨어적으로 뻗어버리는 물리적 재앙을 막기 위해서입니다.
• What to Learn:
  • Model Servers (Triton, TorchServe): 모델 서빙에 특화된 하이엔드 수리 연산 관리 서버
  • Auto-scaling Policies: GPU 사용률($\%$) 수치에 따라 서빙 하드웨어 노드를 물리적 증설
  • Model Registry: 여러 버전의 수리 모델을 시스템 중단 없이 물리적으로 교체(Blue-Green)하는 법
• How to Learn:
  • Kubernetes 환경에서 모델 서빙 파드(Pod)를 띄우고, 가상 트래픽 수치를 높이며 자동 물리 복제되는 현상 확인 실습
  • **카나리 배포(Canary)**를 통해 구버전과 신버전의 수리 정확도 수치를 물리 환경에서 실시간 대조하는 훈련
• Implement: 트래픽 수치에 따라 모델 요청을 여러 하드웨어 노드로 분산하는 Inference_Balancer

Advanced

Core: 서버리스 및 에지 인텔리전스 (Next-gen Serving)

• Why to Learn: 서버 유지비 수치를 0으로 만들거나, 인터넷이 안 되는 물리적 극한 환경에서 하이엔드 지능을 유지하기 위함입니다.
• What to Learn:
  • Serverless Inference: 요청이 올 때만 하드웨어를 수리 가동하여 물리 비용을 절감하는 법
  • Edge AI (TFLite, CoreML): 사용자의 물리적 기기에 수치 모델을 직접 심어 개인정보를 보호하고 속도를 높임
  • Inferencing Pipelines: 가공 수치 -> 추론 수치 -> 후처리 수치를 물리적으로 하이프라인화
• How to Learn:
  • AWS Lambda에 경량 수리 모델을 배포하고, 추론당 소요되는 하드웨어 비용 수치를 수리 계산하는 실습
  • 모바일 하드웨어 센서 수치를 CoreML로 즉각 수리 처리하여 물리적 반응 속도를 극대화하는 프로젝트
• Implement: 하드웨어 가용 자원에 맞춰 수리 연산 강도를 조율하는 Adaptive_Serving_Graph

7. Terminology

8. References

Primary

• [P1] CS2023 - Artificial Intelligence (AI) - AI System Performance & Deployment — Academic curricula.
• [P5] SFIA v9 - Systems Installation/Decommissioning (HSIN) / Capacity Management (CPMG) — Professional competency levels.

Secondary

• [Machine Learning Design Patterns] Lakshmanan et al. — Chapter on Serving Patterns.
• [Reliable Machine Learning] Cathy Chen — Practical guide to production stability.

Industry

• [NVIDIA Triton Inference Server: Documentation] — Industry-standard serving mechanics.
• [AWS SageMaker: Model Hosting Guide] — Cloud-native deployment physics.

9. Final Checklist

Primary

• '지연 시간($Latency$)' 수치를 100ms 이내로 물리 통제하기 위해 '배치 크기($Batch$ $Size$)'를 어떻게 수리 결정할지 설명 가능한가? (P1)
• '모델 직렬화' 과정에서 하드웨어 아키텍처(CPU/GPU) 간의 수치 호환성 문제를 어떻게 물리적으로 해결하는지 기술할 수 있는 가? (P1)

Secondary

• '양자화($Quantization$)' 수치를 심하게 낮췄을 때 모델이 '수리적 환각' 또는 '출력 붕괴'를 물리적으로 일으키는 징후를 소통 가능한가?
• gRPC 통신이 단순 HTTP 대비 모델 추론 수치 전송 지연을 물리적으로 얼마나 단축시키는지 논증할 수 있는 가?

Industry

• 실무 서비스 런칭 시, 예상 트래픽 수치에 근거하여 '추론 하드웨어 비용($Inference$ $Cost$)'을 물리적으로 예측 제안할 수 있는 가? (SFIA)
• A/B Testing 환경에서 두 수리 모델의 물리적 우열을 판단하기 위한 '성과 수치 임계점'을 분석할 수 있는 가?