Video Codecs & Stream Physics

1. Overview

비디오 코덱 및 스트림 물리학(Video Codecs & Stream Physics, VCP)은 고해상도 이미지 시퀀스에 숨겨진 물리적 정보의 중복 수치를 색출하고, 이를 최소한의 수리적 수치로 압축하여 대역폭 한계를 돌파하는 '시각 정보 경제학'입니다.

학습자는 프레임 내의 공간적 중복을 줄이는 **인트라 예측(Intra Prediction)**과 프레임 간 이동을 추적하여 물리적 변화량만 기록하는 모션 보상(Motion Compensation) 기제를 배옵니다. 특히, 수치를 물리적으로 재정렬하는 **이산 코사인 변환(DCT)**과 통계적 수율을 높이는 엔트로피 코딩 수순을 익힙니다. 이를 통해 하드웨어의 전송 물리 한계 속에서도 끊김 없는 4K/8K 초고화질 영상을 수리 제어하는 하이엔드 미디어 아키텍처 역량을 확보합니다.

2. Scope & Boundaries

In-Scope

• Block-based Compression Dynamics: 이미지를 작은 수리 블록 단위로 쪼개어 가공하는 기제
• Inter-frame Prediction Physics: 이전 물리 상태를 참조하여 수리적 잔차($Residual$)만 전송
• Transform & Quantization Mechanics: 주파수 영역 수치 전이와 물리적 정보 선별 유실
• Bitrate Governance Calculus: CBR, VBR 등 네트워크 대역폭 수치에 따른 적응적 물리 제어
• VVC & AV1 Analytics: 최신 고수율 코덱의 수리적 복잡도와 물리적 압축 성능 분석

Out-of-Scope

• 카메라 센서의 물리적인 빛 수집 및 광학 렌즈 설계 (광학 공학 영역)
• 영상 콘텐츠의 예술적 편집 방식 및 컬러 그레이딩 연출 (예술 영역)

Boundaries

• VCP vs. Data Compression: 일반 압축(04-02-XX)이 '비트 단위의 무손실 논리'에 집중한다면, VCP는 '인간의 시각 물리 특성을 이용한 정보의 전략적 유실과 하드웨어 실시간 복호화 수순'에 집중하여 구분합니다.

3. Counterexample

• 단순히 "영상 파일 만들기"라 설명하는 것은 VCP 학습이 아닙니다. 왜 과도하게 빠른 물리적 카메라 흔들림이 코덱의 모션 벡터 수리 한계를 넘어 '깍두기($Macroblocking$)' 현상을 유발하는지 증명할 수 있어야 하며, **양자화 수치($QP$)**를 낮췄을 때 데이터 물리량은 폭증하면서도 시각적 수리 오차는 왜 줄어드는지 논증하지 못한다면 코덱 공학의 본질을 이해하지 못한 것입니다.

4. Prerequisites

• Linear Algebra (Basic): 04-XX-XX의 행렬 연산 및 기저 변환($Basis$ $Transform$) 이해가 필수입니다.
• Communications Physics (Recommended): 08-01-XX의 대역폭 및 패킷 지연 수리 물리 이해가 권합됩니다.

5. Learning Map

1. Redundancy Detection: 수백만 픽셀 중 물리적으로 '똑같은' 구역과 '움직이는' 구역을 수리적으로 가려냅니다.
2. Spectral Shift: 픽셀 수치를 주파수 성분으로 변환(DCT)하여 하드웨어가 선호하는 물리 데이터로 재배치합니다.
3. Entropy Squeezing: 수치들의 출현 빈도 수치를 통계적으로 분석하여 물리적 비트 길이를 하이엔드로 최적화합니다.
4. Network-Aware Streaming: 불안정한 인터넷 물리 환경 속에서도 영상 수치가 끊기지 않도록 수리적으로 유예(Buffer)하고 조율합니다.

6. Learning Topics

Basic

Core: 정지 영상 압축의 물리 (Intra Physics)

• Why to Learn: 영상의 매 프레임이 수리적으로 어떻게 압축되어 용량을 절감하는지 이해하기 위해서입니다.
• What to Learn:
  • Color Space Math: RGB를 인간 시각에 최적화된 YCbCr 수치로 물리 전이
  • Discrete Cosine Transform (DCT): 픽셀 밝기 수치를 주파수 수치들의 합으로 치환
  • Quantization Logic: 중요하지 않은 소수점 수치 물리량을 0으로 물리 절삭
• How to Learn:
  • 특정 이미지의 JPEG 압축 수치를 조작하며, 물리적 노이즈(Artifact)가 발생하는 수리적 경계 실습
  • Chroma Subsampling (4:2<0> 등) 수치를 대조하며 색상 해상도 물리 손실 분석
• Implement: 8x8 픽셀 행렬을 DCT 수식으로 변환하여 주파수 수치를 출력하는 기초 Static_Block_Transformer

Recommended

Core: 움직임 추정과 시간적 중복 제거 (Inter Dynamics)

• Why to Learn: 영상의 연속된 프레임 사이에서 변하지 않는 물리 데이터를 수리적으로 재포장하기 위함입니다.
• What to Learn:
  • Motion Vector (MV) Search: 블록이 물리적으로 어디로 이동했는지 수리 탐색
  • Prediction Error (Residual): 예측된 물리 형태와 실제 형태 사이의 수리적 편차
  • GOP Structure Dynamics: I, P, B 프레임의 배치 수순과 물리적 참조 관계
• How to Learn:
  • Motion Estimation 알고리즘을 구동하며, 공이 이동하는 수리적 궤적을 벡터로 추출하는 실습
  • GOP size 수치 변화에 따른 영상의 복구 명령 주입 주기와 물리 용량 간의 상관관계 훈련
• Implement: 두 프레임 간의 픽셀 편차 수치를 물리 계산하여 모션 벡터를 도출하는 Motion_Predictor_Module

Practical

Core: 엔트로피 코딩과 수리적 최적화 (Entropy Mechanics)

• Why to Learn: 최종적인 수치 데이터 시퀀스를 물리적으로 가장 짧은 비트열로 압축하여 전송 효율을 극대화하기 위해서입니다.
• What to Learn:
  • Huffman vs Arithmetic Coding: 빈도수 기반의 가변 물리 비트 할당 기제
  • CABAC/CAVLC Logic: 코덱 규격 내에서의 수리적 맥락 적응형 산술 부호화
  • Bitstream Syntax Governance: 압축된 수치들을 하드웨어가 읽을 수 있는 물리 구조로 패키징
• How to Learn:
  • FFmpeg 소스 코드를 통해 영상 수치 데이터가 Bitstream 포맷으로 물리 직렬화되는 과정 실습
  • SAD(Sum of Absolute Differences) 수치를 줄여 연산 하드웨어 부하를 하이엔드로 최적화하는 훈련
• Implement: 데이터 출현 빈도 수치를 계산하여 압축 부호 수치를 생성하는 Adaptive_Entropy_Codec

Advanced

Core: 스트리밍 하드웨어와 비트레이트 제어 (Advanced Governance)

• Why to Learn: 변동하는 네트워크 물리 환경 속에서도 영상 수치가 원활하게 재생되도록 실시간 조정하기 위함입니다.
• What to Learn:
  • Rate-Distortion Optimization (RDO): 물리 화질 손실과 수리 비트 전송량 사이의 최적의 도약점
  • ABR (Adaptive Bitrate) Logic: 네트워크 수치에 따른 실시간 해상도 수치 전이(DASH, HLS)
  • Hardware Acceleration Analytics: GPU/NPU의 물리적 엔코더(NVENC 등)를 활용한 고속 수리 복호화
• How to Learn:
  • DASH Simulator를 가동하며, 네트워크 단절 물리 상황에서 영상이 수리적으로 저화질로 변경되는 현상 실습
  • Codec Latency Audit을 수행하여 초실시간 물리 방송 환경을 위한 수리 버퍼 통제 프로젝트
• Implement: 네트워크 수치를 감시하여 전송할 수리 해상도를 물리 결정하는 Dynamic_Stream_Governor

7. Terminology

8. References

Primary

• [P1] CS2023 - Graphics & Interactive Techniques - Multimedia Computing — Academic curricula.
• [Video Demystified] Keith Jack — The definitive video engineering bible.

Secondary

• [Digital Video and HD] Charles Poynton - Standard reference for color and physics.
• [High Efficiency Video Coding (HEVC)] Vivienne Sze — Technical guide to H.265.

Industry

• [FFmpeg Documentation: H.264/HEVC Encoding Guide] — Industrial implementation standards.
• [ISO/IEC 14496-10 (MPEG-4 Part 10)] — Formal codec governance specs.

9. Final Checklist

Primary

• '시간적 중복성'을 수리적으로 제거하여 프레임 용량을 압축하는 '모션 보상' 수순을 설명 가능한가? (P1)
• '손실 압축' 환경에서 '양자화' 수치가 영상의 물리적 디테일 유실에 미치는 영향을 논증할 수 있는 가? (P1)

Secondary

• 'ABR 스트리밍' 수순에서 사용자의 '버퍼 수치' 상태에 따라 비트레이트를 전환하는 수리 로직을 소통 가능한가?
• DCT 변환 결과물에서 고주파 물리 성분을 제거했을 때 시각적으로 '부드러워지는' 수리적 이유를 진단할 수 있는 가?

Industry

• 실무 엔코딩 서비스 검수 시, 하드웨어 Encoder Latency 수치를 분석하여 실시간 방송 예산안을 제안할 수 있는 가? (SFIA)
• VMAF 혹은 PSNR 수치 분석을 통해, 특정 코덱 설정이 물리적 화질 수용력을 초과하지 않는지 수리적으로 가이드할 수 있는 가?