Multimedia & Audio Engineering

1. Overview

멀티미디어 및 오디오 공학(Multimedia & Audio Engineering, MAE)은 화려한 그래픽 뒤에 숨겨진 차가운 물리학의 세계로, 아날로그 세상의 소리 파동(Sound Waves)과 빛의 색상 파장(Light Waves)을 0과 1의 디지털 배열로 샘플링하고 가공하는 '신호 처리(Signal Processing) 거버넌스'입니다.

학습자는 무한대의 아날로그 파동을 컴퓨터가 처리할 수 있는 유한한 배열로 잘라내는 **디지털 신호 처리(DSP)**의 역학을 배우고, 인간의 귀와 뇌가 소리의 물리적 방향을 입체적으로 인지하는 머리 전달 함수(HRTF) 기반의 공간 오디오(Spatial Audio) 물리를 분해합니다. 더불어, 엄청난 용량의 영상을 네트워크 대역폭에 맞게 구겨 넣는 비디오 코덱 압축 기술과, 기계가 이미지 배열을 뜯어보고 사람의 얼굴이나 윤곽선을 찾아내는 **컴퓨터 비전(Computer Vision)**의 기초 행렬 연산을 익히며 멀티미디어 공학의 극한 스펙트럼을 지배합니다.

2. Scope & Boundaries

In-Scope

• 디지털 오디오 처리 (DSP for Audio): 샘플링 정리(Nyquist-Shannon), 양자화(Quantization), 주파수 변환(푸리에 변환: FFT), 이퀄라이저(EQ) 및 필터 역학.
• 공간 오디오 물리학 (Spatial Audio): 양이차(ITD, ILD), 3D 위치 음향, 머리 전달 함수(HRTF), 도플러 효과(Doppler Effect) 및 잔향(Reverb) 시뮬레이션.
• 영상 압축과 비디오 코덱 (Video Codecs): 공간적 중복성(Intra-frame)과 시간적 중복성(Inter-frame) 제거, H.264/HEVC 매크로 블록 추적, 비트레이트 거버넌스.
• 이미지 프로세싱 및 비전 기초 (Image Processing): 합성곱(Convolution) 필터링, 블러(Blur), 엣지 감지(Edge Detection: Sobel, Canny), 특징점 추출.

Out-of-Scope

• 예술적 사운드 디자인 및 작곡: 미디(MIDI) 찍기, 악기 믹싱 및 마스터링 등 예술 창작 $\rightarrow$ 실용 음악 및 사운드 아트 영역.
• 딥러닝 기반의 최신 생성형 비전 모델: Diffusion, Midjourney, YOLO 신경망 등 AI 모델 $\rightarrow$ 11-02. Deep Learning & Transformer 영역으로 위임.

Boundaries

• MAE vs. DLN (11-02): 딥러닝 비전(11-02)이 수천 장의 사진을 '인공 신경망'에 밀어 넣어 스스로 특징을 학습하게 하는 현대적 방식이라면, MAE의 비전 기초는 행렬에 '컨볼루션 필터(Laplacian 등)'를 수동으로 긁어 윤곽선을 물리적으로 추출하는 전통적/수학적 신호 처리 방식을 다룹니다.

3. Counterexample

• 과도한 샘플링 맹신 (High Sampling Rate Fallacy): "무조건 수치가 높으면 소리가 좋겠지!"라며 사람 목소리 녹음에 192kHz/32bit라는 초고해상도 세팅을 걸어 서버 용량을 폭파시키는 무지. 나이퀴스트-섀넌 정리(Nyquist-Shannon Theorem)에 따라 인간의 가청 주파수 한계(20kHz)의 딱 2배인 44.1kHz(CD 음질)만 되어도 원음 파동을 수학적으로 100% 완벽히 복원할 수 있습니다. 엔지니어는 데이터 용량 대비 효용이 전혀 없는 오버 엔지니어링을 차단해야 합니다.
• 코덱 없는 날것의 송출 (Uncompressed Video Fallacy): 초당 60프레임의 4K 영상을 압축 없이 쌩으로 네트워크에 쏘아대어 대역폭을 마비시키는 재앙. 영상 압축의 본질은 "어차피 뒷배경의 하늘은 안 움직이니까, 첫 장면에만 하늘을 그리고 다음 10초 동안은 캐릭터만 움직이게 하자"는 시간적 중복성(Temporal Redundancy) 제거에 있습니다. H.264 같은 코덱의 모션 벡터(Motion Vector) 역학 없이 멀티미디어 스트리밍은 불가능합니다.

4. Prerequisites

• 수리적 변환 (Recommended): 시간의 파동을 주파수로 바꾸는 고속 푸리에 변환(FFT)의 직관적 물리 의미를 알아야 오디오 필터를 설계할 수 있습니다. (01. MAC)
• 컴퓨터 구조와 비트 역학 (Basic): 1픽셀이나 1샘플을 담는 8bit, 16bit 자료형 구조를 알아야 양자화 오차(Quantization Noise)를 이해할 수 있습니다. (03. CSA)

5. Learning Map

6. Learning Topics

Basic

Core Topic 01: 디지털 신호 처리와 오디오 역학 (Audio DSP & Fourier)

• Why to Learn: 연속적인 아날로그 자연의 소리를 컴퓨터가 메모리 배열에 올려 편집하고 통제할 수 있게 만들기 위해서입니다.
• What to Learn:
  • Concepts: 샘플링 속도(Sampling Rate), 비트 심도(Bit Depth), 나이퀴스트-섀넌 샘플링 정리.
  • Skills: 시간 영역(Time Domain) vs 주파수 영역(Frequency Domain), 고속 푸리에 변환(FFT: Fast Fourier Transform), LPF/HPF 필터 연산.
  • Tools: Audacity, Python Librosa.
  • Trade-offs: 샘플링 레이트를 두 배로 높이면 깎여나가는 파형의 거친 소리(Aliasing)를 막을 수 있지만, 파일의 용량과 네트워크 전송 비용도 정확히 두 배로 폭등하는 선형적 비례 한계.
• How to Learn:
  • 1단계: 컴퓨터 마이크로 들어온 [0.1, 0.5, 0.8, -0.2] 형태의 소리 배열 데이터를 엑셀 그래프로 그려보고, 이것이 스피커 진동판을 어떻게 앞뒤로 밀고 당기는지 물리적 인과를 이해합니다.
  • 2단계: 화음이 섞인 소리 파형 뭉치를 푸리에 변환(FFT) 함수에 집어넣어, "아, 이 소리는 100Hz 베이스 드럼과 5,000Hz 쇳소리가 섞여 있구나"라고 주파수별 볼륨 막대로 분해하는 마법을 목격합니다.
• Implement: 파이썬을 이용하여 .wav 음원 파일을 읽어 들인 뒤, 저음 주파수(예: 300Hz 이하) 성분만 남기고 고음을 날려버리는 로우 패스 필터(Low-Pass Filter) 스크립트 작성 및 둔탁해진 소리 출력.

Recommended

Core Topic 02: 공간 오디오와 가상 음향 물리학 (Spatial Audio & HRTF)

• Why to Learn: 모니터의 3D 그래픽을 넘어, 소리만 듣고도 괴물이 내 등 뒤 오른쪽 위에서 다가오고 있다는 완벽한 공감각적 착각을 뇌에 심기 위해서입니다.
• What to Learn:
  • Concepts: 양이 간 시간차(ITD: Interaural Time Difference), 양이 간 음량차(ILD: Interaural Level Difference).
  • Skills: 머리 전달 함수(HRTF: Head-Related Transfer Function), 도플러 효과(Doppler Effect), 감쇠 공식(Attenuation/Falloff), 잔향(Reverb) 시뮬레이션.
  • Tools: FMOD, Wwise, 게임 엔진 내장 오디오.
  • Trade-offs: CPU 연산을 극한으로 태워 빛 반사처럼 소리 파동이 동굴 벽면을 맞고 수천 번 튕기는 잔향을 물리적으로 계산할 것인가 vs 거대하고 텅 빈 소리(Reverb) 필터 하나만 단순히 입혀서 싸게 때울 것인가의 타협.
• How to Learn:
  • 1단계: 게임에서 총알이 발사된 위치 좌표와 플레이어 카메라 좌표의 거리를 빼서 벡터를 구한 뒤, 오른쪽 귀에 도달하는 시간이 왼쪽 귀보다 0.001초 빠르고 소리가 미세하게 더 크도록 수학적 딜레이와 볼륨 패닝(Panning)을 적용하는 ITD/ILD를 뜯어봅니다.
  • 2단계: 사람의 귓바퀴 모양 때문에 소리가 정면에서 올 때와 뒤통수에서 올 때 파형이 미세하게 깎이는 현상(HRTF)을 컨볼루션 필터로 구워내어, 스테레오 이어폰 하나만으로 상하좌우를 구별하게 만드는 공학적 착각을 스케치합니다.
• Implement: 소스(발화자)와 리스너(플레이어)의 거리가 멀어질수록 소리 볼륨을 역제곱 법칙($1/r^2$)으로 줄이고, 상대 속도에 따라 피치(음정)가 변하는 도플러 효과(Doppler) 수학 공식을 적용한 가상 공간 사운드 매니저 뼈대 작성.

Practical

Core Topic 03: 비디오 코덱과 영상 압축 아키텍처 (Video Codecs)

• Why to Learn: 1초에 60장씩 쏟아지는 풀HD 이미지 배열(100MB)을 그대로 넷플릭스나 유튜브로 쐈다간 전 세계 통신망이 마비되므로, 이를 1MB로 구겨 넣는 마술을 쓰기 위해서입니다.
• What to Learn:
  • Concepts: 비트레이트(Bitrate), 손실 압축(Lossy Compression), 색 공간 분리(YUV, 크로마 서브샘플링).
  • Skills: 인트라 프레임(I-frame) 압축 (공간적 중복성), 인터 프레임(P/B-frame) 압축 (시간적 중복성), 모션 추정(Motion Estimation) 및 모션 벡터.
  • Tools: FFmpeg, H.264/HEVC 프로토콜.
  • Trade-offs: 영상을 너무 꽉 쥐어짜 압축률을 높이면 깍두기(블록 현상)가 터지는 화질 붕괴 vs 깍두기를 없애기 위해 용량을 키웠다가 사용자 폰에서 영상이 멈춰버리는 버퍼링 지옥 간의 밸런스(비트레이트 거버넌스).
• How to Learn:
  • 1단계: 사람의 눈은 '색깔'의 세밀함에는 둔감하고 '밝기'의 선명도에만 예민하다는 생물학적 허점을 이용해, 색상 정보 절반을 과감하게 버려버리는 크로마 서브샘플링(4:2<0>)의 색 공간 물리 분리를 이해합니다.
  • 2단계: 뉴스 앵커가 고개만 돌리는 영상에서, 배경은 가만히 놔두고 앵커 얼굴 픽셀의 이동 방향(Motion Vector)만 다음 프레임에 기록하여 용량을 100분의 1로 압축하는 시간적 중복성 제거(Inter-frame) 로직을 해부합니다.
• Implement: FFmpeg 커맨드라인 툴을 이용해, 원본 영상을 I-Frame 주기(Keyframe Interval)와 비트레이트 제어(CBR/VBR) 옵션을 변경하며 압축해 보고, 영상의 용량과 화질 붕괴 시점(Artifacts)의 상관관계를 분석한 리포트.

Advanced

Core Topic 04: 이미지 프로세싱과 컴퓨터 비전 기초 (Computer Vision)

• Why to Learn: 기계는 사진을 "강아지"로 보지 않고 "$1920 \times 1080$ 크기의 숫자 행렬"로 봅니다. 이 거대한 행렬 덩어리를 더하고 빼서 윤곽선을 찾아내는 필터의 위력을 쥐기 위함입니다.
• What to Learn:
  • Concepts: 합성곱(Convolution), 커널/마스크(Kernel/Mask), 모폴로지 연산(Morphology).
  • Skills: 공간 필터링(블러, 샤프닝), 엣지 추출(Sobel, Canny Edge Detector), 허프 변환(Hough Transform: 차선 인식), 임계값(Thresholding) 이진화.
  • Tools: OpenCV (파이썬/C++).
  • Trade-offs: 이미지의 픽셀 값 차이를 정밀하게 계산해 노이즈(먼지) 하나까지 엣지로 잡아내는 민감함 vs 가우시안 블러(Blur)로 화면을 살짝 뭉개어버린 뒤 진짜 굵은 외곽선만 잡아내는 노이즈 억제력의 타협.
• How to Learn:
  • 1단계: 사진의 모든 픽셀을 순회하며 주변 8개 픽셀의 평균값을 내 자신에게 덮어씌우는 3x3 박스 필터 행렬 연산이 렌즈에 서리가 낀 듯한 '블러(Blur)' 효과를 내는 물리적 뭉개짐 과정을 수식으로 계산합니다.
  • 2단계: "현재 픽셀 값이 바로 옆 픽셀 값과 갑자기 극단적으로 차이가 난다면, 그것은 물체의 경계선(Edge)이다"라는 편미분(Gradient) 논리를 소벨(Sobel) 마스크 행렬로 구현하여 형체를 따내는 로직을 뜯어봅니다.
• Implement: OpenCV를 사용하여 카메라 웹캠에서 들어오는 실시간 프레임을 흑백으로 이진화하고, Canny Edge 알고리즘을 먹여 현실 세계의 윤곽선(스케치 형태)만 실시간으로 추출해 내는 컴퓨터 비전 앱 작성.

7. Terminology

8. References

Primary References

• [CS2023: Multimedia / HCI] — 디지털 미디어 인코딩 원리, 인간 청각/시각 시스템 한계 기반 압축 논리.
• [SWEBOK v3: Software Construction] — 고대역폭 데이터(미디어) 스트리밍 최적화 및 네트워크 버퍼링 구조.

Secondary References

• [WebRTC API Documentation] — 브라우저 간 P2P 실시간 미디어 전송 통신 프로토콜 및 오디오 노이즈 캔슬링.
• [AES (Audio Engineering Society) Papers] — 입체 음향, HRTF 시뮬레이션 및 공간 오디오(Spatial Audio) 설계.

Industry References

• [Web Audio API Specification] — 오디오 라우팅 그래프, 주파수 필터 노드 및 공간화기(Spatializer) 제어.
• [FFmpeg Documentation] — 컨테이너 포맷(MP4, WebM) 다중화(Multiplexing) 및 비디오 코덱(H.264/HEVC) 트랜스코딩 아키텍처.

9. Final Checklist

Primary Checklist

• 오디오 파일 재생 시 단일 트랙으로 덮어쓰지 않고, Web Audio API 등의 노드 그래프 구조를 활용해 여러 사운드를 비동기적으로 믹싱(Mixing)하는가?
• 영상 또는 오디오 스트리밍 시, 네트워크 대역폭 변동에 적응하기 위해 버퍼링 큐(Queue)와 적응형 비트레이트(ABR) 기술을 구현했는가?

Secondary Checklist

• 비디오 리소스를 로드할 때 원본(RAW) 포맷이 아닌 환경(모바일/웹)에 최적화된 압축 코덱(H.264/WebM)을 사용하여 디코딩 메모리 오버헤드를 막는가?
• 공간 오디오(Spatial Audio) 적용 시, 광원과 마찬가지로 음원(Audio Source)의 좌표와 리스너(Listener)의 상대적 거리에 따른 거리 감쇠(Attenuation) 공식이 작동하는가?

Industry Checklist

• 실시간 음성 채팅(VoIP, WebRTC)을 구현할 때, 마이크 피드백 루프를 차단하는 에코 캔슬링(AEC) 및 노이즈 억제 필터를 물리적으로 통과시키는가?
• HRTF 기반의 3D 바이노럴(Binaural) 사운드 생성 시, 사용자의 머리 회전(Head-tracking) 각도 변화가 음향 공간 필터 계산에 지연(Latency) 없이 반영되는가?