Probability Spaces & Random Variables

1. Overview

확률 공간 및 확률 변수(Probability Spaces & Random Variables, PRV)는 결정론적인 세상 너머의 '불확실성(Uncertainty)'을 다루는 핵심 언어입니다.

컴퓨터 과학에서 알고리즘의 평균 수행 시간, 네트워크 패킷의 도착 지연, 그리고 기계 학습 모델의 예측 신뢰도는 모두 확률론적 토대 위에 있습니다. 학습자는 확률의 3대 공리를 바탕으로 한 **확률 공간(Probability Space)**의 정의와, 사건의 결과를 수학적 실숫값으로 변환하는 **확률 변수(Random Variable)**의 역학을 배웁니다. 이를 통해 불규칙해 보이는 데이터 이면에 숨겨진 패턴(기댓값, 분산 등)을 추출하고, 확률 모델링을 통해 시스템의 안정성을 정량적으로 설계하는 능력을 갖춥니다.

2. Scope & Boundaries

In-Scope

• Probability Axiomatics: 표본 공간(Sample Space), 사건(Event) 및 콜모고로프 공리 물리
• Random Variables: 이산형(Discrete)과 연속형(Continuous) 확률 변수의 물리적 구분
• Probability Distributions: 베르누이, 이항, 푸아송, 정규 분포 등 표준 분포의 역학
• Momentum Physics: 기댓값(Expectation), 분산(Variance) 및 적률(Moments)의 수리적 정의

Out-of-Scope

• 측도론(Measure Theory) 기반의 고수준 확률론 전문 증명 (순수 수학 영역)
• 통계적 가설 검정 및 추론 (04-02 SIE 영역으로 위임)

Boundaries

• PRV vs. Statistics: PRV가 '수학적 모델로부터 데이터의 발생 가능성'을 계산하는 순방향 물리라면, 통계학은 '발생한 데이터로부터 수학적 모델'을 찾으려는 역방향 물리입니다.

3. Counterexample

• 단순히 "퍼센트를 계산하는 것"은 PRV 학습이 아닙니다. 왜 특정 네트워크 지연 시간이 **지수 분포(Exponential Distribution)**를 따를 때, '기억 없음(Memoryless)' 성질로 인해 과거의 대기 시간이 미래의 대기 시간에 물리적 영향을 주지 않는지 입증할 수 있어야 합니다. 또한, 독립적인 사건들 사이의 조건부 확률을 잘못 계산하여 발생하는 '몬티 홀 문제'와 같은 논리적 오류를 지적하지 못한다면 PRV의 기초가 부족한 것입니다.

4. Prerequisites

• 집합론 및 관계 (Basic): 표본 공간의 부분집합으로서의 사건 개념이 필수입니다. (01-01 STR)
• Functions & Mappings (Recommended): 확률 변수가 '실수 집합으로의 함수'임을 이해하기 위해 권장됩니다. (01-02 FAM)

5. Learning Map

1. Space Formatting: 발생 가능한 모든 결과를 집합화하고 확률의 공리를 부여하여 기초 공간을 구축합니다.
2. Numeric Mapping: 추상적 결과를 실숫값(Random Variable)으로 치환하여 연산 가능한 상태로 만듭니다.
3. Distribution Discovery: 데이터가 특정 패턴(Distribution)에 따라 뭉치거나 흩어지는 물리적 규칙을 찾습니다.
4. Summary Physics: 방대한 확률 데이터를 기댓값과 분산이라는 핵심 지표로 압축하여 해석합니다.

6. Learning Topics

Basic

Core: 확률 공간의 공리와 연산 (Probability Axioms)

• Why to Learn: 불확실한 상황에서 논리적 모순 없이 확률을 정의하고 계산하기 위함입니다.
• What to Learn:
  • 표본 공간($S$)과 사건($E$)의 집합론적 정의
  • 확률의 3대 공리: 비부성, 정규성, 가산 가법성
  • 여사건, 합사건, 곱사건의 확률 물리 연산
• How to Learn:
  • 동전 던지기나 주사위 굴리기 시나리오에서 표본 공간을 완벽히 나열하는 연습
  • 특정 사건이 발생하지 않을 확률을 여사건의 원리로 즉각 산출하는 실습
• Implement: 몬테카를로 시뮬레이션을 통해 단순 사건의 확률 수렴성을 검증하는 기초 스크립트

Recommended

Core: 이산 및 연속 확률 변수의 물리 (Random Variables)

• Why to Learn: 측정된 데이터를 수치로 바꾸어 평균과 오차를 계산할 수 있는 물리적 기틀을 마련하기 위해서입니다.
• What to Learn:
  • 확률 질량 함수(PMF) vs 확률 밀도 함수(PDF)의 물리적 차이
  • 누적 분포 함수(CDF): 특정 지점까지의 확률 누적 역학
  • 기댓값($E[X]$): 확률적 가중치가 반영된 무게 중심의 수리적 정의
• How to Learn:
  • 웹사이트의 일일 방문자 수가 왜 이산형인지, 처리 지연 시간이 왜 연속형인지 분류 실습
  • PDF의 아랫부분 면적 합이 항상 1이 되어야 하는 물리적 이유 증명
• Implement: 다양한 PMF/PDF를 입력받아 기댓값을 수치적으로 계산하는 적분/합계 모듈

Practical

Core: 주요 확률 분포와 모수 (Common Distributions)

• Why to Learn: 현실의 데이터 패턴을 기성 모델(Distribution)에 대입하여 미래 사건을 예측하기 위함입니다.
• What to Learn:
  • 베르누이와 이항 분포: 성공과 실패 시퀀스의 물리
  • 정규 분포(Normal Distribution): 자연 현상과 데이터 노이즈의 수리적 고향
  • 푸아송 분포와 지수 분포: 단위 시간당 사건 발생과 대기 시간의 역학
• How to Learn:
  • 서버 장애 발생 빈도를 푸아송 분포로 모델링하고, 특정 시간 내 장애가 없을 확률 계산 연습
  • 중심 극한 정리(CLT)가 왜 모든 분포를 정규 분포로 수렴시키는지 시각적 분석
• Implement: 파라미터($n, p, \lambda$ 등)를 조절함에 따라 분포의 모양이 변하는 시각화 도구

Advanced

Core: 조건부 확률과 독립성 (Dependency Physics)

• Why to Learn: 정보가 추가됨에 따라 변화하는 확률을 계산하여 '베이즈 추론'의 기초를 다지기 위해서입니다.
• What to Learn:
  • 조건부 확률 $P(A|B)$의 정의와 물리적 제약
  • 독립 사건(Independent Events)의 수리적 충족 조건 ($P(A \cap B) = P(A)P(B)$)
  • 전확률의 법칙(Law of Total Probability): 복잡한 공간을 파티션으로 쪼개어 분석
• How to Learn:
  • 스팸 메일 필터링 원리에서 특정 단어가 있을 때 스팸일 확률이 어떻게 변하는지 계산 실습
  • 두 변수 사이의 공분산(Covariance)과 상관계수가 물리적 독립성과 어떻게 다른지 탐구
• Implement: 조건부 확률 테이블(CPT)을 기반으로 연쇄적인 확률 변화를 추적하는 엔진

7. Terminology

8. References

Primary

• [P1] CS2023 - DS/Discrete Probability — The fundamental standard.
• [P4] DS-BoK - Mathematical Foundations / Probability Theory — In data science context.

Secondary

• [Introduction to Probability] Bertsekas & Tsitsiklis — MIT's definitive probability text.
• [Probability and Computing] Mitzenmacher — Probability for algorithms and CS.

Industry

• [Network Traffic Modeling with Poisson Distributions] — Industry networking standards.
• [A/B Testing Statistical Foundations] — Probability in product growth.

9. Final Checklist

Primary

• '사건의 독립성'과 '배타성'의 차이를 확률 수식을 사용하여 물리적으로 증명할 수 있는 가? (P1)
• 정규 분포의 68-95-99.7 규칙이 표준 편차와 결합하여 데이터의 신뢰 범위를 어떻게 획정하는지 서술 가능한가? (P1)

Secondary

• 마르코프 부등식이나 체비쇼프 부등식을 이용해 분포를 몰라도 데이터의 임계 확률 상한을 계산할 수 있는가?
• 대수의 법칙(Law of Large Numbers)이 시뮬레이션 횟수와 확률적 정확도 사이의 관계를 어떻게 보장하는지 설명 가능한가?

Industry

• 서버 가용성(SLA) 계산 시, 개별 컴포넌트의 고장 확률을 독립 사건 모델로 결합하여 전체 시스템의 가동 확률을 산출할 수 있는 가? (SFIA)
• 알고리즘 최적화 과정에서 '평균 복잡도'를 계산하기 위해 각 입력 사례의 발생 확률 가중치를 적용한 기댓값 모델을 제안할 수 있는 가?