Probability Spaces & Random Variables

1. Overview

확률 공간과 확률 변수(Probability Spaces & Random Variables, PSR)는 코드가 마주할 '예측 불가능한 우연(Randomness)'을 통제 불능의 카오스가 아닌, 철저히 통제되고 계산 가능한 '수학적 덩어리'로 포획해 내는 불확실성 공학입니다.

학습자는 무한한 가능성의 우주를 0과 1 사이의 실수로 압축하는 **확률 공간(Probability Space)**의 물리를 뜯어보고, 그 안에서 벌어지는 일들을 컴퓨터가 다룰 수 있는 숫자로 변환하는 **확률 변수(Random Variable)**의 역학을 해부합니다. 나아가 확률 변수들이 모여 그리는 **분포(Distribution)**와, 각 변수 간의 얽힘을 묘사하는 결합/조건부 확률을 통달하여 몬테카를로 시뮬레이션과 머신러닝의 뼈대가 되는 확률적 모델링 역량을 확보합니다.

2. Scope & Boundaries

In-Scope

• 확률 물리학 (Probability Mechanics): 표본 공간(Sample Space, $\Omega$), 사건(Event), 확률 측도(Probability Measure, $P$), 콜모고로프 공리(Kolmogorov Axioms).
• 조건부 역학 (Conditional Dynamics): 조건부 확률(Conditional Probability, $P(A|B)$), 독립성(Independence, $P(A \cap B) = P(A)P(B)$), 베이즈 정리(Bayes' Theorem) 기초.
• 확률 변수 (Random Variables): 이산(Discrete) 확률 변수(PMF)와 연속(Continuous) 확률 변수(PDF), 누적 분포 함수(CDF).
• 기댓값과 모멘트 (Expectation & Moments): 기댓값(Expected Value, $E[X]$), 분산(Variance, $Var(X)$), 공분산(Covariance), 대수의 법칙(Law of Large Numbers).

Out-of-Scope

• 통계적 가설 검정과 p-value 추론: 표본 데이터를 보고 모수를 찍어 맞추는 행위 $\rightarrow$ 01-04-02. Statistical Inference & Estimation 영역.
• 마르코프 체인과 확률 과정: 시간에 따라 상태가 변하는 확률 모델링 $\rightarrow$ 01-03-02. Matrix Calculus & Eigendecomposition 영역.

Boundaries

• PSR vs. Combinatorics (01-01-03): 조합론(01-01-03)이 "주사위를 두 번 던졌을 때 나오는 모든 경우의 수를 세는(Counting) 물리"라면, PSR은 그 세어놓은 경우의 수 위에 $1/36$이라는 "발생 가능성(Weight)을 부여하여 무게 중심(기댓값)을 찾는 물리"입니다.

3. Counterexample

• 상호 배타성과 독립성의 혼동 (Mutually Exclusive vs Independent): "A와 B가 절대로 동시에 일어날 수 없으니(배타적), 서로 독립이겠지"라고 뇌피셜로 코드를 짜는 수학적 무지. 동전의 앞면(A)과 뒷면(B)은 배타적이지만, A가 나왔다는 사실이 B가 발생할 확률을 0으로 만들어버리므로 완벽히 '종속적'입니다. 이 두 개념을 헷갈리면 분산 시스템의 장애 발생 확률(A 장애와 B 장애)을 계산할 때 전체 시스템 가용성(Availability) 수치가 박살 납니다.
• 도박사의 오류 (Gambler's Fallacy in RNG): "가챠(Gacha)에서 1% 확률 아이템이 99번 안 나왔으니, 100번째에는 무조건 나오겠지"라고 착각하여 서버의 의사 난수 생성기(PRNG)를 비정상적으로 호출하는 행위. 각각의 뽑기는 물리적으로 완벽한 독립 사건(Independent Events)임을 이해하지 못하면, 확률 보정 시스템(Pity System)을 설계할 때 수학적 근거 없이 하드 코딩하다 유저들에게 경제적 재앙을 안겨줍니다.

4. Prerequisites

• 조합론과 카운팅 (Basic): 이산 확률 공간에서 분모(전체 경우의 수)와 분자(특정 사건의 경우의 수)를 구하려면 순열과 조합 계산이 필수입니다. (01-01-03 CAC)
• 미적분학 기초 (Recommended): 연속 확률 변수의 기댓값과 넓이를 구하려면 적분(Integration)에 대한 직관이 필요합니다.

5. Learning Map

6. Learning Topics

Basic

Core Topic 01: 콜모고로프 공리와 확률 공간 (Axioms of Probability)

• Why to Learn: 프로그램이 랜덤하게 뱉어내는 모든 경우의 수 확률을 다 더하면 무조건 1.0이 되어야 한다는 절대적인 메모리 무결성(Integrity)을 보장하기 위함입니다.
• What to Learn:
  • Concepts: 표본 공간($\Omega$), 사건(Event), 확률 측도($P$).
  • Skills: 콜모고로프의 3 공리($P(E) \ge 0, P(\Omega) = 1, P(\cup E_i) = \sum P(E_i)$), 상호 배타적 사건.
  • Tools: 확률 트리(Probability Tree).
  • Trade-offs: 무한히 많은 사건 집합에서도 공리를 통해 완벽한 수학적 모순 없음을 증명하는 엄밀함 vs 프로그래밍 시 부동소수점 오차(0.9999999)로 인해 sum(probs) == 1.0 검증이 간혹 깨지는 컴퓨터 과학적 현실.
• How to Learn:
  • 1단계: 동전을 두 번 던질 때, 표본 공간 $\Omega = \{HH, HT, TH, TT\}$의 각 원소에 0.25의 질량을 부여하고, "적어도 한 번은 앞면이 나온다"는 사건의 물리적 크기를 3개의 원소 합(0.75)으로 뜯어봅니다.
  • 2단계: "나올 수 있는 모든 확률을 다 더하면 반드시 1(우주 전체)이다"라는 2번째 공리를 위반하는 가챠 테이블 엑셀 데이터를 코드가 사전에 파싱하여 에러(Validation Exception)를 뿜어내는 로직을 해부합니다.
• Implement: 드랍률 딕셔너리 {"item_a": 0.5, "item_b": 0.4, "item_c": 0.15}를 인자로 받았을 때, 3 공리를 위반(합이 1.0 초과)함을 수학적으로 탐지하고 정규화(Normalization)하여 합을 1.0으로 강제 보정해 반환하는 확률 엔진.

Recommended

Core Topic 02: 조건부 확률과 독립성 (Conditional & Independence)

• Why to Learn: 유저가 장바구니에 '기저귀'를 담았다는 새로운 정보(Condition)가 들어왔을 때, '맥주'를 살 확률 공간이 순식간에 물리적으로 찌그러지며 재배치되는 연관 관계를 계산하기 위함입니다.
• What to Learn:
  • Concepts: 조건부 확률($P(A|B) = \frac{P(A \cap B)}{P(B)}$), 독립성($P(A \cap B) = P(A)P(B)$).
  • Skills: 전확률의 법칙(Law of Total Probability), 베이즈 정리 기본.
  • Tools: 벤 다이어그램 면적 비례.
  • Trade-offs: 모든 사건이 독립이라고 가정(Naive)해버리면 확률 계산이 단순 곱셈으로 박살 나는 엄청난 컴퓨팅 속도 향상 vs 현실의 변수들은 대부분 거미줄처럼 종속되어 있어 독립을 맹신하면 예측 정확도가 바닥을 뚫고 들어가는 패널티.
• How to Learn:
  • 1단계: 조건부 확률 $P(A|B)$의 본질이, 우주 전체($\Omega$)였던 분모를 사건 $B$가 일어난 영역으로 싹둑 잘라내어 새로운 평행 우주를 만드는 '시야 축소 기하학'임을 시각적으로 증명합니다.
  • 2단계: A 서버와 B 서버가 다운될 확률이 각각 10%일 때, 두 서버가 물리적으로 같은 전원 코드를 쓴다면(종속), 두 서버가 동시에 죽을 확률이 $0.1 \times 0.1 = 0.01$이 절대 아님(독립 붕괴)을 수리적으로 뜯어봅니다.
• Implement: 이메일 데이터셋에서 "무료"라는 단어가 나올 확률 $P(F)$와 "무료"가 나왔을 때 이메일이 스팸일 조건부 확률 $P(S|F)$를 입력받아, 베이즈 정리를 하드코딩하여 스팸 필터링 예측치 확률을 뽑아내는 모듈 작성.

Practical

Core Topic 03: 확률 변수와 분포 함수 (Random Variables & Distributions)

• Why to Learn: "동전 앞면", "주사위 짝수" 같은 현실 세계의 스트링(String) 데이터를 컴퓨터가 미분하고 적분할 수 있는 $X=1, X=0$의 연속된 실수 좌표계로 맵핑(Mapping)하기 위해서입니다.
• What to Learn:
  • Concepts: 확률 변수(Random Variable, $X$), 이산(Discrete)/연속(Continuous).
  • Skills: 확률 질량 함수(PMF), 확률 밀도 함수(PDF), 누적 분포 함수(CDF, $F(x) = P(X \le x)$).
  • Tools: SciPy stats module.
  • Trade-offs: 이산 확률 변수는 덧셈($\sum$)으로 딱딱 떨어지는 코딩의 직관성 vs 연속 확률 변수는 적분($\int$)을 뚫어야 하지만 현실 세계의 아날로그 데이터(시간, 무게)를 무한의 해상도로 묘사할 수 있는 물리적 완벽함.
• How to Learn:
  • 1단계: 확률 변수 $X$는 변수가 아니라, 사건(Event)을 입력으로 받아 실수(Real Number)를 뱉어내는 완벽한 **함수(Function)**임을 집합론적 사상(Mapping)으로 뜯어봅니다.
  • 2단계: 연속 확률 밀도 함수(PDF)에서 특정 정확한 한 점(예: 키가 정확히 173.000...cm)일 확률은 적분 폭이 0이라 무조건 0이 되며, 항상 구간(Interval, CDF의 차이)으로만 확률을 구할 수 있는 적분 역학을 해부합니다.
• Implement: 평균 트래픽이 $\lambda=5$인 포아송 분포(PMF) 공식을 코드로 짜고, $X$ (1초당 들어오는 요청 수)가 0부터 20까지 변할 때의 확률 질량을 계산하여 막대 그래프(텍스트 기반 히스토그램)로 콘솔에 찍어내는 트래픽 시뮬레이터.

Advanced

Core Topic 04: 기댓값, 분산 그리고 대수의 법칙 (Expectation & Law of Large Numbers)

• Why to Learn: 확률의 안개 속에서도 데이터가 100만 번 쌓이면 결국 '평균'이라는 수학적 중력에 의해 절대 벗어날 수 없는 궤도로 수렴하는 우주의 법칙을 코드 최적화에 써먹기 위함입니다.
• What to Learn:
  • Concepts: 기댓값(Expected Value, $E[X]$), 분산(Variance, $Var(X) = E[X^2] - (E[X])^2$).
  • Skills: 기댓값의 선형성($E[aX + b] = aE[X] + b$), 대수의 법칙(Law of Large Numbers, LLN).
  • Tools: 몬테카를로 시뮬레이션(Monte Carlo Simulation).
  • Trade-offs: $X$와 $Y$가 아무리 지독하게 얽혀(종속) 있어도 $E[X+Y] = E[X] + E[Y]$로 쪼개지는 기댓값 선형성의 미친 편리함 vs 분산은 $X$와 $Y$가 완벽히 독립일 때만 $Var(X+Y) = Var(X) + Var(Y)$로 쪼개진다는 수학적 족쇄.
• How to Learn:
  • 1단계: 기댓값 $E[X]$의 본질이, 막대그래프 널빤지 밑에 받침대를 두었을 때 균형이 딱 맞는 '물리적 무게 중심(Center of Mass)'임을 적분 기하학으로 증명합니다.
  • 2단계: 대수의 법칙을 통해 몬테카를로 적분(무작위로 점을 수백만 번 찍어서 원주율 $\pi$를 구하는 짓)이 왜 수학적으로 허튼수작이 아니라 완벽한 참값으로 수렴하는지 그 절대적 물리 엔진을 뜯어봅니다.
• Implement: 원 안에 난수 $X, Y$ ($-1 \sim 1$) 좌표를 10번, 1,000번, 1,000,000번 쏘는 몬테카를로 엔진을 돌려보며, 시도 횟수 $N$이 커질수록 산출된 원주율($\pi$) 값의 오차(Variance)가 $O(1/\sqrt{N})$로 박살 나며 수렴하는 로그 출력기 작성.

7. Terminology

8. References

Primary

• [P1] CS2023 - DS/Discrete Probability — The fundamental standard.
• [P4] DS-BoK - Mathematical Foundations / Probability Theory — In data science context.

Secondary

• [Introduction to Probability] Bertsekas & Tsitsiklis — MIT's definitive probability text.
• [Probability and Computing] Mitzenmacher — Probability for algorithms and CS.

Industry

• [Network Traffic Modeling with Poisson Distributions] — Industry networking standards.
• [A/B Testing Statistical Foundations] — Probability in product growth.

9. Final Checklist

Primary

• '사건의 독립성'과 '배타성'의 차이를 확률 수식을 사용하여 물리적으로 증명할 수 있는 가? (P1)
• 정규 분포의 68-95-99.7 규칙이 표준 편차와 결합하여 데이터의 신뢰 범위를 어떻게 획정하는지 서술 가능한가? (P1)

Secondary

• 마르코프 부등식이나 체비쇼프 부등식을 이용해 분포를 몰라도 데이터의 임계 확률 상한을 계산할 수 있는가?
• 대수의 법칙(Law of Large Numbers)이 시뮬레이션 횟수와 확률적 정확도 사이의 관계를 어떻게 보장하는지 설명 가능한가?

Industry

• 서버 가용성(SLA) 계산 시, 개별 컴포넌트의 고장 확률을 독립 사건 모델로 결합하여 전체 시스템의 가동 확률을 산출할 수 있는 가? (SFIA)
• 알고리즘 최적화 과정에서 '평균 복잡도'를 계산하기 위해 각 입력 사례의 발생 확률 가중치를 적용한 기댓값 모델을 제안할 수 있는 가?