콘텐츠로 바로가기
HY_TECH_BASE

Learning & Optimization

기계가 데이터로부터 수리적 규칙을 스스로 물리 학습하는 기본 원리와, 오차를 줄여나가는 최적화의 역학을 다루는 학습 노드입니다.

sys.entry
M

Me

hyunyoun's Blog

posts6 min read

1. Overview

기초 기계 학습(Foundational Machine Learning, FML)은 데이터라는 물리적 재료를 수리적 알고리즘이라는 용광로에 넣어, 명시적인 프로그래밍 없이도 스스로 판단하고 예측하는 '통계적 규칙 지능'을 추출하는 인공지능의 뿌리 기술입니다.

프로그램의 로직이 고정된 것이 아니라, 입력(Features)과 정답(Labels) 사이의 관계를 모델이 직접 학습합니다. 학습자는 지도 학습과 비지도 학습의 물리적 차이를 이해하고, 손실 함수(Loss Function)의 최소점을 찾아가는 최적화(Optimization) 과정이 지능을 형성하는 물리적 원리를 학습합니다. 이를 통해 현대 AI 시스템의 논리적 한계를 인식하고 견고한 모델을 설계하는 기초를 다집니다.

2. Scope & Boundaries

In-Scope

  • ML Paradigms: 지도(Supervised), 비지도(Unsupervised), 강화(Reinforcement) 학습의 개념적 역학
  • Supervision Mechanics: 회귀(Regression)와 분류(Classification)의 수리적 모델링 입문
  • Pattern Discovery: 군집화(Clustering) 및 차원 축소(Dimensionality Reduction) 물리
  • Optimization Foundations: 경사 하강법(Gradient Descent), 학습률(Learning Rate) 및 과적합(Overfitting) 물리

Out-of-Scope

  • 다층 신경망(Deep Learning) 상세 (11-02 Deep Learning 영역으로 위임)
  • 거대 언어 모델(LLM) 아키텍처 (11-03 LLM 영역으로 위임)

Boundaries

  • FML vs. Math: Math(01)가 '이론적 증명'에 집중한다면, FML은 '수리 모델을 시뮬레이터에 적용하여 예측력을 물리적으로 검증'하는 데 집중합니다.

3. Counterexample

  • 단순히 Scikit-learn의 model.fit()을 호출하는 것은 FML 학습이 아닙니다. 왜 동일한 데이터임에도 **정규화(Regularization)**를 적용했을 때 모델의 일반화(Generalization) 성능이 물리적으로 개선되는지, 그리고 경사 하강법이 **국소 최적해(Local Minima)**에 빠지는 물리적 이유를 설명할 수 있어야 합니다.

4. Prerequisites

  • 기초 및 복잡도 (Basic): 복잡도 분석과 데이터 크기에 따른 연산 확장성 이해가 필요합니다. (04. Foundations)
  • 수리 및 컴퓨팅 논리 (Recommended): 선형 대수와 미적분학의 기초 물리 개념이 선행되어야 합니다. (01. Mathematics)

5. Learning Map

  1. Modeling Intelligence: 데이터로부터 규칙을 도출하는 기계 학습의 3대 패러다임을 익힙니다.
  2. Error Physics: 정답과의 차이(Loss)를 수치화하고 이를 줄여나가는 최적화 논리를 이해합니다.
  3. Statistical Boundaries: 모델이 학습하지 않은 데이터에서도 동작하게 하는 일반화 기법을 배웁니다.
  4. Performance Measurement: 정확도, 정밀도, 재현율 등 지능의 품질을 물리적으로 측정합니다.

6. Learning Topics

Basic

Core: 기계 학습 패러다임 (ML Paradigms)

  • Why to Learn: 문제의 성격에 따라 최적의 학습 전략을 선택하기 위함입니다.
  • What to Learn:
    • 지도 학습(Supervised): 입력-출력 쌍을 통한 인과 모델링
    • 비지도 학습(Unsupervised): 데이터 내재 구조 및 군집 발견
    • 강화 학습(Reinforcement): 보상 체계를 통한 행동 최적화 기초
  • How to Learn:
    • 스팸 메일 분류(지도)와 고객 군집화(비지도) 시나리오를 비교 도식화
    • 각 패러다임이 해결하고자 하는 물리적 '목적 함수'의 차이 분석
  • Implement: 입력값에 따라 출력을 예측하는 가장 단순한 선형 모델 시뮬레이션

Core: 지도 학습의 역학 (Supervised Learning Physics)

  • Why to Learn: 변수 간의 수리적 관계를 통해 미래의 수치나 카테고리를 예측하기 위해서입니다.
  • What to Learn:
    • 선형 회귀(Linear Regression)와 로지스틱 회귀의 물리적 구분
    • 결정 트리(Decision Tree)와 앙상블(Ensemble) 기법의 바이어스-분산 트레이드오프
    • 분류 지표: 혼동 행렬(Confusion Matrix)과 ROC/AUC 물리 의미
  • How to Learn:
    • 단순 선형 모델이 학습을 진행함에 따라 결정 경계(Boundary)가 이동하는 과정 시각화
    • 과적합(Overfitting) 발생 시 모델의 물리적 복잡도 변화 연구
  • Implement: 기울기와 절편을 직접 조정하며 오차를 최소화하는 단순 회귀 프로그램

Practical

Core: 최적화와 경사 하강법 (Optimization Logic)

  • Why to Learn: 수동 계산이 불가능한 복잡한 모델에서 최적의 파라미터를 물리적으로 찾아내기 위함입니다.
  • What to Learn:
    • 손실 함수(Loss Function): MSE, Cross-entropy의 수리적 물리 의미
    • 경사 하강법(Gradient Descent): 기울기(Gradient)를 이용한 파라미터 업데이트 물리
    • 확률적 경사 하강법(SGD) 및 미니 배치(Mini-batch) 처리의 하드웨어 이득
  • How to Learn:
    • 3차원 손실 함수 지형도에서 학습률(Learning Rate)에 따른 공의 구름(Descent) 시뮬레이션
    • 학습률이 너무 클 때 발생하는 진동(Oscillation) 현상 분석
  • Implement: 파생함수(미분)를 이용해 파라미터를 자동으로 갱신하는 기초 Optimizer 모듈

Advanced

Core: 비지도 학습과 차원 축소 (Unsupervised Dynamics)

  • Why to Learn: 고차원의 복잡한 데이터에서 핵심 특징(Features)만을 추출하여 연산 효율을 극대화하기 위해서입니다.
  • What to Learn:
    • K-평균(K-means) 군집화의 물리적 수렴 과정
    • 주성분 분석(PCA)을 통한 정보 손실 최소화 및 차원 축소 물리
    • 특이값 분해(SVD) 및 매니폴드(Manifold) 학습 입문 기초
  • How to Learn:
    • 100개의 변수를 가진 데이터를 2개로 축소했을 때 데이터의 형상(Structure) 유지 여부 관측
    • 군집 간 거리 물리 분석을 통한 최적의 클러스터 개수 산출 실습
  • Implement: 데이터의 평균 지점을 찾아 군집을 형성하는 K-means 핵심 루프

7. Terminology

Term (EN / ko, abbr) 1문장 정의 단계(기본/권장/실무/심화) 역할/맥락 관련 개념 유사/대비/함께 사용 오해 포인트 Evidence(Primary/Secondary/Industry) Flags(core/misused/legacy)
Overfitting (과적합) 모델이 학습 데이터의 잡음(Noise)까지 학습하여 새로운 데이터에 대한 예측력이 물리적으로 떨어지는 현상입니다. 기본 품질 관리 Generalization Underfitting '공부를 많이 함'으로 오해 P1:CS2023/Machine Learning core
Loss Function 모델의 예측값이 실제 정답과 얼마나 물리적으로 동떨어져 있는지를 하나의 수치로 정량화한 함수입니다. 기본 최적화 지표 Cost Function Accuracy 단순히 '정확도'와 혼합 P1:CS2023/Machine Learning core
Gradient Descent 함수의 기울기가 가장 가파른 방향의 반대쪽으로 이동하며 최솟값을 찾아가는 수리적 반복 알고리즘입니다. 추천 파라미터 학습 Optimizer Newton's Method 단순히 '내려가는 길'로 오해 P1:CS2023/Machine Learning core
Feature (특성) 학습 모델이 패턴을 인식하기 위해 사용하는 데이터의 물리적/통계적 속성들입니다. 기본 입력 변수 Feature Engineering Label 데이터 전체와 동일시함 P4:DS-BoK Science core

8. References

Primary References

Secondary References

  • [Pattern Recognition and Machine Learning] Christopher Bishop — The theoretical foundation.
  • [Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow] Aurélien Géron — Practical context.

Industry References

  • [Google Machine Learning Crash Course] — Practical engineering best practices.
  • [Scikit-learn User Guide - Supervised Learning] — Implementation standards.

9. Final Checklist

Primary Checklist

  • 지도 학습과 비지도 학습의 수리적 목적 함수 차이를 물리적으로 증명 가능한가? (P1)
  • 경사 하강법 시 '학습률' 수치가 수렴 속도와 안정성에 미치는 물리적 영향력을 논증할 수 있는가? (P1)

Secondary Checklist

  • L1/L2 규제(Regularization)가 모델의 가중치를 물리적으로 어떻게 억제하여 과적합을 막는지 이해하는가?
  • 정밀도(Precision)와 재현율(Recall) 사이의 트레이드오프를 비즈니스 상황(예: 암 진단 vs 스팸 분류)에 맞춰 선택할 수 있는가?

Industry Checklist

  • 모델 학습 전 데이터 스케일링(Scaling)이 경사 하강법의 물리적 수렴 속도에 미치는 기여도를 정량적으로 논할 수 있는가? (SFIA)
  • 실무 파이프라인에서 '데이터 드리프트(Data Drift)' 발생 시 기존 고정 모델이 물리적으로 실패하는 원인을 진단 가능한가?

Concepts & Tags

#machine-learning#supervised-learning#unsupervised-learning#optimization#gradient-descent