Matrix Calculus & Eigendecomposition

1. Overview

행렬 미분 및 고유분해(Matrix Calculus & Eigendecomposition, MCE)는 단순한 연산을 넘어 행렬이라는 시스템의 '변화율'과 '내재된 골격'을 분석하는 고등 선형 대수 기여입니다.

학습자는 다변수 데이터의 기울기를 행렬 단위로 계산하는 **행렬 미분(Matrix Calculus)**과, 선형 변환 시 방향은 변하지 않고 크기만 변하는 특수 벡터를 찾는 **고유분해(Eigendecomposition)**의 물리적 의미를 배웁니다. 이는 인공지능의 가중치 최적화(Gradient Descent)를 가능케 하는 엔진이자, 데이터의 에너지가 집중된 방향을 찾아내는 강력한 분석 도구입니다. 이를 통해 복잡한 시스템의 안정성을 판별하고 대규모 연산의 병목을 수학적으로 해결하는 능력을 갖춥니다.

2. Scope & Boundaries

In-Scope

• Matrix Derivatives: 스칼라/벡터/행렬 간 미분의 물리적 레이아웃과 연쇄 법칙
• Eigen-theory: 고윳값($\lambda$)과 고유벡터($v$)의 정의 및 특성 방정식($det(A-\lambda I)=0$)
• Diagonalization Physics: 행렬을 대각 행렬로 분해하여 연산 부하를 낮추는 물리적 변형
• Symmetric Matrices: 대칭 행렬의 직교 고유벡터 성질 및 스펙트럼 정리

Out-of-Scope

• 비선형 미분 방정식의 수치 해석 (수치해석학 심화 영역)
• 특정 통계 모델의 최대 우도 추정(MLE) 상세 (04-02 SIE 영역으로 위임)

Boundaries

• MCE vs. Basic Linear Algebra: 기초 선형대수가 '방정식의 해'를 구하는 데 집중한다면, MCE는 '시스템의 불변적 성질(Eigen)'과 '최적화를 위한 변화(Calculus)'를 다룹니다.

3. Counterexample

• 단순히 "고윳값을 구하고 행렬을 미분하는 것"은 MCE 학습이 아닙니다. 왜 특정 고유벡터가 시스템의 **주요 변동 방향(Principal Direction)**을 나타내는지 물리적 의미를 설명할 수 있어야 하고, 행렬 미분 시 **분자 레이아웃(Numerator layout)**과 분모 레이아웃의 차이를 무시하여 발생하는 차원(Dimension) 불일치 오류를 지적하지 못한다면 MCE의 본질을 이해하지 못한 것입니다.

4. Prerequisites

• Vector Spaces & Linear Maps (Basic): 선형 변환과 기저의 물리적 이해가 필수입니다. (03-01 VLM)
• 이산 구조 및 수학적 논리 (Recommended): 대수적 증명 능력이 권장됩니다. (01. CS&E Root)

5. Learning Map

1. Gradient Physics: 단일 변수 미분을 행렬 공간으로 확장하여 다차원 변화율을 정의합니다.
2. Eigen-structure: 변환 앞에서도 굴복하지 않는 시스템의 고유한 축(Axis)을 발견합니다.
3. Spectral Decomposition: 시스템을 고윳값과 고유벡터의 선형 조합으로 완전히 분해합니다.
4. Iterative Stability: 행렬의 거듭제곱과 미분을 이용해 동적 시스템의 수렴성을 증명합니다.

6. Learning Topics

Basic

Core: 행렬 미분과 그래디언트 (Matrix Gradient Basics)

• Why to Learn: 수천 개의 파라미터를 동시에 최적화해야 하는 머신러닝의 수리적 엔진을 이해하기 위함입니다.
• What to Learn:
  • 스칼라를 벡터로 미분하는 그래디언트($\nabla$) 물리
  • 주요 행렬 미분 공식들: $\frac{\partial}{\partial x}(Ax)$, $\frac{\partial}{\partial x}(x^TAx)$ 등
  • 야코비 행렬(Jacobian Matrix): 벡터 함수의 변화율 지도
• How to Learn:
  • $L2$ 노름(Norm)의 제곱을 벡터로 미분하여 선형 회귀의 닫힌 해(Normal Equation) 유도 실습
  • 행렬 미분 표(Matrix Cookbook 등)를 참고하여 복잡한 식의 연쇄 법칙 전개 연습
• Implement: 수치 미분(Numerical)과 행렬 미분 공식(Analytical)의 결과를 비교하여 정밀도를 검증하는 모듈

Recommended

Core: 고윳값과 고유벡터의 물리 (Eigen Mechanics)

• Why to Learn: 거대한 선형 시스템의 동작을 결정짓는 핵심 유전자를 추출하기 위해서입니다.
• What to Learn:
  • 특성 방정식과 대수적/기하적 중복도의 정의
  • 전치 행렬과 역행렬의 고윳값 변화 규칙
  • 고유벡터의 직교성과 공간 생성(Span) 능력
• How to Learn:
  • 2x2 행렬의 고유벡터가 선형 변환 후에도 방향이 고정되는 현상을 시각화 실습
  • 구글 페이지랭크(PageRank) 알고리즘이 사실상 최대 고윳값의 고유벡터 찾기임을 수학적 분석
• Implement: 거듭제곱법(Power Method)을 이용해 가장 큰 고윳값과 벡터를 반복 연산으로 찾는 알고리즘

Practical

Core: 대각화와 행렬 분해 (Diagonalization & Decomposition)

• Why to Learn: 거듭제곱이나 역행렬 계산과 같은 무거운 연산을 고속 처리하기 위함입니다.
• What to Learn:
  • 대각화 가능 조건과 $A = PDP^{-1}$ 분해 물리
  • 대칭 행렬의 고유 분해와 직교 행렬($Q$)의 특권
  • 케일리-해밀턴 정리와 행렬 함수 계산
• How to Learn:
  • 피보나치 수열을 행렬의 $n$제곱으로 표현하고, 대각화를 통해 $O(1)$ 시간 내에 구하는 일반항 유도
  • 이미지 처리 시 특정 필터 행렬의 고윳값을 조절하여 데이터를 강화하거나 희석하는 연습
• Implement: 대칭 행렬을 고유 분해하여 특정 강도만큼 데이터를 스케일링하는 재구성 엔진

Advanced

Core: 이차 형식과 시스템 안정성 (Quadratic Forms & Stability)

• Why to Learn: 최적화 문제에서 '정답(최솟값)'이 존재하는지, 시스템이 발산하지 않는지 입증하기 위해서입니다.
• What to Learn:
  • 이차 형식($x^TAx$)과 양의 정부호(Positive Definite) 행렬 판별
  • 헤세 행렬(Hessian Matrix): 2차 미분을 통한 곡률 분석 물리
  • 레일리 지수(Rayleigh Quotient)를 이용한 고윳값의 경계 예측
• How to Learn:
  • 함수의 극대/극소점을 헤세 행렬의 고윳값 부호에 따라 판정하는 실습
  • 전력망이나 네트워크 제어 시스템의 행렬 고윳값이 허수부를 가질 때 발생하는 물리적 진동 분석
• Implement: 행렬의 정부호성(Definiteness)을 실시간으로 확인하여 최적화 가능 여부를 진단하는 툴

7. Terminology

8. References

Primary

• [P1] CS2023 - DS/Linear Algebra — Formal requirements.
• [P4] DS-BoK - Mathematical Foundations / Matrix Calculus — ML application context.

Secondary

• [Matrix Cookbook] Petersen & Pedersen — The definitive reference for matrix derivatives.
• [Linear Algebra and Learning from Data] Gilbert Strang — Integration of MCE and AI.

Industry

• [Backpropagation Algorithm Derivation] — Matrix calculus in neural networks.
• [Structural Engineering Stability Analysis] — Eigendecomposition in physics engines.

9. Final Checklist

Primary

• 행렬 미분 공식(예: $\nabla_x (x^TAx) = 2Ax$)을 전개식 없이 선형 대수적 성질만으로 물리적 입증이 가능한가? (P1)
• 주어진 2x2 행렬의 특성 방정식을 구하고, 고윳값이 실수가 아닌 허수로 나올 때 시스템에 미치는 물리적 의미를 설명할 수 있는 가? (P1)

Secondary

• 대칭 행렬(Symmetric Matrix)의 고유벡터들이 왜 항상 서로 수직(Orthogonal)인지 수학적으로 증명 가능한가?
• 야코비 행렬(Jacobian) 결정값이 고차원 공간에서 '미소 부피의 변화율'임을 기하학적으로 설명할 수 있는가?

Industry

• 딥러닝 역전파(Backpropagation) 과정에서 발생하는 경사 소실(Vanishing Gradient) 문제를 헤세 행렬의 고윳값 관점에서 분석하고 해결책을 제시할 수 있는 가? (SFIA)
• 고유분해가 불가능한 행렬(Non-diagonalizable)의 경우, 조르당 표준형(Jordan Normal Form)을 통해 시스템을 어떻게 근사 처리할지 전략을 수립할 수 있는 가?