LLM Scaling Laws
모델 파라미터(N), 학습 데이터(D), 연산량(C)이 증가할수록 손실(Loss)이 멱함수적으로 감소하는 경험적 법칙. 2022년 DeepMind 연구: 고정 연산 예산 하에서 N과 D를 **1:1 비율**로 함께 키울 때 최적 성능. 이전 GPT-3 패러다임(모...
컴퓨터 과학 및 공학(CS&E)의 전 영역을 포괄하는 지식 지도이자 학습 경로를 정의하는 루트 학습 노드입니다.
컴퓨터 과학 및 공학(Computer Science & Engineering, CS&E)은 이 지식 저장소의 **최상위 루트 노드(Pillar Root)**입니다. 본 문서는 분산된 기술 지식을 유기적으로 연결하는 지식의 원천(SSOT, Single Source of Truth) 역할을 수행하며, 전산학의 이론적 기초와 공학적 실무 적용 사이의 균형 잡힌 로드맵을 제공합니다.
CS&E는 단순히 코드를 작성하는 기술을 넘어, 계산의 본질적 한계를 이해하고 복잡한 시스템의 신뢰성과 효율성을 보장하는 학문적/기술적 체계를 구축하는 것을 목표로 합니다. 대학생과 비전공 개발자가 현대적 엔지니어링의 정수를 체계적으로 수취할 수 있도록 안내합니다.
전체 학습 경로는 기초 과학에서 응용 엔지니어링으로 확장되는 14개의 핵심 Pillar로 구성됩니다.
| Pillar | Canonical Identifier | Primary Clusters |
|---|---|---|
| 01. Math & Computing Logic | MCL | Discrete Structures, Logic, Linear Algebra, Probability |
| 02. Computer Arch & Embedded | CAES | Digital Logic, Memory Systems, Multicore, Hardware Security |
| 03. OS & System Mechanics | OSSM | Kernel Interface, Process, Memory Management, Storage |
| 04. Data Structures & Algorithms | DSA | Complexity, Core Structures, Design Techniques, Graph & Optimization |
| 05. PL & Compilers | PLC | Theory & Types, Compiler Design, Runtime & GC, Native Platforms |
| 06. Data & Information Mgmt | DIM | Relational, NoSQL, Distributed, Governance, Ingestion, Storage, Lakehouse, Analytics |
| 07. System Arch & Distributed | SAD | Arch Foundations, Distributed Theory, Scalability, Reactive, SRE, Microservices, Cloud-Native |
| 08. Network & Communication | NC | Foundations, Transport, Routing, Web/API, Messaging, SDN |
| 09. SW Engineering & DevOps | SEDO | SDLC, Testing, DevOps Dynamics, Maintenance |
| 10. Security & Cryptography | SCF | Cryptography Fundamentals, Network/System Security, Apps |
| 11. Machine Learning & AI | MLAI | ML Foundations, Deep Learning, NLP, Vision, MLOps |
| 12. HCI & Graphics | HCIG | Human Factors, UI/UX, 2D/3D Graphics, Multimedia |
| 13. Mobile & Cross-Platform | MCP | Native (iOS/Android), Hybrid Physics, Mobile DevOps |
| 14. Web & Emerging Tech | WET | Browser Engine, Web Standards, Blockchain, IoT, Quantum |
posts/_index.md에서 정의한 14개 Top Category의 수평적/수직적 연결 관계 확인_index.md)를 작성하며 상위 노드와 중복되는 설명을 제거하는 실습| Term (EN / ko, abbr) | 1문장 정의 | 단계(기본/권장/실무/심화) | 역할/맥락 | 관련 개념 | 유사/대비/함께 사용 | 오해 포인트 | Evidence(Primary/Secondary/Industry |
Flags(core) |
|---|---|---|---|---|---|---|---|---|
| Computer Science & Engineering (CS&E) | 계산 이론의 과학적 토대와 소프트웨어 구현의 공학적 실무를 결합한 학문 체계입니다. | 기본 | ROOT | Taxonomy | CS vs. CE | 단순히 프로그래밍 언어를 배우는 것과 혼동 | Primary |
core |
| Single Source of Truth (SSOT) | 모든 데이터와 지식은 단 하나의 공신력 있는 시스템에서 관리되어야 한다는 원칙입니다. | 권장 | 거버넌스 | Single Home | Redundancy | 여러 곳에 동일한 정보를 복사하는 행위와 대비 | Industry |
core |
| Body of Knowledge (BoK) | 특정 전문 분야에서 공인되고 축적된 지식의 정수와 표준 체계입니다. | 기본 | 근거 | Evidence | Curriculum | 단순 블로그 포스트의 모음이 아님 | Primary |
core |
| Evidence Trace (ET) | 문서의 모든 주장이 공인된 지식 체계(BoK)에 기반하고 있음을 추적하고 증명하는 방식입니다. | 실무 | 품질 | Rationale | Peer Review | 개인의 주관적 경험을 일반적 사실로 오인하지 않도록 방지 | Primary |
core |
모델 파라미터(N), 학습 데이터(D), 연산량(C)이 증가할수록 손실(Loss)이 멱함수적으로 감소하는 경험적 법칙. 2022년 DeepMind 연구: 고정 연산 예산 하에서 N과 D를 **1:1 비율**로 함께 키울 때 최적 성능. 이전 GPT-3 패러다임(모...
텍스트를 LLM이 연산 가능한 정수 시퀀스로 변환하는 공정. 문자를 직접 사용하면 어휘집이 너무 작아지고, 단어 단위는 미등록어(OOV) 문제가 생긴다.
모놀리식 애플리케이션을 독립 배포 가능한 작은 서비스들로 분해하는 설계 결정.
LLM의 유일한 학습 목표: 이전 토큰 시퀀스를 조건으로 다음 토큰의 확률 분포를 예측. 각 위치에서 어휘집 전체에 대한 softmax 확률 벡터를 출력. Cross-entropy loss로 실제 토큰과 비교하여 역전파. 추론 시 예측한 토큰을 컨텍스트에 추가하여...
PKCE(Proof Key for Code Exchange): 코드 탈취 방지. SPA/모바일 앱에서 필수.
서비스 신뢰성을 수치로 정의하고 계약하는 SRE의 핵심 프레임워크. 남은 Error Budget이 있으면 새 기능 배포 가능. 소진되면 안정화 작업 우선. 개발팀과 SRE 팀의 공통 언어.
OOP 설계의 5원칙. 변경에 강하고 테스트 가능한 코드를 만드는 지침. SOLID는 목적이 아닌 수단. 과도한 추상화도 위반이다. 인터페이스 1개에 구현체 1개라면 추상화 비용이 이득을 초과.