LLM & RAG Engineering

1. Overview

거대 언어 모델 및 생성형 AI(Large Language Models & GenAI, LLG)는 방대한 텍스트와 멀티모달 데이터를 수리적으로 학습하여 인위적인 지능을 창발시키는 '확률적 생성 물리학'입니다.

본 카테고리에서는 모델의 본질인 토큰 물리학부터, 학습 없이 지능을 유도하는 프롬프트 및 RAG, 지능을 예리하게 깎는 미세 조정, 그리고 오감을 통합하는 멀티모달 AI의 하이엔드 트렌드를 다룹니다.

2. Learning Cluster Nodes

1. LLM Foundations & Token Physics: 문자를 수치로 압축하고 다음 값을 예측하는 물리적 토대를 배웁니다.
2. Prompt Engineering & RAG Mechanics: 외부 지식을 수리적으로 주입하여 모델의 한계를 물리적으로 돌파합니다.
3. Fine-Tuning & Model Alignment: 지능의 태도를 수치적으로 교정하여 인간의 가치에 물리 정렬합니다.
4. Multimodal AI & Emerging Trends: 시각, 청각 등의 물리 신호를 단일 수리 공간에 통합하는 기술을 익힙니다.

3. Scope & Boundaries

• In-Scope: LLM 사전 학습 및 추론 원리, RAG 파이프라인 아키텍처, PEFT/RLHF 정렬 기법, 멀티모달 융합 로직 등
• Out-of-Scope: 신경망의 기초 수학 원리(11-02-XX), 배포 및 모니터링 인프라(11-04-XX)
• Primary Evidence: CS2023 (P1), DS-BoK (P4), SFIA v9 (P5)

4. Final Checklist

Primary Checklist

• LLM의 '스케일링 법칙' 수치가 지능 창발이라는 물리적 현상으로 어떻게 치환되는지 설명 가능한가? (P1)
• Fine-tuning과 RAG의 수리적 비용 대비 물리적 정확도 효용성을 도메인에 맞춰 논증할 수 있는가? (P1)

Secondary Checklist

• 검토 질문을 실제 학습 목표에 맞게 구체화한다.

Industry Checklist

• 검토 질문을 실제 학습 목표에 맞게 구체화한다.