LLM Fine-Tuning & Alignment

사전 학습된 LLM의 행동을 특정 도메인이나 인간 선호도에 맞게 추가 조정하는 기법.

기법 분류

Full Fine-Tuning: 모델 전체 파라미터를 추가 학습. 성능 최고, 연산 비용 최고.

PEFT (Parameter-Efficient Fine-Tuning): 소수 파라미터만 학습.

• LoRA: 가중치 행렬의 저순위 분해(Low-Rank Decomposition)로 작은 어댑터만 학습. 원본 파라미터 동결.
• Prefix Tuning: 입력 앞에 학습 가능한 가상 토큰 삽입.

RLHF (Reinforcement Learning from Human Feedback):

1. SFT (지도 학습 미세 조정)
2. 보상 모델 학습 (인간 선호도 쌍 비교)
3. PPO로 보상 최대화

RAG vs Fine-Tuning 선택

연결 노트

• ZK-LLM-Scaling-Laws — Fine-Tuning은 스케일링 대비 데이터 효율이 높을 때 선택
• ZK-RAG-Architecture — Fine-Tuning 대안으로 지식 주입
• ZK-Prompt-Engineering — Fine-Tuning 전 프롬프트 최적화로 충분한지 먼저 확인
• ZK-ReAct-Pattern — RLHF로 에이전트의 tool 선택 행동을 인간 피드백으로 정렬 가능