LLM Scaling Laws

1. Overview

LLM 스케일링 법칙(LLM Scaling Laws)은 모델 파라미터 수($N$), 학습 데이터 양($D$), 연산량($C$)이 커질수록 손실(Loss)이 멱함수(power law)를 따라 줄어든다는 경험적 관찰을 정리한 것입니다. 이 법칙은 이론적으로 증명된 정리가 아니라 여러 규모의 학습 실험에서 얻은 곡선을 맞춘 결과이며, 큰 모델을 학습하기 전에 비용과 성능을 가늠하는 데 쓰입니다.

핵심 질문은 "고정된 연산 예산에서 모델 크기와 데이터 양을 어떻게 나눌 것인가"입니다. Kaplan 등(2020)은 손실이 $N$, $D$, $C$ 각각에 대해 멱함수로 감소하며 모델 크기를 우선해 키우는 쪽이 효율적이라고 보았고, Hoffmann 등(2022, Chinchilla)은 이를 재검토해 파라미터와 데이터를 비슷한 비율로 함께 늘려야 한다고 결론 내렸습니다. 이 글은 두 결과의 차이, Chinchilla 비율의 올바른 해석, 창발(emergent abilities) 논쟁, 그리고 실무에서 외삽을 쓸 때의 주의점을 정리합니다.

2. Scope & Boundaries

In-Scope

• 멱함수 손실 감소 (Power-law Loss): $N$, $D$, $C$ 와 손실의 관계.
• Chinchilla 최적 비율 (Compute-optimal Training): 고정 연산 예산에서 $N$ 과 $D$ 의 배분.
• 창발 능력 (Emergent Abilities): 규모에 따른 능력 발현 관찰과 그 해석 논쟁.
• 실무 함의: 소규모 실험의 외삽, 데이터 품질.

Out-of-Scope

• 다음 토큰 예측의 학습 목표 자체 → Next-Token Prediction 영역.
• 양자화와 추론 최적화: 학습 후 배포 효율화는 다루지 않습니다.
• 개별 모델의 정확한 하이퍼파라미터: 특정 상용 모델의 비공개 학습 설정은 다루지 않습니다.

Boundaries

• Kaplan vs. Chinchilla: 둘 다 멱함수 법칙을 쓰지만 최적 배분 결론이 다릅니다. 이전 패러다임(GPT-3처럼 모델만 크게 키우는 방식)은 같은 연산에서 데이터가 상대적으로 부족했다는 것이 Chinchilla의 주장입니다.
• 학습 최적 vs. 추론 최적: Chinchilla 비율은 "학습 연산 대비 손실"을 최소화하는 기준이며, 배포 후 추론 비용까지 고려하면 더 작은 모델을 더 오래 학습하는 선택이 합리적일 수 있습니다.

3. Counterexample

• "N = D"를 문자 그대로 읽는 경우: 아래의 "파라미터 수 ≈ 학습 토큰 수"는 두 양이 같은 속도로 함께 증가해야 한다는 뜻의 단순화이지, 두 수가 같다는 뜻이 아닙니다. 예시처럼 70B 모델에 1.4T 토큰이면 토큰 수는 파라미터의 약 20배입니다. Chinchilla 논문의 결론은 연산 예산이 늘 때 $N$ 과 $D$ 를 같은 비율로 키우라는 것입니다.
• "창발은 임계점에서 갑자기 일어나는 마법"이라는 해석: Wei 등(2022)은 규모를 키울 때 어느 시점부터 능력이 갑자기 나타나는 사례를 보고했지만, Schaeffer 등(2023)은 이런 급격한 변화가 정확도처럼 불연속적인 평가 지표를 선택한 결과일 수 있으며 부드러운 지표로 보면 점진적이라고 반박했습니다. 창발이 실재하는 현상인지 지표의 산물인지는 논쟁이 계속되는 주제입니다.
• 작은 모델 곡선을 무한히 외삽: 로그 스케일 외삽은 같은 설정(데이터 분포, 아키텍처, 학습 절차)이 유지되는 범위에서만 믿을 수 있습니다. 설정이 바뀌거나 데이터가 부족해지면 곡선에서 벗어납니다.

4. Prerequisites

• 손실 함수와 cross-entropy (Basic): 스케일링 법칙의 종속 변수가 보통 테스트 손실이므로 → Next-Token Prediction을 먼저 확인합니다.
• 멱함수와 로그-로그 그래프 (Basic): 직선으로 보이는 로그-로그 곡선이 멱함수를 뜻한다는 것을 알아야 합니다.
• Transformer의 파라미터 구성 (Recommended): $N$ 이 레이어 수, 헤드 수, $d_{model}$ 에서 어떻게 정해지는지 → Transformer Architecture에서 확인합니다.

5. Learning Map

연결 노트

• Next-Token Prediction — 스케일이 커질수록 예측 손실이 감소
• LLM Embedding Spaces — 파라미터 증가 = 임베딩 공간의 표현력 증가
• ReAct Pattern in LLMs — 창발적 추론 능력이 에이전트 루프의 기반

6. Learning Topics

Basic

Core Topic 01: 멱함수 손실 감소 (Power-law Scaling)

• Why to Learn: 모델을 키우면 무엇이 얼마나 좋아지는지를 정량적으로 예측해야 학습 비용을 정당화할 수 있습니다.
• What to Learn:
  • Concepts: 모델 파라미터(N), 학습 데이터(D), 연산량(C)이 증가할수록 손실(Loss)이 멱함수적으로 감소하는 경험적 법칙.
  • Skills: 로그-로그 그래프에서 직선의 기울기를 멱지수로 읽는 법.
  • Tools: NumPy 회귀, matplotlib 로그-로그 플롯.
  • Trade-offs: 멱함수는 이득이 점점 줄어드는 형태이므로 같은 손실 감소를 얻기 위한 비용이 계속 커집니다.
• How to Learn:
  • 1단계: 공개된 소규모 학습 곡선(또는 직접 학습한 작은 모델들)의 손실을 모델 크기에 대해 로그-로그로 그려 직선성을 확인합니다.
  • 2단계: Kaplan 등의 논문에서 $N$, $D$, $C$ 각각에 대한 법칙이 어떤 조건(다른 변수가 병목이 아닐 때)에서 성립하는지 읽습니다.
• Implement: 크기가 다른 소형 모델 3~4개의 손실로 멱함수를 맞추고 한 단계 큰 모델의 손실을 예측하는 스크립트.

Recommended

Core Topic 02: Chinchilla 최적 비율 (Compute-optimal Training)

• Why to Learn: 고정된 GPU 예산을 모델 크기와 데이터 양에 어떻게 배분하느냐가 최종 성능을 좌우하기 때문입니다.
• What to Learn:
  • Concepts: 2022년 DeepMind 연구(Chinchilla)는 연산 예산이 정해져 있을 때 $N$ 과 $D$ 를 **같은 비율(1:1)**로 함께 늘리는 것이 가장 좋은 성능을 낸다고 보았습니다. 이전 GPT-3 패러다임(모델만 크게)이 데이터 효율이 낮았음을 입증했습니다.
  • Skills: 아래 근사식과 예시를 읽고, 학습 연산량 $C \approx 6ND$ 같은 근사식으로 예산을 $N$ 과 $D$ 로 나누는 계산.
  • Tools: 연산량 계산기, 학습 토큰 예산표.
  • Trade-offs: 학습 최적 지점은 추론 비용을 포함하지 않으므로, 서비스에서는 더 작은 모델을 더 많은 토큰으로 학습하는 선택이 나올 수 있습니다.

$N_{\mathrm{opt}} \propto C^{0.5}$, $D_{\mathrm{opt}} \propto C^{0.5}$ (파라미터 수와 학습 토큰 수를 같은 비율로 함께 키움). 경험칙은 파라미터당 약 20 토큰이며, 예: 70B 파라미터 모델에는 1.4T 토큰 학습이 최적.

• How to Learn:
  • 1단계: 예시의 70B와 1.4T로 토큰/파라미터 비율(약 20)을 계산해, 위 식이 "같은 속도로 증가"의 단순화임을 확인합니다.
  • 2단계: 연산 예산을 4배로 늘릴 때 $N$ 과 $D$ 가 각각 약 2배가 되어야 한다는 결론(예산의 제곱근에 비례)을 직접 계산해 봅니다.
• Implement: 연산 예산을 입력받아 Chinchilla 기준의 $N$, $D$ 를 출력하는 계산기.

Practical

Core Topic 03: 창발 능력과 그 해석 (Emergent Abilities)

• Why to Learn: "규모를 키우면 새 능력이 갑자기 생긴다"는 주장은 모델 개발과 안전 논의에 영향을 주므로 그 근거와 반론을 함께 알아야 합니다.
• What to Learn:
  • Concepts: 특정 스케일 임계값을 넘으면 예측하지 못했던 능력이 갑자기 발현된다는 관찰이며, 흔히 거론되는 예는 Chain-of-Thought 추론, 산술 연산, 다국어 번역입니다. 이런 능력이 연속적으로 늘지 않고 불연속적으로 나타난다는 점이 스케일링 연구의 큰 수수께끼로 거론되어 왔습니다.
  • Skills: 같은 결과를 정확도(불연속)와 로그 확률 같은 연속 지표로 각각 그려 비교.
  • Tools: 평가 하네스, 연속형 지표.
  • Trade-offs: 불연속처럼 보이는 곡선은 지표 선택의 영향일 수 있고, 실제로 질적 변화가 있는 경우도 있을 수 있어 단정이 어렵습니다.
• How to Learn:
  • 1단계: Wei 등(2022)이 제시한 사례에서 어떤 지표를 썼는지 확인합니다.
  • 2단계: Schaeffer 등(2023)의 반론을 읽고 지표를 바꾸면 곡선이 어떻게 달라지는지 비교합니다.
• Implement: 정확도와 토큰 로그 확률을 모델 크기별로 나란히 그리는 비교 리포트.

Advanced

Core Topic 04: 실무 함의 (Practical Implications)

• Why to Learn: 스케일링 법칙은 큰 학습 전에 비용과 위험을 줄이는 도구이므로 적용 조건과 깨지는 조건을 알아야 합니다.
• What to Learn:
  • Concepts: 작은 모델로 먼저 실험하고, 그 곡선을 로그 스케일에서 연장하면 더 큰 모델의 성능을 어느 정도 예측할 수 있습니다. 데이터 품질이 데이터 양만큼 중요하며, 오염 데이터는 법칙을 깨뜨립니다.
  • Skills: 외삽 오차 범위 추정, 데이터 중복·오염 점검.
  • Tools: 중복 제거 도구, 평가 데이터 누출 점검.
  • Trade-offs: 외삽은 싸고 빠르지만 설정이 바뀌면 틀릴 수 있어 검증 실험이 필요합니다.
• How to Learn:
  • 1단계: 작은 모델 곡선으로 예측한 값과 실제 더 큰 모델 결과의 오차를 기록합니다.
  • 2단계: 학습 데이터에 평가 데이터가 섞였을 때 손실이 어떻게 달라지는지 점검 절차를 설계합니다.
• Implement: 소규모 실험 결과로 예상 손실과 불확실성 구간을 출력하는 외삽 도구.

7. Terminology

8. References

Primary References

• [Kaplan et al., 2020. "Scaling Laws for Neural Language Models." arXiv:2001.08361] — 손실과 $N$, $D$, $C$ 사이의 멱함수 관계.
• [Hoffmann et al., 2022. "Training Compute-Optimal Large Language Models." arXiv:2203.15556] — Chinchilla. 연산 최적 배분과 70B 모델·1.4T 토큰 학습.
• [Wei et al., 2022. "Emergent Abilities of Large Language Models." arXiv:2206.07682] — 규모에 따른 창발 능력 보고.
• [Schaeffer, Miranda & Koyejo, 2023. "Are Emergent Abilities of Large Language Models a Mirage?" arXiv:2304.15004] — 창발이 평가 지표 선택의 산물일 수 있다는 반론.

Secondary References

• [Kaplan et al., 2020; Hoffmann et al., 2022 (위 Primary 항목)] — 두 논문 모두 학습 연산량을 파라미터 수와 토큰 수의 곱에 비례하는 $C \approx 6ND$ 꼴로 근사합니다.

Industry References

• [Brown et al., 2020. "Language Models are Few-Shot Learners." arXiv:2005.14165] — GPT-3. 모델 규모 확대 패러다임의 사례이며 학습 데이터 오염(contamination) 분석을 포함.

9. Final Checklist

Primary Checklist

• 스케일링 법칙이 이론이 아닌 경험적 곡선 맞춤임을 설명할 수 있는가?
• 로그-로그 그래프의 직선이 멱함수를 뜻하는 이유를 설명할 수 있는가?

Secondary Checklist

• Chinchilla의 "$N$ 과 $D$ 를 함께 키운다"를 "수가 같다"가 아닌 "같은 비율로 증가"로 해석할 수 있는가?
• 창발 주장과 지표 의존성 반론을 각각 근거와 함께 요약할 수 있는가?

Industry Checklist

• 학습 최적 비율과 추론 비용을 함께 고려해 모델 크기를 정했는가?
• 소규모 실험 외삽에 오차 범위를 붙이고 학습·평가 데이터 중복을 점검했는가?