Next-Token Prediction

1. Overview

다음 토큰 예측(Next-Token Prediction)은 이전 토큰 시퀀스를 조건으로 다음 토큰의 확률 분포를 예측하는 언어 모델링 목표입니다. GPT 계열과 같은 디코더 전용 LLM의 사전 학습은 이 목표 하나로 이루어지며, 학습된 모델은 예측한 토큰을 다시 입력에 붙이는 자동 회귀(autoregressive) 방식으로 텍스트를 생성합니다.

겉보기에는 단순한 "빈칸 맞히기"이지만, 방대한 텍스트에서 다음 토큰을 잘 맞히려면 문법, 사실 관계, 문맥 추론 같은 정보를 파라미터에 담아야 하기 때문에 번역·요약·코딩 같은 다양한 작업이 같은 목표에서 파생됩니다. 이 글은 확률 분포의 수식과 학습(cross-entropy), 자동 회귀 생성 절차, 샘플링 설정(temperature 등), 그리고 이 목표만으로 다양한 능력이 나타나는 이유에 대한 일반적 설명과 그 한계를 정리합니다.

2. Scope & Boundaries

In-Scope

• 수학적 정의 (Formulation): 조건부 확률 $P(t_n \mid t_1,\dots,t_{n-1})$, softmax 출력, cross-entropy 손실.
• 자동 회귀 생성 (Autoregressive Generation): 예측 토큰을 컨텍스트에 추가해 반복하는 추론 절차.
• 샘플링 제어: temperature와 디코딩 전략.
• 창발적 능력의 설명: 다음 토큰 예측만으로 다양한 능력이 나타나는 이유에 대한 일반적 설명.

Out-of-Scope

• 토크나이저 설계 → LLM Tokenization & BPE 영역.
• 스케일링과 창발의 정량 분석 → LLM Scaling Laws 영역.
• 정렬 단계(SFT, RLHF)의 학습 목표 → LLM Fine-Tuning & Alignment 영역.

Boundaries

• 사전 학습 목표 vs. 전체 학습 파이프라인: "유일한 학습 목표"는 사전 학습 단계에 대한 설명입니다. 실제 서비스용 모델은 이후 지시 따르기 미세 조정과 선호 기반 정렬 같은 별도 단계를 거치기도 합니다(InstructGPT).
• 인과 언어 모델 vs. 마스크 언어 모델: 다음 토큰 예측은 왼쪽 문맥만 보는 인과(causal) 방식이며, BERT처럼 가려진 토큰을 양방향 문맥으로 맞히는 목표와 구분됩니다.

3. Counterexample

• "모델이 이해해서 답한다"는 과도한 해석: 모델은 각 위치에서 어휘집 전체에 대한 확률 분포를 출력할 뿐이며, 그럴듯한 토큰을 이어 붙인 결과가 사실과 다를 수도 있습니다. 확률이 높다는 것은 학습 데이터 분포에서 자연스럽다는 뜻이지 참이라는 보증이 아닙니다.
• temperature가 지식이나 정확도를 바꾼다는 오해: temperature는 같은 분포의 첨도(뾰족함)만 조절합니다. 낮추면 결정론적, 높이면 창의적(다양)이지만 모델이 아는 것이 달라지지는 않습니다.
• 창발의 원인을 단정하는 설명: "세계에 대한 압축된 표현이 파라미터에 생기기 때문"이라는 설명은 직관적이지만, 어떤 능력이 어느 규모에서 왜 나타나는지는 지표와 평가 방식에 따라 해석이 갈리는 열린 주제입니다. 규모 효과는 LLM Scaling Laws에서 따로 다룹니다.

4. Prerequisites

• 확률과 softmax (Basic): 조건부 확률, 연쇄 법칙, softmax의 정규화 의미를 알아야 수식을 읽을 수 있습니다.
• 토큰화와 임베딩 (Basic): 입력이 토큰 ID 배열이고 임베딩으로 변환된다는 점을 알아야 합니다. → LLM Tokenization & BPE, LLM Embedding Spaces
• Transformer 디코더 (Recommended): 확률 분포를 출력하는 모델 본체가 어떻게 생겼는지 → Transformer Architecture에서 확인합니다.

5. Learning Map

연결 노트

• LLM Tokenization & BPE — 입력 시퀀스는 토큰 ID의 배열
• LLM Embedding Spaces — 토큰 ID를 벡터로 변환 후 Transformer에 입력
• LLM Scaling Laws — 파라미터와 데이터 규모가 예측 정확도와 창발을 결정
• ReAct Pattern in LLMs — 에이전트의 Thought/Action을 다음 토큰 예측으로 생성

6. Learning Topics

Basic

Core Topic 01: 수학적 정의와 학습 손실 (Formulation & Cross-Entropy)

• Why to Learn: LLM의 모든 학습과 평가 지표(perplexity 등)가 이 확률 정의에서 나오므로 수식을 정확히 읽을 수 있어야 합니다.
• What to Learn:
  • Concepts: LLM의 사전 학습 목표는 이전 토큰 시퀀스를 조건으로 다음 토큰의 확률 분포를 예측하는 것입니다. 각 위치에서 어휘집 전체에 대한 softmax 확률 벡터를 출력합니다.
  • Skills: 시퀀스 전체 확률을 조건부 확률의 곱 $P(t_1,\dots,t_n) = \prod_i P(t_i \mid t_{<i})$ 로 분해하고, 각 위치에서 Cross-entropy loss로 실제 토큰과 비교하여 역전파합니다. 병렬 학습을 위해 인과 마스크로 미래 토큰을 가립니다.
  • Tools: PyTorch cross_entropy.
  • Trade-offs: 정답 토큰의 확률만 키우는 단순한 목표인 대신, 정답 토큰 하나에만 확률을 몰아 주므로 동의어도 오답으로 계산합니다.

$P(t_n \mid t_1, t_2, \dots, t_{n-1})$

• How to Learn:
  • 1단계: 어휘집이 5개인 작은 예에서 softmax 출력과 정답 토큰의 $-\log p$ 를 직접 계산합니다.
  • 2단계: 평균 손실의 지수 $\exp(\text{loss})$ 가 perplexity임을 확인하고 손실 감소가 perplexity 감소로 이어지는 것을 비교합니다.
• Implement: 토큰 ID 시퀀스와 모델 로짓을 받아 위치별 cross-entropy와 perplexity를 계산하는 함수.

Recommended

Core Topic 02: 자동 회귀 생성 (Autoregressive Generation)

• Why to Learn: 학습 때는 정답 문장을 한 번에 넣지만 추론 때는 토큰을 하나씩 만들어 붙이므로, 이 비대칭이 생성 속도와 오류 전파를 이해하는 출발점입니다.
• What to Learn:
  • Concepts: 추론 때는 방금 예측한 토큰을 컨텍스트 끝에 붙여 모델에 다시 넣는 과정을 되풀이하며 텍스트를 이어 갑니다.
  • Skills: 생성 루프 구현, 종료 토큰 처리, 컨텍스트 길이 한계.
  • Tools: Hugging Face generate.
  • Trade-offs: 한 번에 한 토큰씩 순차 생성하므로 출력 길이만큼의 순차 단계가 필요하고, 앞에서 샘플링된 토큰이 이후 모든 출력에 영향을 줍니다.

step 1: 컨텍스트 "나는"      → 어휘집 확률 분포 → 샘플링 결과 "좋아"
step 2: 컨텍스트 "나는 좋아"  → 어휘집 확률 분포 → 샘플링 결과 "한다"

• How to Learn:
  • 1단계: 위 예시처럼 짧은 프롬프트로 한 단계씩 확률 분포를 출력하고 샘플링해 문장을 만들어 봅니다.
  • 2단계: 중간 토큰 하나를 다르게 샘플링했을 때 이후 문장이 어떻게 달라지는지 비교합니다.
• Implement: 모델 로짓 함수를 받아 최대 길이까지 토큰을 생성하는 generate 루프.

Practical

Core Topic 03: 샘플링 제어 (Temperature & Decoding)

• Why to Learn: 같은 모델도 샘플링 설정에 따라 결정적이거나 다양한 출력을 내므로, 용도에 맞는 설정을 고르는 것이 서비스 품질에 직접 영향을 줍니다.
• What to Learn:
  • Concepts: Temperature는 확률 분포의 첨도를 조절합니다. 낮으면 결정론적, 높으면 창의적입니다.
  • Skills: 로짓을 $z/T$ 로 나눈 softmax, $T \to 0$ 일 때 argmax(탐욕 선택)에 가까워진다는 점, top-k와 top-p(nucleus) 샘플링.
  • Tools: 디코딩 파라미터 설정.
  • Trade-offs: 낮은 temperature는 재현성과 안정성이 높지만 반복적이기 쉽고, 높은 temperature는 다양성이 높지만 일관성이 떨어집니다. Holtzman 등은 가능도만 최대화하는 디코딩이 반복과 퇴화 문제를 낳을 수 있다고 보고 nucleus 샘플링을 제안했습니다.
• How to Learn:
  • 1단계: 같은 로짓에 $T=0.2, 1.0, 1.5$ 를 적용해 softmax 분포의 모양을 그려 비교합니다.
  • 2단계: top-k, top-p를 적용했을 때 어떤 토큰이 후보에서 제외되는지 확인합니다.
• Implement: temperature, top-k, top-p를 적용해 다음 토큰을 샘플링하는 함수.

Advanced

Core Topic 04: 단일 목표에서 다양한 능력으로 (Emergent Capabilities)

• Why to Learn: 왜 하나의 단순한 목표가 번역·요약·코딩 능력으로 이어지는지에 대한 설명과 그 한계를 알아야 LLM의 능력과 한계를 균형 있게 판단할 수 있습니다.
• What to Learn:
  • Concepts: 다음 토큰 예측만으로 학습했는데도 번역, 요약, 코딩, 추론 같은 능력이 관찰됩니다. 흔한 설명은 대규모 데이터를 잘 예측하는 과정에서 세계에 대한 압축된 표현이 파라미터에 형성된다는 것입니다. GPT-2 논문은 언어 모델링 목표만으로 별도 학습 없이 여러 작업을 수행하는 zero-shot 결과를 보고했습니다.
  • Skills: 같은 모델에 프롬프트만 바꿔 여러 작업을 수행시켜 보는 실험 설계.
  • Tools: 프롬프트 평가 도구.
  • Trade-offs: 다양한 작업을 한 모델로 처리할 수 있는 대신, 확률적 생성이라 사실 오류(환각)가 생길 수 있습니다.
• How to Learn:
  • 1단계: 같은 사전 학습 모델에 번역, 요약, 코드 생성 프롬프트를 각각 넣어 결과 품질을 비교합니다.
  • 2단계: 규모에 따른 능력 변화가 지표에 의존한다는 논의를 연결 노트의 스케일링 글에서 읽습니다.
• Implement: 하나의 모델로 세 가지 작업 프롬프트를 실행하고 결과를 표로 정리하는 평가 스크립트.

7. Terminology

8. References

Primary References

• [Radford et al., 2018. "Improving Language Understanding by Generative Pre-Training." OpenAI] — 언어 모델링 목표로 디코더 전용 Transformer를 사전 학습하는 GPT.
• [Radford et al., 2019. "Language Models are Unsupervised Multitask Learners." OpenAI] — GPT-2. 언어 모델링 목표만으로 여러 작업의 zero-shot 수행을 보고.
• [Vaswani et al., 2017. "Attention Is All You Need." arXiv:1706.03762] — 디코더의 인과 마스크와 softmax 출력 구조.

Secondary References

• [Holtzman et al., 2019. "The Curious Case of Neural Text Degeneration." arXiv:1904.09751] — 가능도 최대화 디코딩의 문제와 nucleus(top-p) 샘플링.
• [Ouyang et al., 2022. "Training language models to follow instructions with human feedback." arXiv:2203.02155] — 사전 학습 이후의 지시 따르기 학습 단계.

Industry References

• [Hugging Face Transformers Documentation: Text generation] — generate와 디코딩 전략 설정.

9. Final Checklist

Primary Checklist

• $P(t_n \mid t_1,\dots,t_{n-1})$ 의 의미와 softmax, cross-entropy가 연결되는 과정을 설명할 수 있는가?
• 학습 시의 병렬 계산(인과 마스크)과 추론 시의 순차 생성이 어떻게 다른지 설명할 수 있는가?

Secondary Checklist

• temperature가 분포의 모양만 바꾸고 모델이 아는 내용은 바꾸지 않음을 설명할 수 있는가?
• "유일한 학습 목표"라는 표현이 사전 학습 단계에 한정된 설명임을 구분할 수 있는가?

Industry Checklist

• 서비스 용도(재현성 vs 다양성)에 따라 temperature와 top-p 설정을 의도적으로 정했는가?
• 확률이 높은 출력이 사실과 다를 수 있음을 전제로 검증 절차를 두었는가?