콘텐츠로 바로가기
HY_NOTEBOOK
용어2

next-token-prediction

이 용어로 연결된 기록을 섹션별로 살펴봅니다.

  1. Next-Token Prediction

    LLM의 유일한 학습 목표: 이전 토큰 시퀀스를 조건으로 다음 토큰의 확률 분포를 예측. 각 위치에서 어휘집 전체에 대한 softmax 확률 벡터를 출력. Cross-entropy loss로 실제 토큰과 비교하여 역전파. 추론 시 예측한 토큰을 컨텍스트에 추가하여...

    machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics / next-token-prediction

  2. LLM Foundations & Token Physics

    방대한 텍스트 데이터를 수리적으로 압축하여 언어의 통계적 지도를 구축하고, 문자를 수치적 단위(Token)로 분해하며 다음 단어를 예측하는 거대 언어 모델의 물리적 근간을 다룹니다.

    machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics