LLM Tokenization & BPE텍스트를 LLM이 연산 가능한 정수 시퀀스로 변환하는 공정. 문자를 직접 사용하면 어휘집이 너무 작아지고, 단어 단위는 미등록어(OOV) 문제가 생긴다.2026-04-19machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics / llm-tokenization-bpe
LLM Foundations & Token Physics방대한 텍스트 데이터를 수리적으로 압축하여 언어의 통계적 지도를 구축하고, 문자를 수치적 단위(Token)로 분해하며 다음 단어를 예측하는 거대 언어 모델의 물리적 근간을 다룹니다.2026-03-11machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics
