콘텐츠로 바로가기
HY_NOTEBOOK
용어3

transformer-architecture

이 용어로 연결된 기록을 섹션별로 살펴봅니다.

  1. Transformer Architecture

    "Attention Is All You Need"(2017)에서 제안된 아키텍처. RNN의 순차 처리를 Self-Attention으로 대체하여 병렬 학습과 장거리 의존성 포착을 동시에 달성. 입력 시퀀스의 각 토큰이 다른 모든 토큰과의 관련성을 계산: `√d_k`...

    machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics / transformer-architecture

  2. Modern Transformer Architectures

    고정된 시퀀스의 한계를 넘어 데이터 간의 상관관계를 한꺼번에 주목(Attention)하여 병렬로 처리하고, 현대 LLM의 심장이 된 트랜스포머의 수리적 구조와 물리적 혁신을 다룹니다.

    machine-learning-ai / deep-learning-transformer / modern-transformer-architectures

  3. LLM Foundations & Token Physics

    방대한 텍스트 데이터를 수리적으로 압축하여 언어의 통계적 지도를 구축하고, 문자를 수치적 단위(Token)로 분해하며 다음 단어를 예측하는 거대 언어 모델의 물리적 근간을 다룹니다.

    machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics