용어3

attention-mechanism

이 용어로 연결된 기록을 섹션별로 살펴봅니다.

Attention Mechanism
Transformer의 핵심: 입력 시퀀스의 각 토큰이 다른 모든 토큰과 관계를 계산하여 문맥 의존적 표현을 생성. 동일 입력에 대해 여러 Attention을 병렬 계산 후 연결: 각 헤드가 서로 다른 의미 관계(통사, 의미, 거리 등)를 포착. O(n²·d) —...
2026-04-20machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics / attention-mechanism
Transformer Architecture
"Attention Is All You Need"(2017)에서 제안된 아키텍처. RNN의 순차 처리를 Self-Attention으로 대체하여 병렬 학습과 장거리 의존성 포착을 동시에 달성. 입력 시퀀스의 각 토큰이 다른 모든 토큰과의 관련성을 계산: `√d_k`...
2026-04-19machine-learning-ai / llm-rag-engineering / llm-foundations-token-physics / transformer-architecture
Modern Transformer Architectures
고정된 시퀀스의 한계를 넘어 데이터 간의 상관관계를 한꺼번에 주목(Attention)하여 병렬로 처리하고, 현대 LLM의 심장이 된 트랜스포머의 수리적 구조와 물리적 혁신을 다룹니다.
2026-03-11machine-learning-ai / deep-learning-transformer / modern-transformer-architectures