Message Queues & Broker Physics

1. Overview

메시지 큐 및 브로커 물리학(Message Queues & Broker Physics, MQB)은 송신자와 수신자를 시간과 공간적으로 분리(Decoupling)하여, 시스템의 한 부분이 멈춰도 전체 데이터가 소멸되지 않게 만드는 완충 공학입니다.

학습자는 데이터를 일시적으로 보관하는 **메시지 큐(Queue)**의 선입선출(FIFO) 물리 구조와, 메시지를 적절한 행선지로 배달하는 **브로커(Broker)**의 라우팅 수리 모델을 배웁니다. 특히, 메시지 유실을 막는 **Acknowledge(ACK)**의 하드웨어적 확인 수순과, 브로커가 디스크에 데이터를 기록하는 **지속성(Persistence)**의 물리적 비용을 익힙니다. 이를 통해 서비스 간의 속도 차를 극복하고 시스템의 전체적인 가용성과 탄력성을 확보하는 하이엔드 메시징 인프라 역량을 확보합니다.

2. Scope & Boundaries

In-Scope

• Broker Concepts: Exchange, Queue, Binding의 수리적 연동 및 메시지 라우팅
• Message Semantics: At-least-once, At-most-once 전송의 물리적 신뢰도 보장
• Persistence Mechanisms: 메모리 vs 디스크 저장의 물리적 트레이드오프와 회복성
• Flow Control: 백프레셔(Backpressure)를 통한 하드웨어 메모리 범람 방지
• RabbitMQ Mechanics: AMQP 프로토콜 기반의 정밀 대기열 및 라우팅 물리 수순

Out-of-Scope

• 대규모 시계열 데이터 스트리밍(Kafka)의 분산 파티셔닝 상세 (08-04-02 영역에서 분담)
• 분산 데이터베이스의 실시간 복제(Replication) 물리 (06-03-XX 영역으로 위임)

Boundaries

• MQB vs. API Gateway: MAG(08-03-04)이 '즉각적인 응답'을 조율한다면, MQB는 '나중에 처리될 요청'을 물리적으로 가두고 관리하여 계층을 구분합니다.

3. Counterexample

• 단순히 "메시지를 보낸다"라 설명하는 것은 MQB 학습이 아닙니다. 왜 브로커에 데이터가 쌓일 때 'Consumer Lag'이 발생하며, 이것이 전체 시스템의 종단 간 지연 시간($Latency$)을 수리적으로 어떻게 증가시키는지 증명할 수 있어야 하며, 메시지 확인(ACK) 수순 오류가 왜 시스템 복구 시 '데이터 중복 처리'라는 물리적 무결성 파괴를 일으키는지 논증하지 못한다면 MQB의 정수를 이해하지 못한 것입니다.

4. Prerequisites

• Network Foundations & OSI Stack (Basic): 소켓 통신 및 TCP 신뢰성 이해가 필수입니다. (08-01-03 TLM)
• Data Structures & Algorithms (Recommended): 큐(Queue) 자료구조 및 해시 테이블 이해가 권장됩니다. (04-01-XX)

5. Learning Map

1. The Buffer Vision: 통신을 '흐름'이 아닌 '보관 후 전달'의 물리적 관점으로 바라봅니다.
2. Intelligent Routing: 받은 데이터를 누구에게 줄지 결정하는 브로커의 머릿속(Exchange)을 설계합니다.
3. Safe Custody: 정전이 나도 데이터가 증발하지 않는 물리적 저장(Persistence)의 확신을 얻습니다.
4. Balanced Flow: 보내는 힘과 처리하는 힘 사이의 수리적 균형(Backpressure)을 완성합니다.

6. Learning Topics

Basic

Core: 메시지 큐의 기본 원리와 비동기성 (MQ Foundations)

• Why to Learn: 서버가 바빠서 대답을 못 할 때, 요청을 버리지 않고 안전하게 가두기 위해서입니다.
• What to Learn:
  • Decoupling Concepts: 송신자와 수신자가 서로의 존재를 모르는 수리적 독립성
  • Asynchronous Flow: 응답을 기다리지 않고 다음 물리 행동을 하는 이득
  • FIFO Mechanics: 줄을 서고 차례대로 처리하는 하드웨어 순차성
• How to Learn:
  • 간단한 로컬 대기열 앱을 만들어, 수신기를 끄고 메시지를 보낸 뒤 수신기를 켰을 때 메시지가 살아있는지 확인 실습
  • 동기(Sync) vs 비동기(Async) 처리 시의 시스템 처리량($Throughput$) 수치 격차 비교
• Implement: 데이터 삽입과 추출이 물리적으로 완전히 분리된 가상 MessageBuffer

Recommended

Core: 메시지 브로커와 라우팅 패턴 (Broker Routing)

• Why to Learn: 로그는 로그끼리, 결제는 결제끼리 원하는 곳으로 데이터를 수리적으로 분류하기 위함입니다.
• What to Learn:
  • Exchange Types: Direct, Topic, Fanout의 물리적 데이터 분배 규칙
  • Binding & Routing Key: 데이터에 붙은 꼬리표를 해석하는 브로커의 수순
  • AMQP Protocol: 메시징 시스템 간 소통을 위한 표준 수리 규약
• How to Learn:
  • RabbitMQ 관리 화면에서 Exchange와 Queue를 연결하고, 라우팅 키에 따라 패킷이 흐르는 경로 추적 실습
  • 단일 메시지가 여러 큐로 복제되어 뿌려지는 'Fanout'의 물리 대역폭 사용량 산출
• Implement: 입력된 키와 규칙에 따라 메시지를 보낼 큐 리스트를 도출하는 RoutingEngine

Practical

Core: 메시지 신뢰성과 확인 응답 (Delivery Guarantees)

• Why to Learn: 네트워크가 끊겨도 데이터는 반드시 도달하거나, 적어도 유실되지 않았음을 물리적으로 보장하기 위해서입니다.
• What to Learn:
  • Confirmation Workflow: Producer -> Broker -> Consumer로 이어지는 ACK 수리 수순
  • Dead Letter Queue (DLQ): 처리 실패한 패킷을 물리적으로 격리하는 병원 큐
  • Pre-fetch Count: 컨슈머의 처리 능력에 맞춰 메시지를 조금씩 밀어주는 수리적 조절
• How to Learn:
  • 처리 중 '랜덤 오류'를 발생시키고, Nack(음성 확인) 발생 시 메시지가 다시 큐로 돌아가는 물리 전이 관찰 실습
  • ACK를 누락했을 때 큐에 쌓인 메시지가 하드웨어 메모리를 얼마나 점유하는지 수치 추적
• Implement: 메시지 처리 결과에 따라 재입고 혹은 폐기를 결정하는 AcknowledgementBridge

Advanced

Core: 대규모 브로커 클러스터링과 성능 최적화 (MQ Governance)

• Why to Learn: 초당 수만 건의 메시지를 처리하는 엔터프라이즈 환경의 물리적 한계를 극복하기 위함입니다.
• What to Learn:
  • High Availability (HA): 여러 대의 브로커 하드웨어에 큐를 복제하는 수리 전략
  • Quorum Queues: 합의 알고리즘(Raft 등)을 통한 데이터 무결성 강화 물리학
  • Backpressure Tactics: 큐가 가득 찼을 때 송신 속도를 물리적으로 제어하는 법
• How to Learn:
  • 클러스터의 노드 하나를 강제로 종료(Kill)하고, 서비스가 끊김 없이 메시지를 소화하는 수리적 가동률 측정 실습
  • 지속성($Persistent$) 메시지와 비지속성 메시지의 하드웨어 I/O 부하 차이 수치 분석
• Implement: 큐의 깊이($Depth$)에 따라 생산자의 전송량을 줄이는 수리 로직 FlowThrottle

7. Terminology

8. References

Primary

• [P1] CS2023 - NC/Networking and Communication (Network applications / Information models) — Core requirements.
• [P2] SWEBOK v4.0 - Software Design / Software Structure and Architecture (Distributed systems) — Structural context.

Secondary

• [RabbitMQ in Action] Alvaro Videla — The RabbitMQ bible.
• [Enterprise Integration Patterns] Gregor Hohpe — Messaging patterns foundations.

Industry

• [CloudAMQP: Understanding AMQP 0-9-1] — Practical protocol physics.
• [RabbitMQ: Quorum Queues Documentation] — Modern persistence logic.

9. Final Checklist

Primary

• '동기식 API 소통' 대비 '메시지 큐 기반 비동기 소통'이 물리적으로 왜 더 높은 시스템 탄력성을 주는지 설명 가능한가? (P1)
• '메시지 브로커'의 지속성(Persistence) 설정이 하드웨어 지연 시간($Latency$)에 미치는 수리적 영향을 기술할 수 있는 가? (P1)

Secondary

• 'Direct Exchange'와 'Topic Exchange'의 라우팅 수리 모델 차이가 물리적 메시지 복제 성능에 미치는 영향을 소통 가능한가?
• Acknowledge(ACK) 과정에서 'Auto-ACK'를 지양해야 하는 데이터 무결성 관점의 물리적 필연성을 논증할 수 있는 가?

Industry

• 대규모 분산 서버 설계 시, 대량의 '로그 데이터'와 '결제 데이터'를 각각 어떤 메시지 신뢰도($QoS$)로 처리할지 시나리오를 제안할 수 있는 가? (SFIA)
• 브로커 하드웨어의 '메모리 고가용성($HA$)' 달성을 위해 적용되는 데이터 복제 수순의 물리적 한계를 분석할 수 있는 가?