Messaging Patterns & Ordering Physics

1. Overview

메시징 패턴 및 순서 역학(Messaging Patterns & Ordering Physics, MOP)은 파편화된 비동기 메시지들이 서로를 앞지르거나 뒤섞이는 물리적 혼돈(Chaos)을 가라앉히고, 비즈니스 논리에 맞는 '정확한 순서'와 '안전한 흐름'을 창조하는 분산 조율 공학입니다.

학습자는 메시지가 처리되는 물리적 순서가 왜 엉키는지(Race Condition) 수리적 매커니즘을 배웁니다. 특히, 사건의 전후 관계를 정의하는 **인과적 순서(Causal Ordering)**와, 동일 메시지가 중복 처리되어도 안전하게 만드는 멱등성(Idempotency) 수리 모델을 익힙니다. 또한, 데이터베이스와 메시지 큐를 한 몸처럼 움직이게 하는 Transactional Outbox 패턴의 물리적 수순을 배웁니다. 이를 통해 서비스 간의 복잡한 연쇄 동작을 하나의 거대한 물리 법칙처럼 견고하게 설계하는 하이엔드 메시징 거버넌스 역량을 확보합니다.

2. Scope & Boundaries

In-Scope

• Ordering Guarantees: 파티션 기반 순서 보장과 시퀀스 번호의 수리적 수순
• Idempotent Delivery: 중복 수신 메시지의 물리적 필터링 및 'At-least-once'의 해결책
• Message Patterns: Request-Reply, Aggregator, Resequencer의 수리 모델
• Transaction Integrity: Outbox 패턴 및 2단계 커밋(2PC)의 물리적 한계와 대안
• Distributed Sagas: 메시징을 통한 보상 트랜잭션(Compensating Transaction) 물리학

Out-of-Scope

• 단일 장치 내부의 세마포어(Semaphore) 및 락(Lock) 코드 상세 (03-01-XX 영역으로 위임)
• HTTP API 간의 단순 동기식 트랜잭션 수순 (08-03-02 영역에서 분담)

Boundaries

• MOP vs. Broker Mechanics: MQB/EKD(08-04-01/02)가 '메시지를 나르고 저장하는 기계'에 집중한다면, MOP는 그 기계를 이용해 '어떤 비즈니스 질서를 구축할지' 결정하는 아키텍처 상부 구조로서 구분합니다.

3. Counterexample

• 단순히 "메시지를 순서대로 보낸다"라 설명하는 것은 MOP 학습이 아닙니다. 왜 네트워크 지연이 발생했을 때 보낸 순서와 받는 순서가 물리적으로 뒤바뀌는지(Out-of-order) 지터 수치로 증명할 수 있어야 하며, 트랜잭셔널 아웃박스 없이 DB 저장과 메시지 발송을 분리했을 때 왜 '데이터 불일치'라는 물리적 붕괴가 확률적으로 반드시 일어나는지 논증하지 못한다면 MOP의 본령을 이해하지 못한 것입니다.

4. Prerequisites

• Event Streaming & Kafka Dynamics (Basic): 파티션 및 오프셋 기초 이해가 필수입니다. (08-04-02 EKD)
• Database Architecture Basics (Recommended): 트랜잭션 격리 수준 및 WAL(Write Ahead Log) 이해가 권장됩니다. (06-01-XX)

5. Learning Map

1. The Order Chaos: 분산 환경에서 시간은 절대적이지 않으며, 메시지 순서가 꼬이는 물리적 필연성을 인지합니다.
2. Deterministic Sequence: 파티셔닝 키와 시퀀싱 기술을 통해 하드웨어의 무작위성을 수리적으로 통제합니다.
3. Ghost Messages: 중복된 메시지를 유령처럼 취급하여 시스템 상태를 물리적으로 보호하는 멱등성을 배웁니다.
4. Reliable Workflows: DB와 큐, 서비스 간의 이동이 원자적인 물리 사건(Transaction)이 되는 체계를 완성합니다.

6. Learning Topics

Basic

Core: 분산 시스템의 순서와 메시지 역전 (Ordering Physics)

• Why to Learn: '주문 완료' 전에 '결제 취소'가 도착하는 물리적 모순을 시스템적으로 해결하기 위해서입니다.
• What to Learn:
  • Out-of-order Delivery: 네트워크 다중 경로가 만드는 도착 순서의 수리적 변동성
  • Logic Clock: 물리적 시간 대신 사건의 선후를 가리는 수리적 번호표(Lamport Clock 등)
  • Key-based Ordering: 동일 키 메시지를 동일 통로(Partition)로 몰아 순서를 지키는 법
• How to Learn:
  • 멀티스레드 환경에서 메시지를 대량 발송하고, 수신측 로그에 찍힌 시간과 내용의 순서 불일치 수치 확인 실습
  • '순서 보장' 옵션 활성화 시 하드웨어 처리 속도($Throughput$)가 얼마나 깎이는지 물리적 비용 측정
• Implement: 메시지에 시퀀스 번호를 붙여 순서가 맞지 않으면 잠시 보관하는 Resequencer 도구

Recommended

Core: 중복 메시지와 멱등성 설계 (Idempotency Dynamics)

• Why to Learn: 네트워크 재시도로 인해 같은 메시지가 두 번 올 때 시스템 데이터가 오염되는 것을 물리적으로 막기 위함입니다.
• What to Learn:
  • Exactly-once Semantics: 수리적으로 불가능에 가까운 '딱 한 번'을 흉내 내는 수순
  • Deduping Table: 이미 처리한 메시지 ID를 하드웨어 메모리에 저장해 대조하는 법
  • Atomic Processing: 메시지 처리와 상태 변경을 하나의 물리 사건으로 묶는 물리학
• How to Learn:
  • 동일한 '입금 메시지'를 5번 연속 보내고, 하드웨어 DB 잔액은 한 번만 늘어나는 멱등 처리 로직 검증 실습
  • 메시지 ID 저장 주기($TTL$)에 따른 메모리 점유율과 중복 방지 성공률의 수리 관계 분석
• Implement: 메시지 ID를 해시 테이블로 트래킹하여 중복 여부를 판별하는 DuplicateFilter

Practical

Core: 트랜잭셔널 메시징 패턴 (Reliable Messaging)

• Why to Learn: 로직은 성공했는데 메시지 발송만 실패하여 시스템이 '거짓말'을 하는 상태를 물리적으로 근절하기 위해서입니다.
• What to Learn:
  • Transactional Outbox: DB 내부에 임시 보관함을 만들어 메시지 발송의 원자성 확보 수순
  • Polling Publisher vs CDC: 보관함에서 메시지를 퍼가는 하드웨어 리소스 비교
  • Saga Pattern: 여러 서비스에 걸친 긴 작업을 메시징 기반의 '체인'으로 엮는 수리 모델
• How to Learn:
  • DB 트랜잭션 내에서 outbox 테이블에 기록하고, 외부 프로세스가 이를 읽어 브로커로 쏘는 물리 과정 구현 실습
  • 서비스 장애 상황을 연출하고, 보상 트랜잭션($Compensating$)이 동작하여 데이터가 물리적으로 원복되는 과정 추적
• Implement: DB 저장과 메시지 대기열 삽입을 하나로 묶는 가상 TransactionWrapper

Advanced

Core: 복합 메시지 조율과 거버넌스 (Complex Coordination)

• Why to Learn: 수천 개의 흩어진 정보 조각을 모아 하나의 의미 있는 결과로 수리적 조립을 하기 위함입니다.
• What to Learn:
  • Aggregator Pattern: 뿔뿔이 흩어진 조각 메시지들을 특정 키로 모아 합치는 수순
  • Content-based Router: 메시지 본문 내용을 뜯어보고 최적의 하드웨어 경로로 유도하는 물리학
  • Dead-letter Governance: 처리에 실패한 메시지들의 원인을 수리적으로 분류하고 자동 재처리($Retry$)하는 정책
• How to Learn:
  • 10개의 부분 결제 요청이 모두 도착해야 '결제 완료' 트래픽을 생성하는 어그리게이터 시뮬레이션 실습
  • 메시지 홉(Hop)이 늘어날 때마다 누적되는 지연 시간($Latency$)의 수치적 분포도 산출
• Implement: 입력 조건에 따라 메시지 본문을 가공하여 다른 채널로 토스하는 MessageOrchestrator

7. Terminology

8. References

Primary

• [P1] CS2023 - NC/Networking and Communication (Network applications / Information models) — Information flow.
• [P2] SWEBOK v4.0 - Software Design / Software Structure and Architecture (Distributed systems) — Structural context.

Secondary

• [Enterprise Integration Patterns] Gregor Hohpe — The definitive guide for messaging patterns.
• [Designing Data-Intensive Applications] Martin Kleppmann — Chapters on ordering and transactions.

Industry

• [Microsoft Azure: Idempotency patterns in message processing] — Practical cloud logic.
• [Confluent: Dealing with out-of-order data in Kafka] — Streaming order physics.

9. Final Checklist

Primary

• '네트워크 파티션(Partition)' 상황에서 왜 전역적인 메시지 순서 보장이 수리적으로 불가능한지 설명 가능한가? (P1)
• '메시지 중복 수신'이 왜 분산 시스템에서 확률적으로 피할 수 없는 물리적 숙명인지 기술할 수 있는 가? (P1)

Secondary

• 'Lamport Clock'이 물리적 서버 시간의 불일치를 어떻게 수리적으로 극복하여 사건 순서를 매기는지 소통 가능한가?
• Transactional Outbox 패턴을 사용하지 않았을 때 발생할 수 있는 'Phantom Message' 현상의 물리적 위험을 논증할 수 있는 가?

Industry

• 복잡한 주문 처리 워크플로우를 Saga 패턴으로 설계할 때, 중간 단계 실패 시의 물리적 보상($Undo$) 수순을 제안할 수 있는 가? (SFIA)
• 대량 트래픽 환경에서 Idempotency Check를 위한 캐시 서버의 물리적 성능 한계와 그 수평 확장 방안을 분석할 수 있는 가?