Apache Pulsar vs. RabbitMQ

Apache Pulsar와 RabbitMQ는 메시징 시스템으로서 각각 고유한 강점과 약점을 가지고 있으며, 사용 사례에 따라 적합한 선택이 달라질 수 있다.

기본 개념 및 역사

Apache Pulsar

Apache Pulsar는 2016년 Yahoo에서 개발되어 2018년 Apache 소프트웨어 재단의 최상위 프로젝트가 되었다. Pulsar는 처음부터 클라우드 네이티브 환경과 대규모 분산 시스템을 위해 설계되었으며, 높은 처리량과 낮은 지연 시간을 모두 달성하는 메시징 및 스트리밍 플랫폼이다.

RabbitMQ

RabbitMQ는 2007년 Rabbit Technologies Ltd.에서 개발되었으며, 현재는 VMware의 일부인 Pivotal Software에서 관리되고 있다. Erlang으로 작성된 RabbitMQ는 AMQP(Advanced Message Queuing Protocol)를 구현한 가장 널리 사용되는 오픈 소스 메시지 브로커 중 하나이다. 신뢰성, 유연성, 상호 운용성에 중점을 두고 설계되었다.

아키텍처 비교

Pulsar는 독특한 다계층 아키텍처를 가지고 있다:

스토리지와 컴퓨팅의 분리: Pulsar의 가장 큰 아키텍처적 특징은 메시지 처리(컴퓨팅)와 메시지 저장(스토리지)이 분리되어 있다는 점이다.
구성 요소:
- 브로커(Broker): 클라이언트 요청을 처리하고 메시지 전달을 관리한다.
- 북키퍼(BookKeeper): 분산 로그 저장소로, 실제 메시지 저장을 담당한다.
- 북키(Bookie): BookKeeper의 개별 저장 노드이다.
- ZooKeeper: 클러스터 메타데이터 관리와 조정을 담당한다.
세그먼트 기반 스토리지: 메시지는 세그먼트 단위로 저장되고 관리된다.
계층적 네임스페이스: 테넌트(Tenant) > 네임스페이스(Namespace) > 토픽(Topic)의 계층 구조를 가진다.

RabbitMQ는 보다 전통적인 메시지 브로커 아키텍처를 가지고 있다:

단일 통합 아키텍처: RabbitMQ에서는 메시지 처리와 저장이 모두 브로커 내에서 이루어진다.
구성 요소:
- Exchange: 프로듀서로부터 받은 메시지를 적절한 큐로 라우팅한다.
- Queue: 메시지가 저장되는 버퍼이다.
- Binding: Exchange와 Queue 사이의 관계를 정의한다.
- Virtual Host: 분리된 리소스 그룹으로, 다중 테넌시를 지원한다.
메모리 및 디스크 저장: 메시지는 기본적으로 메모리에 저장되며, 필요한 경우 디스크로 이동된다.
클러스터링: 고가용성을 위해 여러 노드를 클러스터링할 수 있다.

메시징 모델

Pulsar는 다양한 메시징 패러다임을 지원한다:

발행-구독(Publish-Subscribe): 여러 소비자가 동일한 메시지를 받을 수 있다.
큐(Queue): 메시지는 소비자 그룹의 단일 소비자에게만 전달된다.
구독 유형:
- Exclusive: 단일 소비자만 토픽을 구독할 수 있다.
- Shared: 여러 소비자가 메시지를 공유한다(로드 밸런싱).
- Failover: 주 소비자가 실패하면 대기 소비자가 메시지를 받는다.
- Key_Shared: 동일한 키를 가진 메시지는 항상 같은 소비자에게 라우팅된다.
세그먼트 기반 저장소: 메시지는 추가만 가능한(append-only) 로그에 저장된다.
메시지 보존: 메시지는 소비 여부와 관계없이 구성된 보존 정책에 따라 저장된다.

RabbitMQ는 AMQP를 기반으로 한 메시징 모델을 제공한다:

Exchange 타입:
- Direct: 라우팅 키와 정확히 일치하는 큐로 메시지를 전달한다.
- Fanout: 연결된 모든 큐에 메시지를 브로드캐스트한다.
- Topic: 와일드카드를 포함한 패턴 매칭을 통해 메시지를 라우팅한다.
- Headers: 메시지 헤더 속성을 기반으로 라우팅한다.
메시지 인지(Acknowledgment): 소비자는 메시지 처리 후 확인을 보내며, 확인이 없으면 메시지가 다시 큐에 추가된다.
메시지 삭제: 메시지는 소비되면 기본적으로 큐에서 제거된다.
메시지 우선순위: 메시지에 우선순위를 설정할 수 있다.
TTL(Time-to-Live): 메시지와 큐에 대한 TTL을 설정할 수 있다.

성능 및 확장성

Apache Pulsar의 성능 및 확장성

스토리지와 컴퓨팅 분리: 독립적으로 확장 가능하다.
성능 특성:
- 매우 높은 처리량 지원
- 일관적으로 낮은 지연 시간
- 수백만 토픽 지원
확장 방식:
- 브로커 확장: 처리 용량 증가
- 북키 확장: 스토리지 용량 증가
- 독립적인 수평적 확장
티어드 스토리지: 오래된 메시지를 저비용 스토리지(S3, GCS 등)로 자동 이동하여 비용 효율적으로 대용량 데이터 저장 가능

RabbitMQ의 성능 및 확장성

성능 특성:
- 중간 수준의 처리량
- 매우 낮은 지연 시간(특히 작은 메시지의 경우)
- 수천 개의 큐 처리에 최적화
확장 방식:
- 클러스터링: 여러 노드에 큐 분산
- 미러링: 고가용성을 위한 큐 복제
- 주로 수직적 확장에 의존
메모리 요구사항: 활성 메시지는 주로 메모리에 저장되므로 대용량 메시지 저장 시 메모리 압박 발생 가능

내구성 및 신뢰성

Apache Pulsar의 내구성 및 신뢰성

복제 전략:
- BookKeeper의 쿼럼 기반 복제
- Write Quorum과 Ack Quorum 설정 가능
- 읽기 및 쓰기에 대한 쿼럼 보장
장애 처리:
- 브로커 장애: 영향 최소화(데이터는 BookKeeper에 저장됨)
- 북키 장애: 자동 장애 복구 및 데이터 재조정
트랜잭션 지원: 멀티 토픽 트랜잭션 가능
정확히 한 번 처리: 보장된 메시지 전달 의미론 지원

RabbitMQ의 내구성 및 신뢰성

복제 전략:
- 미러링 큐: 모든 노드에 동일한 큐 복제
- 퀴럼 큐: Raft 합의 알고리즘 기반 복제
장애 처리:
- 노드 장애: 미러링된 큐로 자동 장애 복구
- 네트워크 파티션: 파티션 감지 및 처리 정책
메시지 지속성: 디스크에 메시지 저장 설정 가능
확인 모드: 다양한 확인 모드로 신뢰성 수준 조정 가능

주요 기능 비교

다중 테넌시
Pulsar:
- 내장된 테넌트 및 네임스페이스 개념
- 강력한 리소스 격리
- 테넌트별 인증 및 권한 관리
RabbitMQ:
- Virtual Host를 통한 기본적인 테넌트 분리
- 완전한 리소스 격리를 제공하지는 않음
프로토콜 지원
Pulsar:
- 자체 바이너리 프로토콜
- Kafka 프로토콜 어댑터
- WebSocket 지원
RabbitMQ:
- AMQP 0-9-1 (기본)
- MQTT
- STOMP
- HTTP
- WebSocket
지역 간 복제
Pulsar:
- 내장된 지역 간 복제 기능
- 네임스페이스 또는 토픽 단위 복제 설정
- 비동기 복제로 성능 영향 최소화
RabbitMQ:
- 내장된 지역 간 복제 기능 없음
- 페더레이션 플러그인이나 솔로우(Shovel) 플러그인을 통해 제한적으로 구현 가능
스키마 관리
Pulsar:
- 내장된 스키마 레지스트리
- Avro, JSON, Protobuf 등 다양한 형식 지원
- 스키마 진화 및 호환성 검사
RabbitMQ:
- 내장된 스키마 관리 기능 없음
- 메시지 형식에 대한 제약 없음
처리 기능
Pulsar:
- Pulsar Functions: 서버리스 스타일의 경량 처리
- Pulsar IO: 외부 시스템과의 커넥터
- Pulsar SQL: 저장된 데이터에 대한 SQL 쿼리
RabbitMQ:
- 내장된 처리 기능 제한적
- 주로 메시지 브로커 역할에 집중

운영 및 관리

구성 및 배포
Pulsar:
- 복잡한 다계층 아키텍처로 초기 설정이 복잡
- 여러 구성 요소(ZooKeeper, BookKeeper, Broker) 관리 필요
- Kubernetes 및 클라우드 환경 지원
RabbitMQ:
- 비교적 간단한 설정 및 배포
- 단일 구성 요소로 관리 용이
- 다양한 환경에서의 배포 지원
모니터링 및 관리 도구
Pulsar:
- Pulsar Manager: 웹 기반 관리 도구
- REST API
- Prometheus 메트릭
- 상대적으로 덜 성숙한 관리 도구
RabbitMQ:
- 포괄적인 내장 관리 UI
- 풍부한 플러그인 에코시스템
- 상세한 모니터링 및 알람 기능
- 성숙한 관리 도구
커뮤니티 및 지원
Pulsar:
- 성장하는 활발한 커뮤니티
- Apache 재단 지원
- 상대적으로 새로운 프로젝트
RabbitMQ:
- 오랜 역사와 안정적인 커뮤니티
- VMware의 상업적 지원
- 풍부한 문서와 사용 사례

사용 사례 비교

Apache Pulsar에 적합한 사용 사례
1. 대용량 이벤트 스트리밍: 높은 처리량과 대용량 데이터 처리가 필요한 경우
2. 다중 테넌트 환경: 여러 팀이나 애플리케이션이 동일한 메시징 인프라를 공유하는 경우
3. 하이브리드 메시징 패턴: 발행-구독과 큐 기반 메시징을 모두 필요로 하는 경우
4. 지역 간 메시징: 전 세계적으로 분산된 시스템 간 메시지 교환이 필요한 경우
5. 장기 메시지 보존: 메시지를 장기간 보존하고 재생해야 하는 경우
6. IoT 및 센서 데이터 처리: 대량의 센서 데이터를 수집하고 처리해야 하는 경우
RabbitMQ에 적합한 사용 사례
1. 복잡한 라우팅 요구사항: 다양한 조건에 따른 메시지 라우팅이 필요한 경우
2. 마이크로서비스 간 통신: 서비스 간 비동기 통신 채널이 필요한 경우
3. 작업 분배: 백그라운드 작업을 여러 작업자에게 분배해야 하는 경우
4. 우선순위 큐: 메시지 처리 우선순위가 중요한 경우
5. RPC(Remote Procedure Call) 패턴: 요청-응답 패턴의 비동기 통신이 필요한 경우
6. 낮은 지연 시간 요구사항: 메시지 전달의 지연 시간이 매우 중요한 경우