Backpressure Pattern
소비자가 처리 가능한 속도보다 생산자가 빠를 때 소비자가 생산 속도를 제어하는 메커니즘. 버퍼 폭발과 OOM을 방지. 생산자 >> 소비자 속도 차이 → 무한 큐 성장 → 메모리 고갈 또는 지연 폭증. Java의 `Flow` API, Project Reactor, ...
용어9
streaming
이 용어로 연결된 기록을 섹션별로 살펴봅니다.
Data Ingestion & Transformation Engineering
원천 시스템에서 데이터를 수집하는 수송 과정과 분석 목적에 맞게 재가공하는 ETL/ELT 파이프라인의 물리적 구축을 다루는 학습 노드입니다.
Distributed Messaging & Event Streaming
시스템 간 비동기 결합을 위한 메시지 큐와 대규모 데이터의 흐름을 처리하는 이벤트 스트리밍 기술의 작동 물리 및 보장 수준을 다루는 학습 노드입니다.
Event Streaming & Kafka Dynamics
방대한 양의 실시간 데이터를 순차적으로 기록하고 분산 처리하는 이벤트 스트리밍 시스템의 내부 물리 구조와 아파치 카프카의 파티셔닝 및 복제 메커니즘을 다루는 학습 노드입니다.
UDP & Real-time Communication
지연 시간을 최소화하기 위해 신뢰성보다는 속도를 택하는 UDP 프로토콜과 이를 활용한 실시간 음성, 영상, 게임 통신의 물리학을 다루는 학습 노드입니다.
Message Broker Architecture
Message Broker 아키텍처의 정의, 범위, 선행 지식, 학습 주제, 참고 근거를 정리한 CS&E 학습 노드입니다.
Streaming Backpressure & Flow Control
Streaming Backpressure 및 Flow 제어의 정의, 범위, 선행 지식, 학습 주제, 참고 근거를 정리한 CS&E 학습 노드입니다.