Database Systems and Data Management

Database Systems and Data Management

데이터베이스 시스템은 현대 디지털 환경에서 모든 정보의 저장소 역할을 담당하는 핵심 기술이다. DBMS 소프트웨어 위에서 데이터 저장, 조회, 트랜잭션 처리, 동시 제어, 회복, 보안을 수행한다. 관계형, NoSQL, 계층형, 네트워크형 등 다양한 데이터 모델을 제공하며, 3 계층 아키텍처를 통해 데이터 독립성과 보안을 확보한다. 트랜잭션 처리, 동시성 제어, 백업 및 복구 등의 기능을 통해 데이터 무결성과 일관성을 보장하며, 인덱싱과 쿼리 최적화를 통해 성능을 향상시킨다. 설계 시에는 스키마 설계, 인덱싱, 파티셔닝, 샤딩, 캐싱, 데이터 확장성, CAP 정리 등을 고려해야 한다.

핵심 개념

배경

데이터베이스 시스템은 1960 년대 파일 시스템의 한계를 극복하기 위해 개발되었다. 초기 계층형 모델에서 시작하여 1970 년대 에드가 코드 (Edgar F. Codd) 의 관계형 모델 제안으로 혁신을 이루었고, 1990 년대 객체지향 데이터베이스, 2000 년대 NoSQL 데이터베이스로 진화하여 현재에 이르고 있다.

목적 및 필요성

• 데이터의 체계적 관리:
  대량 데이터의 효율적 저장, 검색, 갱신, 삭제를 지원한다.
• 데이터 무결성 및 보안:
  데이터의 정확성, 일관성, 보안을 보장한다.
• 멀티유저 동시 접근:
  여러 사용자가 동시에 데이터에 접근할 수 있도록 지원한다.
• 비즈니스 및 의사결정 지원:
  데이터 분석, 보고, 의사결정에 활용된다.

주요 기능 및 역할

데이터 관리 기능:

• 데이터 정의 (Data Definition): 스키마 생성 및 수정
• 데이터 조작 (Data Manipulation): 삽입, 조회, 수정, 삭제 연산
• 데이터 제어 (Data Control): 접근 권한 및 보안 관리
• 데이터 사전 (Data Dictionary): 메타데이터 관리

시스템 기능:

• 트랜잭션 관리: ACID 속성 보장
• 동시성 제어: 다중 사용자 지원
• 백업 및 복구: 데이터 손실 방지
• 성능 최적화: 쿼리 최적화 및 인덱싱

특징

• 구조화된 데이터 저장:
  테이블, 행, 열, 키, 인덱스 등으로 데이터를 체계적으로 저장한다.
• 멀티유저 지원:
  여러 사용자가 동시에 데이터에 접근할 수 있다.
• 트랜잭션 관리:
  ACID 속성을 통해 데이터 일관성을 보장한다.
• 확장성 및 유연성:
  클라우드, 분산 데이터베이스 등으로 확장성이 높다.
• 보안 및 프라이버시:
  데이터 접근 제어, 암호화 등으로 보안을 강화한다.

핵심 원칙

• 데이터 무결성:
  데이터의 정확성과 일관성을 유지한다.
• 데이터 보안:
  권한이 없는 접근을 차단하고, 데이터를 보호한다.
• 데이터 중복 최소화:
  정규화 등으로 데이터 중복을 줄인다.
• ACID:
  트랜잭션의 원자성, 일관성, 격리성, 지속성을 보장한다.
• 확장성:
  대용량 데이터와 멀티유저 환경에 대응할 수 있도록 설계한다.
• 코드의 12 가지 규칙 (관계형 데이터베이스):
  1. 정보 규칙: 모든 정보는 테이블의 값으로 표현
  2. 보장된 접근 규칙: 모든 데이터에 논리적 접근 보장
  3. 널 값의 체계적 처리
  4. 동적 온라인 카탈로그
  5. 포괄적 데이터 하위 언어 규칙
  6. 뷰 갱신 규칙
  7. 고급 삽입, 갱신, 삭제
  8. 물리적 데이터 독립성
  9. 논리적 데이터 독립성
  10. 무결성 독립성
  11. 분산 독립성
  12. 비파괴 규칙
• 정규화 원칙:
  • 제 1 정규형 (1NF): 원자값만 포함
  • 제 2 정규형 (2NF): 부분 함수 종속성 제거
  • 제 3 정규형 (3NF): 이행 함수 종속성 제거
  • BCNF: 모든 결정자가 후보키

주요 원리

관계형 모델의 원리

• 데이터 저장 및 검색:
  데이터는 테이블, 인덱스, 키 등으로 구조화되어 저장되며, 쿼리 언어로 검색·조작된다.
• 데이터 무결성 및 보안:
  제약 조건, 접근 제어, 암호화 등으로 데이터를 보호한다.

graph TD
    A[관계형 모델] --> B[테이블 구조]
    A --> C[키 개념]
    A --> D[관계 연산]
    
    B --> B1[행/레코드]
    B --> B2[열/속성]
    B --> B3[도메인]
    
    C --> C1[기본키]
    C --> C2[외래키]
    C --> C3[후보키]
    
    D --> D1[선택]
    D --> D2[투영]
    D --> D3[조인]

트랜잭션 처리 원리

• 트랜잭션 처리:
  트랜잭션 단위로 데이터를 처리하며, ACID 속성을 보장한다.

stateDiagram-v2
    [*] --> Active: 트랜잭션 시작
    Active --> PartiallyCommitted: 마지막 연산 실행
    PartiallyCommitted --> Committed: 커밋 성공
    PartiallyCommitted --> Failed: 커밋 실패
    Active --> Failed: 연산 실패
    Failed --> Aborted: 롤백
    Aborted --> [*]: 트랜잭션 종료
    Committed --> [*]: 트랜잭션 종료

• ACID 원칙
  • 원자성 (Atomicity): 트랜잭션의 모든 연산이 전부 성공하거나 전부 실패해야 함.
  • 일관성 (Consistency): 트랜잭션 완료 후 데이터는 정의된 제약 조건을 만족해야 함.
  • 격리성 (Isolation): 동시에 실행되는 트랜잭션이 간섭 없이 독립적으로 수행되어야 함.
  • 지속성 (Durability): 커밋된 트랜잭션의 결과는 시스템 장애에도 영속적으로 유지됨.
• 작동 원리 시나리오
  • 커밋 전 로그에 “before image” 저장, 커밋 시 로그와 데이터 영구 저장
  • 충돌 감지 후 롤백 또는 재시도, 장애 시 로그 재실행과 스냅샷 복구 구축
  • 동시성 제어 위해 락 (pessimistic) 또는 OCC (optimistic concurrency control) 사용

작동 원리

쿼리 처리 과정

flowchart TD
    A[SQL 쿼리 입력] --> B[구문 분석]
    B --> C[의미 분석]
    C --> D[쿼리 최적화]
    D --> E[실행 계획 생성]
    E --> F[실행 엔진]
    F --> G[스토리지 엔진]
    G --> H[결과 반환]
    
    D --> D1[비용 기반 최적화]
    D --> D2[인덱스 선택]
    D --> D3[조인 순서 결정]

동시성 제어 원리

• 멀티유저 동시 접근:
  동시성 제어, 락킹 등으로 여러 사용자가 동시에 데이터에 접근할 수 있다.

sequenceDiagram
    participant T1 as 트랜잭션 1
    participant LM as 락 매니저
    participant DB as 데이터베이스
    participant T2 as 트랜잭션 2
    
    T1->>LM: 데이터 A 읽기 락 요청
    LM->>T1: 락 승인
    T1->>DB: 데이터 A 읽기
    T2->>LM: 데이터 A 쓰기 락 요청
    LM->>T2: 대기
    T1->>LM: 락 해제
    LM->>T2: 락 승인
    T2->>DB: 데이터 A 수정

구조 및 아키텍처

구성 요소 정리

구성 요소 기반 아키텍처 설명

계층 구조 개요 (ANSI-SPARC 기반 확장 모델)

1. 외부 계층 (External Level)
   • 사용자별 맞춤 뷰 제공 (예: 앱, 대시보드)
2. 개념 계층 (Conceptual Level)
   • 전체 논리 스키마 정의 (테이블, 관계, 제약조건)
3. 내부 계층 (Internal Level)
   • 인덱스, 버퍼, 저장 포맷, 물리 저장소 설계

동작 경로 예시 (트랜잭션 흐름)

1. 사용자가 SQL 전송
2. 쿼리 프로세서 가 파싱/최적화 → 실행 계획 수립
3. 트랜잭션 관리자 가 트랜잭션 시작 및 로그 기록
4. 락 매니저 가 필요한 자원 잠금
5. 버퍼 매니저 를 통해 디스크에서 데이터 로딩
6. 처리 완료 후 커밋/롤백, 로그 매니저 가 결과 저장
7. 저장 관리자 가 물리 파일에 영구 저장
8. 데이터 사전 이 관련 메타데이터 업데이트

아키텍처 다이어그램

사용자 → DBMS 내부 구조까지 포함

flowchart TD
    A[사용자 / 애플리케이션] --> B[SQL 쿼리 / 트랜잭션 요청]

    subgraph DBMS Core
        B --> QP[쿼리 프로세서]
        QP --> TM[트랜잭션 관리자]
        TM --> LM[락 매니저]
        TM --> LG[로그 매니저]
        TM --> BM[버퍼 매니저]
        QP --> DD[데이터 사전]

        BM --> SE[저장 관리자]
        SE --> DS[디스크 저장소 / 인덱스 / 파일]
    end

    subgraph 확장 계층
        DD --> IDX[인덱스 엔진]
        DD --> PS[파티셔닝/샤딩 모듈]
        DD --> RP[레플리케이션 모듈]
        SE --> CACHE["외부 캐시 (Redis)"]
    end

    B -.-> MW[미들웨어/API 게이트웨이]

• DBMS 내부는 기능별로 독립적이고, 계층적으로 구성됨
• 확장성 확보를 위한 분산 처리 요소 (샤딩/레플리케이션/캐시) 는 외부 모듈로 결합됨
• 메타데이터 (데이터 사전) 는 전체 구성 요소들의 기반 정보 관리 역할 수행

데이터베이스 시스템 구현 기법

장점과 단점

장점

단점

• 복잡성은 설계 자동화와 CI/CD 기반으로 줄인다.
• 비용은 클라우드 + 오픈소스를 혼용.
• 성능은 분석기반 인덱스 설계 + 캐시 계층화로 해결,
• 가용성은 리전 이중화와 장애복구 계획으로 보완.

문제점과 해결방안

DB 장애 대응

flowchart TD
    A[🔍 장애 탐지]
    A --> B{장애 유형 판단}

    B --> B1[⚠ 성능 저하]
    B --> B2[🛑 가용성 문제]
    B --> B3[🔐 보안 침해]
    B --> B4[📉 데이터 일관성 문제]

    %% 성능 장애 대응 경로
    B1 --> C1[쿼리 로그 수집 및 분석]
    C1 --> D1{핫스팟/인덱스 문제?}
    D1 -- Yes --> E1[인덱스 재설계, 쿼리 튜닝]
    D1 -- No --> F1[리소스/하드웨어 스케일링]

    %% 가용성 장애 대응 경로
    B2 --> C2[장애 노드 탐지]
    C2 --> D2{이중화 구성 여부 확인}
    D2 -- 예 --> E2[Failover 수행 및 Auto Healing]
    D2 -- 아니오 --> F2[수동 복구 및 백업 전환]

    %% 보안 침해 대응 경로
    B3 --> C3[접근 로그 및 취약점 분석]
    C3 --> D3[의심 사용자 차단]
    D3 --> E3[보안 패치 적용 및 권한 재조정]

    %% 정합성 문제 대응 경로
    B4 --> C4[데이터 검증 쿼리 실행]
    C4 --> D4{복제 지연/트랜잭션 오류?}
    D4 -- 복제 지연 --> E4[Replica lag 해소, CDC로 정합성 복원]
    D4 -- 트랜잭션 오류 --> F4[트랜잭션 재설계 및 재처리 큐 투입]

    %% 사후 처리 공통 경로
    E1 --> Z[📊 사후 분석 및 재발 방지 조치]
    F1 --> Z
    E2 --> Z
    F2 --> Z
    E3 --> Z
    E4 --> Z
    F4 --> Z

도전 과제

분류 기준에 따른 종류 및 유형

• 모델 기준: 데이터 구조 자체를 기준 (RDB, Document, Graph 등)
• 처리 기준: 데이터 사용 목적에 따라 OLTP / OLAP / HTAP 구분
• 운영 기준: 인프라/운영 방식에 따른 중앙집중형, 분산형, 클라우드 기반 등
• 기술 기준: 일관성 모델, 확장 전략 등 DB 의 동작 특성에 따른 분류

실무 적용 예시

활용 사례

사례 1: 전자상거래 (E‑commerce)

시스템 구성: 폴리글롯 아키텍처

• RDBMS (PostgreSQL/MySQL): 고객·상품·주문 정보 저장
• MongoDB: 상품 리뷰 등 유연한 문서 저장
• Redis: 세션 캐시, 인기 상품, 장바구니 등
• 분산 SQL/NewSQL (TiDB, YugabyteDB): 글로벌 트랜잭션과 주문 테이블 확장성 확보

워크플로우 예시:

1. 고객 로그인 → RDBMS
2. 제품조회 → Redis 캐시 → 없으면 RDBMS
3. 리뷰 보기 → MongoDB
4. 주문 시 이벤트 발행 → NewSQL 클러스터에 글로벌 커밋

사례 2: Netflix 의 데이터베이스 아키텍처

Netflix 는 전 세계 2 억 명 이상의 사용자에게 스트리밍 서비스를 제공하는 글로벌 플랫폼으로, 복잡한 데이터베이스 아키텍처를 통해 대규모 서비스를 운영하고 있다.

시스템 구성:

graph TB
    subgraph "클라이언트 계층"
        WEB[웹 브라우저]
        MOBILE[모바일 앱]
        TV[스마트 TV]
    end
    
    subgraph "API 게이트웨이"
        ZUUL[Zuul Gateway]
    end
    
    subgraph "마이크로서비스 계층"
        USER[사용자 서비스]
        CONTENT[콘텐츠 서비스]
        RECOMMEND[추천 서비스]
        BILLING[결제 서비스]
    end
    
    subgraph "데이터베이스 계층"
        CASSANDRA[Cassandra<br/>사용자 데이터]
        MYSQL[MySQL<br/>결제 데이터]
        ELASTICSEARCH[Elasticsearch<br/>검색 데이터]
        REDIS[Redis<br/>캐시]
    end
    
    subgraph "분석 계층"
        SPARK[Apache Spark]
        KAFKA[Apache Kafka]
        S3[Amazon S3]
    end
    
    WEB --> ZUUL
    MOBILE --> ZUUL
    TV --> ZUUL
    
    ZUUL --> USER
    ZUUL --> CONTENT
    ZUUL --> RECOMMEND
    ZUUL --> BILLING
    
    USER --> CASSANDRA
    USER --> REDIS
    CONTENT --> ELASTICSEARCH
    CONTENT --> CASSANDRA
    RECOMMEND --> CASSANDRA
    RECOMMEND --> REDIS
    BILLING --> MYSQL
    
    CASSANDRA --> KAFKA
    MYSQL --> KAFKA
    KAFKA --> SPARK
    SPARK --> S3

데이터베이스별 역할 및 구성:

Workflow:

sequenceDiagram
    participant User as 사용자
    participant Gateway as API Gateway
    participant UserSvc as 사용자 서비스
    participant ContentSvc as 콘텐츠 서비스
    participant RecommendSvc as 추천 서비스
    participant Cache as Redis Cache
    participant DB as Cassandra
    
    User->>Gateway: 로그인 요청
    Gateway->>UserSvc: 인증 확인
    UserSvc->>DB: 사용자 정보 조회
    DB->>UserSvc: 사용자 데이터 반환
    UserSvc->>Gateway: 인증 완료
    
    User->>Gateway: 홈페이지 요청
    Gateway->>RecommendSvc: 추천 콘텐츠 요청
    RecommendSvc->>Cache: 캐시된 추천 확인
    
    alt 캐시 미스
        RecommendSvc->>DB: 사용자 시청 이력 조회
        DB->>RecommendSvc: 시청 데이터 반환
        RecommendSvc->>RecommendSvc: ML 알고리즘 실행
        RecommendSvc->>Cache: 추천 결과 캐시
    end
    
    RecommendSvc->>Gateway: 추천 콘텐츠 반환
    Gateway->>ContentSvc: 콘텐츠 메타데이터 요청
    ContentSvc->>DB: 콘텐츠 정보 조회
    DB->>ContentSvc: 메타데이터 반환
    ContentSvc->>Gateway: 콘텐츠 정보 반환
    Gateway->>User: 개인화된 홈페이지 제공

실무에서 효과적으로 적용하기 위한 고려사항 및 주의할 점

글로벌 분산 트랜잭션 설계 전략

요구 사항

설계 패턴

실례

• Google Spanner: 글로벌 트랜잭션 처리에 TrueTime API 사용하여 외부 일관성 보장
• YugabyteDB: DocDB 구조 + Raft 기반 다중 리전 트랜잭션
• CockroachDB: MVCC 기반 분산 트랜잭션 + SQL 호환

운영/모니터링 자동화 전략

구성 항목

운영 자동화 전략

실무 관점의 프로젝트 구조 및 설계 전략

• 폴리글롯 DB 구성: 사용 목적 따라 RDBMS, NoSQL, 인메모리 캐시 조합
• 트랜잭션 계층화: 주문 처리 전용 NewSQL 사용
• CQRS 패턴: 쓰기 (NewSQL/RDB) 와 읽기 (MongoDB/Redis) 분리
• 오케스트레이션: 메시징 (Kafka), API 레이어, 트랜잭션 조율

flowchart LR
  Client --> API[API Gateway]
  API -->|주문 생성| NewSQL[TiDB/YugabyteDB]
  API -->|제품 조회| Cache[Redis]
  Cache --> RDB[PostgreSQL/MySQL]
  API -->|리뷰 조회| MongoDB
  OrderCreated --> EventBus[Kafka]
  EventBus --> AnalyticsDB[Redshift/Snowflake]

멀티 리전 RTO/RPO 설계 방법

설계 전략

설계 예시

예시 아키텍처

graph TD
  A["Primary Region (Tokyo)"] -->|Sync Replication| B["Secondary Region (Seoul)"]
  A -->|Daily Snapshot| C["Object Storage (S3)"]
  B -->|Async Backup| C
  U[User Traffic] --> D[Global Load Balancer] --> A
  D -->|Failover| B

DB DevOps (DBRE: Database Reliability Engineering)

DBRE(Database Reliability Engineering) 는 SRE(Site Reliability Engineering) 개념을 DB 에 적용하여, 안정성·확장성·가용성을 보장하는 동시에 CI/CD 자동화를 통해 운영 효율을 극대화한다.

핵심 책임:

주요 도구

최적화하기 위한 고려사항 및 주의할 점

주제와 관련하여 주목할 내용

추가 학습 및 조사할 내용

용어 정리

참고 및 출처

• Database Fundamentals: Learn the Basics of Database Management – Readynez
• Introduction of DBMS (Database Management System) – GeeksforGeeks
• DBMS Tutorial – Learn Database Management System – GeeksforGeeks
• Basic Database Concepts – GeeksforGeeks
• Fundamentals of Database Systems – PrepBytes
• DBMS Architecture (1-level, 2-Level, 3-Level) – GeeksforGeeks
• Structure of Database Management System – GeeksforGeeks
• ACID Properties in DBMS – GeeksforGeeks
• ACID Properties in DBMS Explained – MongoDB
• Understanding DBMS Transaction Management – TutorialsPoint
• Types of Databases – GeeksforGeeks
• Different Types of Databases & When To Use Them – Rivery
• What Is NoSQL? NoSQL Databases Explained – MongoDB
• 12 SQL Query Optimization Best Practices – ThoughtSpot
• 8 Best Database Optimization Techniques – DNSstuff
• SQL Query Optimization: 15 Techniques for Better Performance – DataCamp
• Best Practices For SQL Query Optimizations – GeeksforGeeks
• Database – Wikipedia
• What are the main functions of a database management system? – Tencent Cloud
• Computer Science and Engineering – Wikipedia
• Classification of Database Management Systems – BimStudies
• Data Management Systems – OpenStax
• DBMS Architecture and Database Models – SprinkleData
• Advantages and Disadvantages of Database Systems – PDF
• Challenges and Solutions in Troubleshooting Database Systems – SSRN
• The Types of Databases (with Examples) – Matillion
• Python Libraries for Database Management – Apriorit
• 10 Database Examples in Real Life – Liquid Web
• Database Management System Case Studies – PDF
• Database Optimization Best Practices – OptimizDBA
• Classification of DBMS – LibreTexts
• Database System Characteristics – PDF
• 5 Principles of Database Systems – Data Science Degree Programs
• Typical DBMS Functionality – Villanova University (PDF)