Data Science and Engineering

Data Science and Engineering

데이터 과학 및 엔지니어링은 데이터 라이프사이클에 기반한 협업 분야이다.
데이터 엔지니어는 데이터 수집 (Ingestion), 변환 (ETL/ELT), 저장 (Data Lake/Warehousing), 제공 (API/ML 모델 입력) 을 설계·구축하며, 데이터 과학자는 통계, 머신러닝·딥러닝, 시각화를 통해 비즈니스 인사이트를 도출한다. 두 역할의 협업은 이상치 처리, 피처 엔지니어링, 실험 설계, 모델 운영 (MLOps) 을 통해 데이터 기반 시스템의 확장성과 정확성을 보장한다. 신뢰성 높은 데이터 아키텍처가 기반이 되며, 도구로는 Spark, Kafka, Airflow, Databricks, TensorFlow 등이 사용된다.

핵심 개념

엔지니어링은 데이터 흐름의 기반 (수집→처리→저장→제공) 을 구축하고,과학은 이를 분석·예측하여 비즈니스 인사이트를 추출한다.
최신 기술은 자동화, 실시간성, 확장성, 품질 보증, 거버넌스에 집중되고 있으며, 전략적으로는 MLOps, Data Mesh, Kappa Architecture 등의 적용이 실무를 진화시키고 있다.

배경

데이터 과학 및 엔지니어링은 빅데이터, 클라우드, IoT, 인공지능 등 신기술의 발전과 함께 등장한 분야로, 데이터 기반 의사결정과 비즈니스 혁신의 핵심 역할을 담당한다.

목적 및 필요성

• 데이터 기반 의사결정:
  데이터로부터 인사이트를 도출해 비즈니스, 과학, 공공 분야 등에서 의사결정을 지원한다.
• 비즈니스 혁신 및 경쟁력 강화:
  데이터 분석을 통해 새로운 서비스 개발, 고객 경험 개선, 비용 절감 등이 가능하다.
• 인프라 구축 및 관리:
  대규모 데이터를 효율적으로 수집, 저장, 처리, 분석할 수 있는 인프라가 필요하다.

주요 기능 및 역할

• 데이터 수집 및 저장:
  다양한 소스로부터 데이터를 수집, 저장한다.
• 데이터 처리 및 변환:
  데이터를 정제, 변환, 통합하여 분석 가능한 형태로 만든다.
• 데이터 분석 및 시각화:
  • 데이터로부터 인사이트를 도출하고, 이를 시각화하여 전달한다.
• 인프라 설계 및 관리:
  • 데이터 파이프라인, 데이터 웨어하우스, 데이터 레이크 등 인프라를 설계·관리한다.

특징

• 융합적 접근:
  컴퓨터 과학, 통계, 수학, 비즈니스 지식이 융합된다.
• 실무 중심:
  실제 데이터와 문제를 다루는 실무 경험이 중요하다.
• 지속적 진화:
  빅데이터, 인공지능, 클라우드 등 신기술과 함께 빠르게 진화한다.

핵심 원칙

• 데이터 품질:
  데이터의 정확성, 완전성, 일관성, 신뢰성을 보장한다.
• 확장성:
  대규모 데이터를 효율적으로 처리할 수 있도록 시스템을 설계한다.
• 보안 및 프라이버시:
  데이터 보호와 개인정보 보호를 위한 조치를 마련한다.
• 자동화:
  데이터 수집, 처리, 분석 과정을 자동화하여 효율성을 높인다.

주요 원리

현대 데이터 아키텍처의 기본 원칙으로는 확장성, 유연성, 보안이 있다:

1. 확장성 (Scalability): 데이터 볼륨 증가에 따른 수직적, 수평적 확장 지원
2. 유연성 (Flexibility): 새로운 데이터 소스와 기술 통합 지원
3. 보안 (Security): 모든 레벨에서 데이터 보안 및 접근 제어
4. 데이터 접근성: 필요시 사용자가 데이터에 접근할 수 있도록 보장

데이터 파이프라인

• 데이터 파이프라인: 데이터가 소스에서 목적지 (분석 시스템) 까지 자동으로 흐르는 구조.
  수집→스테이징→처리→저장→소비 흐름을 가지며, 설계 원칙에 따라 모듈화되고 확장 가능하며 신뢰성을 갖추어야 한다.
• 단계별 흐름:
  1. 수집 (Ingestion): API, 로그, 센서 등에서 원시 데이터 획득
  2. 스테이징 (Staging/Raw 저장소): 간단한 정제 후 원본 저장
  3. 정제 및 처리 (Preparation/Transform): ETL/ELT, 이상치 제거, 스키마 통합
  4. 저장 및 제공 (Storage/Serving): Data Lake <-> Data Warehouse
  5. 소비 (Consumption): 분석, BI, 머신러닝, 애플리케이션

flowchart LR
  src[Data Source] --> ingest[Ingestion]
  ingest --> staging[Raw Zone]
  staging --> transform[ETL/ELT Transform]
  transform --> storage[Data Lake / Warehouse]
  storage --> consume[BI / ML / Apps]

전체 아키텍처 개요

데이터 과학 및 엔지니어링 아키텍처는 아래 계층들로 구성된다:

graph TD
  subgraph Data Ingestion
    A[Source Systems] --> B[Kafka / API / Batch Load]
  end
  subgraph Landing Zone
    B --> C["Raw Storage (S3/HDFS)"]
  end
  subgraph Processing
    C --> D[ETL/ELT Spark/Flink]
    D --> E[Feature Store]
  end
  subgraph Storage & Serving
    E --> F[Data Warehouse / OLAP]
    E --> G[ML Model Training]
  end
  subgraph Consumption
    F --> H[BI / Dashboards]
    G --> I[Model Serving / Predictions]
  end
  subgraph Governance & Orchestration
    D --> J[Airflow Orchestration]
    C --> K[Data Catalog & Lineage]
    All --> L[IAM / Audit / Monitoring]
  end

구현 기법

• ETL/ELT 구분은 데이터 처리 위치와 방식에 따라 성능 및 유연성에서 차이가 난다.
• 배치 vs 스트림 처리는 데이터 발생 주기와 분석 목적에 따라 선택한다.
• MLOps는 개발 - 운영 간 협업을 강화하며, Feature Store는 재현성과 협업의 핵심 도구이다.
• 오케스트레이션 툴은 단일 작업뿐 아니라 장애 대응, 의존성 처리, 재시도 정책까지 관리 가능하다.

장단점

장점

단점

문제점 및 해결 방안

도전 과제

분류 기준에 따른 종류 및 유형

실무 적용 예시

• Data Science and Engineering은 도메인별 특화 목적에 따라 기술을 달리하며 적용된다.
• 단일 기술이 아닌 조합된 파이프라인 (데이터 수집 → 처리 → 분석 → 시각화/예측) 이 실무 효과를 창출한다.
• 핵심은 데이터를 통한 자동화된 의사결정과 가치 창출이다.

활용 사례

사례 1: 우버의 실시간 위치 추적 시스템

시스템 구성:

graph TB
    subgraph "데이터 수집"
        A1[드라이버 앱] --> B1[Kafka]
        A2[승객 앱] --> B1
        A3[GPS 센서] --> B1
    end
    
    subgraph "실시간 처리"
        B1 --> C1[Apache Flink]
        C1 --> C2[위치 매칭 알고리즘]
        C2 --> C3[ETA 계산]
    end
    
    subgraph "데이터 저장"
        C3 --> D1[Redis Cache]
        C3 --> D2[Cassandra]
        C3 --> D3[Hadoop HDFS]
    end
    
    subgraph "서비스"
        D1 --> E1[실시간 매칭 API]
        D2 --> E2[운전자 대시보드]
        D3 --> E3[분석 리포트]
    end

Workflow:

1. 모바일 앱에서 GPS 위치 데이터를 Kafka 로 스트리밍 전송
2. Flink 가 실시간으로 위치 데이터를 처리하여 승객 - 드라이버 매칭
3. Redis 에 실시간 위치 정보 캐싱으로 빠른 응답 제공
4. Cassandra 에 운행 기록 저장, HDFS 에 장기 분석용 데이터 보관

Data Science and Engineering 의 역할:

• 데이터 엔지니어링: 초당 수백만 건의 위치 데이터 실시간 처리 파이프라인 구축
• 데이터 과학: 최적 경로 알고리즘, 수요 예측 모델, 동적 가격 책정 모델 개발
• MLOps: 실시간 매칭 모델의 지속적 모니터링 및 성능 최적화

사례 2: 금융권 이상 거래 탐지 시스템

시스템 구성:

• 데이터 소스: 거래 DB, 로그
• 데이터 수집: Kafka
• 데이터 저장: Hadoop
• 데이터 처리: Spark
• 데이터 분석: Python, Scikit-learn
• 시각화: Tableau

Workflow:

• 거래 데이터 수집 → 데이터 저장 → 데이터 처리 → 이상 거래 탐지 모델링 → 탐지 결과 시각화 및 보고

역할:

• 데이터 엔지니어: 데이터 수집, 저장, 처리 인프라 구축
• 데이터 과학자: 이상 거래 탐지 모델 개발 및 분석
• 비즈니스 분석가: 분석 결과 해석 및 보고

graph TD
    A[거래 DB/로그] --> B[Kafka]
    B --> C[Hadoop]
    C --> D[Spark]
    D --> E[Python/Scikit-learn]
    E --> F[Tableau]

실무에서 효과적으로 적용하기 위한 고려사항 및 주의할 점

최적화하기 위한 고려사항 및 주의할 점

주제와 관련하여 주목할 내용

• 핵심 기술 5 가지: 데이터 과학, 엔지니어링, 빅데이터, MLOps, 거버넌스
• 신기술 4 가지: Zero ETL, Real-time ML, Data Fabric, Data Mesh
• 최적화/표준 6 가지: OpenLineage, Iceberg, OmegaConf, Delta Lake, Parquet/ORC, Spark/Redis 기반 인메모리

추가 학습 영역

용어 정리

참고 및 출처

학술 자료

• CRISP-DM: Towards a Standard Process Model for Data Mining
• DMME: Data Mining Methodology for Engineering Applications
• The Evolution of CRISP-DM for Data Science

산업 표준 및 가이드

• MLOps Principles - ML-Ops.org
• Data Architecture Best Practices - IBM
• MLOps: Continuous Delivery and Automation - Google Cloud
• Data Architecture Principles - Airbyte

기술 문서 및 플랫폼 설명

• ETL Pipeline Architecture - Airbyte
• Data Pipeline Architecture Explained - Monte Carlo
• What is MLOps? - AWS
• MLOps Definition and Benefits - Databricks
• What Is an ETL Pipeline? - Snowflake
• MLflow 공식 문서
• Feast Feature Store
• Microsoft MLOps Stack

교육 및 실습 자료

• Data Engineering Zoomcamp - DataTalksClub
• MLOps Specialization - Coursera
• CRISP-DM Methodology - Smart Vision Europe
• Data Engineering Practice Problems - GitHub

업계 동향 및 실무 통찰

• Data Engineering Challenges - Velvetech
• Top 10 Data Engineering Challenges - GlassFlow
• Data Management Best Practices - Nexla
• Modern Data Stack Trends

교육 과정 및 전공 비교

• Computer Science and Engineering (Data Science) - DSU
• Data Science and Engineering: Challenges and Opportunities - Springer Nature
• Data Engineering Key Concepts - DataExpertise
• Data Science Engineer Role - PW Skills
• Data Engineering vs Data Science - Sunscrapers
• Data Engineering Principles - FirstEigen
• Architecture of Data Science Projects - Scribd
• Computer Science and Engineering - Wikipedia
• Computer Science and Engineering (Data Science) - RK NEC
• BTech CSE (Data Science) - Manipal University
• Data Science vs Computer Science - EngX
• Choosing Between Data Science and CS Engineering - India Today