Operating Systems & System Mechanics

1. Overview

운영체제와 시스템 메커니즘(Operating Systems & System Mechanics, OSSM)은 하드웨어와 응용 프로그램 사이에서 자원을 공정하게 배분하고 가상화된 실행 환경을 제공하는 핵심 소프트웨어 계층을 다룹니다. 본 카테고리는 단순한 OS 사용법을 넘어, 커널의 내부 작동 원리, 고도화된 병행성 제어, 그리고 현대 클라우드 인프라의 기반이 되는 가상화 기술의 공학적 설계를 탐구합니다.

CS2023의 Operating Systems (OS) 및 Systems Fundamentals (SF) 지식 영역을 근간으로 삼아, 프로세스 관리, 메모리 최적화, 입출력 시스템 및 보호 메커니즘을 체계적으로 다룹니다.

현대의 OSSM은 전통적인 단일 머신 위의 커널에서 벗어나, **컨테이너(Container)**와 경량 VM(MicroVM) 기술로 확장되고 있습니다. Docker/Kubernetes가 내부적으로 Linux Namespaces와 Cgroups를 어떻게 활용하는지, 그리고 io_uring이 기존 epoll보다 왜 빠른지 이해하는 것이 OSSM의 현대적 학습 과제입니다. 하드웨어 자원의 물리적 한계를 다루는 CAES(02)가 기반이라면, OSSM은 그 위에서 **'공정성·안전성·격리성'**을 소프트웨어적으로 구현하는 역할을 합니다.

2. Scope & Boundaries

In-Scope

• 커널 핵심(Kernel Core): 프로세스 및 스레드 모델, CPU 스케줄링 알고리즘(CFS·EDF·MLFQ), 시스템 호출(Syscalls) 인터페이스와 사용자-커널 모드 전환.
• 자원 관리(Resource Mgmt): 페이지 캐시, 가상 메모리 관리(MMU·TLB), 페이지 교체 알고리즘(LRU·Clock), 파일 시스템 구조(VFS) 및 I/O 제어.
• 병행성 및 동기화(Concurrency): 뮤텍스, 세마포어, 모니터(Monitor), 교착 상태(Deadlock) 탐지·회피, Lock-free 알고리즘 기초.
• 가상화 및 격리(Virtualization): 하이퍼바이저(Type-1/2) 아키텍처, Linux Namespaces, Cgroups, 컨테이너 런타임(runc) 원리.
• I/O 비동기(Async I/O): epoll, kqueue, io_uring의 커널 이벤트 통지 메커니즘.

Out-of-Scope

• 특정 OS 배포판 운영: 단순 패키지 설치, 배포판별 설정 파일 조작, UI 테마 설정.
• 네트워크 레이어 설계: TCP/IP 프로토콜 스택 자체의 통신 로직 → 08. NC 노드로 위임.
• 컴퓨터 회로 이론: 반도체 소자 및 게이트 수준의 물리 설계 → 02. CAES 노드로 위임.
• 컨테이너 오케스트레이션 전략: Kubernetes 클러스터 운영, 서비스 메시 설계 → 09. SEDO 노드로 위임.

Boundaries

• OSSM은 '단일 실행 환경(Host or VM)' 내부에서의 자원 추상화 및 제어 흐름에 집중하며, 이를 네트워크로 확장하여 노드 간 협업을 다루는 영역은 분산 시스템(07. SADS) 도메인으로 정의합니다.
• 컨테이너 기술(Namespace·Cgroup)의 내부 구현 원리는 OSSM 범위이지만, 컨테이너 클러스터 배포·운영 전략은 DevOps(09. SEDO) 범위입니다.

3. Counterexample

• 단순 쉘 명령어 숙달: apt install이나 ls -al을 외우는 것은 단순 활용 단계입니다. 명령어 실행 시 발생하는 문맥 교환(Context Switch) 비용(수 마이크로초)과 사용자-커널 모드 전환의 메커니즘(Trap/Interrupt 경로)을 분석하는 것이 OSSM의 핵심입니다.
• 언어 수준 비동기 키워드 맹신: async/await 키워드를 사용한다고 커널 수준 I/O 비동기가 저절로 일어나지 않습니다. 하부에서 동작하는 이벤트 루프와 커널 통지 시스템(epoll·io_uring)의 동작 방식, 그리고 스레드 기반 vs 이벤트 기반 비동기 모델의 성능 차이를 이해해야 합니다.
• 컨테이너 = 가상 머신: 컨테이너는 VM처럼 독립된 커널을 갖지 않습니다. Linux Namespaces로 뷰를 격리하고 Cgroups로 자원 한도를 적용하는 프로세스 수준의 격리이므로, 커널 취약점은 동일 호스트의 모든 컨테이너에 영향을 미칠 수 있습니다.

4. Prerequisites

• 컴퓨터 구조와 임베디드 (Basic): 인터럽트, CPU 레지스터, TLB를 활용한 가상-물리 주소 매핑 원리 이해. (P1) 이 지식 없이는 페이지 폴트(Page Fault) 처리 흐름을 이해하기 어렵습니다.
• C/C++ 시스템 프로그래밍 (Recommended): fork()·exec()·mmap() 등의 시스템 호출을 직접 사용해 본 경험과 메모리 레이아웃(Code/Data/Stack/Heap 세그먼트) 지식. (P1)
• 수리 논리 (Recommended): 동기화 알고리즘의 유한 상태 기계(FSM) 표현 및 경쟁 상태(Race Condition) 논리 추론 능력. (P1)
• Linux 기본 조작 (Practical): 터미널 사용, 프로세스 목록(ps, top), 파일 권한 체계(chmod, chown) 등 기초 운영 경험.

5. Learning Map

6. Learning Topics

Basic

Core Topic 01: 커널 아키텍처와 모드 전환 (Kernel Architecture & Mode Logic)

• Why to Learn: 악의적인 응용 프로그램으로부터 시스템을 보호하고 하드웨어 자원을 독점하지 못하도록 하는 보호 시스템의 기본 설계이기 때문입니다. 이 메커니즘을 모르면 시스템 콜 오버헤드의 원인을 진단하기 어렵습니다.
• What to Learn:
  • Concepts: 모놀리식 vs 마이크로 커널(Monolithic vs Microkernel), 이중 모드 실행(User/Kernel Mode), 시스템 호출(Syscall) 라이프사이클(Trap→Handler→Return).
  • Skills: 특정 함수의 실행 시간 중 커널 모드 점유율(CPU Time) 분석, Trap/Fault/Interrupt 구분, strace 추적 해석.
  • Tools: strace, ltrace, Linux Kernel Source(Syscall table), perf stat.
  • Trade-offs: 커널 모드 전환의 오버헤드(수백 나노초)와 안전성 보장 사이의 설계 타협 — 마이크로 커널은 안전하지만 IPC 비용이 높고, 모놀리식은 성능이 좋지만 한 모듈의 버그가 커널 전체를 무너뜨릴 수 있습니다.
• How to Learn:
  • 1단계: strace를 사용하여 단순 ls 명령어가 수십 개의 시스템 호출을 발생시키는 과정을 추적하고, 각 호출의 역할을 man page로 확인합니다.
  • 2단계: 어셈블리 수준에서 syscall 명령을 직접 호출하여 파일에 문자열을 출력하고, 사용자→커널→사용자 전환의 스택 변화를 확인합니다.
• Implement: 시스템 호출을 통한 I/O 처리 과정의 스택 프레임 변화 다이어그램.

Recommended

Core Topic 02: 고도화된 병행성 제어 (Advanced Concurrency Primitives)

• Why to Learn: 멀티코어 환경에서 데이터 무결성을 보장하면서도 성능 병목을 최소화하는 하이 로드 시스템 설계의 필수 역량입니다. 동시성 버그는 재현이 어렵고 프로덕션에서 치명적이기 때문에 원리 이해가 선행되어야 합니다.
• What to Learn:
  • Concepts: 임계 영역(Critical Section), 뮤텍스(Mutex) vs 세마포어(Semaphore), 조건 변수(Condition Variable), 모니터(Monitor), 교착 상태 4대 조건(상호 배제·점유 대기·비선점·순환 대기).
  • Skills: 교착 상태 탐지 알고리즘(자원 할당 그래프), 아토믹 연산(CAS, Fetch-and-Add)을 활용한 Lock-free 자료구조 구현.
  • Tools: Valgrind(Helgrind), ThreadSanitizer(TSan), Helgrind.
  • Trade-offs: 미세 잠금(Fine-grained locking)을 통한 동시성 증대 vs 락 관리 복잡도·데드락 위험 증가 — 실무에서는 읽기 성능이 중요한 경우 RWLock을 선호합니다.
• How to Learn:
  • 1단계: '식사하는 철학자 문제'를 구현하고, 자원 할당 그래프를 그려 데드락 발생 시나리오를 시각화합니다.
  • 2단계: CAS(Compare-And-Swap)를 사용한 Lock-free 스택을 구현하고 ThreadSanitizer로 경쟁 조건 부재를 검증합니다.
• Implement: 경쟁 상태가 제거된 thread-safe 생산자-소비자 큐 (C/C++ 기반).

Practical

Core Topic 03: 가상 메모리와 I/O 최적화 (Memory Management & Zero-copy)

• Why to Learn: 애플리케이션의 체감 속도는 결국 디스크와 네트워크 I/O 지연에 의해 결정되며, 메모리 관리 전략이 이를 해결하는 열쇠입니다. 데이터베이스·웹 서버 등 고성능 서버 소프트웨어의 핵심 최적화 기법입니다.
• What to Learn:
  • Concepts: 페이징(Paging), 페이지 교체 알고리즘(LRU, Clock), 페이지 폴트(Page Fault) 메커니즘, 제로 카피(Zero-copy: sendfile, splice), Copy-on-Write(CoW).
  • Skills: mmap을 이용한 파일 매핑 성능 분석, 쓰레싱(Thrashing) 진단 및 워킹 셋(Working Set) 관리, io_uring 기반 비동기 I/O 설계.
  • Tools: pmap, vmstat, iostat, perf, /proc/meminfo.
  • Trade-offs: Zero-copy를 통한 CPU·메모리 대역폭 절감 vs 커널 캐시 일관성 관리 난이도 — io_uring은 시스템 콜 오버헤드를 없애지만 Linux 5.1 이상의 커널이 필요합니다.
• How to Learn:
  • 1단계: 대용량 파일 전송 시 read/write 루프와 sendfile 시스템 호출의 속도 차이를 벤치마크하고, strace로 복사 횟수를 비교합니다.
  • 2단계: 가상 주소를 물리 주소로 변환하는 다단계 페이지 테이블(PGD→PUD→PMD→PTE) 과정을 /proc/<pid>/pagemap으로 추적합니다.
• Implement: 고속 데이터 전송을 위한 mmap 기반 파일 서버 프로토타입.

Advanced

Core Topic 04: 가상화 가속과 컨테이너 격리 (Virtualization & Container Internals)

• Why to Learn: 클라우드 네이티브 환경에서 물리 서버 한 대의 가치를 극대화하고 서비스 간 간섭 없는 실행 환경을 보장하기 위함입니다. 컨테이너 보안 취약점을 이해하고 방어하려면 내부 구현 원리가 필수입니다.
• What to Learn:
  • Concepts: 하드웨어 가속 가상화(Intel VT-x/AMD-V), Linux Namespaces(PID/Net/Mnt/UTS/User), Cgroups v2 자원 제한, 계층형 파일 시스템(OverlayFS), Seccomp-BPF 기반 시스템 콜 필터링.
  • Skills: Docker 없이 unshare와 mount만으로 최소 컨테이너 생성, Cgroup을 통한 자원 한도 설정, OverlayFS 레이어 구성.
  • Tools: runc, lxc, cgcreate, nsenter, unshare.
  • Trade-offs: 전 가상화(Full Virtualization)의 완벽한 커널 격리 vs 컨테이너의 경량 실행 속도 — 보안 요구가 높은 멀티 테넌트 환경에서는 gVisor·Kata Containers 같은 샌드박스가 대안입니다.
• How to Learn:
  • 1단계: /proc 파일 시스템을 탐색하며 unshare --pid 명령으로 격리된 PID 네임스페이스 내에서 프로세스가 보는 시스템 정보의 차이를 확인합니다.
  • 2단계: Cgroup v2를 통해 특정 프로세스의 CPU 사용량을 10%로 강제 스로틀링하고, cgcreate/cgset/cgexec 명령 체인을 직접 실행합니다.
• Implement: Linux 네임스페이스 기반의 기초 컨테이너 격리 스크립트 (Bash/C).

7. Terminology

8. References

Primary References

• [P1] CS2023: OS — Operating Systems and Virtualization.
• [P1] CS2023: SF — Systems Fundamentals.
• [P2] SWEBOK v4: Software Infrastructure.

Secondary References

• [OSTEP] Operating Systems: Three Easy Pieces — Remzi and Andrea Arpaci-Dusseau (공학적 접근의 최고봉).
• [Silberschatz] Operating System Concepts — 전통적인 OS 이론의 바이블.

Industry References

• [The Linux Kernel Archives] Documentation — 커널 실무 구현 및 최전선 명세.
• [Docker Engine] Internals and isolation — 컨테이너 격리 기술 구현 가이드.

9. Final Checklist

Primary Checklist

• 시스템 호출과 일반 라이브러리 함수의 실행 경로 차이를 스택 프레임 및 CPU 모드 관점에서 설명할 수 있는가? (P1-OS)
• 페이지 오프셋을 이용해 가상 주소를 물리 주소로 변환(Address Translation)하는 과정을 수동으로 시뮬레이션할 수 있는가? (P1-OS-M)

Secondary Checklist

• 공유 자원 접근 시 뮤텍스와 스핀락(Spinlock) 중 어느 것이 성능상 유리한지 코어 환경별로 판단할 수 있는가?
• strace 도구를 사용하여 특정 사용자 프로세스의 과도한 시스템 호출 병목 구간을 식별했는가?

Industry Checklist

• 컨테이너 환경에서 Cgroup 설정을 통해 특정 앱의 메모리 할당량을 물리 자원 이상으로 넘지 못하도록 제한해 보았는가?
• 제로 카피(Zero-copy) 기술을 네트워크 파일 전송 아키텍처에 적용하여 CPU 사용률을 획기적으로 낮췄는가?