Greenlet and Gevent

Greenlet과 Gevent는 Python에서 동시성 프로그래밍을 위한 라이브러리이다.

Greenlet

Greenlet은 Python에서 경량 코루틴을 구현한 라이브러리이다.
추가적으로 이야기 하면, Greenlet은 Python의 경량 협력적 멀티태스킹(cooperative multitasking)을 위한 기본 단위이다. 이는 마치 매우 가벼운 스레드처럼 작동하지만, 운영체제 수준의 스레드가 아닌 사용자 공간에서 실행되는 마이크로스레드이다.

주요 특징:

  • 경량성: 일반 스레드보다 생성 비용이 매우 적다.
  • 협력적 멀티태스킹: 명시적으로 제어권을 양보할 때만 컨텍스트 스위칭이 일어난다.
  • 단일 OS 스레드 내 실행: 모든 greenlet은 동일한 물리적 스레드에서 실행된다.

사용 예:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from greenlet import greenlet

def test1(x, y):
    z = gr2.switch(x+y)
    print(z)

def test2(u):
    print(u)
    gr1.switch(42)

gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch("hello", "world")

작동 원리

Greenlet은 협력적 멀티태스킹을 사용한다.
이는 각 greenlet이 자발적으로 제어권을 다른 greenlet에게 넘겨주는 방식이다.
이를 코드로 살펴보면:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from greenlet import greenlet

def task1():
    print("Task 1: Start")
    gr2.switch()  # task2로 제어권 전환
    print("Task 1: End")

def task2():
    print("Task 2: Start")
    gr1.switch()  # task1으로 제어권 전환
    print("Task 2: End")

gr1 = greenlet(task1)
gr2 = greenlet(task2)
gr1.switch()  # 실행 시작

이 코드에서 switch()를 호출할 때마다 실행 컨텍스트가 한 greenlet에서 다른 greenlet으로 전환된다.
이는 매우 효율적인데, 운영체제의 컨텍스트 스위칭이 필요 없기 때문이다.

Greenlet vs. 시스템 스레드

전통적인 스레드와 greenlet의 차이점을 이해하는 것이 중요하다:
주요 차이점:

  1. 스레드는 선점형(preemptive) 멀티태스킹을 사용하며, 운영체제가 스케줄링을 관리한다.
  2. Greenlet은 협력적 멀티태스킹을 사용하며, 애플리케이션이 스케줄링을 제어한다.
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 전통적인 스레드 사용
import threading
import time

def io_task():
    while True:
        time.sleep(1)  # 운영체제 수준의 블로킹
        print("IO Task")

thread = threading.Thread(target=io_task)
thread.start()

# Greenlet을 사용한 비슷한 작업
from greenlet import greenlet
import gevent

def io_task_greenlet():
    while True:
        gevent.sleep(1)  # 다른 greenlet에게 제어권 양보
        print("IO Task")

g = gevent.spawn(io_task_greenlet)

메모리와 성능 특성

Greenlet의 주요 장점은 그 효율성에 있다:

  1. 메모리 사용:

    • 일반 스레드: 약 8MB/스레드
    • Greenlet: 약 3KB/greenlet

  2. 컨텍스트 스위칭 비용:

    • 스레드: 운영체제 수준의 컨텍스트 스위치 필요
    • Greenlet: 사용자 공간에서의 간단한 점프 명령만 필요

제한사항과 고려사항

Greenlet을 사용할 때 주의해야 할 점들이 있다:

  1. CPU 바운드 작업:

    1
2
3
4
5

    def cpu_intensive():
    while True:
        # CPU를 많이 사용하는 작업
        # 다른 greenlet이 실행될 기회가 없음
        result = sum(i * i for i in range(1000000))

    이런 경우 다른 greenlet이 실행될 기회를 주기 위해 명시적으로 제어권을 양보해야 한다:

    1
2
3
4

    def cpu_intensive_with_yield():
    while True:
        result = sum(i * i for i in range(1000000))
        gevent.sleep(0)  # 다른 greenlet에게 기회 제공

  2. 블로킹 작업:
    일반적인 블로킹 I/O 작업은 다른 greenlet의 실행을 막을 수 있다.
    이를 해결하기 위해 gevent는 표준 라이브러리의 블로킹 함수들을 비동기 버전으로 패치하는 monkey patching을 제공한다:

    1
2
3

    from gevent import monkey
monkey.patch_all()
# 이제 표준 라이브러리의 블로킹 함수들이 greenlet-friendly하게 변경됨

Greenlet은 Python에서 효율적인 비동기 프로그래밍을 가능하게 하는 강력한 도구이다.
특히 I/O 바운드 작업이 많은 웹 애플리케이션에서 뛰어난 성능을 발휘할 수 있다. 하지만 그 특성과 제한사항을 잘 이해하고 적절한 상황에서 사용하는 것이 중요하다.

Gevent

Gevent는 Greenlet을 기반으로 구축된 동시성 라이브러리이다.

주요 특징:

  • 비동기 I/O: libev 또는 libuv 이벤트 루프를 사용하여 효율적인 비동기 I/O를 제공한다.
  • 동기 API: 비동기 코드를 동기 스타일로 작성할 수 있게 해준다.
  • Monkey patching: 표준 라이브러리의 블로킹 함수들을 비동기 버전으로 자동 대체한다.

사용 예:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import gevent

def foo():
    print('Running in foo')
    gevent.sleep(0)
    print('Explicit context switch to foo again')

def bar():
    print('Explicit context to bar')
    gevent.sleep(0)
    print('Implicit context switch back to bar')

gevent.joinall([
    gevent.spawn(foo),
    gevent.spawn(bar),
])

Gevent와 Greenlet의 관계

Gevent는 Greenlet을 기반으로 구축되었으며, Greenlet의 기능을 확장하여 더 편리한 비동기 프로그래밍 환경을 제공한다.
Gevent는 Greenlet의 컨텍스트 스위칭을 자동화하고, 네트워크 작업을 비동기적으로 처리할 수 있게 해준다.

사용 사례

  • 웹 서버 및 네트워크 애플리케이션 개발
  • 동시에 많은 I/O 작업을 처리해야 하는 경우
  • 기존의 동기식 코드를 최소한의 변경으로 비동기로 전환할 때

주의사항

  • Gevent 사용 시 모든 I/O 작업이 비동기로 처리되므로, CPU 바운드 작업에는 적합하지 않을 수 있다.
  • Monkey patching은 강력하지만, 일부 라이브러리와 호환성 문제를 일으킬 수 있으므로 주의가 필요하다.

참고 및 출처