메타모픽 테스팅 (Metamorphic Testing, MT)
소프트웨어 테스트에서 “오라클 문제”(테스트 결과의 정확성을 판단하기 어려운 상황)를 해결하기 위해 개발된 방법으로,
메타모픽 테스팅은 소프트웨어의 의도된 기능에 대한 필수적인 속성인 메타모픽 관계(Metamorphic Relations, MRs)를 활용하여 테스트를 수행한다.
이 방법은 정확한 출력값을 알지 못해도 테스트가 가능하다는 점에서 특징적이다.
메타모픽 테스팅의 핵심 원리는 입력값들 사이의 관계와 그에 따른 출력값들 사이의 관계를 활용하는 것이다.
예를 들어, 어떤 숫자에 2를 곱한 값과 원래 숫자의 제곱을 비교한다고 생각해보자.
입력값이 3일 때, 3 × 2 = 6이고 3² = 9이다.
여기서 우리는 “어떤 숫자에 2를 곱한 값은 항상 그 숫자의 제곱보다 작다"라는 메타모픽 관계를 발견할 수 있다.
실제 적용 예시를 통해 더 자세히 살펴보자:
검색 엔진 테스트의 경우:
- 원래 검색어: “강아지 훈련”
- 변형된 검색어: “강아지 훈련 방법”
메타모픽 관계: 두 번째 검색 결과는 첫 번째 검색 결과의 부분집합이어야 한다.
정렬 알고리즘 테스트의 경우:
- 원래 입력: [4, 2, 7, 1]
- 변형된 입력: [4, 2, 7, 1, 4]
메타모픽 관계: 두 번째 정렬 결과는 첫 번째 정렬 결과에 4가 한 번 더 추가된 형태여야 한다.
주요 특징
- 속성 기반 테스팅: 입력과 출력 간의 관계가 아닌 입력들 간의 일반적인 관계를 기반으로 시스템 기능을 설명한다.
- 다중 실행: 소프트웨어의 여러 실행 결과를 비교하여 테스트한다.
- 오라클 문제 해결: 예상 출력을 정확히 알지 못해도 테스트가 가능하다.
- 테스트 케이스 생성: MRs를 통해 소스 테스트 케이스로부터 후속 테스트 케이스를 자동으로 생성할 수 있다.
- “오라클 문제”
- 테스트 결과의 정확성을 판단하기 어려운 상황
메타모픽 테스팅의 수행 단계
- 메타모픽 관계 식별
테스트 대상 시스템에서 성립해야 하는 메타모픽 관계를 찾는다.
이는 수학적 속성이나 비즈니스 규칙에서 도출될 수 있다.
예를 들어, 삼각함수에서 sin(x) = sin(x + 2π) 같은 관계를 활용할 수 있다. - 소스 테스트 케이스 생성
기본이 되는 테스트 케이스를 만든다.
예를 들어, 삼각함수 테스트에서 x = 30°를 소스 테스트 케이스로 선택할 수 있다. - 후속 테스트 케이스 생성
메타모픽 관계를 적용하여 새로운 테스트 케이스를 만든다.
위의 예에서는 x = 30° + 360°가 후속 테스트 케이스가 된다. - 테스트 실행 및 검증
두 테스트 케이스를 실행하고 결과가 메타모픽 관계를 만족하는지 확인한다.
sin(30°)와 sin(390°)의 값이 같아야 한다.
적용 분야
메타모픽 테스팅은 다양한 분야에서 적용되고 있다:
- 웹 서비스
- 컴퓨터 그래픽스
- 임베디드 시스템
- 시뮬레이션 및 모델링
- 기계 학습
- 의사 결정 지원 시스템
- 생물정보학
- 컴파일러 등
장점
- 단순성: 개념이 간단하고 구현이 쉽다.
- 자동화 용이성: MRs만 정의되면 테스트 과정의 대부분을 자동화할 수 있다.
- 효과적인 결함 검출: 널리 사용되는 프로그램에서도 실제 결함을 발견할 수 있다.
한계점
- MR 식별의 어려움: 효과적인 MRs를 식별하는 것이 쉽지 않을 수 있다.
- 복잡한 시스템에서의 적용: 매우 복잡한 시스템에서는 적용이 어려울 수 있다.
메타모픽 테스팅은 특히 테스트 오라클이 없거나 불완전한 경우, 그리고 입력 도메인이 매우 큰 경우에 유용하다.
이 기법은 다른 정적 및 동적 소프트웨어 분석 기법들과 결합하여 사용될 수 있으며, 소프트웨어의 검증, 유효성 검사 및 품질 평가를 위한 강력한 도구로 발전하고 있다.