KR102087210B1 - 알고리즘을 통한 테스트 케이스 생성 및 페어와이즈 조합 기법을 사용한 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치 - Google Patents

Abstract

본 발명은, 테스트 대상 애플리케이션 모듈에서 알고리즘을 추출하는 단계; 상기 알고리즘을 이용하여 순서도를 작성하는 단계; 상기 순서도를 이용하여 애플리케이션 실행 테스트를 위한 테스트 케이스를 생성하는 단계; 및 생성된 테스트 케이스 중에서 페어와이즈 조합에 해당하는 테스트 케이스를 추출하는 단계를 포함하는 테스트 케이스 추출 방법을 개시한다. 본 발명에 따르면, 순서도 분석 및 페어와이즈 조합에 의해 반복되는 애플리케이션의 실행 테스트에 소비되는 시간 및 비용을 줄일 수 있다.

Description

알고리즘을 통한 테스트 케이스 생성 및 페어와이즈 조합 기법을 사용한 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치{METHOD FOR PRODUCING TEST CASE THROUGH ALGORITHM AND EXTRACTING TEST CASE USING PAIR-WISE TESTING, AND APPARATUS USING THE SAME}

본 발명은 알고리즘을 통한 테스트 케이스 생성 및 페어와이즈 조합 기법을 사용한 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치에 관한 것으로, 더욱 자세하게는 알고리즘을 바탕으로 작성한 순서도를 분석하여 애플리케이션에서 제공하는 기능 동작을 테스트 케이스로 생성하고, 페어와이즈 조합 기법을 사용하여 최소한 한 번씩 조합을 이루는 테스트 케이스를 추출하는 방법 및 장치에 관한 것이다.

소프트웨어 테스트는, 사용자가 앞으로 소프트웨어를 사용할 것을 예상하고, 사용자가 소프트웨어 사용시에 실행 가능할 것으로 예상되는 모든 형태의 명령 조합을 실행시켜, 소프트웨어 설계 과정에서 예상하지 않았던 오류를 찾아내는 과정이다.

즉, 소프트웨어 테스트는 해당 애플리케이션 실행 상의 오류를 검출하고 애플리케이션이 요구 사항에 맞게 동작하는지를 검증하는 보편적인 방법이다. 실무상으로는 테스트 목적에 맞는 테스트 케이스를 설계한 후, 이를 기반으로 테스트 실행 및 측정하고 이의 결과물로부터 소프트웨어 오류를 추적 및 수정하는 방식으로 수행된다.

소프트웨어 설계 과정에서 예상하지 않았던 오류를 찾아내는 것은 어떻게 테스트를 수행할 것인지, 즉 어떠한 명령 조합으로 소프트웨어의 동작을 요구할 것인지에 관한 테스트 케이스를 수립하는 것에 달려 있다.

소프트웨어에 해당하는 애플리케이션에 대한 모든 명령 조합에 기반하여 가능한 모든 경우의 수에 해당하는 테스트 케이스를 수립하여 테스트를 수행하는 것은 많은 시간이 소비될 뿐만 아니라, 상당수의 의미 없이 수행되는 반복 작업이 포함되어 있기 때문에, 오류가 누락되지 않도록 명령을 조합하면서 시간 및 비용을 절약할 수 있는 콤팩트한 테스트 케이스 생성이 필요하다.

즉, 테스트 케이스는 소프트웨어 테스트의 근간이 되며, 이에 따라 테스트 케이스를 얼마나 효율적으로 설계하는지에 따라 테스트를 통해 얼마나 많은 오류를 얼마나 빨리 찾을 수 있는지가 결정된다.

테스트 케이스 생성 방법은 동등 분할 방법, 경계값 분석 방법, 인과 그래핑 방법, 에러 추측 방법 등이 존재하나, 이들 테스트 케이스 생성 방법 모두 테스트 설계자가 수동으로 설계 및 분석해야 하는 문제가 있었다. 즉, 테스트 설계자 수작업으로 종이에 테스트 케이스를 그리거나, 엑셀/워드와 같은 프로그램을 통해 테스트 케이스를 작성해야 함으로써, 테스트 케이스 작성에 상당히 많은 시간과 노력이 소요되며, 정확도도 떨어지게 되는 문제가 있었다.

또한, 테스트 케이스가 올바르게 작성되었는지 검증하는 작업을 필수적으로 수행되어야 하나, 앞서 설명된 바와 같이 테스트 케이스가 수작업으로 작성됨에 따라 테스트 케이스 검증 작업 또한 수작업 방식으로 수행되어야 하는 추가적인 문제도 발생한다.

도 1은 종래의 기술에 따른 테스트 케이스 추출 방법에 관한 예시도이다.

도 1을 참조하면, 코드 및 리소스 데이터를 추출하고, 추출된 코드 및 데이터를 이용하여 메뉴 트리를 생성하고, 이를 기초로 테스트 스크립트가 생성된다. 이는 테스트 대상 애플리케이션 GUI 상의 메뉴에 기반해서 테스트 케이스를 생성하는 것이며, 단순히 메뉴의 각 기능을 실행하는 것에 한정된다. 그런데 메뉴 기반의 테스트 스크립트의 실행을 통해 수행되는 테스트에서 알고리즘 차원에서의 설계상의 오류가 드러날 확률은 대단히 적다.

즉 사용자가 종래의 기술을 이용하는 경우, 모든 메뉴 트리를 이용하여 작성된 테스트 스크립트만으로는 테스트 케이스를 작성해서 테스트를 수행하는 것과 비교하여 한계가 있다.

본 발명의 일 실시 예에 따른 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치는, 알고리즘을 기반으로 테스트 케이스를 생성하는 것을 기본으로 하면서, 알고리즘을 분석하고, 분석된 결과를 토대로 가능한 모든 경우의 수를 파악하되, 파악된 전체 케이스에 대해 무의미하고 반복된 작업이 포함된 테스트를 수행하기보다는, 전체 경우의 수를 줄이면서, 오류가 나타날 수 있는 경로를 찾아서 테스트 케이스를 구성하는 기술적 특징에 기초한다. 이러한 점에서 본 발명의 일 실시 예에 따른 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치는, 상기 살펴본 종래기술과 구별되고 상기 종래기술이 갖는 문제점을 해결하기 위해 개시된다.

한국 공개특허공보 제10-2012-0121950호(2012.11.07.)

본 발명이 해결하고자 하는 과제는, 순서도 작성 및 분석을 통해 페어와이즈 조합 기법에 필요한 파라미터 종류 및 그 값을 효율적으로 추출할 수 있는 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치를 제공하는 것이다.

또한, 전체 경우의 수에 해당하는 테스트를 수행하는 대신에 페어와이즈 조합을 이용함으로써 애플리케이션의 실행 테스트의 전체 범위를 커버할 수 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치를 제공하는 것이다.

또한, 순서도 분석 및 페어와이즈 조합에 의해 반복되는 애플리케이션의 실행 테스트에 소비되는 시간 및 비용을 줄일 수 있는 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치를 제공하는 것이다.

본 발명의 일 실시 예에 따른 테스트 케이스 추출 방법은, 테스트 대상 애플리케이션 모듈에서 알고리즘을 추출하는 단계; 상기 알고리즘을 이용하여 순서도를 작성하는 단계; 상기 순서도를 이용하여 애플리케이션 실행 테스트를 위한 테스트 케이스를 생성하는 단계; 및 생성된 테스트 케이스 중에서 페어와이즈 조합에 해당하는 테스트 케이스를 추출하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 알고리즘을 추출하는 단계는, 테스트 대상 애플리케이션의 소스 코드로부터 상기 알고리즘을 추출하는 것을 특징으로 한다.

여기서, 상기 소스 코드는, 테스트 대상 애플리케이션의 바이너리 파일로부터 추출되는 것을 특징으로 한다.

여기서, 상기 테스트 케이스를 생성하는 단계는, 상기 순서도를 분석하는 단계 및 상기 분석을 통해 경우의 수 생성에 필요한 파라미터의 종류 및 파라미터 값을 추출하는 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 테스트 케이스를 추출하는 단계는, 상기 파라미터의 종류 및 파라미터 값을 이용하여 페어와이즈 기법에 의한 조합을 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치는, 테스트 대상 애플리케이션 모듈에서 알고리즘을 추출하는 알고리즘 추출 모듈; 상기 알고리즘을 이용하여 순서도를 작성하는 순서도 작성 모듈; 상기 순서도를 이용하여 애플리케이션 실행 테스트를 위한 테스트 케이스를 생성하는 테스트 케이스 생성 모듈; 및 생성된 테스트 케이스 중에서 페어와이즈 조합에 해당하는 테스트 케이스를 추출하는 테스트 케이스 추출 모듈을 포함하는 것을 특징으로 한다.

여기서, 상기 알고리즘 추출 모듈은, 테스트 대상 애플리케이션의 소스 코드로부터 상기 알고리즘을 추출하는 것을 특징으로 한다.

여기서, 상기 소스 코드는, 테스트 대상 애플리케이션의 바이너리 파일로부터 추출되는 것을 특징으로 한다.

여기서, 상기 테스트 케이스 생성 모듈은, 상기 순서도를 분석하는 순서도 분석 모듈 및 상기 분석을 통해 경우의 수 생성에 필요한 파라미터의 종류 및 파라미터 값을 추출하는 파마미터 추출 모듈을 포함하는 것을 특징으로 한다.

여기서, 상기 테스트 케이스 추출 모듈은, 상기 파라미터의 종류 및 파라미터 값을 이용하여 페어와이즈 기법에 의한 조합을 생성하는 것을 특징으로 한다.

본 발명에 의하면, 순서도 작성 및 분석을 통해 페어와이즈 조합 기법에 필요한 파라미터 종류 및 그 값을 효율적으로 추출할 수 있다.

또한, 전체 경우의 수에 해당하는 테스트를 수행하는 대신에 페어와이즈 조합을 이용함으로써 애플리케이션의 실행 테스트의 전체 범위를 커버할 수 있다.

또한, 순서도 분석 및 페어와이즈 조합에 의해 반복되는 애플리케이션의 실행 테스트에 소비되는 시간 및 비용을 줄일 수 있다.

도 1은 종래의 기술에 따른 테스트 케이스 추출 방법에 관한 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 구성을 나타내는 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 구성을 나타내는 예시도이다.
도 4는 도 3을 상세히 표시한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 블록도이다.
도 6은 도 5를 상세히 표시한 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 블록도이다.
도 8은 본 발명의 일 실시 예에 따른 테스트 케이스 추출 방법의 흐름도이다.
도 9a 내지 도 9c는 본 발명의 일 실시 예에 따른 순서도 작성을 설명하기 위한 예시도이다.
도 10은 전체 조합과 페어와이즈 조합을 나타내는 표이다.

이하, 첨부한 도면을 참조하여 테스트 케이스 추출 방법 및 이를 이용하는 추출 장치에 대한 바람직한 실시 예를 상세히 설명하기로 한다.

각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한, 본 발명의 일 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

먼저, 테스트 케이스 추출 및 테스트가 수행되는 시스템 환경에 대해 설명하기로 한다.

도 2는 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 구성을 나타내는 예시도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치(100)는 소프트웨어의 실행 테스트를 위해 테스트 케이스를 추출하고, 추출된 테스트 케이스를 이용하여 테스트를 수행하도록 단일 시스템으로 구성될 수 있다. 즉 상기 테스트 케이스 추출 장치(100)는 테스트 케이스 추출을 위한 모듈(175)과 테스트 대상 애플리케이션 모듈(179)을 단일의 장치 내에서 구동시켜 테스트 작업을 수행한다. 그리고 테스트 과정에서 필요한 비교 이미지 DB, 소스 코드 및 각종 데이터 등이 DB(300)를 통해 제공될 수 있다.

위와 같은 스탠드 얼론 모델과 비교하여, 네트워크에 연결된 복수의 테스트 대상 애플리케이션 구동 장치를 이용하여 소프트웨어 테스트가 수행될 수도 있다.

도 3은 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 구성을 나타내는 예시도이다.

도 3을 참조하면, 본 발명의 일 실시 예에 따른 테스트 케이스 추출 및 테스트 수행을 위한 시스템 환경(1)은 테스트 케이스 추출 장치에 해당하는 사용자 단말(100), 테스트 대상 애플리케이션 구동 자치(200), 데이터베이스(300) 및 네트워크(400)를 포함한다. 사용자 단말(100)은 테스트 케이스 추출을 수행하고, 추가로 해당 소프트웨어 실행 테스트를 수행할 수도 있다. 이와 같은 시스템 환경(1)에서는 다양한 플랫폼(200)에서 구동되는 테스트 대상 애플리케이션에 대한 테스트가 사용자 단말(100)에 의해 수행될 수 있다.

도 4는 도 3을 상세히 표시한 예시도이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 시스템 환경(1)에서 테스트 케이스 추출 장치에 해당하는 사용자 단말(100), 테스트 대상 애플리케이션 구동 자치(200), 데이터베이스(300) 및 네트워크(400)가 구비된다. 상기 환경에서 테스트 케이스의 추출을 포함하는 테스트의 실행과 테스트 대상 애플리케이션의 구동은 분리되어 수행된다. 테스트 케이스의 추출 및 테스트 케이스의 추출 후에 이를 이용한 테스트는 통합 테스트 케이스 추출 모듈(175)에 의해 수행될 수 있다. 그리고 테스트 대상 애플리케이션 구동 장치(200)는 다양한 플랫폼에서 테스트 대상 애플리케이션 모듈(275)을 구동한다.

네트워크(400)는 유선 및 무선 네트워크, 예를 들어 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 셀룰러, 예를 들어 무선 전화 네트워크, LAN(local area network), WAN(wide area network), WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신 네트워크 일 수 있다.

네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.

이하 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치(100)의 구성에 대해 상세히 설명하기로 한다.

도 5는 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 블록도이다.

도 5를 참조하면, 테스트 케이스 추출 장치(100)는, 입력 디바이스(110), 디스플레이 디바이스(120), 출력 디바이스(130), 저장 장치(140), 통신 장치(150), 전원 장치(160) 및 제어부(170)를 포함한다. 그리고 제어부(170)는 테스트 프로그램 모듈(175)을 포함한다. 통신 장치(150)는 송신부(151) 및 수신부(152)를 포함한다.

입력 디바이스(110)는 테스트 대상 애플리케이션 모듈을 테스트하기 위해 필요한 테스트 케이스를 추출함에 있어서, 통합 테스트 케이스 추출 모듈(175)을 구동하고 조작하는 데 필요한 입력을 수행하는 키보드, 터치스크린, 마우스, 전자펜 및 음성 입력장치, 예를 들어 마이크로폰을 포함하되, 이에 한정되는 것은 아니다.

디스플레이 디바이스(120)는 통합 테스트 케이스 추출 모듈(175)을 구동하는 화면의 프레임 출력을 수행하는 브라운관(cathode-ray tube, CRT), 액정 디스플레이(liquid crystal display, LCD), 플라즈마 디스플레이 패널(plasma display panel, PDP), 발광다이오드 (light emitting diode, LED) 디스플레이, 유기 발광다이오드(organic light emitting diode, OLED) 디스플레이를 포함하되, 이에 한정되는 것은 아니다.

출력 디바이스(130)는 프린터, 플로터, 빔프로젝터, 텍스트 음성 변환(text to sound, TTS) 장치와 스피커 및 이어폰을 포함하되, 이에 한정되는 것은 아니다.

저장 장치(140)는 테스트 케이스 추출 장치(100)로부터 분리가 가능/불가능한 모든 형태로서, 자기테이프, 자기드럼, 플로피 디스크, ZIP 드라이브 및 하드 디스크 드라이브(hard disk drive, HDD)와 같은 자기 방식의 저장장치, SD 카드, USB 메모리 및 솔리드 스테이트 드라이브(solid state drive, SSD)와 같은 플래시 메모리를 이용하는 전기 방식의 저장장치 및 CD-ROM 드라이브, DVD-ROM 드라이브, 블루레이 디스크(blu-ray disc) 드라이브와 같은 광학 방식의 저장장치를 포함하되, 이에 한정되는 것은 아니다.

통신 장치(150)는 네트워크(400)의 각종 통신망에 대응하는 통신 모듈, 예를 들어 블루투스 모듈, WiFi 모듈, 이더넷 인터페이스 카드, USB 모듈, 셀룰러 무선통신 모듈, 모뎀 및 무선 공유기를 포함하되, 이에 한정되는 것은 아니다. 통신 장치(150)는 내부에 송신부(151) 및 수신부(152)를 포함한다.

전원 장치(160)는 AC를 DC로 변환하는 파워 서플라이, 어댑터, SMPS와 리튬이온 전지, 납축전지, 연료 전지 및 바이오에탄올 전지와 같은 2차 전지와 그 밖의 1차 전지를 포함하되, 이에 한정되는 것은 아니다.

제어부(170)는 통합 테스트 케이스 추출 모듈(175)을 포함한다. 여기서 통합 테스트 케이스 추출 모듈(175)은 메모리 영역에 저장되어서, 프로세서와의 상호작용에 의해 테스트 케이스 추출 방법을 수행한다. 제어부(170)는 사용자 선택 또는 설정에 따라 통합 테스트 케이스 추출 모듈(175)이 포함하는 명령어 셋을 실행한다. 이하 제어부(170)에 대하여 상세히 설명하도록 한다.

도 6은 도 5를 상세히 표시한 블록도이다.

도 6을 참조하면, 제어부(170)는 프로세서(central processing unit, CPU)(178)와, 운영체제(176) 및 본 발명의 일 실시 예에 따른 통합 테스트 케이스 추출 모듈(175)이 로드된 메모리(177)를 포함한다.

구체적으로 통합 테스트 케이스 추출 모듈(175)은 메모리(177) 영역에서, 통합 테스트 케이스 추출 방법을 수행하는 각종 컴퓨터 명령어 셋이 포함된 알고리즘 추출 모듈(171), 순서도 작성 모듈(172), 순서도 분석 모듈(173a)과 파라미터 추출 모듈(173b)이 포함된 테스트 케이스 생성 모듈(173) 및 테스트 케이스 추출 모듈(174)을 포함한다.

제어부(170)는 테스트 케이스 추출 방법이 구현되도록 테스트 케이스 추출 장치(100) 내의 각 구성요소 및 모듈들을 제어한다.

운영 체제(176)는 프로그램 호환성 자동테스트 장치(100)의 파일 시스템, 각종 인터페이스를 관리 및 컴포넌트들의 동작을 제어하기 위한 컴퓨터 운영 프로그램이다. 운영 체제(176)는 그 예로서, 유선 및 모바일 디바이스의 운영 체제, 예를 들어 MS 윈도우, 유닉스, 리눅스, XOS, 안드로이드, iOS 운영 체제를 포함하고, 다만 이에만 한정되는 것은 아니다.

통합 테스트 케이스 추출 모듈(175)은 본 발명에 기술된 것과 같은 다양한 기능을 제공하기 위해 운영 체제(176) 상에서 실행되도록 구성된 실행가능 프로그램이다. 테스트 케이스 추출 모듈(175)은 알고리즘 추출 모듈(171), 순서도 작성 모듈(172), 순서도 분석 모듈(173a)과 파라미터 추출 모듈(173b)이 포함된 테스트 케이스 생성 모듈(173) 및 테스트 케이스 추출 모듈(174)을 포함한다. 통합 테스트 케이스 추출 모듈(175)이 포함하는 각종 모듈들(171 내지 174)에 대한 자세한 설명은 후술하기로 한다.

도 6에 도시된 테스트 프로그램 모듈(175) 내의 구성은 설명의 편의를 위해 기능적으로 구분한 구성으로, 하드웨어적으로는 하나의 프로세서에 의해 처리되는 논리적인 기능으로 구성될 수 있는 것으로, 제시된 구분에 의해 본 발명을 한정하는 것은 아니다.

또한, 각 구성간의 연결 관계가 연결선으로 도시되어 있거나, 상호 간의 연결 관계가 일일이 표현되어 있지 않지만, 연결선이 도시되지 않은 구성 간에도 제어 또는 데이터 교환을 위한 통신, 전달이 발생될 수 있으며, 제시된 바에 의해서만 본 발명을 한정하는 것은 아니다.

본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치(100)는 컴퓨팅 장치(500)에 해당될 수 있다. 이하 컴퓨팅 장치(500)에 해당하는 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치(100)는 실시 예를 통해 보다 구체적으로 설명될 수 있다.

컴퓨팅 장치(500)는 하나 이상의 CPU(central processing unit)들, 메모리, 대용량 저장소, 입력 인터페이스 장치, 출력 인터페이스 장치로 구성된 컴퓨팅 시스템을 포함할 수 있다. 컴퓨팅 시스템의 요소들은 버스를 통해 서로 통신할 수 있다.

컴퓨팅 장치(500)의 하드웨어 플랫폼은 개인용 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 다중 프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램 가전제품, 및 이상의 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 예컨대 클라우드 기반 컴퓨팅 시스템을 비롯한 많은 형태들로 구현될 수 있다.

도 7은 본 발명의 일 실시 예에 따른 테스트 케이스 추출 장치의 블록도이다.

도 7을 참조하면, 테스트 케이스 추출 장치(200)에 해당하는 컴퓨팅 장치(500)는 입력 인터페이스 장치(510), 출력 인터페이스 장치(520), 메모리(531), 저장장치(532), 전원 장치(540), 프로세서(550), 네트워크 인터페이스 장치(560), 무선통신 장치(570) 및 버스(580)를 포함한다.

입력 인터페이스 장치(510)는 사용자의 입력에 따라 문서작성에 필요한 문자 또는 개체를 입력한다. 입력 인터페이스 장치(510)는 키보드(keyboard), 터치스크린(touch screen), 마우스(mouse), 전자펜(stylus pen) 및 펜 태블릿(pen tablet)을 포함하되, 이에 한정되는 것은 아니다.

출력 인터페이스 장치(520)는 문서편집 프로그램 모듈 관련 사용자 인터페이스 등을 표시하는 디스플레이(display) 및 문서를 프린트 출력하는 프린터(printer)를 포함한다. 또한, 출력 인터페이스 장치(520)는 문서 내의 문자를 음성합성(text to speech, TTS) 엔진을 이용하여 음성으로 출력하는 스피커(speaker), 헤드폰(head-phone) 및 헤드셋(head-set)을 포함한다.

프로세서(550)는 메모리(531) 및/또는 저장 장치(532)에 저장된 본 발명의 일 실시 예에 따른 테스트 케이스 추출 방법에 관한 통합 테스트 케이스 추출 모듈(175)이 포함하고 있는 컴퓨터 명령어 셋을 실행할 수 있다. 프로세서(550)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(531)와 저장 장치(532)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(531)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.

무선통신 장치(570)는 근거리 무선통신, 무선 데이터 통신 및 무선 음성 통신을 위한 장치를 포함한다.

컴퓨팅 장치(500)에 포함된 각각의 구성 요소들은 버스(580)에 의해 연결되어 서로 통신을 수행한다.

이하 상기 설명한 테스트 케이스 추출 장치(100)가 통합 테스트 케이스 추출 모듈(175)에 포함된 컴퓨터 명령어 셋의 연산을 통해 실행하는 본 발명의 일 실시 예에 따른 테스트 케이스 추출 방법에 대해 도 5, 도 6 및 도 8 내지 도 11을 참조하여 설명하기로 한다.

도 8은 본 발명의 일 실시 예에 따른 테스트 케이스 추출 방법의 흐름도이다.

도 8을 참조하면, 테스트 케이스 추출 방법(S100)은 S110 내지 S140 단계를 포함한다.

먼저, 알고리즘 추출 모듈(171)을 통해 테스트 대상 애플리케이션 모듈의 알고리즘을 추출한다(S100).

순서도 작성 모듈(172)을 통해 추출된 알고리즘을 이용하여 순서도를 작성한다(S120).

순서도(flow chart)의 정의는 컴퓨터로 처리하고자 하는 문제를 분석하고 그 처리 순서를 단계화하여, 상호 간의 관계를 알기 쉽게 약속된 기호와 도형을 써서 나타낸 그림이다.

순서도는 분석/설계에 주로 이용된다. 순서도 사용의 장점으로, 작업 흐름(알고리즘)이 용이하게 파악되고, 프로그램 언어에 관계없이 공통으로 사용될 수 있고, 에러가 용이하게 검색된다는 점이다.

후술할 부분이지만, 본 발명의 일 실시 예에서, 페어와이즈 조합을 생성하기 위해 파라미터 구성을 판단하기 위한 단계로서 순서도 작성 및 순서도 분석 단계가 활용될 수 있다. 즉 파라미터 구성과 관련하여, 추출된 알고리즘에서 복수의 입력 값, 조건에 따라 선택 가능한 복수의 경우 수, 조건 판단에 따른 복수의 분기 경우 수, 조건문 판단에 따른 반복 구조 등이 면밀히 파악되어 순서도에 반영되어야 한다.

도 9a 내지 도 9c는 본 발명의 일 실시 예에 따른 순서도 작성을 설명하기 위한 예시도이다.

도 9a를 참조하면, 연속적으로 값을 입력받는 단계로 구성된 순서도가 나타나 있다. 여기서, 각 단계에서는 미리 설정된 범위에서 입력 값이 선택될 수 있으며, 이러한 점에서 순서도는 파라미터 구성을 포함하도록 작성되어야 한다.

도 9b를 참조하면, 조건에 따른 선택에 따라 각각 다른 처리 단계로 이어지는 순서도가 나타나 있다. 조건에 따른 복수의 선택도 마찬가지로 파라미터 구성을 결정한다.

도 9c를 참조하면, 조건에 따른 반복 구조의 순서도가 나타나 있다. 조건에 따라 서로 다른 처리가 선택되고 이 중에서 어떤 처리는 조건에 따라 일정동안 반복된다. 이러한 순서도에서의 반복 구조도 페어와이즈 조합에서의 파라미터 구성을 결정한다.

순서도에서 대표적으로 사용되는 조건, 반복 관련된 문들은 if, else 문, while 문, for 문이 있다. 순서도 작성 모듈(172)은 추출된 알고리즘에서 조건, 반복 관련된 문들을 검색하고, 문들의 시작 및 종결 지점을 파악하여 알고리즘에 따라 순서도를 작성한다.

다음으로, 테스트 케이스 생성 모듈(173)을 통해, 위에서 작성된 순서도를 이용하여 애플리케이션 실행 테스트를 위한 테스트 케이스를 생성한다(S130).

구체적으로 S130 단계는 S131 및 S132 단계를 포함할 수 있다.

순서도 분석 모듈(173a)을 통해 순서도를 분석한다(S131). 순서도의 분석 단계를 통해 자연스럽게 파라미터의 구성이 판단된다.

파라미터 판단 모듈(173b)을 통해 경우의 수 연산에 필요한 파라미터의 구성을 판단한다(S132). 파라미터의 구성은 테스트 대상 애플리케이션의 알고리즘 이외에 사용자 또는 하드웨어의 설정과 속성 및 선택 옵션의 종류에 따라 다르게 구성될 수 있다.

마지막으로 테스트 케이스 추출 모듈(174)을 통해, 위에서 생성된 테스트 케이스 중에서 페어와이즈 조합에 해당하는 테스트 케이스를 추출한다(S140).

페어와이즈 조합 기법(pairwise testing)은 커버해야 할 기능적 범위에 비해 상대적으로 적은 양의 테스트 세트를 구성하여 소프트웨어의 결함을 찾고 테스트에 대한 자신감(confidence)을 얻을 수 있는 방법이다. 페어와이즈 조합 기법은 대부분의 결함이 2개 요소의 상호작용(interactions of two factors)에 기인한다는 것에 착안하여, 2개 요소의 모든 조합을 다룬다. 여기서, 페어와이즈 조합은 테스트를 하는데 필요한 각 값들이 다른 파라미터의 값과 최소한 한 번씩은 조합을 이루는 것을 의미한다.

페어와이즈 조합 기법이 자원, 시간적으로 제한된 상황에서 테스트 대상 소프트웨어의 설정, 기능, 이벤트 등의 조합을 모두 테스트하는 것은 아니나, 리스크를 동반하는 테스트를 하지 않거나, 일부 조합을 의도적으로 누락시키는 것을 방지하므로 조합 테스팅에 중요한 의미를 부여할 수 있다.

페어와이즈 조합 기법을 사용하여 테스팅 한 결과에 결함이 없었다는 것에 보장성이 제공될 수 있다. 경험적으로 의미 있고 결함을 발견할 가능성이 높다고 판단되는 조합을 추가하여 관리 가능한 선에서 조합을 늘리는 것은 조합 테스팅의 효율을 높이는 데 도움이 된다.

조합 테스팅에서 파라미터(parameters)는 조합할 값을 대표하는 요소로서 소프트웨어의 다양한 기능, 사용자 또는 하드웨어 설정, 속성, 선택옵션 등의 종류를 파악함으로써 알 수 있다. 값(values)은 각 파라미터에 대한 선택 가능한 개별적인 값을 의미하는 것으로 숫자, 텍스트, 또는 리스트에서의 선택된 것이 해당될 수 있다.

예를 들어, 3개의 파라미터가 있고 각 파라미터가 5가지, 4가지, 5가지의 값을 가질 경우를 생각해 보자. 모든 조합을 고려하면 5*4*5 = 100가지의 조합이 생긴다. 이러한 100가지의 조합을 가지고 100가지의 경로로 테스트를 수행해 준다고 가정하면 10,000개의 테스트 케이스를 수행해야 한다. 조합할 것이 조금 더 많아지고 테스팅하는 경로나 종류가 더 다양해진다면 테스트에 엄청난 시간과 비용이 소요될 것이다. 이런 경우, 합리적으로 일정 수준의 보장성을 확보 하면서 조합의 수를 줄여 주어야 한다.

예를 들어 A, B 및 C 3 개의 파라미터로 구성되고 각 파라미터에서 선택 가능한 파라미터 값이 각각 2개인 A(a1, a2), B(b1, b2), C(c1, c2)인 파라미터 구성에서 파마미터 값의 조합에 의해 생성되는 최대 경우의 수는 8가지이다.

도 10은 전체 조합과 페어와이즈 조합을 나타내는 표이다.

도 10을 참조하면, 모든 조합을 표를 통해 나타내면 도 10의 표 1과 같다.

표 1에 나타낸 모든 경우의 수에 해당하는 테스트 케이스가 생성된 경우를 가정하자. 위의 예에서 3개 종류의 파라미터 및 각각 2개의 파라미터 값에 기초하므로 총 8개의 테스트 케이스가 생성되었다. 그러나 실제 소프트웨어 테스트에서 알고리즘을 기초로 순서도를 작성하고, 작성된 순서도를 분석하고, 그 분석 결과에 따라 파악될 수 있는 파라미터의 구성은 방대한 수의 파라미터 종류 및 각각에 대한 방대한 수의 파라미터의 값을 포함할 수 있다.

표 2에 표시된 조합은 상기 표 1 결과에 페어와이즈 조합을 적용한 결과이다. 볼드체로 표시된 조합은 페어와이즈 조합에 해당하고, 파라미터 값이 괄호로 묶여진 조합은 중복된 조합으로서 페어와이즈 조합에 속하지 않는다.

표 2에서 페어와이즈 조합은, 표 1의 결과에서 어느 두 개의 파라미터가 중복된 것을 제외함으로써 추출될 수 있다. 예를 들어, (a1, b1, c1)이 1번째 페어와이즈 조합으로 추출되면, (a1, b1, c2)은 상기 (a1, b1, c1)과 (a1, b1) 부분에서 중복이므로 페어와이즈 조합에서 제외된다. 다음으로 (a1, b2, c1)은 상기 (a1, b1, c1)과 (a1, c1) 부분에서 중복이므로 페어와이즈 조합에서 제외된다.

이러한 방법으로 중복된 조합을 제외하면, (a1, b1, c1), (a1, b2, c2), (a2, b1, c2) 및 (a2, b2, c1)의 4개의 페어와이즈 조합이 추출된다.

이와 같이 본 발명의 실시 예에 따른 테스트 케이스 추출 방법에 따르면, 페어와이즈 방식에 따라 추출된 페어와이즈 조합에 해당하는 테스트 케이스가 최종적으로 마련될 수 있다.

상기 도면을 통해 설명된 일 실시 예에 따른 테스트 케이스 추출 방법(S100)은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행이 가능한 명령어 셋을 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

이와 같이 본 발명의 일 실시 예에 따르면, 순서도 작성 및 분석을 통해 페어와이즈 조합 기법에 필요한 파라미터 종류 및 그 값을 효율적으로 추출할 수 있다.

또한, 전체 경우의 수에 해당하는 테스트를 수행하는 대신에 페어와이즈 조합을 이용함으로써 애플리케이션의 실행 테스트의 전체 범위를 커버할 수 있다.

또한, 순서도 분석 및 페어와이즈 조합에 의해 반복되는 애플리케이션의 실행 테스트에 소비되는 시간 및 비용을 줄일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 테스트 케이스 추출 장치
110: 입력 디바이스
120: 디스플레이 디바이스
130: 출력 디바이스
140: 저장 장치
150: 통신 장치
151: 송신부
152: 수신부
160: 전원 장치
170: 제어부
171: 알고리즘 추출 모듈
172: 순서도 작성 모듈
173: 테스트 케이스 생성 모듈
173a: 순서도 분석 모듈
173b: 파라미터 추출 모듈
174: 테스트 케이스 추출 모듈
175: 통합 테스트 케이스 추출 모듈
176: 운영 체제
177: 메모리
178: CPU
200: 서버
210: 데이터베이스
400: 네트워크
500: 컴퓨팅 장치
510: 입력 인터페이스 장치
520: 출력 인터페이스 장치
531: 메모리
532: 저장장치
540: 전원 장치
550: 프로세서
560: 네트워크 인터페이스 장치
570: 무선통신 장치
580: 버스

Claims (10)

1. 테스트 대상 애플리케이션 모듈에서 알고리즘을 추출하는 단계;
   상기 알고리즘을 이용하여 순서도를 작성하는 단계;
   상기 순서도를 이용하여 애플리케이션 실행 테스트를 위한 테스트 케이스를 생성하는 단계; 및
   생성된 테스트 케이스 중에서 페어와이즈 조합에 해당하는 테스트 케이스를 추출하는 단계를 포함하며,
   상기 테스트 케이스를 생성하는 단계는,
   상기 순서도를 분석하는 단계; 및
   상기 분석을 통해 경우의 수 연산에 필요한 파라미터 구성을 파악하는 단계를 포함하고,
   상기 테스트 케이스를 추출하는 단계는,
   파악된 상기 파라미터 구성을 이용하여 페어와이즈 기법에 의한 조합을 생성하는 단계를 포함하는 것을 특징으로 하는, 테스트 케이스 추출 방법.
2. 청구항 1에 있어서,
   상기 알고리즘을 추출하는 단계는,
   테스트 대상 애플리케이션의 소스 코드로부터 상기 알고리즘을 추출하는 것을 특징으로 하는, 테스트 케이스 추출 방법.
3. 청구항 2에 있어서,
   상기 소스 코드는,
   테스트 대상 애플리케이션의 바이너리 파일로부터 추출되는 것을 특징으로 하는, 테스트 케이스 추출 방법.
4. 삭제
5. 삭제
6. 테스트 대상 애플리케이션 모듈에서 알고리즘을 추출하는 알고리즘 추출 모듈;
   상기 알고리즘을 이용하여 순서도를 작성하는 순서도 작성 모듈;
   상기 순서도를 이용하여 애플리케이션 실행 테스트를 위한 테스트 케이스를 생성하는 테스트 케이스 생성 모듈; 및
   생성된 테스트 케이스 중에서 페어와이즈 조합에 해당하는 테스트 케이스를 추출하는 테스트 케이스 추출 모듈을 포함하며,
   상기 테스트 케이스 생성 모듈은,
   상기 순서도를 분석하는 순서도 분석 모듈; 및
   상기 분석을 통해 경우의 수 연산에 필요한 파라미터 구성을 파악하는 파라미터 추출 모듈을 포함하고,
   상기 테스트 케이스 추출 모듈은,
   파악된 상기 파라미터 구성을 이용하여 페어와이즈 기법에 의한 조합을 생성하는 것을 특징으로 하는, 테스트 케이스 추출 장치.
7. 청구항 6에 있어서,
   상기 알고리즘 추출 모듈은,
   테스트 대상 애플리케이션의 소스 코드로부터 상기 알고리즘을 추출하는 것을 특징으로 하는, 테스트 케이스 추출 장치.
8. 청구항 7에 있어서,
   상기 소스 코드는,
   테스트 대상 애플리케이션의 바이너리 파일로부터 추출되는 것을 특징으로 하는, 테스트 케이스 추출 장치.
9. 삭제
10. 삭제

Images