KR100892141B1

KR100892141B1 - 휴대용 장치의 자동 검증 방법 및 그 장치

Info

Publication number: KR100892141B1
Application number: KR1020070002394A
Authority: KR
Inventors: 문일룡; 정윤호; 김종윤; 이현노
Original assignee: 어니컴 주식회사
Priority date: 2007-01-09
Filing date: 2007-01-09
Publication date: 2009-04-09
Also published as: KR20080087918A

Abstract

휴대용 장치의 자동 검증 방법 및 그 장치가 개시된다. 본 발명에 따른 휴대용 장치의 자동 검증 방법은 테스트 장치에 일련의 커맨드와 커맨드에 상응하는 체크 포인트를 포함하는 테스트 시나리오를 저장하는 단계; 상기 테스트 장치와 통신 가능하게 연결된 휴대용 장치로 상기 테스트 시나리오에 따른 커맨드를 송신하는 단계; 상기 휴대용 장치로부터 상기 커맨드에 대한 응답을 수신하는 단계; 상기 휴대용 장치로부터 수신한 응답에 포함된 체크 포인트와 상기 테스트 장치에 저장된 체크 포인트를 비교하는 단계; 및 상기 비교 결과에 기초하여, 테스트 결과를 저장하는 단계를 구비한다. 본 발명에 따르면, 휴대용 장치에서 키 입력시(즉, 키 이벤트 발생시)마다 발생하는 스트링이나 이미지를 체크 포인트 대상으로 비교함으로써, 효율적으로 휴대용 장치의 기능 및 사용자 인터페이스(UI)의 기능을 검증할 수 있다.

Description

휴대용 장치의 자동 검증 방법 및 그 장치{Test method for automatically testing portable device and apparatus there-for}

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.

도 1은 본 발명의 실시예에 따른 휴대용 장치에 대한 자동 검증 방법을 나타내는 플로우챠트이다.

도 2는 본 발명의 실시예에 따른 테스트 시나리오 저장 방법을 나타내는 플로우챠트이다.

도 3은 본 발명의 실시예에 따른 이미지 체크 포인트 저장 방법을 나타내는 플로우챠트이다.

도 4는 본 발명의 실시예에 따른 테스트 시나리오 구동 및 테스트 결과 저장 방법을 나타내는 플로우챠트이다.

도 5는 본 발명의 실시예에 따른 체크 포인트 비교 단계의 일 예를 좀 더 구체적으로 나타내는 흐름도이다.

도 6은 본 발명의 일 실시예에 따른 테스트 장치와 타켓 장치의 기능 블록도이다.

도 7은 본 발명의 실시예에 따른 테스트 시나리오 작성 및 저장을 위한 사용 자 인터페이스(UI) 화면의 일 예를 나타내는 도면이다.

도 8은 본 발명의 실시예에 따른 체크 포인트 저장을 위한 사용자 인터페이스(UI) 화면의 일 예를 나타내는 도면이다.

도 9는 본 발명의 실시예에 따른 테스트 결과의 일 예를 나타내는 도면이다.

본 발명은 휴대용 장치를 시험하기 위한 테스트 장치 및 그 방법에 관한 것으로, 특히 휴대용 단말기와 같은 휴대용 장치의 기본 기능, 부가 서비스 기능 및 MMI(Man Machine Interface) 기능에 대하여 자동 검증할 수 있는 방법 및 장치에 관한 것이다.

휴대폰, 스마트폰, PDA 등과 같은 휴대용 단말기는 제품으로 출시되기 전에 각종 동작 및 기능 수행이 정상적으로 이루어지는지를 검증받아야 한다. 또한 제품으로 출시된 이후에도 동작상 오류가 발생하는 경우 오류 원인 등을 찾아내기 위해 일련의 테스트 혹은 검증이 필요하다.

그런데, 종래 기술에 따른 휴대용 단말기의 테스트는 매우 비효율적으로 이루어졌다. 대표적인 종래의 테스트 방식은 수동적인 방식이다. 즉, 검증자는 테스트 대상 단말기를 일일이 수동으로 조작하면서 그의 정상 작동을 테스트하는 작업을 수행하고, 그러한 테스트작업의 수행 중에 단말기에 동작상의 오류가 발생하면 어떤 상황에서 그 에러가 발생하였는지를 설명하는 글을 파일로 남기는 작업을 한 다. 대개의 경우 에러의 반복 재현성을 담보하기 위해 에러 발생이 일어나기까지 자신이 진행해왔던 테스트작업의 전 과정(즉, 오류 재현 경로)을 빠짐없이 파일(오류이력파일)에 기술하게 된다.

이러한 수동 테스트 방법은 테스트를 수행하는 과정 및 테스트 결과를 기록하는데도 시간과 노력이 많이 든다.

따라서, 단말기 테스트를 자동화(혹은 일부 자동화)하기 위한 노력들이 있어 왔다.

그러나, 기존의 테스트 방식으로는 휴대폰 상호간의 연결에 의해 이루어지는 음성 및 데이터 관련 부가 서비스에 대한 망연동 검증과 이에 부가적인 복잡한 멀티 시나리오 및 휴대폰 MMI(Man Machine Interface) 검증에 있어서 다양한 단말 환경에 따른 자동 검증이 부족하였다.

예를 들면, 음성호 접속을 시도 시 접속 실패 또는 접속 지연 시 해당 테스트 케이스를 적절한 위치에서 재 수행하거나 반복하는 기능과 실제 휴대폰 화면에 나타나는 이미지 또는 팝-업(Pop-up) 메시지가 원하는 형태로 구현이 되어 있는지 검증할 방법이 없다.

이에 따라, 기본적인 자동 검증은 가능할 지 모르나, 다양한 네트웍 환경하에서 휴대폰 기능 및 MMI의 오류에 대한 검출이 어려워, 완벽한 자동화 검증은 어려운 상황이다.

본 발명이 이루고자하는 기술적 과제는 휴대용 장치의 기본 기능, 부가 서비스 기능 및 MMI 기능을 자동으로 검증할 수 있는 휴대용 장치의 자동 검증 방법 및 장치를 제공하는 것이다.

본 발명이 이루고자하는 다른 기술적 과제는 다양한 테스트 시나리오에 대하여 실제 휴대용 장치의 키를 입력하는 것과 동일한 방식으로 휴대용 장치를 구동하고, 휴대용 장치에서 리포트 되는 체크 포인트를 이용하여 보다 용이하게 휴대용 장치의 오류를 검출할 수 있는 휴대용 장치의 자동 검증 방법 및 장치를 제공하는 것이다.

상기와 같은 기술적 과제를 달성하기 위한 본 발명에 따른 휴대용 장치의 자동 검증 방법은 테스트 장치에 일련의 커맨드와 커맨드에 상응하는 체크 포인트를 포함하는 테스트 시나리오를 저장하는 단계; 상기 테스트 장치와 통신 가능하게 연결된 휴대용 장치로 상기 테스트 시나리오에 따른 커맨드를 송신하는 단계; 상기 휴대용 장치로부터 상기 커맨드에 대한 응답을 수신하는 단계; 상기 휴대용 장치로부터 수신한 응답에 포함된 체크 포인트와 상기 테스트 장치에 저장된 체크 포인트를 비교하는 단계; 및 상기 비교 결과에 기초하여, 테스트 결과를 저장하는 단계를 구비한다.

상기 체크 포인트는 스트링 체크 포인트와 이미지 체크 포인트 중 적어도 하나를 포함하고, 상기 스트링 체크 포인트는 한글, 영문, 특수문자 및 숫자 중 적어도 하나를 포함하고, 상기 이미지 체크 포인트는 상기 휴대용 장치의 화면에 디스플레이되는 이미지의 전부 혹은 일부일 수 있다.

상기 테스트 시나리오를 저장하는 단계는, 상기 휴대용 장치의 키패드 또는 상기 테스트 장치에서 지원하는 키패드를 이용하여 키가 입력되는 단계; 상기 입력된 키에 상응하는 커맨드가 DB에 저장되는 단계; 및 상기 커맨드에 상응하는 스트링 체크 포인트 및/또는 이미지 체크 포인트가 저장되는 단계를 구비할 수 있다.

상기와 같은 기술적 과제를 달성하기 위한 본 발명에 따른 휴대용 장치를 자동 검증하기 위한 테스트 장치는 일련의 커맨드와 커맨드에 상응하는 체크 포인트를 포함하는 테스트 시나리오를 저장하는 시나리오 저장부; 휴대용 장치로 상기 테스트 시나리오에 따른 커맨드를 송신하고, 상기 휴대용 장치로부터 상기 커맨드에 대한 응답을 수신하는 휴대용 장치 인터페이스부; 상기 휴대용 장치로부터 수신한 응답에 포함된 체크 포인트와 상기 테스트 장치에 저장된 체크 포인트를 비교하는 체크 포인트 비교 처리부; 및 상기 비교 결과에 기초하여, 테스트 결과를 저장하는 테스트 결과 저장부를 구비한다.

상기 테스트 장치는 사용자가 상기 테스트 시나리오를 작성하고, 상기 저장된 테스트 시나리오를 선택하여 구동하도록 사용자 인터페이스를 제공하는 사용자 인터페이스부를 더 구비할 수 있다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시예에 따른 휴대용 장치의 자동 검증 방법을 나타내는 플로우챠트이다.

이를 참조하면, 본 발명의 일 실시예에 따른 자동 검증 방법은 크게 테스트 시나리오 저장 단계(S100), 테스트 시나리오 구동 단계(S200), 및 테스트 결과 저장 단계(S300)를 구비한다.

이를 참조하면, 먼저, 테스트 자동화 툴이 지원하는 키패드 혹은 타겟의 키패드를 이용하여 테스트 절차를 입력한다(S110). 테스트 절차는 일련의 키 이벤트 혹은 키 이벤트에 상응하는 커맨드의 입력을 포함할 수 있다. 이를 위하여, 테스트 시나리오 작성자는 테스트 장치에 연결된 타겟의 키패드를 이용할 수도 있고, 혹은 자동화 툴이 에뮬레이션하는 키패드 화면을 이용할 수도 있다. 키 이벤트에 상응하는 커맨드란, 휴대용 장치에 해당 키 이벤트(즉, 키 입력)를 발생시킬 수 있는 커맨드일 수 있다.

여기서, 테스트 자동화 툴이란 테스트 장치를 구성하는 H/W 및 S/W를 포함한다. 타겟은 테스트 대상이 되는 장치로서, 예컨대, 모바일 단말기, MP3 플레이어, 디지털 카메라 등이 될 수 있다. 여기서는 타겟의 일 예로서 이동(무선) 통신 단말기를 예로 들어 기술하나, 휴대용 장치가 이에 한정되는 것은 아니다.

자동화 툴에서 지원하는 키패드는 테스트 장치에서 타겟의 키패드와 동일하게 에뮬레이션한 키패드 화면일 수 있다. 따라서, 시나리오 작성자는 실제 타겟의 키패드 대신에 테스트 장치에서 에뮬레이션 키패드 화면을 띄워, 이 화면에서 원하는 키를 선택함으로써 타겟의 키 입력을 대체할 수 있다.

테스트 장치 및 휴대용 장치에 대해서는 도 6을 참조하여 상세히 후술하기로 한다.

다음으로 검증 목적에 맞게 테스트 시나리오를 작성한다(S120). 테스트 시나리오 작성 단계에서는 키 이벤트(혹은 커맨드)에 해당하는 체크 포인트를 가공할 수 있다. 체크 포인트는 크게 스트링 체크 포인트와 이미지 체크 포인트로 나뉠 수 있다.

스트링 체크 포인트는 타겟 소오스(Target Source)에 심어지는 일종의 트레이스(Trace) 정보로써 타겟의 특정 상황을 나타내는 정보가 포함된다. 예컨대 스트링 체크 포인트는 단말기의 키 이벤트 입력시 단말기 내부에서 생성 혹은 출력될 수 있는 문자열이다. 문자열은 한글, 영문, 특수문자 및 숫자를 포함할 수 있다.

이미지 체크 포인트는 단말기의 키 이벤트 입력시 단말기 화면(예컨대, LCD)에 디스플레이될 수 있는 이미지 혹은 영상이다.

이와 같이, 단말기의 키 이벤트 입력 시 단말기로부터 발생될 수 있는 스트링이나 이미지를 체크 포인트로서 미리 저장한다. 하나의 키 이벤트에 대하여 스트링 체크 포인트와 이미지 체크 포인트가 동시에 저장될 수도 있다.

테스트 시나리오 작성 단계에서는, 테스트 장치는 또한 프로그래밍 언어 개념을 지원한다. 예를 들어, 시나리오 작성자는 테스트 장치에서 제공하는 반복 수행을 위한 루프(loop), 시나리오 분기를 위한 조건문(예컨대, IF NOT, Go To 구문 등) 및 특정 이벤트를 기다리는 웨이트(WAIT) 등을 이용하여 다양하고 강력한 자동화 시나리오를 작성할 수 있다. 반복 수행을 위한 루프(loop)는 동일한 이벤트를 반복하여 수행할 필요가 있을 때 유용하다. 예컨대, "단문 메시지 작성 및 발송" 이라는 테스트 시나리오를 저장하는 경우를 가정하자.

상기 테스트 시나리오에서는 단문 메시지 작성이 필요하고 단문 메시지 작성을 보다 쉽고 빠르게 수행하기 위해서는 일정한 문자열을 반복적으로 입력하는 행위가 필요할 수 있다.

또한 상기 테스트 시나리오에서는 단문 메시지가 정상적으로 목적지에 발송되었는지를 확인할 필요가 있다. 이 경우에는 단문 메시지의 목적지로부터 단문 메시지가 정상적으로 수신되었음을 알리는 메시지를 수신할 때까지 테스트를 대기하기 위하여 웨이트(WAIT) 구문이 사용될 수 있다.

또한 주어진 조건의 만족여부에 따라 다음 테스트 스텝이 달라지는 경우에는, IF NOT 구문 및 Go To 구문이 사용될 수 있다.

상술한 바와 같이, 테스트 장치에서 지원하는 다양한 시나리오 작성 툴을 이용하여 시나리오가 작성되면, 테스트 시나리오가 정상적으로 동작하는지 시험하기 위하여 시험 구동을 하는 것이 바람직하다(S130). 시험 구동이 정상적으로 이루어지면, 테스트 시나리오 DB에 저장한다(S140).

상술한 방법으로 복수(수 십개 혹은 백개 이상이 될수도 있음)의 테스트 시나리오들이 작성되어 DB에 저장될 수 있다.

이를 참조하면, 테스트 장치는 사용자가 테스트 시나리오를 작성하여 저장할 수 있도록 도 7에 도시된 바와 같은 사용자 인터페이스(UI) 화면(700)을 제공할 수 있다. 테스트 시나리오 작성 및 저장을 위한 사용자 인터페이스(UI) 화면(700)은 메뉴 화면(710), 키패드 화면(720) 및 시나리오 뷰 화면(730) 등을 포함할 수 있다. 키패드 화면(720)은 휴대용 장치의 키패드를 보여주는 화면으로서, 사용자는 키패드 화면(720)의 키를 입력함으로써 시나리오의 각 단계를 구성할 수 있다. 예컨대, 키패드 화면(720)에서 'OK', '1', '2', '3', '4', '5' 및 '종료' 키를 선택하면, 시나리오 뷰 화면(730)에 순차적으로 상기 키 이벤트들에 상응하는 시나리오 단계들이 생성되어 표시될 수 있다.

도 3은 본 발명의 실시예에 따른 이미지 체크 포인트 저장 방법을 나타내는 플로우챠트이다. 이를 참조하면, 키패드를 이용한 시나리오 작성을 시작한다(S121). 그리고, 이미지 비교가 필요한 단계로 진입한다(S122). 즉, 시나리오의 모든 단계에서 이미지 체크 포인트의 저장이 필요한 것은 아니므로, 이미지 체크 포인트가 필요한 단계(이미지 체크 포인트가 필요한 커맨드나 키 이벤트)로 진입한다. 다음으로, 타겟의 화면에서 이미지를 캡쳐한다(S123). 캡쳐된 이미지 전부가 비교를 위하여 저장될 수도 있다. 반면, 캡쳐된 이미지 중 일부의 영역을 선택하여 비교영역을 설정할 수도 있다. 즉, 화면 오류 확인을 위한 이미지 비교영역은 캡쳐된 이미지 내에서 임의로 설정될 수 있다(S124). 해당 단계에 대하여 커맨드 및 캡쳐된 이미지 혹은 설정된 비교 영역의 이미지를 저장한다(S125). 스트링 체크 포인 트 역시 이미지 체크 포인트와 유사한 방법으로 미리 테스트 장비의 DB에 저장될 수 있다.

도 8은 본 발명의 실시예에 따른 체크 포인트 저장을 위한 사용자 인터페이스(UI) 화면의 일 예를 나타내는 도면이다.도 8을 참조하면, 테스트 장치는 사용자가 테스트 시나리오의 각 단계에서 필요한 스트링 체크 포인트 및/또는 이미지 체크 포인트의 설정 및 저장을 위하여 도 8에 도시된 바와 같은 체크 포인트 저장을 위한 사용자 인터페이스(UI) 화면(800)을 제공할 수 있다. 체크 포인트의 설정 및 저장을 위한 사용자 인터페이스(UI) 화면(800)은 스트링 체크 포인트 설정 화면(810) 및 이미지 체크 포인트 설정 화면(820)을 포함할 수 있다.

이 화면(800)을 통하여 설정/저장되는 체크 포인트는 테스트 시나리오의 해당 단계에서 휴대용 장치로부터 발생되어야 하는 정상적인 스트링이나 이미지이다.

상술한 바와 같이, 각 단계에 필요한 키 이벤트(혹은 커맨드)가 저장되고 그 키 이벤트에 상응하는 스트링 체크 포인트 및/또는 이미지 체크 포인트가 저장되면, 시나리오 구동시 각 단계에서 자동으로 키 이벤트(혹은 커맨드)가 휴대용 장치로 송신되고, 휴대용 장치에서는 테스트 장비의 키 이벤트(커맨드)에 응답하여 스트링 체크 포인트 및/또는 이미지 체크 포인트가 발생된다. 이에 대해서는, 도 4및 도 5를 참조하여, 후술된다.

이를 참조하면, 테스트 시나리오의 구동을 위해서는 먼저 구동 시나리오가 업로드되어야 한다(S210).

즉, 테스트 장치의 테스트 시나리오 DB에서 구동하고자 하는 테스트 시나리오를 하나 이상 선택하여 업로드한다(S210). 이 때, 복수의 테스트 시나리오들이 선택되어 업로드될 수 있다. 구동 시나리오의 선택은 메뉴 형식으로 사용자에 의해 이루어질 수도 있고, 미리 설정될 수도 있다. 복수의 구동 시나리오가 선택되는 경우, 시나리오의 구동 순서 역시 사용자에 의해 설정될 수도 있고, 미리 설정될 수도 있다.

설정된 순서에 따라 시나리오별 구동을 시작한다(S220). 즉, 복수의 시나리오에 대하여 순차적으로 테스트가 이루어질 수 있으므로, 미리 정해진 순서 혹은 임의의 순서에 따라 해당 시나리오를 구동한다(S220).

시나리오 구동을 통해 테스트가 진행되면, 구동 중(즉, 테스트 중)인 단말기로부터 얻은 체크 포인트와 이미 DB에 저장되어 있는 체크 포인트를 비교한다(S230). 체크 포인트 비교 결과, 시험 구동이 실패이면 실패이유와 함께 테스트 결과를 DB에 저장한다(S240, S250). 테스트 결과는 실패한 시나리오 및 단계를 식별하기 위한 정보, 실패 이유, 테스트 시간 정보, 단말기 정보 등을 포함할 수 있다. 테스트 결과는 각종 디버그(Debug)와 로그 파일(QxDM log)로서 저장될 수 있다.

도 9를 참조하면, 테스트 결과로서, 휴대용 장치의 모델명, 소프트웨어 버전, 테스트 시작 시각, 종료 시각, 카테고리(예컨대, Java, Setting, Menu, Voice, Recorder등)별 시나리오의 수, 성공횟수(OK수), 실패 횟수(NG수) 성공비율(OK ratio) 등의 통계 데이터가 산출되어 저장될 수 있다. 다시 도 4를 참조하면, 시험 구동이 성공하면, 다음 시나리오로 이동한다(S240, S260). 업로드된 시나리오가 모두 구동 완료되었는지 판단하여(S270), 업로드된 시나리오가 모두 구동 완료된 경우에는 테스트는 종료되고, 그렇지 않은 경우, S220 단계로 돌아가 다음 순서의 시나리오를 구동함으로써, S220 단계 내지 S270 단계를 반복한다.

도5는 본 발명의 실시예에 따른 체크 포인트 비교 단계의 일 예를 좀 더 구체적으로 나타내는 흐름도이다.

도 5를 참조하여, 체크포인트 비교 단계를 좀 더 구체적으로 살펴보면, 다음과 같다.

먼저 테스트 장치가 타겟으로 키 이벤트를 송신한다(S510). 이 단계는 테스트 장치가 시나리오의 각 단계에 해당하는 키 이벤트에 대한 커맨드를 타겟으로 송신함으로써 이루어질 수 있다. 테스트 장치는 키 이벤트를 타겟으로 송신한 후, 타겟으로부터 키 이벤트에 대한 응답이 수신되었는지를 체크한다(S515). 키 이벤트에 대한 응답은 타겟이 테스트 장치의 커맨드에 응답하여 테스트 장치로 보내는 응답 메시지이다. 이 응답 메시지에는 해당 키 이벤트에 대한 스트링 체크 포인트가 포함된다. 즉, 커맨드에 응답하여 타겟이 해당 키 이벤트를 수행하고, 이에 따라 타겟 내부에서 발생되는 스트링 체크 포인트가 응답 메시지에 포함되어 테스트 장치로 제공된다(S520).

스트링 체크 포인트가 수신되지 않으면 테스트 장치는, 테스트가 실패한 것 으로 간주하여 실패 이유와 함께 테스트 결과를 DB에 저장하는 단계(S250)로 진입한다.

스트링 체크 포인트가 수신되면 테스트 장치는, 타켓으로부터 얻은 스트링 체크 포인트와 이미 DB에 저장되어 있는 스트링 체크 포인트가 일치하는지 비교하기 위하여 문자열 매칭 작업을 수행한다(S525). 그 결과, 양 스트링 체크 포인트가 일치하면, 이미지 체크 포인트의 비교가 필요한지를 체크한다(S535), 즉 해당 키 이벤트 단계가 이미지 체크 포인트의 비교를 필요로 하는 단계인지를 판단한다(S535).

반면, S525 단계에서의 문자열 매칭 결과, 양 스트링 체크 포인트가 일치하지 않으면 키 이벤트에 대한 응답 시간으로서 미리 설정된 시간이 지났는지는 확인하여(S530), 미리 설정된 시간이 지났다면, 테스트가 실패한 것으로 간주되어 실패 이유와 함께 테스트 결과를 DB에 저장하는 단계(S250)로 진입한다.

미리 설정된 시간이 지나지 않았다면, 다시 스트링 체크 포인트 수신 단계(S520)로 가서, 타겟으로부터 스트링 체크 포인트가 수신되기를 기다린다.

한편, S535단계에서의 판단 결과, 해당 키 이벤트 단계가 이미지 체크 포인트의 비교를 필요로 하는 단계인 경우, 테스트 장치는 타겟으로 이미지 체크 포인트를 요청한다(S540). 이 단계는 테스트 장치가 타겟으로 이미지 체크 포인트를 요청하는 커맨드를 전송함으로써 이루어질 수 있다.

이에 응답하여 타겟은 테스트 장치로 화면에 표시된 이미지의 일부 혹은 전부를 이미지 체크 포인트로서 전송하고, 이에 따라 테스트 장치는 이미지 체크 포 인트를 수신한다(S545).

테스트 장치는 타겟으로부터 수신된 이미지 체크 포인트에서 비교하고자 하는 영역을 선택하여 추출할 수 있다(S550). 물론 타겟으로부터 수신된 이미지 체크 포인트를 전부 이용하여, 테스트 장치의 DB에 미리 설정된 이미지와 비교할 수도 있다.

테스트 장치는 양 이미지(즉, 타겟으로부터 수신된 이미지와 DB에 미리 저장된 이미지)를 비교하여 양 이미지가 매칭되는지 판별한다(S555). 양 이미지의 매칭시에는, 픽셀 및 색상의 톨러런스(tolerance)를 두어 매칭이 이루어질 수 있다. 이는 실제 타겟의 이미지와 저장된 이미지가 동일한 경우에도, 색상이 미리 설정된 오차 범위내에서 다를 수 있기 때문이다. 또한, 이미지의 영역을 표시자(Indicate), 타이틀(Title), 메뉴 바(Menu bar) 및 배경 화면 영역 등으로 세분화하여 양 이미지를 비교할 수 있다.

S555 단계에서의 판별 결과, 양 이미지가 매칭되지 않으면, 해당 시나리오에 대한 테스트가 실패한 것으로 간주되어 실패 이유와 함께 테스트 결과를 저장하는 단계(S250)로 진행된다.

S555 단계에서의 판별 결과, 양 이미지가 매칭되면, 시나리오 내 다음 스텝으로 진행된다(S560). 다음 스텝이 해당 시나리오의 마지막 스텝인지를 체크하여, 마지막 스텝이면 해당 시나리오에 대한 테스트는 종료되고, 다음 시나리오로 진행된다(S260).

마지막 스텝이 아니면, 다음 스텝에 해당하는 키 이벤트 커맨드를 타겟으로 전송하여 상기 과정들을 반복한다(S510~S570).

상술한 바와 같이, 본 발명의 일 실시예에서는 스트링 체크 포인트 비교와 이미지 체크 포인트 비교를 병행한다. 따라서, 스트링 체크 포인트로 도출해 낼 수 없는 화면 오류에 대해 표시자(Indicate), 타이틀(Title), 메뉴 바(Menu bar) 및 배경 화면 영역 등으로 세분화하여 타겟의 이미지 체크 포인트를 미리 저장된 이미지 체크 포인트와 비교 판단하여 오류 여부를 판단할 수 있다. 따라서, 이 두 체크 포인트를 활용하여 질 높은 자동 검증이 가능하다.

이에 추가로, 스트링 체크 포인트 또는 이미지 체크 포인트로 판단하지 못하는 소리, 진동 및 이어잭(Ear Jack)에 대한 검증이 가능하다.

이를 위해, 본 발명의 실시예에 따른 자동 검증 방법은, 타겟으로부터 커맨드(테스트 장치가 타겟으로 송신한 키 이벤트)에 응답하여 발생된 소리 또는 진동을 수신할 수 있다. 그러면, 테스트 장치는 타겟으로부터 수신한 소리 또는 진동을 검증하고, 검증 결과를 테스트 성공인지 실패인지를 판별하는데 참조할 수 있다. 검증의 소리의 세기나 진동의 세기, 소리나 진동을 스펙트럼이나 그래프 등으로 표시하여 확인할 수 잇다.

Ear Jack의 잡음의 경우 그래프 기능을 통해 틱 노이즈(Tick Noise) 발생 여부를 체크할 수 있다.

테스트 장치(10)는 상술한 본 발명의 일 실시예에 따른 자동 검증 방법을 실 행하기 위한 장치로서, 이를 위하여 테스트 장치(10)는 사용자 인터페이스부(User Interface부, 11), 시나리오 작성부(12), 시나리오 저장부(13), 시나리오 구동부(14), 체크 포인트 비교 처리부(15), 송수신 데이터 처리부(16) 및 단말 인터페이스부(17)를 구비한다.

사용자 인터페이스부(11)는 사용자가 테스트 시나리오를 작성하고, 시나리오 저장부(12)에 저장된 테스트 시나리오를 선택하여 구동하도록 사용자 인터페이스를 제공한다. 시나리오 작성부(12)는 사용자가 테스트 시나리오에 따른 일련의 키 이벤트(커맨드)를 설정하고 커맨드에 상응하는 체크 포인트를 설정할 수 각종 툴을 제공할 수 있다. 시나리오 저장부(13)는 사용자가 사용자 인터페이스부(11) 및 시나리오 작성부(12)를 이용하여 작성한 일련의 커맨드와 커맨드에 상응하는 체크 포인트를 포함하는 테스트 시나리오를 저장하는 DB이다.

시나리오 구동부(14)는 사용자의 선택 혹은 설정에 따라 시나리오 저장부(13)에 저장된 시나리오를 업로드하여 구동하는 역할을 한다.

송수신 데이터 처리부(16)는 휴대용 장치로 송신한 커맨드나 메시지를 처리하고 휴대용 장치로부터 수신한 응답 메시지를 처리한다. 단말 인터페이스부(17)는 휴대용 장치와 직접적으로 인터페이스하는 부분이다. 송수신 데이터 처리부(16)와 단말 인터페이스부(17)를 합쳐 휴대용 장치 인터페이스부라 할 수 있다.

체크 포인트 비교 처리부(15)는 휴대용 장치로부터 수신한 응답에 포함된 체크 포인트와 테스트 장치에 저장된 체크 포인트를 비교하여 매칭 여부를 판단한다.

비교 결과에 기초하여, 테스트 결과가 테스트 결과 저장부에 저장될 수 있 다. 이를 위하여, 테스트 장치(10)는 테스트 결과 저장부를 더 구비할 수 있는데, 테스트 결과 저장부는 시나리오 저장부와 별도로 구현될 수도 있고, 함께 구현될 수도 있다.

상기 테스트 장치(10)의 구성 요소들은 테스트 장치(10)의 기능을 논리적으로 구분한 것으로서, 하드웨어적인 혹은 물리적인 구분을 의미하는 것은 아니다.

테스트 장치(10)는 상술한 본 발명의 실시예에 따른 자동 검증 방법을 실행하기 위한 프로그램이 저장된 컴퓨터, 자동 검증 방법을 실행하기 위해 개발된 전용 장치 또는 휴대용 장치를 테스트하기 위해 존재하던 기존 장치(예컨대, 기지국 에뮬레이션 장치)에 본 발명의 자동 검증 방법을 실행하기 위한 프로그램이 저장된 장치일 수 있다. 여기서, 컴퓨터란 데스크탑 PC, 노트북 등이 될 수 있다.

휴대용 장치(20)는 테스트 대상이 되는 장치로서, 테스트 장치(10)로부터 커맨드나 키 이벤트를 수신하고, 이에 응답하여 응답 메시지를 테스트 장치로 전송하는 장치이다.

이를 위하여, 휴대용 장치(20)는 툴 인터페이스부(21), 체크 포인트 생성부(22), 어플리케이션 접속부(23) 및 어플리케이션부(24)를 포함한다.

툴 인터페이스부(21)는 테스트 장치(10)와 인터페이스하기 위한 부분이다. 체크 포인트 생성부(22)는 테스트 장치(10)로부터의 커맨드에 응답하여 스트링 체크 포인트 및/또는 이미지 체크 포인트를 생성한다. 어플리케이션 접속부(23)는 휴대용 장치(24)의 종류에 따라 휴대용 장치에 탑재되는 각종 어플리케이션 프로그램과 접속하기 위한 모듈이다. 어플리케이션부(24)는 각종 어플리케이션 프로그램으로서, 예컨대, 휴대용 장치가 무선 통신 단말기인 경우, 브라우저, 멀티미디어, 메신저 어플리케이션 프로그램을 포함할 수 있다.

휴대용 장치(20)는 무선 통신 단말기에 한정되지 않고, MP3 플레이어나 디지털 카메라 등의 전자 기기가 될 수 있다.

본 발명에서 사용되는 오류 검출 방식은 기존의 소오스 레벨 검증 툴과는 달리 MMI 검증을 위한 체크 포인트 방식을 사용함으로써, 단말기의 프로그램 소오스 수정이 필요 없다. 또한 효율적인 사용자 인터페이스(UI)의 기능 검증을 위해 선택적 사용자 인터페이스(UI) 비교 기능 추가로 테스트 인력의 절감, 검증 기간의 단축 및 개발 기간 단축 등 기술적, 경제적으로 효율적인 자동화 검증 툴이다.

또한, 본 발명에 의하면, 다양한 테스트 케이스에 대해 단말 키 이벤트 입력 방식으로 테스트 시나리오를 작성하여 저장하고, 저장된 시나리오들을 구동하여, 단말기에서 리포트 되는 체크 포인트를 이용하여 휴대용 장치의 오류 검출을 용이하게 할 수 있다. 또한 테스트 결과로서 각종 디버그(Debug)와 로그 파일(QxDM log)을 확보할 수 있다. 따라서, 확보된 테스트 결과 자료를 활용하여 휴대용 장치의 문제점 분석 및 불량 분석을 효율적으로 도출할 수 있다.

본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이 본 발명에 따르면, 휴대용 장치의 프로그램 소오스 수정이 필요 없이, 휴대용 장치에서 키 입력시(즉, 키 이벤트 발생시)마다 발생하는 스트링이나 이미지를 체크 포인트 대상으로 비교함으로써, 효율적으로 휴대용 장치의 기능 및 사용자 인터페이스(UI)의 기능을 검증할 수 있다. 따라서, 테스트 인력의 절감, 검증 기간의 단축 및 개발 기간의 단축 등을 얻을 수 있으며, 이에 따라 테스트 및 개발 비용을 줄일 수 있는 효과가 있다.

Claims

테스트 장치에 일련의 커맨드와 커맨드에 상응하는 체크 포인트를 포함하는 테스트 시나리오를 저장하는 단계;

상기 테스트 장치와 통신 가능하게 연결된 휴대용 장치로 상기 테스트 시나리오에 따른 커맨드를 송신하는 단계;

상기 휴대용 장치로부터 상기 커맨드에 대한 응답을 수신하는 단계;

상기 휴대용 장치로부터 수신한 응답에 포함된 체크 포인트와 상기 테스트 장치에 저장된 체크 포인트를 비교하는 단계; 및

상기 비교 결과에 기초하여, 테스트 결과를 저장하는 단계를 구비하며, 상기 체크 포인트는, 휴대용 장치의 기본기능, 부가 서비스 기능, 및 MMI 기능 중에서 적어도 어느 하나를 테스트하는 항목으로서, 스트링 체크 포인트와 이미지 체크 포인트 중 적어도 하나를 포함하고, 상기 스트링 체크 포인트는,

한글, 영문, 특수문자 및 숫자 중 적어도 하나를 포함하고, 상기 이미지 체크 포인트는,

상기 휴대용 장치의 화면에 디스플레이되는 이미지의 전부 혹은 일부인 휴대용 장치의 자동 검증 방법.
삭제
제 1 항에 있어서, 상기 테스트 시나리오를 저장하는 단계는

상기 휴대용 장치의 키패드 또는 상기 테스트 장치에서 지원하는 키패드를 이용하여 키가 입력되는 단계;

상기 입력된 키에 상응하는 커맨드가 DB에 저장되는 단계; 및

상기 커맨드에 상응하는 스트링 체크 포인트 및 이미지 체크 포인트 중에서 적어도 어느 하나가 저장되는 단계를 구비하는 휴대용 장치의 자동 검증 방법.
제 3 항에 있어서, 상기 휴대용 장치로부터 상기 커맨드에 대한 응답을 수신하는 단계는

상기 휴대용 장치에서 상기 커맨드에 상응하는 키 이벤트가 구동되는 단계;

상기 구동된 키 이벤트에 상응하는 스트링 체크 포인트가 발생되는 단계; 및

상기 스트링 체크 포인트가 상기 테스트 장치로 전송되는 단계를 구비하는 휴대용 장치의 자동 검증 방법.
제 3 항에 있어서, 상기 체크 포인트를 비교하는 단계는

상기 휴대용 장치로부터 수신한 스트링 체크 포인트와 상기 테스트 장치에 저장된 스트링 체크 포인트를 비교하는 단계;

이미지 체크 포인트가 필요한지 판별하는 단계;

상기 판별 결과 이미지 체크 포인트가 필요하면, 상기 휴대용 장치로 이미지 체크 포인트를 요청하는 단계;

상기 휴대용 장치로부터 상기 이미지 체크 포인트를 수신하는 단계; 및

상기 휴대용 장치로부터 수신한 이미지 체크 포인트와 상기 테스트 장치에 저장된 이미지 체크 포인트를 비교하는 단계를 구비하는 휴대용 장치의 자동 검증 방법.
제 4 항에 있어서, 상기 이미지 체크 포인트를 비교하는 단계는

상기 휴대용 장치로부터 수신한 이미지 체크 포인트에서 비교 영역을 추출하는 단계; 및

상기 추출된 비교 영역을 상기 테스트 장치에 저장된 이미지 체크 포인트와 매칭하는 단계를 포함하는 휴대용 장치의 자동 검증 방법.
제 4 항에 있어서, 상기 테스트 결과를 저장하는 단계는

상기 비교 결과, 상기 휴대용 장치로부터 수신한 응답에 포함된 체크 포인트와 상기 테스트 장치에 저장된 체크 포인트가 다른 경우 상기 테스트는 실패한 것으로 간주되어, 실패 이유를 포함하는 상기 테스트 결과가 상기 DB에 저장되는 휴대용 장치의 자동 검증 방법.
제 7 항에 있어서, 상기 테스트 결과는

실패한 시나리오 및 단계를 식별하기 위한 정보, 테스트 시간 정보 및 상기 휴대용 장치를 식별하기 위한 정보를 더 포함하는 것을 특징으로 하는 휴대용 장치의 자동 검증 방법.
제 1 항에 있어서, 상기 휴대용 장치의 자동 검증 방법은

상기 휴대용 장치로부터 상기 커맨드에 응답하여 발생된 소리 또는 진동을 수신하는 단계; 및

상기 소리 또는 진동을 검증하는 단계를 더 구비하는 것을 특징으로 하는 휴대용 장치의 자동 검증 방법.
제1항 및 제3항 내지 제9항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 기록매체.
일련의 커맨드와 커맨드에 상응하는 체크 포인트를 포함하는 테스트 시나리오를 저장하는 시나리오 저장부;

휴대용 장치로 상기 테스트 시나리오에 따른 커맨드를 송신하고, 상기 휴대용 장치로부터 상기 커맨드에 대한 응답을 수신하는 휴대용 장치 인터페이스부;

상기 휴대용 장치로부터 수신한 응답에 포함된 체크 포인트와 상기 테스트 장치에 저장된 체크 포인트를 비교하는 체크 포인트 비교 처리부; 및

상기 비교 결과에 기초하여, 테스트 결과를 저장하는 테스트 결과 저장부를 구비하며, 상기 체크 포인트는, 휴대용 장치의 기본기능, 부가 서비스 기능, 및 MMI 기능 중에서 적어도 어느 하나를 테스트하는 항목으로서,

스트링 체크 포인트와 이미지 체크 포인트 중 적어도 하나를 포함하고, 상기 스트링 체크 포인트는,

한글, 영문, 특수문자 및 숫자 중 적어도 하나를 포함하고, 상기 이미지 체크 포인트는,

상기 휴대용 장치의 화면에 디스플레이되는 이미지의 전부 혹은 일부인 휴대용 장치를 자동 검증하기 위한 테스트 장치.
제 11 항에 있어서, 상기 테스트 장치는

사용자가 상기 테스트 시나리오를 작성하고, 상기 저장된 테스트 시나리오를 선택하여 구동하도록 사용자 인터페이스를 제공하는 사용자 인터페이스부를 더 구비하는 것을 특징으로 하는 휴대용 장치를 자동 검증하기 위한 테스트 장치.
삭제
삭제
제 11 항에 있어서, 상기 휴대용 장치는

무선 통신 단말기, MP3 플레이어 및 디지털 카메라 중의 어느 하나인 것을 특징으로 하는 휴대용 장치를 자동 검증하기 위한 테스트 장치.