KR20200060214A - 테스트케이스 작성 지원 방법 및 이를 수행하는 서버 및 사용자 단말 - Google Patents

Abstract

테스트케이스 작성 지원 방법 및 이를 수행하는 서버 및 사용자 단말이 개시된다. 테스트케이스 작성 지원 방법은 테스트케이스의 검색을 위한 쿼리 테스트케이스를 포함하는 사용자 입력 수신하는 단계, 서버에 상기 사용자 입력에 대한 사용자 입력 정보를 전송하는 단계, 상기 사용자 입력 정보에 응답하여, 상기 서버로부터 상기 쿼리 테스트케이스와 연관된 후보 테스트케이스의 목록 정보를 수신하는 단계, 및 테스트케이스 작성 지원 인터페이스를 통해 상기 수신한 후보 테스트케이스의 목록 정보를 디스플레이하는 단계를 포함한다.

Description

테스트케이스 작성 지원 방법 및 이를 수행하는 서버 및 사용자 단말{METHOD FOR SUPPORTING COMPOSING TESTCASE, SERVER AND USER TERMINAL FOR PERFORMING THE SAME}

아래 실시예들은 테스트케이스 작성 기술에 관한 것이다.

소프트웨어 검증은 소프트웨어의 오류를 검출하고 소프트웨어가 요구 사항에 맞게 동작하는지를 검증하는 보편적인 방법으로, 이는 검증 목적에 맞는 테스트케이스(testcase)를 설계한 후, 이를 기반으로 검증을 실행 및 측정하고 이의 결과물로부터 소프트웨어 오류를 추적 및 수정하는 방식으로 수행된다. 테스트케이스는 소프트웨어 검증에 근간이 되며 테스트케이스를 얼마나 효율적으로 설계하는지에 따라 테스트를 통해 얼마나 많은 오류를 얼마나 빨리 찾을 수 있는지가 결정된다.

이와 관련하여, 종래에는 각 테스트케이스의 설계 및 생성이 테스트 설계자의 수작업에 의해 주로 수행되었는데, 이러한 경우 테스트케이스의 작성에 많은 시간과 노력이 소요되는 문제가 있고 아울러 작성된 테스트케이스의 적절성도 보증하기 어려운 문제가 있었다. 이러한 문제를 해결하기 위한 기술 개발이 요구된다.

일 실시예에 따른 사용자 단말에 의해 수행되는 테스트케이스 작성 지원 방법은, 테스트케이스의 검색을 위한 쿼리 테스트케이스를 포함하는 사용자 입력 수신하는 단계; 서버에 상기 사용자 입력에 대한 사용자 입력 정보를 전송하는 단계; 상기 사용자 입력 정보에 응답하여, 상기 서버로부터 상기 쿼리 테스트케이스와 연관된 후보 테스트케이스의 목록 정보를 수신하는 단계; 및 테스트케이스 작성 지원 인터페이스를 통해 상기 수신한 후보 테스트케이스의 목록 정보를 디스플레이하는 단계를 포함할 수 있다.

상기 목록 정보를 수신하는 단계는, 상기 후보 테스트케이스의 목록 정보와 상기 후보 테스트케이스에 대응되는 유사도 정보를 수신하는 단계를 포함할 수 있다.

상기 목록 정보를 디스플레이하는 단계는, 후보 테스트케이스들 각각에 대응하는 유사도에 기초하여 상기 후보 테스트케이스들 중에서 상기 사용자 단말의 화면에 디스플레이할 하나 이상의 후보 테스트케이스를 선택하는 단계; 및 상기 화면에 상기 선택된 하나 이상의 후보 테스트케이스를 디스플레이하는 단계를 포함할 수 있다.

상기 선택된 하나 이상의 후보 테스트케이스를 디스플레이하는 단계는, 상기 선택된 하나 이상의 후보 테스트케이스의 유사도가 높은 순서대로 상기 화면에서 상위 위치에 출력하는 단계를 포함할 수 있다.

상기 목록 정보를 디스플레이하는 단계는, 상기 후보 테스트케이스에 대응하는 유사도를 상기 후보 테스트케이스의 우측에 표시하는 단계를 포함할 수 있다.

상기 수신한 후보 테스트케이스의 목록 정보를 디스플레이하는 단계는, 상기 후보 테스트케이스에 포함된 단어들 중에서 상기 쿼리 테스트케이스에 포함된 단어에 대응되는 단어에 강조 효과를 할당하는 단계를 포함할 수 있다.

상기 후보 테스트케이스에 포함된 각 단어들과 상기 쿼리 테스트케이스에 포함된 단어 간의 유사도에 기초하여 상기 강조 효과를 할당할 상기 후보 테스트케이스의 단어를 결정하는 단계를 포함할 수 있다.

상기 테스트케이스 작성 지원 인터페이스는, 상기 테스트케이스 작성 지원 인터페이스에 디스플레이된 후보 테스트케이스들 중 사용자 입력에 의해 선택된 후보 테스트케이스를 상기 테스트케이스 작성 지원 인터페이스의 입력창에 표시할 수 있다.

상기 테스트케이스 작성 지원 인터페이스는, 사용자 입력을 통해 테스트케이스를 작성하고, 상기 작성된 테스트케이스를 등록시키기 위한 등록 도구 인터페이스를 포함할 수 있다.

상기 등록 도구 인터페이스는, 상기 쿼리 테스트케이스에 포함된 하나 이상의 단어의 유사어를 화면을 통해 제공할 수 있다.

상기 테스트케이스 작성 지원 인터페이스는, 기작성된 테스트케이스에 포함되는 단어들의 빈도에 대한 정보를 그래프 형태로 디스플레이하는 테스트케이스 통계 분석 인터페이스를 포함할 수 있다.

일 실시예에 따른 서버에 의해 수행되는 테스트케이스 작성 지원 방법은, 사용자 단말로부터 쿼리 테스트케이스를 포함하는 사용자 입력에 대한 사용자 입력 정보를 수신하는 단계; 기작성된 테스트케이스들 중에서 상기 쿼리 테스트케이스와 연관된 하나 이상의 후보 테스트케이스를 추출하는 단계; 및 상기 추출된 하나 이상의 후보 테스트케이스에 대한 목록 정보를 상기 사용자 단말에 전송하는 단계를 포함할 수 있다.

상기 하나 이상의 후보 테스트케이스를 추출하는 단계는, 기작성된 테스트케이스들과 상기 쿼리 테스트케이스 간의 텍스트 유사도의 분석 결과에 기초하여, 상기 후보 테스트케이스를 추출할 수 있다.

상기 텍스트 유사도의 분석은, 상기 쿼리 테스트케이스와 기작성된 테스트케이스 간에 공통적으로 포함되는 단어의 개수를 기반으로 상기 텍스트 유사도를 계산하는 단계를 포함할 수 있다.

일 실시예에 따른 테스트케이스 작성 지원 방법을 수행하는 사용자 단말은, 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는, 테스트케이스의 검색을 위한 쿼리 테스트케이스를 포함하는 사용자 입력 수신하고, 서버에 상기 사용자 입력에 대한 사용자 입력 정보를 전송하고, 상기 사용자 입력 정보에 응답하여, 상기 서버로부터 상기 쿼리 테스트케이스와 연관된 후보 테스트케이스의 목록 정보를 수신하고, 테스트케이스 작성 지원 인터페이스를 통해 상기 수신한 후보 테스트케이스의 목록 정보를 디스플레이할 수 있다.

상기 프로세서는, 후보 테스트케이스의 목록 정보와 상기 후보 테스트케이스에 대응되는 유사도 정보를 수신할 수 있다.

상기 프로세서는, 상기 후보 테스트케이스들 각각에 대응하는 유사도에 기초하여 상기 후보 테스트케이스들 중에서 상기 사용자 단말의 화면에 디스플레이할 하나 이상의 후보 테스트케이스를 선택하고, 상기 화면에 상기 선택된 하나 이상의 후보 테스트케이스를 디스플레이할 수 있다.

상기 프로세서는, 상기 선택된 하나 이상의 후보 테스트케이스의 유사도가 높은 순서대로 상기 화면에서 상위 위치에 출력할 수 있다.

상기 프로세서는, 상기 후보 테스트케이스에 대응하는 유사도를 상기 후보 테스트케이스의 우측에 표시할 수 있다.

상기 프로세서는, 상기 후보 테스트케이스에 포함된 단어들 중에서 상기 쿼리 테스트케이스에 포함된 단어에 대응되는 단어에 강조 효과를 할당할 수 있다.

상기 프로세서는, 상기 후보 테스트케이스에 포함된 각 단어들과 상기 쿼리 테스트케이스에 포함된 단어 간의 유사도에 기초하여 상기 강조 효과를 할당할 상기 후보 테스트케이스의 단어를 결정할 수 있다.

상기 테스트케이스 작성 지원 인터페이스는, 상기 테스트케이스 작성 지원 인터페이스에 디스플레이된 후보 테스트케이스들 중 사용자 입력에 의해 선택된 후보 테스트케이스를 상기 테스트케이스 작성 지원 인터페이스의 입력창에 표시할 수 있다.

상기 테스트케이스 작성 지원 인터페이스는, 사용자 입력을 통해 테스트케이스를 작성하고, 상기 작성된 테스트케이스를 등록시키기 위한 등록 도구 인터페이스를 포함할 수 있다.

상기 테스트케이스 작성 지원 인터페이스는, 기작성된 테스트케이스에 포함되는 단어들의 빈도에 대한 정보를 그래프 형태로 디스플레이하는 테스트케이스 통계 분석 인터페이스를 포함할 수 있다.

일 실시예에 따른 테스트케이스 작성 지원 방법을 수행하는 서버는, 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는, 사용자 단말로부터 쿼리 테스트케이스를 포함하는 사용자 입력에 대한 사용자 입력 정보를 수신하고, 기작성된 테스트케이스들 중에서 상기 쿼리 테스트케이스와 연관된 하나 이상의 후보 테스트케이스를 추출하고, 상기 추출된 하나 이상의 후보 테스트케이스에 대한 목록 정보를 상기 사용자 단말에 전송할 수 있다.

상기 프로세서는, 기작성된 테스트케이스들과 상기 쿼리 테스트케이스 간의 텍스트 유사도 분석 결과에 기초하여, 상기 후보 테스트케이스를 추출할 수 있다.

일 실시예에 따르면, 신규 테스트케이스를 작성할 때, 기작성된 테스트케이스를 이용함에 따라 신규 테스트케이스 작성에 필요한 시간이나 노력을 절감시킬 수 있다.

일 실시예에 따르면, 테스트케이스를 용이하게 작성하고, 간편하게 테스트케이스를 등록할 수 있다.

일 실시예에 따르면, 선택된 게임들의 테스트케이스들에서 자주 사용된 단어에 대한 통계 정보를 제공하는 것이 가능해 진다.

일 실시예에 따르면, 게임 용어 사전 정보에 기초한 등록 도구 인터페이스를 통해 테스트케이스를 용이하게 등록할 수 있다.

도 1은 일 실시예에 따른 테스트케이스 작성 지원 시스템의 개요를 제공하는 도면이다.
도 2는 일 실시예에 따른 사용자 단말에 의해 수행되는 테스트케이스 작성 지원 방법의 동작을 설명하기 위한 흐름도이다.
도 3 은 일 실시예에 따른 서버에 의해 수행되는 테스트케이스 작성 지원 방법의 동작을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 테스트케이스 작성 지원 인터페이스의 일례를 도시하는 도면이다.
도 5는 일 실시예에 따른 등록 도구 인터페이스의 일례를 도시하는 도면이다.
도 6은 일 실시예에 따른 통계 분석 인터페이스의 일례를 도시하는 도면이다.
도 7은 일 실시예에 따른 서버의 구성을 도시하는 도면이다.
도 8은 일 실시예에 따른 사용자 단말의 구성을 도시하는 도면이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 일 실시예에 따른 테스트케이스 작성 지원 시스템의 개요를 제공하는 도면이다.

도1을 참조하면, 테스트케이스 작성 지원 시스템(100)은 서버(110)를 통해 사용자 단말(130)에 테스트케이스 작성 지원 서비스를 제공한다. 테스트케이스 작성 지원 시스템(100)은 서버(110), 네트워크(120), 사용자 단말(130)을 포함하고, 서버(110)와 사용자 단말(130)은 네트워크(120)를 통해 서로 통신할 수 있다.

일 실시예에서, 테스트케이스는 자연어로 작성된 게임의 테스트를 위한 하나의 항목을 의미할 수 있고, 게임 프로그램의 테스트를 위하여 활용될 수 있다.

일 실시예에 따르면, 사용자는 게임을 테스트하기 위하여 테스트케이스 작성 지원 인터페이스를 통해 쿼리 테스트케이스(query testcase)를 입력할 수 있다. 여기서, '쿼리 테스트케이스'는 사용자가 테스트케이스의 작성을 위해 테스트케이스 작성 지원 인터페이스에 입력한 텍스트 정보를 의미하고 하나 이상의 단어, 구 또는 문장을 포함할 수 있다. 테스트케이스 작성 지원 인터페이스는, 예를 들어 테스트케이스 작성 도구, 테스트케이스 등록 도구, 테스트케이스 통계 분석 인터페이스를 포함할 수 있다. 테스트케이스 작성 도구 인터페이스를 통해 사용자는 등록하고자 하는 쿼리 테스트케이스를 입력하여 쿼리 테스트케이스와 유사한 후보 테스트케이스들과 각각의 후보 테스트케이스들에 대응하는 유사도를 제공받을 수 있다. 사용자는 등록 도구 인터페이스를 통해 테스트케이스의 특정 단어와 연관된 단어들을 확인할 수 있고, 새로운 단어를 추가할 수 있다. 사용자는 통계 분석 인터페이스를 통해 테스트케이스 통계 분석을 원하는 한 개 이상의 게임을 선택하여 해당 게임들의 테스트케이스들에 포함되어 있는 단어들의 빈도수 통계 분석을 제공받을 수 있다.

사용자 단말(130)은 테스트케이스 작성 지원 인터페이스를 통해 입력된 쿼리 테스트케이스를 네트워크(120)을 통해 서버(110)에 전송한다. 사용자 단말(130)로부터 쿼리 테스트케이스를 수신한 서버(110)가 유사도 분석을 통해 쿼리 테스트케이스와 유사한 후보 테스트케이스들을 추출하여 네트워크(120)를 통해 사용자 단말(130)에 전송할 수 있다. 서버(110)는 사용자 단말(130)로부터 수신한 쿼리 테스트케이스와 기작성된 테스트케이스 간 텍스트 유사도 분석을 통해 후보 테스트케이스를 추출하고, 추출된 후보 테스트케이스의 목록 정보를 사용자 단말(130)에 전송할 수 있다. 사용자 단말(130)은 수신한 후보 테스트케이스의 목록 정보를 테스트케이스 작성 지원 인터페이스를 통해 사용자에게 제공할 수 있다.

새로운 게임의 기능 테스트를 하기 위해서는 사용자가 직접 테스트케이스를 작성해야 하는데, 이는 매우 반복적이고 번거로운 작업이다. 본 발명은 이전에 작성된 테스트케이스들과 사용자가 입력한 쿼리 테스트케이스 간에 텍스트 유사도 분석을 통해 유사도가 높은 순으로 상위 N개의 후보 테스트케이스를 제공할 수 있다. 이를 통해, 새로운 게임의 기능을 테스트할 때마다 사용자가 일일이 직접 테스트케이스를 전부 작성해야 하는 작업으로 인하여 낭비되는 시간이나 노력이 절감될 수 있다.

이하에서는, 도면들을 참조하여 테스트케이스 작성 지원 방법을 보다 자세히 설명한다.

도 2는 일 실시예에 따른 사용자 단말에 의해 수행되는 테스트케이스 작성 지원 방법의 동작을 설명하기 위한 흐름도이다.

도 2를 참조하면, 단계(210)에서 사용자 단말은 테스트케이스의 검색을 위한 쿼리 테스트케이스를 포함하는 사용자 입력을 수신할 수 있다. 사용자는 테스트케이스 작성 지원 인터페이스에 나타난 검색창을 통해 쿼리 테스트케이스를 입력할 수 있고, 입력된 쿼리 테스트케이스는 하나 이상의 단어, 구 또는 문장을 포함할 수 있다.

단계(220)에서, 사용자 단말은 서버에 사용자 입력에 대한 사용자 입력 정보를 전송할 수 있다.

단계(230)에서, 사용자 단말은 사용자 입력 정보에 응답하여, 서버로부터 쿼리 테스트케이스와 연관된 후보 테스트케이스의 목록 정보 및/또는 각각의 후보 테스트케이스에 대응되는 쿼리 테스트케이스와 후보 테스트케이스 간의 유사도 정보를 수신할 수 있다.

단계(240)에서, 사용자 단말은 테스트케이스 작성 지원 인터페이스를 통해 후보 테스트케이스의 목록 정보를 디스플레이할 수 있다. 사용자 단말은 후보 테스트케이스들 각각에 대응하는 유사도에 기초하여 후보 테스트케이스들 중에서 상기 사용자 단말의 화면에 디스플레이할 하나 이상의 후보 테스트케이스를 선택할 수 있고, 화면에 상기 선택된 하나 이상의 후보 테스트케이스를 디스플레이할 수 있다. 사용자 단말을 통해 디스플레이되는 테스트케이스 작성 지원 인터페이스에는, 하나 이상의 후보 테스트케이스와 각 후보 테스트케이스에 대응하는 유사도가 후보 테스트케이스의 우측에 표시될 수 있다.

일 실시예에서, 사용자 단말은 선택된 하나 이상의 후보 테스트케이스의 유사도가 높은 순서대로 화면에서 상위 위치에 출력할 수 있다. 사용자 단말은 사용자가 입력한 쿼리 테스트케이스와 기작성된 테스트케이스와의 유사도가 높은 상위 N(N은 자연수) 개의 후보 테스트케이스를 표시할 수 있다. 사용자 단말은 후보 테스트케이스에 포함된 단어들 중에서 쿼리 테스트케이스에 포함된 단어에 대응되는 단어에 강조 효과를 할당할 수 있다. 강조 효과에 의해, 대응되는 단어는 주변 단어와 구별되도록 볼드체로 표시되거나 특정한 컬러로 표시될 수 있다. 사용자 단말은 후보 테스트케이스에 포함된 각 단어들과 쿼리 테스트케이스에 포함된 단어 간의 유사도에 기초하여 강조 효과를 할당할 후보 테스트케이스의 단어를 결정할 수 있다.

사용자는 특정한 후보 테스트케이스를 선택할 수 있고, 이 경우 사용자 단말은 테스트케이스 작성 지원 인터페이스에 디스플레이된 후보 테스트케이스들 중 사용자 입력에 의해 선택된 후보 테스트케이스를 테스트케이스 작성 지원 인터페이스의 입력창에 표시할 수 있다.

테스트 케이스 작성 지원 인터페이스는, 또한 등록 도구 인터페이스 및 통계 분석 인터페이스를 포함할 수 있다. 사용자가 등록 도구 인터페이스를 선택하는 경우, 사용자 단말은 사용자 입력을 통해 테스트케이스를 작성하고, 작성된 테스트케이스를 등록시키기 위한 등록 도구 인터페이스를 디스플레이할 수 있다. 등록 도구 인터페이스를 통해 사용자는 테스트케이스를 직접 등록시킬 수 있고, 사용자 단말은 게임 용어 사전 정보를 이용하여 테스트케이스에 포함될 수 있는 유사어들을 사용자에게 제공할 수 있다. 등록된 테스트케이스는 나중에 후보 테스트케이스로 이용될 수 있다. 사용자가 통계 분석 인터페이스를 선택하는 경우, 사용자 단말은 기작성된 테스트케이스에 포함되는 단어들의 빈도에 대한 정보를 그래프 형태로 보여주는 테스트케이스 통계 분석 인터페이스를 디스플레이할 수 있다.

위와 같이, 사용자는 테스트케이스 작성 지원 인터페이스를 통해, 목적하는 테스트케이스와 연관된 후보 테스트케이스를 제공받고, 테스트케이스를 데이터베이스에 직접 등록시킬 수 있으며, 테스트케이스의 특정 단어와 연관된 단어들, 하나 이상의 게임들의 테스트케이스에 등장하는 단어들에 대한 통계 분석 정보를 제공받을 수 있다.

도 3은 일 실시예에 따른 서버에 의해 수행되는 테스트케이스 작성 지원 방법의 동작을 설명하기 위한 흐름도이다.

도 3을 참조하면, 단계(310)에서 서버는 사용자 단말로부터 쿼리 테스트케이스를 포함하는 사용자 입력에 대한 사용자 입력 정보를 수신할 수 있다.

단계(320)에서, 서버는 기작성된 테스트케이스들과 쿼리 테스트케이스 간의 텍스트 유사도의 분석 결과에 기초하여, 후보 테스트케이스를 추출할 수 있다. 일 실시예에서, 서버는 쿼리 테스트케이스와 기작성된 테스트케이스 간에 공통적으로 포함되는 단어의 개수를 기반으로 유사도를 계산할 수 있다. 예를 들어, 서버는 다음의 과정에 따라 유사도를 계산할 수 있다. 서버는 쿼리 테스트케이스와 후보 테스트케이스 간에 유사도를 분석하기 위하여 TF-IDF(Term Frequency - Inverse Document Frequency)와 코사인 유사도를 이용할 수 있다.

TF-IDF는 단어별 중요도를 계산하기 위한 것으로, 한 문장에서의 단어 빈도수를 나타내는 TF(term frequency)와 한 단어가 몇 개의 문서(또는 문장)에서 나타나는 지를 계산한 DF(document frequency)의 역수인 IDF(inverse DF)에 기초한다.

tf-idf(t,d,D)는 어떤 단어 t가 특정 문서 d 내에서 얼마나 중요한 것인지를 나타내는 통계적 수치 값이다. D는 전체 문서의 수를 나타낸다. tf(t,d)는 문서 d 내 단어 t의 빈도 수를 나타내고, df(t)는 단어 t가 포함된 문서의 수를 나타낸다.

서버는 수학식 1을 기초로 쿼리 테스트케이스와 각 후보 테스트케이스에 대해 단어별로 tf-idf 값을 계산할 수 있다. 일 실시예에서, 서버는 계산된 tf-idf 값을 기초로 다음의 수학식 2에 기초하여 쿼리 테스트케이스와 후보 테스트케이스 간의 코사인 유사도를 계산할 수 있고, 계산된 코사인 유사도 값이 쿼리 테스트케이스와 후보 테스트케이스 간의 유사도로 결정될 수 있다.

코사인 유사도는, 예를 들어 다음의 수학식 2에 기초하여 계산될 수 있다.

여기서, "query"는 쿼리 테스트케이스의 tf-idf 값을 의미하고, "candidate"은 기작성된 후보 테스트케이스의 tf-idf 값을 의미한다. 서버는, 쿼리 테스트케이스와 후보 테스트케이스 각각에 포함된 단어들의 tf-idf 값에 기초하여 코사인 유사도를 계산할 수 있다.

단계(330)에서, 서버는 단계(320)에서 추출된 하나 이상의 후보 테스트케이스에 대한 목록 정보를 사용자 단말에 전송할 수 있다. 이 때, 서버는 후보 테스트케이스와 이에 대응하는 유사도 정보를 함께 사용자 단말에 전송할 수 있다.

도 4는 일 실시예에 따른 테스트케이스 작성 지원 인터페이스의 일례를 도시하는 도면이다.

도 4 를 참조하면, 테스트케이스 작성 지원 인터페이스는 테스트케이스 작성 도구 탭(410), 테스트케이스 등록 도구 탭(430), 테스트케이스 통계 분석 탭(440) 중 하나 이상을 포함할 수 있다.

사용자는 테스트케이스 작성 지원 인터페이스에서 테스트케이스 작성 도구 탭(410)을 선택하여 쿼리 테스트케이스를 입력할 수 있다. 작성 도구 탭(410)을 선택하는 경우, 쿼리 테스트케이스를 입력하여 테스트케이스를 작성할 수 있는 작성 도구 인터페이스(400)가 사용자에게 제공될 수 있다. 사용자는, 예를 들어 작성하고자 하는 타겟 테스트케이스와 관련된 테스트케이스를 검색하기 위해 "가입 버튼 확인"의 쿼리 테스트케이스를 검색창(415)에 입력할 수 있다.

사용자 단말은 사용자가 입력한 쿼리 테스트케이스와 유사한 후보 테스트케이스들에 대한 목록 정보를 서버로부터 수신하고, 수신한 후보 테스트케이스들(420)을 화면을 통해 디스플레이할 수 있다.

사용자가 검색창(415)에 쿼리 테스트케이스를 입력하면 쿼리 테스트케이스와 유사한 후보 테스트케이스가 작성 도구 인터페이스(400)를 통해 디스플레이될 수 있다. 검색창(415)에 입력된 쿼리 테스트케이스와, 쿼리 테스트케이스와 유사한 후보 테스트케이스들 간의 유사도가 디스플레이될 수 있다.

예를 들어, 사용자 단말은 쿼리 테스트케이스인 "가입 버튼 확인"과 관련된 "길드 가입 버튼을 눌러서 가입되는지 확인한다.", "길드 가입 버튼을 눌러서 가입되는지 확인한다.", "길드 가입 버튼이 정상적으로 노출되는지 확인한다.", “길드 생성 버튼이 정상적으로 노출되는지 확인한다.” 등의 후보 테스트케이스들(420)을 작성 도구 인터페이스를 통해 사용자에게 제공할 수 있다. 일 실시예에서, 각 후보 테스트케이스들(420)와 쿼리 테스트케이스 간의 유사도(425)는 대응되는 각 후보 테스트케이스들(420)의 우측에 디스플레이할 수 있다.

또한, 사용자는 테스트케이스 등록 도구 탭(430)을 선택하여 등록 도구 인터페이스를 활성화시킬 수 있고, 등록 도구 인터페이스를 통해 사용자는 단어 선택에 기반하여 테스트케이스를 작성 및 등록할 수 있다. 이에 대해서는 아래 도 5를 통해 후술한다.

또한, 사용자는 테스트케이스 통계 분석 탭(440)을 선택하여 통계 분석 인터페이스를 활성화시킬 수 있고, 서버는 통계 분석 인터페이스에서 다양한 게임들의 테스트케이스들에서 사용된 단어들의 사용 횟수 통계 분석 정보를 제공할 수 있다. 이에 대해서는 아래 도 6을 통해 후술한다.

도 5는 일 실시예에 따른 등록 도구 인터페이스의 일례를 도시하는 도면이다.

테스트케이스 작성 지원 인터페이스에서 사용자가 테스트케이스 등록 도구 탭(430)을 선택하면, 디스플레이를 통해 도 5에 도시된 것과 같은 등록 도구 인터페이스(500)가 제공될 수 있다. 사용자는 등록 도구 인터페이스(500)에서 테스트케이스 등록 버튼(515)를 활용하여 등록하고자 하는 테스트케이스(510)를 등록할 수 있고 사용자가 등록한 테스트케이스는 테스트케이스 등록 목록(540)에 디스플레이 될 수 있다.

등록 도구 인터페이스(500)는 게임 용어 사전 정보를 통해 테스트케이스의 특정 단어 선택 시 해당하는 단어와 함께 분류된 연관 단어들을 제공할 수 있다. 사용자는 찾고자 하는 단어가 없다면 등록 도구 인터페이스(500)의 추가 버튼(530)을 활용하여 단어를 직접 추가할 수도 있다.

예를 들어, 테스트케이스의 작성 도구 인터페이스(400)에서 "길드 가입 버튼을 눌러서 가입되는지 확인한다."의 테스트케이스가 선택된 경우, 등록 도구 인터페이스(500)에서는 위 테스트케이스가 구성 단어들로 분할되고, 각 분할된 구성 단어의 유사어들이 제시될 수 있다. 서버는 게임 용어 사전 정보를 이용하여 구성 단의 유사어들을 탐색하고, 탐색된 유사어들을 제공할 수 있다. 사용자는 추가 버튼(530)을 통해 구성 단어와 관련된 새로운 단어를 추가할 수도 있다. 예를 들어, 사용자가 테스트케이스의 등록을 위해 "길드"라는 용어를 선택하는 경우, 등록 도구 인터페이스(500) 상에 "길드"의 용어와 유사한 단어인 혈맹, 부족, 패밀리 등의 용어(520)가 제시될 수 있다. 또는, 사용자 추가 버튼(530) 이용하여 "길드"와 관련된 새로운 용어를 추가할 수도 있다. 사용자는 제시된 유사어를 통해 해당 테스트케이스에서 단어들을 용이하게 변경할 수 있고, 구성 단어가 변경된 테스트케이스를 등록 버튼(515)을 누름으로써 등록시킬 수 있다.

도 6 은 일 실시예에 따른 통계 분석 인터페이스의 일례를 도시하는 도면이다.

테스트케이스 작성 지원 인터페이스에서 사용자가 테스트케이스 통계 분석 탭(440)을 선택하면, 디스플레이를 통해 도 6에 도시된 것과 같은 통계 분석 인터페이스(600)가 제공될 수 있다. 통계 분석 인터페이스(600)에서는 다양한 게임들에서 이용된 테스트케이스들에 포함된 단어들의 빈도수에 대한 통계 분석 정보(610)가 디스플레이될 수 있다.

사용자는 테스트케이스의 통계 분석을 원하는 게임을 한 개 이상 선택(620)할 수 있고, 선택된 게임의 테스트케이스에서 자주 등장하는 단어에 대한 통계 분석 정보가 통계 분석 인터페이스(600)를 통해 제공될 수 있다. 예를 들어 “게임 A”“게임 B”“게임 C”의 게임들이 존재하고 사용자가 “게임 A”와 “게임 B”를 선택하였다고 가정한다. 사용자는 “진입”, “버튼”, “확인”, “이동”, “채팅”, “몬스터”, “활성화”와 같이 “게임 A”와 “게임 B”의 테스트케이스들에 사용된 단어들과 단어들의 빈도수에 대한 통계 정보를 제공받을 수 있다.

도 7은 일 실시예에 따른 서버의 구성을 도시하는 도면이다.

도 7을 참조하면, 서버(700)는 통신 인터페이스(710), 프로세서(720), 메모리(730)를 포함할 수 있다. 실시예에 따라, 서버(700)는 데이터베이스(740)를 더 포함할 수도 있다.

메모리(730)는 프로세서(720)에 연결되고, 프로세서(720)에 의해 실행가능한 인스트럭션들, 프로세서(720)가 연산할 데이터 또는 프로세서(720)에 의해 처리된 데이터를 저장할 수 있다. 메모리(730)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.

통신 인터페이스(710)는 외부 장치(예를 들어, 게임 유저 단말)와 통신하기 위한 인터페이스를 제공한다. 통신 인터페이스(710)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.

데이터베이스(740)는 테스트케이스 작성 지원 장치(700)가 동작하는데 필요한 데이터를 저장할 수 있다. 예를 들어, 데이터베이스(740)는 기존에 작성된 테스트케이스들에 대한 정보와 게임 용어 사전 정보 등을 저장할 수 있다.

프로세서(720)는 테스트케이스 작성 지원 장치(700) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행하고, 테스트케이스 작성 지원 장치(700)의 전체적인 동작을 제어한다. 프로세서(720)는 도 3에서 설명된 서버의 동작과 관련된 하나 이상의 동작을 수행할 수 있다.

예를 들어, 프로세서(720)는 사용자 단말로부터 쿼리 테스트케이스를 포함하는 사용자 입력에 대한 사용자 입력 정보를 수신할 수 있고, 기작성된 테스트케이스들 중에서 쿼리 테스트케이스와 연관된 하나 이상의 후보 테스트케이스를 추출할 수 있다. 프로세서(720)는 사용자 단말로부터 수신한 쿼리 테스트케이스와 기작성된 테스트케이스들 간의 유사도 분석을 통하여 쿼리 테스트케이스와 연관된 하나 이상의 후보 테스트케이스를 추출할 수 있다. 프로세서(720)는 추출된 하나 이상의 후보 테스트케이스에 대한 목록 정보를 사용자 단말에 전송하도록 제어할 수 있다.

도 8은 일 실시예에 따른 사용자 단말의 구성을 도시하는 도면이다.

도 8을 참조하면, 사용자 단말(800)은 프로세서(810), 메모리(820) 및 통신 인터페이스(830)를 포함한다. 실시예에 따라, 사용자 단말(800)은 사용자 입력 인터페이스(840) 및 디스플레이(850)를 더 포함할 수 있다.

메모리(820)는 프로세서(810)에 연결되고, 프로세서(810)에 의해 실행가능한 인스트럭션들, 프로세서(810)가 연산할 데이터 또는 프로세서(810)에 의해 처리된 데이터를 저장할 수 있다. 메모리(820)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.

통신 인터페이스(830)는 외부 장치(예를 들어, 서버)와 통신하기 위한 인터페이스를 제공한다. 통신 인터페이스(830)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.

사용자 입력 인터페이스(840)는 사용자에 의해 입력되는 사용자 입력을 수신한다. 일 실시예에서, 사용자 입력 인터페이스(840)는 쿼리 테스트케이스에 대한 사용자 입력을 수신할 수 있다. 디스플레이(850)는 프로세서(810)에 의해 실행되는 테스트케이스 작성 도구 인터페이스를 출력할 수 있다. 일 예에서, 디스플레이(850)는 모니터 또는 터치 스크린 디스플레이일 수 있다.

프로세서(720)는 도 2에서 설명된 사용자 단말의 동작과 관련된 하나 이상의 동작을 수행할 수 있다. 예를 들어, 프로세서(810)는 테스트케이스 작성 지원 인터페이스를 화면에 출력하도록 제어할 수 있다. 테스트케이스의 검색을 위한 쿼리 테스트케이스를 포함하는 사용자 입력을 수신하는 경우, 프로세서(810)는 서버에 사용자 입력에 대한 사용자 입력 정보를 전송하도록 제어할 수 있다. 사용자 입력 정보에 응답하여, 서버로부터 상기 쿼리 테스트케이스와 연관된 후보 테스트케이스의 목록 정보를 수신하는 경우, 프로세서(810)는 테스트케이스 작성 지원 인터페이스를 통해 수신한 후보 테스트케이스의 목록 정보를 디스플레이하도록 제어할 수 있다. 이 때, 후보 테스트케이스의 목록 정보와 함께 각 후보 테스트케이스와 쿼리 테스트케이스 간의 유사도를 함께 디스플레이될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (1)

1. 사용자 단말에 의해 수행되는 테스트케이스 작성 지원 방법에 있어서,
   테스트케이스의 검색을 위한 쿼리 테스트케이스를 포함하는 사용자 입력 수신하는 단계;
   서버에 상기 사용자 입력에 대한 사용자 입력 정보를 전송하는 단계;
   상기 사용자 입력 정보에 응답하여, 상기 서버로부터 상기 쿼리 테스트케이스와 연관된 후보 테스트케이스의 목록 정보를 수신하는 단계; 및
   테스트케이스 작성 지원 인터페이스를 통해 상기 수신한 후보 테스트케이스의 목록 정보를 디스플레이하는 단계
   를 포함하는,
   테스트케이스 작성 지원 방법.

Images