KR20220035801A - 테스트 서비스 제공 방법 - Google Patents

Abstract

테스트 서비스 제공 방법이 제공되며, 의뢰 단말로부터 테스트가 요구되는 객체에 대한 테스트 정보를 수신하는 단계, 객체 및 테스트 정보를 매핑하여 저장하고 객체를 적어도 하나의 테스터 단말로 배포하는 단계, 적어도 하나의 테스터 단말에서 객체를 실행한 결과인 테스트 참여 정보를 수집하는 단계, 테스트 참여 정보를 집계한 후, 테스트 참여 정보에 기반하여 적어도 하나의 테스터 단말로 보상을 지급하는 단계, 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성하는 단계 및 생성된 결과 리포트를 의뢰 단말로 전송하는 단계를 포함한다.

Description

테스트 서비스 제공 방법{METHOD FOR PROVIDING TEST SERVICE}

본 발명은 테스트 서비스 제공 방법에 관한 것으로, 베타테스터를 모집하고 사용자 의견을 취합하여 테스터 결과를 리포트로 생성하는 방법을 제공한다.

국내 게임산업의 가치사슬에 참여하고 있는 핵심 주체는 게임을 개발하는 개발사, 개발된 게임을 소비자에게 전달하는 퍼블리셔 그리고 네트워크서비스를 담당하는 인터넷서비스 제공자(ISP)가 포함되며 과금 서비스가 존재하는 경우 과금업체 또한 가치사슬에 포함된다. 게임이 개발되어 시장에서 출시되는 단계는 기획→개발→베타테스트 버전(알파/베타테스트)→상용화의 과정을 거친다. 개발사는 데모버전이나 알파테스트버전 단계에서 퍼블리셔 혹은 타 기관으로부터 투자를 받거나 라이선스 계약을 수행하며 이 단계에서 상표권의 등록 등이 이루어지고 베타테스트 기간은 평균적으로 3개월 정도 소요되며 게임 내 오류 수정 등의 작업이 이루어진다. 해당 과정이 소요되는 기간은 게임의 특성에 따라 다르며 상용화 이후의 과정에서는 게임의 관리와 업데이트 작업이 진행되는데 게임의 특성에 따라 상품의 수명주기가 상이하므로 관리 과정은 개발사에서 이루어지기도 하고 라이선스 계약을 통해 퍼블리셔에 의해 이루어지기도 한다.

이때, 베타테스트를 시스템 내에서 자동화하거나 그 결과를 모니터링하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2013-0043311호(2013년04월30일 공개) 및 한국공개특허 제2011-0110832호(2011년10월07일 공개)에는, 서버의 자동화 테스트를 수행하기 위하여, 수행조건 해석 수단에 의해, 소정 수행 조건의 적어도 일부를 해석하고, 이벤트 실행수단에 의해, 해석된 수행 조건에 해당하는 이벤트를 실행하기 위해, 스크립트 구문을 호출하여 이벤트를 실행하며, 결과 분석수단에 의해, 이벤트의 실행에 따른 결과 값을 서버로부터 수신하고, 결과 값을 기초로 서버의 결함 여부를 판단하는 구성과, 통신 장치의 그룹에 테스트 서비스 프로파일을 발급하되, 테스트 서비스 프로파일은 네트워크 상에서 서비스에 대한 테스트 서비스 프로파일의 베타 테스팅을 위해 제공되고, 테스트 서비스 프로파일은 서비스 정책 세팅을 포함하고, 테스트 서비스 프로파일을 기반으로 통신 장치의 그룹에 의한 서비스의 사용을 모니터링하는 구성이 각각 개시되어 있다.

다만, 서버에서 자동화 테스트를 진행하는 것 이외에는 실제로 테스터(Tester)들이 테스트를 진행하게 되고, 테스터는 실제 봇(Bot)이 아닌 사람이기 때문에 각자의 의견이 존재한다. 사람의 의견을 설문조사의 형식으로 피드백받지만, 이를 정량 데이터로만 수집하고 분석할 뿐, 정성 데이터로 수집 및 가공하는 방법은 여전히 원시적인 상태로 머물러 있다. 또, 베타테스터는 실제 게임을 이용하는 유저여야 하지만, 테스터를 가장한 알바가 난무하는 상황에서 퀄리티 있는 답변을 모으는 것도 쉽지 않은 일이다. 이에, 실제 유저들로 이루어진 테스터 풀을 기반으로 불성실한 응답을 제외한 객관적인 응답을 필터링하여 빠른 테스트 결과를 얻을 수 있는 플랫폼의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 테스트 요청 의뢰를 수신하는 경우 적어도 하나의 테스터 단말로 테스트 참여 이벤트를 수신하고, 테스트 결과 집계를 통하여 불성실 참여자를 필터링하며 보상지급 대상자를 선정하여 테스트 결과에 대한 보상을 지급하며, 불성실한 응답을 제외한 객관적인 응답을 입력으로 사용자의 의견을 분석함으로써 결과 리포트를 생성하고, 직관적으로 결과를 알아볼 수 있도록 다양한 시각화 도구를 이용하여 이를 의뢰 단말로 전달함으로써 효율적이면서도 빠른 테스팅 결과를 제공할 수 있는, 테스트 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 의뢰 단말로부터 테스트가 요구되는 객체에 대한 테스트 정보를 수신하는 단계, 객체 및 테스트 정보를 매핑하여 저장하고 객체를 적어도 하나의 테스터 단말로 배포하는 단계, 적어도 하나의 테스터 단말에서 객체를 실행한 결과인 테스트 참여 정보를 수집하는 단계, 테스트 참여 정보를 집계한 후, 테스트 참여 정보에 기반하여 적어도 하나의 테스터 단말로 보상을 지급하는 단계, 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성하는 단계 및 생성된 결과 리포트를 의뢰 단말로 전송하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 테스트 요청 의뢰를 수신하는 경우 적어도 하나의 테스터 단말로 테스트 참여 이벤트를 수신하고, 테스트 결과 집계를 통하여 불성실 참여자를 필터링하며 보상지급 대상자를 선정하여 테스트 결과에 대한 보상을 지급하며, 불성실한 응답을 제외한 객관적인 응답을 입력으로 사용자의 의견을 분석함으로써 결과 리포트를 생성하고, 직관적으로 결과를 알아볼 수 있도록 다양한 시각화 도구를 이용하여 이를 의뢰 단말로 전달함으로써 효율적이면서도 빠른 테스팅 결과를 제공할 수 있는, 테스트 서비스 제공 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 테스트 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 테스트 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 테스트 서비스를 이루는 구성요소를 기능적으로 모듈화한 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 테스트 서비스 중 테스트 의뢰 프로세스를 설명하기 위한 화면이다.
도 5는 본 발명의 일 실시예에 따른 테스트 서비스 중 테스트 참여 프로세스를 설명하기 위한 화면이다.
도 6은 본 발명의 일 실시예에 따른 테스트 서비스 중 테스트 결과 집계 및 리포트 생성 프로세스를 설명하기 위한 화면이다.
도 7은 본 발명의 일 실시예에 따른 테스트 서비스 중 테스트 참여 및 운영 프로세스를 설명하기 위한 화면이다.
도 8은 본 발명의 일 실시예에 따른 테스트 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 테스트 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 테스트 서비스 제공 시스템(1)은, 적어도 하나의 의뢰 단말(100), 테스트 서비스 제공 서버(300), 적어도 하나의 테스터 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 테스트 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 의뢰 단말(100)은 네트워크(200)를 통하여 테스트 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 테스트 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 의뢰 단말(100), 적어도 하나의 테스터 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 테스터 단말(400)은, 네트워크(200)를 통하여 테스트 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 의뢰 단말(100)은, 테스트 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 테스트를 의뢰하는 게임사 등의 단말일 수 있다. 이때 의뢰되는 객체는 게임에 한정되지는 않는다. 의뢰 단말(100)은 의뢰 객체에 대한 정보와, 결과를 받아보고자 하는 항목을 선택하거나 서비스의 종류를 선택한 후 테스트 서비스 제공 서버(300)로 업로드하고, 그 결과를 리포팅받아보는 단말일 수 있다.

여기서, 적어도 하나의 의뢰 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 의뢰 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 의뢰 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

테스트 서비스 제공 서버(300)는, 테스트 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 테스트 서비스 제공 서버(300)는, 의뢰 단말(100)로부터 테스트 의뢰를 수신하고, 테스터 단말(400)의 테스트 참여를 요청하며, 테스터 단말(400)의 테스트 결과를 수집하여 리포트를 생성한 후 의뢰 단말(100)로 전송하고, 테스터 단말(400)로는 보상을 지급하는 서버일 수 있다.

여기서, 테스트 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 테스터 단말(400)은, 테스트 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 테스터의 단말일 수 있다. 이때, 테스터 단말(400)은 버그를 신고하거나 테스터 객체를 테스트 해본 후 그 결과를 설문조사 등의 폼에 작성한 후 테스트 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 그리고, 적어도 하나의 테스터 단말(400)은, 테스트 서비스 제공 서버(300)로부터 보상을 받을 수도 있고, 불성실 테스터로 분류된 경우 보상을 받지 못하고 테스터 풀(Pool)에서 제외되는 단말일 수도 있다.

여기서, 적어도 하나의 테스터 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 테스터 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 테스터 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 테스트 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 내지 도 7은 본 발명의 일 실시예에 따른 테스트 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 테스트 서비스 제공 서버(300)는, 수신부(310), 배포부(320), 수집부(330), 지급부(340), 생성부(350) 및 전송부(360)를 포함할 수 있다.

본 발명의 일 실시예에 따른 테스트 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 의뢰 단말(100) 및 적어도 하나의 테스터 단말(400)로 테스트 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 의뢰 단말(100) 및 적어도 하나의 테스터 단말(400)은, 테스트 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 의뢰 단말(100) 및 적어도 하나의 테스터 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 수신부(310)는, 의뢰 단말(100)로부터 테스트가 요구되는 객체에 대한 테스트 정보를 수신할 수 있다. 이때, 테스트 정보는, 테스트 객체가 게임인 경우, 수신부(310)에서 베타테스트 게임정보 설문 및 베타테스트 사전정보 설문을 의뢰 단말(100)로 전송하고, 의뢰 단말(100)로부터 수신한 정보일 수 있다. 이때, 게임정보 설문은, 게임 이름, 게임 장르, 게임을 묘사하는 단어(키워드, 태그 등), 게임을 다운로드받거나 확인할 수 있는 링크, 게임 패키지의 이름, 테스트 카드 화면에 사용될 유저에게 보여질 게임이미지(스크린샷), 게임소개, 유저에게 보여질 테스트 목적, 유저가 미리 알아야 할 사항 등일 수 있으나 이에 한정되지는 않는다. 이때, 장르를 제외한 게임을 나타내는 단어는 게임을 묘사하는 단어일 수도 있다.

또, 사전정보 설문은, 주문번호, 결제금액, 결제방법, 구매플랜, 구매인원, 테스트 시작 날짜, 테스트 완료보상으로 아이템 지급이 가능한지 여부, 가능하다면 어떠한 아이템을 지급할 예정인지, 유저 1인에게 지급하는 아이템의 현금가치는 얼마인지, 아이템 전달방법은 무엇인지, 아이템 전달을 위해 필요한 정보는 무엇인지, 테스트 대상 게임의 개발 진행 단계는 어느 단계인지,세금계산서 발급을 위한 사업자등록증 사본 등일 수 있으나, 이 역시 나열된 것들로 한정되지는 않는다.

배포부(320)는, 객체 및 테스트 정보를 매핑하여 저장하고 객체를 적어도 하나의 테스터 단말(400)로 배포할 수 있다. 이때, 적어도 하나의 테스터 단말(400)로 바로 배포를 시작하기 위해서는 테스터 풀(Pool)이 미리 구축되어 있을 수도 있다. 초기에 테스터들을 모을 때에는 어느 테스터가 성실하고 불성실한지를 확인할 수 없고, 또 성실한 테스터라도 때와 상황에 따라 불성실한 테스터가 될 수도 있고 그 역도 가능하므로 우선은 각 게임을 하는 유저들을 모아서 인력풀을 만드는 것이 우선이다. 물론, 참여 의사가 있는 사람들로부터 요청을 받는 것도 가능하다. 만약 각 테스터들이 테스트한 결과에 따라 테스터들을 평가할 수 있다면 이 기초를 바탕으로 이후 테스터를 선별적으로 모을 수도 있게 된다.

수집부(330)는, 적어도 하나의 테스터 단말(400)에서 객체를 실행한 결과인 테스트 참여 정보를 수집할 수 있다. 수집부(310)에서 적어도 하나의 테스터 단말(400)에서 게임 테스트와 관련된 미션에 참여한 결과 데이터를 수집할 수 있다. 여기서, 미션은 예를 들어, 사전 참여 신청, 테스트에 필요한 게임 및 프로그램 설치, 플레이를 포함한 실행, 피드백 작성 등이 있을 수 있으며 이 역시 나열된 것들로 한정되지는 않는다.

수집부(330)는, 적어도 하나의 테스터 단말(400)에서 객체를 실행한 결과인 테스트 참여 정보를 수집할 때, 적어도 하나의 테스터 단말(400)에서 버그 리포트(Bug Report)가 존재하는 경우, 적어도 하나의 테스터 단말(400)의 기기 정보를 수집하고, 수집된 기기 정보를 버그 리포트와 매핑하여 저장할 수 있다. 대부분 버그 리포트를 할 때 테스터들은 버그 리포트 버튼을 누른 후 자연어로 상황을 설명하는 것에 그치기 때문에, 테스터 단말(400)의 사양을 자동으로 읽어온다고 할지라도 정확히 개발자들이 어느 부분에서 어떻게 버그가 발생했는지를 파악하기가 어려운 경우가 많다. 또, 실제로 테스터와 개발자가 통화를 하면서 해당 상황을 원격에서 보는 경우라도 그 상황이 정확히 재현이 되지 않는 경우라면 개발자가 오류를 찾아내는 것은 요원한 일이 되어버린다.

이때, 개발자가 버그리포트와 관련된 결함을 추적하는 시간을 단축시켜 궁극적으로 유지보수 비용과 시간을 단축시켜주기 위해 정보검색기반 결함위치식별(Information Retrieval-based Bug Localization, IR-BL) 기술을 이용할 수도 있다. 정보검색 기술은 사용자가 원하는 정보와 관련된 키워드들을 쿼리로 입력하여 문서 집합으로부터 관련이 있는 정보를 얻기 위한 기술이다. 위 기술에 기반한 IR-BL은 쿼리를 버그리포트로 활용하고 문서 집합을 소스파일들로 대응시켜, 버그리포트와 관련된 정보로써 결함으로 의심되는 소스파일을 찾는 것을 목표로 한다. 예를 들어, 버그리포트가 입력되면 버그리포트와 소스파일 집합들은 전처리 과정을 통해 검색이 가능한 일괄적인 형태로 만든다. 전처리 이후의 버그리포트와 소스파일 집합들은 정보검색 모델을 통해 결함으로 의심되는 소스파일들을 순위화하여 보여준다.

IR-BL 기술들은 주로 벡터 공간 모델(VectorSpace Model, VSM)을 사용하여 버그리포트와 소스파일간 유사도를 계산하는 것을 기본으로 한다. 이때, 자연어로 구성된 버그리포트를 게임 기획서나 TC(Test Cases), Usecases(사용자 명세) 등의 게임 구성요소를 표현할 수 있는 문서와 매칭할 수 있다. VSM은 문서들 사이에 동일한 단어들의 개수를 기준으로 문서 간 유사도를 계산한다. 이는 버그리포트에 작성된 내용에 버그리포트와 관련된 소스파일에 존재하는 단어들이 충분히 존재하지 않으면, IR-BL의 성능이 크게 저하될 수 있는 문제를 가지고 있다. 위와 같은 VSM 한계에 따른 IR-BL의 성능 저하를 막기 위해 품질이 향상된 버그리포트를 쿼리로 사용하게 되면 IR-BL의 성능 향상을 기대할 수 있다.

덧붙여서, 수집부(330)에서 적어도 하나의 테스터 단말(400)에서 객체를 실행한 결과인 테스트 참여 정보를 수집할 때, 적어도 하나의 테스터 단말(400)에서 버그 리포트 이벤트가 발생한 경우, 적어도 하나의 테스터 단말(400)에서 버그 리포트 이벤트가 발생하기 기 설정된 시간 동안의 시계열적인 화면을 추출하여 버그 리포트 이벤트와 매핑하여 저장할 수 있다. 버그 리포트 이벤트는 객체가 적어도 하나의 테스터 단말(400)에서 실행되는 동안 기 설정된 위치 또는 적어도 하나의 테스터 단말(400)에서 지정한 위치에 플로팅(Floating) 및 오버레이되는 아이콘 또는 버튼을 선택하는 것으로 발생되는 이벤트일 수 있다. 즉, 소스파일의 품질이 좋지 못한 경우나 백문이 불여일견인 경우를 고려하여, 베타테스트 모드로 구동될 때에는 버그 리포트 아이콘이 선택되기 이전까지를 계속하여 테스터 단말(400)의 화면을 녹화해두고 버그 리포트 아이콘이 선택되면 이렇게 녹화된 화면을 함께 전송할 수도 있다. 만약 기 설정된 시간 동안 버그 리포트 아이콘이 선택되지 않는다면, 현시점을 기준으로 오래된 화면들은 삭제하는 방식으로 메모리 용량을 가볍게 할 수도 있다. 실제로 오류를 개발자에게 보고를 하더라도 이런 경우가 발생할 수 없다는 응답을 듣거나 개발자에게 보여주려고 해도 오류가 정확히 재현되지 않는 경우가 발생하므로 베타테스트 모드에서는 이를 계속하여 추적녹화하다가 이벤트가 발생하는 경우 버그가 발생했던 시간을 기준으로 기 설정된 간격만큼 녹화된 동영상을 서버로 자동으로 업로드시킴으로써 해당 오류를 개발자가 정확히 파악할 수 있도록 구현될 수도 있다.

예를 들어 테스터 단말(400)에서 A 게임을 구동하는 경우 A 게임을 진행하는 장면을 화면 녹화 또는 마우스 트래킹 등을 이용하여 화면구동상황과 각종 버튼이 입력되는 상황 모두를 수집하여 두도록 제어한다고 가정하자. 이때, 테스터 단말(400)에서 구동한지 10분이 되는 때 버그 리포트 아이콘이 선택되었다면, 10분을 기준으로 0분부터 10분까지의 모든 녹화분과 각종 키스트로크를 시간에 동기화되도록 메타데이터로 매핑하여 모두 전송하거나 오류로그가 발생했던 지점을 기준으로 앞뒤로 예를 들어, 3분 등 시간이나 이벤트를 기준으로 데이터를 추출하여 수집부(330)로 전송하도록 할 수 있다.

지급부(340)는, 테스트 참여 정보를 집계한 후, 테스트 참여 정보에 기반하여 적어도 하나의 테스터 단말(400)로 보상을 지급할 수 있다. 이때, 불성실하게 대답한 테스터에게는 보상이 지급되지 않을 수도 있다. 불성실함이란 설문조사에서 기 설정된 글자수를 채우지 않았을 때를 의미할 수 있다. 이때, 불성실 응답자란 단답형 등 내용을 파악하기 어렵게 응답하는 응답자일 수도 있다. 또, 불성실 이라는 단어를 정의하는 실시예에 따라 이하의 항목은 변경 및 추가될 수도 있다

또, 불성실 응답자의 예를 들면, (1) 문항을 읽지 않고 마음대로 작성하는 응답자, (2) 단답형 등 내용을 파악하기 어렵게 응답하는 응답자, (3) 결측값이 많은 응답자 등으로 생각할 수 있다. 이러한 불성실 응답자를 판별하기 위한 변수들은 많이 있을 수 있지만, 예를 들어 (1) 응답 소요시간, (2) 응답 패턴, (3) 응답시간, (4) 성별, (5) 연령, (6) 응답기기(PC, Mobile), (7) 부정응답 횟수(예: 반드시 체크를 해야 하는 경우에 체크를 하지 않은 경우 등)를 고려할 수도 있다. 물론, 불성실이라는 단어를 정의하는 실시예에 따라 상술한 항목은 변경 및 추가될 수도 있다.

상술한 실시예를 예로 들면, 인공지능신경망(Artificial Neural Network; ANN)을 이용하여 상술한 항목을 통하여 불성실 응답과 성실 응답을 예측해낼 수 있도록 모델링시킬 수도 있다. 예를 들어, 실제 설문조사데이터 설문 항목과 동일한 항목에 응답하게 만든 데이터로서 불성실(False) 응답 사례와 성실(True) 응답 사례로 데이터셋을 만들고 이를 학습 및 훈련시키는 것이다. 이때, 인공지능신경망은, 다층 퍼셉트론 구조를 가진다. 입력변수에 대응되는 노드(노드의 수 = 입력변수의 개수)인 입력계층과 입력층으로부터 전달되는 변수 값들의 선형결합을 비선형 함수로 처리하여 출력층 또는 다른 은닉층으로 전달하는 은닉계층 그리고 목표변수에 대응되는 노드가 있는 출력계층으로 구성된다. 훈련 집합이 주어지면 가중치를 자동으로 추정하여 신경망을 구성하며, 이러한 과정을 학습(training)이라 한다. 이러한 측면에서 인공신경망모형은 일종의 블랙박스모형으로 간주할 수 있다. 인공신경망모형은 입력변수와 출력변수 간의 정확한 인과관계를 표현하지 못한다는 단점이 있어 변수간의 명백한 규칙을 규명하기는 어렵다는 한계가 있으나, 특이치가 있거나 불규칙한 모형에서도 우수한 예측력을 지닐 수 있다. 다만, 예측을 위한 알고리즘도 상술한 종류에만 한정되는 것은 아니고 다양한 알고리즘을 이용가능함은 자명하다 할 것이다.

생성부(350)는, 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성할 수 있다. 생성부(350)에서 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성할 때, 적어도 하나의 테스터 단말(400)에서 입력한 설문조사에 응답한 결과를 분석하고, 의뢰 단말(100)에서 의뢰 단말(100)에서 요청한 응답인원 수에 맞추어 설문조사의 표본을 추출하며, 추출된 표본을 기반으로 기 저장된 테스트 데이터와 비교가능한 지표를 도출하여 분석 결과를 시각화할 수 있다. 생성부(350)는 적어도 하나의 테스터 단말(400)에서 입력한 설문조사에 응답한 결과를 분석할 때, 설문조사 중 객관식은 문항별 카테고리 및 항목선택여부를 포함하는 결과를 체크하고, 설문조사 중 주관식은 자연어처리(NLP)를 기반으로 분석 결과를 도출할 수 있다. 또, 생성부(350)는, 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성할 때, 적어도 하나의 테스터 단말(400)에서 입력한 설문조사에 응답한 결과 중 주관식 응답을 분석하여 워드 클라우드(Word Cloud)를 생성할 수 있다.

생성부(350)는 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성할 때, 테스터 참여 정보 중 설문조사에 응답한 결과를 데이터마이닝하고, 응답한 결과 중 주관식 응답은 TF-IDF(Term Frequency-Inverse Document Frequency)에 기반하여 키워드를 추출하는 방식으로 데이터마이닝을 실시할 수 있다. TF-IDF는, 정보 검색과 텍스트 마이닝에서 이용하는 가중치로, 여러 문서로 이루어진 문서군이 있을 때 어떤 단어가 특정 문서 내에서 얼마나 중요한 것인지를 나타내는 통계적 수치이다. 단어 빈도(Term Frequency)는 특정 단어가 문서 내에 얼마나 자주 등장하는지를 나타내는 값이며, 역문서 빈도(Inverse Document Frequency)는 다른 문서에는 많지 않고 해당 문서에서 자주등장하는 단어를 의미한다. TF-IDF의 값은 단어 빈도와 역문서 빈도의 곱으로 사용한다.

TF는 기본적으로 문서 내의 단어 총 빈도수를 사용해 계산할 수 있지만 단어수가 많아질 경우 값이 지속적으로 커질 수 있기 때문에, 불린 빈도(Boolean Frequency)를 이용하여 단어의 출현 여부만으로 TF 값을 0과 1로 정의할 수 있다. 또는, 로그 스케일 빈도(Logarithmically Scaled Frequency)를 이용하여 TF 값에 로그를 취함으로써 문서의 크기 해결도 하고 실제 빈도수도 반영할 수 있다. 마지막으로, 증가 빈도(Augmented Frequency)를 이용함으로써, 문서 길이에 따른 단어의 상대적 빈도를 나타내는 방식으로 최대 스케일이 1을 넘지 않도록 할 수도 있다. 결과적으로, TF-IDF는 단어가 특정 문서 내에서 빈도수가 높고 전체 문서 중 해당 단어가 포함된 문서가 적을수록 높아진다. 이를 통해 모든 문서에서 자주 나타나는 단어들을 걸러낼 수 있다.

전송부(360)는, 생성된 결과 리포트를 의뢰 단말(100)로 전송할 수 있다.

이하, 상술한 도 2의 테스트 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 내지 도 7을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3은 본 발명의 일 실시예에 따른 테스트 서비스를 이루는 구성요소를 기능적(Functional)으로 모듈화한 일 실시예를 설명하기 위한 도면이다. 도 3을 참조하면, 테스트 의뢰자의 의뢰 단말(100)에서 테스트 정보를 입력하면, 테스트 서비스 제공 서버(300) 중 테스트 의뢰 모듈은 이를 입력받아 테스트 운영 모듈로 전달하고, 테스트 운영 모듈에서 이를 테스터들이 참여할 수 있는 형태로 변경하여 테스트 참여 모듈로 배포할 수 있다. 이때, 각 테스터는 테스터 참여 모듈을 통하여 테스트 정보를 확인하며 테스트에 참여할 수 있고, 테스트 참여 정보는 테스트 운영 모듈을 통하여 테스트 결과 집계 모듈로 수집될 수 있다. 테스트 결과 집계 모듈에서 테스트 참여 정보를 확인하여 불성실 참여자를 가려내고, 보상 지급 대상자 정보를 테스트 운영 모듈로 전달하고, 결과 리포트 생성에 필요한 테스트 결과 데이터를 결과 리포트 생성 모듈로 전달할 수 있다.

한편, 테스트 결과 집계 모듈에서 전달된 보상 지급 대상자 정보는 보상 지급 모듈로 전달되고, 보상 지급 모듈은 이를 이용하여 테스터들에게 보상을 지급할 수 있으며, 결과 리포트 생성 모듈은 전달받은 테스트 결과 데이터를 이용하여 결과 리포트를 생성하고 테스트 의뢰자에게 전달할 수 있다.

<의뢰인의 의뢰 단계>

이하 도 4 내지 도 7은 상술한 도 3의 기능적 모듈과 연동하여 설명한다. 도 4는 본 발명의 일 실시예에 따른 테스트 서비스 중 테스트 의뢰 프로세스를 설명하기 위한 화면이다. 이때, 도 4a의 테스트 의뢰 모듈 중 테스트 플랜 구매 페이지는, 결제 모듈과 연동되어 테스트 플랜을 구매할 수 있는 페이지이며, 테스트 플랜 및 프로세스를 포함한 전반적인 정보를 확인할 수 있다. 도 4b의 테스트 의뢰 모듈 중 테스트 정보 입력 설문 페이지는, 테스트 진행에 필요한 정보들을 입력받는 설문조사를 하는 페이지로, 구매 플랜, 테스트 시작 날짜, 인원, 회사정보, 담당자 정보, 게임정보 및 다운로드 경로 등을 포함할 수 있으며, 주문 번호로 식별된다.

도 4c를 참조하면, 테스트 운영 모듈인 운영 페이지에서 테스트 등록 후 기본 정보설문을 통해 입력받은 정보를 기반으로 테스트 서비스 제공 서버(300)에 테스트 등록하기 위한 화면이다. 이는 본 발명의 일 실시예에 따른 애플리케이션에 보여지기 위한 정보, 즉 테스터 단말(400)에게 제공할 정보를 의뢰 단말(100)에서 입력하는 화면의 일 실시예이다. 도 4d를 참조하면, 테스트 운영 모듈에서 테스트 등록 후 의뢰 게임 정보를 입력하는 화면이다. 이때, 구글 플레이 또는 앱스토어에 등록된 애플리케이션 아이콘을 가져와서 입력할 수 있다.

계속해서 도 4e는 테스트 운영 모듈에서 테스트 등록 후 리워드를 등록하는 화면인데, 테스트 참여 시 받을 수 있는 보상 정보에 대해 입력하는 단계에 대응하는 화면이다. 도 4f는 테스트 운영 모듈에서 테스트 등록 후 미션을 등록하는 화면인데, 테스트 완료를 위해 수행해야 하는 미션들을 추가하는 화면이다. 도 4g는 미션을 등록할 때 미션 정보를 더 기입하는 부분인데, 미션별로 타입에 따라 수행해야 하는 동작이나 안내를 각각 다르게 구성할 수 있다. 도 4를 통하여 테스트 서비스 제공 서버(300)에서 의뢰 단말(100)로부터 테스트 객체에 대한 정보를 다 받았으면, 이제는 이하 도 5와 같이 테스터 단말(400)에서 참여하고 보상을 받고 미션을 수행하는 과정을 진행하게 된다.

<테스터의 테스트 단계>

도 5a를 참조하면, 테스터 단말(400)은 현재 참여 가능한 테스트를 확인할 수 있고, 테스트 운영 모듈에 의해 등록된 테스트가 테스트 목록, 즉 도 5a의 하단에 <100> 영역에 보여지게 된다. 도 5a에 표시된 배너 <200>는 공지나 이벤트 등 다양한 내용이 게시될 수 있다. 도 5b를 참조하면, 버스 제보 버튼을 통하여 게임에 대한 버그를 제보할 수 있도록 구성된다. 설문에는 버그 상황을 설명하는 본문, 스크린샷, 동영상 등의 입력이 가능하며, 상술한 바와 같이 자동으로 화면을 녹화한 상태에서 버튼만 누르면 오류 로그를 기준으로 동영상을 추출하거나 IR-BL를 이용하여 자동으로 추출할 수 있도록 구성할 수도 있다.

도 5c를 참조하면, 외부 공유 기능을 통하여 현재 테스트에 대한 정보와 테스트에 참여할 수 있는 링크를 카톡 등과 같은 외부에 공유할 수 있고, 도 5d와 같이 테스트 카드를 선택하는 경우 테스트에 대한 상세 정보를 확인할 수 있는 페이지로 전환될 수 있도록 구성될 수도 있다. 도 5e와 같이 상세 페이지에는 게임 정보와 테스트 진행 방법, 보상, 수행할 수 있는 미션 등의 테스트 정보가 표시된다. 도 5f와 같이 미션별로 표시된 설명대로 행동을 취하면 해당 미션이 완료되도록 프로세스가 구성될 수 있고, 도 5g 와 같이 미션이 완료되면 해당 미션에서 완료 여부를 확인할 수 있고 다음 미션을 수행할 수 있도록 구성될 수 있다. 또한, 미션 완료 시 별도의 알림메세지 등을 통하여 완료 여부를 인지할 수 있도록 구성될 수도 있다. 또, 설치 미션의 경우 게임 설치 후 인증을 시도하면, 해당 게임의 기기내 설치 여부를 확인 후 미션 완료 처리를 할 수 있다. 이때, 설치 여부 확인은 안드로이드 또는 iOS API를 활용하거나 게임 플레이 이미지 및 영상 자료 유사도 판단 등의 기법을 활용할 수 있다.

도 5h와 같이 플레이 여부를 확인하는 미션의 경우에는 플레이 증거를 전송 및 제출할 수 있다. 이때, 플레이 증거는 스크린 샷, 영상 등의 미디어 형태의 데이터 또는 플레이 데이터 등의 실제 플레이 여부를 판단할 수 있는 모든 데이터를 포함한다. 도 5i는 플레이 후 소감을 작성하는 화면으로, 게임 플레이 후 테스터가 피드백을 작성할 수 있다. 도 5j는 테스터 단말(400)에서 모든 미션을 완료하는 경우 테스트 목록에서 참여 완료 처리가 되었음을 확인할 수 있고, 다른 베타테스트에 참여하고 싶다면 다른 모집 목록을 보고 계속하여 참여할 수 있다.

<테스트 결과 분석 및 리포트 생성 단계>

도 4를 통하여 의뢰 단말(100)에서 의뢰를 하고, 도 5를 통하여 테스터 단말(400)에서 테스트가 완료되었으면, 도 6을 통해 테스트 서비스 제공 서버(300)는 결과를 집계하고 분석 및 정리하여 리포트를 생성해야 한다.

도 6a를 참조하면, 테스트 결과 집계 모듈에서 테스트 응답을 연결한 화면이고, 테스터들이 입력한 설문응답을 집계 모듈에 연결하여 문항별로 카테고리나 선택 여부 등을 체크할 수 있다. 도 6b를 참조하면, 테스트 결과 집계 모듈에서 주관식 종합 및 불성실 판단 과정인데, 주관식 문항들을 자동으로 추출하고, 주관식 응답들의 평균 글자 수를 계산하여 불성실 여부를 판단할 수 있다. 도 6c는 결과 리포트 생성 모듈에서 표분을 추출하는 화면인데, 요청한 응답인원 수에 맞추어 표본을 추출하게 된다. 이때, 표본을 추출하는 기준은 응답 길이, 응답 순서, 데모그라픽 정보 등이 있을 수 있다. 도 6를 참조하면 결과 리포트 생성 모듈에서 테스트 지표를 추출하고 첫 페이지를 생성하는 화면인데, 진행된 테스트와 본 발명의 일 실시예에 따른 플랫폼에서 진행된 테스트 데이터를 가져와서 비교할 수 있는 지표들을 도출하고 보고서의 첫 페이지를 생성할 수 있다.

도 6e는 결과 리포트 생성 모듈에서 문항별 응답을 취합하는 화면으로, 객관식 문항은 차트 등의 결과를 시각화할 수 있는 그림과 연결될 수 있으며 주관식 문항의 응답과 연관지어 해석할 수 있도록 병렬배치한다. 도 6f를 참조하면, 결과 리포트 생성 모듈에서, 버그 제보 응답과 기기 정보를 연결하는 화면이다. 본 발명의 일 실시예에 따른 애플리케이션을 통하여 버그 제보자인 테스터 단말(400)의 기기 정보를 수집하고, 수집된 기기 정보는 버그 제보에 연결되어 보고서에 추가될 수 있다. 도 6g를 참조하면, 결과 리포트 생성모듈에서 생성한 결과보고서 이다. 의뢰 단말(100)에서 요청한 서비스에 따라 다양한 맞춤 보고서를 제작 후 의뢰 단말(100)로 전달할 수 있다. 도 6h는 테스트 운영 모듈에서 테스트 에필로그를 등록하고 수정할 수 있는 화면이다.

<테스트 보상 단계>

도 7은 테스트 참여 모듈에서 테스트 결과를 테스터에게 공표하는 화면이다. 시상식을 통하여 테스터 피드백에 대한 의뢰 단말(100)로부터 입력받은 의뢰인의 소감과 의뢰 단말(100)에서 각종 수상정보를 공개하는 화면이다. 도 7b는 테스트 결과 화면으로서 선정된 테스터의 정보, 선정 이유 그리고 보상정보 등이 포함될 수 있다. 도 7c는 테스트 운영 모듈에서 수상자를 관리할 수 있는 화면이다. 도 7d를 참조하면, 테스트 운영 모듈에서 수상자를 관리하는 화면인데, 보상 지급 모듈에서 사용할 수상자들 정보 목록을 자동으로 생성하게 된다. 도 7e를 참조하면, 보상 지급 모듈은 도 7d에서 생성된 목록을 가지고 보상, 예를 들어 포인트, 게임 내 재화, 문화상품권 등의 형태로 지급될 수 있다. 운영 모듈에서 생성한 지급 대상자 리스트를 이용하여 보상을 발송할 수 있다.

이와 같은 도 2 내지 도 7의 테스트 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 테스트 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 8은 본 발명의 일 실시예에 따른 도 1의 테스트 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 8을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 8에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 8을 참조하면, 테스트 서비스 제공 서버는, 의뢰 단말로부터 테스트가 요구되는 객체에 대한 테스트 정보를 수신한다(S8100).

그리고, 테스트 서비스 제공 서버는, 객체 및 테스트 정보를 매핑하여 저장하고 객체를 적어도 하나의 테스터 단말로 배포하고(S8200), 적어도 하나의 테스터 단말에서 객체를 실행한 결과인 테스트 참여 정보를 수집한다(S8300).

또, 테스트 서비스 제공 서버는, 테스트 참여 정보를 집계한 후, 테스트 참여 정보에 기반하여 적어도 하나의 테스터 단말로 보상을 지급하며(S8400), 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성한다(S8500).

마지막으로, 테스트 서비스 제공 서버는, 생성된 결과 리포트를 의뢰 단말로 전송한다(S8600).

상술한 단계들(S8100~S8600)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S8100~S8600)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 8의 테스트 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 7을 통해 테스트 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 8을 통해 설명된 일 실시예에 따른 테스트 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 테스트 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 테스트 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

1. 테스트 서비스 제공 서버에서 실행되는 테스트 서비스 제공 방법에 있어서,
   의뢰 단말로부터 테스트가 요구되는 객체에 대한 테스트 정보를 수신하는 단계;
   상기 객체 및 테스트 정보를 매핑하여 저장하고 상기 객체를 적어도 하나의 테스터 단말로 배포하는 단계;
   상기 적어도 하나의 테스터 단말에서 상기 객체를 실행한 결과인 테스트 참여 정보를 수집하는 단계;
   상기 테스트 참여 정보를 집계한 후, 상기 테스트 참여 정보에 기반하여 상기 적어도 하나의 테스터 단말로 보상을 지급하는 단계;
   상기 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성하는 단계; 및
   상기 생성된 결과 리포트를 상기 의뢰 단말로 전송하는 단계;
   를 포함하는 테스트 서비스 제공 방법.
   
2. 제 1 항에 있어서,
   상기 적어도 하나의 테스터 단말에서 상기 객체를 실행한 결과인 테스트 참여 정보를 수집하는 단계에서,
   상기 적어도 하나의 테스터 단말에서 게임 테스트와 관련된 미션에 참여한 결과 데이터를 수집하고, 상기 미션은 사전 참여 신청, 테스트에 필요한 게임 및 프로그램 설치, 플레이를 포함한 실행 및 피드백 작성 중 어느 하나 또는 적어도 하나의 조합을 포함하는 미션인 것인, 테스트 서비스 제공 방법.
   
3. 제 1 항에 있어서,
   상기 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성하는 단계는,
   상기 적어도 하나의 테스터 단말에서 입력한 설문조사에 응답한 결과를 분석하는 단계;
   상기 의뢰 단말에서 요청한 응답인원 수에 맞추어 상기 설문조사의 표본을 추출하는 단계;
   상기 추출된 표본을 기반으로 기 저장된 테스트 데이터와 비교가능한 지표를 도출하여 분석 결과를 시각화하는 단계;
   를 포함하는 것인, 테스트 서비스 제공 방법.
   
4. 제 3 항에 있어서,
   상기 적어도 하나의 테스터 단말에서 입력한 설문조사에 응답한 결과를 분석하는 단계는,
   상기 설문조사 중 객관식은 문항별 카테고리 및 항목선택여부를 포함하는 결과를 체크하고, 상기 설문조사 중 주관식은 자연어처리(NLP)를 기반으로 분석 결과를 도출하는 단계;
   를 포함하는 것인, 테스트 서비스 제공 방법.
   
5. 제 1 항에 있어서,
   상기 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성하는 단계는,
   상기 적어도 하나의 테스터 단말에서 입력한 설문조사에 응답한 결과 중 주관식 응답을 분석하여 워드 클라우드(Word Cloud)를 생성하는 단계;
   를 포함하는 것인, 테스트 서비스 제공 방법.
   
6. 제 1 항에 있어서,
   상기 적어도 하나의 테스터 단말에서 상기 객체를 실행한 결과인 테스트 참여 정보를 수집하는 단계는,
   상기 적어도 하나의 테스터 단말에서 버그 리포트(Bug Report)가 존재하는 경우, 상기 적어도 하나의 테스터 단말의 기기 정보를 수집하는 단계;
   상기 수집된 기기 정보를 상기 버그 리포트와 매핑하여 저장하는 단계;
   를 포함하는 것인, 테스트 서비스 제공 방법.
   
7. 제 1 항에 있어서,
   상기 적어도 하나의 테스터 단말에서 상기 객체를 실행한 결과인 테스트 참여 정보를 수집하는 단계는,
   상기 적어도 하나의 테스터 단말에서 버그 리포트 이벤트가 발생한 경우, 상기 적어도 하나의 테스터 단말에서 상기 버그 리포트 이벤트가 발생하기 기 설정된 시간 동안의 시계열적인 화면을 추출하여 상기 버그 리포트 이벤트와 매핑하여 저장하는 단계;
   를 포함하는 것인, 테스트 서비스 제공 방법.
   
8. 제 7 항에 있어서,
   상기 버그 리포트 이벤트는 상기 객체가 상기 적어도 하나의 테스터 단말에서 실행되는 동안 기 설정된 위치 또는 상기 적어도 하나의 테스터 단말에서 지정한 위치에 플로팅(Floating) 및 오버레이되는 아이콘 또는 버튼을 선택하는 것으로 발생되는 이벤트인 것인, 테스트 서비스 제공 방법.
   
9. 제 1 항에 있어서,
   상기 테스터 참여 정보에 기반하여 테스트 결과 리포트를 생성하는 단계는,
   상기 테스터 참여 정보 중 설문조사에 응답한 결과를 데이터마이닝하고, 상기 응답한 결과 중 주관식 응답은 TF-IDF(Term Frequency-Inverse Document Frequency)에 기반하여 키워드를 추출하는 방식으로 데이터마이닝을 실시하는 것인, 테스트 서비스 제공 방법.
   
10. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.

Images