KR20180016069A - 일반인을 크라우드 시험자로 활용하여 앱을 시험하는 실시간 앱 시험팀 구성과 시험 방법 - Google Patents

Abstract

불특정 다수를 대상으로 크라우드 시험 팀을 구성하는데 의뢰인 입장에서 가장 중요한 것은 원하는 시험자들을 단시간(1시간 이내) 구성하고 실시간으로 대화하듯이 시험을 시행할 수 있어야 한다는 점이다. 이런 점을 반영하여 본 서버의 핵심 방법은 먼저 1단계로 크라우드 시험자 풀에서 의뢰자가 원하는 테스트 스튜디오를 실시간으로 구성한 후 2단계로 그 스튜디오에서 참여한 시험자들을 대상으로 앱을 시험하고 결과를 분석하는 것이다.
1단계 실시간 테스트 팀 구성단계에서는 의뢰인이 원하는 테스트 스튜디오를 신청하면 서버는 실시간으로 참여의사가 있는 테스트의 허락을 받아 테스트 스튜디오를 생성해 준다. 본 발명에서 핵심이 되는 사항은 바로 이 부분으로 크라우드 시험자들의 참여 마일리지를 우선으로 하여 앱을 이용한 push방식으로 참여 여부를 물어보고 참여의사가 있는 시험자를 확인하기 때문에 단시간 내에 시험자를 모을 수 있다는 점이 차별화되는 방법이다. 이렇게 원하는 시험스튜디오가 생성되면 2단계로 본격적으로 원하는 시험을 시행하는 것이다. 앱 시험의 절차는 의뢰자가 앱을 테스트하는 시나리오에서 최소 단위로 작업지시서를 작성하여 스튜디오에 참여한 시험자들이 보유하고 있는 앱에 보내면 알림이 뜨게 되고 시험자는 지시대로 작업을 수행하고 앱을 통하여 결과보고를 한다. 의뢰인은 작업지시서를 동시에 여러 개 보낼 수 있고 앱 시험자는 각 작업지시서 단위로 시험을 실시하여 결과 보고를 하여야 한다. 그런 중에 의뢰자는 서버에 모인 시험결과를 분석하고 자신의 앱을 수정하여 다시 시험작업을 요청하는 과정을 반복한다. 본 발명은 실제 시험단계에서도 앱(105)을 활용하여 시험에 참여하기 때문에 실시간으로 의뢰인과 같은 장소에 있는 것처럼 대화하는 식으로 시험에 참여하기 때문에 시험의 비용절감뿐만 아니라 시험시간도 단축하고 시험도 용이하다는 차별성이 있다.

Description

일반인을 크라우드 시험자로 활용하여 앱을 시험하는 실시간 앱 시험팀 구성과 시험 방법 {The method of forming app test team in real time and conducting app test using public crowd testers}

본 발명은 웹이나 앱의 품질 검사를 위한 크라우드 앱 시험 시스템에 관한 것으로 다수의 일반 사용자들이 어플리케이션 프로그램의 품질 검사(quality assurance)에 참여하게 하여 저렴한 비용으로 어플리케이션 프로그램의 품질을 향상 시키려고 하는 것이다. 본 시스템의 특징은 앱을 실제로 사용할 일반 사용자를 시험에 참여하게 하고 일반 사용인들의 실제 기기에서 동작되는 결과를 수집하여 반영함으로 앱의 기능적인 시험뿐만 아니라 사용자의 의견을 반영하여 사용성도 시험할 수 있기 때문에 앱의 품질을 실사용자의 눈에 맞게 향상시킬 수 있는 시스템이다. 또한 실사용자 그룹이 마켓에 출시하기 이전에 미리 사용하고 의견을 제시한 것이라서 부가적으로 어플리케이션 프로그램의 광고 효과는 얻을 수 있는 서버 및 방법에 관한 것이다.

스마트 기기(스마트 폰, 테블릿 PC, 노트 등)의 어플리케이션 프로그램이 처음 등장한 이후, 경쟁이 심해지고 있으며, 어플리케이션 프로그램의 성공요소는 아이디어뿐만 아니라 기능이 완벽해야 하고 사용하기도 편리해야만 하는 시대가 되었다. 즉 현재 어플리케이션 프로그램의 경우 좋은 아이디어만 가지고는 성공하기 어렵고 추가적으로 홍보도 잘 해야하고 기능도 완벽하면서도 편리하게 되어야 성공할 수 있다.

따라서, 현재 및 향후에는 개발된 어플리케이션 프로그램을 철저하게 검증한 후에 시장에 출시해야 하는 상황이 되었으며, 이를 위해서는 품질 검사(QA: Quality Assurance) 과정이 중요한 역할을 담당한다.

그러나, 대다수 앱 개발 회사나 개인들은 앱 시험을 위한 체계와 기술을 갖추지 못할 뿐만 아니라 비용 때문에 자체 품질 검사 팀과 시험 장비를 갖추어 운영하기가 불가능한 단점이 있다. 그래서 어플리케이션을 개발하는 회사의 입장에서는 프로토타입을 개발하고도 상용화를 위해 수정 보완해야 하는데 개발기간의 2-3배이상이 소요될 수 밖에 없어 기간의 연장과 개발비의 초과로 이어져 매우 부담스러운 상황이다.

따라서 시험이 필요한 시점에 단기간 활용할 수 있는 앱 시험 팀을 실시간으로 구성하고 그 팀을 활용하여 시험을 완료한 후 팀을 해체함으로 저렴한 비용뿐만 아니라 실제 앱을 사용할 실 사용자의 의견을 반영함으로 앱의 품질을 향상하는데 획기적인 방법이라고 할 수 있다.

그러나 이러한 일반인을 활용한 크라우드 테스트를 시행하는 방법으로 여러 시도가 이루어 지고 있지만 다음과 같은 문제가 있다. 첫째 시험을 의뢰하는 의뢰자가 시험자 그룹을 선정하는 하는데 너무 오랜 시간이 소요 된다는 점이다. 그래서 시험자가 구체적으로 누구인지 모르고 시험을 의뢰해야 하는 경우가 대다수 이다. 둘째는 의뢰자와 시험자가 소통하는 방식이 E-MAIL로 되어 있기 때문에 시험하는 기기 정보가 실제 의뢰자가 원하는 기기와 다를 수가 많이 있다. 그래서 원하는 기종에서 시험했는지 확인할 수 있는 방법이 없다는 점이다. 그리고 세번째는 의뢰자와 시험자간에 실시간으로 대화하는 방식으로 시험하는 것이 거의 불가능하다는 점이다. 이점이 가장 크라우드 테스터에서는 해결해야 하는 시급한 과제이다.

일반인을 대상으로 하는 크라우드 시험 서버에서 가장 중요한 것은 시험 의뢰자(client)가 원하는 시험자(tester)를 어떻게 실시간으로 모집하고 모집된 시험자들과 어떻게 상호 소통을 잘 하면서 시험을 진행하는가 이다. 즉 의뢰자가 원하는 시간에 원하는 테스트 팀을 구성하는 기술과 실시간으로 바로 옆에 있는 것처럼 상호 대화하듯이 시험을 요청하고 결과를 받을 수 있게 하는 것이다. 또한 크라우드 시험자 입장에서 가장 중요한 것은 열심히 할수록 시험 참여가 보장되어 꾸준한 수입이 보장되어야 한다는 점이다.

본 발명은 크라우드 시험자가 열성적으로 시험 팀에 참여하도록 함과 동시에 지속적으로 의뢰인이 요청한 시험 작업을 성실히 수행할 수 있도록 하여 의뢰인이 평가하기에 효과적인 시험이 이루어 진다고 판단할 수 있는 방법을 제공하는데 그 목적이 있다.

불특정 다수를 대상으로 크라우드 시험 팀을 구성하는데 의뢰인 입장에서 가장 중요한 것은 원하는 시험자들을 단시간(1시간 이내) 구성하고 실시간으로 대화하듯이 시험을 시행할 수 있어야 한다는 점이다. 이런 점을 반영하여 본 서버의 핵심 방법은 먼저 1단계로 크라우드 시험자 풀에서 의뢰자가 원하는 테스트 스튜디오를 실시간으로 구성한 후 2단계로 그 스튜디오에서 참여한 시험자들을 대상으로 앱을 시험하고 결과를 분석하는 것이다.

1도 "단계별 크라우드 앱 시험 방법"에서 보는 바와 같이 1단계 실시간 테스트 팀 구성단계에서는 의뢰인이 원하는 테스트 스튜디오를 신청하면 서버는 실시간으로 참여의사가 있는 테스트의 허락을 받아 테스트 스튜디오를 생성해 준다. 본 발명에서 핵심이 되는 사항은 바로 이 부분으로 크라우드 시험자들의 참여 마일리지를 우선으로 하여 앱을 이용한 push방식으로 참여 여부를 물어보고 참여의사가 있는 시험자를 확인하기 때문에 단시간 내에 시험자를 모을 수 있다는 점이 차별화되는 방법이다. 이렇게 원하는 시험스튜디오가 생성되면 2단계로 본격적으로 원하는 시험을 시행하는 것이다. 앱 시험의 절차는 의뢰자가 앱을 테스트하는 시나리오에서 최소 단위로 작업지시서를 작성하여 스튜디오에 참여한 시험자들이 보유하고 있는 앱에 보내면 알림이 뜨게 되고 시험자는 지시대로 작업을 수행하고 앱을 통하여 결과보고를 한다. 의뢰인은 작업지시서를 동시에 여러 개 보낼 수 있고 앱 시험자는 각 작업지시서 단위로 시험을 실시하여 결과 보고를 하여야 한다. 그런 중에 의뢰자는 서버에 모인 시험결과를 분석하고 자신의 앱을 수정하여 다시 시험작업을 요청하는 과정을 반복한다. 본 발명은 실제 시험단계에서도 앱(105)을 활용하여 시험에 참여하기 때문에 실시간으로 의뢰인과 같은 장소에 있는 것처럼 대화하는 식으로 시험에 참여하기 때문에 시험의 비용절감뿐만 아니라 시험시간도 단축하고 시험도 용이하다는 차별성이 있다.

크라우드 시험에서 가장 큰 문제가 실제 시험에 참여할 시험참여자를 어떻게 모으냐에 있다. 본 발명을 활용하면 의뢰인이 원하는 시험자를 실시간으로 구성할 수 있어서 지루하게 기다리는 시간이 없이 바로 시험에 들어 갈 수 있다. 또한 의뢰인 입장에서 원하는 시험팀이 제대로 구성되었는지를 실시간으로 확인하고 다시 시험팀 구성에 대한 요구를 수정하고 다시 모집 함으로 최적의 시험팀을 구성 할 수 있다는 점이다. 또한 시험팀이 구성되면 최대한 소요되는 예상비용이 확정됨으로 시험팀 구성에 대한 최종 의사결정이 용이하다는 점이다. 그리고 시험에 참여하는 시험자 입장에서는 어느 시험에 참여할 지 확실히 알 수 있고 이 시험을 통해 얻을 수 있는 수익에 대해 어느 정도 예측이 가능하다는 점이다. 또한 열심히 참여할수록 시험에 참여할 기회가 늘어나기 때문에 크라우드 소싱의 가장 어려운 점인 참여 열성도를 계속 높이거나 유지할 수 있다는 점이다.

도 1은 본 발명은 어플리케이션 품질 검사 시스템의 기본 운영방식으로 "선 시험팀 구성 후 작업 요청 방식"을 도시한 도면이다.
도 2는 실시간으로 테스트 팀을 구성하는 방법으로 구체적으로 어떤 정보와 단계를 거쳐 완성되는지 도시화한 도면이다.
도 3은 참여자를 선정하는 방식으로 참여 요청과 참여 회신으로 구성되어 있음을 보여주고 있다.
도 3-1은 시험참여자를 결정하는 방식에서 참여열성도 기준으로 우선권을 주어 선정하고 모집 시간을 단축하기 위해 타임아웃 기반으로 시간 차수를 활용한 방법을 제시하고 있다.
도 3-2는 모집 요청에 대한 회신을 처리하고 현재까지 모집된 인원에서 모자라는 인원을 추가적으로 모집하는 방법을 도식화하고 있다.
도 3-3은 도3-2의 단점을 개선한 방식으로 타임아웃 방식과 선착순 방식을 혼합하여 모집 소요시간을 단축하는 방안을 도식화 하고 있다.

본 발명의 다양한 실시 예들을 첨부된 도면을 참조하여 설명하면 다음과 같다. 시스템이 시행되는 구성요소는 도1과 같이 의뢰인(100)과 크라우드 시험자 풀(102), 그리고 품질 검사 서버(101) 등이다. 의뢰인(100)은 일반적으로 앱의 품질을 검증하려는 사람으로 회사의 CEO나 기획자, 또는 개발의뢰자 이거나 실제 개발을 담당한 사람으로 어느 기종에서 에러가 나는지 또는 에러가 나는 기종의 동작 상황(메모리용량, 배터리 세기, 무선통신 속도, 콜 접속, 이벤트 발생) 에 대한 정보를 수집하고자 하는 사람이다. 그리고 크라우드 시험자(102)들은 일반인들로서 미리 시험의뢰가 오면 시험에 참여하겠다고 QA서버(101)에 등록한 사람들이다. 이 QA테스터는 서버에 등록할 때 시험자 본인에 대한 일반 정보(나이, 성별, 지역, 많이 사용하는 앱 유형, 관심분야 등)를 제공하고 동시에 시험용 앱을 다운 받아 본인 기기에 설치하여야 한다. 그러면 이 앱은 시험자들의 기기 정보(105)를 서버에 자동으로 등록하여 향후 의뢰자들이 시험하고자 하는 기기를 선정하는데 참고가 되도록 한다. 실제 시험에 참여한 시험자들이 사용할 수 이는 기기는 스마트폰이나 패드, 노트 등 앱을 다운 받을 수 있는 기기는 모두 가능하다.

전체적으로 의뢰자(100)가 크라우드 테스터(102)를 이용하여 어플리케이션을 시험하는 절차는 2단계로 구성되어 있다. 그 첫 번째 단계가 크라우드 시험자 풀(102)에서 의뢰자가 원하는 테스터(106)를 선정하여 의뢰자의 시험 목적에 맞은 테스터를 선정하여 구성하는 단계이다. 그리고 팀 구성이 완료되면 2단계로 선정된 테스터들과 바로 옆에 있는 팀원처럼 대화하듯이 시험을 시행하는 것이다.

그 중 1단계의 실시간 테스트 팀을 구성하는 방법은 도와 같이 순차적으로 의뢰인과 서버가 상호 대화하듯이 이루어 진다. . 먼저 의뢰자는 스튜디오의 이름, 시험내용설명, 1일 최대 작업요청회수, 시작 일시, 시험기간 등 테스트스튜디오에 관한 일반 정보(201)을 작성한다. 그리고 시험참여자의 자격기준(202)으로 테스터 인원(최소 및 최대), 테스터의 전문 수준, 테스트 정보(203)(연령, 성별, 지역, 많이 사용하는 앱 유형, 관심분야)등을 요청한다. 그리고 시험자가 보유하고 있는 기종 중에 의뢰자가 시험하기 원하는 기종을 선정하는 정보로 OS 유형, 제조사, 기기 종류, 기기 해상도 등을 요청한다. 또한 지금까지 요청한 테스트 팀을 운영하기 위해 예상되는 비용을 계산(204)해서 감당할 수 있는 비용인지 검토한다. 그리고 신청단계의 마지막 단계로 QA서버에 시험팀 구성을 요청하는 접수(205)를 공식적으로 하게 된다.

의뢰자의 테스트 팀 구성 요청을 받은 QA서버 입장에서 가장 중요한 것은 테스터를 모집하는데 소요되는 시간이 기다릴 수 있는 시간으로 최소화 되어야 한다는 점이다. 본 발명은 일반적으로 의뢰자가 테스트 팀 구성을 요청한지 30분 이내 구성이 종료(모집 성공, 또는 모집 실패)되도록 했다는 점이 매우 특징적이다.

테스터 팀을 구성하는 절차는 도3에서 보는 보와 같이 참여요청과 회신의 반복으로 이루어진다. 먼저 의뢰인의 기준에 맞는 테스터들 중에 참여열성도가 높은 순서대로 참여 기회를 주도록 요청(302)한다. 이렇게 함으로 크라우드 참여자들이 더욱더 열심히 열성적으로 시험에 참여할 수 있다. 그리고 요청 받은 시험자들이 시험 전용 앱에서 요청한 사실을 push 알람으로 확인한 즉시 참여 의사를 회신하거나 일정한 시간이 지나면 참여의사가 없는 것으로 회신하도록 되어있다.

이렇게 참여 회신 call을 관리하여 원하는 수의 시험자가 모집이 완료되는 지 확인하고 완료되지 않으면 다음 시간 횟수 차에 모자라는 인원만큼 다시 참여 여부를 묻는 요청(303)을 앱으로 push 일람하여 정하게 한다.

이러한 일정한 시간 간격(10분정도) 참여신청요청과 회신을 반복하여 원하는 인원을 충족하던지 더 이상 후보자가 없는 경우 모집을 완료하고 모집이 성공되었는지 실패했는지를 판단(304)하게 된다.

이러한 과정을 실제로 시현하기 위한 방법을 도 4.1과 도 4.2에 도시되어 있다.

도4.1은 의뢰자가 제시한 기준에 맞는 시험자중에 참여 열성도가 높은 순서로 참여할지를 묻는 push 알람을 보내는 방법이다.

시작 시 필요한 정보(401)는 의뢰자가 요청한 최대 인원(MaxRT) 과 최소인원(MinRT) 그리고 시험자와 기기에 대한 요구사항이다.

먼저 크라우드 테스터 풀에서 의뢰자가 요청한 기준에 맞는 테스터를 모두 검색(402)한다. 그리고 이 선정된 시험자들의 참여도 마일리지(이것이 참여 열성도 기준임)순서대로 정렬하여 대기열 STQ를 생성(403)한다.

이렇게 선정된 STQ에 있는 시험자 수와 모집을 원하는 인원을 비교(404)하여 각 경우에 맞게 처리한다.

첫 번째 경우로 STQ에 대기하고 있는 시험자 수가 요청한 최대인원인 MaxRT보다 많으면(406) 당연히 STQ에 대기하고 있는 시험자중 상위 MaxRT 수 만큼 선정해서 참여 여부를 묻는 통보를 하면 된다. 이때 참여 회신을 좀더 실시간으로 하기 위해 시험자들은 앱 시험 전용 앱을 이미 설치해 두고 있는데 그 앱에 push 알람을 알려주어 즉각 반응을 하도록 유도한다.

STQ의 대기 시험자 수가 요청한 최대인원보다 적은 경우(405)는 최대인원만큼 모으는 것은 불가능한 상황이다. 이때는 STQ에 대기해 있는 시험자 수가 의뢰자가 요청한 최소인원 MinRT를 초과하는 경우(407) STQ에 있는 전체 시험자들에게 참여 여부를 요청하는 push 알람을 보낸다 그러나 최소인원에도 모자라면 모집 실패로 단정(408)하고 종료(409)한다.

이러한 도4.1의 전용 앱을 통해 요청을 받은 시험자들은 push 알람을 보고 되도록 정해진 시간 이내에 회신을 하게 된다. 참여요청 이벤트를 처리하는 부분이 도 4.2와 같다.

이 모듈은 참여 회신을 대기(451)하고 있다가 참여 회신이 오면 참여후보 대기열 CanQ체 추가하고(452) 모집이 완료 되었는지 확인(453)한다. 그래서 원하는 최대인원만큼 모집이 되면 모집성공(454)으로 판단하고 모집과정을 종료(455)하게 된다. 그러나 원하는 인원이 모집되지 않으면 정해진 시간이 다 되도록 회신을 기다리고 회신이 오면 CanQ를 관리한다.

이런 과정에서 정해진 시간이 지나면(457) 지금까지 참여 요청을 했던 시험자들에게는 참여 허가 취소를 통보함으로 더 이상 이번 시험에는 참여할 수 없음을 알려주고 참여 의사 없음에 대한 정보를 기록해 둔다.

그리고 다음 시간 차수로 모집이 안된 사람 이상으로 대기하고 있는 시험자가 있으면 모자라는 숫자만큼 참여 신청 여부를 묻는 push 알람을 보낸다. (460)

그러나 현재 STQ에 남아 있는 인원이 모집이 안된 수(MaxRT-CanQ)보다 적으면(461) STQ에 있는 모든 시험자들에게 참여 여부를 묻는 알람을 보내게 된다.

최종적으로 STQ가 empty가 되어 더 이상 후보자가 없을 경우 모집된 인원과 의뢰자가 원하는 인원을 비교(458)하여 모집 성공여부를 결정한다. 이 때 발생할 수 있는 경우는 3가지로 1) 모집된 인원이 최소 인원보다 적은 경우, 2) 모집된 인원이 최대 인원과 같은 경우, 3) 모집된 인원이 최소인원보다는 많지만 최대 인원보다는 적은 경우 이다. 본 발명에서는 1)의 경우 모집 실패로 단정하고 2)와 3)의 경우는 모집 성공으로 진행한다.

이 방법을 분석해서 소요되는 시간을 계산해보면 제한 시간의 반복 횟수가 많을수록 시간이 오래 걸린다. 현재 제시된 방법에서 가장 문제가 되는 점은 460단계로서 모집 과정 중에 모집이 안된 인원 (MaxRT-CanQ) 가 매우 적을 경우 (예 1명) 그 적은 인원만큼 참여 요청을 하게 되니 그 적은 인원 때문에 많은 시간이 더 소요 된다는 점이다.

이 문제를 해결한 방법이 도4-3으로 타임아웃과 선착순 방식을 혼용한 방법이다. 반복해야 하는 시간의 차수를 줄이기 위해 마지막 단계에서는 모자라는 인원보다 많은 수로 MaxRT만큼의 시험자에게 같은 기회(560,561)를 주고 회신한 선착순으로 참여기회를 확정하게 하는 방법이다(564,565).

본 발명은 도1에서 보는 바와 같이 위 과정을 거쳐 앱을 시험할 팀이 구성되면

의뢰자는 QA서버(101)에 제공하는 웹을 통하여 모아진 시험팀과 대화하듯이 시험을 실시한다.

도1: 선 시험팀 구성 후 작업요청 방법
도2: 실시간 테스트 팀 구성 방법
도3: 참여 열성도와 타임아웃기반 실시간 시험참여자 결정 방법
도4: 참여열성도 기반 테스터 참여 요청 방법
도5: 타임아웃기반 참여요청에 대한 실시간 참여자 결정 방법
도6: 타임아웃과 선착순 기반 결정 방법
100: 의뢰인
101: 품질 검사 서버
102: 크라우드 시험자 풀
103: 의뢰인
104: 품질 검사 서버
105: 시험자들의 기기 정보
106: 의뢰자가 원하는 테스터
107: 의뢰인 시험 스튜디오 선정 과정
108: 크라우드 테스터 선정 과정
109: 의뢰인 작업 요청 과정
110: 시험자 시험 시행 과정
111: 의뢰인 결과 분석 과정

Claims (6)

1. 도 1에서 도식화 된 바와 같이 일반인을 대상으로 시험 참여 동의를 받은 다수의 테스터 군중(크라우드)의 정보를 저장하는 저장부와
   크라우드 테스트 품질 시험 결과를 보고하거나 의뢰자와 소통하기 위한 스마트폰 앱과
   의뢰자와 크라우드 시험자를 연결해서 어플리케이션 시험을 가능하게 하는 서버 등으로 구성되어
   시험 의뢰자의 요청에 의한 1단계 실시간 시험팀 구성 이후 2단계 대화형으로 시험을 시행하는 어플리케이션 프로그램 품질 검사를 위한 크라우드 어플리케이션 시험 시스템
   
2. 제 1항에 있어 1단계 크라우드 테스터를 대상으로 시험 참여자를 실시간으로 모집하는 방법으로 도 2에 표시된 실시간 테스터 구성방법인 8단계로
   스튜디오 일반 정보 입력, 시험 참여자 자격기준 입력, 시험기기 규격 등을 입력하는 3단계와
   예상 비용 산정하는 단계
   시험 참여자를 모집하도록 접수하는 단계 등 의뢰자가 요청하는 전반 5단계가 있고
   이러한 의뢰자의 요청을 기반으로 의뢰자가 원하는 규격을 만족하는 실시간으로 시험자를 구성하는 단계
   모집된 시험자의 정보와 예산을 산정해서 확인하는 단계
   그리고 이러한 확인이 끝나면 계약을 맺고 결제함으로 시험참여자 구성이 완료 되는 방법
   
3. 제2항에서 의뢰자의 요청을 받아 실시간으로 시험참여자를 모집하는 단계에 대한 방법으로 도3의 참여열성도와 타임아웃 기반으로 시험 참여자를 실시간으로 결정하는 방법
   첫 단계의 요청하는 단계로 의뢰자가 요청한 기준에 맞는 시험자 후보를 선정하고 난 후 지금까지의 참여열성도(전문성 마일리지)를 기준으로 순서를 정하여 참여할 것인지 요청을 하는 참여자 요청 순서를 정하는 방법이고
   두 번째 단계의 회신단계로 주어진 시간(예: 10분)이내 참여 요청을 받은 시험자가 시험에 참여할 것인지를 결정하도록 하거나 시간이 지나면 참여의사가 없는 것으로 간주하여 참여 의사를 가진 시험자를 실시간으로 모집하는 방법
   
4. 제 3항의 첫 단계를 실시하기 위한 도 4-1의 참여열성도 기반 테스터 참여 요청 방법으로
   크라우드 테스터 중에 의뢰자가 요청한 기준에 부합하는 모든 테스트를 선정하여 참여 열성도를 기준으로 정렬된 대기열 STQ를 생성하는 방법과
   STQ에 대기하고 있는 시험자 중 의뢰자가 요청한 최대 참여자 수 만큼 시험에 참여할 것인지 여부를 시험자가 보유하고 있는 앱에 push 알람으로 알려 주는 방법
   그리고 STQ의 대기자 수가 의뢰자가 요청한 최소인원에도 못 미치면 미리 모집이 불가능함을 알려주는 방법
   이때 제한 시간(기본적으로 10분)을 동시에 알려주어 이 시간 내에 응답이 없으면 참여의사가 없는 것으로 통보하는 방법
   참여 여부를 묻는 push 알람을 확인하고 이에 대해 시험 전용 앱을 활용하여 참여의사를 통보하는 방법
   
5. 제 3항의 두 번째 단계를 실시하기 위한 도4-2의 타임아웃기반 참여요청에 대한 실시간 참여자 결정 방법으로
   제4항의 참여 여부를 결정해 달라는 push 알람에 대해서 회신한 이벤트가 발생하면 각 이벤트를 처리해서 참여 후보열인 CanQ를 구성하고 관리하는 방법
   각 이벤트가 발생할 때마다 모집이 완료되었는지 확인하는 방법
   정해진 시간이 경과한 후 모집된 결과를 보고 다음 차의 모집 요청을 할 것인지 정해서 모집이 아직 안된 시험자 숫자만큼 추가적으로 참여 후보를 선정하여 참여 가능한지 push 알람을 알려 주는 방법
   타임 아웃이 되거나 더 이상 자격기준에 맞는 후보자가 없을 경우 모집이 완료된 결과를 가지고 모집의 성공과 실패를 결정하는 방법
   
6. 제 5항의 모집시간이 늘어나는 문제를 개선하기 위해 수정된 것으로 추가 모집해야 하는 인원인 임계수 이하인 경우 도 4-3에서 보는 보와 같이 최대 요청인원이나 그 이하인 경우 남은 사람들 전체 시험자들에게 참여 여부를 push 알람 해 주고 회신한 선착순으로 참여자를 결정하여 그 화차에서 모집을 마감하는 방법
   
   

Images