KR102155746B1

KR102155746B1 - 검수자 간 샘플 검수를 통한 검수자 검증 방법

Info

Publication number: KR102155746B1
Application number: KR1020190162531A
Authority: KR
Inventors: 박민우; 조성우
Original assignee: 주식회사 크라우드웍스
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2020-09-17

Abstract

검수자 간 샘플 검수를 통한 검수자 검증 방법이 제공된다. 상기 방법은 제1 검수자가 검수 수행한 작업 데이터를 획득하는 단계, 상기 제1 검수자가 검수 수행한 작업 데이터가 N건(N은 소정의 2 이상의 자연수)씩 누적될 때마다, N건의 작업 데이터 중에서 소정 개수의 재검수용 샘플 작업 데이터를 선택하는 단계, 상기 제1 검수자와 다른 제2 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하는 단계, 상기 제2 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신하는 단계, 상기 제2 검수자에 의한 재검수 결과가 반려 처리인 경우, 제3 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하는 단계, 상기 제3 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신하는 단계, 및 상기 제3 검수자에 의한 재검수 결과에 따라 상기 제1 검수자 또는 상기 제2 검수자의 검수 오류율을 증가시키는 단계를 포함한다.

Description

검수자 간 샘플 검수를 통한 검수자 검증 방법{METHOD FOR VERIFYING INSPECTORS BY SAMPLE INSPECTION BETWEEN INSPECTORS}

본 발명은 검수자 간 샘플 검수를 통한 검수자 검증 방법에 관한 것이다.

최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업이 늘고 있다. 즉, 기업은 하나의 프로젝트를 오픈하여 일반 대중, 즉 작업자와 검수자가 해당 프로젝트에 참여하게 함으로써, 작업자에게 작업을 수행하게 하고, 검수자에게 검수를 수행하게 하여 필요한 정보를 수집하게 된다.

이때, 기업은 보다 신뢰도가 높은 정보를 수집하기 위해, 작업자에 의해 완료된 작업 결과는 검수자에게 배정하여 검수 작업을 수행하게 함으로써, 작업자의 작업 데이터의 신뢰성을 평가할 수 있다. 한편, 검수자에 의해 검수완료된 작업 데이터의 신뢰성을 평가하기 위한 방법은 작업자의 경우에 비해 매우 제한적이다.

검수자에 의해 검수 완료된 작업 데이터를 검증하기 위해서는 2차 검수를 진행해야 하는데, 전수 검사를 진행하게 되면 비용적인 부담이 증가되는 문제가 있다. 또한, 프로젝트 의뢰자는 작업 데이터의 신뢰도를 위하여 추가적인 2차 검수를 진행해야 한다는 것을 납득하기 어렵다.

이에, 검수자에 의해 검수 완료된 작업 데이터를 검증하기 위해서는 검수자에 의해 검수 완료된 작업 데이터를 샘플링하여 2차 검수를 수행하는 것이 현실적이다. 하지만, 상기의 전수 검사뿐만 아니라 샘플 검수도 관리자가 2차 검수를 수행하는 방식으로서, 관리자가 2차 검수를 하기 위해 상당한 시간을 소요해야 하기 때문에 관리 리소스/비용 측면에서 비효율적이다.

또한, 2차 검수를 관리자가 아닌 다른 검증된 2차 검수자를 선별하여 수행하게 할 수 있다. 하지만, 검증되었다고 하더라도 2차 검수자가 검수를 제대로 수행할 것이라는 확실한 보장이 없기 때문에, 결국에는 관리자가 최종 확인을 해야 한다는 문제가 있다.

공개특허공보 제10-2014-0095956호, 2014.08.04.

본 발명이 해결하고자 하는 과제는 검수자 간 샘플 검수를 통한 검수자 검증 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 검수자 간 샘플 검수를 통한 검수자 검증 방법은 제1 검수자가 검수 수행한 작업 데이터를 획득하는 단계, 상기 제1 검수자가 검수 수행한 작업 데이터가 N건(N은 소정의 2 이상의 자연수)씩 누적될 때마다, N건의 작업 데이터 중에서 소정 개수의 재검수용 샘플 작업 데이터를 선택하는 단계, 상기 제1 검수자와 다른 제2 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하는 단계, 상기 제2 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신하는 단계, 상기 제2 검수자에 의한 재검수 결과가 반려 처리인 경우, 제3 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하는 단계, 상기 제3 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신하는 단계, 및 상기 제3 검수자에 의한 재검수 결과에 따라 상기 제1 검수자 또는 상기 제2 검수자의 검수 오류율을 증가시키는 단계를 포함한다.

본 발명의 일부 실시예에서, 상기 제3 검수자에 의한 재검수 결과에 따라 상기 제1 검수자 또는 상기 제2 검수자의 검수 오류율을 증가시키는 단계는, 상기 제3 검수자에 의한 재검수 결과가 검수 완료인 경우, 상기 제2 검수자의 검수 오류율을 증가시키고, 상기 제3 검수자에 의한 재검수 결과가 반려 처리인 경우, 상기 제1 검수자의 검수 오류을을 증가시키는 것일 수 있다.

본 발명의 일부 실시예에서, 상기 제2 검수자에 의한 재검수 결과가 검수 완료인 경우, 상기 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하지 않고, 상기 제1 검수자의 검수 오류율을 증가시키지 않을 수 있다.

본 발명의 일부 실시예에서, 상기 N은 프로젝트의 신뢰도에 따라 설정될 수 있다.

본 발명의 일부 실시예에서, 상기 방법은 상기 제1 검수자에게 상기 제1 검수자에 의한 상기 N건의 검수와 관련하여 임시 포인트를 지급하는 단계; 및 상기 재검수용 샘플 작업 데이터에 대한 재검수가 완료되면, 상기 제1 검수자에게 상기 임시 포인트를 실제 포인트로 전환하여 지급하되, 상기 제2 검수자 또는 상기 제3 검수자에 의한 재검수 결과에 따라 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 상기 실제 포인트를 조정하여 지급하는 단계를 더 포함할 수 있다.

본 발명의 일부 실시예에서, 상기 실제 포인트를 조정하여 지급하는 단계는, 상기 제2 검수자에 의한 재검수 결과가 검수 완료인 경우, 상기 제1 검수자 및 상기 제2 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하는 것일 수 있다.

본 발명의 일부 실시예에서, 상기 실제 포인트를 조정하여 지급하는 단계는, 상기 제3 검수자에 의한 재검수 결과가 검수 완료인 경우, 상기 제1 검수자 및 상기 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하고, 상기 제2 검수자에게는 상기 재검수용 샘플 작업 데이터에 대한 실제 포인트를 지급하지 않는 것일 수 있다.

본 발명의 일부 실시예에서, 상기 실제 포인트를 조정하여 지급하는 단계는, 상기 제3 검수자에 의한 재검수 결과가 반려 처리인 경우, 상기 제2 검수자 및 상기 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하고, 상기 제1 검수자에게는 상기 재검수용 샘플 작업 데이터에 대한 실제 포인트를 지급하지 않는 것일 수 있다.

본 발명의 일부 실시예에서, 상기 임시 포인트를 실제 포인트로 전환하여 지급하는 것은, 상기 제1 검수자에게 상기 N건의 검수 중 상기 재검수용 샘플 작업 데이터를 제외한 검수와 관련하여 상기 임시 포인트를 상기 실제 포인트로 전환하여 지급하는 것일 수 있다.

본 발명의 일부 실시예에서, 상기 N건의 작업 데이터 중에서 소정 개수의 재검수용 샘플 작업 데이터를 선택하는 단계는, 상기 제1 검수자에 의한 검수 결과가 검수 완료이고, 상기 N건의 작업 데이터 중 검수 시간이 가장 짧은 작업 데이터를 상기 재검수용 샘플 작업 데이터로 선택하는 것일 수 있다.

본 발명의 일부 실시예에서, 작업자가 수행해야 하는 크라우드소싱 작업이 복수의 오브젝트를 포함하고, 하나의 크라우드소싱 작업 당 상기 오브젝트의 숫자가 비고정된 경우, 상기 N 건의 작업 데이터 중 오프젝트 당 평균 검수 시간이 가장 짧은 작업 데이터를 상기 재검수용 샘플 작업 데이터로 선택할 수 있다.

본 발명의 일부 실시예에서, 상기 제2 검수자 또는 상기 제3 검수자는 랜덤하게 결정될 수 있다.

본 발명의 일부 실시예에서, 상기 방법은 상기 검수 오류율이 소정의 기준 오류율을 초과하는 검수자의 검수 참여를 제한하는 단계를 더 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 검수자 간 샘플 검수를 통한 검수자 검증 방법을 실행하며, 매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명에 따르면, 특정 검수자에 의해 검수 완료된 복수의 작업 데이터를 샘플링하여 다른 검수자에 의해 재검수되도록 하고, 검수 결과의 일치 여부에 따라 특정 검수자의 오류율을 산출하여 특정 검수자의 신뢰도를 검증할 수 있다.

또한, 특정 검수자의 오류율이 소정의 기준값을 초과하면, 특정 검수자에게 더 이상 검수를 맡기는 것이 부적절하다고 판단하여, 특정 검수자의 검수 자격을 중지시킴으로써 프로젝트에 대해 수집된 데이터의 정확도를 높일 수 있다.

또한, 프로젝트에 참여하는 검수자들 간의 샘플 검수를 수행함으로써, 관리자에 의한 2차 검수가 필요 없으며 관리 리소스/비용이 절감될 수 있는 효과를 얻을 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 서비스의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 크라우드소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 통한 검수자 검증 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 검수자가 검수 수행한 작업 데이터가 누적되는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 재검수용 샘플 작업 데이터를 선택하는 것을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 재검수 결과에 따라 검수자의 오류율을 산출하는 것을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 검수자 간 샘플 검수에 따른 포인트 지급 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 통한 검수자 검증 장치의 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 서비스의 개념도이다.

도 1을 참조하면, 크라우드소싱 서비스는 의뢰자(10), 서비스 제공 업체(20) 및 대중(30)으로 구성되어 수행된다.

의뢰자(10)는 크라우드소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하는 기업이나 개인을 의미한다.

의뢰자(10)는 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 의뢰한다. 소스 데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다. 한편, 전술한 프로젝트의 종류는 일 실시예에 불과하며, 의뢰자의 설계에 따라 다양한 프로젝트가 본 발명에서 취급될 수 있다.

서비스 제공 업체(20)는 크라우드소싱 서비스를 제공하는 기업을 의미한다.

서비스 제공 업체(20)는 의뢰자(10)로부터 제품 또는 서비스에 대한 프로젝트를 의뢰 받으면, 해당 프로젝트에 대한 작업을 일반 대중(30)에게 배정하여 대중(30)으로부터 작업 결과를 제공받는다. 이후, 작업 결과를 기반으로 추출된 최종 산출물을 의뢰자(10)에게 제공한다.

이때, 서비스 제공 업체(20)는 크라우드소싱 플랫폼(이하, 플랫폼)을 통해 의뢰자(10) 및 대중(30)에게 크라우드소싱 서비스를 제공한다. 즉, 서비스 제공 업체(20)는 의뢰자(10)로부터 프로젝트를 의뢰 받으면, 플랫폼에 프로젝트를 오픈한다. 이후, 대중(30)으로부터 오픈된 프로젝트에 대한 작업 결과를 제공받으면, 해당 프로젝트를 플랫폼 상에서 종료하고, 최종 산출물을 추출하여 의뢰자(10)에게 제공할 수 있다.

대중(30)은 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중을 의미한다. 여기서, 대중(30)은 서비스 제공 업체(20)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 플랫폼에 오픈된 프로젝트에 참여할 수 있다.

대중(30)은 작업자(32) 및 검수자(34)로 구성된다.

작업자(32)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 작업자(32)는 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업을 수행하고, 이를 플랫폼에 전송한다.

검수자(34)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 검수자(34)는 작업자(32)가 수행한 작업 결과에 대한 검수를 수행한다. 검수자(34)는 검수 수행 결과로서, 작업 통과 또는 반려를 할 수 있고, 작업 반려 시 반려 사유를 입력할 수 있다. 작업 통과의 경우 재작업과 이로 인한 재검수가 필요하지 않으므로, 작업 통과는 검수 완료와 동일한 의미를 가진다.

도 2는 본 발명의 일 실시예에 따른 크라우드소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.

먼저, 의뢰자(10)는 서비스 제공 업체(20)로 하나 이상의 프로젝트를 의뢰한다(S11).

이후, 서비스 제공 업체(20)는 의뢰된 프로젝트를 플랫폼 상에 오픈한다(S12). 이때, 서비스 제공 업체(20)는 프로젝트 오픈 전에, 해당 프로젝트의 난이도 등을 고려하여 등급을 결정할 수 있다. 즉, 난이도에 따라 어떤 등급 이상의 대중(30)에게 해당 프로젝트를 노출시킬지를 결정할 수 있다. 이에 따라, 프로젝트의 작업 결과의 신뢰도를 높일 수 있게 된다.

이후, 서비스 제공 업체(20)는 프로젝트의 등급에 따라 해당 등급 이상의 작업자(32)에게 작업을 배정한다(S13).

이후, 작업자(32)는 배정된 작업을 수행하게 된다(S14). 이때, 작업자(32)는 어떤 이유에 의해 작업 자체가 불가능한 작업에 대해서는 작업을 수행하지 않고 작업 불가 사유를 입력할 수 있다.

이후, 서비스 제공 업체(20)는 작업자(32)로부터 작업 결과를 제공받고(S15), 해당 작업 결과에 대한 검수 작업을 검수자(34)에게 배정한다(S16).

이후, 검수자(34)는 배정된 검수를 수행하게 된다(S17). 이때, 검수자(34)는 작업이 제대로 수행된 것으로 판단하면 검수 완료를 결정하고, 검수 작업이 잘못된 것으로 판단하면 반려를 결정한다. 반려 결정 시, 검수자(34)는 어떤 이유로 작업이 잘못된 것으로 판단했는지에 대한 반려 사유를 입력한다.

이후, 서비스 제공 업체(20)는 검수자(34)로부터 검수 결과를 제공받는다(S18).

검수 결과가 검수 완료인 경우, 서비스 제공 업체(20)는 해당 작업 결과를 유효한 데이터로 사용하여, 이를 기반으로 하여 프로젝트 종료 시 최종 산출물을 추출하게 된다.

검수 결과가 반려 처리인 경우, 서비스 제공 업체(20)는 내부적으로 검수를 다시 수행하거나, 작업자(32)에게 다시 작업을 배정하여 작업을 수행하게 할 수도 있다.

이후, 서비스 제공 업체(20)는 프로젝트 기간이 종료되거나 충분한 유효 데이터를 확보하게 되면 해당 프로젝트를 종료하고(S19), 확보된 유효 데이터를 기반으로 최종 결과물을 산출하여 의뢰자(10)에게 제공한다(S20).

이때, 프로젝트 종료 전, 서비스 제공 업체(20)는 작업자(32) 및 검수자(34)의 수행 결과를 평가하고, 평가에 따라 작업 비용 및 검수 비용을 산출하여 작업자(32) 및 검수자(34)에게 지급한다.

한편, 도 1 및 도 2에서는 단순히 의뢰자(10), 서비스 제공 업체(20), 작업자(32), 검수자(34)로 표현하였으나, 이들은 각 참여자에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다.

도 3은 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 통한 검수자 검증 방법의 흐름도이다. 도 4는 본 발명의 일 실시예에 따른 검수자가 검수 수행한 작업 데이터가 누적되는 것을 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 재검수용 샘플 작업 데이터를 선택하는 것을 설명하기 위한 도면이다. 도 6은 본 발명의 일 실시예에 따른 재검수 결과에 따라 검수자의 오류율을 산출하는 것을 설명하기 위한 도면이다.

한편, 도 3에 도시된 단계들은 서비스 제공 업체(20)에 의해 운영되는 플랫폼 서버(이하, 서버)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.

또한, 작업자(32)나 검수자(34)는 소정의 단말 장치를 이용하여 작업을 수행한다. 작업자(32) 또는 검수자(34)의 단말 장치는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱 등과 같은 컴퓨터 장치 또는 전기 통신 장치일 수 있으나, 이에 제한되는 것은 아니다.

도 3을 참조하면, 서버는 제1 검수자가 검수 수행한 작업 데이터를 획득한다(S110).

일부 실시예에서, 검수자 간 샘플 검수를 통한 검수자 검증 방법은 객관적이고 확실한 답이 있는 작업에 한하여 적용될 수 있다. 결과가 애매한 음성 작업과 주관적인 텍스트 작업 등은 답이 확실하지 않기 때문에 샘플 검수를 통해서 작업 데이터의 신뢰성을 검증하기엔 일부 제한이 있기 때문이다.

상술한 바와 같이, 검수자(34)는 특정 프로젝트에 참여하여 작업자(32)의 작업 데이터에 대해서 검수 완료하거나 반려 처리하여 검수를 수행한다. 즉, 검수자(34)는 작업자(32)의 작업 결과가 정상적이라고 판단하면 해당 작업 데이터에 대해 검수 완료로 처리하거나, 작업자(32)의 작업 결과가 부적절하여 재작업이 필요하다고 판단하면 해당 작업 데이터에 대해 반려 처리를 한다.

이로써, 서버는 제1 검수자로부터 수신한 검수 완료 또는 반려 처리의 결과를 누적하여 기록할 수 있다. 그리고, 서버는 제1 검수자가 검수 수행한 작업 데이터 중 검수 완료로 처리한 작업 데이터를 확보해낼 수 있다.

이어서, 서버는 제1 검수자가 검수 수행한 작업 데이터가 N건씩 누적될 때마다, N건의 작업 데이터 중에서 소정 개수의 재검수용 샘플 작업 데이터를 선택한다(S120).

여기서, 재검수용 샘플 작업 데이터는 특정 검수자를 검증하기 위한 작업 데이터로서, 이미 특정 검수자에 의해서 검수된 바 있는 작업 데이터를 의미한다. 재검수용 샘플 작업 데이터는 특정 검수자가 검수 수행한 N건의 작업 데이터 중에서 샘플로 선택된다. 그리고, 후술하는 바와 같이, 재검수를 위하여 다른 검수자에게 제공된다.

도 4를 참조하면, 서버는 검수자 A가 검수 수행한 작업 데이터를 관리한다. 서버는 검수자 A가 검수 수행한 작업 데이터를 순차적으로 N건씩 그룹화하여 관리하고, N건이 누적될 때마다 재검수용 샘플 작업 데이터를 선별하고 이에 대한 재검수(샘플 검수)를 수행한다.

여기서, N은 소정의 2 이상의 자연수로 설정된다. 예를 들어, 도 4에 도시된 바와 같이, N은 20으로 설정될 수 있으나, 이에 제한되는 것은 아니다.

도 4를 참조하면, 서버는 검수자 A가 검수 수행한 작업 데이터를 20개씩 그룹화하여 관리하고, 20개가 누적될 때마다 해당 그룹에서 하나의 재검수용 샘플 작업 데이터를 선택하여 샘플 검수를 수행한다. 즉, 검수자 A가 현재까지 60개의 검수를 수행한 경우, 서버는 검수자 A가 검수한 1~20번째의 작업 데이터에 대해 제1 샘플 검수를 수행하고, 21~40번째의 작업 데이터에 대해 제2 샘플 검수를 수행하고, 41~60번째의 작업 데이터에 대해 제3 샘플 검수를 수행한다.

일부 실시예에서 서버는 프로젝트의 신뢰도에 따라 N을 설정한다. 그리고, 목표하는 신뢰도에 따라 기준 오류율이 결정된다. 이에 따라, 검수자의 검수 오류율이 프로젝트 신뢰도에 따른 소정의 기준 오류율을 초과하는 경우, 서버는 해당 검수자의 검수 참여를 제한할 수 있다. 검수 능력치가 낮아 계속적으로 검수를 맡기기 어렵다고 판단할 수 있기 때문이다.

한편, 샘플 검수에 따라 하나만 잘못 검수된 것으로 판단되어도 해당 검수자의 오류율이 높게 측정되지 않도록 N을 적절한 값으로 설정하여야 한다.

예를 들어, 프로젝트의 신뢰도가 95%, N이 15로 설정되고, 검수자가 현재까지 20개의 검수를 수행한 경우, 서버는 15개의 작업 데이터에 대한 제1 샘플 검수를 수행하게 된다. 이때, 제1 샘플 검수 결과, 검수자의 검수가 잘못된 것으로 판단되면, 해당 검수자의 오류율은 6.6%로 신뢰도 95%에 따른 오류율 5%를 쉽게 초과하게 된다. 이에 따라 해당 검수자는 제1 샘플 검수만에 검수 자격을 박탈당하게 된다. 따라서, 충분한 검증 없이 바로 검수 자격이 중단되는 경우를 방지하기 위해, 예를 들어, 95%의 신뢰도의 경우 N은 최소 20개로 설정되어야 한다.

일부 실시예에서, 서버는 N건의 작업 데이터 중에서 제1 검수자에 의한 검수 결과가 검수 완료이고, 검수 시간이 가장 짧은 작업 데이터를 재검수용 샘플 작업 데이터로 선택한다.

도 4를 참조하면, 검수자 A의 1~20개의 작업 데이터 중에서 1번, 2번, 4번, 20번의 검수 결과가 검수 완료인 경우, 서버는 1번, 2번, 4번, 20번 중에서 검수 시간이 가장 짧은 작업 데이터를 재검수용 샘플 작업 데이터로 선택할 수 있다. 검수 시간이 가장 짧다면 가장 소흘하게 검수가 수행되었을 것이라고 추정하는 것이다.

도 5a를 참조하면, 제1 검수자가 작업 데이터 A를 검수한 시간이 4초, 작업 데이터 B를 검수한 시간이 8초, 작업 데이터 C를 검수한 시간이 10초 걸린 경우, 서버는 검수 시간이 가장 짧은 작업 데이터 A를 재검수용 샘플 작업 데이터로 선택할 수 있다. 이때, 상술한 바와 같이, 작업 데이터 A, B, C 모두 검수 결과는 검수 완료여야 한다.

한편, 작업자가 수행해야 하는 크라우드소싱 작업이 복수의 오브젝트를 포함하고, 하나의 크라우드소싱 작업 당 오브젝트의 숫자가 비고정된 경우, 서버는 N건의 작업 데이터 중 오프젝트 당 평균 검수 시간이 가장 짧은 작업 데이터를 재검수용 샘플 작업 데이터로 선택한다.

도 5b를 참조하면, 2개의 오브젝트를 포함하는 작업 데이터 A의 전체적인 검수 시간은 4초이고, 3개의 오브젝트를 포함하는 작업 데이터 B의 전체적인 검수 시간은 8초이고, 10개의 오브젝트를 포함하는 작업 데이터 C의 전체적인 검수 시간은 10초이다. 이에 따라, 작업 데이터 A, B, C의 오브젝트 당 평균 검수 시간은 각각 2초, 2.7초, 1초로 산출된다. 따라서, 서버는 오브젝트 당 평균 검수 시간이 가장 짧은 작업 데이터 C를 재검수용 샘플 작업 데이터로 선택할 수 있다. 이때, 상술한 바와 같이, 작업 데이터 A, B, C 모두 검수 결과는 검수 완료여야 한다.

이어서, 서버는 제1 검수자와 다른 제2 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청한다(S130).

여기서, 제2 검수자는 제1 검수자와 동일한 프로젝트에 참여하는 검수자로서, 서버는 제1 검수자를 제외한 프로젝트에 참여하는 검수자들 중에서 한 명의 검수자를 제2 검수자로 랜덤하게 결정한다.

일반 검수용 작업 데이터는 재검수용 샘플 작업 데이터와 대비되는 개념으로서, 제2 검수자에 의해 최초 검수되는 작업 데이터이다. 즉, 일반 검수용 작업 데이터는 재검수용 샘플 작업 데이터와 달리 어떤 검수자에 의해서도 아직 검수된 바 없는 작업 데이터를 의미한다.

제2 검수자는 프로젝트에 참여하면서 일반적인 크라우드소싱 프로세스에 따라 일반 검수용 작업 데이터를 최초 검수하면서, 서버의 요청에 따라 제1 검수자의 검증을 위해 재검수용 샘플 작업 데이터를 재검수한다. 이때 일반 검수용 작업 데이터와 재검수용 샘플 작업 데이터가 별도로 구분되지 않고 함께 제공되기 때문에, 제2 검수자는 재검수용 샘플 작업 데이터가 제1 검수자에 의해 이미 검수된 데이터인지 모른 채, 재검수용 샘플 작업 데이터도 일반 검수용 작업 데이터로 인지하여 검수를 수행한다.

이어서, 서버는 제2 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신한다(S140).

제2 검수자는 재검수용 샘플 작업 데이터에 대해 검수 완료 또는 반려 처리를 할 수 있다. 마찬가지로, 제2 검수자는 일반 검수용 작업 데이터에 대해서도 검수 완료 또는 반려 처리를 할 수 있다.

이때, 서버는 제2 검수자로부터 재검수용 샘플 작업 데이터를 포함하여 일반 검수용 작업 데이터가 N건씩 수신되어 누적될 때마다 제2 검수자의 검증을 위한 재검수용 샘플 작업 데이터를 선택하여 샘플 검수를 수행할 수 있다. 이때, 제2 검수자의 검증을 위한 재검수용 샘플 작업 데이터는 제2 검수자에 의해 최초 검수된 일반 검수용 작업 데이터 중에서 선택되는 것이다. 제2 검수자의 검증을 위한 샘플 검수 방법은 제1 검수자의 검증을 위한 샘플 검수 방법과 같으므로 구체적인 설명은 생략하도록 한다.

이어서, 서버는 제2 검수자에 의한 재검수 결과가 반려 처리인 경우, 제3 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청한다(S150).

여기서, 제3 검수자는 제1 검수자 및 제2 검수자와 동일한 프로젝트에 참여하는 검수자로서, 서버는 제1 검수자 및 제2 검수자를 제외한 프로젝트에 참여하는 검수자들 중에서 한 명의 검수자를 제3 검수자로 랜덤하게 결정한다.

상술한 바와 같이, 일반 검수용 작업 데이터는 제3 검수자에 의해 최초 검수되는 작업 데이터를 의미한다.

제3 검수자는 프로젝트에 참여하면서 일반적인 크라우드소싱 프로세스에 따라 일반 검수용 작업 데이터를 최초 검수하면서, 서버의 요청에 따라 제1 검수자의 검증을 위해 재검수용 샘플 작업 데이터를 재검수한다. 이때, 마찬가지로, 일반 검수용 작업 데이터와 재검수용 샘플 작업 데이터가 별도로 구분되지 않고 함께 제공되기 때문에, 제3 검수자는 재검수용 샘플 작업 데이터가 제1 검수자에 의해 이미 검수된 데이터인지 모른 채, 재검수용 샘플 작업 데이터도 일반 검수용 작업 데이터로 인지하여 검수를 수행한다.

반면, 제2 검수자에 의한 재검수 결과가 검수 완료인 경우, 서버는 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하지 않고, 일반 검수용 작업 데이터에 대해서만 검수 요청한다. 즉, 상기 재검수용 샘플 작업 데이터에 대하여 제2 검수자에 의한 재검수로서 검증을 종료하고, 제3 검수자에 의한 재검수를 진행하지 않는다.

이어서, 서버는 제3 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신한다(S160).

제3 검수자는 재검수용 샘플 작업 데이터에 대해 검수 완료 또는 반려 처리를 할 수 있다. 마찬가지로, 제3 검수자는 일반 검수용 작업 데이터에 대해서도 검수 완료 또는 반려 처리를 할 수 있다.

이때, 서버는 제3 검수자로부터 재검수용 샘플 작업 데이터를 포함하여 일반 검수용 작업 데이터가 N건씩 수신되어 누적될 때마다 제3 검수자의 검증을 위한 재검수용 샘플 작업 데이터를 선택하여 샘플 검수를 수행할 수 있다. 이때, 제3 검수자의 검증을 위한 재검수용 샘플 작업 데이터는 제3 검수자에 의해 최초 검수된 일반 검수용 작업 데이터 중에서 선택되는 것이다. 제3 검수자의 검증을 위한 샘플 검수 방법은 제1 검수자의 검증을 위한 샘플 검수 방법과 같으므로 구체적인 설명은 생략하도록 한다.

이어서, 서버는 제3 검수자에 의한 재검수 결과에 따라 제1 검수자 또는 제2 검수자의 검수 오류율을 증가시킨다(S170).

서버는 제3 검수자에 의한 재검수 결과가 검수 완료인 경우, 제2 검수자의 검수 오류율을 증가시킨다. 즉, 이 경우, 동일한 작업 데이터에 대하여 제1 검수자와 제3 검수자의 검수 결과가 검수 완료로 동일하므로, 서버는 반려 처리한 제2 검수자의 검수 결과는 오류라고 판단하여 제2 검수자의 검수 오류율을 증가시킨다.

서버는 제3 검수자에 의한 재검수 결과가 반려 처리인 경우, 제1 검수자의 검수 오류을을 증가시킨다. 즉, 이 경우, 동일한 작업 데이터에 대하여 제2 검수자와 제3 검수자의 검수 결과가 반려 처리로 동일하므로, 서버는 검수 완료한 제1 검수자의 검수 결과는 오류라고 판단하여 제1 검수자의 검수 오류율을 증가시킨다.

한편, 상술한 바와 같이 제2 검수자에 의한 재검수 결과가 검수 완료인 경우, 제1 검수자와 제2 검수자의 검수 결과가 동일하므로, 서버는 제3 검수자에게 재검수를 요청하지 않고 검수 완료한 제1 검수자와 제2 검수자의 검수 결과를 신뢰하여, 제1 검수자의 검수 오류율을 증가시키지 않는다.

이하에서 도 6을 참조하여, 검수자 A에 의해 검수 완료된 재검수용 샘플 작업 데이터 a에 대한 검수자 B 및 검수자 C의 재검수 결과에 따라 검수자들의 오류율을 산출하는 것에 대해 설명하도록 한다.

서버는 검수자 A에 의해 검수된 N건의 작업 데이터 중에서 재검수용 샘플 작업 데이터 a를 선택하여, 검수자 A의 검증을 위한 샘플검수를 수행한다.

서버는 재검수용 샘플 작업 데이터 a를 검수자 B에게 제공하여 재검수를 수행하게 한다.

검수자 B가 재검수용 샘플 작업 데이터 a에 대해 검수 완료하면, 서버는 검수자 A가 제대로 검수를 수행하고 있는 것으로 판단하여 검수자 A에 대한 오류율을 증가시키지 않는다. 이때, 재검수용 샘플 작업 데이터 a에 대한 최종 처리는 검수 완료로 적용된다.

반면, 검수자 B가 재검수용 샘플 작업 데이터 A에 대해 반려 처리하면, 서버는 재검수용 샘플 작업 데이터 a를 검수자 C에게 제공하여 재검수를 수행하게 한다.

검수자 C가 재검수용 샘플 작업 데이터 a에 대해 검수 완료하면, 서버는 혼자서만 반려 처리한 검수자 B가 검수를 잘못하고 있는 것으로 판단하여 검수자 B에 대한 오류율을 증가시킨다. 이때, 재검수용 샘플 작업 데이터 a에 대한 최종 처리는 검수 완료로 적용된다.

반면, 검수자 C가 재검수용 샘플 작업 데이터 a에 대해 반려 처리하면, 서버는 혼자서만 검수 완료한 검수자 A가 검수를 잘못하고 있는 것으로 판단하여 검수자 A에 대한 오류율을 증가시킨다. 이때, 재검수용 샘플 작업 데이터 a에 대한 최종 처리는 반려 처리로 적용된다. 따라서, 재검수용 샘플 작업 데이터 a는 작업자에 의한 재작업이 필요하게 된다.

이렇게 산출되는 오류율을 통해 서버는 불량 검수자를 파악하여 검수 자격을 중지하는 등의 패널티를 줄 수 있다.

도 7은 본 발명의 일 실시예에 따른 검수자 간 샘플 검수에 따른 포인트 지급 방법의 흐름도이다. 본 명세서에서 포인트는 작업 또는 검수의 대가로 적립되며, 현금으로 전환이 가능한 전자화폐 또는 이와 유사한 전자적 지불수단을 의미한다.

서버는 제1 검수자에게 제1 검수자에 의한 N건의 검수 결과와 관련하여 임시 포인트를 지급한다(S210). 여기서, 포인트는 검수자들이 검수를 수행한 대가로 서버로부터 지급받는 검수 비용을 의미한다.

즉, 서버는 제1 검수자가 N건씩 검수를 수행할 때마다, N건에 대한 임시 포인트를 지급한다. 예를 들어 N이 20이고, 건당 포인트(검수 비용)가 100원이라고 가정하면, 서버는 제1 검수자에게 20건에 대해서 2000원의 임시 포인트를 지급한다.

여기서, 임시 포인트를 지급하는 이유는 제1 검수자가 수행한 N건에 대한 검수의 신뢰성이 검증되지 않았기 때문이다. 따라서 서버는 재검수용 샘플 작업 데이터를 이용한 샘플 검수를 통해 N건에 대한 신뢰성 여부를 판단한다.

이어서, 서버는 재검수용 샘플 작업 데이터에 대한 재검수가 완료되면, 제1 검수자에게 상기 임시 포인트를 실제 포인트로 전환하여 지급한다(S220).

재검수용 샘플 작업 데이터에 대한 제1 검수자의 검수가 맞는 것으로 판단되면, 서버는 제1 검수자에게 N건의 검수 중 상기 재검수용 샘플 작업 데이터를 제외한 검수와 관련하여 임시 포인트를 상기 실제 포인트로 전환하여 지급한다. 예를 들어, N이 20인 경우, 서버는 재검수용 샘플 작업 데이터를 제외한 19 건에 대한 임시 포인트를 실제 포인트로 전환하여 지급한다.

서버는 제2 검수자 또는 상기 제3 검수자에 의한 재검수 결과에 따라 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 상기 실제 포인트를 조정하여 지급한다.

구체적으로, 제2 검수자에 의한 재검수 결과가 검수 완료인 경우, 서버는 제1 검수자 및 제2 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급한다. 예를 들어, 건당 포인트가 100원이고, 소정의 비율이 5:5로 설정된 경우, 제1 검수자와 제2 검수자는 재검수용 샘플 작업 데이터에 대해서 각각 50원씩 지급받게 된다. 이때, N이 20인 경우, 해당 20 건에 대해 제1 검수자가 최종적으로 지급받는 실제 포인트는 1900+50=1950원이 된다.

제3 검수자에 의한 재검수 결과가 검수 완료인 경우, 서버는 제1 검수자 및 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하고, 제2 검수자에게는 검수 불량에 관한 책임을 물어 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 지급하지 않는다. 예를 들어, 건당 포인트가 100원이고, 소정의 비율이 5:5로 설정된 경우, 제1 검수자와 제3 검수자는 재검수용 샘플 작업 데이터에 대해서 각각 50원씩 지급받게 된다. 이때, N이 20인 경우, 해당 20 건에 대해 제1 검수자가 최종적으로 지급받는 실제 포인트는 1900+50=1950원이 된다.

제3 검수자에 의한 재검수 결과가 반려 처리인 경우, 서버는 제2 검수자 및 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하고, 제1 검수자에게는 검수 불량에 관한 책임을 물어 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 지급하지 않는다. 이때, N이 20인 경우, 제1 검수자가 최종적으로 지급받는 실제 포인트는 1900+0=1900원이 된다.

일부 실시예에서, 서버는 검수 결과를 구분하여 검수 완료인 경우에만 임시 포인트와 실제 포인트를 지급하고, 반려 처리인 경우에는 임시 포인트와 실제 포인트를 지급하지 않을 수 있다. 또한, 검수 완료와 반려 처리 양자 모두에 대해서 임시 포인트와 실제 포인트를 지급하되, 그 양을 달리할 수 있다. 이러한 경우에도, 상술한 바와 같이, 검수 불량에 관한 책임은 실질적으로 동일하게 적용될 수 있다.

이하에서 도 8을 참조하여 하나의 프로젝트에 참여하고 있는 복수의 검수자 간의 샘플 검수가 동시에 수행되는 방법에 대해 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 설명하기 위한 도면이다.

각각의 검수자는 프로젝트에 참여하여 각각 검수를 수행한다. 서버는 각각의 검수자로부터 실시간으로 수신되는 작업 데이터의 검수 결과에 대해 검수자 별로 N건 마다 샘플 검수를 진행하여, 각각의 검수자의 신뢰성을 검증한다.

1) 검수자 A의 작업 데이터 a에 대한 샘플 검수

서버는 검수자 A가 수행한 1~20건의 작업 데이터 중에서 4번의 작업 데이터를 재검수용 샘플 작업 데이터로 선택하여, 검수자 B에게 재검수를 요청한다.

재검수용 샘플 작업 데이터는 검수자 B에게 8번의 작업 데이터로 배정된다. 검수자 B가 재검수용 샘플 작업 데이터에 대한 검수 결과를 반려 처리함에 따라, 서버는 검수자 C에게 재검수용 샘플 작업 데이터의 재검수를 요청한다.

재검수용 샘플 작업 데이터는 검수자 C에게 17번의 작업 데이터로 배정된다. 검수자 C가 재검수용 샘플 작업 데이터에 대한 검수 결과를 검수 완료함에 따라, 서버는 검수자 B의 오류율을 증가시키고, 검수자 A와 C에게 재검수용 샘플 작업 데이터에 대한 실제 포인트를 소정 비율로 나눠서 지급한다. 이때, 재검수용 샘플 작업 데이터로 선택된 검수자 A의 작업 데이터는 검수 완료로 최종 처리된다.

2) 검수자 B의 작업 데이터 b에 대한 샘플 검수

서버는 검수자 B가 수행한 1~20건의 작업 데이터 중에서 5번의 작업 데이터를 재검수용 샘플 작업 데이터로 선택하여, 검수자 A에게 재검수를 요청한다.

재검수용 샘플 작업 데이터는 검수자 A에게 23번의 작업 데이터로 배정된다. 검수자 A가 재검수용 샘플 작업 데이터에 대한 검수 결과를 반려 처리함에 따라, 서버는 검수자 C에게 재검수용 샘플 작업 데이터의 재검수를 요청한다.

재검수용 샘플 작업 데이터는 검수자 C에게 23번의 작업 데이터로 배정된다. 검수자 C가 재검수용 샘플 작업 데이터에 대한 검수 결과를 반려 처리함에 따라, 서버는 검수자 B의 오류율을 증가시키고, 검수자 A와 C에게 재검수용 샘플 작업 데이터에 대한 실제 포인트를 소정 비율로 나눠서 지급한다. 이때, 재검수용 샘플 작업 데이터로 선택된 검수자 B의 작업 데이터는 반려 처리로 최종 처리된다.

이에 따라, 검수자 B의 오류율이 검수자 A와 C보다 높게 산출되어 서버에 의해 불량 검수자로 판단될 확률이 높아진다.

3) 검수자 D의 작업 데이터 c에 대한 샘플 검수

서버는 검수자 D가 수행한 1~20건의 작업 데이터 중에서 5번의 작업 데이터를 재검수용 샘플 작업 데이터로 선택하여, 검수자 C에게 재검수를 요청한다.

재검수용 샘플 작업 데이터는 검수자 C에게 9번의 작업 데이터로 배정된다. 검수자 C가 재검수용 샘플 작업 데이터에 대한 검수 결과를 검수 완료함에 따라, 서버는 검수자 C와 D에게 재검수용 샘플 작업 데이터에 대한 실제 포인트를 소정 비율로 나눠서 지급한다. 이때, 재검수용 샘플 작업 데이터로 선택된 검수자 D의 작업 데이터는 추가적인 재검수를 수행하지 않고 검수 완료로 최종 처리된다

한편, 상술한 설명에서, 단계 S110 내지 S220은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 후술하는 도 9의 내용은 도 1 내지 도 8의 검수자 간 샘플 검수를 통한 검수자 검증 방법에도 적용될 수 있다.

이하에서는 도 9를 참조하여, 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 통한 검수자 검증 장치(300)에 대하여 설명하도록 한다.

도 9는 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 통한 검수자 검증 장치의 블록도이다.

도 9를 참조하면, 검수자 간 샘플 검수를 통한 검수자 검증 장치(300)(이하, '샘플 검수 장치'라 한다)는 통신모듈(310), 메모리(320) 및 프로세서(330)를 포함한다.

통신모듈(310)은 하나의 프로젝트에 대한 크라우드소싱 기반의 검수 작업을 복수의 검수자(34)에게 송신하고, 복수의 검수자(34)로부터 검수 결과를 수신한다.

메모리(320)에는 통신모듈(310)로부터 수신한 데이터에 기초하여 검수자 간 샘플 검수를 통해 검수자를 검증하기 위한 프로그램이 저장된다.

프로세서(330)는 메모리(320)에 저장된 프로그램을 실행시킨다. 프로그램은 상술한 검수자 간 샘플 검수를 통한 검수자 검증 방법을 실행시키기 위한 명령어들을 포함한다. 프로세서(330)는 메모리(320)에 저장된 프로그램을 실행시킴에 따라, 특정 검수자가 소정 건수의 검수를 수행할 때마다 샘플 작업 데이터를 선택하여 다른 검수자가 샘플 검수하도록 하고, 샘플 검수 결과에 따라 해당 검수자의 신뢰도를 검증할 수 있다.

도 9를 참조하여 설명한 샘플 검수 장치(300)는 상술한 서버의 구성요소로 제공될 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 검수자 간 샘플 검수를 통한 검수자 검증 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 컴퓨터 프로그램(또는 어플리케이션)으로 구현되어 컴퓨터 판독가능 기록매체에 저장될 수 있다

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10 : 의뢰자
20 : 서비스 제공 업체
30 : 대중
32 : 작업자
34 : 검수자
300 : 샘플 검수 장치
310 : 통신모듈
320 : 메모리
330 : 프로세서

Claims

컴퓨터에 의해 수행되는 방법으로서,
제1 검수자가 검수 수행한 작업 데이터를 획득하는 단계;
상기 제1 검수자가 검수 수행한 작업 데이터가 N건(N은 소정의 2 이상의 자연수)씩 누적될 때마다, N건의 작업 데이터 중에서 상기 제1 검수자에 의한 검수 결과가 검수 완료인 소정 개수의 작업 데이터를 재검수용 샘플 작업 데이터로 선택하는 단계;
상기 제1 검수자와 다른 제2 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하는 단계;
상기 제2 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신하는 단계;
상기 제2 검수자에 의한 재검수 결과가 반려 처리인 경우, 제3 검수자에게 일반 검수용 작업 데이터와 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하는 단계;
상기 제3 검수자로부터 상기 재검수용 샘플 작업 데이터에 대한 재검수 결과를 수신하는 단계; 및
상기 제3 검수자에 의한 재검수 결과에 따라 상기 제1 검수자 또는 상기 제2 검수자의 검수 오류율을 증가시키는 단계를 포함하고,
상기 제2 검수자에 의한 재검수 결과가 검수 완료인 경우,
상기 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대하여 검수 요청하지 않고, 상기 제1 검수자의 검수 오류율을 증가시키지 않으며,
상기 제3 검수자에 의한 재검수 결과에 따라 상기 제1 검수자 또는 상기 제2 검수자의 검수 오류율을 증가시키는 단계는,
상기 제3 검수자에 의한 재검수 결과가 검수 완료인 경우, 상기 제2 검수자의 검수 오류율을 증가시키고,
상기 제3 검수자에 의한 재검수 결과가 반려 처리인 경우, 상기 제1 검수자의 검수 오류을을 증가시키는 것인,
검수자 간 샘플 검수를 통한 검수자 검증 방법.
삭제
삭제
제1항에 있어서,
상기 N은 프로젝트의 신뢰도에 따라 설정되는 것인, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제1항에 있어서,
상기 제1 검수자에게 상기 제1 검수자에 의한 상기 N건의 검수와 관련하여 임시 포인트를 지급하는 단계; 및
상기 재검수용 샘플 작업 데이터에 대한 재검수가 완료되면, 상기 제1 검수자에게 상기 임시 포인트를 실제 포인트로 전환하여 지급하되, 상기 제2 검수자 또는 상기 제3 검수자에 의한 재검수 결과에 따라 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 상기 실제 포인트를 조정하여 지급하는 단계를 포함하는, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제5항에 있어서,
상기 실제 포인트를 조정하여 지급하는 단계는,
상기 제2 검수자에 의한 재검수 결과가 검수 완료인 경우, 상기 제1 검수자 및 상기 제2 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하는, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제5항에 있어서,
상기 실제 포인트를 조정하여 지급하는 단계는,
상기 제3 검수자에 의한 재검수 결과가 검수 완료인 경우, 상기 제1 검수자 및 상기 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하고, 상기 제2 검수자에게는 상기 재검수용 샘플 작업 데이터에 대한 실제 포인트를 지급하지 않는, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제5항에 있어서,
상기 실제 포인트를 조정하여 지급하는 단계는,
상기 제3 검수자에 의한 재검수 결과가 반려 처리인 경우, 상기 제2 검수자 및 상기 제3 검수자에게 상기 재검수용 샘플 작업 데이터에 대한 검수와 관련하여 실제 포인트를 소정의 비율로 줄여 지급하고, 상기 제1 검수자에게는 상기 재검수용 샘플 작업 데이터에 대한 실제 포인트를 지급하지 않는, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제8항에 있어서,
상기 임시 포인트를 실제 포인트로 전환하여 지급하는 것은,
상기 제1 검수자에게 상기 N건의 검수 중 상기 재검수용 샘플 작업 데이터를 제외한 검수와 관련하여 상기 임시 포인트를 상기 실제 포인트로 전환하여 지급하는, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제1항에 있어서,
상기 N건의 작업 데이터 중에서 소정 개수의 작업 데이터를 재검수용 샘플 작업 데이터로 선택하는 단계는,
상기 제1 검수자에 의한 검수 결과가 검수 완료이고, 상기 N건의 작업 데이터 중 검수 시간이 가장 짧은 작업 데이터를 상기 재검수용 샘플 작업 데이터로 선택하는 것인, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제10항에 있어서,
작업자가 수행해야 하는 크라우드소싱 작업이 복수의 오브젝트를 포함하고, 하나의 크라우드소싱 작업 당 상기 오브젝트의 숫자가 비고정된 경우, 상기 N 건의 작업 데이터 중 오프젝트 당 평균 검수 시간이 가장 짧은 작업 데이터를 상기 재검수용 샘플 작업 데이터로 선택하는 것인, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제1항에 있어서,
상기 제2 검수자 또는 상기 제3 검수자는 랜덤하게 결정되는, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
제1항에 있어서,
상기 검수 오류율이 소정의 기준 오류율을 초과하는 검수자의 검수 참여를 제한하는 단계를 더 포함하는, 검수자 간 샘플 검수를 통한 검수자 검증 방법.
컴퓨터와 결합하여, 제1항, 제4항 내지 제13항 중 어느 하나의 항의 검수자 간 샘플 검수를 통한 검수자 검증 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.