KR102357381B1 - 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체 - Google Patents

Abstract

본 발명은 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 크라우드소싱을 통해 작업자들이 수행한 작업결과들을 포함하는 서브셋을 생성하고, 생성된 서브셋에 포함된 작업결과를 검수자들에게 제공하여 각 작업결과에 대한 검수가 완료된 경우에 상기 서브셋을 단위로 작업결과에 대한 추론결과를 도출하는, 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체 {Method, Computing Device, and Computer-readable Medium for Processing Plurality of Tasks Collected in Crowdsourcing in a Subset Unit}

본 발명은 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 크라우드소싱을 통해 작업자들이 수행한 작업결과들을 포함하는 서브셋을 생성하고, 생성된 서브셋에 포함된 작업결과를 검수자들에게 제공하여 각 작업결과에 대한 검수가 완료된 경우에 상기 서브셋을 단위로 작업결과에 대한 추론결과를 도출하는, 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것이다.

현재 인공지능과 관련된 기술 개발이 활발하게 이루어짐에 따라 인공지능을 학습시키기 위한 데이터를 구축하는 기술의 중요성 또한 부각되고 있다. 인공지능, 특히 딥러닝 기반의 인공지능의 경우 학습데이터의 양과 질이 우수할수록 뛰어난 성능을 발휘할 수 있기 때문에, 양질의 학습데이터를 구축하는 것은 인공지능의 개발에 중요한 요소에 해당한다.

학습데이터를 구축하는 방법에 있어서, 최근 크라우드소싱(crowdsourcing)을 기반으로 학습데이터를 구축하는 방법들이 사용되고 있다. 크라우드소싱 방식은 불특정 다수의 작업자에게 이미지, 영상, 음성 및 텍스트 등의 작업물을 제공하고, 작업자들은 작업물에 일종의 라벨링과 같은 작업을 수행하고, 작업자들이 수행한 작업결과들은 복수의 검수자에게 제공되어 검수자를 통해 검수되고, 검수가 통과된 작업물을 기반으로 학습데이터를 구축하는 방식이다.

한편, 종래의 크라우드소싱을 활용한 기술의 경우에 프로젝트 단위로 작업자 및 검수자에게 작업물을 제공하며, 복수의 작업자들은 프로젝트에 포함된 복수의 작업물에 대한 작업결과를 도출하고, 복수의 검수자들은 프로젝트에 대한 복수의 작업결과들을 검수하여 검수결과를 도출하며, 최종적으로 프로젝트에 대한 복수의 작업결과 전체에 대한 검수가 완료된 경우에 작업결과 각각에 대한 정답을 산출(추론)하여 작업자 및 검수자에게 정답에 따른 소정의 보상을 제공한다.

그러나, 통상적으로 프로젝트는 수많은 작업물을 포함하기 때문에, 작업자는 프로젝트에 포함된 작업물 전체에 대한 검수가 완료되고, 검수가 완료된 작업결과의 정답이 산출된 후에 보상을 제공받기 때문에, 보상을 받기까지 대기해야 하는 시간이 상당히 길어지게 되는 문제점이 존재하고, 검수자 또한 프로젝트의 전체 작업결과에 대한 정답이 산출된 후에 자신이 검수한 검수결과가 정답에 부합하는지에 따라 보상을 받기 때문에 보상을 받기까지의 상당한 대기 시간이 요구되는 문제점이 존재한다.

더불어, 종래의 기술의 경우 프로젝트에 포함된 전체의 작업결과를 하나의 대기열에 포함시키고, 대기열에 포함된 복수의 작업결과 각각에 대해 복수의 검수자들이 검수를 하는 방식이다. 따라서 특정 검수자가 대기열에 포함된 대다수의 작업결과에 대하여 검수를 수행하는 경우에 해당 대기열의 작업결과에 대한 정답을 산출하는데 특정 검수자의 검수결과가 과도하게 반영될 수 있는 문제점이 존재하며, 상기 특정 검수자의 검수 능력이 부족하다면 대다수 작업결과에 대한 정답의 정확도가 떨어지게 되어 궁극적으로는 학습데이터 자체의 질이 하락하게 되는 문제점이 발생할 수 있다.

한편, 한국 등록특허 제10-2232890호 ("인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 예상 검수시간에 기반한 작업 배정여부 결정 방법")에서는 검수자에게 배정된 복수의 작업 결과에 대한 예상 검수시간을 산출하고, 예상 검수시간이 기준 시간을 초과하는 경우에 작업자에 대한 작업 배정 중단 여부를 결정함으로써, 작업자의 대기 시간을 줄이고, 검수자에게 과도하게 작업이 배정되지 않도록 조정하는 방법에 대해 기술하고 있다.

그러나 해당 기술은 작업량을 조절함으로써 작업자 및 검수자의 대기 시간을 줄일 수 있으나, 검수자에게 할당된 작업량이 많은 경우에 작업자에게 할당되는 작업량을 줄이는 것이므로, 상술한 프로젝트에 특정 검수자의 검수 능력이 과도하게 반영되는 문제점 등은 여전히 개선하지 못하고 있다.

따라서, 상술한 종래 기술의 문제점들을 효과적으로 해결하기 위한 새로운 기술의 개발이 필요한 상황이다.

한국등록특허 제10-2232890호 (인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 예상 검수시간에 기반한 작업 배정여부 결정 방법, 2021년 3월 22일 등록)

본 발명은 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 크라우드소싱을 통해 작업자들이 수행한 작업결과들을 포함하는 서브셋을 생성하고, 생성된 서브셋에 포함된 작업결과를 검수자들에게 제공하여 각 작업결과에 대한 검수가 완료된 경우에 상기 서브셋을 단위로 작업결과에 대한 추론결과를 도출하는, 크라우드소싱에서 수집된 복수의 작업을 서브셋 단위로 처리하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체를 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 크라우드소싱을 통하여 수집된 복수의 작업을 서브셋 단위로 처리하는 방법으로서, 1 이상의 단위작업을 포함하는 복수의 작업물에 대하여 복수의 작업자가 수행한 복수의 작업결과를 수신하고, 기설정된 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하는 서브셋생성단계; 상기 서브셋에 포함된 소정의 개수 이하의 작업결과를 복수의 검수자에게 제공하고, 상기 복수의 검수자로부터 상기 작업결과 각각에 대하여 검수한 검수결과를 수신하는 서브셋검수단계; 상기 서브셋검수단계를 통해 1 이상의 검수결과가 할당되어 있는 소정의 개수의 작업결과 각각이 검수종료기준을 충족하는 지 판단하고, 상기 서브셋에 포함된 소정의 개수의 작업결과 모두가 상기 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하는 서브셋검수종료단계; 및 상기 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과에 대하여 검수를 수행한 복수의 검수자 각각의 신뢰도정보 및 소정의 개수의 작업결과 각각에 대한 1 이상의 검수결과에 기초하여 상기 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 서브셋추론단계;를 포함하는, 복수의 작업을 서브셋 단위로 처리하는 방법을 제공한다.

본 발명의 일 실시예에 따르면, 상기 서브셋생성기준은 서브셋에 포함되는 작업결과의 개수정보를 포함하고, 상기 검수종료기준은 서브셋에 포함되는 소정의 개수의 작업결과에 대하여 검수자가 검수할 수 있는 최대 검수 개수정보 및 작업결과에 대한 종료기준정보를 포함하고, 상기 작업결과에 대한 종료기준정보는, 특정 값을 갖는 검수결과의 최소개수정보, 검수결과의 최대개수정보 및 작업결과를 오류로 검수하는 검수결과의 개수정보 가운데 1 이상을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 검수종료기준은 서브셋에 포함되는 소정의 개수의 작업결과에 대하여 검수자가 검수할 수 있는 최대 검수 개수정보를 포함하고, 상기 서브셋검수단계는 특정 검수자가 상기 서브셋에 포함되는 소정의 개수의 작업결과 가운데 상기 최대 검수 개수정보에 상응하는 1 이상의 작업결과에 대하여 검수를 수행한 경우에, 상기 특정 검수자가 검수하지 않은 상기 서브셋에 포함되는 1 이상의 나머지 작업결과를 상기 특정 검수자에게 제공하지 않을 수 있다.

본 발명의 일 실시예에 따르면, 상기 서브셋검수종료단계는, 상기 서브셋검수단계를 통해 상기 서브셋에 포함된 작업결과 별로 검수결과를 수신할 때마다 해당 작업결과에 대한 상기 검수종료기준의 충족 여부를 판단하는 단계; 및 해당 작업결과가 상기 검수종료기준을 충족하지 않는 경우에 상기 서브셋검수단계를 통해 해당 작업결과를 복수의 검수자에게 제공하도록 하고, 해당 작업결과가 상기 검수종료기준을 충족하는 경우에 상기 서브셋검수단계를 통해 해당 작업결과를 복수의 검수자에게 제공하는 것을 중지하도록 하고, 해당 작업결과를 대기상태로 설정하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 서브셋생성단계는, 서브셋을 생성하고 있는 상태에서 상기 서브셋생성기준이 변경되는 경우에 상기 생성하고 있는 상태의 서브셋을 변경되기 전의 서브셋생성기준에 기초하여 생성하고, 이후에 생성되는 서브셋을 상기 변경된 서브셋생성기준에 기초하여 생성할 수 있다.

본 발명의 일 실시예에 따르면, 상기 복수의 작업을 서브셋 단위로 처리하는 방법은, 상기 서브셋추론단계를 통해 도출된 추론결과에 기초하여 상기 서브셋에 포함된 작업결과를 제공한 작업자에게 해당 작업결과의 통과 여부에 대한 정보를 제공하고, 상기 추론결과에 기초하여 해당 작업결과를 검수한 검수자에게 해당 검수자가 해당 작업결과를 검수한 검수결과의 통과 여부에 대한 정보를 제공하는 작업결과제공단계;를 더 포함할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 크라우드소싱을 통하여 수집된 복수의 작업을 서브셋 단위로 처리하는 방법을 수행하는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치로서, 상기 컴퓨팅장치는, 1 이상의 단위작업을 포함하는 복수의 작업물에 대하여 복수의 작업자가 수행한 복수의 작업결과를 수신하고, 기설정된 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하는 서브셋생성단계; 상기 서브셋에 포함된 소정의 개수 이하의 작업결과를 복수의 검수자에게 제공하고, 상기 복수의 검수자로부터 상기 작업결과 각각에 대하여 검수한 검수결과를 수신하는 서브셋검수단계; 상기 서브셋검수단계를 통해 1 이상의 검수결과가 할당되어 있는 소정의 개수의 작업결과 각각이 검수종료기준을 충족하는 지 판단하고, 상기 서브셋에 포함된 소정의 개수의 작업결과 모두가 상기 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하는 서브셋검수종료단계; 및 상기 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과에 대하여 검수를 수행한 복수의 검수자 각각의 신뢰도정보 및 소정의 개수의 작업결과 각각에 대한 1 이상의 검수결과에 기초하여 상기 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 서브셋추론단계;를 수행하는, 컴퓨팅장치를 제공한다.

상기와 같은 과제를 해결하기 위하여, 1 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 1 이상의 단위작업을 포함하는 복수의 작업물에 대하여 복수의 작업자가 수행한 복수의 작업결과를 수신하고, 기설정된 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하는 서브셋생성단계; 상기 서브셋에 포함된 소정의 개수 이하의 작업결과를 복수의 검수자에게 제공하고, 상기 복수의 검수자로부터 상기 작업결과 각각에 대하여 검수한 검수결과를 수신하는 서브셋검수단계; 상기 서브셋검수단계를 통해 1 이상의 검수결과가 할당되어 있는 소정의 개수의 작업결과 각각이 검수종료기준을 충족하는 지 판단하고, 상기 서브셋에 포함된 소정의 개수의 작업결과 모두가 상기 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하는 서브셋검수종료단계; 및 상기 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과에 대하여 검수를 수행한 복수의 검수자 각각의 신뢰도정보 및 소정의 개수의 작업결과 각각에 대한 1 이상의 검수결과에 기초하여 상기 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 서브셋추론단계;를 포함하는, 컴퓨터 프로그램을 제공한다.

본 발명의 일 실시예에 따르면, 소정 개수의 작업결과를 포함하는 서브셋을 생성하고, 서브셋에 포함된 소정 개수의 작업결과에 대한 검수가 완료된 경우에 서브셋에 포함된 소정 개수의 작업결과에 대한 추론결과(정답)를 도출하므로, 전체 작업결과에 대한 검수가 완료된 후에 추론결과를 도출하는 것과 비교하여, 신속하게 추론결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서브셋검수종료단계는 작업결과가 검수종료기준을 충족하는 지 판단하고, 검수종료기준은 검수자가 검수할 수 있는 최대 검수 개수정보를 포함하므로, 특정 검수자가 서브셋에 포함된 소정 개수의 작업결과에 대하여 과도하게 검수하는 것을 방지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서브셋생성단계는 서브셋생성기준이 변경되는 경우에 생성중인 서브셋은 변경되기 전의 서브셋생성기준에 따라 생성되고, 이후에 생성되는 서브셋은 변경된 서브셋생성기준에 따라 생성되므로, 서브셋생성기준이 변경됨에 따라 작업결과에 대한 검수가 누락되는 것을 방지할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 방식으로 데이터를 구축하기 위한 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 작업물에 포함된 단위작업들을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 컴퓨팅장치에서 수행하는 복수의 작업을 서브셋 단위로 처리하기 위한 단계들을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 서브셋 단위를 사용하지 않고 작업결과를 처리하는 구성 및 서브셋 단위를 사용하여 작업결과를 처리하는 구성을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 서브셋생성기준, 검수종료기준 및 종료기준정보를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 검수자가 최대 검수 개수정보에 따라 작업결과에 대한 검수를 수행하는 구성을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 검수종료기준에 따라 서브셋에 포함된 작업결과를 대기상태로 설정하는 과정을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 서브셋생성기준이 변경됨에 따라 생성되는 서브셋들을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 작업결과제공단계를 통해 작업자 및 검수자에게 제공되는 정보들을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 검수자의 신뢰도정보를 반영하여 검수결과를 도출하는 방법을 구현하기 위한 컴퓨팅장치의 내부구성을 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 검수자의 신뢰도정보를 반영하여 검수결과를 도출하는 방법의 세부과정들을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 신뢰도정보를 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 복수의 단위작업의 작업결과에 대하여 복수의 검수자의 검수결과에 따라 신뢰도정보가 업데이트되는 과정을 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 복수의 검수자의 복수의 초기신뢰도 테스트에 대한 테스트결과를 수신하여 복수의 검수자의 초기신뢰도정보를 도출하는 과정을 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

1. 크라우드소싱을 통하여 수집된 복수의 작업을 서브셋 단위로 처리하는 방법

이하에서는, 크라우드소싱을 통해 작업자들이 작업물에 포함된 1 이상의 단위작업에 대하여 작업을 수행한 복수의 작업결과에 대하여, 복수의 작업결과를 서브셋으로 묶고, 서브셋을 단위로 하여 서브셋에 포함된 작업결과에 대한 검수 및 검수된 작업결과에 대한 정답을 추론하는 일련의 과정들을 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 방식으로 데이터를 구축하기 위한 시스템을 개략적으로 도시한다.

도 1에 도시된 바와 같이 크라우드소싱 방식으로 데이터 구축, 바람직하게는 라벨링된 학습데이터를 구축하기 위한 시스템은 작업물에 대한 작업을 수행하는 복수의 작업자단말(2000) 및 작업자가 수행한 작업결과를 검수하는 복수의 검수자단말(3000) 및 복수의 작업자단말(2000) 및 복수의 검수자단말(3000)과 통신을 수행하는 컴퓨팅장치(1000)를 포함한다.

상기 작업자단말(2000)은 상기 컴퓨팅장치(1000)와 통신을 수행하여 작업이 수행될 수 있는 1 이상의 작업물을 제공받고, 해당 작업물에 대하여 작업자가 입력한 작업결과를 상기 컴퓨팅장치(1000)로 송신한다. 한편, 상기 작업자단말(2000)은 제공받은 작업물에 대하여 작업자가 작업을 수행할 수 있도록 작업물이 표시되는 인터페이스를 디스플레이하고, 작업자는 작업자단말(2000)에 표시된 인터페이스를 통해 작업물에 대한 작업결과를 입력할 수 있다.

한편, 작업자는 상기 작업자단말(2000)을 통해 상기 컴퓨팅장치(1000)로 작업결과를 송신하거나, 혹은 작업결과를 송신한 후에 해당 작업결과가 복수의 검수자에 의해 검수가 완료된 경우에 상기 컴퓨팅장치(1000)로부터 소정의 리워드를 제공받을 수 있다. 구체적으로, 상기 컴퓨팅장치(1000)는 작업결과를 제공한 작업자에 상응하는 계정에 작업결과에 따른 소정의 리워드를 제공하고, 상기 작업자단말(2000)은 작업자의 입력에 따라 해당 계정에 제공받은 리워드를 디스플레이할 수 있다.

한편, 상기 소정의 리워드는 작업을 수행한 작업물의 양, 수행한 작업결과에 대한 검수결과에 따라 리워드의 규모가 결정될 수 있고, 따라서 작업자로 하여금 양질의 작업결과를 도출할 수 있도록 하는 동인이 될 수 있다. 또한, 상기 작업자는 자신이 수행한 작업결과가 컴퓨팅장치(1000)에서 해당 작업결과에 대하여 추론한 정답과 일치하는 경우에만 소정의 리워드를 제공받을 수 있다.

상기 검수자단말(3000)은 상기 컴퓨팅장치(1000)와 통신을 수행하여 복수의 작업자가 수행한 1 이상의 작업결과를 제공받고, 해당 작업결과에 대하여 검수자가 입력한 검수결과를 상기 컴퓨팅장치(1000)로 송신한다. 한편, 상기 검수자단말(3000)은 제공받은 작업결과에 대하여 검수자가 검수를 수행할 수 있도록 작업결과가 표시되는 인터페이스를 디스플레이하고, 검수자는 검수자단말(3000)에 표시된 인터페이스를 통해 작업결과에 대한 검수를 통해 검수결과를 입력할 수 있다.

한편, 본 발명의 다른 실시예에서는 작업자뿐만 아니라 검수자 또한 자신의 수행한 검수결과에 따라 컴퓨팅장치(1000)로부터 소정의 리워드를 제공받을 수 있다. 구체적으로 검수자는 작업결과에 대하여 자신이 검수한 검수결과가 컴퓨팅장치(1000)에서 해당 작업결과에 대하여 추론한 정답과 일치하는 것으로 검수한 경우에만 소정의 리워드를 제공받을 수 있다.

이와 같이, 상기 작업자단말(2000) 및 상기 검수자단말(3000)은 스마트폰, PC 등과 같이 컴퓨팅장치(1000)와 통신을 수행하여 정보를 디스플레이 하고, 사용자로부터 입력을 받을 수 있는 다양한 형태의 컴퓨팅장치에 해당할 수 있다. 또한 상기 작업자단말(2000) 및 상기 검수자단말(3000)은 컴퓨팅장치(1000)와 통신을 수행하기 위한 어플리케이션 또는 웹페이지를 실행할 수 있는 웹브라우저가 설치되어 있고, 상기 어플리케이션 또는 상기 웹페이지를 실행하는 것으로 상기 컴퓨팅장치(1000)와의 통신을 수행할 수 있다.

한편, 상기 어플리케이션 또는 상기 웹페이지는 작업자를 위한 별도의 어플리케이션 혹은 별도의 웹페이지, 검수자를 위한 별도의 어플리케이션 혹은 별도의 웹페이지를 포함할 수 있다. 반면에 상기 어플리케이션 또는 상기 웹페이지는 작업자 및 검수자 모두가 공통으로 사용하는 어플리케이션 또는 웹페이지에 해당할 수 있고, 작업자 및 검수자 각각에 상응하는 계정타입으로 로그인함에 따라 계정타입에 따른 상이한 정보들이 표시될 수도 있다.

상기 컴퓨팅장치(1000)는 복수의 작업자단말(2000) 및 복수의 검수자단말(3000)과 통신을 수행하여, 작업자단말(2000)에 작업물을 제공하여 작업결과를 수신하고, 검수자단말(3000)에 작업결과를 제공하여 검수결과를 수신할 수 있다. 구체적으로, 컴퓨팅장치(1000)는 프로젝트 또는 미션에 포함되는 복수의 작업물을 상기 복수의 작업자단말(2000)에 제공하며, 상기 작업물은 1 이상의 단위작업을 포함할 수 있다.

즉, 프로젝트 또는 미션은 인공지능 학습데이터와 같이 라벨링된 데이터를 생성하기 위한 복수의 작업물(데이터)를 포함하고, 작업물은 이미지데이터, 영상데이터, 음성데이터, 및 텍스트데이터 등에 해당할 수 있다. 한편, 각각의 작업물은 특정 객체를 라벨링하는 단위작업과 같이 1 이상의 단위작업을 포함한다.

따라서, 컴퓨팅장치(1000)는 프로젝트 또는 미션에 포함된 복수의 작업물을 작업자에게 제공하고, 작업자는 제공받은 작업물에 포함된 1 이상의 단위작업을 수행하여 작업결과를 도출하고, 컴퓨팅장치(1000)는 작업자가 수행한 작업결과를 검수자에게 제공하고, 검수자는 제공받은 작업결과에 대한 검수를 수행하여 검수결과를 도출하고, 컴퓨팅장치(1000)는 작업결과에 대하여 복수의 검수자가 수행한 검수결과에 기초하여 해당 작업결과에 대한 정답을 추론한다.

또한, 상기 컴퓨팅장치(1000)는 작업자가 수행한 작업결과에 대하여 해당 작업자에게 소정의 리워드를 제공하거나, 혹은 검수자가 수행한 검수결과에 대하여 해당 검수자에게 소정의 리워드를 제공할 수도 있다. 도 1에서 컴퓨팅장치(1000)는 물리적으로 구분되지 않은 단일 컴퓨팅장치(1000)로 도시하였으나, 상기 컴퓨팅장치(1000)는 물리적으로 구분된 복수의 세부 컴퓨팅장치를 포함할 수 있다. 예를 들어, 상기 컴퓨팅장치(1000)는 작업자단말(2000)에 작업물을 제공하여 작업자단말(2000)로부터 작업결과를 수신하고, 검수자단말(3000)에 작업결과를 제공하여 검수자단말(3000)로부터 검수결과를 수신하고, 작업자 또는 검수자에게 소정의 리워드를 제공하는 구성을 포함하는 제1 세부 컴퓨팅장치(미도시) 및 수신한 검수결과에 기초하여 해당 작업결과에 대한 추론결과를 도출하기 위한 구성을 포함하는 제2 세부 컴퓨팅장치(미도시)를 포함할 수 있다. 이와 같은 경우, 상기 제1 세부 컴퓨팅장치 및 상기 제2 세부 컴퓨팅장치는 물리적으로 구분되어 있으나, 상호 통신을 수행하여 데이터를 주고받을 수 있다. 상기 컴퓨팅장치(1000)는 서버와 같이 복수의 작업자단말(2000) 및 복수의 검수자단말(3000)과 통신을 수행하고, 복수의 검수자의 검수결과에 따라 추론결과를 도출할 수 있는 다양한 형태의 데이터 처리 장치에 해당할 수 있다.

바람직하게 상기 컴퓨팅장치(1000)는 작업결과를 검수자에게 할당함에 있어서, 프로젝트 또는 미션에 포함되는 복수의 작업물에 대한 복수의 작업결과들을 복수의 서브셋으로 구분하고, 서브셋을 단위로 각 서브셋 별로 서브셋에 포함된 작업결과들을 복수의 검수자에게 제공하고, 복수의 검수자에 의하여 서브셋에 포함된 작업결과에 대한 검수가 완료된 경우에 서브셋에 포함된 작업결과에 대한 정답을 추론하는 일련의 단계들을 수행한다.

이를 통해 프로젝트 또는 미션에 포함되는 복수의 작업물에 대한 복수의 작업결과 전체를 하나의 셋에 포함시키고, 상기 하나의 셋에 포함된 작업결과에 대한 검수가 모두 완료된 경우에 각 작업결과에 대한 정답을 추론하는 종래의 방법에 비해 신속하게 작업결과에 대한 정답을 추론할 수 있는 효과를 발휘할 수 있다.

한편 도 1에서 도시되지 않았으나, 본 발명의 다른 실시예에서 상기 컴퓨팅장치(1000)는 데이터요청자단말(미도시)과 통신을 수행할 수 있고, 상기 데이터요청자단말을 통해 데이터요청자가 라벨링을 필요로 하는 작업물들을 포함하는 프로젝트 또는 미션을 수신하고, 상기 데이터요청자단말은 해당 작업물의 작업결과에 대한 검수결과에 기초하여 도출된 검수종합결과에 따라 라벨링된 작업물을 상기 컴퓨팅장치(1000)로부터 수신할 수 있다. 또한 데이터요청자가 필요로 하는 유형의 작업물이 상기 컴퓨팅장치(1000)에 기저장될 수 있고, 상기 데이터요청자단말은 기저장된 작업물에 대하여 라벨링된 작업물을 상기 컴퓨팅장치(1000)로부터 수신할 수 있다.

도 2는 본 발명의 일 실시예에 따른 작업물에 포함된 단위작업들을 개략적으로 도시한다.

도 2의 (A) 내지 (D)는 작업물을 포함하는 인터페이스의 일 실시예로써 작업자단말(2000)에 디스플레이될 수 있다.

도 2의 (A)의 가장 좌측에서부터 설명하면, 가장 좌측에 있는 도면은 작업자단말(2000)에 구비된 카메라를 사용하여 요청된 오브젝트를 촬영하는 것으로, 예를 들어, 달력을 촬영해달라는 작업요청에 대하여 작업자가 달력을 촬영함으로써 달력이 촬영된 이미지가 작업결과에 해당할 수 있다. 한편 이와 같은 작업결과에 대하여 검수자는 상기 촬영된 이미지가 달력이 맞는지에 대한 여부를 입력하는 것으로써 검수결과를 입력할 수 있다.

도 2의 (A)의 두번째 도면은 이미지형태의 작업물을 포함하는 인터페이스를 도시한 도면이다. 이와 같은 작업물을 제공받은 작업자는 해당 이미지에 포함된 특정 오브젝트의 영역을 설정하는 것으로써 작업결과를 입력할 수 있다. 이와 같은 경우에 해당 인터페이스에는 영역을 설정하고자 하는 특정 오브젝트(예를 들어, 탁자)가 명시될 수 있다. 한편 해당 작업결과에 대하여 검수자는 해당 이미지에 설정된 영역이 특정 오브젝트가 맞는지에 대한 여부를 입력하거나, 혹은 특정 오브젝트의 영역이 정상적으로 설정되었는 지에 대한 여부를 입력하는 것으로써 검수결과를 입력할 수 있다.

도 2의 (A)의 세번째 도면은 두번째 도면과 유사하게 이미지형태의 작업물을 포함하는 인터페이스를 도시한 도면으로써, 이와 같은 작업물을 제공받은 작업자는 해당 이미지에 포함된 특정 오브젝트들을 선택하는 것으로써 작업결과를 입력할 수 있다. 마찬가지로 해당 인터페이스에는 선택하고자 하는 특정 오브젝트(예를 들어, 차량)가 명시될 수 있다. 한편 해당 작업결과에 대하여 검수자는 해당 이미지에 포함된 특정 오브젝트가 모두 선택되었는 지에 대한 여부를 입력하거나, 혹은 선택된 특정 오브젝트의 영역이 정상적으로 설정되었는 지에 대한 여부를 입력하는 것으로써 검수결과를 입력할 수 있다.

도 2의 (A)의 네번째 도면은 또 다른 형태의 이미지형태의 작업물을 포함하는 인터페이스를 도시한 도면으로써, 이와 같은 작업물을 제공받은 작업자는 해당 이미지와 연관된 선택지를 선택하거나 혹은 해당 이미지와 관련된 정보들을 직접 입력하는 것으로써 작업결과를 입력할 수 있다. 한편 해당 작업결과에 대하여 검수자는 해당 이미지에 대하여 선택된 선택지가 맞는지를 입력하거나, 혹은 직접 입력한 정보가 적절한지에 대한 여부를 입력하는 것으로써 검수결과를 입력할 수 있다.

도 2의 (B)에 도시된 도면들은 텍스트 기반의 작업물을 포함하는 인터페이스들의 일 실시예를 도시한다. 도 2의 (B)에서 가장 좌측 도면은 특정 텍스트를 포함하는 이미지형태의 작업물을 포함하는 인터페이스를 도시한 도면으로써, 이와 같은 작업물을 제공받은 작업자는 이미지에 포함된 텍스트를 직접 입력하는 것으로써 작업결과를 입력할 수 있다. 한편, 해당 작업결과에 대하여 검수자는 해당 이미지에 포함된 텍스트와 작업자가 입력한 텍스트가 일치하는 지 여부를 입력함으로써 검수결과를 입력할 수 있다.

도 2의 (B)의 두번째 도면은 1 이상의 주제어들을 작업물로 하는 인터페이스를 도시한 도면으로써, 이와 같은 작업물을 제공받은 작업자는 1 이상의 주제어와 관련된 문장을 입력함으로써 작업결과를 입력할 수 있다. 한편, 해당 작업결과에 대하여 검수자는 입력된 문장과 1 이상의 주제어와 적절하게 연관되어 있는지 여부를 입력함으로써 검수결과를 입력할 수 있다.

도 2의 (B)의 세번째 도면은 소정의 텍스트가 음성으로 변환된 음성형태의 작업물을 포함하는 인터페이스를 도시한 도면으로써, 이와 같은 작업물을 제공받은 작업자는 음성을 듣고, 해당 음성을 텍스트형태로 직접 입력함으로써 작업결과를 입력할 수 있다. 한편, 해당 작업결과에 대하여 검수자는 입력된 텍스트와 음성이 일치하는 지 여부를 입력함으로써 검수결과를 입력할 수 있다.

도 2의 (B)의 네번째 도면은 1 이상의 주제어를 작업물로 하는 다른 형태의 인터페이스를 도시한 도면으로써, 이와 같은 작업물을 제공받은 작업자는 1 이상의 주제어와 관련된 문장을 음성형태로 녹음함으로써 작업결과를 입력할 수 있다. 한편, 해당 작업결과에 대하여 검수자는 녹음된 음성과 1 이상의 주제어가 적절하게 연관되어 있는지 여부, 혹은 녹음이 정상적으로 녹음되어 있는지 여부를 입력함으로써 검수결과를 입력할 수 있다.

도 2의 (C)는 이미지형태의 작업물을 포함하는 또 다른 형태의 인터페이스를 도시한 도면에 해당한다. 구체적으로, 해당 작업물을 제공받은 작업자는 이미지에서 요청받은 1 이상의 특징점을 설정함으로써 작업결과를 입력할 수 있다. 예를 들어, 도 2의 (C)에서는 사람의 얼굴 이미지가 작업물로 제공되고, 작업자는 해당 얼굴 이미지에서 '이마', '왼쪽 눈썹', '오른쪽 눈썹', '왼쪽 눈', '오른쪽 눈', '코', '왼쪽 턱', '입술', '오른쪽 턱', 및 '턱'에 대한 복수의 특징점을 설정하는 것으로 작업결과를 입력할 수 있다.

한편, 도 2의 (C)에 도시된 바와 같이 하나의 작업물에는 1 이상의 단위작업이 포함될 수 있고, 작업자는 각 단위작업에 대한 작업결과를 입력할 수 있다. 예를 들어, 도 2의 (C)에서는 상술한 바와 같이 특징점을 설정하는 단위작업에 대한 작업결과뿐만 아니라, 해당 얼굴 이미지로부터 추정되는 연령대를 입력하는 단위작업에 대하여 작업자는 특정 연령대를 입력하는 것으로써 해당 단위작업에 대한 작업결과를 입력할 수 있고, 해당 얼굴 이미지로부터 추정되는 성별을 입력하는 단위작업에 대하여 작업자는 특정 성별을 입력하는 것으로써 해당 단위작업에 대한 작업결과를 입력할 수 있으며, 또한 해당 이미지에 포함된 오브젝트들을 입력하는 단위작업에 대하여 작업자는 이미지에 포함되는 오브젝트들을 입력하는 것으로써 해당 단위작업에 대한 작업결과를 입력할 수 있다.

이와 같이, 하나의 작업물에 대하여 1 이상의 단위작업이 포함될 수 있으며, 검수자는 해당 작업물에 대한 각각의 단위작업의 작업결과별로 검수를 수행하여 단위작업별로 검수결과를 입력할 수 있다.

도 2의 (D)는 이미지 혹은 영상형태의 작업물을 포함하는 인터페이스를 도시한 도면에 해당한다. 구체적으로, 도 2의 (D)에 도시된 바와 같이 작업물로 제공된 이미지 혹은 영상(영상의 특정 프레임)에서 작업자는 메인 오브젝트 혹은, 작업으로 요청된 특정 오브젝트의 영역을 복수의 포인트를 입력하는 것으로 설정할 수 있고, 설정된 영역에 대하여 라벨링을 수행함으로써 작업결과를 입력할 수 있다. 한편, 해당 작업결과에 대하여 검수자는 오브젝트의 영역이 정상적으로 설정되었는 지에 대한 여부, 혹은 설정된 영역에 대하여 입력된 레이블이 올바른 지에 대한 여부를 입력함으로써 검수결과를 입력할 수 있다.

또한, 검수자가 입력하는 검수결과는 상술한 바와 같이 참, 거짓과 같이 2 개의 선택지에서 특정 선택지를 선택하는 것뿐만 아니라, 3 이상의 선택지에서 특정 선택지를 선택하는 것이나, 작업결과에 대하여 검수자가 텍스트 등을 직접 입력하는 등의 다양한 검수결과의 형태들을 포함할 수 있다.

도 3은 본 발명의 일 실시예에 따른 컴퓨팅장치(1000)의 내부 구성을 개략적으로 도시한다.

도 3에 도시된 바와 같이, 컴퓨팅장치(1000)는 서브셋생성부(1100), 서브셋검수부(1200), 서브셋검수종료부(1300), 서브셋추론부(1400), 작업결과제공부(1500) 및 DB(1600)를 포함한다. 한편, 도 3에 도시된 컴퓨팅장치(1000)는 본 발명을 용이하게 설명하기 위한 요소들만을 개략적으로 도시한 것이며, 상기 컴퓨팅장치(1000)는 1 이상의 프로세서 및 1 이상의 메모리를 더 포함하고, 그 외에도 크라우드소싱 기반의 동작들을 수행하기 위한 타 요소들을 추가적으로 포함할 수도 있다.

상기 서브셋생성부(1100)는, 상기 컴퓨팅장치(1000)에서 복수의 작업자에게 제공한 복수의 작업물에 대하여 각각의 작업자가 작업자단말을 통해 수행한 작업결과들을 수신하고, 수신한 작업결과들을 소정의 개수별로 나누어 소정의 개수의 작업결과를 포함하는 서브셋을 생성한다. 상기 서브셋생성부(1100)는 서브셋생성기준에 따라 서브셋에 포함되는 작업결과들의 개수를 결정할 수 있으며, 관리자 등의 입력에 따라 서브셋생성기준은 기설정되거나, 기설정된 서브셋생성기준이 변경될 수도 있다.

상기 서브셋검수부(1200)는, 생성된 서브셋에 포함된 소정의 개수 이하의 작업결과들을 복수의 검수자 각각에 제공하고, 상기 복수의 검수자들은 해당 검수자단말을 통해 제공받은 작업결과에 대한 검수를 수행하여 검수결과를 생성하고, 상기 서브셋검수부(1200)는 해당 검수자단말로부터 검수자가 작업결과에 대하여 검수한 검수결과를 수신한다. 상기 서브셋검수부(1200)는 서브셋에 포함되는 하나의 작업결과를 임의의 복수의 검수자에게 제공하나, 바람직하게는 검수종료기준에 기초하여 해당 작업결과가 상기 검수종료기준을 충족할 때까지 해당 작업결과를 복수의 검수자에게 제공하다가, 해당 작업결과가 상기 검수종료기준을 충족하는 경우에 검수자에게 해당 작업결과를 제공하는 것을 중지할 수 있다.

상기 서브셋검수종료부(1300)는, 서브셋에 포함된 복수의 작업결과 각각이 상기 검수종료기준을 만족하는지 판단하며, 상술한 바와 같이, 특정 작업결과가 상기 검수종료기준을 만족하지 않는 경우에는 상기 서브셋검수부(1200)를 통해 특정 작업결과를 검수자에게 제공하도록 하며, 상기 검수종료기준을 만족하는 경우에 상기 서브셋검수부(1200)를 통해 특정 작업결과를 검수자에게 제공하도록 하는 것을 중지한다.

상기 서브셋검수종료부(1300)는 서브셋에 포함된 복수의 작업결과 모두가 검수종료기준을 만족하는 경우에 상기 서브셋을 검수종료상태로 설정하며, 후술하는 서브셋추론부(1400)에서 상기 검수종료상태로 설정된 서브셋의 복수의 작업결과에 대한 추론결과를 도출할 수 있다.

상기 서브셋추론부(1400)는, 서브셋검수부(1200)를 통해 검수종료상태로 설정된 서브셋에 대하여 상기 서브셋에 포함된 복수의 작업결과 각각에 대한 추론결과를 도출한다. 구체적으로, 상기 서브셋추론부(1400)는 서브셋에 포함된 복수의 작업결과 및 해당 작업결과에 대한 복수의 검수자가 수행한 검수결과에 기초하여 각 작업결과에 대한 추론결과를 도출하며, 상기 추론결과는 해당 작업결과에 대한 정답을 의미할 수 있다.

한편, 상기 서브셋추론부(1400)는 작업결과에 대한 복수의 검수결과 및 기설정된 규칙에 따라 해당 작업결과에 대한 정답을 추론하며, 상기 기설정된 규칙은 다양하게 설정될 수 있다. 예를 들어, 복수의 검수결과 가운데 해당 작업결과를 특정 값으로 검수한 검수결과가 과반 이상을 차지하는 경우에, 해당 작업결과의 정답을 특정 값으로 추론할 수 있다.

바람직하게 상기 서브셋추론부(1400)는 각각의 검수결과를 도출한 검수자에 대한 신뢰도를 고려하여 작업결과에 대한 추론결과를 도출할 수 있으며, 이에 대해서는 도 11 이하에서 자세하게 설명하도록 한다.

상기 작업결과제공부(1500)는 서브셋추론부(1400)에서 도출된 작업결과에 대한 추론결과에 기초하여 해당 작업결과를 생성한 작업자에게 해당 작업결과의 통과 여부(해당 작업결과의 정답 여부) 및 해당 작업결과의 검수결과를 생성한 복수의 검수자에게 해당 검수결과의 통과 여부(해당 검수결과의 정답 여부)에 대한 정보를 제공한다.

DB(1600)는 상기 컴퓨팅장치(1000)에서 서브셋을 단위로 작업결과를 처리하기 위한 다양한 정보들이 포함될 수 있다. 예를 들어, DB(1600)에는 작업물을 제공받는 작업자에 대한 작업자정보, 검수결과를 제공받는 검수자에 대한 검수자정보, 작업자에게 제공하기 위한 작업물, 작업물에 대하여 작업자가 수행한 작업결과, 작업결과에 대하여 검수자가 수행한 검수결과, 작업결과 및 작업결과에 대한 1 이상의 검수결과에 따라 도출되는 추론결과, 추론결과를 도출하기 위한 검수자별 신뢰도정보, 서브셋을 생성하기 위한 서브셋생성기준, 서브셋에 포함되는 작업결과의 검수를 종료하기 위한 검수종료기준이 저장될 수 있다.

도 4는 본 발명의 일 실시예에 따른 컴퓨팅장치(1000)에서 수행하는 복수의 작업을 서브셋 단위로 처리하기 위한 단계들을 개략적으로 도시한다.

도 4에 도시된 바와 같이, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치(1000)에서 수행되는 크라우드소싱을 통하여 수집된 복수의 작업을 서브셋 단위로 처리하는 방법으로서, 1 이상의 단위작업을 포함하는 복수의 작업물에 대하여 복수의 작업자가 수행한 복수의 작업결과를 수신하고, 기설정된 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하는 서브셋생성단계(S100); 상기 서브셋에 포함된 소정의 개수 이하의 작업결과를 복수의 검수자에게 제공하고, 상기 복수의 검수자로부터 상기 작업결과 각각에 대하여 검수한 검수결과를 수신하는 서브셋검수단계(S101); 상기 서브셋검수단계(S101)를 통해 1 이상의 검수결과가 할당되어 있는 소정의 개수의 작업결과 각각이 검수종료기준을 충족하는 지 판단하고, 상기 서브셋에 포함된 소정의 개수의 작업결과 모두가 상기 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하는 서브셋검수종료단계(S102); 및 상기 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과에 대하여 검수를 수행한 복수의 검수자 각각의 신뢰도정보 및 소정의 개수의 작업결과 각각에 대한 1 이상의 검수결과에 기초하여 상기 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 서브셋추론단계(S103);를 포함할 수 있다.

구체적으로, 서브셋생성부(1100)에서 수행되는 서브셋생성단계(S100)는 복수의 작업자단말을 통해 각각의 작업자가 작업물에 대하여 수행한 복수의 작업결과를 수신하고, 복수의 작업결과를 서브셋생성기준에 따라 소정의 개수의 작업결과들이 포함되는 서브셋을 생성한다.

바람직하게는, 상기 서브셋생성단계(S100)는 실시간으로 복수의 작업자단말을 통해 복수의 작업결과를 수신하고, 실시간으로 수신하는 작업결과를 서브셋에 순차적으로 포함시키다가 상기 서브셋에 서브셋생성기준에 따른 소정의 개수의 작업결과들이 포함되는 경우에 서브셋의 생성을 완료할 수 있으며, 이후에 수신하는 작업결과는 다음에 생성되는 서브셋에 포함될 수 있다.

상기 서브셋검수부(1200)에서 수행되는 서브셋검수단계(S101)는 생성된 서브셋에 포함된 소정 개수의 작업결과들을 복수의 검수자에게 제공하고, 복수의 검수자에 상응하는 검수자단말로부터 제공한 작업결과에 대한 검수결과들을 수신한다.

바람직하게 상기 서브셋검수단계(S101)는 작업결과를 계속 검수자들에게 제공하는 것이 아니라, 상기 서브셋검수종료단계(S102)에서 해당 작업결과가 검수종료기준을 충족하는 경우에, 해당 작업결과를 더 이상 검수자에게 제공하지 않는다. 이와 같이 작업결과가 검수종료기준을 충족하는 경우에 검수자에게 작업결과를 제공하지 않음으로써, 신속하게 서브셋에 포함된 작업결과 전체에 대한 검수를 완료할 수 있으며, 이에 따라 검수완료상태로 설정된 서브셋에 대한 추론결과 또한 신속하게 도출할 수 있는 효과를 발휘할 수 있다.

또한 바람직하게 상기 서브셋검수단계(S101)는 서브셋에 포함된 복수의 작업결과 가운데 검수종료기준에 상응하는 소정 개수의 작업결과를 특정 검수자에게 제공한 경우에 상기 특정 검수자에게 추가적인 작업결과를 제공하지 않는다. 따라서 하나의 서브셋에서 특정 검수자가 과도하게 많은 수의 작업결과에 대한 검수를 하는 것을 방지할 수 있고, 따라서 서브셋에 포함된 소정의 개수의 작업결과들에 대하여 특정 검수자가 과반 이상으로 검수하는 것을 방지할 수 있는 효과를 발휘할 수 있다.

한편, 서브셋검수종료부(1300)에서 수행되는 서브셋검수종료단계(S102)는 서브셋에 포함되는 소정의 개수의 작업결과 각각에 대하여 기설정된 검수종료기준을 충족하는지 판별하고, 충족 여부에 따라 상기 서브셋검수단계(S101)에서 작업결과를 검수자에게 제공하는 것을 제어할 수 있다. 상기 서브셋검수종료단계(S102)는 서브셋에 포함되는 소정의 개수의 작업결과 모두가 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하여, 상기 서브셋추론부(1400)에서 해당 서브셋에 대한 서브셋추론단계(S103)를 수행할 수 있도록 한다.

상기 서브셋추론부(1400)에서 수행되는 서브셋추론단계(S103)는 검수종료상태로 설정된 서브셋에 포함된 복수의 작업결과, 각각의 작업결과에 대한 복수의 검수결과 및 검수결과를 수행한 검수자의 신뢰도정보에 기초하여 해당 작업결과에 대한 추론결과를 도출한다. 검수자의 신뢰도정보에 따라 작업결과를 추론하는 방법에 대해서는 도 11 이하에서 상세하게 설명하도록 한다.

작업결과제공부(1500)에서 수행되는 작업결과제공단계(S104)는 서브셋추론단계(S103)에서 도출한 추론결과에 따라 상기 추론결과에 상응하는 작업결과를 생성한 작업자에게 해당 작업결과의 통과 여부에 대한 정보를 제공하고, 상기 추론결과에 상응하는 작업결과에 대하여 검수를 수행한 복수의 검수자에게 각각의 검수자가 수행한 검수결과의 통과 여부에 대한 정보를 제공한다.

즉, 상기 추론결과는 해당 작업결과에 대한 정답을 추론한 정보에 해당할 수 있다. 따라서 작업결과제공단계(S104)는 작업자에게 해당 작업결과의 정답 여부에 대한 정보를 제공할 수 있고, 검수자에게 해당 작업결과를 올바르게 검수했는지 여부에 대한 정보를 제공할 수 있다. 이와 같이, 작업자에게 제공되는 정보 및 검수자에게 제공되는 정보에 따라 작업자 및 검수자에게 소정의 리워드가 제공될 수 있고, 본 발명의 다른 실시예에서, 작업자의 작업결과가 정답이 아닌 경우에 해당 작업자가 작업물에 대한 작업을 다시 수행할 수 있도록 할 수도 있다.

도 5는 본 발명의 일 실시예에 따른 서브셋 단위를 사용하지 않고 작업결과를 처리하는 구성 및 서브셋 단위를 사용하여 작업결과를 처리하는 구성을 개략적으로 도시한다.

도 5의 (A)는 서브셋을 사용하지 않고 작업자로부터 작업결과를 수신하고, 수신한 작업결과를 검수자에게 제공하는 일반적인 구성을 개략적으로 도시한다.

이와 같은 경우에, 컴퓨팅장치는 프로젝트 또는 미션에 포함된 복수의 작업물들을 작업자에게 제공하고, 작업자는 제공받은 작업물에 대하여 작업을 수행함으로써 작업결과를 생성한다. 상기 컴퓨팅장치는 별도의 서브셋 없이 하나의 대기열(도 5의 (A)의 'Non-Subset') 안에 작업자로부터 수신한 작업결과들을 포함시킨다. 한편, 컴퓨팅장치는 하나의 셋에 포함되는 작업결과들을 복수의 검수자에게 제공한다.

상기와 같은 구성의 경우에 대기열에는 프로젝트 또는 미션에 포함되는 복수의 작업물에 대한 복수의 작업결과들이 포함되고, 작업결과 전체에 대한 복수의 검수자로부터 검수가 완료되는 경우에 해당 대기열에 포함되는 작업결과 각각에 대한 추론을 수행한다.

따라서, 작업자의 경우에는 자신이 수행한 작업결과에 대한 통과 여부를 제공받기 위에서는 대기열에 포함된 모든 작업결과에 대한 검수가 완료될 때까지 기다려야 하는 문제점이 존재한다. 마찬가지로 검수자의 경우에도 작업결과에 대하여 자신이 검수한 검수결과의 통과 여부를 제공받기 위해서는 대기열에 포함된 모든 작업결과에 대한 검수가 완료될 때까지 기다려야 하는 문제점이 존재한다.

도 5의 (B)는 상술한 도 5의 (A)에서의 문제점을 해결하기 위하여 본 발명에서와 같이 서브셋을 단위로 하여 작업결과를 처리하는 구성을 개략적으로 도시한다.

도 5의 (B)에 도시된 바와 같이, 컴퓨팅장치(1000)는 프로젝트 또는 미션에 포함된 복수의 작업물들을 작업자에게 제공하고, 작업자는 제공받은 작업물에 대하여 작업을 수행함으로써 작업결과를 생성한다. 상기 컴퓨팅장치(1000)는 수신한 작업결과들을 서브셋 안에 포함시키며, 하나의 서브셋에는 기설정된 소정의 개수의 작업결과가 포함되도록 한다. 도 5의 (B)에서는 총 8 개의 작업결과를 포함하는 서브셋이 생성되는 것으로 도시되어 있다.

한편, 소정의 개수 미만의 작업결과가 포함된 서브셋에는 제1상태로 설정되어 있고, 제1상태로 설정된 서브셋에는 소정의 개수에 해당하는 작업결과들이 포함되도록 한다. 반면에 소정의 개수에 해당하는 작업결과들이 서브셋에 포함되는 경우에 상기 서브셋은 제2상태로 설정되고, 제2상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과들은 복수의 검수자에게 제공될 수 있다.

이와 같이, 본 발명에서는 프로젝트 또는 미션에 상응하는 복수의 작업결과 전체를 검수자에게 제공하는 것이 아니라, 작업자로부터 작업결과를 실시간으로 수신하면서 소정의 개수의 작업결과를 포함하는 복수의 서브셋을 생성하고, 제2상태에 해당하는 소정의 개수의 작업결과를 포함하는 서브셋은 검수자에게 제공되어 작업결과에 대한 검수가 이루어지도록 한다.

따라서, 검수자는 모든 작업결과들을 수신할 때 까지 대기하는 것이 아니라, 소정의 개수의 작업결과를 갖는 서브셋이 생성되는 경우에 작업결과들을 제공받을 수 있으므로, 신속하게 검수를 수행할 수 있다. 또한 서브셋에 포함된 작업결과의 검수가 완료되는 경우에 해당 서브셋에 포함된 작업결과에 대한 추론을 수행하므로, 작업자 및 검수자는 신속하게 자신이 수행한 작업결과 및 검수결과의 통과 여부를 제공받을 수 있는 효과를 발휘할 수 있다.

한편, 작업결과, 작업결과에 대한 복수의 검수결과 및 복수의 검수결과에 상응하는 복수의 검수자의 신뢰도정보에 기초하여 해당 작업결과를 정확하게 추론하기 위해서는 복수의 검수자의 초기 신뢰도정보를 업데이트하는 과정을 필요로 하며, 이러한 과정을 수행하기 위해서는 소정의 최소 개수의 복수의 작업결과 및 소정의 최소 개수의 복수의 작업결과 각각에 대한 복수의 검수결과를 필요로 한다.

따라서, 본 발명에서 서브셋에 포함되는 작업결과들의 소정의 개수는 검수자의 신뢰도정보를 업데이트하기 위한 최소한의 개수 이상에 해당할 수 있다.

도 6은 본 발명의 일 실시예에 따른 서브셋생성기준, 검수종료기준 및 종료기준정보를 개략적으로 도시한다.

도 6에 도시된 바와 같이, 상기 서브셋생성기준은 서브셋에 포함되는 작업결과의 개수정보를 포함하고, 상기 검수종료기준은 서브셋에 포함되는 소정의 개수의 작업결과에 대하여 검수자가 검수할 수 있는 최대 검수 개수정보 및 작업결과에 대한 종료기준정보를 포함하고, 상기 작업결과에 대한 종료기준정보는, 특정 값을 갖는 검수결과의 최소개수정보, 검수결과의 최대개수정보 및 작업결과를 오류로 검수하는 검수결과의 개수정보 가운데 1 이상을 포함할 수 있다.

구체적으로, 서브셋생성단계(S100)는 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하며, 상기 서브셋생성기준은 도 6의 (A)에 도시된 바와 같이 작업결과의 개수정보를 포함한다. 즉 상기 서브셋생성단계(S100)를 통해 생성되는 서브셋에는 상기 작업결과의 개수정보에 상응하는 소정의 개수의 작업결과가 포함된다. 한편, 상기 작업결과의 개수정보는 상기 컴퓨팅장치(1000)를 관리하는 관리자에 의하여 기설정되거나, 상기 서브셋이 생성되는 도중에 변경될 수 있다. 또한 상기 작업결과의 개수정보는 상기 관리자뿐만 아니라 프로젝트 또는 미션에 포함되는 작업물을 제공하는 데이터요청자에 의해서도 기설정되거나 변경될 수 있다.

한편, 서브셋검수종료단계(S102)는 서브셋에 포함된 각각의 작업결과가 검수종료기준을 충족하는 지 판단하며, 상기 검수종료기준은 도 6의 (B)에 도시된 바와 같이, 최대 검수 개수정보 및 작업결과에 대한 종료기준정보를 포함한다.

상기 최대 검수 개수정보는 서브셋에 포함된 소정의 개수의 작업결과 가운데 한 명의 검수자가 검수할 수 있는 개수정보에 해당한다. 즉, 검수자는 하나의 서브셋에서 상기 최대 검수 개수정보 만큼의 작업결과에 대해서만 검수를 수행할 수 있으며, 상기 최대 검수 개수정보 만큼의 작업결과에 대해서 검수를 수행한 경우에 서브셋검수단계(S101)에서는 해당 검수자에게 상기 서브셋에서 검수하지 않은 나머지 작업결과를 제공하지 않는다. 마찬가지로 상기 최대 검수 개수정보 또한 상기 관리자 또는 데이터요청자에 의해 기설정되거나 변경될 수 있다.

이와 같이, 상기 최대 검수 개수정보를 통해 검수자는 하나의 서브셋에서 최대 검수 개수정보를 초과하는 작업결과에 대해서는 검수를 수행할 수 없다. 즉, 검수자가 서브셋에 포함된 소정 개수의 작업결과 가운데 다수의 작업결과를 검수하는 것을 방지함으로써, 해당 검수자의 검수 능력이 좋지 않은 경우에 작업결과에 대한 추론결과가 정확하게 산출되지 않는 것을 방지할 수 있는 효과를 발휘할 수 있다.

상기 검수종료기준에 포함되는 작업결과에 대한 종료기준정보는 작업결과에 대한 검수를 종료하기 위한 정보에 해당한다.

즉, 작업결과에 대하여 검수결과를 수신하는 경우에 상기 서브셋검수종료단계(S102)는 해당 작업결과에 상응하는 1 이상의 검수결과가 상기 작업결과에 대한 종료기준정보에 충족하는 지 여부를 판단하고, 충족하는 경우에 상기 서브셋검수단계(S101)에서 해당 작업결과를 복수의 검수자에게 제공하는 것을 중지하도록 한다. 한편, 충족하지 않는 경우에는 상기 서브셋검수단계(S101)에서 해당 작업결과를 복수의 검수자에게 계속 제공하도록 한다.

구체적으로 상기 작업결과에 대한 종료기준정보는 도 6의 (C)에 도시된 바와 같이 특정 값을 갖는 검수결과의 최소개수정보, 검수결과의 최대개수정보 및 작업결과를 오류로 검수하는 검수결과의 개수정보를 포함한다.

상기 특정 값을 갖는 검수결과의 최소개수정보는, 작업결과에 대한 검수결과에 해당하는 복수의 값 가운데, 특정 값을 갖는 검수결과의 개수가 최소개수정보를 만족하는 경우에 해당 작업결과에 대한 검수를 완료하도록 한다.

예를 들어, 작업결과에 대한 검수결과에는 O, X 두 가지 값을 가지고, 상기 특정 값을 갖는 검수결과의 최소개수정보가 3 개인 경우에, 상기 서브셋검수종료단계(S102)에서는 해당 작업결과에 대한 검수결과를 수신할 때마다 해당 작업결과에 누적된 1 이상의 검수결과에서 O 및 X 가운데 어느 하나의 값을 갖는 검수결과가 3 개가 있는 지를 판단하고, O 또는 X 가운데 어느 하나의 값을 갖는 검수결과가 3 개가 존재하는 경우에 해당 작업결과에 대한 검수를 완료하도록 하여, 상기 서브셋검수단계(S101)에서 더 이상 해당 작업결과를 검수자에게 제공하지 않는다.

상기 검수결과의 최대개수정보는, 작업결과에 대한 검수결과의 총 개수가 최대개수정보를 만족하는 경우에 해당 작업결과에 대한 검수를 완료하도록 한다.

예를 들어, 작업결과에 대한 검수결과에는 O, X 두 가지 값을 가지고, 상기 검수결과의 최대개수정보가 5 개인 경우에, 상기 서브셋검수종료단계(S102)에서는 해당 작업결과에 대한 검수결과를 수신할 때마다 해당 작업결과에 누적된 1 이상의 검수결과에서 O 또는 X 값을 갖는 검수결과가 5 개가 있는 지를 판단하고, O 또는 X 값을 갖는 검수결과가 5 개가 존재하는 경우에 해당 작업결과에 대한 검수를 완료하도록 하여, 상기 서브셋검수단계(S101)에서 더 이상 해당 작업결과를 검수자에게 제공하지 않는다.

상기 작업결과를 오류로 검수하는 검수결과의 개수정보는, 작업결과에 대한 검수결과에 해당하는 복수의 값과 별개로 검수자가 작업결과를 오류로 검수하는 검수결과의 개수가 상기 작업결과를 오류로 검수하는 검수결과의 개수정보를 만족하는 경우에 해당 작업결과에 대한 검수를 완료하도록 한다.

구체적으로, 검수자는 작업결과에 대하여 특정한 값으로 검수할 수 없는 경우에 작업결과를 오류로 검수할 수 있다. 예를 들어, 작업자가 수행한 작업결과에 대한 문제(지시사항) 또는 작업물 자체에 오류가 있는 경우에 검수자는 해당 작업결과를 오류로 검수할 수 있다.

한편, 상기 서브셋검수종료단계(S102)에서는 해당 작업결과에 대한 검수결과를 수신할 때마다 해당 작업결과에 누적된 1 이상의 검수결과에서 오류로 검수한 검수결과의 개수가 상기 작업결과를 오류로 검수하는 검수결과의 개수정보만큼 있는 지를 판단하고, 오류로 검수한 검수결과의 개수가 상기 작업결과를 오류로 검수하는 검수결과의 개수정보만큼 있는 경우에 해당 작업결과에 대한 검수를 완료하도록 하여, 상기 서브셋검수단계(S101)에서 더 이상 해당 작업결과를 검수자에게 제공하지 않는다.

또한, 상기 작업결과에 대한 종료기준정보는 특정 검수자의 검수결과 여부에 대한 정보를 더 포함할 수 있다.

구체적으로 특정 검수자는 특정 상태를 갖는 검수자에 해당하며, 상기 특정 상태는 본 발명에서 검수를 빠르게 완료하기 위하여 부여되는 상태에 해당할 수 있다. 따라서 특정 상태는 검수 능력이 우수한 검수자에게 부여될 수 있으며, 상기 컴퓨팅장치(1000)의 관리자에 의해 검수자에게 상기 특정 상태가 부여될 수 있다. 한편, 상기 서브셋검수종료단계(S102)에서는 해당 작업결과에 대한 검수결과를 수신할 때마다 해당 검수결과가 특정 상태를 갖는 검수자가 검수한 검수결과인지 여부를 판단하고, 해당 검수결과가 상기 특정 상태를 갖는 검수자가 검수한 검수결과인 경우에 해당 작업결과에 대한 검수를 완료하도록 하여, 더 이상 상기 서브셋검수단계(S101)에서 해당 작업결과를 검수자에게 제공하지 않는다.

이와 같이 상기 작업결과에 대한 종료기준정보는 특정 값을 갖는 검수결과의 최소개수정보, 검수결과의 최대개수정보. 작업결과를 오류로 검수하는 검수결과의 개수정보 및 특정 검수자의 검수결과 여부에 대한 정보 가운데 1 이상을 포함할 수 있다.

바람직하게는 상기 작업결과에 대한 종료기준정보는 특정 값을 갖는 검수결과의 최소개수정보, 검수결과의 최대개수정보. 작업결과를 오류로 검수하는 검수결과의 개수정보 및 특정 검수자의 검수결과 여부에 대한 정보를 모두 포함하고, 상기 서브셋검수종료단계(S102)에서는 작업결과가 상기 작업결과에 대한 종료기준정보에 포함되는 복수의 정보 가운데 어느 하나의 정보에 우선적으로 충족하는 경우에 해당 작업결과에 대한 검수를 완료하도록 한다.

도 7은 본 발명의 일 실시예에 따른 검수자가 최대 검수 개수정보에 따라 작업결과에 대한 검수를 수행하는 구성을 개략적으로 도시한다.

도 7에 도시된 바와 같이, 상기 검수종료기준은 서브셋에 포함되는 소정의 개수의 작업결과에 대하여 검수자가 검수할 수 있는 최대 검수 개수정보를 포함하고, 상기 서브셋검수단계(S101)는 특정 검수자가 상기 서브셋에 포함되는 소정의 개수의 작업결과 가운데 상기 최대 검수 개수정보에 상응하는 1 이상의 작업결과에 대하여 검수를 수행한 경우에, 상기 특정 검수자가 검수하지 않은 상기 서브셋에 포함되는 1 이상의 나머지 작업결과를 상기 특정 검수자에게 제공하지 않을 수 있다.

구체적으로, 도 6의 (B)에서 상술한 바와 같이 검수종료기준은 검수자가 검수할 수 있는 최대 검수 개수정보를 포함한다. 이에 따라 상기 서브셋검수단계(S101)는 서브셋에 포함된 작업결과들을 검수자에게 제공하는 데 있어서 각 검수자별로 상기 최대 검수 개수정보를 초과하지 않는 개수만큼의 작업결과들을 제공한다. 만약 특정 검수자에게 최대 검수 개수정보 만큼의 작업결과를 제공한 경우에는 더 이상 작업결과를 추가로 제공하지 않는다.

예를 들어, 도 7에 도시된 바와 같이, 상기 서브셋에는 8 개의 작업결과가 포함되어 있고, 상기 검수자가 검수할 수 있는 최대 검수 개수정보가 3 개라고 가정하자. 이에 따라 상기 서브셋검수단계(S101)는 서브셋에 포함된 8 개의 작업결과 가운데 한 명의 검수자(도 7에서 검수자 A)에게 최대 3 개의 작업결과만을 제공하며, 한 명의 검수자에게 3 개의 작업결과를 제공한 경우에 상기 서브셋검수단계(S101)는 상기 검수자에게 4 번째 작업결과를 제공하지 않는다.

이와 같은 구성을 통해 검수자는 단일 서브셋에 포함된 복수의 작업결과 가운데 상기 최대 검수 개수정보만큼의 작업결과들에 대해서만 검수를 수행할 수 있으므로, 단일 서브셋에서 한 명의 검수자의 검수가 다른 검수자와 비교하여 과도하게 반영되는 것을 방지할 수 있고, 따라서 검수 능력이 뛰어나지 않은 검수자가 과반 이상의 작업결과를 검수함에 따라 서브셋의 다수의 작업결과에 대하여 정확하지 않은 추론결과가 산출되는 것을 방지할 수 있는 효과를 발휘할 수 있다.

도 8은 본 발명의 일 실시예에 따른 검수종료기준에 따라 서브셋에 포함된 작업결과를 대기상태로 설정하는 과정을 개략적으로 도시한다.

도 8에 도시된 바와 같이, 상기 서브셋검수종료단계(S102)는, 상기 서브셋검수단계(S101)를 통해 상기 서브셋에 포함된 작업결과 별로 검수결과를 수신할 때마다 해당 작업결과에 대한 상기 검수종료기준의 충족 여부를 판단하는 단계; 및 해당 작업결과가 상기 검수종료기준을 충족하지 않는 경우에 상기 서브셋검수단계(S101)를 통해 해당 작업결과를 복수의 검수자에게 제공하도록 하고, 해당 작업결과가 상기 검수종료기준을 충족하는 경우에 상기 서브셋검수단계(S101)를 통해 해당 작업결과를 복수의 검수자에게 제공하는 것을 중지하도록 하고, 해당 작업결과를 대기상태로 설정하는 단계;를 포함할 수 있다.

구체적으로, 상기 서브셋검수단계(S101)는, 복수의 검수자로부터 서브셋에 포함된 작업결과에 대한 검수결과들을 수신하고, 상기 서브셋검수종료단계(S102)는, 서브셋에 포함된 작업결과 각각에 대하여 해당 작업결과에 대한 검수결과를 수신할 때 마다 각각의 작업결과에 상응하는 1 이상의 검수결과들이 상술한 검수종료기준을 충족하는 지 여부를 판단한다.

도 8에 도시된 바와 같이, 검수자 A는 제공받은 작업결과에 대하여 검수를 수행하여 생성한 검수결과 A를 컴퓨팅장치(1000)로 송신하고, 상기 서브셋검수종료단계(S102)는 작업결과에 상응하는 검수결과 A가 검수종료기준에 충족하는 지 여부를 판단한다. 만약 검수결과 A가 검수종료기준에 충족하는 경우에 서브셋검수단계(S101)는 해당 작업결과를 나머지 검수자에게 제공하지 않으며, 상기 서브셋검수종료단계(S102)는 해당 작업결과를 대기상태로 설정한다.

만약 상기 검수결과 A가 검수종료기준에 충족하지 않고, 다른 검수자인 검수자 B가 동일한 작업결과에 대하여 검수를 수행하여 생성한 검수결과 B를 컴퓨팅장치(1000)로 송신하는 경우에, 상기 서브셋검수종료단계(S102)는 작업결과에 상응하는 검수결과 A 및 검수결과 B를 포함하는 검수결과가 검수종료기준에 충족하는 지 여부를 판단한다. 만약 검수결과 A 및 검수결과 B가 검수종료기준에 충족하는 경우에 서브셋검수단계(S101)는 해당 작업결과를 다른 검수자에게 제공하지 않으며, 상기 서브셋검수종료단계(S102)는 해당 작업결과를 대기상태로 설정한다.

만약 상기 검수결과 A 및 상기 검수결과 B가 검수종료기준에 충족하지 않고, 또 다른 검수자인 검수자 C가 동일한 작업결과에 대하여 검수를 수행하여 생성한 검수결과 C를 컴퓨팅장치(1000)로 송신하는 경우에, 상기 서브셋검수종료단계(S102)는 작업결과에 상응하는 검수결과 A 내지 C를 포함하는 검수결과가 검수종료기준에 충족하는 지 여부를 판단한다. 만약 검수결과 A 내지 C가 검수종료기준에 충족하는 경우에 서브셋검수단계(S101)는 해당 작업결과를 다른 검수자에게 제공하지 않으며, 상기 서브셋검수종료단계(S102)는 해당 작업결과를 대기상태로 설정한다.

이와 같이, 상기 서브셋검수종료단계(S102)는 해당 작업결과에 대한 검수결과들을 수신할 때마다 해당 작업결과에 누적된 1 이상의 검수결과들이 검수종료기준을 충족하는 지 판단하고, 충족하는 경우에는 해당 작업결과를 대기상태로 설정하며, 충족하지 못하는 경우에는 서브셋검수단계(S101)를 통해 수신한 해당 작업결과에 대한 다른 검수자가 수행한 검수결과를 누적하여 다시 검수종료기준을 충족하는 지를 판단한다.

한편, 상기 서브셋에 포함된 모든 작업결과가 대기상태로 설정되는 경우에 상기 서브셋검수종료단계(S102)는 해당 서브셋을 검수종료상태로 설정하며, 상술한 서브셋추론단계(S103)에서 상기 검수종료상태로 설정된 서브셋에 포함된 작업결과들 각각에 대한 추론결과를 도출할 수 있다.

이와 같이, 서브셋검수종료단계(S102)는 작업결과에 대한 검수자의 검수결과를 수신할 때마다 해당 작업결과에 누적된 1 이상의 검수결과가 검수종료기준에 충족하는 지 여부를 판단하여 총족하는 경우에 해당 작업결과를 대기상태로 설정하여 서브셋검수단계(S101)에서 해당 작업결과를 더 이상 검수자에게 제공하지 않으므로, 작업결과를 복수의 검수자에게 효과적으로 분배할 수 있는 효과를 발휘할 수 있다.

도 9는 본 발명의 일 실시예에 따른 서브셋생성기준이 변경됨에 따라 생성되는 서브셋들을 개략적으로 도시한다.

도 9에 도시된 바와 같이, 상기 서브셋생성단계(S100)는, 서브셋을 생성하고 있는 상태에서 상기 서브셋생성기준이 변경되는 경우에 상기 생성하고 있는 상태의 서브셋을 변경되기 전의 서브셋생성기준에 기초하여 생성하고, 이후에 생성되는 서브셋을 상기 변경된 서브셋생성기준에 기초하여 생성할 수 있다.

구체적으로, 상기 서브셋생성기준은 컴퓨팅장치(1000)의 관리자 또는 상기 컴퓨팅장치(1000)에 복수의 작업물을 포함하는 프로젝트 또는 미션을 제공하는 데이터요청자단말을 사용하는 데이터요청자에 의해 설정되거나, 설정된 이후에 변경될 수 있다.

한편, 상기 서브셋생성단계(S100)는, 상기 서브셋생성기준에 기초하여 소정의 개수의 작업결과들을 포함하는 서브셋을 생성하며, 상기 서브셋생성기준이 변경되는 경우에 변경된 서브셋생성기준에 기초하여 이전에 생성한 상기 서브셋에 포함된 작업결과의 소정의 개수와 상이한 소정의 개수의 작업결과를 포함하는 서브셋을 생성한다.

구체적으로, 도 9에 도시된 바와 같이, 상기 서브셋생성단계(S100)는 최초 기설정된 서브셋생성기준(제1서브셋생성기준)에 포함된 작업결과의 개수정보에 따라 소정의 개수, 8 개의 작업결과를 포함하는 서브셋(제1서브셋)을 생성한다.

만약, 상기 서브셋생성단계(S100)에서 제1서브셋을 생성하는 상태, 즉 제1서브셋에 소정의 개수의 미만의 작업결과를 포함하고 있는 상태에서 상기 서브셋생성기준이 변경(제2서브셋생성기준)되는 경우에 상기 서브셋생성단계(S100)는 제2서브셋생성기준에 기초하여 제1서브셋을 생성하는 것이 아니라, 생성하는 상태에 있는 제1서브셋은 변경되기 이전의 서브셋생성기준에 해당하는 상기 제1서브셋생성기준에 따라 생성한다.

이후에 상기 서브셋생성단계(S100)는 변경된 서브셋생성기준인 상기 제2서브셋생성기준에 포함된 작업결과의 개수정보에 따라 소정의 개수, 6 개의 작업결과를 포함하는 다음 서브셋(제2서브셋)을 생성한다.

관리자 및 데이터요청자는 상기 서브셋생성기준, 구체적으로는 상기 서브셋생성기준에 포함된 작업결과의 개수정보를 임의로 변경할 수 있으나, 바람직하게는 서브셋추론단계(S103)에서 서브셋을 단위로 해당 서브셋에 포함된 복수의 작업결과, 복수의 작업결과별 복수의 검수결과 및 각 검수자의 신뢰도정보를 고려하여 작업결과에 대한 추론결과를 도출하는 데 있어서, 서브셋에 너무 적은 개수의 작업결과가 포함되는 경우에 검수자의 신뢰도정보에 따른 추론결과를 도출하기 어렵게 된다. 따라서 상기 관리자 및 상기 데이터요청자는 추론결과를 도출할 수 있는 기설정된 최소 개수 이상으로만 상기 서브셋생성기준을 변경할 수 있다.

상기와 같은 구성은 예를 들어, 서브셋생성기준에 포함된 작업결과의 개수정보가 8 개였고, 변경된 서브셋생성기준에 포함된 작업결과의 개수정보가 6개로 변경되었고, 상기 서브셋생성단계(S100)에서 생성되고 있는 서브셋에 7 개의 작업결과가 포함되어 있는 경우에, 변경되기 전의 서브셋생성기준에 따라 생성되고 있는 상기 서브셋을 즉시 변경된 서브셋생성기준에 따라 생성하기 위해서는 7 번째 작업결과를 버려야 하고, 버리는 과정에서 7 번째 작업결과가 누락되는 문제점이 발생할 수 있다.

따라서, 본 발명에서는 관리자 및 데이터요청자는 언제든지 서브셋생성기준을 변경할 수 있으며, 상기 서브셋생성단계(S100)에서 서브셋생성기준이 변경되는 시점에 서브셋을 생성하고 있는 중이라면, 변경되기 전의 서브셋생성기준에 따라 생성중인 서브셋의 생성을 완료하고, 이후에 생성하는 서브셋은 변경된 서브셋생성기준에 따라 생성하므로, 수신하는 작업결과들을 누락하지 않고 복수의 서브셋들을 생성할 수 있는 효과를 발휘할 수 있다.

도 10은 본 발명의 일 실시예에 따른 작업결과제공단계(S104)를 통해 작업자 및 검수자에게 제공되는 정보들을 개략적으로 도시한다.

도 10에 도시된 바와 같이, 상기 복수의 작업을 서브셋 단위로 처리하는 방법은, 상기 서브셋추론단계(S103)를 통해 도출된 추론결과에 기초하여 상기 서브셋에 포함된 작업결과를 제공한 작업자에게 해당 작업결과의 통과 여부에 대한 정보를 제공하고, 상기 추론결과에 기초하여 해당 작업결과를 검수한 검수자에게 해당 검수자가 해당 작업결과를 검수한 검수결과의 통과 여부에 대한 정보를 제공하는 작업결과제공단계(S104);를 더 포함할 수 있다.

구체적으로, 상기 서브셋추론단계(S103)는 상기 서브셋검수종료단계(S102)에서 검수종료상태로 설정한 서브셋에 포함된 작업결과 각각에 대하여 추론결과를 도출한다. 상기 서브셋추론단계(S103)는 작업결과에 해당하는 복수의 검수결과 및 기설정된 추론규칙에 따라 추론결과를 도출할 수 있으며, 예를 들어, 복수의 검수결과에서 과반을 차지하는 검수결과의 값을 추론결과의 값으로 도출할 수 있다.

바람직하게 상기 서브셋추론단계(S103)는, 서브셋에 포함된 소정 개수의 작업결과들, 상기 작업결과 각각에 대한 복수의 검수결과 및 검수를 수행한 복수의 검수자 각각의 신뢰도정보를 고려하여 서브셋에 포함된 작업결과 각각에 대한 추론결과를 도출할 수 있으며, 이에 대해서는 도 11 이하에서 상세하게 설명하도록 한다.

한편, 작업결과제공단계(S104)는 상기 서브셋추론단계(S103)에서 도출된 서브셋에 포함된 작업결과 각각에 대한 추론결과에 기초하여 해당 작업결과를 제출한 작업자에게 해당 작업결과의 통과 여부에 대한 정보를 제공한다. 이를 통해 작업자는 자신이 수행한 작업결과의 결과를 인지할 수 있으며, 작업결과가 통과된 경우에 작업자는 소정의 리워드를 받을 수 있고, 작업결과가 통과되지 않은 경우에 작업자는 다시 작업을 수행할 수 있다.

또한, 상기 작업결과제공단계(S104)는 작업결과에 대한 추론결과에 기초하여 해당 작업결과를 검수한 복수의 검수자에게 해당 작업결과를 검수한 검수결과의 통과 여부에 대한 정보를 제공한다. 이를 통해 검수자는 자신이 검수한 검수결과의 결과를 인지할 수 있으며, 검수결과가 통과된 경우에 검수자는 소정의 리워드를 받을 수 있고, 검수결과가 통과되지 않은 경우에 검수자는 해당 검수에 대한 소정의 리워드를 제공받지 못할 수 있다.

도 10에서는 작업결과에 대한 추론결과의 값에 따라 해당 작업결과를 제공한 작업자에게 제공되는 해당 작업결과의 통과 여부에 대한 정보 및 해당 작업결과를 검수한 검수자에게 제공되는 검수결과의 통과 여부에 대한 정보를 개략적으로 도시한다.

도 10에서는 작업결과를 참 또는 거짓의 값으로 검수하는 경우로 한정하였으나, 검수결과의 값은 참 또는 거짓으로만 한정되지 않고 3 이상의 선택지를 가질 수도 있다.

도 10의 (A)는 작업결과에 대한 추론결과가 참인 경우, 즉 작업결과가 올바르게 이루어진 것으로 추론한 경우에 작업결과제공단계(S104)에서 작업자 및 복수의 검수자에게 제공되는 정보들을 개략적으로 도시한다.

이와 같은 경우에, 상기 작업결과제공단계(S104)는 해당 작업결과를 제공한 작업자에게는 해당 작업결과가 통과되었다는 정보를 제공하고, 해당 작업결과가 올바르게 이루어진 것(참)으로 검수한 검수자에게는 해당 검수자의 검수결과가 통과되었다는 정보를 제공하고, 해당 작업결과가 올바르게 이루어지지 않은 것(거짓)으로 검수한 검수자에게는 해당 검수자의 검수결과가 통과되지 않았다는 정보를 제공한다. 반면에 해당 작업결과 또는 해당 작업결과에 대한 작업지시 등에 오류가 있는 것으로 검수한 검수자에게는 해당 검수자의 검수결과가 무효처리 되었다는 정보를 제공한다.

도 10의 (B)는 작업결과에 대한 추론결과가 거짓인 경우, 즉 작업결과가 올바르게 이루어지지 않은 것으로 추론한 경우에 작업결과제공단계(S104)에서 작업자 및 복수의 검수자에게 제공되는 정보들을 개략적으로 도시한다.

이와 같은 경우에, 상기 작업결과제공단계(S104)는 해당 작업결과를 제공한 작업자에게는 해당 작업결과가 통과되지 않았다는 정보를 제공하고, 해당 작업결과가 올바르게 이루어진 것(참)으로 검수한 검수자에게는 해당 검수자의 검수결과가 통과되지 않았다는 정보를 제공하고, 해당 작업결과가 올바르게 이루어지지 않은 것(거짓)으로 검수한 검수자에게는 해당 검수자의 검수결과가 통과되었다는 정보를 제공한다. 반면에 해당 작업결과 또는 해당 작업결과에 대한 작업지시 등에 오류가 있는 것으로 검수한 검수자에게는 해당 검수자의 검수결과가 무효처리 되었다는 정보를 제공한다.

도 10의 (C)는 작업결과의 추론결과가 작업오류인 경우, 즉 작업결과 자체에 오류가 있거나, 작업결과에 상응하는 작업지시 또는 작업물 자체에 오류가 있는 것으로 추론한 경우에 작업결과제공단계(S104)에서 작업자 및 복수의 검수자에게 제공되는 정보들을 개략적으로 도시한다.

이와 같은 경우에, 상기 작업결과제공단계(S104)는 해당 작업결과를 제공한 작업자에게는 해당 작업결과가 통과되었다는 정보를 제공하고, 해당 작업결과가 올바르게 이루어진 것(참)으로 검수한 검수자에게는 해당 검수자의 검수결과가 통과되지 않았다는 정보를 제공하고, 해당 작업결과가 올바르게 이루어지지 않은 것(거짓)으로 검수한 검수자에게도 해당 검수자의 검수결과가 통과되지 않았다는 정보를 제공한다. 반면에 해당 작업결과 또는 해당 작업결과에 대한 작업지시 등에 오류가 있는 것으로 검수한 검수자에게는 해당 검수자의 검수결과가 무효처리 되었다는 정보를 제공한다.

한편 무효처리된 경우에 해당 검수자는 검수결과가 통과되는 경우에 부여되는 소정의 리워드를 제공받지 못하고, 통과되지 않은 경우에 부여되는 페널티 또한 받지 않을 수도 있다.

본 발명에서는 서브셋에 포함된 작업결과들에 대해 검수가 완료된 경우에 작업결과 각각에 대한 추론결과를 도출하고, 작업결과의 추론결과에 따라 해당 작업결과를 제공한 수행한 작업자에게 해당 작업결과의 통과 여부에 대한 정보를 제공하고, 해당 작업결과를 검수한 복수의 검수자에게 해당 검수결과의 통과 여부에 대한 정보를 제공한다. 따라서 서브셋 단위가 아닌, 프로젝트 또는 미션에 포함된 전체 작업물에 대한 복수의 작업결과 및 복수의 작업결과 각각에 대한 검수가 완료된 경우에 작업결과의 통과 여부 및 검수결과의 통과 여부를 제공하는 종래의 기술과 비교하여, 작업자 및 검수자는 신속하게 자신의 작업, 검수결과를 제공받을 수 있는 효과를 발휘할 수 있다.

2. 크라우드소싱을 통하여 수집된 작업물을 처리하는 작업자의 신뢰도정보를 반영하여 작업결과를 도출하는 방법

이하에서는 복수의 작업결과, 복수의 작업결과 각각에 대하여 복수의 검수자가 수행한 검수결과 및 복수의 검수자 각각의 신뢰도정보를 고려하여 작업결과를 추론하는 방법에 대해 설명하도록 한다. 또한 이하에서 설명하는 추론 방법은 상술한 서브셋추론단계에서 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 구체적인 방법에 해당할 수 있다.

도 11은 본 발명의 일 실시예에 따른 검수자의 신뢰도정보를 반영하여 검수결과를 도출하는 방법을 구현하기 위한 컴퓨팅장치의 내부구성을 개략적으로 도시한다.

도 11에 도시된 바와 같이, 컴퓨팅장치(1000)는 검수자의 신뢰도정보를 반영하여 검수결과를 도출하는 방법을 구현하기 위한 복수의 구성요소들을 포함할 수 있다. 구체적으로, 작업물에 대한 라벨링을 수행하고 이를 검수하기 위하여, 복수의 작업자단말(2000) 및 복수의 검수자단말(3000)과 통신을 수행하는 구성요소는 작업물제공부(1010), 작업결과수신부(1020), 작업결과제공부(1030), 검수결과수신부(1040), 초기신뢰도테스트제공부(1050) 및 테스트결과수신부(1060)를 포함할 수 있다.

작업물제공부(1010)는 복수의 작업자단말(2000)에 라벨링을 수행하기 위한 1 이상의 작업물을 제공한다. 각각의 작업물은 1 이상의 단위작업을 포함할 수 있고, 작업자는 제공받은 작업물에 포함된 단위작업별로 라벨링을 수행하는 것으로 작업결과를 입력할 수 있다. 한편, 작업물제공부(1010)는 컴퓨팅장치(1000)의 DB(1110)에 기저장된 작업물 혹은 데이터요청자단말로부터 수신한 작업물을 복수의 작업자단말(2000)에 제공할 수 있다.

작업결과수신부(1020)는 제공한 작업물에 대하여 작업자가 수행한 작업결과를 해당 작업자단말(2000)로부터 수신한다. 상기 작업결과는 작업물에 포함된 1 이상의 단위작업에 대한 세부작업결과들을 포함하거나, 혹은 상기 작업결과는 작업물에 포함된 1 이상의 단위작업 각각에 대한 작업결과에 해당할 수 있다. 한편, 수신한 작업결과는 상기 컴퓨팅장치(1000)의 DB(1110)에 저장될 수도 있다.

작업결과제공부(1030)는 복수의 작업자단말(2000)로부터 수신한 작업결과를 검수하기 위하여 복수의 검수자단말(3000)에 작업결과를 제공한다. 검수자는 제공받은 작업결과에 대해 검수를 수행하여 검수결과를 입력할 수 있다.

검수결과수신부(1040)는 제공한 작업결과에 대하여 검수자가 수행한 검수결과를 해당 검수자단말(3000)로부터 수신한다. 예를 들어, 작업결과가 이미지에 포함된 자동차의 영역을 표시하고 해당 영역을 자동차로 라벨링한 경우에, 검수결과는 해당 영역이 자동차가 맞는지에 대한 여부를 입력하는 것을 의미할 수 있다.

초기신뢰도테스트제공부(1050)는 복수의 검수자의 검수결과에 대하여 단위작업별로 검수종합결과를 도출하기 위하여 검수자별 신뢰도정보가 필요하고, 검수자별 신뢰도정보의 초기값에 해당하는 초기신뢰도정보를 도출하기 위하여, 초기신뢰도테스트제공부(1050)는 복수의 초기신뢰도 테스트를 복수의 검수자단말(3000)에 제공한다.

테스트결과수신부(1060)는 복수의 검수자들이 초기신뢰도테스트제공부(1050)를 통해 제공받은 복수의 초기신뢰도 테스트를 수행하여 입력된 테스트결과를 복수의 검수자단말(3000)로부터 수신한다. 이와 같이 검수자별로 수신한 테스트결과를 통해 복수의 초기신뢰도 테스트별로 할당된 정답과 비교하여 검수자별로 초기신뢰도정보를 생성할 수 있다.

한편, 본 발명의 다른 실시예에서는 상기 초기신뢰도테스트제공부(1050)에서 복수의 검수자단말(3000)에 복수의 초기신뢰도 테스트를 제공하는 구성은 상기 작업결과제공부(1030)에 포함될 수도 있다. 구체적으로, 상기 작업결과제공부(1030)는 복수의 검수자단말(3000)에 복수의 작업결과 및 복수의 초기신뢰도 테스트를 함께 제공할 수 있다. 따라서, 상술한 테스트결과수신부(1060)에서 복수의 검수자단말(3000)로부터 테스트결과를 수신하는 구성 또한 상기 검수결과수신부(1040)에 포함되어, 상기 검수결과수신부(1040)는 복수의 검수자단말(3000)로부터 검수결과 및 복수의 초기신뢰도 테스트에 대한 테스트결과를 수신할 수도 있다.

또한, 컴퓨팅장치(1000)는 복수의 단위작업 각각에 대한 검수종합결과를 도출하기 위한 구성요소를 더 포함할 수 있으며, 해당 구성요소는 초기신뢰도정보도출부(1070), 검수결과추론부(1080), 신뢰도정보업데이트부(1090) 및 최종검수종합결과도출부(1100)를 포함할 수 있다.

초기신뢰도정보도출부(1070)는 상술한 테스트결과수신부(1060)에서 수신한 복수의 검수자별 테스트결과 및 복수의 초기신뢰도 테스트의 정답에 기초하여 각 검수자별 초기신뢰도정보를 도출할 수 있다. 초기신뢰도정보도출부(1070)에서 도출된 각 검수자별 초기신뢰도정보는 후술하는 검수결과추론부(1080)에서 복수의 검수자의 검수결과에 대한 제1검수종합결과를 최초로 도출하기 위하여 사용하는 신뢰도정보에 해당할 수 있다.

검수결과추론부(1080)는 단위작업별로 복수의 검수자들이 수행한 검수결과 및 복수의 검수자별 신뢰도정보에 기초하여 단위작업별로 제1검수종합결과를 도출한다. 검수결과추론부(1080)는 최초로 제1검수종합결과를 도출하는 경우에 상기 초기신뢰도정보도출부(1070)에서 생성한 검수자별 초기신뢰도정보를 사용하여 최초의 제1검수종합결과를 도출하고, 이후에는 신뢰도정보업데이트부(1090)에서 업데이트된 신뢰도정보를 사용하여 새로운 제1검수종합결과들을 반복적으로 도출할 수 있다.

신뢰도정보업데이트부(1090)는 검수결과추론부(1080)에서 도출한 단위작업별 제1검수종합결과 및 단위작업별 복수의 검수자의 검수결과에 기초하여 검수자별 신뢰도정보를 업데이트한다. 이와 같이 업데이트된 신뢰도정보 및 복수의 검수자들이 수행한 검수결과에 기초하여 상기 검수결과추론부(1080)에서 다시 제1검수종합결과를 도출하고, 다시 신뢰도정보업데이트부(1090)는 새로운 제1검수종합결과에 기초하여 다시 신뢰도정보를 업데이트할 수 있다.

최종검수종합결과도출부(1100)는 신뢰도정보업데이트부(1090)에서 소정의 횟수동안 업데이트 되어, 최종적으로 업데이트된 신뢰도정보 및 단위작업별 복수의 검수자들이 수행한 검수결과에 기초하여 단위작업별로 최종검수종합결과를 도출한다. 상기 최종검수종합결과는 단위작업에 대하여 최종적으로 라벨링되는 결과에 해당할 수 있다.

한편, 상기 최종검수종합결과도출부(1100)에서 최종검수종합결과를 도출하는 구성은 상기 검수결과추론부(1080)에 포함될 수도 있다. 구체적으로, 상기 검수결과추론부(1080)는 최종적으로 업데이트되기 전까지의 각각의 신뢰도정보에 기초하여 각각의 제1검수종합결과를 도출하고, 최종적으로 업데이트된 신뢰도정보에 기초하여 최종검수종합결과를 도출할 수도 있다.

또한, 상기 컴퓨팅장치(1000)는 상술한 구성요소들 외에도 DB(1110)를 더 포함할 수 있다. 상기 DB(1110)는 크라우드소싱을 기반으로 라벨링된 데이터를 구축하기 위한 정보들이 저장될 수 있다. 구체적으로, 컴퓨팅장치(1000)와 통신을 수행하는 작업자단말(2000)을 사용하는 각각의 작업자에 대한 작업자정보, 검수자단말(3000)을 사용하는 각각의 검수자에 대한 검수자정보, 라벨링이 수행되는 작업물, 작업물에 대하여 각각의 작업자가 수행한 작업결과, 작업결과에 대하여 각각의 검수자가 수행한 검수결과, 검수자의 초기신뢰도정보를 도출하기 위한 초기신뢰도 테스트정보, 각 검수자의 초기신뢰도정보와 신뢰도정보업데이트부(1090)에 의해 업데이트된 신뢰도정보, 및 검수결과추론부(1080) 및 최종검수종합결과도출부(1110)에 의해 도출되는 제1검수종합결과 및 최종검수종합결과를 포함하는 검수결과추론정보가 저장될 수 있다.

한편, 도 11에서 도시한 상기 컴퓨팅장치(1000)의 내부 구성은 본 발명을 용이하게 설명하기 위하여 필수적인 구성요소만을 도시한 것이며, 이외에도 통신부, 제어부 등과 같이 다양한 구성요소들을 더 포함할 수 있다.

또한, 상기 컴퓨팅장치(1000)는 물리적으로 구분된 하나의 장치로 구현될 수 있으나, 본 발명의 다른 실시예에서 상기 컴퓨팅장치(1000)는 물리적으로 구분된 복수의 장치에 상술한 1 이상의 구성요소들이 포함될 수 있고, 상기 물리적으로 구분된 복수의 장치들이 상호 통신을 수행하는 것으로 상기 컴퓨팅장치(1000)의 기능을 수행할 수도 있다.

도 12는 본 발명의 일 실시예에 따른 검수자의 신뢰도정보를 반영하여 검수결과를 도출하는 방법의 세부과정들을 개략적으로 도시한다.

도 12에 도시된 바와 같이, 1 이상의 메모리 및 1 이상의 프로세서를 갖는 컴퓨팅장치(1000)에서 수행되는 크라우드소싱을 통하여 수집된 작업물을 검수하는 검수자의 신뢰도정보를 반영한 검수결과 도출방법으로서, 복수의 단위작업에 대한 작업자의 작업결과를 수신하는 단계(S10); 복수의 단위작업의 작업결과에 대한 복수의 검수자의 검수결과를 수신하는 단계(S11); 검수종합결과를 도출하고자 하는 복수의 단위작업에 각각에 대하여 복수의 검수자의 신뢰도정보 및 복수의 검수자의 검수결과에 기반하여, 복수의 단위작업 각각에 대한 제1검수종합결과를 도출하는 검수결과추론단계(S12); 상기 제1검수종합결과 및 상기 복수의 검수자의 검수결과에 기초하여 복수의 검수자 각각의 신뢰도정보를 업데이트하는 신뢰도정보업데이트단계(S13); 및 업데이트된 상기 복수의 검수자 각각의 신뢰도정보 및 상기 복수의 검수자의 검수결과에 기초하여, 복수의 단위작업 각각에 대하여 최종검수종합결과를 도출하는 단계(S14);를 포함하고, 상기 검수결과추론단계(S12) 및 상기 신뢰도정보업데이트단계(S13)는 순차적으로 N(N은 1 이상의 자연수) 회 이상 수행될 수 있고, 최초의 상기 검수결과추론단계(S12)에서의 상기 복수의 검수자의 신뢰도정보는 기설정된 규칙에 따라 정해지고, M(M은 2 이상의 자연수)회의 검수결과추론단계(S12)에서 사용되는 상기 복수의 검수자의 신뢰도정보는 M-1회의 신뢰도정보업데이트단계(S13)에서 업데이트된 신뢰도정보에 상응할 수 있다.

구체적으로, 도 2에서 설명한 바와 같이, 작업자는 제공받은 작업물에 대하여 작업을 수행하여 작업결과를 작업자단말(2000)에 입력하고, 상기 컴퓨팅장치(1000)의 작업결과수신부(1020)는 작업결과를 수신하는 단계(S10)를 수행하여, 복수의 작업자단말(2000)로부터 복수의 작업결과들을 수신한다. 한편, 컴퓨팅장치(1000)는 수신한 작업결과들을 검수할 복수의 검수자의 검수자단말(3000)에 제공하여 검수자가 검수자단말(3000)을 통해 각 작업결과에 대한 검수를 수행하고, 검수결과를 입력할 수 있도록 한다.

본 발명의 다른 실시예에서는 상기 단계(S10)은 생략될 수 있고, 복수의 단위작업에 대한 작업자(1차 작업자)의 작업결과는 별도의 서버와 같은 외부의 컴퓨팅장치 등을 통해 제공받을 수도 있다.

한편, 상기 컴퓨팅장치(1000)의 검수결과수신부(1040)는 검수결과를 수신하는 단계(S11)를 수행하여, 복수의 검수자단말(3000)로부터 작업결과들에 대한 복수의 검수결과들을 수신한다.

본 발명의 다른 실시 예에서는, 상기 검수결과를 수신하는 단계(S11)는 검수를 포함하는 작업을 수행하는 작업자의 작업결과를 수신하는 것을 의미할 수도 있다.

이어서, 상기 검수결과추론부(1080)는 검수결과추론단계(S12)를 수행하여, 검수를 수행한 복수의 검수자 각각에 대한 신뢰도정보 및 각각의 검수자들이 수행한 검수결과에 기초하여 각각의 단위작업에 대한 제1검수종합결과를 도출한다. 한편, 상기 검수결과추론단계(S12)는 반복적으로 수행될 수 있고, 상기 검수결과추론단계(S12)가 최초로 수행되는 경우에 도출되는 제1검수종합결과는 기설정된 규칙에 따라 정해지는 검수자별 신뢰도정보 및 각각의 검수자들이 수행한 검수결과에 기초하여 단위작업별 제1검수종합결과를 도출한다.

최초의 제1검수종합결과를 도출하기 위하여 기설정된 규칙에 따라 정해지는 검수자별 신뢰도정보는 상술한 초기신뢰도정보도출부(1070)에서 각각의 검수자가 수행한 복수의 초기신뢰도 테스트에 대한 테스트결과에 기초하여 검수자별로 도출된 초기신뢰도정보에 해당할 수 있다. 한편, 상기 검수결과추론단계(S12)에서 도출되는 제1검수종합결과는 후술하는 신뢰도정보업데이트단계(S13)에서 이전의 검수자별 신뢰도정보를 업데이트하기 위하여 사용될 수 있다.

본 발명의 다른 실시예에서는 상기 검수결과추론단계(S12)는 검수를 포함하는 작업을 수행한 복수의 작업자 각각에 대한 신뢰도정보 및 각각의 작업자들이 수행한 작업결과에 기초하여 각각의 단위작업에 대한 제1작업종합결과를 도출하는 작업결과추론단계를 의미할 수 있다.

신뢰도정보업데이트부(1090)에서 수행하는 신뢰도정보업데이트단계(S13)는 단위작업별 제1검수종합결과와 각 단위작업에 대한 복수의 검수자별 검수결과를 비교하여 오차값이 최소가 되도록 하는 검수자 각각에 대한 신뢰도정보를 업데이트한다. 한편, 상기 신뢰도정보업데이트단계(S13)를 통해 업데이트된 신뢰도정보는 상기 검수결과추론단계(S12)에서 새로운 제1검수종합결과를 도출하기 위한 신뢰도정보로 사용할 수 있다.

즉, 검수결과추론단계(S12)에서 도출된 제1검수종합결과는 신뢰도정보업데이트단계(S13)에서 이전의 신뢰도정보를 업데이트하기 위하여 사용되고, 상기 신뢰도정보업데이트단계(S13)에서 업데이트된 신뢰도정보는 상기 검수결과추론단계(S12)에서 새로운 제1검수종합결과를 도출하기 위하여 사용될 수 있다. 이와 같이, 상기 검수결과추론단계(S12) 및 상기 신뢰도정보업데이트단계(S13)는 순차적으로 1회 이상 수행될 수 있으며, M회차(M은 2 이상의 자연수)의 검수결과추론단계(S12)에서는 M-1회차의 신뢰도정보업데이트단계(S13)에서 업데이트된 신뢰도정보에 기초하여 M회차에서의 제1검수종합결과를 도출할 수 있다.

이러한 반복과정은 신뢰도정보가 특정 값으로 수렴하거나, 혹은 기설정된 횟수동안 반복될 수 있고, 최종적으로 신뢰도정보가 업데이트되는 경우에 해당 신뢰도정보에 기초하여 최종검수종합결과를 도출하는 단계(S14)가 수행될 수 있다.

본 발명의 다른 실시예에서 상기 신뢰도정보업데이트단계(S13)는 상술한 단위작업별 제1작업종합결과와 각 단위작업에 대한 복수의 작업자별 작업결과를 비교하여 오차값이 최소가 되도록 하는 작업자 각각에 대한 신뢰도정보를 업데이트할 수 있다.

상술한 바와 같이, 최종검수종합결과도출부(1100)는 최종검수종합결과를 도출하는 단계(S14)를 수행하여 최종적으로 업데이트된 검수자별 신뢰도정보 및 각각의 검수자가 수행한 복수의 검수결과에 기초하여 단위작업 각각에 대한 최종검수종합결과를 도출한다. 이와 같이, 상기 최종검수종합결과를 도출하는 단계(S14)에서 도출된 각각의 단위작업에 대한 최종검수종합결과는 단위작업 각각에 대하여 정답이라고 추론되는 결과에 해당할 수 있다.

본 발명의 다른 실시예에서 상기 최종검수종합결과를 도출하는 단계(S14)는 업데이트된 복수의 검수를 포함하는 작업을 수행한 복수의 작업자 각각의 신뢰도정보 및 상기 복수의 작업자의 작업결과에 기초하여, 복수의 단위작업 각각에 대하여 최종작업종합결과를 도출하는 단계를 의미할 수 있다.

이와 같이, 본 발명에서는 검수자가 현재 수행한 검수결과를 기반으로 검수자의 신뢰도정보, 즉 검수자의 검수능력을 추정하고, 추정된 검수자의 검수능력을 해당 단위작업의 정답(최종검수종합결과)을 추정하기 위한 가중치로 활용하여 양질의 학습 데이터를 효과적으로 구축할 수 있다.

즉, 검수자별 검수능력을 고려하지 않고, 다수결 방식으로 작업결과의 정답을 결정하거나, 혹은 검수자의 과거 검수결과에 기초하여 검수능력을 추정하여 현재 작업결과의 정답을 추정하는 종래의 방식에 비해, 본 발명에서는 더욱더 정확하게 작업결과의 정답을 추정할 수 있다.

도 13은 본 발명의 일 실시예에 따른 신뢰도정보를 개략적으로 도시한다.

도 13에 도시된 바와 같이, 상기 검수자의 신뢰도정보는, 상기 단위작업의 작업결과에 대한 검수결과에 해당할 수 있는 복수의 값이 개수에 따라 결정되는 복수의 세부신뢰도정보를 포함하는 것을 특징으로 할 수 있다.

구체적으로, 검수자의 신뢰도정보는 복수의 세부신뢰도정보를 포함할 수 있고, 상기 복수의 세부신뢰도정보 및 개수는 검수자가 입력할 수 있는 검수결과의 값, 즉 검수결과로 입력할 수 있는 선택지의 개수에 따라 결정될 수 있다. 예를 들어, 검수결과로 입력할 수 있는 선택지는 해당 작업결과가 정상적으로 이루어졌는지에 대한 검수결과(참, 거짓), 이미지에 포함된 인물의 성별을 정상적으로 입력하였는지에 대한 검수결과(남, 여), 이미지에 포함된 오브젝트의 라벨링 및 영역이 정상적으로 설정되었는지에 대한 검수결과(라벨링 정상 - 영역설정 정상, 라벨링 정상 - 영역설정 비정상, 라벨링 비정상 - 영역설정 정상 및 라벨링 비정상 - 영역설정 비정상) 등 다양한 케이스들을 포함할 수 있다.

한편, 도 13에 도시된 바와 같이, 검수결과의 값이 2 개인 경우를 예로 들면, 상기 단위작업의 작업결과에 대한 검수결과의 값이 참 또는 거짓에 해당하는 경우에 상기 검수자의 신뢰도정보는, 실제 참에 해당하는 단위작업의 작업결과에 대해 검수자가 참으로 평가할 확률에 대한 제1세부신뢰도정보; 실제 참에 해당하는 단위작업의 작업결과에 대해 검수자가 거짓으로 평가할 확률에 대한 제2세부신뢰도정보; 실제 거짓에 해당하는 단위작업의 작업결과에 대해 검수자가 참으로 평가할 확률에 대한 제3세부신뢰도정보; 및 실제 거짓에 해당하는 단위작업의 작업결과에 대해 검수자가 거짓으로 평가할 확률에 대한 제4세부신뢰도정보;를 포함할 수 있다.

구체적으로 검수자는 작업결과에 대하여 참/거짓 2 개의 선택지 가운데 하나를 선택하는 것으로 검수결과를 입력할 수 있고, 검수자가 작업결과에 대하여 검수한 검수결과 및 실제 작업결과의 정답의 종류에 따라 해당 검수자의 신뢰도정보에 포함되는 1 이상의 세부신뢰도정보가 결정될 수 있다.

도 13를 참고하면, 참/거짓, 2 개의 선택지를 갖는 검수결과의 경우 신뢰도정보는 총 4 개의 세부신뢰도정보를 포함할 수 있다. 상기 세부신뢰도정보는 실제 정답이 참에 해당하는 단위작업의 작업결과에 대해 검수자가 참으로 평가할 확률에 대한 제1세부신뢰도정보(P_TT), 실제 정답이 참에 해당하는 단위작업의 작업결과에 대해 검수자가 거짓으로 평가할 확률에 대한 제2세부신뢰도정보(P_TF), 실제 정답이 거짓에 해당하는 단위작업의 작업결과에 대해 검수자가 참으로 평가할 확률에 대한 제3세부신뢰도정보(P_FT), 및 실제 정답이 거짓에 해당하는 단위작업의 작업결과에 대해 검수자가 거짓으로 평가할 확률에 대한 제4세부신뢰도정보(P_FF)를 포함할 수 있다.

한편, 검수자가 작업결과를 올바르게 검수(참을 참으로, 거짓을 거짓으로)할 확률에 해당하는 세부신뢰도정보가 제1세부신뢰도정보(P_TT) 및 제4세부신뢰도정보(P_FF)에 해당하므로, 상기 제1세부신뢰도정보(P_TT) 및 상기 제4세부신뢰도정보(P_FF)은 동일한 값을 가질 수 있다. 또한 검수자가 작업결과를 잘못 검수(참을 거짓으로, 거짓을 참으로)할 확률에 해당하는 세부신뢰도정보가 제2세부신뢰도정보(P_TF) 및 제3세부신뢰도정보(P_FT)에 해당하므로, 상기 제2세부신뢰도정보(P_TF) 및 상기 제3세부신뢰도정보(P_FT)는 동일한 값을 가질 수 있다.

또한, 상기 제1세부신뢰도정보(P_TT) 및 상기 제3세부신뢰도정보(P_FT)의 합은 1이 될 수 있고, 마찬가지로 상기 제2세부신뢰도정보(P_TF) 및 상기 제4세부신뢰도정보(P_FF)의 합 또한 1이 될 수 있다.

이와 같이, 검수자별 신뢰도정보는 1 이상의 세부신뢰도정보를 포함할 수 있고, 상기 세부신뢰도정보는 검수결과에 해당할 수 있는 1 이상의 선택지에 따라 결정될 수 있다. 한편 검수자별 신뢰도정보는 검수결과추론단계(S12) 및 최종검수종합결과를 도출하는 단계(S14)에서 제1검수종합결과 및 최종검수종합결과를 도출하기 위하여 사용될 수 있으며, 상기 검수자별 신뢰도정보는 신뢰도정보업데이트단계(S13)에서 특정 값으로 수렴될 때까지 업데이트 될 수 있다.

도 14는 본 발명의 일 실시예에 따른 복수의 단위작업의 작업결과에 대하여 복수의 검수자의 검수결과에 따라 신뢰도정보가 업데이트되는 과정을 개략적으로 도시한다.

도 14의 (A)는 복수의 단위작업의 작업결과(단위작업 1 내지 단위작업 i)에 대하여 복수의 검수자(검수자 1 내지 검수자 j)가 수행한 검수결과(T 또는 F)를 도시한 도면에 해당하고, 도 14의 (B)는 복수의 단위작업의 작업결과에 대하여 복수의 검수자가 수행한 검수결과 및 복수의 검수자의 신뢰도정보에 기초하여 제1검수종합결과를 도출하고, 상기 제1검수종합결과에 따라 신뢰도정보를 업데이트하는 과정을 도시한 도면에 해당한다.

도 14의 (A)에 도시된 바와 같이, 상기 검수결과추론단계(S12)는, 상기 단위작업의 작업결과에 대한 검수결과의 값이 참 또는 거짓에 해당하는 경우에 상기 검수결과의 값이 참인 경우에 제1값을 할당하고, 상기 검수결과의 값이 거짓인 경우에 제2값을 할당하여, 하기 [식 1]를 사용하는 것으로 복수의 단위작업 각각에 대한 제1검수종합결과를 도출할 수 있다.

[식 1]

i번째 단위작업에 대한 제1작업종합결과 =

(여기서 작업결과_i,j는 j번째 작업자가 i번째 단위작업에 대해 평가한 작업결과의 값, 신뢰도정보_j는 j번째 작업자의 신뢰도정보, 및 f는 작업결과에 신뢰도정보_j가 반영된 값을 해석 가능한 종합변환 값으로 나타내는 함수)

구체적으로, 도 14의 (A)에 도시된 복수의 단위작업은 서로 다른 단위작업에 해당하나 동일한 유형의 단위작업의 작업결과에 해당할 수 있고, 또는 복수의 단위작업은 모두 동일한 단위작업에 해당하나 서로 다른 복수의 작업자의 작업에 의한 작업결과에 해당할 수 있다. 따라서, 각 단위작업에 대한 검수자의 신뢰도정보가 동일하게 적용될 수 있다.

한편, 상기 검수결과추론단계(S12)는 각 단위작업에 대한 검수자별 신뢰도정보 및 해당 단위작업에 대한 검수결과를 [식 1]을 사용하는 것으로 각 단위작업별로 제1검수종합결과를 도출할 수 있다. 더 구체적으로 특정 단위작업에 대한 제1검수종합결과는 해당 단위작업에 대하여 검수자의 검수결과에 따라 할당된 값(제1값 또는 제2값)과 검수자의 신뢰도정보를 변수로 하는 함수의 값을 검수자별로 모두 더한 값에 해당할 수 있다.

또한, 신뢰도정보를 변수로 하는 함수 f의 일 실시예로는,

와 같이 표현할 수도 있다. 상기 식에서 p_i는 i번째 단위작업의 작업결과에 대한 검수결과가 참일 확률, a_i는 i번째 단위작업의 작업결과의 정답이 참일 때 정답을 맞출 확률, b_i는 i번째 단위작업의 작업결과의 정답이 거짓일 때 정답을 맞출 확률에 해당하며, 즉, a_i, b_i는 신뢰도정보에 해당할 수 있다.

더 구체적으로는, 상기 [식 1]에 대한 일 실시예로써, 상기 검수결과추론단계(S12)는, 상기 단위작업의 작업결과에 대한 검수결과의 값이 참 또는 거짓에 해당하는 경우에 상기 검수결과의 값이 참인 경우에 제1값을 할당하고, 상기 검수결과의 값이 거짓인 경우에 제2값을 할당하여, 하기 [식 2]를 사용하는 것으로 복수의 단위작업 각각에 대한 제1검수종합결과를 도출할 수 있다.

[식 2]

i번째 단위작업에 대한 제1작업종합결과 =

(여기서 작업결과_i,j는 j번째 작업자가 i번째 단위작업에 대해 평가한 작업결과의 값, 신뢰도정보_j는 j번째 작업자의 제1세부신뢰도정보 - 제3세부신뢰도정보의 값, 또는 제4세부신뢰도정보 - 제2세부신뢰도정보의 값, 및 f는 작업결과에 신뢰도정보_j가 반영된 값을 해석 가능한 종합변환 값으로 나타내는 함수)

즉, 상기 [식 1]을 더욱 상세하게 기술한 식이 상기 [식 2]에 해당할 수 있고, 바람직하게 상기 제1값(검수결과가 참인 경우)은 1에 해당할 수 있고, 상기 제2값(검수결과가 거짓인 경우)은 -1에 해당할 수 있다. 한편, 도 13에서 설명한 내용을 참고하여, 검수자 j의 신뢰도정보는 제1세부신뢰도정보(P_TTj), 제2세부신뢰도정보(P_TFj), 제3세부신뢰도정보(P_FTj), 및 제4세부신뢰도정보(P_FFj)를 포함할 수 있다.

한편, 상기 [식 2]의 일 실시예에는 하기 식이 해당될 수 있으며,

i번째 단위작업에 대한 제1검수종합결과 =

(여기서 검수결과_i,j는 j번째 검수자가 i번째 단위작업에 대해 평가한 검수결과의 값, 신뢰도정보_j는 j번째 검수자의 제1세부신뢰도정보 - 제3세부신뢰도정보의 값, 또는 제4세부신뢰도정보 - 제2세부신뢰도정보의 값, 및 L은 전체 검수자의 수 혹은

)

도 14의 (A)에 도시된 첫번째 단위작업에 대한 작업결과(단위작업 1)에 대하여 상기 식을 사용하여 제1검수종합결과를 계산해보면, 단위작업 1에 대한 제1검수종합결과는 ((1*(P_TT1 - P_FT1))+(-1*(P_FF2 - P_TF2))+ … + (1*(P_TTj - P_FTj)))/j에 해당할 수 있다. 이와 같은 방식으로 복수의 검수자의 신뢰도정보 및 각 단위작업에 대한 검수자의 검수결과에 기초하여 단위작업별 제1검수종합결과를 도출할 수 있다.

바람직하게는 상기 제1검수종합결과는 [식 2]를 통해 산출된 소정의 값을 기준값에 따라 결정된 검수결과에 해당할 수 있는 특정 선택지에 대한 정보에 해당할 수 있다. 예를 들어, 상기 기준값은 0 이 될 수 있고, [식 2]를 통해 산출된 소정의 값이 0 이상인 경우에 상기 제1검수종합결과는 참에 해당할 수 있고, [식 2]를 통해 산출된 소정의 값이 0 미만인 경우에 상기 제1검수종합결과는 거짓에 해당할 수 있다.

한편, 상기 검수결과추론단계(S12)가 최초로 수행되는 경우에, 상기 복수의 검수자의 신뢰도정보는 기설정된 규칙에 따라 도출된 최초신뢰도정보를 사용하여 제1검수종합결과를 도출할 수 있고, 상기 최초신뢰도정보는 검수자별로 동일한 초기값을 갖거나, 혹은 상술한 바와 같이 상기 신뢰도정보업데이트단계(S13)에서 검수자가 수행한 복수의 초기신뢰도 테스트에 대한 테스트결과에 기초하여 도출된 초기신뢰도정보에 해당할 수 있다.

상술한 [식 1] 및 [식 2]는 발명을 용이하게 설명하기 위하여 단위작업을 포함하는 작업물의 작업결과가 참 또는 거짓 즉, 작업결과로 2 개의 경우의 수를 갖는 특별한 케이스에서의 단위작업에 대한 제1작업종합결과를 도출하기 위함이며, 이를 확장하여 작업결과가 3 이상의 경우의 수를 갖는 경우에는 하기의 [식 3]을 통해 단위작업에 대한 제1작업종합결과를 도출할 수 있다.

상기 작업결과추론단계는, 상기 단위작업을 포함하는 작업물에 대한 작업결과에 대하여 하기 [식 3]을 사용하는 것으로 복수의 단위작업 각각에 대한 제1작업종합결과를 도출할 수 있다.

[식 3]

i번째 단위작업에 대한 제1작업종합결과 =

(여기서 작업결과_i,j는 j번째 작업자가 i번째 단위작업에 대해 평가한 작업결과의 값, 신뢰도정보_j는 j번째 작업자의 신뢰도정보, 및 f는 작업결과에 신뢰도정보_j가 반영된 값을 해석 가능한 종합변환 값으로 나타내는 함수)

상기 [식 3]에서 j번째 작업자의 신뢰도정보를 의미하는 신뢰도정보_j는 작업결과의 경우의 수가 3 이상의 일반적인 케이스의 경우에는 하기와 같이 표현할 수 있다.

상기 작업자의 신뢰도정보는, 상기 단위작업을 포함하는 작업물에 대한 작업결과에 해당할 수 있는 복수의 값의 개수가 N개에 해당하는 경우에, 상기 작업자의 신뢰도정보는, 실제 i번째 값에 해당하는 단위작업의 작업결과에 대해 작업자가 j번째 값으로 대답할 확률에 대한 (i, j는 N 이하의 자연수) 세부신뢰도정보, 총 N * N개의 세부신뢰도정보를 포함할 수 있다.

즉, 작업자의 신뢰도정보는 작업결과에 해당할 수 있는 값의 개수에 따라 복수의 세부신뢰도정보의 개수가 결정되고, 복수의 세부신뢰도정보에 기초하여 작업자의 신뢰도정보가 산출될 수 있다. 이와 같이 산출된 작업자의 신뢰도정보는 [식 3]의 인자로 사용되어 최종적으로 단위작업에 대한 제1작업종합결과를 도출할 수 있게 된다.

이후, 도 14의 (B)에 도시된 바와 같이, 상기 신뢰도정보업데이트단계(S13)는, 상기 검수결과추론단계(S12)에서 상기 [식 3]을 통해 도출된 복수의 단위작업 각각에 대한 제1검수종합결과 및 상기 복수의 검수자별 복수의 단위작업 각각에 대한 검수결과의 오차가 최소가 되도록 하는 신뢰도정보를 업데이트할 수 있다.

구체적으로, 신뢰도정보업데이트단계(S13)는 상술한 바와 같이 검수결과추론단계(S12)에서 [식 1] 내지 [식 3]을 통해 도출된 각각의 단위작업별 제1검수종합결과 및 검수자별 검수결과와의 오차가 최소가 되도록 하는 신뢰도정보를 업데이트할 수 있다. 즉, 신뢰도정보업데이트단계(S13)는 검수결과추론단계(S12)에 의해 도출된 각각의 복수의 단위작업별 제1검수종합결과와 복수의 검수자 각각의 검수결과와의 종합적인 오차를 최소화하는 복수의 검수자의 신뢰도정보를 도출하여 업데이트 하는 것으로, 전체 검수자의 수를 차원 혹은 변수로하는 함수 혹은 확률모델을 계산하여 검수자의 신뢰도정보를 업데이트할 수 있다.

이와 같이, 검수자의 신뢰도정보를 업데이트하기 위한 일 실시예로서, 잠재변수에 해당하는 각각의 단위작업의 정답(z)과 검수자의 신뢰도 혹은 검수능력(q)에 대한 확률모델(p(z,q))을 생성하고, 확률모델을 사용하여 검수자의 신뢰도정보를 업데이트할 수 있다.

더 구체적으로, 상기 확률모델(p(z,q))은 하기에 기술한 [식 4]와 같이 관찰 가능한 값으로 표현될 수 있다.

[식 4]

즉, 관찰된 데이터(검수결과, L) 및 해당 모델에 대한 파라미터(θ)가 주어졌을 때의 확률모델은 관찰가능한 값에 해당하는 p(q_j|θ), p(L_ij|z_i,q_j) (j는 j번째 검수자, i는 i번째 단위작업)의 곱에 비례하고, [식 3]에 대하여 확률모델의 확률값이 최대가 되도록하는 잠재변수를 찾는 것으로 검수자의 신뢰도정보를 산출할 수 있다.

바람직하게는 상술한 [식 4]에 대하여 [식 5]에서와 같이 잠재변수에 대한 기대값을 산출(E-step)하고, 산출된 기대값을 사용하여 검수자의 신뢰도정보를 추정(M-step)하는 Expectation Maximization(EM) 알고리즘을 사용하여 검수자별 신뢰도정보를 업데이트할 수 있다.

[식 5]

E-step:

, M-step:

EM 알고리즘은 t 회차에서 추정된 신뢰도정보를 t+1 회차의 E-step에서 기대값을 산출하기 위하여 사용하고, t+1 회차의 E-step에서 산출된 기대값은 t+1 회차의 M-step에서 신뢰도정보를 추정하기 위하여 사용됨으로써, 신뢰도정보의 추정값이 특정 값에 수렴할 때까지 E-step과 M-step이 반복적으로 수행될 수 있다.

본 발명의 다른 실시예에서는 그래픽 모델을 사용하여 상술한 [식 3]에 대하여 신뢰도 q로 적분(Marginalize)하여 확률모델의 확률값이 최대가 되게하는 잠재변수를 추정하는 Belief Propagation 알고리즘을 사용하여 검수자의 신뢰도정보를 업데이트할 수 있고, 본 발명의 또 다른 실시예에서는 각 검수자의 검수결과를 행렬로 하고, 상기 행렬에 대하여 Spectral Method를 이용함으로써 각 검수자의 신뢰도 및 최종검수종합결과를 도출할 수 있다.

한편, t 회차의 신뢰도정보업데이트단계(S13)에서 업데이트된 신뢰도정보는 t+1 회차의 검수결과추론단계(S12)에서 제1검수종합결과를 도출하기 위하여 사용될 수 있고, t+1회차의 검수결과추론단계(S12)에서 도출된 제1검수종합결과는 t+1 회차의 신뢰도정보업데이트단계(S13)에서 신뢰도정보를 업데이트하기 위하여 사용될 수 있다. 이와 같은 검수결과추론단계(S12) 및 신뢰도정보업데이트단계(S13)의 반복과정은 상기 검수자의 신뢰도정보가 특정 값으로 수렴되거나, 혹은 기설정된 횟수만큼 반복될 수 있다.

이러한 과정을 통해 최종적으로 업데이트된 신뢰도정보는 상기 최종검수종합결과를 도출하는 단계(S14)에서 복수의 단위작업에 대한 최종검수종합결과를 도출하기 위하여 사용될 수 있고, 상기 최종검수종합결과를 도출하는 단계(S14)는 상기 검수결과추론단계(S12)와 동일하게 상기 [식 1] 내지 [식 3]을 사용하여 단위작업에 대한 최종검수종합결과를 도출할 수도 있다.

도 15는 본 발명의 일 실시예에 따른 복수의 검수자의 복수의 초기신뢰도 테스트에 대한 테스트결과를 수신하여 복수의 검수자의 초기신뢰도정보를 도출하는 과정을 개략적으로 도시한다.

도 15의 (A)에 도시된 바와 같이, 상기 검수결과 도출방법은, 복수의 초기신뢰도 테스트에 대한 복수의 검수자의 테스트결과를 수신하는 단계(S21); 및 상기 복수의 검수자의 테스트결과에 기초하여 복수의 검수자의 초기신뢰도정보를 도출하는 초기신뢰도정보도출단계(S22);를 더 포함하고, 상기 검수결과추론단계(S12)는, 최초 수행시에 상기 복수의 검수자별 초기신뢰도정보 및 상기 복수의 검수자의 검수결과에 기반하여, 복수의 단위작업 각각에 대한 제1검수종합결과를 도출하는 것을 특징으로 할 수 있다.

구체적으로, 상기 컴퓨팅장치(1000)의 초기신뢰도테스트제공부(1050)는 작업결과에 대한 검수를 수행하는 복수의 검수자의 검수자단말(3000)로 복수의 초기신뢰도 테스트를 제공(S20)하고, 검수자 각각은 해당 검수자단말(3000)을 통해 복수의 초기신뢰도 테스트에 대한 테스트를 수행하여 테스트결과를 입력한다. 한편, 상기 테스트결과수신부(1060)는 복수의 검수자단말(3000)로부터 각각의 검수자에 의해 입력된 테스트결과를 수신하는 단계(S21)를 수행한다. 마지막으로 초기신뢰도정보도출부(1070)는 수신한 검수자별 테스트결과에 기초하여 검수자 각각에 대한 초기신뢰도정보를 도출(S22)한다. 이와 같이, 복수의 초기신뢰도 테스트에 따라 도출된 검수자별 초기신뢰도정보는 검수결과추론단계(S12)가 최초로 수행되는 경우에 제1검수종합결과를 도출하기 위한 신뢰도정보로 사용될 수 있다.

이러한 초기신뢰도 테스트의 내용은 초기신뢰도를 도출하기 위하여 작업결과에 대한 검수와는 상이한 별도의 테스트 내용이 될 수도 있으나, 바람직하게는 검수자가 작업결과에 대하여 검수하는 것과 유사한 내용에 해당할 수 있다.

한편, 복수의 초기신뢰도 테스트에 대한 테스트결과에 기초하여 초기신뢰도정보를 도출하는 방법의 일 실시예로는, 각각의 초기신뢰도 테스트에는 사전에 할당된 정답이 존재하고, 검수자가 입력한 테스트결과와 해당 초기신뢰도 테스트에 대한 정답을 비교함으로써 검수자의 초기신뢰도정보를 도출할 수 있다.

본 발명의 또 다른 실시예로는, 각각의 초기신뢰도 테스트에는 사전에 할당된 정답 및 난이도가 존재하여, 각각의 초기신뢰도 테스트를 동일한 가중치로 두는 것이 아니라, 난이도에 따라 가중치를 부여함으로써 더욱더 정확한 초기신뢰도정보를 도출할 수도 있다.

또한, 본 발명에서는 검수자에게 초기신뢰도 테스트를 제공함에 있어서, 검수자단말(3000)에 초기신뢰도 테스트를 명시하여 검수자가 해당 과정이 실제 검수가 아닌 별도의 테스트임을 인지하도록 하거나, 혹은 초기신뢰도 테스트를 명시하지 않음으로써 검수자가 해당 과정이 실제 검수인지, 초기신뢰도 테스트인지를 구분할 수 없도록 하여 더욱더 효과적인 초기신뢰도정보를 도출할 수도 있다.

한편, 본 발명에서 작업결과에 대한 검수를 수행하는 검수자에게 초기신뢰도 테스트를 제공하기 위한 다양한 방법들이 존재할 수 있으며, 도 15의 (B) 및 (C)는 이러한 방법의 일 실시예들을 도시한다.

도 15의 (B)에서는 검수자가 복수의 단위작업의 작업결과에 대하여 검수를 수행하기 전에 초기신뢰도 테스트를 수행하도록 한다. 이와 같이 실제 검수 전에 초기신뢰도 테스트를 수행하는 경우에는 검수자가 집중력이 높은 상태에서 테스트를 수행하기 때문에 실제 검수과정에서의 신뢰도 보다 비교적 높게 초기신뢰도가 도출될 수 있다.

이와 같은 경우, 최종적으로 신뢰도정보를 업데이트하기까지의 소요시간이 길어지거나, 신뢰도정보를 산출하기 위한 컴퓨팅 자원이 많이 필요할 수 있다.

따라서, 효율적으로 초기신뢰도 정보를 도출하기 위하여 도 15의 (C)에 도시된 바와 같이, 상기 테스트결과를 수신하는 단계는, 복수의 검수자가 검수를 수행하는 상기 복수의 단위작업의 작업결과 사이에 수행한 복수의 초기신뢰도 테스트에 대한 테스트결과를 수신하는 것을 특징으로 할 수 있다.

구체적으로, 검수자에게 제공되는 초기신뢰도 테스트는 실제 검수하는 단위작업의 작업결과 사이에 배치되어 제공되거나, 혹은 복수의 초기신뢰도 테스트의 일부는 실제 검수 이전에 제공되고, 나머지 복수의 초기신뢰도 테스트는 실제 검수하는 단위작업의 작업결과 사이에 배치되어 제공될 수 있다.

이와 같은 구성을 통해 검수자가 검수를 진행함에 따라 집중력이나 컨디션이 저하되는 것을 고려하여 초기신뢰도정보를 도출할 수 있으므로, 초기신뢰도정보로부터 최종적으로 신뢰도정보를 업데이트하기 까지의 소요시간을 단축하거나, 혹은 신뢰도정보를 산출하기 위한 컴퓨팅 자원의 사용량을 줄일 수 있는 효과를 발휘할 수 있다.

한편, 본 발명에서는 도 15의 (C)에 도시된 바와 같이, 단위작업의 작업결과 및 타 단위작업의 작업결과 사이에 하나의 초기신뢰도 테스트를 제공하는 구성에 한정되지 않고, 단위작업의 작업결과 및 타 단위작업의 작업결과 사이에 복수의 초기신뢰도 테스트를 제공하는 구성까지 포함할 수 있다.

도 16은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

상술한 도 1에 도시된 컴퓨팅장치(1000)는 상기 도 16에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.

도 16에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 1에 도시된 컴퓨팅장치(1000)에 해당될 수 있다.

메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 16의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 16에 도시된 일부 컴포넌트가 생략되거나, 도 16에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 16에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명의 일 실시예에 따르면, 소정 개수의 작업결과를 포함하는 서브셋을 생성하고, 서브셋에 포함된 소정 개수의 작업결과에 대한 검수가 완료된 경우에 서브셋에 포함된 소정 개수의 작업결과에 대한 추론결과(정답)를 도출하므로, 전체 작업결과에 대한 검수가 완료된 후에 추론결과를 도출하는 것과 비교하여, 신속하게 추론결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서브셋검수종료단계는 작업결과가 검수종료기준을 충족하는 지 판단하고, 검수종료기준은 검수자가 검수할 수 있는 최대 검수 개수정보를 포함하므로, 특정 검수자가 서브셋에 포함된 소정 개수의 작업결과에 대하여 과도하게 검수하는 것을 방지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 서브셋생성단계는 서브셋생성기준이 변경되는 경우에 생성중인 서브셋은 변경되기 전의 서브셋생성기준에 따라 생성되고, 이후에 생성되는 서브셋은 변경된 서브셋생성기준에 따라 생성되므로, 서브셋생성기준이 변경됨에 따라 작업결과에 대한 검수가 누락되는 것을 방지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 복수의 작업자가 각각의 단위작업을 포함하는 작업물에 대하여 수행한 작업결과에 기반하여 신뢰도정보를 산출하므로, 작업자의 신뢰도정보(검수/작업능력)를 가중치로 작업결과에 대한 작업종합결과를 도출할 수 있고, 작업자가 과거에 작업을 수행하지 않았더라도 현재 수행한 작업결과를 기반으로 신뢰도정보를 산출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 작업결과추론단계 및 신뢰도정보업데이트단계를 반복 수행하여, 작업자의 신뢰도정보가 작업자별 작업결과 및 작업자별 작업결과에 상응하는 단위작업에 대한 제1작업종합결과의 오차값이 최소가 되도록 업데이트되므로, 복수의 작업자가 수행한 작업결과를 정확하게 반영하는 신뢰도정보를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 작업자에 대하여 복수의 초기신뢰도 테스트를 제공하고, 작업자가 수행한 테스트결과에 기초하여 작업자별 초기신뢰도정보를 도출하므로, 작업자별 신뢰도정보를 업데이트하기 위한 초기값을 효과적으로 할당할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 복수의 초기신뢰도 테스트는 작업자가 작업을 수행하는 단위작업을 포함하는 작업물들 사이에서 작업자에게 제공되므로, 작업자가 작업을 지속적으로 수행함에 따라 변화하는 작업자의 집중력 등을 고려하여 초기신뢰도정보를 도출할 수 있는 효과를 발휘할 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 크라우드소싱을 통하여 수집된 복수의 작업을 서브셋 단위로 처리하는 방법으로서,
1 이상의 단위작업을 포함하는 복수의 작업물에 대하여 복수의 작업자가 수행한 복수의 작업결과를 수신하고, 기설정된 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하는 서브셋생성단계;
상기 서브셋에 포함된 소정의 개수 이하의 작업결과를 복수의 검수자에게 제공하고, 상기 복수의 검수자로부터 상기 작업결과 각각에 대하여 검수한 검수결과를 수신하는 서브셋검수단계;
상기 서브셋검수단계를 통해 1 이상의 검수결과가 할당되어 있는 소정의 개수의 작업결과 각각이 검수종료기준을 충족하는 지 판단하고, 상기 서브셋에 포함된 소정의 개수의 작업결과 모두가 상기 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하는 서브셋검수종료단계; 및
상기 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과에 대하여 검수를 수행한 복수의 검수자 각각의 신뢰도정보 및 소정의 개수의 작업결과 각각에 대한 1 이상의 검수결과에 기초하여 상기 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 서브셋추론단계;를 포함하고,
상기 서브셋생성기준은 서브셋에 포함되는 작업결과의 개수정보를 포함하고,
상기 검수종료기준은 서브셋에 포함되는 소정의 개수의 작업결과에 대하여 각 검수자가 검수할 수 있는 최대 검수 개수정보 및 작업결과에 대한 종료기준정보를 포함하고,
상기 작업결과에 대한 종료기준정보는,
검수결과에 해당하는 복수의 값 가운데 특정 값을 갖는 검수결과의 최소개수정보, 전체 검수결과의 최대개수정보 및 상기 검수결과에 해당하는 복수의 값과 별개로 작업결과를 오류로 검수하는 검수결과에 대한 개수정보 가운데 1 이상을 포함하는, 복수의 작업을 서브셋 단위로 처리하는 방법.

삭제

청구항 1에 있어서,
상기 서브셋검수단계는 특정 검수자가 상기 서브셋에 포함되는 소정의 개수의 작업결과 가운데 상기 최대 검수 개수정보에 상응하는 1 이상의 작업결과에 대하여 검수를 수행한 경우에, 상기 특정 검수자가 검수하지 않은 상기 서브셋에 포함되는 1 이상의 나머지 작업결과를 상기 특정 검수자에게 제공하지 않는, 복수의 작업을 서브셋 단위로 처리하는 방법.

청구항 1에 있어서,
상기 서브셋검수종료단계는,
상기 서브셋검수단계를 통해 상기 서브셋에 포함된 작업결과 별로 검수결과를 수신할 때마다 해당 작업결과에 대한 상기 검수종료기준의 충족 여부를 판단하는 단계; 및
해당 작업결과가 상기 검수종료기준을 충족하지 않는 경우에 상기 서브셋검수단계를 통해 해당 작업결과를 복수의 검수자에게 제공하도록 하고, 해당 작업결과가 상기 검수종료기준을 충족하는 경우에 상기 서브셋검수단계를 통해 해당 작업결과를 복수의 검수자에게 제공하는 것을 중지하도록 하고, 해당 작업결과를 대기상태로 설정하는 단계;를 포함하는, 복수의 작업을 서브셋 단위로 처리하는 방법.

청구항 1에 있어서,
상기 서브셋생성단계는,
서브셋을 생성하고 있는 상태에서 상기 서브셋생성기준이 변경되는 경우에 상기 생성하고 있는 상태의 서브셋을 변경되기 전의 서브셋생성기준에 기초하여 생성하고, 이후에 생성되는 서브셋을 상기 변경된 서브셋생성기준에 기초하여 생성하는, 복수의 작업을 서브셋 단위로 처리하는 방법.

청구항 1에 있어서,
상기 복수의 작업을 서브셋 단위로 처리하는 방법은,
상기 서브셋추론단계를 통해 도출된 추론결과에 기초하여 상기 서브셋에 포함된 작업결과를 제공한 작업자에게 해당 작업결과의 통과 여부에 대한 정보를 제공하고, 상기 추론결과에 기초하여 해당 작업결과를 검수한 검수자에게 해당 검수자가 해당 작업결과를 검수한 검수결과의 통과 여부에 대한 정보를 제공하는 작업결과제공단계;를 더 포함하는, 복수의 작업을 서브셋 단위로 처리하는 방법.

크라우드소싱을 통하여 수집된 복수의 작업을 서브셋 단위로 처리하는 방법을 수행하는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치로서,
상기 컴퓨팅장치는,
1 이상의 단위작업을 포함하는 복수의 작업물에 대하여 복수의 작업자가 수행한 복수의 작업결과를 수신하고, 기설정된 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하는 서브셋생성단계;
상기 서브셋에 포함된 소정의 개수 이하의 작업결과를 복수의 검수자에게 제공하고, 상기 복수의 검수자로부터 상기 작업결과 각각에 대하여 검수한 검수결과를 수신하는 서브셋검수단계;
상기 서브셋검수단계를 통해 1 이상의 검수결과가 할당되어 있는 소정의 개수의 작업결과 각각이 검수종료기준을 충족하는 지 판단하고, 상기 서브셋에 포함된 소정의 개수의 작업결과 모두가 상기 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하는 서브셋검수종료단계; 및
상기 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과에 대하여 검수를 수행한 복수의 검수자 각각의 신뢰도정보 및 소정의 개수의 작업결과 각각에 대한 1 이상의 검수결과에 기초하여 상기 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 서브셋추론단계;를 수행하고,
상기 서브셋생성기준은 서브셋에 포함되는 작업결과의 개수정보를 포함하고,
상기 검수종료기준은 서브셋에 포함되는 소정의 개수의 작업결과에 대하여 각 검수자가 검수할 수 있는 최대 검수 개수정보 및 작업결과에 대한 종료기준정보를 포함하고,
상기 작업결과에 대한 종료기준정보는,
검수결과에 해당하는 복수의 값 가운데 특정 값을 갖는 검수결과의 최소개수정보, 전체 검수결과의 최대개수정보 및 상기 검수결과에 해당하는 복수의 값과 별개로 작업결과를 오류로 검수하는 검수결과에 대한 개수정보 가운데 1 이상을 포함하는, 컴퓨팅장치.

1 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
1 이상의 단위작업을 포함하는 복수의 작업물에 대하여 복수의 작업자가 수행한 복수의 작업결과를 수신하고, 기설정된 서브셋생성기준에 기초하여 소정의 개수의 작업결과를 포함하는 서브셋을 생성하는 서브셋생성단계;
상기 서브셋에 포함된 소정의 개수 이하의 작업결과를 복수의 검수자에게 제공하고, 상기 복수의 검수자로부터 상기 작업결과 각각에 대하여 검수한 검수결과를 수신하는 서브셋검수단계;
상기 서브셋검수단계를 통해 1 이상의 검수결과가 할당되어 있는 소정의 개수의 작업결과 각각이 검수종료기준을 충족하는 지 판단하고, 상기 서브셋에 포함된 소정의 개수의 작업결과 모두가 상기 검수종료기준을 충족하는 경우에 상기 서브셋을 검수종료상태로 설정하는 서브셋검수종료단계; 및
상기 검수종료상태로 설정된 서브셋에 포함된 소정의 개수의 작업결과에 대하여 검수를 수행한 복수의 검수자 각각의 신뢰도정보 및 소정의 개수의 작업결과 각각에 대한 1 이상의 검수결과에 기초하여 상기 소정의 개수의 작업결과 각각에 대한 추론결과를 도출하는 서브셋추론단계;를 포함하고,
상기 서브셋생성기준은 서브셋에 포함되는 작업결과의 개수정보를 포함하고,
상기 검수종료기준은 서브셋에 포함되는 소정의 개수의 작업결과에 대하여 각 검수자가 검수할 수 있는 최대 검수 개수정보 및 작업결과에 대한 종료기준정보를 포함하고,
상기 작업결과에 대한 종료기준정보는,
검수결과에 해당하는 복수의 값 가운데 특정 값을 갖는 검수결과의 최소개수정보, 전체 검수결과의 최대개수정보 및 상기 검수결과에 해당하는 복수의 값과 별개로 작업결과를 오류로 검수하는 검수결과에 대한 개수정보 가운데 1 이상을 포함하는, 컴퓨터 프로그램.

Images