WO2020130306A1

WO2020130306A1 - 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치

Info

Publication number: WO2020130306A1
Application number: PCT/KR2019/013101
Authority: WO
Inventors: 박민우
Original assignee: 주식회사 크라우드웍스
Priority date: 2018-12-17
Filing date: 2019-10-07
Publication date: 2020-06-25
Also published as: KR20200074715A; KR102129843B1; JP2020098556A; JP6722309B2

Abstract

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치가 제공된다. 상기 방법은, 컴퓨터에 의해 수행되는 방법으로서, 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계, 및 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계를 포함한다.

Description

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치

본 발명은 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치에 관한 것이다.

기계학습(machine learning)에 있어서, 학습방법과 알고리즘 이상으로 중요한 것은 학습을 위한 데이터이다. 따라서, 양질의 학습데이터를 많이 확보하는 것은 기계학습 분야에서 매우 중요하다.

학습데이터를 얻기 위해서는, 일반적으로 로우 데이터(raw data)와, 로우 데이터에 대한 주석 정보가 필요하다. 주석 처리 작업은 사람에 의하여 수행되어야 하므로, 기계학습을 연구하거나 개발하는 곳에서는 주석 처리 작업을 수행하는 인력을 보유하기도 한다.

하지만, 주석 처리 작업은 전문지식 없이도 누구나 할 수 있는 일인 경우가 많으므로, 인건비의 절감을 위해 인터넷을 통해 다수의 작업자들에게 데이터를 분배하고, 주석 처리 작업에 따른 보수를 지급하는 형태의 플랫폼이 등장하게 되었다. 예를 들면, 아마존(amazon)의 메커니컬 터크(Mechanical Turk)가 있다.

하지만, 기존의 플랫폼의 경우 작업자가 성실하게 주석 처리 작업을 수행했는지 검수하는 과정에 많은 비용과 시간이 드는 문제점이 존재한다. 따라서, 기존 플랫폼의 장점을 유지하면서 주석 처리 작업의 검수를 효율적으로 하여 학습 데이터의 신뢰도를 높일 수 있는 기술의 개발이 요구된다.

본 발명이 해결하고자 하는 과제는 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법은, 컴퓨터에 의해 수행되는 방법으로서, 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계, 및 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계를 포함하고, 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계는, 작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러오는 단계, 상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함한다.

일부 실시예에서, 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계는, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의하고, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한다.

일부 실시예에서, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계, 및 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n-i 개(단, i는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n-i 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계, 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 i는 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하여 변경된다.

일부 실시예에서, 상기 i가 소정의 기준 이하인 경우, 상기 작업자를 신뢰할 수 없는 작업자로 정의하고, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 실전용 주석 처리 작업을 더 이상 송신하지 않는다.

일부 실시예에서, 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고, 상기 i는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값이다.

일부 실시예에서, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계, 및 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n+j 개(단, j는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n+j 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계, 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 j는 유효한 주석 처리로 정의된 작업의 수에 상응하여 변경된다.

일부 실시예에서, 상기 j가 소정의 기준 이상인 경우, 상기 작업자를 신뢰할 수 있는 작업자로 정의하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 진행하지 않고, 상기 신뢰할 수 있는 작업자에 의한 추가적인 상기 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한다.

일부 실시예에서, 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고, 상기 j는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값이다.

일부 실시예에서, 상기 검증용 주석 처리 작업 및 상기 검증용 주석 처리 작업에 상응하는 사전 결정된 답변으로 상기 검증용 주석 처리 작업의 데이터 셋을 구성하고, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계는, 상기 하나 이상의 검증용 주석 처리 작업의 결과 및 상기 하나 이상의 검증용 주석 처리 작업에 상응하는 사전 결정된 답변의 유사도를 판단하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다.

일부 실시예에서, 상기 하나 이상의 실전용 주석 처리 작업은 데이터베이스에 저장 및 관리되고, 상기 하나 이상의 검증용 주석 처리 작업은 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업에서 선택되고, 상기 하나 이상의 검증용 주석 처리 작업의 수는 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업의 수에 상응하여 결정된다.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치는, 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신하는 실전용 주석 처리 작업 송신부, 상기 작업자의 단말기로부터 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 실전용 주석 처리 작업 수신부, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 검증용 주석 처리 작업 송신부, 상기 하나 이상의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 검증용 주석 처리 작업 수신부, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 신뢰도 판단부, 및 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 유효 판단부를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치에 따르면, 하나 이상의 실전용 주석 처리 작업 직후에 진행되는 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단함으로써, 실전용 주석 처리 작업의 신뢰도를 자동으로 산출할 수 있다.

또한, 검수자가 작업자가 처리한 주석 처리 작업에 대한 검수를 진행하기 전에 실전용 주석 처리 작업의 신뢰도를 자동으로 판단함으로써, 작업자가 처리한 모든 주석 처리에 대해서 검수를 진행하지 않고 소정의 기준 이상의 신뢰도가 판단된 작업물에 대해서 검수를 진행할 수 있게 된다.

또한, 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이하인 경우, 해당 실전용 주석 처리 작업을 진행한 작업자를 신뢰할 수 없는 작업자로 정의하여, 소정의 기준 이하의 능력을 가진 작업자를 자동으로 필터링할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법의 개략적인 순서도이다.

도 2는 객체가 포함된 이미지에 대한 주석 처리의 개략적인 예시도이다.

도 3은 도 1의 실전용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.

도 4는 도 1의 검증용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.

도 5는 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계 이후 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계 및 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.

도 6은 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우의 예시도이다.

도 7은 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우의 예시도이다.

도 8은 본 발명의 다른 실시예에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치의 개략적인 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서, 작업자는 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치로부터 제공되는 주석 처리 작업에 대한 주석 처리를 수행하고, 소정의 보수를 지급받는 개인 또는 단체를 의미한다. 예를 들어, 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치는 작업자들에게 특정 객체 또는 텍스트가 포함된 이미지를 제공하고, 작업자들은 이미지에 포함된 객체 또는 텍스트의 범위를 지정하고, 지정된 범위에 포함된 객체 또는 텍스트가 무엇인지 입력하는 주석 처리 작업을 수행한다. 작업자들이 수행한 주석 처리 작업의 결과는 검증용 데이터를 이용한 데이터의 주석 처리하는 작업의 검수 자동화 장치에 전달된다.

검수자는 작업자들이 업로드한 주석 처리 작업의 결과에 대한 검수를 수행하는 개인 또는 단체를 의미한다. 실시 예에 따라, 검수자는 사람이 아니고, 자동으로 검수를 수행할 수 있는 학습된 모델, 프로그램 및 단말 등을 포괄하는 의미로도 이해될 수 있다.

작업자는 작업자 단말기를 이용하여 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치에 접속하여, 주석 처리 작업을 수행하고, 결과를 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치에 업로드한다. 작업자들이 업로드한 주석 처리 작업의 결과들 중 부적합한 주석 처리 작업의 결과가 있으면, 검수자는 부적합한 주석 처리 작업의 결과를 반려하고, 반려사유를 입력한다. 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치는 부적합한 주석 처리 작업을 수행한 작업자에게 주석 처리 결과 반려사유를 전달하고, 재작업을 요청한다.

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치는 작업자가 수행한 주석 처리 작업의 결과가 검수자의 검수를 통과하면, 작업자에게 주석 처리 작업에 대한 보상을 지급한다. 예를 들어, 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치는 소정의 포인트를 작업자에게 지급 처리한다. 작업자의 포인트는 작업자의 계정과 관련하여 기록되고 관리될 수 있다. 일 실시 예에서, 일정 수준 이상 누적된 포인트는 현금으로 교환되어 작업자에게 입금될 수 있다. 예를 들어, 작업자는 천 포인트 이상 누적된 포인트를 동등한 가치의 현금으로 입금받을 수 있다.

하지만, 모든 주석 처리 결과에 대하여 검수를 수행하는 경우 검수자의 수에 따라 검수과정에서 학습 데이터 생성의 병목현상이 발생할 수 있어, 이를 개선하기 위한 방법의 개발이 요구된다.

따라서, 본 발명의 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치는 작업자가 수행한 주석 처리 작업을 검수자가 검수하기 전에 자동으로 선검증하는 방법으로써, 검증용 주석 처리 작업의 결과에 기초하여, 실전용 주석 처리 작업의 결과의 신뢰도를 판단하여, 검수를 진행하기 전에 소정의 기준을 통과한 작업자의 실전용 주석 처리 작업의 결과만 검수자가 검수하게 할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1을 참조하면, 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법은, 실전용 주석 처리 작업의 결과를 수신하는 단계(S100), 검증용 주석 처리 작업의 결과를 수신하는 단계(S200), 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계(S300) 및 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계(S400)를 포함한다.

단계 S100에서, 실전용 주석 처리 작업 수신부(520)는 하나 이상의 실전용 주석 처리 작업의 결과를 수신한다.

실전용 주석 처리 작업은 주석 처리 작업을 의뢰한 고객이 요청한 작업으로 구성된다. 여기서 작업은, 이미지, 비디오, 오디오, 텍스트의 형태일 수 있고, 이에 대한 주석 처리 작업을 하는 형태일 수 있다. 고객은 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치의 관리자에게 소정의 주석 처리 작업을 의뢰한다. 관리자는 의뢰받은 소정의 주석 처리 작업을 한 명 이상의 작업자에게 의뢰하고, 작업자의 작업 결과에 따라 보수를 지급한다.

단계 S200에서, 검증용 주석 처리 작업 수신부(540)는 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신한다.

검증용 주석 처리 작업 및 검증용 주석 처리 작업에 상응하는 사전 결정된 답변은 검증용 주석 처리 작업의 데이터 셋으로 구성된다. 검증용 주석 처리 작업은 고객으로부터 의뢰받은 소정의 주석 처리 작업인 실전용 주석 처리 작업 중에서 선택될 수 있다. 검증용 주석 처리 작업에 상응하는 사전 결정된 답변은 검증용 주석 처리 작업에 대해서 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치의 관리자가 사전에 만든 답변일 수 있다. 관리자는 고객으로부터 의뢰받은 소정의 주석 처리 작업을 소정의 분야별로 나누고, 분야별로 주석 처리 작업과 답변의 데이터 셋을 구성할 수 있다.

단계 S300에서, 신뢰도 판단부(550)는 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다.

신뢰도 판단부(550)는 하나 이상의 검증용 주석 처리 작업의 결과 및 하나 이상의 검증용 주석 처리 작업에 상응하는 사전 결정된 답변의 유사도를 판단하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다. 신뢰도 판단부(550)는 작업자의 단말기로부터 수신된 하나 이상의 검증용 주석 처리 작업의 결과와 데이터베이스에 저장된 하나 이상의 검증용 주석 처리 작업에 대응되는 하나 이상의 사전 결정된 검증용 주석 처리 작업의 답변의 유사도를 판단한다. 예를 들어, 신뢰도 판단부(550)는 데이터베이스에 저장된 하나의 객체를 지칭하는 다른 여러 표현 중 하나를 작업자의 단말기로부터 수신한 경우, 실전용 주석 처리 작업의 결과의 신뢰도를 높게 판단한다. 예를 들어, 도 2의 주석 처리의 예시를 참조하면, 데이터베이스에 저장된 하나의 객체를 지칭하는 표현으로써 “침대”가 있고, 작업자의 단말기로부터 “bed” 등으로 수신된 경우, 신뢰도 판단부(550)는 실전용 주석 처리 작업의 결과의 신뢰도를 높게 판단할 수 있다.

단계 S400에서, 유효 판단부(560)는 하나 이상의 실전용 주석 처리 작업에 대한 판단된 신뢰도에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단한다. 유효 판단부(560)는 하나 이상의 실전용 주석 처리 작업에 대해 판단된 신뢰도에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과를 유효한 데이터로 분류할지, 유효하지 않은 데이터로 분류할지를 판단한다.

유효 판단부(560)는 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한다. 따라서, 유효하지 않은 주석 처리로 정의된 실전용 주석 처리 작업은 검수자에 의해서 검수를 하지 않아서, 검수자가 검수하는 양을 줄일 수 있다. 또한, 유효 판단부(560)는 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한다. 따라서, 유효한 주석 처리로 정의된 실전용 주석 처리 작업은 검수자에 의해서 검수를 진행하게 된다.

도 2를 참조하면, 침대가 포함된 이미지에 대한 주석 처리를 수행하는 실시예가 도시되어 있다. 실전용 주석 처리 작업 및 검증용 주석 처리 작업은 도 2와 같은 형태일 수 있다.

도 2에 도시된 이미지(600)는 적어도 하나의 객체를 포함한다. 작업자는 이미지(600)의 특정 영역(610)을 선택하고, 선택된 영역(610)에 포함된 객체를 설명하는 정보(620)를 입력 또는 선택할 수 있다. 예를 들어, 하나의 이미지(600)에 복수의 객체들이 포함될 수 있고, 작업자는 이미지(600)에 포함된 하나 이상의 객체에 대한 주석 처리 작업을 수행할 수 있다.

도 2에 도시된 실시예에서, 주석 처리 작업의 결과는 특정 영역(610)의 좌표와 특정 영역(610)에 포함된 객체에 대한 정보(예를 들어, 특정 영역(610)에 포함된 객체가 침대라는 정보)를 포함할 수 있다.

도 3을 참조하면, 실전용 주석 처리 작업의 결과를 수신하는 단계(S100)는 실전용 주석 처리 작업을 송신하는 단계(S110) 및 실전용 주석 처리 작업의 결과를 수신하는 단계(S120)를 포함한다.

단계 S110에서, 실전용 주석 처리 작업 송신부(510)는 작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 실전용 주석 처리 작업을 송신한다.

단계 S120에서, 실전용 주석 처리 작업 수신부(520)는 작업자의 단말기로부터 n 개의 실전용 주석 처리 작업의 결과를 수신한다. 작업자는 작업자의 단말기를 이용하여 n 개의 실전용 주석 처리 작업을 수행하고, 그 결과를 작업자의 단말기를 이용하여 실전용 주석 처리 작업 수신부(520)에 송신한다.

도 4를 참조하면, 검증용 주석 처리 작업의 결과를 수신하는 단계(S200)는 검증용 주석 처리 작업을 불러오는 단계(S210), 검증용 주석 처리 작업을 송신하는 단계(S220) 및 검증용 주석 처리 작업의 결과를 수신하는 단계(S230)를 포함한다.

단계 S210에서, 검증용 주석 처리 작업 수신부(540)는 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러온다.

검증용 주석 처리 작업 수신부(540)는 데이터베이스 제어부(미도시)로부터 가공된 하나 이상의 검증용 주석 처리 작업을 불러올 수 있다. 여기서, 가공이란 하나 이상의 주석 처리 작업 및 하나 이상의 주석 처리 작업의 답변을 이용하여 데이터 셋을 생성하는 것을 의미할 수 있다.

데이터베이스 제어부(미도시)는 하나 이상의 검증용 주석 처리 작업을 데이터베이스에서 선택한다. 데이터베이스 제어부(미도시)는 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 문제를 데이터베이스에서 선택한다. 따라서, 검증용 주석 처리 작업과 실전용 주석 처리 작업은 동일한 카테고리를 가진 작업으로 진행될 수 있다. 또한, 데이터베이스 제어부(미도시)는 실전용 주석 처리 작업 중 하나 이상을 검증용 주석 처리 작업으로 선택할 수 있다. 검증용 주석 처리 작업과 실전용 주석 처리 작업을 동일 카테고리로 하거나 실전용 주석 처리 작업 중 하나 이상을 검증용 주석 처리 작업으로 선택함으로써, 작업자는 주석 처리 작업을 하는 중에 자신이 실전용 주석 처리 작업을 하고 있는지, 검증용 주석 처리 작업을 하고 있는지 인지하지 못하고 주석 처리 작업을 하게 된다. 또한, 검증용 주석 처리 작업의 결과가 실전용 주석 처리 작업의 결과를 대표할 수 있게 된다.

하나 이상의 실전용 주석 처리 작업은 데이터베이스에 저장 및 관리되고, 하나 이상의 검증용 주석 처리 작업은 데이터베이스에 저장된 하나 이상의 실전용 주석 처리 작업에서 선택된다. 하나 이상의 검증용 주석 처리 작업의 수는 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업의 수에 상응하여 결정된다. 따라서, 검증용 주석 처리 작업은 고객으로부터 의뢰받은 전체 실전용 주석 처리 작업에서 선택되고, 전체 실전용 주석 처리 작업의 수에 따라 전체 검증용 주석 처리 작업의 양이 결정된다. 작업자는 실전용 주석 처리 작업 수행 중 전체 검증용 주석 처리 작업 중 일부를 수행하게 되고, 작업자가 수행한 실전용 주석 처리 작업의 결과의 신뢰도에 따라, 전체 검증용 주석 처리 작업 중 다른 일부의 수행 여부가 결정된다.

데이터베이스는 하나 이상의 검증용 주석 처리 작업의 답변을 관리자의 단말기로부터 수신한다. 관리자는 관리자의 단말기를 이용하여 하나 이상의 검증용 주석 처리 작업에 대한 답변을 작성하고 데이터베이스로 송신한다. 또는, 검수자는 신뢰할 수 있는 작업자가 수행한 검증용 주석 처리 작업의 답변에 대해서 검수를 수행하고, 관리자는 검수를 통과한 답변을 데이터베이스로 송신하여 검증용 주석 처리 작업의 답변으로 정의할 수 있다.

데이터베이스는 고객의 단말기로부터 수신된 하나 이상의 실전용 주석 처리 작업을 저장 및 관리하고, 데이터베이스 제어부(미도시)로부터 선택된 검증용 주석 처리 작업 및 답변을 저장 및 관리하고, 작업자의 단말기로부터 수신된 하나 이상의 실전용 주석 처리 작업의 답변을 저장 및 관리한다.

단계 S220에서, 검증용 주석 처리 작업 송신부(530)는 실전용 주석 처리 작업 수신부(520)가 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신한다. 검증용 주석 처리 작업 송신부(530)는 실전용 주석 처리 작업 수신부(520)가 n 번째 실전용 주석 처리 작업의 결과를 수신한 후, 실전용 주석 처리 작업 송신부(510)가 n+1 번째 실전용 주석 처리 작업을 송신하기 전에, 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신한다.

단계 S230에서, 검증용 주석 처리 작업 수신부(540)는 작업자의 단말기로부터 하나 이상의 검증용 주석 처리 작업의 결과를 수신한다. 작업자는 작업자의 단말기를 이용하여 하나 이상의 검증용 주석 처리 작업을 수행하고, 그 결과를 작업자의 단말기를 이용하여 검증용 주석 처리 작업 수신부(540)에 송신한다.

도 5를 참조하면, 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계 이후 실전용 주석 처리 작업의 결과의 신뢰도에 따라, 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계; 및 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함한다.

하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는, 추가적인 실전용 주석 처리 작업을 송신하는 단계(S111), 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계(S121)를 포함한다.

하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는, 추가적인 검증용 주석 처리 작업을 불러오는 단계(S211), 추가적인 검증용 주석 처리 작업을 송신하는 단계(S221) 및 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계(S231)를 포함한다.

1) n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우

단계 S111에서, 실전용 주석 처리 작업 송신부는 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한 직후에, 작업자의 단말기에 n-i 개(단, i는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신한다.

단계 S121에서, 실전용 주석 처리 작업 수신부는 작업자의 단말기로부터 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한다.

단계 S211에서, 검증용 주석 처리 작업 수신부는 n-i 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러온다.

단계 S221에서, 검증용 주석 처리 작업 송신부는 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신한다.

단계 S231에서, 검증용 주석 처리 작업 수신부는 작업자의 단말기로부터 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신한다.

작업자가 검증용 주석 처리 작업을 제대로 수행하지 못하면, 이후 검증용 주석 처리 작업은 더 빨리 전송받게 되는데, 이후 검증용 주석 처리 작업을 전송받는 순번은 i에 의해서 결정되고, i는 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하여 변경된다. 예를 들어, i는 이전의 유효하지 않은 주석 처리로 정의된 작업의 수를 소정의 1 이상의 자연수로 나눈 값일 수 있다. 또는, i는 이전의 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하는 소정의 1 이상의 자연수일 수 있다.

i가 소정의 기준 이하인 경우, 해당 실전용 주석 처리 작업 및 검증용 주석 처리 작업을 수행한 작업자를 신뢰할 수 없는 작업자로 정의 및 분류하고, 실전용 주석 처리 작업 송신부(510)는 해당 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신하지 않는다. 예를 들어, i가 2 이하가 되면 작업자는 더 이상 실전용 주석 처리 작업을 수행하지 못한다. 작업자를 신뢰할 수 없는 작업자로 정의한다는 것은 하나의 특정한 주석 처리 작업에 대해서 신뢰할 수 없다는 것을 의미하는 것이고, 새로운 고객 또는 기존 고객이 새로운 주석 처리 작업을 관리자에게 요청하는 경우, 이전 주석 처리 작업에서 신뢰할 수 없는 작업자로 분류된 작업자도 새롭게 실전용 주석 처리 작업을 수행할 수 있다.

고객 요구 수신부(미도시)는 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신할 수 있다. i는 고객 단말기로부터 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값일 수 있다. i는 유효하지 않은 주석 처리로 정의된 작업의 수를 소정의 수로 나눈 값일 수 있다. 예를 들어, i는 유효하지 않은 주석 처리 작업의 수를 2로 나눈 값일 수 있다. 소정의 수는 고객으로부터 요구된 주석 처리 작업의 신뢰도에 의해서 결정될 수 있다. 예를 들어, 고객으로부터 요구된 주석 처리 작업의 신뢰도가 높을 경우, 소정의 수를 낮은 수로 할 수 있다. 이로써, i는 상대적으로 높은 수가 되고, 검증용 주석 처리 작업이 전송되는 시점이 상대적으로 앞당겨질 수 있다.

2) n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우

단계 S111에서, 실전용 주석 처리 작업 송신부는 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한 직후에, 작업자의 단말기에 n+j 개(단, j는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신한다.

단계 S121에서, 실전용 주석 처리 작업 수신부는 작업자의 단말기로부터 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한다.

단계 S211에서, 검증용 주석 처리 작업 수신부는 n+j 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러온다.

단계 S221에서, 검증용 주석 처리 작업 송신부는 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 작업자의 단말기에 하나 이상의 추가적인 검증용 주석 처리 작업을 송신한다.

작업자가 검증용 주석 처리 작업을 제대로 수행하면, 이후 검증용 주석 처리 작업은 더 늦게 전송받게 되는데, 이후 검증용 주석 처리 작업을 전송받는 순번은 j에 의해서 결정되고, j는 유효한 주석 처리로 정의된 작업의 수에 상응하여 변경된다. 예를 들어, j는 이전의 유효한 주석 처리로 정의된 작업의 수를 소정의 1 이상의 자연수로 나눈 값일 수 있다. 또는, j는 이전의 유효한 주석 처리로 정의된 작업의 수에 상응하는 소정의 1 이상의 자연수일 수 있다.

j가 소정의 기준 이상인 경우, 해당 실전용 주석 처리 작업 및 검증용 주석 처리 작업을 수행한 작업자를 신뢰할 수 있는 작업자로 정의 및 분류하고, 검증용 주석 처리 작업 송신부(530)는 해당 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신하지 않는다. 작업자를 신뢰할 수 있는 작업자로 정의한다는 것은 하나의 특정한 주석 처리 작업에 대해서 신뢰할 수 있다는 것을 의미하는 것이고, 새로운 고객 또는 기존 고객이 새로운 주석 처리 작업을 관리자에게 요청하는 경우, 이전 주석 처리 작업에서 신뢰할 수 있는 작업자로 분류된 작업자도 새롭게 검증용 주석 처리 작업을 수행해야 할 수 있다.

작업자가 신뢰할 수 있는 작업자로 분류 및 정의된 경우, 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 진행하지 않는다. 따라서, 신뢰할 수 있는 작업자에 의한 추가적인 실전용 주석 처리 작업의 결과를 검증용 주석 처리 작업으로 검증하는 과정 없이 유효한 주석 처리로 정의한다.

고객 요구 수신부(미도시)는 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하고, j는 고객으로부터 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값일 수 있다. j는 유효한 주석 처리 작업의 수를 소정의 수로 나눈 값일 수 있다. 예를 들어, j는 유효한 주석 처리 작업의 수를 2로 나눈 값일 수 있다. 소정의 수는 고객으로부터 요구된 주석 처리 작업의 신뢰도에 의해서 결정될 수 있다. 예를 들어, 고객으로부터 요구된 주석 처리 작업의 신뢰도가 높을 경우, 소정의 수를 높은 수로 할 수 있다. 이로써, j는 상대적으로 낮은 수가 되고, 검증용 주석 처리 작업이 전송되는 시점이 상대적으로 앞당겨질 수 있다.

도 6을 참조하면, 검증용 주석 처리 작업의 결과에 기초하여, 실전용 주석 처리 작업의 결과의 신뢰도를 판단하고, 판단된 신뢰도가 소정의 기준 미만인 경우 검증용 주석 처리 작업 이전에 진행된 실전용 주석 처리 작업은 유효하지 않은 주석으로 정의 및 분류한다.

작업자가 검증용 주석 처리 작업 #1(710)를 제대로 수행하지 못하면, 검증용 주석 처리 작업 #1(710) 이전에 수행된 n 개의 실전용 주석 처리 작업의 결과는 유효하지 않은 주석 처리로 정의 및 분류된다. 그리고, 작업자는 이전의 n 번 보다 더 낮은 n-i 번의 실전용 주석 처리 작업을 수행하고, 검증용 주석 처리 작업 #2(720)를 수행한다. 마찬가지로, 검증용 주석 처리 작업 #2(720)를 제대로 수행하지 못하면, 검증용 주석 처리 작업 #1(710) 이후, 검증용 주석 처리 작업 #2(720) 이전에, 수행된 n-i 개의 실전용 주석 처리 작업의 결과는 유효하지 않은 주석 처리로 정의 및 분류된다.

따라서, 작업자가 검증용 주석 처리 작업을 제대로 수행하지 못한 경우, 이전의 실전용 주석 처리 작업의 결과는 유효하지 않은 주석 처리로 정의 및 분류된다. 그리고, 해당 작업자의 능력에 대한 신뢰도는 이전 보다 낮게 평가되어, 해당 작업자는 검증용 주석 처리 작업을 이전보다 더 빨리 전송받게 된다. 검증용 주석 처리 작업은 이전 검증용 주석 처리 작업의 결과에 따라 상대적으로 빨리 전송 받을 수도 있고, 상대적으로 늦게 전송 받을 수 있다. 그리고, i가 소정의 값 이하가 되면, 해당 작업자는 신뢰할 수 없는 작업자가 되고, 이후부터는 검증용 주석 처리 작업 및 실전용 주석 처리 작업을 하지 못하게 된다.

도 7을 참조하면, 검증용 주석 처리 작업의 결과에 기초하여, 실전용 주석 처리 작업의 결과의 신뢰도를 판단하고, 판단된 신뢰도가 소정의 기준 이상인 경우 검증용 주석 처리 작업 이전의 진행된 실전용 주석 처리 작업은 유효한 주석으로 정의 및 분류한다.

작업자가 검증용 주석 처리 작업 #1(810)를 제대로 수행하면, 검증용 주석 처리 작업 #1(810) 이전에 수행된 n 개의 실전용 주석 처리 작업의 결과는 유효한 주석 처리로 정의 및 분류된다. 그리고, 작업자는 이전의 n 번 보다 더 높은 n+j 번의 실전용 주석 처리 작업을 수행하고, 검증용 주석 처리 작업 #2(820)를 수행한다. 마찬가지로, 검증용 주석 처리 작업 #2(820)를 제대로 수행하면, 검증용 주석 처리 작업 #1(810) 이후, 검증용 주석 처리 작업 #2(720) 이전에, 수행된 n+j 개의 실전용 주석 처리 작업의 결과는 유효한 주석 처리로 정의 및 분류된다.

따라서, 작업자가 검증용 주석 처리 작업을 제대로 수행하는 경우, 이전의 실전용 주석 처리 작업의 결과는 유효한 주석 처리로 정의 및 분류된다. 그리고, 해당 작업자의 능력에 대한 신뢰도는 이전 보다 높게 평가되어, 해당 작업자는 검증용 주석 처리 작업을 이전보다 더 늦게 전송받게 된다. 검증용 주석 처리 작업은 이전 검증용 주석 처리 작업의 결과에 따라 상대적으로 빨리 전송 받을 수도 있고, 상대적으로 늦게 전송 받을 수 있다. 그리고, j가 소정의 값 이상이 되면, 해당 작업자는 신뢰할 수 있는 작업자가 되고, 이후부터 검증용 주석 처리 작업을 하지 않고도, 실전용 주석 처리 작업의 결과를 유효한 주석 처리 작업으로 정의한다.

도 8을 참조하면, 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치는 실전용 주석 처리 작업 송신부(510), 실전용 주석 처리 작업 수신부(520), 검증용 주석 처리 작업 송신부(530), 검증용 주석 처리 작업 수신부(540), 신뢰도 판단부(550) 및 유효 판단부(560)를 포함한다.

도 8의 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치의 구성 요소는 도 1 내지 도 7을 참조하여 설명한 방법의 구성 요소에 상응한다. 이하, 장치의 각 구성 요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략하기로 한다.

실전용 주석 처리 작업 송신부(510)는 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신한다.

실전용 주석 처리 작업 수신부(520)는 작업자의 단말기로부터 하나 이상의 실전용 주석 처리 작업의 결과를 수신한다.

검증용 주석 처리 작업 송신부(530)는 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신한다.

검증용 주석 처리 작업 수신부(540)는 하나 이상의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 작업자의 단말기로부터 하나 이상의 검증용 주석 처리 작업의 결과를 수신한다.

신뢰도 판단부(550)는 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다.

유효 판단부(560)는 판단된 신뢰도에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단한다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

컴퓨터에 의해 수행되는 방법으로서,

하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계;

상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계;

상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계; 및

상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계를 포함하고,

상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계는,

작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하는 단계; 및

상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,

상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계는,

상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러오는 단계;

상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 단계; 및

상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제1 항에 있어서,

상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계는,

상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의하고, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의하는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제2 항에 있어서,

상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우,

하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계; 및

상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고,

상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는,

상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n-i 개(단, i는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계; 및

상기 작업자의 단말기로부터 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,

상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는,

상기 n-i 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계;

상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계; 및

상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,

상기 i는 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하여 변경되는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제3 항에 있어서,

상기 i가 소정의 기준 이하인 경우, 상기 작업자를 신뢰할 수 없는 작업자로 정의하고, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 실전용 주석 처리 작업을 더 이상 송신하지 않는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제3 항에 있어서,

고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고,

상기 i는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값인 것을 특징으로 하는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제2 항에 있어서,

상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우,

하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계; 및

상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고,

상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는,

상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n+j 개(단, j는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계; 및

상기 작업자의 단말기로부터 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,

상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는,

상기 n+j 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계;

상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계; 및

상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,

상기 j는 유효한 주석 처리로 정의된 작업의 수에 상응하여 변경되는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제6 항에 있어서,

상기 j가 소정의 기준 이상인 경우, 상기 작업자를 신뢰할 수 있는 작업자로 정의하고,

상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 진행하지 않고,

상기 신뢰할 수 있는 작업자에 의한 추가적인 상기 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의하는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제6 항에 있어서,

고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고,

상기 j는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값인 것을 특징으로 하는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제1 항에 있어서,

상기 검증용 주석 처리 작업 및 상기 검증용 주석 처리 작업에 상응하는 사전 결정된 답변으로 상기 검증용 주석 처리 작업의 데이터 셋을 구성하고,

상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계는,

상기 하나 이상의 검증용 주석 처리 작업의 결과 및 상기 하나 이상의 검증용 주석 처리 작업에 상응하는 사전 결정된 답변의 유사도를 판단하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
제1 항에 있어서,

상기 하나 이상의 실전용 주석 처리 작업은 데이터베이스에 저장 및 관리되고, 상기 하나 이상의 검증용 주석 처리 작업은 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업에서 선택되고, 상기 하나 이상의 검증용 주석 처리 작업의 수는 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업의 수에 상응하여 결정되는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.
작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신하는 실전용 주석 처리 작업 송신부;

상기 작업자의 단말기로부터 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 실전용 주석 처리 작업 수신부;

상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 검증용 주석 처리 작업 송신부;

상기 하나 이상의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 검증용 주석 처리 작업 수신부;

상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 신뢰도 판단부; 및

상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 유효 판단부를 포함하는,

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치.
컴퓨터와 결합하여, 제1 항 내지 제10 항 중 어느 하나의 항의 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.