KR102129843B1 - Method for verifying real annotation works using test annotation works and apparatus thereof - Google Patents

Method for verifying real annotation works using test annotation works and apparatus thereof Download PDF

Info

Publication number
KR102129843B1
KR102129843B1 KR1020180163418A KR20180163418A KR102129843B1 KR 102129843 B1 KR102129843 B1 KR 102129843B1 KR 1020180163418 A KR1020180163418 A KR 1020180163418A KR 20180163418 A KR20180163418 A KR 20180163418A KR 102129843 B1 KR102129843 B1 KR 102129843B1
Authority
KR
South Korea
Prior art keywords
annotation processing
verification
practical
annotation
result
Prior art date
Application number
KR1020180163418A
Other languages
Korean (ko)
Other versions
KR20200074715A (en
Inventor
박민우
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Priority to KR1020180163418A priority Critical patent/KR102129843B1/en
Priority to JP2019007987A priority patent/JP6722309B2/en
Priority to PCT/KR2019/013101 priority patent/WO2020130306A1/en
Publication of KR20200074715A publication Critical patent/KR20200074715A/en
Application granted granted Critical
Publication of KR102129843B1 publication Critical patent/KR102129843B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 방법 및 장치가 제공된다. 상기 방법은, 컴퓨터에 의해 수행되는 방법으로서, 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계, 및 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계를 포함하고, 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계는, 작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러오는 단계, 상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함한다.Provided is a verification method and apparatus for a practical annotation processing using a verification annotation processing operation. The method is a method performed by a computer, the method comprising: receiving results of one or more practical annotation processing tasks, and receiving results of one or more annotation processing tasks for verification corresponding to the one or more practical annotation processing tasks. , Based on the results of the one or more verification annotation processing tasks, determining the reliability of the results of the one or more actual annotation processing tasks, and based on the determined reliability, the one or more actual annotation processing tasks Determining whether or not the result is valid, and receiving the result of the one or more actual annotation processing tasks, n (but n is a natural number greater than or equal to 1) at the operator's terminal is the actual annotation processing task. And receiving results of the n thread-only annotation processing jobs from the operator's terminal, and receiving a result of one or more verification annotation processing jobs corresponding to the one or more practical annotation processing jobs. The receiving step corresponds to the n number of annotation processing tasks for exclusive use, and a step of retrieving one or more pre-prepared annotation processing tasks for verification, immediately after receiving the results of the n number of annotation processing tasks for exclusive use, to the terminal of the operator. And transmitting the one or more verification annotation processing tasks, and receiving a result of the one or more verification annotation processing tasks from the operator's terminal.

Description

검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치{METHOD FOR VERIFYING REAL ANNOTATION WORKS USING TEST ANNOTATION WORKS AND APPARATUS THEREOF}METHOD FOR VERIFYING REAL ANNOTATION WORKS USING TEST ANNOTATION WORKS AND APPARATUS THEREOF}

본 발명은 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for verifying an annotation processing job for practical use using an annotation processing job for verification.

기계학습(machine learning)에 있어서, 학습방법과 알고리즘 이상으로 중요한 것은 학습을 위한 데이터이다. 따라서, 양질의 학습데이터를 많이 확보하는 것은 기계학습 분야에서 매우 중요하다.In machine learning, what is more important than learning methods and algorithms is data for learning. Therefore, securing a lot of quality learning data is very important in the field of machine learning.

학습데이터를 얻기 위해서는, 일반적으로 로우 데이터(raw data)와, 로우 데이터에 대한 주석 정보가 필요하다. 주석 처리 작업은 사람에 의하여 수행되어야 하므로, 기계학습을 연구하거나 개발하는 곳에서는 주석 처리 작업을 수행하는 인력을 보유하기도 한다.In order to obtain the learning data, raw data and annotation information about the raw data are generally required. Annotation processing must be performed by humans, so in some places where machine learning is researched or developed, it is possible to have personnel who perform annotation processing.

하지만, 주석 처리 작업은 전문지식 없이도 누구나 할 수 있는 일인 경우가 많으므로, 인건비의 절감을 위해 인터넷을 통해 다수의 작업자들에게 데이터를 분배하고, 주석 처리 작업에 따른 보수를 지급하는 형태의 플랫폼이 등장하게 되었다. 예를 들면, 아마존(amazon)의 메커니컬 터크(Mechanical Turk)가 있다.However, since annotation processing is often a job that anyone can do without specialized knowledge, a platform that distributes data to a large number of workers through the Internet and pays compensation for annotation processing is required to reduce labor costs. Appeared. An example is Amazon's Mechanical Turk.

하지만, 기존의 플랫폼의 경우 작업자가 성실하게 주석 처리 작업을 수행했는지 검수하는 과정에 많은 비용과 시간이 드는 문제점이 존재한다. 따라서, 기존 플랫폼의 장점을 유지하면서 주석 처리 작업의 검수를 효율적으로 하여 학습 데이터의 신뢰도를 높일 수 있는 기술의 개발이 요구된다.However, in the case of the existing platform, there is a problem in that it costs a lot of time and time in the process of inspecting whether the worker has performed the annotation processing faithfully. Accordingly, there is a need to develop a technology capable of increasing the reliability of learning data by efficiently inspecting annotation processing while maintaining the advantages of the existing platform.

등록특허공보 제10-1398700호, 2014.05.16.Registered Patent Publication No. 10-1398700, 2014.05.16.

본 발명이 해결하고자 하는 과제는 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치를 제공하는 것이다.The problem to be solved by the present invention is to provide a method and apparatus for verifying an annotation processing task for practical use using an annotation processing task for verification.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법은, 컴퓨터에 의해 수행되는 방법으로서, 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계, 및 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계를 포함하고, 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계는, 작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러오는 단계, 상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함한다.The method for verifying an annotation processing job for a practical use using an annotation processing job for verification according to an aspect of the present invention for solving the above-described problem is a method performed by a computer, and receives results of one or more practical annotation processing jobs Receiving a result of one or more verification annotation processing tasks corresponding to the one or more verification annotation processing tasks, and based on the results of the one or more verification annotation processing tasks, the one or more demonstration annotation processing tasks And determining whether a result of the one or more practical annotation processing tasks is valid based on the determined reliability of the result, and determining the result of the one or more practical annotation processing tasks. The receiving step includes transmitting the n annotation processing jobs for the actual use to the operator's terminal (where n is a natural number equal to or greater than 1), and receiving the results of the n annotation annotation operations for the actual operation from the operator's terminal. And receiving results of one or more verification annotation processing tasks corresponding to the one or more demonstration annotation processing tasks, wherein one or more verification annotations corresponding to the n actual annotation processing tasks are prepared. Invoking a processing job, immediately after receiving the results of the n actual annotation processing jobs, sending the one or more verification annotation processing jobs to the operator's terminal, and the one or more verifications from the operator's terminal And receiving the result of the annotation processing operation.

일부 실시예에서, 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계는, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의하고, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한다.In some embodiments, determining whether the results of the one or more practical annotation processing tasks are valid based on the determined reliability, when the reliability of the results of the n actual annotation processing tasks is less than a predetermined criterion , If the result of the n annotations for the actual operation is defined as invalid annotation processing, and if the reliability of the result of the annotations for the n actual operation is higher than a predetermined criterion, the result of the n annotations for the actual operation Is defined as valid annotation processing.

일부 실시예에서, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계, 및 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n-i 개(단, i는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n-i 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계, 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 i는 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하여 변경된다.In some embodiments, if the reliability of the results of the n thread-only annotation processing tasks is less than a predetermined criterion, receiving the results of one or more additional thread-only annotation processing tasks, and the one or more additional thread-only annotation processing tasks The method further includes receiving the results of the corresponding one or more additional annotation processing tasks for verification, and receiving the results of the one or more additional annotation processing tasks for exclusive use validates the results of the n annotation tasks for actual use. Immediately after defining it as uncommented annotation processing, transmitting ni additional annotation processing tasks for the operator's terminal (where i is a natural number of 1 or more), and the additional annotations for the ni of the operator's terminal. Receiving a result of the processing operation, and receiving a result of the one or more additional verification annotation processing operations corresponding to the one or more additional practical annotation processing operations includes: Invoking the corresponding and pre-prepared, one or more additional verification annotation processing tasks, immediately after receiving the results of the ni additional practical annotation processing tasks, sends the one or more additional verification annotation processing tasks to the operator's terminal. And receiving a result of the one or more additional annotation processing tasks for verification from the operator's terminal, wherein i is changed corresponding to the number of tasks defined as invalid annotation processing.

일부 실시예에서, 상기 i가 소정의 기준 이하인 경우, 상기 작업자를 신뢰할 수 없는 작업자로 정의하고, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 실전용 주석 처리 작업을 더 이상 송신하지 않는다.In some embodiments, when the i is below a predetermined criterion, the operator is defined as an unreliable worker, and the one or more additional dedicated annotation processing tasks are no longer transmitted to the operator's terminal.

일부 실시예에서, 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고, 상기 i는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값이다.In some embodiments, further comprising receiving the reliability of the requested annotation processing operation from the customer's terminal, i is a value changed corresponding to the reliability of the requested annotation processing operation.

일부 실시예에서, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계, 및 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n+j 개(단, j는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는, 상기 n+j 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계, 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계, 및 상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고, 상기 j는 유효한 주석 처리로 정의된 작업의 수에 상응하여 변경된다.In some embodiments, when the reliability of the results of the n thread-only annotation processing tasks is greater than or equal to a predetermined criterion, receiving the results of one or more additional thread-only annotation processing tasks, and the one or more additional thread-only annotation processing tasks Further comprising receiving the results of the corresponding one or more additional annotation processing tasks for verification, and receiving the results of the one or more additional annotation processing tasks for exclusive use is effective in validating the results of the n annotation tasks for actual use. Immediately after defining as annotation processing, transmitting n+j additional annotation processing jobs for the operator's terminal (where j is a natural number of 1 or more), and the n+j additional threads from the operator's terminal. Receiving a result of a dedicated annotation processing operation, and receiving a result of at least one additional verification annotation processing operation corresponding to the at least one additional practical annotation processing operation, the n+j additional practical operations Recalling one or more additional verification annotation processing tasks corresponding to the annotation processing task and prepared in advance, immediately after receiving the results of the n+j additional practical annotation processing tasks, at the operator's terminal the one or more additional verifications Sending an annotation processing job for the user, and receiving a result of the one or more additional annotation processing jobs for verification from the operator's terminal, wherein j is changed according to the number of jobs defined as valid annotation processing. do.

일부 실시예에서, 상기 j가 소정의 기준 이상인 경우, 상기 작업자를 신뢰할 수 있는 작업자로 정의하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 진행하지 않고, 상기 신뢰할 수 있는 작업자에 의한 추가적인 상기 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한다.In some embodiments, when the j is greater than or equal to a predetermined criterion, the operator is defined as a trusted worker, and receiving results of one or more additional annotation processing tasks for verification corresponding to the one or more additional practical annotation processing tasks Without proceeding to the step, the result of the additional annotation processing for the actual use by the trusted worker is defined as valid annotation processing.

일부 실시예에서, 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고, 상기 j는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값이다.In some embodiments, further comprising receiving the reliability of the requested annotation processing operation from the customer's terminal, wherein j is a value changed corresponding to the reliability of the requested annotation processing operation.

일부 실시예에서, 상기 검증용 주석 처리 작업 및 상기 검증용 주석 처리 작업에 상응하는 사전 결정된 답변으로 상기 검증용 주석 처리 작업의 데이터 셋을 구성하고, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계는, 상기 하나 이상의 검증용 주석 처리 작업의 결과 및 상기 하나 이상의 검증용 주석 처리 작업에 상응하는 사전 결정된 답변의 유사도를 판단하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다.In some embodiments, a data set of the annotation processing task for verification is configured based on a result of the annotation processing task for verification and a predetermined answer corresponding to the annotation processing task for verification, and based on the result of the one or more annotation processing tasks for verification. Thus, the step of determining the reliability of the result of the one or more practical annotation processing tasks may include determining the similarity of a result of the one or more verification annotation processing tasks and a predetermined answer corresponding to the one or more verification annotation processing tasks. , The reliability of the result of the one or more practical annotation processing tasks is determined.

일부 실시예에서, 상기 하나 이상의 실전용 주석 처리 작업은 데이터베이스에 저장 및 관리되고, 상기 하나 이상의 검증용 주석 처리 작업은 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업에서 선택되고, 상기 하나 이상의 검증용 주석 처리 작업의 수는 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업의 수에 상응하여 결정된다.In some embodiments, the one or more dedicated annotation processing jobs are stored and managed in a database, and the one or more validation annotation processing jobs are selected from the one or more actual annotation processing jobs stored in the database, and the one or more validations are performed. The number of annotation processing jobs for use is determined corresponding to the number of annotation processing jobs for one or more dedicated applications stored in the database.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치는, 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신하는 실전용 주석 처리 작업 송신부, 상기 작업자의 단말기로부터 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 실전용 주석 처리 작업 수신부, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 검증용 주석 처리 작업 송신부, 상기 하나 이상의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 검증용 주석 처리 작업 수신부, 상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 신뢰도 판단부, 및 상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 유효 판단부를 포함한다.An apparatus for verifying an actual annotation processing job using an annotation processing job for verification according to another aspect of the present invention for solving the above-described problem, a practical annotation processing job for transmitting one or more practical annotation processing jobs to a terminal of an operator Transmitting unit, an actual annotation processing job receiving unit for receiving a result of the one or more demonstration annotation processing jobs from the operator's terminal, a verification annotation processing job transmission unit for transmitting the one or more verification annotation processing jobs to the operator's terminal, A verification annotation processing task receiving unit corresponding to the one or more practical annotation processing tasks, and receiving a result of the one or more verification annotation processing tasks from the operator's terminal, which is pre-prepared, and which receives one or more verification annotation processing tasks, On the basis of the results of the one or more verification annotation processing tasks, a reliability determination unit for determining the reliability of the results of the one or more practical annotation processing tasks, and the one or more actual annotation processing tasks based on the determined reliability. It includes a validity determination unit for determining whether the results of the validity.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific matters of the present invention are included in the detailed description and drawings.

본 발명의 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 방법 및 장치에 따르면, 하나 이상의 실전용 주석 처리 작업 직후에 진행되는 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단함으로써, 실전용 주석 처리 작업의 신뢰도를 자동으로 산출할 수 있다.According to a method and apparatus for verifying an annotation processing job for a practical use using the annotation processing job for verification of the present invention, based on the results of one or more annotation processing for verification, which is performed immediately after the annotation processing for one or more demonstration, By determining the reliability of the result of the annotation processing operation, the reliability of the annotation processing operation for practical use can be automatically calculated.

또한, 검수자가 작업자가 처리한 주석 처리 작업에 대한 검수를 진행하기 전에 실전용 주석 처리 작업의 신뢰도를 자동으로 판단함으로써, 작업자가 처리한 모든 주석 처리에 대해서 검수를 진행하지 않고 소정의 기준 이상의 신뢰도가 판단된 작업물에 대해서 검수를 진행할 수 있게 된다.In addition, the inspector automatically judges the reliability of the annotation processing work for the actual use before inspecting the annotation processing work handled by the worker, so that all annotation processing processed by the worker is not inspected and the reliability is higher than a predetermined standard. It is possible to proceed with the inspection on the determined work.

또한, 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이하인 경우, 해당 실전용 주석 처리 작업을 진행한 작업자를 신뢰할 수 없는 작업자로 정의하여, 소정의 기준 이하의 능력을 가진 작업자를 자동으로 필터링할 수 있다.In addition, when the reliability of the result of the annotation processing for the actual use is less than a predetermined criterion, an operator who performs the annotation processing for the practical use is defined as an unreliable worker, and an operator having a capability below a predetermined criterion is automatically filtered. can do.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법의 개략적인 순서도이다.
도 2는 객체가 포함된 이미지에 대한 주석 처리의 개략적인 예시도이다.
도 3은 도 1의 실전용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.
도 4는 도 1의 검증용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.
도 5는 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계 이후 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계 및 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.
도 6은 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우의 예시도이다.
도 7은 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우의 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치의 개략적인 구성도이다.1 is a schematic flowchart of a verification method of a practical annotation processing operation using an annotation processing operation for verification according to an embodiment of the present invention.
2 is a schematic illustration of annotation processing for an image including an object.
FIG. 3 is a schematic flowchart of the steps of receiving the result of the actual annotation processing of FIG. 1.
4 is a schematic flowchart of the steps of receiving a result of the annotation processing for verification of FIG. 1.
FIG. 5 is a schematic flowchart of the step of receiving the result of the additional annotation processing task for verification and the step of receiving the results of the additional annotation processing task for verification after the step of determining whether the result of the annotation processing task for demonstration of FIG. 1 is valid. to be.
FIG. 6 is an exemplary view when the reliability of the result of the annotation processing operation for demonstration in the step of determining whether the result of the annotation processing operation for demonstration of FIG. 1 is valid is less than a predetermined criterion.
7 is an exemplary view when the reliability of the result of the annotation processing operation for demonstration in the step of determining whether the result of the annotation processing operation for demonstration use in FIG.
8 is a schematic configuration diagram of a verification apparatus for a practical annotation processing operation using an annotation processing operation for verification according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and are common in the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing the embodiments and is not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components other than the components mentioned. Throughout the specification, the same reference numerals refer to the same components, and “and/or” includes each and every combination of one or more of the components mentioned. Although "first", "second", etc. are used to describe various components, it goes without saying that these components are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in a sense that can be commonly understood by those skilled in the art to which the present invention pertains. In addition, terms that are defined in a commonly used dictionary are not ideally or excessively interpreted unless specifically defined.

본 명세서에서, 작업자는 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치로부터 제공되는 주석 처리 작업에 대한 주석 처리를 수행하고, 소정의 보수를 지급받는 개인 또는 단체를 의미한다. 예를 들어, 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치는 작업자들에게 특정 객체 또는 텍스트가 포함된 이미지를 제공하고, 작업자들은 이미지에 포함된 객체 또는 텍스트의 범위를 지정하고, 지정된 범위에 포함된 객체 또는 텍스트가 무엇인지 입력하는 주석 처리 작업을 수행한다. 작업자들이 수행한 주석 처리 작업의 결과는 검증용 데이터를 이용한 데이터의 주석 처리하는 작업의 검수 자동화 장치에 전달된다.In the present specification, the worker refers to an individual or organization that performs annotation processing on a tin processing job provided from a verification device for a dedicated tin processing job using a verification annotation processing job, and receives a predetermined compensation. For example, a verification device for a practical annotation processing operation using an annotation processing operation for verification provides workers with an image containing a specific object or text, and workers designate a range of objects or text included in the image, and specify Perform annotation processing to enter what objects or text are included in the scope. The results of the annotation processing performed by the workers are transmitted to the inspection automation device for annotating the data using the verification data.

검수자는 작업자들이 업로드한 주석 처리 작업의 결과에 대한 검수를 수행하는 개인 또는 단체를 의미한다. 실시 예에 따라, 검수자는 사람이 아니고, 자동으로 검수를 수행할 수 있는 학습된 모델, 프로그램 및 단말 등을 포괄하는 의미로도 이해될 수 있다.Inspector means an individual or organization that performs inspection on the results of annotation processing uploaded by workers. According to an embodiment, the inspector is not a person, but it may also be understood as a meaning encompassing a trained model, a program, and a terminal capable of automatically performing an inspection.

작업자는 작업자 단말기를 이용하여 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치에 접속하여, 주석 처리 작업을 수행하고, 결과를 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치에 업로드한다. 작업자들이 업로드한 주석 처리 작업의 결과들 중 부적합한 주석 처리 작업의 결과가 있으면, 검수자는 부적합한 주석 처리 작업의 결과를 반려하고, 반려사유를 입력한다. 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치는 부적합한 주석 처리 작업을 수행한 작업자에게 주석 처리 결과 반려사유를 전달하고, 재작업을 요청한다.The worker accesses a verification device for a dedicated annotation processing task using an annotation processing task for verification using an operator terminal, performs annotation processing, and uploads the results to a verification device for a practical annotation processing task using an annotation processing task for verification. do. If there is an inappropriate annotation processing result among the results of the annotation processing jobs uploaded by the workers, the inspector rejects the result of the inappropriate annotation processing operation and inputs a reason for the rejection. The verification device for practical annotation processing using the annotation processing for verification delivers the reason for rejecting the results of the annotation processing to the worker who performed the inappropriate annotation processing, and requests rework.

검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치는 작업자가 수행한 주석 처리 작업의 결과가 검수자의 검수를 통과하면, 작업자에게 주석 처리 작업에 대한 보상을 지급한다. 예를 들어, 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치는 소정의 포인트를 작업자에게 지급 처리한다. 작업자의 포인트는 작업자의 계정과 관련하여 기록되고 관리될 수 있다. 일 실시 예에서, 일정 수준 이상 누적된 포인트는 현금으로 교환되어 작업자에게 입금될 수 있다. 예를 들어, 작업자는 천 포인트 이상 누적된 포인트를 동등한 가치의 현금으로 입금받을 수 있다.The verification device for a dedicated annotation processing operation using a verification annotation processing operation, when the result of the annotation processing operation performed by the operator passes the inspection by the inspector, the worker is compensated for the annotation processing operation. For example, a verification device for a dedicated annotation processing operation using an annotation processing operation for verification processes a predetermined point to a worker. The operator's points can be recorded and managed in relation to the operator's account. In one embodiment, points accumulated over a certain level may be exchanged for cash and deposited to the worker. For example, an operator may receive points accumulated over a thousand points in cash of equal value.

하지만, 모든 주석 처리 결과에 대하여 검수를 수행하는 경우 검수자의 수에 따라 검수과정에서 학습 데이터 생성의 병목현상이 발생할 수 있어, 이를 개선하기 위한 방법의 개발이 요구된다.However, if inspection is performed on all the results of annotation processing, a bottleneck of learning data generation may occur in the inspection process depending on the number of inspectors, and development of a method for improving it is required.

따라서, 본 발명의 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 방법 및 장치는 작업자가 수행한 주석 처리 작업을 검수자가 검수하기 전에 자동으로 선검증하는 방법으로써, 검증용 주석 처리 작업의 결과에 기초하여, 실전용 주석 처리 작업의 결과의 신뢰도를 판단하여, 검수를 진행하기 전에 소정의 기준을 통과한 작업자의 실전용 주석 처리 작업의 결과만 검수자가 검수하게 할 수 있다.Therefore, the method and apparatus for verifying an annotation processing job for practical use using the annotation processing operation for verification of the present invention is a method for automatically pre-verifying an annotation processing operation performed by an operator before the inspector inspects the result of the annotation processing operation for verification. On the basis of this, the reliability of the result of the annotation processing for exclusive use can be judged so that the inspector can inspect only the result of the annotation processing for exclusive use by the operator who has passed a predetermined criterion before proceeding with the inspection.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법의 개략적인 순서도이다.1 is a schematic flowchart of a verification method of a practical annotation processing operation using an annotation processing operation for verification according to an embodiment of the present invention.

도 1을 참조하면, 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법은, 실전용 주석 처리 작업의 결과를 수신하는 단계(S100), 검증용 주석 처리 작업의 결과를 수신하는 단계(S200), 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계(S300) 및 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계(S400)를 포함한다.Referring to FIG. 1, a verification method of an actual annotation processing operation using an annotation processing operation for verification includes receiving a result of an annotation processing operation for exclusive use (S100) and receiving a result of an annotation processing operation for verification ( S200), a step of determining the reliability of the result of the actual annotation processing operation (S300) and a step of determining whether the result of the actual annotation processing operation is valid (S400).

단계 S100에서, 실전용 주석 처리 작업 수신부(520)는 하나 이상의 실전용 주석 처리 작업의 결과를 수신한다.In step S100, the annotation processing job reception unit 520 for actual use receives the results of one or more annotation processing jobs for practical use.

실전용 주석 처리 작업은 주석 처리 작업을 의뢰한 고객이 요청한 작업으로 구성된다. 여기서 작업은, 이미지, 비디오, 오디오, 텍스트의 형태일 수 있고, 이에 대한 주석 처리 작업을 하는 형태일 수 있다. 고객은 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치의 관리자에게 소정의 주석 처리 작업을 의뢰한다. 관리자는 의뢰받은 소정의 주석 처리 작업을 한 명 이상의 작업자에게 의뢰하고, 작업자의 작업 결과에 따라 보수를 지급한다.The actual annotation processing work consists of the work requested by the customer requesting the annotation processing work. Here, the operation may be in the form of an image, video, audio, or text, and may be in a form of annotation processing. The customer requests a predetermined annotation processing operation from the verification method of the actual annotation processing operation using the annotation processing operation for verification and the administrator of the apparatus. The manager commissions one or more workers to perform the prescribed annotation processing work, and pays compensation according to the worker's work results.

단계 S200에서, 검증용 주석 처리 작업 수신부(540)는 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신한다.In step S200, the verification annotation processing task receiving unit 540 receives the results of one or more verification annotation processing tasks corresponding to one or more practical annotation processing tasks.

검증용 주석 처리 작업 및 검증용 주석 처리 작업에 상응하는 사전 결정된 답변은 검증용 주석 처리 작업의 데이터 셋으로 구성된다. 검증용 주석 처리 작업은 고객으로부터 의뢰받은 소정의 주석 처리 작업인 실전용 주석 처리 작업 중에서 선택될 수 있다. 검증용 주석 처리 작업에 상응하는 사전 결정된 답변은 검증용 주석 처리 작업에 대해서 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치의 관리자가 사전에 만든 답변일 수 있다. 관리자는 고객으로부터 의뢰받은 소정의 주석 처리 작업을 소정의 분야별로 나누고, 분야별로 주석 처리 작업과 답변의 데이터 셋을 구성할 수 있다.The pre-determined answers corresponding to the annotation processing for verification and the annotation processing for verification consist of a data set of the annotation processing for verification. The verification annotation processing operation may be selected from a practical annotation processing operation, which is a predetermined annotation processing operation requested by a customer. The predetermined answer corresponding to the annotation processing for verification may be an answer previously made by the administrator of the verification device for the actual annotation processing using the annotation processing for verification with respect to the annotation processing for verification. The administrator may divide a predetermined annotation processing task requested from a customer into predetermined fields, and configure a data set of annotation processing tasks and responses for each field.

단계 S300에서, 신뢰도 판단부(550)는 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다.In step S300, the reliability determining unit 550 determines the reliability of the results of the one or more practical annotation processing tasks based on the results of the one or more verification annotation processing tasks.

신뢰도 판단부(550)는 하나 이상의 검증용 주석 처리 작업의 결과 및 하나 이상의 검증용 주석 처리 작업에 상응하는 사전 결정된 답변의 유사도를 판단하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다. 신뢰도 판단부(550)는 작업자의 단말기로부터 수신된 하나 이상의 검증용 주석 처리 작업의 결과와 데이터베이스에 저장된 하나 이상의 검증용 주석 처리 작업에 대응되는 하나 이상의 사전 결정된 검증용 주석 처리 작업의 답변의 유사도를 판단한다. 예를 들어, 신뢰도 판단부(550)는 데이터베이스에 저장된 하나의 객체를 지칭하는 다른 여러 표현 중 하나를 작업자의 단말기로부터 수신한 경우, 실전용 주석 처리 작업의 결과의 신뢰도를 높게 판단한다. 예를 들어, 도 2의 주석 처리의 예시를 참조하면, 데이터베이스에 저장된 하나의 객체를 지칭하는 표현으로써 “침대”가 있고, 작업자의 단말기로부터 “bed” 등으로 수신된 경우, 신뢰도 판단부(550)는 실전용 주석 처리 작업의 결과의 신뢰도를 높게 판단할 수 있다.The reliability determining unit 550 determines the reliability of the results of one or more practical annotation processing tasks by determining the similarity between the results of the one or more verification annotation processing tasks and the predetermined answers corresponding to the one or more verification annotation processing tasks. . The reliability determination unit 550 determines the similarity between the results of one or more verification annotation processing jobs received from the operator's terminal and the answers of one or more predetermined verification annotation processing jobs corresponding to one or more verification annotation processing jobs stored in the database. Judge. For example, when the reliability determining unit 550 receives one of several other expressions indicating one object stored in the database from the operator's terminal, the reliability of the result of the actual annotation processing is high. For example, referring to the example of annotation processing in FIG. 2, when there is a “bed” as an expression referring to an object stored in a database, and is received as “bed” from the operator's terminal, the reliability determination unit 550 ) Can determine the reliability of the results of the annotation processing for practical use.

단계 S400에서, 유효 판단부(560)는 하나 이상의 실전용 주석 처리 작업에 대한 판단된 신뢰도에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단한다. 유효 판단부(560)는 하나 이상의 실전용 주석 처리 작업에 대해 판단된 신뢰도에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과를 유효한 데이터로 분류할지, 유효하지 않은 데이터로 분류할지를 판단한다.In step S400, the validity determination unit 560 determines whether the results of the one or more practical annotation processing tasks are valid based on the determined reliability of the one or more practical annotation processing tasks. The validity determination unit 560 determines whether to classify the results of the one or more practical annotation processing tasks as valid data or invalid data based on the reliability determined for the one or more actual annotation processing tasks.

유효 판단부(560)는 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한다. 따라서, 유효하지 않은 주석 처리로 정의된 실전용 주석 처리 작업은 검수자에 의해서 검수를 하지 않아서, 검수자가 검수하는 양을 줄일 수 있다. 또한, 유효 판단부(560)는 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한다. 따라서, 유효한 주석 처리로 정의된 실전용 주석 처리 작업은 검수자에 의해서 검수를 진행하게 된다.The validity determination unit 560 defines the result of the n number of annotation processing tasks for invalidity as invalid annotation processing when the reliability of the result of the number of annotation processing tasks for n actual use is less than a predetermined criterion. Accordingly, the annotation processing for practical use defined as invalid annotation processing is not inspected by the inspector, so that the inspector can reduce the amount inspected. In addition, when the reliability of the result of the n number of annotation processing tasks for exclusive use exceeds a predetermined criterion, the validity determination unit 560 defines the result of the n number of annotation processing tasks for exclusive use as valid annotation processing. Therefore, the actual annotation processing task defined as valid annotation processing is inspected by the inspector.

도 2는 객체가 포함된 이미지에 대한 주석 처리의 개략적인 예시도이다.2 is a schematic illustration of annotation processing for an image including an object.

도 2를 참조하면, 침대가 포함된 이미지에 대한 주석 처리를 수행하는 실시예가 도시되어 있다. 실전용 주석 처리 작업 및 검증용 주석 처리 작업은 도 2와 같은 형태일 수 있다.Referring to FIG. 2, an embodiment of performing annotation processing on an image including a bed is illustrated. The actual annotation processing and verification annotation processing may be in the form of FIG. 2.

도 2에 도시된 이미지(600)는 적어도 하나의 객체를 포함한다. 작업자는 이미지(600)의 특정 영역(610)을 선택하고, 선택된 영역(610)에 포함된 객체를 설명하는 정보(620)를 입력 또는 선택할 수 있다. 예를 들어, 하나의 이미지(600)에 복수의 객체들이 포함될 수 있고, 작업자는 이미지(600)에 포함된 하나 이상의 객체에 대한 주석 처리 작업을 수행할 수 있다.The image 600 illustrated in FIG. 2 includes at least one object. The operator may select a specific area 610 of the image 600 and input or select information 620 describing an object included in the selected area 610. For example, a plurality of objects may be included in one image 600, and an operator may perform annotation processing on one or more objects included in the image 600.

도 2에 도시된 실시예에서, 주석 처리 작업의 결과는 특정 영역(610)의 좌표와 특정 영역(610)에 포함된 객체에 대한 정보(예를 들어, 특정 영역(610)에 포함된 객체가 침대라는 정보)를 포함할 수 있다.In the embodiment illustrated in FIG. 2, the result of the annotation processing operation includes coordinates of a specific area 610 and information about an object included in the specific area 610 (eg, an object included in the specific area 610) Bed).

도 3은 도 1의 실전용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.FIG. 3 is a schematic flowchart of the steps of receiving the result of the actual annotation processing of FIG. 1.

도 3을 참조하면, 실전용 주석 처리 작업의 결과를 수신하는 단계(S100)는 실전용 주석 처리 작업을 송신하는 단계(S110) 및 실전용 주석 처리 작업의 결과를 수신하는 단계(S120)를 포함한다.Referring to FIG. 3, the step S100 of receiving a result of an annotation processing job for exclusive use includes the step of transmitting an annotation processing job for exclusive use (S110) and the step of receiving the result of an annotation processing operation for exclusive use (S120). do.

단계 S110에서, 실전용 주석 처리 작업 송신부(510)는 작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 실전용 주석 처리 작업을 송신한다.In step S110, the thread annotation processing job transmission unit 510 transmits n threads (where n is a natural number of 1 or more) to the worker's terminal.

단계 S120에서, 실전용 주석 처리 작업 수신부(520)는 작업자의 단말기로부터 n 개의 실전용 주석 처리 작업의 결과를 수신한다. 작업자는 작업자의 단말기를 이용하여 n 개의 실전용 주석 처리 작업을 수행하고, 그 결과를 작업자의 단말기를 이용하여 실전용 주석 처리 작업 수신부(520)에 송신한다.In step S120, the thread annotation processing job receiving unit 520 receives the results of n thread annotation processing jobs from the operator's terminal. The worker performs n actual annotation processing tasks using the operator's terminal, and transmits the result to the actual annotation processing task receiving unit 520 using the operator's terminal.

도 4는 도 1의 검증용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.4 is a schematic flowchart of the steps of receiving a result of the annotation processing for verification of FIG. 1.

도 4를 참조하면, 검증용 주석 처리 작업의 결과를 수신하는 단계(S200)는 검증용 주석 처리 작업을 불러오는 단계(S210), 검증용 주석 처리 작업을 송신하는 단계(S220) 및 검증용 주석 처리 작업의 결과를 수신하는 단계(S230)를 포함한다.Referring to FIG. 4, the step of receiving the results of the annotation processing for verification (S200) is a step of calling the annotation processing for verification (S210), a step of transmitting the annotation processing for verification (S220), and annotation processing for verification In step S230 of receiving the result of the operation.

단계 S210에서, 검증용 주석 처리 작업 수신부(540)는 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러온다.In step S210, the annotation processing job receiving unit 540 for verification corresponds to n practical annotation processing jobs and calls one or more validation annotation processing jobs prepared in advance.

검증용 주석 처리 작업 수신부(540)는 데이터베이스 제어부(미도시)로부터 가공된 하나 이상의 검증용 주석 처리 작업을 불러올 수 있다. 여기서, 가공이란 하나 이상의 주석 처리 작업 및 하나 이상의 주석 처리 작업의 답변을 이용하여 데이터 셋을 생성하는 것을 의미할 수 있다.The verification annotation processing operation receiving unit 540 may load one or more verification annotation processing operations processed from a database controller (not shown). Here, the processing may mean generating a data set using the answers of one or more annotation processing tasks and one or more annotation processing tasks.

데이터베이스 제어부(미도시)는 하나 이상의 검증용 주석 처리 작업을 데이터베이스에서 선택한다. 데이터베이스 제어부(미도시)는 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 문제를 데이터베이스에서 선택한다. 따라서, 검증용 주석 처리 작업과 실전용 주석 처리 작업은 동일한 카테고리를 가진 작업으로 진행될 수 있다. 또한, 데이터베이스 제어부(미도시)는 실전용 주석 처리 작업 중 하나 이상을 검증용 주석 처리 작업으로 선택할 수 있다. 검증용 주석 처리 작업과 실전용 주석 처리 작업을 동일 카테고리로 하거나 실전용 주석 처리 작업 중 하나 이상을 검증용 주석 처리 작업으로 선택함으로써, 작업자는 주석 처리 작업을 하는 중에 자신이 실전용 주석 처리 작업을 하고 있는지, 검증용 주석 처리 작업을 하고 있는지 인지하지 못하고 주석 처리 작업을 하게 된다. 또한, 검증용 주석 처리 작업의 결과가 실전용 주석 처리 작업의 결과를 대표할 수 있게 된다.The database controller (not shown) selects one or more verification annotation processing tasks from the database. The database control unit (not shown) selects one or more verification annotation processing tasks from the database corresponding to the actual annotation processing task. Accordingly, the annotation processing for verification and the annotation processing for practical use can be performed as a job having the same category. In addition, the database controller (not shown) may select one or more of the annotation processing tasks for actual use as a verification annotation processing task. By making the annotation processing for verification and the annotation processing for practical use in the same category, or selecting one or more of the annotation processing for actual use as the annotation processing for validation, the operator can perform the annotation processing for actual use during annotation processing. You do not know whether you are doing the annotation processing for verification, or you are doing the annotation processing. In addition, the results of the annotation processing for verification can represent the results of the annotation processing for practical use.

하나 이상의 실전용 주석 처리 작업은 데이터베이스에 저장 및 관리되고, 하나 이상의 검증용 주석 처리 작업은 데이터베이스에 저장된 하나 이상의 실전용 주석 처리 작업에서 선택된다. 하나 이상의 검증용 주석 처리 작업의 수는 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업의 수에 상응하여 결정된다. 따라서, 검증용 주석 처리 작업은 고객으로부터 의뢰받은 전체 실전용 주석 처리 작업에서 선택되고, 전체 실전용 주석 처리 작업의 수에 따라 전체 검증용 주석 처리 작업의 양이 결정된다. 작업자는 실전용 주석 처리 작업 수행 중 전체 검증용 주석 처리 작업 중 일부를 수행하게 되고, 작업자가 수행한 실전용 주석 처리 작업의 결과의 신뢰도에 따라, 전체 검증용 주석 처리 작업 중 다른 일부의 수행 여부가 결정된다.One or more dedicated annotation processing jobs are stored and managed in the database, and one or more validation annotation processing jobs are selected from one or more actual annotation processing jobs stored in the database. The number of one or more verification annotation processing jobs is determined corresponding to the number of one or more dedicated annotation processing jobs stored in the database. Accordingly, the annotation processing for verification is selected from the entire annotation processing for exclusive use commissioned by the customer, and the total amount of annotation processing for verification is determined according to the number of annotation processing for exclusive use. The worker performs some of the entire verification annotation processing during the actual annotation processing, and depending on the reliability of the result of the actual annotation processing performed by the operator, whether or not other parts of the annotation processing for the entire verification are performed. Is determined.

데이터베이스는 하나 이상의 검증용 주석 처리 작업의 답변을 관리자의 단말기로부터 수신한다. 관리자는 관리자의 단말기를 이용하여 하나 이상의 검증용 주석 처리 작업에 대한 답변을 작성하고 데이터베이스로 송신한다. 또는, 검수자는 신뢰할 수 있는 작업자가 수행한 검증용 주석 처리 작업의 답변에 대해서 검수를 수행하고, 관리자는 검수를 통과한 답변을 데이터베이스로 송신하여 검증용 주석 처리 작업의 답변으로 정의할 수 있다.The database receives responses from one or more verification annotation processing tasks from the terminal of the administrator. The administrator writes an answer to one or more verification annotation processing tasks using the terminal of the administrator and sends it to the database. Alternatively, the inspector performs a review on the response of the annotation processing for verification performed by a reliable worker, and the administrator can define the response of the annotation processing for verification by sending the answer that passes the inspection to the database.

데이터베이스는 고객의 단말기로부터 수신된 하나 이상의 실전용 주석 처리 작업을 저장 및 관리하고, 데이터베이스 제어부(미도시)로부터 선택된 검증용 주석 처리 작업 및 답변을 저장 및 관리하고, 작업자의 단말기로부터 수신된 하나 이상의 실전용 주석 처리 작업의 답변을 저장 및 관리한다.The database stores and manages one or more practical annotation processing jobs received from the customer's terminal, and stores and manages the annotation processing jobs and answers for verification selected from the database controller (not shown), and one or more received from the operator's terminal. Stores and manages responses to practical annotation processing.

단계 S220에서, 검증용 주석 처리 작업 송신부(530)는 실전용 주석 처리 작업 수신부(520)가 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신한다. 검증용 주석 처리 작업 송신부(530)는 실전용 주석 처리 작업 수신부(520)가 n 번째 실전용 주석 처리 작업의 결과를 수신한 후, 실전용 주석 처리 작업 송신부(510)가 n+1 번째 실전용 주석 처리 작업을 송신하기 전에, 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신한다.In step S220, the verification annotation processing job transmitting unit 530 immediately after the actual annotation processing job receiving unit 520 receives the results of the n actual annotation processing jobs, one or more verification annotation processing jobs are performed at the operator's terminal. To send. The verification annotation processing job transmission unit 530, after the actual annotation processing operation receiving unit 520 receives the result of the nth actual annotation processing operation, the actual annotation processing operation transmission unit 510 is dedicated to the n+1th actual operation. Before sending the annotation processing task, one or more verification annotation processing tasks are sent to the operator's terminal.

단계 S230에서, 검증용 주석 처리 작업 수신부(540)는 작업자의 단말기로부터 하나 이상의 검증용 주석 처리 작업의 결과를 수신한다. 작업자는 작업자의 단말기를 이용하여 하나 이상의 검증용 주석 처리 작업을 수행하고, 그 결과를 작업자의 단말기를 이용하여 검증용 주석 처리 작업 수신부(540)에 송신한다.In step S230, the verification annotation processing task receiving unit 540 receives the results of one or more verification annotation processing tasks from the operator's terminal. The worker performs one or more verification annotation processing tasks using the operator's terminal, and transmits the results to the verification annotation processing task reception unit 540 using the operator's terminal.

도 5는 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계 이후 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계 및 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계의 개략적인 순서도이다.FIG. 5 is a schematic flowchart of the step of receiving the result of the additional annotation processing task for verification and the step of receiving the results of the additional annotation processing task for verification after the step of determining whether the result of the annotation processing task for demonstration of FIG. 1 is valid. to be.

도 5를 참조하면, 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계 이후 실전용 주석 처리 작업의 결과의 신뢰도에 따라, 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계; 및 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함한다.Referring to FIG. 5, after the step of determining whether a result of the annotation processing operation for exclusive use in FIG. 1 is valid, receiving the results of one or more additional annotation processing operations for actual use according to the reliability of the results of the annotation processing operation for exclusive use. ; And receiving a result of the one or more additional annotation processing tasks for verification corresponding to the one or more additional practical annotation processing tasks.

하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는, 추가적인 실전용 주석 처리 작업을 송신하는 단계(S111), 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계(S121)를 포함한다.The step of receiving the results of the one or more additional annotation processing jobs for exclusive use includes the step of transmitting additional annotation processing jobs for exclusive use (S111), and receiving the results of annotation processing for additional annotations (S121).

하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는, 추가적인 검증용 주석 처리 작업을 불러오는 단계(S211), 추가적인 검증용 주석 처리 작업을 송신하는 단계(S221) 및 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계(S231)를 포함한다.The step of receiving the results of the one or more additional annotation processing jobs for verification corresponding to the one or more additional practical annotation processing jobs is a step of invoking an additional validation annotation processing operation (S211), and transmitting an additional validation annotation processing operation. (S221) and receiving the results of the additional verification annotation processing operation (S231).

1) n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우1) When the reliability of the results of n practical annotation processing is less than a predetermined standard

단계 S111에서, 실전용 주석 처리 작업 송신부는 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한 직후에, 작업자의 단말기에 n-i 개(단, i는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신한다.In step S111, immediately after defining the result of the n annotations for an actual operation as invalid annotation processing, the transmitting unit for the actual annotation processing operation transmits ni (but i is a natural number greater than or equal to 1) to the operator's terminal. Send comment processing.

단계 S121에서, 실전용 주석 처리 작업 수신부는 작업자의 단말기로부터 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한다.In step S121, the actual annotation processing job receiving unit receives the results of n-i additional practical annotation processing jobs from the operator's terminal.

단계 S211에서, 검증용 주석 처리 작업 수신부는 n-i 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러온다.In step S211, the annotation processing job receiving unit for verification loads one or more additional validation annotation processing jobs corresponding to and pre-prepared for n-i additional practical annotation processing jobs.

단계 S221에서, 검증용 주석 처리 작업 송신부는 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신한다.In step S221, immediately after receiving the results of the n-i additional practical annotation processing tasks, the verification annotation processing task transmitting unit transmits the one or more additional verification annotation processing tasks to the operator's terminal.

단계 S231에서, 검증용 주석 처리 작업 수신부는 작업자의 단말기로부터 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신한다.In step S231, the verification annotation processing task receiving unit receives a result of one or more additional annotation processing tasks for verification from the operator's terminal.

작업자가 검증용 주석 처리 작업을 제대로 수행하지 못하면, 이후 검증용 주석 처리 작업은 더 빨리 전송받게 되는데, 이후 검증용 주석 처리 작업을 전송받는 순번은 i에 의해서 결정되고, i는 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하여 변경된다. 예를 들어, i는 이전의 유효하지 않은 주석 처리로 정의된 작업의 수를 소정의 1 이상의 자연수로 나눈 값일 수 있다. 또는, i는 이전의 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하는 소정의 1 이상의 자연수일 수 있다.If the worker does not properly perform the annotation processing for verification, then the annotation processing for verification is received faster, and the sequence number for receiving the annotation processing for verification is determined by i, and i is an invalid annotation processing. Is changed corresponding to the number of jobs defined by. For example, i may be a value obtained by dividing the number of jobs defined by the previous invalid annotation processing by a predetermined one or more natural numbers. Alternatively, i can be any one or more natural numbers corresponding to the number of jobs defined by the previous invalid annotation processing.

i가 소정의 기준 이하인 경우, 해당 실전용 주석 처리 작업 및 검증용 주석 처리 작업을 수행한 작업자를 신뢰할 수 없는 작업자로 정의 및 분류하고, 실전용 주석 처리 작업 송신부(510)는 해당 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신하지 않는다. 예를 들어, i가 2 이하가 되면 작업자는 더 이상 실전용 주석 처리 작업을 수행하지 못한다. 작업자를 신뢰할 수 없는 작업자로 정의한다는 것은 하나의 특정한 주석 처리 작업에 대해서 신뢰할 수 없다는 것을 의미하는 것이고, 새로운 고객 또는 기존 고객이 새로운 주석 처리 작업을 관리자에게 요청하는 경우, 이전 주석 처리 작업에서 신뢰할 수 없는 작업자로 분류된 작업자도 새롭게 실전용 주석 처리 작업을 수행할 수 있다.When i is less than a predetermined criterion, the worker who has performed the annotation processing task for verification and the annotation processing task for verification is defined and classified as an unreliable worker, and the annotation processing task transmission unit 510 dedicated to the actual worker is connected to the terminal of the worker. Do not send more than one dedicated annotation processing task. For example, when i becomes 2 or less, the worker can no longer perform the annotation processing for actual use. Defining an operator as an untrusted worker means that it is unreliable for one particular annotation processing task, and if a new customer or an existing customer requests a new annotation processing task from an administrator, the previous annotation processing task is unreliable. Workers classified as missing workers can also perform new annotation processing for actual use.

고객 요구 수신부(미도시)는 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신할 수 있다. i는 고객 단말기로부터 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값일 수 있다. i는 유효하지 않은 주석 처리로 정의된 작업의 수를 소정의 수로 나눈 값일 수 있다. 예를 들어, i는 유효하지 않은 주석 처리 작업의 수를 2로 나눈 값일 수 있다. 소정의 수는 고객으로부터 요구된 주석 처리 작업의 신뢰도에 의해서 결정될 수 있다. 예를 들어, 고객으로부터 요구된 주석 처리 작업의 신뢰도가 높을 경우, 소정의 수를 낮은 수로 할 수 있다. 이로써, i는 상대적으로 높은 수가 되고, 검증용 주석 처리 작업이 전송되는 시점이 상대적으로 앞당겨질 수 있다.The customer request receiving unit (not shown) may receive the reliability of the annotation processing operation requested from the customer's terminal. i may be a value changed according to the reliability of the annotation processing operation requested from the customer terminal. i may be a value obtained by dividing the number of jobs defined by invalid annotation processing by a predetermined number. For example, i may be the number of invalid annotation processing tasks divided by 2. The predetermined number can be determined by the reliability of the annotation processing operation requested from the customer. For example, when the reliability of the annotation processing operation requested from the customer is high, a predetermined number can be set to a low number. As a result, i is a relatively high number, and the time point at which the annotation processing for verification is transmitted can be relatively advanced.

2) n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우2) When the reliability of the results of the n annotations for practical use is higher than a predetermined standard

단계 S111에서, 실전용 주석 처리 작업 송신부는 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한 직후에, 작업자의 단말기에 n+j 개(단, j는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신한다.In step S111, immediately after defining the result of the n annotations for the actual annotation processing job, the transmission unit for actual annotation processing is n+j (however, j is a natural number of 1 or more) to the operator's terminal. Send comment processing.

단계 S121에서, 실전용 주석 처리 작업 수신부는 작업자의 단말기로부터 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한다.In step S121, the actual annotation processing job receiving unit receives the results of n+j additional practical annotation processing jobs from the operator's terminal.

단계 S211에서, 검증용 주석 처리 작업 수신부는 n+j 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러온다.In step S211, the annotation processing job receiving unit for verification loads one or more additional annotation processing jobs for verification, which are pre-prepared and correspond to n+j additional practical annotation processing jobs.

단계 S221에서, 검증용 주석 처리 작업 송신부는 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 작업자의 단말기에 하나 이상의 추가적인 검증용 주석 처리 작업을 송신한다.In step S221, immediately after receiving the results of the n+j additional practical annotation processing jobs, the verification annotation processing job transmission unit transmits one or more additional annotation processing jobs for verification to the operator's terminal.

단계 S231에서, 검증용 주석 처리 작업 수신부는 작업자의 단말기로부터 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신한다.In step S231, the verification annotation processing task receiving unit receives a result of one or more additional annotation processing tasks for verification from the operator's terminal.

작업자가 검증용 주석 처리 작업을 제대로 수행하면, 이후 검증용 주석 처리 작업은 더 늦게 전송받게 되는데, 이후 검증용 주석 처리 작업을 전송받는 순번은 j에 의해서 결정되고, j는 유효한 주석 처리로 정의된 작업의 수에 상응하여 변경된다. 예를 들어, j는 이전의 유효한 주석 처리로 정의된 작업의 수를 소정의 1 이상의 자연수로 나눈 값일 수 있다. 또는, j는 이전의 유효한 주석 처리로 정의된 작업의 수에 상응하는 소정의 1 이상의 자연수일 수 있다.If the worker properly performs the annotation processing for verification, the subsequent annotation processing for verification is sent later, and the sequence number for receiving the annotation processing for verification is determined by j, and j is defined as valid annotation processing. It is changed according to the number of tasks. For example, j may be a value obtained by dividing the number of jobs defined by the previous valid annotation processing by a predetermined one or more natural numbers. Alternatively, j may be a predetermined one or more natural number corresponding to the number of jobs defined by the previous valid annotation processing.

j가 소정의 기준 이상인 경우, 해당 실전용 주석 처리 작업 및 검증용 주석 처리 작업을 수행한 작업자를 신뢰할 수 있는 작업자로 정의 및 분류하고, 검증용 주석 처리 작업 송신부(530)는 해당 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신하지 않는다. 작업자를 신뢰할 수 있는 작업자로 정의한다는 것은 하나의 특정한 주석 처리 작업에 대해서 신뢰할 수 있다는 것을 의미하는 것이고, 새로운 고객 또는 기존 고객이 새로운 주석 처리 작업을 관리자에게 요청하는 경우, 이전 주석 처리 작업에서 신뢰할 수 있는 작업자로 분류된 작업자도 새롭게 검증용 주석 처리 작업을 수행해야 할 수 있다.When j is greater than or equal to a predetermined criterion, a worker who has performed the corresponding annotation processing and verification annotation processing is defined and classified as a reliable worker, and the annotation processing task transmission unit 530 for verification is transmitted to the terminal of the corresponding worker. Do not send more than one verification annotation task. Defining an operator as a trusted worker means that you can be trusted for one specific annotation processing task, and if a new customer or an existing customer requests a new annotation processing task from an administrator, it can be trusted in the previous annotation processing task. Workers classified as workers may also need to perform new annotation processing for verification.

작업자가 신뢰할 수 있는 작업자로 분류 및 정의된 경우, 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 진행하지 않는다. 따라서, 신뢰할 수 있는 작업자에 의한 추가적인 실전용 주석 처리 작업의 결과를 검증용 주석 처리 작업으로 검증하는 과정 없이 유효한 주석 처리로 정의한다.If the worker is classified and defined as a trusted worker, the step of receiving the result of the one or more additional annotation processing tasks for verification corresponding to the one or more additional practical annotation processing tasks is not performed. Therefore, the result of additional practical annotation processing by a reliable worker is defined as valid annotation processing without verifying the results with the annotation processing for verification.

고객 요구 수신부(미도시)는 고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하고, j는 고객으로부터 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값일 수 있다. j는 유효한 주석 처리 작업의 수를 소정의 수로 나눈 값일 수 있다. 예를 들어, j는 유효한 주석 처리 작업의 수를 2로 나눈 값일 수 있다. 소정의 수는 고객으로부터 요구된 주석 처리 작업의 신뢰도에 의해서 결정될 수 있다. 예를 들어, 고객으로부터 요구된 주석 처리 작업의 신뢰도가 높을 경우, 소정의 수를 높은 수로 할 수 있다. 이로써, j는 상대적으로 낮은 수가 되고, 검증용 주석 처리 작업이 전송되는 시점이 상대적으로 앞당겨질 수 있다.The customer request receiving unit (not shown) receives the reliability of the annotation processing operation requested from the customer's terminal, and j may be a value changed according to the reliability of the annotation processing operation requested from the customer. j may be a value obtained by dividing the number of valid annotation processing operations by a predetermined number. For example, j may be the number of valid annotation processing operations divided by 2. The predetermined number can be determined by the reliability of the annotation processing operation requested from the customer. For example, when the reliability of the annotation processing operation requested from the customer is high, a predetermined number can be set to a high number. As a result, j becomes a relatively low number, and the time at which the annotation processing for verification is transmitted can be relatively advanced.

도 6은 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우의 예시도이다.FIG. 6 is an exemplary view when the reliability of the result of the annotation processing operation for demonstration in the step of determining whether the result of the annotation processing operation for demonstration of FIG. 1 is valid is less than a predetermined criterion.

도 6을 참조하면, 검증용 주석 처리 작업의 결과에 기초하여, 실전용 주석 처리 작업의 결과의 신뢰도를 판단하고, 판단된 신뢰도가 소정의 기준 미만인 경우 검증용 주석 처리 작업 이전에 진행된 실전용 주석 처리 작업은 유효하지 않은 주석으로 정의 및 분류한다.Referring to FIG. 6, based on the results of the annotation processing for verification, the reliability of the results of the annotation processing for exclusive use is determined, and when the determined reliability is less than a predetermined criterion, the annotation for exclusive use performed before the annotation processing for verification is performed. Processing tasks are defined and categorized as invalid comments.

작업자가 검증용 주석 처리 작업 #1(710)를 제대로 수행하지 못하면, 검증용 주석 처리 작업 #1(710) 이전에 수행된 n 개의 실전용 주석 처리 작업의 결과는 유효하지 않은 주석 처리로 정의 및 분류된다. 그리고, 작업자는 이전의 n 번 보다 더 낮은 n-i 번의 실전용 주석 처리 작업을 수행하고, 검증용 주석 처리 작업 #2(720)를 수행한다. 마찬가지로, 검증용 주석 처리 작업 #2(720)를 제대로 수행하지 못하면, 검증용 주석 처리 작업 #1(710) 이후, 검증용 주석 처리 작업 #2(720) 이전에, 수행된 n-i 개의 실전용 주석 처리 작업의 결과는 유효하지 않은 주석 처리로 정의 및 분류된다. If the worker fails to properly perform the annotation processing for verification #1 (710), the result of n actual annotation processing performed before the verification for annotation processing #1 (710) is defined as invalid annotation processing and Classified. Then, the worker performs an n-i number of dedicated annotation processing tasks lower than the previous n times, and performs annotation processing task #2 720 for verification. Likewise, if the annotation processing for verification #2 (720) is not properly performed, after the annotation processing for verification #1 (710), and before the annotation processing for verification #2 (720), the number of ni annotations performed The results of processing operations are defined and classified as invalid annotation processing.

따라서, 작업자가 검증용 주석 처리 작업을 제대로 수행하지 못한 경우, 이전의 실전용 주석 처리 작업의 결과는 유효하지 않은 주석 처리로 정의 및 분류된다. 그리고, 해당 작업자의 능력에 대한 신뢰도는 이전 보다 낮게 평가되어, 해당 작업자는 검증용 주석 처리 작업을 이전보다 더 빨리 전송받게 된다. 검증용 주석 처리 작업은 이전 검증용 주석 처리 작업의 결과에 따라 상대적으로 빨리 전송 받을 수도 있고, 상대적으로 늦게 전송 받을 수 있다. 그리고, i가 소정의 값 이하가 되면, 해당 작업자는 신뢰할 수 없는 작업자가 되고, 이후부터는 검증용 주석 처리 작업 및 실전용 주석 처리 작업을 하지 못하게 된다.Therefore, when the worker fails to properly perform the annotation processing for verification, the result of the previous annotation processing for actual use is defined and classified as invalid annotation processing. And, the reliability of the worker's ability is evaluated lower than before, and the worker receives the annotation processing for verification faster than before. The annotation processing for verification may be transmitted relatively quickly or may be transmitted relatively late depending on the result of the previous annotation processing for verification. Then, when i becomes equal to or less than a predetermined value, the corresponding worker becomes an unreliable worker, and thereafter, the annotation processing for verification and the annotation processing for actual use cannot be performed.

도 7은 도 1의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우의 예시도이다.FIG. 7 is an exemplary view when the reliability of the result of the annotation processing operation for demonstration in the step of determining whether the result of the annotation processing operation for demonstration use in FIG. 1 is valid is greater than or equal to a predetermined criterion.

도 7을 참조하면, 검증용 주석 처리 작업의 결과에 기초하여, 실전용 주석 처리 작업의 결과의 신뢰도를 판단하고, 판단된 신뢰도가 소정의 기준 이상인 경우 검증용 주석 처리 작업 이전의 진행된 실전용 주석 처리 작업은 유효한 주석으로 정의 및 분류한다.Referring to FIG. 7, on the basis of the results of the annotation processing for verification, the reliability of the results of the annotation processing for dedicated use is determined, and when the determined reliability is higher than a predetermined criterion, the annotation for exclusive use performed before the annotation processing for verification is performed. Processing tasks are defined and categorized as valid comments.

작업자가 검증용 주석 처리 작업 #1(810)를 제대로 수행하면, 검증용 주석 처리 작업 #1(810) 이전에 수행된 n 개의 실전용 주석 처리 작업의 결과는 유효한 주석 처리로 정의 및 분류된다. 그리고, 작업자는 이전의 n 번 보다 더 높은 n+j 번의 실전용 주석 처리 작업을 수행하고, 검증용 주석 처리 작업 #2(820)를 수행한다. 마찬가지로, 검증용 주석 처리 작업 #2(820)를 제대로 수행하면, 검증용 주석 처리 작업 #1(810) 이후, 검증용 주석 처리 작업 #2(720) 이전에, 수행된 n+j 개의 실전용 주석 처리 작업의 결과는 유효한 주석 처리로 정의 및 분류된다.If the operator properly performs the annotation processing for verification #1 (810), the results of the n annotations for actual operation performed before the verification for annotation processing #1 (810) are defined and classified as valid annotation processing. Then, the worker performs an annotation processing operation for n+j times higher than the previous n times, and performs annotation processing operation #2 820 for verification. Similarly, if the annotation processing for verification #2 (820) is properly performed, after the annotation processing for verification #1 (810), and before the annotation processing for verification #2 (720), n+j performed The results of annotation processing are defined and categorized as valid annotation processing.

따라서, 작업자가 검증용 주석 처리 작업을 제대로 수행하는 경우, 이전의 실전용 주석 처리 작업의 결과는 유효한 주석 처리로 정의 및 분류된다. 그리고, 해당 작업자의 능력에 대한 신뢰도는 이전 보다 높게 평가되어, 해당 작업자는 검증용 주석 처리 작업을 이전보다 더 늦게 전송받게 된다. 검증용 주석 처리 작업은 이전 검증용 주석 처리 작업의 결과에 따라 상대적으로 빨리 전송 받을 수도 있고, 상대적으로 늦게 전송 받을 수 있다. 그리고, j가 소정의 값 이상이 되면, 해당 작업자는 신뢰할 수 있는 작업자가 되고, 이후부터 검증용 주석 처리 작업을 하지 않고도, 실전용 주석 처리 작업의 결과를 유효한 주석 처리 작업으로 정의한다.Therefore, when the worker properly performs the annotation processing for verification, the results of the previous practical annotation processing are defined and classified as valid annotation processing. And, the reliability of the worker's ability is evaluated higher than before, and the worker receives the verification annotation processing work later than before. The annotation processing for verification may be transmitted relatively quickly or relatively late depending on the result of the previous annotation processing for verification. Then, when j becomes equal to or greater than a predetermined value, the corresponding worker becomes a reliable worker, and the result of the actual annotation processing operation is defined as an effective annotation processing operation without performing an annotation processing operation for verification thereafter.

도 8은 본 발명의 다른 실시예에 따른 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치의 개략적인 구성도이다.8 is a schematic configuration diagram of a verification apparatus for a practical annotation processing operation using an annotation processing operation for verification according to another embodiment of the present invention.

도 8을 참조하면, 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치는 실전용 주석 처리 작업 송신부(510), 실전용 주석 처리 작업 수신부(520), 검증용 주석 처리 작업 송신부(530), 검증용 주석 처리 작업 수신부(540), 신뢰도 판단부(550) 및 유효 판단부(560)를 포함한다.Referring to FIG. 8, an apparatus for verifying an annotation processing job for a practical use using an annotation processing job for verification includes: an annotation processing job transmission unit 510 for practical use, an annotation processing job reception unit 520 for practical use, and an annotation processing job transmission unit 530 for verification. , A verification annotation processing operation receiving unit 540, a reliability determining unit 550, and a valid determining unit 560.

도 8의 검증용 주석 처리 작업를 이용한 실전용 주석 처리 작업의 검증 장치의 구성 요소는 도 1 내지 도 7를 참조하여 설명한 방법의 구성 요소에 상응한다. 이하, 장치의 각 구성 요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략하기로 한다.The components of the verification apparatus for the actual annotation processing using the annotation processing for verification in FIG. 8 correspond to the components of the method described with reference to FIGS. 1 to 7. Hereinafter, in describing the function or operation of each component of the apparatus, a duplicate description will be omitted.

실전용 주석 처리 작업 송신부(510)는 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신한다.The demonstration annotation processing job transmission unit 510 transmits one or more demonstration annotation processing jobs for workers.

실전용 주석 처리 작업 수신부(520)는 작업자의 단말기로부터 하나 이상의 실전용 주석 처리 작업의 결과를 수신한다.The dedicated annotation processing job receiving unit 520 receives a result of one or more actual annotation processing jobs from the operator's terminal.

검증용 주석 처리 작업 송신부(530)는 작업자의 단말기에 하나 이상의 검증용 주석 처리 작업을 송신한다.The verification annotation processing job transmission unit 530 transmits one or more verification annotation processing jobs to the operator's terminal.

검증용 주석 처리 작업 수신부(540)는 하나 이상의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 작업자의 단말기로부터 하나 이상의 검증용 주석 처리 작업의 결과를 수신한다.The verification annotation processing task receiving unit 540 corresponds to one or more practical annotation processing tasks, and loads one or more verification annotation processing tasks, which are pre-prepared, and receives results of one or more verification annotation processing tasks from the operator's terminal. .

신뢰도 판단부(550)는 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단한다.The reliability determining unit 550 determines the reliability of the result of the one or more practical annotation processing tasks based on the results of the one or more verification annotation processing tasks.

유효 판단부(560)는 판단된 신뢰도에 기초하여, 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단한다.The validity determination unit 560 determines whether the results of one or more practical annotation processing operations are valid based on the determined reliability.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, a software module executed by hardware, or a combination thereof. Software modules include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer readable recording medium well known in the art.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.The embodiments of the present invention have been described above with reference to the accompanying drawings, but a person skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing its technical spirit or essential features. You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive.

510 : 실전용 주석 처리 작업 송신부
520 : 실전용 주석 처리 작업 수신부
530 : 검증용 주석 처리 작업 송신부
540 : 검증용 주석 처리 작업 수신부
550 : 신뢰도 판단부
560 : 유효 판단부510: Transmitting unit for annotation processing
520: annotation processing work receiver for practical use
530: Annotation processing transmission unit for verification
540: Annotation processing receiver for verification
550: reliability determination unit
560: effective judgment unit

Claims (13)

컴퓨터에 의해 수행되는 방법으로서,
하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계;
상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계;
상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계; 및
상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계를 포함하고,
상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계는,
작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,
상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계는,
상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러오는 단계;
상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하되,
상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계는,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의하고, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의하고,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우,
하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계; 및
상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는,
상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n-i 개(단, i는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는,
상기 n-i 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계;
상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,
상기 i는 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하여 변경되는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.As a method performed by a computer,
Receiving results of one or more dedicated annotation processing tasks;
Receiving a result of one or more verification annotation processing tasks corresponding to the one or more practical annotation processing tasks;
Determining a reliability of a result of the at least one practical annotation processing operation based on a result of the at least one verification annotation processing operation; And
And determining whether or not a result of the one or more practical annotation processing tasks is valid based on the determined reliability.
The step of receiving the results of the one or more practical annotation processing,
Transmitting the n annotation jobs for the actual use to n terminals (where n is a natural number of 1 or more); And
And receiving a result of the n practical annotation processing tasks from the operator's terminal,
Receiving a result of one or more verification annotation processing tasks corresponding to the one or more practical annotation processing tasks,
Calling one or more verification annotation processing tasks corresponding to the n practical annotation processing tasks;
Sending the one or more verification annotation processing jobs to the terminal of the operator immediately after receiving the results of the n practical annotation processing jobs; And
Receiving a result of the one or more verification annotation processing from the operator's terminal,
Based on the determined reliability, determining whether a result of the one or more practical annotation processing tasks is valid is:
When the reliability of the result of the n thread-only annotation processing jobs is less than a predetermined criterion, the result of the n thread-only annotation processing jobs is defined as invalid annotation processing, and the When the reliability is higher than a predetermined criterion, the result of the n practical annotation processing tasks is defined as valid annotation processing,
If the reliability of the result of the n annotations for practical use is less than a predetermined criterion,
Receiving a result of the one or more additional annotation processing tasks for dedicated use; And
And receiving a result of at least one additional verification annotation processing task corresponding to the at least one additional practical annotation processing task,
Receiving the results of the one or more additional practical annotation processing,
Immediately after defining the result of the n number of annotation processing jobs for exclusive use as invalid annotation processing, transmitting ni additional annotations (for i, a natural number of 1 or more) to the operator's terminal; And
And receiving results of the ni additional annotation processing tasks for the practical application from the operator's terminal.
Receiving a result of the one or more additional annotation processing for verification corresponding to the one or more additional practical annotation processing,
Recalling one or more additional annotation processing tasks for verification, which are pre-prepared and corresponding to the ni additional practical annotation processing tasks;
Immediately after receiving the results of the ni additional practical annotation processing tasks, sending the one or more additional annotation processing tasks for verification to the operator's terminal; And
Receiving a result of the one or more additional annotation processing for verification from the operator's terminal,
Where i is changed corresponding to the number of jobs defined as invalid annotation processing,
Verification method for practical annotation processing using verification annotation processing. 제1 항에 있어서,
상기 i가 소정의 기준 이하인 경우, 상기 작업자를 신뢰할 수 없는 작업자로 정의하고, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 실전용 주석 처리 작업을 더 이상 송신하지 않는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.According to claim 1,
When the i is below a predetermined criterion, the operator is defined as an unreliable worker, and the one or more additional annotation processing tasks for the actual operation are no longer transmitted to the operator's terminal.
Verification method for practical annotation processing using verification annotation processing. 제1 항에 있어서,
고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고,
상기 i는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값인 것을 특징으로 하는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.According to claim 1,
Further comprising the step of receiving the reliability of the requested annotation processing operation from the customer's terminal,
The i is a value changed according to the reliability of the requested annotation processing task,
Verification method for practical annotation processing using verification annotation processing. 제1 항에 있어서,
상기 검증용 주석 처리 작업 및 상기 검증용 주석 처리 작업에 상응하는 사전 결정된 답변으로 상기 검증용 주석 처리 작업의 데이터 셋을 구성하고,
상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계는,
상기 하나 이상의 검증용 주석 처리 작업의 결과 및 상기 하나 이상의 검증용 주석 처리 작업에 상응하는 사전 결정된 답변의 유사도를 판단하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.According to claim 1,
Construct a data set of the annotation processing for verification with a predetermined answer corresponding to the annotation processing for verification and the annotation processing for verification,
Based on the results of the one or more verification annotation processing tasks, determining the reliability of the results of the one or more practical annotation processing tasks,
Determining the reliability of the results of the one or more verification annotation processing tasks by determining the similarity of the results of the one or more verification annotation processing tasks and the predetermined answers corresponding to the one or more verification annotation processing tasks,
Verification method for practical annotation processing using verification annotation processing. 제1 항에 있어서,
상기 하나 이상의 실전용 주석 처리 작업은 데이터베이스에 저장 및 관리되고, 상기 하나 이상의 검증용 주석 처리 작업은 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업에서 선택되고, 상기 하나 이상의 검증용 주석 처리 작업의 수는 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업의 수에 상응하여 결정되는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.According to claim 1,
The one or more practical annotation processing jobs are stored and managed in a database, and the one or more validation annotation processing jobs are selected from the one or more practical annotation processing jobs stored in the database, and the The number is determined corresponding to the number of the one or more dedicated annotation processing jobs stored in the database,
Verification method for practical annotation processing using verification annotation processing. 컴퓨터에 의해 수행되는 방법으로서,
하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계;
상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계;
상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계; 및
상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계를 포함하고,
상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 단계는,
작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,
상기 하나 이상의 실전용 주석 처리 작업에 상응하는 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계는,
상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된 하나 이상의 검증용 주석 처리 작업을 불러오는 단계;
상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하되,
상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 단계는,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의하고, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의하고,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우,
하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계; 및
상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 더 포함하고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계는,
상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n+j 개(단, j는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계는,
상기 n+j 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오는 단계;
상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하는 단계; 및
상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 포함하고,
상기 j는 유효한 주석 처리로 정의된 작업의 수에 상응하여 변경되는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.As a method performed by a computer,
Receiving results of one or more dedicated annotation processing tasks;
Receiving a result of one or more verification annotation processing tasks corresponding to the one or more practical annotation processing tasks;
Determining a reliability of a result of the at least one practical annotation processing operation based on a result of the at least one verification annotation processing operation; And
And determining whether or not a result of the one or more practical annotation processing tasks is valid based on the determined reliability.
The step of receiving the results of the one or more practical annotation processing,
Transmitting the n annotation jobs for the actual use to n terminals (where n is a natural number of 1 or more); And
And receiving a result of the n practical annotation processing tasks from the operator's terminal,
Receiving a result of one or more verification annotation processing tasks corresponding to the one or more practical annotation processing tasks,
Calling one or more verification annotation processing tasks corresponding to the n practical annotation processing tasks;
Sending the one or more verification annotation processing jobs to the terminal of the operator immediately after receiving the results of the n practical annotation processing jobs; And
Receiving a result of the one or more verification annotation processing from the operator's terminal,
Based on the determined reliability, determining whether a result of the one or more practical annotation processing tasks is valid is:
When the reliability of the result of the n thread-only annotation processing jobs is less than a predetermined criterion, the result of the n thread-only annotation processing jobs is defined as invalid annotation processing, and the When the reliability is higher than a predetermined criterion, the result of the n practical annotation processing tasks is defined as valid annotation processing,
When the reliability of the results of the n annotations for practical use is more than a predetermined criterion,
Receiving a result of the one or more additional annotation processing tasks for dedicated use; And
And receiving a result of at least one additional verification annotation processing task corresponding to the at least one additional practical annotation processing task,
Receiving the results of the one or more additional practical annotation processing,
Immediately after defining the results of the n number of annotation processing jobs for exclusive use as valid annotation processing, sending n+j (however, j is a natural number of 1 or more) additional annotation annotation operations for the operator's terminal; And
And receiving a result of the n+j additional practical annotation processing from the operator's terminal,
Receiving a result of the one or more additional annotation processing for verification corresponding to the one or more additional practical annotation processing,
Loading one or more additional annotation processing tasks for verification, which are pre-prepared and correspond to the n+j additional practical annotation processing tasks;
Immediately after receiving the results of the n+j additional practical annotation processing tasks, sending the one or more additional annotation processing tasks for verification to the operator's terminal; And
Receiving a result of the one or more additional annotation processing for verification from the operator's terminal,
The j is changed to correspond to the number of jobs defined as valid annotation processing,
Verification method for practical annotation processing using verification annotation processing. 제6 항에 있어서,
상기 j가 소정의 기준 이상인 경우, 상기 작업자를 신뢰할 수 있는 작업자로 정의하고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 단계를 진행하지 않고,
상기 신뢰할 수 있는 작업자에 의한 추가적인 상기 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의하는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.The method of claim 6,
When j is greater than or equal to a predetermined criterion, the operator is defined as a reliable worker,
Without receiving a result of one or more additional annotation processing tasks for verification corresponding to the one or more additional practical annotation processing tasks,
Defining the result of the additional annotation processing for the actual operation by the trusted operator as valid annotation processing,
Verification method for practical annotation processing using verification annotation processing. 제6 항에 있어서,
고객의 단말기로부터 요구된 주석 처리 작업의 신뢰도를 수신하는 단계를 더 포함하고,
상기 j는 상기 요구된 주석 처리 작업의 신뢰도에 상응하여 변경된 값인 것을 특징으로 하는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.The method of claim 6,
Further comprising the step of receiving the reliability of the requested annotation processing operation from the customer's terminal,
The j is a value changed according to the reliability of the requested annotation processing task,
Verification method for practical annotation processing using verification annotation processing. 제6 항에 있어서,
상기 검증용 주석 처리 작업 및 상기 검증용 주석 처리 작업에 상응하는 사전 결정된 답변으로 상기 검증용 주석 처리 작업의 데이터 셋을 구성하고,
상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 단계는,
상기 하나 이상의 검증용 주석 처리 작업의 결과 및 상기 하나 이상의 검증용 주석 처리 작업에 상응하는 사전 결정된 답변의 유사도를 판단하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.The method of claim 6,
Construct a data set of the annotation processing for verification with a predetermined answer corresponding to the annotation processing for verification and the annotation processing for verification,
Based on the results of the one or more verification annotation processing tasks, determining the reliability of the results of the one or more practical annotation processing tasks,
Determining the reliability of the results of the one or more verification annotation processing tasks by determining the similarity of the results of the one or more verification annotation processing tasks and the predetermined answers corresponding to the one or more verification annotation processing tasks,
Verification method for practical annotation processing using verification annotation processing. 제6 항에 있어서,
상기 하나 이상의 실전용 주석 처리 작업은 데이터베이스에 저장 및 관리되고, 상기 하나 이상의 검증용 주석 처리 작업은 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업에서 선택되고, 상기 하나 이상의 검증용 주석 처리 작업의 수는 상기 데이터베이스에 저장된 상기 하나 이상의 실전용 주석 처리 작업의 수에 상응하여 결정되는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법.The method of claim 6,
The one or more practical annotation processing jobs are stored and managed in a database, and the one or more validation annotation processing jobs are selected from the one or more practical annotation processing jobs stored in the database, and the The number is determined corresponding to the number of the one or more dedicated annotation processing jobs stored in the database,
Verification method for practical annotation processing using verification annotation processing. 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신하는 실전용 주석 처리 작업 송신부;
상기 작업자의 단말기로부터 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 실전용 주석 처리 작업 수신부;
상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 검증용 주석 처리 작업 송신부;
상기 하나 이상의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 검증용 주석 처리 작업 수신부;
상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 신뢰도 판단부; 및
상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 유효 판단부를 포함하되,
상기 실전용 주석 처리 작업 송신부는,
상기 작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하고,
상기 실전용 주석 처리 작업 수신부는,
상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하고,
상기 검증용 주석 처리 작업 송신부는,
상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하고,
상기 검증용 주석 처리 작업 수신부는,
상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하고,
상기 유효 판단부는,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의하고, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의하고,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우,
하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 것은,
상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n-i 개(단, i는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하고, 상기 작업자의 단말기로부터 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 것이고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 것은,
상기 n-i 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오고, 상기 n-i 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하고, 상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 것이고,
상기 i는 유효하지 않은 주석 처리로 정의된 작업의 수에 상응하여 변경되는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치.An actual annotation processing job transmission unit for transmitting one or more practical annotation processing jobs to a worker's terminal;
An annotation processing task reception unit for receiving a result of the one or more annotation processing tasks for exclusive use from the terminal of the worker;
A verification annotation processing task transmission unit for transmitting the at least one verification processing task for verification to the terminal of the worker;
A verification annotation processing task receiving unit corresponding to the at least one practical annotation processing task, and receiving a result of the at least one verification annotation processing task from the operator's terminal, which is pre-prepared, and which receives one or more verification annotation processing tasks;
A reliability determination unit determining a reliability of a result of the one or more practical annotation processing tasks based on a result of the one or more verification annotation processing tasks; And
On the basis of the determined reliability, and includes a validity determination unit for determining whether the results of the one or more practical annotation processing work is valid,
The practical annotation processing job transmission unit,
N the number of the annotation processing for the actual operation is transmitted to the worker's terminal (where n is a natural number of 1 or more),
The practical annotation processing work receiving unit,
Receiving the results of the n annotation processing tasks for exclusive use from the operator's terminal,
The verification annotation processing work transmission unit,
Immediately after receiving the results of the n practical annotation processing tasks, the one or more verification annotation processing tasks are transmitted to the operator's terminal,
The annotation processing work receiving unit for verification,
One or more verification annotation processing tasks corresponding to the n practical annotation processing tasks are prepared, and a result of the one or more verification annotation processing tasks is received from the operator's terminal,
The validity determination unit,
When the reliability of the result of the n thread-only annotation processing jobs is less than a predetermined criterion, the result of the n thread-only annotation processing jobs is defined as invalid annotation processing, and the When the reliability is higher than a predetermined criterion, the result of the n practical annotation processing tasks is defined as valid annotation processing,
If the reliability of the result of the n annotations for practical use is less than a predetermined criterion,
Receive the results of one or more additional annotation processing tasks for exclusive use, and receive the results of one or more additional annotation processing tasks for verification corresponding to the one or more additional annotation processing tasks for private use,
Receiving the result of the one or more additional practical annotation processing,
Immediately after defining the result of the n annotations for the actual operation as invalid annotations, ni additional annotations (where i is a natural number of 1 or more) are transmitted to the terminal of the operator, and the worker Receiving the results of the ni additional annotation processing tasks for the terminal from the terminal,
Receiving the result of the one or more additional annotation processing for verification corresponding to the one or more additional practical annotation processing,
Immediately after receiving the results of the ni additional practical annotation processing tasks, corresponding to the ni additional practical annotation processing tasks, which are pre-prepared, and one or more additional annotation processing tasks for verification are received. Sending one or more additional verification annotation processing tasks, and receiving a result of the one or more additional verification annotation processing tasks from the operator's terminal,
Where i is changed corresponding to the number of jobs defined as invalid annotation processing,
Verification device for practical annotation processing using verification annotation processing. 작업자의 단말기에 하나 이상의 실전용 주석 처리 작업을 송신하는 실전용 주석 처리 작업 송신부;
상기 작업자의 단말기로부터 상기 하나 이상의 실전용 주석 처리 작업의 결과를 수신하는 실전용 주석 처리 작업 수신부;
상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하는 검증용 주석 처리 작업 송신부;
상기 하나 이상의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하는 검증용 주석 처리 작업 수신부;
상기 하나 이상의 검증용 주석 처리 작업의 결과에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 신뢰도를 판단하는 신뢰도 판단부; 및
상기 판단된 신뢰도에 기초하여, 상기 하나 이상의 실전용 주석 처리 작업의 결과의 유효 여부를 판단하는 유효 판단부를 포함하되,
상기 실전용 주석 처리 작업 송신부는,
상기 작업자의 단말기에 n 개(단, n은 1 이상의 자연수)의 상기 실전용 주석 처리 작업을 송신하고,
상기 실전용 주석 처리 작업 수신부는,
상기 작업자의 단말기로부터 상기 n 개의 실전용 주석 처리 작업의 결과를 수신하고,
상기 검증용 주석 처리 작업 송신부는,
상기 n 개의 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 검증용 주석 처리 작업을 송신하고,
상기 검증용 주석 처리 작업 수신부는,
상기 n 개의 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 검증용 주석 처리 작업을 불러오고, 상기 작업자의 단말기로부터 상기 하나 이상의 검증용 주석 처리 작업의 결과를 수신하고,
상기 유효 판단부는,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 미만인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효하지 않은 주석 처리로 정의하고, 상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우, 상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의하고,
상기 n 개의 실전용 주석 처리 작업의 결과의 신뢰도가 소정의 기준 이상인 경우,
하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하고, 상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 것은,
상기 n 개의 실전용 주석 처리 작업의 결과를 유효한 주석 처리로 정의한 직후에, 상기 작업자의 단말기에 n+j 개(단, j는 1 이상의 자연수)의 추가적인 실전용 주석 처리 작업을 송신하고, 상기 작업자의 단말기로부터 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신하는 것이고,
상기 하나 이상의 추가적인 실전용 주석 처리 작업에 상응하는 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 것은,
상기 n+j 개의 추가적인 실전용 주석 처리 작업에 상응하고 사전 준비된, 하나 이상의 추가적인 검증용 주석 처리 작업을 불러오고, 상기 n+j 개의 추가적인 실전용 주석 처리 작업의 결과를 수신한 직후에, 상기 작업자의 단말기에 상기 하나 이상의 추가적인 검증용 주석 처리 작업을 송신하고, 상기 작업자의 단말기로부터 상기 하나 이상의 추가적인 검증용 주석 처리 작업의 결과를 수신하는 것이고,
상기 j는 유효한 주석 처리로 정의된 작업의 수에 상응하여 변경되는,
검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 장치.An actual annotation processing job transmission unit for transmitting one or more practical annotation processing jobs to a worker's terminal;
An annotation processing task reception unit for receiving a result of the one or more annotation processing tasks for exclusive use from the terminal of the worker;
A verification annotation processing task transmission unit for transmitting the at least one verification processing task for verification to the terminal of the worker;
A verification annotation processing task receiving unit corresponding to the at least one practical annotation processing task, and receiving a result of the at least one verification annotation processing task from the operator's terminal, which is pre-prepared, and which receives one or more verification annotation processing tasks;
A reliability determination unit determining a reliability of a result of the one or more practical annotation processing tasks based on a result of the one or more verification annotation processing tasks; And
On the basis of the determined reliability, and includes a validity determination unit for determining whether the results of the one or more practical annotation processing work is valid,
The practical annotation processing job transmission unit,
N the number of the annotation processing for the actual operation is transmitted to the worker's terminal (where n is a natural number of 1 or more),
The practical annotation processing work receiving unit,
Receiving the results of the n annotation processing tasks for exclusive use from the operator's terminal,
The verification annotation processing work transmission unit,
Immediately after receiving the results of the n practical annotation processing tasks, the one or more verification annotation processing tasks are transmitted to the operator's terminal,
The annotation processing work receiving unit for verification,
One or more verification annotation processing tasks corresponding to the n practical annotation processing tasks are prepared, and a result of the one or more verification annotation processing tasks is received from the operator's terminal,
The validity determination unit,
When the reliability of the result of the n thread-only annotation processing jobs is less than a predetermined criterion, the result of the n thread-only annotation processing jobs is defined as invalid annotation processing, and the When the reliability is higher than a predetermined criterion, the result of the n practical annotation processing tasks is defined as valid annotation processing,
When the reliability of the results of the n annotations for practical use is more than a predetermined criterion,
Receive the results of one or more additional annotation processing tasks for exclusive use, and receive the results of one or more additional annotation processing tasks for verification corresponding to the one or more additional annotation processing tasks for private use,
Receiving the result of the one or more additional practical annotation processing,
Immediately after defining the result of the n actual annotation processing jobs as valid annotation processing, n+j (where j is a natural number of 1 or more) is transmitted to the operator's terminal for additional practical annotation processing, and the operator Is to receive the results of the n+j additional practical annotation processing from the terminal of the
Receiving the result of the one or more additional annotation processing for verification corresponding to the one or more additional practical annotation processing,
Immediately after receiving one or more additional annotation processing jobs for verification, which are pre-prepared and corresponding to the n+j additional practical annotation processing jobs, and immediately after receiving the results of the n+j additional practical annotation processing jobs, the operator To transmit the one or more additional annotation processing tasks for verification to the terminal of the user, and to receive the results of the one or more additional annotation processing tasks for verification from the operator's terminal,
The j is changed to correspond to the number of jobs defined as valid annotation processing,
Verification device for practical annotation processing using verification annotation processing. 컴퓨터와 결합하여, 제1 항 내지 제10 항 중 어느 하나의 항의 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium in combination with a computer to execute a verification method for a practical annotation processing task using the annotation processing task for verification of any one of claims 1 to 10.
KR1020180163418A 2018-12-17 2018-12-17 Method for verifying real annotation works using test annotation works and apparatus thereof KR102129843B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180163418A KR102129843B1 (en) 2018-12-17 2018-12-17 Method for verifying real annotation works using test annotation works and apparatus thereof
JP2019007987A JP6722309B2 (en) 2018-12-17 2019-01-21 Verification method and apparatus for performing annotation processing work using verification annotation processing work
PCT/KR2019/013101 WO2020130306A1 (en) 2018-12-17 2019-10-07 Method and apparatus for verifying annotation processing task for actual use by using annotation processing task for verification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180163418A KR102129843B1 (en) 2018-12-17 2018-12-17 Method for verifying real annotation works using test annotation works and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20200074715A KR20200074715A (en) 2020-06-25
KR102129843B1 true KR102129843B1 (en) 2020-07-03

Family

ID=71101874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180163418A KR102129843B1 (en) 2018-12-17 2018-12-17 Method for verifying real annotation works using test annotation works and apparatus thereof

Country Status (3)

Country Link
JP (1) JP6722309B2 (en)
KR (1) KR102129843B1 (en)
WO (1) WO2020130306A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102436787B1 (en) * 2020-06-29 2022-08-29 (주)휴톰 Method, electronic device and program for estimating annotator and ananlyzing anotation using a plurarity of traning models
KR102244702B1 (en) * 2020-07-03 2021-04-27 주식회사 크라우드웍스 Method for paying appropriate cost corresponding to the inspector's inspection performance of crowdsourcing based projects for artificial intelligence training data generation
KR102195953B1 (en) * 2020-07-20 2020-12-29 주식회사 크라우드웍스 Method for reassignment of withdrawn work based on reasons for rejection in a crowdsourcing based projects for artificial intelligence training data generation
KR102195955B1 (en) * 2020-07-21 2020-12-29 주식회사 크라우드웍스 Method for reassigning work having history of return of crowdsourcing based project for artificial intelligence training data generation
KR20220063361A (en) * 2020-11-10 2022-05-17 이인텔리전스 주식회사 Annotation managing apparatus and method
CN112270533A (en) * 2020-11-12 2021-01-26 北京百度网讯科技有限公司 Data processing method and device, electronic equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030157A1 (en) * 2009-04-15 2012-02-02 Nec Corporation Training data generation apparatus, characteristic expression extraction system, training data generation method, and computer-readable storage medium
US20170212921A1 (en) * 2016-01-27 2017-07-27 Oracle International Corporation Annotation system for extracting attributes from electronic data structures

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1934569B (en) * 2004-03-15 2012-03-14 雅虎公司 Search systems and methods with integration of user annotations
US8213689B2 (en) * 2008-07-14 2012-07-03 Google Inc. Method and system for automated annotation of persons in video content
JP6946081B2 (en) * 2016-12-22 2021-10-06 キヤノン株式会社 Information processing equipment, information processing methods, programs
KR20180122247A (en) * 2017-05-02 2018-11-12 한국전자통신연구원 Apparatus for generating machine learning data and annotation using skeleton information extracted from heterogeneous sensors and method for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120030157A1 (en) * 2009-04-15 2012-02-02 Nec Corporation Training data generation apparatus, characteristic expression extraction system, training data generation method, and computer-readable storage medium
US20170212921A1 (en) * 2016-01-27 2017-07-27 Oracle International Corporation Annotation system for extracting attributes from electronic data structures

Also Published As

Publication number Publication date
JP2020098556A (en) 2020-06-25
WO2020130306A1 (en) 2020-06-25
KR20200074715A (en) 2020-06-25
JP6722309B2 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
KR102129843B1 (en) Method for verifying real annotation works using test annotation works and apparatus thereof
JP6608029B2 (en) Data labeling work inspection method and program
WO2019100576A1 (en) Automated test management method and apparatus, terminal device, and storage medium
WO2019100577A1 (en) Automated test management method and apparatus, terminal device, and storage medium
KR102156582B1 (en) Method for selecting sincere worker and prioritizing inspection of crowdsourcing based projects for artificial intelligence training data generation
CN111861194B (en) Block chain system, biological product monitoring method and device
CN111522728A (en) Method for generating automatic test case, electronic device and readable storage medium
CN113342689A (en) Automatic testing method and device for interface, electronic equipment and storage medium
TW202121206A (en) Method and system for automatically identifying valid data acquisition module
US9477444B1 (en) Method and apparatus for validating and recommending software architectures
CN112651716A (en) Data processing method, device and storage medium
CN111143179A (en) Method, device, storage medium and electronic equipment for positioning performance bottleneck
KR102205810B1 (en) Method for automatically returning rework result of crowdsourcing based project for artificial intelligence training data generation
CN115952098A (en) Performance test tuning scheme recommendation method and system
CN115080827A (en) Sensitive data processing method and device
KR102195608B1 (en) Method for automatically returning using object return rate of crowdsourcing based project for artificial intelligence training data generation
CN114115628A (en) U shield display information acquisition method, device, equipment, medium and program product applied to U shield test
CN113779895A (en) Data model establishing device and method, and machining quality predicting device and method
CN113901476A (en) Vulnerability verification method, system, equipment and medium based on virtualization environment
CN113656313A (en) Automatic test processing method and device
JP6946530B2 (en) Methods and equipment to provide verification crowdsourcing work based on production work
CN111883240A (en) Methodology evaluation system for medical examination
CN112632391A (en) Data processing method, device and storage medium
CN111767218A (en) Automatic testing method, equipment and storage medium for continuous integration
CN111459804A (en) Node optimization method, device and storage medium in system test

Legal Events

Date Code Title Description
GRNT Written decision to grant