KR102205808B1 - Method for determining the number of proper worker of worker pool using estimated work quantity of crowdsourcing based project for artificial intelligence training data generation - Google Patents

Method for determining the number of proper worker of worker pool using estimated work quantity of crowdsourcing based project for artificial intelligence training data generation Download PDF

Info

Publication number
KR102205808B1
KR102205808B1 KR1020200046434A KR20200046434A KR102205808B1 KR 102205808 B1 KR102205808 B1 KR 102205808B1 KR 1020200046434 A KR1020200046434 A KR 1020200046434A KR 20200046434 A KR20200046434 A KR 20200046434A KR 102205808 B1 KR102205808 B1 KR 102205808B1
Authority
KR
South Korea
Prior art keywords
workers
project
worker
work quantity
determining
Prior art date
Application number
KR1020200046434A
Other languages
Korean (ko)
Other versions
KR102205808B9 (en
Inventor
박민우
김주영
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=74309828&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR102205808(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Priority to KR1020200046434A priority Critical patent/KR102205808B1/en
Application granted granted Critical
Publication of KR102205808B1 publication Critical patent/KR102205808B1/en
Publication of KR102205808B9 publication Critical patent/KR102205808B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063118—Staff planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063116—Schedule adjustment for a person or group

Abstract

The present invention relates to a method for determining an appropriate worker count in a worker pool using an estimated work quantity of a crowdsourcing-based project for artificial intelligence training data generation. The method includes: a step of generating a worker pool by extracting workers satisfying participation conditions of a crowdsourcing-based project to be opened (hereinafter, project to be opened); a step of calculating an estimated work quantity for each extracted worker; a step of calculating an estimated total work quantity by adding the estimated work quantities of the workers; a step of comparing the estimated total work quantity to the required work quantity of the project to be opened; a step of determining worker increase or decrease based on the result of the comparison; and a step of determining the worker pool of the project to be opened by worker increase or decrease based on the determination.

Description

인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법{METHOD FOR DETERMINING THE NUMBER OF PROPER WORKER OF WORKER POOL USING ESTIMATED WORK QUANTITY OF CROWDSOURCING BASED PROJECT FOR ARTIFICIAL INTELLIGENCE TRAINING DATA GENERATION}How to determine the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project for generating artificial intelligence learning data {METHOD FOR DETERMINING THE NUMBER OF PROPER WORKER OF WORKER POOL USING ESTIMATED WORK QUANTITY OF CROWDSOURCING BASED PROJECT FOR ARTIFICIAL INTELLIGENCE TRAINING DATA GENERATION}

본 발명은 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법에 관한 것이다.The present invention relates to a method for determining an appropriate number of workers in a worker pool using the expected number of tasks of a crowdsourcing-based project for generating artificial intelligence learning data.

최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업들이 늘고 있다. 즉, 기업은 하나의 프로젝트를 오픈하여 일반 대중, 즉 작업자가 해당 프로젝트에 참여하게 함으로써, 작업자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집하게 된다.Recently, more and more companies collect and process large amounts of data on a crowdsourcing basis that engages the general public in some process of corporate activities. In other words, by opening a project and allowing the general public, that is, workers to participate in the project, necessary information is collected through the work results completed by the workers.

이때, 기업은 프로젝트를 오픈하기 전에, 프로젝트 참여 조건을 설정하고, 참여 조건을 충족하는 작업자를 선정하여 프로젝트에 참여할 수 있도록 한다.At this time, before opening the project, the company sets the conditions for participation in the project and selects workers who meet the conditions for participation so that they can participate in the project.

그러나, 참여 조건을 기준으로 작업자를 선정하게 되는 경우, 프로젝트에 필요 이상으로 작업자가 투입될 수 있다. 예를 들어, 회원 정보를 기준으로 참여 조건을 설정했을 때, 참여 조건을 충족하는 작업자가 수천명 선정될 수 있다. 이러한 경우, 오픈된 프로젝트에 수천명의 작업자가 투입되게 되어, 작업자 당 작업 가능한 수량이 매우 작아져서 작업자가 작업을 반복함에 따라 학습할 수 있는 기회가 없어지고, 이에 따라 불량한 작업 결과만 수집되는 상황이 발생하게 된다.However, if workers are selected based on participation conditions, more workers may be put into the project than necessary. For example, when participation conditions are set based on member information, thousands of workers who meet the participation conditions may be selected. In this case, thousands of workers are put into the open project, and the number of workable per worker becomes very small, so there is no opportunity to learn as the worker repeats the work, and thus, only poor work results are collected. Will occur.

그럼에도 불구하고, 현재에는 프로젝트 오픈 전에, 프로젝트가 원활하게 운영될 수 있는 최적의 작업자 수를 알 수 없어, 참여 조건을 기준으로 작업자를 선정하여 프로젝트에 투입하고, 프로젝트가 오픈된 후에, 프로젝트 진행 상황에 따라 관리자가 수동으로 작업자의 수를 조절하고 있는 실정이다. Nevertheless, at present, before the project is opened, the optimal number of workers for the project to operate smoothly is not known, so workers are selected and put into the project based on participation conditions, and after the project is opened, the project progress status According to the situation, the manager manually adjusts the number of workers.

이는, 관리자 리소스가 사용되기 때문에 비효율적이고, 관리자의 주관적인 판단에 의해 결정되는 것이기 때문에 정확도가 떨어진다는 문제가 있다.This is inefficient because the manager resource is used, and the accuracy is inferior because it is determined by the subjective judgment of the manager.

공개특허공보 제10-2014-0095956호, 2014.08.04.Unexamined Patent Publication No. 10-2014-0095956, 2014.08.04.

본 발명이 해결하고자 하는 과제는 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide a method for determining the appropriate number of workers in the worker pool using the expected number of tasks of a crowdsourcing-based project for generating artificial intelligence learning data.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.However, the problem to be solved by the present invention is not limited to the problem as described above, and other problems may exist.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법은, 오픈예정인 크라우드소싱 기반 프로젝트(이하, 오픈예정 프로젝트)의 참여 조건을 충족하는 복수의 작업자를 추출하여 작업자 풀을 생성하는 단계, 추출된 각각의 작업자별로 예상 작업 수량을 산출하는 단계, 추출된 상기 복수의 작업자의 예상 작업 수량을 더하여 전체 예상 작업 수량을 산출하는 단계, 상기 전체 예상 작업 수량 및 상기 오픈예정 프로젝트의 필요 작업 수량을 비교하는 단계, 상기 비교 결과에 따라, 작업자의 충원 또는 감원을 결정하는 단계 및 상기 결정에 따라, 작업자를 충원 또는 감원하여 상기 오픈예정 프로젝트의 작업자 풀을 확정하는 단계를 포함한다.The method of determining the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project according to an aspect of the present invention for solving the above-described problems is the participation condition of a crowdsourcing-based project (hereinafter, an open project) Generating a worker pool by extracting a plurality of workers meeting the steps, calculating the estimated work quantity for each of the extracted workers, calculating the total estimated work quantity by adding the extracted expected work quantities of the plurality of workers , Comparing the total expected work quantity and the required work quantity of the project to be opened, determining the recruitment or reduction of workers according to the comparison result, and the scheduled opening by recruiting or reducing workers according to the determination It involves determining the worker pool for the project.

본 발명의 일부 실시예에서, 상기 예상 작업 수량을 산출하는 것은, 기대 작업 수량과 작업자의 이전 프로젝트 이력의 평균 작업 완수율을 곱하여 상기 예상 작업 수량을 산출하는 것이고, 상기 기대 작업 수량은 상기 오픈예정 프로젝트의 필요 작업 수량을 상기 추출된 복수의 작업자의 수로 나누어 산출할 수 있다.In some embodiments of the present invention, calculating the expected work quantity is to calculate the expected work quantity by multiplying the expected work quantity and the average work completion rate of the worker's previous project history, and the expected work quantity is the open project It can be calculated by dividing the required number of work by the number of the extracted plurality of workers.

본 발명의 일부 실시예에서, 상기 평균 작업 완수율은 이전 프로젝트의 작업자가 수행한 전체 작업 건수 대비 검수 통과된 작업 건수의 비율을 평균하여 산출할 수 있다.In some embodiments of the present invention, the average task completion rate may be calculated by averaging a ratio of the number of tasks that have passed inspection to the total number of tasks performed by a worker of a previous project.

본 발명의 일부 실시예에서, 상기 비교 결과에 따라, 작업자의 충원 또는 감원을 결정하는 단계는, 상기 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량보다 적은 경우, 상기 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정하는 단계를 포함하고, 상기 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정하는 단계는, 상기 추출된 상기 복수의 작업자의 예상 작업 수량과 상기 충원되는 작업자의 예상 작업 수량을 더하여 갱신되는 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량 이상이 되도록 하는 범위 내에서 상기 소정의 수의 작업자의 충원을 결정할 수 있다.In some embodiments of the present invention, the step of determining the recruitment or reduction of workers according to the comparison result, when the total expected work quantity is less than the required work quantity of the open project, is not included in the worker pool. Including the step of determining the replenishment of a predetermined number of workers, the step of determining the replenishment of a predetermined number of workers not included in the worker pool, the extracted expected number of work of the plurality of workers and the filling Replenishment of the predetermined number of workers may be determined within a range such that the total expected number of jobs updated by adding the expected number of jobs of the workers is equal to or greater than the required number of jobs of the open project.

본 발명의 일부 실시예에서, 상기 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정하는 단계는, 상기 작업자 풀에 포함되지 않는 복수의 작업자의 이전 프로젝트 이력에 기초하여 각 작업자별로 상기 오픈예정 프로젝트의 매칭 점수를 산출하는 단계, 상기 매칭 점수에 기초하여 상기 작업자 풀에 포함되지 않는 복수의 작업자 중에서 소정의 수의 작업자를 선정하는 단계 및 선정된 상기 소정의 수의 작업자의 충원을 결정하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of determining the recruitment of a predetermined number of workers not included in the worker pool includes the opening for each worker based on the previous project history of a plurality of workers not included in the worker pool. Calculating a matching score of a scheduled project, selecting a predetermined number of workers from among a plurality of workers not included in the worker pool based on the matching score, and determining the recruitment of the selected predetermined number of workers It may include steps.

본 발명의 일부 실시예에서, 상기 각 작업자별로 상기 오픈예정 프로젝트의 매칭 점수를 산출하는 단계는, 상기 오픈예정 프로젝트에 포함되는 기능요소를 파악하는 단계, 각 작업자의 이전 프로젝트 중에서 상기 오픈예정 프로젝트의 기능요소가 하나 이상 포함된 이전 프로젝트를 추출하는 단계, 추출된 이전 프로젝트에 포함된 기능요소 중에서 상기 오픈예정 프로젝트의 기능요소에 해당하는 상기 이전 프로젝트의 기능요소를 기초로 이전 프로젝트에 대한 작업자의 경험점수를 산출하는 단계 및 상기 산출된 이전 프로젝트에 대한 작업자의 경험점수를 전부 더하여 각 작업자의 오픈예정 프로젝트의 매칭 점수를 산출하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of calculating the matching score of the project to be opened for each worker includes: identifying functional elements included in the project to be opened, and the project to be opened among previous projects of each worker. Extracting a previous project that includes one or more functional elements, the operator's experience with the previous project based on the functional elements of the previous project that correspond to the functional elements of the open project among the functional elements included in the extracted previous project It may include calculating a score and calculating a matching score of each worker's open project by adding all of the worker's experience scores for the calculated previous project.

본 발명의 일부 실시예에서, 상기 이전 프로젝트에 대한 작업자의 경험점수를 산출하는 단계는, 상기 오픈예정 프로젝트의 기능요소에 해당하는 상기 이전 프로젝트의 기능요소에 할당된 비율(a)과 상기 작업자가 해당 이전 프로젝트에서 수행한 작업 건수 중에서 검수 통과된 작업 건수(b)를 곱함으로써, 해당 이전 프로젝트에 대한 상기 작업자의 경험점수를 산출할 수 있다.In some embodiments of the present invention, the step of calculating the operator's experience score for the previous project includes a ratio (a) allocated to the functional element of the previous project corresponding to the functional element of the open project and the operator By multiplying the number of tasks (b) that have passed inspection among the number of tasks performed in the previous project, the worker's experience score for the previous project can be calculated.

본 발명의 일부 실시예에서, 상기 비교 결과에 따라, 작업자의 충원 또는 감원을 결정하는 단계는, 상기 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량보다 많은 경우, 상기 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정하는 단계를 포함하고, 상기 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정하는 단계는, 상기 추출된 상기 복수의 작업자의 예상 작업 수량으로부터 상기 감원되는 작업자의 예상 작업 수량을 감하여 갱신되는 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량 이상이 되도록 하는 범위 내에서 상기 소정의 수의 작업자의 감원을 결정할 수 있다.In some embodiments of the present invention, the step of determining the recruitment or reduction of workers according to the comparison result may include a predetermined amount included in the worker pool when the total expected work quantity is greater than the required work quantity of the open project. Including the step of determining the reduction of the number of workers, the step of determining the reduction of the predetermined number of workers included in the worker pool, the number of workers to be reduced from the extracted estimated number of workers Reduction of the predetermined number of workers may be determined within a range such that the total expected number of jobs updated by subtracting the expected number of jobs is equal to or greater than the required number of jobs of the open project.

본 발명의 일부 실시예에서, 상기 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정하는 단계는, 상기 예상 작업 수량에 기초하여 상기 작업자 풀에 포함되는 복수의 작업자 중에서 소정의 수의 작업자를 선정하는 단계 및 선정된 상기 소정의 수의 작업자의 감원을 결정하는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of determining the reduction of a predetermined number of workers included in the worker pool includes selecting a predetermined number of workers among a plurality of workers included in the worker pool based on the expected number of jobs. It may include the step of selecting and determining the reduction of the selected predetermined number of workers.

상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.A computer program according to another aspect of the present invention for solving the above-described problems is combined with a computer as hardware to execute a method for determining the appropriate number of workers in the worker pool using the expected number of work of the crowdsourcing-based project, and computer-readable It is stored on the recording medium.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present invention are included in the detailed description and drawings.

상술한 본 발명에 의하면, 전체 예상 작업 수량과 프로젝트의 필요 작업 수량을 비교하여, 전체 예상 작업 수량이 프로젝트의 필요 작업 수량보다 많아질 때까지 작업자를 충원하고, 전체 예상 작업 수량이 프로젝트의 필요 작업 수량보다 적어지기 전까지 작업자를 감원하여, 프로젝트의 적정 작업자 수를 확정할 수 있다. According to the present invention described above, by comparing the total expected work quantity and the required work quantity of the project, workers are recruited until the total expected work quantity is greater than the required work quantity of the project, and the total expected work quantity is the required work of the project. By reducing the number of workers until the number is less than the number, the appropriate number of workers for the project can be determined.

프로젝트의 적정 작업자 수를 확정함으로써, 프로젝트에 필요 이상의 작업자가 투입될 수 없도록 하고, 이에 따라 작업 품질을 떨어트릴 수 있는 리스크(risk)를 낮출 수 있다.By determining the appropriate number of workers for the project, it is possible to prevent more workers from being put into the project, thereby lowering the risk that may reduce work quality.

또한, 소정의 작업자 충원 시, 각 작업자별로 이전 프로젝트의 검수 완수율을 기초로 충원될 소정의 작업자를 선정하기 때문에, 프로젝트의 필요 작업 수량 달성에 대한 신뢰 수준을 높일 수 있다.In addition, when a predetermined number of workers is recruited, since a predetermined worker to be recruited is selected for each worker based on the completion rate of the previous project, it is possible to increase the level of trust in achieving the required number of work in the project.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 서비스의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 크라우드소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 작업자 풀을 생성하는 것을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 프로젝트의 필요 작업 수량과 예상 작업 수량을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 작업자 풀에 작업자를 충원하는 것을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 오픈예정 프로젝트에 포함되는 기능요소를 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 작업자의 이전 프로젝트 이력을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 작업자의 오픈예정 프로젝트 매칭 점수를 산출하는 것을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 오픈예정 프로젝트의 매칭 점수를 기반으로 작업자를 선정하는 것을 설명하기위한 예시도이다.
도 11은 본 발명의 일 실시예에 따른 작업자 풀에서 작업자를 감원하는 것을 설명하기 위한 순서도이다.
도 12a 및 도 12b는 본 발명의 일 실시예에 따른 작업자의 충원 또는 감원 결과에 따라, 작업자 풀을 확정하는 것을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 장치를 설명하기 위한 도면이다.1 is a conceptual diagram of a crowdsourcing service according to an embodiment of the present invention.
2 is a flowchart illustrating a crowdsourcing-based project progress process according to an embodiment of the present invention.
3 is a flowchart of a method for determining an appropriate number of workers in a worker pool using an expected number of work in a crowdsourcing-based project according to an embodiment of the present invention.
4 is an exemplary diagram for explaining generating a worker pool according to an embodiment of the present invention.
5 is an exemplary view for explaining the required work quantity and the expected work quantity of a project according to an embodiment of the present invention.
6 is a flow chart for explaining the filling of workers to the worker pool according to an embodiment of the present invention.
7 is an exemplary diagram for explaining functional elements included in an open project according to an embodiment of the present invention.
8 is an exemplary view for explaining a previous project history of a worker according to an embodiment of the present invention.
9 is an exemplary diagram for explaining calculating a matching score for a worker's open project according to an embodiment of the present invention.
10 is an exemplary diagram for explaining selecting a worker based on a matching score of an open project according to an embodiment of the present invention.
11 is a flow chart for explaining the reduction of workers from the worker pool according to an embodiment of the present invention.
12A and 12B are exemplary diagrams for explaining determining a worker pool according to a result of recruitment or reduction of workers according to an embodiment of the present invention.
13 is a view for explaining an apparatus for determining an appropriate number of workers in a worker pool using an expected number of work of a crowdsourcing-based project according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, only the present embodiments are intended to complete the disclosure of the present invention, It is provided to fully inform the technician of the scope of the present invention, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, “comprises” and/or “comprising” do not exclude the presence or addition of one or more other elements other than the mentioned elements. Throughout the specification, the same reference numerals refer to the same elements, and “and/or” includes each and all combinations of one or more of the mentioned elements. Although "first", "second", and the like are used to describe various elements, it goes without saying that these elements are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical idea of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 크라우드소싱 서비스의 개념도이다.1 is a conceptual diagram of a crowdsourcing service according to an embodiment of the present invention.

도 1을 참조하면, 크라우드소싱 서비스는 의뢰자(10), 서비스 제공 업체(20) 및 대중(30)으로 구성되어 수행된다.Referring to FIG. 1, a crowdsourcing service is performed by being composed of a client 10, a service provider 20, and a public 30.

의뢰자(10)는 크라우드소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하는 기업이나 개인을 의미한다.The sponsor 10 refers to a company or individual who requests a crowdsourcing-based project (hereinafter, referred to as a project).

의뢰자(10)는 인공지능 학습데이터의 생성을 위한 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 의뢰한다. 프로젝트를 통해서 생성된 데이터는 지도 학습, 비지도 학습, 강화 학습 등의 임의의 기계 학습의 학습데이터로 활용될 수 있다. 소스 데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다. 한편, 전술한 프로젝트의 종류는 일 실시예에 불과하며, 의뢰자의 설계에 따라 다양한 프로젝트가 본 발명에서 취급될 수 있다.The requester 10 requests a project for the purpose of collecting source data or annotating data for generating artificial intelligence learning data. The data generated through the project can be used as learning data for arbitrary machine learning such as supervised learning, unsupervised learning, and reinforcement learning. Collection of source data refers to collecting raw data such as recorded voice collection and photo collection. Data annotation refers to inputting relevant annotation data into source data such as text, photos, and videos. For example, the data annotation may include finding an entity in a given fingerprint or finding a similar sentence, but is not limited thereto. Meanwhile, the types of the above-described projects are only one embodiment, and various projects may be handled in the present invention according to the design of the client.

서비스 제공 업체(20)는 크라우드소싱 서비스를 제공하는 기업을 의미한다.The service provider 20 refers to a company that provides crowdsourcing services.

서비스 제공 업체(20)는 의뢰자(10)로부터 제품 또는 서비스에 대한 프로젝트를 의뢰받으면, 해당 프로젝트에 대한 작업을 일반 대중(30)에게 배정하여 대중(30)으로부터 작업 결과를 제공받는다. 이후, 작업 결과를 기반으로 추출된 최종 산출물을 의뢰자(10)에게 제공한다.When the service provider 20 receives a request for a project for a product or service from the client 10, the service provider 20 allocates a task for the project to the general public 30 and receives the work result from the public 30. Thereafter, the final product extracted based on the work result is provided to the client 10.

이때, 서비스 제공 업체(20)는 크라우드소싱 플랫폼(이하, 플랫폼)을 통해 의뢰자(10) 및 대중(30)에게 크라우드소싱 서비스를 제공한다. 즉, 서비스 제공 업체(20)는 의뢰자(10)로부터 프로젝트를 의받으면, 플랫폼에 프로젝트를 오픈한다. 이후, 대중(30)으로부터 오픈된 프로젝트에 대한 작업 결과를 제공받으면, 해당 프로젝트를 플랫폼 상에서 종료하고, 최종 산출물을 추출하여 의뢰자(10)에게 제공할 수 있다.At this time, the service provider 20 provides a crowdsourcing service to the client 10 and the public 30 through a crowdsourcing platform (hereinafter, the platform). That is, when the service provider 20 receives a project from the client 10, it opens the project on the platform. Thereafter, when the work result for the open project is received from the public 30, the project is terminated on the platform, and the final product may be extracted and provided to the client 10.

대중(30)은 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중을 의미한다. 여기서, 대중(30)은 서비스 제공 업체(20)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 플랫폼에 오픈된 프로젝트에 참여할 수 있다. The public 30 refers to the general public participating in the project open on the platform. Here, the public 30 may participate in a project opened on the platform through an application or website provided by the service provider 20.

대중(30)은 작업자(32) 및 검수자(34)로 구성된다.The public 30 is composed of a worker 32 and an inspector 34.

작업자(32)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 작업자(32)는 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업을 수행하고, 이를 플랫폼에 전송한다.The worker 32 decides to participate in a specific project among a plurality of projects open on the platform. Thereafter, the operator 32 performs an operation such as collection of source data or data annotation, and transmits it to the platform.

검수자(34)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 검수자(34)는 작업자(32)가 수행한 작업 결과에 대한 검수를 수행한다. 검수자(34)는 검수 수행 결과로서, 검수 통과 처리 또는 반려 처리를 할 수 있고, 반려 처리시 반려 사유를 입력할 수 있다. 검수 통과의 경우 재작업과 이로 인한 재검수가 필요하지 않으므로, 검수 통과는 검수 완료와 동일한 의미를 가진다.The inspector 34 decides to participate in a specific project among a plurality of projects open on the platform. Thereafter, the inspector 34 inspects the result of the work performed by the operator 32. As a result of performing the inspection, the inspector 34 may perform inspection pass processing or rejection processing, and input a rejection reason during rejection processing. In the case of passing the inspection, it is not necessary to rework and re-inspect the result.

도 2는 본 발명의 일 실시예에 따른 크라우드소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다. 2 is a flowchart illustrating a crowdsourcing-based project progress process according to an embodiment of the present invention.

먼저, 의뢰자(10)는 서비스 제공 업체(20)로 하나 이상의 프로젝트를 의뢰한다(S11).First, the requester 10 requests one or more projects to the service provider 20 (S11).

이후, 서비스 제공 업체(20)는 의뢰된 프로젝트를 플랫폼 상에 오픈한다(S12). 이때, 서비스 제공 업체(20)는 프로젝트 오픈 전에, 해당 프로젝트의 난이도 등을 고려하여 등급을 결정할 수 있다. 즉, 난이도에 따라 어떤 등급 이상의 대중(30)에게 해당 프로젝트를 노출시킬지를 결정할 수 있다. 이에 따라, 프로젝트의 작업 결과의 신뢰도를 높일 수 있게 된다.Thereafter, the service provider 20 opens the requested project on the platform (S12). At this time, the service provider 20 may determine the grade in consideration of the difficulty of the project before opening the project. That is, depending on the difficulty level, it is possible to determine which level or higher public 30 to expose the project. Accordingly, it is possible to increase the reliability of the work result of the project.

이후, 서비스 제공 업체(20)는 프로젝트의 등급에 따라 해당 등급 이상의 작업자(32)에게 작업을 할당하여 작업 요청한다(S13).Thereafter, the service provider 20 requests the work by assigning the work to the workers 32 of the corresponding level or higher according to the level of the project (S13).

이후, 작업자(32)는 할당된 작업을 수행하게 된다(S14). 이때, 작업자(32)는 어떤 이유에 의해 작업 자체가 불가능한 작업에 대해서는 작업을 수행하지 않고 작업 불가 사유를 입력할 수 있다. Thereafter, the worker 32 performs the assigned task (S14). In this case, the worker 32 may input the reason for the inability to work without performing the work for a work in which the work itself is impossible for some reason.

이후, 서비스 제공 업체(20)는 작업자(32)로부터 작업 결과를 제공받고(S15), 해당 작업 결과에 대한 검수 작업을 검수자(34)에게 할당하여 검수 요청한다(S16).Thereafter, the service provider 20 receives the work result from the worker 32 (S15), and assigns the work result to the inspector 34 to request the inspection (S16).

이후, 검수자(34)는 할당된 검수를 수행하게 된다(S17). 이때, 검수자(34)는 작업이 적합하게 수행된 것으로 판단하면 검수 통과를 결정하고, 검수 작업이 잘못된 것으로 판단하면 반려 처리한다. 반려 처리 시, 검수자(34)는 어떤 이유로 작업이 잘못된 것으로 판단했는지에 대한 반려 사유를 입력한다.Thereafter, the inspector 34 performs the assigned inspection (S17). At this time, the inspector 34 decides to pass the inspection when it is determined that the work has been properly performed, and if it is determined that the inspection work is wrong, the inspector 34 rejects it. During rejection processing, the inspector 34 inputs the rejection reason for what reason the job was judged to be wrong.

이후, 서비스 제공 업체(20)는 검수자(34)로부터 검수 결과를 제공받는다(S18). Thereafter, the service provider 20 receives the inspection result from the inspector 34 (S18).

검수 결과가 검수 통과인 경우, 서비스 제공 업체(20)는 해당 작업 결과를 유효한 데이터로 사용하여, 이를 기반으로 하여 프로젝트 종료 시 최종 산출물을 추출하게 된다.If the inspection result passes the inspection, the service provider 20 uses the work result as valid data, and based on this, extracts the final product at the end of the project.

검수 결과가 반려 처리인 경우, 서비스 제공 업체(20)는 내부적으로 검수를 다시 수행하거나, 작업자(32)에게 다시 작업을 배정하여 재작업을 수행하게 할 수도 있다. 재작업시 검수자의 재검수가 필요하다.When the inspection result is rejection processing, the service provider 20 may internally perform the inspection again, or assign the work to the worker 32 again to perform the rework. When reworking, re-examination by an inspector is required

이후, 서비스 제공 업체(20)는 프로젝트 기간이 종료되거나 충분한 유효 데이터를 확보하게 되면 해당 프로젝트를 종료하고(S19), 확보된 유효 데이터를 기반으로 최종 결과물을 산출하여 의뢰자(10)에게 제공한다(S20).Thereafter, when the project period ends or sufficient valid data is secured, the service provider 20 terminates the project (S19), calculates a final result based on the secured valid data, and provides it to the client 10 ( S20).

이때, 프로젝트 종료 전, 서비스 제공 업체(20)는 작업자(32) 및 검수자(34)의 수행 결과를 평가하고, 평가에 따라 작업 비용 및 검수 비용을 산출하여 작업자(32) 및 검수자(34)에게 지급한다.At this time, before the end of the project, the service provider 20 evaluates the performance results of the worker 32 and the inspector 34, calculates the work cost and the inspection cost according to the evaluation, to the worker 32 and the inspector 34. give.

도 1 및 도 2에서는 단순히 의뢰자(10), 서비스 제공 업체(20), 작업자(32), 검수자(34)로 표현하였으나, 이들은 각 참여자에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다.In FIGS. 1 and 2, it is simply expressed as a requester 10, a service provider 20, an operator 32, and an inspector 34, but these are smartphones, tablets, PDAs, laptops, desktops, operated by each participant. It means a computer device such as a server or a telecommunication device.

도 3은 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법의 순서도이다. 도 4는 본 발명의 일 실시예에 따른 작업자 풀을 생성하는 것을 설명하기 위한 예시도이다. 도 5는 본 발명의 일 실시예에 따른 프로젝트의 필요 작업 수량과 예상 작업 수량을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시예에 따른 작업자 풀에 작업자를 충원하는 것을 설명하기 위한 순서도이다. 도 7은 본 발명의 일 실시예에 따른 오픈예정 프로젝트에 포함되는 기능요소를 설명하기 위한 예시도이다. 도 8은 본 발명의 일 실시예에 따른 작업자의 이전 프로젝트 이력을 설명하기 위한 예시도이다. 도 9는 본 발명의 일 실시예에 따른 작업자의 오픈예정 프로젝트 매칭 점수를 산출하는 것을 설명하기 위한 예시도이다. 도 10은 본 발명의 일 실시예에 따른 오픈예정 프로젝트의 매칭 점수를 기반으로 작업자를 선정하는 것을 설명하기위한 예시도이다. 도 11은 본 발명의 일 실시예에 따른 작업자 풀에서 작업자를 감원하는 것을 설명하기 위한 순서도이다. 도 12a 및 도 12b는 본 발명의 일 실시예에 따른 작업자의 충원 또는 감원 결과에 따라, 작업자 풀을 확정하는 것을 설명하기 위한 예시도이다.3 is a flowchart of a method for determining an appropriate number of workers in a worker pool using an expected number of work in a crowdsourcing-based project according to an embodiment of the present invention. 4 is an exemplary diagram for explaining generating a worker pool according to an embodiment of the present invention. 5 is an exemplary view for explaining the required work quantity and the expected work quantity of a project according to an embodiment of the present invention. 6 is a flow chart for explaining the filling of workers to the worker pool according to an embodiment of the present invention. 7 is an exemplary diagram for explaining functional elements included in an open project according to an embodiment of the present invention. 8 is an exemplary view for explaining a previous project history of a worker according to an embodiment of the present invention. 9 is an exemplary diagram for explaining calculating a matching score for a worker's open project according to an embodiment of the present invention. 10 is an exemplary diagram for explaining selecting a worker based on a matching score of an open project according to an embodiment of the present invention. 11 is a flow chart for explaining the reduction of workers from the worker pool according to an embodiment of the present invention. 12A and 12B are exemplary diagrams for explaining determining a worker pool according to a result of recruitment or reduction of workers according to an embodiment of the present invention.

한편, 도 3, 도 6 및 도 11에 도시된 단계들은 서비스 제공 업체(20)에 의해 운영되는 플랫폼 서버(이하, 서버)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.Meanwhile, the steps shown in FIGS. 3, 6, and 11 may be understood as being performed by a platform server (hereinafter, referred to as a server) operated by the service provider 20, but are not limited thereto.

또한, 복수의 작업자(32) 또는 복수의 검수자(34)는 소정의 단말 장치를 이용하여 작업을 수행한다. 작업자(32) 또는 검수자(34)의 단말 장치는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱 등과 같은 컴퓨터 장치 또는 전기 통신 장치일 수 있으나, 이에 제한되는 것은 아니다.In addition, a plurality of workers 32 or a plurality of inspectors 34 perform work using a predetermined terminal device. The terminal device of the operator 32 or the inspector 34 may be a computer device or a telecommunication device such as a smartphone, tablet, PDA, laptop, desktop, etc., but is not limited thereto.

먼저, 도 3을 참조하면, 서버는 오픈예정인 크라우드소싱 기반 프로젝트(이하, 오픈예정 프로젝트)의 참여 조건을 충족하는 복수의 작업자를 추출하여 작업자 풀을 생성한다(S100).First, referring to FIG. 3, the server generates a worker pool by extracting a plurality of workers that satisfy participation conditions for a crowdsourcing-based project (hereinafter, an open project) scheduled to be opened (S100).

여기서, 참여 조건은 작업자의 성별, 나이, 거주지역, 출생지역, 자격증, 이전 프로젝트 이력 등을 포함할 수 있지만, 이에 제한되는 것은 아니다.Here, the participation condition may include the worker's gender, age, residential area, birth area, qualification, previous project history, etc., but is not limited thereto.

도 4를 참조하면, 오픈예정 프로젝트의 참여 조건이 '20대 여성'으로 설정된 경우, 서버는 플랫폼 사용자인 복수의 작업자(32) 중에서 20대 여성인 작업자를 추출하여 오픈예정 프로젝트의 작업자 풀을 생성하게 된다. Referring to FIG. 4, when the participation condition for an open project is set to'female in their 20s', the server extracts a female worker in their 20s from among a plurality of workers 32 who are platform users to create a worker pool for an open project. Is done.

다시 도 3을 참조하면, 서버는 추출된 각각의 작업자별로 예상 작업 수량을 산출한다(S200).Referring back to FIG. 3, the server calculates the estimated number of work for each extracted worker (S200).

여기서, 예상 작업 수량은 작업자(32)가 오픈예정 프로젝트에서 수행할 수 있을 것으로 예상되는 작업 수량을 의미한다.Here, the expected number of work means the number of work expected to be performed by the worker 32 in an open project.

구체적으로, 예상 작업 수량은 기대 작업 수량과 작업자(32)의 이전 프로젝트 이력의 평균 작업 완수율을 곱하여 산출되다.Specifically, the expected work quantity is calculated by multiplying the expected work quantity and the average work completion rate of the previous project history of the worker 32.

기대 작업 수량은 오픈예정 프로젝트의 필요 작업 수량을 참여 조건을 충족하는 복수의 작업자(이하, 기본 작업자)의 수로 나누어 산출된다. The expected number of work is calculated by dividing the required number of work for an open project by the number of a plurality of workers (hereinafter, basic workers) who meet the participation conditions.

예를 들어, 오픈예정 프로젝트의 필요 작업 수량이 100건이고, 기본 작업자의 수가 5명일 때, 기대 작업 수량은 100/5=20건으로 산출될 수 있다. For example, when the required number of work for an open project is 100 and the number of basic workers is 5, the expected number of work can be calculated as 100/5=20.

이전 프로젝트 이력의 평균 작업 완수율은 이전 프로젝트의 작업자(32)가 수행한 전체 작업 건수 대비 검수 통과된 작업 건수의 비율을 평균하여 산출된다. The average work completion rate of the previous project history is calculated by averaging the ratio of the number of work that has passed inspection to the total number of work performed by the workers 32 of the previous project.

즉, 작업자(32)가 이전에 참여했던 하나 이상의 프로젝트에 대해 전체 작업 건수 대비 검수 통과된 작업 건수의 비율을 각각 산출하고, 이에 대한 평균값을 해당 작업자(32)의 평균 작업 완수율로 산출하는 것이다.That is, the ratio of the number of tasks that have passed the inspection to the total number of tasks for one or more projects that the worker 32 has previously participated in is calculated, and the average value thereof is calculated as the average work completion rate of the worker 32.

이때, 검수 통과된 작업 건수는 최초 검수 결과가 검수 통과인 작업 건수 및 재작업 검수 결과가 검수 통과인 작업 건수를 포함한다. 즉, 검수 통과된 작업 건수는 검수 결과가 반려이지만 작업자(32)가 재작업을 포기한 작업 건수와 작업자(32)가 재작업을 수행하였지만 계속되는 재반려로 인하여 작업 배정이 아예 취소된 작업 건수 등을 배제하고, 최종적으로 검수 통과된 작업 건수만을 측정한 것이다.At this time, the number of jobs that have passed the inspection includes the number of jobs in which the initial inspection result passed the inspection and the number of jobs in which the rework inspection result passed the inspection. In other words, the number of tasks that have passed the inspection is the number of tasks that the worker 32 gave up on rework but the number of tasks that the worker 32 gave up on rework but the task assignment was canceled due to continued re-rejection, etc. It was excluded and measured only the number of jobs that finally passed the inspection.

예를 들어, 특정 작업자(32)가 이전 프로젝트 A에 참여하여 100건의 작업을 수행하고 이 중 80건이 검수 통과된 경우, 특정 작업자(32)의 이전 프로젝트 A의 작업 완수율은 80/100=0.8로 산출된다. 또한, 특정 작업자(32)가 이전 프로젝트 B에 참여하여 100건의 작업을 수행하고 이 중 40건이 검수 통과된 경우, 특정 작업자(32)의 이전 프로젝트 B의 작업 완수율은 40/100=0.4로 산출된다. 따라서, 특정 작업자(32)의 이전 프로젝트 이력의 평균 작업 완수율은 (0.8+0.4)/2=0.6으로 산출되게 된다.For example, if a specific worker (32) participates in the previous project A and performs 100 tasks, and 80 of them are inspected, the completion rate of the previous project A of the specific worker (32) is 80/100 = 0.8. Is calculated. In addition, when a specific worker 32 participates in the previous project B and performs 100 tasks, and 40 of them are inspected, the completion rate of the previous project B of the specific worker 32 is calculated as 40/100 = 0.4. . Therefore, the average work completion rate of the previous project history of a specific worker 32 is calculated as (0.8+0.4)/2=0.6.

도 5를 참조하면, 오픈예정 프로젝트의 기대 작업 수량은 20건으로 산출되고, 오픈예정 프로젝트의 기본 작업자 A, B, C, D 및 E의 평균 작업 완수율은 각각 0.2, 1, 0.2, 1 및 0.5로 산출된 경우, 기본 작업자 A, B, C, D 및 E의 예상 작업 수량은 각각 4건, 20건, 4건, 20건 및 10건으로 산출되게 된다. 이는, 오픈예정 프로젝트에서 기본 작업자가 각각 20건씩 작업을 수행하는 것이 이상적인 것으로 기대되지만, 기본 작업자 A, B, C, D 및 E가 실질적으로 수행할 수 있을 것으로 예상되는 작업 수량은 각각 4건, 20건, 4건, 20건 및 10건임을 나타낸다.5, the expected number of work for the open project is calculated as 20, and the average work completion rates of basic workers A, B, C, D and E of the open project are 0.2, 1, 0.2, 1 and 0.5, respectively. When calculated, the expected number of jobs for basic workers A, B, C, D, and E will be calculated as 4, 20, 4, 20, and 10, respectively. This is expected to be ideal for the basic worker to perform 20 tasks each in the open project, but the number of tasks that the basic workers A, B, C, D and E are expected to be able to actually perform are 4, respectively. It shows that it is 20, 4, 20, and 10 cases.

상기에서는, 평균 작업 완수율은 1 이하인 수로 산출되는 것으로 설명하였지만, 이전 프로젝트의 상황, 이전 프로젝트에서 작업자의 작업 수행 상황 등 경우에 따라서 평균 작업 완수율은 1 이상인 수로 산출될 수도 있다.In the above, it has been described that the average work completion rate is calculated as a number less than or equal to 1, but the average work completion rate may be calculated as a number greater than or equal to 1 depending on the situation of the previous project or the work performance status of the worker in the previous project.

다시 도 3을 참조하면, 서버는 추출된 복수의 작업자의 예상 작업 수량을 더하여 전체 예상 작업 수량을 산출한다(S300).Referring back to FIG. 3, the server calculates the total expected work quantity by adding the extracted expected work quantity of the plurality of workers (S300).

서버는 오픈예정 프로젝트의 참여 조건을 충족하여 기본 작업자로 추출된 복수의 작업자 각각의 예상 작업 수량을 전부 더하여 전체 예상 작업 수량을 산출한다.The server calculates the total expected work quantity by adding all the expected work quantities of each of the plurality of workers extracted as basic workers by meeting the conditions for participation in the open project.

도 5를 참조하면, 기본 작업자 A, B, C, D 및 E의 예상 작업 수량이 각각 4건, 20건, 4건, 20건 및 10건으로 산출된 경우, 전체 예상 작업 수량은 58건으로 산출될 수 있다. Referring to FIG. 5, when the estimated work quantity of basic workers A, B, C, D and E is calculated as 4, 20, 4, 20 and 10, respectively, the total estimated work quantity will be calculated as 58 cases. I can.

다시 도 3을 참조하면, 서버는 전체 예상 작업 수량 및 오픈예정 프로젝트의 필요 작업 수량을 비교하고(S400), 서버는 비교 결과에 따라, 작업자의 충원 또는 감원을 결정한다(S500). Referring back to FIG. 3, the server compares the total expected work quantity and the required work quantity of the project to be opened (S400), and the server determines the recruitment or reduction of workers according to the comparison result (S500).

전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량보다 적게 산출되는 것은, 오픈예정 프로젝트에 추출된 기본 작업자들만을 투입했을 때, 오픈예정 프로젝트의 필요 작업 수량을 달성하지 못한다는 것을 의미한다. 이러한 경우, 오픈예정 프로젝트에 기본 작업자들을 그대로 투입시켜 프로젝트를 오픈하게 되면, 프로젝트 기간 내에 필요한 데이터를 수집하는 데 실패하게 되고, 이에 따라 프로젝트 기간을 연장시켜야 하기 때문에 전체 예상 작업 수량과 필요 작업 수량의 차이만큼의 시간 및 비용적인 리소스가 추가로 발생하게 된다.The fact that the total estimated number of work is less than the required work amount of the open project means that the required work amount of the open project is not achieved when only basic workers extracted to the open project are put in. In this case, if the project is opened by putting basic workers into the project to be opened, it fails to collect necessary data within the project period, and accordingly, the project period must be extended. The difference in time and cost resources is additionally generated.

반면에, 전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량보다 많게 산출되는 것은, 오픈예정 프로젝트에 추출된 기본 작업자들을 투입했을 때, 오픈예정 프로젝트의 필요 작업 수량보다 초과하여 달성한다는 것을 의미한다. 이러한 경우, 오픈예정 프로젝트에 기본 작업자들을 그대로 투입시켜 프로젝트를 오픈하게 되면, 프로젝트에 필요 이상의 작업자가 투입되어 작업자 리소스를 낭비하게 된다.On the other hand, the fact that the total estimated number of work is calculated more than the required number of work of the open project means that when the basic workers extracted to the open project are put in, it exceeds the required work amount of the open project. In this case, when the project is opened by putting basic workers into the project to be opened, more workers than necessary are put into the project and worker resources are wasted.

따라서, 서버는 비교 결과에 따라, 기본 작업자가 포함된 작업자 풀에서 작업자(32)를 충원하거나 또는 감원하여 오픈예정 프로젝트의 작업자 풀을 확정하고, 오픈예정 프로젝트가 오픈되었을 때 적정한 수의 작업자가 프로젝트에 참여할 수 있도록 하는 것이 중요하다.Therefore, the server determines the worker pool of the project to be opened by recruiting or reducing the number of workers 32 from the worker pool including the basic worker according to the comparison result, and when the project to be opened is opened, the appropriate number of workers It is important to be able to participate.

이하에서는, 서버가 비교 결과에 따라 작업자의 충원을 수행하는 프로세스를 상세하게 설명하도록 한다.Hereinafter, a process in which the server performs recruitment of workers according to the comparison result will be described in detail.

도 6을 참조하면, 서버는 전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량보다 적은 경우, 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정한다(S510).Referring to FIG. 6, when the total expected number of jobs is less than the required number of jobs of an open project, the server determines the recruitment of a predetermined number of workers not included in the worker pool (S510).

이때, 서버는 추출된 복수의 작업자(즉, 기본 작업자)의 예상 작업 수량과 충원되는 작업자의 예상 작업 수량을 더하여 갱신되는 전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량 이상이 되도록 하는 범위 내에서 소정의 수의 작업자의 충원을 결정해야 한다.At this time, the server adds the estimated work quantity of the extracted plurality of workers (i.e., the basic worker) and the expected work quantity of the workers to be filled, so that the total expected work quantity updated is not less than the required work quantity of the open project. It should be decided to recruit a certain number of workers.

구체적으로, 서버는 작업자 풀에 포함되지 않는 복수의 작업자의 이전 프로젝트 이력에 기초하여 각 작업자별로 오픈예정 프로젝트의 매칭 점수를 산출한다(S511).Specifically, the server calculates a matching score of an open project for each worker based on the previous project history of a plurality of workers not included in the worker pool (S511).

이하에서는, 도 7 내지 도 9를 참조하여, 작업자의 오픈예정 프로젝트의 매칭 점수를 산출하는 방법을 상세히 설명하도록 한다. Hereinafter, a method of calculating a matching score for a worker's open project will be described in detail with reference to FIGS. 7 to 9.

먼저, 서버는 오픈예정 프로젝트에 포함되는 기능요소를 파악한다.First, the server identifies the functional elements included in the project to be opened.

프로젝트는 복수의 기능요소를 포함한다. 서버는 프로젝트에 포함된 복수의 기능요소를 기반으로 프로젝트의 유형을 분류할 수 있게 된다.The project contains multiple functional elements. The server can classify the project type based on a plurality of functional elements included in the project.

기능요소는 프로젝트를 수행하기 위한 작업 툴(tool)에 기반하여 결정된다.The functional elements are determined based on the work tool for carrying out the project.

예를 들어, 프로젝트를 수행하기 위해 바운딩 작업을 위한 바운딩 툴(Bounding Box Tool), 전사 작업을 위한 인풋 박스 툴(Input Box Tool) 및 분류 작업을 위한 메이크 스텝 툴(Make Step Tool)이 필요한 경우, 해당 프로젝트는 바운딩 기능요소, 전사 기능요소 및 분류 기능요소를 포함하는 것으로 분류될 수 있다.For example, if you need a Bounding Box Tool for bounding work, an Input Box Tool for transfer work, and a Make Step Tool for sorting work to perform a project, The project can be classified as including a bounding functional element, a transcription functional element, and a classification functional element.

해당 프로젝트에 참여하는 복수의 작업자(32)는 프로젝트에 포함된 각각의 기능요소별로 작업을 수행한다. A plurality of workers 32 participating in the project perform tasks for each functional element included in the project.

구체적으로, 복수의 작업자(32)는 바운딩 박스 툴을 이용하여 이미지에서 특정 객체를 선택하는 바운딩 작업을 수행하고, 인풋 박스 툴을 이용하여 선택된 특정 객체의 이름을 입력하는 전사 작업을 수행하고, 메이크 스텝 툴을 이용하여 이름이 부여된 특정 객체의 종류를 분류하는 분류 작업을 수행함으로써 각각 하나의 작업을 완료하게 된다.Specifically, the plurality of workers 32 perform a bounding operation of selecting a specific object from an image using a bounding box tool, perform a transfer operation of inputting the name of a specific object selected using the input box tool, and make Each task is completed by performing a classification task that classifies the type of a specific object assigned a name using the step tool.

그리고, 해당 프로젝트에 참여하는 복수의 검수자(34)는 프로젝트에 포함된 각각의 기능요소별로 검수를 수행한다. In addition, a plurality of inspectors 34 participating in the project perform inspection for each functional element included in the project.

구체적으로, 복수의 검수자(34)는 바운딩 박스 툴을 이용한 바운딩 작업이 알맞게 수행되었는지, 인풋 박스 툴을 이용한 전사 작업이 알맞게 수행되었는지, 메이크 스텝 툴을 이용한 분류 작업이 알맞게 수행되었는지를 판단하여 검수 통과 또는 반려로 검수 결과를 입력함으로써 각각 하나의 검수를 완료하게 된다.Specifically, the plurality of inspectors 34 judged whether the bounding operation using the bounding box tool was properly performed, whether the transfer operation using the input box tool was properly performed, and the classification operation using the make step tool was properly performed, and passed the inspection. Or, by entering the inspection result as a rejection, one inspection is completed for each.

서버는 오픈예정 프로젝트에 포함되는 기능요소를 파악한 후, 각 작업자(작업자 풀에 포함되지 않는 작업자)의 이전 프로젝트 중에서 오픈예정 프로젝트의 기능요소가 하나 이상 포함된 이전 프로젝트를 추출한다. After identifying the functional elements included in the project to be opened, the server extracts the previous project containing one or more functional elements of the project to be opened from the previous projects of each worker (workers who are not included in the worker pool).

도 7에 도시된 바와 같이, 오픈예정 프로젝트가 기능요소 a, 기능요소 b, 기능요소 d 및 기능요소 f를 포함하는 경우, 서버는 각 작업자(32)가 이전에 참여했던 하나 이상의 프로젝트 중에서, 상기 기능요소 a, 기능요소 b, 기능요소 d 및 기능요소 f 중에서 적어도 하나의 기능요소를 포함하고 있는 이전 프로젝트를 추출한다.As shown in FIG. 7, when the project to be opened includes a functional element a, a functional element b, a functional element d, and a functional element f, the server is one or more projects that each worker 32 has previously participated in, The previous project including at least one functional element among functional element a, functional element b, functional element d, and functional element f is extracted.

도 8을 참조하면, 특정 작업자가 이전 프로젝트 A, B, C 및 D에 참여한 경우, 서버는 기능요소 a를 포함하는 이전 프로젝트 A, 기능요소 b, 기능요소 d 및 기능요소 f를 포함하는 이전 프로젝트 B, 기능요소 a 및 기능요소 d를 포함하는 이전 프로젝트 C를 추출하게 된다. Referring to FIG. 8, when a specific worker participated in previous projects A, B, C and D, the server is a previous project including functional element a, functional element b, functional element d, and functional element f. The previous project C containing B, functional element a and functional element d will be extracted.

이후, 서버는 추출된 이전 프로젝트에 포함된 기능요소 중에서 오픈예정 프로젝트의 기능요소에 해당하는 이전 프로젝트의 기능요소를 기초로 이전 프로젝트에 대한 작업자의 경험점수를 산출하고, 산출된 이전 프로젝트에 대한 작업자의 경험점수를 전부 더하여 각 작업자의 오픈예정 프로젝트의 매칭 점수를 산출한다.Thereafter, the server calculates the worker's experience score for the previous project based on the functional element of the previous project, which corresponds to the functional element of the project to be opened, among the extracted functional elements included in the previous project, and calculates the worker for the previous project. By adding all of the experience points of, the matching score of each worker's open project is calculated.

구체적으로, 오픈예정 프로젝트의 기능요소에 해당하는 이전 프로젝트의 기능요소에 할당된 비율(a)과 작업자가 해당 이전 프로젝트에서 수행한 작업 건수 중에서 검수 통과된 작업 건수(b)를 곱함으로써, 해당 이전 프로젝트에 대한 상기 작업자의 경험점수가 산출될 수 있다.Specifically, by multiplying the percentage (a) allocated to the functional elements of the previous project that corresponds to the functional elements of the open project and the number of tasks that have passed inspection (b) among the number of tasks performed by the worker in the previous project, The worker's experience score for the project can be calculated.

프로젝트에 포함된 복수의 기능요소는 중요도 등에 따라 프로젝트에서 상이한 비중이 할당될 수 있다. 즉, 바운딩 기능요소, 전사 기능요소 및 분류 기능요소가 포함된 프로젝트에서 바운딩 작업의 난이도가 높다거나, 작업자들이 바운딩 작업을 수행하는 데 더 많은 시간을 소요했다는 등의 이유로 중요도가 큰 경우, 바운딩 기능요소에 전사 기능요소 및 분류 기능요소보다 큰 비중이 할당될 수 있다. 예를 들어, 바운딩 기능요소가 50%, 전사 기능요소와 분류 기능요소가 각각 25%의 비중을 차지할 수 있다.The multiple functional elements included in the project may be assigned different weights in the project depending on the importance, etc. In other words, in a project that includes a bounding function element, a transcription function element, and a classification function element, the bounding function is of high importance due to the high difficulty of the bounding operation or that the workers spent more time performing the bounding operation. An element may be assigned a greater weight than the transfer functional element and the classification functional element. For example, a bounding functional element may occupy 50%, and a transfer functional element and a classification functional element may each account for 25%.

도 8을 참조하면, 이전 프로젝트 A에서 기능요소 a가 46%, 기능요소 c가 33%, 기능요소 f가 21%의 비중을 차지하고 있어, 기능요소 a의 중요도가 높음을 알 수 있다.Referring to FIG. 8, in the previous project A, functional element a occupied 46%, functional element c 33%, and functional element f 21%, so it can be seen that the importance of functional element a is high.

따라서, 서버는 오픈예정 프로젝트의 기능요소에 해당하는 이전 프로젝트의 기능요소 각각의 비중과 해당 기능요소에서 작업자가 검수 통과받은 작업 건수를 곱하여, 해당 이전 프로젝트에서의 작업자의 경험 점수를 산출함으로써, 작업자의 경험 점수에 이전 프로젝트별로 상이한 기능요소의 비중에 따른 작업자의 수행 능력이 적용될 수 있도록 하는 것이다.Therefore, the server multiplies the weight of each functional element of the previous project, which corresponds to the functional element of the project to be opened, and the number of tasks that the operator has passed the inspection in the functional element, and calculates the operator's experience score in the previous project. The worker's performance ability according to the weight of different functional elements for each previous project can be applied to the experience score of

도 8을 참조하면, 이전 프로젝트 A는 오픈예정 프로젝트의 기능요소 중에서 기능요소 a를 포함하고 있으며, 기능요소 a의 작업시간 비율은 46%이다. 이전 프로젝트 B는 오픈예정 프로젝트의 기능요소 중에서 기능요소 b, 기능요소 d 및 기능요소 f를 포함하고 있으며, 기능요소 b, 기능요소 d 및 기능요소 f의 작업시간 비율은 각각 30%, 20% 및 35%이다. 이전 프로젝트 C는 오픈예정 프로젝트의 기능요소 중에서 기능요소 a 및 기능요소 d를 포함하고 있으며, 기능요소 a 및 기능요소 d의 작업시간 비율은 각각 30% 및 40%이다.Referring to FIG. 8, the previous project A includes the functional element a among the functional elements of the project to be opened, and the working time ratio of the functional element a is 46%. The previous project B included functional element b, functional element d, and functional element f among the functional elements of the project to be opened, and the working time ratio of functional element b, functional element d and functional element f was 30%, 20%, and respectively. 35%. The previous project C included functional element a and functional element d among the functional elements of the project to be opened, and the working time ratio of functional element a and functional element d was 30% and 40%, respectively.

도 9를 참조하면, 특정 작업자가 이전 프로젝트 A에 참여하여 (최종적으로) 검수 통과받은 작업 건수가 10건이고, 이전 프로젝트 B에 참여하여 (최종적으로) 검수 통과받은 작업 건수가 20건이고, 이전 프로젝트 C에 참여하여 (최종적으로) 검수 통과받은 작업 건수가 50건이다.Referring to FIG. 9, the number of tasks that a specific worker participated in the previous project A and (finally) passed the inspection is 10, the number of tasks that have participated in the previous project B and (finally) passed the inspection is 20, and There are 50 jobs that participated in Project C and (finally) passed the inspection.

따라서, 이전 프로젝트 A에 대한 특정 작업자의 경험점수는 0.46×10=4.6이다. 이전 프로젝트 B에 대한 특정 작업자의 경험점수는 (0.3+0.2+0.35)×20=17이다. 이전 프로젝트 C에 대한 특정 작업자의 경험점수는 (0.3+0.4)×50=35이다.Therefore, the experience score of a particular worker on the previous project A is 0.46 × 10 = 4.6. The experience score of a specific worker on the previous project B is (0.3+0.2+0.35)×20=17. The experience score for a particular worker on the previous project C was (0.3+0.4)×50=35.

결과적으로, 특정 검수자의 오픈예정 프로젝트의 매칭 점수는 4.6+17+35 = 56.6점으로 산출되게 된다.As a result, the matching score of a specific inspector's open project is calculated as 4.6+17+35 = 56.6 points.

다시 도 6을 참조하면, 서버는 매칭 점수에 기초하여 작업자 풀에 포함되지 않는 복수의 작업자 중에서 1명의 작업자를 선정한다(S512).Referring back to FIG. 6, the server selects one worker from among a plurality of workers not included in the worker pool based on the matching score (S512).

즉, 서버는 작업자 풀에 포함되지 않는 복수의 작업자의 오픈예정 프로젝트의 매칭점수를 산출하고, 도 10에 도시된 바와 같이 작업자별로 산출된 복수의 오픈예정 프로젝트 매칭점수를 내림차순으로 정렬하여 1명의 작업자를 선정한다. That is, the server calculates the matching scores of the open project of a plurality of workers not included in the worker pool, and sorts the matching scores of the plurality of open projected projects calculated for each worker in descending order as shown in FIG. Select

도 10을 참조하면, 서버는 작업자 풀에 포함되지 않는 복수의 작업자 중에서 오픈예정 프로젝트 매칭점수가 제일 높은 작업자를 선정할 수 있다.Referring to FIG. 10, the server may select a worker with the highest matching score for an open project among a plurality of workers not included in the worker pool.

다시 도 6을 참조하면, 서버는 작업자 풀에 포함되는 복수의 작업자(즉, 기본 작업자)의 예상 작업 수량과 충원되는 작업자(즉, 충원을 위해 선정된 작업자)의 예상 작업 수량을 더하여 전체 예상 작업 수량을 갱신한다(S513).Referring to FIG. 6 again, the server adds the expected work quantity of a plurality of workers (ie, basic workers) included in the worker pool and the expected work quantity of the workers to be filled (ie, workers selected for replenishment), and the total expected work The quantity is updated (S513).

충원을 위해 선정된 작업자의 예상 작업 수량을 산출하는 방법은 상술한 바와 같으므로 상세한 설명한 생략하도록 한다.Since the method of calculating the expected work quantity of the worker selected for recruitment is the same as described above, detailed description thereof will be omitted.

이어서, 서버는 갱신된 전체 예상 작업 수량이 필요 작업 수량 이상인지를 판단한다(S514).Subsequently, the server determines whether the updated total estimated number of jobs is equal to or greater than the required number of jobs (S514).

갱신된 전체 예상 작업 수량이 필요 작업 수량보다 적은 경우, 서버는 S511 내지 S514을 반복하여 수행한다. If the updated total expected work quantity is less than the required work quantity, the server repeatedly performs S511 to S514.

즉, 작업자를 충원했음에도 여전히 전체 예상 작업 수량이 필요 작업 수량보다 적은 경우, 더많은 작업자가 필요한 것이기 때문에, 서버는 작업자 풀에 포함되지 않는 복수의 작업자 중에서 이전에 선정된 작업자를 제외하고, 1명의 작업자를 반복하여 선정하게 된다.In other words, if the total estimated number of jobs is still less than the required number of jobs even though the number of workers is filled, more workers are required, so the server is one worker, excluding previously selected workers among multiple workers not included in the worker pool. Will be selected repeatedly.

갱신된 전체 예상 작업 수량이 필요 작업 수량보다 많은 경우, 서버는 아래 수식에 기초하여 선정된 소정의 수의 작업자의 충원을 결정한다(S515).When the updated total estimated number of jobs is greater than the required number of jobs, the server determines the recruitment of the selected predetermined number of workers based on the following equation (S515).

적정 작업자의 수 = 작업자 풀에 포함되는 복수의 작업자의 수 + n, 여기서, n은 작업자 선정을 반복한 횟수Appropriate number of workers = number of multiple workers included in the worker pool + n, where n is the number of repetitions of worker selection

즉, 서버는 1차로 1명의 작업자를 선정하여 충원하였음에도, 갱신된 전체 예상 작업 수량이 여전히 필요 작업 수량에 미달하는 경우, 다시 2차로 1명의 작업자를 선정하여 충원하고, 갱신된 전체 예상 작업 수량이 여전히 필요 작업 수량에 미달하여 다시 3차로 1명의 작업자를 선정하여 충원한 결과, 갱신된 전체 예상 작업 수량이 필요 작업 수량 이상이 되면 작업자 충원을 중단하게 된다.That is, even though the server initially selects and fills one worker, if the updated total estimated work quantity is still less than the required work quantity, it selects and replenishes one worker again, and the updated total estimated work quantity is As a result of selecting and replenishing one worker again three times because the required number of work is still less than the required work quantity, the recruitment of workers is stopped when the updated total estimated work quantity is greater than the required work quantity.

서버는 작업자 선정을 3회 반복하였으므로, 소정의 수를 3으로 결정하여 3명의 작업자의 충원을 결정하게 된다. Since the server has repeated the selection of workers 3 times, the predetermined number is determined as 3 to determine the recruitment of 3 workers.

따라서, 오픈예정 프로젝트의 적정 작업자의 수는 작업자 풀에 포함되는 복수의 작업자의 수인 5명에 충원되는 작업자 3명을 더한 8명이 되는 것이다.Therefore, the appropriate number of workers for the project to be opened is 8 workers, plus 3 workers, which is the number of multiple workers included in the worker pool.

상술한 바와 같이, 서버는 작업자를 1명씩 충원하면서 예상 작업 수량이 필요 작업 수량 이상이 되는 시점에 작업자가 적정하게 모집된 것으로 판단하여 충원을 중단한다.As described above, the server recruits workers one by one, and stops the recruitment by determining that the workers have been appropriately recruited when the expected number of jobs becomes greater than or equal to the required number of jobs.

이하에서는, 서버가 비교 결과에 따라 작업자의 감원을 수행하는 프로세스를 상세하게 설명하도록 한다.Hereinafter, a process in which the server performs the reduction of workers according to the comparison result will be described in detail.

도 11을 참조하면, 서버는 전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량보다 많은 경우, 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정한다(S520).Referring to FIG. 11, when the total expected number of jobs is greater than the required number of jobs of an open project, the server determines the reduction of a predetermined number of workers included in the worker pool (S520).

이때, 서버는 추출된 복수의 작업자(즉, 기본 작업자)의 예상 작업 수량으로부터 감원되는 작업자의 예상 작업 수량을 감하여 갱신되는 전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량 이상이 되도록 하는 범위 내에서 상기 소정의 수의 작업자의 감원을 결정해야 한다.At this time, the server subtracts the estimated work quantity of the workers to be reduced from the estimated work quantity of the extracted plurality of workers (i.e., the basic worker), so that the total expected work quantity updated is not less than the required work quantity of the open project. Reduction of the predetermined number of workers must be determined.

구체적으로, 서버는 예상 작업 수량에 기초하여 작업자 풀에 포함되는 복수의 작업자 중에서 1명의 작업자를 선정한다(S521).Specifically, the server selects one worker from among a plurality of workers included in the worker pool based on the expected number of jobs (S521).

서버는 작업자 풀에 포함되는 복수의 작업자(즉, 기본 작업자)의 예상 작업 수량을 오름차순으로 정렬하여 1명의 작업자를 선정한다. 즉, 최초에 생성된 작업자 풀에 이미 필요 이상으로 많은 작업자가 포함되어 있기 때문에, 서버는 예상 작업 수량이 적은 순서대로 작업자 풀에 포함되어 있는 작업자를 감원하게 되는 것이다.The server selects one worker by sorting the expected number of jobs of a plurality of workers (ie, basic workers) included in the worker pool in ascending order. In other words, since the initially created worker pool already contains more workers than necessary, the server reduces the number of workers included in the worker pool in the order of the smallest expected number of jobs.

이어서, 서버는 작업자 풀에 포함되는 복수의 작업자(즉, 기본 작업자)의 예상 작업 수량으로부터 감원되는 작업자(즉, 감원을 위해 선정된 작업자)의 예상 작업 수량을 감하여 전체 예상 작업 수량을 갱신하고(S523), 갱신된 전체 예상 작업 수량이 필요 작업 수량 이하인지를 판단한다(S524).Subsequently, the server updates the total expected work quantity by subtracting the expected work quantity of the reduced workers (i.e., the workers selected for reduction) from the expected work quantity of a plurality of workers (i.e., basic workers) included in the worker pool ( S523), it is determined whether the updated total estimated work quantity is less than or equal to the required work quantity (S524).

갱신된 전체 예상 작업 수량이 필요 작업 수량보다 많은 경우, 서버는 S521 내지 S524을 반복하여 수행한다. If the updated total expected work quantity is greater than the required work quantity, the server repeatedly performs S521 to S524.

즉, 작업자를 감원했음에도 여전히 전체 예상 작업 수량이 필요 작업 수량보다 많은 경우, 더많은 작업자가 방출되어야 하는 것이기 때문에, 서버는 작업자 풀에 포함되는 복수의 작업자(즉, 기본 작업자) 중에서 이전에 선정된 작업자를 제외하고, 1명의 작업자를 반복하여 선정하게 된다.In other words, if the total estimated work quantity is still greater than the required work quantity even though the number of workers is reduced, since more workers must be released, the server is a previously selected worker among a plurality of workers (i.e., basic workers) included in the worker pool. Except for, one worker is repeatedly selected.

갱신된 전체 예상 작업 수량이 필요 작업 수량보다 적은 경우, 서버는 아래 수식에 기초하여 선정된 소정의 수의 작업자의 감원을 결정한다(S525).If the updated total expected number of jobs is less than the required number of jobs, the server determines the reduction of the selected number of workers based on the following equation (S525).

적정 작업자의 수 = (작업자 풀에 포함되는 복수의 작업자의 수 - (n-1)), n은 작업자 선정을 반복한 횟수Appropriate number of workers = (number of multiple workers included in the worker pool-(n-1)), n is the number of repetitions of worker selection

즉, 서버는 1차로 1명의 작업자를 선정하여 감원하였음에도, 갱신된 전체 예상 작업 수량이 여전히 필요 작업 수량을 초과하는 경우, 다시 2차로 1명의 작업자를 선정하여 감원하고, 갱신된 전체 예상 작업 수량이 여전히 필요 작업 수량을 초과하여 다시 3차로 1명의 작업자를 선정하여 감원한 결과, 갱신된 전체 예상 작업 수량이 필요 작업 수량 미만이 되면 작업자 감원을 중단하게 된다.That is, even though the server initially selects and reduces the number of workers, if the updated total expected work quantity still exceeds the required work quantity, the server selects and reduces the number of workers again secondly, and the updated total expected work quantity is reduced. As a result of selecting and reducing one worker again three times because the required number of work is still exceeding the required number of work, the total number of updated expected work is less than the required number of work, the reduction of workers is stopped.

서버는 작업자 선정을 3회 반복하였으므로, 소정의 수를 2로 결정하여 2명의 작업자의 감원을 결정하게 된다. Since the server repeats the selection of workers three times, the predetermined number is determined as 2 to determine the reduction of two workers.

상술한 바와 같이, 작업자의 감원은 전체 예상 작업 수량이 필요 작업 수량 이상이 되도록 하는 범위 내에서 이루어져야 때문에, 전체 예상 작업 수량이 필요 작업 수량보다 작아진 3회가 아닌 바로 그 전 횟수인 2회를 적용하여 소정의 수의 작업자를 결정하는 것이다.As described above, since the total expected number of work should be made within the range so that the total expected work quantity is equal to or greater than the required work quantity, the total expected work quantity is not 3 times smaller than the required work quantity, but the previous number of two times. It is applied to determine a predetermined number of workers.

따라서, 오픈예정 프로젝트의 적정 작업자의 수는 작업자 풀에 포함되는 복수의 작업자의 수인 5명에서 감원되는 작업자 2명을 감한 3명이 되는 것이다.Therefore, the appropriate number of workers for the project to be opened is 3 workers minus 2 workers reduced from 5, the number of multiple workers included in the worker pool.

상술한 바와 같이, 서버는 작업자를 1명씩 감원하면서 예상 작업 수량이 필요 작업 수량 미만이 되는 시점에 작업자가 적정하게 모집된 것으로 판단하여 감원을 중단한다.As described above, the server reduces the number of workers one by one, and stops the reduction by determining that the workers have been properly recruited when the expected number of jobs becomes less than the required number of jobs.

이어서, 서버는 결정에 따라, 작업자를 충원 또는 감원하여 오픈예정 프로젝트의 작업자 풀을 확정한다(S600).Subsequently, according to the decision, the server recruits or reduces the number of workers to determine the worker pool of the project to be opened (S600).

즉, 서버는 작업자 충원 프로세스에 따라, 소정의 수를 결정하고, 소정의 수의 작업자를 충원하여 오픈예정 프로젝트의 작업자 풀을 확정하게 된다.That is, the server determines a predetermined number according to the worker recruitment process, and recruits a predetermined number of workers to determine the worker pool of the project to be opened.

도 12a를 참조하면, 최초 전체 예상 작업 수량이 80건으로 필요 작업 수량 100건보다 적기 때문에, 서버는 1차로 1명의 작업자를 선정하여 충원한다. 그리고, 충원된 작업자의 예상 작업 수량을 더하여 갱신된 전체 예상 작업 수량이 95건으로 여전히 필요 작업 수량 100건 보다 적기 때문에, 서버는 2차로 1명의 작업자를 추가로 선정하여 충원한다. 그리고, 추가로 충원된 작업자의 예상 작업 수량을 더하여 갱신된 전체 예상 작업 수량이 105건으로 필요 작업 수량 100건 보다 많아져, 서버는 충원을 반복한 횟수인 2를 소정의 수로 결정하고, 작업자 풀에 2명을 충원하여 오픈예정 프로젝트의 작업자 풀을 9+2=11명으로 확정하게 된다.Referring to FIG. 12A, since the initial total estimated number of jobs is 80, which is less than 100 required jobs, the server first selects and fills one worker. And, since the total expected number of jobs updated by adding the expected number of jobs of the filled workers is 95 cases, which is still less than 100 cases of the required number of jobs, the server secondly selects and recruits one additional worker. And, by adding the estimated work quantity of additionally filled workers, the total expected work quantity updated is 105 cases, which is more than 100 required work quantity, and the server determines 2, the number of times of repetition, as a predetermined number, and By adding 2 people, the worker pool for the project to be opened will be confirmed as 9+2=11.

또한, 서버는 작업자 감원 프로세스에 따라, 소정의 수를 결정하고, 소정의 수의 작업자를 감원하여 오픈예정 프로젝트의 작업자 풀을 확정하게 된다.In addition, the server determines a predetermined number of workers according to the worker reduction process, and reduces the number of workers to determine the worker pool of the project to be opened.

도 12b를 참조하면, 최초 전체 예상 작업 수량이 120건으로 필요 작업 수량 100건보다 많기 때문에, 서버는 1차로 1명의 작업자를 선정하여 감원한다. 그리고, 감원된 작업자의 예상 작업 수량을 감하여 갱신된 전체 예상 작업 수량이 110건으로 여전히 필요 작업 수량 100건 보다 많기 때문에, 서버는 2차로 1명의 작업자를 추가로 선정하여 감원한다. 그리고, 추가로 감원된 작업자의 예상 작업 수량을 감하여 갱신된 전체 예상 작업 수량이 90건으로 필요 작업 수량 100건 보다 적어져, 서버는 감원을 반복한 횟수인 2에서 1을 뺀 값을 소정의 수로 결정하고, 작업자 풀에 1명을 감원하여 오픈예정 프로젝트의 작업자 풀을 9-1=8명으로 확정하게 된다.Referring to FIG. 12B, since the initial total estimated number of jobs is 120, which is more than 100 required jobs, the server first selects and reduces the number of workers. In addition, since the total estimated number of jobs updated by subtracting the expected number of jobs of the reduced workers is 110, which is still more than 100 required jobs, the server secondly selects and reduces the number of additional workers. And, by subtracting the expected number of jobs of additionally reduced workers, the total expected number of jobs updated is 90, which is less than the required number of jobs, less than 100, and the server determines the number of times less than 2, which is the number of repeated reductions, by 1 And, by reducing 1 person from the worker pool, the worker pool for the project to be opened will be confirmed as 9-1=8.

상술한 바와 같이, 작업자의 충원 또는 감원을 통해 오픈예정 프로젝트의 작업자 풀에 과하지도 않고 부족하지도 않게 적정한 수의 작업자들이 포함되게 함으로써, 각 작업자에게 적정한 수량의 작업이 배정될 수 있도록 하여 (각 작업자에게 너무 많거나 너무 적은 수량의 작업이 배정되지 않기 때문에) 작업 속도 및 작업 품질을 높일 수 있다.As described above, by recruiting or reducing workers to include an appropriate number of workers so as not to be excessive or insufficient in the worker pool of the project to be opened, the appropriate number of jobs can be assigned to each worker (each worker Because they are not assigned too many or too few tasks), they can increase the speed and quality of work.

한편, 상술한 설명에서, 단계 S11 내지 S600은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 후술하는 도 13의 내용은 도 1 내지 도 12의 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법에도 적용될 수 있다.Meanwhile, in the above description, steps S11 to S600 may be further divided into additional steps or may be combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted as necessary, and the order between steps may be changed. In addition, even if other contents are omitted, the contents of FIG. 13 to be described later can also be applied to the method of determining the appropriate number of workers in the worker pool using the expected work quantity of the crowdsourcing-based project of FIGS. 1 to 12.

이하에서는 도 13을 참조하여 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 장치(700)에 대하여 설명하도록 한다.Hereinafter, an apparatus 700 for determining an appropriate number of workers in a worker pool using an expected number of jobs of a crowdsourcing-based project according to an embodiment of the present invention will be described with reference to FIG. 13.

도 13은 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 장치를 설명하기 위한 도면이다.13 is a view for explaining an apparatus for determining an appropriate number of workers in a worker pool using an expected number of work in a crowdsourcing-based project according to an embodiment of the present invention.

도 13을 참조하면, 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 장치(700)(이하, 적정 작업자 수 확정 장치)는 통신모듈(710), 메모리(720) 및 프로세서(730)를 포함한다.Referring to FIG. 13, a device 700 (hereinafter, a device for determining an appropriate number of workers) of a worker pool using an expected number of tasks for a crowdsourcing-based project includes a communication module 710, a memory 720, and a processor ( 730).

통신모듈(710)은 하나의 프로젝트에 대한 크라우드소싱 기반의 작업을 복수의 작업자(32)에게 송신하여 작업 수행을 요청하고, 복수의 작업자(32)로부터 작업 결과를 수신한다. 복수의 작업자(32)로부터 수신된 작업 결과를 복수의 검수자(34)에게 송신하여 검수를 요청하고, 복수의 검수자(34)로부터 검수 결과를 수신한다. The communication module 710 transmits a crowdsourcing-based work for one project to a plurality of workers 32 to request a task to be performed, and receives work results from the plurality of workers 32. The work results received from the plurality of workers 32 are transmitted to the plurality of inspectors 34 to request inspection, and the inspection results are received from the plurality of inspectors 34.

메모리(720)에는 통신모듈(710)로부터 수신한 데이터에 기초하여 작업자의 충원 또는 감원을 결정하고, 결정에 따라 작업자를 충원 또는 감원하여 오픈예정 프로젝트의 작업자 풀의 적정 작업자 수를 확정하기 위한 프로그램이 저장된다.In the memory 720, a program for determining the recruitment or reduction of workers based on the data received from the communication module 710, and determining the appropriate number of workers in the worker pool of the open project by adding or reducing workers according to the decision Is saved.

프로세서(730)는 메모리(720)에 저장된 프로그램을 실행시킨다. 프로세서(730)는 메모리(720)에 저장된 프로그램을 실행시킴에 따라, 작업자 풀에 포함된 작업자별로 예상 작업 수량을 산출하고, 이를 더하여 전체 예상 작업 수량을 산출하고, 산출된 전체 예상 작업 수량과 오픈예정 프로젝트의 필요 작업 수량을 비교하여, 비교 결과에 따라 작업나의 충원 또는 감원을 결정하고, 결정에 따라 작업자를 충원 또는 감원하여 오픈예정 프로젝트의 작업자 풀의 적정 작업자 수를 확정할 수 있다.The processor 730 executes a program stored in the memory 720. As the processor 730 executes the program stored in the memory 720, it calculates the expected work quantity for each worker included in the worker pool, calculates the total expected work quantity by adding it, and calculates the total expected work quantity and opens It is possible to determine the number of workers in the worker pool of the project to be opened by comparing the required number of work in the scheduled project, determining the recruitment or reduction of workers according to the comparison result, and recruiting or reducing workers according to the decision.

프로세서(730)는 전체 예상 작업 수량과 오픈예정 프로젝트의 필요 작업 수량보다 적은 경우, 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정하는데, 이때, 프로세서(730)는 복수의 작업자의 예상 작업 수량과 충원되는 작업자의 예상 작업 수량을 더하여 갱신되는 전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량 이상이 되도록 하는 범위 내에서 소정의 수의 작업자의 충원을 결정할 수 있다.The processor 730 determines the recruitment of a predetermined number of workers that are not included in the worker pool when the total number of tasks is less than the expected number of tasks and the required number of tasks of the project to be opened. In this case, the processor 730 The recruitment of a predetermined number of workers may be determined within a range such that the total expected work quantity updated by adding the work quantity and the expected work quantity of workers to be filled is equal to or greater than the required work quantity of an open project.

프로세서(730)는 전체 예상 작업 수량과 오픈예정 프로젝트의 필요 작업 수량보다 많은 경우, 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정하는데, 이때, 프로세서(730)는 복수의 작업자의 예상 작업 수량으로부터 감원되는 작업자의 예상 작업 수량을 감하여 갱신되는 전체 예상 작업 수량이 오픈예정 프로젝트의 필요 작업 수량 이상이 되도록 하는 범위 내에서 소정의 수의 작업자의 감원을 결정할 수 있다.The processor 730 determines the reduction of a predetermined number of workers included in the worker pool when the total expected work quantity and the required work quantity of an open project are greater than the total expected work quantity, and in this case, the processor 730 is the expected work of a plurality of workers. It is possible to determine the reduction of a predetermined number of workers within a range such that the total expected number of jobs updated by subtracting the expected number of jobs of workers to be reduced from the quantity is greater than or equal to the required number of jobs of the open project.

도 13을 참조하여 설명한 적정 작업자 수 확정 장치(700)는 상술한 서버의 구성요소로 제공될 수 있다.The apparatus 700 for determining the appropriate number of workers described with reference to FIG. 13 may be provided as a component of the above-described server.

이상에서 전술한 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method for determining the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project according to an embodiment of the present invention described above is implemented as a program (or application) to be executed in combination with a computer that is hardware. Can be stored in.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program includes C, C++, JAVA, Ruby, which can be read by a processor (CPU) of the computer through the device interface of the computer, in order for the computer to read the program and execute the methods implemented as a program. It may include a code (Code) coded in a computer language such as machine language. Such code may include a functional code related to a function defining necessary functions for executing the methods, and a control code related to an execution procedure necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, such code may further include additional information required for the processor of the computer to execute the functions or code related to a memory reference to which location (address address) of the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server in the remote in order to execute the functions, the code uses the communication module of the computer to determine how It may further include a communication-related code for whether to communicate or what information or media to transmit and receive during communication.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The stored medium is not a medium that stores data for a short moment, such as a register, cache, memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer. Further, the medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored in a distributed manner.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention do.

10 : 의뢰자
20 : 서비스 제공 업체
30 : 대중
32 : 작업자
34 : 검수자
700 : 적정 작업자 수 확정 장치
710 : 통신모듈
720 : 메모리
730 : 프로세서10: Client
20: service provider
30: public
32: worker
34: inspector
700: device for determining the appropriate number of workers
710: communication module
720: memory
730: processor

Claims (10)

컴퓨터에 의해 수행되는 방법으로서,
오픈예정인 크라우드소싱 기반 프로젝트(이하, 오픈예정 프로젝트)의 참여 조건을 충족하는 복수의 작업자를 추출하여 작업자 풀을 생성하는 단계;
추출된 각각의 작업자별로 예상 작업 수량을 산출하는 단계;
추출된 상기 복수의 작업자의 예상 작업 수량을 더하여 전체 예상 작업 수량을 산출하는 단계;
상기 전체 예상 작업 수량 및 상기 오픈예정 프로젝트의 필요 작업 수량을 비교하는 단계;
상기 비교 결과에 따라, 작업자의 충원 또는 감원을 결정하는 단계; 및
상기 결정에 따라, 작업자를 충원 또는 감원하여 상기 오픈예정 프로젝트의 작업자 풀을 확정하는 단계를 포함하고,
상기 예상 작업 수량을 산출하는 단계는,
기대 작업 수량과 작업자의 이전 프로젝트 이력의 평균 작업 완수율을 곱하여 상기 예상 작업 수량을 산출하고,
상기 기대 작업 수량은 상기 오픈예정 프로젝트의 필요 작업 수량을 상기 추출된 복수의 작업자의 수로 나누어 산출하고,
상기 평균 작업 완수율은 이전 프로젝트의 작업자가 수행한 전체 작업 건수 대비 검수 통과된 작업 건수의 비율을 평균하여 산출하고,
상기 검수 통과된 작업 건수는 최초 검수 결과가 검수 통과인 작업 건수 및 최초 검수 결과는 반려이지만 재작업 검수 결과가 검수 통과인 작업 건수를 포함하고, 최초 검수 결과가 반려이고 작업자가 재작업을 포기한 작업 건수 및 작업자에게 작업 배정이 취소된 작업 건수를 포함하지 않고,
상기 비교 결과에 따라, 작업자의 충원 또는 감원을 결정하는 단계는,
상기 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량보다 적은 경우, 상기 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정하는 단계를 포함하고,
상기 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정하는 단계는,
상기 추출된 상기 복수의 작업자의 예상 작업 수량과 충원되는 작업자의 예상 작업 수량을 더하여 갱신되는 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량 이상이 되는 최초 시점에서 상기 소정의 수의 작업자의 충원을 결정하고,
상기 비교 결과에 따라, 작업자의 충원 또는 감원을 결정하는 단계는,
상기 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량보다 많은 경우, 상기 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정하는 단계를 포함하고,
상기 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정하는 단계는,
상기 추출된 상기 복수의 작업자의 예상 작업 수량으로부터 감원되는 작업자의 예상 작업 수량을 감하여 갱신되는 전체 예상 작업 수량이 상기 오픈예정 프로젝트의 필요 작업 수량 이상이 되는 최후 시점에서 상기 소정의 수의 작업자의 감원을 결정하고,
상기 오픈예정 프로젝트의 오픈시 상기 오픈예정 프로젝트의 확정된 작업자 풀에 속하는 복수의 작업자에게 작업을 할당하여 작업 요청하는,
크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법.As a method performed by a computer,
Generating a worker pool by extracting a plurality of workers that meet participation conditions for a crowdsourcing-based project (hereinafter, an open project) that is scheduled to be opened;
Calculating an expected work quantity for each of the extracted workers;
Calculating a total estimated work quantity by adding the extracted expected work quantity of the plurality of workers;
Comparing the total expected work quantity and the required work quantity of the open project;
Determining the recruitment or reduction of workers according to the comparison result; And
According to the determination, including the step of determining the worker pool of the open project by recruiting or reducing workers,
The step of calculating the expected work quantity,
The expected work quantity is calculated by multiplying the expected work quantity and the average work completion rate of the worker's previous project history,
The expected work quantity is calculated by dividing the required work quantity of the open project by the number of the extracted plurality of workers,
The average task completion rate is calculated by averaging the ratio of the number of tasks that have passed inspection to the total number of tasks performed by the workers of the previous project,
The number of jobs that passed the above inspection includes the number of jobs in which the initial inspection result passed the inspection and the number of jobs in which the initial inspection result was rejected, but the rework inspection result passed inspection, and the initial inspection result was rejected and the operator abandoned rework. It does not include the number of cases and the number of jobs whose job assignment was canceled to the worker
According to the comparison result, the step of determining the recruitment or reduction of workers,
When the total expected number of jobs is less than the required number of jobs of the project to be opened, determining the recruitment of a predetermined number of workers not included in the worker pool,
The step of determining the recruitment of a predetermined number of workers not included in the worker pool,
Replenishment of the predetermined number of workers at the initial point in time when the total estimated work quantity updated by adding the extracted expected work quantity of the plurality of workers and the expected work quantity of workers to be filled becomes equal to or greater than the required work quantity of the open project To decide,
According to the comparison result, the step of determining the recruitment or reduction of workers,
When the total expected number of jobs is greater than the required number of jobs of the project to be opened, determining the reduction of a predetermined number of workers included in the worker pool,
The step of determining the reduction of a predetermined number of workers included in the worker pool,
Reduction of the predetermined number of workers at the last point in which the total expected work quantity updated by subtracting the expected work quantity of the reduced workers from the extracted expected work quantity of the plurality of workers becomes equal to or greater than the required work quantity of the open project To decide,
When the open project is opened, requesting work by assigning a task to a plurality of workers belonging to the fixed worker pool of the open project,
A method of determining the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 작업자 풀에 포함되지 않는 소정의 수의 작업자의 충원을 결정하는 단계는,
상기 작업자 풀에 포함되지 않는 복수의 작업자의 이전 프로젝트 이력에 기초하여 각 작업자별로 상기 오픈예정 프로젝트의 매칭 점수를 산출하는 단계;
상기 매칭 점수에 기초하여 상기 작업자 풀에 포함되지 않는 복수의 작업자 중에서 소정의 수의 작업자를 선정하는 단계; 및
선정된 상기 소정의 수의 작업자의 충원을 결정하는 단계를 포함하는,
크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법.The method of claim 1,
The step of determining the recruitment of a predetermined number of workers not included in the worker pool,
Calculating a matching score of the project to be opened for each worker based on previous project histories of a plurality of workers not included in the worker pool;
Selecting a predetermined number of workers from among a plurality of workers not included in the worker pool based on the matching score; And
Including the step of determining the recruitment of the selected predetermined number of workers,
A method of determining the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project. 제5항에 있어서,
상기 각 작업자별로 상기 오픈예정 프로젝트의 매칭 점수를 산출하는 단계는,
상기 오픈예정 프로젝트에 포함되는 기능요소를 파악하는 단계;
각 작업자의 이전 프로젝트 중에서 상기 오픈예정 프로젝트의 기능요소가 하나 이상 포함된 이전 프로젝트를 추출하는 단계;
추출된 이전 프로젝트에 포함된 기능요소 중에서 상기 오픈예정 프로젝트의 기능요소에 해당하는 상기 이전 프로젝트의 기능요소를 기초로 이전 프로젝트에 대한 작업자의 경험점수를 산출하는 단계; 및
상기 산출된 이전 프로젝트에 대한 작업자의 경험점수를 전부 더하여 각 작업자의 오픈예정 프로젝트의 매칭 점수를 산출하는 단계를 포함하는,
크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법.The method of claim 5,
The step of calculating the matching score of the open project for each worker,
Identifying functional elements included in the project to be opened;
Extracting a previous project including one or more functional elements of the project to be opened from among previous projects of each worker;
Calculating a worker's experience score for the previous project based on the functional element of the previous project corresponding to the functional element of the open project among the extracted functional elements included in the previous project; And
Comprising the step of calculating the matching score of each worker's open project by adding all the workers' experience scores for the calculated previous project,
A method of determining the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project. 제6항에 있어서,
상기 이전 프로젝트에 대한 작업자의 경험점수를 산출하는 단계는,
상기 오픈예정 프로젝트의 기능요소에 해당하는 상기 이전 프로젝트의 기능요소에 할당된 비율(a)과 상기 작업자가 해당 이전 프로젝트에서 수행한 작업 건수 중에서 검수 통과된 작업 건수(b)를 곱함으로써, 해당 이전 프로젝트에 대한 상기 작업자의 경험점수를 산출하는 것인,
크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법.The method of claim 6,
The step of calculating the worker's experience score for the previous project,
The transfer by multiplying the ratio (a) allocated to the functional elements of the previous project corresponding to the functional elements of the open project and the number of tasks that have passed inspection (b) among the number of tasks performed by the worker in the previous project. To calculate the worker's experience score for the project,
A method of determining the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project. 삭제delete 제1항에 있어서,
상기 작업자 풀에 포함되는 소정의 수의 작업자의 감원을 결정하는 단계는,
상기 예상 작업 수량에 기초하여 상기 작업자 풀에 포함되는 복수의 작업자 중에서 소정의 수의 작업자를 선정하는 단계; 및
선정된 상기 소정의 수의 작업자의 감원을 결정하는 단계를 포함하는,
크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법.The method of claim 1,
The step of determining the reduction of a predetermined number of workers included in the worker pool,
Selecting a predetermined number of workers from among a plurality of workers included in the worker pool based on the expected number of jobs; And
Including the step of determining the reduction of the selected predetermined number of workers,
A method of determining the appropriate number of workers in the worker pool using the expected work quantity of a crowdsourcing-based project. 컴퓨터와 결합하여 제1항, 제5항, 제6항, 제7항 및 제9항 중 어느 하나의 항의 크라우드소싱 기반 프로젝트의 예상 작업 수량을 이용한 작업자 풀의 적정 작업자 수 확정 방법을 수행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.In order to perform the method of determining the appropriate number of workers in the worker pool using the expected work quantity of the crowdsourcing-based project in any of paragraphs 1, 5, 6, 7 and 9 in combination with a computer A computer program stored on a computer-readable recording medium.
KR1020200046434A 2020-04-17 2020-04-17 Method for determining the number of proper worker of worker pool using estimated work quantity of crowdsourcing based project for artificial intelligence training data generation KR102205808B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200046434A KR102205808B1 (en) 2020-04-17 2020-04-17 Method for determining the number of proper worker of worker pool using estimated work quantity of crowdsourcing based project for artificial intelligence training data generation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200046434A KR102205808B1 (en) 2020-04-17 2020-04-17 Method for determining the number of proper worker of worker pool using estimated work quantity of crowdsourcing based project for artificial intelligence training data generation

Publications (2)

Publication Number Publication Date
KR102205808B1 true KR102205808B1 (en) 2021-01-22
KR102205808B9 KR102205808B9 (en) 2021-11-05

Family

ID=74309828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200046434A KR102205808B1 (en) 2020-04-17 2020-04-17 Method for determining the number of proper worker of worker pool using estimated work quantity of crowdsourcing based project for artificial intelligence training data generation

Country Status (1)

Country Link
KR (1) KR102205808B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102368651B1 (en) * 2021-10-21 2022-03-04 주식회사 크라우드웍스 Method and apparatus for allocating work according to the characteristics of crowdsourcing-based projects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240827A (en) * 1997-03-03 1998-09-11 Hitachi Ltd System for supporting project management
US20120265573A1 (en) * 2011-03-23 2012-10-18 CrowdFlower, Inc. Dynamic optimization for data quality control in crowd sourcing tasks to crowd labor
KR20140095956A (en) 2013-01-25 2014-08-04 한국전자통신연구원 Method and system for generating image-knowledge contents based on crowdsourcing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240827A (en) * 1997-03-03 1998-09-11 Hitachi Ltd System for supporting project management
US20120265573A1 (en) * 2011-03-23 2012-10-18 CrowdFlower, Inc. Dynamic optimization for data quality control in crowd sourcing tasks to crowd labor
KR20140095956A (en) 2013-01-25 2014-08-04 한국전자통신연구원 Method and system for generating image-knowledge contents based on crowdsourcing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102368651B1 (en) * 2021-10-21 2022-03-04 주식회사 크라우드웍스 Method and apparatus for allocating work according to the characteristics of crowdsourcing-based projects

Also Published As

Publication number Publication date
KR102205808B9 (en) 2021-11-05

Similar Documents

Publication Publication Date Title
KR102164844B1 (en) Method for evaluating workers using the unit of work difficulty of crowdsourcing based projects for artificial intelligence training data generation
KR102232866B1 (en) Method for distributing functional element unit work of crowdsourcing based project for artificial intelligence training data generation
KR102244697B1 (en) Project curation method considering worker’s tendency of crowdsourcing based projects for artificial intelligence training data generation
KR102232859B1 (en) Method for automatically generating a worker pool based on the functional elements and difficulty of crowdsourcing based projects for artificial intelligence training data generation
KR102155790B1 (en) Method and apparatus for measuring competence of worker using average return rate
KR102195629B1 (en) Method for selecting workers based on capability of work in crowdsourcing based projects for artificial intelligence training data generation
KR102155889B1 (en) Method for improving quality through secondary work on work results of other workers in a crowdsourcing based projects for artificial intelligence training data generation
KR102205811B1 (en) Method for setting minimum work time using work time of each functional elements of crowdsourcing based project for artificial intelligence training data generation
KR102155749B1 (en) Method for deciding proper unit price and proper amount of work using reference work time of crowdsourcing based project for artificial intelligence training data generation
KR102205808B1 (en) Method for determining the number of proper worker of worker pool using estimated work quantity of crowdsourcing based project for artificial intelligence training data generation
KR102183836B1 (en) Method for automatically calculating estimates based on estimated work time of crowdsourcing based projects for artificial intelligence training data generation
KR102155748B1 (en) Method for automatic apdating inspection unit price using work time versus inspection time of crowdsourcing based project for artificial intelligence training data generation
KR102155839B1 (en) Method and apparatus for monitoring worker based on the reason for not wokring
KR102195632B1 (en) Method for calculating maximum wor result quantity by selecting available worker of crowdsourcing based project for artificial intelligence training data generation
KR102244705B1 (en) Method for controlling worker inflow into project by reversal adjustment of work unit price between crowdsourcing based similar projects for training data generation
KR102155886B1 (en) Method for applying maximum number of work limits per worker based on inspection result of crowdsourcing based projects for artificial intelligence training data generation
KR102164852B1 (en) Method for restricting participation of project considering urgent degree of crowdsourcing based project for artificial intelligence training data generation
KR102183812B1 (en) Method for paying inspection fee based on hourly wage for each inspector using the verification work results of crowdsourcing based projects for artificial intelligence training data generation
KR102183837B1 (en) Method for paying work fee based on hourly wage for each workers using verification work of crowdsourcing based projects for artificial intelligence training data generation
KR102156585B1 (en) Method for controlling worker inflow into project by adjusting work unit price between crowdsourcing based projects for artificial intelligence training data generation
KR102195956B1 (en) Method for updating maximum number of work limits according to work difficulty of crowdsourcing based project for artificial intelligence training data generation
KR102156587B1 (en) Method for increase and decrease operating of worker and inspector of crowdsourcing based project for artificial intelligence training data generation
KR102195608B1 (en) Method for automatically returning using object return rate of crowdsourcing based project for artificial intelligence training data generation
KR102155854B1 (en) Keyword management method and apparatus for collecting various sentences
KR102232909B1 (en) Method for providing reason for rejection based on similar work pattern information for each worker a crowdsourcing based projects for airtificial intelligence training data generation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
J202 Request for trial for correction [limitation]
J301 Trial decision

Free format text: TRIAL NUMBER: 2021105000085; TRIAL DECISION FOR CORRECTION REQUESTED 20210728

Effective date: 20211026