WO2021246772A1 - 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램 - Google Patents

인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2021246772A1
WO2021246772A1 PCT/KR2021/006858 KR2021006858W WO2021246772A1 WO 2021246772 A1 WO2021246772 A1 WO 2021246772A1 KR 2021006858 W KR2021006858 W KR 2021006858W WO 2021246772 A1 WO2021246772 A1 WO 2021246772A1
Authority
WO
WIPO (PCT)
Prior art keywords
functional element
work
project
worker
task
Prior art date
Application number
PCT/KR2021/006858
Other languages
English (en)
French (fr)
Inventor
박민우
조성우
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=75250086&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2021246772(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Priority to US17/389,339 priority Critical patent/US20210383329A1/en
Publication of WO2021246772A1 publication Critical patent/WO2021246772A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063116—Schedule adjustment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Definitions

  • the present invention relates to a method for distributing tasks in units of functional elements of a crowdsourcing-based project for generating artificial intelligence learning data, an apparatus therefor, and a computer program thereof.
  • a plurality of tasks are assigned to each of a plurality of workers.
  • Each worker performs a plurality of assigned tasks and provides task results.
  • a plurality of inspection tasks for the work results are assigned to each of the plurality of inspectors, and each inspector performs the assigned plurality of inspection tasks.
  • workers may need only one work ability to perform a task, or they may need multiple work skills.
  • An object to be solved by the present invention is to provide a method for distributing tasks in units of functional elements of a crowdsourcing-based project for generating artificial intelligence learning data.
  • a method for distributing work in units of functional elements of a crowdsourcing-based project includes: identifying a plurality of functional elements included in the work of a crowdsourcing-based project; Based on the previous project history of each first worker, selecting one excellent functional element from among a plurality of functional elements included in the work of the project for each first worker - Each first worker is the Including workers who have previous project histories for multiple functional elements included in the work-; dividing one task into a plurality of functional element units for each task of the project after the excellent functional elements of each of the first workers are selected; assigning the plurality of divided functional element unit tasks to a plurality of first workers and requesting to perform the task, and assigning the functional element unit tasks corresponding to the excellent functional elements to the plurality of first workers; merging the plurality of functional element unit operation results into one operation result when a plurality of functional element unit operation results for the functional element unit operation are received from the plurality of first workers; requesting one first inspector to perform inspection of the work result; and
  • the functional element unit task assignment step when the plurality of functional element unit tasks have a sequential execution order, after the execution of the first functional element unit task of the senior priority is completed, the second functional element unit task of the second priority is assigned to requesting to perform a task; and when the plurality of functional element unit tasks do not have a sequential execution order, requesting task execution by allocating a plurality of functional element unit tasks at the same time,
  • the method is a step of requesting to perform a task by allocating N tasks (provided that N is a natural number greater than or equal to 1) that are not divided into a plurality of functional element units to each second worker -
  • Each second worker is the project Including workers who do not have previous project histories for a plurality of functional elements included in the work of -; requesting to perform inspection by allocating the N number of task results to a plurality of inspectors when the assigned N work results are received from each of the second workers;
  • the inspection results for the N work results are received from the plurality of inspectors in units of the plurality of functional elements, based on the inspection results for the N work results of each second operator, for each second operator selecting an excellent functional element from among a plurality of functional elements included in the work of the project; dividing one task into the plurality of functional element units for each task of the project after the excellent functional elements are selected for each of the second workers; assigning the plurality of divided functional element unit tasks to a plurality of second workers and requesting to perform the task
  • the step of selecting the excellent functional element for each first worker is, based on the previous project history of each first worker, a return for each of the plurality of functional elements included in the work of the project of each first worker calculating a rate; and selecting one excellent functional element from among a plurality of functional elements included in the work of the project for each first worker based on the calculated rejection rate.
  • the percentile value of the rejection rate for each of the plurality of functional elements included in the work of the project of each first worker is compared, and each of the first workers It is characterized by selecting one excellent functional element from among a plurality of functional elements included in the work of the project for each.
  • the step of selecting the excellent functional element for each first worker when the maximum value among the percentile values of the rejection rate for each of the plurality of functional elements included in the work of the project of each first worker is plural, each Further based on the number of work performed for each of the plurality of functional elements included in the work of the project of the first worker, selecting one excellent functional element from among the plurality of functional elements included in the work of the project for each first worker characterized in that
  • the method for distributing work in units of functional elements of a crowdsourcing-based project according to the present invention, after the excellent functional elements of each first worker are selected, for each task of the project, according to the inspection result of the work result, when the inspection result for the specific functional element unit work result of the inspector is rejected, the method further comprising the step of requesting a first worker who has input the rejected functional element unit work result from among the first workers to perform rework characterized in that
  • the number of times that the inspector has inputted the inspection result for the first functional element unit task result as a rejection is counted by the first operator It is characterized by further comprising the step of calculating the cumulative number of each of the first workers, and giving a preset penalty to a first worker for which the cumulatively calculated number of times exceeds a reference number of the first workers.
  • the step of selecting the excellent functional element for each second worker includes, based on the inspection result of the N work results of each second worker, included in the work of the project of each second worker. calculating a rejection rate for each of a plurality of functional elements; and selecting one excellent functional element from among a plurality of functional elements included in the work of the project for each second worker based on the calculated rejection rate.
  • the N tasks include a plurality of verification tasks for each of a plurality of functional elements included in the work of the project
  • the step of selecting the excellent functional elements for each second worker includes each of the second workers calculating the wrong number of times for each of the plurality of functional elements included in the work of the project of the second worker based on the plurality of verification work results among the N work results of And based on the wrong number of times for each of the plurality of functional elements included in the work of the project of each second worker, selecting one or more excellent functional elements from among the plurality of functional elements included in the work of the project for each second worker It is characterized in that it comprises a step.
  • the functional element unit work distribution device of the crowdsourcing-based project includes, wherein the processor identifies a plurality of functional elements included in the work of the project, and based on the previous project history of each first worker to select one excellent functional element from among a plurality of functional elements included in the work of the project for each first worker, and each of the first workers transfers to a plurality of functional elements included in the work of the project Including a worker with a project history - After the excellent functional elements of each of the first workers are selected, one job is divided into a plurality of functional element units for each job of the project, and a plurality of first workers Allocating the divided plurality of functional element unit tasks and requesting to perform the task through the communication module, assigning a functional element unit task corresponding to the excellent functional element to the plurality
  • the present invention is a computer program stored in a medium to be combined with a computer that is hardware and to execute a method for distributing work in units of functional elements of a crowdsourcing-based project, wherein the computer program is included in the work of a crowdsourcing-based project identifying a plurality of functional elements; Based on the previous project history of each first worker, selecting one excellent functional element from among a plurality of functional elements included in the work of the project for each first worker - Each first worker is the Including workers who have previous project histories for multiple functional elements included in the work-; dividing one task into a plurality of functional element units for each task of the project after the excellent functional elements of each of the first workers are selected; assigning the plurality of divided functional element unit tasks to a plurality of first workers and requesting to perform the task, and assigning the functional element unit tasks corresponding to the excellent functional elements to the plurality of first workers; merging the plurality of functional element unit operation results into one operation result when a plurality of functional element unit operation results for the functional element unit operation are
  • each worker by dividing one job into a plurality of functional element unit tasks, and distributing the divided task into functional element units to a plurality of workers whose respective functional elements are selected as excellent functional elements, each worker can be made to work only on its own excellent functional element among a plurality of functional elements.
  • FIG. 1 is a conceptual diagram of a crowdsourcing service according to an embodiment of the present invention.
  • FIG. 2 is a flowchart for explaining a process of a crowdsourcing-based project according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for distributing work in units of functional elements of a crowdsourcing-based project related to a first worker according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram for explaining selection of an excellent functional element from among a plurality of functional elements based on a percentile value according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram for explaining selection of an excellent functional element from among a plurality of functional elements based on a percentile value and the number of tasks performed according to an embodiment of the present invention.
  • FIG. 6 is an exemplary diagram for explaining the division of one task into functional element units according to an embodiment of the present invention.
  • FIG. 7 is an exemplary diagram for explaining allocating a functional element unit task corresponding to an excellent functional element to a plurality of first workers according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram for explaining merging of a plurality of functional element unit operation results into one operation result according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram for explaining the assignment of a result of one merged work to one inspector according to an embodiment of the present invention.
  • FIG. 10 is an exemplary diagram for explaining that an inspection result is received in units of a plurality of functional elements from an inspector according to an embodiment of the present invention.
  • FIG. 11 is a flowchart of a method for distributing work in units of functional elements of a crowdsourcing-based project related to a second worker according to an embodiment of the present invention.
  • FIG. 12 is an exemplary diagram for explaining a timing of selecting excellent functional elements of a first worker and a second worker according to an embodiment of the present invention.
  • FIG. 13 is a view for explaining an apparatus for distributing work in units of functional elements of a crowdsourcing-based project according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram of a crowdsourcing service according to an embodiment of the present invention.
  • the crowdsourcing service consists of a requester 10 , a service provider 20 , and the public 30 .
  • the client 10 refers to a company or individual requesting a crowdsourcing-based project (hereinafter, the project).
  • the client 10 requests a project for the purpose of collecting source data or data annotation for the generation of artificial intelligence learning data.
  • Data generated through the project can be used as learning data for arbitrary machine learning such as supervised learning, unsupervised learning, and reinforcement learning.
  • the collection of source data means the collection of raw data such as recorded voice collection and photo collection.
  • Data annotation refers to inputting relevant annotation data into source data such as text, photos, and videos.
  • data annotation may include, but is not limited to, finding an entity in a given fingerprint, finding a similar sentence, and the like.
  • the type of the above-mentioned project is only one embodiment, and various projects may be handled in the present invention according to the design of the client.
  • the service provider 20 refers to a company that provides a crowdsourcing service.
  • the service provider 20 When the service provider 20 receives a request for a project for a product or service from the client 10 , the service provider 20 allocates the work for the project to the general public 30 and receives the work result from the public 30 . Thereafter, the final product extracted based on the work result is provided to the client 10 .
  • the service provider 20 provides a crowdsourcing service to the client 10 and the public 30 through the crowdsourcing platform (hereinafter, platform). That is, when the service provider 20 receives a project request from the client 10 , the service provider 20 opens the project on the platform. Thereafter, when receiving the work results for the open project from the public 30 , the project may be terminated on the platform, and the final product may be extracted and provided to the client 10 .
  • platform the crowdsourcing platform
  • the public 30 refers to the general public participating in the project open on the platform.
  • the public 30 may participate in a project open to the platform through an application or website provided by the service provider 20 .
  • the public 30 consists of an operator 32 and an inspector 34 .
  • the worker 32 decides to participate in a specific project among a plurality of projects open to the platform. Thereafter, the worker 32 collects source data or performs a task such as data annotation, and transmits it to the platform.
  • the inspector 34 decides to participate in a specific project among a plurality of projects open to the platform. Thereafter, the inspector 34 performs inspection on the results of the work performed by the operator 32 . As a result of the inspection, the inspector 34 may process the inspection passing or reject it, and may input a reason for rejecting the reject process. In the case of passing inspection, rework and subsequent re-inspection are not required, so passing inspection has the same meaning as inspection completion.
  • FIG. 2 is a flowchart for explaining a process of a crowdsourcing-based project according to an embodiment of the present invention.
  • the client 10 requests one or more projects to the service provider 20 (S11).
  • the service provider 20 opens the requested project on the platform (S12).
  • the service provider 20 may determine the grade in consideration of the difficulty of the corresponding project before opening the project. That is, it is possible to determine whether to expose the project to the public 30 of which grade or higher according to the degree of difficulty. Accordingly, it is possible to increase the reliability of the work result of the project.
  • the service provider 20 requests the work by allocating the work to the workers 32 of the corresponding level or higher according to the level of the project (S13).
  • the worker 32 performs the assigned task (S14).
  • the operator 32 may input a reason for not being able to work without performing the job for a job in which the job itself is impossible for some reason.
  • the service provider 20 receives the work result from the worker 32 (S15), and assigns an inspection task for the work result to the inspector 34 to request the inspection (S16).
  • the inspector 34 performs the assigned inspection (S17). At this time, if the inspector 34 determines that the work has been performed properly, it is determined to pass the inspection, and if it is determined that the inspection work is wrong, it is rejected. At the time of rejection processing, the inspector 34 inputs the reason for rejection as to whether the work was judged to be incorrect for some reason.
  • the service provider 20 receives the inspection result from the inspector 34 (S18).
  • the service provider 20 uses the corresponding work result as valid data, and based on this, extracts the final product at the end of the project.
  • the service provider 20 may internally perform the inspection again, or assign the task to the worker 32 again to perform the rework. Re-inspection by the inspector is required when rework is performed.
  • the service provider 20 terminates the project when the project period is over or sufficient valid data is secured (S19), and calculates a final result based on the secured valid data and provides it to the client 10 ( S20).
  • the service provider 20 evaluates the performance results of the worker 32 and the inspector 34 , and calculates the work cost and inspection cost according to the evaluation to the operator 32 and the inspector 34 . give.
  • 3 is a flowchart of a method for distributing work in units of functional elements of a crowdsourcing-based project related to a first worker according to an embodiment of the present invention.
  • 4 is an exemplary diagram for explaining selection of an excellent functional element from among a plurality of functional elements based on a percentile value according to an embodiment of the present invention.
  • 5 is an exemplary diagram for explaining selection of an excellent functional element from among a plurality of functional elements based on a percentile value and the number of tasks performed according to an embodiment of the present invention.
  • 6 is an exemplary diagram for explaining the division of one task into functional element units according to an embodiment of the present invention.
  • FIG. 7 is an exemplary diagram for explaining allocating a functional element unit task corresponding to an excellent functional element to a plurality of first workers according to an embodiment of the present invention.
  • 8 is an exemplary diagram for explaining merging of a plurality of functional element unit operation results into one operation result according to an embodiment of the present invention.
  • 9 is an exemplary diagram for explaining the assignment of a result of one merged work to one inspector according to an embodiment of the present invention.
  • 10 is an exemplary diagram for explaining that an inspection result is received in units of a plurality of functional elements from an inspector according to an embodiment of the present invention.
  • 11 is a flowchart of a method for distributing work in units of functional elements of a crowdsourcing-based project related to a second worker according to an embodiment of the present invention.
  • 12 is an exemplary diagram for explaining a timing of selecting excellent functional elements of a first worker and a second worker according to an embodiment of the present invention.
  • FIGS. 3 and 11 may be understood to be performed by a platform server (hereinafter, referred to as a server) operated by the service provider 20, but is not limited thereto.
  • a platform server hereinafter, referred to as a server operated by the service provider 20, but is not limited thereto.
  • the terminal device of the operator 32 or the inspector 34 may be a computer device or a telecommunication device such as a smart phone, tablet, PDA, laptop, desktop, etc., but is not limited thereto.
  • the server identifies a plurality of functional elements included in the work of the crowdsourcing-based project (hereinafter, the project) (S110).
  • the functional element is determined based on a work tool for performing the project, and the work tool is provided in the project and is a tool used by the workers 32 to perform the work required by the project.
  • the work of the project can be classified as including a bounding functional element, a transcriptional functional element, and a classification functional element.
  • a task including a plurality of functional elements is assigned to one worker 32 to perform the task.
  • the worker 32 who was assigned a task including a plurality of functional elements had to perform all the tasks for the plurality of functional elements regardless of his/her work ability. Due to this, a situation occurred where the worker 32 could not perform the work properly for the specific functional element while excellently performing the work with respect to the specific functional element, and eventually acted as a problem in which the work quality of the project was deteriorated.
  • each functional element unit task is performed in a plurality of It is characterized in that by distributing each to the workers, each worker 32 is able to work only on functional elements that show excellent work ability.
  • the plurality of workers 32 participating in the project may or may not have a history of performing work in a previous project for a plurality of functional elements included in the work of the project.
  • excellent functional elements of a worker (hereinafter, first worker) having previous project histories for a plurality of functional elements included in the work of the project and a plurality of functions included in the work of the project It allows the excellent functional elements of workers who do not have a previous project history for the elements (hereinafter referred to as the second worker) to be selected in a different way.
  • the plurality of functional elements included in the work of the project will be described as three (first functional element, second functional element, and third functional element), but the present invention is not limited thereto.
  • the server Based on the previous project history of each first worker, one excellent functional element is selected from among a plurality of functional elements included in the work of the project for each first worker ( S120 ).
  • the server calculates a rejection rate for each of a plurality of functional elements included in the project work of each first worker, based on the previous project history of each first worker.
  • the previous project history means data stored as the worker 32 participates in a project in the past and performs work.
  • it may include information on participating projects, working hours, rejection rate, inspection pass rate, and the like.
  • the server extracts one or more previous projects including one or more functional elements of the currently participating project from among the previous projects in which each first worker participated, and uses the extracted data related to work performance in one or more previous projects for each first It is possible to calculate the return rate for each functional element of the worker.
  • the server selects one excellent functional element from among the plurality of functional elements included in the project work for each first worker based on the rejection rate for each of the plurality of functional elements included in the project work of each first worker .
  • the server compares the percentile value of the rejection rate for each of a plurality of functional elements included in the work of the project of each first worker, and one of the plurality of functional elements included in the work of the project for each first worker can select excellent functional elements of
  • Percentile means the ranking when the group size is assumed to be 100. For example, when the rejection rate of a specific functional element of a specific first worker is 30%, if the percentile value of 30% of the rejection rate is 50, the specific first worker is in the middle among all workers of the project for a specific functional factor means it is located.
  • the reason for comparing the percentile values is to relatively evaluate the work ability of the first worker by reflecting this because the difficulty level and the number of work performed by the worker are different for each functional element.
  • the first functional element rejection rate calculated based on the previous project history of the specific first worker is 15%
  • the second functional element rejection rate is 10%
  • the third functional element rejection rate is 30%
  • the percentile value of the rejection rate of the first functional element is 90
  • the percentile value of the second functional element rejection rate is 70
  • the percentile value of the rejection rate of the third functional element is 30. That is, a specific first worker is located in the top 10% of all workers for the first functional element, in the top 30% of all workers for the second functional element, and in the bottom 30% of all workers for the third functional element that it is located Accordingly, the excellent functional element of the specific first worker is selected as the first functional element having the highest percentile value.
  • the rejection rate of each functional element is compared, since the rejection rate of the second functional element is the lowest, the excellent functional element of the specific first worker will be selected as the second functional element. However, this cannot be considered accurate because the difficulty level for each functional element is not reflected. Since it is natural that the rejection rate of functional elements with low difficulty is calculated to be low, even if the rejection rate of functional elements with low difficulty is the lowest, a specific first worker works better than all workers on the functional element among a plurality of functional elements can't decide that you're doing it. Accordingly, as described above, by comparing the percentile values of the rejection rates for each functional element, it is possible to relatively determine the working ability of a specific first operator for each functional element when compared to the entire worker.
  • the server performs the tasks for each of the plurality of functional elements included in the work of the project of each first worker. Further based on the number of executions, one excellent functional element is selected from among a plurality of functional elements included in the work of the project for each first worker.
  • the server selects a functional element with a greater number of tasks performed by the first worker from among the plurality of functional elements as an excellent functional element.
  • the percentile value of the rejection rate of the first functional element and the percentile value of the rejection rate of the second functional element are 70, which is the largest and the same. Since the number of tasks performed by the first functional element is 100 and the number of tasks performed by the second functional element is 60, the excellent functional element of the specific first worker is selected as the first functional element with a larger number of tasks performed.
  • the server divides one task into a plurality of functional element units, assigns a plurality of functional element unit tasks to a plurality of first workers, and requests to perform the task. At this time, the server allocates the functional element unit task corresponding to the excellent functional element to each first worker (S130).
  • one task including the first functional element, the second functional element, and the third functional element is divided into a first functional element unit task, a second functional element unit task, and a third functional element unit task, respectively.
  • the server performs the first functional element unit work for the first worker A may assign to and request to perform the task, assign the second functional element unit task to the first worker B to request the task to be performed, and assign the third functional element unit task to the first worker C to request task performance.
  • the server assigns the second functional element unit task of the lower priority to perform the task can request
  • the server converts the first functional element unit task, which is the first order, to the first functional element having a superior function. It is assigned to the first worker A, which is an element, and requests to perform the work.
  • the second functional element unit task which is the next sequence, is assigned to the first worker B whose second functional element is an excellent functional element, and requests to perform the task.
  • the third functional element unit task which is the next sequence, is assigned to the first worker C whose third functional element is an excellent functional element, and requests to perform the task.
  • the server may activate the operation screen of each first operator according to the execution order of the tasks.
  • the server displays the work screen of the first worker A whose first functional element is an excellent functional element. It is activated to enable the first functional element unit work to be performed (the work screens of the first workers B and C are inactive).
  • the second functional element activates the work screen of the first operator B, which is an excellent functional element, so that the second functional element unit task can be performed in the next order. (The work screens of the first workers A and C are inactive).
  • the third functional element activates the work screen of the first operator C, which is an excellent functional element, so that the third functional element unit task, which is the next sequence, can be performed (The work screens of the first workers A and B are inactive).
  • the server may request to perform the task by allocating the plurality of functional element unit tasks at the same time.
  • the server sends the first The functional element unit work, the second functional element unit work to the first worker B whose second functional element is an excellent functional element, and the third functional element unit work to the first worker C whose third functional element is the excellent functional element allocate
  • the server receives the plurality of functional element unit work results from the plurality of first workers (S140).
  • the first functional element is a first functional element unit task for the first worker A who is an excellent functional element
  • a second functional element unit task is given to the first worker B whose second functional element is an excellent functional element
  • a third functional element When the third functional element unit task is assigned to the first worker C, which is an excellent functional element, the server receives the first functional element unit work result from the first worker A, and the second functional element unit work result from the first worker B , and receives the third functional element unit work result from the first worker C, respectively.
  • the server After receiving all the functional element unit work results from each first worker, the server merges the plurality of functional element unit work results into one work result, assigns the work result to one inspector and requests to perform the inspection ( S150), the inspection result for the work result is received from the inspector in units of a plurality of functional elements (S160).
  • the server requests one inspector 34 to perform the inspection by merging the plurality of functional element unit tasks respectively input from the plurality of first workers into one task result.
  • the server merges the first functional element unit work result, the second functional element unit work result, and the third functional element unit work result input from the three first workers into one work result. Thereafter, referring to FIG. 9 , the server assigns the result of one merged operation to the inspector A and requests the inspection to be performed.
  • Inspector A inspects the result of one assigned task, but performs inspection in units of each functional element. That is, the inspector A performs the inspection by passing the inspection or rejecting the first functional element unit work result, the second functional element unit work result, and the third functional element unit work result, respectively.
  • the server sends the rework to the first worker who entered the rejected functional element unit work result. request.
  • the server when the inspector A inputs the inspection result as a rejection for only the first functional element unit work result among the first functional element unit work result, the second functional element unit work result, and the third functional element unit work result , the server requests rework execution of the first functional element unit task only to the first worker A who performed the first functional element unit task result.
  • the first functional element unit task, the second functional element unit task, and the third functional element unit task have a sequential execution order, since each task result is linked and inspected, the result of the prior functional element unit task The inspection result of subordinated functional element will affect the inspection result of the unit work result. Therefore, when the first functional element unit work of the first priority is rejected, not only the first worker A who performed the first functional element unit work, but also the first workers B and the third worker B who performed the second functional element unit work of the second priority The first worker C, who performed the functional element unit work, must also perform the rework.
  • the first worker who performed the unit work of the functional element of the lower priority was rejected even though he performed the work appropriately according to the result of the unit work of the functional element of the senior priority. That is, the first worker who performed the unit work of the functional element of the lower priority suffers damage due to the error of the first worker who performed the unit work of the functional element of the higher priority. Due to this, compensation for the labor of the first worker of the lower priority is not properly compensated, which causes the first worker of the lower priority to depart from the project, which ultimately affects the operation of the project.
  • the method of distributing work in units of functional elements of a crowdsourcing-based project is a first functional element unit work and a second functional element unit work If the work has a sequential execution order, the number of times that the inspector input the inspection result as a rejection for the first functional element unit work result is cumulatively calculated for each first worker, and the number of times the accumulated count exceeds the standard number of times 1 It may further include the step of giving a predetermined penalty to the worker.
  • the server may grant a work restriction penalty to the first worker whose accumulated count exceeds 5 times (no longer being able to perform work in the project or for a predetermined period of time).
  • the plurality of functional elements included in the work of the project will be described as three (first functional element, second functional element, and third functional element), but the present invention is not limited thereto.
  • the server assigns N tasks (provided that N is a natural number greater than or equal to 1) that are not divided into a plurality of functional element units to the second worker and requests to perform the task (210), and from each second worker Receives N work results (S220), assigns N work results to a plurality of inspectors to request inspection (S230), and collects the inspection results for N work results from a plurality of inspectors in units of a plurality of functional elements
  • the input is received (S240), and, based on the inspection results of the N work results of each second worker, excellent functional elements are selected among a plurality of functional elements included in the work of the project for each second worker (S250).
  • the server since the second worker does not have a previous project history for the plurality of functional elements, the server cannot determine the work ability of the second worker. Therefore, the server makes the second worker perform the work on all functional elements for the initial N cases, and identifies which functional element the second worker shows excellent work ability according to the inspection result of the work result for each functional element will do
  • the server may select the excellent functional elements of each second worker based on the rejection rate for each functional element for the N work results for each second worker.
  • the server calculates the rejection rate for each of a plurality of functional elements included in the work of each second worker's project based on the inspection result for the N work results of each second worker, and each second worker's project Based on the rejection rate for each of the plurality of functional elements included in the work of
  • the server compares the percentile value of the rejection rate for each of the plurality of functional elements included in the work of the project of each second worker, and selects one excellent functional element from among the plurality of functional elements included in the work of the project for each second worker can do.
  • the server compares the percentile value of the rejection rate for each functional element of each second worker with the percentile value of the rejection rate for each functional element of all workers in the project, and selects the functional element with the largest percentile value. It can be selected by the excellent functional factors of each second worker.
  • the second worker like the first worker, is not based on the number of tasks performed more (since the second operator all performs N tasks), the excellent functional element is further selected based on the number of operators whose functional element is selected as the excellent functional element.
  • the server selects a functional element with a smaller number of matched workers (that is, the number of workers whose functional elements are selected as excellent functional elements) among the plurality of functional elements. Selected as excellent functional factors.
  • the server may select excellent functional elements of each second worker by using the verification task.
  • the N tasks include a plurality of verification tasks for each of a plurality of functional elements included in the work of the project.
  • the server randomly includes a plurality of verification tasks for each functional element in which the correct answer is determined among the N tasks and assigns it to the second worker, and determines whether the second operator performs the verification task in the same way as the correct answer. Since the correct answer is determined for the verification task, it is possible to determine whether the second operator performed the task properly based on the input task result without the need for inspection by the inspector, so that the second operator’s Excellent functional factors can be selected.
  • one task may include one or more verification tasks for each functional element. That is, when there are three functional elements, one task for functional element verification may include one task for functional element verification, two functional element validation tasks may be included, or three functional element validation tasks may be included.
  • the server calculates the wrong number of times for each of a plurality of functional elements included in the work of each second worker's project based on the plurality of verification work results among the N work results of each second worker.
  • the server calculates the number of times the second operator gave the wrong answer for each 10 verification tasks for each functional element do.
  • one task includes the first functional element, the second functional element, and the third functional element
  • a specific second operator incorrectly performed 3 out of 10 tasks for verifying the first functional element, and verifying the second functional element If 6 out of 10 tasks were performed incorrectly and 8 out of 10 tasks for verification of the 3rd functional element were performed incorrectly, the number of errors in the first functional element of a specific second worker was 3 times, and the number of errors in the first functional element was 3 times
  • the wrong number of times may be calculated as 6 times, and the wrong number of times of the third functional element may be calculated as 8 times.
  • the server selects one or more excellent functional elements from among the plurality of functional elements included in the work of the project for each second worker based on the wrong number of times for each of the plurality of functional elements included in the work of the project of each second worker .
  • the server rejects the functional element with an incorrect number of times greater than or equal to the reference number from the excellent functional element, and selects the excellent functional element from among the functional elements with less than the reference number of times.
  • the reference number of times is 5
  • the number of wrong times of the first functional element of the specific second operator is 3 times
  • the number of wrong times of the second functional element is 6 times
  • the number of wrong times of the third functional element is 8 times.
  • the reference number of times is 5 times
  • the number of wrong times of the first functional element of the specific second operator is 2 times
  • the number of wrong times of the second functional element is 4 times
  • the number of wrong times of the third functional element is 8 times.
  • a functional element having a lower rejection rate for the N work results is selected as an excellent functional element from among the first and second functional elements having the same number of errors less than 5 times.
  • the rejection rate for N cases of the first functional element is 3% and the rejection rate for N cases of the second functional element is 7%
  • the first functional element with a lower rejection rate is selected as a specific second function element. It will be selected as an excellent functional factor of the worker.
  • the reference number of times is 5 times
  • the number of wrong times of the first functional element of the specific second operator is 6 times
  • the number of wrong times of the second functional element is 6 times
  • the number of wrong times of the third functional element is 8 times.
  • the first functional element, the second functional element, and the third functional element are all excluded from the excellent functional element because the number of incorrect counts of the first functional element, the second functional element, and the third functional element is 5 or more. . In this way, when all functional elements are omitted, the specific second worker is no longer able to perform work in the corresponding project.
  • the server divides one task into a plurality of functional element units, assigns a plurality of functional element unit tasks to a plurality of second workers and requests to perform the task, but provides each second operator with a function corresponding to the excellent functional element Allows element-by-element tasks to be assigned. Thereafter, the server receives a plurality of functional element unit work results from a plurality of second workers. Thereafter, the server merges the work results of a plurality of functional element units into one work result, assigns the work result to one inspector and requests the inspection to be performed. Thereafter, the server receives the inspection result for the work result from the inspector in units of a plurality of functional elements. Details are the same as described in steps S130 to S160.
  • the first worker who has previous project histories for a plurality of functional elements participates in the project and at the same time, excellent functional elements are selected based on the previous project histories, and only work on the selected excellent functional elements You will be assigned and only work on the functional element until the project is finished.
  • a second worker who does not have a previous project history for a plurality of functional elements participates in the project and performs tasks that are not divided into units of functional elements for the initial N cases, and the initial N cases Upon completion of the task, excellent functional elements are selected based on the inspection results for N work results. You will only work on
  • the server divides and pays a predetermined unit price to a first worker or a second worker who respectively performs a task for each functional element included in the work of the project.
  • the server may divide the work unit price by the number of functional elements and pay each worker.
  • the server may pay a unit price of 400 won each to three workers who performed each functional element unit task.
  • the server may pay the work unit price to each worker in proportion to the average work execution time of each functional element unit task. Since the longer the average task execution time means the higher the difficulty, the server pays a higher unit price for the task to the worker who performed the functional element unit task with high difficulty.
  • the first functional element, the second functional element, and the third functional element are included in one task, and the average task execution time of the first functional element, the second functional element, and the third functional element unit task is 10 In seconds, 30 seconds, and 20 seconds, if the unit price is 1200 won, the server sends 200 won, 600 won, 400 You can pay Rs.
  • the first functional element unit work and the second functional element unit task are sequential
  • the number of times that the inspector has inputted the inspection result as a rejection for the first functional element unit work result is cumulatively calculated for each first worker, and the cumulative calculated number of times exceeds the reference number of times to the first worker It may further include the step of giving a predetermined penalty.
  • steps S11 to S250 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present invention.
  • some steps may be omitted if necessary, and the order between steps may be changed.
  • the content of FIG. 13 to be described later may be applied to the method of distributing work in units of functional elements of the crowdsourcing-based project of FIGS. 1 to 12 .
  • FIG. 13 is a view for explaining an apparatus for distributing work in units of functional elements of a crowdsourcing-based project according to an embodiment of the present invention.
  • the functional element unit task distribution apparatus 300 (hereinafter, the task distribution apparatus) of the crowdsourcing-based project includes a communication module 310 , a memory 320 , and a processor 330 .
  • the communication module 310 performs communication with a plurality of workers related to one project, and transmits a crowdsourcing-based job for the project to a plurality of workers 32 to request job performance, and a plurality of workers 32 ) to receive the work result.
  • the work results received from the plurality of workers 32 are transmitted to the plurality of inspectors 34 to request inspection, and the inspection results are received from the plurality of inspectors 34 .
  • the memory 320 stores data related to the project, and a program for distributing work in units of functional elements of the project according to the excellent functional elements of each worker based on the data received from the communication module 310 is stored.
  • the processor 330 controls the overall operation of the work distribution device 300 , and executes the program stored in the memory 320 for processing the operation of distributing the unit work of the functional element of the project.
  • the processor 330 executes the program stored in the memory 320 , it identifies a plurality of functional elements included in the work of the project, and based on the previous project history of each first worker, each of the first workers One excellent functional element may be selected from among a plurality of functional elements included in the work of the project for each.
  • each of the first workers includes workers who have previous project histories for a plurality of functional elements included in the work of the project.
  • the processor 330 divides one job into a plurality of functional element units for each task of the project, and assigns the divided plurality of tasks to a plurality of first workers.
  • the task may be requested through the communication module 310 by allocating the functional element unit task, but the functional element unit task corresponding to the excellent functional element may be assigned to the plurality of first workers.
  • the processor 330 converts the plurality of functional element unit operation results into one task. Merge as a result, request one first inspector to perform inspection of the work result through the communication module 310, and receive the inspection result for the work result from the first inspector through the communication module 310 It is received in units of multiple functional elements.
  • the processor 330 allocates the functional element unit task, if the plurality of functional element unit tasks have a sequential execution order, after the execution of the first functional element unit task of the higher priority is completed, the second task of the lower priority
  • the task execution may be requested by allocating a plurality of functional element unit tasks at the same time.
  • the processor 330 assigns each second worker N tasks that are not divided into a plurality of functional element units (where N is a natural number greater than or equal to 1) and requests the execution of the task through the communication module 310 .
  • each of the second workers may include a worker who does not have previous project histories for a plurality of functional elements included in the work of the project.
  • the processor 330 receives the assigned N work results from each of the second workers through the communication module 310, assigns the N work results to a plurality of inspectors to perform the inspection, the communication module 310 and when the inspection results for the N work results are received in units of the plurality of functional elements from the plurality of inspectors through the communication module 310, Based on the result of the inspection, the excellent functional element may be selected from among the plurality of functional elements included in the work of the project for each of the second workers.
  • the processor 330 divides one task into the plurality of functional element units for each task of the project, and divides the divided task into a plurality of second workers.
  • the task may be requested through the communication module 310 by allocating a plurality of functional element unit tasks, and a functional element unit task corresponding to the excellent functional element may be assigned to each of the second workers.
  • the processor 330 may generate one of the plurality of functional element unit task results. merging into the work result of , requesting one second inspector to perform the inspection of the work result through the communication module, and sending the inspection result for the merged work result from the second inspector through the communication module to a plurality of It can be received in units of functional elements.
  • the first inspector and the second inspector may be the same person or a different person.
  • the processor 330 selects the excellent functional elements for each of the first workers, based on the previous project history of each of the first workers, a plurality of functional elements included in the work of the project of each of the first workers A star rejection rate may be calculated, and one excellent functional element may be selected from among a plurality of functional elements included in the work of the project for each of the first workers based on the calculated rejection rate.
  • the processor 330 compares the percentile value of the rejection rate for each of the plurality of functional elements included in the project work of each of the first workers when selecting the excellent functional elements for each first worker, One excellent functional element may be selected from among a plurality of functional elements included in the work of the project for each of the first workers.
  • the processor 330 selects the excellent functional element for each of the first workers, the maximum value among the percentile values of the rejection rate for each of the plurality of functional elements included in the work of the project of each of the first workers is plural. In the case of , further based on the number of work performed for each of the plurality of functional elements included in the work of the project of each first worker, the excellence of one of the plurality of functional elements included in the work of the project for each first worker Functional elements can be selected.
  • the processor 330 inspects the results of the specific functional element unit work of the inspector according to the inspection results for the task results for each task of the project.
  • the result is a rejection
  • the first worker who has input the rejected functional element unit work result among the first workers may be requested to perform rework through the communication module 310 .
  • the processor 330 counts the number of times that the inspector has returned the inspection result for the first functional element unit task result.
  • the cumulative calculation may be performed for each first worker, and a preset penalty may be given to a first worker in which the cumulatively calculated number of times exceeds a reference number of times among the first workers.
  • the processor 330 is based on the results of the inspection of the N work results of each of the second workers, of the project of each second worker. Calculate a rejection rate for each of a plurality of functional elements included in the job, and select one excellent functional element from among a plurality of functional elements included in the work of the project for each second worker based on the calculated rejection rate can
  • the N tasks include a plurality of verification tasks for each of the plurality of functional elements included in the work of the project
  • the processor 330 selects the excellent functional elements for each second worker, Based on the plurality of verification work results among the N work results of the second worker, the number of errors for each of a plurality of functional elements included in the project work of each second worker is calculated, and the Based on the wrong number of times for each of the plurality of functional elements included in the work of the project, one or more excellent functional elements may be selected from among the plurality of functional elements included in the work of the project for each second worker.
  • the present invention is a computer program stored in a medium to be combined with a computer that is hardware and to execute a method for distributing work in units of functional elements of a crowdsourcing-based project, wherein the computer program includes a plurality of tasks included in the work of the crowdsourcing-based project identifying the functional elements of Based on the previous project history of each first worker, selecting one excellent functional element from among a plurality of functional elements included in the work of the project for each first worker - Each first worker is the Including workers who have previous project histories for multiple functional elements included in the work-; dividing one task into a plurality of functional element units for each task of the project after the excellent functional elements of each of the first workers are selected; assigning the plurality of divided functional element unit tasks to a plurality of first workers and requesting to perform the task, and assigning the functional element unit tasks corresponding to the excellent functional elements to the plurality of first workers; merging the plurality of functional element unit operation results into one operation result when a plurality of functional element unit operation results for the functional element unit operation
  • the computer program according to the present invention can be designed to enable processing of all operations related to work distribution in units of functional elements of the crowdsourcing-based project of FIGS. 1 to 13 described above.
  • job distribution device 300 described with reference to FIG. 13 may be provided as a component of the above-described server.
  • the above-described method for distributing work in units of functional elements of a crowdsourcing-based project according to an embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium in order to be executed in combination with a computer that is hardware.
  • the above-mentioned program in order for the computer to read the program and execute the methods implemented as a program, C, C++, JAVA, Ruby, which the processor (CPU) of the computer can read through the device interface of the computer; It may include code coded in a computer language such as machine language. Such code may include functional code related to a function defining functions necessary for executing the methods, etc., and includes an execution procedure related control code necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, this code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. have.
  • the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
  • the storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device.
  • examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and an optical data storage device.
  • the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user.
  • the medium may be distributed in a computer system connected to a network, and a computer-readable code may be stored in a distributed manner.

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램에 관한 것이다. 상술한 본 발명에 의하면, 하나의 작업을 복수의 기능요소 단위 작업으로 분할하고, 기능요소 단위로 분할된 작업을 각각의 기능요소가 우수 기능요소로 선별된 복수의 작업자에게 각각 분배함으로써, 각 작업자가 복수의 기능요소 중 자신의 우수 기능요소에 대한 작업만 수행하도록 할 수 있다. 이에 따라, 각 기능요소 단위 작업이 각각 해당 기능요소에 대해 우수한 작업 능력을 갖는 작업자에 의해 수행되기 때문에, 프로젝트의 진행 속도 및 작업 품질이 향상될 수 있다.

Description

인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램
본 발명은 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램에 관한 것이다.
최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업들이 늘고 있다. 즉, 기업은 하나의 프로젝트를 오픈하여 일반 대중, 즉 작업자가 해당 프로젝트에 참여하게 함으로써, 작업자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집하게 된다.
구체적으로, 하나의 프로젝트가 오픈되면, 복수의 작업자 각각에게 복수의 작업이 배정된다. 각각의 작업자는 배정받은 복수의 작업을 수행하고, 작업 결과를 제공한다. 이후, 복수의 검수자 각각에게 작업 결과에 대한 복수의 검수 작업이 배정되고, 각각의 검수자는 배정받은 복수의 검수 작업을 수행하게 된다.
프로젝트의 유형은 다양하기 때문에, 작업자가 작업을 수행할 때 한 가지 작업 능력만 필요할 수도 있고, 다양한 작업 능력이 필요할 수도 있다.
작업자의 다양한 작업 능력을 필요로하는 프로젝트의 경우, 다양한 요소가 복합적으로 포함된 작업을 수행해야 하기 때문에, 작업자가 다양한 요소에 대해서 전부 우수한 작업 능력을 가지고 있어야 고품질의 작업 결과를 제공할 수 있게 된다.
그러나, 흥미, 작업 수행 경험 등에 따라 작업자마다 우수한 분야가 각각 다르기 때문에, 다양한 작업 능력을 필요로하는 프로젝트의 작업을 한 명의 작업자에게 배정하면, 해당 작업자는 본인이 우수한 분야에 대해서만 제대로 작업을 수행하고 나머지 분야에 대해서는 작업을 제대로 수행하지 못할 수 있다. 이에 따라, 결국 프로젝트의 작업 품질이 떨어지게 되는 문제가 있다.
본 발명이 해결하고자 하는 과제는 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.
상술한 과제를 해결하기 위한 본 발명에 따른 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법은, 크라우드소싱 기반의 프로젝트의 작업에 포함된 복수의 기능요소를 파악하는 단계; 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계-상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함함-; 상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하는 단계; 복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계; 상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계; 한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및 상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 포함하고,
상기 기능요소 단위 작업 배정 단계는, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하는 단계; 및 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청하는 단계를 포함하고,
상기 방법은, 각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 요청하는 단계-상기 각 제2 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함함-; 상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 요청하는 단계; 상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별하는 단계; 상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하는 단계; 복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계; 상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계; 한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 더 포함하는 것을 특징으로 한다.
이때, 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별하는 단계는, 상기 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하는 단계; 및 상기 산출된 반려율에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별하는 단계는, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값을 비교하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 것을 특징으로 한다.
또한, 상기 각 제1 작업자 별로 우수 기능요소를 선별하는 단계는, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값 중 최대 값이 복수인 경우, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 작업 수행 건수에 더 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 것을 특징으로 한다.
또한, 본 발명에 따른 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법은, 상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 상기 작업 결과에 대한 검수 결과에 따라, 상기 검수자의 특정 기능요소 단위 작업 결과에 대한 검수 결과가 반려인 경우, 상기 각 제1 작업자 중에서 상기 반려된 기능요소 단위 작업 결과를 입력한 제1 작업자에게 재작업 수행을 요청하는 단계를 더 포함하는 것을 특징으로 한다.
이때, 제1 기능요소 단위 작업 및 제2 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 상기 검수자가 제1 기능요소 단위 작업 결과에 대한 검수 결과를 반려로 입력한 횟수를 상기 각 제1 작업자 별로 누적 산출하고, 상기 각 제1 작업자 중에서 상기 누적 산출된 횟수가 기준 횟수를 초과한 제1 작업자에게 기 설정된 패널티를 부여하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 각 제2 작업자 별로 상기 우수 기능요소를 선별하는 단계는, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하는 단계; 및 상기 산출된 반려율에 기초하여, 상기 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계를 포함하는 것을 특징으로 한다.
이때, 상기 N건의 작업은, 상기 프로젝트의 작업에 포함된 복수의 기능요소별 복수의 검증용 작업을 포함하고, 상기 각 제2 작업자 별로 상기 우수 기능요소를 선별하는 단계는, 상기 각 제2 작업자의 상기 N건의 작업 결과 중 복수의 검증용 작업 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수를 산출하는 단계; 및 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수에 기초하여, 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나 이상의 우수 기능요소를 선별하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치는, 프로젝트와 관련된 데이터가 저장되는 메모리; 상기 프로젝트와 관련된 복수의 작업자와 통신을 수행하는 통신모듈; 및 상기 프로젝트의 기능요소 단위 작업을 분배하는 동작을 처리하는 프로세서;를 포함하고, 상기 프로세서는, 상기 프로젝트의 작업에 포함된 복수의 기능요소를 파악하고, 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하고-상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함함-, 상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하고, 복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 상기 통신모듈을 통해 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업을 배정하고, 상기 통신모듈을 통해 상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고, 한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 상기 통신모듈을 통해 요청하고, 상기 통신모듈을 통해 상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하고, 상기 프로세서는, 상기 기능요소 단위 작업을 배정 시에, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하고, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청하고, 상기 프로세서는, 각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 상기 통신모듈을 통해 요청하고-상기 각 제2 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함함-, 상기 통신모듈을 통해 상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 상기 통신모듈을 통해 요청하고, 상기 통신모듈을 통해 상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별하고, 상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하고, 복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 상기 통신모듈을 통해 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업을 배정하고, 상기 통신모듈을 통해 상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고, 한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 상기 통신모듈을 통해 요청하고, 상기 통신모듈을 통해 상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 것을 특징으로 한다.
또한, 본 발명은 하드웨어인 컴퓨터와 결합되어, 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은, 크라우드소싱 기반의 프로젝트의 작업에 포함된 복수의 기능요소를 파악하는 단계; 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계-상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함함-; 상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하는 단계; 복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계; 상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계; 한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및 상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 수행하고, 상기 기능요소 단위 작업 배정 단계는, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하는 단계; 및 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청하는 단계를 포함하고, 상기 컴퓨터 프로그램은, 각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 요청하는 단계-상기 각 제2 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함함-; 상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 요청하는 단계; 상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별하는 단계; 상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하는 단계; 복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계; 상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계; 한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및 상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 더 수행하는 것을 특징으로 한다.
상술한 본 발명에 의하면, 하나의 작업을 복수의 기능요소 단위 작업으로 분할하고, 기능요소 단위로 분할된 작업을 각각의 기능요소가 우수 기능요소로 선별된 복수의 작업자에게 각각 분배함으로써, 각 작업자가 복수의 기능요소 중 자신의 우수 기능요소에 대한 작업만 수행하도록 할 수 있다.
이에 따라, 각 기능요소 단위 작업이 각각 해당 기능요소에 대해 우수한 작업 능력을 갖는 작업자에 의해 수행되기 때문에, 프로젝트의 진행 속도 및 작업 품질이 향상될 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 크라우드소싱 서비스의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 크라우드소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 제1 작업자와 관련한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 백분위 값에 기초하여 복수의 기능요소 중에서 우수 기능요소를 선별하는 것을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 백분위 값 및 작업 수행 건수에 기초하여 복수의 기능요소 중에서 우수 기능요소를 선별하는 것을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 하나의 작업을 기능요소 단위로 분할하는 것을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 복수의 제1 작업자에게 우수 기능요소에 상응하는 기능요소 단위 작업을 배정하는 것을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 것을 설명하기 위한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 병합된 하나의 작업 결과를 한 명의 검수자에게 배정하는 것을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 검수자로부터 복수의 기능요소 단위로 검수 결과를 입력받는 것을 설명하기 위한 예시도이다.
도 11은 본 발명의 일 실시예에 따른 제2 작업자와 관련한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법의 순서도이다.
도 12는 본 발명의 일 실시예에 따른 제1 작업자 및 제2 작업자의 우수 기능요소를 선발하는 시점을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 크라우드소싱 서비스의 개념도이다.
도 1을 참조하면, 크라우드소싱 서비스는 의뢰자(10), 서비스 제공 업체(20) 및 대중(30)으로 구성되어 수행된다.
의뢰자(10)는 크라우드소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하는 기업이나 개인을 의미한다.
의뢰자(10)는 인공지능 학습데이터의 생성을 위한 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 의뢰한다. 프로젝트를 통해서 생성된 데이터는 지도 학습, 비지도 학습, 강화 학습 등의 임의의 기계 학습의 학습데이터로 활용될 수 있다. 소스 데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다. 한편, 전술한 프로젝트의 종류는 일 실시예에 불과하며, 의뢰자의 설계에 따라 다양한 프로젝트가 본 발명에서 취급될 수 있다.
서비스 제공 업체(20)는 크라우드소싱 서비스를 제공하는 기업을 의미한다.
서비스 제공 업체(20)는 의뢰자(10)로부터 제품 또는 서비스에 대한 프로젝트를 의뢰받으면, 해당 프로젝트에 대한 작업을 일반 대중(30)에게 배정하여 대중(30)으로부터 작업 결과를 제공받는다. 이후, 작업 결과를 기반으로 추출된 최종 산출물을 의뢰자(10)에게 제공한다.
이때, 서비스 제공 업체(20)는 크라우드소싱 플랫폼(이하, 플랫폼)을 통해 의뢰자(10) 및 대중(30)에게 크라우드소싱 서비스를 제공한다. 즉, 서비스 제공 업체(20)는 의뢰자(10)로부터 프로젝트를 의뢰받으면, 플랫폼에 프로젝트를 오픈한다. 이후, 대중(30)으로부터 오픈된 프로젝트에 대한 작업 결과를 제공받으면, 해당 프로젝트를 플랫폼 상에서 종료하고, 최종 산출물을 추출하여 의뢰자(10)에게 제공할 수 있다.
대중(30)은 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중을 의미한다. 여기서, 대중(30)은 서비스 제공 업체(20)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 플랫폼에 오픈된 프로젝트에 참여할 수 있다.
대중(30)은 작업자(32) 및 검수자(34)로 구성된다.
작업자(32)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 작업자(32)는 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업을 수행하고, 이를 플랫폼에 전송한다.
검수자(34)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 검수자(34)는 작업자(32)가 수행한 작업 결과에 대한 검수를 수행한다. 검수자(34)는 검수 수행 결과로서, 검수 통과 처리 또는 반려 처리를 할 수 있고, 반려 처리시 반려 사유를 입력할 수 있다. 검수 통과의 경우 재작업과 이로 인한 재검수가 필요하지 않으므로, 검수 통과는 검수 완료와 동일한 의미를 가진다.
도 2는 본 발명의 일 실시예에 따른 크라우드소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
먼저, 의뢰자(10)는 서비스 제공 업체(20)로 하나 이상의 프로젝트를 의뢰한다(S11).
이후, 서비스 제공 업체(20)는 의뢰된 프로젝트를 플랫폼 상에 오픈한다(S12). 이때, 서비스 제공 업체(20)는 프로젝트 오픈 전에, 해당 프로젝트의 난이도 등을 고려하여 등급을 결정할 수 있다. 즉, 난이도에 따라 어떤 등급 이상의 대중(30)에게 해당 프로젝트를 노출시킬지를 결정할 수 있다. 이에 따라, 프로젝트의 작업 결과의 신뢰도를 높일 수 있게 된다.
이후, 서비스 제공 업체(20)는 프로젝트의 등급에 따라 해당 등급 이상의 작업자(32)에게 작업을 할당하여 작업 요청한다(S13).
이후, 작업자(32)는 할당된 작업을 수행하게 된다(S14). 이때, 작업자(32)는 어떤 이유에 의해 작업 자체가 불가능한 작업에 대해서는 작업을 수행하지 않고 작업 불가 사유를 입력할 수 있다.
이후, 서비스 제공 업체(20)는 작업자(32)로부터 작업 결과를 제공받고(S15), 해당 작업 결과에 대한 검수 작업을 검수자(34)에게 할당하여 검수 요청한다(S16).
이후, 검수자(34)는 할당된 검수를 수행하게 된다(S17). 이때, 검수자(34)는 작업이 적합하게 수행된 것으로 판단하면 검수 통과를 결정하고, 검수 작업이 잘못된 것으로 판단하면 반려 처리한다. 반려 처리 시, 검수자(34)는 어떤 이유로 작업이 잘못된 것으로 판단했는지에 대한 반려 사유를 입력한다.
이후, 서비스 제공 업체(20)는 검수자(34)로부터 검수 결과를 제공받는다(S18).
검수 결과가 검수 통과인 경우, 서비스 제공 업체(20)는 해당 작업 결과를 유효한 데이터로 사용하여, 이를 기반으로 하여 프로젝트 종료 시 최종 산출물을 추출하게 된다.
검수 결과가 반려 처리인 경우, 서비스 제공 업체(20)는 내부적으로 검수를 다시 수행하거나, 작업자(32)에게 다시 작업을 배정하여 재작업을 수행하게 할 수도 있다. 재작업시 검수자의 재검수가 필요하다.
이후, 서비스 제공 업체(20)는 프로젝트 기간이 종료되거나 충분한 유효 데이터를 확보하게 되면 해당 프로젝트를 종료하고(S19), 확보된 유효 데이터를 기반으로 최종 결과물을 산출하여 의뢰자(10)에게 제공한다(S20).
이때, 프로젝트 종료 전, 서비스 제공 업체(20)는 작업자(32) 및 검수자(34)의 수행 결과를 평가하고, 평가에 따라 작업 비용 및 검수 비용을 산출하여 작업자(32) 및 검수자(34)에게 지급한다.
도 1 및 도 2에서는 단순히 의뢰자(10), 서비스 제공 업체(20), 작업자(32), 검수자(34)로 표현하였으나, 이들은 각 참여자에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다.
도 3은 본 발명의 일 실시예에 따른 제1 작업자와 관련한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법의 순서도이다. 도 4는 본 발명의 일 실시예에 따른 백분위 값에 기초하여 복수의 기능요소 중에서 우수 기능요소를 선별하는 것을 설명하기 위한 예시도이다. 도 5는 본 발명의 일 실시예에 따른 백분위 값 및 작업 수행 건수에 기초하여 복수의 기능요소 중에서 우수 기능요소를 선별하는 것을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시예에 따른 하나의 작업을 기능요소 단위로 분할하는 것을 설명하기 위한 예시도이다. 도 7은 본 발명의 일 실시예에 따른 복수의 제1 작업자에게 우수 기능요소에 상응하는 기능요소 단위 작업을 배정하는 것을 설명하기 위한 예시도이다. 도 8은 본 발명의 일 실시예에 따른 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 것을 설명하기 위한 예시도이다. 도 9는 본 발명의 일 실시예에 따른 병합된 하나의 작업 결과를 한 명의 검수자에게 배정하는 것을 설명하기 위한 예시도이다. 도 10은 본 발명의 일 실시예에 따른 검수자로부터 복수의 기능요소 단위로 검수 결과를 입력받는 것을 설명하기 위한 예시도이다. 도 11은 본 발명의 일 실시예에 따른 제2 작업자와 관련한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법의 순서도이다. 도 12는 본 발명의 일 실시예에 따른 제1 작업자 및 제2 작업자의 우수 기능요소를 선발하는 시점을 설명하기 위한 예시도이다.
한편, 도 3 및 도 11에 도시된 단계들은 서비스 제공 업체(20)에 의해 운영되는 플랫폼 서버(이하, 서버)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.
또한, 복수의 작업자(32) 또는 복수의 검수자(34)는 소정의 단말 장치를 이용하여 작업을 수행한다. 작업자(32) 또는 검수자(34)의 단말 장치는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱 등과 같은 컴퓨터 장치 또는 전기 통신 장치일 수 있으나, 이에 제한되는 것은 아니다.
먼저, 도 3을 참조하면, 서버는 크라우드소싱 기반 프로젝트(이하, 프로젝트)의 작업에 포함된 복수의 기능요소를 파악한다(S110).
기능요소는 프로젝트를 수행하기 위한 작업 툴(tool)에 기반하여 결정되며, 작업 툴은 프로젝트에서 제공되며 작업자(32)들이 프로젝트가 요구하는 작업을 수행하기 위하여 사용하는 툴이다.
예를 들어, 프로젝트의 작업을 수행하기 위해 바운딩 작업을 위한 바운딩 툴(Bounding Box Tool), 전사 작업을 위한 인풋 박스 툴(Input Box Tool) 및 분류 작업을 위한 메이크 스텝 툴(Make Step Tool)이 필요한 경우, 해당 프로젝트의 작업은 바운딩 기능요소, 전사 기능요소 및 분류 기능요소를 포함하는 것으로 분류될 수 있다.
종래의 경우 복수의 기능요소가 포함된 작업을 한 명의 작업자(32)에게 배정하여 작업을 수행하도록 하였다. 복수의 기능요소가 포함된 작업을 배정받은 작업자(32)는 본인의 작업 능력과는 상관없이 복수의 기능요소에 대한 작업을 모두 수행해야 하였다. 이로 인해, 작업자(32)가 특정 기능요소에 대해서는 우수하게 작업을 수행하는 반면 특정 기능요소에 대해서는 적절하게 작업을 수행하지 못하는 상황이 발생하였고, 결국에는 프로젝트의 작업 품질이 떨어지는 문제로 작용하였다.
본 발명의 일 실시예는, 프로젝트의 작업이 복수의 기능요소를 포함하는 경우, 프로젝트에 참여하는 각각의 작업자(32)의 우수 기능요소를 선별하고, 이에 기초하여 각 기능요소 단위 작업을 복수의 작업자들에게 각각 분배함으로써, 각각의 작업자(32)가 본인이 우수한 작업 능력을 나타내는 기능요소에 대해서만 작업할 수 있게 하는 것을 특징으로 한다.
이때, 프로젝트에 참여하는 복수의 작업자(32)는 프로젝트의 작업에 포함된 복수의 기능요소에 대해서 이전 프로젝트에서 작업을 수행한 이력이 있을 수도 있고, 없을 수도 있다.
따라서, 본 발명의 일 실시예는, 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자(이하, 제1 작업자)의 우수 기능요소와 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자(이하, 제2 작업자)의 우수 기능요소가 상이한 방법으로 선별될 수 있도록 한다.
이하에서는, 제1 작업자의 우수 기능요소를 선별하여 기능요소 단위로 작업을 분배하는 것을 설명하도록 한다.
그리고, 이하에서는 편의를 위하여 프로젝트의 작업에 포함된 복수의 기능요소가 세 개(제1 기능요소, 제2 기능요소 및 제3 기능요소)인 것으로 설명하지만, 이에 한정되지 않는다.
상술한 바와 같이 단계 S110에서 프로젝트의 작업에 포함된 복수의 기능요소를 파악한 후, 프로젝트에 진입하는 작업자들 중에서 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 제1 작업자를 대상으로 하여, 서버는 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 각 제1 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별한다(S120).
구체적으로, 서버는 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 각 제1 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율을 산출한다.
여기서, 이전 프로젝트 이력은 작업자(32)가 과거에 프로젝트에 참여하여 작업을 수행함에 따라 저장되는 데이터를 의미한다. 예를 들어, 참여한 프로젝트 정보, 작업 시간, 반려율, 검수 통과율 등을 포함할 수 있다.
서버는 각 제1 작업자가 참여했던 이전 프로젝트 중에서 현재 참여 중인 프로젝트의 기능요소가 하나 이상 포함된 하나 이상의 이전 프로젝트를 추출하고, 추출된 하나 이상의 이전 프로젝트에서의 작업 수행 관련 데이터를 이용하여 각 제1 작업자의 기능요소별 반려율을 산출할 수 있다.
이어서, 서버는 각 제1 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율에 기초하여, 각 제1 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별한다.
일 실시예에 따라, 서버는 각 제1 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율의 백분위 값을 비교하여, 각 제1 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별할 수 있다.
백분위는 집단의 크기를 100으로 가정했을 때의 순위를 의미한다. 예를 들어, 특정 제1 작업자의 특정 기능요소 반려율이 30%일 때, 반려율 30%의 백분위 값이 50인 경우, 특정 제1 작업자는 특정 기능요소에 대해 해당 프로젝트의 전체 작업자 중에서 중간에 위치하고 있다는 의미이다.
백분위 값을 비교하는 이유는 각 기능요소별로 난이도 및 작업자의 작업 수행 건수가 상이하기 때문에, 이를 반영하여 제1 작업자의 작업 능력을 상대적으로 평가하기 위함이다.
도 4를 참조하면, 특정 제1 작업자의 이전 프로젝트 이력에 기초하여 산출된 제1 기능요소 반려율이 15%, 제2 기능요소 반려율이 10%, 제3 기능요소 반려율이 30%라고 가정했을 때, 제1 기능요소 반려율의 백분위 값은 90이고, 제2 기능요소 반려율의 백분위 값은 70이고, 제3 기능요소 반려율의 백분위 값은 30이다. 즉, 특정 제1 작업자는 제1 기능요소에 대해서 전체 작업자 중에서 상위 10%에 위치하고, 제2 기능요소에 대해서는 전체 작업자 중에서 상위 30%에 위치하고, 제3 기능요소에 대해서는 전체 작업자 중에서 하위 30%에 위치하고 있다는 것이다. 따라서, 특정 제1 작업자의 우수 기능요소는 백분위 값이 가장 큰 제1 기능요소로 선별되게 된다.
각 기능요소의 반려율로만 비교하게 되면 제2 기능요소의 반려율이 가장 낮기 때문에 특정 제1 작업자의 우수 기능요소는 제2 기능요소로 선별되게 될 것이다. 그러나, 이는 각 기능요소별 난이도가 반영된 것이 아니기 때문에 정확하다고 볼 수 없다. 난이도가 낮은 기능요소의 반려율이 낮게 산출되는 것은 당연하기 때문에, 난이도가 낮은 기능요소의 반려율이 가장 낮다고 해서 특정 제1 작업자가 복수의 기능요소 중에서 해당 기능요소에 대해서 전체 작업자보다 우수하게 작업하고 있다고 판단할 수 없다. 따라서, 상술한 바와 같이 기능요소별 반려율의 백분위 값을 비교함에 따라, 전제 작업자와 비교했을 때 각각의 기능요소에 대한 특정 제1 작업자의 작업 능력을 상대적으로 판단할 수 있게 된다.
이때, 각 제1 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율의 백분위 값 중 최대 값이 복수인 경우, 서버는 각 제1 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 작업 수행 건수에 더 기초하여, 각 제1 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별한다.
즉, 백분위 값이 가장 큰 기능요소가 복수인 경우에, 서버는 복수의 기능요소 중에서 제1 작업자의 작업 수행 건수가 더 많은 기능요소를 우수 기능요소로 선별한다.
도 5를 참조하면, 제1 기능요소 반려율의 백분위 값 및 제2 기능요소 반려율의 백분위 값이 70으로 가장 크고 동일하다. 제1 기능요소의 작업 수행 건수는 100건이고 제2 기능요소의 작업 수행 건수는 60건이므로, 특정 제1 작업자의 우수 기능요소는 작업 수행 건수가 더 많은 제1 기능요소로 선별되게 된다.
상기에서는 동일한 프로젝트에 참여 중인 작업자들끼리 비교하여 각 제1 작업자의 우수 기능요소를 선별하는 것으로 설명하였지만, 이에 제한되지 않고 크라우드소싱 플랫폼에 등록된 전체 작업자와 비교하여 제1 작업자의 우수 기능요소를 선별할 수도 있다.
제1 작업자의 우수 기능요소가 선별된 후, 프로젝트의 각 작업별로 아래의 프로세스가 진행된다.
다시 도 3을 참조하면, 서버는 하나의 작업을 복수의 기능요소 단위로 분할하고, 복수의 제1 작업자에게 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청한다. 이때, 서버는 각 제1 작업자에게 우수 기능요소에 상응하는 기능요소 단위 작업이 배정되도록 한다(S130).
도 6을 참조하면, 제1 기능요소, 제2 기능요소 및 제3 기능요소를 포함하는 하나의 작업은 각각 제1 기능요소 단위 작업, 제2 기능요소 단위 작업 및 제3 기능요소 단위 작업으로 분할될 수 있다.
제1 기능요소, 제2 기능요소 및 제3 기능요소 중에서 각 제1 작업자별로 우수 기능요소를 선별한 결과, 제1 작업자 A의 우수 기능요소가 제1 기능요소로 선별되고, 제1 작업자 B의 우수 기능요소가 제2 기능요소로 선별되고, 제1 작업자 C의 우수 기능요소가 제3 기능요소로 선별되었다면, 도 7에 도시된 바와 같이, 서버는 제1 기능요소 단위 작업을 제1 작업자 A에게 배정하여 작업 수행을 요청하고, 제2 기능요소 단위 작업을 제1 작업자 B에게 배정하여 작업 수행을 요청하고, 제3 기능요소 단위 작업을 제1 작업자 C에게 배정하여 작업 수행을 요청할 수 있다.
일 실시예에 따라, 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 서버는 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청할 수 있다.
즉, 제1 기능요소 단위 작업, 제2 기능요소 단위 작업 및 제3 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 서버는 첫 순서인 제1 기능요소 단위 작업을 제1 기능요소가 우수 기능요소인 제1 작업자 A에게 배정하여 작업 수행을 요청한다. 제1 작업자 A가 제1 기능요소 단위 작업의 수행을 완료하면, 그 다음 순서인 제2 기능요소 단위 작업을 제2 기능요소가 우수 기능요소인 제1 작업자 B에게 배정하여 작업 수행을 요청한다. 제1 작업자 B가 제2 기능요소 단위 작업의 수행을 완료하면, 그 다음 순서인 제3 기능요소 단위 작업을 제3 기능요소가 우수 기능요소인 제1 작업자 C에게 배정하여 작업 수행을 요청한다.
다른 실시예에 따라, 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 서버는 작업의 수행 순서에 따라 각 제1 작업자의 작업 화면이 활성화되도록 할 수 있다.
즉, 제1 기능요소 단위 작업, 제2 기능요소 단위 작업 및 제3 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 서버는 제1 기능요소가 우수 기능요소인 제1 작업자 A의 작업 화면을 활성화시켜 제1 기능요소 단위 작업 수행이 가능하게 한다(제1 작업자 B 및 C의 작업 화면은 비활성화 상태). 제1 작업자 A가 제1 기능요소 단위 작업의 수행을 완료하면, 제2 기능요소가 우수 기능요소인 제1 작업자 B의 작업 화면을 활성화시켜 그 다음 순서인 제2 기능요소 단위 작업 수행이 가능하게 한다(제1 작업자 A 및 C의 작업 화면은 비활성화 상태). 제1 작업자 B가 제2 기능요소 단위 작업의 수행을 완료하면, 제3 기능요소가 우수 기능요소인 제1 작업자 C의 작업 화면을 활성화시켜 그 다음 순서인 제3 기능요소 단위 작업 수행이 가능하게 한다(제1 작업자 A 및 B의 작업 화면은 비활성화 상태).
또 다른 실시예에 따라, 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 서버는 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청할 수 있다.
즉, 제1 기능요소 단위 작업, 제2 기능요소 단위 작업 및 제3 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 서버는 제1 기능요소가 우수 기능요소인 제1 작업자 A에게 제1 기능요소 단위 작업을, 제2 기능요소가 우수 기능요소인 제1 작업자 B에게 제2 기능요소 단위 작업을, 제3 기능요소가 우수 기능요소인 제1 작업자 C에게 제3 기능요소 단위 작업을 동시에 배정한다.
이어서, 서버는 복수의 제1 작업자로부터 복수의 기능요소 단위 작업 결과를 입력받는다(S140).
즉, 제1 기능요소가 우수 기능요소인 제1 작업자 A에게 제1 기능요소 단위 작업을, 제2 기능요소가 우수 기능요소인 제1 작업자 B에게 제2 기능요소 단위 작업을, 제3 기능요소가 우수 기능요소인 제1 작업자 C에게 제3 기능요소 단위 작업을 배정한 경우, 서버는 제1 작업자 A로부터 제1 기능요소 단위 작업 결과를 입력받고, 제1 작업자 B로부터 제2 기능요소 단위 작업 결과를 입력받고, 제1 작업자 C로부터 제3 기능요소 단위 작업 결과를 각각 입력받는다.
기능요소 단위 작업 결과를 각각의 제1 작업자로부터 모두 입력받은 후에, 서버는 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고, 한 명의 검수자에게 작업 결과를 배정하여 검수 수행을 요청하고(S150), 검수자로부터 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 입력받는다(S160).
서버는 복수의 제1 작업자로부터 각각 입력받은 복수의 기능요소 단위 작업을 하나의 작업 결과로 병합하여 한 명의 검수자(34)에게 검수 수행을 요청한다.
도 8을 참조하면, 서버는 세 명의 제1 작업자로부터 입력받은 제1 기능요소 단위 작업 결과, 제2 기능요소 단위 작업 결과 및 제3 기능요소 단위 작업 결과를 하나의 작업 결과로 병합한다. 이후, 도 9를 참조하면, 서버는 병합된 하나의 작업 결과를 검수자 A에게 배정하여 검수 수행을 요청한다.
검수자 A는 배정된 하나의 작업 결과를 검수하되, 각 기능요소 단위로 검수를 수행한다. 즉, 검수자 A는 제1 기능요소 단위 작업 결과, 제2 기능요소 단위 작업 결과 및 제3 기능요소 단위 작업 결과 각각에 대해서 검수 통과 또는 반려로 검수를 수행한다.
이후, 작업 결과에 대한 검수 결과에 따라, 서버는 검수자가 특정 기능요소 단위 작업 결과에 대한 검수 결과를 반려로 입력한 경우, 반려된 기능요소 단위 작업 결과를 입력한 제1 작업자에게 재작업 수행을 요청한다.
도 10을 참조하면, 검수자 A가 제1 기능요소 단위 작업 결과, 제2 기능요소 단위 작업 결과 및 제3 기능요소 단위 작업 결과 중에서 제1 기능요소 단위 작업 결과에 대해서만 반려로 검수 결과를 입력했을 때, 서버는 제1 기능요소 단위 작업 결과를 작업 수행했던 제1 작업자 A에게만 제1 기능요소 단위 작업에 대한 재작업 수행을 요청한다.
이때, 제1 기능요소 단위 작업, 제2 기능요소 단위 작업 및 제3 기능요소단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 각각의 작업 결과는 개별적으로 검수가 가능하기 때문에, 하나의 기능요소 단위 작업 결과가 반려되었다고 해도, 나머지 기능요소 단위 작업 결과의 검수 결과에는 전혀 영향을 미치지 않는다. 그렇기 때문에, 제1 기능요소 단위 작업 결과가 반려되고, 제2 기능요소 단위 작업 결과 및 제3 기능요소 단위 작업 결과가 검수 통과된 경우, 제1 기능요소 단위 작업을 수행했던 제1 작업자 A만 재작업을 수행하고, 제2 기능요소 단위 작업 및 제3 기능요소 단위 작업을 수행했던 제1 작업자 B 및 C는 재작업을 수행할 필요가 없다.
이와 달리, 제1 기능요소 단위 작업, 제2 기능요소 단위 작업 및 제3 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 각각의 작업 결과는 연계되어 검수되기 때문에, 선순위의 기능요소 단위 작업 결과의 검수 결과는 후순위의 기능요소 단위 작업 결과의 검수 결과에 영향을 미치게 된다. 그렇기 때문에, 선순위의 제1 기능요소 단위 작업이 반려된 경우, 제1 기능요소 단위 작업을 수행했던 제1 작업자 A뿐만 아니라, 후순위인 제2 기능요소 단위 작업을 수행했던 제1 작업자 B 및 제3 기능요소 단위 작업을 수행했던 제1 작업자 C도 재작업을 수행해야 한다.
이런 경우, 후순위의 기능요소 단위 작업을 수행한 제1 작업자는 선순위의 기능요소 단위 작업 결과에 따라 적절하게 작업을 수행했음에도 불구하고 반려를 당한 것이다. 즉, 선순위의 기능요소 단위 작업을 수행한 제1 작업자의 잘못에 의해 후순위의 기능요소 단위 작업을 수행한 제1 작업자가 피해를 보게 되는 것이다. 이로 인해, 후순위의 제1 작업자의 노동에 대한 보상이 제대로 이루어지지 않아 후순위의 제1 작업자의 프로젝트 이탈을 유발하고, 결국 프로젝트 운영에도 영향을 미치게 된다.
따라서, 이러한 문제를 방지하기 위해 본 발명의 일부 실시예에서, 도 3에는 명확하게 도시하지 않았으나, 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법은, 제1 기능요소 단위 작업 및 제2 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 검수자가 제1 기능요소 단위 작업 결과에 대한 검수 결과를 반려로 입력한 횟수를 각 제1 작업자별로 누적 산출하고, 누적 산출된 횟수가 기준 횟수를 초과한 제1 작업자에게 소정의 패널티를 부여하는 단계를 더 포함할 수 있다.
기준 횟수가 5회인 경우, 선순위의 기능요소 단위 작업을 수행하는 제1 작업자의 작업 결과가 반려된 횟수가 5회를 초과하게 되면 해당 제1 작업자에게 소정의 패널티를 부여하는 것이다.
예를 들어, 서버는 누적 산출된 횟수가 5회를 초과한 제1 작업자에게 (해당 프로젝트에서 더 이상 또는 소정 기간 동안 작업 수행이 불가한) 작업 제한 패널티를 부여할 수 있다.
이하에서는, 제2 작업자의 우수 기능요소를 선별하여 기능요소 단위로 작업을 분배하는 것을 설명하도록 한다.
그리고, 이하에서는 편의를 위하여 프로젝트의 작업에 포함된 복수의 기능요소가 세 개(제1 기능요소, 제2 기능요소 및 제3 기능요소)인 것으로 설명하지만, 이에 한정되지 않는다.
상술한 바와 같이 단계 S110에서 프로젝트의 작업에 포함된 복수의 기능요소를 파악한 후, 프로젝트에 진입하는 작업자들 중에서 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 제2 작업자를 대상으로 하여, 도 11을 참조하면, 서버는 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 요청하고(210), 각 제2 작업자로부터 N건의 작업 결과를 입력받고(S220), N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 요청하고(S230), 복수의 검수자로부터 N건의 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 입력받고(S240), 각 제2 작업자의 N건의 작업 결과에 대한 검수 결과에 기초하여, 각 제2 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별한다(S250).
즉, 제2 작업자는 복수의 기능요소에 대한 이전 프로젝트 이력이 없기 때문에, 서버는 제2 작업자의 작업 능력에 대해서 판단할 수가 없다. 따라서, 서버는 제2 작업자에게 초기 N건에 대해서는 모든 기능요소에 대한 작업을 수행하게 하고, 각 기능요소별 작업 결과의 검수 결과에 따라 제2 작업자가 어떤 기능요소에 대해서 우수한 작업 능력을 보이는지 파악하는 것이다.
일 실시예로, 서버는 제2 작업자별로 N건의 작업 결과에 대한 기능요소별 반려율에 기초하여 각 제2 작업자의 우수 기능요소를 선별할 수 있다.
구체적으로, 서버는 각 제2 작업자의 N건의 작업 결과에 대한 검수 결과에 기초하여, 각 제2 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율을 산출하고, 각 제2 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율에 기초하여, 각 제2 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별한다.
서버는 각 제2 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율의 백분위 값을 비교하여, 각 제2 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별할 수 있다.
즉, 제1 작업자와 마찬가지로, 서버는 각 제2 작업자의 기능요소별 반려율의 백분위 값을 해당 프로젝트의 전체 작업자의 기능요소별 반려율의 백분위 값과 비교하여, 백분위 값이 가장 큰 기능요소를 각 제2 작업자의 우수 기능요소로 선별할 수 있다.
다만, 각 제2 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 반려율의 백분위 값 중 최대 값이 복수인 경우, 제2 작업자는, 제1 작업자와 같이 작업 수행 건수에 더 기초하는 것이 아니라(제2 작업자는 모두 N건을 수행하기 때문에), 해당 기능요소가 우수 기능요소로 선별된 작업자의 수에 더 기초하여 우수 기능요소를 선별한다.
즉, 백분위 값이 가장 큰 기능요소가 복수인 경우에, 서버는 복수의 기능요소 중에서 매칭된 작업자의 수(즉, 해당 기능요소가 우수 기능요소로 선별된 작업자의 수)가 더 적은 기능요소를 우수 기능요소로 선별한다.
상기에서는 동일한 프로젝트에 참여 중인 작업자들끼리 비교하여 각 제2 작업자의 우수 기능요소를 선별하는 것으로 설명하였지만, 이에 제한되지 않고 크라우드소싱 플랫폼에 등록된 전체 작업자와 비교하여 제2 작업자의 우수 기능요소를 선별할 수도 있다.
다른 일 실시예로, 서버는 검증용 작업을 이용하여 각 제2 작업자의 우수 기능요소를 선별할 수 있다. 이 경우, N건의 작업은 프로젝트의 작업에 포함된 복수의 기능요소별 복수의 검증용 작업을 포함한다.
서버는 N건의 작업 중에서 정답이 정해져 있는 복수의 기능요소별 복수의 검증용 작업을 랜덤으로 포함시켜 제2 작업자에게 배정하고, 제2 작업자가 정답과 동일하게 검증용 작업을 수행하는지를 판단한다. 검증용 작업은 정답이 정해져 있기 때문에 검수자에 의한 검수가 필요없이, 입력된 작업 결과로 제2 작업자가 작업을 제대로 수행했는지를 판단할 수 있어, 상술한 반려율을 이용한 방법보다는 빠르게 제2 작업자의 우수 기능요소를 선별할 수 있다.
이때, 하나의 작업에는 하나 이상의 기능요소별 검증용 작업이 포함될 수 있다. 즉, 기능요소가 세 개인 경우, 하나의 작업에 한 개의 기능요소 검증용 작업이 포함될 수 있고, 두 개의 기능요소 검증용 작업이 포함될 수 있고, 또는 세 개의 기능요소 검증용 작업이 포함될 수도 있다.
서버는 각 제2 작업자의 N건의 작업 결과 중 복수의 검증용 작업 결과에 기초하여, 각 제2 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수를 산출한다.
예를 들어, 50건(N건)의 작업에 기능요소별로 각각 10건의 검증용 작업이 포함된 경우, 서버는 기능요소별로 각각 10건의 검증용 작업에 대해서 제2 작업자가 정답을 틀린 횟수를 산출한다.
하나의 작업에 제1 기능요소, 제2 기능요소 및 제3 기능요소가 포함된 경우, 특정 제2 작업자가 제1 기능요소 검증용 작업 10건 중에서 3건을 잘못 수행했고, 제2 기능요소 검증용 작업 10건 중에서 6건을 잘못 수행했고, 제3 기능요소 검증용 작업 10건 중에서 8건을 잘못 수행했다면, 특정 제2 작업자의 제1 기능요소의 틀린 횟수는 3회, 제2 기능요소의 틀린 횟수는 6회, 제3 기능요소의 틀린 횟수는 8회로 산출될 수 있다.
이후, 서버는 각 제2 작업자의 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수에 기초하여, 각 제2 작업자별로 프로젝트의 작업에 포함된 복수의 기능요소 중 하나 이상의 우수 기능요소를 선별한다.
구체적으로, 서버는 틀린 횟수가 기준 횟수 이상인 기능요소에 대해서 우수 기능요소에서 탈락시키고, 기준 횟수 미만인 기능요소 중에서 우수 기능요소를 선별한다.
예를 들어, 기준 횟수가 5회라고 가정했을 때, 특정 제2 작업자의 제1 기능요소의 틀린 횟수는 3회, 제2 기능요소의 틀린 횟수는 6회, 제3 기능요소의 틀린 횟수는 8회로 산출된 경우, 틀린 횟수가 5회 이상인 제2 기능요소와 제3 기능요소는 우수 기능요소에서 탈락되고, 틀린 횟수가 5회 미만인 제1 기능요소가 우수 기능요소로 선별되게 된다.
다른 예로, 기준 횟수가 5회라고 가정했을 때, 특정 제2 작업자의 제1 기능요소의 틀린 횟수는 2회, 제2 기능요소의 틀린 횟수는 4회, 제3 기능요소의 틀린 횟수는 8회로 산출된 경우, 틀린 횟수가 5회 미만인 제1 기능요소 및 제2 기능요소 중에서, 틀린 횟수가 더 적은 제1 기능요소가 특정 제2 작업자의 우수 기능요소로 선별되게 된다.
또 다른 예로, 기준 횟수가 5회라고 가정했을 때, 특정 제2 작업자의 제1 기능요소의 틀린 횟수는 2회, 제2 기능요소의 틀린 횟수는 2회, 제3 기능요소의 틀린 횟수는 8회로 산출된 경우, 틀린 횟수가 5회 미만이면서 동일한 제1 기능요소 및 제2 기능요소 중에서, N건의 작업 결과에 대한 반려율이 더 낮은 기능요소가 우수 기능요소로 선별되게 된다. 예를 들어, 제1 기능요소의 N건에 대한 반려율이 3%이고, 제2 기능요소의 N건에 대한 반려율이 7%인 경우, 반려율이 더 낮은 제1 기능요소가 특정 제2 작업자의 우수 기능요소로 선별되게 된다.
또 다른 예로, 기준 횟수가 5회라고 가정했을 때, 특정 제2 작업자의 제1 기능요소의 틀린 횟수는 6회, 제2 기능요소의 틀린 횟수는 6회, 제3 기능요소의 틀린 횟수는 8회로 산출된 경우, 제1 기능요소, 제2 기능요소, 제3 기능요소의 틀린 횟수가 모두 5회 이상이므로 제1 기능요소, 제2 기능요소, 제3 기능요소는 모두 우수 기능요소에서 탈락된다. 이와 같이, 모든 기능요소가 탈락된 경우, 특정 제2 작업자는 해당 프로젝트에서 더 이상 작업을 수행할 수 없게 된다.
제2 작업자의 우수 기능요소가 선별된 후, 프로젝트의 각 작업별로, 상기 단계 S130 내지 단계 S160과 동일한 프로세스가 진행된다.
즉, 서버는 하나의 작업을 복수의 기능요소 단위로 분할하고, 복수의 제2 작업자에게 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 각 제2 작업자에게 우수 기능요소에 상응하는 기능요소 단위 작업이 배정되도록 한다. 이후, 서버는 복수의 제2 작업자로부터 복수의 기능요소 단위 작업 결과를 입력받는다. 이후, 서버는 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고, 한 명의 검수자에게 작업 결과를 배정하여 검수 수행을 요청한다. 이후, 서버는 검수자로부터 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 입력받는다. 상세한 내용은 상기 단계 S130 내지 단계 S160에서 설명한 바와 동일하다.
도 12a를 참조하면, 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 제1 작업자는 프로젝트에 참여함과 동시에 이전 프로젝트 이력에 기초하여 우수 기능요소가 선별되어, 선별된 우수 기능요소에 대한 작업만 배정받아 프로젝트가 종료될 때까지 해당 기능요소에 대한 작업만 수행하게 된다.
반면에, 도 12b를 참조하면, 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 제2 작업자는 프로젝트에 참여하여 초기 N건에 대해서는 기능요소 단위로 분할되지 않은 작업을 수행하고, 초기 N건에 대한 작업 수행을 완료하면, N건의 작업 결과에 대한 검수 결과에 기초하여 우수 기능요소가 선별되어, 해당 시점 이후부터는 선별된 우수 기능요소에 대한 작업만 배정받아 프로젝트가 종료될 때까지 해당 기능요소에 대한 작업만 수행하게 된다.
한편, 서버는 프로젝트의 작업에 포함된 기능요소별 작업을 각각 수행한 제1 작업자 또는 제2 작업자에게 소정의 작업 단가를 나누어서 지급한다.
일 실시예로, 서버는 작업 단가를 기능요소의 개수로 나누어서 각각의 작업자에게 지급할 수 있다.
예를 들어, 하나의 작업에 세 개의 기능요소가 포함되고, 작업 단가가 1200원인 경우, 서버는 각 기능요소 단위 작업을 수행한 세 명의 작업자에게 각각 400원씩 작업 단가를 지급할 수 있다.
다른 실시예로, 서버는 작업 단가를 각 기능요소 단위 작업의 평균 작업 수행 시간에 비례해서 각각의 작업자에게 지급할 수 있다. 평균 작업 수행 시간이 길수록 난이도가 높다는 의미이므로, 서버는 난이도가 높은 기능요소 단위 작업을 수행한 작업자에게 더 많은 작업 단가를 지급하는 것이다.
예를 들어, 하나의 작업에 제1 기능요소, 제2 기능요소 및 제3 기능요소가 포함되고, 제1 기능요소, 제2 기능요소 및 제3 기능요소 단위 작업의 평균 작업 수행 시간이 각각 10초, 30초, 20초이고, 작업 단가가 1200원인 경우, 서버는 제1 기능요소, 제2 기능요소 및 제3 기능요소 단위 작업을 각각 수행한 세 명의 작업자에게 각각 200원, 600원, 400원을 지급할 수 있다.
한편, 본 발명의 일부 실시예에서, 도 3 및 도 11에는 명확하게 도시하지 않았으나, 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법은 제1 기능요소 단위 작업 및 제2 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 검수자가 제1 기능요소 단위 작업 결과에 대한 검수 결과를 반려로 입력한 횟수를 각 제1 작업자별로 누적 산출하고, 상기 누적 산출된 횟수가 기준 횟수를 초과한 제1 작업자에게 소정의 패널티를 부여하는 단계를 더 포함할 수 있다.
한편, 상술한 설명에서, 단계 S11 내지 S250은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 후술하는 도 13의 내용은 도 1 내지 도 12의 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법에도 적용될 수 있다.
이하에서는 도 13을 참조하여 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치(300)에 대하여 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치를 설명하기 위한 도면이다.
도 13을 참조하면, 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치(300)(이하, 작업 분배 장치)는 통신모듈(310), 메모리(320) 및 프로세서(330)를 포함한다.
통신모듈(310)은 하나의 프로젝트와 관련된 복수의 작업자와 통신을 수행하고, 상기 프로젝트에 대한 크라우드소싱 기반의 작업을 복수의 작업자(32)에게 송신하여 작업 수행을 요청하고, 복수의 작업자(32)로부터 작업 결과를 수신한다. 복수의 작업자(32)로부터 수신된 작업 결과를 복수의 검수자(34)에게 송신하여 검수를 요청하고, 복수의 검수자(34)로부터 검수 결과를 수신한다.
메모리(320)에는 프로젝트와 관련된 데이터가 저장되고, 통신모듈(310)로부터 수신한 데이터에 기초하여 각 작업자의 우수 기능요소에 따라 프로젝트의 기능요소 단위로 작업을 분배하기 위한 프로그램이 저장된다.
프로세서(330)는 작업 분배 장치(300)의 전반적인 동작을 제어하고, 상기 프로젝트의 기능요소 단위 작업을 분배하는 동작의 처리를 위해 메모리(320)에 저장된 프로그램을 실행시킨다.
프로세서(330)는 메모리(320)에 저장된 프로그램을 실행시킴에 따라, 상기 프로젝트의 작업에 포함된 복수의 기능요소를 파악하고, 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별할 수 있다. 이때, 상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함한다.
프로세서(330)는 상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하고, 복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 상기 통신모듈(310)을 통해 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업을 배정할 수 있다.
프로세서(330)는 상기 통신모듈(310)을 통해 상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고, 한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 상기 통신모듈(310)을 통해 요청하고, 상기 통신모듈(310)을 통해 상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신한다.
이때, 프로세서(330)는 상기 기능요소 단위 작업을 배정 시에, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하고, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청할 수 있다.
또한, 프로세서(330)는 각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 상기 통신모듈(310)을 통해 요청할 수 있다. 이때, 상기 각 제2 작업자는 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함할 수 있다.
프로세서(330)는 통신모듈(310)을 통해 상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 상기 통신모듈(310)을 통해 요청하고, 상기 통신모듈(310)을 통해 상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별할 수 있다.
프로세서(330)는 상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하고, 복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 상기 통신모듈(310)을 통해 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업을 배정할 수 있다.
프로세서(330)는 상기 통신모듈(310)을 통해 상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고, 한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 상기 통신모듈을 통해 요청하고, 상기 통신모듈을 통해 상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신할 수 있다. 이때, 상기 제1 검수자 및 제2 검수자는 동일 인물 또는 다른 인물일 수 있다.
프로세서(330)는 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별 시에, 상기 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하고, 상기 산출된 반려율에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별할 수 있다.
또한, 프로세서는(330)는 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별 시에, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값을 비교하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별할 수 있다.
또한, 프로세서(330)는 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별 시에, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값 중 최대 값이 복수인 경우, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 작업 수행 건수에 더 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별할 수 있다.
또한, 프로세서(330)는 상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 상기 작업 결과에 대한 검수 결과에 따라, 상기 검수자의 특정 기능요소 단위 작업 결과에 대한 검수 결과가 반려인 경우, 상기 각 제1 작업자 중에서 상기 반려된 기능요소 단위 작업 결과를 입력한 제1 작업자에게 재작업 수행을 상기 통신모듈(310)을 통해 요청할 수 있다.
또한, 프로세서(330)는 제1 기능요소 단위 작업 및 제2 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 상기 검수자가 제1 기능요소 단위 작업 결과에 대한 검수 결과를 반려로 입력한 횟수를 상기 각 제1 작업자 별로 누적 산출하고, 상기 각 제1 작업자 중에서 상기 누적 산출된 횟수가 기준 횟수를 초과한 제1 작업자에게 기 설정된 패널티를 부여할 수 있다.
또한, 프로세서(330)는 상기 각 제2 작업자 별로 상기 우수 기능요소를 선별 시에, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하고, 상기 산출된 반려율에 기초하여, 상기 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별할 수 있다.
이때, 상기 N건의 작업은 상기 프로젝트의 작업에 포함된 복수의 기능요소별 복수의 검증용 작업을 포함하고, 프로세서(330)는 상기 각 제2 작업자 별로 상기 우수 기능요소를 선별 시에, 상기 각 제2 작업자의 상기 N건의 작업 결과 중 복수의 검증용 작업 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수를 산출하고, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수에 기초하여, 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나 이상의 우수 기능요소를 선별할 수 있다.
또한, 본 발명은 하드웨어인 컴퓨터와 결합되어, 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 크라우드소싱 기반의 프로젝트의 작업에 포함된 복수의 기능요소를 파악하는 단계; 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계-상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함함-; 상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하는 단계; 복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계; 상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계; 한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및 상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 수행하고, 상기 기능요소 단위 작업 배정 단계는 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하는 단계; 및 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청하는 단계를 포함하고, 상기 컴퓨터 프로그램은 각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 요청하는 단계-상기 각 제2 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함함-; 상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 요청하는 단계; 상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별하는 단계; 상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하는 단계; 복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계; 상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계; 한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및 상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 더 수행할 수 있다.
즉, 본 발명에 따른 컴퓨터 프로그램은 앞서 설명된 도 1 내지 도 13의 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배와 관련된 모든 동작의 처리가 가능하도록 설계될 수 있는 것이다.
또한, 도 13을 참조하여 설명한 작업 분배 장치(300)는 상술한 서버의 구성요소로 제공될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 컴퓨터에 의해 수행되는 방법으로서,
    크라우드소싱 기반의 프로젝트의 작업에 포함된 복수의 기능요소를 파악하는 단계;
    각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계-상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함함-;
    상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하는 단계;
    복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계;
    상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계;
    한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및
    상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 포함하고,
    상기 기능요소 단위 작업 배정 단계는,
    상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하는 단계; 및
    상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청하는 단계를 포함하고,
    상기 방법은,
    각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 요청하는 단계-상기 각 제2 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함함-;
    상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 요청하는 단계;
    상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별하는 단계;
    상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하는 단계;
    복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계;
    상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계;
    한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및
    상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 더 포함하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  2. 제1항에 있어서,
    상기 각 제1 작업자 별로 상기 우수 기능요소를 선별하는 단계는,
    상기 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하는 단계; 및
    상기 산출된 반려율에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계를 포함하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  3. 제2항에 있어서,
    상기 각 제1 작업자 별로 상기 우수 기능요소를 선별하는 단계는,
    상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값을 비교하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  4. 제3항에 있어서,
    상기 각 제1 작업자 별로 우수 기능요소를 선별하는 단계는,
    상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값 중 최대 값이 복수인 경우, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 작업 수행 건수에 더 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  5. 제1항에 있어서,
    상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 상기 작업 결과에 대한 검수 결과에 따라, 상기 검수자의 특정 기능요소 단위 작업 결과에 대한 검수 결과가 반려인 경우, 상기 각 제1 작업자 중에서 상기 반려된 기능요소 단위 작업 결과를 입력한 제1 작업자에게 재작업 수행을 요청하는 단계를 더 포함하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  6. 제5항에 있어서,
    제1 기능요소 단위 작업 및 제2 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우,
    상기 검수자가 제1 기능요소 단위 작업 결과에 대한 검수 결과를 반려로 입력한 횟수를 상기 각 제1 작업자 별로 누적 산출하고, 상기 각 제1 작업자 중에서 상기 누적 산출된 횟수가 기준 횟수를 초과한 제1 작업자에게 기 설정된 패널티를 부여하는 단계를 더 포함하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  7. 제1항에 있어서,
    상기 각 제2 작업자 별로 상기 우수 기능요소를 선별하는 단계는,
    상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하는 단계; 및
    상기 산출된 반려율에 기초하여, 상기 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계를 포함하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  8. 제1항에 있어서,
    상기 N건의 작업은, 상기 프로젝트의 작업에 포함된 복수의 기능요소별 복수의 검증용 작업을 포함하고,
    상기 각 제2 작업자 별로 상기 우수 기능요소를 선별하는 단계는,
    상기 각 제2 작업자의 상기 N건의 작업 결과 중 복수의 검증용 작업 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수를 산출하는 단계; 및
    상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수에 기초하여, 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나 이상의 우수 기능요소를 선별하는 단계를 포함하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법.
  9. 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치에 있어서,
    상기 프로젝트와 관련된 데이터가 저장되는 메모리;
    상기 프로젝트와 관련된 복수의 작업자와 통신을 수행하는 통신모듈; 및
    상기 프로젝트의 기능요소 단위 작업을 분배하는 동작을 처리하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 프로젝트의 작업에 포함된 복수의 기능요소를 파악하고,
    각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하고-상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함함-,
    상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하고,
    복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 상기 통신모듈을 통해 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업을 배정하고,
    상기 통신모듈을 통해 상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고,
    한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 상기 통신모듈을 통해 요청하고,
    상기 통신모듈을 통해 상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하고,
    상기 프로세서는, 상기 기능요소 단위 작업을 배정 시에, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하고, 상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청하고,
    상기 프로세서는,
    각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 상기 통신모듈을 통해 요청하고-상기 각 제2 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함함-,
    상기 통신모듈을 통해 상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 상기 통신모듈을 통해 요청하고,
    상기 통신모듈을 통해 상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별하고,
    상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하고,
    복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 상기 통신모듈을 통해 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업을 배정하고,
    상기 통신모듈을 통해 상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하고,
    한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 상기 통신모듈을 통해 요청하고,
    상기 통신모듈을 통해 상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  10. 제9항에 있어서,
    상기 프로세서는, 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별 시에,
    상기 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하고,
    상기 산출된 반려율에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  11. 제10항에 있어서,
    상기 프로세서는, 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별 시에,
    상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값을 비교하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  12. 제11항에 있어서,
    상기 프로세서는, 상기 각 제1 작업자 별로 상기 우수 기능요소를 선별 시에,
    상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값 중 최대 값이 복수인 경우, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 작업 수행 건수에 더 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 상기 작업 결과에 대한 검수 결과에 따라, 상기 검수자의 특정 기능요소 단위 작업 결과에 대한 검수 결과가 반려인 경우, 상기 각 제1 작업자 중에서 상기 반려된 기능요소 단위 작업 결과를 입력한 제1 작업자에게 재작업 수행을 상기 통신모듈을 통해 요청하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  14. 제13항에 있어서,
    상기 프로세서는, 제1 기능요소 단위 작업 및 제2 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우,
    상기 검수자가 제1 기능요소 단위 작업 결과에 대한 검수 결과를 반려로 입력한 횟수를 상기 각 제1 작업자 별로 누적 산출하고,
    상기 각 제1 작업자 중에서 상기 누적 산출된 횟수가 기준 횟수를 초과한 제1 작업자에게 기 설정된 패널티를 부여하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  15. 제9항에 있어서,
    상기 프로세서는, 상기 각 제2 작업자 별로 상기 우수 기능요소를 선별 시에,
    상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하고,
    상기 산출된 반려율에 기초하여, 상기 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  16. 제9항에 있어서,
    상기 N건의 작업은, 상기 프로젝트의 작업에 포함된 복수의 기능요소별 복수의 검증용 작업을 포함하고,
    상기 프로세서는, 상기 각 제2 작업자 별로 상기 우수 기능요소를 선별 시에,
    상기 각 제2 작업자의 상기 N건의 작업 결과 중 복수의 검증용 작업 결과에 기초하여, 상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수를 산출하고,
    상기 각 제2 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소별 틀린 횟수에 기초하여, 각 제2 작업자별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나 이상의 우수 기능요소를 선별하는,
    크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 장치.
  17. 하드웨어인 컴퓨터와 결합되어, 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은,
    크라우드소싱 기반의 프로젝트의 작업에 포함된 복수의 기능요소를 파악하는 단계;
    각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계-상기 각 제1 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하는 작업자를 포함함-;
    상기 각 제1 작업자의 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업별로, 하나의 작업을 복수의 기능요소 단위로 분할하는 단계;
    복수의 제1 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 복수의 제1 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계;
    상기 복수의 제1 작업자로부터 상기 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계;
    한 명의 제1 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및
    상기 제1 검수자로부터 상기 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 수행하고,
    상기 기능요소 단위 작업 배정 단계는,
    상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖는 경우, 선순위의 제1 기능요소 단위 작업의 수행이 완료된 후, 후순위의 제2 기능요소 단위 작업을 배정하여 작업 수행을 요청하는 단계; 및
    상기 복수의 기능요소 단위 작업이 순차적인 수행 순서를 갖지 않는 경우, 복수의 기능요소 단위 작업을 동시에 배정하여 작업 수행을 요청하는 단계를 포함하고,
    상기 컴퓨터 프로그램은,
    각 제2 작업자에게 복수의 기능요소 단위로 분할하지 않은 N건(단, N은 1이상의 자연수)의 작업을 배정하여 작업 수행을 요청하는 단계-상기 각 제2 작업자는, 상기 프로젝트의 작업에 포함된 복수의 기능요소에 대한 이전 프로젝트 이력이 존재하지 않는 작업자를 포함함-;
    상기 각 제2 작업자로부터 상기 배정된 N건의 작업 결과가 수신되면, 상기 N건의 작업 결과를 복수의 검수자에게 배정하여 검수 수행을 요청하는 단계;
    상기 복수의 검수자로부터 상기 N건의 작업 결과에 대한 검수 결과가 상기 복수의 기능요소 단위로 수신되면, 상기 각 제2 작업자의 상기 N건의 작업 결과에 대한 검수 결과에 기초하여, 상기 각 제2 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 우수 기능요소를 선별하는 단계;
    상기 각 제2 작업자 별로 상기 우수 기능요소가 선별된 후, 상기 프로젝트의 각 작업 별로, 하나의 작업을 상기 복수의 기능요소 단위로 분할하는 단계;
    복수의 제2 작업자에게 상기 분할된 복수의 기능요소 단위 작업을 배정하여 작업 수행을 요청하되, 상기 각 제2 작업자에게 상기 우수 기능요소에 해당하는 기능요소 단위 작업이 배정되도록 하는 단계;
    상기 복수의 제2 작업자로부터 상기 배정된 기능요소 단위 작업에 대한 복수의 기능요소 단위 작업 결과가 수신되면, 상기 복수의 기능요소 단위 작업 결과를 하나의 작업 결과로 병합하는 단계;
    한 명의 제2 검수자에게 상기 작업 결과의 검수 수행을 요청하는 단계; 및
    상기 제2 검수자로부터 상기 병합된 작업 결과에 대한 검수 결과를 복수의 기능요소 단위로 수신하는 단계를 더 수행하는,
    컴퓨터 프로그램.
  18. 제17항에 있어서,
    상기 각 제1 작업자 별로 상기 우수 기능요소를 선별하는 단계는,
    상기 각 제1 작업자의 이전 프로젝트 이력에 기초하여, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율을 산출하는 단계; 및
    상기 산출된 반려율에 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는 단계를 포함하는,
    컴퓨터 프로그램.
  19. 제18항에 있어서,
    상기 각 제1 작업자 별로 상기 우수 기능요소를 선별하는 단계는,
    상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값을 비교하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    컴퓨터 프로그램.
  20. 제19항에 있어서,
    상기 각 제1 작업자 별로 우수 기능요소를 선별하는 단계는,
    상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 반려율의 백분위 값 중 최대 값이 복수인 경우, 상기 각 제1 작업자의 상기 프로젝트의 작업에 포함된 복수의 기능요소 별 작업 수행 건수에 더 기초하여, 상기 각 제1 작업자 별로 상기 프로젝트의 작업에 포함된 복수의 기능요소 중 하나의 우수 기능요소를 선별하는,
    컴퓨터 프로그램.
PCT/KR2021/006858 2020-06-03 2021-06-02 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램 WO2021246772A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/389,339 US20210383329A1 (en) 2020-06-03 2021-07-30 Method of distributing functional element unit tasks of crowdsourcing-based project, apparatus therefor, and computer program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0066959 2020-06-03
KR1020200066959A KR102232866B1 (ko) 2020-06-03 2020-06-03 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/389,339 Continuation US20210383329A1 (en) 2020-06-03 2021-07-30 Method of distributing functional element unit tasks of crowdsourcing-based project, apparatus therefor, and computer program therefor

Publications (1)

Publication Number Publication Date
WO2021246772A1 true WO2021246772A1 (ko) 2021-12-09

Family

ID=75250086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006858 WO2021246772A1 (ko) 2020-06-03 2021-06-02 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램

Country Status (2)

Country Link
KR (2) KR102232866B1 (ko)
WO (1) WO2021246772A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102232866B1 (ko) * 2020-06-03 2021-03-29 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법
KR102315428B1 (ko) * 2021-06-22 2021-10-20 주식회사 크라우드웍스 데이터 병합을 활용한 프로젝트 관리 방법 및 장치
KR102576564B1 (ko) * 2022-07-28 2023-09-08 굿윌헌팅 주식회사 크라우드소싱을 이용한 동영상 검수 방법 및 장치
KR102505411B1 (ko) * 2022-11-01 2023-03-06 주식회사 큐로드 긱 워커 qa 플랫폼 작업자를 위한 qa 업무 할당 및 모니터링 방법, 장치 및 컴퓨터 프로그램
KR102506055B1 (ko) * 2022-11-01 2023-03-06 주식회사 큐로드 긱 워커 qa 플랫폼 작업자를 위한 qa 업무 할당 및 작업 결과물 취합 방법, 장치 및 컴퓨터 프로그램
KR102496337B1 (ko) * 2022-11-01 2023-02-06 주식회사 큐로드 소프트웨어의 품질보증을 위한 테스트 업무 할당 방법, 장치 및 컴퓨터프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317988A (ja) * 2005-04-12 2006-11-24 Fujifilm Holdings Corp 要素作業の難易度評価方法、要素作業の作業ミス影響度評価方法、要素作業の特質評価方法、要素作業の配分方法、要素作業の改善方法
KR20180087511A (ko) * 2017-01-24 2018-08-02 한국생산기술연구원 효율적인 작업을 위한 동선 판단 시스템 및 방법
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR101941418B1 (ko) * 2018-08-10 2019-04-12 김희선 크라우드 테스팅 장치
KR102232866B1 (ko) * 2020-06-03 2021-03-29 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140095956A (ko) 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317988A (ja) * 2005-04-12 2006-11-24 Fujifilm Holdings Corp 要素作業の難易度評価方法、要素作業の作業ミス影響度評価方法、要素作業の特質評価方法、要素作業の配分方法、要素作業の改善方法
KR20180087511A (ko) * 2017-01-24 2018-08-02 한국생산기술연구원 효율적인 작업을 위한 동선 판단 시스템 및 방법
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR101941418B1 (ko) * 2018-08-10 2019-04-12 김희선 크라우드 테스팅 장치
KR102232866B1 (ko) * 2020-06-03 2021-03-29 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PARK MIN-WOO: "Crowdworks (Company B)", NAVER BLOG, 6 August 2018 (2018-08-06), pages 1, XP055876761, Retrieved from the Internet <URL:https://blog.naver.com/companybb/221333735706>> [retrieved on 20220107] *

Also Published As

Publication number Publication date
KR102232866B1 (ko) 2021-03-29
KR20210150962A (ko) 2021-12-13
KR102232866B9 (ko) 2021-12-21
KR102360852B9 (ko) 2022-04-15
KR102360852B1 (ko) 2022-02-10

Similar Documents

Publication Publication Date Title
WO2021246772A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램
WO2021040265A1 (ko) 평균 반려율을 이용한 작업자 능숙도 측정 방법 및 장치
WO2022019500A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 실습 교육 참여자에 대한 보상형 실습 교육 제공 방법, 그 장치 및 그 컴퓨터 프로그램
WO2020078058A1 (zh) 医疗数据异常识别方法、装置、终端及存储介质
WO2021137523A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법
WO2018166099A1 (zh) 信息泄露检测方法及装置、服务器及计算机可读存储介质
KR102156582B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 성실 작업자 선별 및 검수 우선순위 부여 방법
WO2014065444A1 (ko) 개방형 공중망을 이용한 협업 시스템
WO2017014469A1 (ko) 질병 위험도 예측 방법 및 이를 수행하는 장치
WO2020122291A1 (ko) 인공지능 기반의 공동주택 관리업무지시 자동화 장치 및 방법
WO2021070983A1 (ko) Vr 훈련 시스템 및 방법
WO2021107326A1 (ko) 실전 작업을 기반으로 한 검증용 크라우드소싱 작업을 제공하는 방법 및 장치
WO2020242108A1 (ko) 크라우드 소싱 기반 프로젝트의 특성에 따른 작업자 선별 방법
WO2022019499A1 (ko) 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 티어 자료 구조를 활용한 작업 다중 할당 방법, 그 장치 및 그 컴퓨터 프로그램
WO2023191129A1 (ko) 법안 및 법규정에 대한 모니터링 방법 및 이를 위한 프로그램
WO2019107674A1 (en) Computing apparatus and information input method of the computing apparatus
WO2021133076A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업단가 관리 방법 및 장치
WO2022005111A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법, 그 장치 및 그 컴퓨터 프로그램
WO2020197075A1 (ko) 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치
WO2021132831A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자 및 검수자의 증감 운영 방법
WO2021091050A1 (ko) 크라우드 소싱 기반 프로젝트의 특성에 따른 검수자 선별 방법
WO2023063528A1 (ko) 시간 변동성 기반의 질환 연관성 요인 분석을 통한 질환 발병 정보 생성 장치 및 그 방법
WO2019172718A1 (en) Electronic device and on-device method for enhancing user experience in electronic device
WO2022250190A1 (ko) 딥러닝 모델을 이용한 영상검사 대상체의 결함 판정시스템
WO2022145547A1 (ko) 전력데이터와 운영데이터의 수집분석 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21818969

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21818969

Country of ref document: EP

Kind code of ref document: A1