WO2020197075A1 - 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치 - Google Patents

크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치 Download PDF

Info

Publication number
WO2020197075A1
WO2020197075A1 PCT/KR2020/001359 KR2020001359W WO2020197075A1 WO 2020197075 A1 WO2020197075 A1 WO 2020197075A1 KR 2020001359 W KR2020001359 W KR 2020001359W WO 2020197075 A1 WO2020197075 A1 WO 2020197075A1
Authority
WO
WIPO (PCT)
Prior art keywords
worker
source
task
work
result
Prior art date
Application number
PCT/KR2020/001359
Other languages
English (en)
French (fr)
Inventor
박민우
이준호
김주영
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Publication of WO2020197075A1 publication Critical patent/WO2020197075A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Definitions

  • the present invention relates to a method and apparatus for allocating a task for collecting crowdsourcing-based data to an operator.
  • the amount of data a company wants to collect and process is fixed. If the amount of data larger than the amount desired by the enterprise is collected and processed through crowdsourcing, a problem occurs in that time and cost exceeding the standard set by the enterprise are consumed.
  • the problem to be solved by the present invention is to provide a method and apparatus for allocating a task for collecting data based on crowdsourcing to an operator.
  • a method of allocating a task for collecting crowd-sourcing-based data to an operator according to an aspect of the present invention for solving the above-described problem is a method of collecting crowd-sourcing-based data, which is executed by a computer.
  • generating a project including a plurality of work tasks generating a source ID corresponding to each of the plurality of work tasks of the project, receiving a request to participate in the project from a terminal of a worker , Checking whether the ID of the worker who requested to participate in the project is the ID of the new worker, and based on the verification result of the ID of the worker, when the worker is the return worker, the status of the source ID of the project is checked.
  • the worker After determining whether to allocate an existing source ID or a new source ID to the companion worker, and if the worker is a new worker, checking the status of the source ID of the project and determining whether to assign a new source ID to the new worker Including, If the result of performing the inspection task with respect to the execution result of the work task is rejected, the worker is classified as the rejected worker, the worker who has not performed the work task is classified as the new worker, and the The existing source ID is a source ID of a work task that has been rejected by being assigned to the companion worker, and the new source ID is a source ID of a work task that is not assigned to the companion worker.
  • the worker based on the result of checking the ID of the worker, when the worker is a companion worker, checking whether the status of all source IDs corresponding to each of the plurality of work tasks of the project is job completion, the Based on the result of checking the status of all source IDs, when the status of all the source IDs is job completion, the project end message is transmitted to the worker's terminal, and at least one of the statuses of all source IDs that is not job completion If there is a source ID, checking whether the status of the existing source ID is workable, based on the check result of the status of the existing source ID, if the status of the existing source ID is workable, the operator is told Reassigning an existing source ID, and if the status of the existing source ID is not workable, sending a request message for a new work task to the worker's terminal, corresponding to the request message for the new work task, Checking whether the request of the task is accepted, if the request for the new work task is not accepted, a message that the project cannot participate is
  • reassigning the existing source ID to the worker when reassigning the existing source ID to the worker, transmitting a request to perform a rework task to the worker's terminal, receiving a result of performing the rework task from the worker's terminal, Generating a data ID corresponding to a result of performing the rework task, receiving a result of performing an inspection task for a result of performing the rework task, and the rework task based on a result of performing the rework task Checking whether the result of performing the rework has passed the inspection, and when the result of performing the rework task passes the inspection, a work cost is paid to the worker, and the result of the rework task is rejected by the inspection, And returning a result of the rework task.
  • the project completion message is transmitted to the worker's terminal, and at least one of the statuses of all source IDs that is not job completion If there is a source ID, checking whether there is a workable source ID on the project, and if there is no workable source ID on the project, a work task unavailable message is transmitted to the worker's terminal, and And allocating the new source ID to the worker when there is a source ID that can be worked on.
  • the work task when allocating the new source ID to the worker, transmitting a request to perform a work task to the terminal of the worker, receiving a result of performing a work task from the terminal of the worker, the work task Generating a data ID corresponding to the execution result of the work task, receiving the execution result of the inspection task for the execution result of the work task, based on the execution result of the inspection task, passing the inspection of the execution result of the work task Checking whether or not, and when the result of performing the work task passes the inspection, paying the work cost to the worker, and when the result of performing the work task is rejected by the inspection, the result of performing the work task is returned It includes the step of.
  • one source ID is assigned to the worker, and after the inspection of the execution result of the work task corresponding to the one source ID is completed, from the worker When an additional request to participate in the project is received, another source ID is assigned to the worker.
  • the status of the source ID is determined as one of work available, working, inspecting, and work completed, and when the status of the source ID is the work available, the status of the source ID is the When the state of the source ID is in a state that can be assigned to a worker, and the state of the source ID is in the middle of work, under inspection, or completion of the work, the state of the source ID is a state that cannot be assigned to the worker.
  • An apparatus for allocating a task for collecting crowd-sourcing-based data to a worker for solving the above-described problem includes: a project generator for generating a project including a plurality of task tasks, the A source ID generation unit that generates a source ID corresponding to each of a plurality of work tasks of a project, a receiving unit that receives a request for participation in the project from a worker's terminal, and whether the ID of the worker who requested to participate in the project is the ID of a new worker
  • An ID verification unit that checks, and, based on the result of the identification of the worker's ID, checks the status of the source ID of the project when the worker is a return worker, and whether an existing source ID or a new source ID is assigned to the rejecting worker And, if the worker is a new worker, an assignment determination unit that determines whether to allocate a new source ID to the new worker after checking the status of the source ID of the project, and a review task for the result of performing the work task When the execution result of
  • the inspector determines the task task execution result. It may be possible to perform the inspection task. That is, even if only the result of performing the work task for one source ID is received, the inspector can perform the inspection task. Accordingly, the result of the incorrect work task is quickly rejected through inspection, so that the source ID assigned to the worker who performed the incorrect work task can be assigned to another worker. In this way, it is possible to allocate the rejected source ID to another worker, thereby preventing continuous occupation of the source ID for the worker who performed the incorrect work task. In addition, it is possible to determine the status of the source ID assigned to the worker who performed the correct work task as work completion by passing through the inspection for the result of the correct work task.
  • the worker's ID it is possible to check whether the worker is a companion worker or a new worker, and assign a source ID, so that the companion worker can be assigned an existing source ID first, so that the companion worker can perform the rework task. It can be done quickly.
  • the source IDs are assigned one by one to a worker, a plurality of source IDs are prevented from being assigned to one worker at a time, thereby preventing occupation of a plurality of source IDs by one worker.
  • 1 is a conceptual diagram showing the implementation of a crowdsourcing-based project including an inspector.
  • FIG. 2 is a schematic flowchart showing the implementation of a crowdsourcing-based project including an inspector.
  • FIG. 3 is a schematic flowchart of a method of allocating a task for collecting data based on crowdsourcing to a worker according to an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of a step of allocating a task to a companion worker of FIG. 3.
  • FIG. 5 is a schematic flowchart of a step of allocating a job to a new worker of FIG. 3.
  • FIG. 6 is a schematic flowchart of a step of reallocating an existing source ID of FIG. 4.
  • FIG. 7 is a schematic flowchart of the steps of allocating a new source ID of FIGS. 4 and 5.
  • FIG. 8 is an exemplary diagram in which a source ID is assigned to a worker.
  • FIG. 9 is an exemplary diagram in which a source ID is assigned to a worker and a data ID is generated according to a result of performing a work task.
  • 10 is an exemplary diagram of a result of performing a work task and an inspection task.
  • FIG. 11 is a schematic configuration diagram of an apparatus for allocating a task for collecting data based on crowdsourcing to a worker according to another embodiment of the present invention.
  • 1 is a conceptual diagram showing the implementation of a crowdsourcing-based project including an inspector.
  • a customer requests a crowdsourcing-based project (hereinafter, referred to as a project) to the platform, and an operator and an external inspector access the platform to participate in the project.
  • a crowdsourcing-based project hereinafter, referred to as a project
  • Collection of source data means collecting raw data such as recorded voice collection and photo collection.
  • Data annotation refers to inputting relevant annotation data into source data such as text, photos, and videos.
  • the data annotation may include finding an entity in a given fingerprint or finding a similar sentence, but is not limited thereto.
  • Administrator means an operator who manages the entire platform.
  • the manager creates guides, templates, etc. related to project execution according to the project requested by the customer, and opens the project on the platform.
  • Workers are the general public participating in projects open on the platform.
  • the operator checks the open project on the platform, performs work tasks such as collection of source data or data annotation on the project, and transmits it to the platform.
  • External inspectors are the general public who participate in projects opened on the platform.
  • the external inspector checks the work tasks performed by the worker and performs inspection of the work tasks. As a result of the inspection, the inspector can pass or reject the work task, and can write the inspector's opinion.
  • the internal inspector is an expert in the field of crowdsourcing hired by the manager running the platform.
  • the internal inspector can inspect the inspection tasks performed by the external inspectors, and in some cases can inspect the work tasks performed by the worker.
  • the internal inspector can work to create an evaluation inspection task for evaluating the external inspector.
  • the platform is a system in which crowdsourcing-based projects are operated.
  • the platform is a system comprising the device of FIG. 11.
  • FIG. 2 is a schematic flowchart showing the implementation of a crowdsourcing-based project including an inspector.
  • a customer requests a project to the platform, and an operator and an external inspector access the platform to participate in the project.
  • the platform manager opens the project after reviewing the project requested by the customer.
  • a work task is a work performed by an operator, and provides a guide on the work to be performed by the operator. The operator transmits the result of performing the work task to the platform.
  • An external inspector accesses the platform using a terminal, checks the inspection task, and performs the inspection task.
  • the inspection task is an inspection performed by an external inspector, and provides a guide for inspection to be performed by an external inspector.
  • the external inspector transmits the result of the inspection task to the platform.
  • the external inspector may pass or reject the work task execution result depending on the quality of the work task execution result.
  • the result of performing the work task passes, the external inspector is paid the inspection cost, and the worker is paid the work cost.
  • the result of performing the work task is rejected, the worker is requested to perform the rework task from the platform, and the worker performs the rework task.
  • an external inspector performs the inspection again.
  • the method in which an external inspector performs the inspection task and the method in which the operator performs the rework task corresponding to the result of the inspection task is a method that is not performed in the existing crowdsourcing-based platform.
  • FIG. 3 is a schematic flowchart of a method of allocating a task for collecting data based on crowdsourcing to a worker according to an embodiment of the present invention.
  • a method of allocating a task for collecting crowdsourcing-based data to a worker includes a step of creating a project (S100), generating a source ID (S200), and receiving a request for project participation ( S300), checking the ID of the new worker (S400), allocating a task to a companion worker (S510), and assigning a task to a new worker (S520).
  • the method of allocating a task for collecting crowdsourcing-based data to an operator is to a system (hereinafter, referred to as a system) including an apparatus 600 for allocating a task for collecting crowdsourcing-based data to an operator to be described later in FIG. Performed by
  • step S100 a project including a plurality of work tasks is created.
  • a work task is a task that a worker who participates in the project will perform.
  • the number of work tasks is the same as the number of data requested by the customer requesting the project.
  • step S200 a source ID corresponding to each of the plurality of work tasks of the project is generated.
  • the source ID corresponds to each of the plurality of work tasks, thereby distinguishing each of the plurality of work tasks. For example, if the number of data requested by the customer is 100, 100 work tasks are generated, and 100 different source IDs corresponding to each of 100 work tasks are generated.
  • the status of the source ID is determined according to the progress status of the work task corresponding to the source ID. That is, the status of the source ID is determined as one of work available, working, inspecting, and work completed according to the progress of the work task.
  • the status of the source ID is workable, it means that the work task corresponding to the source ID is not assigned to the worker, or the status of the work task returned through inspection after being assigned to the worker.
  • the status of the source ID is workable, the status of the source ID is a status that can be assigned to a worker.
  • the status of the source ID is working, the work task corresponding to the source ID is assigned to the worker, and thus the status of the work task in which the worker is performing the work task.
  • the status of the source ID is being inspected means that the work task corresponding to the source ID is assigned to the worker, and after the worker performs the work task, the inspector determines the status of the work task being inspected for the result of the work task. it means.
  • the status of the source ID is job completion, it means the status of the work task in which the inspection result of the work task has passed the inspection as a result of the inspection performed by the inspector.
  • the status of the source ID is in work, under inspection, or work is completed, the status of the source ID is not assignable to the worker.
  • step S300 a project participation request is received from the worker's terminal.
  • the operator can confirm the opening of the project on the platform using the operator's terminal.
  • the worker checks the name of the project and the details of the project, and if he/she wants to participate in the project, he sends a request to participate in the project to the system using the worker's terminal.
  • step S400 it is checked whether the ID of the worker who requested the participation of the project is the ID of the new worker.
  • the system receives a project participation request from the worker's terminal, the system checks the history of the worker's ID. In other words, the system checks whether the relevant worker has a history of participating in the same project, and whether the inspection item for the result of participating in the project and performing the work task is passed or rejected. The system distinguishes whether the corresponding worker is a new worker or a companion worker based on the confirmation result.
  • the system If the system has a history of performing a work task in the project and the result of performing the inspection task on the result of the work task is rejected, the corresponding worker is classified as a rejected worker. On the other hand, the system classifies workers who do not have a history of performing work tasks within the project as new workers.
  • step S510 After checking the status of the source ID of the project, whether to allocate an existing source ID or a new source ID to the companion worker is determined.
  • the existing source ID is the source ID of the rejected work task assigned to the rejecting worker.
  • the new source ID is the source ID of a work task that is not assigned to the companion worker.
  • the source ID of any one work task may be an existing source ID for a counterpart worker, but a new source ID for a new worker.
  • the source ID of the same work task is assigned to the responding worker, it is classified as an existing source ID and assigned to a new worker. If so, it can be classified as a new source ID.
  • step S520 Based on the result of checking the ID of the worker in step S400, if the worker is a new worker, in step S520, after checking the status of the source ID of the project, whether or not to assign the new source ID to the new worker is determined.
  • the system allocates a source ID to an operator, only one source ID is allocated at a time. That is, when the system allocates a source ID to a worker, only one source ID is assigned to the worker. After that, the system receives an additional project participation request from the worker after the inspection of the result of the work task corresponding to the one source ID is completed, and if it is necessary to allocate a new source ID to the worker, the other The source ID of is assigned to the worker. If multiple source IDs are assigned to one worker at once, there may be a situation in which the source ID cannot be assigned even if other workers try to participate in the project.
  • the system allocates source IDs to workers one at a time, thereby increasing the execution speed of a project, and preventing the occupation of a plurality of source IDs for unscrupulous workers.
  • FIG. 4 is a schematic flowchart of a step of allocating a task to a companion worker of FIG. 3.
  • the step of allocating a task to a companion worker includes a step of checking whether all source IDs of a project are task completion (S511), a step of transmitting a project completion message (S512), and an existing source ID.
  • Checking whether the job is completed (S513), reassigning an existing source ID (S530), transmitting a new job request message (S514), and confirming whether to accept the request for a new job task (S515) , Sending a project participation impossibility message (S516), checking whether a workable source ID exists (S517), transmitting a work task impossibility message (S518), and allocating a new source ID (S540).
  • step S511 it is checked whether the status of all source IDs corresponding to each of the plurality of work tasks of the project is work completion.
  • the system checks the status of all source IDs corresponding to each of the plurality of work tasks on the project before determining whether to assign the source ID to the companion worker.
  • the system checks the status of all source IDs on the project and determines whether the project is in a completed state. If the status of all source IDs on the project is task completion, the project is completed. On the other hand, if there is at least one source ID of all source IDs in the project that is not completed, the project is not completed.
  • step S512 Based on the result of checking the status of all source IDs in step S511, when the status of all source IDs is job completion, in step S512, a project completion message is transmitted to the operator's terminal.
  • the project completion message is a message indicating that the project has been completed as the status of all source IDs on the project has been completed.
  • step S513 Based on the result of checking the status of all source IDs in step S511, when there is at least one source ID of all source IDs that is not complete, it is checked in step S513 whether the status of the existing source ID is workable.
  • the system checks whether the status of the corresponding source ID is workable by assigning the existing source ID already assigned to the companion worker to another new worker.
  • the system may allocate a work task corresponding to the source ID returned by the inspector to a reverse worker or a new worker. If the opportunity to perform the work task corresponding to the source ID returned by the inspector is provided only to the returning worker, the entry of new workers who can perform the work task faster than the returning worker is prevented, thereby speeding up the overall project progress. May be delayed.
  • the system provides an opportunity to equally perform the work task corresponding to the source ID returned by the inspector to the returning worker and the new worker, thereby accelerating the overall project progress and increasing the continuous source ID of the unscrupulous worker. Occupation can be prevented.
  • step S530 Based on the result of checking the status of the existing source ID in step S513, if the status of the existing source ID is workable, in step S530, the existing source ID is reassigned to the worker.
  • the system allocates the existing source ID to the companion worker prior to the new source ID. Since the reviewer's rejection opinion can be written about the result of the work task corresponding to the existing source ID rejected by the examiner, the operator can check the rejection opinion and perform a rework task corresponding to the rejection opinion. .
  • Step S530 will be described in detail in FIG. 6.
  • step S513 If the status of the existing source ID is not workable based on the result of checking the status of the existing source ID in step S513, in step S514, a new work request message is transmitted to the operator's terminal.
  • the new work request message is a message confirming whether a new work task corresponding to a new source ID is performed.
  • the system sends a request message for a new work task to the worker's terminal, and asks whether the worker will perform a new work task rather than a rework task.
  • step S515 it is checked whether the request for the new work task is accepted in response to the request message for the new work task.
  • the worker checks the new work request message using the worker's terminal and determines whether to perform the new work task.
  • the operator may use the operator's terminal to notify the system that a new work task is to be performed, may notify the system that the new work task is not performed, or may not notify the system.
  • step S516 or step S517 described later is performed by reflecting this. Alternatively, if no notification is received from the operator's terminal within a predetermined time, step S516 described later is performed.
  • a project participation impossibility message is transmitted to the terminal of the worker.
  • the project participation impossibility message is a message notifying that a request for a new work task from the worker's terminal has not been accepted, and thus cannot participate in the project.
  • the system notifies the operator that he cannot participate in the project by sending a message that he cannot participate in the project to the operator's terminal.
  • Inability to participate in the project is a response to a request to participate in a project made by a worker before receiving the message not to participate in the project. If a worker sends a project participation request to the system again after receiving the project participation impossibility message, the system again checks whether the worker can participate in the project and whether the source ID can be allocated.
  • step S517 it is checked whether there is a workable source ID on the project. Checking whether there is a workable source ID on the project is to check whether there is a source ID that is not performed by other workers and inspectors participating in the project and cannot be completed.
  • a work task unavailable message is transmitted to the operator's terminal.
  • the work task unavailable message is a message indicating that the work task cannot be executed because there is no workable source ID on the project.
  • the system transmits a message that the work task is impossible to the worker's terminal to inform the worker that the work task cannot be performed.
  • Impossible to perform a work task means that it is impossible to allocate a source ID to a worker because the status of the source ID on the project is in work, inspection, and work completion. If the status of the source ID is changed to a workable source ID due to rejection of the work or the result of the work task being inspected, the worker may be provided with an opportunity to reassign the new work task.
  • step S540 a new source ID is assigned to the worker.
  • the system changes the status of the source ID from available to working. Step S540 will be described in detail in FIG. 7.
  • FIG. 5 is a schematic flowchart of a step of allocating a job to a new worker of FIG. 3.
  • the step of assigning a task to a new worker includes a step of checking whether all source IDs of the project are task completion (S521), a step of transmitting a project completion message (S522), and a workable source Checking whether an ID exists (S523), transmitting a work task impossible message (S524), and allocating a new source ID (S540).
  • step S520 of allocating a task to a new worker correspond to each component of the method described with reference to FIG. 4. That is, step S521 corresponds to step S511, step S522 corresponds to step S512, step S523 corresponds to step S517, and step S524 corresponds to step S518.
  • step S521 corresponds to step S511
  • step S522 corresponds to step S512
  • step S523 corresponds to step S517
  • step S524 corresponds to step S518.
  • step S521 it is checked whether the status of all source IDs corresponding to each of the plurality of work tasks of the project is work completion.
  • step S522 Based on the result of checking the status of all source IDs in step S521, if the status of all source IDs is job completion, in step S522, a project completion message is transmitted to the operator's terminal.
  • step S521 Based on the result of checking the status of all source IDs in step S521, if there is at least one source ID of all source IDs that is not complete, it is checked in step S523 whether there is a workable source ID on the project.
  • step S524 If there is no workable source ID on the project based on the confirmation result in step S523, in step S524, a work task unavailable message is transmitted to the operator's terminal.
  • step S540 If there is a workable source ID on the project based on the confirmation result of step S523, in step S540, a new source ID is assigned to the worker. Step S540 will be described in detail in FIG. 7.
  • FIG. 6 is a schematic flowchart of a step of reallocating an existing source ID of FIG. 4.
  • the step of reassigning an existing source ID includes transmitting a request to perform a rework task (S531), receiving a result of performing the rework task (S532), and a data ID.
  • step S531 a request to perform the rework task is transmitted to the operator's terminal.
  • the rework task execution request is to request the operator to perform the work task whose execution result was rejected by the inspector again.
  • the reason for rejection received from the inspector's terminal may be recorded.
  • step S532 a result of performing the rework task is received from the operator's terminal.
  • the operator uses the operator's terminal to modify and change the result of the rejected work task and transmits the result of the rework task to the system.
  • the operator can refer to the reason for rejection recorded by the inspector in performing the rework task.
  • the system may check whether the result of performing the work task is received from the worker's terminal within the work limit time.
  • the work limit time is a time limit for the time it takes for an operator to perform a work task and transmit the result of the work task to the system.
  • the system limits the amount of time an operator can occupy the source ID by introducing a work limit time to the step of allocating the source ID.
  • the system may limit the work task performed by a worker who unfaithfully performs the work task.
  • the system changes the state of the source ID to a state that can be assigned to another worker when the result of performing the work task is not received from the worker's terminal within the work limit time. That is, the system changes the state of the source ID from work to workable.
  • a data ID corresponding to the result of performing the rework task is generated.
  • the data ID corresponds to the execution result of the rework task, and status information of the rework task is recorded.
  • the system creates a data ID and manages the history of the execution result of the work task.
  • the data ID is created every time a worker performs a work task. That is, the data ID is generated in correspondence with the result of performing the work task and the result of performing the rework task.
  • the data ID may also correspond to information on a result of performing a work task and a result of checking a result of performing a rework task.
  • step S534 the result of performing the inspection task on the result of performing the rework task is received.
  • the system provides the results of the rework task for the inspector to check.
  • the inspector uses the inspector's terminal to check the execution result of the rework task, perform the inspection, and transmit the execution result of the inspection task to the system.
  • the system changes the status of the source ID from work to being inspected.
  • step S535 on the basis of the result of performing the inspection task, it is confirmed whether or not the inspection result of the rework task has passed.
  • the system checks whether the result of performing the rework task has passed or rejected the inspection based on the result of performing the inspection task.
  • the system can count the number of times the work task or rework task is rejected.
  • the system may also set the number of rejection limits corresponding to the difficulty of the work task. That is, the system may set a larger number of rejections as the difficulty of the work task increases, and may set the number of rejection restrictions smaller as the difficulty of the work task decreases. If the number of rejections equals the number of rejections, the system can prevent the operator from performing any more projects. Thus, the system can limit the time and cost spent on unscrupulous workers by excluding them from the project.
  • the work cost is paid to the worker in step S536.
  • Work cost is the amount of compensation for the performance of work tasks. Work costs may be paid in points, and workers who have more than a predetermined reference point may exchange points for cash.
  • step S537 the system changes the state of the source ID corresponding to the rework task from review to workable.
  • FIG. 7 is a schematic flowchart of the steps of allocating a new source ID of FIGS. 4 and 5.
  • the step of allocating a new source ID includes transmitting a request to perform a work task (S541), receiving a result of performing the work task (S542), and generating a data ID. (S543), the step of inspecting the performance result of the work task (S544), the step of confirming whether the performance result of the work task passes the inspection (S545), the step of paying the work cost (S546), and the performance result of the work task It includes a rejecting step (S547).
  • step S541 corresponds to step S531
  • step S542 corresponds to step S532
  • step S543 corresponds to step S533
  • step S544 corresponds to step S534
  • step S545 corresponds to step S535
  • step S546 It corresponds to step S536, and step S547 corresponds to step S537.
  • step S541 a request to perform a work task is transmitted to the operator's terminal.
  • the request to perform a work task is to request a worker to perform the work task.
  • step S542 the result of performing the work task is received from the operator's terminal.
  • the operator transmits the result of performing the work task to the system using the operator's terminal.
  • the system may check whether the result of performing the work task is received from the worker's terminal within the work limit time.
  • step S543 a data ID corresponding to the result of performing the work task is generated.
  • step S544 the result of performing the inspection task with respect to the result of performing the work task is received.
  • step S545 based on the result of performing the inspection task, it is confirmed whether or not the inspection result of the work task has passed.
  • step S545 If the result of performing the work task passes the inspection based on the confirmation result in step S545, the work cost is paid to the worker in step S546.
  • step S547 the result of performing the work task is rejected.
  • FIG. 8 is an exemplary diagram in which a source ID is assigned to a worker.
  • the system can allocate source ID #1 to worker A.
  • the worker A can perform the work task corresponding to the source ID #1 and transmit the execution result to the system.
  • the inspector performs the inspection task on the execution result of the work task corresponding to the source ID #1, and may reject or pass as the execution result of the inspection task. In the case of rejection as a result of the inspection of the execution result of the task corresponding to source ID #1, the system may allocate source ID #1 to the rejecting worker or a new worker.
  • the system may allocate source ID #1 to worker C.
  • the work task corresponding to source ID #1 is performed by worker C, and after being inspected by an inspector, the status of source ID #1 may be completed.
  • source ID #2 may be assigned to worker B, and after the inspection result is rejected, it may be reassigned to worker B.
  • FIG. 9 is an exemplary diagram in which a source ID is assigned to a worker and a data ID is generated according to a result of performing a work task.
  • source IDs stored in the source ID storage unit are assigned to a worker one by one, and a data ID corresponding to a result of performing a work task by the worker is generated and stored in the data ID storage unit.
  • the source ID storage unit stores the number of source IDs determined by the number of data requested by the customer requesting the project.
  • the data ID storage unit stores a data ID corresponding to a work task performed by a worker.
  • the number of data IDs is determined by the number of work tasks performed by the worker.
  • the work tasks performed by the worker may pass the inspection or be rejected.
  • the system allocates the source ID to the worker again, so the number of data IDs may be equal to or greater than the number of source IDs. That is, the number of source IDs is a fixed value, but the number of data IDs is a value that is equal to or greater than the number of source IDs and is not fixed.
  • 10 is an exemplary diagram of a result of performing a work task and an inspection task.
  • FIG. 10 as an example of a project, a work task of a project for collecting a QR code and a result of performing the inspection task are shown.
  • the system can create a project by collecting pictures of QR codes requested by customers.
  • the system can provide work guides to workers according to the nature of the project. For example, in the case of a QR code collection project, the system "must include two or more QR codes on the photo", "The distance between the subject and the mobile phone must be within 60cm", “Online images are used. Impossible.”, “You have to shoot in various backgrounds.”, “If you are shooting different products from the same product group, you can take photos up to 5 times.”, “Full HD quality or higher quality.”, “Filter. It should be an original photo that is not applied.”, "The photo should be clear and not shaken.”, "The photograph should be taken within 45 degrees from the front of the QR code.”
  • Work guides can be provided to the user. The work guide provided to the user can be a criterion for judgment by the inspector.
  • the worker performs a work task using the worker's terminal and transmits the result of the work task to the system.
  • the inspector uses the inspector's terminal to check the result of the work task and perform the inspection task. As a result of performing the inspection task, you can pass or reject, and if you reject, you can write a reason for rejection. The inspector transmits the result of the inspection task to the system using the inspector's terminal.
  • FIG. 11 is a schematic configuration diagram of an apparatus for allocating a task for collecting data based on crowdsourcing to a worker according to another embodiment of the present invention.
  • an apparatus 600 for allocating a task for collecting crowdsourcing-based data to a worker includes a project generator 610, a source ID generator 620, a receiver 630, and an ID verification unit ( 640), an allocation determining unit 650, a transmitting unit 660, a data ID generating unit 670, a task processing unit 680, and a storage unit 690.
  • components of the apparatus 600 for allocating a task for collecting crowdsourcing-based data to an operator correspond to each component of the method described with reference to FIGS. 1 to 10.
  • a redundant description will be omitted.
  • the project generation unit 610 generates a project including a plurality of work tasks.
  • the source ID generator 620 generates a source ID corresponding to each of a plurality of work tasks of the project.
  • the receiving unit 630 receives a project participation request from a worker's terminal. Alternatively, the receiving unit 630 receives data from the operator's terminal, the inspector's terminal, or the customer's terminal.
  • the ID verification unit 640 checks whether the ID of the worker who requested to participate in the project is the ID of the new worker.
  • the assignment determination unit 650 determines whether to allocate an existing source ID or a new source ID to the responding worker after checking the status of the source ID of the project if the worker is a companion worker. In the case of a new worker, after checking the status of the source ID of the project, it is decided whether to assign a new source ID to the new worker.
  • the transmission unit 660 transmits data to an operator's terminal, an inspector's terminal, or a customer's terminal.
  • the data ID generation unit 670 generates a data ID corresponding to a result of performing the work task.
  • the task processing unit 680 generates a work task, creates an inspection task, processes a result of performing the work task, and processes a result of the inspection task.
  • the storage unit 690 stores a source ID, a data ID, a work task, an inspection task, a work task execution result, an inspection task execution result, a work cost payment result, and an inspection cost payment result.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrically Erasable Programmable ROM
  • Flash Memory hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치가 제공된다. 상기 방법은, 복수의 작업 태스크(Task)를 포함하는 프로젝트를 생성하는 단계, 상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 소스 아이디를 생성하는 단계, 작업자의 단말기로부터 상기 프로젝트의 참여 요청을 수신하는 단계, 상기 프로젝트의 참여 요청을 한 작업자의 아이디가 신규 작업자의 아이디인지를 확인하는 단계, 및 상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 반려 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 반려 작업자에게 기존 소스 아이디 또는 신규 소스 아이디의 할당 여부를 결정하고, 상기 작업자가 신규 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 신규 작업자에게 신규 소스 아이디의 할당 여부를 결정하는 단계를 포함한다.

Description

크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치
본 발명은 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치에 관한 것이다.
최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드 소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업이 늘고 있다. 기업은 일반 대중을 기업 활동의 일부 과정에 참여시킴으로써, 일반 대중이 참여한 업무를 하는 인력을 채용하지 않아도 되어 인력비를 절감할 수 있었다.
하지만, 기업 활동을 제대로 이해하지 못한 일반 대중이 기업 활동의 일부 과정으로서 데이터를 수집 및 가공을 하다보니, 부적절하게 데이터가 수집 및 가공되는 일이 빈번하게 발생하였다. 기업은 부적절하게 데이터가 수집 및 가공되더라도, 크라우드 소싱에 참여한 사람들에게 보상을 해줘야 하는 문제점이 있었다. 또한, 크라우드 소싱을 통해서 데이터가 수집 및 가공이 된 후에 기업이 데이터의 적절성 여부를 판단해야하는 문제점이 있었다.
또한, 기업에서 수집 및 가공을 원하는 데이터의 양은 정해져있다. 만약, 기업에서 원하는 양보다 더 많은 데이터의 양이 크라우드 소싱을 통해 수집 및 가공된다면, 기업에서 미리 정해놓은 기준 이상의 시간 및 비용을 소모하게 되는 문제점이 발생하게 된다.
따라서, 크라우드 소싱 기반으로 수집 및 가공된 데이터를 검수하는 방법을 도입하면서, 크라우드 소싱에 참여하는 일반 대중에게 작업을 할당해주는 방법이 필요하게 되었다.
본 발명이 해결하고자 하는 과제는 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법은, 컴퓨터에 의해서 실행되는, 크라우드 소싱(Crowd Sourcing) 기반의 데이터를 수집하는 방법에 있어서, 복수의 작업 태스크(Task)를 포함하는 프로젝트를 생성하는 단계, 상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 소스 아이디를 생성하는 단계, 작업자의 단말기로부터 상기 프로젝트의 참여 요청을 수신하는 단계, 상기 프로젝트의 참여 요청을 한 작업자의 아이디가 신규 작업자의 아이디인지를 확인하는 단계, 및 상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 반려 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 반려 작업자에게 기존 소스 아이디 또는 신규 소스 아이디의 할당 여부를 결정하고, 상기 작업자가 신규 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 신규 작업자에게 신규 소스 아이디의 할당 여부를 결정하는 단계를 포함하고, 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 반려인 경우, 상기 작업자는 상기 반려 작업자로 분류되고, 상기 작업 태스크를 수행하지 않은 상기 작업자는 상기 신규 작업자로 분류되고, 상기 기존 소스 아이디는 상기 반려 작업자에게 할당되어 반려된 작업 태스크의 소스 아이디이고, 상기 신규 소스 아이디는 상기 반려 작업자에게 할당되지 않는 작업 태스크의 소스 아이디이다.
일부 실시예에서, 상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 반려 작업자인 경우, 상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 모든 소스 아이디의 상태가 작업 완료인지를 확인하는 단계, 상기 모든 소스 아이디의 상태 확인 결과에 기초하여, 상기 모든 소스 아이디의 상태가 작업 완료인 경우, 상기 작업자의 단말기에 상기 프로젝트 종료 메시지를 송신하고, 상기 모든 소스 아이디의 상태 중 작업 완료가 아닌 적어도 하나의 소스 아이디가 있는 경우, 상기 기존 소스 아이디의 상태가 작업 가능인지를 확인하는 단계, 상기 기존 소스 아이디의 상태의 확인 결과에 기초하여, 상기 기존 소스 아이디의 상태가 작업 가능인 경우, 상기 작업자에게 상기 기존 소스 아이디를 재할당하고, 상기 기존 소스 아이디의 상태가 작업 가능이 아닌 경우, 상기 작업자의 단말기에 신규 작업 태스크의 요청 메시지를 송신하는 단계, 상기 신규 작업 태스크의 요청 메시지에 상응하여, 신규 작업 태스크의 요청이 수락되는지를 확인하는 단계, 상기 신규 작업 태스크의 요청이 수락되지 않는 경우, 상기 작업자의 단말기에 프로젝트 참여 불가 메시지를 송신하고, 상기 신규 작업 태스크의 요청이 수락되는 경우, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는지를 확인하는 단계, 및 상기 프로젝트 상에 작업 가능한 소스 아이디가 없는 경우, 상기 작업자의 단말기에 작업 태스크 불가 메시지를 송신하고, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는 경우, 상기 작업자에게 상기 신규 소스 아이디를 할당하는 단계를 포함한다.
일부 실시예에서, 상기 작업자에게 상기 기존 소스 아이디를 재할당하는 경우, 상기 작업자의 단말기에 재작업 태스크의 수행 요청을 송신하는 단계, 상기 작업자의 단말기로부터 재작업 태스크의 수행 결과를 수신하는 단계, 상기 재작업 태스크의 수행 결과에 대응되는 데이터 아이디를 생성하는 단계, 상기 재작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계, 상기 검수 태스크의 수행 결과에 기초하여, 상기 재작업 태스크의 수행 결과의 검수 통과 여부를 확인하는 단계, 및 상기 재작업 태스크의 수행 결과가 검수에 통과된 경우, 상기 작업자에게 작업 비용을 지급하고, 상기 재작업 태스크의 수행 결과가 검수에 반려된 경우, 상기 재작업 태스크의 수행 결과를 반려하는 단계를 포함한다.
일부 실시예에서, 상기 작업자의 단말기로부터 재작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는지를 확인하는 단계를 더 포함하고, 상기 작업자의 단말기로부터 상기 재작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되지 않는 경우, 상기 소스 아이디의 상태는 다른 작업자에게 할당 가능한 상태로 변경된다.
일부 실시예에서, 상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 신규 작업자인 경우, 상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 모든 소스 아이디의 상태가 작업 완료인지를 확인하는 단계, 상기 모든 소스 아이디의 상태 확인 결과에 기초하여, 상기 모든 소스 아이디의 상태가 작업 완료인 경우, 상기 작업자의 단말기에 상기 프로젝트 완료 메시지를 송신하고, 상기 모든 소스 아이디의 상태 중 작업 완료가 아닌 적어도 하나의 소스 아이디가 있는 경우, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는지를 확인하는 단계, 및 상기 프로젝트 상에 작업 가능한 소스 아이디가 없는 경우, 상기 작업자의 단말기에 작업 태스크 불가 메시지를 송신하고, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는 경우, 상기 작업자에게 상기 신규 소스 아이디를 할당하는 단계를 포함한다.
일부 실시예에서, 상기 작업자에게 상기 신규 소스 아이디를 할당하는 경우, 상기 작업자의 단말기에 작업 태스크의 수행 요청을 송신하는 단계, 상기 작업자의 단말기로부터 작업 태스크의 수행 결과를 수신하는 단계, 상기 작업 태스크의 수행 결과에 대응되는 데이터 아이디를 생성하는 단계, 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계, 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 확인하는 단계, 및 상기 작업 태스크의 수행 결과가 검수에 통과된 경우, 상기 작업자에게 작업 비용을 지급하고, 상기 작업 태스크의 수행 결과가 검수에 반려된 경우, 상기 작업 태스크의 수행 결과를 반려하는 단계를 포함한다.
일부 실시예에서, 상기 작업자에게 상기 소스 아이디가 할당되는 경우, 하나의 소스 아이디가 상기 작업자에게 할당되고, 상기 하나의 소스 아이디에 대응되는 작업 태스크의 수행 결과에 대한 검수가 완료된 후에, 상기 작업자로부터 추가적인 상기 프로젝트 참여 요청이 수신되는 경우, 다른 하나의 소스 아이디가 상기 작업자에게 할당된다.
일부 실시예에서, 상기 소스 아이디의 상태는, 작업 가능, 작업 중, 검수 중 및 작업 완료 중 하나의 상태로 결정되고, 상기 소스 아이디의 상태가 상기 작업 가능인 경우, 상기 소스 아이디의 상태는 상기 작업자에게 할당 가능한 상태이고, 상기 소스 아이디의 상태가 작업 중, 검수 중 또는 작업 완료인 경우, 상기 소스 아이디의 상태는 상기 작업자에게 할당 가능하지 않은 상태이다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 장치는, 복수의 작업 태스크(Task)를 포함하는 프로젝트를 생성하는 프로젝트 생성부, 상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 소스 아이디를 생성하는 소스 아이디 생성부, 작업자의 단말기로부터 상기 프로젝트의 참여 요청을 수신하는 수신부, 상기 프로젝트의 참여 요청을 한 작업자의 아이디가 신규 작업자의 아이디인지를 확인하는 아이디 확인부, 및 상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 반려 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 반려 작업자에게 기존 소스 아이디 또는 신규 소스 아이디의 할당 여부를 결정하고, 상기 작업자가 신규 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 신규 작업자에게 신규 소스 아이디의 할당 여부를 결정하는 할당 결정부를 포함하고, 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 반려인 경우, 상기 작업자는 상기 반려 작업자로 분류되고, 상기 작업 태스크를 수행하지 않은 상기 작업자는 상기 신규 작업자로 분류되고, 상기 기존 소스 아이디는 상기 반려 작업자에게 할당되어 반려된 작업 태스크의 소스 아이디이고, 상기 신규 소스 아이디는 상기 반려 작업자에게 할당되지 않는 작업 태스크의 소스 아이디이다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치에 의하면, 프로젝트 상의 모든 소스 아이디에 대한 작업 태스크의 수행 결과가 수신되기 전에, 검수자에 의해서 작업 태스크의 수행 결과에 대한 검수 태스크의 수행이 가능하게 될 수 있다. 즉, 하나의 소스 아이디에 대한 작업 태스크의 수행 결과만이 수신되더라도, 검수자는 검수 태스크를 수행할 수 있다. 따라서, 올바르지 않은 작업 태스크의 결과에 대해서 빠르게 검수를 통해서 반려를 하여, 올바르지 않은 작업 태스크를 수행한 작업자에게 할당된 소스 아이디를 다른 작업자에게 할당될 수 있게 한다. 이와 같이, 반려된 소스 아이디를 다른 작업자에게 할당될 수 있게 하여, 올바르지 않은 작업 태스크를 수행한 작업자에 대한 계속적인 소스 아이디의 점유를 방지할 수 있다. 또한, 올바른 작업 태스크의 결과에 대해서 검수를 통해서 통과를 하여, 올바른 작업 태스크를 수행한 작업자에게 할당된 소스 아이디의 상태를 작업 완료로 결정할 수 있다.
또한, 작업자의 아이디를 확인하여, 작업자가 반려 작업자인지 신규 작업자인지를 확인하고, 소스 아이디를 할당할 수 있으므로, 반려 작업자는 기존 소스 아이디를 우선적으로 할당받을 수 있어서, 반려 작업자가 재작업 태스크를 빠르게 수행하도록 할 수 있다.
또한, 소스 아이디가 작업자에게 하나씩 할당되게 하여, 한 명의 작업자에게 복수의 소스 아이디가 한 번에 할당되는 것을 방지함으로써, 한 명의 작업자에 의한 복수의 소스 아이디에 대한 점유를 방지할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개념도이다.
도 2는 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개략적인 순서도이다.
도 3은 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법의 개략적인 순서도이다.
도 4는 도 3의 반려 작업자에게 작업을 할당하는 단계의 개략적인 순서도이다.
도 5는 도 3의 신규 작업자에게 작업을 할당하는 단계의 개략적인 순서도이다.
도 6은 도 4의 기존 소스 아이디를 재할당하는 단계의 개략적인 순서도이다.
도 7은 도 4 및 도 5의 신규 소스 아이디를 할당하는 단계의 개략적인 순서도이다.
도 8은 소스 아이디가 작업자에게 할당되는 예시도이다.
도 9는 소스 아이디가 작업자에게 할당되고, 작업 태스크의 수행 결과에 상응하여 데이터 아이디가 생성되는 예시도이다.
도 10은 작업 태스크 및 검수 태스크의 수행 결과의 예시도이다.
도 11은 본 발명의 다른 일 실시예에 따른 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 장치의 개략적인 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개념도이다.
도 1을 참조하면, 고객이 플랫폼에 크라우드 소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하고, 작업자 및 외부 검수자가 플랫폼에 접속하여 프로젝트에 참여한다.
고객은 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 플랫폼에 의뢰한다. 소스 데이터의 수집은, 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다.
관리자는 플랫폼의 전체를 관리하는 운영자를 의미한다. 관리자은 고객이 의뢰한 프로젝트에 상응하여, 프로젝트 수행과 관련된 가이드, 템플릿 등을 생성하고, 플랫폼에 프로젝트를 오픈한다.
작업자는 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중이다. 작업자는 플랫폼에 오픈된 프로젝트를 확인하고, 프로젝트 상의 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업 태스크를 수행하고, 플랫폼에 전송한다.
외부 검수자(도 3 내지 도 11에서 설명하는 검수자)는 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중이다. 외부 검수자는 작업자가 수행한 작업 태스크를 확인하고, 작업 태스크의 검수를 수행한다. 검수자는 검수 수행 결과로서, 작업 태스크를 통과 또는 반려를 할 수 있고, 검수자 의견을 기입할 수도 있다.
내부 검수자는 플랫폼을 운영하고 있는 관리자가 고용한 크라우드 소싱 분야의 전문가이다. 내부 검수자는 외부 검수자가 수행한 검수 태스크를 검수할 수 있고, 경우에 따라 작업자가 수행한 작업 태스크를 검수할 수 있다. 또한, 내부 검수자는, 외부 검수자를 평가하는 평가용 검수 태스크를 생성하는 작업을 할 수 있다.
플랫폼은 크라우드 소싱 기반의 프로젝트가 운영되는 시스템이다. 플랫폼은 도 11의 장치를 포함하는 시스템이다.
도 2는 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개략적인 순서도이다.
도 2를 참조하면, 고객이 플랫폼에 프로젝트를 의뢰하고, 작업자 및 외부 검수자가 플랫폼에 접속하여 프로젝트에 참여한다.
고객은 플랫폼에 프로젝트를 의뢰한다. 플랫폼의 관리자는 고객이 의뢰한 프로젝트를 검토한 후 프로젝트를 오픈한다.
작업자는 단말기를 이용하여 플랫폼에 접속하여 프로젝트를 확인하고, 프로젝트 상의 작업 태스크를 수행한다. 작업 태스크는 작업자가 수행하는 작업으로서, 작업자가 수행하게 될 작업에 대한 가이드를 함께 제공한다. 작업자는 작업 태스크의 수행 결과를 플랫폼에 송신한다.
외부 검수자는 단말기를 이용하여 플랫폼에 접속하여 검수 태스크를 확인하고, 검수 태스크를 수행한다. 검수 태스크는 외부 검수자가 수행하는 검수로서, 외부 검수자가 수행하게 될 검수에 대한 가이드를 함께 제공한다. 외부 검수자는 검수 태스크의 수행 결과를 플랫폼에 송신한다. 외부 검수자는 작업 태스크의 수행 결과의 품질에 따라 작업 태스크의 수행 결과를 통과시킬 수도 있고, 반려시킬 수도 있다. 작업 태스크의 수행 결과가 통과될 경우, 외부 검수자는 검수 비용을 지급받고, 작업자는 작업 비용을 지급받는다. 반면, 작업 태스크의 수행 결과가 반려될 경우, 작업자는 플랫폼으로부터 재작업 태스크 수행을 요청받고, 작업자는 재작업 태스크를 수행한다. 재작업 태스크 수행 결과에 대해서는 외부 검수자가 다시 검수를 수행한다.
외부 검수자가 검수 태스크를 수행하는 방법 및 작업자가 검수 태스크의 수행 결과에 상응하여 재작업 태스크를 수행하는 방법(도면 2의 점선 부분)은, 기존의 크라우드 소싱 기반의 플랫폼에서는 수행되지 않는 방법이다. 외부 검수자가 검수 태스크를 수행하는 방법 및 작업자가 검수 태스크의 수행 결과에 상응하여 재작업 태스크를 수행하는 방법을 크라우드 소싱 기반의 플랫폼에 도입함으로써, 고객이 의뢰한 프로젝트의 결과에 대한 품질을 높일 수 있다. 따라서, 상술한 방법을 크라우드 소싱 기반의 플랫폼에 도입함에 있어서, 작업 태스크를 작업자에게 효율적으로 할당하여, 불량 작업자로 인한 작업 태스크의 품질 저하 및 작업 속도 저하를 방지할 수 있는 방법이 필요하게 되었다.
도 3은 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법의 개략적인 순서도이다.
도 3을 참조하면, 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법은, 프로젝트를 생성하는 단계(S100), 소스 아이디를 생성하는 단계(S200), 프로젝트 참여 요청을 수신하는 단계(S300), 신규 작업자의 아이디를 확인하는 단계(S400), 반려 작업자에게 작업을 할당하는 단계(S510) 및 신규 작업자에게 작업을 할당하는 단계(S520)를 포함한다. 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법은, 도 11에서 후술하는 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 장치(600)를 포함하는 시스템(이하, 시스템)에 의해서 수행된다.
단계 S100에서, 복수의 작업 태스크(Task)를 포함하는 프로젝트가 생성된다. 작업 태스크는 프로젝트에 참여한 작업자가 수행하게 될 태스크이다. 작업 태스크의 개수는 프로젝트를 의뢰한 고객이 요구한 데이터의 개수와 동일 수이다.
단계 S200에서, 프로젝트의 복수의 작업 태스크 각각에 대응되는 소스 아이디가 생성된다. 소스 아이디는 복수의 작업 태스크 각각에 대응되어, 복수의 작업 태스크 각각을 구분하게 한다. 예를 들어, 고객이 요구한 데이터의 개수가 100개인 경우, 100개의 작업 태스크가 생성되고, 100개의 작업 태스크 각각에 대응되는 100개의 서로 상이한 소스 아이디가 생성된다.
소스 아이디의 상태는 소스 아이디에 대응되는 작업 태스크의 진행 상태에 상응하여 결정된다. 즉, 소스 아이디의 상태는 작업 태스크의 진행 상태에 따라, 작업 가능, 작업 중, 검수 중 및 작업 완료 중 하나의 상태로 결정된다. 소스 아이디의 상태가 작업 가능이라는 것은 소스 아이디에 대응되는 작업 태스크가 작업자에게 할당되지 않았거나, 작업자에게 할당된 후 검수를 통해 반려된 작업 태스크의 상태를 의미한다. 소스 아이디의 상태가 작업 가능인 경우, 소스 아이디의 상태는 작업자에게 할당 가능한 상태이다. 소스 아이디의 상태가 작업 중이라는 것은 소스 아이디에 대응되는 작업 태스크가 작업자에게 할당되어 작업자가 작업 태스크를 수행하고 있는 중인 작업 태스크의 상태를 의미한다. 또한, 소스 아이디의 상태가 검수 중이라는 것은 소스 아이디에 대응되는 작업 태스크가 작업자에게 할당되어 작업자가 작업 태스크를 수행한 후 검수자가 작업 태스크의 수행 결과에 대한 검수를 하고 있는 중인 작업 태스크의 상태를 의미한다. 또한, 소스 아이디의 상태가 작업 완료라는 것은 검수자가 작업 태스크의 수행 결과에 대한 검수 수행을 한 결과, 작업 태스크의 수행 결과가 검수에 통과한 작업 태스크의 상태를 의미한다. 소스 아이디의 상태가 작업 중, 검수 중 또는 작업 완료인 경우, 소스 아이디의 상태는 작업자에게 할당 가능하지 않은 상태이다.
단계 S300에서, 작업자의 단말기로부터 프로젝트의 참여 요청이 수신된다. 작업자는 작업자의 단말기를 이용하여, 플랫폼 상의 프로젝트의 개설을 확인할 수 있다. 작업자는 프로젝트의 이름 및 프로젝트의 상세 수행 내용을 확인하고, 프로젝트에 참여하길 원하는 경우, 작업자의 단말기를 이용하여 프로젝트의 참여 요청을 시스템에 송신한다.
단계 S400에서, 프로젝트의 참여 요청을 한 작업자의 아이디가 신규 작업자의 아이디인지가 확인된다. 시스템은 작업자의 단말기로부터 프로젝트의 참여 요청을 수신한 경우, 작업자의 아이디의 이력을 확인한다. 즉, 시스템은 해당 작업자가 동일한 프로젝트를 참여한 이력이 있는지, 프로젝트에 참여하여 작업 태스크를 수행한 결과에 대한 검수 사항이 통과인지 반려인지를 확인한다. 시스템은 확인 결과에 기초하여, 해당 작업자가 신규 작업자인지, 반려 작업자인지를 구분한다.
시스템은 프로젝트 내에서 작업 태스크를 수행한 이력이 있고, 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 반려인 경우, 해당 작업자를 반려 작업자로 분류한다. 반면, 시스템은 프로젝트 내에서 작업 태스크를 수행한 이력이 없는 작업자는 신규 작업자로 분류한다.
단계 S400의 작업자의 아이디의 확인 결과에 기초하여, 작업자가 반려 작업자인 경우, 단계 S510에서, 프로젝트의 소스 아이디의 상태를 확인한 후 반려 작업자에게 기존 소스 아이디 또는 신규 소스 아이디의 할당 여부가 결정된다.
기존 소스 아이디는 반려 작업자에게 할당되어 반려된 작업 태스크의 소스 아이디이다. 반면, 신규 소스 아이디는 반려 작업자에게 할당되지 않는 작업 태스크의 소스 아이디이다. 어느 하나의 작업 태스크의 소스 아이디는 반려 작업자에게는 기존 소스 아이디이지만, 신규 작업자에게는 신규 소스 아이디일 수 있다. 즉, 반려 작업자에게는 이미 할당되어 반려된 작업 태스크이지만, 신규 작업자에게는 할당된 적 없는 작업 태스크인 경우, 동일한 작업 태스크의 소스 아이디가 반려 작업자에게 할당되면, 기존 소스 아이디로 분류되고, 신규 작업자에게 할당되면, 신규 소스 아이디로 분류될 수 있다.
단계 S400의 작업자의 아이디의 확인 결과에 기초하여, 작업자가 신규 작업자인 경우, 단계 S520에서, 프로젝트의 소스 아이디의 상태를 확인한 후 신규 작업자에게 신규 소스 아이디의 할당 여부가 결정된다.
시스템은 작업자에게 소스 아이디를 할당하는 경우, 한 번에 하나의 소스 아이디만을 할당한다. 즉, 시스템은 작업자에게 소스 아이디를 할당하는 경우, 하나의 소스 아이디만을 작업자에게 할당한다. 그 후, 시스템은 해당 하나의 소스 아이디에 대응되는 작업 태스크의 수행 결과에 대한 검수가 완료되 후에, 작업자로부터 추가적인 프로젝트 참여 요청이 수신되어 작업자에게 새로운 소스 아이디를 할당할 필요가 있는 경우, 다른 하나의 소스 아이디를 작업자에게 할당한다. 한 명의 작업자에게 복수의 소스 아이디를 한 번에 할당하게 되면, 다른 작업자가 프로젝트에 참여하려고 하여도 소스 아이디를 할당하지 못하는 상황이 발생할 수 있다. 또한, 복수의 소스 아이디를 한 번에 할당받은 작업자가 복수의 작업 태스크의 수행을 불성실하게 하면서 소스 아이디를 점유하면, 프로젝트의 수행 속도가 현저히 늦어지거나 프로젝트의 수행 결과의 품질이 현저히 낮아질 수 있다. 따라서, 시스템은 작업자에게 소스 아이디를 한 번에 하나씩 할당하여, 프로젝트의 수행 속도를 높이고, 불성실한 작업자에 대한 복수의 소스 아이디에 대한 점유를 방지할 수 있다.
도 4는 도 3의 반려 작업자에게 작업을 할당하는 단계의 개략적인 순서도이다.
도 4를 참조하면, 반려 작업자에게 작업을 할당하는 단계(S510)은, 프로젝트의 모든 소스 아이디가 작업 완료인지를 확인하는 단계(S511), 프로젝트 완료 메시지를 송신하는 단계(S512), 기존 소스 아이디가 작업 완료인지를 확인하는 단계(S513), 기존 소스 아이디를 재할당하는 단계(S530), 신규 작업 요청 메시지를 송신하는 단계(S514), 신규 작업 태스크의 요청을 수락하는지를 확인하는 단계(S515), 프로젝트 참여 불가 메시지를 송신하는 단계(S516), 작업 가능한 소스 아이디가 존재하는지를 확인하는 단계(S517), 작업 태스크 불가 메시지를 송신하는 단계(S518) 및 신규 소스 아이디를 할당하는 단계(S540)를 포함한다.
단계 S511에서, 프로젝트의 복수의 작업 태스크 각각에 대응되는 모든 소스 아이디의 상태가 작업 완료인지가 확인된다.
시스템은 반려 작업자에게 소스 아이디를 할당할지를 판단하기에 앞서서, 프로젝트 상의 복수의 작업 태스크 각각에 대응되는 모든 소스 아이디의 상태를 확인한다. 시스템은 프로젝트 상의 모든 소스 아이디의 상태를 확인하여, 프로젝트가 완료된 상태인지를 판단한다. 프로젝트 상의 모든 소스 아이디의 상태가 작업 완료인 경우, 프로젝트가 완료된 상태이다. 반면, 프로젝트 상의 모든 소스 아이디의 상태 중 작업 완료가 아닌 적어도 하나의 소스 아이디가 있는 경우, 프로젝트가 완료되지 않는 상태이다.
단계 S511의 모든 소스 아이디의 상태 확인 결과에 기초하여, 모든 소스 아이디의 상태가 작업 완료인 경우, 단계 S512에서, 작업자의 단말기에 프로젝트 완료 메시지가 송신된다. 프로젝트 완료 메시지는 프로젝트 상의 모든 소스 아이디의 상태가 작업 완료로 되어, 프로젝트가 완료되었음을 알리는 메시지이다.
단계 S511의 모든 소스 아이디의 상태 확인 결과에 기초하여, 모든 소스 아이디의 상태 중 작업 완료가 아닌 적어도 하나의 소스 아이디가 있는 경우, 단계 S513에서, 기존 소스 아이디의 상태가 작업 가능인지가 확인된다.
시스템은 반려 작업자에게 이미 할당되었던 기존 소스 아이디가 다른 신규 작업자에게 할당되어 해당 소스 아이디의 상태가 작업 가능이 아닌지를 확인한다. 시스템은 검수자에 의해서 반려된 소스 아이디에 대응되는 작업 태스크를 반려 작업자 또는 신규 작업자에게 할당할 수 있다. 검수자에 의해서 반려된 소스 아이디에 대응되는 작업 태스크를 수행할 수 있는 기회를 반려 작업자에게만 제공하게 되면, 반려 작업자보다 더 빨리 작업 태스크를 수행할 수 있는 신규 작업자의 진입을 막게 되어 전체적인 프로젝트의 진행 속도를 늦어질 수 있다. 또한, 반려 작업자가 계속해서 불성실하게 작업 태스크를 수행하더라도 계속해서 불성실한 반려 작업자에게 소스 아이디를 할당해야만 하는 문제점이 발생할 수 있다. 따라서, 시스템은 검수자에 의해서 반려된 소스 아이디에 대응되는 작업 태스크를 반려 작업자와 신규 작업자에게 동등하게 수행할 수 있는 기회를 제공함으로써, 전체적인 프로젝트 진행 속도를 높이고, 불성실한 반려 작업자의 계속되는 소스 아이디의 점유를 방지할 수 있다.
단계 S513의 기존 소스 아이디의 상태의 확인 결과에 기초하여, 기존 소스 아이디의 상태가 작업 가능인 경우, 단계 S530에서, 작업자에게 기존 소스 아이디가 재할당된다. 시스템은 반려 작업자에게 신규 소스 아이디보다 우선적으로 기존 소스 아이디를 할당한다. 검수자에 의해서 반려된 기존 소스 아이디에 대응되는 작업 태스크의 수행 결과에 대해서 검수자의 반려 의견이 작성될 수 있기 때문에, 작업자는 반려 의견을 확인하고, 반려 의견에 상응하는 재작업 태스크를 수행할 수 있다. 작업자는 이미 수행한 작업 태스크에 대해서 반려 의견을 반영하여 일부 수정하여 재작업 태스크를 수행하기 때문에, 신규 작업 태스크에 대응되는 소스 아이디를 반려 작업자에게 할당하는 것보다 반려된 작업 태스크에 대응되는 소스 아이디를 우선적으로 반려 작업자에게 할당함으로써, 전체적인 프로젝트의 진행 속도가 높아질 수 있다. 시스템은 작업자에게 기존 소스 아이디를 재할당하는 경우, 소스 아이디의 상태를 작업 가능에서 작업 중으로 변경한다. 단계 S530은 도 6에서 자세히 설명한다.
단계 S513의 기존 소스 아이디의 상태의 확인 결과에 기초하여, 기존 소스 아이디의 상태가 작업 가능이 아닌 경우, 단계 S514에서, 작업자의 단말기에 신규 작업 요청 메시지가 송신된다.
신규 작업 요청 메시지는 신규 소스 아이디에 대응되는 신규 작업 태스크의 수행 여부를 확인하는 메시지이다. 시스템은 작업자의 단말기에 신규 작업 태스크의 요청 메시지를 송신하여, 작업자가 재작업 태스크가 아닌 신규 작업 태스크를 수행할지를 물어본다.
단계 S515에서, 신규 작업 태스크의 요청 메시지에 상응하여, 신규 작업 태스크의 요청이 수락되는지가 확인된다.
작업자는 작업자의 단말기를 이용하여 신규 작업 요청 메시지를 확인하고, 신규 작업 태스크를 수행할지를 결정한다. 작업자는 작업자의 단말기를 이용하여, 신규 작업 태스크를 수행한다고 시스템에 알릴 수도 있고, 신규 작업 태스크를 수행하지 않는다고 시스템에 알릴 수도 있고, 시스템에 어떠한 알림도 하지 않을 수도 있다.
시스템은 소정의 시간 내에 작업자의 단말기로부터 신규 작업 태스크의 요청이 수락되는지를 확인한다. 소정의 시간 내에 작업자의 단말기로부터 신규 작업 태스크의 요청의 수락 여부가 수신되는 경우, 이를 반영하여 후술하는 단계 S516 또는 단계 S517가 수행된다. 또는, 소정의 시간 내에 작업자의 단말기로부터 어떠한 알림도 수신되지 않는 경우, 후술하는 단계 S516이 수행된다.
단계 S515의 확인 결과에 기초하여, 신규 작업 태스크의 요청이 수락되지 않는 경우, 단계 S516에서, 작업자의 단말기에 프로젝트 참여 불가 메시지가 송신된다. 프로젝트 참여 불가 메시지는 작업자의 단말기로부터 신규 작업 태스크의 요청이 수락되지 않아서, 프로젝트에 참여할 수 없음을 알리는 메시지이다. 시스템은 작업자의 단말기에 프로젝트 참여 불가 메시지를 송신하여, 작업자에게 프로젝트에 참여할 수 없음을 알린다. 프로젝트에 참여할 수 없다는 것은, 프로젝트 참여 불가 메시지를 수신하기 전에 작업자가 수행한 프로젝트 참여 요청에 대한 응답이다. 만약, 작업자가 프로젝트 참여 불가 메시지를 수신한 이후에 다시 프로젝트 참여 요청을 시스템으로 송신하는 경우, 시스템은 다시 작업자의 프로젝트 참여 가능 여부 및 소스 아이디 할당 가능 여부를 확인한다.
단계 S515의 확인 결과에 기초하여, 신규 작업 태스크의 요청이 수락되는 경우, 단계 S517에서, 프로젝트 상에 작업 가능한 소스 아이디가 있는지가 확인된다. 프로젝트 상에 작업 가능한 소스 아이디가 있는지 확인하는 것은, 프로젝트에 참여하고 있는 다른 작업자 및 검수자에 의해서 수행되지 않고, 작업 완료도 되지 않는 소스 아이디가 있는지를 확인하는 것이다.
단계 S517의 확인 결과에 기초하여, 프로젝트 상에 작업 가능한 소스 아이디가 없는 경우, 단계 S518에서, 작업자의 단말기에 작업 태스크 불가 메시지가 송신된다. 작업 태스크 불가 메시지는 프로젝트 상에 작업 가능한 소스 아이디가 없어서 작업 태스크의 수행이 불가능하다는 것을 알리는 메시지이다. 시스템은 작업자의 단말기에 작업 태스크 불가 메시지를 송신하여, 작업자에게 작업 태스크의 수행이 불가능하다는 것을 알린다. 작업 태스크의 수행이 불가능하다는 것은 프로젝트 상의 소스 아이디의 상태가 작업 중, 검수 중 및 작업 완료인 상태이어서 작업자에게 소스 아이디의 할당이 불가능하다는 것을 의미한다. 만약, 소스 아이디의 상태가 작업 중 또는 검수 중인 작업 태스크의 수행 결과가 검수에 반려가 되어서 작업 가능한 소스 아이디로 변경되는 경우, 작업자는 신규 작업 태스크를 다시 할당받을 수 있는 기회를 제공받을 수 있다.
단계 S517의 확인 결과에 기초하여, 프로젝트 상에 작업 가능한 소스 아이디가 있는 경우, 단계 S540에서, 작업자에게 신규 소스 아이디가 할당된다. 시스템은 작업자에게 신규 소스 아이디가 할당되는 경우, 소스 아이디의 상태를 작업 가능에서 작업 중으로 변경한다. 단계 S540은 도 7에서 자세히 설명한다.
도 5는 도 3의 신규 작업자에게 작업을 할당하는 단계의 개략적인 순서도이다.
도 5를 참조하면, 신규 작업자에게 작업을 할당하는 단계(S520)는, 프로젝트의 모든 소스 아이디가 작업 완료인지를 확인하는 단계(S521), 프로젝트 완료 메시지를 송신하는 단계(S522), 작업 가능한 소스 아이디가 존재하는지를 확인하는 단계(S523), 작업 태스크 불가 메시지를 송신하는 단계(S524) 및 신규 소스 아이디를 할당하는 단계(S540)를 포함한다.
도 5를 참조하면, 신규 작업자에게 작업을 할당하는 단계(S520)의 구성요소는 도 4를 참조하여 설명한 방법의 각각의 구성요소에 상응한다. 즉, 단계 S521은 단계 S511에 상응하고, 단계 S522는 단계 S512에 상응하고, 단계 S523은 단계 S517에 상응하고, 단계 S524는 단계 S518에 상응한다. 이하 장치의 각 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략한다.
단계 S521에서, 프로젝트의 복수의 작업 태스크 각각에 대응되는 모든 소스 아이디의 상태가 작업 완료인지가 확인된다.
단계 S521의 모든 소스 아이디의 상태 확인 결과에 기초하여, 모든 소스 아이디의 상태가 작업 완료인 경우, 단계 S522에서, 작업자의 단말기에 프로젝트 완료 메시지가 송신된다.
단계 S521의 모든 소스 아이디의 상태 확인 결과에 기초하여, 모든 소스 아이디의 상태 중 작업 완료가 아닌 적어도 하나의 소스 아이디가 있는 경우, 단계 S523에서, 프로젝트 상에 작업 가능한 소스 아이디가 있는지가 확인된다.
단계 S523의 확인 결과에 기초하여, 프로젝트 상에 작업 가능한 소스 아이디가 없는 경우, 단계 S524에서, 작업자의 단말기에 작업 태스크 불가 메시지가 송신된다.
단계 S523의 확인 결과에 기초하여, 프로젝트 상에 작업 가능한 소스 아이디가 있는 경우, 단계 S540에서, 작업자에게 신규 소스 아이디가 할당된다. 단계 S540은 도 7에서 자세히 설명한다.
도 6은 도 4의 기존 소스 아이디를 재할당하는 단계의 개략적인 순서도이다.
도 6을 참조하면, 기존 소스 아이디를 재할당하는 단계(S530)는, 재작업 태스크의 수행 요청을 송신하는 단계(S531), 재작업 태스크의 수행 결과를 수신하는 단계(S532), 데이터 아이디를 생성하는 단계(S533), 재작업 태스크의 수행 결과를 검수하는 단계(S534), 재작업 태스크의 수행 결과가 검수에 통과하는지를 확인하는 단계(S535), 작업 비용을 지급하는 단계(S536) 및 재작업 태스크의 수행 결과를 반려하는 단계(S537)를 포함한다.
단계 S531에서, 작업자의 단말기에 재작업 태스크의 수행 요청이 송신된다. 재작업 태스크의 수행 요청은 작업 태스크의 수행 결과가 검수자에 의해서 반려된 작업 태스크를 작업자에게 다시 수행할 것을 요청하는 것이다. 재작업 태스크에는 검수자의 단말기로부터 수신된 반려 사유가 기록될 수 있다.
단계 S532에서, 작업자의 단말기로부터 재작업 태스크의 수행 결과가 수신된다. 작업자는 작업자의 단말기를 이용하여 반려된 작업 태스크의 수행 결과에 대한 수정 및 변경을 하여 재작업 태스크의 수행 결과를 시스템에 송신한다. 작업자는 재작업 태스크를 수행함에 있어서 검수자에 의해서 기록된 반려 사유를 참조할 수 있다.
시스템은 작업자의 단말기로부터 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는지를 확인할 수 있다. 작업 제한 시간은 작업자가 작업 태스크를 수행하여 시스템에 작업 태스크의 수행 결과를 송신하는 데까지 걸리는 시간에 대한 제한 시간이다. 시스템은 작업 제한 시간을 소스 아이디를 할당하는 단계에 도입함으로써, 작업자가 소스 아이디를 점유할 수 있는 시간을 제한한다. 따라서, 시스템은 불성실하게 작업 태스크를 수행하는 작업자가 작업 태스크를 수행하는 것을 제한할 수 있다. 시스템은 작업자의 단말기로부터 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되지 않는 경우, 소스 아이디의 상태를 다른 작업자에게 할당 가능한 상태로 변경한다. 즉, 시스템은 소스 아이디의 상태를 작업 중에서 작업 가능으로 변경한다.
단계 S533에서, 재작업 태스크의 수행 결과에 대응되는 데이터 아이디가 생성된다. 데이터 아이디는 재작업 태스크의 수행 결과에 대응되어, 재작업 태스크의 상태 정보가 기록된다. 시스템은 데이터 아이디를 생성하여 작업 태스크의 수행 결과에 대한 이력을 관리한다. 데이터 아이디는 작업자가 작업 태스크를 수행할 때마다 생성된다. 즉, 데이터 아이디는 작업 태스크의 수행 결과, 재작업 태스크의 수행 결과 각각에 대응되어 생성된다. 데이터 아이디는 작업 태스크의 수행 결과 및 재작업 태스크의 수행 결과에 대한 검수 결과에 대한 정보에도 대응될 수 있다.
단계 S534에서, 재작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신된다. 시스템은 재작업 태스크의 수행 결과를 검수자가 확인할 수 있도록 제공한다. 검수자는 검수자의 단말기를 이용하여, 재작업 태스크의 수행 결과를 확인하고, 검수를 수행하고, 검수 태스크의 수행 결과를 시스템에 송신한다. 시스템은 검수 태스크의 수행 결과가 수신되는 경우, 소스 아이디의 상태를 작업 중에서 검수 중으로 변경한다.
단계 S535에서, 검수 태스크의 수행 결과에 기초하여, 재작업 태스크의 수행 결과의 검수 통과 여부가 확인된다. 시스템은 검수 태스크의 수행 결과에 기초하여, 재작업 태스크의 수행 결과가 검수에 통과하였는지, 검수에 반려되었는지를 확인한다.
시스템은 작업 태스크 또는 재작업 태스크의 반려 횟수를 카운트를 할 수 있다. 또한, 시스템은 또한 반려 제한 횟수를 작업 태스크의 난이도에 상응하여 설정할 수 있다. 즉, 시스템은 작업 태스크의 난이도가 높을수록 반려 제한 횟수를 크게 설정하고, 작업 태스크의 난이도가 낮을수록 반려 제한 횟수를 작게 설정할 수 있다. 시스템은 반려 횟수가 반려 제한 횟수와 동일해지는 경우, 해당 작업자가 프로젝트를 더 이상 수행하지 못하도록 할 수 있다. 따라서, 시스템은 불성실한 작업자를 프로젝트에 제외함으로써, 불성실한 작업자에 소요되는 시간과 비용을 제한할 수 있다.
단계 S535의 확인 결과에 기초하여, 재작업 태스크의 수행 결과가 검수에 통과된 경우, 단계 S536에서, 작업자에게 작업 비용이 지급된다. 작업 비용은 작업 태스크의 수행에 대한 보상액이다. 작업 비용은 포인트로 지급될 수 있고, 소정의 기준 포인트 이상을 보유한 작업자는 포인트를 현금으로 교환할 수 있다. 시스템은 재작업 태스크의 수행 결과가 검수에 통과된 경우, 재작업 태스크에 대응되는 소스 아이디의 상태를 검수 중에서 작업 완료로 변경한다.
단계 S535의 확인 결과에 기초하여, 재작업 태스크의 수행 결과가 검수에 반려된 경우, 단계 S537에서, 재작업 태스크의 수행 결과가 반려된다. 시스템은 재작업 태스크의 수행 결과가 반려되는 경우, 재작업 태스크에 대응되는 소스 아이디의 상태를 검수 중에서 작업 가능으로 변경한다.
도 7은 도 4 및 도 5의 신규 소스 아이디를 할당하는 단계의 개략적인 순서도이다.
도 7을 참조하면, 신규 소스 아이디를 할당하는 단계(S540)는, 작업 태스크의 수행 요청을 송신하는 단계(S541), 작업 태스크의 수행 결과를 수신하는 단계(S542), 데이터 아이디를 생성하는 단계(S543), 작업 태스크의 수행 결과를 검수하는 단계(S544), 작업 태스크의 수행 결과가 검수에 통과하는지를 확인하는 단계(S545), 작업 비용을 지급하는 단계(S546) 및 작업 태스크의 수행 결과를 반려하는 단계(S547)를 포함한다.
도 7을 참조하면, 신규 소스 아이디를 할당하는 단계(S540)의 구성요소는 도 6을 참조하여 설명한 방법의 각각의 구성요소에 상응한다. 즉, 단계 S541은 단계 S531에 상응하고, 단계 S542는 단계 S532에 상응하고, 단계 S543은 단계 S533에 상응하고, 단계 S544는 단계 S534에 상응하고, 단계 S545는 단계 S535에 상응하고, 단계 S546는 단계 S536에 상응하고, 단계 S547는 단계 S537에 상응한다. 이하 장치의 각 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략한다.
단계 S541에서, 작업자의 단말기에 작업 태스크의 수행 요청이 송신된다. 작업 태스크의 수행 요청은 작업 태스크를 작업자에게 수행할 것을 요청하는 것이다.
단계 S542에서, 작업자의 단말기로부터 작업 태스크의 수행 결과가 수신된다. 작업자는 작업자의 단말기를 이용하여 작업 태스크의 수행 결과를 시스템에 송신한다. 시스템은 작업자의 단말기로부터 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는지를 확인할 수 있다.
단계 S543에서, 작업 태스크의 수행 결과에 대응되는 데이터 아이디가 생성된다.
단계 S544에서, 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신된다.
단계 S545에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 검수 통과 여부가 확인된다.
단계 S545의 확인 결과에 기초하여, 작업 태스크의 수행 결과가 검수에 통과된 경우, 단계 S546에서, 작업자에게 작업 비용이 지급된다.
단계 S545의 확인 결과에 기초하여, 작업 태스크의 수행 결과가 검수에 반려된 경우, 단계 S547에서, 작업 태스크의 수행 결과가 반려된다.
도 8은 소스 아이디가 작업자에게 할당되는 예시도이다.
도 8을 참조하면, 시간의 흐름에 따라, 작업 태스크에 대응되는 소스 아이디가 작업자에게 할당되고, 검수자에 의해서 소스 아이디에 대응되는 작업 태스크의 수행 결과에 대한 검수가 수행되는 과정이 도시된다.
작업자 A로부터 프로젝트 참여 요청이 수신되면, 시스템은 소스 아이디 #1을 작업자 A에게 할당할 수 있다. 소스 아이디 #1이 작업자 A에게 할당되면, 작업자 A는 소스 아이디 #1에 대응되는 작업 태스크를 수행하고, 수행 결과를 시스템에 송신할 수 있다. 작업자 A로부터 수행 결과가 시스템에 수신되면, 검수자는 소스 아이디 #1에 대응되는 작업 태스크의 수행 결과에 대한 검수 태스크를 수행하고, 검수 태스크의 수행 결과로서 반려 또는 통과를 할 수 있다. 소스 아이디 #1에 대응되는 태스크의 수행 결과에 대한 검수 결과로서 반려인 경우, 시스템은 소스 아이디 #1을 반려 작업자 또는 신규 작업자에게 할당할 수 있다. 만약, 신규 작업자인 작업자 C의 프로젝트 참여 요청이 수신된 시점이 반려 작업자인 작업자 A에게 기존 소스 아이디가 재할당되는 시점 보다 앞서는 경우, 시스템은 작업자 C에게 소스 아이디 #1을 할당할 수 있다. 소스 아이디 #1에 대응되는 작업 태스크는 작업자 C에 의해서 수행되고, 검수자에 의해서 검수를 받은 후, 소스 아이디 #1의 상태가 작업 완료로 될 수 있다.
반면, 소스 아이디 #2의 경우처럼, 소스 아이디 #2가 작업자 B에게 할당되고, 검수 결과가 반려로 된 후, 작업자 B에게 재할당될 수도 있다.
도 9는 소스 아이디가 작업자에게 할당되고, 작업 태스크의 수행 결과에 상응하여 데이터 아이디가 생성되는 예시도이다.
도 9를 참조하면, 소스 아이디 저장부에 저장된 소스 아이디가 작업자에게 하나씩 할당되고, 작업자에 의한 작업 태스크의 수행 결과에 대응되는 데이터 아이디가 생성되어 데이터 아이디 저장부에 저장된다.
소스 아이디 저장부는 프로젝트를 의뢰한 고객이 요청한 데이터의 개수에 의해서 정해진 소스 아이디의 개수만큼 소스 아이디를 저장한다. 데이터 아이디 저장부는 작업자가 수행한 작업 태스크에 대응되는 데이터 아이디를 저장한다. 데이터 아이디의 개수는 작업자가 수행한 작업 태스크의 개수에 의해서 정해진다. 작업자가 수행한 작업 태스크는 검수에 통과할 수도 있고, 검수에 반려될 수도 있다. 작업 태스크의 수행 결과가 반려되는 경우, 시스템은 작업자에게 다시 소스 아이디를 할당하기 때문에, 데이터 아이디의 개수는 소스 아이디의 개수보다 같거나 클 수 있다. 즉, 소스 아이디의 개수는 고정된 값이지만, 데이터 아이디의 개수는 소스 아이디의 개수보다 같거나 큰 값으로서, 고정되지 않는 값이다.
도 10은 작업 태스크 및 검수 태스크의 수행 결과의 예시도이다.
도 10을 참조하면, 프로젝트의 하나의 예로서, QR 코드 수집하는 프로젝트의 작업 태스크 및 검수 태스크의 수행 결과가 도시된다.
시스템은 고객에게 의뢰받은 QR 코드를 촬영한 사진의 수집을 프로젝트로 생성할 수 있다. 시스템은 프로젝트의 성격에 상응하여 작업 가이드를 작업자에게 제공할 수 있다. 예를 들어, QR 코드 수집의 프로젝트의 경우, 시스템은 "사진 상에 두 개 이상의 QR 코드가 포함되어야 한다.", "피사체와 휴대폰 사이의 거리는 60cm 이내이어야 한다.", "온라인상의 이미지는 사용 불가능하다.", "다양한 배경에서 촬영해야 한다.", "동일한 상품군의 상이한 상품을 촬영하는 경우에는 5 번까지 사진 촬영이 가능하다.", "Full HD급 이상의 화질이어야 한다.", "필터가 적용되지 않은 원본 사진이어야 한다.", "사진이 흔들리지 않고 선명해야 한다.", "QR 코드의 정면으로부터 45도 이내에서 촬영해야 한다."등의 작업 가이드를 사용자에게 제공할 수 있다. 사용자에게 제공된 작업 가이드는 검수자에 의한 검수의 판단 기준이 될 수 있다.
작업자는 작업자의 단말기를 이용하여 작업 태스크를 수행하고, 작업 태스크의 수행 결과를 시스템에 송신한다.
검수자는 검수자의 단말기를 이용하여 작업 태스크의 수행 결과를 확인하고, 검수 태스크를 수행한다. 검수 태스크의 수행 결과로서 통과 또는 반려를 할 수 있고, 반려를 하는 경우 반려 사유를 작성할 수 있다. 검수자는 검수자의 단말기를 이용하여 검수 태스크의 수행 결과를 시스템에 송신한다.
도 11은 본 발명의 다른 일 실시예에 따른 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 장치의 개략적인 구성도이다.
도 11을 참조하면, 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 장치(600)는, 프로젝트 생성부(610), 소스 아이디 생성부(620), 수신부(630), 아이디 확인부(640), 할당 결정부(650), 송신부(660), 데이터 아이디 생성부(670), 태스크 처리부(680) 및 저장부(690)를 포함한다.
도 11을 참조하면, 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 장치(600)의 구성요소는 도 1 내지 도 10을 참조하여 설명한 방법의 각각의 구성요소에 상응한다. 이하 장치의 각 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략한다.
프로젝트 생성부(610)는 복수의 작업 태스크를 포함하는 프로젝트를 생성한다.
소스 아이디 생성부(620)는 프로젝트의 복수의 작업 태스크 각각에 대응되는 소스 아이디를 생성한다.
수신부(630)는 작업자의 단말기로부터 프로젝트의 참여 요청을 수신한다. 또는, 수신부(630)는 작업자의 단말기, 검수자의 단말기 또는 고객의 단말기로부터 데이터를 수신한다.
아이디 확인부(640)는 프로젝트의 참여 요청을 한 작업자의 아이디가 신규 작업자의 아이디인지를 확인한다.
할당 결정부(650) 작업자의 아이디의 확인 결과에 기초하여, 작업자가 반려 작업자인 경우 프로젝트의 소스 아이디의 상태를 확인한 후 반려 작업자에게 기존 소스 아이디 또는 신규 소스 아이디의 할당 여부를 결정하고, 작업자가 신규 작업자인 경우 프로젝트의 소스 아이디의 상태를 확인한 후 신규 작업자에게 신규 소스 아이디의 할당 여부를 결정한다.
송신부(660)는 작업자의 단말기, 검수자의 단말기 또는 고객의 단말기에 데이터를 송신한다.
데이터 아이디 생성부(670)는 작업 태스크의 수행 결과에 대응되는 데이터 아이디를 생성한다.
태스크 처리부(680)는 작업 태스크의 생성, 검수 태스크의 생성, 작업 태스크의 수행 결과에 대한 처리 및 검수 태스크의 수행 결과에 대한 처리를 수행한다.
저장부(690)는 소스 아이디, 데이터 아이디, 작업 태스크, 검수 태스크, 작업 태스크의 수행 결과, 검수 태스크의 수행 결과, 작업 비용의 지급 결과 및 검수 비용의 지급 결과가 저장된다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 컴퓨터에 의해서 실행되는,
    크라우드 소싱(Crowd Sourcing) 기반의 데이터를 수집하는 방법에 있어서,
    복수의 작업 태스크(Task)를 포함하는 프로젝트를 생성하는 단계;
    상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 소스 아이디를 생성하는 단계;
    작업자의 단말기로부터 상기 프로젝트의 참여 요청을 수신하는 단계;
    상기 프로젝트의 참여 요청을 한 작업자의 아이디가 신규 작업자의 아이디인지를 확인하는 단계; 및
    상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 반려 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 반려 작업자에게 기존 소스 아이디 또는 신규 소스 아이디의 할당 여부를 결정하고, 상기 작업자가 신규 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 신규 작업자에게 신규 소스 아이디의 할당 여부를 결정하는 단계를 포함하고,
    상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 반려인 경우, 상기 작업자는 상기 반려 작업자로 분류되고,
    상기 작업 태스크를 수행하지 않은 상기 작업자는 상기 신규 작업자로 분류되고,
    상기 기존 소스 아이디는 상기 반려 작업자에게 할당되어 반려된 작업 태스크의 소스 아이디이고,
    상기 신규 소스 아이디는 상기 반려 작업자에게 할당되지 않는 작업 태스크의 소스 아이디인,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  2. 제1 항에 있어서,
    상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 반려 작업자인 경우,
    상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 모든 소스 아이디의 상태가 작업 완료인지를 확인하는 단계;
    상기 모든 소스 아이디의 상태 확인 결과에 기초하여, 상기 모든 소스 아이디의 상태가 작업 완료인 경우, 상기 작업자의 단말기에 상기 프로젝트 종료 메시지를 송신하고, 상기 모든 소스 아이디의 상태 중 작업 완료가 아닌 적어도 하나의 소스 아이디가 있는 경우, 상기 기존 소스 아이디의 상태가 작업 가능인지를 확인하는 단계;
    상기 기존 소스 아이디의 상태의 확인 결과에 기초하여, 상기 기존 소스 아이디의 상태가 작업 가능인 경우, 상기 작업자에게 상기 기존 소스 아이디를 재할당하고, 상기 기존 소스 아이디의 상태가 작업 가능이 아닌 경우, 상기 작업자의 단말기에 신규 작업 태스크의 요청 메시지를 송신하는 단계;
    상기 신규 작업 태스크의 요청 메시지에 상응하여, 신규 작업 태스크의 요청이 수락되는지를 확인하는 단계;
    상기 신규 작업 태스크의 요청이 수락되지 않는 경우, 상기 작업자의 단말기에 프로젝트 참여 불가 메시지를 송신하고, 상기 신규 작업 태스크의 요청이 수락되는 경우, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는지를 확인하는 단계; 및
    상기 프로젝트 상에 작업 가능한 소스 아이디가 없는 경우, 상기 작업자의 단말기에 작업 태스크 불가 메시지를 송신하고, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는 경우, 상기 작업자에게 상기 신규 소스 아이디를 할당하는 단계를 포함하는,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  3. 제2 항에 있어서,
    상기 작업자에게 상기 기존 소스 아이디를 재할당하는 경우,
    상기 작업자의 단말기에 재작업 태스크의 수행 요청을 송신하는 단계;
    상기 작업자의 단말기로부터 재작업 태스크의 수행 결과를 수신하는 단계;
    상기 재작업 태스크의 수행 결과에 대응되는 데이터 아이디를 생성하는 단계;
    상기 재작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계;
    상기 검수 태스크의 수행 결과에 기초하여, 상기 재작업 태스크의 수행 결과의 검수 통과 여부를 확인하는 단계; 및
    상기 재작업 태스크의 수행 결과가 검수에 통과된 경우, 상기 작업자에게 작업 비용을 지급하고, 상기 재작업 태스크의 수행 결과가 검수에 반려된 경우, 상기 재작업 태스크의 수행 결과를 반려하는 단계를 포함하는,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  4. 제3 항에 있어서,
    상기 작업자의 단말기로부터 재작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는지를 확인하는 단계를 더 포함하고,
    상기 작업자의 단말기로부터 상기 재작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되지 않는 경우, 상기 소스 아이디의 상태는 다른 작업자에게 할당 가능한 상태로 변경되는,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  5. 제1 항에 있어서,
    상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 신규 작업자인 경우,
    상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 모든 소스 아이디의 상태가 작업 완료인지를 확인하는 단계;
    상기 모든 소스 아이디의 상태 확인 결과에 기초하여, 상기 모든 소스 아이디의 상태가 작업 완료인 경우, 상기 작업자의 단말기에 상기 프로젝트 완료 메시지를 송신하고, 상기 모든 소스 아이디의 상태 중 작업 완료가 아닌 적어도 하나의 소스 아이디가 있는 경우, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는지를 확인하는 단계; 및
    상기 프로젝트 상에 작업 가능한 소스 아이디가 없는 경우, 상기 작업자의 단말기에 작업 태스크 불가 메시지를 송신하고, 상기 프로젝트 상에 작업 가능한 소스 아이디가 있는 경우, 상기 작업자에게 상기 신규 소스 아이디를 할당하는 단계를 포함하는,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  6. 제2 항 또는 제5 항에 있어서,
    상기 작업자에게 상기 신규 소스 아이디를 할당하는 경우,
    상기 작업자의 단말기에 작업 태스크의 수행 요청을 송신하는 단계;
    상기 작업자의 단말기로부터 작업 태스크의 수행 결과를 수신하는 단계;
    상기 작업 태스크의 수행 결과에 대응되는 데이터 아이디를 생성하는 단계;
    상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계;
    상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 확인하는 단계; 및
    상기 작업 태스크의 수행 결과가 검수에 통과된 경우, 상기 작업자에게 작업 비용을 지급하고, 상기 작업 태스크의 수행 결과가 검수에 반려된 경우, 상기 작업 태스크의 수행 결과를 반려하는 단계를 포함하는,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  7. 제1 항에 있어서,
    상기 작업자에게 상기 소스 아이디가 할당되는 경우, 하나의 소스 아이디가 상기 작업자에게 할당되고,
    상기 하나의 소스 아이디에 대응되는 작업 태스크의 수행 결과에 대한 검수가 완료된 후에, 상기 작업자로부터 추가적인 상기 프로젝트 참여 요청이 수신되는 경우, 다른 하나의 소스 아이디가 상기 작업자에게 할당되는,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  8. 제1 항에 있어서,
    상기 소스 아이디의 상태는,
    작업 가능, 작업 중, 검수 중 및 작업 완료 중 하나의 상태로 결정되고,
    상기 소스 아이디의 상태가 상기 작업 가능인 경우, 상기 소스 아이디의 상태는 상기 작업자에게 할당 가능한 상태이고,
    상기 소스 아이디의 상태가 작업 중, 검수 중 또는 작업 완료인 경우, 상기 소스 아이디의 상태는 상기 작업자에게 할당 가능하지 않은 상태인,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법.
  9. 복수의 작업 태스크(Task)를 포함하는 프로젝트를 생성하는 프로젝트 생성부;
    상기 프로젝트의 복수의 작업 태스크 각각에 대응되는 소스 아이디를 생성하는 소스 아이디 생성부;
    작업자의 단말기로부터 상기 프로젝트의 참여 요청을 수신하는 수신부;
    상기 프로젝트의 참여 요청을 한 작업자의 아이디가 신규 작업자의 아이디인지를 확인하는 아이디 확인부; 및
    상기 작업자의 아이디의 확인 결과에 기초하여, 상기 작업자가 반려 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 반려 작업자에게 기존 소스 아이디 또는 신규 소스 아이디의 할당 여부를 결정하고, 상기 작업자가 신규 작업자인 경우 상기 프로젝트의 소스 아이디의 상태를 확인한 후 상기 신규 작업자에게 신규 소스 아이디의 할당 여부를 결정하는 할당 결정부를 포함하고,
    상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 반려인 경우, 상기 작업자는 상기 반려 작업자로 분류되고,
    상기 작업 태스크를 수행하지 않은 상기 작업자는 상기 신규 작업자로 분류되고,
    상기 기존 소스 아이디는 상기 반려 작업자에게 할당되어 반려된 작업 태스크의 소스 아이디이고,
    상기 신규 소스 아이디는 상기 반려 작업자에게 할당되지 않는 작업 태스크의 소스 아이디인,
    크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 장치.
  10. 컴퓨터와 결합하여, 제1 항 내지 제8 항 중 어느 하나의 항의 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2020/001359 2019-03-25 2020-01-29 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치 WO2020197075A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0033460 2019-03-25
KR1020190033460A KR102138576B1 (ko) 2019-03-25 2019-03-25 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2020197075A1 true WO2020197075A1 (ko) 2020-10-01

Family

ID=71893467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001359 WO2020197075A1 (ko) 2019-03-25 2020-01-29 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102138576B1 (ko)
WO (1) WO2020197075A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780840A (zh) * 2021-09-15 2021-12-10 上海适享文化传播有限公司 一种基于语音交互的任务指派方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070104099A (ko) * 2006-04-21 2007-10-25 (주) 디엠디 네트워크 기반의 정보기술 솔루션 개발관리 시스템 및 그방법
KR100976420B1 (ko) * 2010-02-05 2010-08-17 장준용 형상관리 시스템 및 방법
US20120072403A1 (en) * 2009-02-23 2012-03-22 Michael Roth Methods for providing secure and transparent cached monitoring device data
KR20120084901A (ko) * 2011-01-21 2012-07-31 김형근 Ｓｉ 개발방법
KR20170050431A (ko) * 2015-10-30 2017-05-11 삼성에스디에스 주식회사 사용자 계정 정보에 기반한 복수 작성자의 컨텐츠 작성 방법 및 그 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044732A (ko) * 2000-12-06 2002-06-19 국 김 네트워크 기반의 번역 거래서비스 시스템
JP2004213147A (ja) * 2002-12-27 2004-07-29 Galileo:Kk 翻訳管理装置及び翻訳管理システム
KR20140056619A (ko) * 2012-10-30 2014-05-12 에스케이플래닛 주식회사 번역 서비스 제공장치 및 방법
KR20140095956A (ko) 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법
KR101772199B1 (ko) * 2015-10-30 2017-09-01 (주)유미테크 크라우드 소싱 기반 지식 검증 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070104099A (ko) * 2006-04-21 2007-10-25 (주) 디엠디 네트워크 기반의 정보기술 솔루션 개발관리 시스템 및 그방법
US20120072403A1 (en) * 2009-02-23 2012-03-22 Michael Roth Methods for providing secure and transparent cached monitoring device data
KR100976420B1 (ko) * 2010-02-05 2010-08-17 장준용 형상관리 시스템 및 방법
KR20120084901A (ko) * 2011-01-21 2012-07-31 김형근 Ｓｉ 개발방법
KR20170050431A (ko) * 2015-10-30 2017-05-11 삼성에스디에스 주식회사 사용자 계정 정보에 기반한 복수 작성자의 컨텐츠 작성 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780840A (zh) * 2021-09-15 2021-12-10 上海适享文化传播有限公司 一种基于语音交互的任务指派方法

Also Published As

Publication number Publication date
KR102138576B1 (ko) 2020-07-29

Similar Documents

Publication Publication Date Title
WO2021040265A1 (ko) 평균 반려율을 이용한 작업자 능숙도 측정 방법 및 장치
WO2021246772A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램
WO2022019500A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 실습 교육 참여자에 대한 보상형 실습 교육 제공 방법, 그 장치 및 그 컴퓨터 프로그램
WO2021230660A1 (ko) 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법 및 장치
WO2020130306A1 (ko) 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2020251142A1 (ko) 업무 담당자의 인사 평가를 수행하는 장치 및 방법
WO2020197075A1 (ko) 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치
US10533849B2 (en) Analysis apparatus and analysis program
WO2014065444A1 (ko) 개방형 공중망을 이용한 협업 시스템
KR102155889B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 다른 작업자의 작업 결과에 대한 2차 작업을 통한 품질 개선 방법
WO2020242108A1 (ko) 크라우드 소싱 기반 프로젝트의 특성에 따른 작업자 선별 방법
WO2021137523A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법
WO2020122291A1 (ko) 인공지능 기반의 공동주택 관리업무지시 자동화 장치 및 방법
WO2018074619A1 (ko) 컨테이너 터미널의 시뮬레이션 프로세스 자동화 시스템 및 방법
JP2005346702A (ja) 識別表示装置を備える診断システム
WO2021133076A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업단가 관리 방법 및 장치
WO2021091050A1 (ko) 크라우드 소싱 기반 프로젝트의 특성에 따른 검수자 선별 방법
WO2022005111A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법, 그 장치 및 그 컴퓨터 프로그램
WO2022114434A1 (ko) 상위 하이어아키 규제법의 자동 검토를 통한 문서 데이터 의안 검토 시스템
WO2021132831A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자 및 검수자의 증감 운영 방법
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2020235898A1 (ko) 크라우드 소싱 기반 프로젝트의 작업 단가 측정 방법
WO2021040264A1 (ko) 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치
CN115345502A (zh) 监理管理方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20776345

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20776345

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19/04/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20776345

Country of ref document: EP

Kind code of ref document: A1