WO2021040264A1 - 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치 - Google Patents

크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치 Download PDF

Info

Publication number
WO2021040264A1
WO2021040264A1 PCT/KR2020/010387 KR2020010387W WO2021040264A1 WO 2021040264 A1 WO2021040264 A1 WO 2021040264A1 KR 2020010387 W KR2020010387 W KR 2020010387W WO 2021040264 A1 WO2021040264 A1 WO 2021040264A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
results
result
workers
rework
Prior art date
Application number
PCT/KR2020/010387
Other languages
English (en)
French (fr)
Inventor
박민우
김지선
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Publication of WO2021040264A1 publication Critical patent/WO2021040264A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources

Definitions

  • the present invention relates to a method and apparatus for obtaining reliable work results through cross check.
  • the company assigns the work result completed by the worker to the inspector to perform the inspection work.
  • a plurality of tasks are assigned to each of the plurality of workers.
  • Each worker performs a plurality of tasks assigned to it, and provides the task results.
  • a plurality of inspection tasks for the work results are assigned to each of the plurality of inspectors, and each inspector performs the assigned plurality of inspection tasks.
  • the problem to be solved by the present invention is to provide a method and apparatus for obtaining reliable work results through cross-check that determines whether to use a corresponding work result as valid data based on whether a plurality of work results are matched.
  • the method of obtaining reliable work results through cross check according to an aspect of the present invention for solving the above-described problems is the step of allocating the same task to n workers (n is a natural number of 3 or more), n tasks from n workers Receiving a result, checking whether all the n work results match, and if the n work results do not match, reassigning the same work to m new additional workers (m is among the n work results).
  • the step of using the n job results as valid data without inspecting the n number of job results may be further included.
  • the step of determining which of the n work results and the m rework results is to be used as valid data may be further included.
  • the step of invalidating the n work results and the m rework results may be further included.
  • n may be an odd number.
  • n may be determined according to reliability.
  • the task may be an answer to a question that requires subjective evaluation of an operator.
  • a computer program according to another aspect of the present invention for solving the above-described problems is combined with a computer that is hardware to execute the method of obtaining a reliable work result through the cross check, and is stored in a medium.
  • the device for obtaining reliable work results through a cross check transmits the same work to n workers and m new additional workers, and n jobs from the n workers.
  • a communication unit that receives results and receives m rework results from the m new additional workers (n is a natural number of 3 or more, m is the number of work results corresponding to a minority opinion among n work results), and the n
  • the work results are received from a plurality of workers for the same work, and the work results are valid data through whether the plurality of work results match. As it is used, it can provide reliable project results to the client.
  • the work result is used as valid data without going through the inspection work, so the number of inspection work assigned to the inspector is generally reduced, reducing the work and related costs of the inspector. Only when the reliability of the result is low, the inspector can efficiently perform the inspection work.
  • FIG. 1 is a conceptual diagram of a crowd sourcing service according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a crowdsourcing-based project progress process according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method of obtaining a reliable work result through a cross check according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram for explaining a task requiring objective evaluation according to an embodiment of the present invention.
  • 5 and 6 are exemplary diagrams for explaining a task requiring subjective evaluation according to an embodiment of the present invention.
  • FIG. 7 is a block diagram of an apparatus for obtaining reliable work results through cross check according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram of a crowd sourcing service according to an embodiment of the present invention.
  • the crowd sourcing service is performed by being composed of a client 10, a service provider 20, and a public 30.
  • the sponsor 10 refers to a company or individual who requests a crowdsourcing-based project (hereinafter, referred to as a project).
  • the sponsor 10 requests a project for the purpose of collecting source data or annotating data.
  • Collection of source data means collecting raw data such as recorded voice collection and photo collection.
  • Data annotation refers to inputting relevant annotation data into source data such as text, photos, and videos.
  • the data annotation may include finding an entity in a given fingerprint or finding a similar sentence, but is not limited thereto.
  • the service provider 20 refers to a company that provides crowdsourcing services.
  • the service provider 20 When the service provider 20 receives a request for a project for a product or service from the client 10, the service provider 20 allocates a task for the project to the general public 30 and receives the work result from the public 30. Thereafter, the final product extracted based on the work result is provided to the requester 10.
  • the service provider 20 provides a crowd sourcing service to the client 10 and the public 30 through a crowd sourcing platform (hereinafter, the platform). That is, when the service provider 20 receives a request for a project from the client 10, the service provider 20 opens the project on the platform. Thereafter, when the work result for the open project is provided by the public 30, the project is terminated on the platform, and the final product may be extracted and provided to the client 10.
  • a crowd sourcing platform hereinafter, the platform.
  • the public 30 refers to the general public participating in the project open on the platform.
  • the public 30 may participate in a project opened on the platform through an application or website provided by the service provider 20.
  • the public 30 is composed of a worker 32 and an inspector 34.
  • the worker 32 decides to participate in a specific project among a plurality of projects open on the platform. Thereafter, the operator 32 performs an operation such as collection of source data or data annotation, and transmits it to the platform.
  • the inspector 34 decides to participate in a specific project among a plurality of projects open on the platform. Thereafter, the inspector 34 inspects the result of the work performed by the operator 32. As a result of performing the inspection, the inspector 34 may pass or reject the job, and may input a reason for rejection when returning the job.
  • FIG. 2 is a flowchart illustrating a crowdsourcing-based project progress process according to an embodiment of the present invention.
  • the client 10 requests a project to the service provider 20 (S41).
  • the service provider 20 opens the requested project on the platform (S42). At this time, the service provider 20 determines the grade in consideration of the difficulty level of the project before opening the project. In other words, depending on the level of difficulty, it is decided to expose the project to the public 30 or higher. Accordingly, it is possible to increase the reliability of the work result of the project.
  • the service provider 20 allocates a task to the workers 32 of the corresponding grade or higher according to the grade of the project (S43).
  • the worker 32 performs the assigned task (S44).
  • the worker 32 may input the reason for the inability to work without performing the work for a work in which the work itself is impossible for some reason.
  • the service provider 20 receives the work result from the worker 32 (S45), and assigns the inspection work for the work result to the inspector 34 (S46).
  • the inspector 34 performs the assigned inspection (S47). At this time, the inspector 34 decides to pass the inspection when it is determined that the work has been properly performed, and determines rejection when it is determined that the inspection work is wrong. When deciding to reject, the inspector 34 inputs the rejection reason for what reason the task was judged to be wrong.
  • the service provider 20 receives the inspection result from the inspector 34 (S48).
  • the service provider 20 uses the work result as valid data, and based on this, extracts the final product at the end of the project.
  • the service provider 20 may internally perform the inspection again or assign the work to the worker 32 again to perform the work.
  • the service provider 20 terminates the project (S49), calculates the final result based on the secured valid data, and provides it to the client 10 ( S50).
  • the service provider 20 evaluates the performance results of the worker 32 and the inspector 34, calculates the work cost and the inspection cost according to the evaluation, to the worker 32 and the inspector 34. give.
  • Figs. 1 and 2 it is simply expressed as a requester, service provider, worker, and inspector, but these refer to computer devices or telecommunication devices such as smartphones, tablets, PDAs, laptops, desktops, servers, etc. operated by each participant. .
  • FIG. 3 is a flowchart of a method for obtaining a reliable work result through cross check according to an embodiment of the present invention
  • FIG. 4 is an exemplary diagram for explaining a task requiring objective evaluation according to an embodiment of the present invention
  • 5 and 6 are exemplary diagrams for explaining a task requiring subjective evaluation according to an embodiment of the present invention.
  • Steps S110 to S180 shown in FIG. 3 may be understood as being performed by a platform server (hereinafter, referred to as a server) operated by the service provider 20, but are not limited thereto.
  • a platform server hereinafter, referred to as a server operated by the service provider 20, but are not limited thereto.
  • step S110 the server allocates the same task to a plurality of workers 32.
  • the work means an alternative type of work that selects one of two options.
  • the plurality of workers 32 assigned the same task will perform the task by selecting one of the two options according to their own judgment.
  • the server selects n workers 32 who will perform the same task and assigns the same task.
  • n means a natural number of 3 or more.
  • n may be an odd number of 3 or more.
  • the server may assign the same task to three or more odd numbers (ie, 3, 5, 7, etc.) of the workers 32. As will be described later, this is to distinguish the majority opinion.
  • the server may determine n according to the reliability required by the client 10. As n is larger, that is, the more workers 32 allocate the same task, the more work results can be obtained for the same task, so that the reliability of the work result can be increased.
  • the alternative task assigned to the worker 32 may be a task that requires an objective evaluation or a task that requires a subjective evaluation. Particularly, in the case of a task that requires subjective evaluation, a large number of workers participate in the same task, so that highly reliable data formed by multiple opinions can be secured.
  • a fingerprint is given to an operator 32, and a question based on the fingerprint is given.
  • the worker 32 objectively judges whether the given question is a correct question or an incorrect question with reference to the fingerprint, and then answers.
  • the worker 32 may select “O” by referring to the contents of the fingerprint for the question "Is Eric Thames nationality of the United States?"
  • the worker 32 subjectively determines whether the two sentences have the same meaning or different meanings, and then answers.
  • the worker 32 may select “same meaning (O)", or “looks gentle and kind” and “looks good and good” If it is determined that the meaning of "looks pretty” is different, the operator 32 may select "different meaning (X)”.
  • a portrait photo specifically, a face photo
  • the worker 32 subjectively determines the gender of the person by viewing the given photo and then responds.
  • the data secured through the exemplary tasks of FIGS. 4 to 6 may be used as learning data for artificial intelligence or machine learning.
  • step S120 the server receives n job results from n workers 32.
  • the server receives three job results from three workers 32.
  • the server will receive a result in one of "OOO”, "XXX”, “OOX”, and "OXX".
  • step S130 the server checks whether all n work results match. In other words, by cross-checking n work results, it is checked whether they all match.
  • the server will respond to the job results of "OOO” and "XXX", where all three workers (32) agree. It is determined that the opinions of the three workers 32 are inconsistent with respect to the work results of "OOX” and "OXX".
  • step S180 If all n job results match, the server uses n job results as valid data. Details about this will be described later in step S180.
  • step S140 when the n number of job results are inconsistent, the server reassigns the same job to m new additional workers 32.
  • m means the number of work results corresponding to minority opinions among n work results.
  • the server judges O as a majority opinion and X as a minority opinion. Accordingly, the server selects the number of job results corresponding to X, that is, one additional worker 32, and reassigns the same job.
  • n 5
  • the server judges X as a minority opinion, and the number of work results corresponding to X, that is, one One or two new additional workers 32 are selected and the same task is reassigned.
  • step S150 the server receives m rework results from m new additional workers 32.
  • the server receives one rework result from a new additional worker 32 .
  • the server receives the rework result of O or X from one additional worker 32.
  • step S160 the server checks whether the work results corresponding to the majority opinion among the m rework results and the n work results match. In other words, among the m rework results and n work results, the work results corresponding to the majority opinion are cross-checked to see if they match.
  • the server checks whether two work results corresponding to the majority opinion and one rework result coincide with each other.
  • the two task results corresponding to the majority opinion may be "OO" or "XX”. At this time, it is determined whether or not the result of one rework is O or X.
  • the server determines that the rework results and work results corresponding to the majority opinion match.
  • the server uses the rework result and the work result corresponding to the majority opinion as valid data. Details about this will be described later in step S180.
  • the server determines that the rework result and the work result corresponding to the majority opinion are inconsistent.
  • step S170 when the rework result and the work result corresponding to the majority opinion are inconsistent, the server allocates the same work to the inspector 34.
  • the server allocates an alternative task of selecting "O” or "X” to the inspector 34. That is, the inspector 34 is assigned the same task assigned to a plurality of workers and determines whether "O" is correct or "X" is correct.
  • the server secures the final data based on the inspection result input from the inspector 34. Details about this will be described later in step S180.
  • step S170 when the rework result and the work result corresponding to the majority opinion are inconsistent, the server may invalidate the work result and the rework result.
  • n 3 and m is 1
  • the server may invalidate one rework result and all three work results. . As a result, all work results are invalidated.
  • the server may perform the same process from the beginning by assigning the same work to another n number of workers 32.
  • the server may assign a task to the inspector 34 to perform the task directly.
  • the inspector 34 since the inspector 34 is selected as a person with long experience and high reliability compared to the worker 32, the work result of the inspector 34 can be used as valid data as it is.
  • step S180 the server uses the work result passing through the cross check or the work result based on the inspection result as valid data.
  • step S130 if all of the n job results match, the server uses the n job results as valid data.
  • the server does not inspect the results of the three jobs and immediately uses them as valid data.
  • the valid data means data used to generate the final product at the end of the project. That is, if the results of the three jobs are "OOO", the job results for that job are used as "O".
  • step S160 when the rework result and the work result corresponding to the majority opinion match, the server uses the rework result and the work result corresponding to the majority opinion as valid data.
  • the server uses only one rework result and two work results corresponding to the majority opinion as valid data.
  • the work result for the work is used as "O"
  • one work result (X) corresponding to a minority opinion among the three work results is discarded.
  • the server inspects the rework result and the work result corresponding to the majority opinion, that is, (rather, because the majority opinion may be wrong), checks whether the work result for the work is "O" by the inspector. Instead, use it as valid data immediately.
  • step S170 according to the inspection result for the same job, the server determines which job result is to be used as valid data among all the job results (n job results and m rework results).
  • the server when the inspection result is inputted from the inspector 34 as "O" for an alternative type of work, the server only results in the work corresponding to "O" among m rework results and n work results. Use as valid data.
  • FIG. 7 is a block diagram of an apparatus for obtaining work results using a cross check according to an embodiment of the present invention.
  • an apparatus 200 for obtaining reliable work results through a cross check includes a communication unit 210, a storage unit 220, a determination unit 230, and a selection unit ( 240).
  • the communication unit 210 transmits the same job to n workers and receives n job results from n workers. In addition, when rework is required, the communication unit 210 transmits the same work to m new additional workers and receives m rework results from m new additional workers.
  • n is a natural number that is an odd number of 3 or more
  • m is the number of work results corresponding to a minority opinion among n work results.
  • the storage unit 220 serves to store n jobs input from n workers and m rework results input from m new additional workers.
  • the determination unit 230 determines whether all n jobs input from n workers match, and determines whether a job result corresponding to a majority opinion among the n jobs matches m rework results.
  • the selection unit 240 serves to select n job results as valid data.
  • the selection unit 240 plays a role of extracting the rework result and the work result corresponding to the majority opinion as valid data when the work results corresponding to the majority opinion among the n tasks match the m rework results. do.
  • the selection unit 240 selects n workers determined according to reliability, and selects m new additional workers according to whether all n jobs match.
  • the operation result acquisition apparatus 200 described with reference to FIG. 7 may be provided as a component of the above-described server.
  • the method for obtaining a reliable work result through a cross check according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.
  • the above-described program includes C, C++, JAVA, Ruby, which can be read by a processor (CPU) of the computer through the device interface of the computer, in order for the computer to read the program and execute the methods implemented as a program.
  • It may include a code (Code) coded in a computer language such as machine language.
  • code may include a functional code related to a function defining necessary functions for executing the methods, and a control code related to an execution procedure necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do.
  • code may further include code related to a memory reference to which location (address address) of the internal or external memory of the computer or the media or additional information necessary for the processor of the computer to execute the functions. have.
  • the code uses the communication module of the computer to determine how It may further include a communication-related code for whether to communicate or what information or media to transmit and receive during communication.
  • the storage medium is not a medium that stores data for a short moment, such as a register, cache, memory, etc., but a medium that stores data semi-permanently and can be read by a device.
  • examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. That is, the program may be stored in various recording media on various servers to which the computer can access, or on various recording media on the user's computer.
  • the medium may be distributed over a computer system connected through a network, and computer-readable codes may be stored in a distributed manner.

Abstract

크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치가 제공된다. 상기 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법은 동일한 작업을 n명의 작업자에게 배정하는 단계, n명의 작업자로부터 n개의 작업 결과를 입력받는 단계, 상기 n개의 작업 결과가 전부 일치하는지를 확인하는 단계, 상기 n개의 작업 결과가 불일치하는 경우, 상기 동일한 작업을 m명의 새로운 추가 작업자에게 재배정하는 단계, 상기 m명의 새로운 추가 작업자로부터 m개의 재작업 결과를 입력받는 단계, 상기 m개의 재작업 결과와 상기 n개의 작업 결과 중 다수 의견에 해당하는 작업 결과가 일치하는지를 확인하는 단계 및 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 일치하는 경우, 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과만을 유효 데이터로 사용하는 단계를 포함한다.

Description

크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치
본 발명은 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치에 관한 것이다.
최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드 소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업이 늘고 있다. 즉, 기업은 하나의 프로젝트를 오픈하여 일반 대중, 즉 작업자가 해당 프로젝트에 참여하게 함으로써, 작업자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집하게 된다.
이때, 기업은 보다 신뢰도가 높은 정보를 수집하기 위해, 작업자에 의해 완료된 작업 결과를 검수자에게 배정하여 검수 작업을 수행하도록 한다.
구체적으로, 하나의 프로젝트가 오픈되면, 복수의 작업자 각각에게 복수의 작업이 배정된다. 각각의 작업자는 배정받은 복수의 작업을 수행하고, 작업 결과를 제공한다. 이후, 복수의 검수자 각각에게 작업 결과에 대한 복수의 검수 작업이 배정되고, 각각의 검수자는 배정받은 복수의 검수 작업을 수행하게 된다.
현재, 검수자의 검수 방법에 있어서, 하나의 프로젝트에 대한 복수의 작업 결과에 대해서 기본적으로 전수 검사를 수행하는 것을 원칙으로 하고 있다.
하지만, 하나의 프로젝트에 참여하는 검수자의 수는 작업자의 수에 비해 현저히 적기 때문에, 한명의 검수자에게 수많은 검수 작업이 배정되고 있어 검수자의 업무가 과중된다는 문제점이 있다.
또한, 전체 작업 결과에 대해 전수 검수를 기본으로 하기 때문에, 검수가 필요 없는 작업임에도 불구하고 검수자에 의해 검수가 수행되고 있어, 검수자가 효율적으로 검수 작업을 수행하는 데에 어려움이 있다는 문제점이 있다.
본 발명이 해결하고자 하는 과제는 복수의 작업 결과의 일치 여부를 통해 해당 작업 결과를 유효 데이터로 사용할지를 판단하는 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법은 동일한 작업을 n명의 작업자에게 배정하는 단계(n은 3 이상의 자연수), n명의 작업자로부터 n개의 작업 결과를 입력받는 단계, 상기 n개의 작업 결과가 전부 일치하는지를 확인하는 단계, 상기 n개의 작업 결과가 불일치하는 경우, 상기 동일한 작업을 m명의 새로운 추가 작업자에게 재배정하는 단계(m은 n개의 작업 결과 중 소수 의견에 해당하는 작업 결과의 수), 상기 m명의 새로운 추가 작업자로부터 m개의 재작업 결과를 입력받는 단계, 상기 m개의 재작업 결과와 상기 n개의 작업 결과 중 다수 의견에 해당하는 작업 결과가 일치하는지를 확인하는 단계 및 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 일치하는 경우, 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과만을 유효 데이터로 사용하는 단계를 포함하고, 상기 작업은 작업자에게 두 개의 선택지 중에서 하나를 선택하도록 하는 양자택일형 작업인 것을 특징으로 한다.
본 발명의 일부 실시예에서, 상기 n개의 작업 결과가 일치하는 경우, 상기 n개의 작업 결과에 대한 검수를 진행하지 않고 유효 데이터로 사용하는 단계를 더 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 불일치하는 경우, 상기 동일한 작업을 검수자에게 배정하는 단계, 상기 검수자로부터 검수 결과를 입력받는 단계 및 상기 검수 결과에 따라, 상기 n개의 작업 결과 및 상기 m개의 재작업 결과 중 어떤 작업 결과를 유효 데이터로 사용할지 판단하는 단계를 더 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 불일치하는 경우, 상기 n개의 작업 결과와 상기 m개의 재작업 결과를 무효화하는 단계를 더 포함할 수 있다.
본 발명의 일부 실시예에서, 상기 n은 홀수인 것일 수 있다.
본 발명의 일부 실시예에서, 상기 n은 신뢰도에 따라 결정되는 것일 수 있다.
본 발명의 일부 실시예에서, 상기 작업은 작업자의 주관적 평가가 요구되는 질문에 대한 답변인 것일 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법을 실행하며, 매체에 저장된다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 크로스체크를 통한 신뢰도 높은 작업 결과 획득 장치는 동일한 작업을 n명의 작업자 및 m명의 새로운 추가 작업자에게 송신하고, 상기 n명의 작업자로부터 n개의 작업 결과를 수신하고, 상기 m명의 새로운 추가 작업자로부터 m개의 재작업 결과를 수신하는 통신부(n은 은 3 이상의 자연수, m은 n개의 작업 결과 중 소수 의견에 해당하는 작업 결과의 수), 상기 n명의 작업자로부터 입력된 상기 n개의 작업 및 상기 m명의 새로운 추가 작업자로부터 입력된 상기 m개의 재작업 결과를 저장하는 저장부, 상기 n명의 작업자로부터 입력된 상기 n개의 작업이 전부 일치하는지 판단하고, 상기 n개의 작업 중 다수 의견에 해당하는 작업 결과가 상기 m개의 재작업 결과와 일치하는지 판단하는 판단부, 및 상기 n개의 작업이 전부 일치하는 경우, 상기 n개의 작업 결과를 유효 데이터로 선별하고, 상기 n개의 작업 중 다수 의견에 해당하는 작업 결과가 상기 m개의 재작업 결과와 일치하는 경우, 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과를 유효 데이터로 선별하고, 신뢰도에 따라 결정된 상기 n명의 작업자를 선별하고, 상기 n개의 작업이 전부 일치하는지의 여부에 따라, 상기 m명의 새로운 추가 작업자를 선별하는 선별부를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명의 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치에 따르면, 동일한 작업에 대해 복수의 작업자로부터 작업 결과를 입력받아, 복수의 작업 결과의 일치 여부를 통해 해당 작업 결과를 유효 데이터로 사용하므로 의뢰자에게 신뢰도 높은 프로젝트 결과를 제공할 수 있다.
또한, 복수의 작업 결과가 일치하면, 해당 작업 결과는 검수 작업을 거치지 않고 바로 유효 데이터로 사용되기 때문에, 검수자에게 배정되는 검수 작업의 수가 전반적으로 감소되어 검수자의 업무 및 관련 비용이 줄어들고, 또한 작업 결과에 대한 신뢰도가 낮은 경우에 한하여 검수자가 효율적으로 검수 작업을 수행할 수 있게 된다.
또한, 복수의 작업 결과가 일치하면, 해당 작업 결과는 검수 작업을 거치지 않고 바로 유효 데이터로 사용되기 때문에, 검수자에게 배정되는 검수 작업의 수가 전반적으로 감소되어 검수자의 검수 작업 과다 및 적체로 인한 전체 프로젝트의 병목현상을 방지할 수 있게 된다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 크라우드 소싱 서비스의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 객관적인 평가가 요구되는 작업을 설명하기 위한 예시도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 주관적인 평가가 요구되는 작업을 설명하기 위한하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 크로스체크를 통한 신뢰도 높은 작업 결과 획득 장치의 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 크라우드 소싱 서비스의 개념도이다.
도 1을 참조하면, 크라우드 소싱 서비스는 의뢰자(10), 서비스 제공 업체(20) 및 대중(30)으로 구성되어 수행된다.
의뢰자(10)는 크라우드 소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하는 기업이나 개인을 의미한다.
의뢰자(10)는 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 의뢰한다. 소스 데이터의 수집은 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다.
서비스 제공 업체(20)는 크라우드 소싱 서비스를 제공하는 기업을 의미한다.
서비스 제공 업체(20)는 의뢰자(10)로부터 제품 또는 서비스에 대한 프로젝트를 의뢰 받으면, 해당 프로젝트에 대한 작업을 일반 대중(30)에게 배정하여 대중(30)으로부터 작업 결과를 제공받는다. 이후, 작업 결과를 기반으로 추출된 최종 산출물을 의뢰자(10)에게 제공한다.
이때, 서비스 제공 업체(20)는 크라우드 소싱 플랫폼(이하, 플랫폼)을 통해 의뢰자(10) 및 대중(30)에게 크라우드 소싱 서비스를 제공한다. 즉, 서비스 제공 업체(20)는 의뢰자(10)로부터 프로젝트를 의뢰 받으면, 플랫폼에 프로젝트를 오픈한다. 이후, 대중(30)으로부터 오픈된 프로젝트에 대한 작업 결과를 제공받으면, 해당 프로젝트를 플랫폼 상에서 종료하고, 최종 산출물을 추출하여 의뢰자(10)에게 제공할 수 있다.
대중(30)은 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중을 의미한다. 여기서, 대중(30)은 서비스 제공 업체(20)가 제공하는 애플리케이션 또는 웹사이트 등을 통해 플랫폼에 오픈된 프로젝트에 참여할 수 있다.
대중(30)은 작업자(32) 및 검수자(34)로 구성된다.
작업자(32)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 작업자(32)는 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업을 수행하고, 이를 플랫폼에 전송한다.
검수자(34)는 플랫폼에 오픈된 복수의 프로젝트 중 특정 프로젝트에 참여를 결정한다. 이후, 검수자(34)는 작업자(32)가 수행한 작업 결과에 대한 검수를 수행한다. 검수자(34)는 검수 수행 결과로서, 작업 통과 또는 반려를 할 수 있고, 작업 반려 시 반려 사유를 입력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 프로젝트의 진행 프로세스를 설명하기 위한 흐름도이다.
먼저, 의뢰자(10)가 서비스 제공 업체(20)로 프로젝트를 의뢰한다(S41).
이후, 서비스 제공 업체(20)는 의뢰된 프로젝트를 플랫폼 상에 오픈한다(S42). 이때, 서비스 제공 업체(20)는 프로젝트 오픈 전에, 해당 프로젝트의 난이도 등을 고려하여 등급을 결정한다. 즉, 난이도에 따라 어떤 등급 이상의 대중(30)에게 해당 프로젝트를 노출시킬지를 결정한다. 이에 따라, 프로젝트의 작업 결과의 신뢰도를 높일 수 있게 된다.
이후, 서비스 제공 업체(20)는 프로젝트의 등급에 따라 해당 등급 이상의 작업자(32)에게 작업을 배정한다(S43).
이후, 작업자(32)는 배정된 작업을 수행하게 된다(S44). 이때, 작업자(32)는 어떤 이유에 의해 작업 자체가 불가능한 작업에 대해서는 작업을 수행하지 않고 작업 불가 사유를 입력할 수 있다.
이후, 서비스 제공 업체(20)는 작업자(32)로부터 작업 결과를 제공받고(S45), 해당 작업 결과에 대한 검수 작업을 검수자(34)에게 배정한다(S46).
이후, 검수자(34)는 배정된 검수를 수행하게 된다(S47). 이때, 검수자(34)는 작업이 제대로 수행된 것으로 판단하면 검수 통과를 결정하고, 검수 작업이 잘못된 것으로 판단하면 반려를 결정한다. 반려 결정 시, 검수자(34)는 어떤 이유로 작업이 잘못된 것으로 판단했는지에 대한 반려 사유를 입력한다.
이후, 서비스 제공 업체(20)는 검수자(34)로부터 검수 결과를 제공받는다(S48).
검수 결과가 통과인 경우, 서비스 제공 업체(20)는 해당 작업 결과를 유효한 데이터로 사용하여, 이를 기반으로 하여 프로젝트 종료 시 최종 산출물을 추출하게 된다.
검수 결과가 반려인 경우, 서비스 제공 업체(20)는 내부적으로 검수를 다시 수행하거나, 작업자(32)에게 다시 작업을 배정하여 작업을 수행하게 할 수도 있다.
이후, 서비스 제공 업체(20)는 프로젝트 기간이 종료되거나 충분한 유효 데이터를 확보하게 되면 해당 프로젝트를 종료하고(S49), 확보된 유효 데이터를 기반으로 최종 결과물을 산출하여 의뢰자(10)에게 제공한다(S50).
이때, 프로젝트 종료 전, 서비스 제공 업체(20)는 작업자(32) 및 검수자(34)의 수행 결과를 평가하고, 평가에 따라 작업 비용 및 검수 비용을 산출하여 작업자(32) 및 검수자(34)에게 지급한다.
도 1 및 도 2에서는 단순히 의뢰자, 서비스 제공 업체, 작업자, 검수자로 표현하였으나, 이들은 각 참여자에 의해서 운용되는 스마트폰, 태블릿, PDA, 랩톱, 데스크톱, 서버 등과 같은 컴퓨터 장치 또는 전기 통신 장치를 의미한다.
도 3은 본 발명의 일 실시예에 따른 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법의 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 객관적인 평가가 요구되는 작업을 설명하기 위한 예시도이고, 도 5 및 도 6은 본 발명의 일 실시예에 따른 주관적인 평가가 요구되는 작업을 설명하기 위한하기 위한 예시도이다.
도 3에 도시된 단계 S110 내지 S180은 서비스 제공 업체(20)에 의해 운영되는 플랫폼 서버(이하, 서버)에 의해 수행되는 것으로 이해될 수 있지만, 이에 제한되는 것은 아니다.
도 3을 참조하면, 단계 S110에서, 서버는 동일한 작업을 복수의 작업자(32)에게 배정한다. 여기서, 작업은 두 개의 선택지 중에서 하나를 선택하는 양자택일형 작업을 의미한다.
즉, 동일한 작업이 배정된 복수의 작업자(32)는 각자의 판단에 따라 두 개의 선택지 중에서 하나를 선택하여 작업을 수행하게 된다.
서버는 동일한 작업을 수행할 n명의 작업자(32)를 선별하여 동일한 작업을 배정한다. 여기서, n은 3이상의 자연수를 의미한다.
일 실시예로, n은 3 이상의 홀수일 수 있다. 서버는 동일한 작업을 3 이상의 홀수(즉, 3, 5, 7 등)의 작업자(32)에게 배정할 수 있다. 후술하는 바와 같이, 다수 의견을 구분하기 위함이다.
이때, 서버는 의뢰자(10)가 요구하는 신뢰도에 맞춰 n을 결정할 수 있다. n이 클수록, 즉 동일한 작업을 더욱 많은 작업자(32)에게 배정할수록 동일한 작업에 대해 더 많은 작업 결과를 획득할 수 있기 때문에 작업 결과에 대한 신뢰도를 높일 수 있다.
작업자(32)에게 배정되는 양자택일형 작업은 객관적인 평가가 요구되는 작업일 수도 있고, 주관적인 평가가 요구되는 작업일 수도 있다. 특히, 주관적인 평가가 요구되는 작업일 경우, 다수의 작업자가 동일한 작업에 참여함으로써, 다수 의견에 의해서 형성된 신뢰도 높은 데이터를 확보하게 할 수 있다.
도 4를 참조하면, 작업자(32)에게 지문이 주어지고, 지문을 기반으로 한 질문이 주어진다. 작업자(32)는 주어진 질문이 옳은 질문인지 잘못된 질문인지를 지문을 참고하여 객관적으로 판단한 후 답변하게 된다.
예를 들어, 작업자(32)는 "에릭 테임즈의 국적은 미국인가요?"라는 질문에 대해 지문의 내용을 참고하여 "O"을 선택할 수 있다.
도 5를 참조하면, 작업자(32)에게 두 개의 비슷한 의미의 문장이 주어지면, 작업자(32)는 두 개의 문장이 같은 의미인지 다른 의미인지를 주관적으로 판단한 후 답변하게 된다.
예를 들어, "순하고 착해보인다"와 "착하고 이뻐보인다"의 의미가 같은 것으로 판단이 되면, 작업자(32)는 "같은 의미(O)"를 선택할 수 있고, 또는 "순하고 착해보인다"와 "착하고 이뻐보인다"의 의미가 다른 것으로 판단이 되면, 작업자(32)는 "다른 의미(X)"를 선택할 수 있다.
도 6을 참고하면, 작업자(32)에게 인물 사진(구체적으로, 얼굴 사진)이 주어지면, 작업자(32)는 주어진 사진을 보고 그 인물의 성별을 주관적으로 판단한 후 답변하게 된다.
예를 들어, 모자를 쓰고 있어 성별 구분이 애매한 사진이 주어지고, "성별을 선택해주세요"라는 질문이 주어진다. 이에 대해, 작업자(32)는 판단에 따라 "남자" 또는 "여자"를 선택할 수 있다.
이 같은 도 4 내지 도 6의 예시적인 작업을 통해서 확보된 데이터는 인공 지능 또는 기계 학습을 위한 학습용 데이터로 활용될 수 있다.
이어서, 다시 도 3을 참조하면, 단계 S120에서, 서버는 n명의 작업자(32)로부터 n개의 작업 결과를 입력받는다.
n이 3인 경우, 서버는 세 명의 작업자(32)로부터 세 개의 작업 결과를 입력받게 된다.
예를 들어, 작업이 O 또는 X를 선택하는 양자택일형 작업인 경우, 서버는 "OOO", "XXX", "OOX", "OXX" 중 하나의 형태로 결과를 제공받게 된다.
이어서, 단계 S130에서, 서버는 n개의 작업 결과가 전부 일치하는지를 확인한다. 즉, n개의 작업 결과끼리 크로스체크하여, 모두 일치하는지를 확인하는 것이다.
예를 들어, 작업이 O 또는 X를 선택하는 양자택일형 작업이고, n이 3인 경우, 서버는 "OOO" 및 "XXX"의 작업 결과에 대해서는 세 명의 작업자(32)의 의견이 전부 일치하는 것으로 판단하고, "OOX" 및 "OXX"의 작업 결과에 대해서는 세 명의 작업자(32)의 의견이 불일치하는 것으로 판단한다.
n개의 작업 결과가 전부 일치하는 경우, 서버는 n개의 작업 결과를 유효 데이터로 사용한다. 이에 대한 상세한 내용을 단계 S180에서 후술하도록 한다.
이어서, 단계 S140에서, n개의 작업 결과가 불일치하는 경우, 서버는 동일한 작업을 m명의 새로운 추가 작업자(32)에게 재배정한다. 여기서, m은 n개의 작업 결과 중 소수 의견에 해당하는 작업 결과의 수를 의미한다.
즉, n개의 작업 결과가 "OOX"인 경우, 서버는 O을 다수 의견으로 판단하고, X를 소수 의견으로 판단한다. 따라서, 서버는 X에 해당하는 작업 결과의 수, 즉 한 명의 새로운 추가 작업자(32)를 선별하여 동일한 작업을 재배정하게 된다.
또한, n이 5인 경우, 서버가 5명의 작업자로부터 "OOOOX" 또는 "OOOXX" 의 작업 결과를 제공받았다면, 서버는 X를 소수 의견으로 판단하여, X에 해당하는 작업 결과의 수, 즉 한 명 또는 두 명의 새로운 추가 작업자(32)를 선별하여 동일한 작업을 재배정하게 된다.
예를 들어, n명의 작업자(32)에게 도 5에 도시된 바와 같이, 비슷한 두 문장의 동일성 여부를 판단하는 작업이 배정되었다면, m명의 새로운 추가 작업자(32)에게도 동일하게 비슷한 두 문장의 동일성 여부를 판단하는 작업이 배정되게 된다.
이어서, 단계 S150에서, 서버는 m명의 새로운 추가 작업자(32)로부터 m개의 재작업 결과를 입력받는다.
예를 들어, m이 1인 경우(즉, n개의 작업 결과 중 소수 의견에 해당하는 작업 결과의 수가 하나인 경우), 서버는 한 명의 새로운 추가 작업자(32)로부터 한 개의 재작업 결과를 입력받는다.
이때, 작업이 O 또는 X를 선택하는 양자택일형 작업인 경우, 서버는 한 명의 새로운 추가 작업자(32)로부터, O 또는 X의 재작업 결과를 제공받게 된다.
이어서, 단계 S160에서, 서버는 m개의 재작업 결과와 n개의 작업 결과 중 다수 의견에 해당하는 작업 결과가 일치하는지를 확인한다. 즉, m개의 재작업 결과와 n개의 작업 결과 중 다수 의견에 해당하는 작업 결과끼리 크로스체크하여, 일치하는지를 확인하는 것이다.
즉, n이 3이고, m이 1인 경우, 서버는 다수 의견에 해당하는 두 개의 작업 결과와 한 개의 재작업 결과가 서로 일치하는지를 확인한다.
예를 들어, 작업이 O 또는 X를 선택하는 양자택일형 작업인 경우, 다수 의견에 해당하는 두 개의 작업 결과는 "OO"일 수도 있고 "XX"일 수도 있다. 이때, 한 개의 재작업 결과가 O 인지 X인지에 따라 일치 여부를 판단하게 된다.
구체적으로, 두 개의 작업 결과가 "OO"이고, 한 개의 재작업 결과가 O이면, 서버는 재작업 결과와 다수 의견에 해당하는 작업 결과가 일치하는 것으로 판단한다.
재작업 결과와 다수 의견에 해당하는 작업 결과가 일치하는 경우, 서버는 재작업 결과와 다수 의견에 해당하는 작업 결과를 유효 데이터로 사용한다. 이에 대한 상세한 내용을 단계 S180에서 후술하도록 한다.
반면에, 두 개의 작업 결과가 "OO"이고, 한 개의 재작업 결과가 X이면, 서버는 재작업 결과와 다수 의견에 해당하는 작업 결과가 불일치하는 것으로 판단한다.
이어서, 단계 S170에서, 재작업 결과와 다수 의견에 해당하는 작업 결과가 불일치하는 경우, 서버는 동일한 작업을 검수자(34)에게 배정한다.
예를 들어, 서버는 "O" 또는 "X"를 선택하는 양작택일형 작업을 검수자(34)에게 배정한다. 즉, 검수자(34)는 복수의 작업자들에게 배정된 동일한 작업을 배정받아 "O"이 맞는지 "X"가 맞는지를 판단한다.
이후, 서버는 검수자(34)로부터 입력된 검수 결과를 기반으로 최종 데이터를 확보하게 된다. 이에 대한 상세한 내용을 단계 S180에서 후술하도록 한다.
또한, 일 실시예로, 단계 S170에서, 재작업 결과와 다수 의견에 해당하는 작업 결과가 불일치하는 경우, 서버는 작업 결과와 재작업 결과를 무효화할 수 있다.
즉, n이 3이고, m이 1인 경우, 한 개의 재작업 결과와 다수 의견에 해당하는 두 개의 작업 결과가 불일치하면, 서버는 한 개의 재작업 결과와 세 개의 작업 결과를 모두 무효화할 수 있다. 결과적으로는, 모든 작업 결과가 무효화되는 것이다.
작업 결과를 모두 무효화한 후, 서버는 동일한 작업을 또 다른 n명의 작업자(32)들에게 배정하여 동일한 과정을 처음부터 수행할 수 있다. 또는, 서버는 검수자(34)에게 작업을 배정하여 직접 작업을 수행하도록 할 수도 있다. 통상 검수자(34)는 작업자(32)에 비하여 오랜 경험과 높은 신뢰도를 가진 사람으로 선별되므로, 검수자(34)의 작업 결과는 그대로 유효 데이터로 사용할 수 있다.
이어서, 단계 S180에서, 서버는 크로스체크를 통과한 작업 결과 또는 검수 결과에 의한 작업 결과를 유효 데이터로 사용한다.
정리하면, 서버가 작업 결과를 유효 데이터로 사용하는 경우는 세 가지 경우가 있다.
첫번째, 단계 S130에서, n개의 작업 결과가 전부 일치하는 경우, 서버는 n개의 작업 결과를 유효 데이터로 사용한다.
예를 들어, 작업이 O 또는 X를 선택하는 양자택일형 작업이고, n이 3인 경우, 세 명의 작업자(32)로부터 입력받은 세 개의 작업 결과가 "OOO" 또는 "XXX"로 모두 일치하는 것으로 확인되면, 서버는 세 개의 작업 결과에 대한 검수를 진행하지 않고 바로 유효 데이터로 사용한다. 여기서, 유효 데이터는 프로젝트 종료 시 최종 산출물을 생성하는 데 사용되는 데이터를 의미한다. 즉, 세 개의 작업 결과가 "OOO"이면, 해당 작업에 대한 작업 결과는 "O"로 사용되는 것이다.
두번째, 단계 S160에서, 재작업 결과와 다수 의견에 해당하는 작업 결과가 일치하는 경우, 서버는 재작업 결과와 다수 의견에 해당하는 작업 결과를 유효 데이터로 사용한다.
예를 들어, 작업이 O 또는 X를 선택하는 양자택일형 작업이고, n이 3이고, m이 1인 경우, 한 개의 재작업 결과가 "O"이고, 다수 의견에 해당하는 두 개의 작업 결과가 "OO"인 것으로 일치하는 것으로 확인되면, 서버는 한 개의 재작업 결과와 다수 의견에 해당하는 두 개의 작업 결과만을 유효 데이터로 사용한다.
즉, 해당 작업에 대한 작업 결과는 "O"로 사용되고, 세 개의 작업 결과 중 소수 의견에 해당하는 한 개의 작업 결과(X)는 폐기 처리한다.
이때, 서버는 재작업 결과와 다수 의견에 해당하는 작업 결과에 대한 검수, 즉 (오히려, 다수 의견이 틀렸을 수 있으므로) 검수자에 의해서 해당 작업에 대한 작업 결과가 "O"이 맞는지에 대한 검수를 진행하지 않고 바로 유효 데이터로 사용한다.
세번째, 단계 S170에서, 동일한 작업에 대한 검수 결과에 따라, 서버는 전체 작업 결과(n개의 작업 결과 및 m개의 재작업 결과) 중 어떤 작업 결과를 유효 데이터로 사용할지를 판단한다.
일 실시예로, 양작택일형 작업에 대해 검수자(34)로부터 "O"이 맞는 것으로 검수 결과가 입력되면, 서버는 m개의 재작업 결과와 n개의 작업 결과 중 "O"에 해당하는 작업 결과만을 유효 데이터로 사용한다.
예를 들어, 세 개의 작업 결과 중 다수 의견이 X"이고, 소수 의견이 "O"이고, 하나의 재작업 결과가 "O"으로 입력된 경우, 서버는 검수 결과("O")에 따라 소수 의견에 해당하는 하나의 작업 결과("O")와 하나의 재작업 결과("O")만을 유효 데이터로 사용하는 것이다.
도 7은 본 발명의 일 실시예에 따른 크로스체크를 활용한 작업 결과 획득 장치의 블록도이다.
도 7을 참조하면, 크로스체크를 통한 신뢰도 높은 작업 결과 획득 장치(200)(이하, 작업 결과 획득 장치)는, 통신부(210), 저장부(220), 판단부(230), 및 선별부(240)를 포함한다.
통신부(210)는 동일한 작업을 n명의 작업자에게 송신하고, n명의 작업자로부터 n개의 작업 결과를 수신하는 역할을 수행한다. 또한, 재작업이 필요한 경우, 통신부(210)는 동일한 작업을 m명의 새로운 추가 작업자에게 송신하고, m명의 새로운 추가 작업자로부터 m개의 재작업 결과를 수신하는 역할을 수행한다.
여기서, n은 3 이상의 홀수인 자연수이고, m은 n개의 작업 결과 중 소수 의견에 해당하는 작업 결과의 수이다.
저장부(220)는 n명의 작업자로부터 입력된 n개의 작업 및 m명의 새로운 추가 작업자로부터 입력된 m개의 재작업 결과를 저장하는 역할을 수행한다.
판단부(230)는 n명의 작업자로부터 입력된 n개의 작업이 전부 일치하는지 판단하고, n개의 작업 중 다수 의견에 해당하는 작업 결과가 m개의 재작업 결과와 일치하는지 판단하는 역할을 수행한다.
선별부(240)는 n개의 작업이 전부 일치하는 경우, n개의 작업 결과를 유효 데이터로 선별하는 역할을 수행한다.
또한, 선별부(240)는 n개의 작업 중 다수 의견에 해당하는 작업 결과가 m개의 재작업 결과와 일치하는 경우, 재작업 결과와 다수 의견에 해당하는 작업 결과를 유효 데이터로 추출하는 역할을 수행한다.
또한, 선별부(240)는 신뢰도에 따라 결정된 n명의 작업자를 선별하고, n개의 작업이 전부 일치하는지의 여부에 따라, m명의 새로운 추가 작업자를 선별하는 역할을 수행한다.
도 7을 참조하여 설명한 작업 결과 획득 장치(200)는 상술한 서버의 구성요소로 제공될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (7)

  1. 컴퓨터에 의해 수행되는 방법으로서,
    동일한 작업을 n명의 작업자에게 배정하는 단계(n은 3 이상의 자연수);
    n명의 작업자로부터 n개의 작업 결과를 입력받는 단계;
    상기 n개의 작업 결과가 전부 일치하는지를 확인하는 단계;
    상기 n개의 작업 결과가 불일치하는 경우, 상기 동일한 작업을 m명의 새로운 추가 작업자에게 재배정하는 단계(m은 n개의 작업 결과 중 소수 의견에 해당하는 작업 결과의 수);
    상기 m명의 새로운 추가 작업자로부터 m개의 재작업 결과를 입력받는 단계;
    상기 m개의 재작업 결과가 상기 n개의 작업 결과 중 다수 의견에 해당하는 작업 결과와 전부 일치하는지를 확인하는 단계; 및
    상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 전부 일치하는 경우, 상기 다수 의견에 해당하는 작업 결과를 유효 데이터로 사용하는 단계를 포함하고,
    상기 작업은 주관적 평가가 요구되는 질문에 대한 답변을 선택하는 것으로서, 상기 n명의 작업자에게 각자의 판단에 따라 두 개의 선택지 중에서 하나를 선택하도록 하는 양자택일형 작업인 것이며,
    상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 불일치하는 경우,
    상기 동일한 작업을 검수자에게 배정하는 단계;
    상기 검수자로부터 검수 결과를 입력받는 단계; 및
    상기 검수 결과에 따라, 상기 다수 의견에 해당하는 작업 결과 또는 상기 소수 의견에 해당하는 작업 결과를 유효 데이터로 사용할지 판단하는 단계를 더 포함하는 것을 특징으로 하는, 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법.
  2. 제1항에 있어서,
    상기 n개의 작업 결과가 일치하는 경우,
    상기 n개의 작업 결과에 대한 검수를 진행하지 않고 유효 데이터로 사용하는 단계를 더 포함하는, 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법.
  3. 제1항에 있어서,
    상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 불일치하는 경우,
    상기 n개의 작업 결과와 상기 m개의 재작업 결과를 무효화하는 단계를 더 포함하는, 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법.
  4. 제1항에 있어서,
    상기 n은 홀수인 것인, 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법.
  5. 제1항에 있어서,
    상기 n은 신뢰도에 따라 결정되는 것인, 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법.
  6. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제5항 중 어느 한 항의 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법을 실행시키기 위하여 매체에 저장된, 컴퓨터 프로그램.
  7. 크로스체크를 통한 신뢰도 높은 작업 결과 획득 장치로서,
    동일한 작업을 n명의 작업자, m명의 새로운 추가 작업자, 및 검수자에게 송신하고, 상기 n명의 작업자로부터 n개의 작업 결과를 수신하고, 상기 m명의 새로운 추가 작업자로부터 m개의 재작업 결과를 수신하고, 상기 검수자로부터 검수 결과를 수신하는 통신부(n은 3 이상의 자연수, m은 n개의 작업 결과 중 소수 의견에 해당하는 작업 결과의 수);
    상기 n명의 작업자로부터 입력된 상기 n개의 작업 결과, 상기 m명의 새로운 추가 작업자로부터 입력된 상기 m개의 재작업 결과, 및 상기 검수 결과를 저장하는 저장부;
    상기 n명의 작업자로부터 입력된 상기 n개의 작업 결과가 전부 일치하는지 판단하고, 상기 m개의 재작업 결과가 상기 n개의 작업 결과 중 다수 의견에 해당하는 작업 결과와 전부 일치하는지 판단하는 판단부; 및
    상기 동일한 작업을 상기 n명의 작업자에게 배정하고, 상기 n개의 작업 결과가 전부 일치하는 경우, 상기 n개의 작업 결과를 유효 데이터로 선별하고, 상기 n개의 작업 결과가 불일치하는 경우, 상기 동일한 작업을 상기 m명의 새로운 추가 작업자에게 재배정하고, 상기 m개의 재작업 결과가 상기 n개의 작업 결과 중 다수 의견에 해당하는 작업 결과와 전부 일치하는 경우, 상기 다수 의견에 해당하는 작업 결과를 유효 데이터로 선별하고, 상기 재작업 결과와 상기 다수 의견에 해당하는 작업 결과가 불일치하는 경우, 상기 동일한 작업을 상기 검수자에게 배정하고, 상기 검수 결과에 따라, 상기 다수 의견에 해당하는 작업 결과 또는 상기 소수 의견에 해당하는 작업 결과를 유효 데이터로 선별하는 선별부를 포함하고,
    상기 작업은 주관적 평가가 요구되는 질문에 대한 답변을 선택하는 것으로서, 상기 n명의 작업자에게 각자의 판단에 따라 두 개의 선택지 중에서 하나를 선택하도록 하는 양자택일형 작업인 것을 특징으로 하는, 크로스체크를 통한 신뢰도 높은 작업 결과 획득 장치.
PCT/KR2020/010387 2019-08-23 2020-08-06 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치 WO2021040264A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190103885A KR102155789B1 (ko) 2019-08-23 2019-08-23 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치
KR10-2019-0103885 2019-08-23

Publications (1)

Publication Number Publication Date
WO2021040264A1 true WO2021040264A1 (ko) 2021-03-04

Family

ID=72471330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010387 WO2021040264A1 (ko) 2019-08-23 2020-08-06 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치

Country Status (3)

Country Link
JP (1) JP7096866B2 (ko)
KR (1) KR102155789B1 (ko)
WO (1) WO2021040264A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297850A (ja) * 2001-04-02 2002-10-11 Hitachi Ltd ワークフローシステムにおけるクロスチェック制御方法およびワークフローシステム
KR100765704B1 (ko) * 2006-07-24 2007-10-12 이명기 크로스 체킹을 이용한 회계장부 시스템 및 작성방법
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5638579B2 (ja) 2012-08-09 2014-12-10 株式会社東芝 評価値算出装置、評価値算出方法およびプログラム
KR20140095956A (ko) 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법
JP6727543B2 (ja) 2016-04-01 2020-07-22 富士ゼロックス株式会社 画像パターン認識装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297850A (ja) * 2001-04-02 2002-10-11 Hitachi Ltd ワークフローシステムにおけるクロスチェック制御方法およびワークフローシステム
KR100765704B1 (ko) * 2006-07-24 2007-10-12 이명기 크로스 체킹을 이용한 회계장부 시스템 및 작성방법
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANTONY ANTHONY KIM: "Google Image Labeler", TISTORY.COM, 30 July 2007 (2007-07-30), pages 1 - 6, XP055788281, Retrieved from the Internet <URL:https://antony.tistory.com/m/124?category=84535> [retrieved on 20210322] *
TOK TOK LIFE: "Google image search game function!?-Image labeler.", 14 December 2007 (2007-12-14), XP009526560, Retrieved from the Internet <URL:https://ssambai.tistory.com/120> *

Also Published As

Publication number Publication date
JP2021034053A (ja) 2021-03-01
KR102155789B1 (ko) 2020-09-14
JP7096866B2 (ja) 2022-07-06

Similar Documents

Publication Publication Date Title
WO2021040265A1 (ko) 평균 반려율을 이용한 작업자 능숙도 측정 방법 및 장치
WO2021020667A1 (ko) 원격 재활 훈련 제공 방법 및 프로그램
WO2021230660A1 (ko) 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법 및 장치
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2022019500A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 실습 교육 참여자에 대한 보상형 실습 교육 제공 방법, 그 장치 및 그 컴퓨터 프로그램
WO2021246772A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 단위 작업 분배 방법, 그 장치 및 그 컴퓨터 프로그램
WO2020130306A1 (ko) 검증용 주석 처리 작업을 이용한 실전용 주석 처리 작업의 검증 방법 및 장치
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2020138755A1 (ko) 전문가 방문 서비스 제공 방법 및 그 장치
WO2020233089A1 (zh) 测试用例生成方法、装置、终端及计算机可读存储介质
WO2020122291A1 (ko) 인공지능 기반의 공동주택 관리업무지시 자동화 장치 및 방법
WO2021133076A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업단가 관리 방법 및 장치
WO2021137523A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법
WO2021040264A1 (ko) 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치
WO2021132831A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자 및 검수자의 증감 운영 방법
WO2012018173A2 (ko) 무인대출 처리방법
WO2022005111A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법, 그 장치 및 그 컴퓨터 프로그램
WO2021049763A1 (ko) 봇 구별 테스트를 활용한 크라우드 소싱 기반의 데이터 수집 방법
WO2023113158A1 (ko) 범죄 행위자 프로파일링 방법, 이를 수행하는 장치 및 컴퓨터 프로그램
WO2020197075A1 (ko) 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치
WO2022231318A1 (ko) 차량 출입 관리 시스템 및 차량 출입 관리 방법
WO2023033270A1 (ko) 딥러닝 기반 분석 결과 예측 방법 및 장치
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2021091050A1 (ko) 크라우드 소싱 기반 프로젝트의 특성에 따른 검수자 선별 방법
WO2020235898A1 (ko) 크라우드 소싱 기반 프로젝트의 작업 단가 측정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20859523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28/06/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20859523

Country of ref document: EP

Kind code of ref document: A1