KR102138574B1 - 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치 - Google Patents

크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치 Download PDF

Info

Publication number
KR102138574B1
KR102138574B1 KR1020190027896A KR20190027896A KR102138574B1 KR 102138574 B1 KR102138574 B1 KR 102138574B1 KR 1020190027896 A KR1020190027896 A KR 1020190027896A KR 20190027896 A KR20190027896 A KR 20190027896A KR 102138574 B1 KR102138574 B1 KR 102138574B1
Authority
KR
South Korea
Prior art keywords
inspector
group
inspection
task
inspection task
Prior art date
Application number
KR1020190027896A
Other languages
English (en)
Inventor
박민우
Original Assignee
주식회사 크라우드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라우드웍스 filed Critical 주식회사 크라우드웍스
Priority to KR1020190027896A priority Critical patent/KR102138574B1/ko
Application granted granted Critical
Publication of KR102138574B1 publication Critical patent/KR102138574B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치가 제공된다. 상기 방법은, 컴퓨터에 의해서 실행되는 크라우드 소싱(Crowd Sourcing) 기반의 작업자가 수행한 작업 태스크(Task)의 수행 결과에 대한 검수를 하는 검수자의 평가 방법에 있어서, 평가용 검수 태스크를 이용하여, 복수의 외부 검수자의 검수 능력을 평가하는 단계, 상기 복수의 외부 검수자의 검수 능력에 기초하여, 복수의 외부 검수자를 복수의 검수자 그룹으로 분류하는 단계, 상기 복수의 외부 검수자의 단말기에 실전용 검수 태스크를 송신하는 단계, 상기 복수의 외부 검수자의 단말기로부터 상기 실전용 검수 태스크의 수행 결과를 수신하는 단계, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 송신하는 단계, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과를 수신하는 단계, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹을 재편성하는 단계, 및 상기 재편성된 복수의 검수자 그룹 별 상기 실전용 검수 태스크에 대한 보상을 제공하는 단계를 포함한다.

Description

크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치{METHOD FOR EVALUATING INSPECTORS WHO PERFORM CHECKS ON WORK TASKS BASED ON CROWD SOURCING AND APPARATUS THEREOF}
본 발명은 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치에 관한 것이다.
최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드 소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업이 늘고 있다. 기업은 일반 대중을 기업 활동의 일부 과정에 참여시킴으로써, 일반 대중이 참여한 업무를 하는 인력을 채용하지 않아도 되어 인력비를 절감할 수 있었다.
하지만, 기업 활동을 제대로 이해하지 못한 일반 대중이 기업 활동의 일부 과정으로서 데이터를 수집 및 가공을 하다보니, 부적절하게 데이터가 수집 및 가공되는 일이 빈번하게 발생하였다. 기업은 부적절하게 데이터가 수집 및 가공되더라도, 크라우드 소싱에 참여한 사람들에게 보상을 해줘야 하는 문제점이 있었다. 또한, 크라우드 소싱을 통해서 데이터가 수집 및 가공이 된 후에 기업이 데이터의 적절성 여부를 판단해야하는 문제점이 있었다.
따라서, 크라우드 소싱 기반으로 수집 및 가공된 데이터를 효율적으로 검수하는 방법이 필요하게 되었다. 또한, 검수한 사람에 대한 평가 및 보상을 적절하게 하는 방법이 필요하게 되었다.
공개특허공보 제10-2014-0095956호, 2014.08.04
본 발명이 해결하고자 하는 과제는 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법은, 컴퓨터에 의해서 실행되는 크라우드 소싱(Crowd Sourcing) 기반의 작업자가 수행한 작업 태스크(Task)의 수행 결과에 대한 검수를 하는 검수자의 평가 방법에 있어서, 평가용 검수 태스크를 이용하여, 복수의 외부 검수자의 검수 능력을 평가하는 단계, 상기 복수의 외부 검수자의 검수 능력에 기초하여, 복수의 외부 검수자를 복수의 검수자 그룹으로 분류하는 단계, 상기 복수의 외부 검수자의 단말기에 실전용 검수 태스크를 송신하는 단계, 상기 복수의 외부 검수자의 단말기로부터 상기 실전용 검수 태스크의 수행 결과를 수신하는 단계, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 송신하는 단계, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과를 수신하는 단계, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹을 재편성하는 단계, 및 상기 재편성된 복수의 검수자 그룹 별 상기 실전용 검수 태스크에 대한 보상을 제공하는 단계를 포함하고, 상기 평가용 검수 태스크는, 작업자가 수행한 복수의 작업 태스크 중 이미 검수가 완료된 작업 태스크 상의 검수 결과가 제외된 작업 태스크에 기초하여 생성되고, 상기 작업 태스크의 반려율에 상응하여 소정의 검수 난이도가 결정되고, 낮은 검수 난이도부터 높은 검수 난이도 순서대로 상기 외부 검수자의 단말기에 송신되고, 상기 복수의 검수자 그룹을 재편성하는 단계는, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹 각각의 그룹 평가 점수를 산출하고, 상기 복수의 외부 검수자 각각의 개인 평가 점수를 산출하고, 상기 그룹 평가 점수 및 상기 개인 평가 점수 중 적어도 하나에 기초하여, 상기 복수의 검수자 그룹을 재편성한다.
일부 실시예에서, 상기 평가용 검수 태스크의 상기 소정의 검수 난이도는, 상기 작업자가 상기 평가용 검수 태스크의 작업 태스크를 수행하는 데 소요한 시간 또는 내부 검수자가 상기 평가용 검수 태스크의 작업 태스크를 반려한 횟수에 상응하여 결정된다.
일부 실시예에서, 상기 복수의 외부 검수자의 검수 능력을 평가하는 단계는, 상기 평가용 검수 태스크를 생성하는 단계, 상기 평가용 검수 태스크를 상기 외부 검수자의 단말기에 송신하는 단계, 상기 평가용 검수 태스크의 수행 결과를 상기 외부 검수자의 단말기로부터 수신하는 단계, 및 상기 평가용 검수 태스크의 수행 결과를 분석하여, 상기 복수의 외부 검수자의 검수 능력을 평가하는 단계를 포함한다.
일부 실시예에서, 상기 2차 검수 태스크를 송신하는 단계는, 상기 실전용 검수 태스크의 수행 결과를 샘플링하는 단계, 및 상기 샘플링된 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 내부 검수자의 단말기에 송신하는 단계를 포함한다.
일부 실시예에서, 상기 실전용 검수 태스크의 수행 결과를 샘플링하는 단계는, 상기 실전용 검수 태스크의 검수 난이도 및 상기 실전용 검수 태스크의 검수 수행 횟수 중 적어도 하나에 기초하여, 상기 실전용 검수 태스크의 수행 결과를 샘플링한다.
일부 실시예에서, 상기 복수의 검수자 그룹을 재편성하는 단계는, 상기 실전용 검수 태스크의 수행 결과의 정확도, 총 검수량 및 검수 시간 중 적어도 하나에 기초하여, 상기 복수의 검수자 그룹을 재편성한다.
일부 실시예에서, 상기 복수의 검수자 그룹을 재편성하는 단계는, 어느 하나의 검수자 그룹(A 그룹)으로 분류된 외부 검수자의 상기 개인 평가 점수가, 상기 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 높은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(B 그룹)의 그룹 평가 점수보다 높은 경우, 상기 외부 검수자는 A 그룹에서 B 그룹으로 재편성되고, 어느 하나의 검수자 그룹(A 그룹)으로 분류된 외부 검수자의 상기 개인 평가 점수가, 상기 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 낮은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(C 그룹)의 그룹 평가 점수보다 낮은 경우, 상기 외부 검수자는 A 그룹에서 C 그룹으로 재편성된다.
일부 실시예에서, 상기 복수의 검수자 그룹을 재편성하는 단계는, 어느 하나의 검수자 그룹(A 그룹)으로 분류된 복수의 외부 검수자 중 최하위의 외부 검수자의 개인 평가 점수가, 상기 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 낮은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(B 그룹)으로 분류된 복수의 외부 검수자 중 최상위의 외부 검수자의 개인 평가 점수보다 낮은 경우, 상기 A 그룹의 최하위의 외부 검수자는 B 그룹으로 재편성되고, 상기 B 그룹의 최상위의 외부 검수자는 A 그룹으로 재편성된다.
일부 실시예에서, 상기 복수의 검수자 그룹을 재편성하는 단계는, 상기 복수의 외부 검수자 전체의 평균 검수 횟수 이상의 검수를 수행한 외부 검수자에 대해서 상기 복수의 검수자 그룹을 재편성한다.
일부 실시예에서, 상기 복수의 검수자 그룹을 재편성하는 단계는, 상기 복수의 외부 검수자 전체의 평균 검수 횟수 미만의 검수를 수행한 외부 검수자는 상기 외부 검수자의 검수량에 상응하여 상기 그룹 평가 점수가 낮은 검수자 그룹으로 재배치된다.
일부 실시예에서, 상기 실전용 검수 태스크에 대한 보상을 제공하는 단계는, 상기 재편성된 복수의 검수자 그룹 중 최상위 그룹에게 인센티브를 제공하고, 최하위 그룹에게 패널티를 제공한다.
일부 실시예에서, 상기 실전용 검수 태스크에 대한 보상을 제공하는 단계는, 상기 실전용 검수 태스크의 프로젝트와 동일 분야로 분류된 다른 프로젝트를 수행함에 있어서, 상기 재편성된 복수의 검수자 그룹 중 최상위 그룹을 다른 프로젝트의 복수의 검수자 그룹 중 최상위 그룹으로 배정시킨다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 장치는, 컴퓨터에 의해서 실행되는 크라우드 소싱(Crowd Sourcing) 기반의 작업자가 수행한 작업 태스크(Task)의 수행 결과에 대한 검수를 하는 검수자의 평가 장치에 있어서, 평가용 검수 태스크를 이용하여, 복수의 외부 검수자의 검수 능력을 평가하는 검수 능력 평가부, 상기 복수의 외부 검수자의 검수 능력에 기초하여, 복수의 외부 검수자를 복수의 검수자 그룹으로 분류하는 그룹 분류부, 상기 복수의 외부 검수자의 단말기에 실전용 검수 태스크를 송신하는 외부 송신부, 상기 복수의 외부 검수자의 단말기로부터 상기 실전용 검수 태스크의 수행 결과를 수신하는 외부 수신부, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 송신하는 내부 송신부, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과를 수신하는 내부 수신부, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹을 재편성하는 그룹 재편성부, 및 상기 재편성된 복수의 검수자 그룹 별 상기 실전용 검수 태스크에 대한 보상을 제공하는 보상 제공부를 포함하고, 상기 평가용 검수 태스크는, 작업자가 수행한 복수의 작업 태스크 중 이미 검수가 완료된 작업 태스크 상의 검수 결과가 제외된 작업 태스크에 기초하여 생성되고, 상기 작업 태스크의 반려율에 상응하여 소정의 검수 난이도가 결정되고, 낮은 검수 난이도부터 높은 검수 난이도 순서대로 상기 외부 검수자의 단말기에 송신되고, 상기 복수의 검수자 그룹을 재편성하는 단계는, 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹 각각의 그룹 평가 점수를 산출하고, 상기 복수의 외부 검수자 각각의 개인 평가 점수를 산출하고, 상기 그룹 평가 점수 및 상기 개인 평가 점수 중 적어도 하나에 기초하여, 상기 복수의 검수자 그룹을 재편성한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치에 따르면, 일반 대중인 작업자가 크라우드 소싱 기반의 플랫폼에서 수행한 작업 태스크에 대해서 검수하는 검수자의 검수 능력을 평가용 검수 태스크를 이용하여 평가할 수 있다.
또한, 복수의 검수자의 개인 평가 점수에 기초하여 복수의 검수자를 복수의 검수자 그룹으로 분류할 수 있고, 개인 평가 점수 및 복수의 검수자 그룹의 그룹 평가 점수에 기초하여, 복수의 검수자 그룹을 재편성할 수 있어서, 검수자의 검수 능력에 상응하여 복수의 검수자 각각을 복수의 검수자 그룹에 배정시킬 수 있다.
또한, 복수의 검수자를 검수 능력이 상이한 복수의 검수자 그룹에 배정함으로써, 복수의 검수자 그룹 별로 검수자 그룹의 검수 능력을 반영한 검수 태스크의 보상을 일률적으로 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개념도이다.
도 2는 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개략적인 순서도이다.
도 3은 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법의 개략적인 순서도이다.
도 4는 도 3의 복수의 외부 검수자의 검수 능력을 평가하는 단계의 개략적인 순서도이다.
도 5는 도 3의 2차 검수 태스크를 송신하는 단계의 개략적인 순서도이다.
도 6은 평가용 검수 태스크의 수행 결과 또는 실전용 검수 태스크의 수행 결과의 예시도이다.
도 7은 도 3의 복수의 외부 검수자를 복수의 검수자 그룹으로 분류하는 단계에 의해서 분류된 복수의 검수자 그룹의 예시도이다.
도 8은 도 5의 실전용 검수 태스크의 수행 결과를 샘플링하는 단계의 수행 방법을 보여주는 예시도이다.
도 9는 도 3의 복수의 검수자 그룹을 재편성하는 단계의 일 실시예의 수행 방법을 보여주는 예시도이다.
도 10은 도 3의 복수의 검수자 그룹을 재편성하는 단계의 다른 실시예의 수행 방법을 보여주는 예시도이다.
도 11은 도 3의 실전용 검수 태스크에 대한 보상을 제공하는 단계의 일 실시예의 수행 방법을 보여주는 예시도이다.
도 12는 도 3의 실전용 검수 태스크에 대한 보상을 제공하는 단계의 다른 실시예의 수행 방법을 보여주는 예시도이다.
도 13은 본 발명의 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 장치의 개략적인 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개념도이다.
도 1을 참조하면, 고객이 플랫폼에 크라우드 소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하고, 작업자 및 외부 검수자가 플랫폼에 접속하여 프로젝트에 참여한다.
고객은 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 플랫폼에 의뢰한다. 소스 데이터의 수집은, 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다.
관리자는 플랫폼의 전체를 관리하는 운영자를 의미한다. 관리자은 고객이 의뢰한 프로젝트에 상응하여, 프로젝트 수행과 관련된 가이드, 템플릿 등을 생성하고, 플랫폼에 프로젝트를 오픈한다.
작업자는 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중이다. 작업자는 플랫폼에 오픈된 프로젝트를 확인하고, 프로젝트 상의 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업 태스크를 수행하고, 플랫폼에 전송한다.
외부 검수자는 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중이다. 외부 검수자는 작업자가 수행한 작업 태스크를 확인하고, 작업 태스크의 검수를 수행한다. 검수자는 검수 수행 결과로서, 작업 태스크를 통과 또는 반려를 할 수 있고, 검수자 의견을 기입할 수도 있다.
내부 검수자는 플랫폼을 운영하고 있는 관리자가 고용한 크라우드 소싱 분야의 전문가이다. 내부 검수자는 외부 검수자가 수행한 검수 태스크를 검수할 수 있고, 경우에 따라 작업자가 수행한 작업 태스크를 검수할 수 있다. 또한, 내부 검수자는, 외부 검수자를 평가하는 평가용 검수 태스크를 생성하는 작업을 할 수 있다.
플랫폼은 크라우드 소싱 기반의 프로젝트가 운영되는 시스템이다. 플랫폼은 도 13의 장치의 구성 요소뿐만 아니라, 데이터베이스, 제어부, 통신부 등을 포함한다.
도 2는 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개략적인 순서도이다.
도 2를 참조하면, 고객이 플랫폼에 프로젝트를 의뢰하고, 작업자 및 외부 검수자가 플랫폼에 접속하여 프로젝트에 참여한다.
고객은 플랫폼에 프로젝트를 의뢰한다. 플랫폼의 관리자는 고객이 의뢰한 프로젝트를 검토한 후 프로젝트를 오픈한다.
작업자는 단말기를 이용하여 플랫폼에 접속하여 프로젝트를 확인하고, 프로젝트 상의 작업 태스크를 수행한다. 작업 태스크는 작업자가 수행하는 작업으로서, 작업자가 수행하게 될 작업에 대한 가이드를 함께 제공한다. 작업자는 작업 태스크의 수행 결과를 플랫폼에 송신한다.
외부 검수자는 단말기를 이용하여 플랫폼에 접속하여 검수 태스크를 확인하고, 검수 태스크를 수행한다. 검수 태스크는 외부 검수자가 수행하는 검수로서, 외부 검수자가 수행하게 될 검수에 대한 가이드를 함께 제공한다. 외부 검수자는 검수 태스크의 수행 결과를 플랫폼에 송신한다. 외부 검수자는 작업 태스크의 품질에 따라 작업 태스크를 통과시킬 수도 있고, 반려시킬 수도 있다. 작업 태스크가 통과될 경우, 외부 검수자는 검수 비용을 지급받고, 작업자는 작업 비용을 지급받는다. 반면, 작업 태스크가 반려될 경우, 작업자는 플랫폼으로부터 재작업 태스크 수행을 요청받고, 작업자는 재작업 태스크를 수행한다. 재작업 태스크 수행 결과에 대해서는 외부 검수자가 다시 검수를 수행한다.
외부 검수자가 검수 태스크를 수행하는 방법(도 2 상의 점선 부분)은, 기존의 크라우드 소싱 기반의 플랫폼에서는 수행되지 않는 방법이다. 외부 검수자가 검수 태스크를 수행하는 방법을 크라우드 소싱 기반의 플랫폼에 도입함으로써, 고객이 의뢰한 프로젝트의 결과에 대한 품질을 높일 수 있다. 따라서, 외부 검수자가 검수 태스크를 수행하는 방법을 크라우드 소싱 기반의 플랫폼에 도입함에 있어서, 외부 검수자의 검수 능력을 판단하고, 외부 검수자가 수행한 검수 태스크에 대해 평가하고, 외부 검수자에게 보상을 제공하는 방법 등이 필요하게 되었다.
도 3은 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법의 개략적인 순서도이다.
도 3을 참조하면, 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법은, 복수의 외부 검수자의 검수 능력을 평가하는 단계(S100), 복수의 외부 검수자를 복수의 검수자 그룹으로 분류하는 단계(S200), 실전용 검수 태스크를 송신하는 단계(S300), 실전용 검수 태스크의 수행 결과를 수신하는 단계(S400), 2차 검수 태스크를 송신하는 단계(S500), 2차 검수 태스크의 수행 결과를 수신하는 단계(S600), 복수의 검수자 그룹을 재편성하는 단계(S700) 및 실전용 검수 태스크에 대한 보상을 제공하는 단계(S800)를 포함한다.
단계 S100에서, 평가용 검수 태스크를 이용하여, 복수의 외부 검수자의 검수 능력이 평가된다.
외부 검수자의 검수 능력을 평가하는데 이용되는 평가용 검수 태스크는 작업자가 수행한 복수의 작업 태스크 중 이미 검수가 완료된 작업 태스크 상의 검수 결과가 제외된 작업 태스크에 기초하여 생성된다. 구체적으로 설명하면, 관리자는 복수의 작업자가 수행한 복수의 작업 태스크 중 일부를 평가용 검수 태스크를 생성하기 위한 작업 태스크로 결정한다. 내부 검수자는 평가용 검수 태스크로 결정된 검수 태스크를 검수한다. 내부 검수자는 크라우드 소싱 분야의 전문가이기 때문에, 내부 검수자가 검수한 사항은 평가용 검수 태스크의 모범 답안이 된다. 평가용 검수 태스크는 내부 검수자가 검수한 작업 태스크 중 검수한 사항을 제외한 작업 태스크이다.
평가용 검수 태스크는 내부 검수자가 검수한 작업 태스크의 반려율에 상응하여 소정의 검수 난이도가 결정된다. 내부 검수자는 평가용 검수 태스크로 결정된 작업 태스크를 반려하여, 작업자에게 재작업을 요청할 수 있다. 작업자는 반려된 작업 태스크에 대해서 재작업 태스크를 수행하고, 내부 검수자는 재작업 태스크에 대해서 다시 검수를 수행한다. 이와 같은 과정을 반복하여, 플랫폼은 반려 횟수를 카운트하고, 평가용 검수 태스크로 결정된 작업 태스크의 반려율을 산출할 수 있다. 작업 태스크의 반려율이 높다는 것은 작업자가 해당 작업 태스크를 수행하기 어렵다는 것을 의미할 수 있으므로, 반려율이 높은 작업 태스크일수록 작업 태스크의 난이도가 높다고 판단될 수 있다. 또한, 작업 태스크의 난이도가 높을수록 해당 작업 태스크의 검수의 난이도 또한 높다고 판단될 수 있다.
또는, 평가용 검수 태스크의 소정의 검수 난이도는, 작업자가 평가용 검수 태스크의 작업 태스크를 수행하는 데 소요한 시간에 상응하여 결정된다. 플랫폼은 작업자가 평가용 검수 태스크로 결정된 작업 태스크를 수행하는 시간을 카운트한다. 작업자가 작업 태스크를 수행하는 시간이 길수록 해당 작업 태스크의 난이도가 높다고 판단될 수 있다. 또한, 작업 태스크의 난이도가 높을수록 해당 작업 태스크의 검수의 난이도 또한 높다고 판단될 수 있다.
평가용 검수 태스크는 낮은 검수 난이도부터 높은 검수 난이도 순서대로 외부 검수자의 단말기에 송신된다. 난이도가 낮은 평가용 검수 태스크를 수행하지 못하는 외부 검수자는, 난이도가 높은 평가용 검수 태스크를 수행하지 못할 가능성이 크다. 따라서, 플랫폼은 난이도가 낮은 평가용 검수 태스크부터 외부 검수자의 단말기에 송신하고, 소정의 기준 미만의 평가 점수를 획득한 외부 검수자는, 전체 평가용 검수 태스크를 수행하기 전에, 검수자로서의 자격을 박탈당할 수 있다.
단계 S200에서, 복수의 외부 검수자의 검수 능력에 기초하여, 복수의 외부 검수자가 복수의 검수자 그룹으로 분류된다.
평가용 검수 태스크를 수행한 복수의 외부 검수자는 검수 능력에 상응하여 복수의 검수자 그룹으로 분류된다. 평가용 검수 태스크를 수행한 복수의 외부 검수자 각각은 평가용 검수 태스크의 수행 결과가 반영된 개인 평가 점수를 획득하게 된다. 개인 평가 점수가 높은 외부 검수자는 높은 등급의 검수자 그룹에 배정되고, 개인 평가 점수가 낮은 외부 검수자는 낮은 등급의 검수자 그룹에 배정된다. 단계 S200은 도 7에서 자세히 설명한다.
단계 S300에서, 복수의 외부 검수자의 단말기에 실전용 검수 태스크가 송신된다.
실전용 검수 태스크는 복수의 작업자가 수행한 복수의 작업 태스크 중 평가용 검수 태스크로 결정된 작업 태스크를 제외한 작업 태스크에 기초하여 생성된다. 즉, 실전용 검수 태스크는 내부 검수자에 의해서 모범 답안이 미리 생성되지 않은 검수 태스크이다.
외부 검수자는 플랫폼에 접속하여 실전용 검수 태스크를 확인하고, 검수 수행을 원하게 되면, 플랫폼은 외부 검수자의 단말기에 실전용 검수 태스크를 송신한다.
단계 S400에서, 복수의 외부 검수자의 단말기로부터 실전용 검수 태스크의 수행 결과가 수신된다. 외부 검수자는 실전용 검수 태스크를 수행하고, 단말기를 이용하여, 실전용 검수 태스크의 수행 결과를 플랫폼에 전송한다.
단계 S500에서, 내부 검수자의 단말기에 실전용 검수 태스크의 수행 결과의 2차 검수 태스크가 송신된다.
2차 검수 태스크는 외부 검수자가 이미 검수를 한 실전용 검수 태스크에 대해서 검수의 적절성을 판단하는 태스크이다. 외부 검수자보다 검수 능력이 뛰어난 내부 검수자는 외부 검수자가 수행한 실전용 검수 태스크를 2차 검수한다.
단계 S600에서, 내부 검수자의 단말기로부터 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과가 수신된다. 내부 검수자는 실전용 검수 태스크의 수행 결과에 대해서 2차 검수를 하고 그 결과를 플랫폼에 전송한다.
단계 S700에서, 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 복수의 검수자 그룹이 재편성된다.
플랫폼은 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 복수의 검수자 그룹 각각의 그룹 평가 점수를 산출하고, 복수의 외부 검수자 각각의 개인 평가 점수를 산출한다. 이후, 플랫폼은 그룹 평가 점수 및 상기 개인 평가 점수 중 적어도 하나에 기초하여, 복수의 검수자 그룹을 재편성한다.
복수의 검수자 그룹은 실전용 검수 태스크의 수행 결과의 정확도, 총 검수량 및 검수 시간 중 적어도 하나에 기초하여 그룹별 및 개인별로 평가되고, 평가 결과에 기초하여 복수의 검수자 그룹이 재편성된다. 실전용 검수 태스크의 수행 결과의 정확도는, 내부 검수자에 의해 평가되는 것으로서, 복수의 검수자 그룹 별 정확도 및 복수의 검수자 개인 별 정확도로 평가된다. 실전용 검수 태스크의 수행 결과의 총 검수량은 플랫폼에서 자동 측정되는 것으로서, 복수의 검수자 그룹 별 검수량 및 복수의 검수자 개인 별 검수량으로 측정된다. 실전용 검수 태스크의 수행 결과의 검수 시간은 플랫폼에서 자동 측정되는 것으로서, 복수의 실전용 검수 태스크의 총 검수 시간에서 총 검수 개수를 나눈 값이고, 복수의 검수자 그룹 별 검수 평균 시간 및 복수의 검수자 개인 별 검수 평균 시간으로 측정된다. 단계 S700은 도 9 및 도 10에서 자세히 설명된다.
단계 S800에서, 재편성된 복수의 검수자 그룹 별 실전용 검수 태스크에 대한 보상이 제공된다.
복수의 검수자 그룹은 단계 S700에서 재편성되어 그룹이 확정되고, 재편성된 복수의 검수자 그룹 별로 검수자가 수행한 실전용 검수 태스크에 대한 보상이 제공된다. 단계 S800은 도 11 및 도 12에서 자세히 설명된다.
도 4는 도 3의 복수의 외부 검수자의 검수 능력을 평가하는 단계의 개략적인 순서도이다.
도 4를 참조하면, 복수의 외부 검수자의 검수 능력을 평가하는 단계(S100)는, 평가용 검수 태스크를 생성하는 단계(S110), 평가용 검수 태스크를 송신하는 단계(S120), 평가용 검수 태스크의 수행 결과를 수신하는 단계(S130) 및 복수의 외부 검수자의 검수 능력을 평가하는 단계(S140)를 포함한다.
단계 S110에서, 평가용 검수 태스크가 생성된다. 플랫폼은 내부 검수자에 의해서 이미 검수가 완료된 작업 태스크에서 검수 결과를 제외한 작업 태스크를 평가용 검수 태스크로서 생성한다. 플랫폼은 내부 검수자가 수행한 검수 결과를 모범 답안으로서 데이터베이스에 저장한다.
단계 S120에서, 평가용 검수 태스크가 외부 검수자의 단말기에 송신된다. 평가용 검수 태스크는 실전용 검수 태스크의 수행을 하기를 원하는 외부 검수자의 단말기에 실전용 검수 태스크가 송신되는 순서에 앞서 송신된다. 외부 검수자는 플랫폼으로부터 전송받는 검수 태스크가 평가용 검수 태스크인지, 실전용 검수 태스크인지를 파악하지 못한 체 검수 태스크를 수행할 수 있다.
단계 S130에서, 평가용 검수 태스크의 수행 결과가 외부 검수자의 단말기로부터 수신된다. 외부 검수자는 평가용 검수 태스크를 수행하여, 작업 태스크를 통과시킬지 반려시킬지를 판단하고, 경우에 따라서 검수 의견을 기록하고, 그 결과를 플랫폼에 전송한다.
단계 S140에서, 평가용 검수 태스크의 수행 결과를 분석하여, 복수의 외부 검수자의 검수 능력이 평가된다. 플랫폼은 평가용 검수 태스크의 모범 답안과 외부 검수자가 수행한 평가용 검수 태스크의 수행 결과를 비교하여, 평가용 검수 태스크의 수행 결과의 적절성을 판단한다. 플랫폼은 평가용 검수 태스크의 수행 결과의 적절성의 판단 결과에 기초하여, 외부 검수자의 검수 능력을 평가한다. 외부 검수자의 검수 능력은 개인 평가 점수 또는 등급으로 기록될 수 있다.
도 5는 도 3의 2차 검수 태스크를 송신하는 단계의 개략적인 순서도이다.
도 5를 참조하면, 2차 검수 태스크를 송신하는 단계(S500)는, 실전용 검수 태스크의 수행 결과를 샘플링하는 단계(S510) 및 샘플링된 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 송신하는 단계(S520)를 포함한다.
단계 S510에서, 실전용 검수 태스크의 수행 결과가 샘플링된다. 실전용 검수 태스크의 검수 난이도 및 실전용 검수 태스크의 검수 수행 횟수 중 적어도 하나에 기초하여, 실전용 검수 태스크의 수행 결과가 샘플링된다. 단계 S510은 도 8에서 자세히 설명된다.
단계 S520에서, 샘플링된 실전용 검수 태스크의 수행 결과의 2차 검수 태스크가 내부 검수자의 단말기에 송신된다. 실전용 검수 태스크는 검수에 능숙한 외부 검수자에 의해서 수행되지만, 외부 검수자는 일반 대중이기 때문에, 외부 검수자가 수행한 실전용 검수 태스크에 대한 2차 검수가 필요할 수 있다. 2차 검수는 외부 검수자가 검수한 것에 대해서 내부 검수자가 검수하는 것을 의미한다. 하지만, 실전용 검수 태스크 전체에 대해서 2차 검수를 수행하게 되면, 비용과 시간 측면에서 효율적이지 못하기 때문에, 플랫폼은 전체 실전용 검수 태스크 중 일부만을 샘플링하여 내부 검수자의 단말기에 송신한다.
도 6은 평가용 검수 태스크의 수행 결과 또는 실전용 검수 태스크의 수행 결과의 예시도이다.
도 6을 참조하면, 작업 태스크 중 하나의 예인 개체 찾기의 작업 태스크에 대해 검수가 수행된 결과이다.
개체 찾기는 작업자가 특정 지문을 보고, 지문 상에 있는 단어들 중에서 개체에 해당하는 단어에 태킹을 하는 작업 태스크이다. 개체는 기관, 인물, 인공물 등 일 수 있다.
먼저, 작업자가 수행하는 작업 태스크의 과정이 설명된다. 작업자는 작업 태스크의 지문 상의 “맵더소울”, "힙합플레이야", "데모"를 태깅한다. 작업자는 “맵더소울”, “힙합플레이야”, “데모”를 이미 알고 있는 상식에 의해 개체라고 판단할 수 있고, 지문의 문맥상 개체라고 판단할 수 있다. 작업자는 작업 태스크의 수행 결과를 플랫폼에 송신한다.
이후, 외부 검수자는 작업 태스크의 수행 결과를 검수 태스크로 전송받는다. 외부 검수자는 태킹된 단어에 대해서, 개체가 맞는지를 판단하여, 태깅된 단어가 개체인 경우, 해당 검수 태스크를 통과시키고, 태깅된 단어가 개체가 아닌 경우, 해당 검수 태스크를 반려한다. 외부 검수자는 경우에 따라 검수자 의견에 통과 또는 반려 이유를 기록할 수 있다. 예를 들어, 외부 검수자는 검수자 의견에 태깅된 단어가 개체인지를 기록할 수 있다. 도 6의 예에서는 외부 검수자가 "데모"가 개체가 아니라는 검수자 의견을 기록하고, 검수 태스크를 반려할 수 있다.
도 7은 도 3의 복수의 외부 검수자를 복수의 검수자 그룹으로 분류하는 단계에 의해서 분류된 복수의 검수자 그룹의 예시도이다.
도 7을 참조하면, 복수의 외부 검수자 각각은 개인 평가 점수에 상응하여 복수의 검수자 그룹 중 하나의 그룹으로 분류된다.
플랫폼은 평가용 검수 태스크의 수행 결과에 따라 외부 검수자의 개인 평가 점수를 결정한다. 이후, 플랫폼은 외부 검수자의 개인 평가 점수에 따라 상위 그룹부터 하위 그룹까지 복수의 검수자 그룹 각각에 복수의 검수자 각각을 분류시킨다. 즉, 플랫폼은 개인 점수가 높은 검수자는 상위 그룹으로 분류하고, 개인 점수가 낮은 검수자는 하위 그룹으로 분류한다.
도 8은 도 5의 실전용 검수 태스크의 수행 결과를 샘플링하는 단계의 수행 방법을 보여주는 예시도이다.
도 8를 참조하면, 복수의 검수자 각각에 대해서 실전용 검수 태스크의 수행 결과를 샘플링하는 비율은 검수자의 검수 비율, 작업 태스크의 난이도에 기초하여 결정된다.
플랫폼은 실전용 검수 태스크 전체를 2차 검수하면 비용 및 시간 많이 소모되기 때문에, 전체 실전용 검수 태스크 중 일부만을 2차 검수한다. 플랫폼은 복수의 검수자 각각에 대해서 검수자의 검수 비율 및 작업 태스크의 난이도에 기초하여, 실전용 검수 태스크의 수행 결과를 샘플링하는 비율을 결정한다. 작업 태스크의 난이도는 전체 실전용 검수 태스크 각각의 수행 중에 외부 검수자가 반려를 한 횟수의 평균값에 상응하여 결정된다. 즉, 전체 실전용 검수 태스크의 반려 횟수의 평균값이 클수록 작업 태스크의 난이도는 올라가고, 전체 실전용 검수 태스크의 반려 횟수의 평균값이 작을수록 작업 태스크의 난이도는 낮아진다. 난이도가 높은 작업 태스크에 대해서는 샘플링 비율이 높고, 난이도가 낮은 작업 태스크에 대해서는 샘플링 비율이 낮다. 예를 들어, 난이도가 높은 작업 태스크의 난이도에 따른 샘플링 비율은 10%이고, 난이도가 낮은 작업 태스크의 난이도에 따른 샘플링 비율은 1%일 수 있다.
도 8을 참조하여, 한 명의 검수자가 수행한 실전용 검수 태스크에 대해서 샘플링하는 과정을 설명한다. 검수자 A가 전체 실전용 검수 태스크 중 40%의 양을 수행했고, 전체 실전용 검수 태스크의 평균 반려율이 25%로 작업 태스크의 난이도가 최상위(작업 태스크 난이도에 따른 샘플링 비율: 10%)에 해당하는 경우, 검수자 A가 수행한 실전용 검수 태스크의 수행 결과 중에서 4%(0.4 X 0.1=0.04)가 샘플링되어야 한다.
도 9는 도 3의 복수의 검수자 그룹을 재편성하는 단계의 일 실시예의 수행 방법을 보여주는 예시도이다.
도 9를 참조하면, 검수자의 개인 평가 점수 및 검수 그룹의 그룹 평가 점수에 기초하여, 검수자가 상위 그룹으로 업그레이드되거나, 하위 그룹으로 다운그레이드된다.
먼저, 검수자가 상위 그룹으로 업그레이드되는 과정을 설명한다. 어느 하나의 검수자 그룹(A 그룹)으로 분류된 외부 검수자의 개인 평가 점수가, 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 높은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(B 그룹)의 그룹 평가 점수보다 높은 경우, 외부 검수자는 A 그룹에서 B 그룹으로 재편성된다. 도 9의 검수자 C는 개인 평가 점수가 96점이고, 그룹 평가 점수가 90점인 2번 그룹에 속해있다. 검수자 C의 개인 평가 점수는 상위 그룹에 해당하는 2번 그룹의 그룹 평가 점수인 95점보다 높으므로, 검수자 C는 1번 그룹으로 업그레이드된다.
다음으로, 검수자가 하위 그룹으로 다운그레이드되는 과정을 설명한다. 어느 하나의 검수자 그룹(A 그룹)으로 분류된 외부 검수자의 개인 평가 점수가, 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 낮은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(C 그룹)의 그룹 평가 점수보다 낮은 경우, 외부 검수자는 A 그룹에서 C 그룹으로 재편성된다. 도 9의 검수자 H는 개인 평가 점수가 54점이고, 그룹 평가 점수가 60점인 N-1 번 그룹에 속해있다. 검수자 H의 개인 평가 점수는 하위 그룹에 해당하는 N 번 그룹의 그룹 평가 점수인 55점보다 낮으므로, 검수자 H는 N 번 그룹으로 다운그레이드된다.
도 10은 도 3의 복수의 검수자 그룹을 재편성하는 단계의 다른 실시예의 수행 방법을 보여주는 예시도이다.
도 10을 참조하면, 검수자의 개인 평가 점수에 기초하여, 다른 그룹에 속해있는 검수자 상호 간의 그룹 교체가 발생한다.
어느 하나의 검수자 그룹(A 그룹)으로 분류된 복수의 외부 검수자 중 최하위의 외부 검수자의 개인 평가 점수가, 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 낮은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(B 그룹)으로 분류된 복수의 외부 검수자 중 최상위의 외부 검수자의 개인 평가 점수보다 낮은 경우, A 그룹의 최하위의 외부 검수자는 B 그룹으로 재편성되고, B 그룹의 최상위의 외부 검수자는 A 그룹으로 재편성된다. 도 10의 검수자 B는 개인 평가 점수가 88점으로 1번 그룹의 최하위 검수자이다. 반면, 검수자 C는 개인 평가 점수가 98점으로 2번 그룹의 최상위 검수자이다. 2번 그룹의 최상위 검수자에 해당하는 검수자 C의 개인 평가 점수가 1번 그룹의 최하위 검수자에 해당하는 검수자 B의 개인 평가 점수보다 높으므로, 검수자 B와 검수자 C는 상호 간 속한 그룹이 교체된다.
도 10의 검수자 상호 간의 교체에 의한 검수자 그룹 재편성 방법은, 복수의 외부 검수자 전체의 평균 검수 횟수 이상의 검수를 수행한 외부 검수자에 대해서만 수행된다. 반면, 복수의 외부 검수자 전체의 평균 검수 횟수 미만의 검수를 수행한 외부 검수자는 해당 외부 검수자의 검수량에 상응하여 그룹 평가 점수가 낮은 검수자 그룹으로 재배치된다.
도 11은 도 3의 실전용 검수 태스크에 대한 보상을 제공하는 단계의 일 실시예의 수행 방법을 보여주는 예시도이다.
도 11을 참조하면, 최상위 검수자 그룹은 인센티비를 제공받고, 최하위 검수자 그룹은 패널티를 제공받는다.
외부 검수자가 실전용 검수 태스크를 수행하면, 플랫폼은 외부 검수자에게 실전용 검수 태스크의 수행 결과에 상응하는 보상을 제공한다. 검수자 그룹의 재편성이 되어 그룹이 확정되면, 플랫폼은 최상위 그룹에 인센티브를 제공하고, 최하위 그룹에 패널티를 제공한다. 인센티브 및 패널티의 비율은 작업 태스크의 난이도에 상응하여 결정될 수 있다. 또한, 플랫폼은 경우에 따라, 복수의 우수 그룹에 차등적으로 인센티브를 제공할 수도 있고, 복수의 비우수 그룹에 차등적으로 패널티를 제공할 수 있다. 예를 들어, 검수자 그룹의 재편성이 되어 그룹이 확정되면, 플랫폼은 최상위 그룹에 기본 검수 비용의 10%를 인센티브로 제공한다. 반면, 플랫폼은 최하위 그룹에 기본 검수 비용의 10%가 빠진 검수 비용을 지급하는 패널티블 제공할 수 있다. 플랫폼은 복수의 검수자 그룹 중 최상위 검수자 그룹 및 최하위 검수자 그룹을 제외한 나머지 검수자 그룹에 기본 검수 비용을 제공한다.
기본 검수 비용은 외부 검수자가 수행한 검수 태스크의 양, 하나의 검수 태스크의 단가에 상응하여 결정된다. 플랫폼은 작업 태스크의 난이도에 상응하여 외부 검수자가 한 시간 내에 수행할 수 있는 검수 태스크의 양을 결정한다. 그 후에, 플랫폼은 외부 검수자의 시급을 한 시간 내에 수행할 수 있는 검수 태스크의 양으로 나눈 값을 하나의 검수 태스크의 단가로 결정한다. 예를 들어, 외부 검수자의 시급이 10,000원이고, 한 시간 내에 수행할 수 있는 검수 태스크의 양이 10개라고 한다면, 하나의 검수 태스크의 단가는 1,000원이다. 검수자가 20개의 검수 태스크를 수행하면, 검수자에게 제공되는 기본 검수 비용은 20,000원이다.
도 12는 도 3의 실전용 검수 태스크에 대한 보상을 제공하는 단계의 다른 실시예의 수행 방법을 보여주는 예시도이다.
도 12를 참조하면, 최상위 그룹은 신규 프로젝트에서 최상위 그룹으로 배정받는다.
복수의 검수자 그룹의 재편성 결과 최상위 그룹으로 배정된 검수자는 이후 진행되는 신규 프로젝트에서 평가용 검수 태스크를 수행하지 않고도 최상위 그룹으로 배정될 수 있다. 평가용 검수 태스크를 수행하지 않은 것일 뿐, 신규 프로젝트에서 실전용 검수 태스크의 수행 결과 검수자 그룹의 재편성은 될 수 있다. 또한, 신규 프로젝트가 기존 프로젝트와 동일 분야로 분류된 프로젝트일 경우에만 신규 프로젝트의 최상위 그룹으로 배정된다. 플랫폼은 경우에 따라 최우수 그룹에 대해서만 상술한 보상을 제공할 수도 있고, 소정의 기준 이상의 우수 그룹에 대해서 상술한 보상을 제공할 수도 있다.
도 13은 본 발명의 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 장치의 개략적인 구성도이다.
도 13을 참조하면, 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 장치(900)는, 검수 능력 평가부(910), 그룹 분류부(920), 외부 송신부(930), 외부 수신부(940), 내부 송신부(950), 내부 수신부(960), 그룹 재편성부(970) 및 보상 제공부(980)를 포함한다.
도 13을 참조하면, 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 장치(900)의 구성요소는 도 1 내지 도 12를 참조하여 설명한 방법의 각각의 구성요소에 상응한다. 이하 장치의 각 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략한다.
검수 능력 평가부(910)는 평가용 검수 태스크를 이용하여, 복수의 외부 검수자의 검수 능력을 평가한다.
그룹 분류부(920)는 복수의 외부 검수자의 검수 능력에 기초하여, 복수의 외부 검수자를 복수의 검수자 그룹으로 분류한다.
외부 송신부(930)는 복수의 외부 검수자의 단말기에 실전용 검수 태스크를 송신한다.
외부 수신부(940)는 복수의 외부 검수자의 단말기로부터 실전용 검수 태스크의 수행 결과를 수신한다.
내부 송신부(950)는 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 송신한다.
내부 수신부(960)는 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과를 수신한다.
그룹 재편성부(970)는 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 복수의 검수자 그룹을 재편성한다.
보상 제공부(980)는 재편성된 복수의 검수자 그룹 별 실전용 검수 태스크에 대한 보상을 제공한다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
910 : 검수 능력 평가부
920 : 그룹 분류부
930 : 외부 송신부
940 : 외부 수신부
950 : 내부 송신부
960 : 내부 수신부
970 : 그룹 재편성부
980 : 보상 제공부

Claims (14)

  1. 컴퓨터에 의해서 실행되는,
    크라우드 소싱(Crowd Sourcing) 기반의 작업자가 수행한 작업 태스크(Task)의 수행 결과에 대한 검수를 하는 검수자의 평가 방법에 있어서,
    평가용 검수 태스크를 이용하여, 복수의 제1 검수자의 검수 능력을 평가하는 단계;
    상기 복수의 제1 검수자의 검수 능력에 기초하여, 복수의 제1 검수자를 복수의 검수자 그룹으로 분류하는 단계;
    상기 복수의 제1 검수자의 단말기에 실전용 검수 태스크를 송신하는 단계;
    상기 복수의 제1 검수자의 단말기로부터 상기 실전용 검수 태스크의 수행 결과를 수신하는 단계;
    복수의 제2 검수자의 단말기에 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 송신하는 단계;
    상기 복수의 제2 검수자의 단말기로부터 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과를 수신하는 단계;
    상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹을 재편성하는 단계; 및
    상기 재편성된 복수의 검수자 그룹 별 상기 실전용 검수 태스크에 대한 보상을 제공하는 단계를 포함하고,
    상기 평가용 검수 태스크는,
    작업자가 수행한 복수의 작업 태스크 중 제2 검수자에 의하여 이미 검수가 완료된 작업 태스크 상의 검수 결과가 제외된 작업 태스크에 기초하여 생성되고, 상기 작업 태스크의 수행 소요 시간 및 반려율에 상응하여 소정의 검수 난이도가 결정되고, 낮은 검수 난이도부터 높은 검수 난이도 순서대로 상기 제1 검수자의 단말기에 송신되고,
    상기 2차 검수 태스크를 송신하는 단계는,
    상기 실전용 검수 태스크의 수행 결과 중 일부를 샘플링하고, 상기 샘플링된 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 내부 검수자의 단말기에 송신하고,
    상기 복수의 검수자 그룹을 재편성하는 단계는,
    상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹 각각의 그룹 평가 점수를 산출하고, 상기 복수의 제1 검수자 각각의 개인 평가 점수를 산출하고, 상기 그룹 평가 점수 및 상기 개인 평가 점수 중 적어도 하나에 기초하여, 상기 복수의 검수자 그룹을 재편성하는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 복수의 제1 검수자의 검수 능력을 평가하는 단계는,
    상기 평가용 검수 태스크를 생성하는 단계;
    상기 평가용 검수 태스크를 상기 제1 검수자의 단말기에 송신하는 단계;
    상기 평가용 검수 태스크의 수행 결과를 상기 제1 검수자의 단말기로부터 수신하는 단계; 및
    상기 평가용 검수 태스크의 수행 결과를 분석하여, 상기 복수의 제1 검수자의 검수 능력을 평가하는 단계를 포함하는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  4. 삭제
  5. 제1 항에 있어서,
    상기 실전용 검수 태스크의 수행 결과를 샘플링하는 단계는,
    상기 실전용 검수 태스크의 검수 난이도 및 상기 실전용 검수 태스크의 검수 수행 횟수 중 적어도 하나에 기초하여, 상기 실전용 검수 태스크의 수행 결과를 샘플링하는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  6. 제1 항에 있어서,
    상기 복수의 검수자 그룹을 재편성하는 단계는,
    상기 실전용 검수 태스크의 수행 결과의 정확도, 총 검수량 및 검수 시간 중 적어도 하나에 기초하여, 상기 복수의 검수자 그룹을 재편성하는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  7. 제1 항에 있어서,
    상기 복수의 검수자 그룹을 재편성하는 단계는,
    어느 하나의 검수자 그룹(A 그룹)으로 분류된 제1 검수자의 상기 개인 평가 점수가, 상기 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 높은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(B 그룹)의 그룹 평가 점수보다 높은 경우, 상기 제1 검수자는 A 그룹에서 B 그룹으로 재편성되고,
    어느 하나의 검수자 그룹(A 그룹)으로 분류된 제1 검수자의 상기 개인 평가 점수가, 상기 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 낮은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(C 그룹)의 그룹 평가 점수보다 낮은 경우, 상기 제1 검수자는 A 그룹에서 C 그룹으로 재편성되는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  8. 제1 항에 있어서,
    상기 복수의 검수자 그룹을 재편성하는 단계는,
    어느 하나의 검수자 그룹(A 그룹)으로 분류된 복수의 제1 검수자 중 최하위의 제1 검수자의 개인 평가 점수가, 상기 어느 하나의 검수자 그룹(A 그룹)의 그룹 평가 점수보다 낮은 그룹 평가 점수를 가진 다른 어느 하나의 검수자 그룹(B 그룹)으로 분류된 복수의 제1 검수자 중 최상위의 제1 검수자의 개인 평가 점수보다 낮은 경우, 상기 A 그룹의 최하위의 제1 검수자는 B 그룹으로 재편성되고, 상기 B 그룹의 최상위의 제1 검수자는 A 그룹으로 재편성되는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  9. 제8 항에 있어서,
    상기 복수의 검수자 그룹을 재편성하는 단계는,
    상기 복수의 제1 검수자 전체의 평균 검수 횟수 이상의 검수를 수행한 제1 검수자에 대해서 상기 복수의 검수자 그룹을 재편성하는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  10. 제8 항에 있어서,
    상기 복수의 검수자 그룹을 재편성하는 단계는,
    상기 복수의 제1 검수자 전체의 평균 검수 횟수 미만의 검수를 수행한 제1 검수자는 상기 제1 검수자의 검수량에 상응하여 상기 그룹 평가 점수가 낮은 검수자 그룹으로 재배치되는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  11. 제1 항에 있어서,
    상기 실전용 검수 태스크에 대한 보상을 제공하는 단계는,
    상기 재편성된 복수의 검수자 그룹 중 최상위 그룹에게 인센티브를 제공하고, 최하위 그룹에게 패널티를 제공하는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  12. 제1 항에 있어서,
    상기 실전용 검수 태스크에 대한 보상을 제공하는 단계는,
    상기 실전용 검수 태스크의 프로젝트와 동일 분야로 분류된 다른 프로젝트를 수행함에 있어서, 상기 재편성된 복수의 검수자 그룹 중 최상위 그룹을 다른 프로젝트의 복수의 검수자 그룹 중 최상위 그룹으로 배정시키는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법.
  13. 크라우드 소싱(Crowd Sourcing) 기반의 작업자가 수행한 작업 태스크(Task)의 수행 결과에 대한 검수를 하는 검수자의 평가 장치에 있어서,
    평가용 검수 태스크를 이용하여, 복수의 제1 검수자의 검수 능력을 평가하는 검수 능력 평가부;
    상기 복수의 제1 검수자의 검수 능력에 기초하여, 복수의 제1 검수자를 복수의 검수자 그룹으로 분류하는 그룹 분류부;
    상기 복수의 제1 검수자의 단말기에 실전용 검수 태스크를 송신하는 외부 송신부;
    상기 복수의 제1 검수자의 단말기로부터 상기 실전용 검수 태스크의 수행 결과를 수신하는 외부 수신부;
    복수의 제2 검수자의 단말기에 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 송신하는 내부 송신부;
    상기 복수의 제2 검수자의 단말기로부터 상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과를 수신하는 내부 수신부;
    상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹을 재편성하는 그룹 재편성부; 및
    상기 재편성된 복수의 검수자 그룹 별 상기 실전용 검수 태스크에 대한 보상을 제공하는 보상 제공부를 포함하고,
    상기 평가용 검수 태스크는,
    작업자가 수행한 복수의 작업 태스크 중 제2 검수자에 의하여 이미 검수가 완료된 작업 태스크 상의 검수 결과가 제외된 작업 태스크에 기초하여 생성되고, 상기 작업 태스크의 수행 소요 시간 및 반려율에 상응하여 소정의 검수 난이도가 결정되고, 낮은 검수 난이도부터 높은 검수 난이도 순서대로 상기 제1 검수자의 단말기에 송신되고,
    상기 내부 송신부는,
    상기 실전용 검수 태스크의 수행 결과 중 일부를 샘플링하고, 상기 샘플링된 실전용 검수 태스크의 수행 결과의 2차 검수 태스크를 내부 검수자의 단말기에 송신하고,
    상기 그룹 재편성부는,
    상기 실전용 검수 태스크의 수행 결과의 2차 검수 태스크의 수행 결과에 기초하여, 상기 복수의 검수자 그룹 각각의 그룹 평가 점수를 산출하고, 상기 복수의 제1 검수자 각각의 개인 평가 점수를 산출하고, 상기 그룹 평가 점수 및 상기 개인 평가 점수 중 적어도 하나에 기초하여, 상기 복수의 검수자 그룹을 재편성하는,
    크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 장치.
  14. 컴퓨터와 결합하여, 제1 항, 제3 항, 제5 항 내지 제12 항 중 어느 하나의 항의 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020190027896A 2019-03-12 2019-03-12 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치 KR102138574B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190027896A KR102138574B1 (ko) 2019-03-12 2019-03-12 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190027896A KR102138574B1 (ko) 2019-03-12 2019-03-12 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102138574B1 true KR102138574B1 (ko) 2020-08-12

Family

ID=72039012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027896A KR102138574B1 (ko) 2019-03-12 2019-03-12 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102138574B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044732A (ko) * 2000-12-06 2002-06-19 국 김 네트워크 기반의 번역 거래서비스 시스템
JP2004213147A (ja) * 2002-12-27 2004-07-29 Galileo:Kk 翻訳管理装置及び翻訳管理システム
KR20140056619A (ko) * 2012-10-30 2014-05-12 에스케이플래닛 주식회사 번역 서비스 제공장치 및 방법
KR20140095956A (ko) 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법
KR20170050617A (ko) * 2015-10-30 2017-05-11 (주)유미테크 크라우드 소싱 기반 지식 검증 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020044732A (ko) * 2000-12-06 2002-06-19 국 김 네트워크 기반의 번역 거래서비스 시스템
JP2004213147A (ja) * 2002-12-27 2004-07-29 Galileo:Kk 翻訳管理装置及び翻訳管理システム
KR20140056619A (ko) * 2012-10-30 2014-05-12 에스케이플래닛 주식회사 번역 서비스 제공장치 및 방법
KR20140095956A (ko) 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법
KR20170050617A (ko) * 2015-10-30 2017-05-11 (주)유미테크 크라우드 소싱 기반 지식 검증 시스템

Similar Documents

Publication Publication Date Title
KR102155790B1 (ko) 평균 반려율을 이용한 작업자 능숙도 측정 방법 및 장치
CN110991486A (zh) 多人协作图像标注质量控制的方法和装置
CN113283729B (zh) 一种企业数字化能力的评价方法及装置
CN102156907A (zh) 面向qa系统的质检方法
Obsie et al. Prediction of student academic performance using neural network, linear regression and support vector regression: a case study
Abuaddous et al. Accounting standards, goodwill impairment and earnings management in Malaysia
KR102195630B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 실습 교육 참여자에 대한 보상형 실습 교육 제공 방법
JP2019083055A (ja) 複合的ダイアディック又はマルチプルなカウンターパーティ関係を発見するために使用される多次元再帰的学習プロセス及びシステム
KR102232880B1 (ko) 인공지능 학습데이터 생성을 위한 이미지 또는 동영상 수집을 위한 크라우드소싱 기반 프로젝트의 검수자 평가 방법
CN106447144A (zh) 一种目标对象的评估方法及装置
KR102159578B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소에 따른 검수자의 검수 권한 부여 방법
Herraiz et al. Impact of installation counts on perceived quality: A case study on debian
KR102164769B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수 패스를 활용한 능숙도 측정 방법
KR102138574B1 (ko) 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치
Radiman et al. The Influence of Financial Literacy and Personal Financial Attitude on Financial Behavior with Lifestyle as an Intervening Variable on Productive Generation Y in Medan City
Sörqvist Effective methods for measuring the cost of poor quality
KR102195631B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법
CN115274113A (zh) 一种基于心理测评量表计分算法的评测系统
KR102155746B1 (ko) 검수자 간 샘플 검수를 통한 검수자 검증 방법
KR102159574B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과의 정확도 추정 및 관리 방법
KR102195608B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 오브젝트 반려율을 활용한 자동 반려 방법
Sillaber et al. Using business process model awareness to improve stakeholder participation in information systems security risk management processes
KR102138575B1 (ko) 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법
CN113327023A (zh) 穿行测试方法、装置、电子设备及计算机可读存储介质
KR102232910B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려 건수를 고려한 검수 평가 점수 산출 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant