KR102138575B1 - 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법 - Google Patents
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법 Download PDFInfo
- Publication number
- KR102138575B1 KR102138575B1 KR1020190027835A KR20190027835A KR102138575B1 KR 102138575 B1 KR102138575 B1 KR 102138575B1 KR 1020190027835 A KR1020190027835 A KR 1020190027835A KR 20190027835 A KR20190027835 A KR 20190027835A KR 102138575 B1 KR102138575 B1 KR 102138575B1
- Authority
- KR
- South Korea
- Prior art keywords
- task
- inspection
- inspector
- result
- work
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0283—Price estimation or determination
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법이 제공된다. 상기 방법은, 컴퓨터에 의해서 실행되는, 크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서, (a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, (b) 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계, (c) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계, 상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (d) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (e) 상기 검수자에게 반려 비용을 지급하는 단계, (f) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계, 상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (g) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (h) 제1 루프(Loop)를 출력하는 단계, (i) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, 및 (j) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함한다.
Description
본 발명은 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법에 관한 것이다.
최근, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드 소싱 기반으로 많은 양의 데이터를 수집 및 가공하는 기업이 늘고 있다. 기업은 일반 대중을 기업 활동의 일부 과정에 참여시킴으로써, 일반 대중이 참여한 업무를 하는 인력을 채용하지 않아도 되어 인력비를 절감할 수 있었다.
하지만, 기업 활동을 제대로 이해하지 못한 일반 대중이 기업 활동의 일부 과정으로서 데이터를 수집 및 가공을 하다 보니, 부적절하게 데이터가 수집 및 가공되는 일이 빈번하게 발생하였다. 기업은 부적절하게 데이터가 수집 및 가공되더라도, 크라우드 소싱에 참여한 사람들에게 보상을 해줘야 하는 문제점이 있었다. 또한, 크라우드 소싱을 통해서 데이터가 수집 및 가공이 된 후에 기업이 데이터의 적절성 여부를 판단해야 하는 문제점이 있었다.
따라서, 크라우드 소싱 기반으로 수집 및 가공된 데이터를 검수하는 검수자의 도입이 필요하게 되었고, 그에 따른, 검수자에 보상을 제공하는 방법이 필요하게 되었다.
본 발명이 해결하고자 하는 과제는 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법은, 컴퓨터에 의해서 실행되는, 크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서, (a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, (b) 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계, (c) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계, 상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (d) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (e) 상기 검수자에게 반려 비용을 지급하는 단계, (f) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계, 상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (g) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (h) 제1 루프(Loop)를 출력하는 단계, (i) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, 및 (j) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고, 상기 제1 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e) 및 상기 (f) 중 적어도 하나를 포함한다.
일부 실시예에서, 상기 반려 제한 횟수는, 상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다.
일부 실시예에서, 상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정된다.
일부 실시예에서, 상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액이다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법은, 컴퓨터에 의해서 실행되는, 크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서, (a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, (b) 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계, (c) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계, 상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (d) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (e) 상기 검수자에게 반려 비용을 지급하는 단계, (f) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계, 상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (g) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (h) 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는지를 판단하는 단계, 상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는 경우, (i) 제2 루프를 출력하고, 상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되지 않는 경우, (g) 상기 검수자에게 상기 작업 태스크를 할당하는 단계, (j) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, 및 (k) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고, 상기 제2 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e), 상기 (f) 및 상기 (h) 중 적어도 하나를 포함하다.
일부 실시예에서, 상기 반려 제한 횟수는, 상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다.
일부 실시예에서, 상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정된다.
일부 실시예에서, 상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액이다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법은, 컴퓨터에 의해서 실행되는, 크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서, (a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, (b) 검수 제한 시간 내에 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는지를 판단하는 단계, 상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는 경우, (c) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하고, 상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되지 않는 경우, (d) 다른 검수자에게 상기 검수 태스크를 할당하는 단계, (e) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계, 상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (f) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (g) 상기 검수자에게 반려 비용을 지급하는 단계, (h) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계, 상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (i) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (j) 제3 루프를 출력하는 단계, (k) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, 및 (l) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고, 상기 제3 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e), 상기 (f), 상기 (g) 및 상기 (h) 중 적어도 하나를 포함하고, 상기 (d)가 출력된 이후, 상기 (b)를 출력한다.
일부 실시예에서, 상기 반려 제한 횟수는, 상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다.
일부 실시예에서, 상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정된다.
일부 실시예에서, 상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액이다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법은, 컴퓨터에 의해서 실행되는, 크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서, (a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, (b) 검수 제한 시간 내에 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는지를 판단하는 단계, 상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는 경우, (c) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하고, 상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되지 않는 경우, (d) 다른 검수자에게 상기 검수 태스크를 할당하는 단계, (e) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계, 상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (f) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (g) 상기 검수자에게 반려 비용을 지급하는 단계, (h) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계, 상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (i) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (j) 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는지를 판단하는 단계, 상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는 경우, (k) 제4 루프를 출력하고, 상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되지 않는 경우, (i) 상기 검수자에게 상기 작업 태스크를 할당하는 단계, (l) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계, 및 (m) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고, 상기 제4 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e), 상기 (f), 상기 (g), 상기 (h) 및 상기 (j) 중 적어도 하나를 포함하고, 상기 (d)가 출력된 이후, 상기 (b)를 출력한다.
일부 실시예에서, 상기 반려 제한 횟수는, 상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다.
일부 실시예에서, 상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정된다.
일부 실시예에서, 상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액이다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법에 따르면, 작업 태스크의 수행 결과가 검수에 통과된 경우, 검수자에게 검수 비용을 지급하고, 작업 태스크의 수행 결과가 검수에 반려된 경우, 검수자에게 반려 비용을 지급할 수 있어서, 작업 태스크의 수행 결과에 대해 반려를 판단한 검수자에게도 보상이 제공될 수 있다.
또한, 반려 횟수가 반려 제한 횟수와 동일한 경우, 검수자에게 작업 태스크를 할당하고, 검수자에게 작업 비용을 제공함으로써, 작업자에 의한 계속되는 작업 태스크의 수행 결과의 품질 저하를 방지하고, 작업 태스크에 보다 능숙한 검수자에게 작업 태스크를 할당하고, 그에 대한 보상을 검수자에게 제공할 수 있다.
또한, 작업 제한 시간 내 작업 태스크의 수행 결과가 수신되는지를 판단하고, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되지 않는 경우, 검수자에게 작업 태스크를 할당하여, 작업자에 의한 계속되는 작업 태스크의 수행의 속도 저하를 방지하고, 작업 태스크에 보다 능숙한 검수자에게 작업 태스크를 할당하고, 그에 대한 보상을 검수자에게 제공할 수 있다.
또한, 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는지를 판단하고, 검수 제한 시간 내에 검수 태스크의 수행 결과가 수신되지 않는 경우, 다른 검수자에게 검수 태스크를 할당하여, 검수자에 의한 계속되는 검수 태스크의 수행의 속도 저하를 방지할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개념도이다.
도 2는 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개략적인 순서도이다.
도 3은 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 5는 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 6은 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 7은 검수 태스크의 수행 결과의 예시도이다.
도 8은 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 장치의 개략적인 순서도이다.
도 2는 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개략적인 순서도이다.
도 3은 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 5는 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 6은 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 7은 검수 태스크의 수행 결과의 예시도이다.
도 8은 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 장치의 개략적인 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개념도이다.
도 1을 참조하면, 도 1을 참조하면, 고객이 플랫폼에 크라우드 소싱 기반의 프로젝트(이하, 프로젝트)를 의뢰하고, 작업자 및 외부 검수자(도 1 내지 도 2의 "외부 검수자"는 도 3 내지 도 8의 설명에서 "검수자"라고 기재됨.)가 플랫폼에 접속하여 프로젝트에 참여한다.
고객은 소스 데이터의 수집 또는 데이터 어노테이션 등을 목적으로 프로젝트를 플랫폼에 의뢰한다. 소스 데이터의 수집은, 녹음된 음성 수집, 사진 수집 등 가공되지 않은 데이터를 수집하는 것을 의미한다. 데이터 어노테이션은 텍스트, 사진, 비디오 등의 소스 데이터에 관련 주석 데이터를 입력하는 것을 의미한다. 예들 들어, 데이터 어노테이션은 주어진 지문에서 개체를 찾는 것, 유사한 문장을 찾는 것 등이 있을 수 있으나 이에 제한되지 않는다.
관리자는 플랫폼의 전체를 관리하는 운영자를 의미한다. 플랫폼은 크라우드 소싱 기반의 프로젝트가 운영되는 시스템(즉, 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 장치)이다. 관리자은 고객이 의뢰한 프로젝트에 상응하여, 프로젝트 수행과 관련된 가이드, 템플릿 등을 생성하고, 플랫폼에 프로젝트를 오픈한다.
작업자는 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중이다. 작업자는 플랫폼에 오픈된 프로젝트를 확인하고, 프로젝트 상의 소스 데이터의 수집 또는 데이터 어노테이션 등의 작업 태스크를 수행하고, 플랫폼에 전송한다.
외부 검수자는 플랫폼에 오픈된 프로젝트에 참여하는 일반 대중이다. 외부 검수자는 작업자가 수행한 작업 태스크를 확인하고, 작업 태스크의 검수를 수행한다. 외부 검수자는 검수 수행 결과로서, 작업 태스크를 통과 또는 반려를 할 수 있고, 검수자 의견을 기입할 수도 있다.
내부 검수자는 플랫폼을 운영하고 있는 관리자가 고용한 크라우드 소싱 분야의 전문가이다. 내부 검수자는 외부 검수자가 수행한 검수 태스크를 검수할 수 있고, 경우에 따라 작업자가 수행한 작업 태스크를 검수할 수 있다. 또한, 내부 검수자는, 외부 검수자를 평가하는 평가용 검수 태스크를 생성하는 작업을 할 수 있다.
도 2는 검수자를 포함하는 크라우드 소싱 기반의 프로젝트의 수행을 보여주는 개략적인 순서도이다.
도 2를 참조하면, 고객이 플랫폼에 프로젝트를 의뢰하고, 작업자 및 외부 검수자가 플랫폼에 접속하여 프로젝트에 참여한다.
고객은 플랫폼에 프로젝트를 의뢰한다. 플랫폼의 관리자는 고객이 의뢰한 프로젝트를 검토한 후 프로젝트를 오픈한다.
작업자는 단말기를 이용하여 플랫폼에 접속하여 프로젝트를 확인하고, 프로젝트 상의 작업 태스크를 수행한다. 작업 태스크는 작업자가 수행하는 작업으로서, 작업자가 수행하게 될 작업에 대한 가이드를 함께 제공한다. 작업자는 작업 태스크의 수행 결과를 플랫폼에 송신한다.
외부 검수자는 단말기를 이용하여 플랫폼에 접속하여 검수 태스크를 확인하고, 검수 태스크를 수행한다. 검수 태스크는 외부 검수자가 수행하는 검수로서, 외부 검수자가 수행하게 될 검수에 대한 가이드를 함께 제공한다. 외부 검수자는 검수 태스크의 수행 결과를 플랫폼에 송신한다. 외부 검수자는 작업 태스크의 품질에 따라 작업 태스크를 통과시킬 수도 있고, 반려시킬 수도 있다. 작업 태스크가 통과될 경우, 외부 검수자는 검수 비용을 지급받고, 작업자는 작업 비용을 지급받는다. 반면, 작업 태스크가 반려될 경우, 작업자는 플랫폼으로부터 재작업 태스크 수행을 요청받고, 작업자는 재작업 태스크를 수행한다. 재작업 태스크 수행 결과에 대해서는 외부 검수자가 다시 검수를 수행한다.
외부 검수자가 검수 태스크를 수행하는 방법(도 2 상의 점선 부분)은, 기존의 크라우드 소싱 기반의 플랫폼에서는 수행되지 않는 방법이다. 외부 검수자가 검수 태스크를 수행하는 방법을 크라우드 소싱 기반의 플랫폼에 도입함으로써, 고객이 의뢰한 프로젝트의 결과에 대한 품질을 높일 수 있다. 따라서, 외부 검수자가 검수 태스크를 수행하는 방법을 크라우드 소싱 기반의 플랫폼에 도입함에 있어서, 외부 검수자의 검수 비용을 적절히 산출하여 외부 검수자에게 검수 비용을 지급하는 방법이 필요하게 되었다. 이하, 외부 검수자의 검수 비용을 산출하는 방법이 설명된다.
도 3은 본 발명의 일 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 3을 참조하면, 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법은, 검수자가 작업 태스크의 수행 결과를 검수하고, 검수 결과에 따라 작업자 또는 검수자에게 비용을 지급하고, 반려 제한 횟수만큼 작업 태스크의 반려를 한 경우, 검수자가 작업 태스크를 수행하여, 작업자에게만 비용을 지급하는 방법이다.
단계 (a)에서, 작업자의 단말기로부터 작업 태스크의 수행 결과가 수신된다. 작업자는 플랫폼에서 프로젝트 상의 작업 태스크를 확인하고, 작업 태스크를 수행한다. 작업자는 단말기를 이용하여 작업 태스크의 수행 결과를 플랫폼에 송신한다.
단계 (b)에서, 검수자의 단말기로부터 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신된다. 검수자는 플랫폼에서 프로젝트 상의 작업 태스크의 수행 결과를 확인하고, 작업 태스크의 수행 결과에 대한 검수 태스크를 수행한다. 검수자는 단말기를 이용하여 검수 태스크의 수행 결과를 플랫폼에 송신한다.
단계 (c)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 검수 통과 여부가 결정된다. 검수자는 검수 태스크의 수행 결과로서, 작업 태스크의 수행 결과의 통과 또는 작업 태스크의 수행 결과의 반려를 플랫폼에 송신한다. 플랫폼은 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과가 통과인지 반려인지를 결정한다.
단계 (c)에서, 작업 태스크의 수행 결과가 검수에 통과된 경우, 단계 (d)에서, 작업자에게 제1 작업 비용을 지급하고, 검수자에게 검수 비용이 지급된다. 제1 작업 비용은 작업 태스크의 수행 결과에 대한 보상으로서, 작업자에게 지급되는 비용이다. 검수 비용은 검수 태스크의 수행 결과에 대한 보상으로서, 작업 태스크가 통과된 경우 검수자에게 지급되는 비용이다. 보통의 경우, 작업 태스크를 수행하는 데 소요되는 시간이 검수 태스크를 수행하는 데 소요되는 시간보다 길기 때문에, 제1 작업 비용은 검수 비용보다 크거나 같은 금액일 수 있다.
반면, 단계 (c)에서, 작업 태스크의 수행 결과가 검수에 반려된 경우, 단계 (e)에서, 검수자에게 반려 비용이 지급된다. 반려 비용은 검수 태스크의 수행 결과에 대한 보상으로서, 작업 태스크가 반려된 경우 검수자에게 지급되는 비용이다. 반려 비용은 검수자가 작업 태스크의 수행 결과를 반려할 때마다 곧바로 검수자에게 지급되는 비용이다. 작업자에게 지급되는 비용은 작업 태스크의 수행 결과가 통과될 경우 지급된다. 하지만, 검수자에게 지급되는 비용이 작업 태스크의 수행 결과가 통과될 경우 작업자에게 지급되는 비용과 동시에 지급된다면, 검수자는 작업 태스크의 수행 결과의 품질이 낮더라도 반려를 하지 않고 통과를 할 가능성이 있다. 따라서, 검수자에게 지급되는 비용을 검수 비용과 반려 비용으로 분류하고, 검수 비용은 작업 태스크의 수행 결과가 통과된 경우 지급되게 하고, 반려 비용은 작업 태스크의 수행 결과가 반려된 경우 지급되게 하여, 검수자가 작업 태스크의 수행 결과의 품질을 적극적이고 공정하게 평가할 수 있게 한다.
단계 (f)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 반려 횟수가 카운트된다. 또한, 카운트된 반려 횟수에 기초하여, 반려 횟수가 반려 제한 횟수 미만인지가 판단된다.
반려 제한 횟수는 검수자가 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과로서, 반려를 할 수 있는 횟수이다. 검수자가 작업 태스크의 수행 결과를 반려한 경우, 플랫폼은 해당 반려된 작업 태스크를 수행한 작업자에게 재작업 요청을 한다. 작업자는 재작업을 원할 경우, 재작업 태스크를 수행한다. 그 이후, 검수자는 재작업 태스크의 수행 결과에 대해 재검수를 한다. 이와 같은 과정이 반복되어 반려 횟수가 누적되고, 플랫폼은 반려 횟수가 반려 제한 횟수 미만인지를 판단한다.
반려 제한 횟수는 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다. 반려 제한 횟수는, 작업 태스크의 난이도가 높을수록, 크고, 작업 태스크의 난이도가 낮을수록, 작을 수 있다. 작업 태스크의 난이도는 플랫폼의 관리자 또는 내부 검수자에 의해서 결정될 수 있다. 또는, 작업 태스크의 난이도는 복수의 작업자가 작업 태스크를 수행한 평균 시간에 상응하여 결정될 수 있다. 작업자가 작업 태스크를 수행한 시간이 길수록, 작업 태스크의 난이도는 높고, 작업자가 작업 태스크를 수행한 시간이 짧을수록, 작업 태스크의 난이도는 낮아질 수 있다. 또한, 반려 제한 횟수는 작업 태스크의 형태가 단순한지 복잡한지에 따라 결정될 수 있다. 형태가 단순한 작업 태스크는 작업자가 단순한 소스 데이터를 수집하는 형태일 수 있다. 또한, 형태가 복잡한 작업 태스크는 작업자가 플랫폼으로부터 받은 작업을 가공해야 하는 데이터 어노테이션 같은 작업의 형태일 수 있다. 반려 제한 횟수는 작업 태스크의 형태가 단순할수록 작고, 작업 태스크의 형태가 복잡할수록 클 수 있다.
단계 (e)의 반려 비용은 검수 비용 및 반려 제한 횟수에 기초하여 결정된다. 반려 비용은 검수자가 작업 태스크의 수행 결과를 반려할 때마다 지급되는 비용으로서, 검수 비용을 반려 제한 횟수로 나눈 값의 비용일 수 있다. 따라서, 작업 태스크의 수행 결과가 반려 제한 횟수만큼 반려되는 경우, 검수자는 검수 비용만큼의 비용을 복수의 반려 비용으로 지급받게 된다.
단계 (f)에서, 반려 횟수가 반려 제한 횟수와 동일해지는 경우, 단계 (g)에서, 검수자에게 작업 태스크가 할당된다. 검수자는 일반 대중이지만, 크라우드 소싱 분야에 능숙하기 때문에, 작업 태스크를 능숙하게 할 수 있다. 따라서, 작업자가 계속해서 작업 태스크를 잘 못 수행하는 경우, 플랫폼은 검수자에게 작업 태스크를 할당한다.
반면, 단계 (f)에서, 반려 횟수가 반려 제한 횟수 미만인 경우, 단계 (h)에서, 제1 루프(Loop)가 출력된다. 제1 루프는 단계 (a), 단계 (b), 단계 (c), 단계 (d), 단계 (e) 및 단계 (f) 중 적어도 하나를 포함한다. 즉, 반려 횟수가 반려 제한 횟수 미만인 경우, 작업 태스크의 수행 결과를 수신하고, 검수 태스크의 수행 결과를 수신하고, 작업 태스크의 수행 결과가 검수 통과한지를 판단하여, 검수에 통과된 경우, 제1 작업 비용 및 검수 비용을 지급할 수 있다. 또는, 작업 태스크의 수행 결과를 수신하고, 검수 태스크의 수행 결과를 수신하고, 작업 태스크의 수행 결과가 검수 통과한지를 판단하여, 검수에 반려된 경우, 반려 비용을 지급하고, 반려 횟수를 카운트하고, 반려 횟수가 반려 제한 횟수 미만인지를 다시 판단한다.
단계 (i)에서, 검수자의 단말기로부터 작업 태스크의 수행 결과가 수신된다. 검수자는 자신에게 할당된 작업 태스크를 확인하고, 작업 태스크를 수행한 후 플랫폼에 작업 태스크의 수행 결과를 송신한다. 검수자는 작업 태스크를 검수하면서, 작업 태스크의 수행을 어떻게 해야하는지 파악할 수 있다. 따라서, 검수자는 자신에게 반려된 작업 태스크가 할당되었을 때 다소 수월하게 작업 태스크를 수행할 수 있다.
단계 (j)에서, 검수자에게 제2 작업 비용이 지급된다. 제2 작업 비용은 반려된 작업 태스크의 수행 결과에 대한 보상으로서, 검수자에게 지급되는 비용이다. 제2 작업 비용은 단계 (d)에서 검수자에게 지급되는 검수 비용과 동일한 금액일 수 있다. 검수 비용은 제1 작업 비용보다 작거나 같기 때문에, 제2 작업 비용 또한 작업자에게 지급되는 제1 작업 비용보다 작거나 같다.
검수자는 반려 비용으로서 작업 태스크를 반려할 때마다 검수 비용을 반려 제한 횟수로 나눈 금액을 지급받으므로, 검수자가 총 받게 되는 금액은 총 반려 비용의 금액과 제2 작업 비용의 금액으로서, 검수 비용의 금액의 두 배가 될 수 있다.
검수자가 송신한 작업 태스크의 수행 결과는 내부 검수자에 의해서 검수될 수 있다. 검수자는 작업 태스크에 다소 능숙할 수 있으나, 전문성은 없는 일반 대중일 뿐이기 때문에 작업 태스크를 수행함에 있어서, 잘못된 점이 있을 수 있다. 따라서, 검수자가 수행한 작업 태스크의 수행 결과는 작업 태스크의 전문가인 내부 검수자에 의해서 검수될 수 있다. 내부 검수자가 작업 태스크의 수행 결과를 검수한 결과 작업 태스크의 수행 결과가 통과된 경우, 검수자에게 제2 작업 비용이 지급되고, 작업 태스크의 수행 결과가 반려된 경우, 검수자에게 제2 작업 비용이 지급되지 않을 수 있다.
도 4는 본 발명의 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 4를 참조하면, 도 3의 방법에 작업 제한 시간 내 작업 태스크의 수행 결과가 수신되는지를 판단하는 단계가 추가된 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법이다. 이하, 작업 제한 시간 내 작업 태스크의 수행 결과가 수신되는지를 판단하는 단계에 대해서 자세히 설명하고, 도 3을 참조하여 설명한 다른 단계의 각각의 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략한다.
단계 (a)에서, 작업자의 단말기로부터 작업 태스크의 수행 결과가 수신된다.
단계 (b)에서, 검수자의 단말기로부터 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신된다.
단계 (c)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 검수 통과 여부가 결정된다.
단계 (c)에서, 작업 태스크의 수행 결과가 검수에 통과된 경우, 단계 (d)에서, 작업자에게 제1 작업 비용이 지급되고, 검수자에게 검수 비용이 지급된다.
반면, 단계 (c)에서, 작업 태스크의 수행 결과가 검수에 반려된 경우, 단계 (e)에서, 검수자에게 반려 비용이 지급된다. 반려 비용은 검수 비용 및 반려 제한 횟수에 기초하여 결정된다.
단계 (f)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 반려 횟수가 카운트된다. 또한, 반려 횟수가 반려 제한 횟수 미만인지 판단된다. 반려 제한 횟수는 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다.
단계 (f)에서 반려 횟수가 반려 제한 횟수와 동일해지는 경우, 단계 (g)에서, 검수자에게 작업 태스크가 할당된다.
반면, 단계 (f)에서, 반려 횟수가 반려 제한 횟수 미만인 경우, 단계 (h)에서, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는지 판단된다.
작업 제한 시간은 작업자가 작업 태스크를 재작업할 수 있는 시간을 사전에 결정한 시간이다. 플랫폼은 작업 태스크의 수행 결과가 반려되어 작업자에게 작업 태스크의 재작업이 요청된 시점으로부터 시간을 카운트하여 작업 제한 시간 내에 작업자의 단말기로부터 작업 태스크의 수행 결과가 수신되는지를 판단한다.
플랫폼은 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 작업 제한 시간을 결정할 수 있다. 즉, 작업 태스크의 난이도가 높을수록 작업 제한 시간은 길어지고, 작업 태스크의 난이도가 낮을수록 작업 제한 시간은 짧아질 수 있다. 또한, 작업 태스크의 형태가 복잡할수록 작업 제한 시간은 길어지고, 작업 태스크의 형태가 단순할수록 작업 제한 시간은 짧아질 수 있다.
반면, 단계 (f)에서, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는 경우, 단계 (i)에서, 제2 루프가 출력된다. 제2 루프는 단계 (a), 단계 (b), 단계 (c), 단계 (d), 단계 (e), 단계 (f) 및 단계 (h) 중 적어도 하나를 포함한다. 즉, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는 경우, 작업 태스크의 수행 결과를 수신하고, 검수 태스크의 수행 결과를 수신하고, 작업 태스크의 수행 결과가 검수 통과되는지를 판단하여, 검수에 통과된 경우, 제1 작업 비용 및 검수 비용을 지급할 수 있다. 또는, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는 경우, 작업 태스크의 수행 결과를 수신하고, 검수 태스크의 수행 결과를 수신하고, 작업 태스크의 수행 결과가 검수 통과되는지를 판단하여, 검수에 반려된 경우, 반려 비용을 지급하고, 반려 횟수를 카운트하고, 반려 횟수가 반려 제한 횟수 미만인지를 판단하고, 반려 횟수가 반려 제한 횟수와 동일한 경우 검수자에게 작업 태스크를 할당하고, 반려 횟수가 반려 제한 횟수 미만인 경우, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는지를 다시 판단한다.
단계 (h)에서, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되지 않는 경우, 단계 (g)에서, 검수자에게 작업 태스크가 할당된다.
단계 (j)에서, 상기 검수자의 단말기로부터 작업 태스크의 수행 결과가 수신된다.
단계 (k)에서, 검수자에게 제2 작업 비용이 지급된다. 검수 비용 및 제2 작업 비용은 동일한 금액이다.
도 5는 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 5를 참조하면, 도 3의 방법에 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는지를 판단하는 단계가 추가된 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법이다. 이하, 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는지를 판단하는 단계에 대해서 자세히 설명하고, 도 3을 참조하여 설명한 다른 단계의 각각의 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략한다.
단계 (a)에서, 작업자의 단말기로부터 작업 태스크의 수행 결과가 수신된다.
단계 (b)에서, 검수 제한 시간 내에 검수자의 단말기로부터 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는지 판단된다.
검수 제한 시간은 검수자가 검수 태스크를 할 수 있는 시간을 사전에 결정한 시간이다. 플랫폼은 검수자에게 검수 태스크가 할당된 시점으로부터 시간을 카운트하여 검수 제한 시간 내에 검수자의 단말기로부터 검수 태스크의 수행 결과가 수신되는지를 판단한다.
플랫폼은 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 검수 제한 시간을 결정할 수 있다. 작업 태스크의 난이도가 높을수록 검수 태스크의 난이도 또한 높을 수 있고, 작업 태스크의 난이도가 낮을수록 검수 태스크의 난이도 또한 낮을 수 있다. 또한, 작업 태스크의 형태가 복잡할수록 검수 태스크의 형태 또한 복잡할 수 있고, 작업 태스크의 형태가 단순할수록 검수 태스크의 형태 또한 단순할 수 있다. 따라서, 작업 태스크의 난이도가 높을수록 검수 제한 시간은 길어지고, 작업 태스크의 난이도가 낮을수록 검수 제한 시간은 짧아질 수 있다. 또한, 작업 태스크의 형태가 복잡할수록 검수 제한 시간은 길어지고, 작업 태스크의 형태가 단순할수록 검수 제한 시간은 짧아질 수 있다.
단계 (b)에서, 검수 제한 시간 내에 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는 경우, 단계 (c)에서, 검수자의 단말기로부터 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신된다.
반면, 단계 (b)에서, 검수 제한 시간 내에 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되지 않는 경우, 단계 (d)에서, 다른 검수자에게 검수 태스크가 할당된다. 플랫폼은 다른 검수자에게 검수 태스크가 할당된 경우, 다른 검수자에게도 단계 (b)를 적용시켜, 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는지를 판단할 수 있다.
단계 (e)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 검수 통과 여부가 결정된다.
단계 (e)에서, 작업 태스크의 수행 결과가 검수에 통과된 경우, 단계 (f)에서, 작업자에게 제1 작업 비용이 지급되고, 검수자에게 검수 비용이 지급된다.
반면, 단계 (e)에서, 작업 태스크의 수행 결과가 검수에 반려된 경우, 단계 (g)에서, 검수자에게 반려 비용이 지급된다. 반려 비용은 검수 비용 및 반려 제한 횟수에 기초하여 결정된다.
단계 (h)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 반려 횟수가 카운트된다. 반려 횟수가 반려 제한 횟수 미만인지 판단된다. 반려 제한 횟수는 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다.
단계 (h)에서, 반려 횟수가 반려 제한 횟수와 동일해지는 경우, 단계 (i)에서, 검수자에게 작업 태스크가 할당된다.
단계 (h)에서, 반려 횟수가 반려 제한 횟수 미만인 경우, 단계 (j)에서, 제3 루프가 출력된다.
제3 루프는, 단계 (a), 단계 (b), 단계 (c), 단계 (d), 단계 (e), 단계 (f), 단계 (g) 및 단계 (h) 중 적어도 하나를 포함한다. 즉, 반려 횟수가 반려 제한 횟수 미만인 경우, 작업 태스크의 수행 결과를 수신하고, 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되지 않는 경우 다른 검수자에게 검수 태스크를 할당하고, 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는 경우, 검수 태스크의 수행 결과를 수신하고, 작업 태스크의 수행 결과가 검수 통과되는지를 판단하여, 검수에 통과된 경우, 제1 작업 비용 및 검수 비용을 지급할 수 있다. 또는, 반려 횟수가 반려 제한 횟수 미만인 경우, 작업 태스크의 수행 결과를 수신하고, 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되지 않는 경우 다른 검수자에게 검수 태스크를 할당하고, 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는 경우, 검수 태스크의 수행 결과를 수신하고, 작업 태스크의 수행 결과가 검수 통과되는지를 판단하여, 검수에 반려된 경우, 반려 비용을 지급하고, 반려 횟수를 카운트하고, 반려 횟수가 반려 제한 횟수 미만인지를 다시 판단한다.
단계 (k)에서, 검수자의 단말기로부터 작업 태스크의 수행 결과가 수신된다.
단계 (l)에서, 검수자에게 제2 작업 비용이 지급된다. 검수 비용 및 제2 작업 비용은 동일한 금액이다.
도 6은 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법의 개략적인 순서도이다.
도 6을 참조하면, 도 3의 방법에 작업 제한 시간 내 작업 태스크의 수행 결과가 수신되는지를 판단하는 단계 및 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는지를 판단하는 단계가 추가된 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법이다. 이하, 도 3 내지 도 5를 참조하여 설명한 단계의 각각의 구성요소의 기능 또는 동작을 설명함에 있어서 중복된 설명은 생략한다.
단계 (a)에서, 작업자의 단말기로부터 작업 태스크의 수행 결과가 수신된다.
단계 (b)에서, 검수 제한 시간 내에 검수자의 단말기로부터 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는지 판단된다.
단계 (b)에서, 검수 제한 시간 내에 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는 경우, 단계 (c)에서, 검수자의 단말기로부터 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신된다.
반면, 단계 (b)에서, 검수 제한 시간 내에 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되지 않는 경우, 단계 (d)에서, 다른 검수자에게 검수 태스크가 할당된다. 플랫폼은 단계(d)를 출력한 이후, 단계 (b)를 출력한다.
단계 (e)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 검수 통과 여부가 결정된다.
단계 (e)에서, 작업 태스크의 수행 결과가 검수에 통과된 경우, 단계 (f)에서, 작업자에게 제1 작업 비용이 지급되고, 검수자에게 검수 비용이 지급된다.
반면, 단계 (e)에서, 작업 태스크의 수행 결과가 검수에 반려된 경우, 단계 (g)에서, 검수자에게 반려 비용이 지급된다. 반려 비용은 검수 비용 및 반려 제한 횟수에 기초하여 결정된다.
단계 (h)에서, 검수 태스크의 수행 결과에 기초하여, 작업 태스크의 수행 결과의 반려 횟수가 카운트된다. 반려 횟수가 반려 제한 횟수 미만인지 판단된다. 반려 제한 횟수는 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정된다.
단계 (h)에서, 반려 횟수가 반려 제한 횟수와 동일해지는 경우, 단계 (i)에서, 검수자에게 작업 태스크가 할당된다.
단계 (h)에서, 반려 횟수가 반려 제한 횟수 미만인 경우, 단계 (j)에서, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는지 판단된다.
단계 (j)에서, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는 경우, 단계 (k)에서, 제4 루프가 출력된다. 제4 루프는, 단계 (a), 단계 (b), 단계 (c), 단계 (d), 단계 (e), 단계 (f), 단계 (g), 단계 (h) 및 단계 (j) 중 적어도 하나를 포함한다.
반면, 단계 (j)에서, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되지 않는 경우, 단계 (i)에서, 검수자에게 작업 태스크가 할당된다.
단계 (l)에서, 검수자의 단말기로부터 작업 태스크의 수행 결과가 수신된다.
단계 (m)에서, 검수자에게 제2 작업 비용이 지급된다. 검수 비용 및 제2 작업 비용은 동일한 금액이다.
도 7은 검수 태스크의 수행 결과의 예시도이다.
도 7을 참조하면, 검수 태스크 중 하나의 예로서 개체 찾기의 작업 태스크에 대해 검수가 수행된 결과이다.
개체 찾기는 작업자가 특정 지문을 보고, 지문 상에 있는 단어들 중에서 개체에 해당하는 단어에 태킹을 하는 작업 태스크이다. 개체는 기관, 인물, 인공물 등 일 수 있다.
먼저, 작업자가 수행하는 작업 태스크의 과정이 설명된다. 작업자는 작업 태스크의 지문 상의 “맵더소울”, “힙합플레이야”, “데모”를 태깅한다. 작업자는 “맵더소울”, “힙합플레이야”, “데모”를 이미 알고 있는 상식에 의해 개체라고 판단할 수 있고, 지문의 문맥상 개체라고 판단할 수 있다. 작업자는 작업 태스크의 수행 결과를 플랫폼에 송신한다.
이후, 검수자는 작업 태스크의 수행 결과를 검수 태스크로 전송받는다. 검수자는 태킹된 단어에 대해서, 개체가 맞는지를 판단하여, 태깅된 단어가 개체인 경우, 해당 검수 태스크를 통과시키고, 태깅된 단어가 개체가 아닌 경우, 해당 검수 태스크를 반려한다. 검수자는 경우에 따라 검수자 의견에 통과 또는 반려 이유를 기록할 수 있다. 예를 들어, 검수자는 검수자 의견에 태깅된 단어가 개체인지를 기록할 수 있다. 도 7의 예에서는 검수자가 “데모”가 개체가 아니라는 검수자 의견을 기록하고, 검수 태스크를 반려할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 장치의 개략적인 순서도이다.
도 8을 참조하면, 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 장치는, 통신부(110), 판단부(120), 할당부(130), 지급부(140), 제어부(150) 및 저장부(160)를 포함한다.
통신부(110)는 고객의 단말기, 작업자의 단말기 및 검수자의 단말기 중 적어도 하나와 통신하여, 데이터를 송수신한다.
판단부(120)는 검수 비용 산출 시 특정 입력값이 소정의 기준에 부합하는지를 판단한다. 예를 들어, 판단부는 검수 제한 시간 내 검수 태스크의 수행 결과가 수신되는지를 판단하고, 작업 태스크의 수행 결과가 검수를 통과하는지를 판단하고, 반려 횟수가 반려 제한 횟수 미만인지를 판단하고, 작업 제한 시간 내에 작업 태스크의 수행 결과가 수신되는지를 판단한다.
할당부(130)는 작업자에게 작업 태스크 및 재작업 태스크를 할당하고, 검수자에게 검수 태스크 및 재검수 태스크를 할당한다.
지급부(140)는 작업자에게 제1 작업 비용을 지급하고, 검수자에게 검수 비용, 반려 비용 및 제2 작업 비용 중 적어도 하나를 지급한다.
제어부(150)는 플랫폼의 구성 요소 각각을 제어한다.
저장부(160)는 플랫폼에 수신된 데이터 및 플랫폼에서 생성된 데이터 등을 저장 및 관리한다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
110 : 통신부
120 : 판단부
130 : 할당부
140 : 지급부
150 : 제어부
160 : 저장부
120 : 판단부
130 : 할당부
140 : 지급부
150 : 제어부
160 : 저장부
Claims (17)
- 컴퓨터에 의해서 실행되는,
크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서,
(a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계;
(b) 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계;
(c) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계;
상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (d) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (e) 상기 검수자에게 반려 비용을 지급하는 단계;
(f) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계;
상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (g) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (h) 제1 루프(Loop)를 출력하는 단계;
(i) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계; 및
(j) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고,
상기 제1 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e) 및 상기 (f) 중 적어도 하나를 포함하고,
상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정되고,
상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액인,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 제1 항에 있어서,
상기 반려 제한 횟수는,
상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정되는,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 삭제
- 삭제
- 컴퓨터에 의해서 실행되는,
크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서,
(a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계;
(b) 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하는 단계;
(c) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계;
상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (d) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (e) 상기 검수자에게 반려 비용을 지급하는 단계;
(f) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계;
상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (g) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (h) 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는지를 판단하는 단계;
상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는 경우, (i) 제2 루프를 출력하고, 상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되지 않는 경우, (g) 상기 검수자에게 상기 작업 태스크를 할당하는 단계;
(j) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계; 및
(k) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고,
상기 제2 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e), 상기 (f) 및 상기 (h) 중 적어도 하나를 포함하고,
상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정되고,
상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액인,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 제5 항에 있어서,
상기 반려 제한 횟수는,
상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정되는,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 삭제
- 삭제
- 컴퓨터에 의해서 실행되는,
크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서,
(a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계;
(b) 검수 제한 시간 내에 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는지를 판단하는 단계;
상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는 경우, (c) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하고, 상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되지 않는 경우, (d) 다른 검수자에게 상기 검수 태스크를 할당하는 단계;
(e) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계;
상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (f) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (g) 상기 검수자에게 반려 비용을 지급하는 단계;
(h) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계;
상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (i) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (j) 제3 루프를 출력하는 단계;
(k) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계; 및
(l) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고,
상기 제3 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e), 상기 (f), 상기 (g) 및 상기 (h) 중 적어도 하나를 포함하고,
상기 (d)가 출력된 이후, 상기 (b)를 출력하고,
상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정되고,
상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액인,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 제9 항에 있어서,
상기 반려 제한 횟수는,
상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정되는,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 삭제
- 삭제
- 컴퓨터에 의해서 실행되는,
크라우드 소싱(Crowd Sourcing) 기반의 작업 태스크(Task)의 수행 결과에 대해 검수하는 검수자의 보상 산출 방법에 있어서,
(a) 작업자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계;
(b) 검수 제한 시간 내에 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는지를 판단하는 단계;
상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되는 경우, (c) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과를 수신하고, 상기 검수 제한 시간 내에 상기 작업 태스크의 수행 결과에 대한 검수 태스크의 수행 결과가 수신되지 않는 경우, (d) 다른 검수자에게 상기 검수 태스크를 할당하는 단계;
(e) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 검수 통과 여부를 결정하는 단계;
상기 작업 태스크의 수행 결과가 상기 검수에 통과된 경우, (f) 상기 작업자에게 제1 작업 비용을 지급하고, 상기 검수자에게 검수 비용을 지급하고, 상기 작업 태스크의 수행 결과가 상기 검수에 반려된 경우, (g) 상기 검수자에게 반려 비용을 지급하는 단계;
(h) 상기 검수 태스크의 수행 결과에 기초하여, 상기 작업 태스크의 수행 결과의 반려 횟수를 카운트하고, 상기 반려 횟수가 반려 제한 횟수 미만인지를 판단하는 단계;
상기 반려 횟수가 상기 반려 제한 횟수와 동일해지는 경우, (i) 상기 검수자에게 상기 작업 태스크를 할당하고, 상기 반려 횟수가 상기 반려 제한 횟수 미만인 경우, (j) 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는지를 판단하는 단계;
상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되는 경우, (k) 제4 루프를 출력하고, 상기 작업 제한 시간 내에 상기 작업 태스크의 수행 결과가 수신되지 않는 경우, (i) 상기 검수자에게 상기 작업 태스크를 할당하는 단계;
(l) 상기 검수자의 단말기로부터 상기 작업 태스크의 수행 결과를 수신하는 단계; 및
(m) 상기 검수자에게 제2 작업 비용을 지급하는 단계를 포함하고,
상기 제4 루프는, 상기 (a), 상기 (b), 상기 (c), 상기 (d), 상기 (e), 상기 (f), 상기 (g), 상기 (h) 및 상기 (j) 중 적어도 하나를 포함하고,
상기 (d)가 출력된 이후, 상기 (b)를 출력하고,
상기 반려 비용은, 상기 검수 비용 및 상기 반려 제한 횟수에 기초하여 결정되고,
상기 검수 비용 및 상기 제2 작업 비용은 동일한 금액인,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 제13 항에 있어서,
상기 반려 제한 횟수는,
상기 작업 태스크의 난이도 및 형태 중 적어도 하나에 기초하여 결정되는,
크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법. - 삭제
- 삭제
- 컴퓨터와 결합하여, 제1 항, 제2 항, 제5 항, 제6 항, 제9 항, 제10 항, 제13 항, 또는 제14항 중 어느 하나의 항의 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190027835A KR102138575B1 (ko) | 2019-03-12 | 2019-03-12 | 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190027835A KR102138575B1 (ko) | 2019-03-12 | 2019-03-12 | 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102138575B1 true KR102138575B1 (ko) | 2020-07-29 |
Family
ID=71893503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190027835A KR102138575B1 (ko) | 2019-03-12 | 2019-03-12 | 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102138575B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007241910A (ja) * | 2006-03-13 | 2007-09-20 | National Institute Of Information & Communication Technology | 機械翻訳評価装置及び方法 |
| KR20140066921A (ko) * | 2012-11-23 | 2014-06-03 | 삼성전자주식회사 | 번역 평가 장치 및 번역 평가 방법 |
| KR20140095956A (ko) | 2013-01-25 | 2014-08-04 | 한국전자통신연구원 | 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법 |
| JP2015200985A (ja) * | 2014-04-04 | 2015-11-12 | Kddi株式会社 | クラウドソーシングにおける作業者のスキルを評価するスキル評価装置、プログラム及び方法 |
-
2019
- 2019-03-12 KR KR1020190027835A patent/KR102138575B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007241910A (ja) * | 2006-03-13 | 2007-09-20 | National Institute Of Information & Communication Technology | 機械翻訳評価装置及び方法 |
| KR20140066921A (ko) * | 2012-11-23 | 2014-06-03 | 삼성전자주식회사 | 번역 평가 장치 및 번역 평가 방법 |
| KR20140095956A (ko) | 2013-01-25 | 2014-08-04 | 한국전자통신연구원 | 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법 |
| JP2015200985A (ja) * | 2014-04-04 | 2015-11-12 | Kddi株式会社 | クラウドソーシングにおける作業者のスキルを評価するスキル評価装置、プログラム及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102155790B1 (ko) | 평균 반려율을 이용한 작업자 능숙도 측정 방법 및 장치 | |
| KR102360852B1 (ko) | 크라우드소싱 기반 프로젝트의 세부 작업 단위 작업 분배 및 평가 방법 | |
| KR102164844B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 단위 난이도를 활용한 작업자 평가 방법 | |
| KR102244697B1 (ko) | 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자 성향을 고려한 프로젝트 큐레이션 방법 | |
| KR102195630B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 실습 교육 참여자에 대한 보상형 실습 교육 제공 방법 | |
| CN109063736A (zh) | 数据分类方法、装置、电子设备及计算机可读存储介质 | |
| KR102159578B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소에 따른 검수자의 검수 권한 부여 방법 | |
| KR102164769B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수 패스를 활용한 능숙도 측정 방법 | |
| KR102205811B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소별 작업시간을 활용한 최소 작업시간 설정 방법 | |
| KR102138575B1 (ko) | 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 검수 비용 산출 방법 | |
| KR102155748B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법 | |
| KR102155839B1 (ko) | 작업불가 사유 기반의 작업자 모니터링 방법 및 장치 | |
| KR102138576B1 (ko) | 크라우드 소싱 기반의 데이터를 수집하는 작업을 작업자에게 할당하는 방법 및 장치 | |
| KR102195608B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 오브젝트 반려율을 활용한 자동 반려 방법 | |
| KR102195631B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법 | |
| KR102205810B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법 | |
| KR102155747B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려된 오브젝트 수에 기반하여 최소 재작업 및 재검수 시간을 설정하는 방법 | |
| KR102156587B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자 및 검수자의 증감 운영 방법 | |
| KR102155746B1 (ko) | 검수자 간 샘플 검수를 통한 검수자 검증 방법 | |
| KR102244705B1 (ko) | 학습데이터 생성을 위한 크라우드소싱 기반 유사 프로젝트의 작업 단가 역전 조정을 통한 작업자 유입 조절 방법 | |
| KR102155886B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수 결과에 기초한 작업자별 최대 작업 제한 건수 적용 방법 | |
| KR102195956B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 난이도에 따른 최대 작업 제한 건수 갱신 방법 | |
| KR102164837B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 비용 효율적인 검수 품질 관리 방법 | |
| KR102155879B1 (ko) | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자의 피드백을 활용한 검수 품질 관리 방법 | |
| KR102138574B1 (ko) | 크라우드 소싱 기반의 작업 태스크에 대한 검수를 하는 검수자의 평가 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |