KR102537536B1 - 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체 - Google Patents

크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
KR102537536B1
KR102537536B1 KR1020220167728A KR20220167728A KR102537536B1 KR 102537536 B1 KR102537536 B1 KR 102537536B1 KR 1020220167728 A KR1020220167728 A KR 1020220167728A KR 20220167728 A KR20220167728 A KR 20220167728A KR 102537536 B1 KR102537536 B1 KR 102537536B1
Authority
KR
South Korea
Prior art keywords
worker
standard
workers
actual
calculating
Prior art date
Application number
KR1020220167728A
Other languages
English (en)
Inventor
이에녹
Original Assignee
주식회사 데이터메이커
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 데이터메이커 filed Critical 주식회사 데이터메이커
Priority to KR1020220167728A priority Critical patent/KR102537536B1/ko
Application granted granted Critical
Publication of KR102537536B1 publication Critical patent/KR102537536B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 복수의 기준 작업자를 선정하고, 기준 작업자별 기준 시급을 산출하며, 실제 작업에 대한 결과 정보 및 상기 기준 작업자별 기준 시급에 기초하여 실제 작업의 단가 및 실제 작업자의 급여가 산출되도록 구성되어 있다. 이러한 본 발명에 의하면, 실제 작업에 포함되어 있는 객체의 수, 실제 작업에 포함되어 있는 객체에 데이터 라벨링을 수행하는 난이도 등이 기준 작업자가 실제 작업에 대해 수행하는 데이터 라벨링에 반영될 수 있으며, 이에 따라 실제 작업의 단가 및 실제 작업자의 급여를 비교적 높은 정확도로 산출해낼 수 있다.

Description

크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체{METHOD, APPARATUS AND COMPUTER-READABLE STORAGE MEDIUM FOR CALCULATING SALARY OF CROWD WORKER}
본 발명은 인공지능 학습을 위해 데이터 라벨링을 수행하는 크라우드 작업자의 급여 산출 방법, 장치 및 상기 방법을 수행하게 하는 컴퓨터 실행가능 인스트럭션을 저장하는 컴퓨터 판독가능 저장 매체에 관한 것이다.
인공지능을 학습시키기 위해서는 양질의 학습 데이터가 필요하며, 일반적으로 학습 데이터는 원천 데이터(예를 들어, 이미지, 동영상, 텍스트, 오디오 등)를 그대로 활용하는 것이 아니라, 상기 원천 데이터를 인공지능이 학습할 수 있는 데이터 형태로 가공하여야 한다. 원천 데이터의 가공은 데이터 라벨링에 의해 이루어질 수 있다. 데이터 라벨링은 작업자가 원천 데이터에 인공지능이 학습할 수 있는 형태로 정답 데이터를 입력하는 과정을 의미하며, 데이터 라벨링이 완료된 원천 데이터는 인공지능의 학습을 위한 학습 데이터로 사용되게 된다.
이와 같은 데이터 라벨링은 통상적으로 수많은 작업을 그 대상으로 해서 이루어지기 때문에, 데이터 라벨링을 수행하는 작업자 또한 수많은 인원으로 이루어진다. 다만, 데이터 라벨링은 작업자 개인의 역량에 의해 크게 좌우될 뿐만 아니라, 작업에 포함되어 있는 객체의 수, 작업에 포함되어 있는 객체에 데이터 라벨링을 수행하는 난이도 등에 의해서도 크게 좌우된다. 이에 따라, 작업자 개인의 역량, 작업에 포함되어 있는 객체의 수, 작업에 포함되어 있는 객체에 데이터 라벨링을 수행하는 난이도 등을 모두 정확하게 고려하여 작업자에게 지불할 급여를 합리적으로 산출하는 것은 결코 쉬운 일이 아니다.
한편, 하기의 특허문헌은 어노테이션 작업 대상을 구성하는 분해 구성요소에 의존하여 전체 작업 비용을 예측함으로써, 수행 예정인 프로젝트의 전체 작업 비용을 보다 합리적으로 예측할 수 있는 방법에 대해 개시하고 있다.
등록특허공보 제10-2310594호(2021.10.01.)
본 발명은 데이터 라벨링을 수행하는 작업자에게 지불할 급여를 일정한 기준에 따라 합리적으로 산출할 수 있는 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체를 제공하는 것에 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 기술적 과제는 상술한 과제만으로 한정되는 것은 아니며, 언급되지 않은 또 다른 기술적 과제들은 아래에 기재된 발명의 설명으로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명은 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서에 의해 수행되는 크라우드 작업자의 급여 산출 방법으로서, 복수의 기준 후보 작업자 단말 각각으로 동일한 다수 개의 테스트 작업을 할당하는 단계; 상기 복수의 기준 후보 작업자 단말 각각으로부터 상기 다수 개의 테스트 작업에 대한 결과 정보를 수신하는 단계; 상기 다수 개의 테스트 작업에 대한 결과 정보에 기초하여 복수의 기준 작업자를 선정하는 단계; 상기 복수의 기준 작업자 각각이 상기 다수 개의 테스트 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간에 기초하여 기준 작업자별 기준 시급을 산출하는 단계; 복수의 실제 작업자 단말 각각으로 실제 작업을 할당하는 단계 - 상기 복수의 실제 작업자 단말 중 적어도 하나는 상기 기준 작업자의 작업자 단말임 -; 상기 복수의 실제 작업자 단말 각각으로부터 상기 실제 작업에 대한 결과 정보를 수신하는 단계; 상기 실제 작업에 대한 결과 정보 및 상기 기준 작업자별 기준 시급에 기초하여 상기 실제 작업의 단가를 산출하는 단계; 및 상기 실제 작업의 단가를 통해 복수의 실제 작업자 각각의 급여를 산출하는 단계를 포함할 수 있다.
상기 다수 개의 테스트 작업에 대한 결과 정보에는, 상기 다수 개의 테스트 작업 각각에 대하여 기준 후보 작업자가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 후보 작업자가 상기 다수 개의 테스트 작업 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함되어 있을 수 있다.
상기 복수의 기준 작업자를 선정하는 단계는, 상기 복수의 기준 후보 작업자별로, 상기 다수 개의 테스트 작업 각각에 대하여 상기 기준 후보 작업자가 데이터 라벨링을 수행한 전체 객체 수를, 상기 기준 후보 작업자가 상기 다수 개의 테스트 작업 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간으로 나눈 값인 APHTEST를 다수 개 산출하는 단계; 상기 복수의 기준 후보 작업자별로, 상기 다수 개의 APHTEST의 표준편차를 계산하는 단계; 및 상기 표준편차가 작은 순서대로 기 설정된 인원만큼 상기 복수의 기준 작업자를 선정하는 단계를 포함할 수 있다.
상기 기준 작업자별 기준 시급을 산출하는 단계에서는, 상기 복수의 기준 작업자 각각이 상기 다수 개의 테스트 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간을 평균한 값을, 상기 복수의 기준 작업자 각각이 상기 다수 개의 테스트 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값에, 기 설정된 기준 시급을 곱함으로써, 상기 기준 작업자별 기준 시급을 산출할 수 있다.
상기 실제 작업에 대한 결과 정보에는, 상기 실제 작업에 대하여 상기 기준 작업자가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 작업자가 상기 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함되어 있을 수 있다.
상기 실제 작업의 단가를 산출하는 단계는, 상기 실제 작업에 대하여 상기 기준 작업자가 데이터 라벨링을 수행한 전체 객체 수를, 상기 기준 작업자가 상기 실제 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값인 APHREAL을 기준 작업자별로 산출하는 단계; 및 하기 수학식에 따라 상기 실제 작업의 단가를 산출하는 단계를 포함할 수 있다.
Figure 112022130415596-pat00001
(상기 수학식에서, n은 상기 기준 작업자의 수이고, Pi는 상기 기준 작업자별 기준 시급이며, APHREALi는 상기 기준 작업자별 APHREAL임)
상기 복수의 실제 작업자 각각의 급여를 산출하는 단계에서는, 상기 실제 작업의 단가와, 상기 실제 작업에 대하여 상기 복수의 실제 작업자 각각이 데이터 라벨링을 수행한 전체 객체의 수를 곱함으로써, 상기 복수의 실제 작업자 각각의 급여를 산출할 수 있다.
한편, 본 발명에 따른 크라우드 작업자의 급여 산출 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 상기 본 발명에 따른 크라우드 작업자의 급여 산출 방법을 수행하는 프로세서; 및 상기 복수의 기준 후보 작업자 단말 각각으로 동일한 다수 개의 테스트 작업을 송신하고, 상기 복수의 기준 후보 작업자 단말 각각으로부터 상기 다수 개의 테스트 작업에 대한 결과 정보를 수신하며, 상기 복수의 실제 작업자 단말 각각으로 상기 실제 작업을 송신하고, 상기 복수의 실제 작업자 단말 각각으로부터 상기 실제 작업에 대한 결과 정보를 수신하는 송수신기를 포함할 수 있다.
또한, 본 발명은 상기 본 발명에 따른 크라우드 작업자의 급여 산출 방법을 수행하게 하는 컴퓨터 실행가능 인스트럭션을 저장하는 컴퓨터 판독가능 저장 매체를 제공할 수 있다.
본 발명은 동일한 다수 개의 테스트 작업을 통해 복수의 기준 작업자를 선정하고, 기준 작업자별 기준 시급을 산출한 뒤, 실제 작업에 대한 결과 정보 및 상기 기준 작업자별 기준 시급에 기초하여 실제 작업의 단가 및 실제 작업자의 급여가 산출되도록 구성되어 있다. 이러한 본 발명에 의하면, 실제 작업에 포함되어 있는 객체의 수, 실제 작업에 포함되어 있는 객체에 데이터 라벨링을 수행하는 난이도 등이 기준 작업자가 실제 작업에 대해 수행하는 데이터 라벨링에 여실히 반영될 수 있으며, 이에 따라 실제 작업의 단가 및 실제 작업자의 급여를 비교적 높은 정확도로 산출해낼 수 있다.
또한, 본 발명은 복수의 기준 후보 작업자 단말 각각으로 동일한 다수 개의 테스트 작업을 할당하고, 상기 다수 개의 테스트 작업에 대한 결과 정보에 기초하여 복수의 기준 작업자를 선정하도록 구성되어 있다. 이러한 본 발명에 의하면, 테스트 작업에 포함되어 있는 객체의 수, 테스트 작업에 포함되어 있는 객체에 데이터 라벨링을 수행하는 난이도 등이 여실히 반영된 상태에서 기준 작업자가 선정될 수 있으며, 이는 곧 실제 작업의 단가 및 실제 작업자의 급여를 비교적 높은 정확도로 산출해낼 수 있는 원인으로 작용하게 된다.
게다가, 본 발명은 한 명의 기준 작업자가 아닌 복수의 기준 작업자가 선정되도록 구성되어 있다. 이러한 본 발명에 의하면, 복수의 기준 작업자 각각이 수행하는 데이터 라벨링의 속도에 따라 기준 작업자별 기준 시급이 달리 산출될 수 있으며(즉, 복수의 기준 작업자들 중 데이터 라벨링의 속도가 상대적으로 더 빠른 기준 작업자는 데이터 라벨링의 속도가 상대적으로 더 느린 기준 작업자에 비해 기준 작업자의 기준 시급이 더 높게 산출됨), 이에 따라 기준 작업자가 포함된 상태에서 산출되는 실제 작업의 단가가 합리적이게 되고, 실제 작업자의 급여 또한 합리적으로 산출될 수 있게 된다.
다만, 본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 크라우드 작업자의 급여 산출 장치를 작업자 단말과 함께 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 크라우드 작업자의 급여 산출 방법에 관한 흐름도이다.
도 3은 다수 개의 테스트 작업 1 내지 5 각각에 대하여 기준 후보 작업자 A, B, C, D가 데이터 라벨링을 수행한 전체 객체 수와, 기준 후보 작업자 A, B, C, D가 다수 개의 테스트 작업 1 내지 5 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간을 예시적으로 나타낸 표이다.
도 4는 도 2에 도시된 S300 단계의 세부 절차에 관한 흐름도이다.
도 5는 도 3에 도시된 전체 객체 수와 소요 시간에 기초하여 산출된, 복수의 기준 후보 작업자별 APHTEST와 이의 표준편차를 나타낸 표이다.
도 6은 실제 작업 1 내지 14에 대하여 실제 작업자 A, B, E, F가 데이터 라벨링을 수행한 전체 객체 수와, 실제 작업자 A, B, E, F가 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간을 예시적으로 나타낸 표이다.
도 7은 도 2에 도시된 S700 단계의 세부 절차에 관한 흐름도이
도 8은 도 6의 예에서 실제 작업에 대하여 기준 작업자 A, B가 각각 데이터 라벨링을 수행한 전체 객체 수를, 기준 작업자 A, B가 각각 실제 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값인 APHREAL을 나타낸 표이다.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체에 대해 상세히 설명한다. 첨부한 도면들은 통상의 기술자에게 본 발명의 기술적 사상이 충분히 전달될 수 있도록 하기 위하여 어디까지나 예시적으로 제공되는 것이며, 본 발명은 이하 제시되는 도면들로 한정되지 않고 다른 형태로 얼마든지 구체화될 수 있다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에서 "작업"은 크라우드 작업자에 의해 데이터 라벨링이 이루어져야 할 대상인, 미가공 상태의 원천 데이터를 의미한다.
도 1은 본 발명의 일 실시예에 따른 크라우드 작업자의 급여 산출 장치(100)를 작업자 단말(10)과 함께 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 크라우드 작업자의 급여 산출 방법에 관한 흐름도이다. 이하에서는, 도 1 및 도 2를 함께 참고하여, 본 발명에 따른 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체에 대해 설명하기로 한다.
본 발명의 일 실시예에 따른 크라우드 작업자의 급여 산출 장치(100)는 메모리(110), 프로세서(120) 및 송수신기(130)를 포함할 수 있다.
메모리(110)에는 하나 이상의 인스트럭션이 저장되어 있으며, 이와 함께 기준 작업자 선정을 위한 인원 정보, 기준 시급에 대한 정보 등 크라우드 작업자의 급여 산출을 위해 필요한 요소들이 기 설정되어 있다. 이를 위해 메모리(110)는 휘발성 또는 비휘발성 저장 매체를 포함할 수 있으며, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리, SRAM(Static RAM), HDD(Hard Disk Drive) 또는 SSD(Solid State Drive) 등으로 구현되거나, 이를 포함해서 구현될 수 있다.
프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 발명에 따른 크라우드 작업자의 급여 산출 방법을 수행한다. 프로세서(120)가 실행하는 인스트럭션은 컴퓨터 실행가능 인스트럭션(computer executable instructions)이다. 프로세서(120)는 상기 인스트럭션의 실행을 위해 MPU(Micro Processing Unit), CPU(Central Processing Unit), GPU(Graphics Processing Unit) 또는 TPU(Tensor Processing Unit) 등으로 구현되거나, 이를 포함해서 구현될 수 있다.
송수신기(130)는 작업자 단말(10)과 통신 연결되며, 프로세서(120)의 제어에 따라 그 동작이 이루어질 수 있다. 송수신기(130)는 복수의 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4) 각각으로 동일한 다수 개의 테스트 작업을 송신하고, 상기 복수의 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4) 각각으로부터 상기 다수 개의 테스트 작업에 대한 결과 정보를 수신한다. 또한, 송수신기(130)는 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각으로 실제 작업을 송신하고, 상기 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각으로부터 상기 실제 작업에 대한 결과 정보를 수신한다.
작업자 단말(10)은 작업자가 보유하고 있는 컴퓨터나 스마트 단말 등이 이에 해당할 수 있다. 작업자는 작업자 단말(10)을 통해 송수신기(130)에 통신 접속한 뒤, 작업자 단말(10)이 수신한 작업(즉, 테스트 작업 또는 실제 작업)에 포함되어 있는 객체에 대하여 데이터 라벨링을 수행하며, 데이터 라벨링이 완료된 작업을 작업자 단말(10)을 통해 송수신기(130)로 송신할 수 있다.
본 발명에서는 데이터 라벨링을 수행하는 작업자에게 지불할 급여를 산출하기 위하여 기준을 설정하는데, 이러한 기준은 복수의 기준 작업자 선정을 통해 이루어진다. 이를 위한 첫 단계로서, 프로세서(120)는 송수신기(130)를 제어하여, 복수의 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4) 각각으로 동일한 다수 개의 테스트 작업을 할당할 수 있다(S100).
작업자 단말(10)의 개수는 총 m개(여기서, m은 자연수임)일 수 있으며, 프로세서(120)는 모든 작업자 단말(10)로 동일한 다수 개의 테스트 작업을 할당할 수도 있고, 또는 그 중 일부 작업자 단말(10-1, 10-2, 10-3, 10-4)로 동일한 다수 개의 테스트 작업을 할당할 수도 있다.
본 명세서에서는 동일한 다수 개의 테스트 작업을 할당받는 작업자 단말을 기준 후보 작업자 단말로 지칭하기로 하며, 후술하는 바와 같이 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4)을 통해 데이터 라벨링을 수행하는 기준 후보 작업자 중에서 기준 작업자가 선정된다.
복수의 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4) 각각으로 할당하는 테스트 작업은 기준 작업자를 선정하기 위한 것이므로 모두 동일할 것이 요구된다. 그리고 기준 작업자의 정확한 선정을 위하여, 테스트 작업은 다수 개인 것이 바람직하다.
S100 단계 이후, 프로세서(120)는 복수의 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4) 각각으로부터 다수 개의 테스트 작업에 대한 결과 정보를 수신할 수 있다(S200). 보다 구체적으로는, 복수의 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4) 각각이 송신하는 다수 개의 테스트 작업에 대한 결과 정보는 송수신기(130)가 수신하고, 프로세서(120)는 다수 개의 테스트 작업에 대한 결과 정보를 송수신기(130)로부터 수신할 수 있다.
도 3은 다수 개의 테스트 작업 1 내지 5 각각에 대하여 기준 후보 작업자 A, B, C, D가 데이터 라벨링을 수행한 전체 객체 수와, 기준 후보 작업자 A, B, C, D가 다수 개의 테스트 작업 1 내지 5 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간을 예시적으로 나타낸 표이다. 아울러, 도 3은 기준 후보 작업자 A, B, C, D가 각각의 작업자 단말(10-1, 10-2, 10-3, 10-4)을 통해, 테스트 작업 1 내지 5 각각에 대한 데이터 라벨링을 수행한 것을 가정한 것이다.
도 3에 도시된 바와 같이, 프로세서(120)가 수신하는 다수 개의 테스트 작업에 대한 결과 정보에는, 다수 개의 테스트 작업 1 내지 5 각각에 대하여 기준 후보 작업자 A, B, C, D가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 후보 작업자 A, B, C, D가 상기 다수 개의 테스트 작업 1 내지 5 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함될 수 있다.
복수의 기준 후보 작업자 단말(10-1, 10-2, 10-3, 10-4) 각각으로 할당되는 다수 개의 테스트 작업은 모두 동일하기 때문에, 각각의 테스트 작업에 대하여 기준 후보 작업자 A, B, C, D가 데이터 라벨링을 수행한 전체 객체 수는 동일할 수 있다. 다만, 기준 후보 작업자의 데이터 라벨링 속도는 서로 다르기 때문에, 상기 데이터 라벨링을 완료하는 데까지 소요되는 시간은 기준 후보 작업자별로 다를 수 있다.
S200 단계 이후, 프로세서(120)는 다수 개의 테스트 작업에 대한 결과 정보에 기초하여 복수의 기준 작업자를 선정할 수 있다(S300).
구체적으로, 프로세서(120)는 다수 개의 테스트 작업 1 내지 5 각각에 대하여 기준 후보 작업자 A, B, C, D가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 후보 작업자 A, B, C, D가 다수 개의 테스트 작업 1 내지 5 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간에 기초하여 복수의 기준 작업자를 선정할 수 있다.
여기서, 프로세서(120)가 복수의 기준 작업자를 선정하는 이유는, 복수의 기준 작업자 각각이 수행하는 데이터 라벨링의 속도에 따라 기준 작업자별 기준 시급을 달리 산출하기 위함이다. 즉, 기준 작업자가 복수일 때, 그 복수의 기준 작업자들 중 데이터 라벨링의 속도가 상대적으로 더 빠른 기준 작업자는 데이터 라벨링의 속도가 상대적으로 더 느린 기준 작업자에 비해 기준 작업자의 기준 시급을 높게 산출할 수 있다. 이와 같이 함으로써, 후술하는 실제 작업의 단가 산출의 정확도가 향상되어, 실제 작업자의 급여를 합리적으로 산출할 수 있게 된다.
도 4는 도 2에 도시된 S300 단계의 세부 절차에 관한 흐름도이며, 이는 프로세서(120)가 복수의 기준 작업자를 선정하는 일 실시예를 도시한 것이다.
도 4를 참고하면, 프로세서(120)는 복수의 기준 작업자를 선정하기 위하여, 복수의 기준 후보 작업자별로, 다수 개의 테스트 작업 1 내지 5 각각에 대하여 기준 후보 작업자 A, B, C, D가 데이터 라벨링을 수행한 전체 객체 수를, 상기 기준 후보 작업자 A, B, C, D가 다수 개의 테스트 작업 1 내지 5 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간으로 나눈 값인 APHTEST를 다수 개 산출할 수 있다(S310).
도 3의 예에서와 같이 기준 후보 작업자가 4명이고, 그 4명에게 할당된 테스트 작업이 5개인 경우, 프로세서(120)는 총 20개의 APHTEST(즉, 기준 후보 작업자 A의 APHTEST는 APHTEST_A1, APHTEST_A2, APHTEST_A3, APHTEST_A4, APHTEST_A5, 기준 후보 작업자 B의 APHTEST는 APHTEST_B1, APHTEST_B2, APHTEST_B3, APHTEST_B4, APHTEST_B5, 기준 후보 작업자 C의 APHTEST는 APHTEST_C1, APHTEST_C2, APHTEST_C3, APHTEST_C4, APHTEST_C5, 기준 후보 작업자 D의 APHTEST는 APHTEST_D1, APHTEST_D2, APHTEST_D3, APHTEST_D4, APHTEST_D5임)를 산출할 수 있다. 여기서, APH는 Annotation Per Hour(시간 당 데이터 라벨링을 의미함)의 약자이며, APHTEST는 테스트 작업에 대하여 기준 후보 작업자가 수행한 데이터 라벨링의 속도를 의미한다(단위는 개/시간).
S310 단계 이후, 프로세서(120)는 복수의 기준 후보 작업자별로 다수 개의 APHTEST의 표준편차를 계산할 수 있다(S320).
도 5는 도 3에 도시된 전체 객체 수와 소요 시간에 기초하여 산출된, 복수의 기준 후보 작업자별 APHTEST와 이의 표준편차를 나타낸 표이다. 도 5를 참고하면, 기준 후보 작업자 A의 표준편차는 0.00, 기준 후보 작업자 B의 표준편차는 2.40, 기준 후보 작업자 C의 표준편차는 7.10, 기준 후보 작업자 D의 표준편차는 11.02이다. 여기서, 표준편차가 작으면 작을수록 특정 작업마다 수행되는 데이터 라벨링의 속도가 더 일정하다는 것을 의미한다.
S320 단계 이후, 프로세서(120)는 메모리(110)에 기 설정된 인원 정보를 이용하여, 상기 표준편차가 작은 순서대로 기 설정된 인원만큼 복수의 기준 작업자를 선정할 수 있다(S330). 표준편차가 상대적으로 작은 기준 작업자는 그 외 작업자에 비해 데이터 라벨링의 속도가 일정하다. 이에 따라, 표준편차가 상대적으로 작은 기준 작업자의 데이터 라벨링 속도(즉, 후술하는 APHREAL)를 실제 작업자의 급여 산출에 이용할 경우에는 그 급여 산출에 대한 비교적 정확한 기준을 제공할 수 있게 된다.
프로세서(120)는 총 기준 후보 작업자 m명 중 표준편차가 작은 순서대로 10%의 인원을 복수의 기준 작업자로 선정할 수 있다. 또는, 프로세서(120)는 표준편차가 작은 순서대로 일정 인원(예를 들어, 2명)만을 복수의 기준 작업자로 선정할 수도 있다. 이하에서는, 프로세서(120)가 기준 후보 작업자 A, B를 복수의 기준 작업자로 선정한 것으로 하고 나머지 내용을 설명하기로 한다.
S300 단계 이후, 프로세서(120)는 복수의 기준 작업자 A, B 각각이 다수 개의 테스트 작업 1 내지 5에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간에 기초하여 기준 작업자별 기준 시급을 산출할 수 있다(S400). 여기서, 프로세서(120)가 기준 작업자별 기준 시급을 산출하는 이유는, 실제 작업의 단가 산출 시 상기 기준 작업자별 기준 시급을 활용하기 위함이다.
구체적으로, S400 단계에서 프로세서(120)는 복수의 기준 작업자 A, B 각각이 다수 개의 테스트 작업 1 내지 5에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간의 평균값을 산출할 수 있다. 도 3의 예에서, 기준 작업자 A가 다수 개의 테스트 작업 1 내지 5에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간은 2.4시간이고, 기준 작업자 B가 다수 개의 테스트 작업 1 내지 5에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간은 2.3시간이다. 이에 따라, 프로세서(120)는 2.4시간과 2.3시간의 평균값으로서 2.35시간을 산출할 수 있다.
이후 프로세서(120)는 상기 평균값을, 복수의 기준 작업자 A, B 각각이 다수 개의 테스트 작업 1 내지 5에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나누고, 그 나눈 값에 기 설정된 기준 시급을 곱함으로써, 기준 작업자별 기준 시급을 산출할 수 있다.
프로세서(120)는 메모리(110)에 기 설정된 기준 시급(예를 들어 10,000원)을 이용하여 기준 작업자별 기준 시급을 산출할 수 있다.
프로세서(120)는 상기 평균값 2.35시간을, 기준 작업자 A가 다수 개의 테스트 작업 1 내지 5에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간인 2.4시간으로 나누고, 그 나눈 값에 기 설정된 기준 시급 10,000원을 곱함으로써, 기준 작업자 A의 기준 시급을 9,792원(≒ 2.35시간/2.4시간 × 10,000원)과 같이 산출할 수 있다.
또한, 프로세서(120)는 상기 평균값 2.35시간을, 기준 작업자 B가 다수 개의 테스트 작업 1 내지 5에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간인 2.3시간으로 나누고, 그 나눈 값에 기 설정된 기준 시급 10,000원을 곱함으로써, 기준 작업자 B의 기준 시급을 10,217원(≒ 2.35시간/2.3시간 × 10,000원)과 같이 산출할 수 있다.
여기서, 기준 작업자 B는 기준 작업자 A에 비해 데이터 라벨링의 속도가 더 빠르기 때문에, 기준 작업자 B의 기준 시급을 기준 작업자 A의 기준 시급에 비해 더 높게 산출되는 것이 합리적이라 할 수 있다.
S400 단계 이후, 프로세서(120)는 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각으로 실제 작업을 할당할 수 있다(S500). 상술한 테스트 작업이 기준 후보 작업자 중에서 기준 작업자를 선정하기 위한 목적의 작업이었다면, S500 단계에서의 실제 작업은 인공지능을 학습시키기 위해 원본 데이터를 실제로 가공하기 위한 목적의 작업을 의미할 수 있다.
작업자 단말(10)의 개수는 총 m개일 수 있으며, 프로세서(120)는 모든 작업자 단말(10)로 실제 작업을 할당할 수도 있고, 또는 그 중 일부 작업자 단말(10-1, 10-2, 10-5, 10-6)로 실제 작업을 할당할 수도 있다.
본 명세서에서는 실제 작업을 할당받는 작업자 단말(10-1, 10-2, 10-5, 10-6)을 실제 작업자 단말로 지칭하기로 하며, 실제 작업자 단말(10-1, 10-2, 10-5, 10-6)을 통해 데이터 라벨링을 수행하는 실제 작업자 A, B, E, F의 급여는 기준 작업자 A, B를 기준으로 산출된다. 이를 위해 프로세서(120)가 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각으로 실제 작업을 할당할 때, 상기 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 중 적어도 하나는 기준 작업자의 작업자 단말(10-1, 10-2)이어야 한다.
프로세서(120)가 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각으로 실제 작업을 할당할 때, 그 실제 작업의 개수는 다수 개일 수 있다. 또한, 프로세서(120)가 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각으로 할당하는 실제 작업은 서로 다를 수 있다.
S500 단계 이후, 프로세서(120)는 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각으로부터 실제 작업에 대한 결과 정보를 수신할 수 있다(S600). 보다 구체적으로는, 복수의 실제 작업자 단말(10-1, 10-2, 10-5, 10-6) 각각이 송신하는 실제 작업에 대한 결과 정보는 송수신기(130)가 수신하고, 프로세서(120)는 실제 작업에 대한 결과 정보를 송수신기(130)로부터 수신할 수 있다.
도 6은 실제 작업 1 내지 14에 대하여 실제 작업자 A, B, E, F가 데이터 라벨링을 수행한 전체 객체 수와, 실제 작업자 A, B, E, F가 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간을 예시적으로 나타낸 표이다.
보다 구체적으로, 도 6은 실제 작업자이자 기준 작업자인 A가 작업자 단말(10-1)을 통해 실제 작업 1 내지 3에 대한 데이터 라벨링을 수행하였고, 실제 작업자이자 기준 작업자인 B가 작업자 단말(10-2)을 통해 실제 작업 4 내지 7에 대한 데이터 라벨링을 수행한 것을 가정한 것이다. 또한, 도 6은 실제 작업자 E가 작업자 단말(10-5)을 통해 실제 작업 8 내지 10에 대한 데이터 라벨링을 수행하였고, 실제 작업자 F가 작업자 단말(10-6)을 통해 실제 작업 11 내지 14에 대한 데이터 라벨링을 수행한 것을 가정한 것이다.
도 6에 도시된 바와 같이, 프로세서(120)가 수신하는 실제 작업에 대한 결과 정보에는, 실제 작업에 대하여 실제 작업자 A, B, E, F가 각각 데이터 라벨링을 수행한 전체 객체 수와, 실제 작업자 A, B, E, F가 각각 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함될 수 있다. 특히, 프로세서(120)가 수신하는 실제 작업에 대한 결과 정보에는, 실제 작업에 대하여 기준 작업자 A, B가 각각 데이터 라벨링을 수행한 전체 객체 수와, 기준 작업자 A, B가 각각 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함될 수 있다.
S600 단계 이후, 프로세서(120)는 실제 작업에 대한 결과 정보 및 기준 작업자별 기준 시급에 기초하여 실제 작업의 단가를 산출할 수 있다(S700). 특히, 프로세서(120)는 실제 작업에 대하여 기준 작업자 A, B가 각각 데이터 라벨링을 수행한 전체 객체 수와, 기준 작업자 A, B가 각각 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간을, 상기 기준 작업자별 기준 시급과 함께 이용하여 실제 작업의 단가를 산출할 수 있다.
도 7은 도 2에 도시된 S700 단계의 세부 절차에 관한 흐름도이며, 이는 프로세서(120)가 실제 작업의 단가를 산출하는 일 실시예를 도시한 것이다.
도 7을 참고하면, 프로세서(120)는 실제 작업의 단가를 산출하기 위하여, 실제 작업에 대하여 기준 작업자 A, B가 각각 데이터 라벨링을 수행한 전체 객체 수를, 기준 작업자 A, B가 각각 실제 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값인 APHREAL을 기준 작업자별로 산출할 수 있다(S710).
도 6의 예에서와 같이 기준 작업자가 2명인 경우, 프로세서(120)는 총 2개의 APHREAL(즉, 기준 작업자 A의 APHREAL는 APHREAL1이고, 기준 작업자 B의 APHREAL는 APHREAL2임)을 산출할 수 있다. 여기서, APHREAL은 실제 작업에 대하여 기준 작업자가 수행한 데이터 라벨링의 속도를 의미한다(단위는 개/시간).
도 8은 도 6의 예에서 실제 작업에 대하여 기준 작업자 A, B가 각각 데이터 라벨링을 수행한 전체 객체 수를, 기준 작업자 A, B가 각각 실제 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값인 APHREAL을 나타낸 표이다. 도 8을 참고하면, 기준 작업자 A의 APHREAL(즉, APHREAL1)은 26개/시간이고, 기준 작업자 B의 APHREAL(즉, APHREAL2)은 27개/시간임을 알 수 있다.
S710 단계 이후, 프로세서(120)는 하기 수학식 1에 따라 상기 실제 작업의 단가를 산출할 수 있다(S720).
[수학식 1]
Figure 112022130415596-pat00002
수학식 1에서, n은 기준 작업자의 수이고, Pi는 기준 작업자별 기준 시급(단위는 원/시간)이며, APHREALi는 기준 작업자별 APHREAL(단위는 개/시간)이다. 수학식 1에서 기준 작업자별 기준 시급 Pi를 APHREALi로 나누게 되면, 기준 작업자가 데이터 라벨링을 수행한 객체 1개당 비용(단위는 원/개)이 산출된다.
만일, 기준 작업자가 A 한 명이라면, 수학식 1에 따라 산출되는 실제 작업의 단가는, 기준 작업자 A의 기준 시급 9,792원을, 기준 작업자 A의 APHREAL인 26개/시간으로 나눈 값인 약 376.62원/개가 된다.
만일, 기준 작업자가 A, B 두 명이라면, 수학식 1에 따라 산출되는 실제 작업의 단가는, 기준 작업자 A의 기준 시급 9,792원을, 기준 작업자 A의 APHREAL인 26개/시간으로 나눈 값인 약 376.62원/개와, 기준 작업자 B의 기준 시급 10,217원을, 기준 작업자 B의 APHREAL인 27개/시간으로 나눈 값인 약 378.41원/개의 평균값인 377.52원/개가 된다. 기준 작업자가 여러 명인 경우는 한 명인 경우에 비해, 실제 작업에 포함되어 있는 객체의 수, 실제 작업에 포함되어 있는 객체에 데이터 라벨링을 수행하는 난이도 등이 더 여실히 반영되는 것으로 볼 수 있으므로, 실제 작업의 단가를 한층 더 높은 정확도로 산출해낼 수 있다.
S700 단계 이후, 프로세서(120)는 상기 실제 작업의 단가를 통해 복수의 실제 작업자 A, B, E, F 각각의 급여를 산출할 수 있다(S800).
상기 실제 작업의 단가는 객체 1개당 비용(단위는 원/개)이다. 따라서, 프로세서(120)는 상기 실제 작업의 단가(단위는 원/개)와, 상기 실제 작업에 대하여 복수의 실제 작업자 A, B, E, F 각각이 데이터 라벨링을 수행한 전체 객체의 수를 곱함으로써, 복수의 실제 작업자 A, B, E, F 각각의 급여를 산출할 수 있다.
상기 실제 작업의 단가를 377.52원/개라고 했을 때, 프로세서(120)는 실제 작업자 A의 급여를 4,907.76원(= 377.52원/개 × 13개)으로 산출할 수 있고, 실제 작업자 B의 급여를 10,193.04원(= 377.52원/개 × 27개)으로 산출할 수 있다. 이와 마찬가지의 방식으로, 프로세서(120)는 실제 작업자 E의 급여를 5,285.28원(= 377.52원/개 × 14개)으로 산출할 수 있고, 실제 작업자 F의 급여를 9,438.00원(= 377.52원/개 × 25개)으로 산출할 수 있다.
한편, 상술한 본 발명의 일 실시예에 따른 크라우드 작업자의 급여 산출 방법은 프로세서 등 다양한 컴퓨터 수단을 통해 수행될 수 있는 컴퓨터 실행가능 인스트럭션(computer executable instructions)으로 구현되어 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 상기 저장 매체에 저장되는 컴퓨터 실행가능 인스트럭션은 본 발명을 위하여 특별히 설계되고 구성된 것들일 수 있다.
컴퓨터 판독가능 저장 매체의 예에는 ROM(Read Only Memory), RAM(Random Access Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리, SRAM(Static RAM), HDD(Hard Disk Drive), SSD(Solid State Drive), 또는 본 발명이 속하는 기술 분야에서 잘 알려진 형태 등과 같이 컴퓨터 실행가능 인스트럭션을 저장하도록 구성된 휘발성 또는 비휘발성 하드웨어 장치가 이에 해당될 수 있다.
컴퓨터 실행가능 인스트럭션의 예에는 컴파일러 또는 인터프리터에 의해 생성되거나 실행되는 코드를 포함할 수 있다. 예컨대, 저장 매체에 저장된 인스트럭션이 프로세서에 의해 실행됨으로써, 상술한 크라우드 작업자의 급여 산출 방법이 수행될 수 있다. 저장 매체는 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐, 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 기술적 사상은 청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명의 기술적 사상의 범주 안에 속한다고 할 것이다.
10: 작업자 단말
100: 크라우드 작업자의 급여 산출 장치
110: 메모리
120: 프로세서
130: 송수신기

Claims (9)

  1. 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서에 의해 수행되는 크라우드 작업자의 급여 산출 방법으로서,
    복수의 기준 후보 작업자 단말 각각으로 동일한 다수 개의 테스트 작업을 할당하는 단계;
    상기 복수의 기준 후보 작업자 단말 각각으로부터 상기 다수 개의 테스트 작업에 대한 결과 정보를 수신하는 단계;
    상기 다수 개의 테스트 작업에 대한 결과 정보에 기초하여 복수의 기준 작업자를 선정하는 단계 - 상기 복수의 기준 작업자는 상기 기준 후보 작업자 단말을 통해 데이터 라벨링을 수행하는 기준 후보 작업자 중에서 선정됨 -;
    상기 복수의 기준 작업자 각각이 상기 다수 개의 테스트 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간에 기초하여 기준 작업자별 기준 시급을 산출하는 단계;
    복수의 실제 작업자 단말 각각으로 실제 작업을 할당하는 단계 - 상기 복수의 실제 작업자 단말 중 적어도 하나는 상기 기준 작업자의 작업자 단말임 -;
    상기 복수의 실제 작업자 단말 각각으로부터 상기 실제 작업에 대한 결과 정보를 수신하는 단계;
    상기 실제 작업에 대한 결과 정보 및 상기 기준 작업자별 기준 시급에 기초하여 상기 실제 작업의 단가를 산출하는 단계; 및
    상기 실제 작업의 단가를 통해 복수의 실제 작업자 각각의 급여를 산출하는 단계를 포함하며,
    상기 다수 개의 테스트 작업에 대한 결과 정보에는,
    상기 다수 개의 테스트 작업 각각에 대하여 상기 기준 후보 작업자가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 후보 작업자가 상기 다수 개의 테스트 작업 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함되어 있고,
    상기 복수의 기준 작업자를 선정하는 단계는,
    상기 복수의 기준 후보 작업자별로, 상기 다수 개의 테스트 작업 각각에 대하여 상기 기준 후보 작업자가 데이터 라벨링을 수행한 전체 객체 수를, 상기 기준 후보 작업자가 상기 다수 개의 테스트 작업 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간으로 나눈 값인 APHTEST를 다수 개 산출하는 단계;
    상기 복수의 기준 후보 작업자별로, 상기 다수 개의 APHTEST의 표준편차를 계산하는 단계; 및
    상기 표준편차가 작은 순서대로 기 설정된 인원만큼 상기 복수의 기준 작업자를 선정하는 단계를 포함하며,
    상기 실제 작업에 대한 결과 정보에는,
    상기 실제 작업에 대하여 상기 기준 작업자가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 작업자가 상기 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함되어 있고,
    상기 실제 작업의 단가를 산출하는 단계는,
    상기 실제 작업에 대하여 상기 기준 작업자가 데이터 라벨링을 수행한 전체 객체 수를, 상기 기준 작업자가 상기 실제 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값인 APHREAL을 기준 작업자별로 산출하는 단계; 및
    하기 수학식 1에 따라 상기 실제 작업의 단가를 산출하는 단계를 포함하는 크라우드 작업자의 급여 산출 방법.
    [수학식 1]
    Figure 112023029746625-pat00012

    (상기 수학식 1에서, n은 상기 기준 작업자의 수이고, Pi는 상기 기준 작업자별 기준 시급이며, APHREALi는 상기 기준 작업자별 APHREAL임)
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 기준 작업자별 기준 시급을 산출하는 단계에서는,
    상기 복수의 기준 작업자 각각이 상기 다수 개의 테스트 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간을 평균한 값을, 상기 복수의 기준 작업자 각각이 상기 다수 개의 테스트 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값에, 기 설정된 기준 시급을 곱함으로써, 상기 기준 작업자별 기준 시급을 산출하는 것을 특징으로 하는 크라우드 작업자의 급여 산출 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 복수의 실제 작업자 각각의 급여를 산출하는 단계에서는,
    상기 실제 작업의 단가와, 상기 실제 작업에 대하여 상기 복수의 실제 작업자 각각이 데이터 라벨링을 수행한 전체 객체의 수를 곱함으로써, 상기 복수의 실제 작업자 각각의 급여를 산출하는 것을 특징으로 하는 크라우드 작업자의 급여 산출 방법.
  8. 하나 이상의 인스트럭션을 저장하는 메모리;
    상기 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 크라우드 작업자의 급여 산출 방법을 수행하는 프로세서 - 상기 프로세서는,
    복수의 기준 후보 작업자 단말 각각으로 동일한 다수 개의 테스트 작업을 할당하는 단계와,
    상기 복수의 기준 후보 작업자 단말 각각으로부터 상기 다수 개의 테스트 작업에 대한 결과 정보를 수신하는 단계와,
    상기 다수 개의 테스트 작업에 대한 결과 정보에 기초하여 복수의 기준 작업자를 선정하는 단계와, - 상기 복수의 기준 작업자는 상기 기준 후보 작업자 단말을 통해 데이터 라벨링을 수행하는 기준 후보 작업자 중에서 선정됨 -
    상기 복수의 기준 작업자 각각이 상기 다수 개의 테스트 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간에 기초하여 기준 작업자별 기준 시급을 산출하는 단계와,
    복수의 실제 작업자 단말 각각으로 실제 작업을 할당하는 단계와, - 상기 복수의 실제 작업자 단말 중 적어도 하나는 상기 기준 작업자의 작업자 단말임 -
    상기 복수의 실제 작업자 단말 각각으로부터 상기 실제 작업에 대한 결과 정보를 수신하는 단계와,
    상기 실제 작업에 대한 결과 정보 및 상기 기준 작업자별 기준 시급에 기초하여 상기 실제 작업의 단가를 산출하는 단계와,
    상기 실제 작업의 단가를 통해 복수의 실제 작업자 각각의 급여를 산출하는 단계를 수행하며,
    상기 다수 개의 테스트 작업에 대한 결과 정보에는,
    상기 다수 개의 테스트 작업 각각에 대하여 상기 기준 후보 작업자가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 후보 작업자가 상기 다수 개의 테스트 작업 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함되어 있고,
    상기 복수의 기준 작업자를 선정하는 단계는,
    상기 복수의 기준 후보 작업자별로, 상기 다수 개의 테스트 작업 각각에 대하여 상기 기준 후보 작업자가 데이터 라벨링을 수행한 전체 객체 수를, 상기 기준 후보 작업자가 상기 다수 개의 테스트 작업 각각에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간으로 나눈 값인 APHTEST를 다수 개 산출하는 단계와,
    상기 복수의 기준 후보 작업자별로, 상기 다수 개의 APHTEST의 표준편차를 계산하는 단계와,
    상기 표준편차가 작은 순서대로 기 설정된 인원만큼 상기 복수의 기준 작업자를 선정하는 단계를 포함하며,
    상기 실제 작업에 대한 결과 정보에는,
    상기 실제 작업에 대하여 상기 기준 작업자가 데이터 라벨링을 수행한 전체 객체 수와, 상기 기준 작업자가 상기 실제 작업에 대한 데이터 라벨링을 완료하는 데까지 소요된 시간이 포함되어 있고,
    상기 실제 작업의 단가를 산출하는 단계는,
    상기 실제 작업에 대하여 상기 기준 작업자가 데이터 라벨링을 수행한 전체 객체 수를, 상기 기준 작업자가 상기 실제 작업에 대한 데이터 라벨링을 모두 완료하는 데까지 소요된 시간으로 나눈 값인 APHREAL을 기준 작업자별로 산출하는 단계와,
    하기 수학식 2에 따라 상기 실제 작업의 단가를 산출하는 단계를 포함함,
    [수학식 2]
    Figure 112023029746625-pat00013

    (상기 수학식 2에서, n은 상기 기준 작업자의 수이고, Pi는 상기 기준 작업자별 기준 시급이며, APHREALi는 상기 기준 작업자별 APHREAL임) -; 및
    상기 복수의 기준 후보 작업자 단말 각각으로 동일한 다수 개의 테스트 작업을 송신하고, 상기 복수의 기준 후보 작업자 단말 각각으로부터 상기 다수 개의 테스트 작업에 대한 결과 정보를 수신하며, 상기 복수의 실제 작업자 단말 각각으로 상기 실제 작업을 송신하고, 상기 복수의 실제 작업자 단말 각각으로부터 상기 실제 작업에 대한 결과 정보를 수신하는 송수신기를 포함하는 크라우드 작업자의 급여 산출 장치.
  9. 제1항, 제4항 및 제7항 중 어느 한 항의 방법을 수행하게 하는 컴퓨터 실행가능 인스트럭션을 저장하는 컴퓨터 판독가능 저장 매체.
KR1020220167728A 2022-12-05 2022-12-05 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체 KR102537536B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220167728A KR102537536B1 (ko) 2022-12-05 2022-12-05 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220167728A KR102537536B1 (ko) 2022-12-05 2022-12-05 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체

Publications (1)

Publication Number Publication Date
KR102537536B1 true KR102537536B1 (ko) 2023-05-26

Family

ID=86536465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220167728A KR102537536B1 (ko) 2022-12-05 2022-12-05 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체

Country Status (1)

Country Link
KR (1) KR102537536B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660320B1 (ko) * 2023-08-29 2024-04-25 오케스트로 주식회사 클라우드 기반의 최적 소스코드 제공 서버 및 소스 코드 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155749B1 (ko) * 2020-02-04 2020-09-15 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기준 작업 시간을 이용한 적정 단가 및 적정 작업량 결정 방법
KR102183837B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업을 이용한 작업자별 시급제 기반 작업 비용 지급 방법
KR102183836B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 예상 소요시간에 기반한 자동 견적 산출 방법
KR102205811B1 (ko) * 2020-07-21 2021-01-22 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소별 작업시간을 활용한 최소 작업시간 설정 방법
KR102310594B1 (ko) 2021-03-19 2021-10-13 주식회사 인피닉 작업 비용 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155749B1 (ko) * 2020-02-04 2020-09-15 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기준 작업 시간을 이용한 적정 단가 및 적정 작업량 결정 방법
KR102183837B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검증용 작업을 이용한 작업자별 시급제 기반 작업 비용 지급 방법
KR102183836B1 (ko) * 2020-06-02 2020-11-30 주식회사 크라우드웍스 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 예상 소요시간에 기반한 자동 견적 산출 방법
KR102205811B1 (ko) * 2020-07-21 2021-01-22 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소별 작업시간을 활용한 최소 작업시간 설정 방법
KR102310594B1 (ko) 2021-03-19 2021-10-13 주식회사 인피닉 작업 비용 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660320B1 (ko) * 2023-08-29 2024-04-25 오케스트로 주식회사 클라우드 기반의 최적 소스코드 제공 서버 및 소스 코드 제공 방법

Similar Documents

Publication Publication Date Title
US20230148374A1 (en) Code development management system
US11062800B2 (en) Method for managing annotation job, apparatus and system supporting the same
US9396100B2 (en) Software testing optimizer
US9280566B2 (en) System and method for visual role engineering
US10708432B2 (en) Techniques for case allocation
KR102537536B1 (ko) 크라우드 작업자의 급여 산출 방법, 장치 및 컴퓨터 판독가능 저장 매체
CN106933863B (zh) 数据清理方法及装置
CN105975360B (zh) 用于处理并行程序中的故障的弹性编程框架
US20190188410A1 (en) Cognitive systems for allocating medical data access permissions using historical correlations
US20200250012A1 (en) Recommendation and deployment engine and method for machine learning based processes in hybrid cloud environments
US20220327452A1 (en) Method for automatically updating unit cost of inspection by using comparison between inspection time and work time of crowdsourcing-based project for generating artificial intelligence training data
US11941519B2 (en) Machine learning training platform
JPWO2021033338A5 (ko)
EP3980894A1 (en) Systems and methods for simulating real-world io workloads in a parallel and distributed storage system
JP2021500672A5 (ko)
Elzamly et al. Mitigating software maintenance project risks with stepwise regression analysis techniques
US12067748B2 (en) Selection of image label color based on image understanding
US10552386B1 (en) System and method for storing and reading a database on flash memory or other degradable storage
Kulzy III et al. The survey process: With an emphasis on survey data analysis
JP7471760B1 (ja) 情報処理方法、情報処理システム及びプログラム
US20220309073A1 (en) Automatic conversion of data within data pipeline
US11651852B2 (en) Methods for surgical guideline indicator mapping to facilitate automated medical bill adjudication and devices thereof
EP4332857A1 (en) Computer-implemented system and method for handling coding errors in computer programs
US20240161015A1 (en) Ranking machine learning pipelines using joint computations
WO2023281581A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant