KR102651595B1 - 크라우드 워커의 성과 평가 장치, 시스템 및 방법 - Google Patents

크라우드 워커의 성과 평가 장치, 시스템 및 방법 Download PDF

Info

Publication number
KR102651595B1
KR102651595B1 KR1020230089688A KR20230089688A KR102651595B1 KR 102651595 B1 KR102651595 B1 KR 102651595B1 KR 1020230089688 A KR1020230089688 A KR 1020230089688A KR 20230089688 A KR20230089688 A KR 20230089688A KR 102651595 B1 KR102651595 B1 KR 102651595B1
Authority
KR
South Korea
Prior art keywords
evaluation
performance evaluation
weight
evaluators
performance
Prior art date
Application number
KR1020230089688A
Other languages
English (en)
Inventor
이민구
박용국
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020230089688A priority Critical patent/KR102651595B1/ko
Application granted granted Critical
Publication of KR102651595B1 publication Critical patent/KR102651595B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법에 관한 것이다. 성과 평가 장치가 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집한다. 성과 평가 장치가 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출한다. 성과 평가 장치가 제1 및 제2 평가성향유사도를 기반으로 복수의 평가자별 가중치를 산출한다. 그리고 성과 평가 장치가 성과 평가에 가중치를 적용하여 성과 평가를 보정한다.

Description

크라우드 워커의 성과 평가 장치, 시스템 및 방법{Crowd worker performance evaluation device, system and method}
본 발명은 크라우드 워커(Crowd Worker)의 성과 평가에 관한 것으로, 더욱 상세하게는 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법에 관한 것이다.
인공 지능(AI)은 지능을 가진 인공물 구현을 목표로 하며, 이 인공물을 지능형 에이전트(intelligent agent)라고 한다. 지능형 에이전트는 센서(sensor)를 이용하여 주변 환경을 지각하며 액추에이터(actuator)를 이용하여 적절한 행동을 한다.
지능형 에이전트의 형태는 소프트웨어이거나 하드웨어를 포함한 컴퓨팅 시스템 또는 로봇일 수 있다. 지능형 에이전트는 컴퓨터 키보드, 마이크, 카메라 등을 센서로 사용하고, 모터 등을 액추에이터로 사용할 수 있다. 소프트웨어 형태의 지능형 에이전트는 디스플레이 장치와 스피커를 액추에이터로 이용하기도 한다.
최근, 지능형 에이전트의 발전에도 불구하고, 사용자의 의도를 고려하여 선제적으로 정보를 제공하는 기술의 발전은 더딘 상황이다. 사용자의 의도를 고려한 선제적 정보 제공을 기반으로 하는 인공지능 부재의 가장 큰 원인은 인공지능의 디자인 및 훈련을 위한 데이터셋(Data Set)의 부재이다.
한편, 크라우드 소싱(Crowd Sourcing)은 대중(Crowd)과 아웃소싱(Outsourcing)의 합성어로, 기업 활동 일부 과정에 대중을 참여시키는 것을 의미한다. 기업이 새로운 제품을 생산하거나 서비스 개선을 위해 크라우드 소싱을 이용하면, 기업은 해당 제품 또는 서비스에 대해 대중들로부터 피드백(Feedback)을 받을 수 있다.
크라우드 소싱을 수행하는 크라우드 워커(Crowd worker)가 수행한 작업에 대한 성과 평가도 수행되고 있다. 일반적인 직장인의 작업 수행과 비교해서, 크라우드 워커에 의한 크라우드 소싱은 비대면, 단주기, 단발성 등의 업무 형태 특성을 가지고 있다.
이로 인해 크라우드 워커의 성과를 평가하기 위해서, 기존의 고전적인 사업장 현장 중심 대면 방식의 성과 평가를 적용하는데는 한계가 있다.
등록특허공보 제10-2214006호 (2021.02.03. 등록)
따라서 본 발명의 목적은 크라우드 워커들의 업무 형태를 고려한 크라우드 워커의 성과 평가 장치, 시스템 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 불공정 평가자에 의해 수행된 이전 성과 평가 결과를 교정하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 성과 평가 장치가 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하는 단계; 상기 성과 평가 장치가 상기 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출하는 단계; 상기 성과 평가 장치가 상기 제1 및 제2 평가성향유사도를 기반으로 상기 복수의 평가자별 가중치를 산출하는 단계; 및 상기 성과 평가 장치가 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하는 단계;를 포함하는 크라우드 워커의 성과 평가 방법을 제공한다.
상기 제1 평가성향유사도는 아래의 수학식1로 산출하고, 상기 제2 평가성향유사도는 아래의 수학식2로 산출할 수 있다.
[수학식 1]
Figure 112023076119610-pat00001
[수학식 2]
Figure 112023076119610-pat00002
특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
동료평가평균: 복수의 평가자에 의한 크라우드 워커(i)의 평가 점수 평균
자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
상기 가중치를 산출하는 단계는, 상기 성과 평가 장치가 상기 복수의 크라우드 워커에 대한 상기 제1 및 제2 평가성향유사도의 평균값을 각각 산출하는 단계; 및 상기 성과 평가 장치는 산출한 평균값의 크기에 반비례하게 가중치를 산출하는 단계;를 포함할 수 있다.
본 발명에 따른 크라우드 워커의 성과 평가 방법은, 상기 평균값을 각각 산출하는 단계 이전에 수행되는, 상기 성과 평가 장치가 산출될 제1 및 제2 평가성향유사도의 평균값을 복수의 구간으로 나누어 가중치를 설정하되, 구간별 평균값이 클수록 가중치를 낮게 설정하는 단계;를 더 포함할 수 있다.
상기 가중치를 산출하는 단계에서, 상기 성과 평가 장치가 설정된 가중치를 참조하여 상기 산출한 평균값의 크기에 대응되는 가중치를 산출할 수 있다.
본 발명에 따른 크라우드 워커의 성과 평가 방법은, 상기 보정하는 단계 이후에 수행되는, 상기 성과 평가 장치가 상기 복수의 평가자에 의한 기 성과 평가에 상기 가중치를 적용하여 상기 기 성과 평가를 교정하는 단계;를 더 포함할 수 있다.
본 발명은 또한, 복수의 평가자 단말기와 통신을 수행하는 통신부; 및 상기 통신부를 통하여 복수의 평가자 단말기로부터 상기 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출하고, 상기 제1 및 제2 평가성향유사도를 기반으로 상기 복수의 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하는 제어부;를 포함하는 크라우드 워커의 성과 평가 장치를 제공한다.
본 발명에 따른 크라우드 워커의 성과 평가 장치는, 상기 복수의 평가자에 의한 성과 평가를 저장하는 저장부;를 더 포함할 수 있다.
상기 제어부는, 상기 저장부에 저장된 성과 평가에 가중치를 적용하여 상기 저장된 성과 평가를 교정할 수 있다.
그리고 본 발명은, 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수행하는 복수의 평가자 단말기; 및 상기 복수의 평가자 단말기로부터 상기 복수의 평가자에 의한 복수의 크라우드 워커에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출하고, 상기 제1 및 제2 평가성향유사도를 기반으로 상기 복수의 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하는 성과 평가 장치;를 포함하는 크라우드 워커의 성과 평가 시스템을 제공한다.
본 발명에 따르면, 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행할 수 있다. 이로 인해 크라우드 워커에 대한 성과 평가에 대한 정확도와 신뢰성을 향상시킬 수 있다.
본 발명에 따른 크라우드 워커의 성과 평가를 통해서 불공정 평가자에 의해 수행된 이전의 잘못된 성과 평가 결과를 교정함으로써, 성과 평가 오류에 의한 크라우드 워커가 다른 크라우드 소싱 프로젝트에 참여 가능성에 영향을 받는 것을 억제할 수 있다. 즉 크라우드 워커는 보다 객관적인 성과 평가를 통하여 데이터 라벨링과 같은 크라우드 소싱 프로젝트에 참여할 수 있는 기회를 확보할 수 있을 것으로 기대된다.
본 발명에 따른 크라우드 워커의 성과 평가는 크라우드 소서(Crowd sourcer) 입장에서 객관적인 성과 평가를 활용하여 검증된 크라우드 워커를 확보할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 크라우드 워커의 성과 평가 시스템을 보여주는 블록도이다.
도 2는 도 1의 성과 평가 장치를 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따른 크라우드 워커의 성과 평가 방법에 따른 흐름도이다.
도 4는 도 3의 가중치를 산출하는 단계의 제1 예를 보여주는 상세 흐름도이다.
도 5는 도 3의 가중치를 산출하는 단계의 제2 예를 보여주는 상세 흐름도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 크라우드 워커의 성과 평가 시스템을 보여주는 블록도이다.
도 1을 참조하면, 본 실시예에 따른 크라우드 워커의 성과 평가 시스템(100)은 크라우드 워커가 수행한 크라우드 소싱에 대한 성과를 평가하는 시스템으로, 복수의 평가자 단말기(10)와 성과 평가 장치(20)를 포함한다. 여기서 크라우드 소싱은 데이터 라벨링을 포함할 수 있다.
평가자 단말기(10)는 크라우드 워커가 수행한 크라우드 소싱에 대한 성과에 대한 평가를 수행하는 평가자가 사용하는 통신 단말기이다. 평가자는 평가자 단말기(10)를 통하여 크라우드 워커의 성과를 평가하고, 평가 결과를 성과 평가 장치(20)로 전송한다. 평가자 단말기(10)는 평가자의 성과 평가 결과를 점수화하여 성과 평가 장치(20)로 전송할 수 있다. 이러한 평가자 단말기(10)는 성과 평가 장치(20)와 통신이 가능한 단말기로서, 예컨대 스마트폰, 랩톱, 핸드헬드PC, 태블릿PC, 웨어러블 기기 등을 포함할 수 있으며, 이것에 한정되는 것은 아니다.
평가자 단말기(10)와 성과 평가 장치(20) 간의 통신 방식은 유무선 네트워크를 포함한다. 유선 네트워크는 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등을 포함할 수 있고, 무선 네트워크는 무선 LANs, CDMA, 블루투스, 위성통신 등을 포함할 수 있으며, 이것에 한정되는 것은 아니다.
또한 통신 방식은 근거리 통신 또는 원거리 통신을 포함할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있으며, 이것에 한정되는 것은 아니다. 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있으며, 이것에 한정되는 것은 아니다.
그리고 성과 평가 장치(20)는 복수의 평가자로부터 수집한 복수의 크라우드 워커에 대한 성과 평가를 기반으로 성과 평가를 수행하되, 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행한다. 즉 성과 평가 장치(20)는 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 복수의 평가자 단말기(10)로부터 수집한다. 성과 평가 장치(20)는 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출한다. 성과 평가 장치(20)는 제1 및 제2 평가성향유사도를 기반으로 복수의 평가자별 가중치를 산출한다. 그리고 성과 평가 장치(20)는 성과 평가에 가중치를 적용하여 성과 평가를 보정한다.
그 외 본 실시예에 따른 성과 평가 장치(20)는, 가중치를 산출한 복수의 평가자에 의한 기 성과 평가를 저장하고 있는 경우, 기 성과 평가에 산출한 가중치를 적용하여 기 성과 평가를 교정할 수 있다.
이와 같이 본 실시예에 따른 성과 평가 장치(20)는, 크라우드 워커에게 적용되는 성과 평가에서 불공정 평가를 분류 및 식별하고 보정하기 위해서, 평가자별로 평가 점수 부여 시 평가에 대한 공정성 점수로서 제1 및 제2 평가성향유사도를 평가 인자의 주요 항목으로 활용한다. 이로 인해 본 실시예에 따른 성과 평가 장치(20)는 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행할 수 있다.
이와 같은 본 실시예에 따른 성과 평가 장치(20)에 대해서 도 1 및 도 2를 참조하여 설명하면 다음과 같다. 여기서 도 2는 도 1의 성과 평가 장치(20)를 보여주는 블록도이다.
본 실시예에 따른 성과 평가 장치(20)는 통신부(21), 저장부(23) 및 제어부(25)를 포함한다.
통신부(21)는 복수의 평가자 단말기(10)와 통신을 수행한다. 통신부(21)는 평가자 단말기(10)를 통하여 복수의 평가자가 수행한 복수의 크라우드 워커의 성과 평가를 수집한다.
저장부(23)는 성과 평가 장치(20)의 동작 제어 시 필요한 프로그램과, 그 프로그램의 수행 중에 발생되는 데이터를 저장한다. 저장부(23)는 성과 평가를 수행하기 위한 실행 프로그램을 저장한다. 저장부(23)는 평가자 단말기(10)로부터 수집한 원본 성과 평가를 저장하고, 원본 성과 평가를 기반으로 산출된 가중치를 반영한 보정된 성과 평가를 저장한다. 저장부(23)는 기 저장된 성과 평가에 보정된 성과 평가를 함께 저장하거나, 기 저장된 성과 평가를 산출된 가중치를 반영하여 교정된 성과 평가를 저장할 수 있다.
그리고 제어부(25)는 성과 평가 장치(20)의 전반적인 제어를 수행하는 마이크로프로세서를 포함한다. 제어부(25)는 크라우드 워커가 수행한 크라우드 소싱에 대한 성과를 다음과 같이 평가할 수 있다.
제어부(25)는 통신부(21)를 통하여 복수의 평가자 단말기(10)로부터 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집한다. 제어부(25)는 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출한다. 제어부(25)는 제1 및 제2 평가성향유사도를 기반으로 복수의 평가자별 가중치를 산출한다. 그리고 제어부(25)는 성과 평가에 가중치를 적용하여 성과 평가를 보정한다.
여기서 제어부(25)는 제1 평가성향유사도를 아래의 수학식1로 산출하고, 제2 평가성향유사도를 아래의 수학식2로 산출할 수 있다.
[수학식 1]
Figure 112023076119610-pat00003
[수학식 2]
Figure 112023076119610-pat00004
특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
동료평가평균: 복수의 평가자에 의한 크라우드 워커(i)의 평가 점수 평균
자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
이와 같이 제어부(25)는 제1 및 제2 평가성향유사도를 이용하여 발생 가능한 불공정 평가 가능성을 구분하다. 즉 가장 바람직한 경우는 제1 및 제2 평가성향유사도의 점수가 0에 수렴하는 경우이다. 따라서 제1 및 제2 평가성향유사도의 점수가 0에 가까울수록 복수의 평가자에 의한 성과 평가가 공정하게 수행된 것으로 판단할 수 있다. 반대로 제1 및 제2 평가성향유사도의 점수가 클수록 평가자에 의한 성과 평가가 불공정하게 수행된 것으로 판단할 수 있다.
제어부(25)는 다음과 같이 가중치를 산출할 수 있다.
먼저 제어부(25)는 복수의 크라우드 워커에 대한 제1 및 제2 평가성향유사도의 평균값을 각각 산출한다. 그리고 제어부(25)는 산출한 평균값의 크기에 반비례하게 가중치를 산출할 수 있다.
제어부(25)는 가중치를 산출할 때 기 설정된 가중치를 활용할 수 있다. 즉 제어부(25)는 산출될 제1 및 제2 평가성향유사도의 평균값을 복수의 구간으로 나누어 가중치를 설정하되, 구간별 평균값이 클수록 가중치를 낮게 설정할 수 있다. 제어부(25)는 복수의 크라우드 워커에 대한 제1 및 제2 평가성향유사도의 평균값을 각각 산출한다. 그리고 제어부(25)는 설정된 가중치를 참조하여 산출한 평균값의 크기에 대응되는 가중치를 산출할 수 있다.
한편 본 실시예에서는 제어부(25)는 가중치를 설정할 때 평균값의 증가에 따라서 단계적으로 감소하도록 설정한 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 제어부(25)는 평균값의 증가에 따라서 선형적 감소하거나 비선형적으로 감소하게 가중치를 설정할 수 있다.
제어부(25)는 성과 평가에 산출한 가중치를 적용하여 성과 평가를 보정한다. 제어부(25)는 보정된 성과 평가 점수를 합산한 후 평균하여 복수의 크라우드 워커에 대한 최종 평가 결과를 산출할 수 있다.
그리고 제어부(25)는 산출한 가중치를 산출한 평가자에 의해 기 성과 평가를 저장하고 있는 경우, 기 성과 평가에 산출한 가중치를 적용하여 기 성과 평가를 교정할 수 있다. 이와 같이 불공정 평가자에 의한 기존 피평가자들의 성과 평가에 산출한 가중치를 피드백 함으로써, 기존의 잘못된 크라우드 워커에 부여된 성과 평가를 교정할 수 있다. 이로 인해 불공정 평가자에 의해 수행된 이전의 잘못된 성과 평가 결과를 교정함으로써, 성과 평가 오류에 의한 크라우드 워커가 다른 크라우드 소싱 프로젝트에 참여 가능성에 영향을 받는 것을 줄일 수 있다. 즉 크라우드 워커는 보다 객관적인 성과 평가를 통하여 데이터 라벨링과 같은 크라우드 소싱 프로젝트에 참여할 수 있는 기회를 확보하는데 있어서, 잘못된 성과 평가로 인해 불이익을 받는 것을 억제할 수 있다.
한편 본 실시예에서는 가중치를 산출하기 위해서 제1 및 제2 평가성향유사도의 평균값을 사용하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 제1 및 제2 평가성향유사도 중에 하나를 사용하여 가중치를 산출할 수 있다. 또는 제1 및 제2 평가성향유사도 중 적어도 하나에 유사도 가중치를 적용한 평균값을 사용할 수 있다.
이와 같은 본 실시예에 따른 성과 평가 시스템(100)에 의한 크라우드 워커의 성과 평가 방법에 대해서 도 1 내지 도 5를 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 실시예에 따른 크라우드 워커의 성과 평가 방법에 따른 흐름도이다. 도 4는 도 3의 가중치를 산출하는 단계의 제1 예를 보여주는 상세 흐름도이다. 그리고 도 5는 도 3의 가중치를 산출하는 단계의 제2 예를 보여주는 상세 흐름도이다.
먼저 S10단계에서 성과 평가 장치(20)는 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집한다. 즉 복수의 평가자는 평가자 단말기(10)를 통하여 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수행한다. 성과 평가 장치(20)는 복수의 평가자 단말기(10)로부터 수행된 성과 평가 결과를 수집한다.
다음으로 S20단계에서 성과 평가 장치(20)는 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출한다. 여기서 제1 및 제2 평가성향유사도는 수학식1 및 수학식2로 각각 산출된다.
다음으로 S30단계에서 성과 평가 장치(20)는 제1 및 제2 평가성향유사도를 기반으로 복수의 평가자별 가중치를 산출한다.
여기서 성과 평가 장치(20)는 도 4와 같이 가중치를 산출할 수 있다. S33단계에서 성과 평가 장치(20)는 복수의 크라우드 워커에 대한 제1 및 제2 평가성향유사도의 평균값을 각각 산출한다. 그리고 S35단계에서 산출한 평균값의 크기에 반비례하게 가중치를 산출할 수 있다.
또는 성과 평가 장치(20)는 도 5와 같이 가중치를 산출할 수 있다. S31단계에서 성과 평가 장치(20)는 산출될 제1 및 제2 평가성향유사도의 평균값을 복수의 구간으로 나누어 가중치를 설정하되, 구간별 평균값이 클수록 가중치를 낮게 설정할 수 있다. 다음으로 S33단계에서 성과 평가 장치(20)는 복수의 크라우드 워커에 대한 제1 및 제2 평가성향유사도의 평균값을 각각 산출한다. 그리고 S37단계에서 성과 평가 장치(20)는 설정된 가중치를 참조하여 산출한 평균값의 크기에 대응되는 가중치를 산출할 수 있다.
이어서 S40단계에서 성과 평가 장치(20)는 성과 평가에 산출한 가중치를 적용하여 성과 평가를 보정한다. 성과 평가 장치(20)는 보정된 성과 평가 점수를 합산한 후 평균하여 복수의 크라우드 워커에 대한 최종 평가 결과를 산출할 수 있다.
그리고 S50단계에서 성과 평가 장치(20)는 복수의 평가자에 의한 저장된 성과 평가에 가중치를 적용하여 저장된 성과 평가를 교정할 수 있다.
이와 같이 본 실시예에서는 성과 평가에 있어서, 가중치를 이용하여 성과 평가를 보정 또는 교정함으로써, 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행할 수 있다. 즉 복수의 평가가 중 특정 평가자에 대한 이상 점수(불공정) 부과 상황을 비교 및 식별하여 불공정 평가 가능성이 높은 것으로 판단되는 불공정 평가자의 점수를 피평가자들에 대한 성과 평가 점수 합산 시 가중치를 조절함으로써, 불공정 평가에 따른 영향도를 줄이거나 완전히 배제할 수 있다. 예컨대 가중치가 0인 경우, 불공정 평가에 대한 영향을 완전히 배제할 수 있다.
이와 같은 본 실시예에 따른 성과 평가 방법을 아래와 같은 구체적인 예를들어 설명하면 다음과 같다.
먼저 평가자 4명(1~4)이 크라우드 워커 3명(A, B, C)에 대한 성과 평과를 표1과 같이 수행하였다. 평가자는 100점을 만점으로 성과 평가 점수를 부과하였다.
평가자 크라우드 워커 평가점수
1 A 60
1 B 90
1 C 95
2 A 95
2 B 88
3 A 93
4 A 98
표1의 성과 평가 점수를 기반으로 수학식1 및 수학식2로 산출한 제1 및 제2 평가성향유사도는 표2와 같다.
평가자 크라우드 워커 평가점수 제1 평가성향유사도 제2 평가성향유사도
1 A 60 175.5 156.4
1 B 90 9.5 23.1
1 C 95 0 59.2
2 A 95 18.0 6.1
2 B 88 0.5 6.1
3 A 93 10.5 0
4 A 98 33.0 0
여기서 평가자 1의 크라우드 워커 A에 대한 제1 및 제2 평가성향유사도는 아래와 같이 수학식 1-1과 수학식 1-2와 같이 산출된다.
[수학식 1-1]
Figure 112023076119610-pat00005
[수학식 2-1]
Figure 112023076119610-pat00006
평가자 1은 크라우드 워커 A에 대해서 60점이라는 성과 평가 점수를 부과하였는데, 이는 다른 평가자들의 평가 성향과도 차이가 크고, 자신이 다른 피평가자들(크라우드 워커 B 및 C)에게 부여한 성과 평가 점수와도 평가 성향 차이가 큰 것을 확인할 수 있다.
제1 및 제2 평가성향유사도의 평균값에 따른 설정 가중치는 표3과 같이 설정하였다. 표3은 설정 가중치의 하나의 예시에 불과하며 이것에 한정되는 것은 아니다.
유사도 평균값 설정 가중치
0~50 1
50~100 0.8
100~200 0.2
200~ 0
표3에 따른 설정 가중치를 참조하여 산출된 제1 및 제2 평가성향유사도의 평균값에 대한 가중치를 산출하면 표4와 같다.
평가자 1의 크라우드 워커 A에 대한 제1 및 제2 평가성향유사도 평균값은 165.95로서 100~200 구간에 속해 가중치 0.2를 적용하도록 산출되고, 나머지 평가자와 크라우드 워커 간의 평가는 정상적인 평가로 판단하여 가중치 1을 적용하여 최종 평가점수 합산에 사용한다. 이와 같은 가중치를 이용한 성과 평가 점수의 보정을 통해서 평가자 1의 크라우드 워커 A에 대한 불공정 평가의 영향도를 최소화할 수 있다.
크라우드 워커 A의 최종 성과 평가 점수는 기존과 같이 산출한 경우와, 본 실시예와 같이 산출한 가중치를 적용한 경우를 비교하면 다음과 같다.
기존의 경우, 크라우드 워커 A에 부여된 성과 평가 점수를 합산한 후 평균하여 최종 평가 점수를 산출한다. 즉 기존 방식에 따른 크라우드 워커 A에 부여된 최종 평가 점수는 (60+95+93+98)/4=86.5 으로서, 동료평가평균값이다.
본 실시예의 경우, 크라우드 워커 A에 부여된 보정된 성과 평가 점수를 합산한 후 평균하여 최종 평가 점수를 산출한다. 즉 본 실시예 방식에 따른 크라우드 워커 A에 부여된 최종 평가 점수는 (60×0.2+95+93+98)/3.2=93.13 이다.
이와 같이 평가자들 중 특정 평가자에 대한 이상점수(불공정) 부과 상황을 비교 및 식별하여 불공정 평가 가능성이 높은 것으로 판단되는 불공정 평가자의 성과 평가 점수를 피평가자들에 대한 성과 평가 점수 합산 시 가중치를 적게 하여 영향도를 줄이거나 배제할 수 있다. 즉 가중치가 0인 경우, 불공정 평가에 대한 영향을 완전히 배제할 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
10 : 평가자 단말기
20 : 성과 평가 장치
21 : 통신부
23 : 저장부
25 : 제어부
100 : 성과 평가 시스템

Claims (8)

  1. 성과 평가 장치가 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하는 단계;
    상기 성과 평가 장치가 상기 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출하는 단계;
    상기 성과 평가 장치가 상기 제1 및 제2 평가성향유사도를 기반으로 상기 복수의 평가자별 가중치를 산출하는 단계;
    상기 성과 평가 장치가 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하는 단계; 및
    상기 성과 평가 장치가 상기 복수의 평가자에 의한 기 성과 평가에 상기 가중치를 적용하여 상기 기 성과 평가를 교정하는 단계;를 포함하고,
    상기 제1 평가성향유사도는 아래의 수학식1로 산출하고,
    상기 제2 평가성향유사도는 아래의 수학식2로 산출하고,
    상기 복수의 평가자별 가중치를 산출하는 단계는,
    상기 성과 평가 장치가 산출될 제1 및 제2 평가성향유사도의 평균값을 복수의 구간으로 나누어 가중치를 설정하되, 구간별 평균값이 클수록 평가자에 의한 성과 평가가 불공정하게 수행된 것으로 판단하여 가중치를 낮게 설정하는 단계;
    상기 성과 평가 장치가 상기 복수의 크라우드 워커에 대한 상기 제1 및 제2 평가성향유사도의 평균값을 각각 산출하는 단계; 및
    상기 성과 평가 장치가 설정된 가중치를 참조하여 상기 산출한 평균값의 크기에 대응되는 상기 복수의 평가자별 가중치를 산출하는 단계;를 포함하고,
    상기 가중치를 낮게 설정하는 단계에서,
    상기 성과 평가 장치가 구간별 평균값의 증가에 따라서 단계적으로 낮게 가중치를 설정하는 것을 특징으로 하는 크라우드 워커의 성과 평가 방법.
    [수학식 1]

    [수학식 2]

    특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
    동료평가평균: 복수의 평가자에 의한 크라우드 워커(i)의 평가 점수 평균
    자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 복수의 평가자 단말기와 통신을 수행하는 통신부;
    상기 복수의 평가자에 의한 성과 평가를 저장하는 저장부; 및
    상기 통신부를 통하여 복수의 평가자 단말기로부터 상기 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출하고, 상기 제1 및 제2 평가성향유사도를 기반으로 상기 복수의 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하고, 상기 복수의 평가자에 의한 기 성과 평가에 상기 가중치를 적용하여 상기 기 성과 평가를 교정하는 제어부;를 포함하고,
    상기 제1 평가성향유사도는 아래의 수학식1로 산출하고,
    상기 제2 평가성향유사도는 아래의 수학식2로 산출하고,
    상기 제어부는 상기 복수의 평가자별 가중치를 산출할 때,
    산출될 제1 및 제2 평가성향유사도의 평균값을 복수의 구간으로 나누어 가중치를 설정하되, 구간별 평균값이 클수록 평가자에 의한 성과 평가가 불공정하게 수행된 것으로 판단하여 가중치를 낮게 설정하면서 상기 구간별 평균값의 증가에 따라서 단계적으로 낮게 가중치를 설정하고,
    상기 복수의 크라우드 워커에 대한 상기 제1 및 제2 평가성향유사도의 평균값을 각각 산출하고,
    설정된 가중치를 참조하여 상기 산출한 평균값의 크기에 대응되는 상기 복수의 평가자별 가중치를 산출하는 것을 특징으로 하는 크라우드 워커의 성과 평가 장치.
    [수학식 1]

    [수학식 2]

    특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
    동료평가평균: 복수의 평가자에 의한 크라우드 워커(i)의 평가 점수 평균
    자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
  7. 삭제
  8. 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수행하는 복수의 평가자 단말기; 및
    상기 복수의 평가자에 의한 성과 평가를 저장하고 있고, 상기 복수의 평가자 단말기로부터 상기 복수의 평가자에 의한 복수의 크라우드 워커에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 크라우드 워커에 대한 다른 평가자와의 제1 평가성향유사도와, 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 제2 평가성향유사도를 산출하고, 상기 제1 및 제2 평가성향유사도를 기반으로 상기 복수의 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하고, 상기 복수의 평가자에 의한 기 성과 평가에 상기 가중치를 적용하여 상기 기 성과 평가를 교정하는 성과 평가 장치;를 포함하고,
    상기 제1 평가성향유사도는 아래의 수학식1로 산출하고,
    상기 제2 평가성향유사도는 아래의 수학식2로 산출하고,
    상기 성과 평가 장치는 상기 복수의 평가자별 가중치를 산출할 때,
    산출될 제1 및 제2 평가성향유사도의 평균값을 복수의 구간으로 나누어 가중치를 설정하되, 구간별 평균값이 클수록 평가자에 의한 성과 평가가 불공정하게 수행된 것으로 판단하여 가중치를 낮게 설정하면서 상기 구간별 평균값의 증가에 따라서 단계적으로 낮게 가중치를 설정하고,
    상기 복수의 크라우드 워커에 대한 상기 제1 및 제2 평가성향유사도의 평균값을 각각 산출하고,
    설정된 가중치를 참조하여 상기 산출한 평균값의 크기에 대응되는 상기 복수의 평가자별 가중치를 산출하는 것을 특징으로 하는 크라우드 워커의 성과 평가 시스템.
    [수학식 1]

    [수학식 2]

    특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
    동료평가평균: 복수의 평가자에 의한 크라우드 워커(i)의 평가 점수 평균
    자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
KR1020230089688A 2023-07-11 2023-07-11 크라우드 워커의 성과 평가 장치, 시스템 및 방법 KR102651595B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230089688A KR102651595B1 (ko) 2023-07-11 2023-07-11 크라우드 워커의 성과 평가 장치, 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230089688A KR102651595B1 (ko) 2023-07-11 2023-07-11 크라우드 워커의 성과 평가 장치, 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102651595B1 true KR102651595B1 (ko) 2024-03-26

Family

ID=90472768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230089688A KR102651595B1 (ko) 2023-07-11 2023-07-11 크라우드 워커의 성과 평가 장치, 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102651595B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160101529A (ko) * 2015-02-17 2016-08-25 박준현 점수 재산정 방법과 컴퓨터 판독 가능한 기록 매체
KR102164844B1 (ko) * 2020-05-07 2020-10-14 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 단위 난이도를 활용한 작업자 평가 방법
KR102214006B1 (ko) 2019-06-10 2021-02-09 주식회사 피앤피소프트 업무 담당자의 인사 평가를 수행하는 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160101529A (ko) * 2015-02-17 2016-08-25 박준현 점수 재산정 방법과 컴퓨터 판독 가능한 기록 매체
KR102214006B1 (ko) 2019-06-10 2021-02-09 주식회사 피앤피소프트 업무 담당자의 인사 평가를 수행하는 장치 및 방법
KR102164844B1 (ko) * 2020-05-07 2020-10-14 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 단위 난이도를 활용한 작업자 평가 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[블로그] 평가제도 설명자료(2017.01.19.)(자료출처: https://brunch.co.kr/@cjfdnjs1949/152) 1부.* *

Similar Documents

Publication Publication Date Title
CN108874968B (zh) 风险管理数据处理方法、装置、计算机设备和存储介质
US10239209B2 (en) Robot simulation device for human intervention-type robot system
CN108229910B (zh) 一种居民上报事件的分类处理方法
CN107864174A (zh) 一种基于规则的物联网设备联动方法
CN115599870B (zh) 基于消息队列的存量数据与增量数据融合的数据同步方法
US8301522B2 (en) Method, device and system for configuration and quotation processing
US20150242625A1 (en) Pre-Delegation of Defined User Roles for Guiding User in Incident Response
CN111507552A (zh) 深度学习方法、系统、服务器及可读存储介质
EP4250593A1 (en) Satellite terminal access management method, core network, computer apparatus, and storage medium
WO2021008576A1 (zh) 上下文信息管理方法、装置、系统及计算机可读存储介质
CN111736853A (zh) 灰度发布方法、装置、设备及存储介质
EP4068717A1 (en) Method for controlling edge node, node, and edge computing system
CN109118097B (zh) 一种可靠性维修性保障性评估方法和装置
KR102651595B1 (ko) 크라우드 워커의 성과 평가 장치, 시스템 및 방법
CN105991401A (zh) 一种网络问答方法和系统
CN111008148B (zh) 代码的测试方法、装置及计算机可读存储介质
US20220230097A1 (en) Device and method for data-based reinforcement learning
CN109522919A (zh) 一种数据评估方法及装置
CN114626744A (zh) 一种基于科技创新能力的评估方法、系统和可读存储介质
KR102651577B1 (ko) 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법
US11369290B2 (en) Assist device control system
CN109360626B (zh) 个性化审方规则库构建方法、装置、电子设备及存储介质
CN109359799B (zh) 保单调单处理方法、装置、计算机设备及存储介质
CN105825316A (zh) 一种积分管理方法
CN110264043A (zh) 一种基于大数据的科技项目评估方法、系统及存储介质

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant