KR102651577B1 - Crowd worker performance evaluation device, system and method including feedback on evaluation - Google Patents

Crowd worker performance evaluation device, system and method including feedback on evaluation Download PDF

Info

Publication number
KR102651577B1
KR102651577B1 KR1020230089689A KR20230089689A KR102651577B1 KR 102651577 B1 KR102651577 B1 KR 102651577B1 KR 1020230089689 A KR1020230089689 A KR 1020230089689A KR 20230089689 A KR20230089689 A KR 20230089689A KR 102651577 B1 KR102651577 B1 KR 102651577B1
Authority
KR
South Korea
Prior art keywords
evaluation
evaluator
unfair
performance
performance evaluation
Prior art date
Application number
KR1020230089689A
Other languages
Korean (ko)
Inventor
이민구
박용국
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020230089689A priority Critical patent/KR102651577B1/en
Application granted granted Critical
Publication of KR102651577B1 publication Critical patent/KR102651577B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/105Human resources

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하면서 평가자에게 불공정한 평가에 대해서 피드백하여 보다 객관적인 성과 평가를 수행하는 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법에 관한 것이다. 성과 평가 장치가 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집한다. 성과 평가 장치가 복수의 평가자별로 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출한다. 성과 평가 장치가 평가성향유사도로 복수의 평가자에 대한 불공정 평가 여부를 판단한다. 성과 평가 장치가 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기로 불공정 평가 가능성을 피드백한다. 성과 평가 장치가 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하다. 성과 평가 장치가 평가자별 위반회수에 따른 평가자별 가중치를 산출한다. 그리고 성과 평가 장치가 성과 평가에 가중치를 적용하여 성과 평가를 보정한다.The present invention is a performance evaluation device for crowd workers that includes evaluation feedback to perform a more objective performance evaluation by identifying and correcting the unfair evaluation of the evaluator evaluating the performance of the crowd worker and feeding back the unfair evaluation to the evaluator; It relates to systems and methods. A performance evaluation device collects performance evaluations for crowdsourcing performed by multiple crowdworkers by multiple evaluators. The performance evaluation device calculates evaluation tendency similarity for multiple crowd workers and specific crowd workers for each multiple evaluator. The performance evaluation device determines whether there is unfair evaluation of multiple evaluators based on similarity in evaluation tendencies. The performance evaluation device feeds back the possibility of unfair evaluation to the evaluator terminal of the evaluator whose evaluation was determined to be unfair. The performance evaluation device counts the number of violations for each evaluator according to the number of unfair evaluations by the evaluator. The performance evaluation device calculates a weight for each evaluator based on the number of violations for each evaluator. And the performance evaluation device corrects the performance evaluation by applying weight to the performance evaluation.

Description

평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법{Crowd worker performance evaluation device, system and method including feedback on evaluation}Crowd worker performance evaluation device, system and method including feedback on evaluation}

본 발명은 크라우드 워커(Crowd Worker)의 성과 평가에 관한 것으로, 더욱 상세하게는 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하면서 평가자에게 불공정한 평가에 대해서 피드백하여 보다 객관적인 성과 평가를 수행하는 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법에 관한 것이다.The present invention relates to the performance evaluation of crowd workers, and more specifically, to identify and correct the unfair evaluation of the evaluator who evaluates the performance of the crowd worker, and to provide feedback on the unfair evaluation to the evaluator to provide a more objective performance evaluation. It relates to a performance evaluation device, system, and method of crowd workers including feedback on the evaluation performed.

인공 지능(AI)은 지능을 가진 인공물 구현을 목표로 하며, 이 인공물을 지능형 에이전트(intelligent agent)라고 한다. 지능형 에이전트는 센서(sensor)를 이용하여 주변 환경을 지각하며 액추에이터(actuator)를 이용하여 적절한 행동을 한다.Artificial intelligence (AI) aims to implement intelligent artifacts, and these artifacts are called intelligent agents. Intelligent agents use sensors to perceive the surrounding environment and use actuators to take appropriate actions.

지능형 에이전트의 형태는 소프트웨어이거나 하드웨어를 포함한 컴퓨팅 시스템 또는 로봇일 수 있다. 지능형 에이전트는 컴퓨터 키보드, 마이크, 카메라 등을 센서로 사용하고, 모터 등을 액추에이터로 사용할 수 있다. 소프트웨어 형태의 지능형 에이전트는 디스플레이 장치와 스피커를 액추에이터로 이용하기도 한다.The form of an intelligent agent may be software, a computing system including hardware, or a robot. Intelligent agents can use computer keyboards, microphones, and cameras as sensors, and motors as actuators. Intelligent agents in software form sometimes use display devices and speakers as actuators.

최근, 지능형 에이전트의 발전에도 불구하고, 사용자의 의도를 고려하여 선제적으로 정보를 제공하는 기술의 발전은 더딘 상황이다. 사용자의 의도를 고려한 선제적 정보 제공을 기반으로 하는 인공지능 부재의 가장 큰 원인은 인공지능의 디자인 및 훈련을 위한 데이터셋(Data Set)의 부재이다.Recently, despite the development of intelligent agents, the development of technology to preemptively provide information by considering the user's intention is slow. The biggest cause of the absence of artificial intelligence based on preemptive information provision that takes the user's intention into account is the absence of a data set for the design and training of artificial intelligence.

한편, 크라우드 소싱(Crowd Sourcing)은 대중(Crowd)과 아웃소싱(Outsourcing)의 합성어로, 기업 활동 일부 과정에 대중을 참여시키는 것을 의미한다. 기업이 새로운 제품을 생산하거나 서비스 개선을 위해 크라우드 소싱을 이용하면, 기업은 해당 제품 또는 서비스에 대해 대중들로부터 피드백(Feedback)을 받을 수 있다.Meanwhile, crowd sourcing is a compound word of crowd and outsourcing, which means involving the public in some process of corporate activities. When a company uses crowdsourcing to produce a new product or improve a service, the company can receive feedback from the public about the product or service.

크라우드 소싱을 수행하는 크라우드 워커(Crowd worker)가 수행한 작업에 대한 성과 평가도 수행되고 있다. 일반적인 직장인의 작업 수행과 비교해서, 크라우드 워커에 의한 크라우드 소싱은 비대면, 단주기, 단발성 등의 업무 형태 특성을 가지고 있다.Performance evaluation of work performed by crowd workers performing crowdsourcing is also being conducted. Compared to the work performance of general office workers, crowdsourcing by crowdworkers has the characteristics of a non-face-to-face, short-cycle, and one-off type of work.

이로 인해 크라우드 워커의 성과를 평가하기 위해서, 기존의 고전적인 사업장 현장 중심 대면 방식의 성과 평가를 적용하는데는 한계가 있다.Because of this, there are limitations in applying the traditional face-to-face performance evaluation centered on the workplace to evaluate the performance of crowd workers.

등록특허공보 제10-2214006호 (2021.02.03. 등록)Registered Patent Publication No. 10-2214006 (registered on February 3, 2021)

따라서 본 발명의 목적은 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하면서 평가자에게 불공정한 평가에 대해서 피드백하여 보다 객관적인 성과 평가를 수행하는 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 장치, 시스템 및 방법을 제공하는 데 있다.Therefore, the purpose of the present invention is to identify and correct the unfair evaluation of the evaluator evaluating the performance of the crowd worker, and provide feedback on the evaluation to perform a more objective performance evaluation by feeding back the unfair evaluation to the evaluator. To provide evaluation devices, systems, and methods.

상기 목적을 달성하기 위하여, 본 발명은 성과 평가 장치가 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하는 단계; 상기 성과 평가 장치가 상기 복수의 평가자별로 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출하는 단계; 상기 성과 평가 장치가 상기 평가성향유사도로 상기 복수의 평가자에 대한 불공정 평가 여부를 판단하는 단계; 상기 성과 평가 장치가 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기로 불공정 평가 가능성을 피드백하는 단계; 상기 성과 평가 장치가 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하는 단계; 상기 성과 평가 장치가 상기 평가자별 위반회수에 따른 평가자별 가중치를 산출하는 단계; 및 상기 성과 평가 장치가 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하는 단계;를 포함하는 크라우드 워커의 성과 평가 방법을 제공한다.In order to achieve the above object, the present invention includes the steps of: a performance evaluation device collecting performance evaluations for crowdsourcing performed by a plurality of crowd workers by a plurality of evaluators; Calculating, by the performance evaluation device, similarity in evaluation tendencies for the plurality of crowd workers and a specific crowd worker for each of the plurality of evaluators; determining, by the performance evaluation device, whether the evaluation of the plurality of evaluators is unfair based on the evaluation tendency similarity; Feeding back, by the performance evaluation device, the possibility of unfair evaluation to the evaluator terminal of the evaluator whose evaluation was determined to be unfair; Counting, by the performance evaluation device, the number of violations for each evaluator according to the number of unfair evaluations by the evaluator; calculating, by the performance evaluation device, a weight for each evaluator according to the number of violations for each evaluator; and a step of the performance evaluation device correcting the performance evaluation by applying the weight to the performance evaluation.

상기 평가성향유사도는 아래의 수학식으로 산출한다.The evaluation tendency similarity is calculated using the equation below.

[수학식][Equation]

Figure 112023076119755-pat00001
Figure 112023076119755-pat00001

특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수Specific evaluation score (i): The evaluation score of the crowd worker (i) given by the user

자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균Average self-evaluation: Average of evaluation scores of multiple crowd workers given by a specific evaluator

상기 불공정 평가 여부를 판단하는 단계에서, 상기 성과 평가 장치는 산출한 평가성향유사도가 임계값 이상인 경우 불공정 평가로 판단할 수 있다.In the step of determining whether the evaluation is unfair, the performance evaluation device may determine that the evaluation is unfair if the calculated evaluation tendency similarity is greater than or equal to a threshold value.

상기 가중치를 산출하는 단계에서, 상기 성과 평가 장치는 위반회수가 증가할수록 가중치를 낮게 산출할 수 있다.In the step of calculating the weight, the performance evaluation device may calculate a lower weight as the number of violations increases.

상기 성과 평가 장치는 0~1 사이의 값으로 가중치를 산출할 수 있다.The performance evaluation device can calculate the weight as a value between 0 and 1.

본 발명에 따른 크라우드 워커의 성과 평가 방법은, 상기 보정하는 단계 이후에 수행되는, 상기 성과 평가 장치가 상기 복수의 평가자에 의한 기 성과 평가에 상기 가중치를 적용하여 상기 기 성과 평가를 교정하는 단계;를 더 포함할 수 있다.The performance evaluation method of a crowd worker according to the present invention includes the steps of correcting the existing performance evaluation by the performance evaluation device applying the weight to the existing performance evaluation by the plurality of evaluators, which is performed after the correction step; It may further include.

본 발명은 또한, 복수의 평가자 단말기와 통신을 수행하는 통신부; 및 상기 통신부를 통하여 복수의 평가자 단말기로부터 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출하고, 상기 평가성향유사도로 상기 복수의 평가자에 대한 불공정 평가 여부를 판단하고, 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기로 불공정 평가 가능성을 피드백하고, 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하고, 상기 평가자별 위반회수에 따른 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하는 제어부;를 포함하는 크라우드 워커의 성과 평가 장치를 제공한다.The present invention also includes a communication unit that communicates with a plurality of evaluator terminals; And collecting performance evaluations of crowdsourcing performed by a plurality of crowd workers by a plurality of evaluators from a plurality of evaluator terminals through the communication unit, and evaluating the evaluation tendencies of the plurality of crowd workers and specific crowd workers for each of the plurality of evaluators. Calculate the degree of similarity, determine whether the evaluation is unfair for the plurality of evaluators based on the similarity in evaluation tendencies, feed back the possibility of unfair evaluation to the evaluator terminal of the evaluator determined to be an unfair evaluation as a result of the judgment, and evaluate the evaluator according to the number of unfair evaluations by the evaluator. A control unit that counts the number of violations for each evaluator, calculates a weight for each evaluator according to the number of violations for each evaluator, and corrects the performance evaluation by applying the weight to the performance evaluation. Provides a performance evaluation device of a crowd worker including a. .

본 발명에 따른 크라우드 워커의 성과 평가 장치는 상기 복수의 평가자에 의한 성과 평가를 저장하는 저장부;를 더 포함한다.The crowd worker performance evaluation apparatus according to the present invention further includes a storage unit for storing performance evaluations by the plurality of evaluators.

상기 제어부는, 상기 저장부에 저장된 성과 평가에 상기 가중치를 적용하여 상기 저장된 성과 평가를 교정할 수 있다.The control unit may correct the stored performance evaluation by applying the weight to the performance evaluation stored in the storage unit.

그리고 본 발명은, 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수행하는 복수의 평가자 단말기; 및 상기 복수의 평가자 단말기로부터 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출하고, 상기 평가성향유사도로 상기 복수의 평가자에 대한 불공정 평가 여부를 판단하고, 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기로 불공정 평가 가능성을 피드백하고, 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하고, 상기 평가자별 위반회수에 따른 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 가중치를 적용하여 상기 성과 평가를 보정하는 성과 평가 장치;를 포함하는 크라우드 워커의 성과 평가 시스템을 제공한다.Additionally, the present invention includes a plurality of evaluator terminals that perform performance evaluation on crowdsourcing performed by a plurality of crowd workers; And collect performance evaluations for crowdsourcing performed by a plurality of crowdworkers by a plurality of evaluators from the plurality of evaluator terminals, and calculate evaluation tendency similarity for the plurality of crowdworkers and a specific crowdworker for each of the plurality of evaluators. The evaluation tendency similarity is used to determine whether the evaluation is unfair for the plurality of evaluators, and the possibility of unfair evaluation is fed back to the evaluator terminal of the evaluator determined to be an unfair evaluation as a result of the judgment, and the number of violations for each evaluator is calculated according to the number of unfair evaluations by the evaluator. A performance evaluation device that counts, calculates a weight for each evaluator according to the number of violations for each evaluator, and corrects the performance evaluation by applying the weight to the performance evaluation. It provides a performance evaluation system of a crowd worker including a.

본 발명에 따르면, 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행할 수 있다. 이로 인해 크라우드 워커에 대한 성과 평가에 대한 정확도와 신뢰성을 향상시킬 수 있다.According to the present invention, it is possible to perform a more objective performance evaluation by identifying and correcting unfair evaluations by evaluators evaluating the performance of crowd workers. This can improve the accuracy and reliability of performance evaluation of crowd workers.

본 발명에 따른 크라우드 워커의 성과 평가를 통해서 불공정 평가자에 의해 수행된 이전의 잘못된 성과 평가 결과를 교정함으로써, 성과 평가 오류에 의한 크라우드 워커가 다른 크라우드 소싱 프로젝트에 참여 가능성에 영향을 받는 것을 억제할 수 있다. 즉 크라우드 워커는 보다 객관적인 성과 평가를 통하여 데이터 라벨링과 같은 크라우드 소싱 프로젝트에 참여할 수 있는 기회를 확보할 수 있을 것으로 기대된다.By correcting previous incorrect performance evaluation results performed by unfair evaluators through the performance evaluation of crowd workers according to the present invention, it is possible to prevent crowd workers from being influenced by performance evaluation errors on their ability to participate in other crowdsourcing projects. there is. In other words, it is expected that crowd workers will be able to secure opportunities to participate in crowdsourcing projects such as data labeling through more objective performance evaluation.

본 발명에 따른 크라우드 워커의 성과 평가는 크라우드 소서(Crowd sourcer) 입장에서 객관적인 성과 평가를 활용하여 검증된 크라우드 워커를 확보할 수 있는 이점이 있다.The performance evaluation of crowd workers according to the present invention has the advantage of securing verified crowd workers by using objective performance evaluation from the crowd sourcer's perspective.

본 발명은 평가자별 성과 평가 점수만을 이용하여 평가성향유사도를 산출하여 불공정 평가 여부를 판단하기 때문에, 평가 진행 중에도 불공정 평가 가능성을 피드백하여 공정한 성과 평가를 유도할 수 있다.Since the present invention determines unfair evaluation by calculating evaluation tendency similarity using only the performance evaluation scores for each evaluator, it is possible to induce a fair performance evaluation by providing feedback on the possibility of unfair evaluation even during the evaluation.

그리고 본 발명에 따른 크라우드 워커의 성과 평가 시스템은 평가 수행 중 평가자가 인식하지 못하는 상태에서 특정 평가대상자(크라우드 워커)에게 불공정 평가를 수행하는 경우, 해당 평가대상자에 대한 불공정 평가 가능성을 피드백함으로써 공정한 평가를 유도해 줄 수 있다.In addition, the crowd worker's performance evaluation system according to the present invention provides fair evaluation by feedbacking the possibility of unfair evaluation of the evaluator in case an unfair evaluation is performed on a specific evaluator (crowd worker) without the evaluator being aware during the evaluation. can lead to .

도 1은 본 발명의 실시예에 따른 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 시스템을 보여주는 블록도이다.
도 2는 도 1의 성과 평가 장치를 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따른 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 방법에 따른 흐름도이다.
도 4 내지 도 9는 도 3의 크라우드 워커의 성과 평가 방법에 따른 예시도이다.
1 is a block diagram showing a performance evaluation system of a crowd worker including feedback on evaluation according to an embodiment of the present invention.
Figure 2 is a block diagram showing the performance evaluation device of Figure 1.
Figure 3 is a flowchart of a crowd worker performance evaluation method including feedback on evaluation according to an embodiment of the present invention.
Figures 4 to 9 are exemplary diagrams according to the performance evaluation method of the crowd worker in Figure 3.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.It should be noted that in the following description, only the parts necessary to understand the embodiments of the present invention will be described, and descriptions of other parts will be omitted without departing from the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as limited to their usual or dictionary meanings, and the inventor should use the concept of terminology appropriately to explain his/her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined clearly. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent the entire technical idea of the present invention, and therefore, various equivalents can be substituted for them at the time of filing the present application. It should be understood that there may be variations.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the attached drawings.

도 1은 본 발명의 실시예에 따른 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 시스템을 보여주는 블록도이다.1 is a block diagram showing a performance evaluation system of a crowd worker including feedback on evaluation according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 크라우드 워커의 성과 평가 시스템(100)은 크라우드 워커가 수행한 크라우드 소싱에 대한 성과를 평가하는 시스템으로, 복수의 평가자 단말기(10)와 성과 평가 장치(20)를 포함한다. 여기서 크라우드 소싱은 데이터 라벨링을 포함할 수 있다.Referring to FIG. 1, the performance evaluation system 100 of a crowd worker according to this embodiment is a system that evaluates the performance of crowd sourcing performed by a crowd worker, and includes a plurality of evaluator terminals 10 and a performance evaluation device 20. ) includes. Here, crowdsourcing can include data labeling.

평가자 단말기(10)는 크라우드 워커가 수행한 크라우드 소싱에 대한 성과에 대한 평가를 수행하는 평가자가 사용하는 통신 단말기이다. 평가자는 평가자 단말기(10)를 통하여 크라우드 워커의 성과를 평가하고, 평가 결과를 성과 평가 장치(20)로 전송한다. 평가자 단말기(10)는 평가자의 성과 평가 결과를 점수화하여 성과 평가 장치(20)로 전송할 수 있다. 이러한 평가자 단말기(10)는 성과 평가 장치(20)와 통신이 가능한 단말기로서, 예컨대 스마트폰, 랩톱, 핸드헬드PC, 태블릿PC, 웨어러블 기기 등을 포함할 수 있으며, 이것에 한정되는 것은 아니다.The evaluator terminal 10 is a communication terminal used by an evaluator who evaluates the performance of crowdsourcing performed by a crowd worker. The evaluator evaluates the performance of the crowd worker through the evaluator terminal 10 and transmits the evaluation results to the performance evaluation device 20. The evaluator terminal 10 can score the evaluator's performance evaluation results and transmit them to the performance evaluation device 20. This evaluator terminal 10 is a terminal capable of communicating with the performance evaluation device 20 and may include, for example, a smartphone, laptop, handheld PC, tablet PC, wearable device, etc., but is not limited thereto.

평가자 단말기(10)는 크라우드 워커에 대한 성과의 평가 중인 성과 평가 장치(20)로부터 불공정 평가 가능성에 대한 피드백을 수신할 수 있다. 즉 평가자의 크라우드 워커의 성과에 대한 평가 중 해당 평가자가 인식하지 못하는 상태에서 특정 평가대상자(크라우드 워커)에게 불공정 평가를 수행할 수 있다. 성과 평가 장치(20)는 이러한 불공정 평가 가능성을 해당 평가자에게 피드백 함으로써, 공정한 평가를 수행할 수 있도록 유도할 수 있다. 예컨대 특정 평가대상자에 대한 불공정 평가 가능성을 피드백 받은 평가자는 해당 특정 평가대상자에 대한 성과 평가를 수정할 수 있다. 평가자는 평가자 단말기(10)를 통하여 수정된 평가 결과를 성과 평가 장치(20)로 전송할 수 있다. 성과 평가 장치(20)는 수정된 성과 평가를 기반으로 평가를 다시 수행할 수 있다.The evaluator terminal 10 may receive feedback about the possibility of unfair evaluation from the performance evaluation device 20 that is evaluating the performance of the crowd worker. In other words, during an evaluator's evaluation of the performance of a crowd worker, an unfair evaluation may be performed on a specific evaluator (crowd worker) without the evaluator being aware of it. The performance evaluation device 20 can guide the performance of a fair evaluation by feeding back the possibility of such unfair evaluation to the relevant evaluator. For example, an evaluator who receives feedback on the possibility of unfair evaluation of a specific evaluator can modify the performance evaluation for that specific evaluator. The evaluator can transmit the revised evaluation results to the performance evaluation device 20 through the evaluator terminal 10. The performance evaluation device 20 may re-perform the evaluation based on the revised performance evaluation.

평가자 단말기(10)와 성과 평가 장치(20) 간의 통신 방식은 유무선 네트워크를 포함한다. 유선 네트워크는 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등을 포함할 수 있고, 무선 네트워크는 무선 LANs, CDMA, 블루투스, 위성통신 등을 포함할 수 있으며, 이것에 한정되는 것은 아니다.The communication method between the evaluator terminal 10 and the performance evaluation device 20 includes a wired or wireless network. Wired networks may include LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), and ISDNs (Integrated Service Digital Networks), while wireless networks may include wireless LANs, CDMA, Bluetooth, and satellite communications. It may include, but is not limited to this.

또한 통신 방식은 근거리 통신 또는 원거리 통신을 포함할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있으며, 이것에 한정되는 것은 아니다. 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있으며, 이것에 한정되는 것은 아니다.Additionally, the communication method may include short-distance communication or long-distance communication. Here, short-range communication may include Bluetooth, RFID (radio frequency identification), infrared communication (IrDA, infrared data association), UWB (ultra-wideband), ZigBee, and Wi-Fi (wireless fidelity) technology. It is not limited to. Long-distance communications include code division multiple access (CDMA), frequency division multiple access (FDMA), time division multiple access (TDMA), orthogonal frequency division multiple access (OFDMA), and single carrier frequency division multiple access (SC-FDMA) technologies. It can be done, and it is not limited to this.

그리고 성과 평가 장치(20)는 복수의 평가자로부터 수집한 복수의 크라우드 워커에 대한 성과 평가를 기반으로 성과 평가를 수행하되, 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행한다. 또한 성과 평가 장치(20)는 평가 수행 중 평가자가 인식하지 못하는 상태에서 특정 평가대상자(크라우드 워커)에게 불공정 평가를 수행하는 경우, 해당 평가대상자에 대한 불공정 평가 가능성을 피드백함으로써 공정한 평가를 유도해 줄 수 있다.Additionally, the performance evaluation device 20 performs a performance evaluation based on performance evaluations of a plurality of crowd workers collected from a plurality of evaluators, and performs a more objective performance evaluation by identifying and correcting the evaluator's unfair evaluation. In addition, if an unfair evaluation is performed on a specific evaluation target (crowd worker) without the evaluator being aware of it during the evaluation, the performance evaluation device 20 will induce a fair evaluation by feeding back the possibility of unfair evaluation of the evaluation target. You can.

이러한 성과 평가 장치(20)는 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 복수의 평가자 단말기(10)로부터 수집한다. 성과 평가 장치(20)는 복수의 평가자별로 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출한다. 성과 평가 장치(20)는 평가성향유사도로 복수의 평가자에 대한 불공정 평가 여부를 판단한다. 성과 평가 장치(20)는 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기(10)로 불공정 평가 가능성을 피드백한다. 성과 평가 장치(20)는 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하다. 성과 평가 장치(20)는 평가자별 위반회수에 따른 평가자별 가중치를 산출한다. 그리고 성과 평가 장치(20)는 성과 평가에 가중치를 적용하여 성과 평가를 보정한다.This performance evaluation device 20 collects performance evaluations for crowdsourcing performed by a plurality of crowd workers by a plurality of evaluators from a plurality of evaluator terminals 10. The performance evaluation device 20 calculates evaluation tendency similarity for a plurality of crowd workers and a specific crowd worker for each evaluator. The performance evaluation device 20 determines whether or not there is unfair evaluation of multiple evaluators based on similarity in evaluation tendencies. The performance evaluation device 20 feeds back the possibility of unfair evaluation to the evaluator terminal 10 of the evaluator whose evaluation was determined to be unfair. The performance evaluation device 20 counts the number of violations for each evaluator according to the number of unfair evaluations by the evaluator. The performance evaluation device 20 calculates a weight for each evaluator according to the number of violations for each evaluator. And the performance evaluation device 20 corrects the performance evaluation by applying weight to the performance evaluation.

그 외 본 실시예에 따른 성과 평가 장치(20)는, 가중치를 산출한 복수의 평가자에 의한 기 성과 평가를 저장하고 있는 경우, 기 성과 평가에 산출한 가중치를 적용하여 기 성과 평가를 교정할 수 있다.In addition, when the performance evaluation device 20 according to the present embodiment stores existing performance evaluations by a plurality of evaluators who calculated weights, the existing performance evaluations can be corrected by applying the calculated weights to the existing performance evaluations. there is.

이와 같이 본 실시예에 따른 성과 평가 장치(20)는, 크라우드 워커에게 적용되는 성과 평가에서 불공정 평가를 분류 및 식별하고 보정하기 위해서, 평가자별로 평가 점수 부여 시 평가에 대한 공정성 점수로서 평가성향유사도를 평가 인자의 주요 항목으로 활용한다. 이로 인해 본 실시예에 따른 성과 평가 장치(20)는 크라우드 워커의 성과를 평가하는 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행할 수 있다.In this way, the performance evaluation device 20 according to this embodiment uses evaluation tendency similarity as a fairness score for the evaluation when assigning evaluation scores to each evaluator in order to classify, identify, and correct unfair evaluations in performance evaluations applied to crowd workers. It is used as the main item of the evaluation factor. As a result, the performance evaluation device 20 according to this embodiment can perform a more objective performance evaluation by identifying and correcting unfair evaluations by evaluators evaluating the performance of crowd workers.

그리고 본 실시예에 따른 성과 평가 장치(20)는 평가 수행 중 평가자가 인식하지 못하는 상태에서 특정 평가대상자(크라우드 워커)에게 불공정 평가를 수행하는 경우, 해당 평가대상자에 대한 불공정 평가 가능성을 해당 평가자의 평가자 단말기(20)로 피드백 한다. 이로 인해 성과 평가 장치(20)는 불공정 평가 가능성을 확인한 평가자가 공정한 평가를 수행할 수 있도록 유도할 수 있다. 특히 성과 평가 장치(20)는 불공정 평가 가능성이 지적된 특정 크라우드 워커에 대한 해당 평가자의 공정한 평가를 유도할 수 있다.In addition, when an unfair evaluation is performed on a specific evaluator (crowd worker) without the evaluator being aware of it during the evaluation, the performance evaluation device 20 according to this embodiment prevents the possibility of unfair evaluation of the evaluator from being evaluated by the evaluator. Feedback is provided to the evaluator terminal (20). Because of this, the performance evaluation device 20 can guide the evaluator who has confirmed the possibility of unfair evaluation to perform a fair evaluation. In particular, the performance evaluation device 20 can induce a fair evaluation by the evaluator of a specific crowd worker for which the possibility of unfair evaluation has been pointed out.

이와 같은 본 실시예에 따른 성과 평가 장치(20)에 대해서 도 1 및 도 2를 참조하여 설명하면 다음과 같다. 여기서 도 2는 도 1의 성과 평가 장치(20)를 보여주는 블록도이다.The performance evaluation device 20 according to this embodiment will be described with reference to FIGS. 1 and 2 as follows. Here, FIG. 2 is a block diagram showing the performance evaluation device 20 of FIG. 1.

본 실시예에 따른 성과 평가 장치(20)는 통신부(21), 저장부(23) 및 제어부(25)를 포함한다.The performance evaluation device 20 according to this embodiment includes a communication unit 21, a storage unit 23, and a control unit 25.

통신부(21)는 복수의 평가자 단말기(10)와 통신을 수행한다. 통신부(21)는 평가자 단말기(10)를 통하여 복수의 평가자가 수행한 복수의 크라우드 워커의 성과 평가를 수집한다. 통신부(21)는 제어부(25)의 제어에 따라 불공정 평가로 판단된 평가자의 평가자 단말기(10)로 불공정 평가 가능성을 피드백한다.The communication unit 21 communicates with a plurality of evaluator terminals 10. The communication unit 21 collects performance evaluations of a plurality of crowd workers performed by a plurality of evaluators through the evaluator terminal 10. Under the control of the control unit 25, the communication unit 21 feeds back the possibility of unfair evaluation to the evaluator terminal 10 of the evaluator judged to be an unfair evaluation.

저장부(23)는 성과 평가 장치(20)의 동작 제어 시 필요한 프로그램과, 그 프로그램의 수행 중에 발생되는 데이터를 저장한다. 저장부(23)는 성과 평가를 수행하기 위한 실행 프로그램을 저장한다. 저장부(23)는 평가자 단말기(10)로부터 수집한 원본 성과 평가를 저장하고, 원본 성과 평가를 기반으로 산출된 가중치를 반영한 보정된 성과 평가를 저장한다. 저장부(23)는 기 저장된 성과 평가에 보정된 성과 평가를 함께 저장하거나, 기 저장된 성과 평가를 산출된 가중치를 반영하여 교정된 성과 평가를 저장할 수 있다.The storage unit 23 stores a program necessary for controlling the operation of the performance evaluation device 20 and data generated during execution of the program. The storage unit 23 stores an execution program for performing performance evaluation. The storage unit 23 stores the original performance evaluation collected from the evaluator terminal 10 and stores the corrected performance evaluation reflecting the weight calculated based on the original performance evaluation. The storage unit 23 may store the corrected performance evaluation together with the previously stored performance evaluation, or may store the corrected performance evaluation by reflecting the calculated weight of the previously stored performance evaluation.

그리고 제어부(25)는 성과 평가 장치(20)의 전반적인 제어를 수행하는 마이크로프로세서를 포함한다. 제어부(25)는 크라우드 워커가 수행한 크라우드 소싱에 대한 성과를 다음과 같이 평가할 수 있다.And the control unit 25 includes a microprocessor that performs overall control of the performance evaluation device 20. The control unit 25 can evaluate the performance of crowdsourcing performed by the crowd worker as follows.

제어부(25)는 통신부(21)를 통하여 복수의 평가자 단말기(10)로부터 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집한다. 제어부(25)는 복수의 평가자별로 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출한다. 제어부(25)는 평가성향유사도로 복수의 평가자에 대한 불공정 평가 여부를 판단한다. 제어부(25)는 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기(10)로 불공정 평가 가능성을 피드백한다. 제어부(25)는 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하다. 제어부(25)는 평가자별 위반회수에 따른 평가자별 가중치를 산출한다. 그리고 제어부(25)는 성과 평가에 가중치를 적용하여 성과 평가를 보정한다.The control unit 25 collects performance evaluations for crowdsourcing performed by a plurality of crowd workers by a plurality of evaluators from the plurality of evaluator terminals 10 through the communication unit 21. The control unit 25 calculates evaluation tendency similarity for a plurality of crowd workers and a specific crowd worker for each plurality of evaluators. The control unit 25 determines whether the evaluation of multiple evaluators is unfair based on the similarity in evaluation tendencies. The control unit 25 feeds back the possibility of unfair evaluation to the evaluator terminal 10 of the evaluator whose evaluation is determined to be unfair. The control unit 25 counts the number of violations for each evaluator according to the number of unfair evaluations by the evaluator. The control unit 25 calculates a weight for each evaluator according to the number of violations for each evaluator. Then, the control unit 25 corrects the performance evaluation by applying weight to the performance evaluation.

여기서 제어부(25)는 평가성향유사도를 아래의 수학식1로 산출한다.Here, the control unit 25 calculates the evaluation tendency similarity using Equation 1 below.

[수학식 1][Equation 1]

Figure 112023076119755-pat00002
Figure 112023076119755-pat00002

특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수Specific evaluation score (i): The evaluation score of the crowd worker (i) given by the user

자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균Average self-evaluation: Average of evaluation scores of multiple crowd workers given by a specific evaluator

이와 같이 제어부(25)는 평가성향유사도를 이용하여 발생 가능한 불공정 평가 가능성을 구분하다. 즉 가장 바람직한 경우는 평가성향유사도의 점수가 0에 수렴하는 경우이다. 따라서 평가성향유사도의 점수가 0에 가까울수록 복수의 평가자에 의한 성과 평가가 공정하게 수행된 것으로 판단할 수 있다. 반대로 평가성향유사도의 점수가 클수록 평가자에 의한 성과 평가가 불공정하게 수행된 것으로 판단할 수 있다.In this way, the control unit 25 uses the evaluation tendency similarity to classify the possibility of unfair evaluation that may occur. In other words, the most desirable case is when the evaluation tendency similarity score converges to 0. Therefore, the closer the evaluation tendency similarity score is to 0, the more fair the performance evaluation by multiple evaluators can be judged to be. Conversely, the larger the evaluation tendency similarity score, the more unfairly the performance evaluation by the evaluator can be judged.

제어부(25)는 산출한 평가성향유사도가 임계값 이상인 경우 불공정 평가로 판단할 수 있다. 임계값은 평가자의 평가 공정성 위반 여부를 판단하는 기준값으로서, 크라우드 워커가 수행하는 크라우드 소싱의 종류, 특성, 성과 평가를 수행하는 관리자의 의사 등을 고려하여 결정될 수 있다.The control unit 25 may determine an unfair evaluation if the calculated evaluation tendency similarity is greater than or equal to a threshold value. The threshold is a standard value for determining whether the evaluator violates the fairness of the evaluation, and can be determined by considering the type and characteristics of the crowdsourcing performed by the crowd worker, the intention of the manager performing the performance evaluation, etc.

제어부(25)는 다음과 같이 가중치를 산출할 수 있다. 즉 제어부(25)는 위반회수가 증가할수록 가중치를 낮게 산출할 수 있다. 제어부(25)는 위반회수의 증가에 따라서 선형적으로, 비선형적으로 또는 단계적으로 감소하게 가중치를 설정할 수 있다. 제어부(25)는 가중치를 0~1 사이의 값으로 산출할 수 있다.The control unit 25 can calculate the weight as follows. That is, the control unit 25 can calculate a lower weight as the number of violations increases. The control unit 25 can set the weight to decrease linearly, non-linearly, or stepwise according to the increase in the number of violations. The control unit 25 can calculate the weight as a value between 0 and 1.

제어부(25)는 성과 평가에 산출한 가중치를 적용하여 성과 평가를 보정한다. 제어부(25)는 보정된 성과 평가 점수를 합산한 후 평균하여 복수의 크라우드 워커에 대한 최종 평가 결과를 산출할 수 있다.The control unit 25 corrects the performance evaluation by applying the calculated weight to the performance evaluation. The control unit 25 may calculate the final evaluation result for a plurality of crowd workers by adding up and averaging the corrected performance evaluation scores.

그리고 제어부(25)는 산출한 가중치를 산출한 평가자에 의해 기 성과 평가를 저장하고 있는 경우, 기 성과 평가에 산출한 가중치를 적용하여 기 성과 평가를 교정할 수 있다. 이와 같이 불공정 평가자에 의한 기존 평가대상자들의 성과 평가에 산출한 가중치를 피드백 함으로써, 기존의 잘못된 크라우드 워커에 부여된 성과 평가를 교정할 수 있다. 이로 인해 불공정 평가자에 의해 수행된 이전의 잘못된 성과 평가 결과를 교정함으로써, 성과 평가 오류에 의한 크라우드 워커가 다른 크라우드 소싱 프로젝트에 참여 가능성에 영향을 받는 것을 줄일 수 있다. 즉 크라우드 워커는 보다 객관적인 성과 평가를 통하여 데이터 라벨링과 같은 크라우드 소싱 프로젝트에 참여할 수 있는 기회를 확보하는데 있어서, 잘못된 성과 평가로 인해 불이익을 받는 것을 억제할 수 있다.In addition, when the control unit 25 stores an existing performance evaluation by the evaluator who calculated the calculated weight, the control unit 25 can correct the existing performance evaluation by applying the calculated weight to the existing performance evaluation. In this way, by feeding back the weight calculated to the performance evaluation of existing evaluation subjects by an unfair evaluator, the performance evaluation given to the existing incorrect crowd worker can be corrected. As a result, by correcting previous incorrect performance evaluation results performed by unfair evaluators, it is possible to reduce the influence of performance evaluation errors on the possibility of crowdworkers participating in other crowdsourcing projects. In other words, crowd workers can avoid being disadvantaged due to incorrect performance evaluation in securing opportunities to participate in crowdsourcing projects such as data labeling through more objective performance evaluation.

이와 같은 본 실시예에 따른 성과 평가 시스템(100)에 의한 크라우드 워커의 성과 평가 방법에 대해서 도 1 내지 도 3을 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 실시예에 따른 평가에 대한 피드백을 포함하는 크라우드 워커의 성과 평가 방법에 따른 흐름도이다.The performance evaluation method of the crowd worker by the performance evaluation system 100 according to this embodiment will be described with reference to FIGS. 1 to 3 as follows. Here, FIG. 3 is a flowchart of a crowd worker performance evaluation method including feedback on evaluation according to an embodiment of the present invention.

먼저 S10단계에서 성과 평가 장치(20)는 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집한다. 즉 복수의 평가자는 평가자 단말기(10)를 통하여 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수행한다. 성과 평가 장치(20)는 복수의 평가자 단말기(10)로부터 수행된 성과 평가 결과를 수집한다.First, in step S10, the performance evaluation device 20 collects performance evaluations for crowdsourcing performed by a plurality of crowd workers by a plurality of evaluators. That is, a plurality of evaluators perform performance evaluation on crowdsourcing performed by a plurality of crowd workers through the evaluator terminal 10. The performance evaluation device 20 collects performance evaluation results performed from a plurality of evaluator terminals 10.

다음으로 S20단계에서 성과 평가 장치(20)는 복수의 평가자별로 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출한다. 여기서 평가성향유사도는 수학식1로 산출한다.Next, in step S20, the performance evaluation device 20 calculates the evaluation tendency similarity for a plurality of crowd workers and a specific crowd worker for each evaluator. Here, the evaluation tendency similarity is calculated using Equation 1.

다음으로 S30단계에서 성과 평가 장치(20)는 평가성향유사도로 복수의 평가자에 대한 불공정 평가 여부를 판단한다.Next, in step S30, the performance evaluation device 20 determines whether the evaluation of multiple evaluators is unfair based on the similarity in evaluation tendencies.

S30단계의 판단 결과 불공정 평가로 판단된 평가자가 있는 경우, S40단계에서 성과 평가 장치(20)는 해당 평가자의 평가자 단말기(10)로 불공정 평가 가능성을 피드백한다.If there is an evaluator whose evaluation is determined to be unfair as a result of the judgment in step S30, the performance evaluation device 20 feeds back the possibility of unfair evaluation to the evaluator terminal 10 of the evaluator in step S40.

한편 특정 평가대상자에 대한 불공정 평가 가능성을 피드백 받은 평가자는 해당 특정 평가대상자에 대한 성과 평가를 수정할 수 있다. 성과 평가 장치(20)는 수정된 성과 평가를 S10단계에서 수집하여 이후 단계를 다시 수행할 수 있다.Meanwhile, an evaluator who receives feedback on the possibility of unfair evaluation of a specific evaluator can modify the performance evaluation for that specific evaluator. The performance evaluation device 20 may collect the revised performance evaluation in step S10 and perform subsequent steps again.

물론 평가자가 불공정 평가 가능성을 피드백 받았지만 해당 성과 평가를 유지할 수 있다.Of course, the evaluator can maintain the performance evaluation despite receiving feedback about the possibility of an unfair evaluation.

다음으로 S50단계에서 성과 평가 장치(20)는 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트한다.Next, in step S50, the performance evaluation device 20 counts the number of violations for each evaluator according to the number of unfair evaluations by the evaluator.

이어서 S60단계에서 성과 평가 장치(20)는 평가자별 위반회수에 따른 평가자별 가중치를 산출한다.Subsequently, in step S60, the performance evaluation device 20 calculates a weight for each evaluator according to the number of violations for each evaluator.

그리고 S70단계에서 성과 평가 장치(20)는 성과 평가에 가중치를 적용하여 성과 평가를 보정한다. 즉 성과 평가 장치(20)는 보정된 성과 평가 점수를 합산한 후 평균하여 복수의 크라우드 워커에 대한 최종 평가 결과를 산출할 수 있다.And in step S70, the performance evaluation device 20 corrects the performance evaluation by applying weight to the performance evaluation. That is, the performance evaluation device 20 can calculate the final evaluation result for a plurality of crowd workers by adding up and averaging the corrected performance evaluation scores.

S70단계 이후에 성과 평가 장치(20)는, S80단계에서 복수의 평가자에 의한 저장된 성과 평가에 가중치를 적용하여 저장된 성과 평가를 교정할 수 있다.After step S70, the performance evaluation device 20 may correct the stored performance evaluation by applying weight to the stored performance evaluation by a plurality of evaluators in step S80.

이와 같이 본 실시예에서는 성과 평가에 있어서, 가중치를 이용하여 성과 평가를 보정 또는 교정함으로써, 평가자의 불공정한 평가를 식별 및 보정하여 보다 객관적인 성과 평가를 수행할 수 있다. 즉 복수의 평가가 중 특정 평가자에 대한 이상 점수(불공정) 부과 상황을 비교 및 식별하여 불공정 평가 가능성이 높은 것으로 판단되는 불공정 평가자의 점수를 평가대상자들에 대한 성과 평가 점수 합산 시 가중치를 조절함으로써, 불공정 평가에 따른 영향도를 줄이거나 완전히 배제할 수 있다. 예컨대 가중치가 0인 경우, 불공정 평가에 대한 영향을 완전히 배제할 수 있다.As such, in this embodiment, in performance evaluation, by correcting or correcting the performance evaluation using weights, it is possible to identify and correct the evaluator's unfair evaluation and perform a more objective performance evaluation. In other words, by comparing and identifying situations where abnormal scores (unfairness) are imposed on a specific evaluator among multiple evaluators, the weight of the scores of unfair evaluators judged to have a high possibility of unfair evaluation is adjusted when adding up the performance evaluation scores for the evaluators. The impact of unfair evaluation can be reduced or completely eliminated. For example, if the weight is 0, the influence of unfair evaluation can be completely excluded.

그리고 본 실시예에서는 성과 평가에 있어서, 평가자들 중 불공정 평가를 수행한 것으로 판단되는 평가자에게 불공정 평가 가능성을 피드백함으로써, 공정한 평가를 수행하도록 유도할 수 있다.And in this embodiment, in performance evaluation, the possibility of unfair evaluation can be fed back to the evaluator who is judged to have performed an unfair evaluation, thereby encouraging the evaluator to perform a fair evaluation.

이와 같은 본 실시예에 따른 크라우드 워커의 성과 평가 방법에 대해서 도 4 내지 도 9에 도시된 구체적인 예를 참조하여 설명하면 다음과 같다. 여기서 도 4 내지 도 9는 도 3의 크라우드 워커의 성과 평가 방법에 따른 예시도이다.The performance evaluation method of crowd workers according to this embodiment will be described with reference to specific examples shown in FIGS. 4 to 9 as follows. Here, Figures 4 to 9 are exemplary diagrams according to the performance evaluation method of the crowd worker in Figure 3.

평가자 4명(1~4)이 평가대상자인 크라우드 워커 3명(A, B, C)에 대한 성과 평과를 수행한 경우를 예로들어 설명하고자 한다.I would like to explain this as an example where 4 evaluators (1 to 4) performed a performance evaluation on 3 crowd workers (A, B, C) who were the evaluation subjects.

평가자는 100점을 만점으로 성과 평가 점수를 부과하였다. 성과 평가 장치가 평가자 1~4로부터 수집한 성과 평가는 도 4와 같다. 이때 평가자 1~4 간에 평가결과는 공유하지 않는다. 예컨대 평가 진행 중인 평가자 1은 평가자 2, 3, 4의 성과 평가 점수를 알 수 없다.The evaluator assigned a performance evaluation score out of 100. The performance evaluations collected by the performance evaluation device from evaluators 1 to 4 are shown in Figure 4. At this time, the evaluation results are not shared between evaluators 1 to 4. For example, evaluator 1, who is currently conducting an evaluation, cannot know the performance evaluation scores of evaluators 2, 3, and 4.

다음으로 도 4의 성과 평가 점수를 기반으로 수학식1로 산출한 평가성향유사도는 도 5와 같다.Next, the evaluation tendency similarity calculated using Equation 1 based on the performance evaluation score in Figure 4 is shown in Figure 5.

평가자 1의 크라우드 워커 A에 대한 평가성향유사도는 아래와 같이 수학식 1-1과 같이 산출된다.Evaluator 1's evaluation tendency similarity to Crowd Worker A is calculated as shown in Equation 1-1 below.

[수학식 1-1][Equation 1-1]

Figure 112023076119755-pat00003
Figure 112023076119755-pat00003

평가자 1은 크라우드 워커 A에 대해서 60점이라는 성과 평가 점수를 부과하였다. 평가자 1의 크라우드 워커 A에 대한 성과 평가 점수는 다른 평가자들의 성과 평가 점수와 차이가 크고, 자신이 다른 평가대상자들(크라우드 워커 B 및 C)에게 부여한 성과 평가 점수와도 차이가 큰 것을 확인할 수 있다.Evaluator 1 assigned a performance evaluation score of 60 to Crowd Worker A. It can be seen that Evaluator 1's performance evaluation score for Crowd Worker A has a large difference from the performance evaluation scores of other evaluators, and also a large difference from the performance evaluation scores he gave to other evaluators (Crowd Workers B and C). .

다음으로 도 6에 도시된 바와 같이, 성과 평가 장치는 설정된 임계값을 기준으로 평가자들의 불공정 평가 여부를 판단하고, 불공정 평가 여부를 위반여부로 표시하였다. 성과 평가 장치는 산출한 평가성향유사도가 임계값 이상인 경우 불공정 평가로 판단한다. 이해를 돕기 위해 본 실시예에서는 임계값을 100으로 설정하여 불공정 평가 여부를 판단하였다. 위반여부는 위반한 경우 '1'로 표시하고, 위반하지 않은 경우 '0'으로 표시하였다. 위반여부를 참조하면, 평가자 1은 크라우드 워커 A에 대해서는 불공정 평가를 진행한 것으로 판단할 수 있다.Next, as shown in FIG. 6, the performance evaluation device determines whether the evaluators have made unfair evaluations based on the set threshold, and marks the unfair evaluation as a violation. The performance evaluation device determines that the evaluation is unfair if the calculated evaluation tendency similarity is above the threshold. To facilitate understanding, in this example, the threshold was set to 100 to determine whether there was unfair evaluation. Violation status was indicated as '1' if there was a violation, and '0' if there was no violation. Referring to the violation, it can be determined that Evaluator 1 conducted an unfair evaluation of Crowd Worker A.

성과 평가 장치는 평가자 1이 이번 성과 평가(평가회차 1)에서 크라우드 워커 A에 대해 불공정 평가로 판단하고, 평가자 1의 평가자 단말기로 불공정 평가 가능성을 피드백할 수 있다.The performance evaluation device determines that Evaluator 1 has unfairly evaluated Crowd Worker A in this performance evaluation (evaluation round 1), and can feed back the possibility of unfair evaluation to Evaluator 1's evaluator terminal.

성과 평가 장치는, 도 7에 도시된 바와 같이, 이번 성과 평가를 평가자 1과 크라우드 워커 A 간의 이력(히스토리) 데이터로 저장한다. 해당 이력 데이터에는 평가자 1의 크라우드 워커 A에 대한 과거에 수행된 성과 평가 점수와 위반여부에 대한 정보를 포함한다.As shown in FIG. 7, the performance evaluation device stores this performance evaluation as history data between evaluator 1 and crowd worker A. The historical data includes information on performance evaluation scores and violations performed in the past for Crowd Worker A of Evaluator 1.

평가자 1은 크라우드 워커 A에 대해 총 4회 성과 평가 수행 이력이 있다. 따라서 성과 평가 장치는 총 4회 중 불공정 평가가 3회로 이번 평가에서도 크라우드 워커 A에 대해 불공정 평가를 수행했을 가능성이 크다고 판단할 수 있다. 성과 평가 장치는 평가자 1에게 크라우드 워커 A에 대한 불공정 평가 가능성을 피드백함으로써, 평가자 본인도 미인지 상태에서 크라우드 워커 A에게 감정적인 불공정 평가 가능성을 인지하게 해 줌으로 평가 공정성을 개선시킬 수 있다.Evaluator 1 has a history of conducting performance evaluations for Crowd Worker A a total of 4 times. Therefore, it can be judged that the performance evaluation device is highly likely to have conducted an unfair evaluation of Crowd Worker A in this evaluation, as there were three unfair evaluations out of a total of four. The performance evaluation device can improve evaluation fairness by feeding back to Evaluator 1 the possibility of unfair evaluation of Crowd Worker A, allowing the evaluator himself to be aware of the possibility of emotionally unfair evaluation of Crowd Worker A without being aware of it.

이때 성과 평가 장치는 평가자에게 다음과 같이 불공정 평가 가능성을 피드백할 수 있다. 성과 평가 장치는 불공정 평가에 따른 위반이 확인될 때마다 해당 평가자에게 불공정 평가 가능성을 피드백할 수 있다. 또는 성과 평가 장치는 특정 평가대상자에 대한 불공정 평가에 따른 위반이 일정 회수 이상 확인되면, 해당 평가자에게 불공정 평가 가능성을 피드백할 수 있다.At this time, the performance evaluation device can provide feedback to the evaluator about the possibility of unfair evaluation as follows. The performance evaluation device can feed back the possibility of unfair evaluation to the relevant evaluator whenever a violation due to unfair evaluation is confirmed. Alternatively, if the performance evaluation device confirms a certain number of violations due to unfair evaluation of a specific evaluator, it can feed back the possibility of unfair evaluation to the relevant evaluator.

다음은 위반회수별 가중치는 도 8과 같이 설정될 수 있다. 위반회수가 클수록 성과 평가에서 가중치를 낮게 설정함으로써, 불공정 평가를 수행한 평가자의 성과 평가 점수의 영향도를 줄일 수 있다. 예컨대 평가자 1의 크라우드 워커 A에 대한 이번 평가에서 위반회수가 이번 평가를 포함해서 총 3회이기 때문에, 성과 평가 장치는 가중치를 0.1로 산출한다.Next, the weight for each number of violations can be set as shown in FIG. 8. By setting a lower weight in performance evaluation as the number of violations increases, the influence of the performance evaluation score of the evaluator who performed an unfair evaluation can be reduced. For example, in this evaluation of Crowd Worker A by Evaluator 1, the number of violations is 3 in total, including this evaluation, so the performance evaluation device calculates the weight as 0.1.

평가자 1의 크라우드 워커 A, B, C에 대한 가중치를 산출한 성과 평가 결과는 도 9와 같다.The performance evaluation results of evaluator 1 calculating the weights for crowd workers A, B, and C are shown in Figure 9.

도 9를 참조하면, 평가자 1의 크라우드 워커 A에 대한 평가성향유사도는 156.4이고, 위반횟수 3회에 속해 가중치 0.1을 적용한다. 평가자 1의 크라우드 워커 B 및 3의 성과 평가는 정상적인 성과 평가로 판단하여 가중치 1을 적용한다. 평가자 1의 크라우드 워커 A에 대한 보정된 성과 평가 점수는 6점(60×0.1=6)이다.Referring to Figure 9, Evaluator 1's evaluation tendency similarity to Crowd Worker A is 156.4, and since it belongs to the number of violations 3 times, a weight of 0.1 is applied. Evaluator 1's performance evaluation of crowd workers B and 3 is judged to be a normal performance evaluation and a weight of 1 is applied. Evaluator 1's corrected performance evaluation score for crowd worker A is 6 points (60×0.1=6).

크라우드 워커 A의 최종 성과 평가 점수는 기존과 같이 산출한 경우와, 본 실시예와 같이 산출한 가중치를 적용한 경우를 비교하면 다음과 같다. 여기서 크라우드 워커 A의 최종 성과 평가 점수는 도 5의 평가점수를 기반으로 산출하며, 평가자 2-4의 가중치는 1로 적용하였다.The final performance evaluation score of Crowd Worker A is as follows when comparing the case calculated as before and the case where the weight calculated as in this embodiment is applied. Here, the final performance evaluation score of Crowd Worker A is calculated based on the evaluation score in Figure 5, and the weight of evaluators 2-4 is set to 1.

기존의 경우, 크라우드 워커 A에 부여된 성과 평가 점수를 합산한 후 평균하여 최종 평가 점수를 산출한다. 즉 기존 방식에 따른 크라우드 워커 A에 부여된 최종 평가 점수는 (60+95+93+98)/4=86.5 으로서, 동료평가평균값이다.In the existing case, the performance evaluation scores given to crowd worker A are added up and averaged to calculate the final evaluation score. In other words, the final evaluation score given to Crowd Worker A according to the existing method is (60+95+93+98)/4=86.5, which is the average value of peer evaluation.

본 실시예의 경우, 크라우드 워커 A에 부여된 보정된 성과 평가 점수를 합산한 후 평균하여 최종 평가 점수를 산출한다. 즉 본 실시예에 따른 크라우드 워커 A에 부여된 최종 평가 점수는 (60×0.1+95+93+98)/3.1=94.19 이다.In this embodiment, the corrected performance evaluation scores given to crowd worker A are added up and averaged to calculate the final evaluation score. That is, the final evaluation score given to crowd worker A according to this embodiment is (60×0.1+95+93+98)/3.1=94.19.

정상적인 성과 평가를 수행한 평가자 2~4의 성과 평가 점수를 기반으로 산출한 최종 평가 점수는 (95+93+98)/3=95.33이다.The final evaluation score calculated based on the performance evaluation scores of evaluators 2 to 4 who performed a normal performance evaluation is (95+93+98)/3=95.33.

따라서 본 실시예에 따른 평가자 1~4의 성과 평가 점수를 기반으로 산출한 최종 평가 점수인 94.19와, 평가자 2~4의 성과 평가 점수를 기반으로 산출한 최종 평가 점수인 95.33 간에 차이가 크지 않음을 알 수 있다.Therefore, there is not much difference between the final evaluation score of 94.19 calculated based on the performance evaluation scores of evaluators 1 to 4 according to this embodiment and the final evaluation score of 95.33 calculated based on the performance evaluation scores of evaluators 2 to 4. Able to know.

이와 같이 평가자들 중 특정 평가자에 대한 이상점수(불공정) 부과 상황을 비교 및 식별하여 불공정 평가 가능성이 높은 것으로 판단되는 불공정 평가자의 성과 평가 점수를 평가대상자들에 대한 성과 평가 점수 합산 시 가중치를 적게 하여 영향도를 줄이거나 배제할 수 있다. 즉 가중치가 0인 경우, 불공정 평가에 대한 영향을 완전히 배제할 수 있다.In this way, by comparing and identifying situations where abnormal scores (unfairness) are imposed on specific evaluators among evaluators, the performance evaluation scores of unfair evaluators judged to have a high possibility of unfair evaluation are given less weight when adding up the performance evaluation scores for the evaluation subjects. The influence can be reduced or eliminated. In other words, if the weight is 0, the influence on unfair evaluation can be completely excluded.

한편 본 실시예에 따른 크라우드 워커의 성과 평가 방법에 있어서, 불공정 평가 여부는 평가자 1은 크라우드 워커 3명에 대한 성과 평가를 확정한 이후에 수행할 수도 있고, 성과 평가를 확정하기 전에 수행할 수 있다.Meanwhile, in the method of evaluating the performance of crowd workers according to this embodiment, the determination of whether the evaluation is unfair may be performed by evaluator 1 after confirming the performance evaluation of the three crowd workers, or before confirming the performance evaluation. .

성과 평가를 확정하기 전에 불공정 평가 여부를 판단하는 단계를 수행한 경우, 예컨대 성과 평가 장치는 불공정 평가 가능성을 평가자 1에 피드백할 수 있다. 평가자 1은 피드백 받은 불공정 평가 가능성을 기반으로 크라우드 워커 A에 대한 성과 평가를 다시 수행한 후, 성과 평가를 확정할 수 있다.If a step to determine whether an unfair evaluation is performed before confirming the performance evaluation, for example, the performance evaluation device may feed back the possibility of an unfair evaluation to evaluator 1. Evaluator 1 can re-perform the performance evaluation of Crowd Worker A based on the possibility of unfair evaluation received from the feedback and then confirm the performance evaluation.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.Meanwhile, the embodiments disclosed in the specification and drawings are merely provided as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It is obvious to those skilled in the art that in addition to the embodiments disclosed herein, other modifications based on the technical idea of the present invention can be implemented.

10 : 평가자 단말기
20 : 성과 평가 장치
21 : 통신부
23 : 저장부
25 : 제어부
100 : 성과 평가 시스템
10: Evaluator terminal
20: Performance evaluation device
21: Department of Communications
23: storage unit
25: control unit
100: Performance evaluation system

Claims (9)

성과 평가 장치가 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하는 단계;
상기 성과 평가 장치가 상기 복수의 평가자별로 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출하는 단계;
상기 성과 평가 장치가 상기 평가성향유사도로 상기 복수의 평가자에 대한 불공정 평가 여부를 판단하는 단계;
상기 성과 평가 장치가 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기로 불공정 평가 가능성을 피드백하는 단계;
상기 성과 평가 장치가 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하는 단계;
상기 성과 평가 장치가 상기 평가자별 위반회수에 따른 평가자별 가중치를 산출하는 단계;
상기 성과 평가 장치가 상기 성과 평가에 상기 평가자별 가중치를 적용하여 상기 성과 평가를 보정하는 단계; 및
상기 성과 평가 장치가 상기 복수의 평가자에 의한 기 성과 평가에 상기 평가자별 가중치를 적용하여 상기 기 성과 평가를 교정하는 단계;를 포함하고,
상기 평가성향유사도는 아래의 수학식으로 산출하고,
상기 불공정 평가 여부를 판단하는 단계 및 피드백하는 단계에서,
상기 성과 평가 장치는 불공정 평가에 따른 위반이 확인될 때마다 해당 평가자 단말기로 불공정 평가 가능성을 피드백하거나, 특정 평가대상자에 대한 불공정 평가에 따른 위반이 일정 회수 이상 확인되면 해당 평가자 단말기로 불공정 평가 가능성을 피드백하고,
상기 평가자별 가중치를 산출하는 단계에서,
상기 성과 평가 장치는 위반회수가 증가할수록 평가자별 가중치를 낮게 산출하되, 0~1 사이의 값으로 산출하고,
상기 불공정 평가 여부를 판단하는 단계에서,
상기 성과 평가 장치는 산출한 평가성향유사도가 임계값 이상인 경우 불공정 평가로 판단하며, 상기 임계값은 평가자의 평가 공정성 위반 여부를 판단하는 기준값으로서, 크라우드 워커가 수행하는 크라우드 소싱의 종류, 특성 및 성과 평가를 수행하는 관리자의 의사를 고려하여 결정하는 것을 특징으로 하는 크라우드 워커의 성과 평가 방법.
[수학식]
Figure 112024024780012-pat00004

특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
A performance evaluation device collecting performance evaluations for crowdsourcing performed by a plurality of crowd workers by a plurality of evaluators;
Calculating, by the performance evaluation device, similarity in evaluation tendencies for the plurality of crowd workers and a specific crowd worker for each of the plurality of evaluators;
determining, by the performance evaluation device, whether the evaluation of the plurality of evaluators is unfair based on the evaluation tendency similarity;
Feeding back, by the performance evaluation device, the possibility of unfair evaluation to the evaluator terminal of the evaluator whose evaluation was determined to be unfair;
Counting, by the performance evaluation device, the number of violations for each evaluator according to the number of unfair evaluations by the evaluator;
calculating, by the performance evaluation device, a weight for each evaluator according to the number of violations for each evaluator;
correcting the performance evaluation by the performance evaluation device applying a weight for each evaluator to the performance evaluation; and
Comprising: the performance evaluation device correcting the existing performance evaluation by applying a weight for each evaluator to the existing performance evaluation by the plurality of evaluators,
The evaluation tendency similarity is calculated using the equation below,
In the step of determining whether the evaluation is unfair and the step of providing feedback,
The performance evaluation device feeds back the possibility of unfair evaluation to the evaluator terminal whenever a violation due to unfair evaluation is confirmed, or if violations due to unfair evaluation for a specific evaluator are confirmed more than a certain number of times, it reports the possibility of unfair evaluation to the evaluator terminal. give feedback,
In the step of calculating the weight for each evaluator,
The performance evaluation device calculates a lower weight for each evaluator as the number of violations increases, but calculates it to a value between 0 and 1,
In the step of determining whether the evaluation is unfair,
The performance evaluation device determines that it is an unfair evaluation if the calculated evaluation tendency similarity is more than a threshold, and the threshold is a standard value for determining whether the evaluator has violated the fairness of the evaluation, and the type, characteristics, and performance of crowdsourcing performed by the crowd worker. A performance evaluation method for crowd workers, characterized in that the decision is made taking into account the intention of the manager performing the evaluation.
[Equation]
Figure 112024024780012-pat00004

Specific evaluation score (i): The evaluation score of the crowd worker (i) given by the user
Average self-evaluation: Average of evaluation scores of multiple crowd workers given by a specific evaluator
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 복수의 평가자 단말기와 통신을 수행하는 통신부;
상기 복수의 평가자에 의한 성과 평가를 저장하는 저장부; 및
상기 통신부를 통하여 복수의 평가자 단말기로부터 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출하고, 상기 평가성향유사도로 상기 복수의 평가자에 대한 불공정 평가 여부를 판단하고, 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기로 불공정 평가 가능성을 피드백하고, 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하고, 상기 평가자별 위반회수에 따른 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 평가자별 가중치를 적용하여 상기 성과 평가를 보정하고, 상기 저장부에 저장된 성과 평가에 상기 평가자별 가중치를 적용하여 상기 저장된 성과 평가를 교정하는 제어부;를 포함하고,
상기 제어부는, 상기 평가성향유사도는 아래의 수학식으로 산출하고,
상기 제어부는, 불공정 평가 가능성을 피드백할 때, 불공정 평가에 따른 위반이 확인될 때마다 해당 평가자 단말기로 불공정 평가 가능성을 피드백하거나, 특정 평가대상자에 대한 불공정 평가에 따른 위반이 일정 회수 이상 확인되면 해당 평가자 단말기로 불공정 평가 가능성을 피드백하고,
상기 제어부는, 상기 평가자별 가중치를 산출할 때, 위반회수가 증가할수록 평가자별 가중치를 낮게 산출하되, 0~1 사이의 값으로 산출하고,
상기 제어부는, 상기 불공정 평가 여부를 판단할 때, 산출한 평가성향유사도가 임계값 이상인 경우 불공정 평가로 판단하며, 상기 임계값은 평가자의 평가 공정성 위반 여부를 판단하는 기준값으로서, 크라우드 워커가 수행하는 크라우드 소싱의 종류, 특성 및 성과 평가를 수행하는 관리자의 의사를 고려하여 결정하는 것을 특징으로 하는 크라우드 워커의 성과 평가 장치.
[수학식]

특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
A communication unit that communicates with a plurality of evaluator terminals;
a storage unit that stores performance evaluations by the plurality of evaluators; and
Through the communication unit, performance evaluations for crowdsourcing performed by a plurality of crowdworkers by a plurality of evaluators are collected from a plurality of evaluator terminals, and evaluation tendency similarities between the plurality of crowdworkers and a specific crowdworker are calculated for each of the plurality of evaluators. Calculate, determine whether the evaluation is unfair for the plurality of evaluators based on the evaluation tendency similarity, feed back the possibility of unfair evaluation to the evaluator terminal of the evaluator determined to be an unfair evaluation as a result of the judgment, and each evaluator according to the number of unfair evaluations by the evaluator. Count the number of violations, calculate a weight for each evaluator according to the number of violations for each evaluator, correct the performance evaluation by applying the weight for each evaluator to the performance evaluation, and apply the weight for each evaluator to the performance evaluation stored in the storage unit. A control unit that corrects the stored performance evaluation by applying a;
The control unit calculates the evaluation tendency similarity using the following equation,
When providing feedback on the possibility of unfair evaluation, the control unit feeds back the possibility of unfair evaluation to the evaluator terminal whenever a violation due to unfair evaluation is confirmed, or when violations due to unfair evaluation for a specific evaluator are confirmed more than a certain number of times, Feedback on the possibility of unfair evaluation to the evaluator terminal,
When calculating the weight for each evaluator, the control unit calculates the weight for each evaluator lower as the number of violations increases, but calculates the weight for each evaluator to a value between 0 and 1,
When determining whether the evaluation is unfair, the control unit determines that it is an unfair evaluation if the calculated evaluation tendency similarity is greater than or equal to a threshold, and the threshold is a standard value for determining whether the evaluator violates the fairness of the evaluation, which is performed by the crowd worker. A crowdworker performance evaluation device characterized by determining the type and characteristics of crowdsourcing and the intention of the manager performing the performance evaluation.
[Equation]

Specific evaluation score (i): The evaluation score of the crowd worker (i) given by the user
Average self-evaluation: Average of evaluation scores of multiple crowd workers given by a specific evaluator
삭제delete 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수행하는 복수의 평가자 단말기; 및
상기 복수의 평가자에 의한 성과 평가를 저장하고 있고, 상기 복수의 평가자 단말기로부터 복수의 평가자에 의한 복수의 크라우드 워커가 수행한 크라우드 소싱에 대한 성과 평가를 수집하고, 상기 복수의 평가자별로 상기 복수의 크라우드 워커와 특정 크라우드 워커에 대한 평가성향유사도를 산출하고, 상기 평가성향유사도로 상기 복수의 평가자에 대한 불공정 평가 여부를 판단하고, 판단 결과 불공정 평가로 판단된 평가자의 평가자 단말기로 불공정 평가 가능성을 피드백하고, 평가자의 불공정 평가 회수에 따른 평가자별 위반회수를 카운트하고, 상기 평가자별 위반회수에 따른 평가자별 가중치를 산출하고, 상기 성과 평가에 상기 평가자별 가중치를 적용하여 상기 성과 평가를 보정하고, 저장된 성과 평가에 상기 평가자별 가중치를 적용하여 상기 저장된 성과 평가를 교정하는 성과 평가 장치;를 포함하고,
상기 성과 평가 장치는, 상기 평가성향유사도는 아래의 수학식으로 산출하고,
상기 성과 평가 장치는, 불공정 평가 가능성을 피드백할 때, 불공정 평가에 따른 위반이 확인될 때마다 해당 평가자 단말기로 불공정 평가 가능성을 피드백하거나, 특정 평가대상자에 대한 불공정 평가에 따른 위반이 일정 회수 이상 확인되면 해당 평가자 단말기로 불공정 평가 가능성을 피드백하고,
상기 성과 평가 장치는, 상기 평가자별 가중치를 산출할 때, 위반회수가 증가할수록 평가자별 가중치를 낮게 산출하되, 0~1 사이의 값으로 산출하고,
상기 성과 평가 장치는, 상기 불공정 평가 여부를 판단할 때, 산출한 평가성향유사도가 임계값 이상인 경우 불공정 평가로 판단하며, 상기 임계값은 평가자의 평가 공정성 위반 여부를 판단하는 기준값으로서, 크라우드 워커가 수행하는 크라우드 소싱의 종류, 특성 및 성과 평가를 수행하는 관리자의 의사를 고려하여 결정하는 것을 특징으로 하는 크라우드 워커의 성과 평가 시스템.
[수학식]

특정평가점수(i): 자신이 부여한 크라우드 워커(i)의 평가 점수
자신평가평균: 특정평가자가 부여한 복수의 크라우드 워커의 평가 점수 평균
A plurality of evaluator terminals that perform performance evaluation on crowdsourcing performed by a plurality of crowd workers; and
Stores performance evaluations by the plurality of evaluators, collects performance evaluations for crowdsourcing performed by a plurality of crowd workers by a plurality of evaluators from the plurality of evaluator terminals, and collects performance evaluations of the crowdsourcing performed by a plurality of crowdworkers by the plurality of evaluators from the plurality of evaluator terminals. Calculate the similarity of evaluation tendencies for workers and specific crowd workers, determine whether the evaluation is unfair for the plurality of evaluators based on the similarity of evaluation tendencies, and feed back the possibility of unfair evaluation to the evaluator terminal of the evaluator judged to be unfair as a result of the judgment. , counts the number of violations for each evaluator according to the number of unfair evaluations by the evaluator, calculates a weight for each evaluator according to the number of violations for each evaluator, corrects the performance evaluation by applying the weight for each evaluator to the performance evaluation, and stores the stored performance. It includes a performance evaluation device that corrects the stored performance evaluation by applying a weight for each evaluator to the evaluation,
The performance evaluation device calculates the evaluation tendency similarity using the following equation,
When feedbacking the possibility of unfair evaluation, the performance evaluation device feeds back the possibility of unfair evaluation to the evaluator terminal every time a violation due to unfair evaluation is confirmed, or confirms that violations due to unfair evaluation for a specific evaluator have occurred more than a certain number of times. When this happens, the possibility of unfair evaluation is fed back to the evaluator terminal.
When calculating the weight for each evaluator, the performance evaluation device calculates the weight for each evaluator lower as the number of violations increases, but calculates the weight for each evaluator to a value between 0 and 1,
When determining whether the evaluation is unfair, the performance evaluation device determines that it is an unfair evaluation if the calculated evaluation tendency similarity is more than a threshold, and the threshold is a standard value for determining whether the evaluator violates the fairness of the evaluation, and the crowd worker A crowdworker performance evaluation system characterized by determining the type of crowdsourcing being performed, its characteristics, and the decision of the manager performing the performance evaluation.
[Equation]

Specific evaluation score (i): The evaluation score of the crowd worker (i) given by the user
Average self-evaluation: Average of evaluation scores of multiple crowd workers given by a specific evaluator
KR1020230089689A 2023-07-11 2023-07-11 Crowd worker performance evaluation device, system and method including feedback on evaluation KR102651577B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230089689A KR102651577B1 (en) 2023-07-11 2023-07-11 Crowd worker performance evaluation device, system and method including feedback on evaluation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230089689A KR102651577B1 (en) 2023-07-11 2023-07-11 Crowd worker performance evaluation device, system and method including feedback on evaluation

Publications (1)

Publication Number Publication Date
KR102651577B1 true KR102651577B1 (en) 2024-03-26

Family

ID=90472848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230089689A KR102651577B1 (en) 2023-07-11 2023-07-11 Crowd worker performance evaluation device, system and method including feedback on evaluation

Country Status (1)

Country Link
KR (1) KR102651577B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090012944A (en) * 2007-07-31 2009-02-04 재단법인서울대학교산학협력재단 Multidimensional evaluation method and system considering evaluation capability information
KR20160101529A (en) * 2015-02-17 2016-08-25 박준현 Method for re-computing score and computer readable recording medium
KR102164844B1 (en) * 2020-05-07 2020-10-14 주식회사 크라우드웍스 Method for evaluating workers using the unit of work difficulty of crowdsourcing based projects for artificial intelligence training data generation
KR102214006B1 (en) 2019-06-10 2021-02-09 주식회사 피앤피소프트 Apparatus and method for performing personnel evaluation of a worker

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090012944A (en) * 2007-07-31 2009-02-04 재단법인서울대학교산학협력재단 Multidimensional evaluation method and system considering evaluation capability information
KR20160101529A (en) * 2015-02-17 2016-08-25 박준현 Method for re-computing score and computer readable recording medium
KR102214006B1 (en) 2019-06-10 2021-02-09 주식회사 피앤피소프트 Apparatus and method for performing personnel evaluation of a worker
KR102164844B1 (en) * 2020-05-07 2020-10-14 주식회사 크라우드웍스 Method for evaluating workers using the unit of work difficulty of crowdsourcing based projects for artificial intelligence training data generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
[블로그] 평가제도 설명자료(2017.01.19.)(자료출처: https://brunch.co.kr/@cjfdnjs1949/152) 1부.* *

Similar Documents

Publication Publication Date Title
US20180247265A1 (en) Task grouping method and apparatus, electronic device, and computer storage medium
CN108229910B (en) Classification processing method for resident reporting event
US9342370B2 (en) Server migration
KR102214006B1 (en) Apparatus and method for performing personnel evaluation of a worker
US20200036605A1 (en) Network Element Health Status Detection Method and Device
US10567398B2 (en) Method and apparatus for remote malware monitoring
CN112073991B (en) Service processing method and device of access network
JP2018530093A (en) Credit score model training method, credit score calculation method, apparatus and server
US20130204674A1 (en) Method and System For Performing Appraisals
CN109118097B (en) Reliability maintainability guarantee assessment method and device
CN105468161A (en) Instruction execution method and device
CN111641685B (en) Distributed industrial internet equipment cooperative operation method and cloud server
KR102651577B1 (en) Crowd worker performance evaluation device, system and method including feedback on evaluation
CN115062906A (en) Intelligent evaluation method and device for production operation risk
CN109600279A (en) Dynamic monitoring and controlling method, equipment, storage medium and device based on log stream
KR102651595B1 (en) Crowd worker performance evaluation device, system and method
EP3336780A1 (en) Device for deciding number of persons to be assigned, method for deciding number of persons to be assigned, and program for deciding number of persons to be assigned
CN112788010A (en) Script processing method, device, medium and equipment based on threat event
CN111475267A (en) System task automatic scheduling method and device, computer equipment and storage medium
CN107886217A (en) A kind of labor turnover Risk Forecast Method and device based on clustering algorithm
CN115563069B (en) Data sharing processing method and system based on artificial intelligence and cloud platform
CN106156470B (en) Time series abnormity detection and labeling method and system
CN112509706A (en) Infectious disease early warning method, infectious disease early warning device, infectious disease early warning equipment and computer readable storage medium
JP2012181663A (en) Method for determining read/unread state, transmitting and receiving device, and program
JP2020060873A (en) Input operation evaluation device, input operation evaluation method and program

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant