KR20170073330A - 평가자 성향을 고려한 온라인 평가 시스템 및 방법 - Google Patents

평가자 성향을 고려한 온라인 평가 시스템 및 방법 Download PDF

Info

Publication number
KR20170073330A
KR20170073330A KR1020150182114A KR20150182114A KR20170073330A KR 20170073330 A KR20170073330 A KR 20170073330A KR 1020150182114 A KR1020150182114 A KR 1020150182114A KR 20150182114 A KR20150182114 A KR 20150182114A KR 20170073330 A KR20170073330 A KR 20170073330A
Authority
KR
South Korea
Prior art keywords
evaluator
evaluation
participant
evaluation result
weight
Prior art date
Application number
KR1020150182114A
Other languages
English (en)
Inventor
이수진
Original Assignee
(주)비엔홀딩스코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비엔홀딩스코리아 filed Critical (주)비엔홀딩스코리아
Priority to KR1020150182114A priority Critical patent/KR20170073330A/ko
Publication of KR20170073330A publication Critical patent/KR20170073330A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 평가자 성향을 고려한 온라인 평가 시스템 및 방법에 관한 것으로서, 온라인 상에서 수행될 수 있는 각종 입시 평가 또는 공모전 평가 등에서 참가자의 답안에 대해 평가자가 평가하여 평가 결과를 산출함에 있어 평가자의 평가 성향을 고려하여 평가 결과에 가중치를 부여함으로써 평가자의 평가 성향에 따른 점수 편차를 줄여 평가의 객관성과 공정성을 최대화하되 합리적으로 가중치를 부여하는 방식을 제시하는 평가자 성향을 고려한 온라인 평가 시스템 및 방법에 관한 것이다.

Description

평가자 성향을 고려한 온라인 평가 시스템 및 방법 {Online Assessment System Considering Assessor Tendency and Method therefor}
본 발명은 평가자 성향을 고려한 온라인 평가 시스템 및 방법에 관한 것으로서, 온라인 상에서 수행될 수 있는 각종 입시 평가 또는 공모전 평가 등에서 참가자의 답안에 대해 평가자가 평가하여 평가 결과를 산출함에 있어 평가자의 평가 성향을 고려하여 평가 결과에 가중치를 부여함으로써 평가자의 평가 성향에 따른 점수 편차를 줄여 평가의 객관성과 공정성을 최대화하되 합리적으로 가중치를 부여하는 방식을 제시하는 평가자 성향을 고려한 온라인 평가 시스템 및 방법에 관한 것이다.
정보통신 기술의 발달에 따라서 각종 사업 모델을 온라인 상에서 구현하는 기술들이 다수 출현하고 있으며 대입 등의 입시, 경시대회 또는 공모전 등 다수의 참가자를 대상으로 하여 참가자가 제출한 평가 대상인 답안 등을 특정한 평가자들이 평가하고 평가 결과를 온라인 상으로 제공하는 경우가 빈번하다.
온라인 상으로 입시, 경시대회 또는 공모전 등을 시행하는 경우 참가자는 다수인 경우가 많고 이에 따라 평가자도 미리 다수를 선정해 두어야 하며 일정한 방식에 따라 전체 평가자 답안을 전체 평가자에게 배분하여 평가를 진행한다.
그런데 종래에는 모든 평가자 각각이 모든 참가자를 평가하기가 곤란하므로 임의의 참가자는 특정한 하나의 평가자 또는 일부 평가자 그룹에게만 평가를 받게 되는데, 이에 따라 평가자의 성향에 따라서 너그러운 평가자를 만나느냐 아니면 엄격한 평가자를 만나느냐에 따라 평가 결과의 편차가 발생하여 객관성과 공정성이 훼손될 염려가 있었다.
온라인 상에서 각종 평가를 시행하는 종래 기술의 하나로서, 한국공개특허 제10-2005-0008433호 '온라인상의 채용 지원 시스템 및 이를 이용한 방법'은, 구인사가 필요로 하는 산업 분야별 구직자 정보를 제공함에 있어서 온라인으로 연결된 해당 분야의 전문 온라인 리쿠르터를 활용하여 이들이 평가한 구직자의 가치평가 정보를 함께 제공하는 기술을 개시하고 있다.
그러나 이러한 한국공개특허 제10-2005-0008433호 역시 특정한 평가 결과를 온라인 상으로 단순히 제공하는 기술을 포함하는데 그치고 있어서, 상술한 바와 같은 종래 기술의 문제점을 마찬가지로 갖고 있다.
본 발명이 해결하고자 하는 과제는, 상기 문제점을 극복하기 위한 것으로서, 온라인 상에서 수행될 수 있는 각종 입시 평가 또는 공모전 평가 등에서 참가자의 답안에 대해 평가자가 평가하여 평가 결과를 산출함에 있어 평가자의 평가 성향을 고려하여 평가 결과에 가중치를 부여함으로써 평가자의 평가 성향에 따른 점수 편차를 줄여 평가의 객관성과 공정성을 최대화하되 합리적으로 가중치를 부여하는 방식을 제시할 수 있는, 평가자 성향을 고려한 온라인 평가 시스템 및 방법을 제공하는 것이다.
본 발명은 평가자 성향을 고려한 온라인 평가 시스템에 관한 것으로, 참가자단말기로부터 참가신청, 참가자 정보 및 출품작 정보를 수신하는 참가접수수단과, 평가자단말기로 평가 대상 정보를 전송하며 상기 평가자단말기로부터 1차 평가 결과를 수신하는 평가결과수신수단과, 1차 평가 결과에 가중치를 부여하여 보정하되 동일한 참가자에 관한 평가자 그룹 중 제1 평가자 그룹 및 제2 평가자 그룹의 평가 결과에 대해 T-test 또는 pearson correlation 방식을 적용하여 보정함으로써 최종 평가 결과를 산출하는 평가결과보정수단과, 최종 평가 결과를 상기 참가자단말기로 제공하는 평가결과제공수단을 포함하는 중앙서버; 참가신청, 참가자 정보 및 출품작 정보를 상기 중앙서버로 전송하고, 최종 평가 결과를 상기 중앙서버로부터 수신하는 참가자단말기; 및 상기 중앙서버로부터 평가 대상 정보를 수신하여 1차 평가 결과를 상기 중앙서버로 전송하는 평가자단말기;를 포함한다.
이때, 상기 평가결과보정수단이 부여하는 가중치 중 T-test 방식에 따른 가중치
Figure pat00001
은 다음의 수학식과 같이 산출되는 것을 특징으로 한다.
Figure pat00002
=
Figure pat00003
Figure pat00004
(위 수학식에서,
Figure pat00005
은 가중치를 구하기 위한 참가자 또는 평가자,
Figure pat00006
은 평가 대상의 평가를 위한 질문 문항,
Figure pat00007
은
Figure pat00008
의
Figure pat00009
가중치를 구하기 위한 데이터,
Figure pat00010
은
Figure pat00011
이 결정한
Figure pat00012
점수의 묶음을 의미한다.)
또한, 이때, 상기 평가결과보정수단이 부여하는 가중치 중 pearson correlation 방식에 따른 가중치
Figure pat00013
은 다음의 수학식과 같이 산출되는 것을 특징으로 한다.
Figure pat00014
Figure pat00015
(위 수학식에서,
Figure pat00016
은 가중치를 구하기 위한 참가자 또는 평가자,
Figure pat00017
은 평가 대상의 평가를 위한 질문 문항,
Figure pat00018
은
Figure pat00019
의
Figure pat00020
가중치를 구하기 위한 데이터,
Figure pat00021
은
Figure pat00022
이 결정한
Figure pat00023
점수의 묶음을 의미한다.)
또한, 이때, 상기 평가결과보정수단이 산출하는 최종 평가 결과는 다음의 수학식과 같이 표현되는 것을 특징으로 한다.
Figure pat00024
(위 수학식에서,
Figure pat00025
은 평가 대상의 평가를 위한 질문 문항,
Figure pat00026
은 T-test 방식에 따라 계산한 가중치,
Figure pat00027
는 pearson correlation 방식에 따라 계산한 가중치를 의미한다.)
그리고 이때, 제1 평가자 그룹은 동일한 참가자에 관한 평가자 그룹 중 1인이며, 동일한 참가자에 관한 평가자 그룹에 속한 각각의 평가자를 제1 평가자 그룹으로 하고 동일한 참가자를 평가한 나머지 평가자 그룹을 제2 평가자 그룹으로 하여 T-test 또는 pearson correlation 방식에 따른 계산이 반복 수행되는 것을 특징으로 한다.
한편, 본 발명은 평가자 성향을 고려한 온라인 평가 방법에 관한 것으로, (A) 중앙서버가, 참가자단말기로부터 참가신청, 참가자 정보 및 출품작 정보를 수신하는 단계; (B) 상기 중앙서버가, 평가자단말기로 평가 대상 정보를 전송하며 상기 평가자단말기로부터 1차 평가 결과를 수신하는 단계; (C) 상기 중앙서버가, 1차 평가 결과에 가중치를 부여하여 보정하되 동일한 참가자에 관한 평가자 그룹 중 제1 평가자 그룹 및 제2 평가자 그룹의 평가 결과에 대해 T-test 또는 pearson correlation 방식을 적용하여 보정함으로써 최종 평가 결과를 산출하는 단계; 및 (D) 상기 중앙서버가, 최종 평가 결과를 상기 참가자단말기로 제공하는 단계;를 포함한다.
이때, 평가자 성향을 고려한 온라인 평가 방법에서의 가중치 부여 방식은, 평가자 성향을 고려한 온라인 평가 시스템에서의 가중치 부여 방식을 채택할 수 있다.
본 발명에 따르면, 온라인 상에서 수행될 수 있는 각종 입시 평가 또는 공모전 평가 등에서 참가자의 답안에 대해 평가자가 평가하여 평가 결과를 산출함에 있어 평가자의 평가 성향에 따른 점수 편차를 줄여 평가의 객관성과 공정성을 최대화하되 가중치를 부여하는 방식의 합리성을 극대화하는 효과가 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 시스템에 관한 전체 구성도.
도 2는 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 방법에 관한 전체 흐름도.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 시스템에 관해, 도 1을 참조하여 상세히 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 시스템에 관한 전체 구성도이다.
도 1에 도시한 바와 같이, 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 시스템은, 중앙서버(100), 참가자단말기(200) 및 평가자단말기(300)를 포함하며, 중앙서버(100)는 하나 또는 다수의 서버로 구성될 수 있고, 참가자단말기(200) 및 평가자단말기(300)는 하나 또는 다수일 수 있다.
본 발명의 바람직한 실시 예에서, 온라인 평가는 온라인 공모전을 대상으로 하는 것으로 상정하여 설명하며, 다만 본 발명이 이에 한정되는 것은 아니며 각종 입시, 시험, 경시대회 등 온라인 상에서 임의의 참가자에 관한 평가가 이루어지는 경우를 모두 포함할 수 있다.
중앙서버(100)는 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 서비스를 제공하는 회사의 서버로서, 참가접수수단(110), 평가결과수신수단(120), 평가결과보정수단(130) 및 평가결과제공수단(140)을 포함한다.
우선, 참가접수수단(110)은 참가자단말기(200)로부터 참가신청, 참가자 정보, 출품작 정보를 수신한다.
또한 참가접수수단(110)은 대회 개최 정보를 웹, 모바일 웹 또는 모바일 애플리케이션 등을 통해 참가자단말기(200)로 제공할 수 있다.
본 발명에서, 대회 개최 정보는 대회 명칭, 대회 목적, 대회 개요, 대회 상세 정보, 대회 접수자격, 대회 접수기간, 대회 접수방법 등을 포함할 수 있다.
본 발명에서, 출품작은 각종 대회에서 참가자가 출품하여 평가를 받는 대상이며 미술, 음악, 문학, 사진, 영상 등 다양한 분야일 수 있고, 출품작 정보는 출품작의 종류에 따라 적합한 파일 형태로 온라인 상에서 수신할 수 있을 것이다.
다음으로, 평가결과수신수단(120)은 평가자를 선정하고 평가자별로 평가 분량을 분배하며 평가자단말기(300)로 평가 대상 정보를 전송하며 평가자단말기(300)로부터 1차 평가 결과를 수신한다.
평가결과수신수단(120)이 평가자를 선정하는 경우, 평가자 모집 정보를 웹, 모바일 웹 또는 모바일 애플리케이션을 통해 평가자단말기(300)로 제공하며, 평가자단말기(300)로부터 평가 신청, 평가자 정보를 수신할 수 있다. 평가자 정보는 평가자 개인에 관한 정보일 수 있으며, 평가자 전문 분야, 평가자 평가 가능 분야, 평가 경력 등을 포함할 수 있다.
아울러 평가결과수신수단(120)은 평가자 선정을 위해, 별도의 서버로부터 미리 다양한 분야에 대한 평가자 정보를 수신하며, 평가자 데이터베이스를 구축하고, 평가자 정보를 평가자 전문 분야, 평가자 평가 가능 분야, 평가 경력 등으로 분류하여 저장해 둘 수 있다. 평가자 데이터베이스에 포함되는 평가자 정보는, 평가자단말기(300)로부터 수신한 평가 신청에 수반하는 평가자 정보, 별도의 서버로부터 별도로 수집하는 평가자 정보 등일 수 있다.
평가결과수신수단(120)은 평가자 선정을 위해, 특정한 대회 개최가 있는 경우 개최되는 대회의 분야를 고려하여 개최되는 대회의 분야를 전문 분야 또는 평가 가능 분야로 하는 평가자를 평가자 데이터베이스로부터 추출하며, 추출한 평가자의 평가자단말기(300)로 평가 요청을 전송하고, 평가 요청을 전송한 평가자의 평가자단말기(300)로부터 평가 수락을 수신함으로써 평가자를 선정할 수 있으며, 선정된 평가자는 다수인 것이 바람직할 것이다.
아울러, 평가결과수신수단(120)이 평가 분량을 분배하는 경우, 참가 신청을 한 참가자를 2 이상의 참가자 그룹으로 나누며 각 참가자 그룹에 대해 선정된 평가자 중 2 이상의 평가자를 할당할 수 있다. 이때 하나의 참가자가 받는 평가 횟수가 균등하도록 각 평가자의 평가 분량이 분배될 수 있다.
평가결과수신수단(120)은 특정한 평가자단말기(300)로 분배된 평가 분량을 전송하고, 특정한 평가자단말기(300)로부터 평가 진행 상황, 평가 완료 분량 정보, 1차 평가 결과를 수신하며, 참가자단말기(200)로 자신에게 할당된 평가자 정보를 전송할 수 있다.
평가자가 참가자의 출품작을 평가하는 경우, 평가 방법으로는 정량적인 평가 및 정성적인 평가가 있을 수 있고, 두 가지 방법을 혼용할 수 있다. 정량적인 평가 방법에 있어, 각 평가 항목별로 5점 척도, 7점 척도 등으로 최고점 및 점수 구간을 미리 지정하여 평가자에게 제시할 수 있으며, 각 평가 항목의 구간은 소수점 이하의 숫자로 제시할 수 있고, 평가자는 평가 점수를 제시된 예시 중 선택할 수 있을 뿐만 아니라 최고 점수와 최저 점수 사이에서 직접 숫자로 입력할 수 있다. 예를 들어서, 특정한 평가자는 특정 참가자의 출품작을 확인하고, 평가 기준을 확인하며, 정량적인 평가의 예시로서 1부터 5까지 미리 설정된 점수 중 예를 들어 4점을 선택할 수 있고, 평가한 점수를 제출함으로써 평가를 수행할 수 있다.
다음으로, 평가결과보정수단(130)은 각 참가자에 대한 1차 평가 결과를 분석하여 각 평가자의 평가 성향을 분석하며 평가자의 평가 성향에 따라 1차 평가 결과에 가중치를 부여하여 보정함으로써 최종 평가 결과를 산출한다.
구체적으로, 평가결과보정수단(130)은, 동일한 참가자에 관한 평가자 그룹 중 제1 평가자 그룹 및 제2 평가자 그룹의 평가 결과에 대해 T-test 또는 pearson correlation 방식을 적용하여 가중치를 부여하며 가중치 부여 전의 평가 결과와 가중치를 곱한 값을 최종 평가 결과로서 산출한다.
제1 평가자 그룹은 특정한 제1 평가자로서 단수일 수 있으며, 제2 평가자 그룹은 제1 평가자와 동일한 평가 대상을 평가한 평가자 그룹으로서 제1 평가자 외의 평가자 그룹일 수 있다. 한 명의 평가자(제1 평가자)와 그와 동일한 평가 대상을 평가한 나머지 평가자 그룹에 대하여 T-test 또는 pearson correlation 방식에 의한 계산 결과를 산출한 이후, 순차적으로 제2 평가자, 제3 평가자 등에 대해 동일한 계산을 반복하여 수행하며, 모든 평가자에 대해 반복 수행이 완료되면 최종 가중치 부여 결과가 도출될 수 있다.
가중치 부여 전의 평가 결과는, 각 참가자에 대한 1차 평가 결과일 수 있다. 가중치는 T-test 또는 pearson correlation 방식에 따른 가중치, 아니면 두 가지 방식에 따른 가중치를 합산한 가중치일 수 있다.
T-test 방식을 사용함에 있어, T-test 계산 결과를 0부터 1까지의 값 등으로 조정(스케일링)하여 가중치로 결정할 수 있으며, T-test 계산에서 분모가 0이 나오는 등 수학적으로 계산 불능이면 가중치를 0으로 할 수 있다. 마찬가지로, pearson correlation 방식을 사용함에 있어, pearson correlation 계산 결과를 0부터 1까지의 값 등으로 조정(스케일링)하여 가중치로 결정할 수 있으며, pearson correlation 계산에서 분모가 0이 나오는 등 수학적으로 계산 불능이면 가중치를 0으로 할 수 있다.
평가결과보정수단(130)은 평가 대상 평가자의 성실성 정보를 계산할 수 있는데, 성실성 정보는 완료한 평가 건수를 할당된 평가 건수로 나눈 값일 수 있다.
이하, 평가결과보정수단(130)의 가중치 부여 및 최종 평가 결과 계산에 관해서 상세히 설명한다.
아래에서 설명할 기호들의 정의는 다음과 같다.
Figure pat00028
= n 번째 참가자로서, n 번째 참가자가 자신에게 할당된 평가 할당량을 채우기 전까지는 계산 대상에 포함되지 않으며,
Figure pat00029
에 포함되지 않는다.
Figure pat00030
= n 번째 평가자로서, 한 명이라도 평가하면 계산 대상
Figure pat00031
에 포함된다.
Figure pat00032
= 가중치를 구하기 위한 대상으로서, 평가자 또는 참가자가 될 수 있다.
Figure pat00033
,
Figure pat00034
.
Figure pat00035
= 평가 대상 출품작의 평가를 위한 질문 문항으로서, 예를 들어서 각각의 문항에 대한 점수는 0점부터 5점까지일 수 있을 것이다.
Figure pat00036
,
Figure pat00037
,
Figure pat00038
= T-test (T-statistics, 통계량 수식)를 이용하여 구한 첫 번째 가중치이며, 아래 첨자의 의미는 (문항 넘버, 가중치 1)이다.
Figure pat00039
,
Figure pat00040
,
Figure pat00041
= Pearson correlation 수식을 이용하여 구한 첫 번째 가중치이며, 아래 첨자의 의미는 (문항 넘버, 가중치 2)이다.
Figure pat00042
=
Figure pat00043
의
Figure pat00044
가중치를 구하기 위한 데이터이다.
Figure pat00045
=
Figure pat00046
이 결정한
Figure pat00047
점수의 묶음이다.
아래에서, 예제를 통해서 가중치 부여 방식에 관해 설명하기로 하며,
Figure pat00048
,
Figure pat00049
.
Figure pat00050
은 별도로 구성된다.
Figure pat00051
이 평가한 참가자 리스트가
Figure pat00052
라고 가정한다.
Figure pat00053
이 평가한 참가자들에게
Figure pat00054
에 대해 각각 1점, 3점, 1점을 부여하였다면,
Figure pat00055
은 다음과 같다.
Figure pat00056
=
Figure pat00057
Figure pat00058
셋 중 한 명이라도 평가한 사람의 리스트가
Figure pat00059
라 하고 이때
Figure pat00060
은 제외되며
Figure pat00061
은 다음과 같이 표시할 수 있다.
Figure pat00062
=
Figure pat00063
이제, 평균(mean)에 관해 계산할 수 있다.
mean(
Figure pat00064
)은 다음과 같이 계산된다.
r count(
Figure pat00065
) = [2, 1, 1]
count(
Figure pat00066
) = 4
c sum(
Figure pat00067
) =
Figure pat00068
의 열(column)별 합(sum) = [2, 2, 1]
c mean(
Figure pat00069
) =
Figure pat00070
=
Figure pat00071
= [1, 2, 1]
sum(
Figure pat00072
) = sum(c sum(
Figure pat00073
)) = 5
mean(
Figure pat00074
) = sum(c sum(
Figure pat00075
))/count = (2+2+1)/4 = 1.25
mean(
Figure pat00076
)은 다음과 같이 구할 수 있다.
count(
Figure pat00077
) = 3
sum(
Figure pat00078
) = 1+3+1 = 5
mean(
Figure pat00079
) =
Figure pat00080
= 5/3 = 1.66
이제, 분산(var)을 구할 수 있으며, var(
Figure pat00081
)는 다음과 같이 구할 수 있다.
Figure pat00082
=
Figure pat00083
=
Figure pat00084
sum(
Figure pat00085
) = 1+1+4+1 = 7
var(
Figure pat00086
) =
Figure pat00087
= (1/4)(7-5*5/4) = 0.1875
var(
Figure pat00088
)는 다음과 같이 구할 수 있다.
Figure pat00089
= [1*1, 3*3, 1*1] = [1, 9, 1]
sum(
Figure pat00090
) = 11
var(
Figure pat00091
) =
Figure pat00092
= (1/3)(11-5*5/3) = 0.88
이제, 가중치
Figure pat00093
, T-test 방식에 의한 가중치는 다음과 같이 구할 수 있다.
Figure pat00094
= (1.25 - 1.66)/(0.1865/4 + 0.88/3) = -0.41/0.339 = -1.206
모든 사람에 대해
Figure pat00095
을 구했다고 가정하며, 가중치를 구해야 하는 사람들이 총 4명이라 가정한다.
Figure pat00096
min(
Figure pat00097
) = -1.206
max(
Figure pat00098
) = 5
Figure pat00099
=
Figure pat00100
=
Figure pat00101
=
Figure pat00102
=[0, 0.35, 0.67, 1]
만약, 위 수식에서 분모가 0이라면, 즉
Figure pat00103
의 분모가 0이라면, min(
Figure pat00104
)을 취할 수 있는데, 이는 가중치로서 0을 부여하는 것과 마찬가지의 결과가 된다.
그리고 가중치
Figure pat00105
, pearson correlation 방식에 의한 가중치는 다음과 같이 구할 수 있다.
Figure pat00106
= [2, 2, 1] - 1.25 = [0.75, 0.75, -0.25]
Figure pat00107
Figure pat00108
m diff(
Figure pat00109
) = [-0.66, 1.34, -0.66]
Figure pat00110
Figure pat00111
=
Figure pat00112
=
Figure pat00113
= 0.675/1.460 = 0.46
모든 사람들에 대하여
Figure pat00114
을 구했다고 가정하고, 가중치를 구해야 하는 사람들이 총 4명이라 가정한다.
Figure pat00115
Figure pat00116
=
Figure pat00117
=
Figure pat00118
=
Figure pat00119
최종 평가 결과는 다음과 같이 표현될 수 있다.
Figure pat00120
Figure pat00121
Figure pat00122
한편, 마지막으로, 평가결과제공수단(140)은 최종 평가 결과를 참가자단말기(200)로 제공하며, 최종 평가 결과와 동시에, 또는 별도로, 1차 평가 결과, 전체 참가자 수, 참가자별 시상 내역 등을 전송할 수 있다.
또한, 참가자단말기(200)는 참가신청, 참가자 정보, 출품작 정보를 중앙서버(100)로 전송한다.
구체적으로, 참가자단말기(200)는, 웹, 모바일 웹 또는 모바일 애플리케이션을 통해 중앙서버(100)로부터 대회 개최 정보를 수신하며, 참가신청, 참가자 정보, 출품작 정보를 중앙서버(100)로 제공하고, 1차 평가 결과, 최종 평가 결과, 전체 참가자 수, 참가자별 시상 내역, 평가자 정보 등을 중앙서버(100)로부터 수신할 수 있다.
참가자단말기(200)는 퍼스널 컴퓨터, 이동통신 단말기, 태블릿 PC 등 다양한 단말기일 수 있다.
그리고 평가자단말기(300)는 중앙서버(100)로부터 평가 분량을 수신하여 1차 평가 결과를 중앙서버(100)로 전송한다.
구체적으로, 평가자단말기(300)는 평가자 모집 정보를 웹, 모바일 웹 또는 모바일 애플리케이션을 통해 중앙서버(100)로부터 수신하며, 평가 신청, 평가자 정보를 중앙서버(100)로 제공하고, 중앙서버(100)로부터 평가 요청을 수신하여 평가 수락을 전송하며, 중앙서버(100)로부터 평가 분량을 수신하여 평가 진행 상황, 평가 완료 분량 정보, 1차 평가 결과를 전송할 수 있다.
평가자단말기(300)는 퍼스널 컴퓨터, 이동통신 단말기, 태블릿 PC 등 다양한 단말기일 수 있다.
이하, 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 방법에 관해, 도 2를 참조하여 상세히 설명한다.
도 2는 본 발명의 바람직한 실시 예에 따른 평가자 성향을 고려한 온라인 평가 방법에 관한 전체 흐름도이다.
먼저, 도 2에 도시한 바와 같이, 중앙서버(100)가, 참가자단말기(200)로부터 참가신청, 참가자 정보, 출품작 정보를 수신한다(S10).
S10 단계는, 중앙서버(100)가, 대회 개최 정보를 웹, 모바일 웹 또는 모바일 애플리케이션을 통해 참가자단말기(200)로 전송하는 단계를 포함할 수 있다.
다음으로, 중앙서버(100)가, 평가자를 선정하고 평가자별로 평가 분량을 분배하며 평가자단말기(300)로 평가 대상 정보를 전송하고 평가자단말기(300)로부터 1차 평가 결과를 수신한다(S20).
S20 단계는, 중앙서버(100)가, 특정한 대회 개최가 있는 경우 개최되는 대회의 분야를 고려하여 개최되는 대회의 분야를 전문 분야 또는 평가 가능 분야로 하는 평가자를 평가자 데이터베이스로부터 추출하는 단계와, 추출한 평가자의 평가자단말기(300)로 평가 요청을 전송하는 단계와, 평가 요청을 전송한 평가자의 평가자단말기(300)로부터 평가 수락을 수신함으로써 평가자를 선정하는 단계를 포함할 수 있다.
또한, S20 단계는, 중앙서버(100)가, 평가자 모집 정보를 웹, 모바일 웹 또는 모바일 애플리케이션을 통해 평가자단말기(300)로 제공하는 단계와, 평가자단말기(300)로부터 평가 신청, 평가자 정보를 수신하는 단계와, 별도의 서버로부터 미리 다양한 분야에 대한 평가자 정보를 수신하는 단계와, 평가자 데이터베이스를 구축하는 단계와, 평가자 정보를 평가자 전문 분야, 평가자 평가 가능 분야, 평가 경력 등으로 분류하여 저장하는 단계를 포함할 수 있다.
또한, S20 단계는, 중앙서버(100)가, 참가 신청을 한 참가자를 2 이상의 참가자 그룹으로 나누며 각 참가자 그룹에 대해 선정된 평가자 중 2 이상의 평가자를 할당하여 하나의 참가자가 받는 평가 횟수가 균등하도록 각 평가자의 평가 분량을 분배하는 단계를 포함할 수 있다.
또한, S20 단계는, 중앙서버(100)가, 특정한 평가자단말기(300)로 분배된 평가 분량을 전송하는 단계와, 특정한 평가자단말기(300)로부터 평가 진행 상황, 평가 완료 분량 정보, 1차 평가 결과를 수신하는 단계와, 참가자단말기(200)로 자신에게 할당된 평가자 정보를 전송하는 단계를 포함할 수 있다.
다음으로, 중앙서버(100)가, 평가자의 평가 성향에 따라 1차 평가 결과에 가중치를 부여하여 보정함으로써 최종 평가 결과를 산출한다(S30).
특히 S30 단계에서의 가중치 부여는, 상술한 바와 같은 T-test 방식 또는 pearson correlation 방식 등에 의해서 수행될 수 있다.
마지막으로, 중앙서버(100)가, 최종 평가 결과를 참가자단말기(200)로 제공하며, 1차 평가 결과, 전체 참가자 수, 참가자별 시상 내역 등을 전송한다(S40).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다.
100 : 중앙서버
110 : 참가접수수단
120 : 평가결과수신수단
130 : 평가결과보정수단
140 : 평가결과제공수단
200 : 참가자단말기
300 : 평가자단말기

Claims (10)

  1. 평가자 성향을 고려한 온라인 평가 시스템에 있어,
    참가자단말기(200)로부터 참가신청, 참가자 정보 및 출품작 정보를 수신하는 참가접수수단(110)과, 평가자단말기(300)로 평가 대상 정보를 전송하며 상기 평가자단말기(300)로부터 1차 평가 결과를 수신하는 평가결과수신수단(120)과, 1차 평가 결과에 가중치를 부여하여 보정하되 동일한 참가자에 관한 평가자 그룹 중 제1 평가자 그룹 및 제2 평가자 그룹의 평가 결과에 대해 T-test 또는 pearson correlation 방식을 적용하여 보정함으로써 최종 평가 결과를 산출하는 평가결과보정수단(130)과, 최종 평가 결과를 상기 참가자단말기(200)로 제공하는 평가결과제공수단(140)을 포함하는 중앙서버(100);
    참가신청, 참가자 정보 및 출품작 정보를 상기 중앙서버(100)로 전송하고, 최종 평가 결과를 상기 중앙서버(100)로부터 수신하는 참가자단말기(200); 및
    상기 중앙서버(100)로부터 평가 대상 정보를 수신하여 1차 평가 결과를 상기 중앙서버(100)로 전송하는 평가자단말기(300);를 포함하는 평가자 성향을 고려한 온라인 평가 시스템.
  2. 제1항에 있어,
    상기 평가결과보정수단(130)이 부여하는 가중치 중 T-test 방식에 따른 가중치
    Figure pat00123
    은 다음의 수학식과 같이 산출되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 시스템.
    Figure pat00124
    =
    Figure pat00125

    Figure pat00126

    (위 수학식에서,
    Figure pat00127
    은 가중치를 구하기 위한 참가자 또는 평가자,
    Figure pat00128
    은 평가 대상의 평가를 위한 질문 문항,
    Figure pat00129
    은
    Figure pat00130
    의
    Figure pat00131
    가중치를 구하기 위한 데이터,
    Figure pat00132
    은
    Figure pat00133
    이 결정한
    Figure pat00134
    점수의 묶음을 의미한다.)

  3. 제1항에 있어,
    상기 평가결과보정수단(130)이 부여하는 가중치 중 pearson correlation 방식에 따른 가중치
    Figure pat00135
    은 다음의 수학식과 같이 산출되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 시스템.
    Figure pat00136

    Figure pat00137

    (위 수학식에서,
    Figure pat00138
    은 가중치를 구하기 위한 참가자 또는 평가자,
    Figure pat00139
    은 평가 대상의 평가를 위한 질문 문항,
    Figure pat00140
    은
    Figure pat00141
    의
    Figure pat00142
    가중치를 구하기 위한 데이터,
    Figure pat00143
    은
    Figure pat00144
    이 결정한
    Figure pat00145
    점수의 묶음을 의미한다.)
  4. 제1항에 있어,
    상기 평가결과보정수단(130)이 산출하는 최종 평가 결과는 다음의 수학식과 같이 표현되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 시스템.
    Figure pat00146

    (위 수학식에서,
    Figure pat00147
    은 평가 대상의 평가를 위한 질문 문항,
    Figure pat00148
    은 T-test 방식에 따라 계산한 가중치,
    Figure pat00149
    는 pearson correlation 방식에 따라 계산한 가중치를 의미한다.)
  5. 제1항 내지 제4항 중 어느 한 항에 있어,
    제1 평가자 그룹은 동일한 참가자에 관한 평가자 그룹 중 1인이며, 동일한 참가자에 관한 평가자 그룹에 속한 각각의 평가자를 제1 평가자 그룹으로 하고 동일한 참가자를 평가한 나머지 평가자 그룹을 제2 평가자 그룹으로 하여 T-test 또는 pearson correlation 방식에 따른 계산이 반복 수행되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 시스템.
  6. 평가자 성향을 고려한 온라인 평가 방법에 있어,
    (A) 중앙서버(100)가, 참가자단말기(200)로부터 참가신청, 참가자 정보 및 출품작 정보를 수신하는 단계;
    (B) 상기 중앙서버(100)가, 평가자단말기(300)로 평가 대상 정보를 전송하며 상기 평가자단말기(300)로부터 1차 평가 결과를 수신하는 단계;
    (C) 상기 중앙서버(100)가, 1차 평가 결과에 가중치를 부여하여 보정하되 동일한 참가자에 관한 평가자 그룹 중 제1 평가자 그룹 및 제2 평가자 그룹의 평가 결과에 대해 T-test 또는 pearson correlation 방식을 적용하여 보정함으로써 최종 평가 결과를 산출하는 단계; 및
    (D) 상기 중앙서버(100)가, 최종 평가 결과를 상기 참가자단말기(200)로 제공하는 단계;를 포함하는 평가자 성향을 고려한 온라인 평가 방법.
  7. 제6항에 있어,
    상기 (C) 단계에서 부여하는 가중치 중 T-test 방식에 따른 가중치
    Figure pat00150
    은 다음의 수학식과 같이 산출되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 방법.
    Figure pat00151
    =
    Figure pat00152

    Figure pat00153

    (위 수학식에서,
    Figure pat00154
    은 가중치를 구하기 위한 참가자 또는 평가자,
    Figure pat00155
    은 평가 대상의 평가를 위한 질문 문항,
    Figure pat00156
    은
    Figure pat00157
    의
    Figure pat00158
    가중치를 구하기 위한 데이터,
    Figure pat00159
    은
    Figure pat00160
    이 결정한
    Figure pat00161
    점수의 묶음을 의미한다.)
  8. 제6항에 있어,
    상기 (C) 단계에서 부여하는 가중치 중 pearson correlation 방식에 따른 가중치 은 다음의 수학식과 같이 산출되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 방법.
    Figure pat00163

    Figure pat00164

    (위 수학식에서,
    Figure pat00165
    은 가중치를 구하기 위한 참가자 또는 평가자,
    Figure pat00166
    은 평가 대상의 평가를 위한 질문 문항,
    Figure pat00167
    은
    Figure pat00168
    의
    Figure pat00169
    가중치를 구하기 위한 데이터,
    Figure pat00170
    은
    Figure pat00171
    이 결정한
    Figure pat00172
    점수의 묶음을 의미한다.)
  9. 제6항에 있어,
    상기 (C) 단계에서 산출하는 최종 평가 결과는 다음의 수학식과 같이 표현되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 방법.
    Figure pat00173

    (위 수학식에서,
    Figure pat00174
    은 평가 대상의 평가를 위한 질문 문항,
    Figure pat00175
    은 T-test 방식에 따라 계산한 가중치,
    Figure pat00176
    는 pearson correlation 방식에 따라 계산한 가중치를 의미한다.)
  10. 제6항에 있어,
    상기 (C) 단계에서의 제1 평가자 그룹은 동일한 참가자에 관한 평가자 그룹 중 1인이며, 상기 (C) 단계는, 동일한 참가자에 관한 평가자 그룹에 속한 각각의 평가자를 제1 평가자 그룹으로 하고 동일한 참가자를 평가한 나머지 평가자 그룹을 제2 평가자 그룹으로 하여 T-test 또는 pearson correlation 방식에 따른 계산이 반복 수행되는 것을 특징으로 하는 평가자 성향을 고려한 온라인 평가 방법.
KR1020150182114A 2015-12-18 2015-12-18 평가자 성향을 고려한 온라인 평가 시스템 및 방법 KR20170073330A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150182114A KR20170073330A (ko) 2015-12-18 2015-12-18 평가자 성향을 고려한 온라인 평가 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150182114A KR20170073330A (ko) 2015-12-18 2015-12-18 평가자 성향을 고려한 온라인 평가 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170073330A true KR20170073330A (ko) 2017-06-28

Family

ID=59280749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150182114A KR20170073330A (ko) 2015-12-18 2015-12-18 평가자 성향을 고려한 온라인 평가 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20170073330A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102449806B1 (ko) * 2022-06-27 2022-10-04 주식회사 레몬베이스 인공지능 기반 구성원 평가 피드백 서비스 제공 방법, 장치 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102449806B1 (ko) * 2022-06-27 2022-10-04 주식회사 레몬베이스 인공지능 기반 구성원 평가 피드백 서비스 제공 방법, 장치 및 시스템
WO2024005329A1 (ko) * 2022-06-27 2024-01-04 주식회사 레몬베이스 인공지능 기반 구성원 평가 피드백 서비스 제공 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
US20170337287A1 (en) Intelligent integrating system for crowdsourcing and collaborative intelligence in human- and device- adaptive query-response networks
US8204778B2 (en) Behavioral profiles in sourcing and recruiting as part of a hiring process
Kulkarni et al. Mobileworks: Designing for quality in a managed crowdsourcing architecture
US20180268341A1 (en) Methods, systems and networks for automated assessment, development, and management of the selling intelligence and sales performance of individuals competing in a field
KR20170042286A (ko) 인재의 데이터 기반 식별을 위한 시스템 및 방법
AU2001268318A2 (en) Computer-implemented system for human resources management
EP1299820A1 (en) Computer-implemented system for human resources management
Garapin 1 et al. Does trust mean giving and not risking? Experimental evidence from the trust game
JP7127848B2 (ja) レコメンドシステムおよびレコメンド方法
KR20170073330A (ko) 평가자 성향을 고려한 온라인 평가 시스템 및 방법
KR20170064881A (ko) 평가자 성향을 고려한 평가 장치, 평가자 성향을 고려한 온라인 평가 시스템 및 방법
Ilukor et al. Measuring the quality of clinical veterinary services for Cattle: an application of a role play experiment in rural Uganda
WO2013063524A2 (en) Identifying people likely to respond accurately to survey questions
Bøttkjær Votes for Sale: Essays on Clientelism in New Democracies
WO2018134885A1 (ja) 支援奨励システムおよび支援奨励方法
US20170242979A1 (en) Method of performing clinical trials
Kim et al. Investigating the efficacy of crowdsourcing on evaluating visual decision supporting system
JP6588176B2 (ja) 評価結果を分析するためのコンピュータシステムおよびそのコンピュータシステムにおいて実行される方法およびプログラム
US20150058073A1 (en) Crowdsourced innovation exchange
US20190213520A1 (en) Method and system for marker community to access aggregated marking technologies
Suh et al. Modeling prize‐based open design challenges: General framework and FANG‐1 case study
KR101614334B1 (ko) 다수 응모작에 대한 토너먼트를 진행하는 방법 및 장치
Ilieva et al. Virtual Gaming Platform Customer Experience Evaluation
Zanoni et al. Measuring labor market discrimination against LGTBQ+ in the case of Ecuador: A field experiment
Interis et al. Examining unconditional preference revelation in choice experiments: a voting game approach

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application