KR101969707B1 - 점수 재산정 방법과 컴퓨터 판독 가능한 기록 매체 - Google Patents

Abstract

본 발명의 점수 재산정 방법은 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계; 상기 복수의 피평가자들 중 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계; 상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하는 단계; 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 및 상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계들이 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계; 를 포함하는 것을 특징으로 한다.
이러한 본 발명에 따르면, 특정 심사위원에게 큰 점수를 얻는 것보다 전체적인 심사위원들에게 골고루 높은 점수를 얻은 피평가자의 순위를 높게 평가할 수 있어서, 공정한 심사가 가능해지는 장점이 있다.

Description

점수 재산정 방법과 컴퓨터 판독 가능한 기록 매체 {Method for re-computing score and　computer readable recording medium}

본 발명은 운동경기, 기술심사 및 각종평가 등에서 평가위원들이 평가한 점수를 재산정하는 방법과, 이를 수행하는 서버 및 기록매체에 관한 것이다.

운동경기(체조, 피겨스케이팅 등), 기술심사, 각종평가 등에서 평가위원들이 평가에 따른 순위 산정과정이나 다수의 입찰금액에서 낙찰 금액을 선정하는 과정에서 복수개의 평가 또는 입찰금액이 있을 때, 피평가자들에 대한 공정한 순위선정이 요구된다.

그런데, 이러한 순위선정과정에서 평가위원들과 피평가자들 사이에 내부거래나 친소관계에 따라서 특정 평가위원들의 점수가 월등히 높은 점수를 부여하거나 낮은 점수를 부여하였을 때 공정성이 훼손될 우려가 있다.

또한, 공사 등의 입찰 과정에서 낙찰 금액을 선정하는 경우에는, 고질적인 저가 낙찰의 문제에 따른 부실공사의 우려가 있고, 몇몇 낙찰업체들이 담합하여 입찰금액을 제출하였을 때 이를 제재할 방법이 미흡하였다.

종래에는, 이와 같은 문제점을 방지하기 위하여, 평가 점수 또는 입찰 금액에 중에서 최고 및 최저 점수는 제외(“Head-Tail Cut”)한 후 평균점수를 산정하는 방법을 취했다.

그러나, 종래의 방법에 의할 때에도, 담합한 평가위원이 2인 이상인 경우, 담합한 평가위원들이 월등히 높은 점수 또는 낮은 점수를 주게 되면, 평균 점수 산정에 크게 영향을 주어 공정한 평가가 이루어질 수 없는 문제점이 있었다.

특히, 최고 및 최저 점수 제외 방식은 입찰 시스템에서 저가 입찰 금액이 낙찰되는 고질적인 저가낙찰 관행을 해결할 수 없는 한계가 존재하였다.

표1은 “Head-Tail Cut”적용 평가결과에 따른 평균점수 산출 방법이다.

표 1을 참조하면, 위 평가위원 D, E, F가 담합하여“1번”평가대상에 월등히 높은 점수를 준 경우라 볼 수 있다. 이때, Head-Tail Cut방식으로 가장 높은 점수 9.9(평가위원 D)을 제외하면, 단순합계평균을 했을 때와 같이 등위에는 영향을 미치지 못하여 평가대상 “1번”이 1위가 된다.

그런데, 평가위원 9명 중 6명이 “2번”에게 “1번”보다 더 높은 점수를 주었고, 3명만이 “1번”에게 “2번”보다 더 높은 점수를 주었으므로 “2번”이 1위가 되어야 함이 공정하게 평가된 것으로 볼 수 있다.

즉, “Head-Tail Cut”적용 평가결과 평균점수 산정 방법은 복수의 평가위원이 선수(평가대상자)와 친소관계 또는 내부거래로 점수를 높게 주거나 낮게 주는 경우에 이를 방지할 수 없는 한계가 있다.

따라서, 종래의 점수산정방법으로는 몇몇의 평가위원이나 입찰자들이 담합하여 부당하게 점수를 주더라도 등위가 바뀌지 아니하여 부당한 평가가 되는 것을 막을 수 없는 문제점이 있다.

본 발명은 위와 같은 문제점을 해결하기 위한 것으로, 각 평가위원들의 점수를 편차에 따라서 재산정하여 공정한 심사를 하는 점수 재산정방법 및 이를 수행하는 서버 및 기록매체를 제안하고자 한다.

실시예에 따른 점수 재산정 방법은 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계; 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계; 상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하는 단계; 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 및 상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계들이 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계; 를 포함하는 것을 특징으로 한다.

또한, 실시예에 따른 서버는 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 편차를 이용하여 재산정하여 최종 평가점수를 산출하는 서버로서, 상기 평가점수를 수신하는 서버통신부; 상기 평가점수를 재산정하고, 상기 최종 평가점수를 산출하기 위한 알고리즘을 저장하는 서버저장부; 및 상기 알고리즘을 독출하여 상기 수신된 평가점수들을 편차를 이용하여 재산정하고, 상기 재산정된 평가점수들의 평균을 최종 평가점수로 산출하는 서버제어부; 를 포함하는 점수 재산정을 수행하는 것을 특징으로 한다.

마지막으로, 실시예에 따른 기록매체는 터치스크린을 구비한 단말기를 제어하는 기록매체로서,상기 단말기가, 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계; 상기 복수의 피평가들 중 제 1 피평가자에 대한 제 1 평가점수들의 평균과 편차를 산출하는 단계; 상기 평균 및 편차에 따라서 상기 제 1 평가점수들을 재산정하고, 재산정된 제 1 평가점수들로부터 상기 제 1 피평가자에 대한 최종 평가점수를 산출하는 단계; 상기 제 1 피평가자에 대해 수행된 최종 평가점수 산출하기까지의 단계가 상기 제 1 피평가자들을 제외한 나머지 상기 복수의 피평가자들에 대해서도 병렬적으로 수행되는 단계; 를 실행시키기 위한 프로그램을 기록한 것을 특징으로 한다.

본 발명은 평가위원들의 점수를 편차에 따라서 재산정하여, 각각의 평가위원들의 점수 가치를 동등하게 함으로써, 공정한 평가가 가능해지는 장점이 있다.

즉, 친소관계 또는 내부거래에 따라서 일정 선수에게 과다 또는 과소하게 점수를 준 심사위원의 점수를 일정 수준으로 낮추거나 높여 재산정함으로써, 친소관계 또는 내부거래의 효력을 약화시킬 수 있다.

이를 통해, 특정 심사위원에게 큰 점수를 얻는 것 보다 전체적인 심사위원들에게 골고루 높은 점수를 얻은 피평가자의 순위를 높게 평가할 수 있어서, 공정한 심사가 가능해지는 장점이 있다.

본 발명의 다른 측면에서, 점수 재산정 방법은 입찰제에도 적용될 수 있으며, 이를 통해 업체들의 담합입찰이나 저가 낙찰을 막을 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른, 점수 재평가를 이용한 순위산정 시스템을 나타내는 도면이다.
도 2는 본 실시예와 관련되는 단말기의 구성을 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따른, 평가위원들의 점수를 재산정하여 피평가자들의 최종점수를 재산정하는 평가서버를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른, 점수 재산정 과정을 나타내는 흐름도이다.
도 5는 본 발명의 실시예에 따른, 2가지 점수 재산정방법을 설명하는 도면이다.
도 6은 본 발명의 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 표이다.
도 7은 본 발명의 다른 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 그래프이다.
도 8은 본 발명의 실시예에 따른, 점수를 가감하여 재산정하는 방법을 나타내는 흐름도이다.
도 9는 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 높은 경우 점수를 재산정하는 방법을 나타낸다.
도 10은 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 낮은 경우 점수를 재산정하는 방법을 나타낸다.
도 11은 본 발명의 또 다른 실시예에 따른, 점수 재산정 과정을 나타내는 흐름도이다.

이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제, 변경 등의 실시변형을 포함한다고 할 것이다.

본 발명과 관련되는 단말기의 설명에 사용되는 접미수 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 명세서에서 설명되는 단말기에는 휴대폰, 스마트폰, 태블릿 PC, 노트북 컴퓨터, 디지털방송용 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다.

도 1은 본 발명의 실시예에 따른, 점수 재평가를 이용한 순위산정 시스템을 나타내는 도면이다.

도 1을 참조하면, 본 실시예의 점수 재평가를 이용한 순위산정 시스템은, 점수 산정의 대상이 되는 복수의 피평가자(30)과, 피평가자(30)에게 평가하여 점수를 부여하는 복수의 평가위원(10)과, 평가 점수들을 재산정하여 최종 평가점수를 피평가자들에게 부여하는 평가서버(20)와, 전술한 구성들의 정보 송수신을 위한 통로를 제공하는 통신망(40)으로 구성된다.

여기서, 피평가자(30)와 평가위원(10)은 단말기로 구성될 수 있으며, 순위 산정에 관한 어플리케이션 또는 소프트웨어나 평가서버(20)의 홈페이지를 통해 평가서버(20)에 접속할 수 있다.

그리고, 통신망(40)은 피평가자(30)와 평가위원(10)의 단말기와 평가서버(20) 간의 송수신을 위한 통로를 제공하는 역할을 한다. 이와 같은 기능을 수행하는 통신망(40)은 인터넷 프로토콜(IP, Internet Protocol)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 일 수 있다. 또한, 통신망(40)은 유선통신망, 이동통신망, Wibro(Wireless Broadband)망, HSDPA(High Speed Downlink Packet Access)망, 위성통신망 및 와이파이(WI-FI, Wireless Fidelity)망 중 하나일 수 있다.

도 2는 본 실시예와 관련되는 단말기의 구성을 보여주는 블록도이다.

평가위원(10)과 피평가자(30)들은 단말기(100)로 구성될 수 있으며, 이러한 단말기(100)의 세부적인 구성에 대하여 설명하면 다음과 같다.

도 2를 참조하면, 단말기(100)는 저장부(120), A/V(Audio/Video) 입력부(130), 인터페이스부(140), 사용자 입력부(150), 전원 공급부(160), 출력부(170), 통신부(180) 등을 포함할 수 있다.

다만, 도 2는 단말기(100)의 필수 요소들로만 구성된 것이 아니며, 본 실시예의 단말기(100)는 다른 구성을 더 포함하거나 도시된 구성들 중 일부는 포함되지 않을 수 있다.

이하에서는 단말기의 각 구성요소를 순서대로 설명한다.

먼저, 저장부(120)는 제어부(110)의 처리 및 제어를 위한 프로그램, (예를 들면, 순위산정 어플리케이션, 점수 재산정을 위한 수학 알고리즘 등)을 위한 데이터가 저장되거나, 입/출력되는 데이터들의 임시 저장을 위한 역할을 할 수 있다.

이러한 저장부(120)는 플래시 저장부 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 저장부(SD 등), 램(RAM), SRAM(Static RAM), 롬(ROM), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 저장부, 자기 디스크, 광 디스크 중 어느 하나의 타입으로 이루어진 저장매체가 될 수 있다.

그리고, 단말기의 출력부(170)는 시각, 청각 또는 촉각과 관련되는 출력을 발생시키기 위한 구성요소로서, 터치 스크린, 스피커(speaker), 알람부 및 햅틱 모듈 등으로 구성될 수 있다.

터치 스크린은 단말기에서 처리되는 정보를 표시할 수 있는데, 예를 들어, 평가위원(10)의 단말기의 경우 점수를 입력하는 UI 또는 GUI를 표시할 수 있고, 피 평가자(30)의 단말기의 경우에는 최종 평가점수나 낙찰여부 또는 합격여부 등을 나타내는 UI 또는 GUI를 표시할 수 있다.

이러한 터치 스크린은 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT LCD), 유기 발광 다이오드(OLED), 플렉서블 디스플레이, 3차원 디스플레이 등으로 이루어질 수 있다. 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이것은 투명 디스플레이라 할 수 있으며, 이러한 투명 디스플레이의 예로는 TOLED(Transparent OLED)가 될 수 있다. 그리고, 터치 스크린의 후방 구조 또한 광 투과형 구조로 구성될 수 있으며, 이 경우 사용자는 단말기 바디의 터치 스크린이 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.

그리고, 터치 스크린에는 터치 동작을 감지하기 위한 센서(터치 센서)가 상호 레이어 구조를 이루어 구성될 수 있으며, 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태가 해당될 수 있다.

이러한 터치 센서는 터치 스크린의 특정 영역에 가해지는 압력, 또는 터치 스크린의 특정 영역에 발생되는 정전 용량의 변화, 또는 터치 스크린의 특정 영역에 발생되는 자기장 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 터치 센서는 터치되는 위치 및 면적뿐만 아니라, 터치 순간의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 의하여 터치 입력이 감지되는 경우에, 그에 대응하는 신호는 터치 제어기로 보내지며, 터치 제어기는 수신한 신호에 대응되는 데이터를 제어부(110)로 전송한다. 이러한 과정을 통하여, 제어부(110)는 터치 스크린에 터치가 있는지 여부, 디스플레이의 어느 영역에 터치가 이루어졌는지 여부, 디스플레이의 어느 영역에 어느 정도의 필압으로 터치가 이루어졌는지 여부 등을 확인할 수 있다.

예를 들어, 터치스크린은 피평가자(30)들에게 점수를 입력하기 위한 입력창과 숫자입력메뉴가 함께 출력될 수 있으며, 숫자입력메뉴에 터치가 이루어지면 터치가 이루어진 위치의 숫자들을 평가점수로 제어부(180)에 전송할 수 있다.

통신부(180)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치 정보 모듈 등 중 어느하나 이상을 포함하여 구성될 수 있으며, 통신부(180)를 이용하여 통신망(40)을 통해 평가서버(20)와 점수 산정을 위해 필요한 데이터를 송수신할 수 있다.

여기서, 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 나타내는 것으로서, 단말기(100)에 내장되어 구성되거나 외장 연결가능하도록 구성될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless Lan)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

단말기의 전원 공급부(160)는 제어부(110)의 제어에 따라 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

단말기의 제어부(180)는 단말기의 전체적인 동작 각각을 제어할 수 있는데, 예를 들어, 점수 산정을 위한 점수 입력, 점수 산정방법 선택, 점수 재산정 등에 관련된 제어 및 처리를 수행할 수 있다.

본 실시예에서 점수 재산정은 평가서버(20)에서 이루어지는 것으로 설명하나, 본 실시예와 달리 평가위원(10)에 해당하는 단말기(10)에서 입출력을 포함한 점수 재산정이 이루어질 수 있으며, 이 경우 평가서버(20)의 서버제어부가 아닌 단말기(10)에서 점수 재산정이 이루어진다.

즉, 평가위원(10)의 단말기 자체(10)가 점수 재산정을 하는 시스템이 될 수 있으며, 이러한 경우에는 일 평가위원(10) 또는 이와 관련된 사용자가 모든 평가위원(10)들의 점수들을 단말기(10)에 일거에 입력하고 점수 재산정을 수행한 후 각 피평가자(30)들의 최종 평가점수를 산출할 수 있다.

다만, 이하 설명에서 단말기(100)는 평가서버(20)와의 송수신을 통해 점수를 입력하고 점수를 전송 받으며 이를 평가위원(10) 또는 피평가자(30)에 출력하는 경우를 실시예로 설명한다.

그리고, 상기 제어부(110)는 터치 스크린 상에서 행하여지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 수행할 수 있다.

이동 단말기의 전원 공급부(160)는 제어부(110)의 제어에 따라 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에서 설명되는 다양한 실시예는, 예를 들어, 소프트웨어, 하드웨어 또는 이들이 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 어느 하나로 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(110) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 저장부(120)에 저장되고, 제어부(110)에 의하여 실행/동작될 수 있다.

도 3은 본 발명의 실시예에 따른, 평가위원들의 점수를 재산정하여 피평가자들의 최종점수를 재산정하는 평가서버를 나타내는 블록도이다.

도 3을 참조하면, 본 실시예의 평가서버(20)는 서버통신부(230)와, 서버제어부(210)와, 서버저장부(220)를 포함할 수 있다.

평가서버의 서버통신부(230)는 평가위원(10) 또는 피평가자(30)들과 통신망(40)을 통해 데이터를 송수신하는 역할을 한다.

평가서버의 서버저장부(220)는 점수 재산정에 사용되는 수학 알고리즘 등이 저장되며, 평가위원(10)들의 로그인 정보, 피평가자(30)들의 로그인 정보, 재산정한 내역 등도 데이터베이스화하여 저장할 수 있다.

이러한 서버저장부(220)는 플래시 저장부 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 저장부(SD 등), 램(RAM), SRAM(Static RAM), 롬(ROM), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 저장부, 자기 디스크, 광 디스크 중 어느 하나의 타입으로 이루어진 저장매체가 될 수 있다.

그리고, 서버제어부(220)는 서버통신부(230)를 통해 평가위원(10)들로부터 피평가자(30)들에 대한 점수를 전송 받고, 이들에 평균 및 편차를 구한 후, 이를 이용하여 평가위원(10)의 점수를 재산정하는 역할을 한다.

좀더 상세히, 서버제어부(210)는 서버통신부(230)를 통해 각 평가위원들이 채점한 피평가자들의 점수를 수신한다. 그리고, 각 피평가자(30)들에 대해 평균점수와 각 평가위원(10)들에 대한 편차를 산출한다.

그리고, 상기 산출된 편차와 평균점수를 이용하여 각 평가위원(10)들의 점수를 재산정하고, 각 평가위원(10)에 따라서 재산정된 점수들의 평균을 계산하여, 피평가자(30)에 대한 최종 평가점수를 산정할 수 있다.

이때, 점수 재산정 과정에서 편차를 이용하게 되면, 평가위원(10) 들에 평균 점수와 비교해 큰 차이가 나는 평가위원(10)들의 점수는 적정 수준의 점수로 재 산정될 수 있으며, 이를 통해 몇몇 특정 평가위원(10)들이 피평가자(30)들과 담합 하거나 친소관계에 의하여 부당하게 높은 점수를 주거나 낮은 점수를 주는 것을 방지할 수 있다.

그리고, 이러한 점수 재산정이 각 피평가자(30)들(1~N)에게 수행되면, 최종 평가점수에 따라서 피평가자(30)들에 순위가 결정될 수 있으며, 이에 따라서 합격여부 또는 낙찰 여부 등이 결정되어 피평가자(30)들 또는 평가위원(10)에게 결정 결과가 서버통신부(230)를 통해 전송될 수 있다.

이러한 구성을 통하여, 상기 평가서버(20)는 평가위원(10)들의 점수를 공정하게 재산정할 수 있고, 따라서 공정하게 재산정된 최종 평가점수로 순위를 산정하여 공정한 심사가 가능한 장점이 있다.

이하에서는 이와 같은 서버제어부(220)에서 수행되는 점수 재산정 과정을 도 4와 도 5를 참조하여 좀더 상세히 설명한다.

<점수 재산정 방법 실시예>

도 4는 본 발명의 실시예에 따른, 평가서버가 점수 재산정 과정을 나타내는 흐름도이고, 도 5는 본 발명의 실시예에 따른, 2가지 점수 재산정방법을 설명하는 도면이며, 도 6은 본 발명의 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 표이고, 도 7은 본 발명의 다른 실시예에 따른, 편차비율별 차등 점수계산방법을 나타내는 그래프이다.

도 4 내지 7을 참조하면, 먼저, 평가서버(20)는 서버통신부(230)를 통해 복수의 평가위원으로부터 복수의 피평가자들에 대한 점수를 전송받는다.(S101)

평가위원(10)들은 각자의 단말기(100)를 통해 평가서버(20)에 접속한 후 터치 스크린에 터치 또는 키보드 등을 통해 점수를 입력할 수 있다. 다만, 이러한 점수 입력 전에는 평가위원(10) 본인이 맞는지 확인하는 본인인증과정이 먼저 수행될 수 있다.

평가서버(20)는 서버통신부(230)를 통해 평가위원(10)이 본인인증과정(예를 들면, 서버 로그인이나 공인인증센터를 통한 본인 인증을 거치기 위해 입력한 정보에 관한 데이터를 송수신할 수 있으며, 서버제어부(210)는 서버저장부(220)에 저장된 평가위원(10) 정보를 검색하여 평가위원(10)이 맞는지 확인할 수 있다.

평가위원(10)임이 확인된 후, 서버제어부(210)는 서버통신부(230)를 통해 복수의 피평가자(30)들에 대해 평가한 평가위원(10)들의 점수를 수신한다.

이하에서는 편의상 단일 피평가자(30)의 점수를 재산정하는 과정을 설명하며, 이러한 점수 재산정이 복수의 피평가자(30)들의 점수들에 각각 병렬적으로 수행되어, 복수의 피평가자(30)들 각각의 최종 평가점수가 산정되는 것으로 이해할 수 있을 것이다.

이후, 서버제어부(210)는 수신된 피평가자(30)에 대한 평가위원(10)들의 점수들에 대한 평균 및 각 평가위원(10) 점수에 대한 편차를 계산한다. (S102)

즉, 피평가자 1에 대한 평가위원 1~N에 해당하는 점수 N개에 대한 평균을 계산하고, 계산된 평균과 평가위원 1~N 각각의 점수에 대한 차이인 편차를 구한다. 이때, 상기 편차는 분산, 표준편차와 같은 개념으로 이해할 수 있으며, 본 실시예에서 편차는 분산 절대값을 의미한다.

그 다음, 서버제어부(210)는 각 평가위원(30)의 편차에 따라서 점수를 재산정한다. (S103)

편차를 이용하여 점수를 재산정하는 방법으로는 다양한 수학식들이 있을 수 있지만, 본 실시예에서는 일정 편차 이상을 가지면 그 평가위원의 점수를 최종 점수 산정에서 제거하는 방법과, 편차에 크기에 따라서 평가위원 점수를 가감하는 방법을 두가지 경우로 설명한다.

도 5를 보면, 서버제어부(210)는 이러한 점수 재산정 방법을 평가서버(30)의 사용자가 선택하거나 평가위원(10)의 대표가 선택하도록 제공할 수 있다.

먼저, 점수를 재산정하는 방법으로, 일정 편차의 비율 이상을 가지는 평가위원(10)의 점수를 제거할 수 있다.

여기서, 편차의 비율은 평가위원(10)의 편차를 상기 평가위원(10)의 점수로 나눈 것으로, 편차의 비율을 사용하는 이유는 평가 종류에 따라서 평가위원들의 점수가 세부적으로 산정되어 편차의 절대 크기가 작은 경우와 큰 경우가 있을 수 있어서, 편차의 비율을 사용하여 점수를 과도 또는 과소하게 준 경우를 명확히 가리기 위함이다.

또는, 서버제어부(210)는 편차비율별로 평가위원(10)의 점수를 재산정할 수 있다.

예를 들어, 평가위원(10)의 점수의 편차비율이 2% 이하일 때, 평가위원(10)의 점수는 유지될 수 있다.

그러나 평가위원(10)의 점수의 편차비율이 2%를 초과할 때부터는 점수조정대상으로, 평가위원(10)의 점수가 보정될 수 있다. 즉, 특정 평가위원(10)의 점수가 과다하게 높거나 낮게 부여되어서, 특정 평가위원(10)의 점수만으로 순위가 좌우되는 것을 방지하기 위하여, 일정 편차비율을 초과하는 평가위원(10)의 점수를 조정하는 것이다.

자세히, 평가위원(10)의 점수의 편차비율이 2~3% 사이일 때는, 평가위원(10)의 점수를 10% 감산할 수 있다.

그리고 평가위원(10)의 점수가 3~4%일 때는, 평가위원(10)의 점수를 20% 감산할 수 있다. 즉, 평가위원(10)의 점수가 평균에 비해 점점 멀어질수록 점수 조정되는 정도가 커질 수 있다.

즉, 실시예는 평가위원(10)의 점수가 평균에 비해 크게 벗어날수록 더욱 큰 보정을 가하여 평가위원(10)의 점수를 재산정하므로써, 공정한 심사를 도모할 수 있다.

도 6처럼, 편차비율을 단계적으로 정하여 평가위원(10)의 점수의 보정 수치를 정할 수 있으나, 도 7과 같이, 편차비율에 따라서 정해지는 가감비율을 선형적으로 설정하여 평가위원(10)의 점수를 보정할 수 있다.

이때, 편차비율에 따른 가감비율의 변화율은 일정하거나(k1) 또는 점차 증가(K2)할 수 있다. 변화율을 점차 증가시킴는 실시예는 평균에서 과다하게 벗어난 점수의 가감비율을 크게 증가시켜, 특정 평가위원(10)의 점수에 의해 순위가 좌우되는 것을 더욱 방지할 수 있다.

이후, 서버제어부(210)는 재산정된 점수들의 평균을 구하여 최종 평가점수를 산출할 수 있다. (S104) 마지막으로, 최종 평가점수 산출이 각 피평가자(30)들에게 수행된 후, 서버제어부(30)는 최종 평가점수에 따라서 순위 또는 합격 여부 등을 결정함으로써, 점수 재산정 과정은 완료된다. (S105)

표 2는 피평가자에 대한 평가위원의 점수를 나타낸다.

표 2를 참조하면, 각 평가위원들의 편차 비율을 구한 후 평균 편차에서 9%이상 벗어난 평가위원 D, E, F, C를 제외하고 나머지 평가위원들의 점수만을 이용하여 최종 평가점수인 평균을 계산한 것이다.

즉, 평가위원 A, B, C, H, I들이 평가한 점수는 고르게 분포해 있으며, 이에 비하여 평가위원 D, E, F, C는 과도하게 점수를 높게 주거나 낮게 주었으므로, 친소관계나 담합의 여지가 있어 이를 제외하고 최종 점수를 산정함으로써 공정성을 확보하려는 것이다.

이때, 제외가 되는 편차비율을 평가위원(10)이 설정할 수 있도록 할 수 있으며, 이 과정은 평가서버(20)의 사용자가 직접 바꾸거나 대표 평가위원(10)의 단말을 통해 수행될 수 있다.

다만, 일정 편차비율 이상에 해당하는 평가위원(10)의 점수를 무조건 적으로 제외하게 되면, 담합이나 친소관계 없이 순수하게 피평가자(30)를 평가한 평가위원(10)의 점수가 전혀 반영되지 않을 수 있다. 이러한 경우를 방지하기 위하여, 일정 편차비율 이상을 가지더라도 평가위원(10)의 점수를 어느 정도 가감하여 최종 평가점수에 반영하는 방법이 더 바람직할 수 있다.

이하에서는 큰 편차를 가지는 평가위원(10)의 점수를 가감하여 최종 점수에 반영하는 점수 재산정 방법에 대해 설명한다.

도 8은 본 발명의 실시예에 따른, 점수를 가감하여 재산정하는 방법을 나타내는 흐름도이다.

도 8을 참조하면, 먼저, 평가서버(20)는 서버통신부(230)를 통해 복수의 평가위원으로부터 복수의 피평가자들에 대한 점수를 전송 받는다.

점수 전송 이전에는, 앞서 설명한 바와 같은 본인인증절차가 수행될 수 있다.

이후, 서버제어부(210)는 수신된 피평가자(30)에 대한 평가위원(10)들의 점수들에 대한 평균 및 각 평가위원(10) 점수에 대한 편차를 계산한다. (S301)

즉, 피평가자 1에 대한 평가위원 1~N에 해당하는 점수 N개에 대한 평균을 계산하고, 계산된 평균과 평가위원 1~N 각각의 점수에 대한 차이이인 편차의 절대값(이하 편차)을 구한다.

그 다음, 서버제어부(210)는 각 평가위원(30)의 편차에 따라서 점수를 재산정한다.

다만, 본 실시예에서도 편차비율이 과다하게 초과되는 경우, 점수 재산정에서 제거할 수도 있다. (S302)

즉, 특정 평가위원(10)의 점수가 일반적인 평가위원(10)의 점수에 비해 너무 많이 차이나면 특정 평가위원(10)에 의하여 순위 또는 합격 여부가 좌우될 수 있으므로 아주 높게 설정된 일정 편차비율을 설정하여, 일정 편차비율을 초과한 점수를 재산정하지 않고 사전에 제거함으로써, 공정한 평가를 내릴 수 있다. (S303)

그리고, 일정 편차비율보다 낮은 경우 평가위원(10)의 점수들도 평균 점수에 비해 큰 차이가 있는 경우에는, 이를 재산정한다. (S304)

점수를 재산정하기 위하여, 먼저, 편차비율의 범위에 대한 가감비율상수가 설정될 수 있다.

예를 들어, 사용자는 단말기(100)를 통해 3% 이하의 편차 비율인 경우 가감하지 않기 위하여 가감비율상수를 1로 지정할 수 있으며, 3~4%인 경우 가감비율을 0.8로 할 수 있고, 4~5%인 경우 0.6으로 지정할 수 있다.

즉, 다양한 점수 재산정 방법 선택할 때, 선택된 점수 재산정 방법에서 필요한 설정정보들(예를 들면, 평가위원의 점수를 제거하는 편차비율, 가감비율 등)도 함께 사용자에 의해 설정될 수 있으며, 이러한 정보들은 서버저장부(30)에 저장될 수 있다. 물론, 점수 재산정 방법과 설정 정보들은 서버저장부(30)에 디폴트로 저장되는 경우도 가능할 것이다.

도 9 내지 10을 참조하여, 좀더 상세히 편차의 비율에 따라 점수를 가감하는 방법에 대해 설명한다.

도 9는 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 높은 경우 점수를 재산정하는 방법을 나타내고, 도 8은 본 발명의 실시예에 따른, 평가위원의 점수가 평균 점수보다 낮은 경우 점수를 재산정하는 방법을 나타낸다.

도 9를 참조하면, 평가위원(10)의 점수 k가 평가위원(10) 점수들의 평균 m보다 큰 경우에, 편차비율 x 와 평균 m과 편차비율범위에 따라서 설정된 경감치 a1~an 에 따라서 재산정점수 y가 산출된다.

이때, 가감비율에 해당하는 경감치 또는 가중치를 a1~an으로 기재하여 이산적인 수로 기술하나, 편차비율이 증가함에 따라서 선형적으로 변하는 가감비율도 해당될 수 있다.

좀더 상세히, 편차비율 x가 3% 보다 작은 경우, 그 평가위원(10) 점수 k는 신뢰도가 높은 점수로 볼 수 있으므로, 상기 평가위원(10)의 점수 k는 그대로 재산정점수 y로 반영된다.

여기서, m은 평가위원 점수의 평균, l은 재산정되는 편차비율의 최솟값, k는 편차비율 범위의 최솟값, ak는 경감치, x는 편차비율을 나타낸다.

수학식 1은 편차비율에 따라서 평가위원의 점수가 재산정될 때, 재산정된 점수 Y를 산출하는 식에 해당한다.

좀더 상세히, 수학식 1이 적용되는 과정을 도 7을 예를 들어 설명한다.

편차비율 x가 3~4%인 경우, 3%를 벗어나는 편차에 대해서는 감소시킬 필요가 있다. 그러므로, x에서 편차비율 범위의 최솟값인 3을 뺀 후 100으로 나누고 3~4%의 범위에 해당하는 경감치a3과 m을 곱하여 얻은 값에 m과 m에 편차비율 최솟값 나누기 100인 0.03을 곱한 값을 더하여 y를 산출할 수 있다.

여기서, m과 0.03 곱하기 m을 더한 값은 평가위원(10)의 점수를 편차비율이 3%넘어가는 선까지는 그대로 반영하겠다는 것이고, 편차비율이 3% 넘어서는 평가점수에 대해서는 a3을 곱하여 감소시키겠다는 의미이다.

즉, 경감치 a3을 이용하여 평가점수가 평균에서 많이 벗어난 만큼 평가점수를 낮추어 재산정하여, 공정한 재산정점수를 산출하려는 것이다.

편차비율 x가 4~5%인 경우, 재산정점수 y는 m에 0.003m과, 0.01*a3*m과, (x-4)/100*a4*m을 더한 값으로 산출할 수 있다.

여기서, 0.01*a3*m의 의미는 평가위원(10)의 점수 중 3~4% 편차비율에 해당하는 점수는 경감치 a3만 곱하여 감소시키겠다는 것이고, 4~5% 편차비율에 해당하는 점수는 경감치 a4를 곱하여 감소시키겠다는 것이다.

즉, a4는 a3보다 작을 것인데, 3~5% 편차비율에 해당하는 평가위원(10)의 점수를 모두 a4를 곱하는 것은 불합리하므로, 평가위원(10)의 점수 중 편차비율 3~4%에 해당하는 점수는 a3을 곱하여 덜 감소시키고, 4~5%에 해당하는 점수는 a4를 곱하여 더 감소시키기 위함이다.

이러한 과정으로, x가 5~6%인 경우와 6~7%인 경우에 y를 산출할 수 있을 것이며, 7% 넘어서는 경우에는 평가위원의 점수를 최종 평가점수 산정에서 제외할 수 있다.

도 10을 참조하면 평가위원(10)의 점수 k가 평가위원(10) 점수들의 평균 m보다 작은 경우에 편차비율 x 와 평균 m과 편차비율범위에 따라서 설정된 가중치 a1~an 에 따라서 재산정점수 y를 산출하는 과정이다.

여기서, m은 평가위원 점수의 평균, l은 재산정되는 편차비율의 최솟값, k는 편차비율 범위의 최솟값, ak는 경감치, x는 편차비율을 나타낸다.

수학식 2는 편차비율에 따라서 평가위원의 점수가 재산정될 때, 재산정된 점수 Y를 산출하는 식에 해당한다.

좀더 상세히, 수학식 2가 적용되는 과정을 도 8을 예를 들어 설명한다.

편차비율 x가 3% 보다 작은 경우, 그 평가위원(10) 점수 k는 신뢰도가 높은 점수로 볼 수 있으므로, 상기 평가위원(10)의 점수 k는 그대로 재산정점수 y로 반영된다.

편차비율 x가 3~4%인 경우, 편차비율 3%를 벗어나는 평가위원(10)의 점수에 대해서는 증가시킬 필요가 있다. 그러므로, x에서 편차비율 범위의 최솟값인 3을 뺀 후 100으로 나누고 3~4%의 범위에 해당하는 가중치 a3과 m을 곱하여 얻은 값에 m과 m에 편차비율 최솟값 나누기 100인 0.03을 곱한 값을 빼서 y를 산출할 수 있다.

여기서, m에서 0.03 곱하기 m을 뺀 값은 평가위원(10)의 점수를 편차비율이 3% 넘어가는 선까지는 그대로 반영하겠다는 것이고, 편차비율이 3% 넘어서는 평가점수에 대해서는 a3을 곱하여 증가시키겠다는 의미이다.

즉, 가중치 a3을 이용하여 평가점수가 평균에서 많이 벗어난 만큼 평가점수를 증가되도록 재산정하여, 공정한 점수를 산출하려는 것이다.

편차비율 x가 4~5%인 경우, 재산정점수 y는 m에서 0.003m과, 0.01*a3*m과, (x-4)/100*a4*m을 뺀 값으로 산출할 수 있다.

여기서, 0.01*a3*m의 의미는 평가위원(10)의 점수 중 3~4% 편차비율에 해당하는 점수는 가중치 a3만 곱하여 증가시키겠다는 것이고, 4~5% 편차비율에 해당하는 점수는 가중치 a4를 곱하여 증가시키겠다는 것이다.

이러한 과정으로, x가 5~6%인 경우와 6~7%인 경우에 y를 산출할 수 있을 것이며, 7% 넘어서는 경우에는 평가위원의 점수를 최종 평가점수 산정에서 제외할 수 있다.

마지막으로, 서버제어부(210)는 이와 같이 피평가자(30)에 대한 평가위원(10)들의 점수가 모두 재산정되면, 재산정된 점수들의 평균을 구하여 피평가자(30)에 대해 최종 평가점수를 산출한다. (S305)

이러한 최종 평가점수 산출은 각 피평가자(30)들에게 모두 병렬적으로 수행될 것이며, 피평가자(30)들에 최종 평가점수에 따라서 순위가 결정됨으로써, 공정한 순위 선정이 가능할 수 있다.

표 3은 피평가자인 1번과 2번 선수에 대해 심사위원 A 내지 I가 내린 평가 점수와, 각 심사위원 평가점수의 편차비율과, 재산정된 점수(3%초과 가감점 평균)와, 최종 평가점수(3%초과 가감점 평균)을 나타낸다.

표 3을 참조하면, 1번 선수에 대해 심사위원 D, E, F의 평가점수는 편차비율이 7%초과하였으므로 최종 평가점수산정에서 제외되었고, 심사위원 A, B, I는 편차비율이 3% 이하이므로 그대로 반영되었으며, 심사위원 C, E, H의 점수는 재산정된다.

최종 평가점수를 보면, 1번 선수의 최종 평가점수는 8.691이고 2번 선수는 8.752임을 알 수 있다.

전술한 바와 같이, 종래 기술인 Head-Tail Cut에 의하여 순위가 가려진다면 2번 선수가 1번 선수보다 점수가 낮지만, 본 실시예를 통하여 산정된 최종 점수에 의하면 2번 선수의 점수가 더 높은 것을 확인할 수 있다.

이를 통해, 친소관계 또는 내부거래에 따라서 일정 선수에게 과다 또는 과소하게 점수를 준 심사위원의 점수를 일정 수준으로 낮추거나 높여 재산정함으로써, 친소관계 또는 내부거래의 효력을 약화시킬 수 있다.

즉, 특정 심사위원에게 큰 점수를 얻는 것 보다 전체적인 심사위원들에게 골고루 높은 점수를 얻은 피평가자의 순위를 높게 평가하여, 공정한 심사가 가능해 진다.

<다른 실시예>

전술한 본 발명의 점수를 재산정하는 방법은, 평균가격낙찰제인 부찰제에도 적용 가능하다.

이러한 본 발명의 다른 실시예는 점수 재산정 방법을 부찰제에만 적용한 것으로, 본 발명의 일 실시예의 순위산정과 나머지 부분은 동일한바 중복되는 설명은 생략하기로 한다.

표 4는 본 발명의 다른 실시예에 따른, 점수 재산정을 적용하여 낙찰기준금액을 산출함으로써, 부찰제를 실행한 경우를 나타낸다.

부찰제는 낙찰 기준금액에 이하로 가장 근접한 업체를 결정하는 방법인데, 편차비율을 이용하여 낙찰 기준금액을 재산정하고 일정편차비율 이상은 낙찰업체에서 제외함으로써, 담합입찰이나 저가 낙찰을 막을 수 있다.

좀더 상세히, 종래의 낙찰기준금액은 유효입찰금액합계에서 유효입찰업체수를 나누어 구했다.

그러나, 본 실시예에서는 낙찰기준금액을 수학식 3과 같이 구할 수 있다.

이렇게 편차비율을 이용하여 낙찰기준금액을 계산하게 되면, 일정 업체들이 내부거래를 통해 금액을 일정 수준으로 정하여 입찰하는 담합 입찰을 방지할 수 있다.

또한, 예정가격이상금액의 입찰업체와, 유효입찰 평균과의 일정편차비율 이상인 업체를 제한함으로써, 입찰방식의 고질적인 문제인 저가입찰을 방지할 수 있다.

<또 다른 실시예>

이하, 도 11을 참조하여 본 발명의 또 다른 실시예를 설명한다. 이때, 전술한 실시예들과 중복되는 설명은 생략하기로 한다.

도 11은 본 발명의 또 다른 실시예에 따른, 점수 재산정 과정을 나타내는 흐름도이다.

먼저, 복수의 평가위원으로부터 복수의 피평가자들에 대한 점수를 수신한다. (S501)

예를 들어, 표 5를 보면, 1번부터 12번까지의 피평가자들이 있으며, 심사위원 A~I가 피평가자들을 평가한 점수가 수신된 것을 알 수 있다.

다음, 피평가자의 평균점수 및 모든 피평가자들의 평균점수의 평균을 산출한다. (S502)

자세히, 표 5를 참조하면, 1번부터 12번까지의 피평가자들의 각각의 평균점수(D)를 산출할 수 있다.

또한, 표 6을 참조하면, 피평가자들의 평균점수의 평균(A)을 산출할 수 있다.

이후, 피평가자들의 개별 최고점수 및 최저점수에 따라서 과대편차제외 기준점수를 산정할 수 있다. (S503)

자세히, 피평가자들 각각이 받은 최고점수들의 평균(B)을 구하여, 이를 과대편차제외 상한기준점수(이하, “상한기준점수”)의 산정 요소로 사용할 수 있다. 이때, 상한기준점수란 심사위원들의 점수 중 상한기준점수를 넘는 점수들은 점수 재산정에서 제외하는 기준이 되는 점수를 의미한다.

예를 들어, 표 7과 같이 1번에 상한기준점수가 9.331로 산출된 경우, 9.331 이상의 점수를 부여한 심사위원 D,E,F의 점수는 점수 재산정시 제외될 것이다.

또한, 피평가자들 각각이 받은 최저점수들의 평균(C)을 구하여, 이를 과대편차제외 하한기준점수의 산정 요소로 사용할 수 있다. 이때, 하한기준점수란 심사위원들의 점수 중 하한기준점수를 넘는 점수들은 점수 재산정에서 제외하는 기준이 되는 점수를 의미한다.

종래의 헤드-테일 방식은 가장 높은 점수와 가장 낮은 점수만을 제외한 후 평균을 계산하여, 복수의 심사위원이 점수를 담합하여 부여할 경우, 부당한 평가가 이루어지는 문제가 있다.

실시예는, 이러한 문제점을 방지하고자 심사위원들이 피평가자들에게 부여한 점수를 통해 상한기준과 하한기준점수를 정하여 과다하게 높거나 낮은 점수를 부여하여 친소관계 또는 내부거래로 의심되는 심사위원의 점수를 재산정에서 제외할 수 있다. 이를 통해, 내부거래를 사전에 방지하여, 공정한 심사가 가능해지는 장점이 있다.

좀더 상세히, 상한기준점수와 하한기준점수를 산출하는 과정을 설명한다.

수학식 4는 피평가자들의 과대편차제외 상한기준점수를 산출하는 일례이다.

여기서, A는 피평가자들의 평균의 평균, B는 피평가자들의 최고점수의 평균 및 D는 피평가자들의 평균이다.

이러한 수학식 4에 의하여, 피평가자들 각각의 과대편차제외 상한기준점수가 산정될 수 있다.

즉, 1번 내지 12번 각각의 상한기준점수를 산출하고, 상한기준점수를 초과한 심사위원의 점수를 제외하여, 심사의 공정성을 확보할 수 있다.

수학식 5는 피평가자들의 과대편차제외 하한기준점수를 산출하는 일례이다.

여기서, A는 피평가자들의 평균의 평균, C는 피평가자들의 최저점수의 평균 및 D는 피평가자들의 평균이다.

이러한 수학식 5에 의하여, 피평가자들 각각의 과대편차제외 하한기준점수가 산정될 수 있다.

즉, 1번 내지 12번 각각의 하한기준점수를 산출하고, 하한기준점수 미만의 심사위원의 점수를 제외하여, 심사의 공정성을 확보할 수 있다.

따라서, 과대편차제외 기준점수를 통해, 피평가자들의 점수를 재산정할 수 있다. (S504)

표 5를 보면, E1 박스 내에 포함된 심사위원의 점수는 하한기준점수 미만의 심사위원 점수에 해당한다. 또한, E2 박스 내에 포함된 심사위원의 점수는 상한기준점수를 초과한 심사위원 점수에 해당한다.

즉, E1과 E2 박스 내에 포함된 점수들을 제외하고 피평가자들의 점수를 재산정할 수 있다.

이후, 이렇게 재산정된 점수로 최종 평가점수 산출한 후 최종 평가점수로 피평가자들의 순위 산정할 수 있다. (S505, S506)

자세히, E1과 E2 박스 내에 포함된 점수들을 제외하고, 피평가자들의 점수의 평균을 최종 평가점수로 산출할 수 있다.

그리고 표 8과 같이 최종 평가점수로 각 피평가자들의 순위를 매김으로서, 공정하게 피평가자들의 순위를 산정할 수 있다.

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 실시예를 한정하는 것이 아니며, 실시예가 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

1. 삭제
2. 삭제
3. 복수의 평가위원이 복수의 피평가자에게 부여한 평가점수를 입력받는 단계;
   상기 복수의 피평가자들 각각의 평균점수를 산출하는 단계;
   상기 복수의 피평가자들의 최고점수 및 최저점수를 추출하는 단계;
   상기 최고점수들의 평균, 상기 최저점수들의 평균 및 상기 복수의 피평가자들 각각의 평균점수에 따라서 과대편차제외 상한기준점수와 과대편차제외 하한기준점수를 산정하는 단계 ― 여기서, 상기 과대편차제외 상한기준점수는 수학식

   

   을 통해서 산정되고, 상기 과대편차제외 하한기준점수는 수학식

   

   을 통해서 산정되며, A는 피평가자들의 평균 점수의 평균, B는 피평가자들의 최고점수의 평균, C는 피평가자들의 최저점수의 평균, D는 피평가자들의 평균 점수임―; 및
   상기 과대편차제외 상한기준점수를 초과하는 상기 평가위원의 점수와 상기 과대편차제외 하한기준점수 미만의 상기 평가위원의 점수를 제외하고 상기 복수의 피평가자들의 점수를 재산정하는 단계;를 포함하는 점수 재산정 방법.
4. 제 3 항에 있어서,
   상기 최고점수들의 평균과 상기 최저점수들의 평균을 산출하는 단계를 더 포함하는 점수 재산정 방법.
5. 제 4 항에 있어서,
   상기 복수의 피평가자들의 평균점수의 평균을 산출하는 단계를 더 포함하는 점수 재산정 방법.
6. 삭제
7. 삭제
8. 삭제
9. 삭제

Images