KR20160086531A - 콘텐츠를 제출하는 다수의 지원자를 상호평가와 평가검증을 활용하여 평가하는 방법 및 컴퓨터 프로그램 - Google Patents

Abstract

하나 이상의 정보처리장치와 하나 이상의 지원자 단말기를 포함하는 시스템에서 실시되는 방법에 있어서
정보처리장치가 하나 이상의 지원자 단말기로부터 평가용 콘텐츠를 입력받고
관리자 기기로부터 하나 이상의 검증용 콘텐츠를 입력받는 제 1단계;
정보처리장치가 기설정된 조합방식으로, 하나 이상의 평가용 콘텐츠와 하나 이상의 검증용 콘텐츠를 조합한 그룹을 하나 이상 만드는 제 2단계;
정보처리장치가 상기 그룹을 지원자 단말기로 전송하는 제 3단계;
정보처리장치가 상기 지원자 단말기로부터 상기 그룹에 속한 평가용 콘텐츠 및 검증용 콘텐츠에 대한 평가정보를 입력받는 제 4단계;
정보처리장치가, 상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는지 판단하는 제 5단계;
상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는 경우, 정보처리장치가 상기 검증용 콘텐츠와 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보를 유효한 평가정보로 판단하고, 상기 유효한 평가정보 및 상기 유효한 평가정보를 입력한 지원자에 관하여 기록하는 제 6단계;
정보처리장치가, 검증용 콘텐츠에 대하여 지원자가 입력한 평가정보가 기설정된 유효성 기준에 만족하였는지 여부와, 상기 지원자가 상기 제 1단계에서 입력했던 평가용 콘텐츠에 대하여 입력받은 평가정보 중 유효한 평가정보를 반영하여 기설정된 평가방식으로 상기 지원자에 대하여 평가를 하는 제 7단계;
를 포함하는 것을 특징으로 하는
콘텐츠를 제출하는 다수의 지원자를 상호평가와 평가검증을 활용하여 평가하는 방법

Description

콘텐츠를 제출하는 다수의 지원자를 상호평가와 평가검증을 활용하여 평가하는 방법 및 컴퓨터 프로그램 {method and computer program for evaluation of persons who submitted contents by mutual evaluation and evaluation verification}

본 발명은 컴퓨터와 인터넷을 활용한 업무처리에 관한 것이다. 본 발명은 구체적으로는 채용, 진학, 계약, 승진 등에 관한 업무처리에 사용될 수 있다.

전통적으로 기업, 학교, 정부, 비영리조직 등에서는 다수의 지원자로부터 지원서나 자기소개서 등의 콘텐츠를 제출받는다. 그리고 이를 나름대로 평가하여 채용, 진학, 승진, 계약 등에 활용한다.

한편 컴퓨터와 인터넷 기술의 발전으로 콘텐츠를 다수의 지원자 단말기로부터 온라인으로 제출받게 되었다.

그런데 제출받은 콘텐츠를 평가하기 위해서 여전히 예전과 같은 방법이 사용된다. 즉 평가를 수행하기 위하여 별도로 사람들을 동원하고 있다. 이는 많은 비용과 시간이 소요된다.

그리고 콘텐츠가 주관적인 성격이 있을 경우에는 콘텐츠만 갖고 지원자를 평가하는데 부족함이 있다.

다수의 콘텐츠를 평가하는데 필요하던 인력과 비용을, 컴퓨터와 인터넷 기술을 활용하여 줄이고자 한다. 그리고 콘텐츠 외에 지원자를 평가하는 기준을 더 마련하고자 한다.

본 발명인, 콘텐츠를 제출하는 다수의 지원자를 상호평가와 평가검증을 활용하여 평가하는 방법 및 컴퓨터 프로그램은 과제를 해결하기 위한 수단이다.

하나 이상의 정보처리장치와 하나 이상의 단말기를 포함하는 시스템에서 실시되는 본 발명의 방법은 다음의 단계를 포함한다.

정보처리장치가 하나 이상의 지원자 단말기로부터 평가용 콘텐츠를 입력받고 관리자 기기로부터 하나 이상의 검증용 콘텐츠를 입력받는 제 1단계다.

정보처리장치가 기설정된 조합방식으로, 상기 하나 이상의 지원자 단말기로부터 입력받은 하나 이상의 평가용 콘텐츠 중에서 추출된 적어도 하나 이상의 평가용 콘텐츠와, 상기 관리자 기기로부터 입력받은 하나 이상의 검증용 콘텐츠 중에서 추출된 적어도 하나 이상의 검증용 콘텐츠를 조합한 그룹을 하나 이상 만드는 제 2단계다.

정보처리장치가 상기 그룹을 지원자 단말기로 전송하는 제 3단계다.

정보처리장치가 상기 지원자 단말기로부터 상기 그룹에 속한 평가용 콘텐츠 및 검증용 콘텐츠에 대한 평가정보를 입력받는 제 4단계다.

정보처리장치가, 상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는지 판단하는 제 5단계다.

상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는 경우, 정보처리장치가 상기 검증용 콘텐츠와 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보를 유효한 평가정보로 판단하고, 상기 유효한 평가정보 및 상기 유효한 평가정보를 입력한 지원자에 관하여 기록하는 제 6단계다.

정보처리장치가, 검증용 콘텐츠에 대하여 지원자가 입력한 평가정보가 기설정된 유효성 기준에 만족하였는지 여부와, 상기 지원자가 상기 제 1단계에서 입력했던 평가용 콘텐츠에 대하여 입력받은 평가정보 중 유효한 평가정보를 반영하여 기설정된 평가방식으로 상기 지원자에 대하여 평가를 하는 제 7단계다.

상기 기설정된 유효성 판단기준은 상기 검증용 콘텐츠에 대한 평가정보가 상기 검증용 콘텐츠에 대한 사전평가정보와 부합하는지 여부를 포함한다.

상기 검증용 콘텐츠에 대한 사전평가정보는 상기 정보처리장치에 저장된 것을 특징으로 한다.

본 발명의 컴퓨터 프로그램은 다음과 같다.

하드웨어와 결합되어 본 발명의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램이다.

하드웨어와 결합되어 본 발명의 방법 중 제 2단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램이다.

하드웨어와 결합되어 본 발명의 방법 중 제 5단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램이다.

하드웨어와 결합되어 본 발명의 방법 중 제 6단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램이다.

하드웨어와 결합되어 본 발명의 방법 중 제 7단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램이다.

본 발명의 효과는 다음과 같다. 콘텐츠를 평가하기 위해 필요하던 인력과 비용을 크게 줄일 수 있다.

그리고 콘텐츠 외에 콘텐츠를 제출한 지원자를 평가할 수 있는 기준을 더 획득할 수 있다. 즉 지원자의 업무수행 역량을 더 확인할 수 있게 된다.

도 1은 일 실시예에 따른 본 발명의 시스템을 나타내는 도면이다.
도 2는 일 실시예에 따른 본 발명의 시스템을 나타내는 도면이다.
도 3은 일 실시예에 따른 본 발명의 방법을 나타내는 순서도이다.
도 4는 지원자 단말기와 상기 지원자 단말기로부터 입력받은 평가용 콘텐츠에 대한 예시이다.
도 5는 관리자 단말기와 상기 관리자 단말기로부터 입력받은 검증용 콘텐츠에 대한 예시이다.
도 6은 지원자 단말기로 전송될 그룹의 일 실시예이다.
도 7은 지원자 단말기에서 디스플레이 된 그룹의 일 실시예이다.
도 8은 지원자 단말기로부터 입력받은 평가정보의 일 실시예이다.
도 9는 검증용 콘텐츠에 대한 평가정보가 유효한지 판단하는 기설정된 유효성 기준의 일 실시예이다.
도 10은 평가용 콘텐츠에 대한 유효한 평가정보 및 상기 유효한 평가정보를 입력한 지원자에 관한 기록의 일 실시예이다.
도 11은 지원자가 검증용 콘텐츠에 대하여 유효한 평가정보를 입력했는지 여부와 지원자의 평가용 콘텐츠에 대한 유효한 평가정보를 반영한 기록의 일 실시예이다. 도 12는 지원자가 검증용 콘텐츠에 대하여 유효한 평가정보를 입력했는지 여부와 지원자의 평가용 콘텐츠에 대한 평가정보를 반영하여, 합격여부 및 순위를 연산하는 기설정된 평가방식의 일 실시예이다.
도 13은 일 실시예에 따른 본 발명의 정보처리장치 구성도이다.

도면을 참조하면서 본 발명의 바람직한 일 실시예에 대해서 설명하겠다. 다만 본 설명은 발명을 제한하고자 하는 취지는 아니다.

제 1장에서 본 발명의 방법에 대해서 설명하고, 제 2장에서 본 발명의 시스템과 본 발명의 컴퓨터 판독가능 기록매체 및 본 발명의 컴퓨터 프로그램에 대해서 설명하겠다.

제 1장

먼저 바람직한 일 실시예에 따른 본 발명의 방법에 대해서 설명하겠다.

본 발명의 방법은 도 1에 예시된 바와 같이 하나 이상의 정보처리장치(100), 하나 이상의 지원자 단말기(10)를 포함하는 시스템에서 실시된다.

상기 시스템은 관리자 단말기(20)를 더 포함할 수 있다.

상기 정보처리장치(100)는 서버 등이다.

상기 정보처리장치(100)는 상기 단말기와 통신망(10000) 등을 통해서 연결된다.

상기 시스템은 도 2에 도시된 것처럼 둘 이상의 지원자 단말기를 포함하는 것이 바람직하다.

상기 시스템에서 실시되는 방법에 대해서 도 3을 참조하여 설명하겠다.

제 1단계(1100)는 정보처리장치가 하나 이상의 지원자 단말기로부터 평가용 콘텐츠를 입력받고

관리자 기기로부터 하나 이상의 검증용 콘텐츠를 입력받는 단계다.

상기 평가용 콘텐츠는 텍스트, 이미지, 소리, 동영상, 링크, 컴퓨터 프로그램, 컴퓨터 언어, 파일 등이다.

예를 들어 도 4에서는 지원자 단말기 10-1로부터 평가용 콘텐츠 C1을 입력받고, 지원자 단말기 10-2로부터 평가용 콘텐츠 C2를 입력받고, 지원자 단말기 10-3으로부터 평가용 콘텐츠 C3을 입력받는다.

상기 검증용 콘텐츠는 상기 평가용 콘텐츠와 동질의 유사한 콘텐츠이다.

상기 검증용 콘텐츠는 후술하는 단계에서 지원자가 유효한 평가정보를 입력했는지 여부를 판단하기 위해서 사용된다.

상기 검증용 콘텐츠는 관리자 기기로부터 입력받는다. 상기 관리자 기기는 상기 정보처리장치의 입력부일 수 있다. 상기 입력부는 키보드, 마우스, 터치스크린 등 입력장치일 수 있다. 상기 입력부는 컴퓨터 판독가능 기록매체에 저장된 정보를 전달받는 하드웨어나 소프트웨어일 수도 있다. 상기 관리자 기기는 관리자 단말기(20)일 수 있다. 상기 관리자 단말기(20)는 상기 정보처리장치와 통신망 등으로 연결된 단말기이다.

도 5의 일 실시예를 참조하면, 관리자 단말기로부터 검증용 콘텐츠 C4를 입력받는다.

바람직하게는 상기 검증용 콘텐츠를 입력받을 때 상기 검증용 콘텐츠에 대한 사전평가정보를 같이 입력받을 수 있다. 상기 사전평가정보는 상기 검증용 콘텐츠에 대하여 관리자 등으로부터 미리 평가정보를 입력받은 것으로, 후술하는 단계에서 지원자로부터 입력받는 검증용 콘텐츠에 대한 평가정보의 유효성을 판단하는데 사용된다. 물론 상기 사전평가정보는 다음 단계에서 따로 입력되어질 수도 있다.

상기 검증용 콘텐츠는 상기 입력받은 하나 이상의 평가용 콘텐츠 중 일부를 활용할 수도 있고, 상기 평가용 콘텐츠와 비슷하게 별도로 작성된 콘텐츠일 수도 있다. 상기 평가용 콘텐츠 중 일부를 검증용 콘텐츠로 활용하는 경우에는 제 1단계 내에서, 평가용 콘텐츠를 입력받는 제 1a단계와,

추출된 평가용 콘텐츠를 다시 검증용 콘텐츠로 입력받는 제 1b단계로 더 세분하여 볼 수도 있다.

후술하는 단계에서 지원자가 콘텐츠에 대한 평가정보를 입력할 때, 지원자는 해당 콘텐츠가 평가용 콘텐츠인지 검증용 콘텐츠인지 구분할 수 없다.

제 2단계(1200)는 정보처리장치가 기설정된 조합방식으로, 상기 하나 이상의 지원자 단말기로부터

입력받은 하나 이상의 평가용 콘텐츠 중에서 추출된 적어도 하나 이상의 평가용 콘텐츠와, 상기 관리자 기기로부터 입력받은 하나 이상의 검증용 콘텐츠 중에서 추출된 적어도 하나 이상의 검증용 콘텐츠를 조합한 그룹을 하나 이상 만드는 단계다.

상기 그룹은 후술하는 단계에서 지원자 단말기로 전송된다.

상기 제 2단계를 간단히 설명하면, 정보처리장치가 기설정된 조합방식으로, 하나 이상의 평가용 콘텐츠와 하나 이상의 검증용 콘텐츠로 구성된 그룹을 하나 이상 만드는 단계라고 할 수 있다.

결국 상기 그룹에는 상기 하나 이상의 지원자 단말기로부터 입력받은 하나 이상의 평가용 콘텐츠 중에서 추출된 적어도 하나 이상의 평가용 콘텐츠와, 상기 관리자 기기로부터 입력받은 하나 이상의 검증용 콘텐츠 중에서 추출된 적어도 하나 이상의 검증용 콘텐츠가 들어 있다.

기설정된 조합방식은 상기 추출 및 조합에 관한 설정으로 예를 들면 다음과 같다. 평가용 콘텐츠들을 모아놓은 풀(POOL)에서 평가용 콘텐츠가 임의로 추출될 수 있다. 또는 상기 그룹을 전송받을 지원자의 개인정보 또는 평가용 콘텐츠를 입력했던 지원자의 개인정보를 고려하여 평가용 콘텐츠가 추출될 수도 있다. 가령, 여자 지원자로부터 입력받은 평가용 콘텐츠는 여자 지원자로 전송될 그룹에 추출되도록 설정될 수 있다. 다만, 상기 그룹을 전송받을 지원자 단말기로부터 입력받았던 평가용 콘텐츠는 상기 그룹에서 배제하는 게 바람직하다. 상기 그룹에 속하게 될 평가용 콘텐츠는 둘 이상인 것이 바람직하다. 상기 그룹에 속하는 검증용 콘텐츠는 상기 제 1단계에서 입력받은 하나 이상의 검증용 콘텐츠 중에서 추출될 수 있다. 예를 들어, 검증용 콘텐츠들을 모아놓은 풀(POOL)에서 임의로 추출될 수 있다. 또는 상기 그룹을 전송받을 지원자의 개인정보 등을 고려하여 추출될 수 있다.

도 6은 상기 그룹의 일 실시예다. 지원자 10-1의 단말기에 전송될 그룹에는 지원자 10-1이 입력한 평가용 콘텐츠 C1을 제외한 평가용 콘텐츠 C2, C3 및 검증용 콘텐츠 C4가 조합된다. 지원자 10-2의 단말기에 전송될 그룹에는 지원자 10-2가 입력한 평가용 콘텐츠 C2를 제외한 평가용 콘텐츠 C1, C3 및 검증용 콘텐츠 C4가 조합된다. 지원자 10-3의 단말기에 전송될 그룹에는 지원자 10-3이 입력한 평가용 콘텐츠 C3을 제외한 평가용 콘텐츠 C1, C2 및 검증용 콘텐츠 C4가 조합된다.

제 3단계(1300)는 정보처리장치가 상기 그룹을 지원자 단말기로 전송하는 단계이다.

상기 그룹에는 평가용 콘텐츠와 검증용 콘텐츠가 각각 적어도 하나 이상 있다는 것은 상술한 바 있다.

상기 지원자 입장에서는 상기 그룹에 속한 평가용 콘텐츠와 검증용 콘텐츠를 구분하기 어렵다는 것도 상술한 바 있다.

지원자 단말기마다 전송받는 그룹이 서로 다른 것이 바람직하다. 물론 둘 이상의 지원자 단말기들이 같은 그룹을 전송받을 수도 있다. 그룹마다 일부 콘텐츠가 중복될 수도 있다.

도 7은 상기 그룹이 지원자 단말기에서 디스플레이 된 일 실시예이다. 평가정보의 입력을 요청할 수 있다.

제 4단계(1400)는 상기 정보처리장치가 상기 지원자 단말기로부터 상기 그룹에 속한 평가용 콘텐츠 및 검증용 콘텐츠에 대한 평가정보를 입력받는 단계다.

평가정보는 상기 평가용 콘텐츠 또는 검증용 콘텐츠에 대한 평가이다. 예를 들어, 우수한지 아닌지에 대한 평가일 수 있다. 더 세분화하여 A급, B급, C급 등과 같이 평가할 수도 있다. 점수를 주도록 할 수도 있다. 콘텐츠 간에 서열을 매기도록 할 수도 있다. 기타 이와 균등한 수준에서 다양한 방식들도 모두 본 발명에 포함된다.

도 8은 상기 평가용 콘텐츠 및 검증용 콘텐츠에 대하여 지원자 단말기로부터 입력받은 평가정보의 일 실시예이다. 지원자 10-1은 C2에 대해서는 3점, C3에 대해서는 2점, C4에 대해서는 1점을 평가정보로 입력하였다. 지원자 10-2는 C1에 대해서는 2점, C3에 대해서는 1점, C4에 대해서는 1점을 평가정보로 입력하였다. 지원자 10-3은 C1에 대해서는 3점, C2에 대해서는 3점, C4에 대해서도 3점을 평가정보로 입력하였다.

제 5단계(1500)는 정보처리장치가, 상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는지를 판단하는 단계다.

상기 유효성 기준은 설정하기에 따라서 다양할 수 있다. 예를 들어, 상기 유효성 기준은 상기 검증용 콘텐츠에 대한 사전평가정보와 상기 검증용 콘텐츠에 대한 평가정보가 부합하면, 상기 평가정보가 유효하다고 판단되도록 설정될 수 있다.

예를 들어, 검증용 콘텐츠에 대한 사전평가정보가 ‘우수’이고, 상기 검증용 콘텐츠에 대한 평가정보 역시 ‘우수’인 경우, 상기 검증용 콘텐츠에 대한 평가정보가 유효하게 판단되도록 상기 유효성 기준이 설정될 수 있다.

상기 검증용 콘텐츠에 대한 사전평가정보는 상기 정보처리장치에 저장되어 있다. 상기 검증용 콘텐츠에 대한 사전평가정보는 상기 관리자 기기로부터 입력받을 수 있다. 상기 검증용 콘텐츠에 대한 사전평가정보는 본 단계 또는 본 단계 이전에 상기 관리자 기기로부터 입력되어질 수 있다. 상기 관리자 기기는 상기 정보처리장치의 입력부, 관리자 단말기 등일 수 있다는 것은 상술한 바 있다.

도 9는 검증용 콘텐츠에 대한 평가정보와 검증용 콘텐츠에 대한 사전평가정보가 부합하는지 여부를 통해서 유효성을 판단하는 유효성 기준의 일 실시예이다. 일 실시예에서 검증용 콘텐츠 C4에 대한 사전평가정보는 1점이다. 10-1은 검증용 콘텐츠 C4에 대해서 1점을 평가정보로 입력하였으므로 유효하게 판단된다. 10-2는 검증용 콘텐츠 C4에 대해서 1점을 평가정보로 입력하였으므로 유효하게 판단된다. 10-3은 검증용 콘텐츠 C4에 대해서 3점을 평가정보로 입력하였으므로 유효하지 않게 판단된다.

상기 유효하다는 말은 유효성 기준을 만족한다는 의미이다. 유효하지 않다는 말은 유효성 기준을 만족하지 않는다는 의미이다.

다른 예를 들면, 검증용 콘텐츠가 80점 이상이라고 사전평가정보가 입력된 경우, 지원자 단말기로부터 상기 검증용 콘텐츠에 대한 평가점수로 85점을 입력받으면, 상기 평가정보가 유효하다고 판단되도록 상기 유효성 기준이 설정될 수 있다.

상기 그룹에 속한 검증용 콘텐츠가 둘 이상이면, 둘 이상의 검증용 콘텐츠에 대한 평가정보마다 기설정된 유효성 기준이 만족되는지 판단할 수 있다. 예를 들어, 상기 그룹에 검증용 콘텐츠 A와 검증용 콘텐츠 B가 있고, 지원자에게 콘텐츠에 대한 점수나 등급 등을 매기라고 요구한 경우에, 검증용 콘텐츠 A에 대한 평가정보와 사전평가정보가 일치하는지 판단하고, 검증용 콘텐츠 B에 대한 평가정보와 사전평가정보가 일치하는지 판단한다.

다른 예를 들면, 상기 그룹에 속한 검증용 콘텐츠가 둘 이상이고, 지원자에게 콘텐츠 간 서열을 매기라고 요구한 경우에, 검증용 콘텐츠들 간의 서열에 관한 사전평가정보와 평가정보가 일치하면, 상기 평가정보가 유효하게 판단되도록 상기 유효성 기준이 설정될 수 있다. 가령 검증용 콘텐츠 A는 검증용 콘텐츠 B보다 우수하다는 사전평가정보가 있는 경우, 지원자로부터도 A가 B보다 우수하다고 평가정보를 입력받으면, 상기 평가정보가 유효하다고 판단할 수 있다.

제 6단계(1600)는, 상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는 경우, 정보처리장치가 상기 검증용 콘텐츠와 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보도 유효한 평가정보로 판단하고, 상기 유효한 평가정보 및 상기 유효한 평가정보를 입력한 지원자에 관하여 기록하는 단계이다.

상기 유효한 평가정보를 입력한 지원자는 결국 상기 제 5단계에서 검증용 콘텐츠에 대하여 유효한 평가정보를 입력한 지원자이다.

상기 기록은 평가용 콘텐츠에 대한 유효한 평가정보에 관하여 데이터베이스를 작성하거나 상기 유효한 평가정보를 입력한 지원자에 관하여 데이터베이스를 작성하는 것일 수 있다.

물론 유효하지 않은 평가정보나 상기 유효하지 않은 평가정보를 입력한 지원자에 관한 기록을 반드시 배제해야 한다는 취지는 아니다.

도 10은 평가용 콘텐츠에 대한 유효한 평가정보 및 상기 평가정보를 입력한 지원자에 관한 기록의 일 실시예이다.

동일한 평가용 콘텐츠에 대해서 둘 이상의 유효한 평가정보가 있을 경우, 대표값을 사용할 수 있다. 대표값은 평균값, 최빈값, 중앙값 등이 있다. 도 10는 대표값의 일 실시예를 보여준다. 평가용 콘텐츠 C3은 1점과 2점을 유효한 평가정보로 갖고 있고, 이를 대표하는 대표값으로 평균값인 1.5점을 사용할 수 있다.

상기 대표값은 유효한 평가정보가 하나인 경우 그 값을 대표값으로 할 수도 있다. 도 10에서 C1은 유효한 평가정보가 2점 하나이므로 대표값도 2점으로 할 수 있다. C2도 유효한 평가정보가 3점 하나이므로 대표값을 3점으로 할 수 있다.

상기 평가정보가 숫자가 아니라 문자 등인 경우에는 적절히 숫자로 환산할 수도 있다. 가령 우수는 3점, 보통은 2점, 부족은 1점으로 환산하여 계산할 수도 있다.

그룹에 속한 검증용 콘텐츠가 둘 이상이고, 둘 이상의 검증용 콘텐츠에 대하여 각각 평가정보가 있는 경우가 있을 수 있다. 그 경우에 검증용 콘텐츠에 대한 모든 평가정보가 기설정된 유효성 기준을 만족해야만 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보도 유효하게 판단하는 것이 바람직하다. 물론 검증용 콘텐츠에 대한 둘 이상의 평가정보 중 일부만이라도 기설정된 유효성 기준을 만족하면 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보도 유효하게 판단하도록 설정될 수도 있다.

예를 들어, 검증용 콘텐츠 A에 대한 평가정보는 유효한데, 검증용 콘텐츠 B에 대한 평가정보는 유효하지 않게 입력되었다면, 상기 검증용 콘텐츠 A, B와 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보는 설정하기에 따라서 유효하게 판단될 수도 있고, 아닐 수도 있고, 또는 할인되어 반영될 수도 있다.

상기 제 5단계에서 검증용 콘텐츠에 대한 평가정보가 유효하지 않다고 판단된 경우에는 상기 검증용 콘텐츠와 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보도 유효하지 않도록 한다. 평가용 콘텐츠에 대한 평가정보가 유효하지 않은 경우에는 그 평가정보 자체를 무효로 하는 것이 바람직하다. 다만 경우에 따라서는 그 평가정보를 할인하여 반영할 수도 있다.

제 7단계(1700)는 상기 정보처리장치가, 지원자가 검증용 콘텐츠에 대한 평가정보를 기설정된 유효성 기준에 만족하도록 입력하였는지 여부와, 상기 지원자가 상기 제 1단계에서 입력했던 평가용 콘텐츠에 대한 평가정보 중 유효한 평가정보를 반영하여 기설정된 평가방식으로 상기 지원자에 관하여 평가를 하는 단계이다.

상기 평가는 하나 이상의 지원자에 관해서 순위를 매기는 것을 수 있다. 상기 평가는 지원자의 합격여부를 판단하는 것일 수 있다.

상기 기설정된 평가방식은 상술하였듯이 두 가지의 요소를 포함한다. 첫째는 지원자가 검증용 콘텐츠에 대한 평가정보를 상기 유효성 기준에 만족되게 수행하였는지 여부다. 즉 검증용 콘텐츠에 대하여 유효한 평가정보를 입력했는지 여부다. 둘째는, 지원자가 입력했던 평가용 콘텐츠에 대해서 다른 지원자들이 평가한 평가정보 중 유효한 평가정보다.

상기 기설정된 평가방식은 검증용 콘텐츠에 대하여 유효한 평가정보를 입력한 지원자를 우대한다. 상기 기설정된 평가방식은 평가용 콘텐츠에 대한 유효한 평가정보가 우수할수록 그 평가용 콘텐츠를 입력했던 지원자를 우대한다. 상기 우대의 의미는 유리하게 평가한다는 것이거나 적어도 손해 보지는 않게 한다는 의미다.

도 11은 지원자가 검증용 콘텐츠에 대하여 유효한 평가정보를 입력했는지 여부와 지원자의 평가용 콘텐츠에 대한 유효한 평가정보를 반영한 기록의 일 실시예이다. 지원자 10-1은 검증용 콘텐츠에 대한 평가정보를 유효하게 입력하였고, 지원자 10-1의 평가용 콘텐츠에 대한 유효한 평가정보의 대표값은 2점이다. 지원자 10-2는 검증용 콘텐츠에 대한 평가정보를 유효하게 입력하였고, 지원자 10-2의 평가용 콘텐츠에 대한 유효한 평가정보의 대표값은 3점이다. 지원자 10-3은 검증용 콘텐츠에 대한 평가정보를 유효하지 않게 입력하였고, 지원자 10-1의 평가용 콘텐츠에 대한 유효한 평가정보의 대표값은 1.5점이다.

기설정된 평가방식의 예를 들면, 평가정보를 유효하게 입력하지 않은 지원자는 불합격 처리하고, 평가정보를 유효하게 입력한 지원자 중에서 지원자의 평가용 콘텐츠에 대한 하나 이상의 유효한 평가정보를 대표하는 대표값 등을 반영하여 지원자 간에 순위를 매기는 것일 수 있다. 물론 일정한 순위 이하나 일정한 점수 이하는 불합격으로 처리할 수도 있다.

도 12는 기설정된 평가방식의 일 실시예이다. 검증용 콘텐츠에 대한 평가정보를 유효하게 입력하지 않은 지원자 10-3은 불합격을 준다. 검증용 콘텐츠에 대한 평가정보를 유효하게 입력한 지원자 10-1, 10-2 중에서 평가용 콘텐츠에 대한 유효한 평가의 대표값이 3점인 10-2를 1등으로 한다.

기설정된 평가방식의 다른 예를 들면, 평가정보를 유효하게 입력하지 않은 지원자에게는 일정한 감점을 주고, 지원자의 평가용 콘텐츠에 대한 하나 이상의 유효한 평가정보를 대표하는 상기 대표값 등에 상기 감점을 반영하여 지원자의 순위를 매기는 것일 수 있다. 일정한 순위 이하나 일정한 점수 이하는 불합격으로 처리할 수도 있다.

기설정된 평가방식의 다른 예를 들면, 지원자의 평가용 콘텐츠에 대한 하나 이상의 유효한 평가정보를 대표하는 상기 대표값 등에 따라 상기 평가용 콘텐츠를 입력한 지원자 간에 순위를 매겨서 일정한 순위 이하는 불합격으로 처리하고, 일단 합격인 지원자 중에서 상기 평가정보를 유효하게 입력한 지원자를 우대하는 것일 수 있다.

기설정된 평가방식의 다른 예를 들면, 지원자의 평가용 콘텐츠에 대한 하나 이상의 유효한 평가정보를 대표하는 상기 대표값 등이 일정한 기준 이하인 경우 불합격으로 처리하고, 일단 합격인 지원자 중에서 상기 평가정보를 유효하게 입력한 지원자를 우대하는 것일 수 있다.

그 외에 이와 균등한 수준에서 다양한 평가방식은 모두 본 발명의 범위에 속하는 것이다.

만약 어느 지원자의 평가용 콘텐츠가 검증용 콘텐츠로 활용되었다면, 그 검증용 콘텐츠에 대한 사전평가정보를 상기 지원자의 평가용 콘텐츠에 대한 유효한 평가정보로 간주할 수도 있다.

본 발명의 방법에서 상기 정보처리장치(100)는 하나 이상일 수 있다. 즉 상기 각 단계마다 정보처리장치는 서로 다를 수 있다. 물론 둘 이상의 단계 내지 모든 단계에서 정보처리장치가 동일할 수도 있다. 이는 당해 발명이 속한 기술분야에서 통상의 지식을 가진 사람에게 자명한 것으로 여기서는 구체적인 설명을 생략하였다.

제 2장

다음으로 본 발명의 바람직한 일 실시예에 따른 시스템을 설명하겠다.

도 1의 예시에 도시된 바와 같이 상기 시스템은 하나 이상의 지원자 단말기(10), 하나 이상의 정보처리장치(100)를 포함한다.

상기 시스템은 관리자 단말기(20)를 더 포함할 수 있다.

상기 정보처리장치는 서버, 웹서버, 미들웨어, 컴퓨터 등이다.

도 13에 도시된 바와 같이, 상기 정보처리장치(100)는 통신부(110), 제어부(120), 저장부(130)를 포함한다.

통신부(110)는 통신망(10000)을 통해서 하나 이상의 단말기, 다른 기계 등과 정보를 주고받을 수 있다. 상기 통신망(10000)은 전화망, 인터넷망, 방송망, 각종 네트워크 등이다.

저장부(130)는 본 발명을 실시하는데 필요한 각종 정보를 저장하고 관리할 수 있다. 상기 저장부는 데이터베이스(140)를 포함한다. 데이터베이스의 예를 들면 다음과 같다. 평가용 콘텐츠 데이터베이스, 검증용 콘텐츠 데이터베이스, 지원자 데이터베이스, 유효한 평가정보를 입력한 지원자 데이터베이스, 평가용 콘텐츠에 대한 평가정보 데이터베이스, 평가용 콘텐츠에 대한 유효한 평가정보 데이터베이스, 검증용 콘텐츠에 대한 평가정보 데이터베이스, 검증용 콘텐츠에 대한 사전평가정보 데이터베이스, 지원자 순위 데이터베이스, 지원자 중 합격자 데이터베이스, 지원자 중 불합격자 데이터베이스 등이다. 다양한 데이터베이스를 연계하기 위하여 관계형 데이터베이스 모델이 사용될 수도 있다.

상기 저장부는 조합방식, 유효성 기준, 평가방식 등 본 발명을 실행하는데 필요한 각종 설정들을 저장할 수 있다. 그 외 본 발명에 필요한 모든 내용을 저장할 수 있다.

제어부(120)는 상기 통신부, 저장부 등 다른 구성부를 제어하고, 본 발명의 각종 연산 작업을 수행한다. 예를 들면 상기 제어부(120)는 상기 통신부(110)가 상기 지원자 단말기로부터 입력받은 평가용 콘텐츠나 평가정보를 상기 저장부(130)에 기록하도록 제어할 수 있다.

상기 제어부(120)는 기설정된 조합방식에 따라서 상기 저장부(130)에 저장된 하나 이상의 평가용 콘텐츠 중에서 적어도 하나 이상의 평가용 콘텐츠를 추출하고, 상기 저장부에 저장된 하나 이상의 상기 검증용 콘텐츠 중에서 적어도 하나 이상의 검증용 콘텐츠를 추출할 수 있다. 그리고 상기 추출된 평가용 콘텐츠와 추출된 검증용 콘텐츠를 조합하여 지원자 단말기에 전송할 그룹을 하나 이상 만드는 연산을 수행할 수 있다.

상기 제어부(120)는 상기 그룹을 상기 통신부(110)를 통해 하나 이상의 지원자 단말기(10)로 전송하도록 할 수 있다.

상기 제어부(120)는 지원자 단말기로부터 입력받은 검증용 콘텐츠에 대한 평가정보와 상기 저장부(130)에 저장된 검증용 콘텐츠에 대한 사전평가정보가 기설정된 유효성 기준을 만족하는지 판단하는 연산을 수행할 수도 있다.

상기 제어부(120)는 검증용 콘텐츠에 대한 평가정보가 유효한 경우에, 상기 검증용 콘텐츠와 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보도 유효하게 판단한다.

상기 제어부는 상기 평가용 콘텐츠에 대한 유효한 평가정보에 관하여 상기 저장부(130)에 데이터베이스를 생성할 수 있다.

상기 제어부는 상기 평가용 콘텐츠에 대한 유효한 평가정보를 입력한 지원자에 관하여 상기 저장부(130)에 데이터베이스를 생성할 수 있다.

상기 제어부(120)는 상기 지원자가 검증용 콘텐츠에 대하여 유효한 평가정보를 입력했는지 여부와 상기 지원자의 평가용 콘텐츠에 대한 유효한 평가정보를 반영하여 기설정된 평가방식으로 지원자를 평가하는 연산을 수행할 수도 있다.

상기 제어부(120)는 그 외에 본 발명을 수행하는데 필요한 모든 연산을 수행할 수 있다.

상기 정보처리장치(100)는 입력부를 더 포함할 수 있다. 상기 입력부는 상기 정보처리장치로 정보를 직접 입력되게 할 수 있는 하드웨어나 소프트웨어이다. 예를 들면 키보드, 마우스, 터치스크린, 기록매체, 기록매체 판독부 등이다. 상기 입력부를 통해서 상기 저장부에 정보를 저장하거나 상기 제어부에 명령을 입력할 수 있다.

본 발명을 이상과 같이 하나의 정보처리장치(100) 내에 상기 통신부(110), 제어부(120), 저장부(130)가 포함되어 있는 일례를 통해서 설명하였으나, 상기 통신부(110), 제어부(120), 저장부(130) 등의 구성부가 여러 개의 정보처리장치에 분산되어 구현되어 있을 수도 있고, 어느 하나의 상기 구성부가 여러 개의 정보처리장치에 나누어져 구현되어 있을 수도 있다. 그리고 하나의 구성부로 설명된 것도 분산되어 실시될 수 있고, 복수의 구성부들도 하나로 결합되어 실시될 수 있다. 이는 당해 발명이 속한 기술분야에서 통상의 지식을 가진 사람에게 자명한 것으로 여기서는 구체적인 설명을 생략하였다.

도 1에 도시된 바와 같이 상기 정보처리장치(100)는 하나 이상의 지원자 단말기(10)와 연결될 수 있다. 상기 정보처리장치는 관리자 단말기(20)와도 더 연결될 수 있다.

관리자 기기는 상기 관리자 단말기, 상기 입력부를 포괄하는 의미로 사용된다.

상기 연결은 통신망(10000)을 통한 연결을 포함한다. 상기 통신망은 전화망, 데이터망, 이동통신망, 방송망, 각종 네트워크 등이 있다. 상기 연결은 전자기기 간에 일반적인 유무선 연결일 수 있다. 예를 들어, 각종 선을 통한 연결, 병렬포트를 통한 연결, 직렬포트를 통한 연결, 무선 랜을 통한 연결, 블루투스를 통한 연결, NFC를 통한 연결 등이다.

상기 지원자 단말기 또는 관리자 단말기(이하 단말기)는 입력 또는 출력의 기능을 수행할 수 있고, 통신망(10000) 등에 연결될 수 있다. 상기 단말기는 상기 통신망 등을 통해서 상기 정보처리장치와 정보를 주고받을 수 있다. 상기 단말기는 연산기능도 더 수행할 수 있다. 상기 단말기는 저장기능도 더 수행할 수 있다. 상기 단말기의 예를 들면 스마트폰, 휴대폰, 데스크톱 컴퓨터, 노트북 컴퓨터, 넷북형 컴퓨터, 전자책, 전자사전, 패드형 컴퓨터, 일체형 컴퓨터, 웨어러블 컴퓨터, 그 외에 다양한 컴퓨터, 사물인터넷, 전자제품 등이 있다.

상기 단말기에는 웹브라우저나 어플리케이션이 설치될 수 있다. 웹브라우저는 상기 정보처리장치로부터 html, javascript 등의 언어를 전송받아 디스플레이 한다. 어플리케이션은 단말기에 설치된 것으로 디스플레이, 통신, 연산, 저장 등 단말기 기능을 제어할 수도 있다.

상기 지원자 단말기(10)는 지원자가 사용하는 단말기다. 반드시 지원자의 소유이거나 지원자로부터 실질적으로 지배받을 필요는 없고, 단지 지원자가 사용할 수 있으면 충분하다. 일 실시예에서는 지원자 계정으로 로그인된 단말기일 수 있다. 로그인이 되기만 하면 지원자 단말기가 되므로 한 지원자의 단말기는 복수일 수 있다. 이때 로그인하기 위해서, 즉 단말기를 누가 사용하는지 식별하기 위해서 식별정보를 입력받을 수도 있다. 식별정보는 계정 아이디, 비밀번호, 외부의 시스템에 접근할 수 있는지 여부, 전자인증서, 단말기 고유의 기계정보, 아이피 주소, 전화번호 등이다. 물론 경우에 따라서는 지원자 단말기를 단말기에 고정하여 볼 수 있다. 그때는 식별정보로 MAC 넘버 등 단말기 고유의 기계정보를 사용할 수 있다.

상기 관리자 단말기(10)는 관리자가 사용하는 단말기다. 반드시 관리자의 소유이거나 관리자로부터 실질적으로 지배받을 필요는 없고, 단지 관리자가 사용할 수 있으면 충분하다. 일 실시예에서는 관리자 계정으로 로그인된 단말기일 수 있다. 로그인이 되기만 하면 관리자 단말기가 되므로 한 관리자의 단말기는 복수일 수 있다. 이때 로그인하기 위해서, 즉 단말기를 누가 사용하는지 식별하기 위해서 식별정보를 입력받을 수도 있다. 식별정보는 계정 아이디, 비밀번호, 외부의 시스템에 접근할 수 있는지 여부, 전자인증서, 단말기 고유의 기계정보, 아이피 주소, 전화번호 등이다. 물론 경우에 따라서는 관리자 단말기를 단말기에 고정하여 볼 수 있다. 그때는 식별정보로 MAC 넘버 등 단말기 고유의 기계정보나 아이피주소를 사용할 수 있다.

상기 정보처리장치가 상기 단말기로부터 정보를 입력받을 때는 단말기의 인터페이스를 통해 상기 단말기로 입력된 정보를 입력받을 수 있다. 예를 들어 단말기의 키보드를 통해 입력된 정보를 상기 정보처리장치가 통신망을 통해 입력받을 수 있다. 또는 단말기에 저장된 정보를 바로 입력받을 수도 있다. 예를 들어, 상기 단말기에 저장된 각종 데이터, IP 주소, 기계 고유번호, 전화번호, 쿠키정보, GPS 정보, 기지국정보 등을 상기 정보처리장치로 바로 입력되게 할 수 있다.

본 발명은 하드웨어와 결합되어 상기 본 발명의 방법을 실시하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수도 있다.

본 발명은 하드웨어와 결합되어 상기 본 발명의 방법 중 하나 이상의 단계를 별도로 실시하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수도 있다. 예를 들어, 본 발명의 방법 중 제 2단계를 별도로 실시하는 컴퓨터 프로그램이다. 다른 단계도 마찬가지다.

상기 컴퓨터 프로그램은 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 파일 등일 수 있다.

상기 컴퓨터 프로그램은 소프트웨어, 어플리케이션, 운영체제(OS), 미들웨어 등일 수도 있다.

상기 하드웨어는 상기 정보처리장치를 포함한다.

또한 본 발명은 하드웨어와 결합되어 상술한 본 발명의 방법을 실행시키는 상기 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 기록매체로 구현될 수 있다.

상기 컴퓨터 판독가능 기록매체는 저장매체를 포함한다. 상기 저장매체는 휘발성 및 비휘발성 매체일 수 있다. 휘발성은 전기 공급이 중단되면 기록이 지워지는 것이고 비휘발성은 그렇지 않은 것이다. 상기 저장매체는 분리형 및 비분리형 매체일 수 있다. 분리형은 컴퓨터에 내장된 매체이고, 비분리형은 컴퓨터 외부에서 연결되어질 수 있는 매체이다. 상기 저장매체의 예를 들면 하드 디스크, SDD, 플로피 디스켓, 램, 롬, CD, DVD, 블루레이, 캐시메모리, 레지스터, USB 등이 있다.

상기 컴퓨터 판독가능 기록매체는 통신매체를 포함한다. 상기 통신매체는 통신망, 네트워크 등을 활용하여 컴퓨터 판독가능 정보를 저장 또는 전송하는 매체이다. 상기 통신매체의 예로는 웹서버, 클라우드, 컴퓨터 판독가능 정보가 전송되고 있는 중인 유무형의 통신망 등일 수도 있다. 상기 통신매체는 컴퓨터 판독가능 정보를 네트워크로 연결된 하나 이상의 컴퓨터에 분산시켜 보유할 수도 있다.

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였지만, 본 발명의 권리 범위는 상기 기술한 실시예에 한정되지 않는다. 본 발명의 기본 개념을 이용하여 당해 발명이 속한 기술분야에서 통상적인 지식을 가진 자에 의한 균등한 범위 내의 여러 변형 형태도 본 발명의 권리범위에 속하는 것이다.

10 지원자 단말기
10-1 지원자 단말기
10-2 지원자 단말기
10-3 지원자 단말기
20 관리자 단말기
100 정보처리장치
110 통신부
120 저장부
130 제어부
140 데이터베이스
1100 제 1단계
1200 제 2단계
1300 제 3단계
1400 제 4단계
1500 제 5단계
1600 제 6단계
1700 제 7단계
10000 통신망
C1 공급자 단말기 10-1로부터 입력받은 평가용 콘텐츠
C2 공급자 단말기 10-2로부터 입력받은 평가용 콘텐츠
C3 공급자 단말기 10-3으로부터 입력받은 평가용 콘텐츠
C4 관리자 단말기 20으로부터 입력받은 검증용 콘텐츠

Claims (6)

1. 하나 이상의 정보처리장치와 하나 이상의 단말기를 포함하는 시스템에서 실시되는 방법에 있어서
   
   정보처리장치가 하나 이상의 지원자 단말기로부터 평가용 콘텐츠를 입력받고
   관리자 기기로부터 하나 이상의 검증용 콘텐츠를 입력받는 제 1단계;
   
   정보처리장치가 기설정된 조합방식으로, 상기 하나 이상의 지원자 단말기로부터 입력받은 하나 이상의 평가용 콘텐츠 중에서 추출된 적어도 하나 이상의 평가용 콘텐츠와, 상기 관리자 기기로부터 입력받은 하나 이상의 검증용 콘텐츠 중에서 추출된 적어도 하나 이상의 검증용 콘텐츠를 조합한 그룹을 하나 이상 만드는 제 2단계;
   
   정보처리장치가 상기 그룹을 지원자 단말기로 전송하는 제 3단계;
   
   정보처리장치가 상기 지원자 단말기로부터 상기 그룹에 속한 평가용 콘텐츠 및 검증용 콘텐츠에 대한 평가정보를 입력받는 제 4단계;
   
   정보처리장치가, 상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는지 판단하는 제 5단계;
   
   상기 검증용 콘텐츠에 대한 평가정보가 기설정된 유효성 기준을 만족하는 경우, 정보처리장치가 상기 검증용 콘텐츠와 같은 그룹에 속한 평가용 콘텐츠에 대한 평가정보를 유효한 평가정보로 판단하고, 상기 유효한 평가정보 및 상기 유효한 평가정보를 입력한 지원자에 관하여 기록하는 제 6단계;
   
   정보처리장치가, 검증용 콘텐츠에 대하여 지원자가 입력한 평가정보가 기설정된 유효성 기준에 만족하였는지 여부와, 상기 지원자가 상기 제 1단계에서 입력했던 평가용 콘텐츠에 대하여 입력받은 평가정보 중 유효한 평가정보를 반영하여 기설정된 평가방식으로 상기 지원자에 대하여 평가를 하는 제 7단계;
   
   를 포함하는 것을 특징으로 하고
   
   상기 기설정된 유효성 판단기준은 상기 검증용 콘텐츠에 대한 평가정보와 상기 검증용 콘텐츠에 대한 사전평가정보가 부합하는지 여부이고,
   
   상기 검증용 콘텐츠에 대한 사전평가정보는 상기 정보처리장치에 저장된 것을 특징으로 하는
   
   콘텐츠를 제출하는 다수의 지원자를 상호평가와 평가검증을 활용하여 평가하는 방법
2. 하드웨어와 결합되어 청구항 1항의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
   
3. 하드웨어와 결합되어 청구항 1항 중 제 2단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
   
4. 하드웨어와 결합되어 청구항 1항 중 제 5단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
   
5. 하드웨어와 결합되어 청구항 1항 중 제 6단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
   
6. 하드웨어와 결합되어 청구항 1항 중 제 7단계의 방법을 실행하기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램

Images