KR20050050627A

KR20050050627A - 통신망을 통한 능력평가 시스템 및 그 방법

Info

Publication number: KR20050050627A
Application number: KR1020050038492A
Authority: KR
Inventors: 강양경
Original assignee: 주식회사 이디스넷
Priority date: 2005-05-09
Filing date: 2005-05-09
Publication date: 2005-05-31
Also published as: KR100697658B1

Abstract

통신망을 통한 능력평가 시스템 및 그 방법이 개시된다. 문제은행저장부에는 난이도와 문제능력지수가 부여된 본문항 및 난이도와 문제능력지수가 부여되지 않은 프리테스트 문항이 저장된다. 문항선정부는 본문항과 동일한 범주에 속하는 프리테스트 문항 중에서 출제대상 프리테스트 문항을 선정한다. 시험진행부는 출제대상 프리테스트 문항이 출제대상 프리테스트 문항과 동일한 범주에 속하는 본문항과 인접하지 않도록 출제대상 프리테스트 문항의 출제시점을 결정한다. 난이도결정부는 출제대상 프리테스트 문항의 전후에 위치한 본문항들에 대한 피평가자의 개인능력지수의 평균값을 출제대상 프리테스트 문항의 임시능력지수로 설정하고, 출제대상 프리테스트 문항에 대한 응답을 입력한 피평가자들의 정답률을 기초로 피평가자들을 일정한 그룹으로 구분한 후 소정의 기준정답률에 가장 가까운 정답률에 해당하는 피평가자그룹의 출제대상 프리테스트 문항에 대한 정답률평균과 임시능력지수의 평균값을 기초로 출제대상 프리테스트 문항의 난이도를 결정한다. 본 발명에 따르면, 새롭게 추가되는 문항의 난이도를 보다 객관성있게 결정할 수 있으며, 실시간으로 체크되는 피평가자의 능력에 맞추어 종료기준에 합당할 때까지 출제문제의 난이도나 합격기준을 변경하면서 테스트를 진행할 수 있다.

Description

통신망을 통한 능력평가 시스템 및 그 방법{System for testing personal capability via communication network}

본 발명은 통신망을 통한 능력평가 시스템 및 그 방법에 관한 것으로, 보다 상세하게는, 시험주관자와 응시자가 시험시간, 장소, 인원, 횟수에 구애받지 않고 통신망을 통해 실시간으로 개인의 능력을 평가할 수 있는 시스템 및 그 방법에 관한 것이다.

현재 인터넷의 광범위한 보급과 함께 인터넷을 통한 다양한 교육서비스가 제공되고 있다. 이와 같은 온라인 교육서비스에 있어서 피교육자에게 적합한 학습레벨의 결정은 피교육자의 능력평가를 통해 이루어진다. 특히, 전문자격증 또는 면허취득을 희망하는 피교육자에 대한 능력평가는 피교육자의 자격취득기간을 단축시키기 위한 필수적인 사항이다. 이 때, 객관적이고 신뢰성있는 능력평가를 위해서는 다양한 난이도의 문제들로 구성된 문제은행의 구축, 테스트 목적에 적합한 문제의 선정, 적절한 합격기준의 수립, 테스트 결과의 체계적 관리 등이 선행되어야 하며, 이에 앞서 문제은행을 구성하는 각각의 문제들에 대한 난이도를 합리적으로 결정하는 것이 요구된다.

이러한 문항들의 난이도 결정방법과 관련하여 한국공개특허공보 제2004-65657호(발명의 명칭: 업데이트 알고리즘을 이용한 문항 모수 조정 및 측정 서비스 제공 시스템과 그 방법, 이하, "선행기술1"이라 함)에는 문제은행에 등록되어 있는 문항에 대한 수험자들의 정답률 및 점수치에 따른 문항별 노출빈도를 산출하고, 산출된 노출빈도를 기초로 문항 모수 조정이 필요한 문항을 선별하여 문항의 난이도를 조정하거나 변별력을 조정하여 문항 모수를 갱신하는 구성이 개시되어 있다. 그러나 선행기술1은 피평가자의 반응에 기초하여 이미 난이도가 결정되어 있는 문항들의 난이도를 조절하는 구성만을 개시하고 있을 뿐 문제은행에 새롭게 등록되는 문항들에 대한 난이도의 결정에 대해서는 전혀 개시 또는 시시하고 있지 않다.

또한, 한국공개특허공보 제2004-65656호(발명의 명칭: 프리테스트를 이용한 문항 특성 평가 서비스 제공시스템 및 그 방법, 이하, "선행기술2"라 함)에는 평가기관에서 실시하고자 하는 시험문제의 중간부 이후에 낭이도가 결정되어 있지 않은 프리테스트 문항을 배치하고, 프리테스트 문항에 대한 응시자별 정답률과 최종 능력치를 기초로 문항별 특성(난이도, 변별력, 추측도 등)을 결정하는 구성이 개시되어 있다. 그러나 선행기술2는 피평가가의 능력을 테스트하기 위한 본문항과 관련하여 프리테스트 문항의 배치방법과 프리테스트 문항의 선정방법과 관련하여 어떠한 구체적 구성도 제시하고 있지 않다. 또한, 선행기술2는 프리테스트 문항의 난이도를 결정함에 있어서 본문항에 대한 피평가자의 성적을 고려하지 않기 때문에 통계적인 정답입력가능성(즉, 피평가자가 프리테스트 문항의 정답을 모르는 상태에서 임의로 선택한 답안이 정답인 경우)을 배제할 수 없다는 문제가 있다.

한편, 문제은행으로부터 특정한 테스트를 구성하는 문제를 선택하는 방법과 관련하여 한국공개특허공보 제2001-70616호(발명의 명칭: 문항반응이론을 이용한 온라인 자격 및 인증시험 서비스 시스템 및 방법, 이하, "선행기술3"이라 함)에는 시험의 특성 또는 피평가자의 능력에 해당하는 난이도의 문항을 선택하고, 출제된 문항에 대한 피평가자의 응답의 정오여부에 따라 문항의 난이도를 조절하여 출제하고, 시험시간의 도과여부, 최대문항수의 출제여부, 출제된 문항을 기초로 산출된 피평가자의 실제능력 반영정보를 나타내는 능력추정오차의 허용범위의 초과여부에 따라 시험의 진행여부를 결정하며, 문제의 변별력, 난이도, 정답입력확률 및 수험자의 능력값을 기초로 결정된 문항특성함수에 의해 문항을 분류하여 등록하는 구성이 개시되어 있다. 그러나 선행기술3은 단순히 출제된 문항에 대한 피평가자의 정오여부에 따라 문항의 난이도를 조절하여 다음 문항을 결정하는 구성만을 개시하고 있어 개개인의 능력에 대한 평가결과만을 제공할 뿐, 특정인원을 선발할 필요가 있는 테스트에 적용하기 어려운 문제가 있다.

본 발명이 이루고자 하는 기술적 과제는, 문제은행에 새롭게 등록되는 문제들에 대한 통계적인 정답입력가능성을 배제하여 보다 정확하고 객관적인 문제의 난이도를 결정할 수 있고, 개개인의 능력에 대한 평가결과의 제공과 함께 특정인원을 선발할 필요가 있는 테스트에 적용할 수 있는 통신망을 통한 능력평가 시스템 및 그 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 문제은행에 새롭게 등록되는 문항들에 대한 통계적인 정답입력가능성을 배제하여 보다 정확하고 객관적인 문항의 난이도를 결정할 수 있고, 개개인의 능력에 대한 평가결과의 제공과 함께 특정인원을 선발할 필요가 있는 테스트에 적용할 수 있는 통신망을 통한 능력평가 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 통신망을 통한 능력평가 시스템은, 통신망을 통해 접속한 적어도 하나 이상의 피평가자 단말기와 데이터를 송수신하여 피평가자의 능력을 평가하는 시스템에 있어서, 난이도와 문제능력지수가 부여된 본문항 및 난이도와 문제능력지수가 부여되지 않은 프리테스트 문항이 저장되는 문제은행저장부; 상기 본문항과 동일한 범주에 속하는 프리테스트 문항 중에서 출제대상 프리테스트 문항을 선정하는 문항선정부; 상기 출제대상 프리테스트 문항이 상기 출제대상 프리테스트 문항과 동일한 범주에 속하는 본문항과 인접하지 않도록 상기 출제대상 프리테스트 문항의 출제시점을 결정하고, 상기 피평가자 단말기로부터 수신된 상기 출제된 본문항에 대한 피평가자가 입력한 응답의 정오여부를 판단하여 상기 피평가자의 개인능력지수를 산출하며, 소정의 시험종료기준의 충족여부에 따라 상기 테스트의 종료여부를 결정하는 시험진행부; 및 상기 출제대상 프리테스트 문항의 전후에 위치한 본문항들에 대한 피평가자의 개인능력지수의 평균값을 상기 출제대상 프리테스트 문항의 임시능력지수로 설정하고, 상기 출제대상 프리테스트 문항에 대한 응답을 입력한 피평가자들의 정답률을 기초로 상기 피평가자들을 소정의 간격으로 분할된 정답률구간에 속하는 피평가자그룹으로 구분한 후 소정의 기준정답률에 가장 가까운 정답률에 해당하는 피평가자그룹의 상기 출제대상 프리테스트 문항에 대한 정답률평균과 임시능력지수의 평균값을 기초로 상기 출제대상 프리테스트 문항의 난이도를 결정하는 난이도결정부;를 구비한다.

바람직하게는, 상기 문항출제부는 상기 출제대상 프리테스트 문항이 이전에 출제된 동일한 프리테스트 문항에 이어서 출제되지 않도록 상기 출제대상 프리테스트 문항의 출제시점을 결정한다.

바람직하게는, 상기 시험진행부는 상기 본문항에 대한 피평가자의 정답률평균을 반으로 나눈값에 상기 본문항에 부여된 난이도점수의 평균값을 합하여 상기 개인능력지수를 산출한다.

바람직하게는, 상기 난이도결정부는 상기 기준정답률에 가장 가까운 정답률에 해당하는 피평가자그룹의 상기 출제대상 프리테스트 문항에 대한 상기 임시능력지수의 평균값에서 상기 정답률평균값을 반으로 나눈값을 감하여 상기 출제대상 프리테스트 문항의 난이도점수를 산출하고, 상기 산출된 난이도점수에 따라 상기 출제대상 프리테스트 문항의 난이도를 결정한다.

바람직하게는, 상기 문항선정부는 테스트종류, 문항의 난이도 그룹, 합격기준선 및 프리테스트문항출제여부를 포함하는 문항선정기준에 의해 상기 문제은행저장부에 저장되어 있는 본문항 중에서 테스트를 구성하는 본문항을 선정하고, 프리테스트문항의 출제가 설정된 경우에 상기 문제은행저장부에 저장되어 있는 프리테스트문항 중에서 상기 테스트를 구성하는 프리테스트 문항을 선정한다.

바람직하게는, 본 발명에 따른 통신망을 통한 능력평가 시스템은 각각의 피평가자의 신상정보, 테스트별·문항별 정답여부, 개인능력지수 및 테스트별 합격여부를 포함하는 개인평가정보와 각각의 문항별 피평가자 전체의 평균정답률과 문제능력지수를 포함하는 문제평가정보가 저장되는 평가정보저장부; 및 상기 피평가자의 테스트결과를 기초로 각각의 테스트에 대한 피평가자의 문항별 정답여부와 개인능력지수, 합격여부, 범주별 정답률, 및 범주별 학습방안을 포함하는 피평가자에 대한 개인능력평가표를 생성하는 테스트결과생성부;를 더 구비한다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 통신망을 통한 능력평가 방법은, 통신망을 통해 접속한 적어도 하나 이상의 피평가자 단말기와 데이터를 송수신하여 피평가자의 능력을 평가하는 방법에 있어서, (a) 난이도와 문제능력지수가 부여된 본문항 및 난이도와 문제능력지수가 부여되지 않은 프리테스트 문항이 저장되는 문제은행저장부로부터 상기 본문항과 동일한 범주에 속하는 프리테스트 문항 중에서 출제대상 프리테스트 문항을 선정하는 단계; (b) 상기 출제대상 프리테스트 문항이 상기 출제대상 프리테스트 문항의 선정 이후에 출제되는 본문항들 중에서 상기 출제대상 프리테스트 문항과 상이한 범주에 속하는 본문항에 이어서 출제되도록 상기 출제대상 프리테스트 문항의 출제시점을 결정하고, 상기 피평가자 단말기로부터 수신된 상기 출제된 본문항에 대한 피평가자가 입력한 응답의 정오여부를 판단하여 상기 피평가자의 개인능력지수를 산출하며, 소정의 시험종료기준의 충족여부에 따라 상기 테스트의 종료여부를 결정하는 단계; 및 (c) 상기 출제대상 프리테스트 문항의 전후에 위치한 본문항들에 대한 피평가자의 개인능력지수의 평균값을 상기 출제대상 프리테스트 문항의 임시능력지수로 설정하고, 상기 출제대상 프리테스트 문항에 대한 응답을 입력한 피평가자들의 정답률을 기초로 상기 피평가자들을 소정의 간격으로 분할된 정답률구간에 속하는 피평가자그룹으로 구분한 후 소정의 기준정답률에 가장 가까운 정답률에 해당하는 피평가자그룹의 상기 출제대상 프리테스트 문항에 대한 정답률평균과 임시능력지수의 평균값을 기초로 상기 출제대상 프리테스트 문항의 난이도를 결정하는 단계;를 갖는다.

바람직하게는, 상기 (a)단계에서 상기 출제대상 프리테스트 문항이 이전에 출제된 상이한 프리테스트문항에 이어서 출제되도록 상기 출제대상 프리테스트 문항의 출제시점을 결정한다.

바람직하게는, 상기 (b)단계에서 상기 본문항에 대한 피평가자의 정답률평균을 반으로 나눈값에 상기 본문항에 부여된 난이도점수의 평균값을 합하여 상기 개인능력지수를 산출한다.

바람직하게는, 상기 (c)단계는, (c1) 상기 기준정답률에 가장 가까운 정답률에 해당하는 피평가자그룹의 상기 출제대상 프리테스트 문항에 대한 상기 임시능력지수의 평균값에서 상기 정답률평균값을 반으로 나눈값을 감하여 상기 출제대상 프리테스트 문항의 난이도점수를 산출하는 단계; 및 (c2) 상기 산출된 난이도점수에 따라 상기 출제대상 프리테스트 문항의 난이도를 결정하는 단계;를 갖는다.

바람직하게는, 상기 (a)단계는, (a1) 테스트종류, 문항의 난이도 그룹, 합격기준선 및 프리테스트문항출제여부를 포함하는 문항선정기준에 의해 상기 문제은행저장부에 저장되어 있는 본문항 중에서 테스트를 구성하는 본문항을 선정하는 단계; 및 (a2) 상기 프리테스트문항의 출제가 설정된 경우에 상기 문제은행저장부에 저장되어 있는 프리테스트문항 중에서 상기 테스트를 구성하는 프리테스트 문항을 선정하는 단계;를 갖는다.

바람직하게는, 본 발명에 따른 통신망을 통한 능력평가 방법은, (d) 상기 각각의 피평가자의 테스트별·문항별 정답여부, 개인능력지수 및 테스트별 합격여부를 포함하는 개인평가정보와 각각의 문항별 피평가자 전체의 평균정답률과 문제능력지수를 포함하는 문제평가정보를 생성하는 단계; 및 (e) 상기 피평가자의 테스트결과를 기초로 각각의 테스트에 대한 피평가자의 문항별 정답여부와 개인능력지수, 합격여부, 범주별 정답률, 및 범주별 학습방안을 포함하는 피평가자에 대한 개인능력평가표를 생성하는 단계;를 더 갖는다.

이에 의해, 새롭게 추가되는 문항의 난이도를 보다 객관성있게 결정할 수 있으며, 실시간으로 체크되는 피평가자의 능력에 맞추어 종료기준에 합당할 때까지 출제문제의 난이도나 합격기준을 변경하면서 테스트를 진행할 수 있다.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 통신망을 통한 능력평가 시스템 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.

도 1은 본 발명에 따른 통신망을 통한 능력평가 시스템이 포함된 네트워크의 구성을 도시한 도면이다.

도 1을 참조하면, 전체 네트워크는 능력평가 시스템(100), 통신망(110), 적어도 하나 이상의 피평가자 단말기(120) 및 적어도 하나 이상의 관리자 단말기(130)로 구성된다.

능력평가 시스템(100)은 통신망을 통해 연결된 피평가자 단말기(120)로 테스트 문항을 전송하고, 피평가자 단말기(120)로부터 입력받은 응답을 기초로 피평가자의 능력지수를 산출한다. 또한, 능력평가 시스템(100)은 피평가자의 응답을 기초로 새롭게 등록되는 문항인 프리테스트 문항의 난이도를 결정하며, 피평가자의 테스트 결과를 생성하여 제공한다.

통신망(110)은 피평가자 단말기(120) 및 관리자 단말기(130)가 능력평가 시스템(100)과 정보를 송수신하는 경로를 제공한다. 통신망(110)은 유무선 인터넷, 공중전화망(Public Switched Telephone Network: PSTN), 패킷교환망((Public Switched Data Network: PSDN) 등과 같이 유선 또는 무선을 통해 장치간의 데이터 전송을 중계하는 네트워크이다.

피평가자 단말기(120) 및 관리자 단말기(130)는 정보처리기능을 구비한 장치로서, 개인용 PC, 휴대전화, PDA, 대형 컴퓨터에 접속된 단말장치 등을 예로 들 수 있다. 피평가자 및 관리자는 각각 피평가자 단말기(120) 및 관리자 단말기(130)를 이용하여 본 발명에 따른 능력평가 시스템(100)에 접속한 후 정보를 전송하거나 정보를 수신한다.

도 2는 본 발명에 따른 통신망을 통한 능력평가 시스템(100)의 상세한 구성을 도시한 블록도이다.

도 2를 참조하면, 본 발명에 따른 통신망을 통한 능력평가 시스템(100)은 문제은행저장부(210), 문항선정부(220), 시험진행부(230), 결과관리부(240), 평가정보저장부(250) 및 망접속부(260)를 구비한다.

문제은행저장부(210)에는 난이도 및 문제능력지수가 부여된 본문항과 난이도가 부여되지 않은 프리테스트 문항이 저장된다. 본문항에 부여되는 난이도는 전문가 집단의 감수를 통해 결정되며, 난이도 측정이 이루어지지 않은 신규 문항, 1차 난이도 평가에서 제외되어 난이도가 부여되지 않은 문항 등과 같은 프리테스트 문항들은 후술하는 프리테스트 문항에 대한 난이도 결정방법에 의해 난이도가 결정된다. 한편, 전문가 집단의 감수를 통해 난이도가 평가된 문항의 신뢰도를 높이기 위해서 프리테스트 문항에 대한 난이도 결정방법이 추가적으로 적용될 수 있다. 이 때, 문제은행저장부(210)에 저장되는 각각의 문항에는 테스트의 유형이나 테스트 컨텐츠의 성격에 따른 범주가 설정된다.

한편, 각각의 문항에 부여되는 난이도는 테스트의 유형이나 범주에 따라 또는 테스트 컨텐츠의 고유하게 설정될 수 있는 난이도 단계 수에 의거하여 선정되며 난이도별로 난이도점수와 그에 따른 능력지수 구간이 부여된다. 예를 들어, 난이도는 고난이도로부터 저난이도의 순서대로 다음과 같이 9단계로 설정될 수 있다.

상-A 상-B 상-C 중-A 중-B 중-C 하-A 하-B 하-C

고난이도 ---------------------------------> 저난이도

개별적인 테스트의 수행시 난이도 단계별로 해당 그룹에 속하는 피평가자가 50% 정도의 정답률을 보이는 문항들 중에서 테스트의 목적에 적합한 수의 문항이 선택된다. 출제자는 시험의 성격에 따라 난이도 그룹을 정하여 출제할 수 있다. 이 때, 출제자의 의도나 시험의 성격에 따라 과목별 범위를 세분하여 정해진 분류항목의 수를 기초로 각각의 범주별로 출제될 문항이 선택된다. 또한, 각각의 범주마다 최소 및 최대 출제비율을 설정하여 범위구간에 대한 신뢰도를 높이고 범주별 비율이 상호작용하여 100%의 출제 비율이 될 수 있도록 한다. 표 1에는 범주별 배분율이 기재되어 있다.

범주	배분율(%)
1	13~19
2	8~14
3	6~12
4	6~12
5	6~12
6	13~19
7	13~19
8	11~17

또한, 표 2에는 각각의 난이도 단계에 대응하는 난이도점수, 난이도점수구간, 능력지수구간이 기재되어 있다.

난이도	난이도점수	난이도점수 구간	능력지수 구간
A-상	50	45~50	89~100
A-중	44	40~44	77.9~88.9
A-하	39	34~39	66.8~77.8
B-상	33	29~33	55.7~66.7
B-중	28	23~28	44.5~55.6
B-하	22	18~22	33.4~44.4
C-상	17	12~17	22.3~33.3
C-중	11	7~11	11.1~22.2
C-하	6	0~5	1.0~11.0

한편, 각각의 문항들에 부여된 문제능력지수는 각각의 개인에 대해 산출된 개인능력지수의 평균값이다. 문제은행저장부(210)에 저장되어 있는 문항들은 난이도 등급과 문제능력지수를 가지고 있어서 이에 의해 피평가자의 개인능력지수의 형가가 가능하다. 개인능력지수는 수험자의 정답률 평균과 난이도점수평균을 기초로 다음의 수학식에 의해 산출된다.

여기서, 정답률 평균 = (정답수/푼 문항수)이고, 난이도 점수 평균 = (난이도 점수합계/푼 문항수)이다. 한편, 일반적인 경우의 모집단은 피평가자수로 설정되나 개인능력지수의 산출과 관련하여 모집단은 평가횟수로 설정된다. 즉, 일반적인 평가방법에서의 모집단이 '피평가자 5000명'이라면, 본 발명에 따른 능력평가 시스템에 의해 산출되는 개인능력지수의 산출에 있어서의 모집단은 '평가횟수(또는 평가기회) 5000번'으로 설정된다. 또한, 모평균 역시 전체 피평가자들의 평가점수의 평균이 아닌 피평가자 개인별 복수번의 평가를 통해 획득한 점수들의 평균을 의미한다. 즉, 일반적인 평가방법에서의 모집단이 '피평가자 5000명의 능력지수 평균'인 반면, 본 발명에 따른 능력평가 시스템에서는 '평가횟수(또는 평가기회) 5000번'의 현재 개인능력지수'를 의미한다. 또한, 표본의 경우 전체 피평가자들 평가 점수들 중에서 추출하는 방식이 아닌 피평가자 개인별 평가를 통해 획득한 점수들 중에서 추출한다. 즉, 일반적인 평가방법에서의 모집단이 '피평가자 5000명 중 50명의 능력지수'라면, 본 발명에 따른 능력평가 시스템에서는 '평가기회 5000번 중 50번의 현재 개인능력지수'를 의미한다.

문항선정부(220)는 문제은행저장부(210)로부터 특정한 테스트를 구성하는 문항을 선정한다. 문항선정부(220)는 본문항선정부(222)와 프리테스트문항선정부(224)로 구성된다.

본문항선정부(222)는 운영자 단말기(120)로부터 입력받은 테스트종류, 문항의 난이도 그룹, 합격기준선, 프리테스트문항출제여부 등을 포함하는 문항선정기준에 의해 특정한 테스트를 구성하는 본문항을 선정한다. 본문항의 수는 테스트의 성격에 따라 사전에 설정되거나 운영자에 의해 각각의 테스트별로 설정된다. 이 때, 본문항은 시험결과의 통계 신뢰도를 얻기 위해 최소 60문제 이상으로 구성되는 것이 바람직하다. 본문항선정부(222)는 테스트의 수행전에 문제은행저장부(210)로부터 운영자로부터 입력받은 문항선정기준에 의해 전체 문항을 선정한다.

한편, 프리테스트문항이 출제되는 경우 또는 동적문항선정방법이 선택된 경우에 본문항선정부(222)는 일정개수(예를 들면, 전체 60개의 출제문항 중에서 30개)의 기본문항을 선정하고, 나머지 개수의 부가문항을 동적으로 선정하도록 구성할 수 있다. 이 때, 부가문항은 기본문항에 대한 피평가자의 정오여부, 기본문항의 풀이결과에 의해 산출된 피평가자의 개인능력지수, 각각의 문항에 대한 피평가자의 정답여부에 의해 각각의 문항별로 실시간으로 측정된 피평가자의 개인능력지수 등에 의해 동적으로 선정된다. 또한, 부가문항은 기본문항의 풀이결과에 기초해 결정되는 피평가자의 테스트 통과여부에 따라 출제여부가 결정될 수 있다.

이 경우, 기본문항에 대한 피평가자의 풀이결과가 테스트의 합격기준에 미달하면 본문항선정부(222)는 합격기준에 대응하는 난이도를 중심으로 상하로 5% 내의 난이도의 문항을 일정한 개수단위(예를 들면, 10개씩)에 의해 추가적으로 선정한다. 문항의 선정이 동적으로 수행되는 경우에 본문항선정부(222)는 기준 난이도의 문항부터 시작하여 정답여부에 따라 난이도와 유형이 다른 문항을 선정한다. 이와 달리, 본문항선정부(222)는 정해진 합격기준선(예를 들면, 60%의 정답률)에 해당하는 문항들에 대해 설정된 문제능력지수 구간 안에서 최초의 문제를 선정하고, 이후 피평가자의 응답결과(즉, 정답 여부)에 따라 다음 문항을 선정할 수도 있다.

프리테스트문항선정부(224)는 운영자로부터 프리테스트문항의 출제를 지시받거나 난이도가 부여되지 않은 문항이 존재하는 경우에 특정한 테스트를 통해 출제될 프리테스트문항을 선정한다. 프리테스트는 문제은행에 등록될 대상 문항이 높은 신뢰도를 가지고 있는 문제인지 검증하여 객관적인 방법으로 난이도를 결정하여 등록함으로써 변별력이 높은 시험이 될 수 있도록 하기 위해 수행된다. 프리테스트 결과의 신뢰성을 높이기 위해 이미 높은 신뢰도를 가지고 있는 기존문항의 신뢰도, 피평가자의 능력지수, 피평가자 전체의 정답률, 그룹별 난이도 분류 등이 자료로서 이용된다. 프리테스트문항선정부(224)는 난이도를 결정하고자 하는 프리테스트 대상 문항 중에서 이미 신뢰도가 검증된 본문항과 동일한 범주에 속하는 프리테스트 문항을 출제대상 프리테스트문항으로 선정한다. 이를 위해 각각의 프리테스트 문항을 문제은행저장부(210)에 등록할 때 프리테스트 문항이 속하는 범주와 동일한 범주에 해당하는 본문항을 일대일로 대응시킨다. 프리테스트 문항의 수는 본문항의 수의 0~25%로 정해진다.

시험진행부(230)는 운영자 단말기(130)로부터 운영자가 입력한 테스트시작명령을 수신하거나 통신망을 통해 접속된 사용자 단말기(120)를 통해 사용자로부터 테스트시작명령을 수신하면 사용자 단말기(120)로 각각의 테스트를 구성하는 문항들을 전송하고, 피평가자로부터 입력받은 응답의 정오여부를 판단한다. 또한, 시험진행부(230)는 피평가자로부터 입력받은 응답의 정오여부 및 출제된 문항의 난이도를 기초로 실시간으로 피평가자의 개인능력지수를 산출하며, 산출된 피평가자의 개인능력지수 또는 응답의 정오여부를 문항선정부(220)에 제공한다. 문항선정부(220)는 시험진행부(230)로부터 제공받은 피평가자의 개인능력지수 또는 응답의 정오여부를 기초로 문항을 선정한다. 이를 위해 시험진행부(230)는 문항출제부(232) 및 평가부(234)를 구비한다.

문항출제부(232)는 시험과목별 범주에 따라 출제될 문제의 배분률을 정하고 선정범주가 연속되지 않도록 랜덤하게 출제한다. 문항출제부(232)는 범주별로 분포된 문제배분률에 따라 본문항을 출제한다. 또한, 프리테스트 문항이 출제되는 경우에 문항출제부(232)는 본문항과 동일한 범주 또는 직전에 출제된 프리테스트 문항과 동일한 범주에 해당하는 프리테스트 문항이 연속되지 않도록 출제한다.

평가부(234)는 실시간으로 각각의 출제문항에 대해 피평가자로부터 입력받은 응답의 정오여부를 판단하고, 응답의 정오여부에 따라 수학식 1에 의해 피평가자의 개인능력지수를 산출한다. 또한, 평가부(234)는 일정한 개수의 본문항(예를 들면, 60개)에 대한 피평가자의 정답률의 운영자가 시험의 성격에 따라 설정한 합격기준선(예를 들면, 65%의 정답률, 60%의 정답률을 기준으로 상하 5%이내 등)에의 도달여부를 기초로 피평가자의 합격여부를 결정한다. 이 때, 평가부(234)는 일정한 시험종료조건에 도달하면 시험을 종료한다. 시험종료조건은 제한시간이 만료되는 경우, 특정한 테스트에 대해 설정된 최대 출제문항이 모두 소진되는 경우, 피평가자의 정답률이 합격기준선으로부터 15% 상위이거나 15% 하위임이 일정개수 이상 연속되는 경우 등이다. 이 중에서 피평가자의 정답추이에 따라 시험종료여부가 결정되는 경우에 평가부(234)는 피평가자의 정답여부에 따라 피평가자의 개인능력지수를 실시간으로 산출하며, 산출된 개인능력지수를 기준으로 피평가자의 평가결과에 대한 신뢰구간을 산출한다. 산출된 신뢰구간이 합격기준선에 걸쳐 있는 동안에는 시험문제가 계속 출제되며, 신뢰구간은 통계상의 신뢰도를 위해 95%로 설정되는 것이 바람직하다.

이 때, 평가부(234)는 산출한 상위 신뢰선과 하위 신뢰선의 위치에 따라 피평가자의 합격여부를 판정한다. 따라서 평가부(234)는 피평가자에 대해 산출된 하위 신뢰선이 합격기준선 위로 올라서면 합격으로 판정하며, 상위 신뢰선이 합격기준선 아래로 내려서면 불합격으로 판정한다. 이상의 두 경우에 해당 되지 않을 경우에는 제한 시간이나 제한 문제 수에 도달할 때까지 문항이 출제되어 피평가자에 대한 능력검증이 계속하여 진행된다. 한편, 피평가자의 합격여부의 결정에 있어서 특정 범주의 문항에 대한 정답률이 현저히 낮은 경우에는 학습의 적정도가 부족한 경우에 해당된다. 따라서, 피평가자의 능력지수선이 합격기준선보다 높은 경우에도 특정한 범주에 속하는 문항에 대한 정답률이 일정한 값(예를 들면, 50%)보다 낮으면 불합격으로 판정하도록 설정될 수 있다. 나아가, 입사시험과 같이 시험을 통해 특정수의 인원을 선발할 필요가 있는 경우에는 피평가자 전체의 정답률 현황과 능력지수에 따라 정해진 수의 합격자를 선발할 수 있도록 문항의 출제 난이도와 합격기준선이 합격자의 수에 기초하여 테스트중간에 변경될 수 있다.

평가정보저장부(240)에는 각각의 피평가자의 신상정보(성명, 주민등록번호, 주소, 연락처 등), 테스트별·문항별 정답여부, 개인능력지수 및 테스트별 합격여부를 포함하는 개인평가정보와 각각의 문항별 피평가자 전체의 평균정답률과 문제능력지수를 포함하는 문제평가정보가 저장된다.

결과관리부(250)는 테스트결과를 기초로 피평가자에 대한 개인능력분석표를 작성하여 평가정보저장부(240)에 저장하고, 프리테스트문항의 난이도를 결정한다. 이와 같이 작성된 개인능력분석표는 피평가자, 학습 지도자 및 시스템 운영자에게 제공되어 활용된다. 이를 위해 결과관리부(250)는 난이도결정부(252)와 테스트결과생성부(254)를 구비한다.

난이도결정부(254)는 프리테스트 문항에 대한 피평가자들의 정답률과 프리테스트 문항과 동일한 범주에 속하는 본문항의 난이도를 기초로 프리테스트 문항의 난이도를 결정한다. 이를 위해 난이도결정부(254)는 프리테스트의 신뢰도 검증과정과 난이도부여과정을 수행한다. 프리테스트의 신뢰도에 대한 검증은 출제된 프리테스트 문항에 대해 가정된 능력지수평균과 출제된 프리테스트 문항과 동일한 범주의 본문항의 능력지수평균의 차이에 대한 분산분석(T-test)을 통해 프리테스트 문항에 대해 도출된 결과가 신뢰할 수 값인지를 통계학적인 처리를 통해 수행된다. 만약, 신뢰도 95%로 상정된 본문항과 동일 범주에 속하는 프리테스트 문항을 선정하여 출제하였다면, 테스트의 종료여부와 관계없이 전체 피평가자 또는 사전에 설정된 인원수에 해당하는 피평가자로부터 출제된 프리테스트 문항에 대한 응답을 입력받으면 난이도결정부(254)는 프리테스트 문항에 대한 신뢰도 검증절차를 수행한다. 이 때, 난이도결정부(254)는 정해진 수의 본문항에 대한 피평가자의 능력지수평균을 산출하고 프리테스트 문항의 전후에 위치하는 본문항의 능력지수를 평균하여 프리테스트 문항에 대한 임시능력지수으로 설정한다.

분산분석을 통해 프리테스트 문항의 신뢰도가 검증된 경우에 난이도결정부(254)는 전제 피평가자의 시험이 종료된 후에 피평가자의 능력지수를 기초로 피평가자를 난이도별로 그룹으로 분류한다. 다음으로, 난이도결정부(254)는 분류된 난이도그룹별로 피평가자 각각의 시험결과로부터 도출된 프리테스트 문항에 대한 정답률이 50%에 가장 가까운 난이도그룹을 선정한다. 이 때, 50%에 가까운 그룹이 복수개인 경우 피평가자수가 가장 많이 속한 그룹을 선정한다. 이어서, 난이도결정부(254)는 선정된 난이도그룹에 속하는 피평가자에 대한 임시능력지수를 평균하여 능력지수평균을 산출한다. 마지막으로, 난이도결정부(254)는 프리테스트 문항에 대해 산출된 능력지수평균과 정답률을 기초로 다음의 수학식에 의해 해당 프리테스트 문항의 난이도를 결정한다.

이하에서 상술한 바와 같은 방법에 의해 난이도결정부(254)의 프리테스트 문항에 대한 난이도결정과정을 구체적으로 설명한다.

피평가자가 100명, 본문항수가 60개, 그리고, 프리테스트 문항수가 24개일 때,　프리테스트의 신뢰도를 구하고 난이도를 부여해야하는 경우에 피평가자별로 60개의 본문항 중 30번 본문항 이후에 15문항의 프리테스트 문항을 출제한다. 이 때, 문항이 속하는 범주는 8개이고, 문항의 난이도는 9단계로 설정되며, 범주별 프리테스트 문항수는 3개로 설정한다. 표 1 내지 표 3에는 난이도별 점수, 문항 범주별 프리 테스트용 문항(8범주×3 = 24개), 그리고, 피평가자 100명에 대한 식별기호가 기재되어 있다.

먼저, 난이도결정부(254)는 프리테스트 문항에 대한 피평가자들의 정답률 및 프리테스트문항의 난이도를 결정한다.

표 3을 참조하면, 난이도 점수는 0~50까지 부여되며, 난이도 점수구간을 기준으로 난이도는 9개의 단계로 구분된다. 또한, 각각의 난이도 단계별로 문항에 대한 능력지수구간이 설정된다.

범주	프리 테스트용 문항
1	1C-p1
	1C-p2
	1C-p3
2	2C-p1
	2C-p2
	2C-p3
3	3C-p1
	3C-p2
	3C-p3
~	~
8	8C-p1
	8C-p2
	8C-p3

표 4를 참조하면, 각각의 범주에는 3개의 프리테스트 문항이 할당되며, 일예로, 제1범주(즉, 1C)에는 3개의 프리테스트 문항(p1, p2, p3)가 할당된다.

피평가자

S1

S2

.~

S100

표 5를 참조하면, 피평가자는 총 100명이며, 각각의 피평가자는 S1, S2 등으로 구분된다. 표 6에는 피평가자 S1에 대해 주어진 프리테스트 문항이 포함된 테스트의 출제문항구성이 기재되어 있다. 표 6을 참조하면, 31번 본문항의 범주가 제5범주(즉, 5C)이므로, 다음에 출제되는 프리테스트 문항은 제5범주에 속하는 3개의 문항 중에서 임의의 문항(즉, p3)이 선정된다. 한편, 상술한 문항선정기준에 의하면 동일한 범주의 문항은 연속되어 출제되지 못하므로, 첫번째 프리테스트 문항(p3)은 33번 본문항 이후에 위치하여야 하며, 구체적인 위치는 문항출제부(232)에 의해 정해진다. 문항출제부(232)는 첫번째 프리테스트 문항을 33번 본문항 이후에 랜덤하게 배치하거나 32번 이후의 본문항 중에서 최초로 출제되는 프리테스트 문항이 속하는 범주와 상이한 범주의 본문항 다음에 배치한다. 표 6의 기재에 의하면, 첫번째 프리테스트 문항의 위치는 랜덤하게 선택되어 본문항 34번과 35번 사이에 배치되도록 결정된다. 다음으로, 난이도결정부(2540는 프리테스트 문항의 전후에 위치한 본문항에 대해 산출된 개인능력지수의 평균값을 프리테스트 문항의 개인능력지수로 설정한다. 따라서, 첫번째 프리테스트 문항(P3)에 대한 개인능력지수는 33번 문항의 풀이에 따라 산출된 피평가자의 개인능력지수인 68.3과 35번 문항의 풀이에 따라 산출된 피평가자의 개인능력지수인 61의 평균인 64.7로 주어진다.

문항	정오	개인능력지수	난이도	범주	랜덤 순서	프리테스트 문항
~	~	~	~	~	~	~
31	o	78.0	B-중	5C	34~35 사이	5C_p3
32	x	61.0	A-중	3C	33~34 사이	3C_p1
33	o	68.3	B-상	1C	38~39 사이	1C_p2
P1(3C_p1)	o	64.7(위아래 평균)		3C
34	x	61.0	A-하	7C	42~43 사이	7C_p1
P2(5C_p3)	x	63.2(위아래 평균)		5C
35	o	65.4	B-상	6C	37~38 사이	6C_p3
36	x	60.0	B-상	4C
37	o	63.3	B-상	8C	51~52 사이	8C_p2
P3(6C_p3)	x	61.4(위아래 평균)		6C
38	x	59.5	B-상	2C
P4(1C_p2)	o	58.2(위아래 평균)		1C
39	x	56.6	B-상	3C	66~67 사이	3C_p2
.	.	.	.		.	.
73	x	60.9	B-상	5C
P15(4C_p1)	x	61.3(위아래 평균)		4C
74	o	61.5	B-상	2C
75	x	60.9	B-상	1C

다음으로, 난이도결정부(254)는 프리테스트 문항별로 프리테스트 결과의 신뢰도를 검증한다. 표 7에는 본문항과 프리테스트 문항에 대한 피평가자의 정답률 및 능력지수가 기재되어 있다. 표 7을 참조하면, 프리테스트 문항 C3_p1의 피평가자를 70명이라 가정하면, 본문항에 대한 정답률 및 능력지수는 각각 70%와 67이다. 이 때, 프리테스트 문항 C3_p1에 대한 정답률 및 임시능력지수는 각각 65%와 65이다. 난이도결정부(254)는 본문항의 개인능력지수의 평균값과 프리테스트 문항의 임시능력지수의 평균값에 대한 분산분석(T-test)을 통해 프리테스트의 신뢰도를 검증한다. 난이도결정부(254)는 P-value > 0.05 이상이면 두 평균값이 통계학적으로 다르지 않다고 판단한다.

피평가자	본문항			프리테스트 문항
피평가자	난이도	정오	능력지수	난이도	정오	임시능력지수
S1	A-중	x	61.0		o	64.7
S3	B-하	x	62.5		x	66.4
S4	A-하	o	68.1		x	57.6
S6	C-상	x	54.9		o	49.8
.		.	.		.	.
S95	A-중	o	66.2		x	71.3
평균(70명)		70%	67.0		65%	65

표 8에는 프리테스트 문항 C3_p1에 대한 정답률을 기초로 분류된 피평가자가 속하는 그룹이 기재되어 있다. 표 8을 참조하면, 난이도결정부(254)는 가장 높은 정답률값인 100을 난이도 단계인 10으로 나누어 산출한 각각의 정답률 구간에 속하는 피평가자, 피평가자의 능력지수, 및 피평가자의 능력지수평균값을 파악한다. 다음으로, 난이도결정부(254)는 50%의 정답률에 가장 가까운 정답률에 해당하는 그룹의 능력지수평균을 프리테스트 문항의 능력지수로 결정한다. 표 8의 기재에 의하면, 50%의 정답률에 가장 가까운 정답률은 47%이므로, 47%의 정답률 구간에 속하는 피평가자의 능력지수평균값인 62.5가 프리테스트 문항 C3_p1의 능력지수로 결정된다.

난이도	능력지수 구간	난이도점수구간	피평가자 정보				정답률	능력지수 평균
난이도	능력지수 구간	난이도점수구간	총원	피평가자	정오	검증능력지수		능력지수 평균
A-상	89~100	45~50	1	S33	o	89.5	100%	89.5
A-중	77.9~88.9	40~44	4	S11S14S39S45	xxox	85.579.982.884.6	25%	83.2
A-하	66.8~77.8	34~39	10	S7~S45	x~o	69.3~58.2	64%	75.4
B-상	55.7~66.7	29~33	13	S9~S45	o~o	64.7~59.1	47%	62.5
B-중	44.5~55.6	23~28	15	S12~S45	x~o	49.3~52.4	58%	49.8
B-하	33.4~44.4	18~22	12	S13~S45	o~x	39.0~41.6	74%	42.1
C-상	22.3~33.3	12~17	9	S17~S45	o~o	26.3~32.9	41%	30.7
C-중	11.1~22.2	7~11	4	S15~S45	x~o	21.2~22.0	25%	21.0
C-하	1.0~11.0	0~5	2	S10S64	xx	10.19.7	0%	9.9
합계			70				65%	65

다음으로, 난이도결정부(154)는 수학식 2에 의해 프리테스트 문항의 난이도를 결정한다. 따라서, 프리테스트 문항 P3_c1의 능력지수는 62.5이고, 정답률은 47%이므로, 난이도점수는 29.0이 되며, 결과적으로, 프리테스트 문항 P3_c1의 난이도는 B-상으로 결정된다.

표 9는 피평가자의 테스트결과가 합격인 경우에 결과관리부(250)에 의해 생성된 개인능력지수 산출표의 일예이다.

문항	정오	개인능력지수	난이도	난이도점수 평균(50)	정답률 평균(50)
1	o	78.0	B-중	28	50
2	x	61.0	A-중	36	25
3	o	68.3	B-상	35	33
4	x	61.0	A-하	36	25
5	o	65.4	B-상	35	30
6	x	60.0	B-상	35	25
7	o	63.3	B-상	35	29
8	x	59.5	B-상	35	25
9	x	56.6	B-상	34	22
10	o	59.2	B-상	34	25
11	x	56.8	B-상	34	23
12	x	54.8	B-상	34	21
13	x	52.8	B-중	34	19
14	o	54.6	B-중	33	21
15	o	56.1	B-중	33	23
16	x	54.7	B-상	33	22
17	o	56.1	B-중	33	24
18	o	57.6	B-상	33	25
19	x	56.3	B-상	33	24
20	o	57.6	B-상	33	25
21	o	58.8	B-상	33	26
22	o	59.9	B-상	33	27
23	x	58.7	B-상	33	26
24	o	59.8	B-상	33	27
25	o	60.7	B-상	33	28
26	x	59.6	B-상	33	27
27	o	60.5	B-상	33	28
28	o	61.3	B-상	33	29
29	o	62.0	B-상	33	29
30	o	62.7	B-상	33	30
31	x	61.8	B-상	33	29
32	x	60.9	B-상	33	28
33	o	61.5	B-상	33	29
34	o	62.2	B-상	33	29
35	o	62.8	B-상	33	30
36	x	61.9	B-상	33	29
37	o	62.5	B-상	33	30
38	o	63.1	B-상	33	30
39	x	62.3	B-상	33	29
40	o	62.8	B-상	33	30
41	o	63.3	B-상	33	30
42	o	63.8	B-상	33	31
43	x	63.0	B-상	33	30
44	x	62.4	B-상	33	30
45	o	62.8	B-상	33	30
46	o	63.3	B-상	33	30
47	o	63.7	B-상	33	31
48	o	64.1	B-상	33	31
49	o	64.5	B-상	33	32
50	x	63.8	B-상	33	31
51	o	64.2	B-상	33	31
52	o	64.6	B-상	33	32
53	x	64.0	B-상	33	31
54	o	64.3	B-상	33	31
55	x	63.8	B-상	33	31
56	o	64.1	B-상	33	31
57	x	63.6	B-상	33	31
58	o	63.9	B-상	33	31
59	o	64.2	B-상	33	31
60	o	64.5	B-상	33	32

결과관리부(250)는 표 9의 개인능력지수 산출표의 데이터를 기초로 개인능력지수에 대한 95% 신뢰구간을 추정한다. 이 때, 모분산 σ²를 모를 때의 신뢰구간 산출공식은 다음과 같다.

여기서, n은 표본수, 는 표본의 평균, S는 표본의 분산, α는 유의수준, 그리고, t(α/2, n-1)는 t분포 백분위수를 의미한다.

결과관리부(250)에 의해 산출된 신뢰구간에 대한 추정결과는 표 10에 기재되어 있다.

문항	정오	t(a/2,n-1)	S2		신뢰구간너비	최대추정치	개인능력지수	최소추정치
1	o		0.000	1.000			78.0
2	x	12.706	72.250	1.414	649.1	710.1	61.0	-558.1
3	o	4.303	48.469	1.732	120.4	188.7	68.3	-52.1
4	x	3.182	48.687	2.000	77.5	138.5	61.0	-16.5
5	o	2.776	39.403	2.236	48.9	114.3	65.4	16.5
6	x	2.571	39.158	2.449	41.1	101.1	60.0	18.9
7	o	2.447	34.233	2.646	31.7	94.9	63.3	31.6
8	x	2.365	33.618	2.828	28.1	87.6	59.5	31.4
9	x	2.306	36.219	3.000	27.8	84.4	56.6	28.7
10	o	2.262	34.399	3.162	24.6	83.8	59.2	34.6
11	x	2.223	34.667	3.317	23.2	80.1	56.8	33.6
12	x	2.201	36.439	3.464	23.2	78.0	54.8	31.7
13	x	2.179	39.678	3.606	24.0	76.7	52.8	28.8
14	o	2.160	39.833	3.742	23.0	77.6	54.6	31.6
15	o	2.145	38.535	3.873	21.3	77.5	56.1	34.8
16	x	2.131	38.102	4.000	20.3	75.0	54.7	34.4
17	o	2.120	36.778	4.123	18.9	75.0	56.1	37.1
18	o	2.110	35.021	4.243	17.4	75.0	57.6	40.1
19	x	2.101	33.788	4.359	16.3	72.5	56.3	40.0
20	o	2.093	32.284	4.472	15.1	72.7	57.6	42.5
21	o	2.086	30.767	4.583	14.0	72.8	58.8	44.8
22	o	2.080	29.378	4.690	13.0	72.9	59.9	46.9
23	x	2.074	28.123	4.796	12.2	70.9	58.7	46.6
24	o	2.069	26.955	4.899	11.4	71.1	59.8	48.4
25	o	2.064	25.935	5.000	10.7	71.4	60.7	50.0
26	x	2.060	24.938	5.099	10.1	69.7	59.6	49.5
27	o	2.056	24.049	5.196	9.5	70.0	60.5	51.0
28	o	2.052	23.295	5.292	9.0	70.3	61.3	52.3
29	o	2.048	22.689	5.385	8.6	70.7	62.0	53.4
30	o	2.045	22.232	5.477	8.3	71.0	62.7	54.4
31	x	2.042	21.638	5.568	7.9	69.7	61.8	53.8
32	x	2.040	20.993	5.657	7.6	68.4	60.9	53.3
33	o	2.037	20.438	5.745	7.2	68.8	61.5	54.3
34	o	2.035	19.981	5.831	7.0	69.1	62.2	55.2
35	o	2.032	19.623	5.916	6.7	69.5	62.8	56.0
36	x	2.030	19.172	6.000	6.5	68.4	61.9	55.5
37	o	2.028	18.804	6.083	6.3	68.8	62.5	56.2
38	o	2.026	18.518	6.164	6.1	69.1	63.1	57.0
39	x	2.025	18.144	6.245	5.9	68.2	62.3	56.4
40	o	2.023	17.840	6.325	5.7	68.5	62.8	57.1
41	o	2.021	17.607	6.403	5.6	68.8	63.3	57.7
42	o	2.020	17.442	6.481	5.4	69.2	63.8	58.3
43	x	2.018	17.180	6.557	5.3	68.3	63.0	57.8
44	x	2.017	16.859	6.633	5.1	67.5	62.4	57.2
45	o	2.015	16.589	6.708	5.0	67.8	62.8	57.8
46	o	2.014	16.370	6.782	4.9	68.1	63.3	58.4
47	o	2.013	16.202	6.856	4.8	68.4	63.7	58.9
48	o	2.012	16.084	6.928	4.7	68.8	64.1	59.4
49	o	2.011	16.015	7.000	4.6	69.1	64.5	59.9
50	x	2.010	15.860	7.071	4.5	68.3	63.8	59.3
51	o	2.009	15.748	7.141	4.4	68.6	64.2	59.8
52	o	2.008	15.678	7.211	4.4	68.9	64.6	60.2
53	x	2.007	15.532	7.280	4.3	68.3	64.0	59.7
54	o	2.006	15.425	7.348	4.2	68.5	64.3	60.1
55	x	2.005	15.258	7.416	4.1	67.9	63.8	59.6
56	o	2.005	15.125	7.483	4.1	68.2	64.1	60.1
57	x	2.004	14.945	7.550	4.0	67.5	63.6	59.6
58	o	2.003	14.795	7.616	3.9	67.8	63.9	60.0
59	o	2.002	14.675	7.681	3.8	68.0	64.2	60.4
60	o	2.001	14.584	7.746	3.8	68.3	64.5	60.8

한편, 시험진행부(230)는 개인능력지수에 의해 시험의 종료여부를 결정하는 경우에, 합격기준선이 60점이라면 95% 신뢰 구간의 하한선이 합격선을 통과하는 순간 피평가자의 능력은 합격선 이상임이 검증된 경우이므로 시험을 종료하며, 95% 신뢰 구간의 상한선이 합격선 아래로 내려가는 순간 피평가자의 능력은 합격선 이하임이 검증된 경우이므로 시험을 종료한다. 도 3a 및 도 3b에는 각각 피평가자의 테스트결과가 합격인 경우와 불합격인 경우에 대한 개인능력지수표가 도시되어 있다.

테스트결과생성부(254)는 피평가자에 대한 개인능력평가표를 작성한다. 개인능력분석표에는 각각의 테스트에 대한 피평가자의 문항별 정답여부와 개인능력지수, 합격여부, 범주별 정답률 또는 학습정도(예를 들면, 범주별 학습도에 대한 상, 중, 하 평가결과), 범주별 학습안 등이 기록된다. 개인능력분석표는 피평가자, 학습 지도자, 시스템 운영자 각각에게 피평가자의 수준을 파악할 수 있는 자료로서 제공된다.

먼저, 시험에 통과하지 못한 경우 시험종료와 동시에 본 발명에 따른 능력평가 시스템이 각각의 문항당 적용된 문제능력지수 및 개인능력지수를 시험결과에 따라 분석하여 피평가자의 범주별 강점 및 약점을 파악하여 제공함으로써, 피평가자는 자신의 역량을 파악하고 정확한 데이터를 기반으로 다음 시험을 대비할 수 있다.

다음으로, 학습 지도자는 능력평가 시스템에 의해 실시간으로 평가된 피평가자의 평가결과를 기초로 피평가자에 대해 출제되는 문항의 난이도를 조절하고, 피평가자의 수준에 맞는 교육내용을 제공할 수 있다. 또한, 피평가자의 평가결과를 각종의 통계자료 형태로 피드백받음으로써 학습 지도자는 피평가자에게 다양한 교육방법을 적용할 수 있고 적절한 교육을 제공하기 위한 지침을 얻을 수 있다. 나아가, 시험문제의 출제 및 평가를 온라인상에서 제공함으로써, 시험지 제작과 성적관리 등과 관련된 업무의 생산성을 향상시킬 수 있다.

다음으로, 시험 관리자는 문제제작, 채점, 결과통보 과정의 자동화를 통하여 문제의 재활용도 및 소요되는 시간과 경비의 효율성을 높이고, 자료를 데이터베이스화하여 체계적으로 관리할 수 있다. 또한, 모든 학습자에 대한 과목별, 문제유형별, 난이도별, 능력지수별 자동 채점 및 결과 보고가 운영자별로 가능하며, 진위형, 다지선다형, 단답형, 서술형, 멀티미디어형 등의 다양한 문제 형태를 수용함으로써 효율적인 문제유형별 피드백 관리 및 평가운용이 가능하다. 나아가, 시험결과를 자격검증이 아니라 신입사원 채용, 대학입학시험 등이나 인사관리 등의 특정인원을 선발할 필요가 있는 시험에 응용할 경우, 시험의 결과에 따라 정해진 수의 인력을 선발하거나 그 인력의 능력에 따른 인력배치가 가능하다. 이 경우 관리자가 미리 입력된 인사정책에 따라 필요인력의 등급과 인원 수를 결정하면 능력평가 시스템은 시험이 시작된 후 실시간으로 피평가자의 합격여부와 전반적인 업무능력을 파악하며 정해진 합격기준에 필요인력의 수가 미치지 못할경우 출제하는 문제의 난이도와 합격기준을 피평가자의 수준에 맞추어 조정한다. 아울러, 능력평가 시스템은 시험의 종료와 동시에 합격자를 결정하거나 합격자의 능력분석에 의한 업무배치를 수행한다.

또한, 결과관리부(250)는 피평가자의 개인능력지수의 변화추이를 기초로 피평가자의 능력 경향 및 학습수준의 적정도를 한눈에 평가할 수 있는 피평가자의 능력패턴을 산출하여 제공한다. 피평가자의 능력패턴은 평가이후의 학습레벨의 결정, 피평가자의 능력에 기초한 업부배분을 위한 기초자료로 사용된다. 이를 위해 피평가자의 능력지수는 몇가지 패턴으로 구분되며, 패턴유형에 의해 피평가자의 능력경향 및 학습수준의 적정도가 파악될 수 있다. 피평가자의 개인능력지수에 대한 패턴유형에는 일점수렴형, 상향곡선형, 하향곡선형, 톱니형 등이 있다.

도 4a 및 도 4b는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 상위 일점수렴형 및 하위 일점수렴형의 패턴유형을 도시한 도면이다. 일점수렴형은 능력지수의 변동폭이 적어 신뢰구간이 가장 좁으므로 능력지수의 검증에 대한 신뢰성이 가장 높은 패턴유형이며, 수렴되는 점의 위치에 따라 능력의 수준을 가장 확실하게 판단할 수 있다. 도 4a에 도시된 그래프는 상위 일점수렴형 그래프로서 신뢰구간이 합격기준선 이상으로 수렴된다. 따라서 도 4a에 도시된 형태의 능력패턴을 갖는 피평가자에 대해서는 전반적인 범주의 교육수준이 매우 적절하고 합격이 확실한 것으로 판단할 수 있다. 한편, 도 4b에 도시된 그래프는 하위 일점수렴형 그래프로서 신뢰구간이 합격기준선 이하에서 수렴된다. 따라서 도 4b에 도시된 형태의 능력패턴을 갖는 피평가자에 대해서는 전반적인 범주의 교육수준이 고른편이나 교육수준의 상향을 위한 학습계획을 수립할 필요가 있는 것으로 판단할 수 있다.

도 5a 내지 도 5c는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 상향곡선형의 패턴유형을 증가폭별로 도시한 도면이다. 상향곡선형 패턴은 능력지수 곡선이 점진적으로 증가하여 신뢰구간이 좁아지는 형태를 취하며, 신뢰구간이 좁아질수록 능력지수의 검증에 대한 신뢰성이 높아지는 특성을 갖는다. 만약, 신뢰구간이 합격기준선 이상에 있을 경우 그 폭이 좁아질수록 전반적인 범주의 교육수준이 적절하고 합격할 확률이 높다고 판단되며, 신뢰구간이 합격기준선 이하에 있을 경우 전반적인 범주에서 긍정적으로 고른교육 수준이나 전체적인 상향을 위한 교육이 필요하다고 판단된다. 이 때, 평가결과에 대한 신뢰도는 상향곡선의 증가폭이 작을수록 높아진다.

도 6a 내지 도 6c는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 하향곡선형의 패턴유형을 증가폭별로 도시한 도면이다. 하향곡선형 패턴은 능력지수 곡선이 점진적으로 감소가하여 신뢰구간이 넓어지는 형태를 갖는다. 이러한 하향곡선형 태턴의 경우 능력지수의 검증에 대한 신뢰성이 낮다. 하향곡선형 패턴을 갖는 피평가자는 전반적인 범주에 걸친 교육수준이 부적절하여 합격가능성이 낮은 것으로 판단된다. 이 때, 평가결과에 대한 신뢰도는 하향곡선의 증가폭이 작을수록 높아진다.

도 7a 내지 도 7c는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 톱니형의 패턴유형을 증가폭별로 도시한 도면이다. 톱니형 패턴은 능력지수 곡선의 상하진동폭이 크므로 신뢰구간의 범위가 넓어져 교육수준이 매우 부적절하고 합격 가능성이 상당히 낮은 것으로 판단된다. 이 때, 평가결과에 대한 신뢰도는 진동폭이 작을수록 높아진다.

도 8은 본 발명에 따른 능력평가 방법의 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 8을 참조하면, 본 발명에 따른 능력평가 시스템(100)은 운영자 또는 피평가자로부터 시험종류 및 피평가자의 수준을 포함하는 문항선정기준을 입력받는다(S800). 다음으로, 문항선정부(220)는 입력받은 문항선정기준을 기초로 문제은행저장부(210)로부터 본문항을 선정하며, 프리테스트 문항의 출제가 설정되어 있는 경우에는 일정한 프리테스트 문항 선정기준에 의해 프리테스트 문항을 선정한다(S810). 이 때, 본문항은 일정한 개수의 기본문항과 부가문항으로 구성된다. 시험진행부(230)는 선정된 문항을 피평가자의 단말기(120)로 전송하며, 피평가자로부터 입력받은 응답의 정오여부를 기초로 피평가자의 개인능력지수를 산출한다(S820). 또한, 시험진행부(230)는 기본문항의 출제가 완료되면(S830), 최종적으로 출제된 기본문항의 범주 및 난이도를 기초로 문항선정부(220)에 의해 선정된 프리테스트 문항을 피평가자의 단말기(120)로 전송하고, 피평가자로부터 입력받은 응답의 정오여부를 파악한다(S840). 다음으로, 시험진행부(230)는 테스트의 종료조건이 충족되면 시험을 종료한다(S850). 시험이 종료되면 결과관리부(250)는 테스트결과로서 개인능력 패턴유형에 따른 피평가자에 대한 개인능력평가표를 작성하여 제공한다(S850). 마지막으로, 결과관리부(250)는 프리테스트 문항의 난이도를 결정한다(S860).

도 9는 본 발명에 따른 능력평가 시스템에서 프리테스트 문항의 난이도 결정방법의 수행과정을 도시한 흐름도이다.

도 9를 참조하면, 난이도결정부(252)는 프리테스트 문항의 전후에 위치한 본문항들에 대한 피평가자의 능력지수의 평균값을 프리테스트 문항의 임시능력지수로 설정한다(S900). 다음으로, 난이도결정부(252)는 본문항의 개인능력지수의 평균값과 프리테스트 문항의 임시능력지수의 평균값에 대한 분산분석(T-test)을 통해 프리테스트의 신뢰도를 검증한다(S910). 이어서, 난이도결정부(254)는 50%의 정답률에 가장 가까운 정답률에 해당하는 그룹의 능력지수평균을 프리테스트 문항의 능력지수로 결정한다(S920). 마지막으로, 난이도결정부(254)는 프리테스트 문항의 능력지수와 피평가자의 정답률을 기초로 수학식 2에 의해 프리테스트 문항의 난이도를 결정한다(S930).

본 발명에 따른 능력평가 시스템 및 방법에 의하면, 전문가집단에 의해 난이도와 범주가 결정된 문제군의 검증 또는 난이도가 결정되지 않은 문제군의 난이도 결정을 위하여 실제 시험에 프리테스트 문항을 섞어 출제함으로써 피평가자의 실제 정답률을 적용한 신뢰성 높은 난이도를 적용한 문제은행을 구성할 수 있다. 또한, 피평가자의 능력이나 시험의 성격에 따라 합격기준선을 임의로 조정할 수 있어 출제자가 피평가자의 능력을 사전에 파악 할 수 없는 상황하에서도 출제자의 의도에 맞는 합격 기준선을 설정하여 일정 수준을 요구하는 면허 시험등에 적용 할 수 있다. 또한, 출제자의 입장에서 이미 만들어진 문제은행을 이용하여 출제시 합격선만 설정하면 그에 맞은 수준의 각 문제당 신뢰도가 매우 높은 문제들로 구성된 시험문항을 출제할 수 있어 관리가 용이하며 매번 치루는 시험결과를 다시 문제은행에 반영할 수 있다. 나아가, 실시간으로 체크되는 피평가자의 능력에 맞추어 출제문제의 난이도나 합격기준을 시험진행과 동시에 변경할 수 있어 관리자가 미리 설정한 종료기준에 합당할 때까지 시험을 실시할 수 있어 인력을 선발하거나 능력에 따른 업무를 분배하거나 하는 등의 목적에 충실하게 이용할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

본 발명에 따른 능력평가 시스템 및 방법에 의하면, 난이도별로 문제와 지문을 결합하여 출제함으로써, 문제은행 보유문항의 2배 이상의 다양한 문제를 출제할 수 있고, 동일한 문항의 출제를 방지하여 차별화된 개인 능력평가 및 종합분석이 가능하다. 또한, 여러단계에 걸친 난이도 검증 및 결정기능, 난이도 관리 및 배점기능, 난이도별 문제 그룹핑 기능, 다단계의 난이도별 출제기능 등에 의해 다양한 형태의 테스트의 진행이 가능하며, 문제은행 구축시의 비용과 시간을 절약할 수 있다. 또한, 진위형, 다지선다형, 단답형, 서술ㆍ논술형과 멀티미디어형 등의 다양한 문제유형을 지원하며, 실시간 채점 및 모니터링 기능에 의해 필요한 경우 실시간으로 체크되는 피평가자의 능력에 맞추어 종료기준에 합당할 때까지 출제문제의 난이도나 합격기준을 변경하면서 테스트를 진행할 수 있다. 또한, 시험 결과 조회 및 누적 평가, 각종 통계관리 기능에 의해 출제경향 및 응시결과를 다양한 표와 그래픽 형으로 구성하여 제공할 수 있다. 또한, 범주별, 난이도별로 자세하게 분석가능한 결과 통계를 통해 개인 능력 분석표를 작성하여 제공함으로써 능력지수 패턴유형을 기준으로 피평가자의 합격여부뿐만 아니라 학습수준의 적정도를 용이하게 파악할 수 있다. 나아가, 시험종료와 동시에 피평가자의 능력을 정확하게 파악할 수 있으므로 채용 및 승진시험에서 채용결정, 부서배정, 승진여부를 결정하는 자료로 활용하거나 시험종료와 동시에 채용결정, 부서배정, 승진여부를 결정하는 시스템의 구성이 가능하다.

도 1은 본 발명에 따른 통신망을 통한 능력평가 시스템이 포함된 네트워크의 구성을 도시한 도면,

도 2는 본 발명에 따른 통신망을 통한 능력평가 시스템의 상세한 구성을 도시한 블록도,

도 3a 및 도 3b는 각각 피평가자의 테스트결과가 합격인 경우와 불합격인 경우에 대한 개인능력지수표를 도시한 도면,

도 4a 및 도 4b는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 상위 일점수렴형 및 하위 일점수렴형의 패턴유형을 도시한 도면,

도 5a 내지 도 5c는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 상향곡선형의 패턴유형을 증가폭별로 도시한 도면,

도 6a 내지 도 6c는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 하향곡선형의 패턴유형을 증가폭별로 도시한 도면,

도 7a 내지 도 7c는 각각 피평가자의 개인능력지수에 대한 패턴유형 중에서 톱니형의 패턴유형을 증가폭별로 도시한 도면,

도 8은 본 발명에 따른 능력평가 방법의 바람직한 실시예의 수행과정을 도시한 흐름도, 그리고,

Claims

통신망을 통해 접속한 적어도 하나 이상의 피평가자 단말기와 데이터를 송수신하여 피평가자의 능력을 평가하는 시스템에 있어서,

난이도와 문제능력지수가 부여된 본문항 및 난이도와 문제능력지수가 부여되지 않은 프리테스트 문항이 저장되는 문제은행저장부;

상기 본문항과 동일한 범주에 속하는 프리테스트 문항 중에서 출제대상 프리테스트 문항을 선정하는 문항선정부;

상기 출제대상 프리테스트 문항이 상기 출제대상 프리테스트 문항의 선정 이후에 출제되는 본문항들 중에서 상기 출제대상 프리테스트 문항과 동일한 범주에 속하는 본문항 및 이전에 출제된 동일한 범주에 속하는 프리테스트문항과 인접하지 않도록 상기 출제대상 프리테스트 문항의 출제시점을 결정하고, 상기 피평가자 단말기로부터 수신된 상기 출제된 본문항에 대한 피평가자가 입력한 응답의 정오여부를 판단하여 상기 피평가자의 개인능력지수를 산출하며, 소정의 시험종료기준의 충족여부에 따라 상기 테스트의 종료여부를 결정하는 시험진행부; 및

상기 출제대상 프리테스트 문항의 전후에 위치한 본문항들에 대한 피평가자의 개인능력지수의 평균값을 상기 출제대상 프리테스트 문항의 임시능력지수로 설정하고, 상기 출제대상 프리테스트 문항에 대한 응답을 입력한 피평가자들의 정답률을 기초로 상기 피평가자들을 소정의 간격으로 분할된 정답률구간에 속하는 피평가자그룹으로 구분한 후 소정의 기준정답률에 가장 가까운 정답률에 해당하는 피평가자그룹의 상기 출제대상 프리테스트 문항에 대한 정답률평균과 임시능력지수의 평균값을 기초로 상기 출제대상 프리테스트 문항의 난이도를 결정하는 난이도결정부;를 포함하며,

상기 난이도결정부는 상기 기준정답률에 가장 가까운 정답률에 해당하는 피평가자그룹의 상기 출제대상 프리테스트 문항에 대한 상기 임시능력지수의 평균값에서 상기 정답률평균값을 반으로 나눈값을 감하여 상기 출제대상 프리테스트 문항의 난이도점수를 산출하고, 상기 산출된 난이도점수에 따라 상기 출제대상 프리테스트 문항의 난이도를 결정하는 것을 특징으로 하는 통신망을 통한 능력평가 시스템.
제 1항에 있어서,

상기 시험진행부는 상기 본문항에 대한 피평가자의 정답률평균을 반으로 나눈값에 상기 본문항에 부여된 난이도점수의 평균값을 합하여 상기 개인능력지수를 산출하는 것을 특징으로 하는 통신망을 통한 능력평가 시스템.
제 1항에 있어서,

상기 문항선정부는 테스트종류, 문항의 난이도 그룹, 합격기준선 및 프리테스트문항출제여부를 포함하는 문항선정기준에 의해 상기 문제은행저장부에 저장되어 있는 본문항 중에서 테스트를 구성하는 본문항을 선정하고, 프리테스트문항의 출제가 설정된 경우에 상기 문제은행저장부에 저장되어 있는 프리테스트문항 중에서 상기 테스트를 구성하는 프리테스트 문항을 선정하는 것을 특징으로 하는 통신망을 통한 능력평가 시스템.