KR102572818B1 - Cat 기반 통합검사 수행 장치 및 시스템 - Google Patents

Abstract

본 발명은 컴퓨터를 이용한 개별적응검사(CAT)를 기반으로 통합검사를 수행할 수 있는 수행 장치 및 시스템에 관한 것으로서, 보다 상세하게는 웹 기반 플랫폼에 접속한 피험자 및 관리자는 통합검사의 생성, 수행, 평가, 결과 확인 등을 쉽게 수행할 수 있어 통합검사의 편의성을 향상시키고, 다양한 분야의 통합검사 및 설문조사에 적용할 수 있고, 시험실시 뿐만 아니라 시험실시를 위한 시험준비 및 설계, 검사결과 제공까지 피험자의 기기로 전송이 가능하며, 검사종류에 따라 관리자가 응답항목을 기설정하여 피험자가 수행 및 답변할 수 있는 폭이 넓어지고, 이를 통해 피험자 집단의 성향을 파악할 수 있는 CAT 기반 통합검사 수행 장치 및 시스템에 관한 것이다.

Description

CAT 기반 통합검사 수행 장치 및 시스템 {CAT-BASED INTEGRATED TESTING INSPECTION DEVICE AND SYSTEM}

본 발명은 컴퓨터를 이용한 개별적응검사(CAT)를 기반으로 통합검사를 수행할 수 있는 수행 장치 및 시스템에 관한 것으로서, 보다 상세하게는 웹 기반 플랫폼에 접속한 피험자 및 관리자는 통합검사의 생성, 수행, 평가, 결과 확인 등을 쉽게 수행할 수 있어 통합검사의 편의성을 향상시키고, 다양한 분야의 통합검사 및 설문조사에 적용할 수 있고, 시험실시 뿐만 아니라 시험실시를 위한 시험준비 및 설계, 검사결과 제공까지 피험자의 기기로 전송이 가능하며, 검사종류에 따라 관리자가 응답항목을 기설정하여 피험자가 수행 및 답변할 수 있는 폭이 넓어지고, 이를 통해 피험자 집단의 성향을 파악할 수 있는 CAT 기반 통합검사 수행 장치 및 시스템에 관한 것이다.

일반적으로 개인의 상태, 능력 등을 판단하는 검사의 종류로는 개인의 인지능력을 판단하는 인지검사, 개인의 심리상태를 판단하는 심리검사, 질환 등을 평가하기 위한 진단용 검사 등을 포함하며 이를 통해 피험자는 본인의 상태, 능력, 지적수준 등을 파악할 수 있다.

또한, 개인의 취향, 선호도 등을 확인할 수 있는 설문조사를 통해 개인 뿐만 아니라 설문 집단의 의견, 선호도 등을 설문조사제공업체에서 파악할 수 있고, 이를 참고자료로 사용하여 집단 적응형 서비스 등을 제공할 수 있다.

최근 통신기술의 발달을 통해 지필검사 내용을 그대로 IT기기 화면으로 옮겨 검사를 진행할 수 있는 컴퓨터 기반 검사(Computer Based Test, 이하 CBT)를 통해 검사지, 시험장소, 채점인력 등의 자원소모가 불필요하고, 오프라인 지필검사에 비해 문항별 응답시간, 총 소요시간 등의 추가정보를 수집할 수 있어 단순 피험자의 응답만을 수집하는 것에 비해 다양한 정보를 함께 수집할 수 있다.

이러한 CBT의 장점을 극대화한 형태의 검사로 컴퓨터 기반 적응 검사(Computerized Adaptive Testing, 이하 CAT)가 존재한다. 이러한 CAT는 각 피험자의 능력 수준에 따라 다음 문항을 선별적으로 제시하는 검사방법으로, 보다 효율적이고 정확하게 피험자의 능력을 측정할 수 있다는 효과를 보유한다.

상술된 CAT를 이용한 검사방법과 관련된 선행기술로는 공개특허공보 제10-2006-0081979호 "CAT 기반의 문제은행시스템을 이용한 독서능력급수산정 방법 및 시스템"이 개시되어 있다.

그러나 선행기술의 경우 독서능력급수산정에만 한정되어 있으며 다른 검사 즉, 단답형 또는 서술형의 응답이 필요한 검사나 피험자의 심리 상태 등을 판단하기 위한 심리검사의 경우 문제에 따라 피험자가 해당되는 정도에 걸맞는 응답(그렇다, 매우 그렇다, 그렇지 않다, 매우 그렇지 않다 등)에 따라 검사결과가 다르게 나오기 때문에 상술된 검사는 상기 선행기술을 통해 수행하기 어렵다는 불편함이 존재한다.

한국 공개특허 제10-2006-0081979호 "CAT 기반의 문제은행시스템을 이용한 독서능력급수산정 방법 및 시스템" 한국 공개특허 제10-2000-0058902호 "인터넷상에서의 원격 개별적응검사시스템 및 실시간문항모수치추정시스템"

본 발명은 상술한 문제점을 해결하기 위한 것으로, 웹 기반 플랫폼에 접속한 피험자 및 관리자는 통합검사의 생성, 수행, 평가, 결과 확인 등을 쉽게 수행할 수 있어 통합검사의 편의성을 향상시키고, 다양한 분야의 통합검사 및 설문조사에 적용할 수 있고, 시험실시 뿐만 아니라 시험실시를 위한 시험준비 및 설계, 검사결과 제공까지 피험자의 기기로 전송이 가능하며, 검사종류에 따라 관리자가 응답항목을 기설정하여 피험자가 수행 및 답변할 수 있는 폭이 넓어지고, 이를 통해 피험자 집단의 성향을 파악할 수 있는 CAT 기반 통합검사 수행 장치 및 시스템을 제공하는 것에 그 목적이 있다.

또한, 관리자가 피험자가 수행하는 테스트 하위영역에 대한 출제 비율을 설정하여 균형있는 검사, 시험 등을 수행할 수 있고, 이를 통해 하위영역 판단을 균형있게 수행할 수 있는 CAT 기반 통합검사 수행 장치 및 시스템을 제공하는 것에 그 목적이 있다.

또한, 피험자는 본인이 소지한 IT기기를 통해 쉽게 테스트 플랫폼에 접속하여 테스트를 수행할 수 있고, 관리자는 본인의 IT기기를 통해 테스트 플랫폼에 접속하여 테스트 수정 작업을 수행할 수 있으며, 관리자가 직접 피험자의 응답 결과에 따라 점수를 부여하여 사용성이 향상된 CAT 기반 통합검사 수행 장치 및 시스템을 제공하는 것에 그 목적이 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 문제점을 해결하기 위해 본 발명에 따른 CAT 기반 통합검사를 수행하는 장치에 있어서,

관리자로부터 테스트용 문항 정보를 수집 및 피험자 기기로 테스트를 전송하기 위한 데이터 통신을 수행하는 통신부; 상기 수집된 테스트용 문항 정보와, 상기 피험자 기기를 통해 피험자가 수행한 테스트 결과 정보를 저장하는 저장부; 및 상기 수집된 테스트용 문항 정보를 선별하여 상기 테스트를 생성 및 피험자에게 제공하여 상기 테스트 답변을 통해 CAT 기반 통합검사를 수행하는 제어부;를 포함하며, 상기 제어부는 관리자가 상기 테스트용 문항 정보를 저장 및 설정하고, 피험자에게 제공할 상기 테스트를 생성하며, 상기 테스트의 응답범주를 설정하는 테스트 준비모듈; 및 피험자에게 상기 테스트 준비모듈을 통해 생성된 테스트를 수행하도록 제공하고, 테스트 수행 결과를 판단 및 산출하는 테스트 수행모듈;을 포함한다.

또한, 테스트 준비모듈은 테스트용 문항을 입력하고, 상기 테스트용 문항의 유형, 모수를 설정하는 문항 저장 및 설정유닛; 상기 테스트용 문항의 응답범주를 설정하는 응답범주 설정유닛; 상기 문항 저장 및 설정유닛과 상기 응답범주 설정유닛을 통해 상기 저장부에 저장된 문항을 추출하여 테스트를 생성하는 테스트 생성유닛; 및 상기 테스트 생성유닛에서 생성된 테스트를 수행하는 피험자 또는 피험자 집단의 능력을 설정하여 상기 생성된 테스트의 난이도 및 채점결과를 제어할 수 있는 피험자/집단 능력 설정유닛;을 포함한다.

또한, 테스트 수행모듈은 상기 테스트 준비모듈에서 생성된 테스트를 피험자에게 제공하고, 상기 테스트 내 문항에 대한 피험자의 응답을 확인하는 테스트 진행유닛; 피험자가 상기 생성된 테스트를 수행하기 전에 응답할 수 있는 적응 테스트를 생성 및 제공하고, 상기 적응 테스트를 수행한 피험자의 응답을 수집하는 적응 테스트 진행유닛; 상기 테스트용 문항 정보의 노출도를 설정하고, 피험자가 테스트 수행시 피험자에게 노출된 문항의 노출횟수를 카운팅하며, 상기 노출횟수가 상기 노출도에 도달하는 경우 해당 문항이 테스트용 문항으로 사용되는 것을 정지하는 문항 노출 카운팅유닛; 상기 테스트 진행유닛에서 수집된 피험자의 응답을 바탕으로 테스트 수행 결과를 산출하는 테스트 결과 산출유닛; 및 상기 테스트 결과 산출유닛에서 생성된 테스트 결과에 따라 피험자 또는 피험자 집단의 능력을 판단하는 피험자/집단 능력 판단유닛;을 포함한다.

이때, 테스트 진행유닛은 생성된 테스트의 종료 기준을 설정할 수 있으며, 피험자가 상기 생성된 테스트 수행시 피험자의 능력치의 신뢰구간을 실시간으로 산출할 수 있고, 상기 종료 기준은 생성된 테스트를 수행하는 피험자의 능력치 신뢰구간의 하한이 이 관리자가 기설정한 테스트의 기준점을 상회하면 합격으로 테스트가 종료되거나 상기 피험자 능력치 신뢰구간의 상한이 상기 기준점을 하회하면 불합격으로 테스트가 종료되는 것을 특징으로 한다.

상술한 문제점을 해결하기 위해 본 발명에 따른 CAT 기반 통합검사를 수행하는 장치에 있어서,

관리자로부터 테스트용 문항 정보를 수집 및 피험자 기기로 테스트를 전송하기 위한 데이터 통신을 수행하는 통신부; 상기 수집된 테스트용 문항 정보와, 상기 피험자 기기를 통해 피험자가 수행한 테스트 결과 정보를 저장하는 저장부; 및 상기 수집된 테스트용 문항 정보를 선별하여 상기 테스트를 생성 및 피험자에게 제공하여 상기 테스트 답변을 통해 CAT 기반 통합검사를 수행하는 제어부;를 포함하며, 상기 제어부는 관리자가 상기 테스트용 문항 정보를 저장 및 설정하고, 피험자에게 제공할 상기 테스트를 생성하며, 상기 테스트의 응답범주를 설정하는 테스트 준비모듈; 및 피험자에게 상기 테스트 준비모듈을 통해 생성된 테스트를 수행하도록 제공하고, 테스트 수행 결과를 판단 및 산출하는 테스트 수행모듈;을 포함한다.

또한, 테스트 준비모듈은 테스트용 문항을 입력하고, 상기 테스트용 문항의 유형, 모수를 설정하는 문항 저장 및 설정유닛; 상기 테스트용 문항의 응답범주를 설정하는 응답범주 설정유닛; 상기 문항 저장 및 설정유닛과 상기 응답범주 설정유닛을 통해 상기 저장부에 저장된 문항을 추출하여 테스트를 생성하는 테스트 생성유닛; 및 상기 테스트 생성유닛에서 생성된 테스트를 수행하는 피험자 또는 피험자 집단의 능력을 설정하여 상기 생성된 테스트의 난이도 및 채점결과를 제어할 수 있는 피험자/집단 능력 설정유닛;을 포함한다.

또한, 테스트 수행모듈은 상기 테스트 준비모듈에서 생성된 테스트를 피험자에게 제공하고, 상기 테스트 내 문항에 대한 피험자의 응답을 확인하는 테스트 진행유닛; 피험자가 상기 생성된 테스트를 수행하기 전에 응답할 수 있는 적응 테스트를 생성 및 제공하고, 상기 적응 테스트를 수행한 피험자의 응답을 수집하는 적응 테스트 진행유닛; 상기 테스트용 문항 정보의 노출도를 설정하고, 피험자가 테스트 수행시 피험자에게 노출된 문항의 노출횟수를 카운팅하며, 상기 노출횟수가 상기 노출도에 도달하는 경우 해당 문항이 테스트용 문항으로 사용되는 것을 정지하는 문항 노출 카운팅유닛; 상기 테스트 진행유닛에서 수집된 피험자의 응답을 바탕으로 테스트 수행 결과를 산출하는 테스트 결과 산출유닛; 및 상기 테스트 결과 산출유닛에서 생성된 테스트 결과에 따라 피험자 또는 피험자 집단의 능력을 판단하는 피험자/집단 능력 판단유닛;을 포함한다.

이때, 테스트 진행유닛은 생성된 테스트의 종료 기준을 설정할 수 있으며, 피험자가 상기 생성된 테스트 수행시 피험자의 능력치의 신뢰구간을 실시간으로 산출할 수 있고, 상기 종료 기준은 생성된 테스트를 수행하는 피험자의 능력치 신뢰구간의 하한이 이 관리자가 기설정한 테스트의 기준점을 상회하면 합격으로 테스트가 종료되거나 상기 피험자 능력치 신뢰구간의 상한이 상기 기준점을 하회하면 불합격으로 테스트가 종료되는 것을 특징으로 한다.

또한, 저장부는 관리자가 입력한 신규 문항을 저장하는 미측정 문항 DB;를 포함하며, 상기 제어부는, 상기 미측정 문항 DB에 저장된 신규 문항의 적합성을 판단하는 적합성 평가유닛과, 상기 적합성 평가유닛에서 적합 판정을 받은 신규문항의 모수를 측정하는 모수측정닛과, 상기 모수측정유닛을 통해 모수 측정을 마친 신규 문항을 피험자가 수행한 응답을 수집하여 피드백을 생성하고 이를 통해 문항품질(item quality)을변별력 수치를 산출하는 피드백 관리유닛 및 신규 문항이 기설정된 변별력 수치문항품질 이상을 갖는 경우 해당 신규 문항을 입력한 관리자에게 리워드를 제공하는 리워드 처리유닛을 포함하는 신규 문항 관리모듈;을 포함하고, 상기 적합성 평가유닛은 상기 미측정 문항 DB에 저장된 신규 문항의 적합성이 없다고 판단되는 경우 상기 신규 문항을 삭제할 수 있다.

또한, 저장부는 관리자가 입력한 문항을 저장하는 문항 저장 DB; 상기 문항 저장 DB에 저장된 문항으로 이루어진 문항 POOL이 저장되는 문항 POOL DB; 및 상기 제어부에서 피험자가 수행한 테스트 결과가 저장되는 검사결과 DB;를 포함하며, 상기 테스트 준비모듈은 상기 문항 저장 DB에 저장된 문항 중 관리자가 유사한 문항들을 유형별로 선별하여 원하는 검사를 구성하기 위해 선별한 문항들로 상기 문항 POOL을 생성할 수 있고, 관리자는 테스트 생성시 생성할 테스트 유형에 따라 상기 문항 POOL DB에서 문항 POOL을 단일 또는 다수개를 선택할 수 있다.

본 발명에 따른 CAT 기반 통합검사를 수행하는 시스템에 있어서,

기저장된 테스트용 문항들을 대상으로 테스트를 수행하며, 상기 테스트용 문항을 관리자로부터 제공받고 이를 테스트용 문항으로 설정할 것인지 여부를 판단하는 서버; 상기 서버에 접속하여 테스트를 수행하는 피험자 기기; 및 상기 서버에 테스트용 문항을 전송하는 관리자 기기;를 포함하되, 상기 서버는 관리자로부터 테스트용 문항 정보를 수집 및 피험자 기기로 테스트를 전송하기 위한 데이터 통신을 수행하는 통신부; 상기 수집된 테스트용 문항 정보와, 상기 피험자 기기를 통해 피험자가 수행한 테스트 결과 정보를 저장하는 저장부; 및 상기 수집된 테스트용 문항 정보를 선별하여 상기 테스트를 생성 및 피험자에게 제공하여 상기 테스트 답변을 통해 CAT 기반 통합검사를 수행하는 제어부;를 포함하며, 상기 제어부는 관리자가 상기 테스트용 문항 정보를 저장 및 설정하고, 피험자에게 제공할 상기 테스트를 생성하며, 상기 테스트의 응답범주를 설정하는 테스트 준비모듈; 및 피험자에게 상기 테스트 준비모듈을 통해 생성된 테스트를 수행하도록 제공하고, 테스트 수행 결과를 판단 및 산출하는 테스트 수행모듈;을 포함한다.

본 발명에 따른 CAT 기반 통합검사를 수행하는 시스템에 있어서,

관리자가 서버에 연결된 관리자 기기를 통해 테스트용 문항 정보를 입력하는 단계; 상기 단계에서 입력된 테스트용 문항으로 구성된 테스트를 생성하되, 상기 생성된 테스트의 응답범주를 설정하여 상기 테스트를 생성하는 단계; 상기 단계에서 생성된 테스트를 상기 서버에 접속한 피험자 기기를 통해 피험자가 수행하는 단계; 및 상기 단계에서 상기 서버로 입력된 상기 피험자의 응답에 따라 상기 테스트 수행 결과를 판단 및 산출하는 단계;로 구성될 수 있다.

본 발명에 따른 CAT 기반 통합검사를 수행하는 시스템에 있어서,

관리자가 서버에 연결된 관리자 기기를 통해 신규 문항을 입력하는 단계; 상기 신규 문항의 적합성과 모수를 판단하는 단계; 상기 신규 문항을 피험자에게 제공하고 상기 피험자가 수행한 응답을 수집하여 피드백 생성 및 문항품질을 산출하는 단계; 상기 기설정된 문항품질 이상을 갖는 신규 문항을 제공한 관리자에게 리워드를 제공하는 단계; 상기 기설정된 문항품질 이상을 갖는 신규 문항을 테스트용 문항으로 저장하는 단계; 상기 저장된 테스트용 문항으로 관리자가 응답범주를 한정한 테스트를 생성하는 단계; 상기 단계에서 생성된 테스트를 상기 서버에 접속한 피험자 기기를 통해 피험자가 수행하는 단계; 및 상기 단계에서 상기 서버로 입력된 상기 피험자의 응답에 따라 상기 테스트 수행 결과를 판단 및 산출하는 단계;로 구성될 수 있다.

이와 같이 본 발명은 웹 기반 플랫폼에 접속한 피험자 및 관리자는 통합검사의 생성, 수행, 평가, 결과 확인 등을 쉽게 수행할 수 있어 통합검사의 편의성을 향상시키고, 다양한 분야의 통합검사 및 설문조사에 적용할 수 있고, 시험실시 뿐만 아니라 시험실시를 위한 시험준비 및 설계, 검사결과 제공까지 피험자의 기기로 전송이 가능하며, 검사종류에 따라 관리자가 응답항목을 기설정하여 피험자가 수행 및 답변할 수 있는 폭이 넓어지고, 이를 통해 피험자 집단의 성향을 파악할 수 있는 효과를 보유한다.

또한, 관리자가 피험자가 수행하는 테스트 하위영역에 대한 출제 비율을 설정하여 균형있는 검사, 시험 등을 수행할 수 있고, 이를 통해 하위영역 판단을 균형있게 수행할 수 있는 효과를 보유한다.

또한, 피험자는 본인이 소지한 IT기기를 통해 쉽게 테스트 플랫폼에 접속하여 테스트를 수행할 수 있고, 관리자는 본인의 IT기기를 통해 테스트 플랫폼에 접속하여 테스트 수정 작업을 수행할 수 있으며, 관리자가 직접 피험자의 응답 결과에 따라 점수를 부여하여 사용성이 향상된 효과를 보유한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 CAT 기반 통합검사 수행 장치인 서버의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 통신부의 세부 구성을 도시한 블록도이다.
도 3은 본 발명에 따른 테스트 준비모듈의 세부 구성을 도시한 블록도이다.
도 4는 본 발명에 따른 테스트 수행모듈의 세부 구성을 도시한 블록도이다.
도 5는 본 발명에 따른 신규 문항 관리모듈의 세부 구성을 도시한 블록도이다.
도 6은 본 발명에 따른 사후관리 지원모듈의 세부 구성을 도시한 블록도이다.
도 7은 본 발명에 따른 신규 문항 관리의 순서를 도시한 순서도이다.
도 8은 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템을 수행하는 웹의 메인 화면 및 메인 인터페이스를 나타낸 것이다.
도 9 내지 13은 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템에서 제공하는 인터페이스를 통해 테스트 등록 실시예를 나타낸 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여, 본 발명의 실시예들을 설명하기로 한다. 각 도면에 제시된 동일한 부호는 동일한 부재를 나타낸다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 관한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

도 1은 본 발명에 따른 CAT 기반 통합검사 수행 장치인 서버의 구성을 도시한 블록도이며, 도 2는 본 발명에 따른 통신부의 세부 구성을 도시한 블록도이고, 도 3은 본 발명에 따른 테스트 준비모듈의 세부 구성을 도시한 블록도이며, 도 4는 본 발명에 따른 테스트 수행모듈의 세부 구성을 도시한 블록도이고, 도 5는 본 발명에 따른 신규 문항 관리모듈의 세부 구성을 도시한 블록도이며, 도 6은 본 발명에 따른 사후관리 지원모듈의 세부 구성을 도시한 블록도이다.

설명에 앞서, 본 발명에서 수행하는 '테스트'는 인지검사, 심리검사, 진단용 검사, 설문조사 등을 모두 포함한 것으로, 본 명세서에서는 본 발명에서 피험자 상대로 수행할 수 있는 다양한 분야의 검사, 설문조사 등을 모두 테스트로 통합하여 설명함을 미리 밝힌다.

도 1에서 도시된 바와 같이 본 발명의 실시예에 따른 서버는 통신부(100), 저장부(200) 및 제어부(300)를 포함하여 구성된다.

통신부(100)는 관리자 기기 및 피험자 기기와 서버간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며, 서버에 접속한 관리자 기기로부터 테스트용 문항 정보를 수집하고, 서버에 접속한 피험자 기기로 관리자가 생성한 테스트를 전송하기 위한 데이터 통신을 수행한다. 이러한 통신부(100)는 관리자/피험자 접속모듈(110), 인터페이스 제공모듈(120), 개인계정 생성모듈(130)을 포함한다.

관리자/피험자 접속모듈(110)은 개인계정 생성모듈(130)을 통해 부여받은 ID를 통해 각각 관리자 또는 피험자 권한을 받게 되는데 데이터 통신을 통해 CAT 기반 통합검사 수행 장치 및 시스템이 구현된 웹에 접속하는 경우 각 권한에 맞는 인터페이스를 제공할 수 있도록 관리자와 피험자를 분리하여 접속하도록 하는 역할을 수행한다.

인터페이스 제공모듈(120)은 테스트를 수행 또는 관리할 수 있는 웹에 접속한 관리자/피험자에게 각각 해당되는 인터페이스를 제공하는 것으로, 웹 내에서 구현된 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템을 관리자/피험자가 쉽게 이용할 수 있도록 한다.

이러한 인터페이스 제공모듈(120)은 도 8 내지 13과 같이 관리자에게 저장부(200)에 저장된 데이터들을 육안으로 쉽게 파악할 수 있도록 제공하고, 직접 문항 등을 쉽게 저장할 수 있도록 문항 저장 관련 다양한 정보들을 제공할 수 있도록 한다.

또한, 관리자에게는 관리자 기기로 서버에 등록된 테스트 및 테스트 일정 등을 간편하게 확인할 수 있도록 캘린더 인터페이스도 제공할 수 있다.

개인계정 생성모듈(130)은 각 계정마다 관리자 또는 피험자 권한을 부여하며, 개인에게 적합한 권한을 부여한 계정을 생성함으로써 웹 이용을 원활하게 수행하도록 한다.

개인계정 생성모듈(130)을 통해 생성되는 개인계정은 영구적 계정(고정 ID 및 패스워드)와 일회성 계정으로 나뉘어질 수 있다.

먼저 영구적 계정의 경우 회원가입을 통해 피험자의 개인정보를 입력하고, 이를 통해 생성된 ID를 부여받아 웹에서 다수번 테스트를 진행할 수 있으며 패스워드 분실시 초기화를 통해 패스워드를 재지정하여 다수번 접속 및 테스트를 수행할 수 있도록 한다.

반면, 일회성 계정의 경우 관리자가 피험자에게 미리 안내하거나 피험자가 회원가입없이 테스트를 수행할 경우 부여되는 계정으로 주로 설문조사 등에 이용될 수 있다. 또한 일회성 계정이더라도 관리자가 별도로 피험자를 추적할 필요 없이 일회성 계정을 이용한 피험자가 수행한 테스트 및 테스트 결과와 관련된 정보와 피험자 그룹 분류를 일회성으로도 사용할 수 있도록 한다.

상술된 영구적 및 일회성 계정 모두 각 피험자가 자신의 계정으로 수행한 테스트 결과 및 피험자 정보 등이 계정별로 저장부(200)에 저장될 수 있도록 한다.

이러한 개인계정 생성모듈(130)을 통해 개별적으로 계정을 부여받은 사용자는 다수개의 IT기기(관리자기기 및 피험자기기)에도 동일하게 테스트를 수행할 수 있다.

저장부(200)는 테스트와 관련된 모든 정보를 저장하는 곳으로, 문항 저장 DB(210), 문항 POOL DB(220), 미측정 문항 DB(230), 검사결과 DB(240)를 포함할 수 있다.

문항 저장 DB(210)는 관리자가 통신부(100) 및 제어부(300)를 통해 테스트 생성시 필요한 문항들을 입력하면 이를 저장하는 곳으로, 문항 저장 DB(210)에는 각 문항에 대한 정보(문제, 응답범주, 문항유형 등)가 저장된다.

각 문항에 대응되는 응답범주를 서로 연결하여 함께 저장함으로써, 문항과 응답범주가 서로 분리되지 않은 상태로 저장하여 하나의 테스트에 적합한 문항 및 응답범주가 제공될 수 있도록 한다. 예를 들어, OX퀴즈나 단답형퀴즈로 입력된 문항에 대해서 다지선다형 응답범주가 나올 경우 테스트의 정확도 등이 떨어질 우려가 존재하므로, 관리자는 제어부(300)에서 문항 입력시 문항과 대응되는 응답범주를 함께 설정하고, 이를 문항 저장 DB(210)에 저장됨으로써 혼동이 없도록 한다.

또한, 문항 저장 DB(210)는 문항 및 응답범주 뿐만 아니라 각 문항에 해당되는 정답자료, 시범 테스트용 문항, 각 문항에 대한 모수 정보(변별도/난이도/추측도 모수)가 저장되는데, 단순 문항반응이론에 대한 문항 모수 뿐만 아니라 고전검사이론기반의 문항 모수 또한 저장될 수 있다.

이러한 문항 저장 DB(210)에 저장되는 정보에 대해서는 제어부(300)의 테스트 준비모듈(310) 설명시 더욱 자세하게 설명하도록 한다.

또한, 문항 저장 DB(210)에서는 테스트 생성용 문항 정보 뿐만 아니라 테스트를 통해 피험자에게 제공된 문항의 사용 및 출제이력(출제일자, 출제된 테스트명 등), 수정내역(수정한 관리자 정보, 수정사항, 수정목적, 수정일자 등), 노출정도도 함께 저장될 수 있다.

또한, 본 발명에서는 각 테스트별로 적합한 문항들이 이용되어 테스트 생성을 용이하게 하기 위하여 제어부(300)에서 문항 POOL을 생성할 수 있는데 이때 생성된 문항 POOL은 문항 POOL DB(220)에 저장된다.

문항 POOL DB(220)는 문항 저장 DB(210)와 연동되어 제어부(300)를 통해 상기 문항 저장 DB(210)에 기저장된 문항들 중 관리자의 목적에 따라 다수개의 문항을 하나의 문항 POOL로 생성하게 되며 이를 저장하는 역할을 수행한다.

따라서, 관리자는 테스트 생성시 생성될 테스트 내 기설정된 문항 POOL을 연동시켜 테스트를 생성하면 해당 문항 POOL에 속한 문항이 임의로 제공되어 테스트를 용이하게 설정할 수 있도록 한다.

상술된 문항 저장 DB(210) 및 문항 POOL DB(220)에 저장된 문항에 대해서 관리자는 통신부(100)를 통해 관리자 기기로 접속하여 문항 검색에 대한 검색 인터페이스를 제공받을 수 있고, 이를 통해 저장부(200)에 저장된 문항을 쉽게 찾을 수 있다.

미측정 문항 DB(230)는 제어부(300)를 통해 관리자가 신규 문항을 입력하게 되면 이에 대한 신규 문항을 저장하는 것으로, 신규 문항의 경우 상기 신규 문항에 해당되는 변별도, 난이도, 추측도 등의 모수와 적합성 등이 측정되지 않아 당장 테스트에 포함하기는 어려운 신규 문항으로 후술된 신규 문항 관리모듈(330)을 통해 테스트 사용에 적합한 문항으로 판단되는 경우 검증이 완료된 신규 문항을 문항 저장 DB(210)로 이동시키게 된다.

따라서, 관리자가 제어부(300)를 통해 신규 문항을 입력하는 경우 바로 문항 저장 DB(210)로 이동되는 것이 아닌 미측정 문항 DB(230)로 임시저장되고, 상기 미측정 문항 DB(230)로 저장된 신규 문항에 대해서 신규 문항 관리모듈(330)이 관리하여 테스트 사용에 적합한 문항임을 판단하고, 비적합한 문항인 경우 이를 폐기하여 테스트에 사용되지 않도록 할 수 있다.

검사결과 DB(240)는 제어부(300)를 통해 피험자가 수행시 발생되는 정보, 테스트 결과 등을 저장하는 곳으로, 피험자 ID, 피험자 개인정보(성명, 소속 등), 테스트 결과정보(테스트 점수, 테스트 일자, 응답 등) 등을 저장할 수 있다.

구체적으로, 테스트에 대한 기술통계와 피험자가 테스트 수행시 각 문항에 대한 응답정보(응답값, 정답여부, 문항풀이시간, 원점수, t변환점수 등)가 피험자 개인정보와 함께 저장될 수 있다. 또한, 피험자가 수행한 테스트에 대한 정보(문항모수, 영역분류, 정보함수 등)나 테스트를 수행한 피험자의 인원, 테스트 수행 시간 등 테스트와 관련된 모든 정보가 함께 저장된다.

이를 통해 관리자는 검사결과 DB(240)에서 특정 피험자를 선택하여 피험자의 변화 및 성장을 추적할 수 있고, 테스트를 수행한 피험자 정보와 피험자가 수행한 테스트에 대한 정보 등을 시간에 관계없이 쉽게 열람, 파악 및 다운로드할 수 있다.

한편, 피험자 개인계정이 생성되지 않은 상태로 수행될 수 있는 테스트, 주로 설문과 같은 테스트의 경우에는 피험자 기기 IP 등을 피험자 정보로 설정하여 테스트를 수행한 모든 피험자의 결과를 저장할 수 있도록 한다.

한편, 저장부(200)는 내장 또는 외장 메모리로 이루어질 수 있으며, 내장 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 어느 하나를 포함할 수 있고, 외장메모리의 경우 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 이러한 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.

또한, 상술된 내장 또는 외장 메모리 외에도 외부의 클라우드 서버를 포함할 수 있다. 따라서, 저장부(200)에 저장되는 다양한 데이터들은 인터넷 연결망을 통해 외부 클라우드 서버에 저장되거나 저장부(200)에 내장 또는 외장 메모리를 포함하여 외부 클라우드 서버와도 연동되는 경우 각각 저장될 수도 있다.

제어부(300)는 관리자로부터 수집된 테스트용 문항 정보를 선별하여 테스트를 생성하고, 이를 피험자에게 제공하여 테스트를 수행한 피험자의 응답(답변)을 통해 CAT 기반 통합검사를 수행할 수 있도록 한다.

이러한 제어부(300)는 테스트 준비모듈(310), 테스트 수행모듈(320), 신규 문항 관리모듈(330) 및 사후관리 지원모듈(340)을 포함하여 구성될 수 있다.

먼저, 테스트 준비모듈(310)은 관리자가 피험자가 수행할 테스트 생성을 위한 동작 전반을 수행하는 것으로, 도 3과 같이 문항 저장 및 설정유닛(311), 응답 범주 설정유닛(312), 테스트 생성유닛(313), 테스트 URL 생성유닛(314), 피험자/집단 능력 설정유닛(315)을 포함하여 구성될 수 있다.

문항 저장 및 설정유닛(311)은 관리자가 테스트를 이루는 문항을 직접 입력하여 저장하고, 이때 저장되는 문항과 관련된 정보를 설정하여 문항과 함께 저장될 수 있도록 한다.

문항 저장 및 설정유닛(311)을 통해 관리자는 문항의 내용, 정답 등의 문항 자체의 데이터를 저장할 수 있으며, 입력되는 문항에 대한 모수나 적합성이 이미 존재하는 경우 이에 대한 내용을 함께 설정하여 미측정 문항 DB(230)로 저장되지 않고 바로 문항 저장 DB(210)로 저장될 수 있도록 설정할 수도 있다.

또한, 문항 저장 및 설정유닛(311)은 관리자가 문항 등록시 문항분류가 가능하도록 분류기능을 제공하며, 문항 분류를 체계적으로 관리할 수 있도록 대분류, 중분류, 소분류로 나누어 설정할 수 있도록 한다. 예를 들어 대분류의 경우 상기 문항이 해당되는 테스트의 종류(설문조사, 인지검사, 질환검사 등)로 설정할 수 있고, 중분류와 소분류로 더욱 세분화하여 입력되는 문항이 해당되는 테스트의 종류를 구체적으로 설정하여 저장부(200)에 저장될 수 있도록 한다.

또한, 문항 저장 및 설정유닛(311)을 통해 관리자가 입력한 문항에 문항 분류가 설정되어 저장되면 자동으로 문항은 고유코드(또는 ID)를 부여받게 된다. 이러한 문항 고유코드는 문항분류에 따라 고유코드가 중복없이 개별적으로 생성되며, 추후 고유코드를 통해 문항을 분류, 선별 등이 가능하여 편의성이 향상된다.

또한, 문항 설정시 단순 문항반응이론에 대한 문항 모수 뿐만 아니라 고전검사이론기반의 문항 모수 또한 저장될 수 있다.

이러한 문항 저장 및 설정유닛(311)을 통해 생성된 테스트에 포함되는 문항들을 관리자가 입력하여 피험자가 수행할 수 있도록 하며, 테스트 수행모듈(320)을 통해 피험자가 테스트 수행을 완료하면 문항과 함께 저장한 정답을 통해 피험자 응답별로 테스트 수행 결과를 채점 및 판단할 수 있고, 이에 대한 결과값을 산출하여 관리자에게 피험자의 테스트 결과를 안내할 수 있다.

문항 저장 및 설정유닛(311)은 문항에 대하여 관리자가 입력하는 것이며, 입력된 문항에 해당되는 응답범주를 응답범주 생성유닛(312)에서 별도로 설정할 수 있다.

응답범주 생성유닛(312)은 문항의 응답 유형을 이분형(예/아니오, O/X), 다지선다형(보기가 4~5개), 단답형, 서술형 등으로 설정할 수 있도록 한다.

이때, 하나의 문항에 다수개의 응답범주가 설정될 수 있다. 대표적으로 두가지로 이루어질 수 있으며 먼저 하나의 문제(지문)에 다수개의 응답범주가 연동되어 꾸러미 문항 형태로 이루어질 수 있으며, 다른 방법으로는 하나의 문항에 응답할 수 있는 응답범주를 다지선다형과 단답형 중 어느 하나로 제공될 수 있도록 설정할 수 있어 동일 문항으로도 난이도를 조절할 수 있고, 이를 통해 한정된 테스트용 문항을 더욱 다양하게 사용할 수 있다.

또한, 심리검사나 질병의 종류 등을 평가하기 위한 테스트의 경우 별도로 응답범주를 설정할 필요가 존재한다. 즉, '전혀 그렇지 않다.', '그렇지않다.', '보통이다.', '그렇다', '매우 그렇다'와 같이 관리자가 직접 해당 문제에 맞는 응답범주를 설정함으로써 다양한 종류의 테스트를 수행할 수 있도록 한다.

한편, 상술된 문항 저장 및 설정유닛(311)과 응답범주 생성유닛(312)을 통해 생성된 테스트용 문항의 경우 단순히 텍스트로 이루어진 문항 및 응답범주가 아닌 멀티미디어 자료를 통해 이용하여 문항, 응답범주 또는 문항과 응답범주 모두 설정할 수 있다.

예를 들어, 테스트 중 하나의 이미지를 제시하며 상기 이미지에 해당되는 응답을 요청하는 경우가 발생될 수 있다. 이러한 경우 피험자는 문제로 제시된 이미지를 육안으로 확인하고 이를 통해 응답범주 중 본인의 응답을 선택하여 문항을 수행할 수 있도록 할 수 있다.

이때, 사용되는 멀티미디어 자료로는 이미지, 표, 영상, 소리, 반응형 3D 이미지 등으로 구성될 수 있으며, 이를 통해 기존의 텍스트를 이용한 테스트 뿐만 아니라 다양한 멀티 미디어 자료를 이용한 문항을 생성 및 제공할 수 있다는 점에서 기존의 테스트와 차별화할 수 있다.

이와 같이 문항 저장 및 설정유닛(311)과 응답범주 생성유닛(312)을 통해 생성된 테스트용 문항은 관리자의 선택에 따라 문항 저장 DB(210) 또는 미측정 문항 DB(230)로 이동될 수 있다. 이를 통해 관리자가 입력한 신규 문항이 테스트에 적합한 정도를 판단한 뒤 문항 저장 DB(210)로 옮겨지도록 하거나 관리자의 판단하에 바로 문항 저장 DB(210)에 이동되어 저장될 수 있다.

한편, 본 발명에서는 단순 정답이 있는 문항 뿐만 아니라 피험자의 가치관, 선호도, 성향 등을 조사하기 위한 설문조사도 함께 수행할 수 있는 것으로 관리자는 문항 저장 및 설정유닛(311)과 응답범주 생성유닛(312)을 통해 설문조사용 문항 및 응답범주에 맞게 직접 설정할 수 있어 설문지 형식의 테스트를 생성할 수 있도록 한다.

또한, 문항 저장 및 설정유닛(311)을 통해 문항 저장 DB(210)에 저장된 문항에서 관리자가 직접 원하는 목적(사용목적, 정확성, 목표집단 등)에 맞게 테스트의 문항을 구성할 수 있도록 문항 POOL을 생성하고, 이를 문항 POOL DB(220)에 저장할 수 있도록 한다.

문항 POOL의 경우 관리자가 테스트에 사용할 문항을 문항 저장 DB(210)에서 선별하여 모아놓은 문항 군집으로, 문항 POOL은 여러개로 구성할 수 있으며, 각 테스트 유형별로 다수개의 문항 POOL을 구성할 수도 있다. 또한, 하나의 테스트에 다수개의 문항 POOL을 사용할 수 있으며, 이러한 경우 피험자가 테스트 수행시 다수개의 문항 POOL 중 무작위로 하나의 POOL에 있는 문항이 선별되어 테스트가 생성되거나 다수개의 문항 POOL에 해당되는 모든 문항들 중 무작위로 선별되어 테스트가 생성될 수 있다.

또한, 관리자가 문항 POOL 생성시 통신부(100)의 인터페이스 제공모듈(120)을 통해 제공된 인터페이스를 이용하여 문항 POOL을 생성할 수 있는데, 이때 문항 POOL의 테스트정보함수에 대한 그래프도 함께 생성되어 인터페이스 제공모듈(120)을 통해 관리자에게 테스트정보함수 그래프도 함께 제공될 수 있다. 상기 테스트정보함수에서 '테스트 정보'의 경우 테스트가 갖는 정보를 의미하며, 연속성 상의 피험자의 능력 중 어떤 구간에서 가장 적은 오차로 정확하게 피험자의 능력을 측정하는 지 등에 대한 정보이다. 이러한 테스트정보함수 그래프는 관리자가 문항 POOL 내에서 문항을 추가하거나 제거함에 따라 즉각적으로 변화하는 테스트정보함수를 그래프화하여 관리자에게 안내함으로써 관리자는 자신이 원하는 집단을 정확하게 측정할 수 있는 테스트를 쉽게 구성하여 사용자 편의성 향상과, 일반인도 전문지식 관련 테스트를 쉽게 생성할 수 있다는 효과를 보유한다.

이때, 문항 POOL을 생성하고 이를 문항 POOL DB(220)에 저장하면 추후 인터페이스 제공모듈(120)을 통해 관리자가 문항 POOL 확인시 문항 요약표 등을 함께 제공할 수 있도록 한다.

상술된 문항 저장 및 설정유닛(311)과 응답범주 생성유닛(312)을 통해 문제(지문)와 응답범주가 설정된 문항에 대해서 저장부(200)로 이동하게 되며, 관리자는 추후 테스트 생성유닛(313)을 통해 관리자의 의도에 적합한 테스트를 생성하여 피험자에게 제공되도록 한다.

테스트 생성유닛(313)은 관리자가 테스트 유형을 선택하면 각 테스트 유형에 해당되는 문항 또는 문항 POOL이 선택되고, 테스트의 문항개수를 설정하여 해당 테스트 유형에 대응되는 문항 또는 문항 POOL에서 기설정된 문항개수에 맞춰 임의의 문항들이 혼합되어 테스트가 생성된다. 이때, 관리자는 문항 POOL 내 문항에 대해서 기저장된 순서대로 피험자에게 문항을 제공하거나 관리자가 별도로 문항 제공 순서를 설정할 수도 있고, 임의적으로 문항이 제공될 수 있도록 설정할 수 있다.

또한, 상술된 바와 같이 테스트 유형 및 문항개수 외에도 관리자가 테스트의 난이도 등의 문항 모수를 설정할 수 있으며, 설정된 모수에 해당되는 문제만이 도출되어 테스트를 생성할 수 있도록 한다. 그 외에 응답범주 유형에 따라서도 다지선다형, 단답형, 서술형과 같이 다양한 응답범주가 혼합된 테스트를 생성할 수 있도록 각 응답범주 유형의 비율(또는 출제 개수)을 설정하여 이에 해당되는 테스트를 생성할 수 있도록 한다.

이러한 테스트 생성유닛(313)은 관리자의 설정에 따라 컴퓨터기반 적응형 적응검사(computerized adaptive testing)과 컴퓨터 활용 검사(computer-based testing)를 제공할 수 있으며, 두 검사 형태를 혼합한 혼합형 테스트 또한 제공할 수 있다.

또한, 테스트 생성유닛(313)은 피험자가 테스트 수행시 실시 전 피험자 기기에 디스플레이되는 정보를 선택, 설정할 수 있으며, 이때 디스플레이되는 정보로는 테스트 수행방법, 미리보기, 테스트명, 조직정보, 접속가능시간, 소요시간, 총 문항 수 등이 피험자에게 테스트 수행 전 제공될 수 있도록 한다.

또한, 각 문항유형 별로 균형있게 출제할 수 있도록 문항유형별 문항의 출제비율을 관리자가 테스트 생성시 설정하여 이에 따라 테스트가 생성될 수 있도록 한다. 예를 들어, '고등학생 능력평가(대분류)-수리 가형(중분류)-지수와 로그/행렬/수열(소분류)'로 3가지의 소분류에 해당되는 문항을 통해 총 100개의 문항이 담긴 테스트를 생성하려고 하는 경우 각 소분류별 해당 문항(또는 문항 POOL)에서 임의의 문항들이 선별되어 테스트를 생성할 수 있다. 그러나 3가지의 소분류가 균일하게 출제되는 것이 아닌 하나의 소분류가 대다수를 차지하고, 나머지 2개의 소분류가 소수를 차지하는 테스트를 생성할 우려가 존재한다.

따라서, 본 발명에서는 관리자가 소분류, 즉 문항유형의 하위영역을 고려하여 문항 출제 비율을 설정할 수 있다. 상술된 예시를 통해 관리자는 테스트 생성시 소분류간의 출제비율을 33%, 33%, 34%로 설정하여 테스트를 생성할 경우 해당 테스트에 속하는 문항의 하위영역이 균일하게 출제될 수 있어 테스트의 균형을 맞출 수 있다.

또한, 관리자가 설정값의 선택적 설정 등의 문제로 인해 테스트 생성을 미처 완료하지 못하더라도 이에 대한 내용이 자동으로 저장되도록하고, 추후 관리자가 테스트 생성시 기저장된 테스트들의 테스트 생성의 완성여부(완성/미완성), 진척도 등을 안내할 수 있어 완성된 테스트를 사용하거나 미완성된 테스트를 완료하여 피험자가 수행할 수 있는 완성된 테스트를 생성할 수 있도록 한다.

상술된 테스트 생성유닛(313)을 통해 테스트를 생성하게 되면 관리자는 피험자가 용이하게 테스트를 수행할 수 있도록 피험자가 수행할 테스트에 해당되는 URL을 테스트 URL 생성유닛(314)에 생성할 수 있다.

테스트 URL 생성유닛(314)을 통해 관리자는 URL을 피험자에게 쉽게 전달할 수 있고, 이를 통해 피험자들은 쉽게 웹에 접속하여 바로 테스트를 수행할 수 있도록 한다. 이때 관리자는 테스트 URL 생성유닛(314)을 통해 테스트 URL 생성시 접속시간, 피험자수 등을 설정하여 테스트 수행 가능정도를 한정할 수 있도록 한다.

또한, 외부로 노출되지 않도록 보안 테스트 URL을 생성할 수 있으며, 보안 테스트 URL 생성시 상술된 개인계정 생성모듈(130)과 연동되어 개인계정과 연동되는 보안 테스트 URL을 각각의 피험자에게 전달함으로써 각기 다른 테스트 URL을 통해 웹에 접속한 피험자들은 테스트 URL을 통한 접속과 동시에 개인계정을 통해 피험자의 정보 등이 확인될 수 있으며, 지정된 피험자만이 테스트를 수행할 수 있도록 한정할 수 있어 보안성 등을 향상시킬 수 있다.

피험자/집단 능력 설정유닛(315)은 테스트를 수행할 피험자 또는 피험자 집단의 능력에 대해서 설정함으로써 테스트 생성유닛(313)이 테스트 생성시 상기 생성될 테스트를 수행할 피험자 또는 피험자 집단의 능력에 맞춰 테스트를 생성할 수 있고, 추후 테스트 수행모듈(320)을 통해 응답을 마쳐 완료된 테스트의 결과 도출시 피험자/집단의 능력에 맞게 문항별 점수배분이 이루어질 수 있도록 한다.

이와 같이 테스트를 수행하는 피험자 또는 피험자 집단의 능력의 초기값을 설정하는 동작으로 고정출발검사와 변동출발검사가 존재한다. 변동출발검사는 피험자 개개인의 능력정보를 알고 있을 경우 사용가능하나 고정출발검사는 피험자 개개인의 능력에 대한 정보가 없을 때 사용된다. 그러나 고정출발검사의 경우 능력 초기값을 0 또는 중간값으로 설정하기 때문에 테스트를 수행하는 피험자의 능력 판단에 있어서 정확도가 떨어진다는 불편함이 존재한다. 따라서, 피험자/집단 능력 설정유닛(315)은 피험자 개개인의 능력에 대한 정보가 없더라도 피험자가 속한 피험자 집단의 능력에 대한 정보가 존재하는 경우 이를 초기값으로 하여 개개인의 피험자마다 능력이 설정되어 테스트를 수행할 수 있도록 한다.

테스트 수행모듈(320)은 생성된 테스트를 피험자에게 제공하고, 이를 수행한 피험자의 응답에 따라 테스트 결과를 산출하며, 테스트를 수행한 피험자 또는 피험자 집단의 능력치를 판단할 수 있는 것으로, 테스트 진행유닛(321), 적응 테스트 진행유닛(322), 문항 노출 카운팅유닛(323), 테스트 결과 산출유닛(324), 피험자/집단 능력 판단 유닛(325)을 포함하여 구성된다.

먼저, 테스트 진행유닛(321)은 테스트 준비모듈(310)에서 생성된 테스트를 피험자에게 제공하여 이를 수행하도록 한다. 이때, 관리자는 테스트 진행 시간, 테스트 수행시 총 수행 시간 등을 설정할 수 있으며, 특히 총 테스트 수행 시간 설정시 상기 테스트에 해당되는 각 문항별로 테스트 수행시간을 다르게 설정하여 타당한 총 테스트 수행 시간이 제공될 수 있도록 한다. 따라서, 기설정된 테스트 수행 시간을 초과하는 경우 테스트가 종료되며 피험자는 강제 로그아웃된다.

또한, 테스트 진행시 상술된 바와 같이 테스트 시작 전 테스트 수행방법, 테스트 관련 정보 등 관리자가 의도한 안내사항이 피험자에게 제공되도록 할 수 있다.

또한, 테스트 진행유닛(321)은 피험자가 테스트 수행시 이에 대한 응답을 실시간으로 저장할 수 있다. 따라서, 갑작스럽게 피험자 기기가 멈추거나 서버 오류 등으로 인해 테스트가 갑자기 종료되더라도 피험자가 수행하고 있던 테스트 문항 및 응답에 대해서는 실시간으로 저장되어 추후 재접속을 통해 다시 테스트를 수행할 수 있다.

또한, 테스트 진행유닛(321)은 테스트의 종료 기준이 기저장되어 상기 테스트를 수행중인 피험자가 기저장된 종료 기준에 해당되면 테스트를 종료하고, 피험자가 응답한 결과를 통해 테스트 결과 산출유닛(324)에서 최종 테스트 결과를 산출할 수 있도록 한다.

이때, 테스트 종료기준은 관리자가 테스트 생성유닛(313)을 통해 테스트 생성시 설정할 수 있으며, 피험자가 수행하게 되는 테스트 내 해당문항에 전부 응답하는 경우 외에도 피험자 능력 모수 추정치가 정확한 것으로 판단되는 경우(예, 오차확률이추정치의 오차가 기설정된 값 이하인 것으로 판단될 때), 단순 합격/불합격을 판단하는 테스트의 경우 통계적으로 합격/불합격의 결정이 확실한 경우가 존재한다.

또한, 피험자의 능력치의 신뢰구간과 관리자가 정한 테스트의 기준점을 이용할 수 있다. 예를 들어, 상기 기준점 설정시 합격 점수를 70점으로 설정하는 경우 해당 종료기준은 피험자 능력치의 신뢰구간의 하한이 기준점 70점을 상회하면 합격으로 테스트가 종료되고, 피험자 능력치의 신뢰구간의 상한이 기준점 70점을 하회하면 불합격으로 테스트가 종료될 수 있어 단시간에 테스트를 수행 및 종료할 수 있고, 이를 통해 합격/불합격의 기준점이 명확한 자격증 시험 등에서 효율적으로 사용할 수 있다.

한편, 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템을 이용한 테스트 수행에 익숙치 않은 피험자들은 사용방법을 모르거나 당황하는 경우가 발생하여 실제 본인의 실력에 비해 테스트를 제대로 수행하지 못하여 저조한 테스트 결과를 얻게되며 이는 곧 정확도가 낮은 테스트로 판단될 우려가 존재한다. 또한, 설문조사의 경우 공란이 많이 발생하게 되어 관리자의 목적에 적합하지 못한 테스트 결과를 얻을 수 있다.

따라서, 피험자들의 불안을 줄여주고 테스트 수행방법에 적응하여 피험자의 응답률과 테스트 수행 정확도 등이 향상된 테스트 결과를 얻을 수 있도록 적응 테스트 진행유닛(322)이 테스트 실시 전 적응 테스트를 피험자에게 제공하도록 한다.

적응 테스트 진행유닛(322)은 적응 테스트를 진행하기 위하여 테스트 시작 단계에서 피험자/집단 능력 설정유닛(315)을 통해 피험자 능력의 초기값을 설정하게 되고, 이를 통해 시작 기준을 선택한 후 진행규칙(적응검사에서 피험자마다 각기 다른 문항들로 구성된 개별화된 테스트를 치룰 때 피험자 응답에 따라 다음 문항이 선택되는 방법; 고정문항 선택원리, 변동문항 선택원리 등) 선택하며, 종료 기준을 선택하여 적응 테스트를 생성 및 진행할 수 있도록 한다.

이때, 적응 테스트를 통해 노출되는 문항은 한 문항이 다수의 피험자에게 제공되는 것을 막도록 문항노출관리기능을 수행할 수 있다.

상술된 문항노출관리기능의 경우 초기에 제공되는 문항을 문항의 난이도 및 피험자 능력에 상관없이 저장부(200)로부터 무작위로 제공되는 것으로 관리자가 초기 제공 문항수를 설정할 수 있다. 다른 문항노출관리기능으로는 최대 노출빈도를 제한하는 것으로 5개의 각기 다른 문항이 하나의 문항 POOL에 포함되고, 이러한 문항 POOL을 이용하여 테스트 구성시 최대 노출빈도 제한을 3으로 설정하여 피험자 5명이 적응 테스트를 수행하는 경우 1개의 문항이 피험자 3명에게 노출되면 더이상 그 문항은 다른 피험자 2명에게는 제공되지 않도록 한다. 이때, 한 테스트에 다수개의 문항 POOL을 사용하였더라도 모든 문항 POOL에 위와 같은 문항노출옵션이 적용될 수 있도록 한다.

또 다른 문항노출관리기능은 피험자의 능력을 정확하게 측정할 수 있는 문항 후보군(약 5~6문항)을 선별하고 해당 후보군에서 임의의 단일 문항을 선별하여 피험자에게 제공하는 방식을 이용한다. 이때, 상술된 방식을 이용하기 위해 적응 테스트 시작 구간에서만 사용한다면 몇 개의 문항까지 해당 기능을 사용할 것인지 사용자가 설정가능하며, 적응 테스트에 해당되는 문항 POOL 내에 문항 후보군을 형성할 정도로 문항 수가 충분하지 않은 경우에는 문항노출관리기능 방식은 자동으로 해제되고, 다른 문항 선택원리에 따라 적응 테스트 내 문항이 제공되도록 한다.

한편, 상술된 적응 테스트 진행 유닛(322)의 문항노출관리기능은 테스트 진행 유닛(321)에서도 동일하게 수행될 수 있음은 물론이다.

따라서, 상술된 적응 테스트를 피험자에게 수행하도록 함으로써 피험자에게는 테스트 수행 방법을 익숙하게 하여 실제 테스트 진행시 용이하게 테스트를 수행하도록 안내할 수 있으며, 관리자에게는 실제 테스트 진행 전 해당 피험자의 능력을 판단할 수 있고, 해당 피험자의 능력에 대한 사전정보 존재여부를 판단 후 이에 대응하여 테스트 진행유닛(321)이 시작기준을 선택할 수 있도록 한다.

문항 노출 카운팅유닛(323)은 본 발명에 따른 CAT 기반 통합검사를 수행하는 장치 및 시스템을 통해 피험자가 테스트를 수행하게 되면 테스트 내 피험자에게 노출되는 문항을 카운팅하여 관리할 수 있도록 하는 것이다.

즉, 테스트의 품질 및 타당도를 유지하기 위해서는 하나의 테스트에서 제공될 수 있는 문항이 고르게 제공되어야 하며, 특히 인지검사의 경우 일정 문항이 다수 노출되는 경우 피험자가 이에 대한 정답만을 외워 테스트를 수행하게 되므로 피험자의 상태, 능력과는 관계없이 높은 점수를 얻게될 우려가 존재한다.

따라서, 본 발명에서는 문항 노출 카운팅유닛(323)을 통해 하나의 테스트 내에서 제공될 수 있는 문항(또는 문항 POOL)들을 고르게 제공할 수 있고, 일정 노출도 이상을 갖는 문항에 대해서는 폐기하거나 노출되지 않도록 유도할 수 있다.

문항 노출 카운팅유닛(323)을 통한 문항 카운팅 방법에 대한 예시로, A 테스트가 1년에 3번 실시되는 경우 a문항이 1회 테스트에 사용된다고 해서 노출빈도를 1회 카운팅 하는 것이 아닌, 1회 테스트에서 몇명의 피험자에게 노출되었는지를 카운팅하게 된다. 따라서, A 테스트를 100명이 응시하였고, 상기 A 테스트를 이루는 문항 중 a문항이 50명에게 노출되었다면 노출빈도를 50으로 카운팅하게 된다.

관리자는 문항 저장 및 설정유닛(311)에서 각 문항에 대한 정보 입력시 노출도를 함께 설정할 수 있고, 하나의 문항이 기설정된 노출도에 도달하는 경우 더이상 다른 테스트에 해당 문항이 사용되지 않도록 하고, 자동으로 폐기되거나 이에 대한 내용을 관리자에게 안내할 수 있도록 한다.

이러한 문항 노출 카운팅유닛(323)은 각각의 문항 노출 빈도를 카운팅하고 이를 문항 저장 DB(210)에 함께 저장하도록 하며, 일정 문항이 과도하게 피험자들에게 제공되지 않도록 문항 노출도를 관리할 수 있는 기능을 수행할 수 있다.

상술된 테스트 진행유닛(321)을 통해 피험자가 테스트를 진행하게 되면 각 문항별 응답내용에 따라 테스트 결과 산출유닛(324)에서 테스트 결과를 산출하게 된다.

이러한 테스트 결과는 원점수, 합격/불합격 이외에 t변환점수, 능력 추정값의 오차, 일반 시험점수(예, 100점 만점에 70점), 후술된 피험자/집단 능력 판단 유닛(325)을 통해 분배집단을 형성할 수 있도록 분배의 기준이 되는 점수에 따른 해당 분배집단 결과 등으로, 테스트 수행시 각 피험자별로 상술된 테스트 결과가 생성되며 이는 검사결과 DB(240)로 저장되어진다.

또한, 테스트 결과 산출유닛(324)을 통해 각 피험자별로 테스트 결과가 발표되면 관리자는 이를 확인할 수 있고, 이를 통해 테스트 결과를 다운로드 할 수 있다.

이때 다운로드 가능한 테스트 결과의 경우 상술된 테스트 관련 정보 외에도 피험자가 테스트 수행시 응답에 관한 정보(풀이시간, 문항별 선택응답 등)과 피험자의 정보(이름, 이메일, 소속 등)와 테스트 내 문항 정보(문항모수, 영역분류, 정보함수), 응시인원 등이 함께 다운로드 될 수 있다. 또한, 다운로드시 관리자는 원하는 검사결과 정보만을 선택하여 다운로드(Excel, word 문서 등) 받을 수 있고, 이를 프린트하여 테스트 결과지나 합격증 형태로 피험자에게 제공할 수 있다.

한편, 테스트 결과 산출유닛(324)을 통해 산출된 테스트 결과는 검사결과 DB(240)에 저장되며 추후 관리자는 검사결과 DB(240)에서 다운로드를 원하는 테스트 결과를 따로 선정하여 다운로드할 수 있다.

또한, 테스트 결과 산출유닛(324)은 문항 입력시 관리자가 함께 저장한 정답 정보와 비교하여 채점 및 테스트 결과를 산출할 수 있으나, 관리자가 직접 피험자의 응답 정보를 확인하고 이에 따라 직접 채점하여 테스트 결과를 산출할 수 있다. 예를들어, 정답기재가 어려운 논술시험 등의 경우 관리자가 직접 피험자 응답을 확인 및 판단하여 테스트 결과를 저장 및 산출할 수 있도록 한다.

한편, 테스트 유형 중 심리검사 및 질환 등을 판단하기 위한 진단용 검사는 별도의 채점방식이 정해져 있으므로 관리자는 상술된 별도의 채점방식을 문항 저장 및 설정유닛(311)을 통해 유형별 문항 저장시 채점방법도 함께 저장할 수 있도록 하고, 테스트 결과 산출유닛(324)은 각 테스트 유형별 채점방법을 적용하여 테스트 결과를 산출할 수 있도록 한다.

또한, 최종 도출되는 테스트 결과는 피험자/집단 능력 판단 유닛(325)을 이용하여 개개인의 피험자 능력을 판단하여 이를 바탕으로 테스트 결과를 도출할 수 있으며, 더 나아가 하나의 테스트를 수행한 피험자 집단의 능력을 판단하여 이에 따라 해당 피험자 집단의 능력을 관리자가 판단하고, 각 집단별 특성, 정답률 등을 확인할 수 있도록 한다.

이러한 테스트 결과 산출유닛(324) 및 피험자/집단 능력 판단 유닛(325)을 통한 테스트 결과 산출방법은 다음과 같다.

피험자/집단 능력 판단 유닛(325)은 피험자 능력 추정을 위해 3가지의 방식을 사용하는데 첫번째 방법은 최대우도추정법(maximum likelihood estimation, 이하 MLE)을 사용하며, 두번째 방법으로는 베이지안 방법을 적용한 사후평균추정법(expected a posteriori, 이하 EAP)을 사용하고, 세번째 방법으로는 앞선 두가지 방법을 혼합한 방법을 이용한다.

이 중 세번째 방법인 혼합 추정 방법의 경우 관리자가 설정한 초기 제공 문항 수만큼은 EAP로 추정한 후 이후 과정은 MLE를 이용한 방식으로, 한 문제라도 틀리거나 한 문제라도 맞추는 반응이 나올때 까지는 EAP로 추정하며, 이후에는 MLE로 추정하는 방식이다.

특히 첫번째 방법인 MLE 경우 높은 정확성을 보이지만 테스트 시작에서 종료까지 전부 MLE 방법으로 피험자의 능력을 추정하는 경우 테스트에서 모든 문항을 다 맞추거나 틀린 피험자가 존재할 시 해당 피험자의 능력을 추정하지 못한다는 불편함이 존재한다. 따라서, 이러한 문제를 해결하기 위해 MLE, EAP가 혼합된 추정법을 이용하여 피험자 개별의 능력을 판단하고, 이를 통해 테스트 결과를 산출할 수 있도록 한다.

한편, 피험자/집단 능력 판단 유닛(325)은 상술된 기능 외에도 상기 테스트 결과 산출유닛(324)을 통해 얻게된 피험자의 테스트 결과를 이용하여 피험자의 능력을 판단할 수 있으며, 하나의 테스트에 다수의 피험자가 응시하는 경우 피험자 집단의 전체의 능력을 판단하거나 각 피험자의 능력별로 피험자 집단 내에서 분별할 수 있다.

즉, 피험자 개별적으로 단순히 합격/불합격의 여부를 판단하는 것이 아닌 동일 테스트를 수행한 피험자 집단 내에서 상기 피험자/집단 능력 설정유닛(315)에서 설정된 분별값에 따라 하나의 피험자 집단 내에서 기설정된 분별집단으로 피험자들을 분배할 수 있다.

따라서, 피험자/집단 능력 판단 유닛(325)을 통해 하나의 테스트를 수행하는 다수의 피험자가 포함된 피험자 집단 자체의 능력, 성향 등의 정보를 파악할 수 있고, 기설정된 분별값에 따라 하나의 피험자 집단을 다수의 분별집단으로 피험자별 테스트 결과를 통해 분별할 수 있다.

이는 피험자들을 학교, 학원 등의 분반을 위한 시험이나 심리 및 질환 상태의 정도에 따라 위험도를 분별값으로 하여 피험자 집단을 다수의 분별집단으로 분배할 수 있다. 예를 들어, 학교나 학원 등에서는 초급반, 중급반, 고급반으로 분별집단을 설정하고 이와 연관된 하나의 테스트를 수행한 피험자 집단을 분배할 수 있고, 우울증 환자의 경우 테스트 결과에 해당되는 우울 점수에 따라 일상 우울, 준임상우울, 임상우울 등의 질환정도로 나눌 수 있다.

피험자/집단 능력 판단 유닛(325)에 따라 나눠진 분별집단은 후술된 연동정보 제공유닛(342)을 통해 각 피험자가 해당되는 분별집단에 따라 관련 정보를 얻을 수 있다.

신규 문항 관리모듈(330)의 경우 테스트에 포함하기에는 다소 평가 정확도, 문항 모수 등이 존재하지 않는 신규 문항을 관리하는 것으로, 적합성 평가유닛(331), 모수측정유닛(332), 피드백 관리유닛(333), 리워드 처리유닛(334)으로 포함되어 구성된다.

적합성 평가유닛(331)은 관리자에 의해 신규 문항에 대하여 문항 저장 DB(210)로 분류되기 적합한지 여부가 평가되는 것으로, 관리자는 문항 저장 DB(210)에 기저장된 문항들과 신규문항이 동일 또는 유사여부, 오타나 비속어 등의 존재여부 등을 판단하고, 평가된 신규문항이 적합하다고 평가되는 경우 모수측정유닛(332)을 통해 신규 문항의 모수가 측정되어지고, 부적합 판단을 받는 경우 미측정 문항 DB(230)에서 삭제되어질 수 있다.

모수측정유닛(332)은 적합성 평가유닛(331)을 통해 적합하다고 판단된 신규 문항에 대한 모수(예, 변별도, 난이도, 추측도 등)를 측정하되, 테스트 수행 시 종료기준을 만족하면 임의의 신규 문항을 추가로 제시하여 피험자의 신규 문항에 대한 응답 정보를 획득하고, 획득한 응답 정보에 기반하여 신규 문항에 모수를 측정하는 역할을 수행한다. 이때 모수측정유닛(332)이 모수 측정하는 신규 문항의 경우 일정 기준치만큼 데이터가 확보되기 전까지 계속하여 모수 측정을 반복하게 된다.

따라서, 모수측정유닛(332)을 통해 일정 이상의 모수가 확보된 문항으로 판단되면 문항 저장 DB(210)로 저장되어 향후 테스트 생성시 테스트용 문항으로 추출될 수 있다.

피드백 관리유닛(333)은 모수측정유닛(332) 및 적합성 평가유닛(331)을 통해 문항 저장 DB(210)로 이동한 신규 문항이 기설정된 횟수만큼의 피드백 정보를 수집하여 문항품질을변별력 수치를 산출할 수 있도록 한다. 상기 피드백 정보는 피험자가 신규 문항 수행시 정답률 등을 이용하게 된다. 예시로 피험자의 정답률이 100%인 문항은 정답률이 30%인 문항에 비해 문항품질변별력이 떨어지는 것으로 판단된다. 또한, 해당 문항을 수행한 피험자 집단별로 문항품질이변별력 수치가 다르게 평가될 수 있다.

따라서, 피드백 관리유닛(333)을 통해 문항품질이변별력 수치가 일정 이하로 판단되는 문항의 경우 관리자에게 안내하여 삭제 또는 보정되도록 유도할 수 있다.

리워드 처리유닛(334)은 피드백 관리유닛(333)에서 평가한 문항품질이변별력 수치가 높은 신규 문항을 제시한 관리자 계정에 기설정된 형태의 리워드를 제공하는 것으로, 다수의 관리자 계정이 존재하는 경우 각각의 관리자가 리워드를 통해 경쟁의식, 목적의식 등이 생겨 질 좋은 문항을 생성할 수 있도록 유도할 수 있다.

사후관리 지원모듈(340)은 테스트를 수행한 피험자들을 테스트 결과를 통해 능력을 계정별로 판단하는 계정 설정유닛(341)과, 테스트 결과를 통해 각 피험자에게 필요하거나 제공되어야 하는 연동정보를 피험자별로 제공할 수 있는 연동정보 제공유닛(342)을 포함한다.

계정 설정유닛(341)은 테스트 결과에 대응하여 피험자들을 유사 유형별로 그룹화하되, 테스트 유형에 따라 피험자들을 최종 테스트 결과(피험자 능력) 등으로 유사 유형을 설정할 수 있다.

연동정보 제공유닛(342)은 상술된 계정 설정유닛(341)을 통해 유사 유형별로 제공되어야 하는 연동정보를 제공하는 것으로, 각 유사 유형별 취약한 문항 유형에 따라 관련 문항과 관련된 학습 정보를 제공할 수 있으며, 심리검사나 질환검사 유형의 테스트를 수행한 유사 유형의 경우 유사 유형별 필요한 치료 및 상담정보를 제공할 수 있다.

도 7은 본 발명에 따른 신규 문항 관리의 순서를 도시한 순서도를 통해 신규 문항을 입력하고 이를 통해 문항 저장 DB(210)로 저장되는 순서를 설명하도록 한다.

관리자가 신규 문항 입력하여 입력된 신규 문항이 미측정 문항 DB(230)로 저장되는 동작(1001)을 수행하면 상기 미측정 문항 DB(230)로 저장된 신규 문항의 적합성을 평가(1002)하게 된다. 이후 신규 문항의 적합성이 일정 기준을 통과하는지 여부를 판단(1003)하게 되고, 통과하는 경우 모수측정유닛(332)을 통한 신규 문항의 모수를 측정을 수행(1004)하는 반면 상기 1003 동작에서 통과하지 못하는 신규문항의 경우 미측정 문항 DB(230)에서 해당 신규문항을 삭제하는 동작(1005)을 수행하게 된다.

이후 기설정된 모수 기준 통과여부를 판단하는 동작(1006)을 지속적으로 수행하며, 1004 동작을 거친 신규문항의 모수가 기설정된 모수 기준을 통과하는 경우 문항 저장 DB(210)로 저장되는 동작(1007)이 수행된다.

따라서, 상술된 순서를 거쳐 관리자가 입력하는 신규 문항은 적합성 및 모수가 기설정된 기준 이상일 경우 테스트에 사용될 수 있는 문항으로 저장부(200)에 저장되어질 수 있다.

도 8은 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템을 수행하는 웹의 메인 화면 및 메인 인터페이스를 나타낸 것이며, 도 9 내지 13은 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템에서 제공하는 인터페이스를 통해 테스트 등록 실시예를 나타낸 것이다.

설명에 앞서, 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템을 수행하는 인터페이스에 '시험'으로 기재되어 있으나, 본 명세서에서 기재된 검사, 테스트 등의 의미와 동일함을 미리 밝힌다.

관리자가 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템이 구현된 웹에 로그인하면 도 8과 같은 메인 화면 및 인터페이스가 제공된다.

첫 화면에서는 현재 등록중인 시험목록이 관리자에게 제공되고, 왼쪽 측면에는 테스트의 '등록' 및 '관리'를 수행할 수 있는 인터페이스와, 테스트에 포함될 수 있는 신규 문항을 입력 및 관리할 수 있는 '문항은행' 및 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템을 관리할 수 있는 '시스템 관리'가 인터페이스로 제공되어 관리자는 해당 인터페이스를 활성화하여 본인의 목적에 따라 동작을 수행할 수 있다.

이 중 도 9와 같이 '등록'-'시험등록' 인터페이스를 활성화하여 관리자는 새로운 시험을 등록할 수 있으며, 이는 5단계로 이루어져 시험이 등록될 수 있는데 이를 도 9 내지 13을 통해 설명하도록 한다.

먼저, 시험명, 시험에 대한 내용, 시행사 정보, 응시자(피험자) 정보, 응시가능기간 설정과 시험 소요시간을 입력할 수 있다. 응시자(피험자)는 1단계에서 설정한 응시가능기간 외의 시간에는 시험에 접근할 수 없도록 설정할 수 있다.

이때, 관리자는 시험에 응시할 응시자(피험자)를 한정할 수 있으며, 응시자에 대한 정보를 업로드하여 해당 시험에 응시자 정보가 업로드된 응시자(피험자)만이 시험에 접근할 수 있도록 할 수도 있다.

이후 도 10과 같이 시험등록 2단계에서는 시험에 사용할 문항을 선택하는 단계이며, 문항은행에 기저장된 문항을 검색하거나 관리자가 생성한 문항 POOL을 검색하여 이를 사용할 수 있도록 한다. 이때, 작업의 편의성을 위해 문항 POOL을 검색 및 선택하여 입력하는 것이 바람직하나 이에 한정된 것은 아니다.

관리자는 '찾아보기' 인터페이스를 클릭(또는 터치)하여 문항 POOL DB(220)에 저장된 문항 POOL을 선택할 수 있으며, 해당 문항 POOL을 선택 및 입력하는 경우 추가적으로 입력해야하는 부분인 문항출제유형, 문항범주, 문항모수 추정모형 등이 자동으로 입력될 수 있도록 한다.

도 11과 같이 시험등록 3단계에서는 시험에 제시할 문항 수, 응시자(피험자) 능력 추정모형, 시험종료 규칙 등을 설정할 수 있다. 이때, '초기 문항 수' 인터페이스의 경우 시험 초기에 제공할 문항수를 수정하는 옵션으로 응시자(피험자)의 능력을 알 수 없는 상황에서 초기 몇개의 문항으로 응시자(피험자)의 능력 수준을 추정할 것인지 설정할 수 있다.

'최소 제공 문항 수'는 시험에서 최소로 제공할 문항 수를 설정하고, '최대 제공 문항 수'는 시험에서 최대로 제공할 문항 수를 정할 수 있도록 관리자에게 제공되는 인터페이스이다.

'최대 노출빈도 제한'은 문항이 해당 시험에서 몇 번 제공될지를 정하는 옵션으로 상술된 문항 노출 카운팅유닛(323)과 연동되어 문항별로 노출빈도를 관리자가 설정할 수 있도록 한다.

또한 '예비문항 사용여부'는 상술된 미측정 문항 DB(230)에서 시험 등록시 응시자(피험자)에게 노출될 수 있는 신규 문항의 개수를 설정하는 인터페이스로 이를 통해 모수측정유닛(332)이 노출되어 응시자(피험자)가 응답한 신규문항에 대해서 모수를 측정할 수 있다.

'균형출제 사용여부'는 앞선 2단계에서 입력된 문항 POOL에 속하는 문항들의 하위유형별로 균형있는 출제를 수행하도록 할 것인지(균형출제 사용), 아니면 문항 POOL 내에서 무작위로 문항들이 선별되도록 하는 것인지(균형출제 미사용)를 관리자가 선택할 수 있도록 하는 인터페이스이다.

'능력(θ) 추정모형'은 관리자가 어떤 추정방법으로 응시자(피험자)의 능력을 추정할 지 설정할 수 있는 인터페이스로, CBT는 두 가지, CAT는 세 가지 옵션이 있다. CBT는 시험가중치 문항가중치가 있으며, 시험가중치는 일반적으로 사용하는 정답은 1점, 오답은 0점으로 총점을 응시자 능력으로 사용한다. 문항가중치는 문항모수를 기반으로 문항별로 배점을 다르게 하여 총점을 구하는 방식이다. 두 방법 모두 총점을 응시자 능력으로 사용한다는 점이 같다. CAT의 세 가지 옵션은 상술된 MLE, EAP 및 상기 MLE와 EAP의 혼합추정법으로 구성된다.

'종료규칙' 인터페이스는 시험의 종료 기준을 설정하는 것으로, '최대문항'을 설정하는 경우 최대 제공되는 문항의 수에 응시자(피험자)가 모두 응답하여야 종료되는 것이며, '오차'의 경우 기응시자(피험자)의 능력 추정의 오차가 정해둔 수치에 도달하면 종료되는 것이다.

도 12는 시험등록 4단계 도달시 제공되는 화면(인터페이스)이며, 응시자(피험자)가 테스트 결과 산출유닛(324)을 통해 산출된 테스트 결과를 조회할 수 있는 기간을 설정하는 '결과조회기간' 인터페이스, 응시자(피험자)이 테스트 결과 공개여부 및 테스트 결과 점수 표시 형식을 설정할 수 있는 '점수표시 형식' 인터페이스, 응시자(피험자)의 합격/불합격 제공 여부를 설정할 수 있는 '합격/불합격 표기' 인터페이스, 이러한 테스트 결과를 조회가 가능한 계정으로만 권한을 선택적으로 제공할 수 있는 '조회가능권한' 인터페이스가 제공된다.

마지막 시험등록 5단계는 도 13과 같이 응시자에게 보여줄 정보를 선택할 수 있으며, '응시자 홈스크린' 및 '시험안내 페이지' 인터페이스를 제공한다.

먼저, '응시자 홈스크린'의 경우 시험 속성에 관한 정보들을 선택적으로 공개할 수 있으며, 시험안내 페이지는 본 발명에 따른 CAT 기반 통합검사 수행 장치 및 시스템을 이용하여 테스트 수행시 안내사항을 선택하는 것이다.

특히, CAT의 경우 문항 응답을 수정할 수 없기 때문에 이에 대한 안내를 응시자(피험자)에게 필수적으로 수행함으로써 정확도 높은 테스트 결과를 산출할 수 있도록 한다.

도면과 명세서에서 최적의 실시예들이 개시되었다. 여기서, 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면, 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 통신부
200: 저장부
300: 제어부

Claims (1)

1. CAT 기반 통합검사를 수행하는 장치에 있어서,
   관리자로부터 테스트용 문항 정보를 수집 및 피험자 기기로 테스트를 전송하기 위한 데이터 통신을 수행하는 통신부;
   상기 수집된 테스트용 문항 정보와, 상기 피험자 기기를 통해 피험자가 수행한 테스트 결과 정보를 저장하는 저장부; 및
   상기 수집된 테스트용 문항 정보를 선별하여 상기 테스트를 생성 및 피험자에게 제공하여 상기 테스트 답변을 통해 CAT 기반 통합검사를 수행하는 제어부;를 포함하며,
   상기 제어부는,
   상기 테스트용 문항 정보를 저장 및 설정하고, 피험자에게 제공할 상기 테스트를 생성하며, 상기 테스트의 응답범주를 설정하는 테스트 준비모듈; 및
   피험자에게 상기 테스트 준비모듈을 통해 생성된 테스트를 수행하도록 제공하고, 테스트 수행 결과를 판단 및 산출하는 테스트 수행모듈;을 포함하고,
   상기 테스트 준비모듈은,
   관리자로부터 테스트용 문항을 입력받고, 상기 테스트용 문항의 유형, 모수를 설정하는 문항 저장 및 설정유닛;
   상기 테스트용 문항의 응답범주를 설정하는 응답범주 설정유닛;
   상기 문항 저장 및 설정유닛과 상기 응답범주 설정유닛을 통해 상기 저장부에 저장된 문항 또는 문항 POOL을 선택하고, 테스트 수행 실시 전 상기 피험자 기기로 테스트 관련 정보를 디스플레이시키며, 기설정된 문항유형별 문항의 출제 비율에 따라 테스트를 생성하는 테스트 생성유닛; 및
   상기 테스트 생성유닛에서 생성된 테스트를 수행하는 피험자 또는 피험자 집단의 능력을 설정하여 상기 생성된 테스트의 난이도를 제어하고, 상기 테스트 수행모듈의 점수 배분을 피험자 또는 피험자 집단의 능력에 따라 제어할 수 있는 피험자/집단 능력 설정유닛;을 포함하며,
   상기 테스트 수행모듈은,
   상기 테스트 준비모듈에서 생성된 테스트를 피험자에게 제공하고, 상기 테스트 내 문항에 대한 피험자의 응답을 확인하는 테스트 진행유닛;
   피험자가 상기 생성된 테스트를 수행하기 전에 테스트 유형 및 수행방법을 파악할 수 있는 적응 테스트를 생성 및 제공하고, 상기 적응 테스트를 수행한 피험자의 응답을 수집할 수 있는 적응 테스트 진행유닛;
   상기 테스트용 문항 정보의 노출도를 설정하고, 피험자가 테스트 수행시 피험자에게 노출된 문항의 노출횟수를 카운팅하며, 상기 노출횟수가 상기 노출도에 도달하는 경우 해당 문항이 테스트용 문항으로 사용되는 것을 정지하는 문항 노출 카운팅유닛;
   상기 테스트 진행유닛에서 수집된 피험자의 응답을 바탕으로 테스트 수행 결과를 산출하는 테스트 결과 산출유닛; 및
   상기 테스트 결과 산출유닛에서 생성된 테스트 결과에 따라 피험자 또는 피험자 집단의 능력을 판단하는 피험자/집단 능력 판단유닛;을 포함하고,
   상기 저장부는 관리자가 입력한 문항을 저장하는 문항 저장 DB; 상기 문항 저장 DB에 저장된 문항으로 이루어진 상기 문항 POOL이 저장되는 문항 POOL DB; 상기 제어부에서 피험자가 수행한 테스트 결과, 상기 피험자 정보 및 상기 피험자가 수행한 테스트 정보가 저장되는 검사결과 DB; 및 관리자가 입력한 신규 문항을 저장하는 미측정 문항 DB;를 포함하며,
   상기 테스트 준비모듈은 상기 문항 저장 DB에 저장된 문항 중 유사한 문항들을 유형별로 선별하여 원하는 검사를 구성하기 위해 선별한 문항들로 상기 문항 POOL을 생성할 수 있고,
   테스트 생성시 생성할 테스트 유형에 따라 관리자가 선택한 상기 문항 POOL DB에서 문항 POOL을 단일 또는 다수개를 테스트에 연동하고,
   상기 응답범주 생성유닛은,
   하나의 문항에 서로 다른 복수의 응답범주를 연동하여 꾸러미 문항을 제공하고,
   하나의 문항에 서로 다른 복수의 응답범주 중 하나를 선택적으로 설정하여 동일한 문항에 대한 난이도를 조절하고,
   상기 복수의 응답범주는,
   이분형, 다지선다형, 단답형, 및 서술형을 포함하고,
   상기 피험자/집단 능력 판단 유닛은,
   복수의 문항이 순차적으로 제공되는 과정에서, 피험자가 첫번째 문항의 정답을 맞춘 이후 최초로 정답을 맞추지 못한 문항이 발생할 때까지 사후평균추정법(Expected A Posteriori)을 통해 피험자의 능력을 판단하고, 상기 피험자가 최초로 정답을 맞추지 못한 문항이 발생한 이후에는 최대우도추정법(Maximum Likelihood Estimation)을 통해 피험자의 능력을 판단하고,
   복수의 문항이 순차적으로 제공되는 과정에서, 피험자가 첫번째 문항의 정답을 맞추지 못한 이후 최초로 정답을 맞춘 문항이 발생할 때까지 상기 사후평균추정법을 통해 피험자의 능력을 판단하고, 상기 피험자가 최초로 정답을 맞춘 문항이 발생한 이후에는 상기 최대우도추정법을 통해 피험자의 능력을 판단하는 것을 특징으로 하는 CAT 기반 통합검사 수행 장치.