KR102175451B1 - 문항반응이론 기반의 적응검사 수행 장치 및 시스템 - Google Patents
문항반응이론 기반의 적응검사 수행 장치 및 시스템 Download PDFInfo
- Publication number
- KR102175451B1 KR102175451B1 KR1020180117660A KR20180117660A KR102175451B1 KR 102175451 B1 KR102175451 B1 KR 102175451B1 KR 1020180117660 A KR1020180117660 A KR 1020180117660A KR 20180117660 A KR20180117660 A KR 20180117660A KR 102175451 B1 KR102175451 B1 KR 102175451B1
- Authority
- KR
- South Korea
- Prior art keywords
- test
- item
- unit
- information
- question
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 316
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 115
- 230000004044 response Effects 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000006978 adaptation Effects 0.000 claims description 11
- 201000010099 disease Diseases 0.000 claims description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 6
- 238000013215 result calculation Methods 0.000 claims description 5
- 238000009223 counseling Methods 0.000 claims description 4
- 238000013100 final test Methods 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 208000021384 Obsessive-Compulsive disease Diseases 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 실시 예에 따른 문항반응이론 기반의 적응검사를 수행하는 장치는 테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행하는 통신부, 소정의 개수 이상의 테스트용 문항 정보를 문항 은행에 분류하여 저장하는 저장부 및 테스트 요청에 대응하여 문항반응이론 기반의 적응검사를 수행하는 제어부를 포함하되. 상기 제어부는 상기 문항 은행 내에서 피험자의 예상 능력치에 대응하는 문제를 선택하여 제시하는 방식으로 적응검사를 진행하는 테스트 수행부, 외부에서 획득된 신규 문항에 대한 문항 모수를 측정하며 상기 문항 은행으로의 문항 등록 여부를 평가하는 테스트 준비 지원부를 포함하는 것을 특징으로 한다.
Description
본 발명은 문항반응이론에 기반한 적응검사를 수행하기 위한 장치 및 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 의학교육 내지는 심리검사를 위해 사용되는 적응검사를 수행하는데 요구되는 장치 및 시스템에 관한 것이다.
검사 도구를 분석하는 이론을 검사 이론이라 하는데, 검사이론은 크게 고전검사이론과 문항반응이론으로 구분된다. 고전검사 이론은 피험자의 능력을 추정할 때, 같은 문항이라 하더라도 피험자가 속한 집단의 수준에 따라 다른 결과가 나올 수 있다. 즉, 검사의 난이도 에 따라 피험자의 능력이 달리 추정됨으로 많은 문제점을 지적받아왔다.
이에 비해 문항반응 이론은 피험자 집단의 특성이 문항 난이도, 문항 변별도, 문항 추측도에 영향을 주지 않으며, 검사도구의 특성이 어떠하던지 상관없이 피험자의 능력을 추정하면 같은 결과가 나오는 검사이론이다. 이러한 문항 반응 이론을 적용한 검사 방식은 다양한 분야에서 개발되고 실용화되고 있다.
한편 문항반응이론과 관련된 선행 문헌은 공개특허공보 10-2006-0081979호(CAT 기반의 문제은행시스템을 이용한 독서능력급수산정 방법 및 시스템)이 있다.
본 발명은 심리 검사와 같이 다양한 분야에서의 적응검사를 수행하기 위한 목적이 있다.
본 발명의 다양한 실시 예는 문항 반응 이론을 적용한 적응검사를 수행함에 있어 문항 은행을 구성하는 문항을 다양한 출제자 계정으로부터 손쉽게 수신하여 추가하며, 문항 은행에 추가된 신규 문항의 모수 측정을 보다 간편하게 수행할 수 있도록 하는 방법을 제공하는 데 목적이 있다.
본 발명의 실시 예에 따른 문항반응이론 기반의 적응검사를 수행하는 장치는 테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행하는 통신부, 소정의 개수 이상의 테스트용 문항 정보를 문항 은행에 분류하여 저장하는 저장부 및 테스트 요청에 대응하여 문항반응이론 기반의 적응검사를 수행하는 제어부를 포함하되. 상기 제어부는 상기 문항 은행 내에서 피험자의 예상 능력치에 대응하는 문제를 선택하여 제시하는 방식으로 적응검사를 진행하는 테스트 수행부, 외부에서 획득된 신규 문항에 대한 문항 모수를 측정하며 상기 문항 은행으로의 문항 등록 여부를 평가하는 테스트 준비 지원부를 포함하는 것을 특징으로 한다.
본 발명의 다양한 실시 예는 다양한 문항의 모수를 측정하기 위해 별도의 시간과 비용을 투입하는 대신 실제 적응검사를 수행의 마지막 단계에서 사용자 능력 모수 측정에 반영되지 않는 추가 테스트를 수행하므로 간편하게 문항 모수를 측정할 수 있는 효과가 있다.
본 발명의 다양한 실시 예는 적응 검사 결과에 대응하여 학습 및 치료 등의 사후관리에 대한 정보를 연게하여 제공하는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 적응검사 수행 장치인 서버의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 테스트 수행부의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 테스트 준비 지원부의 세부 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 사후관리 지원부의 구성요소를 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 적응검사 동작의 순서를 도시한 순서도이다.
도 6은 본 발명의 실시 예에 따른 신규 문항 추가를 위한 적합성 평가 동작의 순서에 대하여 도시한 순서도이다.
도 7은 본 발명의 실시 예에 따른 신규 문항 추가 동작의 순서를 도시한 순서도이다.
도 2는 본 발명의 실시 예에 따른 테스트 수행부의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 테스트 준비 지원부의 세부 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 사후관리 지원부의 구성요소를 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 적응검사 동작의 순서를 도시한 순서도이다.
도 6은 본 발명의 실시 예에 따른 신규 문항 추가를 위한 적합성 평가 동작의 순서에 대하여 도시한 순서도이다.
도 7은 본 발명의 실시 예에 따른 신규 문항 추가 동작의 순서를 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어'있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어'있다거나 '직접 접속되어'있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 구성요소들을 설명하기에 앞서, 본 발명의 실시 예에 따른 장치 및 시스템에서 수행되는 적응검사에 대하여 간략히 설명하기로 한다.
적응검사는 크게 다음 3가지 과정으로 구성될 수 있다.
먼저, 사전에 문항에 대한 모수를 추정하여 데이터베이스에 입력하는 과정이다. 이 모수 추정 동작은 문항반응이론에 따라 하고, 사전 문항은 지필고사(paper and pencil testing) 또는 셈틀기반검사(computer-based testing)결과를 가지고 한다. 이 경우 모수 추정에 필요한 일정 수 이상의 수험생이 있어야 한다. 대게 일모수로 추정할 때는 80명 이상, 이모수일때는 200명 이상, 삼모수일때는 500명 이상이 되어야 추정을 안정되게 할 수 있다. 또한 여러 학교에서 시행한 문항에 대하여 동등화 과정을 거쳐 문항모수를 새로 추정하고 데이터베이스에 입력할 수 있다.
두번째는, 수험생이 화면 앞에서 문항을 풀 때 적절한 모수의 문항을 알고리즘에 따라 제시하는 과정이다. 이 알고리즘에는 다양한 방법이 있는데, 일 예는 어떤 문항을 수험생이 맞히거나 틀리면 그 수험생의 능력모수로 맞힐 확률이 소정의 수치(예, 50%)인 새 문항을 제시하는 것이다. 이와 같은 방법으로 계속 진행하여 일정 문항 수를 넘기면 능력 모수 추정 오차가 기 설정된 값(예, 0.001) 또는 기 설정된 값 이하로 정밀한 추정을 하게 된다. 또한 어떤 문항으로 시험을 시작하고, 언제 능력모수 추정을 마치고 시험을 중단할지 정하는 알고리즘도 이에 포함될 수 있다.
셋째, 수험생의 능력 모수를 화면에 출력하여 최종 결과를 제시하는 과정이 있다. 세번째 과정은 시험을 마친뒤 즉시 확인하게 할 수도 있고 또는 일정 시간 뒤에 통보할 수도 있다.
이러한 적응검사에 있어서 수험생은 서버에서 작동하는 알고리즘에 대하여는 알지 못하더라도 화면에 나오는 문항을 계속 풀다가 어느 시점이 되면 자동으로 문항 화면이 닫히고, 다 풀었다는 알림과 함께 테스트를 종료할 수 있다. 이러한 적응검사 방식을 통한 능력 모수 측정 방법에서는 많은 문제를 풀지 않아도 되므로 대개 빠른 시간 안에 시험을 마칠 수 있다.
이하에서는, 본 발명의 실시 예에 따른 적응검사를 수행하는 서버의 구성 및 그에 따른 동작에 대한 설명을 기술하기로 한다.
도 1은 본 발명의 실시 예에 따른 적응검사 수행 장치인 서버의 구성을 도시한 블록도이다.
도 1에서 도시되는 바와 같이 본 발명의 실시 예에 따른 상기 서버는 통신부 110, 저장부 120, 제어부 130를 포함하여 구성될 수 있다. 그리고 상기 저장부 120는 문항 은행 DB 121, 미측정 문항 DB 122를 포함하여 구성될 수 있고, 상기 제어부 130는 테스트 수행부 131, 테스트 준비 지원부 132, 사후관리 지원부 133을 포함하여 구성될 수 있다.
먼저 상기 통신부 110는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP)망일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 실시 예에 따른 상기 통신부 110는 테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행할 수 있다.
상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
본 발명의 실시 예에 따른 상기 저장부 120는 문항은행 DB 121, 미측정 문항 DB 122를 포함하여 구성될 수 있다. 먼저 상기 문항은행 DB 121는 적응검사를 수행할 시 제시되는 문항들의 전체 정보를 포함하고 있을 수 있다. 상기 문항 은행 DB 121에는 적응검사에 제시될 테스트용 문제 및 정답 자료, 각 문항에 대한 모수 정보(변별력 모수, 난이도 모수, 추측도 모수)가 함께 저장될 수 있다. 상기 문항 은행 DB 121에 존재하는 문제들은 적응검사 수행 시 난이도, 변별도 등의 모수 정보에 따라 적응검사를 진행하고 있는 피험자의 수준에 대응하여 추출될 수 있다.
상기 미측정 문항 DB 122는 출제자에 의해 서버로 제공된 신규 문항들을 분류하여 저장하는 DB를 의미할 수 있다. 상기 미측정 문항 DB 122에 포함되는 문항들은 출제자에 의해 서버로 전달되기는 하였으나, 변별력, 난이도, 추측도 등의 모수 측정이 완료되지 않은 상태의 문항을 의미할 수 있다. 그리고 상기 미측정 문항 DB 122에 존재하는 문항들 중 소정의 피드백 데이터가 확보되어 정규 적응검사용으로 사용 가능한 것으로 판단된 문항은 문항 은행 DB 121로 전송될 수 있다.
상기 제어부 130는 테스트 수행부 131, 테스트 준비 지원부 132, 사후관리 지원부 133를 포함하여 구성될 수 있다.
먼저, 상기 테스트 수행부 131는 본 발명의 실시 예예 따른 적응검사를 진행하기 위한 동작 전반을 수행할 수 있다.
그리고 상기 테스트 수행부 131의 세부 구성에 대하여는 도 2를 참조하여 설명하기로 한다.
상기 테스트 준비 지원부 132는 테스트에 사용할 신규 문항을 출제자 계정으로부터 획득하고 획득된 신규 문항에 대한 소정의 평가 단계를 거쳐 테스트용으로 사용할지 여부를 판단하는 동작을 수행할 수 있다.
상기 테스트 준비 지원부 132에 대한 세부 구성 요소는 도 3에서 자세히 설명하기로 한다.
그리고 상기 사후관리 지원부 133는 테스트 최종 결과에 따라 피검자를 유사 유형별로 분류하고 분류된 유형별 맞춤 사후관리를 제공할 수 있다. 이 때 사후관리는 테스트가 피검자의 능력을 테스트하기 위한 것일 경우, 피검자가 취약한 문제 또는 과목 등을 학습할 수 있도록 정보를 제공하는 동작이 될 수 있다. 한편, 상기 사후관리는 병명을 진단하기 위한 테스트인 경우, 산출된 병명에 대한 정보에 대응하는 치료 및 상담 등의 자료가 제공되는 동작이 포함될 수 있다.
상기 사후관리 지원부 133에 대한 구체적인 설명은 도 4에서 기술하기로 한다.
도 2는 본 발명의 실시 예에 따른 테스트 수행부의 세부 구성을 도시한 블록도이다.
먼저, 상기 테스트 수행부 131는 테스트 유형 선택부 131a, 반응 검사 진행부 131b, 검사 결과 산출부 131c를 포함하여 구성될 수 있다.
상기 테스트 유형 선택부 131a는 사용자가 적응검사를 요청함에 따라 적응검사를 진행하기에 앞서 테스트의 유형을 선택할 수 있도록 지원할 수 있다. 상기 테스트 유형 선택부 131a는 테스트가 능력치를 평가하기 위한 테스트인 경우, 예컨대, 과목, 단원 등의 테스트 항목을 선택할 수 있도록 사용자에게 요청할 수 있다. 한편, 상기 테스트 유형 선택부 131a는 테스트가 심리테스트 및 질병의 종류 등을 평가하기 위한 진단용 테스트인 경우, 사용자에게 구체적인 진단하고자 하는 분야를 선택하도록 요청할 수 있다. 예컨대, 상기 테스트 유형 선택부 131a는 테스트하고자 하는 분야로 우울증, 강박장애 등의 항목을 포함시킬 수 있고, 이와 같은 항목을 사용자로 하여금 선택할 수 있도록 제시할 수 있다. 만약 피험자가 우울증을 선택하였다고 한다면, 실시되는 적응 검사는 피험자의 응답에 기초하여 피험자가 우울증에 해당하는지 여부를 판단하기 위한 동작을 수행하고, 우울증 여부가 기 설정된 수치 이하의 오차율로 확정되는 경우 해당 테스트를 종료하며, 우울증 여부에 대한 결과를 산출하게 된다.
다양한 실시 예에 따라 상기 테스트 유형 선택부 131a는 제시되 문항의 유형을 선택할 수 있도록 제안할 수 있다. 예컨대, 문항의 유형은 'Yes/No'로 답변되는 이분문항과, 피험자의 다양한 반응을 점수화할 수 있는 다분문항 등으로 분류될 수 있으며, 이에 따라 상기 테스트 유형 선택부 131a는 일 예로 이분문항과 다분문항 중 사용자가 선택한 유형의 문항으로 검사를 진행하도록 요청할 수 있다.
또한 다양한 실시 예에 따라 상기 테스트 유형 선택부 131a는 텍스트 문항, 오디오 문항, 동영상 문항 등의 다양한 형식에 따른 문항 분류 중 특정 문항 종류를 선택하도록 사용자에게 요청할 수 있다.
상기 적응 검사 진행부 131b는 적응검사를 진행하기 위한 일련의 동작을 수행할 수 있다. 상기 적응 검사 진행부 131b는 예를 들면, 테스트 시작 단계에서 피험자 능력의 초기값을 설정하는 동작, 시작기준 선택, 진행규칙(적응검사에서 피험자마다 각기 다른 문항들로 구성된 개별화된 시험을 치를 때, 피험자의 응답에 따라 다음문항을 선택하는 방법; 고정문항 선택원리, 변동문항 선택원리 등) 선택 동작, 종료 기준 선택동작을 수행할 수 있다. 또한 상기 적응 검사 진행부 131b는 선택된 초기값, 시작 기준, 진행규칙, 종료기준에 따라 적응검사를 진행할 수 있다.
보다 구체적으로 상기 피험자 능력의 초기값은 0으로 설정되거나 혹은 중간값(예, 100점 만점의 50점)으로 설정될 수 있다. 그리고 적응검사에 있어서, 검사의 목적과 그 검사를 치르게 될 피험자의 특성을 고려하여 검사의 시작문항을 고르는 방법을 선정해야 하는데 이 때 시작문항을 선택하는 방식을 시작 기준으로 명명할 수 있다. 이 때 시작 기준은 시작문항을 선택하는 방식에 따라 고정출발검사와 변동출발 검사로 나뉠 수 있는데, 고정 출발검사는 모든 피험자에게 동일한 시작문항을 제시하는 것으로 피험자에 대한 사전 정보가 전무하여 능력 추정이 불가능한 경우에 사용될 수 있다. 한편, 변동 출발검사는 피험자의 사전 능력을 알 수 있는 경우에 사용될 수 있으며, 각기 다른 피험자마다 능력에 적합한 문항으로 검사를 시작하는 방식을 의미한다.
다양한 실시 예에 따라 상기 적응검사 진행부 131b는 이러한 고정 출발검사와 변동출발검사 중 적합한 방식을 선택하기 위해 피험자 정보를 열람할 수 있다. 상기 적응검사 진행부 131b는 이전에 수행된 테스트 결과 자료 또는 적응검사를 본격적으로 수행하기 이전 단계에 해당 피험자의 능력을 가늠하기 위해 수행된 사전검사 결과 자료와 같이 피험자의 능력치에 대한 사전 정보가 존재하는지 여부를 판단하고, 이에 대응하여 시작 기준을 선택할 수 있다.
또한 상기 적응검사 진행부 131b는 또한 적응검사를 수행하는 데 있어서의 진행규칙을 설정하고 선택된 진행규칙에 따라 검사를 진행할 수 있다. 예컨대 상기 적응검사 진행부 131b는 고정문항 선택원리, 변동문항 선택원리 등에 따라 적응검사를 진행할 수 있다. 먼저 상기 고정문항 선택원리는 피험자의 정답 여부에 따라 다음 문장을 미리 구조화 시켜놓고 그 단계를 따라가며 시험이 진행되는 방법이다. 그리고 변동문항 선택원리는 앞선 문항의 난이도와 피험자의 정답 여부에 따라 피험자 능력을 추정하여 이를 바탕으로 다음 문항을 선정하는 방법을 의미한다. 그리고 이러한 변동문항 선택원리에는 최대정보 문항 선택방법과 베이지안 문항 선택 방법이 포함될 수 있다. 최대정보 문항선택 방법은 최대우도추정법을 이용하여 피험자의 능력 수준이 추정된 바로 그 시점에서 그 피험자에 대해 최대의 문항정보를 제공할 수 있다고 판단되는 문항을 선택하는 방법이다. 반면에 상기 베이지안 문항 선택방법은 피험자의 능력 모수치추정에 있어서, 베이지안 사후변량을 최소화할 것으로 예상되는 문항을 선택하는 방법이다. 선택된 문항에 대한 피험자의 응답을 근거로 베이지안 추정방법에 의해 피험자의 능력이 재추정되고 그 다음단계의 문항은 사후변량을 최소화할 문항을 선택하게 된다. 이때 최대우도추정법은 우도함수만을 이용하는데 반해, 베이지언 추정은 우도함수에 더하여 사전확률분포를 이용함으로써 문항이나 피험자가 적을 때 최대우도추정보다 안정적으로 모수를 추정할 수 있다.
다양한 실시 예에 따라 상기 적응검사 진행부 131b는 적응검사로 시행될 특정 테스트를 진행할 피험자의 인원 수가 기 설정된 인원 수 이하인지 여부를 판단하고 이에 대응하여 최대정보 분항 선택방법과 베이지안 문항 선택방법 중 어느 하나를 진행 규칙으로 선택할 수 있다. 구체적으로 예를 들면, 상기 적응검사 진행부 131b는 특정 테스트에 대한 피험자 예상 인원이 30명이하로 판단될 경우, 베이지언 추정 방식을 진행 규칙으로써 선택하도록 제어할 수 있다.
또한 상기 적응검사 진행부 131b는 종료 기준에 대한 선택 동작을 수행할 수 있다. 종료 기준은 검사를 언제 종료할 것인지에 대한 기준을 의미한다. 상기 적응검사 진행부 131b는 일 실시 예에 따라 특정 분야에 대한 테스트를 진행함에 있어 해당 테스트를 진행하는데 요구되는 문항 은행에 저장된 문항수가 기 설정된 개수 이하일 때, 문항 은행 내 존재하는 모든 문항에 대하여 테스트를 진행하도록 종료 기준을 설정할 수 있다.
다양한 실시 예에 따라 상기 적응검사 진행부 131b는 상기와 같이 문항은행의 모든 문제가 제시된 경우에 종료하도록 제어할 수도 있으나, 이외의 다양한 기준을 종료기준으로 설정할 수 있다. 예컨대, 상기 적응검사 진행부 131b는 피험자 능력 모수 추정치가 충분히 정확한 것으로 판단될 때(예, 오차확률이 기설정된 값, 0.001 이하인 것으로 판단될 때), 피험자의 합격/불합격 여부만을 판단하기 위한 검사일 경우, 합격이나 불합격의 결정이 통계적으로 확실한 것으로 판단될 때 또는 피험자에게 제시되도록 기 설정된 개수의 문항 수가 제시된 때에 검사 과정을 종료할 수 있다.
나아가 상기 적응검사 진행부 131b는 이와 더불어 종료 불가 기준을 함께 설정하고 그에 대응하여 적응검사를 진행할 수 있다. 예컨대, 적응검사 진행부 131b는 최소한의 문항수(예, 20문항)가 제시되기 전에는 검사 종료가 불가능하도록 종료 불가 기준을 설정할 수 있다. 이에 따라 기 설정된 값 이하의 오차율을 보이는 경우에 검사를 종료하도록 기준이 설정되었고, 그에 따라 기 설정된 값 이하의 오차율을 보이는 것으로 판단되는 경우라 하더라도, 최소한의 문항수가 제시되기 전에는 종료가 불가능하도록 설정된 경우 상기 적응검사 진행부 131b는 검사를 종료하지 않고, 최소 문항수를 채우기 위해 계속 다음 문항을 피험자에게 제시할 수 있다.
상기 검사 결과 산출부 131c는 적응검사 시 종료 기준이 만족되어 종료됨에 따라 최종 검사 결과(예, 합격/불합격)를 산출하는 동작을 수행할 수 있다.
도 3은 본 발명의 실시 예에 따른 테스트 준비 지원부의 세부 구성을 도시한 블록도이다.
도 3에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 상기 테스트 준비 지원부 132는 미측정 문항 수집부 132a, 모수 측정부 132b, 문항 적합성 평가부 132c, 피드백 관리부 132d, 리워드 처리부 132e를 포함하여 구성될 수 있다.
먼저, 상기 미측정 문항 수집부 132a는 출제자 계정으로부터 신규 문항에 대한 정보를 획득할 수 있다. 예컨대, 상기 미측정 문항 수집부 132a는 출제자 계정에 의해 등록되는 문항 정보에 대하여 미측정 문항 DB 122로 분류하여 저장할 수 있다. 그리고 상기 미측정 문항 수집부 132a는 신규 등록되는 문항에 대하여 그 유형 정보를 판단할 수 있다. 예컨대 상기 미측정 문항 수집부132a는 신규 등록되는 문항에 대한 이분문항여부 및 다분문항여부를 판단할 수 있고 판단결과에 따라 동 유형별로 문항을 분류하여 저장할 수 있다.
또한 상기 미측정 문항 수집부 132a는 신규 등록되는 문항의 자료 형태에 따라 분류하여 저장할 수 있다. 예컨대, 상기 미측정 문항 수집부 132a는 신규 등록되는 문항의 자료 형태에 대하여, 텍스트, 오디오, 동영상, 이미지 등의 항목별로 분류를 수행할 수 있다.
상기 모수 측정부 132b는 상기 신규 등록되는 문항에 대한 모수(예, 변별도, 난이도, 추측도)를 측정하는 기능을 수행할 수 있다. 이 때, 상기 모수 측정부 132b는 모수가 아직 측정되기 이전 상태인 미측정 문항에 대하여 기 설정된 기준치만큼의 데이터가 확보될 때까지 모수 측정을 반복할 수 있다. 상기 모수 측정부 132b는 이를 위해 개별 신규 등록 문항 각각에 대하여 모수 측정을 위한 평가 데이터를 수집하고 이를 관리할 수 있다. 상기 모수 측정부 132b는 특정 신규 문항에 대하여 난이도, 추측도, 변별도 등의 모수가 기 설정된 기준치 이상의 판단 자료에 의해 산출되면 이를 문항 은행 DB 로 분류하도록 제어할 수 있다. 문항 은행 DB로 분류되는 문항은 실제 적응검사 수행 시 제시될 문항으로 선택될 수 있다. 다시 말해, 미측정 문항 DB 122에서 모수 측정 동작이 완료되지 않은 신규 문항은 적응 검사 시 고려되지 않고, 오로지 문항 은행 DB 121에 존재하는 문항만이 적응검사에서 피험자의 능력 모수 측정을 위한 테스트 문제로써 추출될 수 있다.
상기 문항 적합성 평가부 132c는 출제자 계정에 의해 신규 등록된 문항에 대하여 문항 은행으로 분류되기에 적합한지 여부를 평가하는 동작을 수행할 수 있다. 예컨대, 상기 문항 적합성 평가부 132c는 신규 문항에 대하여, 문항 은행 DB에 존재하는 문항 중 동일한 문항이 있는지 여부를 판단하고 동일한 문항이 존재하는 것으로 판단되는 경우, 해당 문항의 등록이 적합하지 않은 것으로 판단할 수 있다. 이에 따라 상기 문항 적합성 평가부 132c는 미측정 문항 DB에 임시 저장된 상기 신규 문항에 대하여 삭제 처리할 수 있다, 이 외에도 상기 문항 적합성 평가부 132c는 신규 문항 내에 오타, 욕설 등의 존재 여부를 판단하고 이를 기반으로 테스트용 문항으로서의 적합성 여부를 평가할 수 있다.
상기 피드백 관리부 132d는 문항 은행으로 분류가 허여된 신규 문항에 대하여 기 설정된 횟수 만큼의 피드백 정보를 수집하여 해당 문항의 변별력 수치를 산출할 수 있다. 이때 상기 피드백 정보는 상기 신규 문항을 제외한 테스트 결과가 동일한 다수의 피검자들의 테스트 결과 정보와, 상기 피검자들의 상기 신규 문항에 대한 테스트 결과 정보를 포함할 수 있다. 구체적으로 상기 피드백 관리부 132d는 동일 점수, 동일 점수 대역 또는 동일 능력 범위 분류의 피검자들에 대한 특정 신규 문항에 대한 정답확률을 판단하고 이에 따라 변별력 수치를 산출할 수 있다. 예컨대, 동일 능력 범위 분류(예, 상급)의 피검자들의 정답 확률이 100%인 문항은 정답확률이 50%인 문항에 비해 상급자 변별력 수치가 낮은 것으로 평가할 수 있다. 그러나 동일 문항이 상급자 변별력 수치는 낮게 평가되더라도 중급자 변별력 수치는 상급자 변별력 수치에 비해 높게 평가될 수 있다. 이에 따라 상기 피드백 관리부 132d는 다양한 실시예에 따라 변별력이 높게 판단되는 사용자 능력 범위를 함께 산출할 수도 있다.
상기 리워드 처리부 132e는 상기 피드백 관리부 132d에서 평가한 변별력 수치가 높은 신규 문항을 제시한 출제자 계정에 기 설정된 형태의 리워드를 제공하도록 제어할 수 있다.
도 4는 본 발명의 실시 예에 따른 사후관리 지원부의 구성요소를 도시한 블록도이다.
상기 사후관리 지원부 133는 적응검사 결과에 대응하여 학습 및 치료 중 적어도 하나를 포함하는 사후관리 동작을 제공할 수 있다. 그리고 상기 도 4에서 도시되는 바와 같이, 상기 사후관리 지원부 133는 그룹 설정부 133a, 학습 지원부 133b, 치료 지원부 133c를 포함하여 구성될 수 있다.
상기 그룹 설정부 133a는 적응검사 결과에 대응하여 피험자들을 유사 유형별로 그룹화하되, 적응 검사 종류에 따라 상기 피험자들을 최종 성적 및 취약 과목 중 적어도 하나의 항목에 대하여 유사 유형을 설정할 수 있다. 이 때 상기 적응검사는 피험자의 능력치를 평가하기 위한 검사를 의미할 수 있다.
그리고 상기 학습 지원부는 유사 유형별로 그룹화된 피험자들에 대하여 각 그룹에 대응하는 수준의 학습 정보를 제공할 수 있다.
또한 상기 그룹 설정부 133a는 수행된 적응검사가 병 진단용 적응검사인 경우, 적응검사 결과에 대응하여 피험자들을 진단된 병명 및 증상 중 적어도 하나의 항목에 대하여 유사 유형별로 그룹화할 수 있다.
그리고 상기 치료 지원부 133c는 상기 유사 유형별로 그룹화된 피험자들에 대하여 각 그룹에 대응하는 치료 및 상담 정보를 제공할 수 있다.
도 5는 본 발명의 실시 예에 따른 적응검사 동작의 순서를 도시한 순서도이다.
도 5를 참조하여 서버에서 수행되는 적응검사의 순서에 대해 설명하면 다음과 같다. 제어부 130는 출발점을 규정하는 505동작을 수행할 수 있다. 이 때 출발점은 피험자의 초기 능력 모수 추정치를 설정하는 것을 의미할 수 있다. 피험자의 초기 능력 모수 추정치는 예컨대. 0으로 설정될 수도 있고, 중간값 또는 최댓값으로 설정될 수 있다. 다양한 실시 예에 따라 상기 제어부 130는 피험자에 대한 사전 정보가 존재하고 있는 것으로 판단되는 경우에, 해당 피험자의 사전 정보에 기반하여 출발점을 규정할 수 있다. 또한, 다양한 실시 예에 따라, 특정 기준 점수를 기반으로 합격과 불합격을 판단하고자 하는 적응검사를 수행할 경우, 상기 제어부 130는 상기 합격의 기준이 되는 점수를 출발점으로 규정할 수 있다.
이후 상기 제어부 130는 문항 은행 내 최적 문제를 선택하고 이를 제시하는 510동작을 수행할 수 있다. 이후 상기 제어부 130는 검사자 반응 정보를 획득하는 515동작을 수행할 수 있다. 이후 상기 제어부 130는 획득된 검사자 반응 정보에 기반하여 검사자의 수준을 재추정하는 520동작을 수행할 수 있다. 그리고 이후 상기 제어부 130는 종료 기준을 만족하는지 여부를 판단하는 525동작을 수행할 수 있다. 종료 기준은 예컨대, 피검자의 능력 모수 추정치의 오차가 기 설정된 값 이하가 되는 것일 수도 있고, 기 설정된 개수의 문항이 모두 제시되는 것일 수도 있다.
도 6은 본 발명의 실시 예에 따른 신규 문항 추가를 위한 적합성 평가 동작의 순서에 대하여 도시한 순서도이다.
본 발명의 실시 예에 따른 서버의 제어부 130는 미측정 문항을 획득하는 605동작을 수행할 수 있다. 상기 미측정 문항이란 문항 모수(예, 변별도, 추측도, 난이도 등)가 완전히 산출되기 전 상태의 문항을 의미할 수 있다. 이러한 미측정 문항은 출제자 계정에 의해 새롭게 등록되는 신규 문항일 수 있으며, 그 외에도 타 기관, 웹 서버 등을 통해 주기적으로 수집되는 자료일 수 있다.
이후 상기 제어부 130는 미측정 문항의 적합성을 평가하는 610동작을 수행할 수 있다. 이 때 상기 적합성은 해당 미측정 문항에 포함된 텍스트에 욕설, 오타 등이 존재하는지 여부를 판단하는 동작일 수 수 있다. 또한 다양한 실시 예에 따라 상기 적합성을 평가하는 610동작은 미측정 문항에 포함된 오디오, 동영상 등의 콘텐츠의 오류 여부 등을 평가하는 동작일 수 있다. 그 외에도 상기 적합성을 평가하는 동작은 문항 은행에서 삭제된 이력이 있는 문항과 동일한 문항인지 여부를 판단하는 동작을 포함할 수 있다.
이후 상기 제어부 130는 적합성 기준을 통과하는지 여부를 판단하는 615동작을 수행할 수 있다. 상기 제어부 130는 만약 상기 미측정 문항이 적합성 기준을 통과하면 모수 측정 대기 문항으로 분류하는 625동작을 수행할 수 있다. 반면 상기 제어부 130는 해당 문항이 적합성 기준을 통과하지 않은 것으로 판단한 경우 해당 문항을 삭제하는 620동작을 수행할 수 있다.
도 7은 본 발명의 실시 예에 따른 신규 문항 추가 동작의 순서를 도시한 순서도이다.
제어부 130는 적응 검사 요청을 수신하는 705동작을 수행할 수 있다. 이후 상기 제어부 130는 모수 측정용 대기 문항이 존재하는지 여부를 판단하는 710동작을 수행할 수 있다. 만약 모수 측정용 대기 문항이 존재하지 않는 것으로 판단되는 경우 일반 적응검사를 진행하는 715동작을 수행할 수 있다. 이 때 모수 측정용 대기 문항이란 신규 등록된 문항 중 문항 은행에 포함되기 전 심사를 대기하고 있는 문항을 의미할 수 있다.
상기 제어부 130는 710동작에서 모수 측정용 대기 문항이 존재하는 것으로 판단한 경우, 적응 검사 수행 시 상기 대기문항을 추가 테스트로 생성하도록 설정하는 720동작을 수행할 수 있다. 이후 상기 제어부 130는 적응 검사 진행 및 검사 결과를 산출하는 725동작을 수행할 수 있다. 그리고 상기 제어부 130는 상기 적응검사를 위한 문항 제시 동작 이후 추가 테스트를 수행하고, 상기 추가 테스트에 대한 결과자료를 수집하는 730동작을 수행할 수 있다. 이후 상기 제어부 130는 상기 수집된 추가 테스트에 대한 결과 자료를 기반으로 대기 문항의 모수를 산출하는 735동작을 수행할 수 있다. 이후 상기 제어부 130는 산출된 상기 문항의 모수값에 대하여 평가하는 740동작을 수행할 수 있다. 이 때 상기 모수값을 평가하는 동작은 구체적으로, 해당 문항이 기준치의 적응 검사에 요구되는 난이도, 추측도, 변별도를 가지는지 여부를 판단하는 동작일 수 있다. 이 때 상기 모수값을 평가하기 위해 모수(난이도 수치, 추측도 수치, 변별도 수치)의 수치 정보를 참고할 수 있다. 상기 제어부 130는 이후 모수 값 평가 결과 기반 해당 문항 제공자에 대한 리워드를 제공하는 745동작을 수행할 수 있다.
요컨대, 본 발명의 다양한 실시 예에 따른 적응검사 수행 장치는 테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행하는 통신부, 소정의 개수 이상의 테스트용 문항 정보를 문항 은행에 분류하여 저장하는 저장부 및 테스트 요청에 대응하여 문항반응이론 기반의 적응검사를 수행하는 제어부를 포함할 수 있다. 그리고 이 때 상기 제어부는 상기 문항 은행 내에서 피험자의 예상 능력치에 대응하는 문제를 선택하여 제시하는 방식으로 적응검사를 진행하는 테스트 수행부, 외부에서 획득된 신규 문항에 대한 문항 모수를 측정하며 상기 문항 은행으로의 문항 등록 여부를 평가하는 테스트 준비 지원부를 포함하여 구성될 수 있다.
그리고 상기 테스트 수행부는 테스트 대상 과목 및 테스트 문항의 종류에 대한 피험자 선택을 확인하는 테스트 유형 선택부, 테스트 대상 과목 및 테스트 문항의 종류에 대응하여 테스트의 시작 기준 및 종료 기준을 설정하고, 테스트 수행 시 피험자의 응답에 대응하는 다음 문제를 선택하여 제시하는 방식의 반응 검사를 수행하는 적응 검사 진행부, 적응 검사 수행 시, 상기 설정된 종료기준을 만족하는지 여부를 판단하고, 상기 설정된 종료 기준이 만족되는 경우 검사를 종료하고 최종 검사 결과를 산출하는 검사 결과 산출부를 포함하여 구성될 수 있다.
그리고 상기 테스트 준비 지원부는 출제자 계정으로부터 신규 문항에 대한 정보를 획득하는 미측정 문항 수집부, 상기 신규 문항에 대한 모수를 측정하되, 적응검사 수행 시 종료기준을 만족하면 임의의 신규 문항을 추가로 제시하여 피검자의 신규 문항에 대한 응답 정보를 획득하고, 획득한 응답 정보에 기반하여 상기 신규 문항의 모수를 측정하는 모수 측정부, 상기 신규 문항에 대하여 테스트용으로 설정하는 것에 대한 적합성 여부를 평가하는 적합성 평가부를 포함하여 구성될 수 있다.
또한 상기 테스트 준비 지원부는 문항 은행으로 분류가 허여된 신규 문항에 대하여 기 설정된 횟수 만큼의 피드백 정보를 수집하여 해당 문항의 변별력 수치를 산출하는 피드백 관리부, 상기 피드백 관리부에서 평가한 변별력 수치가 높은 신규 문항을 제시한 출제자 계정에 기 설정된 형태의 리워드를 제공하는 리워드 처리부를 포함할 수 있다. 이 때 상기 피드백 정보는 상기 신규 문항을 제외한 테스트 결과가 동일한 다수의 피검자들의 테스트 결과 정보와, 상기 피검자들의 상기 신규 문항에 대한 테스트 결과 정보를 포함할 수 있다.
다양한 실시 예에 따라 상기 제어부는 적응검사 결과에 대응하여 학습 및 치료 중 적어도 하나를 포함하는 사후관리 동작을 제공하는 사후관리 지원부를 포함하여 구성될 수 있다. 그리고 상기 사후관리 지원부는 적응검사 결과에 대응하여 피험자들을 유사 유형별로 그룹화하되, 적응 검사 종류에 따라 상기 피험자들을 최종 성적 및 취약 과목 중 적어도 하나의 항목에 대하여 유사 유형을 설정하는 그룹 설정부, 유사 유형별로 그룹화된 피험자들에 대하여 각 그룹에 대응하는 수준의 학습 정보를 제공하는 학습 지원부를 포함하여 구성될 수 있다.
그리고 상기 그룹 설정부는 수행된 적응검사가 병 진단용 적응검사인 경우, 적응검사 결과에 대응하여 피험자들을 진단된 병명 및 증상 중 적어도 하나의 항목에 대하여 유사 유형별로 그룹화할 수 있다.
상기 사후관리 지원부는 치료지원부를 포함할 수 있는데, 치료 지원부는 상기 유사 유형별로 그룹화된 피험자들에 대하여 각 그룹에 대응하는 치료 및 상담 정보를 제공할 수 있다.
다양한 실시 예에 따라 본 발명의 실시 예는 적응검사를 수행하는 시스템을 제공할 수 있다. 문항반응이론 기반의 적응검사를 수행하는 시스템은 문항 은행에 속한 문제들을 대상으로 적응검사를 수행하며, 상기 문항 은행에 투입될 신규 문항을 출제자로부터 제공받고 이를 적응검사용 문제로 설정할 것인지 여부를 평가하는 서버, 상기 서버에 접속하여 테스트 수행에 요구되는 정보를 수신하여 표시하는 피험자 기기; 상기 서버에 신규 문항 정보를 전송하는 출제자 기기를 포함하여 구성될 수 있다.
다양한 실시 예에 따라, 서버는 신규 문항의 모수를 측정할 시, 피검자의 능력 모수에 대응하는 정확한 평가 자료를 얻기 위해 피검자가 알지 못하도록 적응검사 단계 임의의 순서에 추가 테스트를 수행할 수 있다. 추가 테스트는 피검자의 능력 모수 추정에 고려되지 않으며, 이후 제시될 문항 설정에도 영향을 미치지 않도록 설정될 수 있다. 또한 피검자가 능력 모수 추정과 관계없다는 이유로 추가 테스트를 시행하지 않는 경우를 방지하기 위해 서버는 사용자로 하여금 추가테스트 시행 여부를 별도로 표시하지 않고 적응검사를 수행할 수 있다. 또는 다양한 실시 예에 따라 상기 서버는 추가 테스트에 반응 자료를 제공한 피검자 계정에 소정의 리워드를 제공하여 추가 테스트 동기를 부여할 수도 있다.
다양한 실시 예에 따라 서버는 신규 문항의 모수를 측정할 시, 테스트 시간을 측정하는 동작을 수행할 수 있다. 지나치게 빠르게 응답한 경우, 해당 추가 테스트는 피험자가 무성의하게 임한 검사인 것으로 판단될 수 있다. 이에 따라 상기 서버는 추가 테스트에 응답하는 속도를 피험자의 무성의한 정도를 판단하는 척도로 설정할 수 있다.
다양한 실시 예에 따라 적응검사 및 추가테스트를 위해 제공되는 문항이 동일 시험장에서 지속적으로 노출되는 것을 방지하기 위해, 상기 서버는 서버에 접속한 피험자 기기의 IP를 확인하고, 동일 IP에 제공하는 테스트 문항에 대하여 제공 횟수를 조절할 수 있다. 구체적으로, 초기 제공되는 문항의 경우 사용자의 초기 능력 추정치가 동일할 것이므로, 동일 문항이 반복되어 제시될 수 있는 문제가 있다. 이는 동시간대 동일지역 및 동일 IP를 갖는 시험 장치에서 반복적으로 동일 문항이 초기에 제공되는 문제로 이어질 수 있으며 이에 따라 초기 문항의 경우 동일 집단에 속한 피험자들에게 쉽게 노출될 가능성이 있다. 이러한 문제를 방지하기 위해 상기 서버는 피험자 기기의 IP를 수집하고 이에 대응하여 동시간대(예, 동일 날짜), 동일 IP에 대하여 제공되는 초기 문항은 문항 은행 내 문제들 중 최대한 제공 횟수가 적은 순서대로 추출되도록 제어할 수 있다. 또는 상기 서버는 동시간대 및 동일 IP에 대하여 제공되는 적응검사에 있어서 시작 기준을 매회 다르게 설정하도록 제어할 수 있다. 예컨대, 1회차에는 피검자의 초기 능력모수 추정치가 0이면, 2회차에는 피검자의 초기 능력 모수 추정치가 중간값, 3회차에는 초기 능력 모수 추정치가 최댓값을 갖도록 설정될 수 있다.
이 밖의 적응검사 문항 노출을 방지하기 위한 다양한 실시 예가 가능하다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
110 : 통신부
120 : 저장부
121 : 문항 은행 DB
122 : 미측정 문항 DB
130 : 제어부
131 : 테스트 수행부
132 : 테스트 준비 지원부
133 : 사후관리 지원부
131a : 테스트 유형 선택부
131b : 적응검사 진행부
131c: 검사 결과 산출부
132a : 미측정 문항 수집부
132b : 모수 측정부
132c : 문항 적합성 평가부
132d : 피드백 관리부
132e : 리워드 처리부
133a : 그룹 설정부
133b : 학습 지원부
133c : 치료 지원부
120 : 저장부
121 : 문항 은행 DB
122 : 미측정 문항 DB
130 : 제어부
131 : 테스트 수행부
132 : 테스트 준비 지원부
133 : 사후관리 지원부
131a : 테스트 유형 선택부
131b : 적응검사 진행부
131c: 검사 결과 산출부
132a : 미측정 문항 수집부
132b : 모수 측정부
132c : 문항 적합성 평가부
132d : 피드백 관리부
132e : 리워드 처리부
133a : 그룹 설정부
133b : 학습 지원부
133c : 치료 지원부
Claims (8)
- 문항반응이론 기반의 적응검사를 수행하는 장치에 있어서,
테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행하는 통신부;
소정의 개수 이상의 테스트용 문항 정보를 문항 은행에 분류하여 저장하는 저장부;및
테스트 요청에 대응하여 문항반응이론 기반의 적응검사를 수행하는 제어부;를 포함하되.
상기 제어부는
상기 문항 은행 내에서 피험자의 예상 능력치에 대응하는 문제를 선택하여 제시하는 방식으로 적응검사를 진행하는 테스트 수행부;
외부에서 획득된 신규 문항에 대한 문항 모수를 측정하며 상기 문항 은행으로의 문항 등록 여부를 평가하는 테스트 준비 지원부;를 포함하고,
상기 테스트 준비 지원부는
출제자 계정으로부터 신규 문항에 대한 정보를 획득하는 미측정 문항 수집부;
상기 신규 문항에 대한 모수를 측정하되, 적응검사 수행 시 종료기준을 만족하면 임의의 신규 문항을 추가로 제시하여 피험자의 신규 문항에 대한 응답 정보를 획득하고, 획득한 응답 정보에 기반하여 상기 신규 문항의 모수를 측정하는 모수 측정부; 및
상기 신규 문항에 대하여 테스트용으로 설정하는 것에 대한 적합성 여부를 평가하는 적합성 평가부;를 포함하여 구성되는 것을 특징으로 하는 적응검사 수행 장치. - 제 1항에 있어서,
상기 테스트 수행부는
테스트 대상 과목 및 테스트 문항의 종류에 대한 피험자 선택을 확인하는 테스트 유형 선택부;
테스트 대상 과목 및 테스트 문항의 종류에 대응하여 테스트의 시작 기준 및 종료 기준을 설정하고, 테스트 수행 시 피험자의 응답에 대응하는 다음 문제를 선택하여 제시하는 방식의 반응 검사를 수행하는 적응 검사 진행부;
적응 검사 수행 시, 상기 설정된 종료기준을 만족하는지 여부를 판단하고, 상기 설정된 종료 기준이 만족되는 경우 검사를 종료하고 최종 검사 결과를 산출하는 검사 결과 산출부;를 포함하여 구성되는 것을 특징으로 하는 적응검사 수행 장치. - 삭제
- 제 1항에 있어서,
상기 테스트 준비 지원부는
문항 은행으로 분류가 허여된 신규 문항에 대하여 기 설정된 횟수 만큼의 피드백 정보를 수집하여 해당 문항의 변별력 수치를 산출하는 피드백 관리부;
상기 피드백 관리부에서 평가한 변별력 수치가 높은 신규 문항을 제시한 출제자 계정에 기 설정된 형태의 리워드를 제공하는 리워드 처리부;를 포함하고,
상기 피드백 정보는
상기 신규 문항을 제외한 테스트 결과가 동일한 다수의 피험자들의 테스트 결과 정보와, 상기 피험자들의 상기 신규 문항에 대한 테스트 결과 정보를 포함하는 것을 특징으로 하는 적응검사 수행 장치. - 문항반응이론 기반의 적응검사를 수행하는 장치에 있어서,
테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행하는 통신부;
소정의 개수 이상의 테스트용 문항 정보를 문항 은행에 분류하여 저장하는 저장부;및
테스트 요청에 대응하여 문항반응이론 기반의 적응검사를 수행하는 제어부;를 포함하되,
상기 제어부는
상기 문항 은행 내에서 피험자의 예상 능력치에 대응하는 문제를 선택하여 제시하는 방식으로 적응검사를 진행하는 테스트 수행부;
외부에서 획득된 신규 문항에 대한 문항 모수를 측정하며 상기 문항 은행으로의 문항 등록 여부를 평가하는 테스트 준비 지원부;및
적응검사 결과에 대응하여 학습 및 치료 중 적어도 하나를 포함하는 사후관리 동작을 제공하는 사후관리 지원부;를 포함하고,
상기 테스트 준비 지원부는
출제자 계정으로부터 신규 문항에 대한 정보를 획득하는 미측정 문항 수집부;
상기 신규 문항에 대한 모수를 측정하되, 적응검사 수행 시 종료기준을 만족하면 임의의 신규 문항을 추가로 제시하여 피험자의 신규 문항에 대한 응답 정보를 획득하고, 획득한 응답 정보에 기반하여 상기 신규 문항의 모수를 측정하는 모수 측정부; 및
상기 신규 문항에 대하여 테스트용으로 설정하는 것에 대한 적합성 여부를 평가하는 적합성 평가부;를 포함하여 구성되는 것을 특징으로 하는 적응검사 수행 장치. - 문항반응이론 기반의 적응검사를 수행하는 장치에 있어서,
테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행하는 통신부;
소정의 개수 이상의 테스트용 문항 정보를 문항 은행에 분류하여 저장하는 저장부;및
테스트 요청에 대응하여 문항반응이론 기반의 적응검사를 수행하는 제어부;를 포함하되,
상기 제어부는
상기 문항 은행 내에서 피험자의 예상 능력치에 대응하는 문제를 선택하여 제시하는 방식으로 적응검사를 진행하는 테스트 수행부;
외부에서 획득된 신규 문항에 대한 문항 모수를 측정하며 상기 문항 은행으로의 문항 등록 여부를 평가하는 테스트 준비 지원부;및
적응검사 결과에 대응하여 학습 및 치료 중 적어도 하나를 포함하는 사후관리 동작을 제공하는 사후관리 지원부;를 포함하고,
상기 테스트 준비 지원부는
출제자 계정으로부터 신규 문항에 대한 정보를 획득하는 미측정 문항 수집부;
상기 신규 문항에 대한 모수를 측정하되, 적응검사 수행 시 종료기준을 만족하면 임의의 신규 문항을 추가로 제시하여 피험자의 신규 문항에 대한 응답 정보를 획득하고, 획득한 응답 정보에 기반하여 상기 신규 문항의 모수를 측정하는 모수 측정부; 및
상기 신규 문항에 대하여 테스트용으로 설정하는 것에 대한 적합성 여부를 평가하는 적합성 평가부;를 포함하고,
상기 사후관리 지원부는
적응검사 결과에 대응하여 피험자들을 유사 유형별로 그룹화하되, 적응 검사 종류에 따라 상기 피험자들을 최종 성적 및 취약 과목 중 적어도 하나의 항목에 대하여 유사 유형을 설정하는 그룹 설정부; 및
유사 유형별로 그룹화된 피험자들에 대하여 각 그룹에 대응하는 수준의 학습 정보를 제공하는 학습 지원부; 를 포함하여 구성되는 것을 특징으로 하는 적응검사 수행 장치. - 제 6항에 있어서,
상기 사후관리 지원부는
수행된 적응검사가 병 진단용 적응검사인 경우, 적응검사 결과에 대응하여 피험자들을 진단된 병명 및 증상 중 적어도 하나의 항목에 대하여 유사 유형별로 그룹화하는 그룹 설정부를 포함하고,
상기 유사 유형별로 그룹화된 피험자들에 대하여 각 그룹에 대응하는 치료 및 상담 정보를 제공하는 치료 지원부;를 포함하여 구성되는 것을 특징으로 하는 적응검사 수행 장치. - 문항반응이론 기반의 적응검사를 수행하는 시스템에 있어서,
문항 은행에 속한 문제들을 대상으로 적응검사를 수행하며, 상기 문항 은행에 투입될 신규 문항을 출제자로부터 제공받고 이를 적응검사용 문제로 설정할 것인지 여부를 평가하는 서버;
상기 서버에 접속하여 테스트 수행에 요구되는 정보를 수신하여 표시하는 피험자 기기;및
상기 서버에 신규 문항 정보를 전송하는 출제자 기기;를 포함하되,
상기 서버는
테스트용 문항 정보를 수집하기 위한 데이터 통신 및 피험자 기기로 테스트 정보를 전송하기 위한 데이터 통신을 수행하는 통신부;
소정의 개수 이상의 테스트용 문항 정보를 문항 은행에 분류하여 저장하는 저장부;및
테스트 요청에 대응하여 문항반응이론 기반의 적응검사를 수행하는 제어부;를 포함하고,
상기 제어부는
상기 문항 은행 내에서 피험자의 예상 능력치에 대응하는 문제를 선택하여 제시하는 방식으로 적응검사를 진행하는 테스트 수행부; 및
외부에서 획득된 신규 문항에 대한 문항 모수를 측정하며 상기 문항 은행으로의 문항 등록 여부를 평가하는 테스트 준비 지원부;를 포함하고,
상기 테스트 준비 지원부는
출제자 계정으로부터 신규 문항에 대한 정보를 획득하는 미측정 문항 수집부;
상기 신규 문항에 대한 모수를 측정하되, 적응검사 수행 시 종료기준을 만족하면 임의의 신규 문항을 추가로 제시하여 피험자의 신규 문항에 대한 응답 정보를 획득하고, 획득한 응답 정보에 기반하여 상기 신규 문항의 모수를 측정하는 모수 측정부; 및
상기 신규 문항에 대하여 테스트용으로 설정하는 것에 대한 적합성 여부를 평가하는 적합성 평가부;를 포함하는 것을 특징으로 하는 적응검사 수행 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180117660A KR102175451B1 (ko) | 2018-10-02 | 2018-10-02 | 문항반응이론 기반의 적응검사 수행 장치 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180117660A KR102175451B1 (ko) | 2018-10-02 | 2018-10-02 | 문항반응이론 기반의 적응검사 수행 장치 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200038046A KR20200038046A (ko) | 2020-04-10 |
| KR102175451B1 true KR102175451B1 (ko) | 2020-11-06 |
Family
ID=70292176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180117660A KR102175451B1 (ko) | 2018-10-02 | 2018-10-02 | 문항반응이론 기반의 적응검사 수행 장치 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102175451B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102506688B1 (ko) | 2022-01-28 | 2023-03-06 | 주식회사 우로테스트 | 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102506354B1 (ko) * | 2020-08-10 | 2023-03-03 | 건국대학교 글로컬산학협력단 | 댄스 학습 서비스 제공 장치 및 방법 |
| KR102685874B1 (ko) * | 2020-10-29 | 2024-07-17 | 주식회사 더캣코리아 | 컴퓨터기반 단계형 적응검사 수행 장치 및 시스템 |
| KR102572818B1 (ko) * | 2020-10-29 | 2023-08-30 | 주식회사 더캣코리아 | Cat 기반 통합검사 수행 장치 및 시스템 |
| KR102609834B1 (ko) * | 2021-01-07 | 2024-01-02 | 주식회사 강점코칭심리연구소 | 개방형 심리척도 전문가 플랫폼을 이용한 심리검사 시스템 및 방법 |
| KR102518602B1 (ko) * | 2022-08-30 | 2023-04-06 | 주식회사 오알피연구소 | 인사선발을 위한 인지 능력 검사 방법 및 이를 실행하는 서버 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000058902A (ko) * | 2000-07-04 | 2000-10-05 | 정미숙 | 인터넷상에서의 원격 개별적응검사시스템 및 실시간문항모수치추정시스템 |
| KR100355665B1 (ko) * | 2000-07-25 | 2002-10-11 | 박종성 | 문항반응이론을 이용한 온라인 자격 및 인증시험 서비스시스템 및 방법 |
| KR20110018109A (ko) * | 2009-08-17 | 2011-02-23 | 주식회사 영재마루 | 능력 평가에 따른 개인별 학습 방법 및 시스템 |
-
2018
- 2018-10-02 KR KR1020180117660A patent/KR102175451B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102506688B1 (ko) | 2022-01-28 | 2023-03-06 | 주식회사 우로테스트 | 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법 |
| KR20230116740A (ko) | 2022-01-28 | 2023-08-04 | 주식회사 우로테스트 | 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200038046A (ko) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102175451B1 (ko) | 문항반응이론 기반의 적응검사 수행 장치 및 시스템 | |
| Double et al. | A meta-analysis and systematic review of reactivity to judgements of learning | |
| Bradley et al. | Rating scales in survey research: Using the Rasch model to illustrate the middle category measurement flaw | |
| KR20190098376A (ko) | 대학입시 합격 예측 방법 | |
| US20200372985A1 (en) | Method and system for managing health care patient record data | |
| US20220020283A1 (en) | System and method for generating diagnostic assessment question papers and evaluating their quality | |
| JP2018205354A (ja) | 学習支援装置、学習支援システム及びプログラム | |
| CN105260963A (zh) | 学科素养测评系统 | |
| Lin et al. | I'm meltiiiiiing...”: The decline of response rates and the impact of nonresponse bias on the results of national surveys at small colleges | |
| DeCastellarnau et al. | Two approaches to evaluate measurement quality in online surveys: An application using the norwegian citizen panel | |
| CN111046293B (zh) | 一种根据测评结果推荐内容的方法及其系统 | |
| US20200185110A1 (en) | Computer-implemented method and an apparatus for use in detecting malingering by a first subject in one or more physical and/or mental function tests | |
| US20230346297A1 (en) | Test method and apparatus for evaluating cognitive function decline | |
| Gillespie | Placement testing in community colleges: A response to Hughes and Nelson | |
| KR20140105112A (ko) | 통신망을 이용한 언어평가시스템 및 이를 이용한 언어평가방법 | |
| KR20220057422A (ko) | 컴퓨터기반 단계형 적응검사 수행 장치 및 시스템 | |
| CN113066580A (zh) | 一种医疗评分确定方法、装置、电子设备及存储介质 | |
| Anggraini et al. | Accounting Students' Ethical Awareness and Ability to Make Ethical Decisions. | |
| KR20220100739A (ko) | 개방형 심리척도 전문가 플랫폼을 이용한 심리검사 시스템 및 방법 | |
| Paccagnella et al. | Question order and panel conditioning analysing self-reported data | |
| KR102572818B1 (ko) | Cat 기반 통합검사 수행 장치 및 시스템 | |
| JP2017207691A (ja) | 択一問題の正答率予測方法 | |
| Wagner-Menghin | Towards the identification of non-scalable personality questionnaire respondents: Taking response time into account | |
| CN111179669A (zh) | 物理力学实验结果的量化方法、装置、终端和存储介质 | |
| Carter et al. | Evaluation of Estimated Survey Duration Equations Using a Health Risk Assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181002 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200319 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20201022 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20201102 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20201102 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |