KR20040065657A - 업데이트 알고리즘을 이용한 문항 모수 조정 및 측정서비스 제공 시스템 과 그 방법 - Google Patents

업데이트 알고리즘을 이용한 문항 모수 조정 및 측정서비스 제공 시스템 과 그 방법 Download PDF

Info

Publication number
KR20040065657A
KR20040065657A KR1020030002746A KR20030002746A KR20040065657A KR 20040065657 A KR20040065657 A KR 20040065657A KR 1020030002746 A KR1020030002746 A KR 1020030002746A KR 20030002746 A KR20030002746 A KR 20030002746A KR 20040065657 A KR20040065657 A KR 20040065657A
Authority
KR
South Korea
Prior art keywords
item
parameter
client
update
parameter update
Prior art date
Application number
KR1020030002746A
Other languages
English (en)
Inventor
성병찬
Original Assignee
주식회사 오란디프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오란디프 filed Critical 주식회사 오란디프
Priority to KR1020030002746A priority Critical patent/KR20040065657A/ko
Publication of KR20040065657A publication Critical patent/KR20040065657A/ko

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 업데이트 알고리즘을 이용한 문항 모수 조정/측정 서비스 제공 시스템 및 그 방법에 관한 것이다.
본 발명은 컴퓨터 개별 적응 검사 방식의 각종 시험을 실시하는 평가 기관과 문제 출제 기관을 포함하는 클라이언트로의 문항 모수 갱신 및 측정 서비스를 제공하는 시스템에 있어서, 컴퓨터 개별 적응 검사 방식의 계속되는 시험으로 인한 각 문항별 노출 빈도를 체크한 후, 체크된 문항별 노출 빈도에 따라 문항 모수 조정이 필요한 특정 문항을 선별하여 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신한 후, 갱신된 각 문항별 모수를 주기적으로 반복 측정하는 문항 모수 갱신 및 측정 서비스 제공/관리 서버 및, 각 문항별 모수 갱신 및 측정 서비스 제공에서부터 그에 따라 변경 및 추가되는 각종 정보들이 저장되는 데이터베이스들을 관리하는 데이터베이스 관리 서버를 포함하는 것을 특징으로 한다.
이를 통하여, 클라이언트로 하여금 문항의 폐기 처리 및 신규 문항 개발로 인한 비용 절감으로 인한 자원의 이용 효율성 증대를 이룰 수 있도록 할 수 있다.

Description

업데이트 알고리즘을 이용한 문항 모수 조정 및 측정 서비스 제공 시스템 과 그 방법 {A SYSTEM AND METHOD FOR PROVIDING ITEM PARAMETER MEDIATION /MEASURE SERVICE USING UPDATE ALGORITHM}
본 발명은 문항 모수 갱신 및 측정 서비스 제공 시스템과 그 방법에 관한 것으로서, 보다 상세하게는 문항의 노출도 증가에 따른 문항 모수 갱신과 갱신된 문항별 모수 측정에 따른 서비스를 제공하는 업데이트 알고리즘(Update Algorithm)을 이용한 문항 모수 갱신 및 측정 서비스 제공 시스템과 그 방법에 관한 것이다.
최근 들어, 인터넷상에서 실시되는 원격 검사 서비스가 많이 등장하고 있다. 인터넷을 통한 원격 검사(Computer-Adaptive Test, 이하 CAT라 함)란, 시간과 장소에 구애받지 않고 수험자가 원하는 시간에 검사를 치를 수 있도록 함과 동시에, 동화상과 음성 등의 데이터를 이용한 양질의 검사를 제공한다.
이러한 CAT 방식의 시험은 엄청난 규모로 매해 시행되고 있는 TOEFL, TOEIC, SAT, TEPS, CPA 등과 같은 각종 시험의 응시자들이 자신의 단말기를 이용하여 자신이 원하는 장소에서 시험을 치루거나 또는 치룰 수 있게 할 것이다.
그러나, 이러한 CAT 방식의 시험은 문제 은행의 노출도 증가 및 환경 변화 등으로 인해 문제 은행의 질적 수준을 떨어뜨릴 뿐만 아니라, 그로 인한 신뢰성 저하를 불러 일으킨다. 즉, 많은 수험자들이나 학원 등은 매번 치러지는 CAT 방식의 시험에 따른 문항 복원에 노력할 것이며, 그 결과 문제은행 내부의 많은 문항들은클라이언트(수험자 및 학원 등)에게 노출되어 특히, 문항 모수(parameter, 난이도, 변별도, 추측도) 중 난이도는 그 값의 신뢰성이 떨어지게 된다.
이로 인해, CAT 방식의 시험을 주관하는 대부분의 기관(TOEFL/TOEIC 등을 출제하는 기관 등) 및 문제 출제 기관들은 해당 문항의 노출도가 증가하게 되면, 문항을 재사용하기 보다는 문항을 폐기 처리하는 경우가 대부분이다.
그러나, 우리나라처럼 자원이 부족한 상황에서는 문항을 폐기처리하기 보다는 재사용하는 것이 새로운 문항 개발에 따른 비용적인 측면에서나, 자원의 효율성 측면에서 훨씬 더 바람직하다고 볼 수 있다.
따라서, 문항 모수가 시간에 따라 변한다는 가정에 의거하여, 문항에 대한 정보가 쌓이면 쌓일수록 문항의 노출도 및 정답률을 고려하여 문항 모수를 새롭게 갱신/측정할 수 있는 시스템 및 그 방안이 요구되고 있는 실정이다.
본 발명이 이루고자 하는 기술적 과제는 이러한 문제점을 해결하기 위한 것으로서, 시간에 따른 문항별 노출도 및 응시자별 정답률(점수치)을 고려하여 해당 문항의 모수(난이도, 변별도, 추측도)를 갱신한 후, 갱신된 문항별 모수를 실시간으로 측정할 수 있는 업데이트 알고리즘을 이용한 문항 모수 갱신 및 측정 서비스 제공 시스템과 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 문항의 폐기 처리 및 문항 개발로 인한 비용 절감 뿐만 아니라, 이로 인한 자원의 이용 효율성 증대를 이룰 수 있는 업데이트 알고리즘을 이용한 문항 모수 갱신 및 측정 서비스 제공 시스템과 그 방법을 제공하기 위한 것이다.
도 1은 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템의 대략적인 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템의 세부적인 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템의 동작 과정을 순차적으로 도시한 흐름도이다.
※도면의 주요 부분에 대한 부호의 설명※
100 : 문항 모수 갱신 및 측정 서비스 제공 시스템
110 : 클라이언트 관리 서버
120 : 문항 모수 갱신 및 측정 서비스 제공/관리 서버
121 : 노출빈도 카운팅부
122 : 문항 선별부 123 : 문항모수 갱신부
124 : 문항모수 측정부
125 : 문항 모수 갱신/측정 서비스 제공부
200 : 유무선 통신망 300 : 응시자 단말기
400 : 평가기관 500 : 문제은행 DB
이러한 목적을 달성하기 위한 본 발명에 따른 업데이트 알고리즘을 이용한 문항 모수 갱신 및 측정 서비스 제공 시스템은, 컴퓨터 개별 적응 검사 방식의 각종 시험을 실시하는 평가 기관과 문제 출제 기관을 포함하는 클라이언트로의 문항 모수 갱신 및 측정 서비스를 제공하는 시스템에 있어서, 컴퓨터 개별 적응 검사 방식의 계속되는 시험으로 인한 각 문항별 노출 빈도를 체크한 후, 상기 체크된 문항별 노출 빈도에 따라 문항 모수 조정이 필요한 특정 문항을 선별하여 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신한 후, 상기 갱신된 각 문항별 모수를 주기적으로 반복 측정하는 문항 모수 갱신 및 측정 서비스 제공/관리 서버; 및 상기 각 문항별 모수 갱신 및 측정 서비스 제공에서부터 그에 따라 변경 및 추가되는 각종 정보들이 저장되는 데이터베이스들을 관리하는 데이터베이스 관리 서버를 포함하는 것을 특징으로 한다.
이때, 상기 문항 모수 갱신 및 측정 서비스 제공/관리 서버는 상기 컴퓨터 개별 적응 검사 방식을 통해 다수의 응시자들이 직접 접하고 있는 문제은행 데이터베이스 내의 각 문항별 응시자 정답률 및 최종 점수치를 확인하여 상기 각 문항별 노출빈도를 체크하는 노출빈도 카운팅부; 상기 체크된 각 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정 문항을 선별하는 문항 선별부; 상기 선별된 문항의 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신하는 문항모수 갱신부; 상기 갱신된 문항별 모수를 응시자별 정답률 및 최종 점수치에 따라 주기적으로 반복 측정하는 문항모수 측정부; 및 상기 측정된 문항별 모수 및 그와 관련된 정보가 상기 클라이언트에게 제공되도록 하는 문항 모수 갱신/측정 서비스 제공부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 특징에 따른 업데이트 알고리즘을 이용한 문항 모수 갱신 및 측정 서비스 제공 방법은, 컴퓨터 개별 적응 검사 방식의 각종 시험을 실시하는 평가 기관과 문제 출제 기관을 포함하는 클라이언트로의 문항 모수 갱신 및 측정 서비스를 제공하는 방법에 있어서, a)컴퓨터 개별 적응 검사 방식을 통해 다수의 응시자들이 직접 접하고 있는 문제은행 데이터베이스 내의 각 문항별 응시자 정답률 및 최종 점수치를 확인하여 상기 각 문항별 노출빈도를 체크하는 단계; b)상기 체크된 각 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정 문항을 선별하는 단계; c)상기 선별된 문항의 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신하는 단계; d)상기 갱신된 문항별 모수를 응시자별 정답률 및 최종 점수치에 따라 주기적으로 반복 측정하는 단계; 및 e)상기 측정된 문항별 모수 및 그와 관련된 정보가 상기 클라이언트에게 제공되도록 하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 특징에 따른 컴퓨터 개별 적응 검사 방식의 각종 시험을 실시하는 평가 기관과 문제 출제 기관을 포함하는 클라이언트로의 문항 모수 갱신 및 측정 서비스를 제공하는 방법을 포함하는 기록매체에 있어서, a)컴퓨터 개별 적응 검사 방식을 통해 다수의 응시자들이 직접 접하고 있는 문제은행 데이터베이스 내의 각 문항별 응시자 정답률 및 최종 점수치를 확인하여 상기 각 문항별 노출빈도를 체크하는 기능; b)상기 체크된 각 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정 문항을 선별하는 기능; c)상기 선별된 문항의 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신하는 기능; d)상기 갱신된 문항별 모수를 응시자별 정답률 및 최종 점수치에 따라 주기적으로 반복 측정하는 기능; 및e)상기 측정된 문항별 모수 및 그와 관련된 정보가 상기 클라이언트에게 제공되도록 하는 기능을 포함하는 프로그램이 저장된 기록매체를 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명하면 다음과 같다.
또한, 이하 본 발명의 실시예에서는 설명의 편의를 위하여 각 문항별 노출도 및 정답 비율 측정과 이러한 측정치에 따른 문항 모수(난이도, 변별도, 추측도) 갱신, 갱신된 문항별 모수에 따른 문제은행 데이터베이스의 구축에서부터 관련 정보 제공에 이르기까지 문항과 관련된 모든 서비스를 문항 모수 갱신 및 측정 서비스라 명명한다.
도 1은 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템의 대략적인 블록 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템(100)은 유무선 통신망(200)을 통해 다수의 평가 기관(401~400n) 및 응시자 단말기(301~300n)와 상호 연결되어 있으며, 신규 또는 기존의 문항들이 저장되어 있는 문제은행 DB(500) 역시 유무선 통신망(200)을 통해 상호 연결된 구조를이룬다.
여기서, 응시자 단말기(301~300n)는 개인 컴퓨터(PC)에서 PDA(Personal Digital Assistant) 및 모바일(mobile) 등에 이르기까지 각종 인터넷 연결 장치를 포함하며, 다수의 평가 기관(401~400n)은 CAT(Computer-Adaptive Test : 컴퓨터 개별 적응 검사, 이하 CAT라 함) 방식의 각종 시험을 다수의 응시자를 대상으로 실시하는 학원 및 시험 출제, TOEIC/TOEFL 평가 기관 등을 포함한다.
이러한 연결 구조를 이루는 문항 모수 갱신 및 측정 서비스 제공 시스템(100)은, 먼저 응시자들이 자신의 단말기(300)를 이용하여 유무선 통신망(200)을 통해 평가 기관(400)의 메인 서버에 접속하면, 평가 기관(400)은 응시자들로 하여금 CAT 방식의 시험을 치룰 수 있도록 한다.
이때, 문항 모수 갱신 및 측정 서비스 제공 시스템(100)은 이러한 CAT 방식의 계속되는 시험으로 인한 문항별 노출도 증가에 따라, 문제은행 DB(500) 내의 각 문항별 노출빈도를 측정한 후, 측정된 노출빈도에 따라 문항 모수 조정이 필요한 특정 문항을 선별한다.
이후, 문항 모수 갱신 및 측정 서비스 제공 시스템(100)은 선별된 문항의 모수(난이도, 변별도, 추측도)를 갱신한 후, 갱신된 문항별 모수를 실시간으로 측정하여 해당 클라이언트(학원 및 평가기관 등의 담당자)에게 관련 정보를 제공함으로써, 클라이언트로 하여금 완전 노출된 문항의 폐기 및 신규 문항 개발 방지로 인한 비용 절감 등을 이룰 수 있도록 한다.
이러한 특성의 문항 모수 갱신 및 측정 서비스 제공 시스템(100)에 대해 첨부된 도면을 통해 자세히 알아보면 다음과 같다.
도 2는 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템의 세부적인 블록 구성도이다.
도 2에 도시되어 있듯이, 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템(100)은 클라이언트 관리 서버(110), 문항 모수 갱신 및 측정 서비스 제공/관리 서버(120) 및 데이터베이스 관리 서버(130)를 포함한다.
자세히 설명하면, 클라이언트 관리 서버(110)는 웹페이지 관리부(111) 및 클라이언트 관리부(112)를 포함하며, 문항 모수 갱신 및 측정 서비스 제공/관리 서버(120)는 노출빈도 카운팅부(121), 문항 선별부(122), 문항모수 갱신부(123), 문항모수 측정부(124) 및 문항 모수 갱신/측정 서비스 제공부(125)를 포함한다.
또한, 데이터베이스 관리 서버(130)는 클라이언트 DB(131), 임시 문제 은행 DB(132), 문항 갱신 DB(133), 문항 측정 DB(134) 및 서비스 제공 DB(135)를 포함한다.
먼저, 클라이언트 관리 서버(110)는 유무선 통신망(200)을 통해 연결된 클라이언트의 회원 또는 비회원 유무를 판단하며, 회원으로 판단된 클라이언트(평가기관 및 학원 등)와 관련된 정보를 저장 및 관리한다. 또한, 클라이언트로부터 요청되는 문항 모수 갱신 및 측정 서비스를 웹페이지 및 메일 등을 통해 제공하며, 이러한 웹페이지를 관리 및 저장한다.
더불어, 클라이언트 관리 서버(110)는 평가기관(400)으로부터 제공되는 응시자 관련 정보(성명, 나이, 능력치 및 관련 통계치 등) 역시 저장 및 관리한다.
웹페이지 관리부(111)는 다수 클라이언트(평가기관 및 학원 등)로부터 요청되는 문항 모수 갱신 및 측정 서비스와 관련된 웹페이지를 제공하며, 이러한 서비스를 제공하는 메인 웹페이지 및 그에 따른 서브 웹페이지들을 관리한다.
클라이언트 관리부(112)는 변경/추가되는 클라이언트(시험 응시자) 관련 정보 저장에서부터 기존/신규 회원 정보(예를 들어, 아이디, 패스워드 및 전자메일 주소 등)의 추가/삭제 및 정보 검색을 통한 회원/비회원 판단을 포함하는 회원 관리에 이르기까지 클라이언트와 관련된 전반적인 정보 관리를 수행한다.
문항 모수 갱신 및 측정 서비스 제공/관리 서버(120)는 각 문항별 노출도 측정에서부터 측정된 노출도에 기초한 문항 선별, 선별된 문항의 모수 갱신 및 갱신된 문항별 모수 측정에 이르기까지, 문항 모수 갱신 및 측정과 관련된 모든 서비스를 클라이언트에게 제공함으로서, 클라이언트로 하여금 완전 노출된 문항의 폐기 및 신규 문항 개발 방지로 인한 비용 절감 등을 이룰 수 있도록 한다.
노출빈도 카운팅부(121)는 CAT 방식의 시험 시행을 위한 문제은행, 즉 CAT를 통해서 응시자들이 직접 접하고 있는 문제은행 DB(500) 내의 문항별 응시자 반응(정답률 및 점수치 등)을 체크하여 그에 따른 문항별 노출빈도를 체크한다.
체크시, 노출빈도 카운팅부(121)는 응시자 관련 정보(연령, 능력치 및 통계치 등)에 기초한 문항별 응시자 반응을 체크하여 문항별 노출빈도를 체크한다.
문항 선별부(122)는 체크된 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정 문항을 선별한다. 즉, 노출빈도 체크 결과, 고 난위도 문제로 측정됐던 문항이 최종 능력치 및 통계치가 매우 낮은 응시자들이 모두 맞혔을 경우, 난위도 조정을 위해 해당 문항을 선별한다.
문항모수 갱신부(123)는 선별된 문항의 모수, 즉 고난위도 문항을 저난위도 문항으로 조정하거나 또는 선별된 문항의 변별력 조정 등을 업데이트 알고리즘(Update Algorithm)을 이용하여 갱신한다. 이때, 문항모수 갱신부(123)는 임시 결과값의 평균값과 사전에 설정한 한계값과의 비교를 통해 갱신 여부를 결정하며, 이러한 문항모수 갱신을 주기적으로 반복 수행한다.
문항모수 측정부(124)는 갱신된 문항별 모수를 응시자별 반응에 따라 실시간으로 측정하며, 측정시 응시자 관련 정보에 기초하여 측정한다.
문항 모수 갱신/측정 서비스 제공부(125)는 측정된 문항별 모수와 관련된 정보를 해당 클라이언트(학원 및 평가기관, 문제 출제기관 등의 담당자)에게 웹페이지와 전자 메일 등을 통해 제공함으로써, 클라이언트로 하여금 완전 노출된 문항의 폐기 및 신규 문항 개발 방지로 인한 비용 절감 등을 이룰 수 있도록 한다.
데이터베이스 관리 서버(130)는 주기적인 문항별 모수 갱신 및 갱신된 문항별 모수 측정에서부터 관련 서비스 제공 및 변경, 추가와 관련되는 각종 정보들이 저장되는 데이터베이스들을 관리한다.
클라이언트 DB(131)는 로그인한 클라이언트별(평가기관, 문제출제기관 및 학원 등) 관련 정보(회원별 ID, 비밀번호, 전자메일 주소 등) 및 변경/추가되는 클라이언트 관련 정보가 저장된다. 더불어, 다수의 평가 기관(400)으로부터 제공되는 응시자 관련 정보(성명, 나이, 최종 능력치 등) 역시 저장 및 관리된다.
임시 문제 은행 DB(132)는 선별된 문항(신규 또는 기존 문항) 및 그와 관련된 정보가 저장 및 관리된다.
문항 갱신 DB(133)는 문항의 모수 갱신과 관련된 문항별 관련 정보, 즉 질적 정보(문항저자, 작성 시기, 문항 목적, 문항 유형 및 주제어 등)와 통계정보(문항모수치, 표준오차, 각종 통계정보 및 수험자 반응수 등) 등이 저장된다.
문항 측정 DB(134)는 갱신된 문항별 모수 측정과 관련된 정보가 저장된다.
서비스 제공 DB(135)는 클라이언트별 문항 모수 갱신 및 측정 서비스 제공에 따른 관련 정보가 저장된다.
이러한 구조를 이루는 문항 모수 갱신 및 측정 서비스 제공 시스템의 동작 과정에 대해 설명하기에 앞서, 본 발명의 실시예에 따른 업데이트 알고리즘에 대해 자세히 설명하면 다음과 같다.
문항 모수 갱신 및 측정 서비스 제공/관리 서버(120)는 먼저 가장 최근에 업데이트가 이루어진 날짜를 전후로 대략 50:50 비율로 CAT 검사를 통해 이루어진 모든 수험 관련 정보(수험자들의 능력치, 정답률, 오답률, 노출도 등)를 수집한다.
이후, 수집된 수험 관련 정보의 문항 특성을 추정한다. 이때, 모든 문항 특성에 대한 모든 수험자들의 응답이 존재하지 않기 때문에, 이런 무응답(결측치)들은 확률적 추정법에 의해서 대치 추정한다. 확률적 추정법이란, 수험자들의 각 문항에 대한 정답 및 오답 경향을 분석하여 특정 문항에 대한 응답을 예측하는 방법이다.
이후, 문항 모수 갱신 및 측정 서비스 제공/관리 서버(120)는 편차가 작은 문항 특성값을 추정하기 위해 다양한 수험자 그룹과 문항 그룹을 형성한 후, 형성된 각 그룹에 따른 응답 행렬(수험자들의 정답률, 오답률, 노출도 등)을 초기 문제은행 엔진에 입력하여 측정하는 과정이 반복 수행되도록 한다.
이후, 이러한 반복 수행을 통해 얻은 문항 특성값들의 평균을 구한 후, 미리 설정한 한계값과의 비교를 통해 업데이트를 유무를 결정한다.
이러한 업데이트 알고리즘을 이용한 문항 모수 갱신 및 측정 서비스 제공 시스템의 동작 과정에 대해 첨부된 도면을 통해 자세히 알아보면 다음과 같다.
도 3은 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템의 동작 과정을 순차적으로 도시한 흐름도이다.
도 3을 참조하면, 먼저 평가 기관(400)과 학원 및 문제 출제 기관 등과 같은 클라이언트가 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스를 제공받기 위해 유무선 통신망(200)에 연결(S301)되면, 본 발명의 따른 클라이언트 관리 서버(110)는 문항 모수 갱신 및 측정 서비스를 제공하는 메인 및 서브 웹페이지를 평가기관(400)으로 제공한다(S302).
이후, 해당 클라이언트는 제공받은 서비스에 기초하여 과목별 시험 문제를 응시자 단말기(300)로 제공(S303)하며, 다수의 응시자들은 학원 및 평가기관(400) 또는 해당 문제은행 DB(500)를 통해 시행되는 과목별 시험에 응시한다(S304, S305).
이때, 본 발명의 실시예에 따른 문항 모수 갱신 및 측정 서비스 제공 시스템(100)의 노출빈도 카운팅부(121)는 CAT 방식의 시험 시행을 위한 문제은행, 즉 CAT를 통해서 응시자들이 직접 접하고 있는 문제은행 DB(500) 내의 문항별 응시자 반응(정답률 및 점수치 등)을 확인한 후, 그에 따른 문항별 노출빈도를 체크한다(S306). 체크시, 노출빈도 카운팅부(121)는 응시자 관련 정보(연령, 능력치 및 통계치 등)에 기초한 문항별 응시자 반응을 고려하여 문항별 노출빈도를 체크한다.
이후, 문항 선별부(122)는 체크된 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정 문항을 선별한다(S307). 즉, 노출빈도 체크 결과, 고 난위도 문제로 측정됐던 문항이 최종 능력치 및 통계치가 매우 낮은 응시자들이 모두 맞혔을 경우, 난위도 조정을 위해 해당 문항을 선별한다.
이후, 문항모수 갱신부(123)는 선별된 문항의 모수, 즉 고난위도 문항을 저난위도 문항으로 조정하거나 또는 선별된 특정 문항의 변별력 조정 등을 업데이트 알고리즘(Update Algorithm)을 이용하여 수행함으로써, 문항 모수를 갱신한다(S308).
이후, 문항모수 측정부(124)는 갱신된 문항별 모수를 응시자별 반응에 따라 실시간으로 측정(S309)하며, 측정시 응시자 관련 정보에 기초하여 측정한다.
이후, 문항 모수 갱신/측정 서비스 제공부(125)는 문항별 노출빈도 및 그에 따른 문항 모수 갱신과 관련된 정보를 해당 클라이언트(학원 및 평가기관, 문제 출제기관 등의 담당자)에게 웹페이지와 전자 메일 등을 통해 제공(S310)함으로써, 클라이언트로 하여금 완전 노출된 문항의 폐기 및 신규 문항 개발 방지로 인한 비용 절감 등을 이룰 수 있도록 한다.
이후, 문항 모수 갱신/측정 서비스 제공/관리 서버(120)는 해당 클라이언트로부터 추가적인 서비스 문항 모수 갱신/측정 서비스 요청이 있는지를 확인(S311)하여, 확인 결과 추가 서비스 요청이 없으면, 해당 클라이언트로의 서비스 제공을 종료(S312)하는 반면, 추가 서비스 요청이 있으면, 상기한 동작 과정을 반복 수행한다.
이처럼, 본 발명의 실시예에 따른 업데이트 알고리즘을 이용한 문항 모수 갱신 및 측정 서비스 제공 시스템과 그 방법은 시간에 따른 문항별 노출도 및 응시자별 정답률(점수치)을 고려하여 해당 문항의 모수(난이도, 변별도, 추측도)를 갱신한 후, 갱신된 문항별 모수를 실시간으로 측정함으로서, 클라이언트로 하여금 문항의 폐기 처리 및 신규 문항 개발로 인한 비용 절감 뿐만 아니라, 이로 인한 자원의 이용 효율성 증대를 이룰 수 있도록 한다.
도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 따른 업데이트 알고리즘을 이용한 문항 모수 갱신 및 측정 서비스 제공 시스템과 그 방법은 시간에 따른 문항별 노출도 및 응시자별 정답률(점수치)을 고려하여 해당 문항의 모수(난이도, 변별도, 추측도)를 갱신한 후, 갱신된 문항별 모수를 실시간으로 측정함으로서, 클라이언트로 하여금 문항의 폐기 처리 및 신규 문항 개발로 인한 비용 절감 뿐만 아니라, 이로 인한 자원의 이용 효율성 증대를 이룰 수 있도록 할 수 있는 효과가 있다.

Claims (8)

  1. 컴퓨터 개별 적응 검사 방식의 각종 시험을 실시하는 평가 기관과 문제 출제 기관을 포함하는 클라이언트로의 문항 모수 갱신 및 측정 서비스를 제공하는 시스템에 있어서,
    컴퓨터 개별 적응 검사 방식의 계속되는 시험으로 인한 각 문항별 노출 빈도를 체크한 후, 상기 체크된 문항별 노출 빈도에 따라 문항 모수 조정이 필요한 특정 문항을 선별하여 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신한 후, 상기 갱신된 각 문항별 모수를 주기적으로 반복 측정하는 문항 모수 갱신 및 측정 서비스 제공/관리 서버; 및
    상기 각 문항별 모수 갱신 및 측정 서비스 제공에서부터 그에 따라 변경 및 추가되는 각종 정보들이 저장되는 데이터베이스들을 관리하는 데이터베이스 관리 서버
    를 포함하는 것을 특징으로 하는 문항 모수 갱신 및 측정 서비스 제공 시스템.
  2. 제1 항에 있어서,
    상기 문항 모수 갱신 및 측정 서비스 제공/관리 서버는,
    상기 컴퓨터 개별 적응 검사 방식을 통해 다수의 응시자들이 직접 접하고 있는 문제은행 데이터베이스 내의 각 문항별 응시자 정답률 및 최종 점수치를 확인하여 상기 각 문항별 노출빈도를 체크하는 노출빈도 카운팅부;
    상기 체크된 각 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정 문항을 선별하는 문항 선별부;
    상기 선별된 문항의 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신하는 문항모수 갱신부;
    상기 갱신된 문항별 모수를 응시자별 정답률 및 최종 점수치에 따라 주기적으로 반복 측정하는 문항모수 측정부; 및
    상기 측정된 문항별 모수 및 그와 관련된 정보가 상기 클라이언트에게 제공되도록 하는 문항 모수 갱신/측정 서비스 제공부
    를 포함하는 것을 특징으로 하는 문항 모수 갱신 및 측정 서비스 제공 시스템.
  3. 제2 항에 있어서,
    상기 문항모수 갱신부는,
    상기 선별된 문항에 대한 임시 결과 측정 평균값과 사전에 설정한 한계값과의 비교를 통해 상기 선별된 문항의 모수 갱신 여부를 결정하는 것을 특징으로 하는 문항 모수 갱신 및 측정 서비스 제공 시스템.
  4. 제1 항에 있어서,
    상기 클라이언트와 관련된 정보를 저장 및 관리하며, 상기 클라이언트로부터요청되는 문항 모수 갱신 및 측정 서비스를 웹페이지 또는 전자 메일을 통해 제공하는 클라이언트 관리 서버
    를 더 포함하는 것을 특징으로 하는 문항 모수 갱신 및 측정 서비스 제공 시스템.
  5. 컴퓨터 개별 적응 검사 방식의 각종 시험을 실시하는 평가 기관과 문제 출제 기관을 포함하는 클라이언트로의 문항 모수 갱신 및 측정 서비스를 제공하는 방법에 있어서,
    a)컴퓨터 개별 적응 검사 방식을 통해 다수의 응시자들이 직접 접하고 있는 문제은행 데이터베이스 내의 각 문항별 응시자 정답률 및 최종 점수치를 확인하여 상기 각 문항별 노출빈도를 체크하는 단계;
    b)상기 체크된 각 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정 문항을 선별하는 단계;
    c)상기 선별된 문항의 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신하는 단계;
    d)상기 갱신된 문항별 모수를 응시자별 정답률 및 최종 점수치에 따라 주기적으로 반복 측정하는 단계; 및
    e)상기 측정된 문항별 모수 및 그와 관련된 정보가 상기 클라이언트에게 제공되도록 하는 단계
    를 포함하는 것을 특징으로 하는 문항 모수 갱신 및 측정 서비스 제공 방법.
  6. 제5 항에 있어서,
    상기 c)단계는,
    상기 선별된 문항에 대한 임시 결과 측정 평균값과 사전에 설정한 한계값과의 비교를 통해 상기 선별된 문항의 모수 갱신 여부를 결정하는 단계
    를 포함하는 것을 특징으로 하는 문항 모수 갱신 및 측정 서비스 제공 방법.
  7. 제5 항에 있어서,
    상기 클라이언트로부터 요청되는 문항 모수 갱신 및 측정 서비스를 웹페이지 또는 전자 메일을 통해 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 문항 모수 갱신 및 측정 서비스 제공 방법.
  8. 컴퓨터 개별 적응 검사 방식의 각종 시험을 실시하는 평가 기관과 문제 출제 기관을 포함하는 클라이언트로의 문항 모수 갱신 및 측정 서비스를 제공하는 방법을 포함하는 기록매체에 있어서,
    a)컴퓨터 개별 적응 검사 방식을 통해 다수의 응시자들이 직접 접하고 있는 문제은행 데이터베이스 내의 각 문항별 응시자 정답률 및 최종 점수치를 확인하여 상기 각 문항별 노출빈도를 체크하는 기능;
    b)상기 체크된 각 문항별 노출빈도에 따라, 문항 모수 조정이 필요한 특정문항을 선별하는 기능;
    c)상기 선별된 문항의 난이도, 변별도 및 추측도 중에서 적어도 어느 하나 이상을 갱신하는 기능;
    d)상기 갱신된 문항별 모수를 응시자별 정답률 및 최종 점수치에 따라 주기적으로 반복 측정하는 기능; 및
    e)상기 측정된 문항별 모수 및 그와 관련된 정보가 상기 클라이언트에게 제공되도록 하는 기능
    을 포함하는 프로그램이 저장된 기록매체.
KR1020030002746A 2003-01-15 2003-01-15 업데이트 알고리즘을 이용한 문항 모수 조정 및 측정서비스 제공 시스템 과 그 방법 KR20040065657A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030002746A KR20040065657A (ko) 2003-01-15 2003-01-15 업데이트 알고리즘을 이용한 문항 모수 조정 및 측정서비스 제공 시스템 과 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030002746A KR20040065657A (ko) 2003-01-15 2003-01-15 업데이트 알고리즘을 이용한 문항 모수 조정 및 측정서비스 제공 시스템 과 그 방법

Publications (1)

Publication Number Publication Date
KR20040065657A true KR20040065657A (ko) 2004-07-23

Family

ID=37355762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030002746A KR20040065657A (ko) 2003-01-15 2003-01-15 업데이트 알고리즘을 이용한 문항 모수 조정 및 측정서비스 제공 시스템 과 그 방법

Country Status (1)

Country Link
KR (1) KR20040065657A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220057421A (ko) * 2020-10-29 2022-05-09 주식회사 더캣코리아 Cat 기반 통합검사 수행 장치 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220057421A (ko) * 2020-10-29 2022-05-09 주식회사 더캣코리아 Cat 기반 통합검사 수행 장치 및 시스템

Similar Documents

Publication Publication Date Title
Valliant Comparing alternatives for estimation from nonprobability samples
US20240007381A1 (en) Combining measurements based on beacon data
US10489801B2 (en) Combining measurements based on beacon data
Revelle et al. Web and phone based data collection using planned missing designs
Henriksson et al. Evaluation instrument for e-government websites
Plutzer Becoming a habitual voter: Inertia, resources, and growth in young adulthood
Mitra Six Sigma education: a critical role for academia
US8099311B2 (en) System and method for routing tasks to a user in a workforce
US8504558B2 (en) Framework to evaluate content display policies
Monroe et al. Examining the reliability of student growth percentiles using multidimensional IRT
CN113157922B (zh) 基于图的网络实体行为评估、可视化方法
US20120058459A1 (en) Democratic Process of Testing for Cognitively Demanding Skills and Experiences
US20150056578A1 (en) Methods and systems for gamified productivity enhancing systems
Kong et al. Eliciting expertise without verification
CN116244504A (zh) 一种用于辅助高考志愿填报方案的推荐方法及系统
Sachse et al. Standard errors for national trends in international large-scale assessments in the case of cross-national differential item functioning
CN115081965B (zh) 一种学情大数据分析系统及学情服务器
KR20040065657A (ko) 업데이트 알고리즘을 이용한 문항 모수 조정 및 측정서비스 제공 시스템 과 그 방법
Gummer et al. Learning effects in coders and their implications for managing content analyses
McCormick et al. Surveying hard-to-reach groups through sampled respondents in a social network: A comparison of two survey strategies
Guzmán Monte Carlo evaluations of methods of grade distribution in group projects: Simpler is better
Al_Nawaiseh et al. Evaluating system content’s quality in elearning system
Kleib et al. The Psychometric Properties of Version 2 of the Canadian Nurse Informatics Competency Assessment Scale
Wheadon Using modern test theory to maintain standards in public qualifications in England
US20230360552A1 (en) Method, apparatus, device and medium for information updating

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application