KR20040065656A - 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템및 그 방법 - Google Patents

프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템및 그 방법 Download PDF

Info

Publication number
KR20040065656A
KR20040065656A KR1020030002745A KR20030002745A KR20040065656A KR 20040065656 A KR20040065656 A KR 20040065656A KR 1020030002745 A KR1020030002745 A KR 1020030002745A KR 20030002745 A KR20030002745 A KR 20030002745A KR 20040065656 A KR20040065656 A KR 20040065656A
Authority
KR
South Korea
Prior art keywords
test
item
characteristic evaluation
client
evaluation service
Prior art date
Application number
KR1020030002745A
Other languages
English (en)
Inventor
성병찬
Original Assignee
주식회사 오란디프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오란디프 filed Critical 주식회사 오란디프
Priority to KR1020030002745A priority Critical patent/KR20040065656A/ko
Publication of KR20040065656A publication Critical patent/KR20040065656A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템 및 그 방법에 관한 것이다.
본 발명은 다수의 응시자를 대상으로 시험을 실시하는 평가 기관 및 학원을 포함하는 클라이언트로의 문항 특성 평가 서비스를 제공하는 시스템에 있어서, 기존 및 신규 문항을 응시자별 각 특성에 맞게 추출 및 배열한 프리 테스트용 문항을 생성한 후, 생성된 프리 테스트용 문항에 대한 각 응시자별 프리 테스트 결과에 따라, 난이도, 변별도 및 추측도를 포함하는 문항 모수를 분석하여 분석된 문항 모수와 관련된 정보를 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 문항 특성 평가 서비스 제공/관리 서버를 포함한다.
이를 통하여, CAT 방식의 각종 시험 시행시 반드시 필요한 문항별/응시자별 정확한 문항 모수가 측정된 문제 은행을 구축할 수 있을 뿐만 아니라, 서비스 이용자(평가기관/학원 등)로 하여금 응시자별 특성에 맞는 문항 선정 및 응시자 분석을 정확하게 할 수 있도록 할 수 있다.

Description

프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템 및 그 방법 {A SYSTEM AND METHOD FOR PROVIDING ITEM CHARACTER MEASURE SERVICE USING PRE TEST}
본 발명은 문항 특성 평가 서비스 제공 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 응시자들이 응시한 프리 테스트 결과를 이용하여 해당 문항의 특성을 평가하는 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템 및 그 방법에 관한 것이다.
현재의 국가 자격 시험 방식은 종래의 과거 시험 형태에서 크게 벗어나지 못한 지극히 비효율적인 지필식 시험 방식이 대부분이다. 즉, 모든 분야의 시험을 막론하고, 시험이 시행될 때면 전국적으로 수많은 응시자들이 일정한 장소로 집결하기 위해 이동해야 할 뿐만 아니라, 이로 인해, 막대한 재정적/시간적 낭비를 초래하게 된다. 또한, 관리적인 측면에 있어서도 많은 인력을 동원해야 한다.
한편, 보안 문제에 있어서도 효율적이지 못하다. 즉, 시험 실시 몇 달전부터 출제 위원들을 감금/억류시킴에도 불구하도, 시험 문제가 유출되었다는 점과, 시험 문항 자체가 맞는지에 대한 그 적정성 여부가 사회적 문제가 되는 것 등을 자주 보게 된다.
이러한 단점을 보안하기 위한 방안으로, 근래 들어 세계 각지의 수많은 컴퓨터들을 인터넷을 통해 연결하여 가정, 회사 및 학교 등 각지에서 클라이언트로 하여금 자신의 원하는 장소에서 시험에 응시할 수 있도록 하는 CAT(Computer- Adaptive Test : 컴퓨터 개별 적응 검사, 이하 CAT라 함) 방식의 각종 시험들이 시행되고 있거나 혹은 가까운 미래에 CAT 방식으로 전환될 예정이다.
즉, 엄청난 규모로 매해 시행되고 있는 TOEFL, TOEIC, SAT, TEPS, CPA 등과 같은 각종 시험의 응시자들이 자신의 단말기를 이용하여 자신이 원하는 장소에서 시험을 치루거나 또는 치룰 수 있게 될 것이다.
그러나, 이러한 CAT 방식의 시험은 문제 은행의 노출도 증가 및 환경 변화 등으로 인해 문제 은행의 질적 수준을 떨어뜨릴 뿐만 아니라, 그로 인한 신뢰성 저하를 불러 일으킨다.
또한, CAT 방식의 시험을 주관하는 평가 기관 및 학원들은 문항 선정에 있어, 전문 학자(문제출제위원 또는 선생님 등)들이 만든 문항을 전문 학자들이 분석한 결과나 또는 자체 평가 위원들의 분석 결과에 따라 문항 모수(parameter, 난이도, 변별도, 추측도)를 결정한다.
이후, 결정된 문항 모수에 맞는 문항 추출 및 배열 등을 수행한 후, 응시자로 하여금 시험을 치룰 수 있도록 한다.
그러나, 이러한 문항 선정 방식을 통한 시험문제 구성은 정확한 문항 모수 측정을 통해 이루어지는 것이 아니기 때문에, 응시자 및 평가기관으로 하여금 어려움을 겪게 한다.
자세히 설명하면, 평가기관 및 학원들은 응시자의 특성을 통계 또는 성적 등으로 파악한 후, 그에 맞는 문항들을 선정하여 시험을 치루게 한다. 하지만, 응시자의 입장에서는 모든 문항을 어렵게 풀 수도 있으며, 반면 모든 문항을 쉽게 풀 수도 있다. 즉, 응시자 및 출제자 모두 예측하지 못한 결과를 낳을 수 있다.
이러한 대표적인 예가 바로 매년 시행되고 있는 대학 수학 능력 시험이다. 지금의 대학 수학 능력 시험은 CAT 방식은 아니지만, 앞서 설명한 문항 선정 방식을 따른다. 하지만, 이러한 방식으로 선정된 각 문항들의 난이도 및 변별도 등은 당초 문제 출제자들의 의도와는 다르게 시험 응시자들로 하여금 매우 어렵게 느껴지거나, 또는 너무 쉽게 느껴지게 한다. 즉, 문제 출제자들이 분석한 문항 모수의 특성이 잘못된 것이라고 할 수 있다.
따라서, 응시자들의 특성을 정확하게 파악하여 실시간으로 문항 모수를 측정 및 분석할 수 있는 시스템과 그에 대한 방안이 요구되고 있는 실정이다.
본 발명이 이루고자 하는 기술적 과제는 이러한 문제점을 해결하기 위한 것으로서, 문제은행 데이터베이스에 추출한 문항 및 새로운 문항에 대한 응시자들의 프리 테스트 결과에 따라, 응시자별 문항 모수(난이도, 변별도, 추측도)를 측정하여 분석할 수 있는 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 측정 분석된 문항 모수에 따른 문항별 문제은행 데이터베이스를 구축한 후, 관련 정보를 컴퓨터 개별 적응 검사(Computer-Adaptive Test)를 수행하는 클라이언트(평가 기관 및 학원 등)로 제공함으로써, 클라이언트로 하여금 응시자별 특성에 맞는 문항 선별 및 응시자 분석을 정확하게 할 수 있도록 하는 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템 및 그 방법을 제공하기 위한 것이다.
도 1은 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템의 대략적인 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템의 세부적인 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템의 동작 과정을 순차적으로 도시한 흐름도이다.
※도면의 주요 부분에 대한 부호의 설명※
100 : 문항 특성 평가 서비스 제공 시스템
110 : 클라이언트 관리 서버
120 : 문항 특성 평가 서비스 제공/관리 서버
121 : 문항 추출/보충부 122 : 문항 배열/부여부
123 : 프리 테스트 결과 수집부 124 : 통계 산출부
125 : 수험용 문제 은행 진입부
130 : 데이터베이스 관리 서버
200 : 유무선 통신망 300 : 응시자 단말기
400 : 평가기관 500 : 문제은행 DB
이러한 목적을 달성하기 위한 본 발명에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템은, 다수의 응시자를 대상으로 시험을 실시하는 평가 기관 및 학원을 포함하는 클라이언트로의 문항 특성 평가 서비스를 제공하는 시스템에 있어서, 기존 및 신규 문항을 응시자별 각 특성에 맞게 추출 및 배열한 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항에 대한 각 응시자별 프리 테스트 결과에 따라, 난이도, 변별도 및 추측도를 포함하는 문항 모수를 분석하여 상기 분석된 문항 모수와 관련된 정보를 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 문항 특성 평가 서비스 제공/관리 서버; 및 상기 클라이언트별 문항 특성 평가 서비스 제공에서부터 그에 따라 변경 및 추가되는 각종 정보들이 저장되는 데이터베이스들을 관리하는 데이터베이스 관리 서버를 포함하는 것을 특징으로 한다.
이때, 상기 문항 특성 평가 서비스 제공/관리 서버는, 컴퓨터 개별 적응 검사 방식의 시험 시행을 위한 외부의 문제은행 데이터베이스에서 신규 및 기존 문항을 추출한 후, 상기 추출된 신규 및 기존 문항을 임시 문제은행 데이터베이스에 보충하는 문항 추출/보충부; 상기 추출하여 보충된 문항을 각 응시자별 특성에 맞게 배열 및 부여하여 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항을 상기 각 응시자의 시험 문제에 부여하는 문항 배열/부여부; 상기 생성된 프리테스트용 문항에 대한 상기 각 응시자별 정답/오답률 및 최종 시험 결과 점수를 수집하는 프리 테스트 결과 수집부; 상기 수집된 각 응시자별 정답/오답률 및 최종 시험 결과 점수에 따른 각 문항별 특성을 추출한 후, 상기 추출된 정보를 다양한 기준에 따라 각종 통계치를 산출하는 통계 산출부; 및 상기 통계 산출된 문항별/응시자별 정보를 상기 문제은행 데이터베이스에 포함시켜 상기 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 수험용 문제은행 진입부를 포함한다.
또한, 본 발명의 다른 특징에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 방법은, 다수의 응시자를 대상으로 시험을 실시하는 평가 기관 및 학원을 포함하는 클라이언트로의 문항 특성 평가 서비스를 제공하는 방법에 있어서, a)컴퓨터 개별 적응 검사 방식의 시험 시행을 위한 외부의 문제은행 데이터베이스에서 신규 및 기존 문항을 추출한 후, 상기 추출된 신규 및 기존 문항을 임시 문제은행 데이터베이스에 보충하는 단계; b)상기 추출하여 보충된 문항을 각 응시자별 특성에 맞게 배열 및 부여하여 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항을 상기 각 응시자의 시험 문제에 부여하는 단계; c)상기 생성된 프리 테스트용 문항에 대한 상기 각 응시자별 정답/오답률 및 최종 시험 결과 점수를 수집하는 단계; d)상기 수집된 각 응시자별 정답/오답률 및 최종 시험 결과 점수에 따른 각 문항별 특성을 추출한 후, 상기 추출된 정보를 다양한 기준에 따라 각종 통계치를 산출하는 단계; 및 e)상기 통계 산출된 문항별/응시자별 정보를 상기 문제은행 데이터베이스에 포함시켜 상기 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 특징에 따른 다수의 응시자를 대상으로 시험을 실시하는 평가 기관 및 학원을 포함하는 클라이언트로의 문항 특성 평가 서비스를 제공하는 방법을 포함하는 기록매체에 있어서, a)컴퓨터 개별 적응 검사 방식의 시험 시행을 위한 외부의 문제은행 데이터베이스에서 신규 및 기존 문항을 추출한 후, 상기 추출된 신규 및 기존 문항을 임시 문제은행 데이터베이스에 보충하는 기능; b)상기 추출하여 보충된 문항을 각 응시자별 특성에 맞게 배열 및 부여하여 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항을 상기 각 응시자의 시험 문제에 부여하는 기능; c)상기 생성된 프리 테스트용 문항에 대한 상기 각 응시자별 정답/오답률 및 최종 시험 결과 점수를 수집하는 기능; d)상기 수집된 각 응시자별 정답/오답률 및 최종 시험 결과 점수에 따른 각 문항별 특성을 추출한 후, 상기 추출된 정보를 다양한 기준에 따라 각종 통계치를 산출하는 기능; 및 e)상기 통계 산출된 문항별/응시자별 정보를 상기 문제은행 데이터베이스에 포함시켜 상기 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 기능을 포함하는 프로그램이 저장된 기록매체를 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명하면 다음과 같다.
또한, 이하 본 발명에서는 설명의 편의를 위하여 신규 문항 또는 기존의 문항들을 각 시험 응시자의 특성(성적, 연령 등)에 따라 추출 및 배열하여 응시자로 하여금 프리 테스트를 거치도록 함과 동시에, 각 응시자별 프리 테스트 결과에 따라 각 문항별 모수(난이도, 변별도, 추측도)를 결정한 후, 결정된 문항별 모수에 따른 문제은행 데이터베이스의 구축 및 정보 제공에 이르기까지 문항과 관련된 모든 서비스를 문항 특성 평가 서비스라 명명한다.
또한, 이러한 문항 특성 평가 서비스를 제공받고자 하는 평가기관 및 학원 등을 클라이언트라 명명하며, 외부의 문제은행 DB에서 추출한 기존 또는 신규 문항 중 응시자별 특성 및 최종 능력치에 맞게 적절하게 배열 및 부여된 문항을 프리 테스트용 문항이라 명명한다.
도 1은 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템의 대략적인 블록 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템(100)은 유무선 통신망(200)을 통해 다수의 평가기관(401~400n) 및 응시자 단말기(301~300n)와 상호 연결되어 있으며, 신규 또는 기존의 문항들이 저장되어 있는 문제은행 DB(500) 역시 유무선 통신망(200)을 통해 상호 연결된 구조를 이룬다.
여기서, 응시자 단말기(301~300n)는 개인 PC에서 PDA(Personal Digital Assistant) 및 모바일(mobile) 등에 이르기까지 각종 인터넷 연결 장치를 포함하며, 다수의 평가기관(401~400n)은 CAT(Computer-Adaptive Test : 컴퓨터 개별 적응 검사, 이하 CAT라 함) 방식의 각종 시험들을 응시자들로 하여금 응시할 수 있도록 하는 학원 및 시험 출제 또는 평가기관들을 포함한다.
이러한 연결 구조를 이루는 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템(100)은, 먼저 응시자들이 자신의 단말기(300)를 이용하여 유무선 통신망(200)을 통해 평가기관(400)의 메인 서버에 접속하면, 평가기관(400)은 응시자들로 하여금 CAT 방식의 시험을 치룰 수 있도록 한다.
한편, 본 발명의 실시예에 따른 문항 특성 평가 서비스 제공 시스템(100)은 평가기관(400)으로부터 제공되는 각 응시자별 특성(연령, 시험 성적 등)에 따라, 그에 맞는 문항을 해당 문제은행 DB(500)에서 추출 및 배열하여 프리 테스트용 문항을 생성한다. 이렇게 생성된 프리 테스트용 문항은 응시자들의 시험 문제에 적절히 부여되어 응시자들로 하여금 해당 문항을 풀도록 한다.
이후, 문항 특성 평가 서비스 제공 시스템(100)은 응시자들의 반응(정답률 및 오답률) 및 최종 능력치(최종 평가 점수)에 따라 해당 문항의 모수(난이도, 변별도, 추측도)를 결정한 후, 이와 관련한 정보를 데이터베이스를 통해 구축 및 제공함으로써, 클라이언트(평가기관 및 학원 등)로 하여금 응시자별 특성에 맞는 문항 선별 및 응시자 분석을 정확하게 할 수 있도록 한다.
즉, 문항 특성 평가 서비스 제공 시스템(100)은 문제 출제자들의 직관적인 판단 및 기존의 분석 결과가 아닌, 응시자들의 실제 능력에 따른 문항 모수를 측정함으로써, 클라이언트(평가기관 및 학원 등)로 하여금 추후 시행되는 시험의 난이도 및 변별도 등을 정확하게 조정할 수 있도록 한다.
이러한 특성의 문항 특성 평가 서비스 제공 시스템(100)에 대해 첨부된 도면을 통해 자세히 알아보면 다음과 같다.
도 2는 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템의 세부적인 블록 구성도이다.
도 2에 도시되어 있듯이, 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템(100)은 클라이언트 관리 서버(110), 문항 특성 평가 서비스 제공/관리 서버(120) 및 데이터베이스 관리 서버(130)를 포함한다.
자세히 설명하면, 클라이언트 관리 서버(110)는 웹페이지 관리부(111) 및 클라이언트 관리부(112)를 포함하며, 문항 특성 평가 서비스 제공/관리 서버(120)는 문항 추출/보충부(121), 문항 배열/부여부(122), 프리 테스트 결과 수집부(123), 통계 산출부(124) 및 수험용 문제은행 진입부(125)를 포함한다.
또한, 데이터베이스 관리 서버(130)는 클라이언트 DB(131), 임시 문제 은행 DB(132), 프리 테스트 결과 DB(133), 통계 산출 DB(134) 및 은행 진입 DB(135)를 포함한다.
먼저, 클라이언트 관리 서버(110)는 유무선 통신망(200)을 통해 연결된 클라이언트의 회원 또는 비회원 유무를 판단하며, 회원으로 판단된 클라이언트(평가기관 및 학원 등)와 관련된 정보를 저장 및 관리한다. 또한, 클라이언트로부터 요청되는 문항 특성 평가 서비스를 해당 웹페이지 및 메일 등을 통해 제공하며, 이러한 웹페이지를 관리 및 저장한다.
더불어, 클라이언트 관리 서버(110)는 평가기관(400)으로부터 제공되는 응시자 관련 정보(성명, 나이, 능력치 등) 역시 저장 및 관리한다.
웹페이지 관리부(111)는 다수 클라이언트(평가기관)로부터 요청되는 문항 특성 평가 서비스와 관련된 웹페이지를 제공하며, 이러한 서비스를 제공하는 메인 웹페이지 및 그에 따른 서브 웹페이지들을 관리한다.
클라이언트 관리부(112)는 변경/추가되는 클라이언트(시험 응시자) 관련 정보 저장에서부터 기존/신규 회원 정보(예를 들어, 아이디, 패스워드 등)의 추가/삭제 및 정보 검색을 통한 회원/비회원 판단을 포함하는 회원 관리에 이르기까지, 클라이언트와 관련된 전반적인 정보 관리를 수행한다.
문항 특성 평가 서비스 제공/관리 서버(120)는 기존 또는 신규 문항을 시험 응시자들의 특성에 맞게 추출 및 배열한 프리 테스트용 문항을 생성한 후, 생성된 문항을 이용한 응시자별 프리 테스트 결과에 따라 각 문항 모수를 결정하여 이와 관련된 정보를 해당 클라이언트(평가기관 및 학원 등)로 하여금 문항 선정 및 배열에 이용할 수 있도록 한다.
문항 추출/보충부(121)는 외부의 문제은행 DB(500)에서 신규 또는 기존의 문항을 추출하여 내부의 임시 문제은행 DB(132)에 보충한다. 이때, 추출하는 문항들은 특정 평가기관 등으로부터 요청된 문항일 수도 있고 자체적으로 추출한 문항일 수도 있다.
문항 배열/부여부(122)는 추출하여 보충한 문항을 응시자의 능력(기존의 시험 점수 등) 및 특성(연령 등)에 맞게 배열 및 부여함으로써, 프리 테스트용 문항을 생성한 후, 생성된 프리 테스트용 문항을 각 응시자에게 부여한다.
이때, 문항 배열/부여부(122)는 해당 평가 기관에서 시행하고자 하는 시험 문제의 중간부 이후에 적절하게 배열 및 부여되도록 하며, 이러한 프리 테스트용 문항은 수험자 일명당 최소 0문항에서 최대 총 문항수의 10% 정도가 된다. 즉, 문항 배열/부여부(122)는 문항 부여 시점 및 문항 수, 이 외에도 문항 부여 대상자 수를 고려해야만 한다.
또한, 문항 배열/부여부(122)는 부여한 프리 테스트용 문항에 대한 수험자의 중간 능력치(중간 산출 점수)에 따라 다른 특성의 프리 테스트용 문항을 시험 중간 중간에 재 부여한다.
프리 테스트 결과 수집부(123)는 프리 테스트용 문항에 대한 응시자별 반응(정답률/오답률)과 최종 능력치를 수집한다. 즉, 응시자별 최종 점수 확인과 함께 프리 테스트용 문항별 정답률 등을 확인한다.
통계 산출부(124)는 수집된 응시자별 반응(정답률/오답률) 및 최종 능력치에 따른 각 문항별 특성(난이도, 변별도, 추측도)을 추출하며, 추출된 정보를 다양한 기준(문항별/남녀노소별 등)에 따라 각종 통계치를 산출한다.
수험용 문제은행 진입부(125)는 통계 산출된 문항별 특성에 따라, 프리 테스트용 문항을 해당 문제은행 DB(500)에 포함시켜 평가 기관(400)의 실제 CAT 방식의 시험에 사용할 수 있도록 하거나 또는 평가기관(400)에 직접 제공하기도 한다.
데이터베이스 관리 서버(130)는 클라이언트별 문항 특성 평가 서비스 제공에서부터 프리 테스트용 문항 생성 및 변경, 추가와 관련되는 각종 정보들이 저장되는 데이터베이스들을 관리한다.
클라이언트 DB(131)는 로그인한 클라이언트별(평가기관 및 학원 등) 관련 정보(회원별 ID, 비밀번호, 전자메일 주소 등) 및 변경/추가되는 클라이언트 관련 정보가 저장된다. 더불어, 평가기관(400)으로부터 제공되는 응시자 관련 정보(성명,나이, 최종 능력치 등) 역시 저장 및 관리된다.
임시 문제 은행 DB(132)는 외부의 문제은행 DB(500)에서 추출된 신규 또는 기존 문항과 응시자별 특성에 따라 생성된 프리 테스트용 문항 및 그와 관련된 정보가 저장된다.
프리 테스트 결과 DB(133)는 프리 테스트용 문항에 대한 응시자별 반응(정답률/오답률) 및 최종 능력치와 관련된 정보가 저장된다.
통계 산출 DB(134)는 추출된 각 문항별 특성(난이도, 변별도, 추측도)과 관련된 정보 및 다양한 기준(문항별/남녀노소별 등)에 따라 산출된 각종 통계치가 저장된다.
은행 진입 DB(135)는 문제은행 DB(500) 또는 평가기관(400)으로 제공(진입)되는 클라이언트별 문항 관련 정보가 제공된다.
이러한 구조를 이루는 문항 특성 평가 서비스 제공 시스템의 동작 과정에 대해 첨부된 도면을 통해 자세히 알아보면 다음과 같다.
도 3은 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템의 동작 과정을 순차적으로 도시한 흐름도이다.
도 3을 참조하면, 먼저 평가기관(400) 및 일반 고시 학원 등과 같은 클라이언트가 본 발명의 실시예에 따른 문항 특성 평가 서비스를 제공받기 위해 유무선 통신망(200)에 연결(S301)하면, 본 발명의 따른 클라이언트 관리 서버(110)는 문항 특성 평가 서비스를 제공하는 메인 및 서브 웹페이지를 평가기관(400)으로 제공한다(S302).
이후, 관련 웹페이지들을 접한 평가기관(400)은 응시자별 관련 정보(성명, 연령 및 최종 점수치 등)를 문항 특성 평가 서비스 제공/관리 서버(120)로 제공(S303)하며, 이를 수신한 문항 특성 평가 서비스 제공/관리 서버(120)의 문항 추출/보충부(121)는 외부의 문제은행 DB(500)에서 신규 또는 기존의 문항을 추출하여 내부의 임시 문제은행 DB(132)에 보충한다(S304).
이후, 문항 배열/부여부(122)는 추출하여 보충한 문항을 수신된 응시자의 능력(기존의 시험 점수 등) 및 특성(연령 등)에 관한 정보에 따라 적절하게 배열 및 부여(S305)함으로써, 프리 테스트용 문항을 생성한다.
이때, 문항 배열/부여부(122)는 해당 평가 기관(400)에서 시행하고자 하는 시험 문제의 중간부 이후에 적절하게 배열 및 부여되도록 하며, 배열 및 부여시 문항 수 및 문항 부여 대상자 수를 고려해야만 한다.
이후, 생성된 프리 테스트용 문항을 평가기관(400)에 제공함으로써, 평가기관(400)으로 하여금 시험에 응시한 응시자에게 과목별 문제를 제공(S306)할 수 있도록 한다. 이로서, 응시자들은 자신의 단말기를 이용하여 CAT 방식의 시험을 치룬다(S307, S308)
이후, 문항 특성 평가 서비스 제공/관리 서버(120)의 프리 테스트 결과 수집부(123)는 소정 시간 후에 프리 테스트용 문항에 대한 응시자별 반응(정답률/오답률)과 최종 능력치를 수집(S309)하며, 이어 통계 산출부(124)는 수집된 응시자별 반응(정답률/오답률) 및 최종 능력치에 따른 각 문항별 특성(난이도, 변별도, 추측도)을 추출하며, 추출된 정보를 다양한 기준(문항별/남녀노소별 등)에 따라 각종통계치를 산출한다(S311).
이후, 수험용 문제은행 진입부(125)는 통계 산출된 문항별 특성에 따라, 프리 테스트용 문항을 해당 문제은행 DB(500)에 포함시켜 평가 기관(400)의 CAT 방식의 시험에 사용할 수 있도록 하거나 또는 평가기관(400)에 직접 제공하기도 한다(S311).
이후, 문항 배열/부여부(122)는 부여한 프리 테스트용 문항에 대한 수험자의 중간 능력치(중간 산출 점수)를 점검(S312)한 후, 점검된 중간 능력치에 따라 프리 테스트용 문항을 시험 중간 중간에 재 부여한다(S313).
이후, 평가기관(400)은 재부여된 프리 테스트용 문항이 포함된 과목별 시험을 응시자로 하여금 치룰 수 있도록 한다(S314, S315).
이후, 문항 특성 평가 서비스 제공/관리 서버(120)는 해당 클라이언트로부터 추가적인 서비스 요청이 있는지를 확인(S316)하여, 확인 결과 추가 서비스 요청이 없으면, 해당 클라이언트로의 서비스 제공을 종료하는 반면, 추가 서비스 요청이 있으면, 상기한 동작 과정을 반복 수행한다.
이처럼 본 발명의 실시예에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템 및 그 방법은, 응시자들로 하여금 기존 또는 새로운 문항에 대한 프리 테스트를 수행하도록 하여 응시자별 문항 모수(난이도, 변별도, 추측도)를 정확히 측정 및 분석할 수 있을 뿐만 아니라, 관련 정보를 CAT 방식의 시험을 수행하는 클라이언트(평가 기관 및 학원 등)로 제공함으로써, 클라이언트로 하여금 응시자별 특성에 맞는 문항 선별 및 응시자 분석을 정확하게 할 수 있도록 한다.
도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 따른 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템 및 그 방법은 CAT 방식의 각종 시험 시행시 반드시 필요한 문항별/응시자별 정확한 문항 모수가 측정된 문제 은행을 구축할 수 있을 뿐만 아니라, 전문 학자에 의해 만들어진 문항의 적절성을 파악하여 서비스 이용자(평가기관/학원 등)로 하여금 응시자별 특성에 맞는 문항 선정 및 응시자 분석을 정확하게 할 수 있도록 하는 효과가 있다.

Claims (10)

  1. 다수의 응시자를 대상으로 시험을 실시하는 평가 기관 및 학원을 포함하는 클라이언트로의 문항 특성 평가 서비스를 제공하는 시스템에 있어서,
    기존 및 신규 문항을 응시자별 각 특성에 맞게 추출 및 배열한 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항에 대한 각 응시자별 프리 테스트 결과에 따라, 난이도, 변별도 및 추측도를 포함하는 문항 모수를 분석하여 상기 분석된 문항 모수와 관련된 정보를 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 문항 특성 평가 서비스 제공/관리 서버; 및
    상기 클라이언트별 문항 특성 평가 서비스 제공에서부터 그에 따라 변경 및 추가되는 각종 정보들이 저장되는 데이터베이스들을 관리하는 데이터베이스 관리 서버
    를 포함하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 시스템.
  2. 제1 항에 있어서,
    상기 문항 특성 평가 서비스 제공/관리 서버는,
    컴퓨터 개별 적응 검사 방식의 시험 시행을 위한 외부의 문제은행 데이터베이스에서 신규 및 기존 문항을 추출한 후, 상기 추출된 신규 및 기존 문항을 임시 문제은행 데이터베이스에 보충하는 문항 추출/보충부;
    상기 추출하여 보충된 문항을 각 응시자별 특성에 맞게 배열 및 부여하여 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항을 상기 각 응시자의 시험 문제에 부여하는 문항 배열/부여부;
    상기 생성된 프리 테스트용 문항에 대한 상기 각 응시자별 정답/오답률 및 최종 시험 결과 점수를 수집하는 프리 테스트 결과 수집부;
    상기 수집된 각 응시자별 정답/오답률 및 최종 시험 결과 점수에 따른 각 문항별 특성을 추출한 후, 상기 추출된 정보를 다양한 기준에 따라 각종 통계치를 산출하는 통계 산출부; 및
    상기 통계 산출된 문항별/응시자별 정보를 상기 문제은행 데이터베이스에 포함시켜 상기 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 수험용 문제은행 진입부
    를 포함하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 시스템.
  3. 제2 항에 있어서,
    상기 문항 배열/부여부는,
    상기 부여된 프리 테스트용 문항에 대한 응시자의 중간 산출 점수에 따라, 상기 생성된 프리 테스트용 문항을 시험 중간에 재부여하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 시스템.
  4. 제3 항에 있어서,
    상기 문항 배열/부여부는,
    상기 생성된 프리 테스트용 문항을 최소 0개 내지 최대 총 문항수의 10%로 부여하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 시스템.
  5. 제1 항에 있어서,
    상기 클라이언트와 관련된 정보를 저장 및 관리하며, 상기 클라이언트로부터 요청되는 문항 특성 평가 서비스를 웹페이지 및 메일을 통해 제공하는 클라이언트 관리 서버
    를 더 포함하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 시스템.
  6. 다수의 응시자를 대상으로 시험을 실시하는 평가 기관 및 학원을 포함하는 클라이언트로의 문항 특성 평가 서비스를 제공하는 방법에 있어서,
    a)컴퓨터 개별 적응 검사 방식의 시험 시행을 위한 외부의 문제은행 데이터베이스에서 신규 및 기존 문항을 추출한 후, 상기 추출된 신규 및 기존 문항을 임시 문제은행 데이터베이스에 보충하는 단계;
    b)상기 추출하여 보충된 문항을 각 응시자별 특성에 맞게 배열 및 부여하여 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항을 상기 각 응시자의 시험 문제에 부여하는 단계;
    c)상기 생성된 프리 테스트용 문항에 대한 상기 각 응시자별 정답/오답률 및 최종 시험 결과 점수를 수집하는 단계;
    d)상기 수집된 각 응시자별 정답/오답률 및 최종 시험 결과 점수에 따른 각문항별 특성을 추출한 후, 상기 추출된 정보를 다양한 기준에 따라 각종 통계치를 산출하는 단계; 및
    e)상기 통계 산출된 문항별/응시자별 정보를 상기 문제은행 데이터베이스에 포함시켜 상기 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 단계
    를 포함하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 방법.
  7. 제6 항에 있어서,
    상기 b)단계는,
    상기 부여된 프리 테스트용 문항에 대한 응시자의 중간 점수를 산출하는 단계; 및
    상기 산출된 중간 점수에 따라 상기 프리 테스트용 문항을 시험 중간에 재부여 하는 단계
    를 포함하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 방법.
  8. 제7 항에 있어서,
    상기 b)단계는,
    상기 생성된 프리 테스트용 문항을 최소 0개 내지 최대 총 문항수의 10%로 부여하는 단계
    를 포함하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 방법.
  9. 제6 항에 있어서,
    상기 클라이언트로부터 요청되는 문항 특성 평가 서비스를 웹페이지 및 메일을 통해 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 문항 특성 평가 서비스 제공 방법.
  10. 다수의 응시자를 대상으로 시험을 실시하는 평가 기관 및 학원을 포함하는 클라이언트로의 문항 특성 평가 서비스를 제공하는 방법을 포함하는 기록매체에 있어서,
    a)컴퓨터 개별 적응 검사 방식의 시험 시행을 위한 외부의 문제은행 데이터베이스에서 신규 및 기존 문항을 추출한 후, 상기 추출된 신규 및 기존 문항을 임시 문제은행 데이터베이스에 보충하는 기능;
    b)상기 추출하여 보충된 문항을 각 응시자별 특성에 맞게 배열 및 부여하여 프리 테스트용 문항을 생성한 후, 상기 생성된 프리 테스트용 문항을 상기 각 응시자의 시험 문제에 부여하는 기능;
    c)상기 생성된 프리 테스트용 문항에 대한 상기 각 응시자별 정답/오답률 및 최종 시험 결과 점수를 수집하는 기능;
    d)상기 수집된 각 응시자별 정답/오답률 및 최종 시험 결과 점수에 따른 각 문항별 특성을 추출한 후, 상기 추출된 정보를 다양한 기준에 따라 각종 통계치를 산출하는 기능; 및
    e)상기 통계 산출된 문항별/응시자별 정보를 상기 문제은행 데이터베이스에 포함시켜 상기 클라이언트로 하여금 문항 선정 및 배열시 이용할 수 있도록 하는 기능
    을 포함하는 프로그램이 저장된 기록매체.
KR1020030002745A 2003-01-15 2003-01-15 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템및 그 방법 KR20040065656A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030002745A KR20040065656A (ko) 2003-01-15 2003-01-15 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030002745A KR20040065656A (ko) 2003-01-15 2003-01-15 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템및 그 방법

Publications (1)

Publication Number Publication Date
KR20040065656A true KR20040065656A (ko) 2004-07-23

Family

ID=37355761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030002745A KR20040065656A (ko) 2003-01-15 2003-01-15 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템및 그 방법

Country Status (1)

Country Link
KR (1) KR20040065656A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100697658B1 (ko) * 2005-05-09 2007-03-20 주식회사 이디스넷 통신망을 통한 능력평가 시스템 및 그 방법
KR101428670B1 (ko) * 2012-07-19 2014-08-08 양승호 평가 모듈을 이용한 온라인 평가 서비스 제공 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100697658B1 (ko) * 2005-05-09 2007-03-20 주식회사 이디스넷 통신망을 통한 능력평가 시스템 및 그 방법
KR101428670B1 (ko) * 2012-07-19 2014-08-08 양승호 평가 모듈을 이용한 온라인 평가 서비스 제공 방법

Similar Documents

Publication Publication Date Title
Mau et al. Factors influencing STEM career aspirations of underrepresented high school students
Impara et al. Teachers' ability to estimate item difficulty: A test of the assumptions in the Angoff standard setting method
De Leeuw et al. The cornerstones of survey research
Powers et al. Effects of coaching on SAT I: Reasoning test scores
Chen Enhancement of student learning performance using personalized diagnosis and remedial learning system
Hyman et al. The use of pre-existing survey questions: Implications for data quality
Loy et al. Model choice and diagnostics for linear mixed-effects models using statistics on street corners
Greenberg et al. Participative budgeting: a meta-analytic examination of methodological moderators
Brese TEDS-M 2008 User Guide for the International Database.
Chari et al. Understanding the importance of graduate admissions criteria according to prospective graduate students
KR101023540B1 (ko) 가변되는 메타정보를 활용한 시험결과 분석평가방법
KR20200091537A (ko) 난이도 기반 온라인 모의시험 제공 시스템
Firdaus et al. The Effectiveness Analysis of Distance Learning by Optimizing the Use of Information Technology
Alkhawaja et al. Exploring and developing an instrument for measuring system quality construct in the context of e-learning
AKÇAPINAR et al. Moodleminer: Data mining analysis tool for moodle learning management system MoodleMiner: Moodle öğrenme yönetim sistemi için veri madenciliği analiz Aracı
CN111553555A (zh) 培训方法、装置、计算机设备和存储介质
Sütő et al. What determines GCSE marking accuracy? An exploration of expertise among maths and physics markers
Nurhayati et al. The effectiveness of financial accounting information system with approach of organizational culture and user competency in Baznas North of West Java
Szeitl et al. Revisiting the ESS R8 sample a year after–Lessons from a re-contact survey to test patterns of unit non-response in Hungary
KR20040065656A (ko) 프리 테스트를 이용한 문항 특성 평가 서비스 제공 시스템및 그 방법
Lamprianou The tendency of individuals to respond to high-stakes tests in idiosyncratic ways
Isiaka et al. Towards adoption of information and communication technology in higher education-a structural equation model approach
Traynor et al. Rater agreement in test‐to‐curriculum alignment reviews
Prasetya et al. Analysis and Quality Measurement of SITEDI Sub-System Against User Satisfaction Using WebQual 4.0 and End-User Computing Satisfaction (EUCS) Methods
CN116563067B (zh) 一种基于大数据的毕业生人群就业分析方法、系统及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application