KR20140011232A

KR20140011232A - 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법

Info

Publication number: KR20140011232A
Application number: KR1020120078482A
Authority: KR
Inventors: 양승호; 김성열
Original assignee: 양승호
Priority date: 2012-07-18
Filing date: 2012-07-18
Publication date: 2014-01-28

Abstract

본 발명은 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에 관한 것으로서, 보다 구체적으로는 응시자 단말기에 온라인 평가 서비스를 제공하는 서비스 제공 서버가, (1) 문제은행에 저장된 복수의 문제를 이용하여 적어도 하나 이상의 개별 문제를 포함하는 온라인 평가 시험을 구성하고, 상기 응시자 단말기에 상기 온라인 평가 시험을 제공하는 단계; (2) 상기 응시자 단말기로부터 상기 온라인 평가 시험을 구성하는 개별 문제에 대한 답을 입력받되, 상기 온라인 평가 시험을 구성하는 개별 문제에 대한 각각의 풀이 시간을 전송받는 단계; (3) 상기 전송받은 풀이 시간을 이용하여, 상기 온라인 평가 시험에 응시한 전체 응시자에 대하여, 상기 개별 문제에 대한 평균 풀이 시간을 산출하는 단계; (4) 상기 산출한 평균 풀이 시간을 이용하여 상기 개별 문제의 절대 난이도를 측정하는 단계; 및 (5) 상기 측정한 절대 난이도를 이용하여 상기 문제은행에 저장된 상기 개별 문제의 난이도를 조절하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에 따르면, 서비스 제공 서버가 응시자 단말기로부터 전송받은 개별 문제에 대한 풀이 시간을 이용하여 개별 문제의 절대 난이도를 측정하며, 측정한 절대 난이도를 이용하여 문제은행에 저장된 개별 문제의 난이도를 조절함으로써, 개별 문제의 난이도를 정확하게 측정할 수 있고, 문제의 질이나 변별력 유무 등을 정확하게 판단하여 문제은행에 저장된 문제들을 효과적으로 관리할 수 있다.
또한, 본 발명에 따르면, 풀이 시간이 미리 정해진 시간 미만이면 해당 개별 문제를 평균 풀이 시간의 산출에서 제외함으로써, 응시자가 문제를 제대로 풀지 않고 우연히 정답을 맞히는 등의 경우를 배제할 수 있어, 정답 비율로 난이도를 측정할 때 발생할 수 있는 한계를 극복하고 정확하게 절대 난이도를 측정할 수 있으며, 풀이 시간 이외에 정답 비율을 더 이용하여 개별 문제의 절대 난이도를 측정함으로써, 더욱 정확하게 개별 문제의 절대 난이도를 측정하고 조절할 수 있다.

Description

문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법{MEASUREMENT AND CONTROL METHOD FOR LEVEL OF PROBLEM DIFFICULTY USING SOLVING TIME IN PROBLEM-BANK TYPE ONLINE EVALUATION SERVICE}

본 발명은 문제 난이도 측정 및 조절 방법에 관한 것으로서, 보다 구체적으로는 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에 관한 것이다.

최근에는, 컴퓨터, 전자, 통신 기술이 비약적으로 발전함에 따라 컴퓨터 및 통신 기술을 이용한 온라인 평가 시험이 새로운 평가 방법으로 각광받고 있다. 온라인 평가 시험은 공간의 제약을 없애고 결과 처리도 용이하여 점차 그 활용 범위가 확대되고 있다. 또한, 원격 강의 서비스가 널리 활용되면서 원격 강의와 더불어 온라인 평가 시험도 그 적용 영역이 더욱 넓어지고 있다.

이와 같은 온라인 평가 시험은 문제은행 방식으로 출제될 수 있다. 문제은행은 많은 문제를 한 곳에 모아 데이터베이스를 구축해 놓고, 데이터베이스에서 문제를 출제하기 때문에 자동으로 출제가 가능하다. 또한, 문제은행을 이용한 출제 방식은 신속하게 문제를 출제할 수 있고 효율적으로 평가 시험의 출제가 가능하기 때문에 널리 사용되고 있다. 특히, 최근에는 온라인 평가 문제를 이용하여 셀프테스트를 수행하는 경우도 있어, 문제은행 방식의 온라인 평가 문제는 더욱 널리 사용되고 있다.

문제은행 방식으로 출제되는 온라인 평가 시험이 변별력을 갖도록 하기 위해서는, 다양한 난이도의 질 높은 문제로 온라인 평가 시험이 구성되어야 한다. 문제은행에 저장된 문제들은 최초에 난이도를 설정하여 저장되며, 온라인 평가 시험 구성 시 각 난이도에 해당하는 문제들을 조합하여 사용하게 된다. 그러나 최초에 난이도 설정이 잘못되거나, 응시자들의 수준이 향상되어 변별력을 갖추기 위해 난이도 조정이 필요한 경우, 각 문제들의 난이도를 적절하게 조절할 수 없어서, 온라인 평가 시험의 질이 저하되는 한계가 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 서비스 제공 서버가 응시자 단말기로부터 전송받은 개별 문제에 대한 풀이 시간을 이용하여 개별 문제의 절대 난이도를 측정하며, 측정한 절대 난이도를 이용하여 문제은행에 저장된 개별 문제의 난이도를 조절함으로써, 개별 문제의 난이도를 정확하게 측정할 수 있고, 문제의 질이나 변별력 유무 등을 정확하게 판단하여 문제은행에 저장된 문제들을 효과적으로 관리할 수 있는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 풀이 시간이 미리 정해진 시간 미만이면 해당 개별 문제를 평균 풀이 시간의 산출에서 제외함으로써, 응시자가 문제를 제대로 풀지 않고 우연히 정답을 맞히는 등의 경우를 배제할 수 있어, 정답 비율로 난이도를 측정할 때 발생할 수 있는 한계를 극복하고 정확하게 절대 난이도를 측정할 수 있으며, 풀이 시간 이외에 정답 비율을 더 이용하여 개별 문제의 절대 난이도를 측정함으로써, 더욱 정확하게 개별 문제의 절대 난이도를 측정하고 조절할 수 있는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법을 제공하는 것을 또 다른 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법은, 응시자 단말기에 온라인 평가 서비스를 제공하는 서비스 제공 서버가,

(1) 문제은행에 저장된 복수의 문제를 이용하여 적어도 하나 이상의 개별 문제를 포함하는 온라인 평가 시험을 구성하고, 상기 응시자 단말기에 상기 온라인 평가 시험을 제공하는 단계;

(2) 상기 응시자 단말기로부터 상기 온라인 평가 시험을 구성하는 개별 문제에 대한 답을 입력받되, 상기 온라인 평가 시험을 구성하는 개별 문제에 대한 각각의 풀이 시간을 전송받는 단계;

(3) 상기 전송받은 풀이 시간을 이용하여, 상기 온라인 평가 시험에 응시한 전체 응시자에 대하여, 상기 개별 문제에 대한 평균 풀이 시간을 산출하는 단계;

(4) 상기 산출한 평균 풀이 시간을 이용하여 상기 개별 문제의 절대 난이도를 측정하는 단계; 및

(5) 상기 측정한 절대 난이도를 이용하여 상기 문제은행에 저장된 상기 개별 문제의 난이도를 조절하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 풀이 시간은,

상기 개별 문제의 출력 시각부터 상기 개별 문제에 대한 답을 입력받은 시각까지의 시간일 수 있다.

바람직하게는, 상기 단계 (3)에서는,

상기 단계 (2)에서 전송받은 풀이 시간이 미리 정해진 시간 미만이면 평균 풀이 시간의 산출에서 제외할 수 있다.

바람직하게는, 상기 단계 (4)에서는,

미리 설정된 풀이 시간에 대한 구간별 난이도를 이용하여 상기 절대 난이도를 측정할 수 있다.

바람직하게는,

상기 단계 (3)에서는, 상기 온라인 평가 시험에 응시한 전체 응시자에 대하여, 상기 온라인 평가 시험을 구성하는 전체 문제에 대한 평균 풀이 시간을 더 산출하며,

상기 단계 (4)에서는, 상기 전체 문제에 대한 평균 풀이 시간 및 개별 문제에 대한 평균 풀이 시간을 이용하여 상기 개별 문제의 절대 난이도를 측정할 수 있다.

바람직하게는, 상기 단계 (3) 이후에는,

상기 단계 (3)에서 산출한 상기 개별 문제에 대한 평균 풀이 시간 및 상기 단계 (2)에서 전송받은 개별 응시자의 풀이 시간을 이용하여, 상기 온라인 평가 시험에 응시한 개별 응시자에 대한 상기 개별 문제의 상대 난이도를 측정하는 단계를 더 포함할 수 있다.

더욱 바람직하게는,

상기 측정한 상대 난이도를 상기 개별 응시자의 응시자 단말기에 전송할 수 있다.

바람직하게는, 상기 단계 (2)와 단계 (4) 사이에는,

상기 단계 (2)에서 입력받은 답을 채점하여 상기 온라인 평가 시험에 대한 채점 결과를 도출하는 단계; 및

상기 도출한 채점 결과를 이용하여, 상기 온라인 평가 시험에 응시한 전체 응시자에 대하여, 상기 온라인 평가 시험을 구성하는 전체 문제에 대한 평균 정답 비율 및 상기 개별 문제에 대한 개별 정답 비율을 산출하는 단계를 더 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (4)에서는,

상기 평균 정답 비율 및 개별 정답 비율을 더 이용하여 상기 개별 문제의 절대 난이도를 산출할 수 있다.

더욱 바람직하게는, 상기 단계 (5)에서는,

상기 도출한 채점 결과로부터 산출한 변별력이 미리 정해진 수치 이하이면 상기 개별 문제를 상기 문제은행에서 삭제할 수 있다.

본 발명에서 제안하고 있는 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에 따르면, 서비스 제공 서버가 응시자 단말기로부터 전송받은 개별 문제에 대한 풀이 시간을 이용하여 개별 문제의 절대 난이도를 측정하며, 측정한 절대 난이도를 이용하여 문제은행에 저장된 개별 문제의 난이도를 조절함으로써, 개별 문제의 난이도를 정확하게 측정할 수 있고, 문제의 질이나 변별력 유무 등을 정확하게 판단하여 문제은행에 저장된 문제들을 효과적으로 관리할 수 있다.

또한, 본 발명에 따르면, 풀이 시간이 미리 정해진 시간 미만이면 해당 개별 문제를 평균 풀이 시간의 산출에서 제외함으로써, 응시자가 문제를 제대로 풀지 않고 우연히 정답을 맞히는 등의 경우를 배제할 수 있어, 정답 비율로 난이도를 측정할 때 발생할 수 있는 한계를 극복하고 정확하게 절대 난이도를 측정할 수 있으며, 풀이 시간 이외에 정답 비율을 더 이용하여 개별 문제의 절대 난이도를 측정함으로써, 더욱 정확하게 개별 문제의 절대 난이도를 측정하고 조절할 수 있다.

도 1은 본 발명의 일실시예에 따른 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법을 구현하기 위한 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법의 흐름을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 온라인 평가 시험을 제공받은 응시자 단말기를 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 단계 S200이 수행되는 응시자 단말기를 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 상대 난이도를 전송받은 응시자 단말기를 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 정답 비율을 더 이용하여 난이도를 측정하는 과정의 세부적인 흐름을 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법을 구현하기 위한 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법을 구현하기 위한 시스템은, 서비스 제공 서버(100) 및 응시자 단말기(200)를 포함하여 구성될 수 있다.

즉, 본 발명에서는, 서비스 제공 서버(100)가 문제은행(110)에 저장된 문제를 이용하여 온라인 평가 시험을 구성하여 응시자에게 제공하며, 응시자 단말기(200)로부터 개별 문제에 대한 각각의 풀이 시간을 전송받아, 전체 응시자의 평균 풀이 시간으로 개별 문제의 절대 난이도를 측정하며, 측정한 절대 난이도를 이용하여 문제은행(110)에 저장된 개별 문제의 난이도를 조절할 수 있다. 이와 같이, 응시자의 개별 문제에 대한 풀이 시간을 이용하여 절대 난이도를 측정하기 때문에, 정확하게 난이도를 측정할 수 있고, 문제의 질, 변별력 유무 등을 정확하게 판단하여 문제은행(110)에 저장된 문제들을 효과적으로 관리할 수 있다.

또한, 풀이 시간이 미리 정해진 시간 미만이면 평균 풀이 시간의 산출에서 제외함으로써, 정답 비율로 난이도를 측정할 때 발생할 수 있는 한계를 극복하고 개별 문제의 정확한 절대 난이도 측정이 가능하며, 정답 비율을 더 이용하여 개별 문제의 절대 난이도를 측정함으로써, 더욱 정확하게 절대 난이도를 측정하고 조절할 수 있다.

이하에서는, 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법을 구현하기 위한 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.

서비스 제공 서버(100)는, 응시자 단말기(200)에 온라인 평가 서비스를 제공하는 서버일 수 있다. 서비스 제공 서버(100)는 복수의 문제가 저장된 데이터베이스 형태의 문제은행(110)을 구비하거나, 복수의 문제가 저장된 별도의 문제은행(110) 시스템으로부터 문제를 제공받아 온라인 평가 시험을 구성할 수 있다. 이때, 문제은행(110)에 저장된 문제에는 난이도가 설정되어 있을 수 있다. 서비스 제공 서버(100)는, 응시자의 풀이 시간을 이용하여 측정한 개별 문제의 난이도에 따라 문제은행(110)에 저장된 해당 개별 문제의 난이도를 조절할 수 있다.

한편, 서비스 제공 서버(100)는, 인터넷, 인트라넷, 유무선 통신망, 이동통신망 등을 포함하는 네트워크를 통하여 응시자 단말기(200)의 접속을 허용하고, 각종 신호 및 데이터를 송수신할 수 있다. 특히, 응시자 단말기(200)로부터 풀이 시간을 수신하여 문제은행(110)에 저장된 개별 문제의 난이도를 조절하고 관리할 수 있다.

응시자 단말기(200)는, 서비스 제공 서버(100)가 제공하는 온라인 평가 서비스 제공 방법을 이용하여 온라인 평가 시험을 치르고자 하는 응시자의 단말기일 수 있다. 응시자 단말기(200)는, 컴퓨터, 노트북, PDA, MP4 플레이어, 이동통신단말기 등 각종 통신단말기일 수 있으며, 스마트폰, 스마트 노트, 태블릿 PC, 스마트 TV 등의 각종 스마트 기기일 수도 있다. 다만, 본 발명의 응시자 단말기(200)가 나열한 바와 같은 단말기의 형태에 한정되는 것은 아니며, 네트워크를 통해 서비스 제공 서버(100)에 접속하여 온라인 평가 시험을 치르면서 풀이 시간을 전송할 수 있다면, 구체적인 단말기의 형태에 관계없이 본 발명의 응시자 단말기(200)의 역할을 얼마든지 할 수 있다.

한편, 스마트 기기는 기능이 제한되어 있지 않고 애플리케이션 프로그램을 통해 상당 부분 기능을 변경하거나 확장할 수 있는 제품을 가리키는 것이다. 본 발명의 응시자 단말기(200)가 온라인 평가 시험을 치를 수 있는 애플리케이션 프로그램이 설치된 스마트 기기이면, 응시자는 보다 용이하게 온라인 평가 시험에 응시하고, 응시자의 개별 문제에 대한 풀이 시간을 서비스 제공 서버(100)에 쉽게 전송할 수 있는 각종 인터페이스를 제공받을 수 있다.

도 2는 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법은, 온라인 평가 시험을 구성하고 응시자 단말기(200)에 제공하는 단계(S100), 응시자 단말기(200)로부터 개별 문제에 대한 풀이 시간을 전송받는 단계(S200), 풀이 시간을 이용하여 평균 풀이 시간을 산출하는 단계(S300), 평균 풀이 시간을 이용하여 절대 난이도를 결정하는 단계(S400) 및 절대 난이도를 이용하여 개별 문제의 난이도를 조절하는 단계(S600)를 포함하여 구현될 수 있으며, 평균 풀이 시간 및 개별 응시자의 풀이 시간을 이용하여 상대 난이도를 결정하는 단계(S500)를 더 포함하여 구현될 수 있다.

단계 S100에서는, 서비스 제공 서버(100)가 문제은행(110)에 저장된 복수의 문제를 이용하여 적어도 하나 이상의 개별 문제를 포함하는 온라인 평가 시험을 구성하고, 응시자 단말기(200)에 온라인 평가 시험을 제공할 수 있다. 문제은행(110) 방식의 온라인 평가 서비스에서는, 복수의 문제가 저장되어 있는 문제은행(110)에서 문제를 추출하여 온라인 평가 시험을 구성하고, 구성된 온라인 평가 시험을 응시자 단말기(200)에 전송하여 평가를 수행할 수 있다. 문제은행(110)에는 문제의 유형과 난이도 등에 따라 카테고리가 분류되어 문제가 저장될 수 있으며, 단계 S100에서는 유형 및 난이도 등을 고려하여 온라인 평가 시험을 구성할 수 있다.

한편, 단계 S100에서는, 온라인 평가 시험의 목적에 따라 문제의 수, 난이도, 유형, 풀이 시간 등을 서로 상이하게 하여 온라인 평가 시험을 구성하고 설정할 수 있다. 특히, 문제은행(110)에 저장된 개별 문제에는 난이도가 설정되어 있을 수 있으며, 온라인 평가 시험의 목적 등에 따라 미리 정해진 난이도 비율로 개별 문제를 혼합하여 온라인 평가 시험을 구성할 수 있다. 또한, 본 발명의 단계 S100에서는 응시자에 따라 개별 문제 또는 개별 문제의 순서 등을 상이하게 하여 온라인 평가 시험을 구성하여 제공함으로써, 응시자의 부정행위를 방지하고 정확한 평가 결과를 얻도록 할 수 있다.

도 3은 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 온라인 평가 시험을 제공받은 응시자 단말기(200)를 예를 들어 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법의 단계 S100에서는, 미리 정해진 개수의 문항으로 구성한 온라인 평가 시험을 응시자 단말기(200)에 전송할 수 있다. 응시자가 도 3에 도시된 바와 같은 화면에서 “테스트 시작”을 선택하면, 첫 번째 문제가 응시자 단말기(200)로 출력될 수 있다.

단계 S200에서는, 서비스 제공 서버(100)가 응시자 단말기(200)로부터 온라인 평가 시험을 구성하는 개별 문제에 대한 답을 입력받되, 온라인 평가 시험을 구성하는 개별 문제에 대한 각각의 풀이 시간을 전송받을 수 있다. 이때, 풀이 시간은, 개별 문제의 출력 시각부터 개별 문제에 대한 답을 입력받은 시각까지의 시간일 수 있다. 즉, 단계 S200에서는, 온라인 평가 시험을 구성하는 각 개별 문제에 대한 응시자의 응답 시간을 풀이 시간으로 응시자 단말기(200)로부터 전송받을 수 있다.

도 4는 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 단계 S200이 수행되는 응시자 단말기(200)를 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법의 단계 S200에서는, 응시자 단말기(200)에 개별 문제가 표시된 시각부터 응시자가 문제에 답을 표시하여 입력하거나, “다음” 버튼을 이용하여 다음 문제로 이동하는 시각까지를 풀이 시간으로 측정하여, 서비스 제공 서버(100)가 응시자 단말기(200)로부터 입력받을 수 있다.

단계 S300에서는, 서비스 제공 서버(100)가 전송받은 풀이 시간을 이용하여, 온라인 평가 시험에 응시한 전체 응시자에 대하여, 개별 문제에 대한 평균 풀이 시간을 산출할 수 있다. 즉, 온라인 평가 시험에 응시한 전체 응시자에 대해서 단계 S200에서 전송받은 풀이 시간을 평균하여 평균 풀이 시간을 산출할 수 있다.

이때, 단계 S300에서는, 단계 S200에서 전송받은 풀이 시간이 미리 정해진 시간 미만이면 평균 풀이 시간의 산출에서 제외할 수 있다. 문제가 출력되면 응시자는 문제를 읽거나 듣고 생각을 하여 답을 입력하게 되는데, 단계 S200에서 전송받은 풀이 시간이 문제를 읽거나 듣기 위하여 필요한 시간보다 짧은 경우, 응시자가 제대로 문제를 풀지 않은 것으로 판단할 수 있다. 본 발명에서는 단계 S300에서 산출한 평균 풀이 시간을 개별 문제의 절대 난이도 산출에 이용하므로, 미리 정해진 시간 미만인 풀이 시간을 제외하고 평균 풀이 시간을 산출하여, 개별 문제에 대한 정확한 난이도 판단의 기초로 활용할 수 있다.

한편, 단계 S300에서는 해당 개별 문제가 출제된 온라인 평가 시험이라면, 시험 차수 등에 관계없이 모든 응시자의 풀이 시간을 이용하여 평균 풀이 시간을 산출할 수 있다. 문제은행(110) 방식의 온라인 평가 서비스에서는, 동일한 개별 문제가 서로 다른 차수의 시험에서 복수 회 출제될 수 있다. 따라서 단계 S300에서는, 이와 같은 온라인 평가 시험에서의 풀이 시간을 전체적으로 고려하여 평균 풀이 시간을 산출함으로써, 더욱 정확한 평균 풀이 시간을 산출하여 절대 난이도 측정의 기준으로 활용할 수 있다.

또한, 단계 S300에서는, 온라인 평가 시험에 응시한 전체 응시자에 대하여, 온라인 평가 시험을 구성하는 전체 문제에 대한 평균 풀이 시간을 더 산출할 수 있다. 전체 문제에 대한 평균 풀이 시간은, 이하에서 상세히 설명할 단계 S400에서 절대 난이도 측정 시 개별 문제에 대한 평균 풀이 시간과 함께 사용할 수 있다.

단계 S400에서는, 서비스 제공 서버(100)가 산출한 평균 풀이 시간을 이용하여 개별 문제의 절대 난이도를 측정할 수 있다. 응시자가 체감하는 문제 난이도가 높으면 풀이 시간이 길어지고, 문제 난이도가 낮으면 풀이 시간이 짧아지는 것이 일반적이다. 본 발명의 단계 S400에서는, 이와 같은 특징을 이용하여 단계 S300에서 산출한 평균 풀이 시간으로 개별 문제의 절대 난이도를 측정할 수 있다. 단계 S400에서는, 미리 설정된 풀이 시간에 대한 구간별 난이도를 이용하여 절대 난이도를 측정할 수 있다. 즉, 평균 풀이 시간을 구간별로 구분하여 난이도를 설정하고, 단계 S300에서 산출한 평균 풀이 시간이 해당하는 구간의 난이도를 개별 문제의 절대 난이도로 측정할 수 있다.

한편, 단계 S300에서 전체 문제에 대한 평균 풀이 시간을 산출한 경우, 단계 S400에서는 전체 문제에 대한 평균 풀이 시간 및 개별 문제에 대한 평균 풀이 시간을 이용하여 개별 문제의 절대 난이도를 측정할 수 있다. 예를 들어, 개별 문제에 대한 평균 풀이 시간을 전체 문제에 대한 평균 풀이 시간으로 나눈 값이 1이 넘으면 난이도 상, 1이면 난이도 중, 1 미만이면 난이도 하 등으로 난이도를 측정할 수 있다. 또한, 개별 문제에 대한 평균 풀이 시간을 전체 문제에 대한 평균 풀이 시간으로 나눈 값을 구간으로 구분하여 난이도를 측정할 수도 있다.

단계 S500에서는, 서비스 제공 서버(100)가 단계 S300에서 산출한 개별 문제에 대한 평균 풀이 시간 및 단계 S200에서 전송받은 개별 응시자의 풀이 시간을 이용하여, 온라인 평가 시험에 응시한 개별 응시자에 대한 개별 문제의 상대 난이도를 측정할 수 있다. 즉, 단계 S400에서 측정한 절대 난이도가 모든 응시자에게 적용될 수 있는 개별 문제 고유의 난이도라면, 단계 S500에서 측정한 상대 난이도는 개별 응시자에게 적용될 수 있는 난이도로서, 하나의 개별 문제에 대해서도 복수의 상대 난이도가 있을 수 있다. 본 발명에서는, 단계 S500에서 측정한 상대 난이도를 개별 응시자의 응시자 단말기(200)에 전송할 수 있다.

도 5는 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 상대 난이도를 전송받은 응시자 단말기(200)를 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서는, 단계 S500에서 측정한 상대 난이도를 응시자 단말기(200)에 제공할 수 있다. 이때, 절대 난이도를 함께 제공할 수도 있다.

본 발명에서는 온라인 평가 시험 제공 시 절대 난이도 등을 제공할 수 있으나, 도 5에 도시된 바와 같이 응시자 단말기(200)에 정답 및 해설을 제공하면서, 상대 난이도와 절대 난이도를 제공할 수도 있다. 즉, 도 5에 도시된 바와 같이, 문제 1에 대하여 응시자가 입력한 답은 2)이고, 정답은 1)임을 표시하여 제공할 수 있으며, 정답과 해설 이외에 상대 난이도(“상”)와 절대 난이도(“중”)를 각각 제공할 수 있다. 이와 같이 상대 난이도 및 절대 난이도를 응시자 단말기(200)에 제공하여 개별 문제에 대한 난이도를 확인하고 사용자가 자신의 성취도를 스스로 파악하도록 할 수 있다.

단계 S600에서는, 서비스 제공 서버(100)가 측정한 절대 난이도를 이용하여 문제은행(110)에 저장된 개별 문제의 난이도를 조절할 수 있다. 예를 들어, 단계 S500에서 측정한 절대 난이도가 이미 개별 문제에 대하여 설정되어 있는 난이도와 동일하면 유지하고, 동일하지 않으면 개별 문제의 난이도를 절대 난이도로 변경하여 문제은행(110)에 저장할 수 있다. 다만, 실시예에 따라서는, 개별 문제의 난이도 변경이 필요한 경우 문제은행(110) 관리자의 동의 또는 확인이 필요할 수도 있다.

도 6은 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서, 정답 비율을 더 이용하여 난이도를 측정하는 과정의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 문제은행(110) 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법에서는, 온라인 평가 시험에 대한 채점 결과를 도출하는 단계(S700) 및 평균 정답 비율 및 개별 정답 비율을 산출하는 단계(S800)를 포함하여 정답 비율을 더 이용하여 난이도를 측정할 수 있다.

단계 S700에서는, 서비스 제공 서버(100)가 단계 S200에서 입력받은 답을 채점하여 온라인 평가 시험에 대한 채점 결과를 도출할 수 있다. 즉, 서비스 제공 서버(100)는, 단계 S200에서 응시자 단말기(200)로부터 입력받은 답을 이용하여, 응시자의 개별 문제에 대한 정답 또는 오답을 판단하여, 채점 결과를 도출할 수 있다.

단계 S800에서는, 서비스 제공 서버(100)가 도출한 채점 결과를 이용하여, 온라인 평가 시험에 응시한 전체 응시자에 대하여, 온라인 평가 시험을 구성하는 전체 문제에 대한 평균 정답 비율 및 개별 문제에 대한 개별 정답 비율을 산출할 수 있다. 단계 S400에서는, 단계 S800에서 산출한 평균 정답 비율 및 개별 정답 비율을 더 이용하여 개별 문제의 절대 난이도를 산출할 수 있다. 예를 들어, 풀이 시간이 길고, 평균 정답 비율에 대한 개별 정답 비율이 낮으면, 난이도가 높은 것으로 절대 난이도를 산출할 수 있다. 이와 같이, 단계 S800에서 산출한 평균 정답 비율과 개별 정답 비율을 더 이용하여 절대 난이도를 측정하면, 더욱 정확하게 난이도를 측정할 수 있다.

한편, 단계 S500에서는, 도출한 채점 결과로부터 산출한 변별력이 미리 정해진 수치 이하이면 개별 문제를 문제은행(110)에서 삭제할 수 있다. 개별 정답 비율이 매우 높아 거의 모든 응시자가 정답을 맞히거나, 개별 정답 비율이 매우 낮아 정답을 맞힌 응답자가 거의 없는 개별 문제의 경우, 변별력이 매우 낮은 것으로 판단할 수 있다. 즉, 개별 정답 비율을 구간으로 구분하여 구간별로 변별력을 수치화하고, 미리 정해진 수치 이하의 변별력을 가진 개별 문제를 선정할 수 있다. 서비스 제공 서버(100)는 선정된 개별 문제를 문제은행(110)에서 삭제함으로써, 문제은행(110)의 질을 유지하고 변별력 있는 문제가 지속적으로 출제되도록 할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

100: 서비스 제공 서버 110: 문제은행
200: 응시자 단말기
S100: 온라인 평가 시험을 구성하고 응시자 단말기에 제공하는 단계
S200: 응시자 단말기로부터 개별 문제에 대한 풀이 시간을 전송받는 단계
S300: 풀이 시간을 이용하여 평균 풀이 시간을 산출하는 단계
S400: 평균 풀이 시간을 이용하여 절대 난이도를 결정하는 단계
S500: 평균 풀이 시간 및 개별 응시자의 풀이 시간을 이용하여 상대 난이도를 결정하는 단계
S600: 절대 난이도를 이용하여 개별 문제의 난이도를 조절하는 단계
S700: 온라인 평가 시험에 대한 채점 결과를 도출하는 단계
S800: 평균 정답 비율 및 개별 정답 비율을 산출하는 단계

Claims

응시자 단말기에 온라인 평가 서비스를 제공하는 서비스 제공 서버가,
(1) 문제은행에 저장된 복수의 문제를 이용하여 적어도 하나 이상의 개별 문제를 포함하는 온라인 평가 시험을 구성하고, 상기 응시자 단말기에 상기 온라인 평가 시험을 제공하는 단계;
(2) 상기 응시자 단말기로부터 상기 온라인 평가 시험을 구성하는 개별 문제에 대한 답을 입력받되, 상기 온라인 평가 시험을 구성하는 개별 문제에 대한 각각의 풀이 시간을 전송받는 단계;
(3) 상기 전송받은 풀이 시간을 이용하여, 상기 온라인 평가 시험에 응시한 전체 응시자에 대하여, 상기 개별 문제에 대한 평균 풀이 시간을 산출하는 단계;
(4) 상기 산출한 평균 풀이 시간을 이용하여 상기 개별 문제의 절대 난이도를 측정하는 단계; 및
(5) 상기 측정한 절대 난이도를 이용하여 상기 문제은행에 저장된 상기 개별 문제의 난이도를 조절하는 단계를 포함하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제1항에 있어서, 상기 풀이 시간은,
상기 개별 문제의 출력 시각부터 상기 개별 문제에 대한 답을 입력받은 시각까지의 시간인 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제1항에 있어서, 상기 단계 (3)에서는,
상기 단계 (2)에서 전송받은 풀이 시간이 미리 정해진 시간 미만이면 평균 풀이 시간의 산출에서 제외하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제1항에 있어서, 상기 단계 (4)에서는,
미리 설정된 풀이 시간에 대한 구간별 난이도를 이용하여 상기 절대 난이도를 측정하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제1항에 있어서,
상기 단계 (3)에서는, 상기 온라인 평가 시험에 응시한 전체 응시자에 대하여, 상기 온라인 평가 시험을 구성하는 전체 문제에 대한 평균 풀이 시간을 더 산출하며,
상기 단계 (4)에서는, 상기 전체 문제에 대한 평균 풀이 시간 및 개별 문제에 대한 평균 풀이 시간을 이용하여 상기 개별 문제의 절대 난이도를 측정하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제1항에 있어서, 상기 단계 (3) 이후에는,
상기 단계 (3)에서 산출한 상기 개별 문제에 대한 평균 풀이 시간 및 상기 단계 (2)에서 전송받은 개별 응시자의 풀이 시간을 이용하여, 상기 온라인 평가 시험에 응시한 개별 응시자에 대한 상기 개별 문제의 상대 난이도를 측정하는 단계를 더 포함하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제6항에 있어서,
상기 측정한 상대 난이도를 상기 개별 응시자의 응시자 단말기에 전송하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제1항에 있어서, 상기 단계 (2)와 단계 (4) 사이에는,
상기 단계 (2)에서 입력받은 답을 채점하여 상기 온라인 평가 시험에 대한 채점 결과를 도출하는 단계; 및
상기 도출한 채점 결과를 이용하여, 상기 온라인 평가 시험에 응시한 전체 응시자에 대하여, 상기 온라인 평가 시험을 구성하는 전체 문제에 대한 평균 정답 비율 및 상기 개별 문제에 대한 개별 정답 비율을 산출하는 단계를 더 포함하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제8항에 있어서, 상기 단계 (4)에서는,
상기 평균 정답 비율 및 개별 정답 비율을 더 이용하여 상기 개별 문제의 절대 난이도를 산출하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.
제8항에 있어서, 상기 단계 (5)에서는,
상기 도출한 채점 결과로부터 산출한 변별력이 미리 정해진 수치 이하이면 상기 개별 문제를 상기 문제은행에서 삭제하는 것을 특징으로 하는, 문제은행 방식의 온라인 평가 서비스에서 풀이 시간 측정을 통한 문제 난이도 측정 및 조절 방법.