KR102473991B1

KR102473991B1 - 온라인 기반 시험 및 평가 시스템

Info

Publication number: KR102473991B1
Application number: KR1020220018307A
Authority: KR
Inventors: 강동열
Original assignee: 한밭대학교 산학협력단
Priority date: 2022-02-11
Filing date: 2022-02-11
Publication date: 2022-12-06
Also published as: WO2023153863A1

Abstract

본 발명은 온라인 기반 시험 및 평가 시스템에 관한 것으로, 시험 응시자 개인별 맞춤형 문제를 제공하는 온라인 기반 시험 및 평가 시스템에 있어서, 시험 정보를 입력 받는 관리자 단말기; 및 상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 서버를 포함하며, 비대면, 대면 강의에 국한되지 않고 시험을 치고 평가 결과를 실시간으로 확인함으로써 교육을 보다 효율적으로 수행할 수 있고 학습자들의 학업 성취도도 향상되고, 학습자 별로 서로 다른 문제를 제공하며, 학습자가 객관식 보기들을 통해 정답을 유추할 수 없도록 함으로써, 학습자의 부정행위를 방지하며, 자동 채점으로 채점의 어려움이 없으므로 기존의 오프라인 시험을 완벽하게 대체한 대규모 온라인 시험을 시행할 수 있는 효과가 있다.

Description

온라인 기반 시험 및 평가 시스템{Online-based exam and evaluation system}

본 발명은 온라인 기반 시험 및 평가 시스템에 관한 것으로, 더욱 상세하게는 온라인 시험을 공정하게 시행할 수 있도록 시험자별로 문제 종류, 순서, 변수 값 등을 무작위로 변경되도록 하여 다종의 시험 문제를 자동으로 생성하고 시험자 사이의 부정행위를 감지하는 기능을 가진 온라인 기반 시험 및 평가 시스템에 관한 것이다.

근래에 들어, ICT의 발달로 인해 온라인 교육의 제공이 보편화되었다. 예를 들어, 이러닝(E-learning)은, 학습자(또는 사용자)가 학습자 단말기를 통해 원하는 시간과 장소에서 학습할 수 있으며, 학습내용에 대한 예상문제를 풀어볼 수 있는 환경을 제공한다. 또한, 학습자가 학습방법과 학습진도에 대해 결정할 수 있기 때문에, 시간과 장소에 구애되지 않고, 수준별 학습이 가능하다.

이러한 온라인 교육의 제공이 보편화되어짐에 따라 학습자의 학습 능력 및 학업 성취도를 평가하기 위한 시험 역시 온라인을 통해 진행하고자 많은 연구가 이뤄지고 있다. 같은 강의를 듣고 있는 모든 학습자를 한 곳에 모아서 종이로 응시해야하는 오프라인 시험과 달리 온라인 시험은 학습자의 시간, 장소에 구애받지 않고 학습자가 편안한 환경에서 응시할 수 있는 장점이 있지만, 시험 중 학습자 간 부정행위의 우려가 크며, 관리자가 시험 도중 상기 부정행위를 발견하지 못할 가능성이 높다는 문제가 있다. 이러한 문제를 해결하기 위해 시험 출제 시 학습자 및 난이도 별로 랜덤하게 문제를 출제하는 식의 방식을 활용하고 있으나, 이 역시 학습자 간에 돌아다니는 족보 혹은 시험 간 문제를 자체적으로 분석함에 따라 부정행위를 할 수 있다는 문제가 발생할 수 있다.

한국공개특허공보 제10-2017-0073244호("차세대 이러닝 평가 관리 시스템 및 방법", 공개일 2017.06.28.)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서 본 발명의 목적은, 문제 종류, 순서, 변수 값 등을 무작위로 변경되도록 하여 다종의 시험 문제를 자동으로 생성하여 학습자 간 서로 다른 문제를 제공하는 온라인 기반 시험 및 평가 시스템을 제공하는 것이다.

또한, 정답의 크기에 따라 소정 영역 범위 내에서 랜덤하게 객관식 보기들을 생성하는 알고리즘을 활용함으로써, 학습자가 보기들을 통한 정답 유추를 방지하는 온라인 기반 시험 및 평가 시스템을 제공하는 것이다.

또한, 시험 응시자 간 부정행위를 방지하는 기능과 온라인 네트워크 이상, 응시자의 단말기 오류 등에 의한 시험 중단에 대한 대비 기능을 활용하여 실제 오프라인 시험을 완벽하게 대체할 수 있는 온라인 기반 시험 및 평가 시스템을 제공하는 것이다.

본 발명의 온라인 기반 시험 및 평가 시스템은 시험 응시자 개인별 맞춤형 문제를 제공하는 온라인 기반 시험 및 평가 시스템에 있어서, 시험 정보를 입력 받는 관리자 단말기 및 상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 서버를 포함하는 것을 특징으로 한다.

또한, 상기 시험 정보는 N개의 문제인 상위 문제 정보를 포함하고, 상기 서버가, 상기 시험 응시자별로 상기 N개의 상위 문제 중에 M개의 문제를 선택하여 상기 시험 문제를 생성하되, N≥M인 것을 특징으로 한다.

또한, 상기 서버가, 상기 선택된 M개의 상위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것을 특징으로 한다.

또한, 상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보를 포함하고, 상기 서버가, 상기 선택된 M개의 상위 문제 각각에 포함된 P개의 하위 문제 중에 랜덤하게 1개의 하위 문제를 선택하여 상기 시험 문제를 생성하는 것을 특징으로 한다.

또한, 상기 서버가, 상기 선택된 상위 문제 각각에 해당되는 하위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것을 특징으로 한다.

또한, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나 이상의 변수의 제한 범위를 포함하고, 상기 서버는, 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다.

또한, 상기 서버는, 상기 설정된 변수의 값 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 정답을 추출하되, 상기 변수의 제한 범위에 기초하여 상기 정답의 소정 영역의 범위가 결정된다.

또한, 상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보와, 상기 상위 문제 및 하위 문제 중 적어도 하나의 정답 및 복수의 보기에 대한 정보를 포함하고, 상기 서버는, 상기 복수의 보기의 순서를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다.

또한, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 R개의 보기에 대한 정보를 포함하고, 상기 서버는, 상기 R개의 보기 중에 랜덤하게 S개의 보기를 선택하여 상기 시험 문제를 생성하되, R≥S인 것을 특징으로 한다.

또한, 상기 서버는, 상기 R개의 보기 중에 U개의 정답을 설정하며, 상기 S개의 보기는 상기 U개의 정답 중 적어도 하나의 정답을 포함하여 상기 시험 문제를 생성하되, R>U≥1인 것을 특징으로 한다.

또한, 상기 서버는, 상기 정답에 해당하는 객관식 보기의 위치를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다.

또한, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 보기 정보 및 정답 정보를 포함하고, 상기 서버는, 상기 상위 및 하위 문제에 대한 정보, 보기 정보 및 정답 정보를 토대로 복수개의 오답을 추출하여 상기 시험 문제를 생성하는 것을 특징으로 한다.

또한, 상기 서버는, 상기 정답 정보 내 소숫점 자리와 동일한 복수개의 오답을 생성하되, 상기 정답 및 복수개의 오답들 간 차이를 설정하며, 상기 정답 정보의 소정 영역 범위 내에서 복수개의 오답을 생성하고, 상기 정답 정보의 소정 영역 범위는 상기 정답의 크기가 작으면 범위가 늘어나고, 상기 정답의 크기가 크면 범위가 줄어드는 것을 특징으로 한다.

또한, 상기 시험 정보는 상기 상위 및 하위 문제에 대한 정보와 상기 상위 및 하위 문제의 점수 배점 정보를 포함하고, 상기 서버는, 상기 상위 및 하위 문제의 점수 배점 정보 및 상기 시험 문제의 추출된 정답을 토대로 최종 점수를 측정하는 것을 특징으로 한다.

또한, 상기 서버는, 상기 M개의 상위 문제 중 적어도 하나인 Q개의 문제를 선택하며, 상기 Q개의 문제는 서로 연동되어 있음을 특징으로 하며, 상기 Q개의 문제에 해당하는 정답 정보도 연동되어 있는 것을 특징으로 한다.

또한, 상기 시스템은, 상기 서버로부터 제공된 시험 문제를 다운받아 상기 시험 응시자가 시험을 응시하는 응시자 단말기를 더 포함하는 것을 특징으로 한다.

또한, 상기 응시자 단말기는, 상기 시험 응시자가 응시 완료한 시험 문제를 상기 서버로 전송하고, 상기 서버는, 상기 시험 문제의 정답에 기초하여 상기 응시자 단말기로부터 송신된 시험 문제의 답에 대한 채점 정보를 추출하며, 상기 추출된 채점 정보 및 상기 상위 및 하위 문제의 점수 배점 정보에 기초하여 최종 점수 정보를 추출하며, 상기 추출된 최종 점수 정보를 상기 응시자 단말기에 송신하는 것을 특징으로 한다.

또한, 상기 시험 정보는 시험 시간, 응시자 수를 더 포함하고, 상기 서버는, 상기 상위 및 하위 문제들의 정답률을 계산하여 상기 상위 및 하위 문제들에 대한 난이도를 추출하며, 상기 추출된 난이도 정보를 상기 관리자 단말기에 송신하는 것을 특징으로 한다.

또한, 상기 서버는, 한번에 처리할 시험 응시자 집단 수를 조절하고 여러 집단으로 나누어 순차적으로 처리할 수 있는 것을 특징으로 한다.

또한, 상기 응시자 단말기는, 상기 시험 응시자에 의해 상기 시험 문제의 답이 입력되면 상기 시험 정보에 입력된 시간 t1마다 상기 서버와 통신하여 상기 시험 문제의 답을 송신하는 것을 특징으로 하며, 상기 서버는 수신된 상기 시험 문제의 답을 상기 t1마다 저장하는 것을 특징으로 한다.

또한, 상기 시스템은, 상기 시험 응시자가 응시자 단말기를 통해 상기 시스템에 접속하면, 상기 응시자 단말기의 브라우저 ID 및 접속 시간을 송신받아 상기 서버에 저장하는 것을 특징으로 한다.

본 발명에 따른 온라인 기반 시험 및 평가 시스템은, 비대면, 대면 강의에 국한되지 않고 시험을 치고 평가 결과를 실시간으로 확인함으로써 교육을 보다 효율적으로 수행할 수 있고 학습자들의 학업 성취도도 향상되는 효과가 있다.

또한, 학습자 별로 서로 다른 문제를 제공하며, 학습자가 객관식 보기들을 통해 정답을 유추할 수 없도록 함으로써, 학습자의 부정행위를 방지하는 효과가 있다.

또한, 자동 채점으로 채점의 어려움이 없으므로 기존의 오프라인 시험을 완벽하게 대체한 대규모 온라인 시험을 시행할 수 있는 효과가 있다.

도 1은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템을 나타낸 블록구성도
도 2는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 상위 문제 및 하위 문제의 개수 및 순서를 선정하는 부분을 나타낸 블록구성도
도 3은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답을 추출하는 부분을 나타낸 블록구성도
도 4는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답과 보기들을 직접 입력하는 객관식 유형 문제에서 정답을 추출하는 부분을 나타낸 블록구성도
도 5는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답식과 변수 범위를 입력하는 객관식 유형 문제에서 오답을 추출하는 부분을 나타낸 블록구성도
도 6은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 응시자 단말기를 포함하여 나타낸 블록구성도
도 7은 본 발명의 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 최종 점수 정보 및 난이도 정보를 추출하는 부분을 나타낸 블록구성도

이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 첨부된 도면은 본 발명의 기술적 사상을 더욱 구체적으로 설명하기 위하여 도시된 일예에 불과하므로 본 발명의 기술적 사상이 첨부된 도면의 형태에 한정되는 것은 아니다.

도 1은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템을 나타낸 블록구성도이다.

도 1에 도시된 바와 같이, 시험 응시자 개인별 맞춤형 문제를 제공하는 온라인 기반 시험 및 평가 시스템에 있어서, 시험 정보를 입력 받는 관리자 단말기(200) 및 상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 서버(100)를 포함한다.

관리자 단말기(200)는 관리자에게 시험 문제를 만들기 위한 시험 정보를 입력 받아 서버로 전송하는 역할을 한다. 주로, 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 휴대 단말기(Portable Terminal), 울트라북(ultrabook), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA) 등을 포함할 수 있다.

서버(100)는 관리자 단말기(200)로부터 입력 받은 상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 역할을 한다.

다음으로 서버(100)에서 시험 응시자 별로 서로 다른 시험 문제를 제공하는 부분에 대해 알아보고자 한다.

도 2는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 상위 문제 및 하위 문제의 개수 및 순서를 선정하는 부분을 나타낸 블록구성도이다.

도 2에 도시된 바와 같이, 서버(100)가, 상기 시험 응시자별로 상기 N개의 상위 문제 중에 랜덤하게 M개의 문제를 선택하여 상기 시험 문제를 생성하되, N≥M인 것을 특징으로 한다. 이 때 상기 시험 정보는 N개의 문제인 상위 문제 정보를 포함한다. 또한, 서버(100)가, 상기 선택된 M개의 상위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 상위 문제는 시험의 문항을 의미하며, 본 발명에서는 N개의 문항 중 M개를 선택하고, M개의 문항 순서를 시험 응시자별로 랜덤하게 나열하여 시험 문제를 생성한다. 따라서, 우선적으로 시험의 문항을 시험 응시자별로 문제 및 문제 순서를 다르게 하여 시험 문제를 생성할 수 있다.

또한, 서버(100)가, 상기 선택된 M개의 상위 문제 각각에 포함된 P개의 하위 문제 중에 랜덤하게 1개의 하위 문제를 선택하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 이 때 상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보를 포함한다. 또한, 서버(100)가, 상기 선택된 상위 문제 각각에 해당되는 하위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 하위 문제는 시험 문항의 내용을 의미하며, 본 발명에서는 선택된 문항 각각에 포함된 P개의 하위 문제 중 랜덤으로 1개의 하위 문제를 선택할 수 있으며, 하위 문제의 순서를 시험 응시자별로 랜덤하게 나열하여 시험 문제를 생성한다. 따라서, 시험 문항 내의 문제 또한 시험 응시자별로 내용 및 문제 순서를 다르게 하여 시험 문제를 생성할 수 있다.

도 3은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답을 추출하는 부분을 나타낸 블록구성도이다.

도 3에 도시된 바와 같이, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 변수의 제한 범위를 포함하고, 서버(100)는, 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 결국, 본 발명에서는 문제 내에 있는 변수의 제한 범위를 둠으로써, 시험 응시자별로 랜덤하게 변수의 값 또한 설정할 수 있다. 예를 들어, 문항 내 a+b의 문제가 있다고 가정하고, a의 범위를 1.2≤a≤5.0, b의 범위를 4.0≤b≤7.0이라 가정한다면, 같은 시험 문제가 응시자별로 a의 범위 및 b의 범위 내에서 변수 a, b의 값이 랜덤으로 결정이 되며, 변수의 값에 따라 문제, 정답의 값 또한 시험 문제별로 달라질 수 있다. 또한, 변수 범위의 소수점 자릿수에 따라 무작위로 생성되는 난수들의 소수점 자릿수도 결정된다. 앞의 a의 예에서는 1.2, 1.3, ... , 5.0 중에서 랜덤하게 선택되고, a의 난수를 소수점 둘째 자리까지 생성하려면 1.20≤a≤5.00으로 입력하면 된다.

또한, 상기 서버는, 상기 설정된 변수의 값 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 정답을 추출하되, 상기 변수의 제한 범위에 기초하여 상기 정답의 소정 영역의 범위가 결정된다. 따라서, 본 발명에 따른 온라인 기반 시험 및 평가 시스템은 정답의 소정 영역 범위 내에서 문제의 숫자들과 이에 따른 정답이 랜덤하게 추출되므로 시험 응시자별로 다른 정답이 생성되어 시험 응시자 간 부정행위를 방지할 수 있다.

따라서, 상기에 설명한 바와 같이, 시험 응시자별로 시험 문제 내 문항 및 문항 순서를 랜덤으로 정해지도록 하고, 문항 내 내용 및 문제 순서를 랜덤으로 정해지도록 하며, 문제별 주어진 변수의 값 또한 랜덤으로 정해지므로 시험 응시자별로 서로 다른 문제들이 출제되므로 시험 응시자 간 부정행위를 방지할 수 있다.

다음으로 문제 유형별로 문제를 출제하는 방식에 대해 알아보고자 한다.

먼저, 문제 유형이 객관식 유형일 때 시험 문제가 시험 응시자별로 어떻게 달라지는지 알아보고자 한다. 참고로, 객관식 유형에는 공통적으로 보기가 존재하며, 복수개의 보기 중 정답을 찾는 유형이라고 생각하면 된다.

상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보와, 상기 상위 문제 및 하위 문제 중 적어도 하나에 해당되는 적어도 하나의 정답 및 복수의 보기에 대한 정보를 포함하고, 서버(100)는, 상기 복수의 보기의 순서를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 따라서, 시험 응시자별로 시험 문제에 따라 복수의 보기 순서가 랜덤으로 설정되므로 부정행위를 방지할 수 있다.

다음으로, 정답과 보기들을 직접 입력하는 객관식 유형 문제와 정답식과 변수 범위를 입력하는 객관식 유형 문제의 경우, 문제의 보기와 정답의 출제 방법이 달라지므로 우선적으로 어떻게 달라지는지 확인하도록 하자.

도 4는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답과 보기들을 직접 입력하는 객관식 유형 문제에서 정답을 추출하는 부분을 나타낸 블록구성도이다.

도 4에 도시된 바와 같이, 정답과 보기들을 직접 입력하는 객관식 유형 문제의 경우, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 R개의 보기에 대한 정보를 포함하고, 서버(100)는, 상기 R개의 보기 중에 랜덤하게 S개의 보기를 선택하여 상기 시험 문제를 생성하되, R≥S인 것을 특징으로 한다. 또한, 서버(100)는, 상기 R개의 보기 중에 U개의 정답을 설정하며, 상기 S개의 보기는 상기 U개의 정답 중 적어도 하나의 정답을 포함하여 상기 시험 문제를 생성하되, R>U≥1인 것을 특징으로 한다. 예를 들어, 정답의 개수가 1개인 6지 선다형 문제 유형을 정한다고 가정한다면, 종래에는 정답 1개, 오답 5개를 입력하면 되지만, 본 발명에서는 예를 들어, 문제 정보에 14개의 보기 정보가 입력되어 있으며, 이 중 정답의 개수를 4개, 오답의 개수를 10개라고 가정하면 서버(100)가 문제를 생성할 시, 4개의 정답 중 랜덤하게 1개를 선택하고, 10개의 오답 중 랜덤하게 5개를 선택한다. 만약 문제의 정답 개수를 2개로 선택할 시, 4개의 정답 중 랜덤하게 2개를 선택하고, 10개의 오답 중 랜덤하게 4개를 선택한다. 그리고 이렇게 추출된 정답을 포함한 보기들은 응시자별로 랜덤하게 섞여서 출제된다. 상기 예시는 일실시예로, 시험 정보에 포함된 보기 정보 및 정답의 개수에 따라 달라질 수 있다. 다시 말해, 본 발명에서는 시험 정보 내 복수개의 보기 정보 및 복수개의 정답 정보가 있으며, 정답의 개수 및 보기의 개수가 정해지면, 복수개의 보기 정보 및 복수개의 정답 정보 내에서 추출하여 시험 문제를 생성함으로, 시험 응시자별로 시험 문제 내 보기의 정보가 달라짐으로써 부정 행위를 방지할 수 있다.

다음으로 본 발명에서 정답식과 변수 범위를 입력하는 객관식 유형에서 정답을 포함한 보기들을 추출하는 방법에 대해 알아보도록 하자.

서버(100)는, 상기 정답에 해당하는 객관식 보기의 위치를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 따라서, 본 발명에서는 상기 설정된 변수들의 범위에 따라 랜덤하게 정답을 추출할 수 있으며, 시험 응시자별로 복수개의 보기 중 정답에 해당하는 위치를 랜덤으로 설정한다는 것이다. 예를 들어, 객관식 유형 중 6지 선다형 문제라고 가정할 시, 정답의 위치를 1번 내지 6번 중 적어도 어느 하나에 해당하는 위치에 응시자별로 랜덤으로 설정되어 문제가 출제된다.

도 5는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답식과 변수 범위를 입력하는 객관식 유형 문제에서 오답을 추출하는 부분을 나타낸 블록구성도이다.

도 5에 도시된 바와 같이, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 보기에 대한 정보 및 정답에 대한 정보를 포함하고, 서버(100)는, 상기 상위 및 하위 문제에 대한 정보, 보기에 대한 정보 및 정답에 대한 정보를 토대로 복수개의 오답을 추출하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 또한, 상기 정답 정보 내 소숫점 자리와 동일한 복수개의 오답을 생성하되, 상기 정답 및 복수개의 오답들 간 차이를 설정하며, 상기 정답 정보의 소정 영역 범위 내에서 복수개의 오답을 생성한다는 것이다. 단, 상기 정답 정보의 소정 영역 범위는 상기 정답 값의 크기가 작으면 범위가 늘어나고, 상기 정답 값의 크기가 크면 범위가 줄어드는 것을 특징으로 한다.

상기 정답 및 보기를 생성하는 부분을 구체화하여 설명하도록 하겠다.

먼저 정답을 추출할 때, 상기 시험 정보와 상기 변수의 제한 범위 내에서 랜덤하게 설정된 변수의 값에 의해 특정 범위 내에서 소수점 2자리까지 정답을 도출할 수 있다. 여기서, 예를 들어, 본 발명에 따른 정답의 특정 범위는 0.11≤정답≤100000.00으로 가정하자. 이 정답의 범위는 필요하다면 문제관리자가 아래 알고리즘 상에서 바꿀 수 있다. 이러한 정답의 범위에 따른 명령에 관련된 알고리즘은 하기 그림 1에 표시되어 있다.

[그림 1]

(여기서, command1, command2, command3은 메시지 명령어로 오직 문제관리자인 경우에만 실행됨. command1은 예를 들어, '정답의 하한을 0.2보다 더 크게 재설정 해주세요.', command2는 '정답의 상한을 99500보다 더 작게 재설정 해주세요.', command3은 '정답이 0.2보다 크고 99500보다 작도록 재설정 해주세요.'로 설정될 수 있음.)

또한, 정답 및 복수개의 오답들 간 차이를 설정하는 부분에 대해 설명하면, 먼저 정답 및 복수개의 오답의 소수점 자리수(flag)를 설정한다. 이에 대한 알고리즘은 하기 그림 2에 표시되어 있다.

[그림 2]

여기서, flag는 소수점 자리수를 의미하며, 정답의 크기가 작을수록 소수점 자리수가 늘어나고, 정답의 크기가 클수록 소수점 자리수가 작아진다는 것을 확인할 수 있다. 또한, 그림 2의 2번째와 4번째 줄에서와 같이, 정답의 크기가 특정 범위 내에 속할 경우, 서버(100)가 랜덤하게 소수점 자리수를 설정한다. 상기의 범위는 고정된 것이 아니면 필요하다면 문제관리자가 바꿀 수 있다.

정답 및 복수개의 오답의 소수점 자리수(flag)가 설정되면, 정답의 크기에 의한 범위를 설정한다. 본 발명에 따른 정답의 범위를 설정하기 위한 식은 아래와 같다.

p1 =

~

(여기서, log10은 밑이 10인 로그함수이다.)

위 식은 하나의 예로써, 정답이 10일 때 10~13%가 범위로 산출되며, 정답이 100000일 때 1~1.3%가 범위로 산출될 수 있음을 의미한다. 로그함수 뿐만 아니라 다른 수학 함수들로도 위의 예와 같이 정답의 크기에 따라 변하는 정답의 범위를 조정할 수 있다. 또한, 정답의 범위도 필요하다면 조정할 수 있다.

서버(100)는 상기의 범위 내에서 랜덤하게 하나의 수(p1)를 선택하고 이 수는 정답과 보기, 보기와 보기들 사이의 차이와 관계가 있다.

이렇게 정답 및 복수개의 오답들 간 차이를 결정한다면 하기 수학식 1를 따라 나타낼 수 있다.

[수학식 1]

(여기서, D는 정답 및 복수개의 오답들 간 차이, p1은 위 로그가 포함된 식에서 정답의 크기에 따른 범위 내에서 랜덤하게 선택된 하나의 수를 의미함)

위 알고리즘에 의해 정답, D, 그리고 자리수가 정해지면 객관식 보기의 수(예, 6지 선다형, 8지 선다형)에 따라 추출된 보기들은 응시자별로 정답과 랜덤하게 섞여서 출제된다. 보기 추출 알고리즘이 응시자에게 노출되더라도 응시자가 출제된 정답과 보기들을 관찰하고 분석하여 정답을 역추적할 수 없다.

다음으로, 문제출제자가 정답식과 변수 범위를 입력하는 객관식 문제 유형을 단답식 주관식으로 선택하게 되면 시험 문제가 시험 응시자별로 어떻게 달라지는지 알아보고자 한다.

문제 유형이 단답형 주관식 유형일 경우 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 정답을 산출한 후, 상기 시험 문제를 생성한다. 또한, 시험 정보 내 설정된 상기 정답의 소숫점에 따라 상기 변수의 값 및 정답의 소수점도 달라질 수 있다. 서버(100)는 정답식과 변수 범위를 입력하는 객관식 문제 유형의 알고리즘에서 산출된 보기-정답, 보기-보기 사이의 간격인 D를 이용하여 응시자가 입력하는 단답형 값이 [정답-D/r]~[정답+D/r] 사이에 있는 경우 정답으로 간주한다. 여기서 r은 10, 20과 같이 응시자가 입력한 값을 정답으로 허용되는 범위를 조정할 수 있는 인자이고, 문제관리자가 설정할 수 있다. D는 정답이 작으면 커지고 정답이 크면 작아지므로 단답형 값을 허용하는 범위도 정답에 따라 변하게 된다.

따라서, 상기에 설명한 바와 같이, 본 발명은 시험 응시자별로 시험 문제 내 문항 및 문항 순서를 랜덤으로 정해지도록 하고, 문항 내 내용 및 문제 순서를 랜덤으로 정해지도록 하며, 문제별 주어진 변수의 값 또한 랜덤으로 정해질 뿐만 아니라 유형별로도 변수에 따른 정답의 값, 보기 내 정답의 위치 및 오답의 값에 따라 시험 응시자별로 서로 다른 문제들이 출제됨으로써, 시험 응시자 간 부정행위를 방지할 수 있으며, 시험 응시자의 정답 유추를 방지할 수 있다.

또한, 상기 시험 정보는 상기 상위 및 하위 문제에 대한 정보와 상기 상위 및 하위 문제의 점수 배점 정보를 포함하고, 상기 서버는, 상기 상위 및 하위 문제의 점수 배점 정보 및 상기 시험 문제의 추출된 정답을 토대로 최종 점수를 측정하는 것을 특징으로 한다. 따라서, 점수 배점 정보 및 추출된 정답에 따라 자동으로 시험 응시자의 점수를 채점할 수 있다.

또한, 상기 서버는, 상기 M개의 상위 문제 중 적어도 하나인 Q개의 문제를 선택하며, 상기 Q개의 문제는 서로 연동되게 할 수 있음을 특징으로 하며, 상기 Q개의 문제에 해당하는 정답 정보도 연동된 문제를 출제할 수 있는 것을 특징으로 한다. 예를 들어, 그림 F1을 가지는 A라는 문제에서 하나 이상의 정답이 a인 경우, 그림 F1과 문제 A에 연결하여 B라는 문제를 내고 이 B의 정답, b를 a에 연동할 수 있다. 여기서, 문제 A의 숫자들과 정답, a, 문제 B의 숫자들과 정답, b는 입력한 난수 범위에 따라 랜덤하게 설정되어 응시자별로 다른 정답 a와 b가 설정된다. 꼭 A와 B의 2개의 문제들이 아닌, Q개의 문제들이 연동된 하나의 문제를 출제할 수 있고 각 연동된 문제들의 배점 정보에 의해 자동으로 시험 응시자의 점수를 채점할 수 있다.

도 6은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 응시자 단말기를 포함하여 나타낸 블록구성도이다.

도 6에 도시된 바와 같이, 본 발명의 온라인 기반 시험 및 평가 시스템은 서버(100)로부터 제공된 시험 문제를 다운받아 상기 시험 응시자가 시험을 응시하는 응시자 단말기(300)를 더 포함할 수 있다.

응시자 단말기(300)는 시험을 응시하는 시험 응시자가 시험을 응시하기 위해 활용하는 단말기로, 서버로부터 시험 문제를 다운받아 시험 응시자가 시험을 응시하도록 도와준다. 응시자 단말기(300) 역시 주로, 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 휴대 단말기(Portable Terminal), 울트라북(ultrabook), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA) 등을 포함할 수 있다.

또한, 상기의 온라인 기반 시험 및 평가 시스템을 이용한 시험에서 응시자가 상기의 온라인 기반 시험 및 평가 시스템에 접속하면 응시자 단말기(300)의 접속 브라우저의 접속 시간 및 브라우저의 ID를 기록하여 서버(100)에 자동으로 즉각 저장한다. 브라우저 ID는 사람의 지문과 같아서 상이한 두 브라우저들이 같은 ID를 가질 확률은 매우 낮다. 만약 같은 응시자 아이디로 두 개 이상의 브라우저를 통해 상기의 온라인 기반 시험 및 평가 시스템에 접속하면 서버(100)는 기록된 브라우저 ID들이 다름을 자동으로 감지하여 문제출제자에게 실시간으로 알려 준다. 같은 아이디로 두 개 이상의 응시자 단말기(300)에 접속하는 행위도 자동으로 감지하여 문제출제자에게 실시간으로 알려준다.

도 7은 본 발명의 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 최종 점수 정보 및 난이도 정보를 추출하는 부분을 나타낸 블록구성도이다.

도 7에 도시된 바와 같이, 상기 응시자 단말기는, 상기 시험 응시자가 응시 완료한 시험 문제를 상기 서버로 전송하고, 상기 서버는, 상기 시험 문제의 정답에 기초하여 상기 응시자 단말기로부터 송신된 시험 문제의 답에 대한 채점 정보를 추출하며, 상기 추출된 채점 정보 및 상기 상위 및 하위 문제의 점수 배점 정보에 기초하여 최종 점수 정보를 추출하며, 상기 추출된 최종 점수 정보를 실시간으로 상기 응시자 단말기에 송신한다. 따라서, 상기에 작성된 점수 배점 정보 및 상기 시험 문제에서 추출된 정답을 토대로 시험 응시자가 작성한 정답과 비교하여 채점을 진행하며, 자동으로 점수를 추출할 수 있다.

또한, 상기 시험 정보는 시험 시간, 응시자 수를 더 포함하고, 상기 서버는, 상기 상위 및 하위 문제들의 정답률을 계산하여 상기 상위 및 하위 문제들에 대한 난이도를 추출하며, 상기 추출된 난이도 정보를 상기 관리자 단말기에 송신한다. 따라서, 시험 관리자는 자동으로 추출된 난이도 정보에 따라서 문제의 난이도를 파악할 수 있으며, 이는 틀린 문제들만 출제되는 2차 시험이나 다음 시험들을 진행할 경우에 용이하게 사용될 수 있다.

또한, 상기 서버는, 한번에 처리할 시험 응시자의 집단 수를 설정할 수 있는 것을 특징으로 한다. 예를 들어, 1000명의 응시자가 동시에 시험을 실행하면 서버의 성능이 낮은 경우에 부하가 걸릴 수 있지만 이를 매우 짧은 시간 단계로 P=100명씩 10 집단으로 순차적으로 처리하면 서버의 부하가 훨씬 줄어들어 매끄럽게 처리할 수 있다. 서버의 컴퓨팅 성능이 크면 P를 크게 설정하고 서버의 컴퓨팅 성능이 낮으면 P를 작게 설정하여 매끄럽게 시험과 평가를 수행할 수 있는 서버의 성능과 응시자 수의 범위를 늘린다. 요약하면, 서버의 성능에 따라 한번에 처리할 시험 응시자 수를 설정하여 서버에 걸리는 부하를 줄여 문제없이 시험을 진행할 수 있으므로 일반 고성능 PC 정도의 서버 성능으로도 수천 명의 동시 응시자에 대해 상기 시스템을 운영할 수 있다.

또한, 서버(100)는 상기의 모든 문제 유형에 대해 응시자가 응시자 단말기(300)에서 시험 문제의 답을 입력하면 각 문제의 답이 입력될 때마다, 혹은 일정 시간 t1마다, 서버(100)와 통신하며 서버(100)가 각 응시자가 입력한 답을 기억한다. 이는 응시자의 시험지 입력 값들을 서버(100)에 저장하여 인터넷 통신 혹은 응시자 단말기의 오류로 인한 시험 진행이 원활하지 않았을 때, 응시자가 다시 시험에 접속하여 시험을 정상적으로 진행할 수 있게 한다. 또한, 일정 시간, t2마다 서버(100)와 응시자 단말기(300) 사이의 통신을 통해 응시자 단말기(300)의 시험 시간을 동기화한다. 일정 시간, t1과 t2는 상기의 온라인 기반 시험 및 평가 시스템의 관리자가 설정할 수 있다.

상술한 바와 같이 본 발명의 실시 예에 따르면, 스마트폰으로 시험에 응시할 수 있으므로 비대면, 대면 강의에 국한되지 않고 언제든지 시험을 치고 자동으로 채점할 수 있음으로써, 교육을 보다 효율적으로 수행할 수 있고 학습자들의 학업 성취도도 향상되며, 문제 종류, 순서, 변수 값 등을 무작위로 변경되도록 하여 다종의 시험 문제를 자동으로 생성하여 응시자 별로 상이한 문제가 출제되며, 학습자가 보기를 통해 정답을 유추할 수 없도록 함으로써, 학습자의 부정행위를 방지하는 효과가 있다. 또한, 각 응시자 단말기의 브라우저 ID를 실시간으로 기록하고 상호 대조하여 상이한 브라우저 ID가 발생할 시, 문제출제자에게 실시간으로 알려주는 기능을 통해서도 학습자의 부정행위를 방지한다. 시험 중에 인터넷 통신 일시 오류 등이 발생하더라도 응시자가 바로 시험을 계속 진행할 수 있으며, 채점도 실시간으로 즉각 처리되므로 대규모 시험을 채점의 부담 없이 수행할 수 있다.

100 : 서버
200 : 관리자 단말기
300 : 응시자 단말기

Claims

시험 응시자 개인별 맞춤형 문제를 제공하는 온라인 기반 시험 및 평가 시스템에 있어서,
시험 정보를 입력 받는 관리자 단말기; 및
상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 서버; 를 포함하며,
상기 시험 정보는 상위 문제 정보 및 각 상위 문제에 포함된 하위 문제 정보를 포함하고,
상기 서버는, 상기 상위 및 하위 문제에 대한 정보, 보기 정보 및 정답 정보를 토대로 복수개의 오답을 추출하여 상기 시험 문제를 생성하며,
상기 정답 정보의 소정 영역 범위 내에서 복수개의 오답을 생성하고,
상기 정답 정보의 소정 영역 범위는 상기 정답의 크기가 작으면 범위가 늘어나고, 상기 정답의 크기가 크면 범위가 줄어드는 것을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제1항에 있어서,
상기 시험 정보는 N개의 문제인 상기 상위 문제 정보를 포함하고,
상기 서버가,
상기 시험 응시자별로 상기 N개의 상위 문제 중에 M개의 문제를 선택하여 상기 시험 문제를 생성하되, N≥M인 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 2항에 있어서,
상기 서버가,
상기 선택된 M개의 상위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 2항에 있어서,
상기 서버가,
상기 선택된 M개의 상위 문제 각각에 포함된 P개의 하위 문제 중에 랜덤하게 1개의 하위 문제를 선택하여 상기 시험 문제를 생성하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 4항에 있어서,
상기 서버가,
상기 선택된 상위 문제 각각에 해당되는 하위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 4항에 있어서,
상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나 이상의 변수의 제한 범위를 포함하고,
상기 서버는,
상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 상기 시험 문제를 생성하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 6항에 있어서,
상기 서버는,
상기 설정된 변수의 값 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 정답을 추출하되,
상기 변수의 제한 범위에 기초하여 상기 정답의 소정 영역의 범위가 결정되는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제7항에 있어서,
상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보와, 상기 상위 문제 및 하위 문제 중 적어도 하나의 정답 및 복수의 보기에 대한 정보를 포함하고,
상기 서버는,
상기 복수의 보기의 순서를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 8항에 있어서,
상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 R개의 보기에 대한 정보를 포함하고,
상기 서버는,
상기 R개의 보기 중에 랜덤하게 S개의 보기를 선택하여 상기 시험 문제를 생성하되, R≥S인 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 9항에 있어서,
상기 서버는,
상기 R개의 보기 중에 U개의 정답을 설정하며,
상기 S개의 보기는 상기 U개의 정답 중 적어도 하나의 정답을 포함하여 상기 시험 문제를 생성하되, R>U≥1인 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 8항에 있어서,
상기 서버는,
상기 정답에 해당하는 보기의 위치를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 11항에 있어서,
상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 보기 정보 및 정답 정보를 포함하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 12항에 있어서,
상기 서버는,
상기 정답 정보 내 소숫점 자리와 동일한 복수개의 오답을 생성하되,
상기 정답 및 복수개의 오답들 간 차이를 설정하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 7항에 있어서,
상기 시험 정보는 상기 상위 및 하위 문제에 대한 정보와 상기 상위 및 하위 문제의 점수 배점 정보를 포함하고,
상기 서버는,
상기 상위 및 하위 문제의 점수 배점 정보 및 상기 시험 문제의 추출된 정답을 토대로 최종 점수를 측정하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 7항에 있어서,
상기 서버는,
상기 M개의 상위 문제 중 적어도 하나인 Q개의 문제를 선택하며,
상기 Q개의 문제는 서로 연동되어 있음을 특징으로 하며,
상기 Q개의 문제에 해당하는 정답 정보도 연동되어 있는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 1항에 있어서,
상기 시스템은,
상기 서버로부터 제공된 시험 문제를 다운받아 상기 시험 응시자가 시험을 응시하는 응시자 단말기;
를 더 포함하는 것을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 16항에 있어서,
상기 응시자 단말기는,
상기 시험 응시자가 응시 완료한 시험 문제를 상기 서버로 전송하고,
상기 서버는,
상기 시험 문제의 정답에 기초하여 상기 응시자 단말기로부터 송신된 시험 문제의 답에 대한 채점 정보를 추출하며,
상기 추출된 채점 정보 및 상위 및 하위 문제의 점수 배점 정보에 기초하여 최종 점수 정보를 추출하며,
상기 추출된 최종 점수 정보를 상기 응시자 단말기에 송신하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 17항에 있어서,
상기 시험 정보는 시험 시간, 응시자 수를 더 포함하고,
상기 서버는,
상기 상위 및 하위 문제들의 정답률을 계산하여 상기 상위 및 하위 문제들에 대한 난이도를 추출하며,
상기 추출된 난이도 정보를 상기 관리자 단말기에 송신하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 1항에 있어서,
상기 서버는,
한번에 처리할 시험 응시자 집단 수를 조절할 수 있고 응시자를 여러 집단으로 나누어 순차적으로 처리할 수 있는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 17항에 있어서,
상기 응시자 단말기는,
상기 시험 응시자에 의해 상기 시험 문제의 답이 입력되면 상기 시험 정보에 입력된 시간 t1마다 상기 서버와 통신하여 상기 시험 문제의 답을 송신하는 것을 특징으로 하며,
상기 서버는 수신된 상기 시험 문제의 답을 상기 t1마다 저장하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.
제 16항에 있어서,
상기 시스템은,
상기 시험 응시자가 응시자 단말기를 통해 상기 시스템에 접속하면, 상기 응시자 단말기의 브라우저 ID 및 접속 시간을 송신받아 상기 서버에 저장하는 것
을 특징으로 하는 온라인 기반 시험 및 평가 시스템.