KR20060125234A

KR20060125234A - 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템

Info

Publication number: KR20060125234A
Application number: KR1020050047168A
Authority: KR
Inventors: 헌 김
Original assignee: 헌 김
Priority date: 2005-06-02
Filing date: 2005-06-02
Publication date: 2006-12-06

Abstract

본 발명은 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템에 관한 것이다. 본 발명의 바람직한 일 실시예에 따르면, 문제지 생성 시스템은 추출한 n개의 문제 데이터를 임의의 순서로 배열한 서로 다른 k개의 문제 배열 정보에 각각 상응하는 k개의 시험지 고유 코드를 저장한 후, 당해 문제 데이터들, 시험지 고유 코드 및 상응하는 문제 배열 정보를 통신망을 통해 고사장 시스템으로 전송함으로써, 고사장 시스템에서 각 문제 배열 정보에 상응하는 k개의 서로 다른 문제지를 복구하여 출력할 수 있도록 한다. 본 발명에 의하여, 각 응시자별로 또는 복수의 응시자 그룹별로 상이한 형식의 문제지가 배포될 수 있어 부정 행위가 불가능해질 뿐 아니라 부정 행위 자체가 무의미해진다.

시험, 문제, 부정 행위, 공정성

Description

부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템{Method and apparatus for creating exam sheets to prevent cheating on the exam}

도 1은 본 발명의 바람직한 일 실시예에 따른 부정 행위 근절을 위한 시험 문제지 생성 방법을 수행하기 위한 전체 시스템 구성을 개략적으로 나타낸 도면.

도 2는 본 발명의 바람직한 일 실시예에 따른 부정 행위 근절을 위한 시험 문제지 생성 방법을 나타낸 순서도.

도 3a 내지 도 3c는 본 발명의 바람직한 일 실시예에 따른 시험지 고유 코드별 상이한 문제 배열 상태를 예시한 도면.

도 4는 본 발명의 바람직한 일 실시예에 따른 각 응시자별 상이한 문제지를 예시한 도면.

도 5는 본 발명의 바람직한 일 실시예에 따른 OMR 카드 형태를 예시한 도면.

본 발명은 시험 문제지 생성을 위한 것으로, 특히 부정 행위 근절을 위한 시험 문제지 생성에 관한 것이다.

학습자의 학습 성과의 측정이나 특정 조직 또는 학교에 부합하는 인재를 고 르기 위해 일반적으로 시험이 이용된다. 따라서, 시험은 그 특성상 공정성이 담보되어야 하며, 공정성을 기하기 위해 응시자들의 부정 행위를 근절하기 위한 많은 방법들이 이용되고 있다.

일 예로서, 수학능력시험의 경우 응시자들의 부정 행위를 근절하기 위해 하나의 교실에 복수의 시험 감독관들이 참석하도록 할 뿐 아니라 시험지도 홀수형과 짝수형 등의 복수로 제작되어 어느 하나가 응시자에게 배포된다.

그러나, 이와 같은 종래의 부정 행위 방지 방법은 이동 통신 단말기가 일반화된 현재 시점에서는 아무런 효과도 나타내지 못하고 있다. 즉, 2004년 수학능력시험에서는 복수의 응시자들이 이동 통신 단말기를 이용한 문자 메시지 전송 방법으로 대단위의 부정 행위를 실행한바 있다. 이는 국가의 교육 시책 등에 대한 국민의 불신감을 증폭시킬 뿐 아니라 학습자들에게 학습하지 않더라도 고득점 취득이 가능하다는 인식을 일반화시키게 되는 문제점이 있다.

따라서, 상술한 문제점들을 해결하기 위한 본 발명의 목적은 각 응시자별로 또는 복수의 응시자 그룹별로 상이한 형식의 시험지가 배포될 수 있어 부정 행위가 불가능해질 뿐 아니라 부정 행위 자체가 무의미해지는 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템을 제공하는 것이다.

본 발명의 다른 목적은 시험 제도가 공정한 평가 및 경쟁의 기회로 재인식될 수 있어 학습자들의 충분한 학습을 유도할 수 있는 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 응시자들이 상이한 문제 배열 순서의 문제지를 배부받더라도 각 문제지의 페이지별 난이도를 동일하게 유지함으로써 문제지 형식에 의해 응시자의 득점이 차별화되지 않는 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템을 제공하는 것이다.

본 발명의 이외의 목적들은 하기의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면 복수의 문제들의 배열 순서를 조정함으로써 복수개의 시험지 유형을 생성할 수 있는 시험지 생성 방법이 제공되고, 당해 시험지 생성 방법의 수행을 가능하게 하는 시스템, 장치 및 기록매체가 제공된다.

본 발명의 바람직한 일 실시예에 따르면, 문제지 생성 시스템에서 수행되는 시험지 생성 방법에 있어서, 추출된 n개의 문제 데이터가 임의의 순서로 배열된 서로 다른 k개의 문제 배열 정보에 각각 상응하는 k개의 시험지 고유 코드를 저장하는 단계-여기서,상기 문제 데이터는 문제 및 정답을 포함하고, 상기 n과 상기 k는 각각 임의의 자연수임-; 및 상기 n개의 문제 데이터, 상기 시험지 고유 코드 및 상기 문제 배열 정보를 통신망을 통해 고사장 시스템으로 전송하는 단계를 포함하되, 상기 고사장 시스템은 각각의 문제 배열 정보에 상응하도록 상기 n개의 문제 데이터를 배열한 k개의 문제지를 복구하여 출력하는 시험지 생성 방법이 제공된다.

상기 n개의 문제 데이터 중 복수의 문제들로 구성된 세트 문항이 존재하는 경우 상기 세트 문항에 포함된 문제들은 세트 문항 내에서만 임의의 순서로 배열되는 것을 특징으로 한다.

또한, 상기 문제 배열 정보는 하나의 문제가 복수의 페이지에 나뉘어져 표시되지 않도록 제한되는 것을 특징으로 한다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.

본 발명은 시험에서 발생될 수 있는 부정행위의 효과를 원천적으로 무효화시키기 위한 발명으로, 이를 위해 응시자별로 각기 다른 배열의 문항으로 구성된 시험지를 제공(즉, 답안의 배열이 상이)하거나, 복수의 출제자가 있는 시험의 경우 문제 풀(Pool)의 개념 등이 적용되도록 하기 위한 것이다. 또한, 최대 응시자의 수와 일치하는 시험지 유형까지도 용이하게 생성하고 프린트할 수 있도록 하기 위한 것이다.

본 발명에 따른 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템은 인쇄된 문제지를 이용하는 오프라인 시험이나 CBT 방식 등의 온라인 시험 등에 동일 또는 유사하게 적용될 수 있다. 또한, 시험 문제지 생성을 위해 추출되는 문제들은 출제자들에 의해 결정된 문제들로 추출되거나 문제 풀(Pool)의 개념을 적용하여 지정된 난이도 및 문제 수에 따라 문제지 생성 시스템이 자체적으로 상응하는 문제들을 추출할 수도 있다. 이하에서는 본 발명에 따른 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템이 오프라인 시험으로서 출제자들에 의해 결정된 문 제들을 추출하여 문제지를 생성하는 경우를 중심으로 설명한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 부정 행위 근절을 위한 시험 문제지 생성 방법을 수행하기 위한 전체 시스템 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명에 따른 시스템은 문제지 생성 시스템(110) 및 고사장 시스템(120)을 포함한다.

문제지 생성 시스템(110)은 출제 가능한 시험 문제들을 문제은행 DB(130)에 저장하여 관리하고, 문제 추출 조건(예를 들어, 문제 수 등)에 따라 문제를 추출하고, 추출된 문제를 배열하여 문제지 생성 조건(예를 들어, 문제지 유형수)에 상응하는 수량의 문제지를 생성한다. 또한, 고사장 시스템(120)으로부터 답안 데이터가 수신되거나 문제지 생성 시스템(110)에 결합된 답안지 인식 장치로부터 수신되는 답안 데이터에 상응하는 채점을 수행할 뿐 아니라 당해 시험에 대한 통계 분석, 석차, 성적표 생성 및 발송 등의 기능을 더 수행할 수 있다.

도 1에 도시된 바와 같이, 문제지 생성 시스템(110)은 문제은행 DB(130), 문제지 DB(135), 문제지 생성부(150) 및 송수신부(155)를 포함한다.

문제은행 DB(130)는 문제 관리 모듈(160)에 의해 입력되는 문제들을 저장한다. 각 문제들은 객관식 문제인 경우 질문과 선택지들로 구성될 수 있으며, 주관식 문제인 경우 질문만으로 구성될 수 있다. 각 문제들은 각 문제의 해당 과목, 단원(내용 영역), 평가 요소, 난이도, 세트 번호, 문항 번호, 세트내 문제 섞기 가능 여부, 정답 등의 정보에 연동되도록 저장된다.

과목, 단원, 평가 요소, 난이도 항목은 문제 풀에서 최종 시험 문제들을 선택하기 위해 이용될 수 있는 정보들이다.

또한, 과목 및 단원은 시험 수행 기관이 시험의 성격과 평가 목표를 고려하여 시험 문항 개수를 결정하는데 편리하도록 구분 및 분류하기 위한 정보로서 문제 입력시 함께 입력될 수 있다. 평가 요소는 해당 과목에서 평가하고자 하는 영역을 나타낸다. 예를 들어, 수학 과목의 경우 계산 능력, 이해 능력, 추론 능력, 문제 해결 능력 등으로 구분될 수 있으며, 국어 과목의 경우 듣기, 말하기, 쓰기 등으로 구분될 수 있다.

또한, 난이도는 시험 수행 기관이 시험의 성격과 평가 목표를 고려하여 시험 문항 개수를 결정하는데 편리하도록 분류될 수 있다. 난이도는 각 문제의 난이도에 따라 미리 설정된 복수의 급간(예를 들어, 상, 중, 하) 중 어느 하나로 설정될 수 있다.

물론, 시험 문제가 출제자들에 의해 미리 결정되어 있어 문제 풀(Pool)의 문제를 추출하여 사용하지 않는 경우 과목, 단원, 평가 요소, 난이도 등의 정보는 불필요할 수 있다.

또한, 세트번호, 문항번호, 세트내 문항 섞기 가능여부, 지문(복수의 문제들로 구성된 세트문항의 경우 공통적으로 주어지는 문장으로 예를 들어 국어 문제에서의 교과서 지문), 질문, 선택지들, 배점, 보충자료, 답지, 답지 섞기 가능 여부, 정답 항목은 하나의 문제를 구성하기 위한 정보들일 수 있으며, 동일한 문제들이 응시생별 또는 복수의 응시생 그룹별로 각기 다른 순서로 배열된 개인별/그룹별 시 험 문제지를 만들기 위해 필요한 데이터들이다.

따라서 시험 문제가 정해져 있어서 문제 풀(Pool)의 문제를 추출하여 이용하지 않는 경우에는 세트 번호, 세트내 문항 섞기 가능 여부, 지문, 질문, 선택지들, 배점, 보충 자료, 답지, 답지 섞기 가능 여부, 정답 항목 등만 입력하면 충분할 수 있다.

2개 이상의 문제들이 서로 연관이 있어 반드시 같이 출제되어야 할 문항들을 세트 문항이라고 칭하면, 세트 번호는 해당 문제가 세트 문항일 경우 해당 세트의 번호를 말한다. 단독 문항일 경우는 식별을 위해 ' 0' 을 입력한다.

예를 들어, 세트 문항들인 경우 시험 문제의 형태는 " [15～19] 다음 글을 읽고 물음에 답하시오." 등으로 시작될 수 있다.

문항 번호는 세트 문항일 경우 세트 내에서 일련 번호를 부여하고, 세트 문항이 아닌 단독 문항일 경우 단독 문항용 일련 번호를 부여한다.

세트내 문항 섞기 가능 여부는 세트 문항들의 배열 순서를 바꾸면 난이도에 영향을 미쳐 순서를 바꿀 수 없는 경우는 ' 0' 을 입력하고, 세트 문항들의 배열 순서를 바꾸어도 난이도에 영향이 없으면 ' 1' 을 입력한다. 이는 세트 문항들의 순서가 각 문제지마다 별도로 적용됨으로써 응시자들의 체감 난이도가 차이가 발생함을 방지하기 위한 것이다.

지문은 해당 문제가 세트 문항이며 첫 번째 문항일 경우는 입력하며 두 번째 이상 문항이면 생략한다. 이는 세트 문항들이 하나의 지문을 기초로 하여 출제된 공통점을 가지고 있으므로 첫 번째 문항에 대해서만 존재함으로써 충분하기 때문이 다. 다만, 첫 번째 문항과 지문이 함께 입력된 경우 첫 번째 문항이 세트내 섞기가 가능한 문제임에도 섞일 수 없는 문제점이 있을 수 있어, 지문은 첫 번째 문항과 독립적으로 입력될 수도 있음은 자명하다.

보충 자료는 보기, 조건, 그림 등 문제에 반드시 필요한 자료들을 의미한다.

선택지는 예를 들어 단답형 문제인 경우 ' 0' 을 입력하고, 오지선택형이면 ' 5' 를 입력함으로써 구별되도록 설정된다.

답지 섞기 가능 여부는 선택지의 배열에 논리적인 순서가 있거나 선택지의 재배열이 난이도에 영향을 미쳐 선택지 순서를 바꿀 수 없는 경우는 ' 0' 을 입력하고, 선택지의 재배열이 가능하면 ' 1' 을 입력한다. 즉, 본 발명은 추출된 문제의 배열을 달리함으로써 각각 불일치하는 복수의 문제지를 생성할 수 있을 뿐 아니라 선택지의 배열도 달리함으로써 생성가능한 불일치 문제지의 수량을 증가시킬 수 있다.

문제지 DB(135)는 문제은행 DB(130)로부터 추출된 미리 지정된 수량의 문제들을 배열함으로써 생성된 요청된 문제지 수에 상응하는 문제지 데이터(즉, 시험지 고유 코드)를 저장한다. 문제지 수에 대한 요청은 고사장 시스템(120)으로부터 수신되거나 시험 수행 기관에 의해 요청되어 문제지 생성부(150)에 입력될 수 있다. 문제지 데이터는 최대 해당 시험에 응시한 응시자의 수에 일치하는 수량만큼 생성될 수 있다. 일 예로, 각 고사장별 응시자의 수에 일치하는 수량만큼 생성될 수도 있다.

응시자 DB(140)는 응시자 DB 관리시스템에 의해 입력되고 관리되는 데이터를 저장한다. 저장되는 데이터는 예시된 데이터 종류 중 시험 수행 기관에 의해 선택된 데이터들일 수 있다. 저장되는 기본 데이터에는 예를 들어, 이름, 수험 번호, 고사장, 지문, 주민등록번호, 성별, 나이, 주소, 출신 학교 등이 포함될 수 있다. 응시자 DB에 저장된 데이터는 각 고사장에서 응시자 인증을 위해 이용될 수 있다.

고사장 DB(145)는 고사장 DB 관리 시스템에 의해 입력되고 관리되는 각 고사장에 대한 데이터를 저장한다. 저장되는 데이터는 예시된 데이터 종류 중 시험 수행 기관에 의해 선택된 데이터들일 수 있다. 저장되는 기본 데이터에는 예를 들어, 고사장 번호, 고사장 이름, 감독관 성명, 입장 수험생들의 수험 번호, 주소 등이 포함될 수 있다.

문제지 생성부(150)는 문제 관리 모듈(160), 문제 추출 모듈(165), 문제지 생성 모듈(170), 채점 수행 모듈(180)을 포함할 수 있다.

문제 관리 모듈(160)은 하나 이상의 출제자들에 의해 생성된 문제 데이터(즉, 문제, 각 문제에 상응하는 과목, 단원(내용 영역), 평가 요소, 난이도, 세트 번호, 문항 번호, 세트내 문제 섞기 가능 여부, 정답 등의 정보를 입력받아 문제은행 DB(130)에 저장한다. 또한 문제 관리 모듈(160)은 운영자 또는 출제자의 요청에 의해 문제은행 DB(130)에 저장된 문제 데이터 등의 수정 및/또는 삭제를 수행한다.

문제 추출 모듈(165)은 추출되어야하는 문제 수를 입력받아 상응하는 문제 데이터들을 문제은행 DB로부터 추출한다. 이때, 문제 추출 모듈(165)은 문제 추출 조건에 따라 출제자들에 의해 선택된 문제들만을 추출하거나 문제 풀(Pool)의 개념을 적용하여 지정된 난이도 및 문제 수에 따라 자체적으로 상응하는 문제들을 추출 할 수도 있다. 후자의 경우를 구체적으로 설명하면 다음과 같다.

먼저, 시험 수행 기관은 시험의 성격과 평가 목표 등을 고려하여 총 문제 개수, 과목별 문제 개수, 단원별 문제 개수, 평가 요소별 문제 개수와 각 문제의 난이도 등의 문제 추출 조건을 결정한다. 결정된 문제 추출 조건은 문제 추출 모듈(165)에 입력되며, 문제 추출 모듈(165)은 문제은행 DB(130)에서 이미 출제되었던 문제들을 제외하고 나머지 문제들 중 평가 요소와 난이도가 일치하는 문제를 각 과목 단원별로 추출한다. 추출된 문제들은 별도의 DB(예를 들어, 기출문제 DB)에 별도로 저장되어 관리될 수 있다. 예를 들어, 수학 과목 총 10 문제 중 1단원에서 10문제를 출제하고 계산 능력 평가 문제 5개 중 난이도 상 1문제, 중 2문제 및 하 2문제와 추론 능력 평가 문제 5개 중 난이도 상 2문제, 중 1문제 및 하 2문제라는 문제 추출 조건이 입력되면 문제 추출 모듈(165)은 문제은행 DB(130)에서 각 조건에 맞는 10개의 문제들을 추출할 수 있다.

문제지 생성 모듈(170)은 문제 추출 모듈(165)이 추출한(즉, 지정된 문제의 추출 또는 자동 추출) 문제들이 배열 순서를 달리하여 구성된 문제지 생성 조건에 상응하는 복수의 시험지 고유 코드(즉, 문제지 데이터)를 생성하여 문제 배열 정보와 함께 문제지 DB(135)에 저장한다. 즉, 문제지 생성 모듈(170)은 각 문제별로 할당된 문제 고유 코드들을 임의의 순서로 뒤섞어 배열한 후 그 조합에 대해 시험지 고유 코드를 할당한다(도 3a 내지 도 3c 참조). 시험지 고유 코드는 각 고사장별로 저장될 수 있다. 문제 고유 코드는 각 문제 및 해당 문제의 정답에 대응될 수 있다. 문제의 조합은 임의의 순서로 이루어지므로 같은 조합이 만들어질 확률은 매우 낮다. 예를 들어 10문제로 구성된 시험문제의 총 배열 조합의 수는 모두 3,628,800개이며, 일반적으로 한 과목의 문항 수는 20을 넘어 거의 무한대의 문제 조합을 생성할 수 있다. 문제지 생성 모듈(170)은 각 문제의 배열 순서를 달리하여 배열함에 있어 현재 배열할 문제가 세트 문항인지 여부를 판단한다. 세트 문항이라면 복수의 문제를 한 문항으로 취급하여 배열한 후 해당 세트 문항들내에서만 배열 순서를 바꾼다. 다만, 세트내 문항 섞기가 가능하도록 설정된 문제에 대해서만 배열 순서를 바꾼다. 이는 각 문제지별로 문항의 배열 순서에 의한 난이도의 차이가 발생함을 방지하기 위한 것이다.

마찬가지로, 세트 문항이 아닌 경우에도 난이도 차이를 방지하기 위해 문항 섞기가 가능하도록 설정되지 않은 문제는 배열 순서가 동일하도록 할 수 있다. 또한 문제지 생성 모듈(170)은 문제들을 배열한 후 각 문항의 레이아웃(layout)을 검사하여 특정 문항이 동일한 페이지 내에 모두 표시되지 못하고, 나뉘어져 2 페이지에 걸쳐 표시되어야 하는지 검사한다. 만일 동일한 페이지 내에 모두 표시되지 못하는 문제가 존재하면 해당 표시 영역에 대체 가능한 다른 문제로서 대체한다. 물론, 다음 페이지에 해당 문제가 모두 표시되도록 할 수도 있다. 이는, 동일한 페이지에서 문제를 푸는 경우와 복수의 페이지에 걸쳐 동일한 문제를 푸는 경우 응시자의 체감 난이도가 차이가 있을 수 있기 때문이다.

고사장 관리 모듈(175)은 응시자에 대한 데이터와 각 고사장에 대한 데이터의 입력 및 처리를 담당하며, 응시자 DB(140)와 고사장 DB(145)의 관리를 담당한다. 응시자와 고사장에 대한 데이터는 시험 수행 기관이 필요에 의해 결정한다. 응 시자 DB(140)에 대한 예로서는 이름, 수험 번호, 고사장, 지문, 주민등록번호, 성별, 나이, 주소, 출신 학교등이 포함될 수 있으며, 고사장 DB(145)에는 고사장 번호, 고사장 이름, 감독관 성명, 입장 수험생들의 수험 번호, 주민등록번호, 주소등이 포함 될 수 있다.

채점 수행 모듈(180)은 각 고사장 시스템(120)으로부터 응시자들의 답안 데이터가 수신되거나 채점 수행 모듈(180)에 결합된 답안지 인식 장치(예를 들어, OMR 카드 인식 장치)로부터 수신되는 인식 데이터를 이용하여 각 응시자의 점수를 산출한다. 채점 수행 모듈(180)은 답안 데이터 또는 인식 데이터에 포함된 시험지 고유 코드에 상응하는 정답을 문제지 DB(135)로부터 추출하여 채점하거나 출제된 문제들에 대한 정답을 당해 시험지 고유 코드에 상응하도록 재배열한 후 채점할 수 있다. 또한, 채점 수행 모듈(180)은 당해 시험에 대한 통계 분석, 석차, 성적표 생성 및 발송 등의 기능을 더 수행할 수도 있다.

송수신부(155)는 출제된 문제, 시험지 고유 코드 , 문제 배열 정보 등 시험 문제지에 대한 데이터와 고사장 번호, 고사장 이름, 감독관 성명 등 고사장에 대한 데이터, 또한 해당 고사장에 입장할 응시자의 성명, 수험 번호등 응시자에 대한 데이터를 통신망을 통해 고사장 시스템(120)으로 전송한다. 또한, 고사장 시스템(120)으로부터 답안 데이터가 수신되면 이를 채점 수행 모듈(180)로 전달한다.

고사장 시스템(120)은 문제지 생성 시스템(110)으로부터 시험지 고유 코드, 시험지 고유 코드에 상응하는 문제 배열 정보 및 문제들이 수신되면, 각 문제에 할당된 문제 고유 코드를 이용하여 각 시험지 고유 코드에 상응하도록 설정된 배열 순서에 따라 각 문제를 순차적으로 배치함으로써 문제지를 만들어낸다. 만들어진 문제지는 고사장 시스템(120)에 결합된 프린터 장치 등에 의해 출력되어 응시자들에게 배포될 수 있다. 따라서, 고사장 시스템(120)은 수신된 시험지 고유 코드의 수에 일치하는 문제지들을 생성할 수 있으며, 시험지 고유 코드의 수를 증가시킴으로써 시험에서의 부정행위를 근절시킬 수 있다. 이때 최대 시험지 고유 코드의 수는 전체 응시자의 수와 같도록 할 수 있다. 다만, 각 응시자는 제공받은 답안지에 시험지 고유 코드를 기재하여야만 정확한 채점이 가능할 것이다(도 5 참조). 또한, 만일 당해 시험의 형태가 온라인 시험인 경우 문제지 프린트 과정은 생략될 수 있으며, 각 학습자에게 할당된 컴퓨터 화면에 해당 문제지가 구성되어 표시되도록 할 수도 있다. 온라인 시험의 경우 학습자가 답안을 마킹하여 온라인으로 문제지 생성 시스템(110)으로 전송할 수도 있다.

고사장 시스템(120)은 감독관 인증 시스템, 응시자 인증 시스템을 더 포함할 수 있다.

감독관 인증 시스템은 고사장 시스템(120)을 책임 관리할 감독관을 비밀 번호, 지문 인식 등의 방법으로 인증할 수 있다. 감독관 인증이 완료된 후에만 고사장 시스템(120)이 정상적으로 동작되도록 할 수 있다.

응시자 인증 시스템은 고사장 시스템(120) 또는 각 응시자에게 할당된 컴퓨터에 연결된 지문 인식 장치에 입력된 응시자 지문 데이터가 시험 수행 기관 등으로부터 수신한 당해 응시자의 지문 데이터와 일치하는지 여부로서 응시자 본인 여부를 인증할 수 있다. 온라인 시험의 경우 매 시험 시작 전에 인증이 완료되어야 컴퓨터 화면을 통해 문제들이 표시되도록 제한할 수 있다. 또한, 오프라인 시험의 경우 첫 시험 시작 전에 인증을 받아야 당해 응시자에 상응하는 개인별 시험지가 프린트될 수 있도록 제한할 수 있다.

도 1에는 도시되지 않았으나, 응시자 DB, 고사장 DB 등이 더 포함될 수 있다. 응시자 DB, 고사장 DB 각각은 문제지 생성 시스템(110), 고사장 시스템(120) 중 어느 하나에 포함되거나 어느 하나에 통신망을 통해 결합될 수 있다.

도 2는 본 발명의 바람직한 일 실시예에 따른 부정 행위 근절을 위한 시험 문제지 생성 방법을 나타낸 순서도이고, 도 3a 내지 도 3c는 본 발명의 바람직한 일 실시예에 따른 시험지 고유 코드별 상이한 문제 배열 상태를 예시한 도면이다. 도 4는 본 발명의 바람직한 일 실시예에 따른 각 응시자별 상이한 문제지를 예시한 도면이고, 도 5는 본 발명의 바람직한 일 실시예에 따른 OMR 카드 형태를 예시한 도면이다.

도 2를 참조하면, 단계 210에서 문제 추출 모듈(165)은 관리자로부터 문제 추출 조건(예를 들어, 문제지 수, 출제 문제에 상응하는 문제 고유 코드 등)을 입력받는다. 문제 추출 조건은 시험 수행 기관으로부터 통신망을 통해 수신될 수도 있다.

단계 215에서 문제 추출 모듈(165)은 입력된 문제 추출 조건에 상응하는 문제 데이터들을 문제은행 DB(130)에서 추출한다. 물론, 상술한 바와 같이 추출될 문제의 단원, 난이도 등에 대한 문제 추출 조건만이 입력되거나 수신될 수도 있으며, 이 경우 문제 추출 모듈(165)은 문제 풀(Pool)의 개념을 적용하여 문제은행 DB(130)로부터 상응하는 문제들을 추출할 것이다.

단계 220에서 문제지 생성 모듈(170)은 추출된 문제들 중 세트 문항이 존재하는지 여부를 판단한다. 세트 문항이란 상술한 바와 같이 복수의 문제들이 집합체로서 문제지 내에 배치되어야 하는 문제들을 의미한다.

일반적으로 세트 문항은 언어영역이나 외국어 영역에 일부 존재할 것이다.

세트 문항이 존재하는 경우 단계 225에서 문제지 생성 모듈(170)은 세트 문항(즉, 복수의 문제들의 집합체)과 단독 문항을 임의의 순서로 배열시킨 후, 세트 문항 내의 문제들을 임의의 순서로 배열시킨다. 이 경우, 상술한 바와 같이 난이도 등의 이유로 문제 섞기가 허용되지 않는 문제들에 대해서는 미리 지정된 순서로만 고정한다.

그러나, 세트 문항이 존재하지 않는 경우, 단계 230으로 진행하여 문제지 생성 모듈(170)은 모든 단독 문항들을 임의의 순서로 배열시킨다. 이 경우에도, 난이도 등의 이유로 문제 섞기가 허용되지 않는 문제들에 대해서는 미리 지정된 순서로만 고정한다.

도 3a 내지 도 3c에 본 발명에 따른 시험지 고유 코드별 상이한 문제 배열 상태가 예시되어 있다.

도 3a에 도시된 바와 같이, 문제 추출 모듈(165)은 문제 추출 조건에 상응하는 문제 데이터를 추출함에 있어, 각 문제별로 할당된 문제 고유 코드를 기준으로 상응하는 문제 데이터를 추출할 수 있다. 그러나, 각 문제의 배열 순서는 임의로 설정될 수 있으며, 난이도 등의 이유로 섞기가 허용되지 않는 문제는 미리 설정된 순서의 문제로서 고정될 수 있다. 임의의 설정된 각 문제의 배열 순서(즉, 변동 ID 번호)는 각각 고유하게 할당된 시험지 고유 코드에 대응되도록 저장된다. 이 경우 모든 문제들의 배열 순서가 모든 문제지에 대해 불일치해야 하는 것은 아니며, 일부 문제들의 배열 순서가 일치하더라도 전체적으로 불일치하면 충분하다. 이때, 채점 등의 편의를 위해 각 문제에 대한 정답도 함께 저장되어 관리될 수 있다.

문제가 재배열된 문제지는 도 3b 및 도 3c에 도시된 바와 같이 고사장 시스템(120)에 의해 문제지로 프린트되거나 각 응시자에게 할당된 컴퓨터 화면상에 표시된다. 이때, 프린트되거나 화면상에 표시되는 문제지는 각 시험지 고유 코드에 설정된 문제 배열 순서(즉, 변도 ID 번호의 일련번호순)로 재배열된 문제들로 구성된다.

다시 도 2를 참조하면, 문제지 생성 모듈(170)은 단계 240에서 재배열된 문제들의 레이아웃(Layout)의 크기를 조사하여 하나의 페이지 내에 모두 표시되지 못하고, 둘 이상의 페이지에 나뉘어져 표시되는 문제가 존재하는지 여부를 판단한다. 이는 하나의 페이지에 모든 문제가 표시된 경우와 복수의 페이지에 문제가 나뉘어져 표시된 경우 응시자의 심리적 난이도가 상이할 수 있기 때문이다.

나뉘어진 문제가 존재하는 경우, 단계 245에서 문제지 생성 모듈(170)은 나뉘어진 문제가 표시될 영역에 새로운 문제가 배치되도록 문제 배열 순서를 조정한다.

단계 250에서 문제지 생성 모듈(170)은 단계 220 내지 단계 245를 통해 생성한 문제 배열 순서에 일치하는 문제지가 기존에 저장되어 있는지 여부를 판단한다. 이는 n개의 문제지 유형을 만들고자할 때 n개의 문제지 유형이 각각 상이한 문제 배열 순서를 가지도록 하기 위함이다. 여기서 n은 최대 모든 응시자의 수와 일치하는 수일 수 있다.

만일 동일한 문제 배열의 문제지가 저장되어 있다면 단계 220으로 다시 진행한다.

그러나, 만일 동일한 문제 배열의 문제지가 저장되어 있지 않다면 단계 255로 진행하여 생성된 문제지를 저장한다. 즉, 문제지 생성 모듈(170)은 단계 255에서 생성된 문제 배열 순서 및 당해 문제 배열 순서에 상응하는 시험지 고유 코드를 함께 저장할 수 있다.

단계 260에서 문제지 생성 모듈(170)은 단계 260에서 요청된 k개의 문제지 유형 생성이 완료되었는지 여부를 판단한다. 문제지 유형 생성이 완료되었다면 단계를 종료하나, 그렇지 않은 경우 단계 220으로 다시 진행한다.

상술한 과정을 통해 생성된 각 문제지 유형간에는 각각 동일한 문제들은 포함하고 있으나 그 배열 순서면에서 상이한 특징을 가진다. 즉, 도 4에 도시된 바와 같이 시험지 고유 코드가 상이한 문제지간에는 각각 그 문제 배열 순서가 상이하다. 물론, 일부 문제들은 동일한 순서에 배치될 수도 있다.

따라서, 각 시험지 고유 코드별로 문제 배열 순서가 상이하므로 정확한 채점을 위해 각 응시자는 자신이 분배받은 문제지의 시험지 고유 코드가 무엇인지 분배받은 OMR 카드 내에 기재할 필요가 있다(도 5 참조).

상술한 바와 같이 본 발명에 따른 부정 행위 근절을 위한 시험 문제지 생성 방법 및 시스템은 각 응시자별로 또는 복수의 응시자 그룹별로 상이한 형식의 문제지가 배포될 수 있어 부정 행위가 불가능해질 뿐 아니라 부정 행위 자체가 무의미해지는 효과가 있다.

또한, 본 발명은 시험 제도가 공정한 평가 및 경쟁의 기회로 재인식될 수 있어 학습자들의 충분한 학습을 유도할 수 있는 효과가 있다.

또한, 본 발명은 응시자들이 상이한 문제 배열 순서의 문제지를 배포받더라도 각 문제지의 페이지별 난이도를 동일하게 유지함으로써 문제지 형식에 의해 응시자의 득점이 차별화되지 않는 효과가 있다.

본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.

Claims

부정 행위 방지를 위한 시험 문제지 생성 방법 및 시험 시스템에 관한 것으로써,

문제지 생성 시스템(110)과 통신망을 통하여 연결된 고사장 시스템(120)으로 구성되며, 또한 문제지 생성 시스템(110)은 출제 가능한 시험 문제들의 입력과 문제은행 DB(130)를 담당하는 문제 관리 모듈(160), 시험 수행 기관이 시험의 성격과 평가 목표를 고려하여 결정한 문제 추출 조건의 입려과 조건에 맞는 문제를 문제은행 DB(130)에서 추출하는 일을 담당하는 문제 추출 모듈(165), 문제 추출 모듈(165)에서 추출한 문제들을 배열하여 필요한 수량의 서로 다른 유형의 시험 문제지를 생성하고 각각의 시험 문제지에 시험지 고유 코드를 부여하고 문제지 DB(135)에 저장하는 일을 담당하는 문제지 생성 모듈(170), 채점과 시험 성적 통계 분석, 성적표 생성 및 발송을 담당하는 채점 수행 모듈(180), 수험생에 대한 데이터인 응시자DB(999)와 고사장과 감독관등의 데이터인 고사장DB(888)를 담당하는 고사장관리 모듈(170), 문제지 생성 시스템(110)과 고사장 시스템(120) 사이의 데이터 송수신을 담당하는 송수신부(155)로 구성되며, 또한 고사장 시스템(120)은 문제지 생성 시스템(110)으로부터 시험지 고유 코드와 문제들을 수신하여 오프라인시험일 경우 시험 문제지를 출력하고, 온라인시험인 경우 모니터에 시험 문제를 출력하는 일을 담당하여 응시자별로 각기 다른 배열의 문항으로 구성된 시험지를 제공받으므로써 부정 행위를 방지할 수 있도록 하는 시스템.
제1항에 있어서,

시험 문제의 자동 추출과 배열을 위해 문제은행 DB(130)에 저장되는 각 문항의 데이터 항목은 과목, 단원, 평가 요소, 난이도, 세트 번호, 문항 번호, 세트내 문항 섞기 가능 여부, 지문(자료), 문두(질문), 배점, 보충 자료(보기, 조건, 그림), 답지, 답지 섞기 가능 여부, 정답으로 구성하고 위 데이터 항목들을 문제관리모듈(160)을 통해 입력하는 방법.
제1항에 있어서 ,

문제추출모듈(165)이 문제은행 DB(130)에서 문제들을 추출하기 위해 필요한 데이터 항목은 총 문제 개수, 과목별 문제 개수, 단원별 문제 개수, 평가 요소별 문제 개수, 각 문제의 난이도, 전체 시험 문제들의 난이도 배치도로 구성하며 위 데이터 항목들을 문제추출모듈(165)을 통해 입력하고 입력된 위 데이터 항목들을 기준으로 조건이 맞는 문제들을 문제은행 DB(130)에서 추출하는 방법.
제1항에 있어서,

문제지 생성 모듈(170)에서 난이도, 난이도 배치도, 세트내 문항 섞기 가능 여부, 답지 섞기 가능 여부를 체크하여 문제들의 배열 순서를 바꾸는 방법.
제1항에 있어서,

문제지 생성 모듈(170)에서 문제들의 배열 순서를 바꿀 때 세트 문제는 한 문제로 취급한 후 세트내 문제 섞기 가능 데이터를 조사하여 세트내 문제 섞기가 가능하면 해당 세트 문제들내에서만 배열 순서를 바꾸는 방법.
제1항에 있어서,

문제지 생성 모듈(170)에서 문제들의 배열 순서를 바꿀 때 난이도 배치도를 기준으로 같은 난이도의 문제들로만 배열을 바꿔 각 문제지의 페이지별 난이도 순서를 동일하게 유지하여 문제지 형식에 의해 응시자의 득점이 차별화되지 않도록 하는 방법.
제1항에 있어서,

문제지 생성 모듈(170)은 문제들을 배열한 후 각 문항의 레이아웃(layout)을 검사하여 특정 문항이 동일한 페이지 내에 모두 표시되면 문제 배열 정보에 시험지 고유 코드를 부여하여 문제지 DB(135)에 저장하고, 특정 문항이 동일한 페이지 내에 모두 표시되지 않으면 재배치하여 위의 순서를 되풀이하여 요구된 시험 문제지 유형 개수(k개)의 시험 문제지 유형을 만드는 방법
제1항에 있어서,

채점 수행 모듈(180)은 각 고사장 시스템(120)으로부터 온라인시험의 경우 응시자들의 답안데이터가 수신되거나, 또 오프라인시험의 경우 채점 수행 모듈 (180)에 결합된 답안지 인식 장치로부터 수신되는 인식 데이터에 포함된 각 응시자들의 시험지 고유 코드를 읽고 각 응시자들의 시험지 고유 코드에 상응하는 정답을 사용하여 채점하는 방법.