KR101493490B1 - 문제 출제 방법, 이를 이용하는 장치 - Google Patents

Abstract

문제 출제 방법, 그리고 이를 이용하는 문제 출제 장치 및 시스템이 개시된다. 본 발명에 따른 문제 출제 방법은, 문제 출제 요청에 따라 문제 관련 메타데이터를 이용해 문제은행 데이터베이스가 저장하는 적어도 하나의 문제를 검색하고, 검색된 문제 중 선택된 적어도 하나의 출제대상 문제를 그룹별 출제 옵션에 따라 조합하여 문제지를 생성하며, 생성된 문제지 및 그룹별 출제 옵션에 따라 각 응시자에 대한 시험지를 생성하여 배포함으로써, 부정행위 방지뿐 아니라 응시자간 공평성 또한 확보할 수 있다.

Description

문제 출제 방법, 이를 이용하는 장치{METHOD FOR SETTING EXAMINATION SHEETS AND APPARATUS USING THE METHOD}

본 발명은 온라인 문제 출제에 관한 것으로, 더욱 상세하게는 네트워크를 활용하는 온라인 문제 출제 방법 및 이를 이용하는 문제 출제 장치에 관한 것이다.

정보통신의 발달과 함께 인터넷을 통한 학습이 일반화되고, 그에 따라 웹을 통한 테스트 또한 그 활용범위가 확대되고 있다. 예를 들어, 인터넷 교육 컨텐츠를 제공하는 각종 사설교육기관, 국제적인 사설 어학시험 기관뿐 아니라 대학교, 공공기관에서도 웹을 통한 교육 컨텐츠 및 시험을 제공하고 있다.

공정성 확보라는 측면에서 시험에서 가장 중요시되는 부분은 역시 부정행위를 방지하는 문제이다. 오프라인 시험의 경우에는 하나의 교실에 복수의 감독관들을 배치한다던가 복수의 시험지 유형을 설정하고 열별로 다른 유형의 시험지를 배포하는 등의 방법으로 부정행위를 방지하고자 하는 노력들이 있어 왔다.

하지만, 온라인 시험의 경우 응시자들이 시험 출제 주체와 공간적으로 떨어져 있고 별도의 시험 감독관이 배치될 수 없다는 점에서 부정행위가 오프라인 시험에 비해 더 크게 문제될 수 있다. 복수의 시험지 유형을 활용한 부정행위 방지 방법은 오프라인뿐 아니라 온라인 시험에서도 차용하여 사용하고 있기는 하나, 웹을 통한 시험은 오프라인 시험에 비해 공간 제약성 및 응시자의 신분 확인 요건이 덜 엄격하다는 특성으로 인해 부정행위 방지 필요성이 오프라인 시험보다 더 절실하다.
온라인 시험 출제와 관련하여 부정행위를 방지하기 위한 기술로 한국공개특허 제2006-0125234, 한국공개특허 제2006-0040639, 한국공개특허 제2013-0117882호, 한국공개특허 제2010-0111819호, 한국공개특허 제2009-0007853호(2009.1.21) 등이 제안된 바 있다.

상술한 문제점을 극복하기 위한 본 발명의 목적은 응시자간 형평성을 유지하면서, 출제자의 출제의도가 정확하게 반영되어 각 응시자마다 형태가 다른 시험지를 부여하는, 문제 출제 장치 및 방법을 제공하는 데 있다.

본 발명의 다른 목적은 상기 문제 출제 방법을 이용하는 문제 출제 장치 및 문제 출제 시스템을 제공하는 데 있다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 문제 출제 장치는, 적어도 하나의 문제 및 문제 관련 메타데이터를 저장하는 문제은행 데이터베이스, 상기 문제 관련 메타데이터를 이용해 상기 문제은행 데이터베이스가 저장하는 적어도 하나의 문제를 검색하는 검색부, 검색된 문제 중 선택된 적어도 하나의 출제대상 문제를, 그룹별 출제 옵션에 따라 조합하여 문제지를 생성하는 제어부, 및 상기 제어부가 생성한 문제지 및 상기 그룹별 출제 옵션에 따라 각 응시자에 대한 시험지를 생성하는 시험지 생성부를 포함한다.

상기 문제 관련 메타데이터는, 해당 문제의 유형, 해당 문제가 속하는 과목, 해당 문제가 속하는 단원, 해당 문제의 난이도, 및 해당 문제의 과거 출제 이력 정보 중 적어도 하나의 정보를 포함한다.

상기 문제의 유형은, 단독형 문제 유형, 공통지문형 문제 유형, 객관식 문제 유형, 주관식 문제 유형, 멀티미디어형 문제 유형, 및 매개변수형(parametric) 문제 유형 중 적어도 하나의 유형을 포함한다.

상기 매개변수형 문제에 포함된 적어도 하나의 매개변수는 응시자 정보에 따라 달라진다.

상기 그룹은, 적어도 하나의 유사 문제를 포함하는 문제 집합으로서, 동일한 출제 옵션이 적용될 수 있는 유사 문제의 집합으로 이해될 수 있다.

상기 해당 문제의 난이도는, 상기 문제은행 데이터베이스가 포함하는 해당 문제에 대한 응시자 정답율 또는 오답율 정보에 의해 결정될 수 있다.

상기 그룹별 출제 옵션은, 그룹 별 추출문제의 개수, 출제문항의 개수, 각 문항별 배점, 문항 순번, 및 문제 배열 순서 고정 여부 중 적어도 하나를 포함할 수 있다.

상기 시험지 생성부는, 적어도 하나의 추출 문제를 포함하는 각 그룹에 대해, 선택된 출제 문항 개수만큼의 문항을 선택하여 각 그룹을 구성할 출제 문항을 확정하고, 확정된 문항들을 출제 옵션에 따라 재배치하여 시험지를 생성한다.

상기 시험지 생성부는 또한, 상기 문제지가 매개변수형 문제를 포함하는 경우, 응시자 정보에 근거하여 매개변수를 결정하고 상기 매개변수형 문제를 확정한다.

상기 문제 출제 장치는, 문제 검색 요청 및 그룹별 출제 옵션에 대한 입력 값을 수신하여 상기 제어부로 전달하는 사용자 인터페이스부를 더 포함한다.

본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 문제 출제 방법은, 문제 출제 요청에 따라, 문제 관련 메타데이터를 이용해 문제은행 데이터베이스가 저장하는 적어도 하나의 문제를 검색하는 단계, 상기 검색된 문제 중 선택된 적어도 하나의 출제대상 문제를 선택하는 단계, 출제대상 문제 그룹별 출제 옵션을 지정하는 단계, 각 그룹별 섞기 옵션을 지정하여 문제지를 생성하는 단계, 및 상기 생성된 문제지 및 상기 그룹별 출제 옵션에 따라 각 응시자에 대한 시험지를 생성하는 단계를 포함한다.

상기 문제 출제 방법은, 적어도 하나의 문제 및 문제 관련 메타데이터를 저장하여 문제은행 데이터이스를 구축하는 단계를 더 포함할 수 있다.

상기 문제 관련 메타데이터는, 해당 문제의 유형, 해당 문제가 속하는 과목, 해당 문제가 속하는 단원, 해당 문제의 난이도, 및 해당 문제의 과거 출제 이력 정보 중 적어도 하나의 정보를 포함한다.

상기 문제의 유형은, 단독형 문제 유형, 공통지문형 문제 유형, 객관식 문제 유형, 주관식 문제 유형, 멀티미디어형 문제 유형, 및 매개변수형(parametric) 문제 유형 중 적어도 하나의 유형을 포함한다.

상기 매개변수형 문제에 포함된 적어도 하나의 매개변수는 응시자 정보에 근거하여 설정된다.

상기 해당 문제의 난이도는, 상기 문제은행 데이터베이스가 포함하는 해당 문제에 대한 응시자 정답율 또는 오답율 정보에 의해 결정될 수 있다.

상기 그룹별 출제 옵션은, 그룹 별 추출문제의 개수, 출제문항의 개수, 각 문항별 배점, 문항 순번, 및 문제 배열 순서 고정 여부 중 적어도 하나를 포함한다.

상기 생성된 문제지 및 상기 그룹별 출제 옵션에 따라 각 응시자에 대한 시험지를 생성하는 단계는, 적어도 하나의 추출 문제를 포함하는 각 그룹에 대해, 선택된 출제 문항 개수만큼의 문항을 선택하여 각 그룹을 구성할 출제 문항을 확정하는 단계 및 확정된 문항들을 출제 옵션에 따라 재배치하여 시험지를 생성하는 단계를 포함한다.

상기 검색된 문제 중 선택된 적어도 하나의 출제대상 문제를, 그룹별 출제 옵션에 따라 조합하여 문제지를 생성하는 단계는, 출제 그룹별 중복률 및 출제 그룹별 추출 문항수를 이용하여, 기 출제되었던 과거 문제지와 출제하고자 하는 문제지의 중복율을 체크하는 단계를 더 포함할 수 있다.

상기 생성된 문제지 및 상기 그룹별 출제 옵션에 따라 각 응시자에 대한 시험지를 생성하는 단계는, 상기 문제지가 매개변수형 문제를 포함하는 경우, 응시자 정보에 근거하여 매개변수를 결정하고 상기 매개변수형 문제를 확정하는 단계를 포함한다.

상기 그룹은 적어도 하나의 유사 문제를 포함하는 문제 집합으로서, 동일한 출제 옵션이 적용될 수 있는 유사 문제의 집합으로 이해될 수 있다.

상술한 바와 본 발명에 따른 문제 출제 방법 및 장치를 활용하면, 응시자에 서로 다른 형태의 시험지를 배포함으로써 부정행위를 방지할 수 있다.

또한 본 발명은, 동일한 단원, 동일한 난이도, 동일한 배점의 유사하지만 서로 다른 문제를 각기 다른 응시자에게 제시함으로써, 응시자간 형평성을 유지할 수 있다.

또한, 시험중복률 체크를 통해 학생들에게 보다 공정하고 합리적인 시험을 제공할 수 있다.

도 1은 본 발명에 따른 문제 출제 시스템의 개념도이다.
도 2는 본 발명에 따른 문제 출제 장치의 블록 구성도이다.
도 3은 본 발명에 따라 시험지가 생성되는 과정을 도식적으로 나타낸 도면이다.
도 4는 본 발명에 따른 문제 출제 장치의 사용자 인터페이싱 화면의 일 실시예를 나타낸 도면이다.
도 5는 본 발명에 따른 문제 출제 장치의 사용자 인터페이싱 화면의 다른 실시예를 나타낸 도면이다.
도 6은 본 발명에 따른 문제 출제 장치의 사용자 인터페이싱 화면의 또 다른 실시예를 나타낸 도면이다.
도 7은 본 발명에 따른 문제 출제 방법의 동작 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 출원에서 사용하는 "단말"은 개인용 컴퓨터(personal computer), 노트북(laptop), 태블릿(tablet) 등 유선 또는 무선을 통해 네트워크에 연결되는 모든 통신가능 장치를 포함한다.

또한, "단말"은 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 무선 기기(wireless device), 무선 통신 디바이스, 무선송수신유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일 또는 다른 용어들로서 지칭될 수 있다. 단말의 다양한 실시예들은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명에 따른 문제 출제 시스템의 개념도이다.

본 발명에 따른 문제 출제 시스템은, 상술한 문제 출제 장치(100) 및 웹을 통해 출제 장치(100)와 연결되는 복수의 응시자 접속용 단말 장치(200)를 포함한다.

도 1에 도시된 바와 같이 본 발명에 따른 문제 출제 시스템은 문제 출제 장치(100)와 시험을 치를 응시자들은 공간적으로 분리되어 있고 네트워크를 통해 연결되어 통상적으로 시험 감독관이 없다는 점에서 오프라인 시험과는 다르다.

본 발명에 따르면 출제자는 본 발명에 따른 문제 출제 장치(100)가 포함하는 문제은행 DB가 보유하는 전체 문제 추출을 원하지 않고 각 단원별 혹은 문제번호별 추출을 수행하여 문제 출제가 가능하다. 구체적으로 본 발명에 따르면, 출제자는 문제은행 데이터베이스가 저장하는 문제의 메타데이타를 검색하고 번호 단위로 추출문항 개수, 출제문항 개수, 문항당 배점을 설정하여 문제를 출제할 수 있다.

출제자는 본인이 출제하고 싶은 방식대로 출제가 가능하며, 출제된 문제지가 학생에게 배포되는 형태인 시험지와 관련한 설정은 학생 단위로 랜덤하게 이루어져 학생별로 서로 다른 형태의 시험지를 받아보게 된다.

도 2는 본 발명에 따른 문제 출제 장치의 블록 구성도이다.

이하 도 2를 통해 상술할 본 발명에 따른 구성요소들은 물리적인 구분이 아니라 기능적인 구분에 의해서 정의되는 구성요소들로서 각각이 수행하는 기능들에 의해서 정의될 수 있다. 각각의 구성요소들은 하드웨어 및/또는 각각의 기능을 수행하는 프로그램 코드 및 프로세싱 유닛으로 구현될 수 있을 것이며, 두 개 이상의 구성요소의 기능이 하나의 구성요소에 포함되어 구현될 수도 있을 것이다. 따라서, 이하의 실시예에서 구성요소에 부여되는 명칭은 각각의 구성요소를 물리적으로 구분하기 위한 것이 아니라 각각의 구성요소가 수행하는 대표적인 기능을 암시하기 위해서 부여된 것이며, 구성요소의 명칭에 의해서 본 발명의 기술적 사상이 한정되지 않는 것임에 유의하여야 한다.

본 발명에 따른 문제 출제 장치(100)는, 문제은행 데이터베이스(110), 검색부(120), 제어부(130), 시험지 생성부(140), 및 사용자 인터페이스부(150)를 포함한다.

한편, 도 2에서는 문제은행 데이터베이스(110)가 본 발명에 따른 문제 출제 장치(100) 내부에 위치하는 것으로 도시하였으나, 본 발명의 범주가 이에 국한되는 것은 아니며, 문제은행 데이터베이스(110)는 문제 출제 장치(100)와는 별도의 장치로 외부에 위치하여 문제 출제 장치(100)와 연동하는 형태 또한 가능하다 할 것이다.

문제은행 데이터베이스(110)는 문제의 카테고리별, 단원별, 난이도별, 유형별로 다양한 형태의 문제 및 문제 관련 메타데이터를 저장한다. 카테고리는 사용자(출제가 혹은 관리자)가 문제를 구분하고자 하는 분류 기준으로 사용자가 자유롭게 설정 가능하다. 단원별 분류는 문제의 주제와 관련된 분류이다. 문제의 유형은 단독형 문제, 공통지문형 문제, 객관식(OX형/택일/선다) 문제, 주관식(단답형/서술형) 문제, 매개변수형(파라미터형) 문제, 멀티미디어형 문제 등 다양한 유형으로 분류될 수 있다.

공통지문형 문제는 복수의 문제에 대한 공통으로 적용되는 지문으로 묶일 수 있는 일련의 문제를 일컫는다. 이러한 공통지문형 문제들의 경우에는 해당 문제가, 해당 문제와 연계되는 지문이 공통적으로 적용될 수 있는 적어도 하나의 다른 문제와 공통으로 출제되는 경우가 일반적이라 할 것이다.

멀티미디어형 문제는, 문항이 오디오 또는 비디오 파일의 형태로 제시되거나 응시자가 제출해야 하는 답의 형태가 실시간 음성답변 또는 오디오/비디오 파일의 형태인 문제를 포함한다.

문제은행 데이터베이스(110)는 또한 기 출제되었던 일련의 문제를 출제시기별로 저장하여 관리하며, 출제되었던 문제 각각에 대해 출제 시기 및 정답율(또는 오답율) 정보를 연동하여 저장 관리한다.

본 발명에서 사용되는 데이터베이스(database)라는 용어는 관계형(relational), 객체지향형(objected-oriented) 데이터베이스와 같이 엄밀한 형태의 데이터베이스를 의미하는 것이 아니라 정보를 저장하는 기능적 구성요소를 의미하는 것으로, 다양한 형태로 구현될 수 있다.

검색부(120)는 문제은행 데이터베이스가 저장하는 각 문제에 대한 메타데이터를 이용해 원하는 문제를 검색한다. 여기서, 본 발명에 다른 메타데이터는 각 문제의 고유 식별번호, 해당 문제의 유형, 해당 문제가 속하는 과목, 해당 문제가 속하는 단원, 해당 문제가 속하는 카테고리, 해당 문제의 정답율, 해당 문제가 출제된 시기 등 문제와 관련한 다양한 정보 데이터를 포함한다.

제어부(130)는 검색부(120)가 검색한 결과로 리턴되는 문제들을 옵션에 따라조합하여 문제지를 생성하고 이를 시험지 생성부(140)로 출력한다. 제어부(130)는 또한, 사용자 인터페이스부(150)를 통해 입력되는 사용자의 명령을 해석하고, 문제 검색 요청이 있는 경우 해당 요청을 검색부(120)로 포워딩한다.

시험지 생성부(140)는 제어부(130)가 출력하는 문제지를 수신하여 각 응시자별로 시험지를 생성하는 역할을 수행한다. 여기서, 본 명세서에서 "문제지"라는 용어는 출제자가 설정한 출제 옵션에 따라 정의되는 각 그룹별 문항들의 집합체로서 사용된다. 한편, 본 명세서에서 "시험지"라는 용어는 문제지에 설정된 옵션에 따라 응시자별로 구성된 응시자 맞춤형 문항들의 집합체의 의미로 사용된다. 또한 본 발명에서 사용되는 문제들의 "그룹"은 유사한 문제들로 구성되는 집합체로 동일한 출제 옵션이 적용될 수 있는 문제들의 집합으로 이해될 수 있다.

따라서, 시험지 생성부(140)는 문제지를 구성하는 적어도 하나의 그룹별로 각 그룹을 구성하는 문항들 중 정해진 개수의 문항들을 랜덤하게 선택하여 해당 응시자에 대해 각 그룹별 문항들을 확정하고, 섞기 설정을 반영하여 시험지를 구성한다.

시험지 생성부(140)는 또한, 제어부(130)로부터 전달받은 문제지가 본 발명에 따른 매개변수형 문제를 포함하는 경우, 응시자의 고유식별자와 관련된 값을 매개변수로 입력하여 최종적인 시험지를 생성할 수 있다. 매개변수형 문제와 관련한 자세한 설명은 아래 도 3을 통해 설명한다.

사용자 인터페이스부(150)는 출제자 또는 관리자를 위한 문제 선택 또는 출제 옵션 선택용 화면을 제공하고, 출제자 또는 관리자가 입력하는 문제 검색 요청, 출제 옵션 등을 수신하여 제어부(130)로 전달한다.

도 3은 본 발명에 따라 시험지가 생성되는 과정을 도식적으로 나타낸 도면이다.

도 3에 도시된 바와 같이 본 발명에 따른 출제 방법은 다양한 유형에 대해 다량의 문제를 포함하는 문제은행 데이터베이스를 전제로 한다. 문제은행 데이터베이스는 일시에 수집, 정리된 자료 및 출제자에 의해 장기간에 걸쳐 시차를 두고 등록된 문제를 포함한다.

본 발명에 따른 출제 방법에서는, 출제자가 문제은행 데이터베이스가 보유하는 문제들 중 동일한 그룹으로 묶일 수 있는 문제들을 그룹화하고, 각 그룹에 대해 출제대상 문제를 추출하고, 각 그룹에 대해 추출된 출제대상 문제들 중 최종적으로 응시자를 위한 문항들을 확정하고, 섞기 설정을 반영하여 모든 그룹에 대한 문항들을 포함하는 응시자별 시험지를 구성한다.

도 3의 그룹 a에 대해 3개의 문제가 추출되었으나, 실제 응시자에게 배포되는 시험지를 구성하는 그룹 a에 속하는 문항은 2개 문항이며 3개의 문제 중 2개의 문항을 선택하는 방식은 랜덤 방식 혹은 응시자의 식별번호 등을 활용한 방식 등이 사용될 수 있다.

도 3에 도시된 바와 같이 시험지를 구성할 전체 그룹별(도 3의 실시예에서는 그룹 a 내지 그룹 f) 추출대상 문제 및 출제 옵션 정보를 포함하는 문항들의 집합체를 문제지로 정의할 수 있다. 또한, 시험지는 각 그룹별로 출제옵션에 따라 선택되고 배열된 문항들의 집합체로 이해될 수 있다.

예를 들어, 수학시험을 출제하고자 하는 출제자가 아래와 같이 출제하기를 원한다고 가정한다.

* 그룹 a(1번 ~ 2번): [수와 연산]에서 난이도 하의 3문제 중 2문제 추출, 문제당 2점

* 그룹 b(3번): [문자와 식]에서 난이도 하의 2문제 중 1문제 추출, 문제당 2점

* 그룹 c(4번): [문자와 식]에서 난이도 중의 3문제 중 1문제 추출, 문제당 3점

* 그룹 d(5번): [문자와 식]에서 난이도 상의 4문제 중 추출, 문제당 4점

* 그룹 e(6번 ~ 9번): [방정식과 부등식]에서 5문제 중 추출, 문제당 3점

* 그룹 f(10번): [순열과 조합]에서 난이도 상의 4문제 중 추출, 문제당 5점

출제자는 위와 같은 조건으로 시험지를 만들기 위하여 각 그룹에 대해 문제 관련 메타데이타를 검색한다. 상기 예에서, 출제자는 그룹 a에 대한 문항들을 설정하기 위해, "수와 연산"이라는 과목의 난이도 "하"라는 메타데이터를 이용해 검색 조건을 만족하는 문제를 검색한다. 메타데이터를 활용한 검색을 위한 사용자 인터페이스 화면의 일 예가 도 4에 도시되어 있다.

도 4는 본 발명에 따른 문제 출제 장치의 사용자 인터페이싱 화면의 일 실시예를 나타낸다.

도 4에 도시된 검색 메뉴에서는, 문제 유형, 난이도, 단원, 카테고리, 출제시기, 출제횟수 등의 메타데이터 정보를 확인할 수 있다. 여기서, 도 4에 도시된 문제의 유형은 OX형, 객관식, 주관식 단답형, 주관식 논술형, 첨부파일 제출형, 음성답변형으로 구분될 수 있다. 본 발명에 따른 문제는 도 4에 도시된 문제 유형에만 국한되지 않으며, 매개변수형 문제, 다양한 멀티미디어형 문제를 포함할 수 있다.

매개변수형 문제의 가장 간단한 형태 중 하나를 아래 수학식 1을 통해 확인할 수 있다.

수학식 1에서, x는 매개변수(parameter)이고, 본 발명에 따르면 매개변수 x는 응시자에 따라 변경되는 값으로 설정될 수 있다.

예를 들어, 응시자 A의 수험번호가 9, 응시자 B의 수험번호가 10라고 가정했을 때, 매개변수 x는 아래 수학식 2와 같이 정의될 수 있다.

여기서, 연산자 "mod"는 연산자 앞에 위치하는 수에서 연산자 뒤에 위치하는 수를 나눈 나머지를 구하는 연산자이다. 따라서, 응시자 A에 대한 매개변수 x는 1이 되고, 응시자 B에 대해서는 x=2가 된다. 결국, 응시자 A에게 출제되는 수학식 1에 해당하는 문제는 “3 + 5 = □”의 문제가 되고, 응시자 B에게 출제되는 문제는 “6 + 5 = □”가 된다.

이때, 본 발명에 따른 매개변수형 문제가 포함하는 매개변수는 둘 이상일 수 있으며, 매개변수를 설정하는 방식은 앞서 설명한 바와 같이 모듈로 연산자와 응시자 수험번호를 활용한 실시예 외에도 다양한 방식이 활용 가능하다.

이렇듯 각 응시자의 고유 식별자를 활용해 매개변수형 문제를 실제 문제로 구성하는 작업은 도 2를 통해 살펴보았던 시험지 생성부(140)를 통해 이루어질 수 있다.

이에 따라, 각 응시자는 실제로 배포되는 형태는 다르나 같은 유형의 문제를 받아보게 되어, 응시자간 부정행위를 방지할 수 있을뿐 아니라 형평성 또한 확보할 수 있다.

다시 도 3으로 돌아가, 출제자는 이와 같은 메뉴를 확인하고 출제 조건을 설정하여, 검색을 수행한다. 이렇게 검색된 문제들은 하나의 그룹을 형성하며, 검색된 문제들을 대상으로, 즉 그룹별로 출제할 문항 수, 문항당 배점, 문제순서 섞기와 같은 옵션을 설정한다. 출제 옵션 설정에 관한 사용자 인터페이싱 화면의 예를 도 5를 통해 확인할 수 있다.

도 5는 본 발명에 따른 문제 출제 장치의 사용자 인터페이싱 화면의 다른 실시예를 나타낸다.

도 5에 도시된 출제옵션 설정 화면에서는, 선택한 문제 중 몇 개의 문항을 출제할 것인지, 문항별 점수(배점)을 얼마로 설정할 것인지, 문제번호를 고정할 것인지, 위치를 지정할 것인지 등의 사항을 출제자가 선택할 수 있도록 사용자 인터페이스 화면을 제공한다.

예를 들어, 상기 예에서 그룹 a에 대해 [수와 연산] 단원에 속하는 난이도 하의 3개 문제를 출제대상 문제로 선택하고, 선택한 3개의 문제 중 2개 문항을 실제로 출제하는 것으로, 배점은 문제당 2점으로 설정된다.

이러한 출제 방법을 통해 출제자는 본인이 출제하고 싶은 방식 그대로 출제를 할 수 있으며, 실제 출제되는 시험지는 설정된 옵션에 따라 학생 단위로 랜덤하게 생성된다.

도 6은 본 발명에 따른 문제 출제 장치의 사용자 인터페이싱 화면의 또 다른 실시예를 나타낸다.

도 6에 도시된 화면은 출제할 문항 선택 및 문제지 구성을 완료한 상태에서 사용자가 확인가능한 화면을 보여주고 있다. 도 6에서는 본 발명에 따른 문제지 구성이 완료된 상태에서 출제자가 문제 섞기 기능을 선택할 수 있는 메뉴를 제시하고 있으며, 출제자는 제시된 여러 기능 중 하나를 선택하여 문제지에 적용할 수 있다.

본 발명에서는 또한, 이상 실시예들을 통해 설명한 바와 같이 출제된 문제들에 대해 시험중복율을 체크할 수 있는 방법을 제시한다. 즉, 문제 출제가 1차적으로 완료되면, 출제된 문제에서 전년도 출제 문제가 얼마나 재활용 또는 중복되고, 또 재활용 과정에서 생성된 시험지들 간에 얼마나 많은 문제들이 중복 출제되는지의 정도를 체크할 수 있는 기회를 제공한다.

과거 이미 출제되었던 시험과 현재 출제하고자 하는 문제들을 포함하는 시험의 시험중복율은 본 발명에 따른 출제그룹별 중복률 및 출제그룹별 추출 문항수를 이용하여 아래 수학식 3와 같이 계산될 수 있다.

수학식 3을 다시 구체적으로 정리하면 아래 수학식 4와 같이 표현할 수 있다.

여기서, n은 전체 출제 그룹의 개수,

는 i번째 출제그룹 출제 문제의 개수,

는 i번째 출제그룹에서 추출한 문항의 개수,

는 i번째 출제 그룹의 j번째 출제 문항,

는 비교대상 년도의

문제가 소속된 출제그룹의 출제 문제 개수,

는 비교대상 년도의

문제가 소속된 출제그룹의 추출 문항 개수를 의미한다.

본 발명에 따른 중복율 계산식을 실제 예에 적용하여 아래와 같이 검증할 수 있다.

예를 들어, 2013년도에는 아래와 같은 형태의 문제가 출제되었다고 가정한다.

＊ 2013년: 3문제(문제 b, 문제 c, 문제 d) 중 1문제 + 3문제(문제 a, 문제 f, 문제 h) 중 2문제

그리고, 올해에는 아래와 같은 형태로 문제를 출제하고자 한다고 가정한다.

＊ 2014년: 3문제(문제 a, 문제 b, 문제 c) 중 2 문제 + 4문제(문제 d, 문제 e, 문제 f, 문제 g) 중 3문제

이러한 경우에, 본 발명에 따른 중복률 계산 방법에 따라 중복률을 계산하면 아래 표 1과 같은 형태로 본 발명에 따른 중복률을 계산할 수 있다.

제1 그룹	a	1/3*2/3	=4/9	*2/5	=8/45	8/45+3/20 =295/900 =59/180 = 32.77777777
	b	1/3 * 1/3
	c	1/3 * 1/3
제2 그룹	d	1/4 * 1/3	=3/12=1/4	*3/5	=3/20
	e	1/4 * 0/3
	f	1/4 * 2/3
	g	1/4 * 0/3

위의 경우에서 본 발명에 따른 중복률 계산 방법에 따른 중복률은 32.777777% 로 계산되었다.

본 발명에 따른 중복률을 검증하기 위해서, 위의 경우에 발생할 수 있는 모든 경우의 수에 대해 중복 문제가 몇 개 발생하는지 살펴보면, 아래 표 2와 같이 검증 데이터가 정리될 수 있다.

중복문제 개수		2013년
		baf	bah	bfh	caf	cah	cfh	daf	dah	dfh
2014년	abdef	3	2	2	2	1	1	3	2	2
	abdeg	2	2	1	1	1	0	2	2	1
	abdfg	3	2	2	2	1	1	3	2	2
	abefg	3	2	2	2	1	1	2	1	1
	acdef	2	1	1	3	2	2	3	2	2
	acdeg	1	1	0	2	2	1	2	2	1
	acdfg	2	1	1	3	2	2	3	2	2
	acefg	2	1	1	3	2	2	2	1	1
	bcdef	2	1	2	2	1	2	2	1	2
	bcdeg	1	1	1	1	1	1	1	1	1
	bcdfg	2	1	2	2	1	2	2	1	2
	bcefg	2	1	2	2	1	2	1	0	1
	합산	25	16	17	25	16	17	26	17	18	177

위의 검증 테이블에서 모든 경우의 수에 대한 중복 개수를 구하면, 검증 테이블 결과값 = 177/(5*12*9) = 59/180 = 32.7777777777777777(%)와 같이 나타난다.

검증 테이블의 결과 값은 본 발명에 따른 중복율 계산식에 따른 결과 값과 동일함을 알 수 있고, 곧 본 발명에 따른 중복율 계산식이 바르게 설정되었음을 의미한다.

도 7은 본 발명에 따른 문제 출제 방법의 동작 순서도이다.

이하의 실시예 설명에서 본 발명의 문제 출제 방법을 구성하는 각 단계들이 도 2을 통하여 설명된 본 발명의 문제 출제 장치의 대응되는 구성요소에서 수행되는 동작으로 이해될 수 있으나, 방법을 구성하는 각 단계들은 각 단계를 정의하는 기능 자체로서 한정되어야 한다. 즉, 각 단계를 수행하는 것으로 예시된 구성요소의 명칭에 의해서 각 단계의 수행주체가 한정되지 않음에 유의하여야 한다.

본 발명에 따른 문제 출제 방법에 따르면, 다수의 출제 위원들이 문제 출제 장치에 문제를 등록하여 문제은행 데이터베이스를 구축하는 단계가 우선 전제된다(S710). 이때, 문제은행 데이터베이스를 구축하는 방식은 시험 출제자가 문제 출제 장치에 직접 등록한 문제뿐 아니라 별도의 저장장치에 기록되어 있던 일련의 문제를 일시에 등록하는 방식 또한 사용될 수 있으며, 두 방법의 혼용 또한 얼마든지 가능하다 할 것이다.

본 발명의 문제 출제 방법에 따르면, 출제 요청의 수신을 대기하다가(S720), 출제 요청을 수신하는 경우 출제 요청 관련 메타데이터를 이용해 조건을 만족하는 문제를 검색한다(S730). 출제자가 검색된 문제들 중 출제대상 문제를 선택하고(S740) 출제 옵션을 입력하면(S750), 선택된 출제대상 문제를 출제 옵션에 따라 조합하여 본 발명에 따른 문제지를 생성한다(S760).

여기서 출제 옵션 정보는, 출제문항 개수, 각 문항별 배점, 문항 순번, 문제 순서 고정여부 등에 대한 정보를 포함한다. 출제문항 개수가 출제대상 문제와는 별도로 설정되는 이유는, 동일한 배점의 동일한 그룹에 속한 복수 개 문제들이 출제 대상으로 추출되었다고 하더라도 실제 특정 응시자에게 제시되는 문항의 개수는 추출된 문제 개수보다 더 적을 수 있기 때문이다.

예를 들어, 동일한 그룹에 속한 배점 4점의 문제 A1 내지 문제 A4가 추출되어 이 중 하나의 문항만이 실제로 출제되는 경우, 실제 응시자 B1에게 출제되는 문제는 A1, 응시자 B2에게 출제되는 문제는 A2, 응시자 B3에게 출제되는 문제는 A3, 응시자 B4에게 출제되는 문제는 A4가 될 수 있다. 이때, 각 응시자별로 선택되는 문제는 랜덤하게 선택될 수 있다. 뿐만 아니라, 각 응시자에게 해당 카테고리에서 추출된 4 문제 중 2개의 문제가 랜덤하게 선택, 제시될 수도 있다.

한편, 도 7에 도시하지는 않았으나 상기 출제대상 문제 선택 단계(S740) 및 출제 옵션 입력 단계(S750) 이후, 선택된 문항들 및 출제 옵션이 문제지 구성 조건을 만족하는지 판단하는 단계, 선택한 출제대상 문제 중에서 반드시 출제문항으로 선정되는 조건을 추가하는 단계, 출제대상 문제 간의 순서 정렬 지정 단계가 선택적으로 추가될 수 있다.

문제지 구성 조건을 만족하지 않는 대표적인 경우로, 출제자가 선택한 문항들에 배정된 배점에 따라 전체 문항에 부여된 점수를 합산한 값이 출제자가 설정하고자 하는 만점 점수와 다른 경우를 들 수 있다. 이 경우, 출제자에게 구성 문항 개수 및 배점을 조정할 것을 권하는 메시지를 출력하거나 전체 문항에 걸쳐 배점을 일률 조정하는 방식 등을 통해 출제 옵션을 조정할 수 있다.

뿐만 아니라 생성된 문제지에 대해 과거 시험 문제지와의 중복률을 체크하여 출제자에게 제공하도록 하고, 제시된 중복율에 따라 출제자가 출제할 문제지를 수정할 기회를 제공하는 단계가 추가될 수도 있다.

출제 옵션에 따라 문제지가 생성되면, 생성된 문제지 및 출제 옵션에 근거하여 각 응시자별로 시험지를 생성한다(S770).

각 응시자별 시험지가 생성되면 생성된 시험지를 네트워크를 통해 각지에 위치하는 응시자에게 배포한다(S780). 이렇게 배포된 시험지는 각 응시자마다 시험지를 구성하는 문항들 및 구성 문항들의 배열 순서 중 적어도 하나가 다를 수 있다. 따라서, 본 발명에 따르면 바로 옆에서 시험에 응시하는 두 응시자가 있다 하더라도 서로 다른 문제와 배열의 시험지를 가지고 시험에 임하게 되는 것이다.

상술한 바와 본 발명에 따른 문제 출제 방법을 활용하면, 응시자에 서로 다른 형태의 시험지를 배포함으로써 부정행위를 방지할 수 있을뿐 아니라, 동일한 난이도, 동일한 배점의 유사하지만 서로 다른 문제, 특히 매개변수형 문제를 각기 다른 응시자에게 제시함으로써, 응시자간 형평성 또한 유지할 수 있다. 또한, 시험중복률 체크를 통해 학생들에게 보다 공정하고 합리적인 시험을 제공할 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 문제 출제 장치 200: 응시자용 단말 장치
110: 문제은행 데이터베이스 120: 검색부
130: 제어부 140: 시험지 생성부
150: 사용자 인터페이스부

Claims (20)

1. 적어도 하나의 문제 및 문제 관련 메타데이터를 저장하는 문제은행 데이터베이스;
   상기 문제 관련 메타데이터를 이용해 상기 문제은행 데이터베이스가 저장하는 적어도 하나의 문제를 검색하는 검색부;
   검색된 문제 중 선택된 적어도 하나의 출제대상 문제를, 문제 그룹의 그룹별 출제 옵션에 따라 조합하여 문제지를 생성하는 제어부; 및
   상기 제어부가 생성한 문제지 및 상기 그룹별 출제 옵션에 따라 각 응시자에 대한 시험지를 생성하는 시험지 생성부를 포함하고,
   상기 적어도 하나의 문제는 수학문제를 포함하고, 상기 수학문제는 응시자의 수험번호에 따라 그 값이 달라지는 적어도 하나의 매개변수를 포함하는 매개변수형 문제를 포함하며,
   상기 시험지 생성부는 상기 매개변수형 문제가 선택되는 경우, 상기 응시자의 수험번호에 따라 상기 매개변수의 값을 산출 및 대입함으로써 상기 응시자마다 서로 다른 수학문제를 생성하여 제공하는, 문제 출제 장치.
2. 청구항 1에 있어서,
   상기 문제 관련 메타데이터는,
   해당 문제의 유형, 해당 문제가 속하는 과목, 해당 문제가 속하는 단원, 해당 문제의 난이도, 및 해당 문제의 과거 출제 이력 정보 중 적어도 하나의 정보를 포함하는, 문제 출제 장치.
3. 청구항 2에 있어서,
   상기 문제의 유형은,
   단독형 문제 유형, 공통지문형 문제 유형, 객관식 문제 유형, 주관식 문제 유형, 멀티미디어형 문제 유형, 및 매개변수형(parametric) 문제 유형 중 적어도 하나의 유형을 포함하는, 문제 출제 장치.
4. 삭제
5. 청구항 1에 있어서,
   상기 문제 그룹은,
   적어도 하나의 유사 문제를 포함하는 문제 집합으로서, 동일한 출제 옵션이 적용될 수 있는 유사 문제의 집합인 것을 특징으로 하는, 문제 출제 장치.
6. 청구항 2에 있어서,
   상기 해당 문제의 난이도는,
   상기 문제은행 데이터베이스가 포함하는 해당 문제에 대한 응시자 정답율 또는 오답율 정보에 의해 결정되는, 문제 출제 장치.
7. 청구항 1에 있어서,
   상기 그룹별 출제 옵션은,
   그룹 별 추출문제의 개수, 출제문항의 개수, 각 문항별 배점, 문항 순번, 및 문제 배열 순서 고정 여부 중 적어도 하나를 포함하는, 문제 출제 장치.
8. 청구항 1에 있어서,
   상기 시험지 생성부는,
   적어도 하나의 추출 문제를 포함하는 각 그룹에 대해, 선택된 출제 문항 개수만큼의 문항을 선택하여 각 그룹을 구성할 출제 문항을 확정하고, 확정된 문항들을 출제 옵션에 따라 재배치하여 시험지를 생성하는, 문제 출제 장치.
9. 삭제
10. 청구항 1에 있어서,
    문제 검색 요청 및 그룹별 출제 옵션에 대한 입력 값을 수신하여 상기 제어부로 전달하는 사용자 인터페이스부를 더 포함하는, 문제 출제 장치.
11. 네트워크를 통해 적어도 하나의 응시자에게 문제를 제공하는 문제 출제 장치의 출제 방법으로서,
    문제 출제 요청에 따라, 상기 문제 출제 장치가 문제 관련 메타데이터를 이용해 문제은행 데이터베이스가 저장하는 적어도 하나의 문제를 검색하는 단계;
    상기 문제 출제 장치가, 검색된 문제 중 선택된 적어도 하나의 출제대상 문제를 문제 그룹의 그룹별 출제 옵션에 따라 조합하여 문제지를 생성하는 단계; 및
    상기 생성된 문제지 및 상기 그룹별 출제 옵션에 따라 상기 문제 출제 장치가 각 응시자에 대한 시험지를 생성하는 단계를 포함하며,
    상기 적어도 하나의 출제대상 문제는 수학문제를 포함하고, 상기 수학문제는 응시자의 수험번호에 따라 그 값이 달라지는 적어도 하나의 매개변수를 포함하는 매개변수형 문제를 포함하며;
    상기 문제 출제 장치가 상기 시험지를 생성하는 단계는, 상기 매개변수형 문제가 선택되는 경우, 상기 응시자의 수험번호에 따라 상기 매개변수의 값을 산출 및 대입함으로써 상기 응시자마다 서로 다른 수학문제를 생성하여 제공하는, 문제 출제 방법.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 청구항 11에 있어서,
    상기 검색된 문제 중 선택된 적어도 하나의 출제대상 문제를, 그룹별 출제 옵션에 따라 조합하여 문제지를 생성하는 단계는,
    상기 문제 출제 장치가 출제 그룹별 중복률 및 출제 그룹별 추출 문항수를 이용하여, 기 출제되었던 과거 문제지와 출제하고자 하는 문제지의 중복율을 체크하는 단계를 더 포함하는, 문제 출제 방법.
    

Images