KR20150108503A

KR20150108503A - 객관식 문제를 구성하는 오답 생성 방법

Info

Publication number: KR20150108503A
Application number: KR1020140031341A
Authority: KR
Inventors: 최경철
Original assignee: 최경철
Priority date: 2014-03-18
Filing date: 2014-03-18
Publication date: 2015-09-30

Abstract

본 발명은 객관식 문제를 구성하는 오답 생성 방법에 관한 것이다.
본 발명에 따르면, 복수의 사용자 단말이 컴퓨터 네트워크를 통해 공개된 주관식 문제에 대해 입력한 답변(R1) 중 오답(R2)들을 이용하여 오답 데이터베이스를 구축하고, 이 오답 데이터베이스에서 오답 리스트를 추출하여 객관식 문제를 구성하는 신규한 방법을 개시한다.

Description

객관식 문제를 구성하는 오답 생성 방법{METHOD FOR CREATING WRONG ANSWERS LIST OF MULTIPLE CHOICE QUESTION}

본 발명은 유의미한 데이터베이스 구축 방법에 관한 것이며, 특히 질문 콘텐츠의 문항을 생성하는 방법에 관한 것이다.

학습용 문제 혹은 시사 퀴즈 문제는 주관식으로 만들어지거나 혹은 객관식 문항으로 이루어진다. 온라인 컴퓨터 시스템은 기입력된 다수의 주관식 문제 혹은 객관식 문제를 저장소에 저장함으로써 이른바 문제은행 데이터베이스를 구축한다. 그리고 필요 시에 주관식 문제와 객관식 문제를 문제은행 데이터베이스에서 추출하여 활용하게 된다.

예컨대 대한민국 특허공개공보 제10-2012-0044592호는 학습 교재용 컨텐츠에서의 데이터 추출 방법 및 장치를 제안한다. 이 종래기술은 미리 구축된 데이터베이스의 객관식 문제 영역에서 객관식 문제에 관한 데이터를 추출하고, 주관식 문제 영역에서 주관식 문제에 관한 데이터를 추출하는 기술을 개시한다. 문제를 인식하고, 그 문제에 대한 정답을 인식함으로써 효과적인 인쇄출판용 컨텐츠 활용방안을 제안하는 것이다.

그러나 객관식 문제에 있어 정답을 추출하는 것은 어렵지 않다. 데이터베이스를 구축할 때 정답이 이미 등록되어 있기 때문이다. 따라서 정답을 인식하는 것조차 어렵지 않다. 오히려 데이터베이스를 구축함에 있어서 오답을 효과적으로 만들기 어렵다는 점이 문제였다.

정답과 오답 사이의 거리가 지나치게 멀면 문제를 푸는 사용자(수험자)는 대개 정답을 선택할 것이며, 그 결과 시험 문제로서의 변별력을 잃게 된다. 반면에 객관식 문제를 구성하는 정답과 오답 사이의 거리가 가깝다면 쉽게 헷갈리고 결과적으로 정확한 지식을 가진 자와 그렇지 못한 자를 구별해 줄 수 있으며, 그 결과 시험 문제로서의 변별력이 높아진다. 그렇기 때문에 사지선다 혹은 오지선다의 선다형 객관식 문제에 있어, 오답을 어떻게 구성하느냐에 따라 문제의 질이 결정되는 것이다. 하지만 정답과 오답 사이의 거리가 가까운 적절한 오답을 선정하기 어렵다는 점이 고질적인 문제였다.

이러한 문제를 해결하는 종래의 방법으로 크게 두 가지가 알려졌다. 첫 번째 방법은 출제자 개인의 지식과 경험에 의존해서 결정되도록 하는 것이다. 그러나 개인의 주관성에 지나치게 의존하므로 합리성과 객관성을 확보하기 어려웠다. 두 번째 방법은 기존의 DB에 저장되어 있거나 기출제된 문제를 활용하거나 일부 문항을 변경하는 방법이었다. 이 또한 주관성이 강할 뿐만 아니라, 새롭고 신선한 문제를 만들기 어렵다는 한계가 있었다.

본 발명의 발명가는 이러한 문제를 해결하기 위해 오랫동안 연구 노력한 끝에 본 발명을 완성하기에 이르렀다.

본 발명의 목적은 객관식 문제를 만들어 출제함에 있어서, 해당 객관식 문제가 높은 변별력을 갖도록 하는 신규한 방법을 제안함에 있다.

또한, 본 발명의 다른 목적은 출제자와 사용자가 완벽하게 분리되어 있던 종래의 시스템에서 벗어나, 사용자의 대중화된 잘못된 지식을 유의미한 정보로서 의미를 부여하여 적극적으로 데이터베이스화하고 수학적/통계적 처리를 하여 객관식 문제의 문항 구성에 기여하도록 함으로써, 시스템 내에서 출제자와 사용자가 상호 연관성을 갖도록 함에 있다. 이는 잘못된 지식을 폐기하는 것이 아니라 집단 지성의 한 요소로 활용한다는 의미를 띤다.

본 발명에 있어 “사용자”라 함은 시스템을 통해 제공되는 문제에 대해 자신의 단말을 이용하여 답변 이벤트를 사용자를 지칭한다.

한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.

위와 같은 과제를 해결하기 위한 본 발명은 개관식 문제를 구성하는 오답 생성 방법으로서:

(a) 시스템 서버의 운영자 단말이 문제 출제 시스템에 주관식 문제 및 문제의 정답을 등록하는 단계;

(b) 상기 시스템 서버가 등록된 주관식 문제를 컴퓨터 네트워크를 통해 공개하는 단계;

(c) 복수의 사용자 단말이 상기 컴퓨터 네트워크에 접속하여 공개된 주관식 문제에 대한 답변(R1)을 입력하여 상기 시스템 서버로 전송함으로써 답변 이벤트를 행하는 단계;

(d) 상기 시스템 서버는 상기 답변 이벤트에 의해 입력되는 복수의 답변(R1) 중 오답(R2)들을 상기 주관식 문제 및 상기 정답 중 어느 하나 이상과 연관성을 갖는 데이터로 기록하여 오답 데이터베이스를 구축하는 단계; 및

(e) 상기 시스템 서버 또는 출제자 단말이 상기 등록된 정답을 정답으로 하는 객관식 문제를 구성할 때 오답 리스트를 상기 오답 데이터베이스에 기록된 오답(R2)에서 추출하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명의 일 실시예에 따른 객관식 문제를 구성하는 오답 생성 방법에 있어서, 상기 컴퓨터 네트워크는, 상기 문제 출제 시스템의 네트워크 또는 상기 문제 출제 시스템 이외의 네트워크로서, 데스크톱 전용 웹 페이지, 모바일 페이지 및 모바일 애플리케이션 소프트웨어 중 어느 하나의 사용자 인터페이스를 경유하는 것이 좋다.

또한, 본 발명의 일 실시예에 따른 객관식 문제를 구성하는 오답 생성 방법에 있어서, 상기 (d) 단계에서의 상기 오답 데이터베이스에 기록된 오답(R2)은 빈도를 나타내는 수치 또는 비율을 포함하는 것이 좋다.

또한, 본 발명의 일 실시예에 따른 객관식 문제를 구성하는 오답 생성 방법에 있어서, 상기 (d) 단계는 상기 사용자 단말의 답변 이벤트 이력을 기록하는 것을 더 포함하며, 이 답변 이벤트 이력에 따라 오답 가중치를 부여할 수 있다.

위와 같은 본 발명의 과제해결수단에 따르면, 온라인(모바일을 포함한다)을 통해서 제공되는 주관식 문제에 대한 사용자 대중의 답변 정보를 통해서 오답 데이터베이스를 구축하고, 이 오답 데이터베이스에 저장되어 있는 오답 리스트를 활용하여 객관식 문제의 선다형 문항을 구성함으로써 효과적인 객관식 문제를 만들 수 있다는 장점이 있다.

또한, 문제를 푸는 사람들이 자주 틀리는 오답을 시스테믹하게 추출할 수 있기 때문에 시험문제의 난이도와 변별력을 보다 객관적으로 예측할 수 있는 전에 없던 효과가 있다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 일 실시예에 따른 전체 시스템 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 오답 데이터베이스(130)를 구성하는 개념을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 객관식 문제의 오답 구성 방법의 전체 프로세스를 개략적으로 나타내는 도면이다.
도 4(a)는 본 발명의 일 실시예에 따라 주관식 문제를 사용자에게 배포하는 사용자 인터페이스의 화면 구성 예를, 도 4(b)는 오답 데이터베이스를 구성하는 예를 나타내는 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명의 개략적인 시스템 구성 예를 나타낸다. 시스템 서버(100)는 문제 출제 시스템(50)을 운영하고 관리하는 하드웨어 및 소프트웨어 수단을 포함하며, 다수의 데이터베이스(110, 120, 130)를 구축한다. 이 시스템은 컴퓨터 단말로서 운영자 단말(10), 출제자 단말(11) 및 사용자 단말(20)의 네트워크 접속을 보장한다.

데이터베이스(110)는 등록한 사용자 정보를 기록하여 보관한다. 여기에 저장되는 사용자 정보는 사용자 단말(20)들에 대한 사용자 정보와 운영자 단말(10) 및 출제자 단말(11)의 등록된 사용자 정보를 포함할 수 있다. 데이터베이스(120)는 기등록된 주관식 문제에 대한 정보를 기록할 수 있다. 데이터베이스(130)는 사용자 단말(20)의 답변 이벤트에 의해서 생성된 오답 데이터를 기록하고 저장한다. 그밖에 로그 DB 등 시스템 관리와 운용에 필요한 데이터베이스가 추가될 수 있다.

상기 문제 출제 시스템(50)은 출제되는 문제에 대한 공개, 접근 및 이벤트 실행 수단으로서의 사용자 인터페이스(51)를 가지며, 인터넷을 통해서 접속할 수 있는 컴퓨터 네트워크 시스템으로 구성된다. 사용자 인터페이스(51)는 바람직하게는 데스크톱 전용 웹 페이지일 수 있다. 요컨대 통상의 웹 사이트로 구성될 수 있다. 또한 다른 실시예에서는 모바일 페이지로 구성될 수 있다. 또 다른 바람직한 실시예에서는 모바일 애플리케이션 소프트웨어로 구성되어 사용자 단말(20)에 설치될 수 있다. 상기 문제 출제 시스템(50)은 독립적으로 관리되는 네트워크일 수 있으나, 다른 컴퓨터 네트워크, 예컨대 포털 사이트 등 다른 웹 사이트나 애플리케이션 소프트웨어의 포함되는 독립한 모듈로 구성될 수도 있다.

상기 사용자 단말(20)은 개인용 컴퓨터 단말, 스마트폰이나 태블릿 PC 등의 모바일 디바이스일 수 있다. 본 발명의 어떤 실시예에 있어서, 전술한 바와 같이, 사용자 단말(20)에는 본 발명의 기술사상을 구현하는 애플리케이션 소프트웨어가 설치되어 있을 수 있다.

본 발명의 일 실시예에 있어서, 상기 운영자 단말(10)은 문제 출제 시스템을 관리하는 관리자의 단말일 수 있다. 이 경우 상기 운영자 단말(10)과 상기 출제자 단말(11)은 상이한 계정을 사용한 상이한 컴퓨터 단말이 된다. 본 발명의 다른 실시예에 있어서, 상기 운영자 단말(10)과 상기 출제자 단말(11)은 동일한 계정을 사용하는 컴퓨터 단말이지만, 단지 개념적으로 분리한 것일 수 있다. 본 명세서에 있어서 주관식 문제를 등록하는 주체를 운영자 단말(10)로 통칭하여 표현하는 것으로 정의한다. 반면, 객관식 문제를 구성하는 주체는 시스템 서버가 소프트웨어에 의해서 자동으로 구현하는 게 아니라면, 출제자 단말(11)로 표현한다. 이들 운영자 단말(10)과 출제자 단말(11)은 개인용 컴퓨터 단말, 스마트폰이나 태블릿 PC 등의 모바일 디바이스일 수 있다.

도 2는 본 발명의 기본적인 원리를 개념적으로 나타낸다. 본 발명에서는 주관식 문제(1)가 텍스트 입력부가 포함되어 컴퓨터 네트워크(스마트폰 등의 모바일 디바이스를 통하여 접속하는 모바일 네트워크를 포함한다)를 통해서 광범위한 사용자들에게 배포될 수 있음을 전제로 한다. 이 주관식 문제(1)에 많은 사용자가 참여하여 답을 입력한다. 그 중에는 정답이 있을 수도 있겠지만, 오답들도 있게 마련이다. 본 발명은 컴퓨터 네트워크를 통해 발생하는 사용자들의 답변 이벤트를 통해서 미리 정해진 규칙에 따라 오답 데이터베이스(130)를 구축함을 특징으로 한다. 오답 데이터베이스(130)에 저장된 오답을 활용함으로써 종래보다 훨씬 수월하게 객관식 문제(2)를 구성하는 신규한 온라인 환경이 만들어지며, 이로써 난이도가 반영된 객관식 문제를 구성할 수 있게 된다.

도 3은 본 발명의 바람직한 한 실시예에 따른 전체 프로세스를 개략적으로 나타낸다.

먼저 시스템 서버의 운영자 단말이 문제 출제 시스템에 접속하여 주관식 문제 및 문제의 정답을 등록한다(S100). 텍스트, 이미지, 동영상 중 어느 하나 이상의 포맷으로 주관식 문제를 등록할 수 있다. 출제자 단말이 미리 설치된 애플리케이션 소프트웨어를 실행하여 운영자 단말의 지위로서 주관식 문제를 상기 문제 출제 시스템으로 전송할 수 있다. 또한, 출제자 단말이 상기 문제 출제 시스템의 웹 사이트에 접속하여 출제자 단말 계정으로 로그인하여 주관식 문제를 등록할 수 있다.

다음으로 상기 시스템 서버가 등록된 주관식 문제를 컴퓨터 네트워크를 통해 공개한다(S110). 예컨대 도 4(a)와 같이 공개할 수 있다. 사용자 단말의 화면에 표시되는 사용자 인터페이스(21)는 주관식 문제 영역(21a)과 답을 입력하는 텍스트 박스(21b)가 포함될 수 있다. 예컨대 주관식 문제 영역(21a)에 “혐오 시설이 자기 지역에 들어서는 것을 반대하는 태도를 일컫는 용어는?”이라는 질문이 표시될 수 있다.

사용자 단말은 입력수단을 통해서 텍스트 박스(21b)에 답을 입력할 것이다. 즉, 복수의 사용자 단말이 상기 주관식 문제에 대한 답변(R1)을 입력하여 시스템 서버에 전송함으로써 답변 이벤트가 발생한다(S120).

복수의 사용자 단말에 의해서 입력된 답변(R1)들에는 정답(NIMBY)이 포함될 수도 있으며, 오답이 포함될 수도 있다. 본 발명에서 중요한 의미를 갖는 것은 어떤 오답들이 입력되었는가에 있다.

시스템 서버는 상기 S120 단계의 답변 이벤트에 의해 입력되는 복수의 답변 중 오답(R2)들에 대해서 오답 데이터베이스를 구축한다(S130). 바람직하게는 주관식 문제 및 정답 중 어느 하나 이상과 연관성을 갖는 데이터로 기록하여 오답 데이터베이스를 구축하는 것이 좋다.

예컨대 도 4(b)에 도시한 데이터베이스 구축용 테이블(130a)을 활용할 수 있다. 오답(R2)으로 입력된, AAA, BBB, CCC …에 대한 입력자 수, 비율 등을 기록할 수 있다(단, 도 4(b)의 테이블의 숫자는 설명의 편의를 위해서 임의로 가공한 것임을 첨언한다).

다음으로 상기 시스템 서버는 상기 S130 단계에서 구축된 오답 데이터베이스에서 오답 리스트를 추출하여 객관식 문제를 구성할 수 있다(S140). 객관식 문제의 문항은 미리 입력된 정답과 오답 리스트 중에서 오답 비율이 높은 순서에 따라 선별되도록 할 수 있다.

상기 S140 단계는 시스템 서버에 설치된 소프트웨어에 의해서 자동으로 객관식 문항이 구성되도록 할 수 있다. 또한, 상기 S140 단계는 출제자 단말이 객관식 문제를 구성함에 있어 상기 오답 데이터베이스에 기록되어 있는 오답 중에서 오답 리스트를 선택하여 추출함으로써 객관식 문제를 구성함으로써 실행될 수 있다.

본 발명의 기술사상에 따라 집단 지성("집단 오류"가 좀더 정확한 표현이겠다)에 의해 구축된 오답 데이터베이스의 오답 리스트를 선택하여 구성된 객관식 문제는 시스템 서버 측의 저장소에 저장되도록 할 수 있다.

본 발명의 어떤 실시예에서는 저장소에 저장된 객관식 문제를 필요 시에 추출하여 문제 출제 시스템을 통해서 배포하여 활용할 수 있다.

또한 본 발명의 다른 실시예에서는 저장소에 저장된 객관식 문제를 인쇄하여 시험문제로 출제할 수 있다.

본 발명의 또 다른 실시예에서는 본 발명에 따라 시스템의 저장소에 객관식 문제 데이터베이스를 새롭게 구축할 수 있다. 이때 객관식 문제 데이터베이스에는 문제는 같으나 오답 리스트만 상이한 객관식 문제가 구성되도록 할 수 있다. 오답(R2)의 빈도를 나타내는 수치나 비율에 따라 오답 데이터베이스에서 오답 리스트를 각각 별개로 추출함으로써 난이도별로 객관식 문제를 분류할 수 있다.

이상에서 설명한 바와 같이, 본 발명은 온라인상에서 이루어지는 주관식 문제에 대한 사용자 단말의 답변 피드백 데이터를 이용하여 효율적으로 오답 리스트를 얻고, 이를 통해서 다시 객관식 문제를 구성하는 메커니즘을 특징으로 한다. 주관식 문제와 객관식 문제는 온라인을 통해서 서로 연동하여 생성될 수 있다. 다만, 1회로 끝나는 것이 아니라, 많은 주관식 문제가 배포될 것이며, 이에 따라 수많은 객관식 문제가 생성될 것이다. 그에 따라 사용자 단말의 답변 이벤트 이력이 사용자 계정별로 기록될 수 있다. 본 발명의 바람직한 어느 실시예에서는, 답변 이벤트의 이력정보에 기초하여 오답 가중치를 부여할 수 있다. 예컨대 정답률이 높은 사용자가 오답을 낸 경우에, 그 오답에 가중치를 부여함으로써 효과적으로 난이도를 조절할 수 있는 것이다.

참고로, 본 발명의 일 실시예에 따른 객관식 문제를 구성하는 오답 데이터베이스 구축 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독가능매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체, 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims

(a) 시스템 서버의 운영자 단말이 문제 출제 시스템에 주관식 문제 및 문제의 정답을 등록하는 단계;
(b) 상기 시스템 서버가 등록된 주관식 문제를 컴퓨터 네트워크를 통해 공개하는 단계;
(c) 복수의 사용자 단말이 상기 컴퓨터 네트워크에 접속하여 공개된 주관식 문제에 대한 답변(R1)을 입력하여 상기 시스템 서버로 전송함으로써 답변 이벤트를 행하는 단계;
(d) 상기 시스템 서버는 상기 답변 이벤트에 의해 입력되는 복수의 답변(R1) 중 오답(R2)들을 상기 주관식 문제 및 상기 정답 중 어느 하나 이상과 연관성을 갖는 데이터로 기록하여 오답 데이터베이스를 구축하는 단계; 및
(e) 상기 시스템 서버 또는 출제자 단말이 상기 등록된 정답을 정답으로 하는 객관식 문제를 구성할 때 오답 리스트를 상기 오답 데이터베이스에 기록된 오답(R2)에서 추출하는 단계를 포함하는, 객관식 문제를 구성하는 오답 생성 방법.
제1항에 있어서,
상기 컴퓨터 네트워크는, 상기 문제 출제 시스템의 네트워크 또는 상기 문제 출제 시스템 이외의 네트워크로서, 데스크톱 전용 웹 페이지, 모바일 페이지 및 모바일 애플리케이션 소프트웨어 중 어느 하나의 사용자 인터페이스를 경유하는 것인, 객관식 문제를 구성하는 오답 생성 방법.
제1항에 있어서,
상기 (d) 단계에서의 상기 오답 데이터베이스에 기록된 오답(R2)은 빈도를 나타내는 수치 또는 비율을 포함하는 것인, 객관식 문제를 구성하는 오답 생성 방법.
제1항에 있어서,
상기 (d) 단계는 상기 사용자 단말의 답변 이벤트 이력을 기록하는 것을 더 포함하며, 이 답변 이벤트 이력에 따라 오답 가중치를 부여하는, 객관식 문제를 구성하는 오답 생성 방법.