KR20140011231A - 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법 - Google Patents

응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법 Download PDF

Info

Publication number
KR20140011231A
KR20140011231A KR1020120078481A KR20120078481A KR20140011231A KR 20140011231 A KR20140011231 A KR 20140011231A KR 1020120078481 A KR1020120078481 A KR 1020120078481A KR 20120078481 A KR20120078481 A KR 20120078481A KR 20140011231 A KR20140011231 A KR 20140011231A
Authority
KR
South Korea
Prior art keywords
online evaluation
candidate
question
questions
online
Prior art date
Application number
KR1020120078481A
Other languages
English (en)
Inventor
양승호
김성열
Original Assignee
양승호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양승호 filed Critical 양승호
Priority to KR1020120078481A priority Critical patent/KR20140011231A/ko
Publication of KR20140011231A publication Critical patent/KR20140011231A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2053—Education institution selection, admissions, or financial aid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법에 관한 것으로서, 보다 구체적으로는 응시자 단말기에 온라인 평가 서비스를 제공하는 서비스 제공 서버가, (1) 문제, 정답 및 복수의 오답으로 구성되는 복수의 문제 세트를 포함하는 문제은행을 구축하는 단계; (2) 상기 문제은행에서 개별 응시자에게 출제할 문제 세트를 적어도 하나 이상 선정하는 단계; (3) 상기 선정된 문제 세트에 포함된 복수의 오답 중에서 미리 정해진 개수의 오답을 선택하는 단계; (4) 상기 선정된 문제 세트에 포함된 정답 및 상기 단계 (3)에서 선택된 오답을 이용하여 상기 문제에 대한 객관식 선택지를 구성하는 단계; (5) 상기 선정된 문제 세트에 포함된 문제 및 상기 단계 (4)에서 구성된 객관식 선택지로 객관식 문항을 구성하는 단계; (6) 상기 단계 (2)에서 선정된 적어도 하나 이상의 문제 세트에 대하여 구성된 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작하는 단계; 및 (7) 상기 제작된 온라인 평가 시험을 상기 개별 응시자의 응시자 단말기에 제공하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법에 따르면, 서비스 제공 서버가 문제은행을 이용하여 온라인 평가 시험을 제작하면서, 동일한 문제이더라도 응시자마다 객관식 선택지에 포함된 오답이 서로 상이하게 하며, 문항의 순서를 혼합하여 출제함으로써, 문제를 완벽하게 외울 수 없도록 하고 규칙적인 신호나 통신기기를 이용한 부정행위가 성공할 수 없도록 할 수 있다.
또한, 본 발명에 따르면, 동일한 문제이더라도 개별 응시자에 따라 객관식 선택지의 순서가 서로 상이하게 객관식 문항을 구성하여 제공하거나, 난이도를 일정하게 하면서 개별 응시자에 따라 서로 상이한 문제로 이루어진 온라인 평가 시험을 제작하여 제공함으로써, 부정행위를 방지하고 응시자의 실력을 정확하게 평가할 수 있다.

Description

응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법{PROBLEM-BANK TYPE ONLINE EVALUATION SERVICE PROVIDING METHOD WITH INDIVIDUALLY DESIGNED QUESTIONS}
본 발명은 온라인 평가 서비스 제공 방법에 관한 것으로서, 보다 구체적으로는 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법에 관한 것이다.
최근에는, 컴퓨터, 전자, 통신 기술이 비약적으로 발전함에 따라 컴퓨터 및 통신 기술을 이용한 온라인 평가 시험이 새로운 평가 방법으로 각광받고 있다. 온라인 평가 시험은 공간의 제약을 없애고 결과 처리도 용이하여 점차 그 활용 범위가 확대되고 있다. 또한, 원격 강의 서비스가 널리 활용되면서 원격 강의와 더불어 온라인 평가 시험도 그 적용 영역이 더욱 넓어지고 있다.
이와 같은 온라인 평가 시험은 문제은행 방식으로 출제될 수 있다. 문제은행은 많은 문제를 한 곳에 모아 데이터베이스를 구축해 놓고, 데이터베이스에서 문제를 출제하기 때문에 자동으로 출제가 가능하다. 또한, 문제은행을 이용한 출제 방식은 신속하게 문제를 출제할 수 있고 난이도 조절이 용이할 뿐 아니라 효율적으로 평가 시험의 출제가 가능하기 때문에 널리 사용되고 있다. 특히, 최근에는 온라인 평가 문제를 이용하여 셀프테스트를 수행하는 경우도 있어, 문제은행 방식의 온라인 평가 문제는 더욱 널리 사용되고 있다.
그러나 문제은행 방식의 온라인 평가 문제를 이용하여 계속하여 평가를 받는 응시자의 경우에는, 반복적으로 동일한 문제를 풀게 되면서 나중에는 정답을 외워서 맞히게 될 수도 있다. 또한, 여러 명의 응시자가 온라인 평가에 응시하면서, 통신기기 등을 이용하여 정답을 알려주어 부정행위를 할 수도 있다. 이와 같이 종래 기술에 따르면 정답을 외워서 온라인 평가 문제를 풀거나 부정행위를 하는 경우에, 정당한 평가가 이루어질 수 없는 한계가 있다. 따라서 이와 같은 문제를 해결하기 위한 온라인 평가 서비스의 개발이 시급한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 서비스 제공 서버가 문제은행을 이용하여 온라인 평가 시험을 제작하면서, 동일한 문제이더라도 응시자마다 객관식 선택지에 포함된 오답이 서로 상이하게 하고, 문항의 순서를 혼합하여 출제함으로써, 문제를 완벽하게 외울 수 없도록 하며, 규칙적인 신호나 통신기기를 이용한 부정행위가 성공할 수 없도록 할 수 있는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 동일한 문제이더라도 개별 응시자에 따라 객관식 선택지의 순서가 서로 상이하게 객관식 문항을 구성하여 제공하거나, 난이도를 일정하게 하면서 개별 응시자에 따라 서로 상이한 문제로 이루어진 온라인 평가 시험을 제작하여 제공함으로써, 부정행위를 방지하고 응시자의 실력을 정확하게 평가할 수 있는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법은, 응시자 단말기에 온라인 평가 서비스를 제공하는 서비스 제공 서버가,
(1) 문제, 정답 및 복수의 오답으로 구성되는 복수의 문제 세트를 포함하는 문제은행을 구축하는 단계;
(2) 상기 문제은행에서 개별 응시자에게 출제할 문제 세트를 적어도 하나 이상 선정하는 단계;
(3) 상기 선정된 문제 세트에 포함된 복수의 오답 중에서 미리 정해진 개수의 오답을 선택하는 단계;
(4) 상기 선정된 문제 세트에 포함된 정답 및 상기 단계 (3)에서 선택된 오답을 이용하여 상기 문제에 대한 객관식 선택지를 구성하는 단계;
(5) 상기 선정된 문제 세트에 포함된 문제 및 상기 단계 (4)에서 구성된 객관식 선택지로 객관식 문항을 구성하는 단계;
(6) 상기 단계 (2)에서 선정된 적어도 하나 이상의 문제 세트에 대하여 구성된 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작하는 단계; 및
(7) 상기 제작된 온라인 평가 시험을 상기 개별 응시자의 응시자 단말기에 제공하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 문제 세트는,
상기 객관식 선택지를 구성하는 미리 정해진 개수의 오답보다 많은 개수의 오답을 포함할 수 있다.
바람직하게는,
지문에는 적어도 하나 이상의 문제 세트가 할당되며,
상기 단계 (1)에서는, 복수의 지문 및 문제 세트를 포함하는 문제은행을 구축할 수 있다.
더욱 바람직하게는, 상기 단계 (2)에서는,
전체 응시자에 대하여 선정된 지문에 할당된 적어도 하나 이상의 문제 세트 중에서 상기 응시자에게 출제할 문제 세트를 선정할 수 있다.
바람직하게는, 상기 단계 (2)에서는,
미리 정해진 난이도에 따라 상기 문제 세트를 선정할 수 있다.
바람직하게는, 상기 단계 (4)에서는,
상기 정답 및 선택된 오답의 순서를 혼합하여 상기 객관식 선택지를 구성할 수 있다.
바람직하게는, 상기 단계 (4)와 단계 (6) 사이에는,
상기 구성된 객관식 선택지에서 정답에 할당된 코드를 등록하는 단계를 더 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (6)과 단계 (7) 사이에는,
상기 단계 (6)에서 혼합된 객관식 문항의 순서대로 상기 등록된 코드를 나열하여 해답지를 제작하는 단계를 더 포함할 수 있다.
본 발명에서 제안하고 있는 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법에 따르면, 서비스 제공 서버가 문제은행을 이용하여 온라인 평가 시험을 제작하면서, 동일한 문제이더라도 응시자마다 객관식 선택지에 포함된 오답이 서로 상이하게 하며, 문항의 순서를 혼합하여 출제함으로써, 문제를 완벽하게 외울 수 없도록 하고 규칙적인 신호나 통신기기를 이용한 부정행위가 성공할 수 없도록 할 수 있다.
또한, 본 발명에 따르면, 동일한 문제이더라도 개별 응시자에 따라 객관식 선택지의 순서가 서로 상이하게 객관식 문항을 구성하여 제공하거나, 난이도를 일정하게 하면서 개별 응시자에 따라 서로 상이한 문제로 이루어진 온라인 평가 시험을 제작하여 제공함으로써, 부정행위를 방지하고 응시자의 실력을 정확하게 평가할 수 있다.
도 1은 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법을 구현하기 위한 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법의 흐름을 도시한 도면.
도 3 및 도 4는 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법에서, 정답 및 오답의 순서가 혼합된 객관식 선택지를 포함하는 문제가 제공된 응시자 단말기를 예를 들어 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법에서, 문제의 순서가 혼합된 온라인 평가 시험이 제공된 응시자 단말기를 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법에서, 해답지를 제작하는 과정의 세부적인 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법을 구현하기 위한 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법을 구현하기 위한 시스템은, 서비스 제공 서버(100) 및 응시자 단말기(200)를 포함하여 구성될 수 있다.
즉, 본 발명에서는, 서비스 제공 서버(100)가 문제은행(110)을 이용하여 온라인 평가 시험을 제작하면서, 동일한 문제이더라도 응시자마다 객관식 선택지에 포함된 오답이 서로 상이하게 하고, 문항의 순서를 혼합하여 출제함으로써 문제를 완벽하게 외울 수 없도록 하며, 규칙적인 신호나 통신기기를 이용한 부정행위가 성공할 수 없도록 할 수 있다. 또한, 동일한 문제에서도 응시자마다 객관식 선택지의 순서가 서로 상이하게 하거나, 난이도를 일정하게 하면서 응시자마다 서로 상이한 문제로 이루어진 온라인 평가 시험을 제작하여 제공함으로써, 이와 같은 효과를 극대화할 수 있다.
이하에서는, 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법을 구현하기 위한 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.
서비스 제공 서버(100)는, 응시자 단말기(200)에 온라인 평가 서비스를 제공하는 서버일 수 있다. 서비스 제공 서버(100)는 복수의 문제 세트가 포함된 문제은행(110)을 구축하고 문제은행(110)에서 개별 응시자에게 출제할 문제 세트를 선정하여 온라인 평가 시험을 제작하여, 네트워크를 통해 응시자 단말기(200)에 제공할 수 있다. 서비스 제공 서버(100)는, 인터넷, 인트라넷, 유무선 통신망, 이동통신망 등을 포함하는 네트워크를 통하여 응시자 단말기(200)의 접속을 허용하고, 각종 신호 및 데이터를 송수신할 수 있다. 특히, 개별 응시자별로 문제 세트, 객관식 선택지, 문항 순서 등이 서로 상이하게 제작된 온라인 평가 시험을 응시자 단말기(200)에 제공함으로써, 응시자들이 문제를 암기하거나 부정행위를 하지 않고 공정하게 온라인 평가를 받도록 할 수 있다.
응시자 단말기(200)는, 서비스 제공 서버(100)가 제공하는 온라인 평가 서비스 제공 방법을 이용하여 온라인 평가 시험을 치르고자 하는 응시자의 단말기일 수 있다. 응시자 단말기(200)는, 컴퓨터, 노트북, PDA, MP4 플레이어, 이동통신단말기 등 각종 통신단말기일 수 있으며, 스마트폰, 스마트 노트, 태블릿 PC, 스마트 TV 등의 각종 스마트 기기일 수도 있다. 다만, 본 발명의 응시자 단말기(200)가 나열한 바와 같은 단말기의 형태에 한정되는 것은 아니며, 네트워크를 통해 서비스 제공 서버(100)에 접속하여 온라인 평가 시험을 치를 수 있다면, 구체적인 단말기의 형태에 관계없이 본 발명의 응시자 단말기(200)의 역할을 얼마든지 할 수 있다.
한편, 스마트 기기는 기능이 제한되어 있지 않고 애플리케이션 프로그램을 통해 상당 부분 기능을 변경하거나 확장할 수 있는 제품을 가리키는 것이다. 본 발명의 응시자 단말기(200)가 온라인 평가 시험을 치를 수 있는 애플리케이션 프로그램이 설치된 스마트 기기이면, 응시자는 보다 용이하게 온라인 평가 시험에 응시할 수 있고 결과를 확인할 수도 있다.
도 2는 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법의 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법은, 복수의 문제 세트를 포함하는 문제은행(110)을 구축하는 단계(S100), 문제은행(110)에서 문제 세트를 적어도 하나 이상 선정하는 단계(S200), 문제 세트에서 미리 정해진 개수의 오답을 선택하는 단계(S300), 정답 및 선택된 오답을 이용하여 객관식 선택지를 구성하는 단계(S400), 문제 및 구성된 객관식 선택지로 객관식 문항을 구성하는 단계(S500), 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작하는 단계(S600) 및 온라인 평가 시험을 응시자 단말기(200)에 제공하는 단계(S700)를 포함하여 구현될 수 있다.
단계 S100에서는, 서비스 제공 서버(100)가 문제, 정답 및 복수의 오답으로 구성되는 복수의 문제 세트를 포함하는 문제은행(110)을 구축할 수 있다. 이때, 문제 세트는, 객관식 선택지를 구성하는 미리 정해진 개수의 오답보다 많은 개수의 오답을 포함할 수 있다. 즉, 객관식 문제의 경우, 문제와 정답 이외에 오답이 문제 세트를 구성할 수 있는데, 예를 들어 4지선다형 문제의 경우 1개의 정답 및 3개의 오답으로 구성되는 것이 일반적이며, 정답이 복수인 경우도 있을 수 있다. 본 발명에서는, 응시자마다 선택지를 상이하게 하기 위하여 미리 정해진 개수보다 많은 오답을 포함하도록 문제 세트를 구성할 수 있다. 예를 들어, 문제, 정답 1개, 오답 10개 등으로 문제 세트를 구성하고, 데이터베이스에 저장하여 문제은행(110)을 구축할 수 있다.
한편, 단계 S100에서 구축하는 문제은행(110)에 저장되는 문제 중에는, 지문이 포함되는 문제가 있을 수 있으며, 하나의 지문에는 적어도 하나 이상의 문제 세트가 할당될 수 있다. 따라서 단계 S100에서는, 복수의 지문 및 문제 세트를 포함하는 문제은행(110)을 구축할 수 있다. 또한, 하나의 지문에 할당된 복수의 문제 세트를 함께 저장하여 문제은행(110)을 구축할 수도 있다. 이때, 지문은 텍스트나 이미지 등으로 구성될 수 있으나, 듣기 평가와 같이 음향으로 구성된 것일 수도 있다.
단계 S200에서는, 서비스 제공 서버(100)가 문제은행(110)에서 개별 응시자에게 출제할 문제 세트를 적어도 하나 이상 선정할 수 있다. 즉, 응시자별로 출제할 문제 세트는 서로 상이할 수 있으며, 온라인 평가 시험을 제작하기 위한 개수의 문제 세트를 선정할 수 있다. 이때, 온라인 평가 시험에 따라 문항의 수가 정해져 있을 수 있으므로, 단계 S200에서는 정해진 문항의 수만큼 문제 세트를 선정할 수 있다. 또한, 단계 S200에서는, 미리 정해진 난이도에 따라 문제 세트를 선정함으로써, 전체 응시자에게 동일한 난이도의 온라인 평가 시험이 제공되도록 할 수 있다.
한편, 단계 S200에서는, 전체 응시자에 대하여 선정된 지문에 할당된 적어도 하나 이상의 문제 세트 중에서 응시자에게 출제할 문제 세트를 선정할 수 있다. 즉, 지문은 동일하더라도 하나의 지문에서 출제될 수 있는 문제는 다양할 수 있으므로, 전체 응시자에게 동일한 지문을 제공하면서 세부적인 문제는 서로 상이하도록, 단계 S200에서 문제 세트를 선정할 수 있다. 듣기 평가와 같은 문항의 경우에도 동일한 듣기 지문에 대하여 개별 응시자마다 서로 상이한 문제 세트를 선정할 수 있다.
단계 S300에서는, 서비스 제공 서버(100)가 선정된 문제 세트에 포함된 복수의 오답 중에서 미리 정해진 개수의 오답을 선택할 수 있다. 예를 들어, 서비스 제공 서버(100)에서 제공하는 온라인 평가 시험이 4지선다형 문제를 기본으로 할 경우, 단계 S300의 미리 정해진 개수는 정답지를 제외한 3개가 될 수 있다. 물론, 실시예에 따라서는 정답이 복수 개일 수도 있으므로, 미리 정해진 개수는 2개나 1개가 될 수도 있다. 단계 S100에서 미리 정해진 개수보다 많은 오답이 문제 세트로 구성되어 문제은행(110)에 저장될 수 있으므로, 단계 S300에서 선택되는 오답은 개별 응시자마다 서로 상이할 수 있다.
단계 S400에서는, 서비스 제공 서버(100)가 선정된 문제 세트에 포함된 정답 및 단계 S300에서 선택된 오답을 이용하여 문제에 대한 객관식 선택지를 구성할 수 있다. 즉, 정답이 포함되도록 하면서 단계 S300에서 개별 응시자에 따라 선택된 오답으로 객관식 선택지를 구성함으로써, 동일한 문제이더라도 응시자마다 객관식 선택지가 서로 상이하게 제공되도록 할 수 있다. 또한, 응시자가 여러 번 온라인 평가 시험에 응시하면서, 동일한 문제를 풀게 되더라도 객관식 선택지가 달라 문제를 외워서 풀 수 없도록 할 수 있다.
한편, 단계 S400에서는, 정답 및 선택된 오답의 순서를 혼합하여 객관식 선택지를 구성할 수 있다. 이와 같이, 개별 응시자에 따라 오답을 선택하고, 다시 정답과 오답의 순서를 혼합하여 객관식 선택지를 구성함으로써, 문제의 암기 또는 부정행위를 더욱 확실하게 예방할 수 있다.
단계 S500에서는, 서비스 제공 서버(100)가 선정된 문제 세트에 포함된 문제 및 단계 S400에서 구성된 객관식 선택지로 객관식 문항을 구성할 수 있다. 즉, 객관식 문항은 문제와 선택지로 구성되므로, 단계 S500에서는 문제와 객관식 선택지를 이용하여 객관식 문항을 구성할 수 있다. 전술한 바와 같이, 단계 S500에서 구성된 객관식 문항은 개별 응시자마다 서로 상이할 수 있으며, 문제가 동일하더라도 객관식 선택지가 서로 상이할 수 있다.
단계 S600에서는, 서비스 제공 서버(100)가 단계 S200에서 선정된 적어도 하나 이상의 문제 세트에 대하여 구성된 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작할 수 있다. 단계 S200에서 개별 응시자에게 출제하기 위하여 선정한 문제 세트에 대하여, 단계 S300 내지 단계 S500의 수행에 따라 객관식 문항이 구성되게 된다. 단계 S200에서 적어도 하나 이상의 문제 세트를 선정하므로, 단계 S500에서는 적어도 하나 이상의 객관식 문항을 구성할 수 있다. 단계 S600에서는, 단계 S500에서 구성된 적어도 하나 이상의 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작함으로써, 동일한 문항이더라도 응시자마다 서로 다른 순서에 해당 문항을 풀이하게 되도록 할 수 있다. 이와 같이, 객관식 문항의 순서를 혼합함으로써 규칙적인 신호나 통신기기 등을 이용한 부정행위를 방지할 수 있다.
단계 S700에서는, 서비스 제공 서버(100)가 제작된 온라인 평가 시험을 개별 응시자의 응시자 단말기(200)에 제공할 수 있다. 즉, 단계 S600에서 제작한 온라인 평가 시험을 개별 응시자의 응시자 단말기(200)에 제공함으로써, 응시자가 온라인 평가에 응시할 수 있다. 단계 S700에서는 제작된 온라인 평가 시험을 응시자 단말기(200)에 한 번에 전송하여 제공할 수 있으나, 미리 정해진 개수의 객관식 문항을 순차적으로 전송하여 온라인 평가 시험을 제공할 수도 있다.
도 3 및 도 4는 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법에서, 정답 및 오답의 순서가 혼합된 객관식 선택지를 포함하는 문제가 제공된 응시자 단말기(200a, 200b)를 예를 들어 도시한 도면이다. 도 3 및 도 4에 도시된 바와 같이, 본 발명에서는 동일한 문항에 동일한 문제가 제공되더라도 단계 S300 내지 단계 S500의 처리에 의해 응시자에 따라 객관식 선택지가 상이하게 제공될 수 있다.
도 3의 응시자 단말기(200a)의 객관식 선택지에서, “1) Yes, I will.”과 “3) I might be able to.”는 도 4의 응시자 단말기(200b)의 객관식 선택지에도 있으나, 각각 2)와 3)으로 그 순서가 서로 상이하다. 정답이 “Yes, I will.”인 경우, 도 3의 응시자는 1번, 도 4의 응시자는 3번을 각각 선택하여야 해당 문제의 정답을 맞힌 것이 된다. 따라서 두 응시자는 문제 1의 정답이 몇 번이라고 서로 알려줄 수 없으며, 알려주더라도 실제 정답이 상이하므로 부정행위를 예방할 수 있다.
한편, 도 3 및 도 4에는 각 응시자가 스스로 “듣기”를 선택하여 듣기 평가를 수행하게 되므로, 객관식 문항의 순서도 서로 혼합되어 출제될 수 있다. 다만, 전체 응시자가 같이 듣기 지문을 청취하여야 하는 경우, 객관식 문항의 순서는 혼합할 수 없고, 도 3 및 도 4에 도시된 바와 같이 동일한 문제 번호에 동일한 문제가 출제되게 된다. 그러나 개별 응시자마다 객관식 선택지가 서로 상이하므로 부정행위를 방지할 수 있다.
도 5 및 도 6은 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법에서, 문제의 순서가 혼합된 온라인 평가 시험이 제공된 응시자 단말기(200a, 200b)를 예를 들어 도시한 도면이다. 도 5 및 도 6에 도시된 바와 같이, 본 발명에서는 개별 응시자에 따라 동일한 문항 번호에 서로 상이한 문제가 출제될 수 있다. 이와 같이, 본 발명에서는 단계 S600에서 객관식 문항의 순서를 혼합하기 때문에 문제 3의 정답이 몇 번이라고 도 5의 응시자와 도 6의 응시자가 상대방에게 알려줄 수 없어, 부정행위 방지 효과가 있다.
도 7은 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법에서, 해답지를 제작하는 과정의 세부적인 흐름을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행(110) 방식의 온라인 평가 서비스 제공 방법은, 객관식 선택지에서 정답에 할당된 코드를 등록하는 단계(S450) 및 객관식 문항의 순서대로 등록된 코드를 나열하여 해답지를 제작하는 단계(S650)를 포함하여 해답지를 제작할 수 있다. 즉, 본 발명에서는, 개별 응시자마다 온라인 평가 시험이 서로 상이하게 제공되므로, 개별 응시자마다 해답지가 서로 상이하게 구성되어야 한다. 따라서 단계 S450 및 단계 S650을 더 포함하여, 개별 응시자에 따른 해답지를 제작할 수 있다.
단계 S450에서는, 서비스 제공 서버(100)가 구성된 객관식 선택지에서 정답에 할당된 코드를 등록할 수 있다. 즉, 단계 S400에서 구성된 객관식 선택지에는 정답이 포함되어 있다. 정답에 할당되어 있는 선택지 번호, 선택지 영문자 등의 코드를 등록함으로써, 해당 객관식 문항에 대한 해답을 알 수 있도록 할 수 있다.
단계 S650에서는, 서비스 제공 서버(100)가 단계 S600에서 혼합된 객관식 문항의 순서대로 등록된 코드를 나열하여 해답지를 제작할 수 있다. 즉, 단계 S600에서는 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작하는데, 단계 S450에서 등록된 정답 코드를 객관식 문항의 순서로 혼합하여 해답지를 제작할 수 있다. 단계 S650에서 제작한 해답지는 응시자의 온라인 평가 시험의 결과를 산출할 때 사용될 수 있으며, 응시자 단말기(200)에 제공하여 응시자가 참고하도록 할 수도 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 서비스 제공 서버 110: 문제은행
200, 200a, 200b: 응시자 단말기
S100: 복수의 문제 세트를 포함하는 문제은행을 구축하는 단계
S200: 문제은행에서 문제 세트를 적어도 하나 이상 선정하는 단계
S300: 문제 세트에서 미리 정해진 개수의 오답을 선택하는 단계
S400: 정답 및 선택된 오답을 이용하여 객관식 선택지를 구성하는 단계
S450: 객관식 선택지에서 정답에 할당된 코드를 등록하는 단계
S500: 문제 및 구성된 객관식 선택지로 객관식 문항을 구성하는 단계
S600: 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작하는 단계
S650: 객관식 문항의 순서대로 등록된 코드를 나열하여 해답지를 제작하는 단계
S700: 온라인 평가 시험을 응시자 단말기에 제공하는 단계

Claims (8)

  1. 응시자 단말기에 온라인 평가 서비스를 제공하는 서비스 제공 서버가,
    (1) 문제, 정답 및 복수의 오답으로 구성되는 복수의 문제 세트를 포함하는 문제은행을 구축하는 단계;
    (2) 상기 문제은행에서 개별 응시자에게 출제할 문제 세트를 적어도 하나 이상 선정하는 단계;
    (3) 상기 선정된 문제 세트에 포함된 복수의 오답 중에서 미리 정해진 개수의 오답을 선택하는 단계;
    (4) 상기 선정된 문제 세트에 포함된 정답 및 상기 단계 (3)에서 선택된 오답을 이용하여 상기 문제에 대한 객관식 선택지를 구성하는 단계;
    (5) 상기 선정된 문제 세트에 포함된 문제 및 상기 단계 (4)에서 구성된 객관식 선택지로 객관식 문항을 구성하는 단계;
    (6) 상기 단계 (2)에서 선정된 적어도 하나 이상의 문제 세트에 대하여 구성된 객관식 문항의 순서를 혼합하여 온라인 평가 시험을 제작하는 단계; 및
    (7) 상기 제작된 온라인 평가 시험을 상기 개별 응시자의 응시자 단말기에 제공하는 단계를 포함하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
  2. 제1항에 있어서, 상기 문제 세트는,
    상기 객관식 선택지를 구성하는 미리 정해진 개수의 오답보다 많은 개수의 오답을 포함하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
  3. 제1항에 있어서,
    지문에는 적어도 하나 이상의 문제 세트가 할당되며,
    상기 단계 (1)에서는, 복수의 지문 및 문제 세트를 포함하는 문제은행을 구축하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
  4. 제3항에 있어서, 상기 단계 (2)에서는,
    전체 응시자에 대하여 선정된 지문에 할당된 적어도 하나 이상의 문제 세트 중에서 상기 응시자에게 출제할 문제 세트를 선정하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
  5. 제1항에 있어서, 상기 단계 (2)에서는,
    미리 정해진 난이도에 따라 상기 문제 세트를 선정하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
  6. 제1항에 있어서, 상기 단계 (4)에서는,
    상기 정답 및 선택된 오답의 순서를 혼합하여 상기 객관식 선택지를 구성하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
  7. 제1항에 있어서, 상기 단계 (4)와 단계 (6) 사이에는,
    상기 구성된 객관식 선택지에서 정답에 할당된 코드를 등록하는 단계를 더 포함하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
  8. 제7항에 있어서, 상기 단계 (6)과 단계 (7) 사이에는,
    상기 단계 (6)에서 혼합된 객관식 문항의 순서대로 상기 등록된 코드를 나열하여 해답지를 제작하는 단계를 더 포함하는 것을 특징으로 하는, 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법.
KR1020120078481A 2012-07-18 2012-07-18 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법 KR20140011231A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120078481A KR20140011231A (ko) 2012-07-18 2012-07-18 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120078481A KR20140011231A (ko) 2012-07-18 2012-07-18 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법

Publications (1)

Publication Number Publication Date
KR20140011231A true KR20140011231A (ko) 2014-01-28

Family

ID=50143580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078481A KR20140011231A (ko) 2012-07-18 2012-07-18 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR20140011231A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956094A (zh) * 2016-04-29 2016-09-21 杭州本构科技有限公司 一种复杂互动内容的构建方法及发布系统
US11138898B2 (en) 2016-10-25 2021-10-05 Jong-ho Lee Device and method for providing studying of incorrectly answered question
KR102418472B1 (ko) * 2021-03-29 2022-07-08 주식회사 비주얼이즈 이러닝 기반 법정의무교육 서비스 제공 시스템
KR102561666B1 (ko) * 2022-05-09 2023-07-28 김나현 인공지능 알고리즘을 이용한 문제은행 출제방식의 효율적인 학습방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956094A (zh) * 2016-04-29 2016-09-21 杭州本构科技有限公司 一种复杂互动内容的构建方法及发布系统
CN105956094B (zh) * 2016-04-29 2019-12-20 杭州本构科技有限公司 一种复杂互动内容的构建方法及发布系统
US11138898B2 (en) 2016-10-25 2021-10-05 Jong-ho Lee Device and method for providing studying of incorrectly answered question
KR102418472B1 (ko) * 2021-03-29 2022-07-08 주식회사 비주얼이즈 이러닝 기반 법정의무교육 서비스 제공 시스템
KR102561666B1 (ko) * 2022-05-09 2023-07-28 김나현 인공지능 알고리즘을 이용한 문제은행 출제방식의 효율적인 학습방법

Similar Documents

Publication Publication Date Title
Pfund et al. Building national capacity for research mentor training: an evidence-based approach to training the trainers
US20140227675A1 (en) Knowledge evaluation system
US20120164619A1 (en) Educational Assessment System and Associated Methods
O'Bannon et al. Teachers and students poised to use mobile phones in the classroom
US20190026482A1 (en) Device access control based on task completion
KR20150051198A (ko) 학습자 맞춤형 학습 서비스 제공 서버 및 방법
KR20140011231A (ko) 응시자마다 개별적으로 출제된 온라인 평가 시험을 제공하는 문제은행 방식의 온라인 평가 서비스 제공 방법
KR20140066568A (ko) 온라인 반응퀴즈 게임 시스템 및 방법
US9870713B1 (en) Detection of unauthorized information exchange between users
KR20150110449A (ko) 학습 관리 서버 및 학습 관리 방법
KR20100012943A (ko) 온라인망을 기반으로 하는 학습문제 운영 시스템
KR102091789B1 (ko) 온라인 기반의 자기 주도 학습 코칭 방법
Thomas et al. When the tutor becomes the student: Design and evaluation of efficient scenario-based lessons for tutors
CN105788388A (zh) 一种基于WiFi-Direct的课堂答题系统
US8543148B2 (en) Wireless assessment administration system and process
US20140095269A1 (en) Automated assessment center
KR20140077823A (ko) 학습 컨텐츠 제공 방법 및 장치
US20140178848A1 (en) Method and apparatus for administering learning contents
US20150324066A1 (en) Remote Response System With Multiple Responses
KR20160020813A (ko) 시험 서비스 제공 시스템, 서버 및 방법
KR100973985B1 (ko) 문자메시지 기반 모바일 성적통지 시스템 및 방법
JP2016191899A (ja) ｅラーニング装置及びｅラーニング方法
KR20150072937A (ko) 교육시스템 및 이를 이용한 방법
Jefferies et al. Enhancing learning and teaching using electronic voting systems–The development of a framework for an institutional approach for their introduction
KR101428670B1 (ko) 평가 모듈을 이용한 온라인 평가 서비스 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140519

Effective date: 20150121

J2X1 Appeal (before the patent court)

Free format text: APPEAL AGAINST DECISION TO DECLINE REFUSAL