WO2023153863A1 - Online-based test and evaluation system - Google Patents

Online-based test and evaluation system Download PDF

Info

Publication number
WO2023153863A1
WO2023153863A1 PCT/KR2023/001997 KR2023001997W WO2023153863A1 WO 2023153863 A1 WO2023153863 A1 WO 2023153863A1 KR 2023001997 W KR2023001997 W KR 2023001997W WO 2023153863 A1 WO2023153863 A1 WO 2023153863A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
information
server
online
answer
Prior art date
Application number
PCT/KR2023/001997
Other languages
French (fr)
Korean (ko)
Inventor
강동열
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Publication of WO2023153863A1 publication Critical patent/WO2023153863A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/02—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using mechanical transmission
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations

Abstract

The present invention relates to an online-based test and evaluation system, wherein the online-based test and evaluation system for providing a customized problem personalized for each test taker, comprises: an administrator terminal that receives an input of test information; and a server that provides different test problems for each test taker on the basis of the test information, wherein education can be more efficiently executed and academic achievements of learners can be improved by taking a test and checking an evaluation result in real time without being confined to non-face-to-face and face-to-face lectures, cheating of a learner can be prevented by providing different problems for each learner and disabling the learner from inferring an answer through multiple choice examples, and a large-scale online test that perfectly replaces an existing offline test can be executed because there is no difficulty in grading, owing to automatic grading.

Description

온라인 기반 시험 및 평가 시스템Online-based test and evaluation system
본 발명은 온라인 기반 시험 및 평가 시스템에 관한 것으로, 더욱 상세하게는 온라인 시험을 공정하게 시행할 수 있도록 시험자별로 문제 종류, 순서, 변수 값 등을 무작위로 변경되도록 하여 다종의 시험 문제를 자동으로 생성하고 시험자 사이의 부정행위를 감지하는 기능을 가진 온라인 기반 시험 및 평가 시스템에 관한 것이다.The present invention relates to an online-based test and evaluation system, and more particularly, automatically generates multiple types of test questions by randomly changing the type of questions, order, variable values, etc. for each tester so that the online test can be conducted fairly. It relates to an online-based test and evaluation system with a function of detecting cheating between examiners.
근래에 들어, ICT의 발달로 인해 온라인 교육의 제공이 보편화되었다. 예를 들어, 이러닝(E-learning)은, 학습자(또는 사용자)가 학습자 단말기를 통해 원하는 시간과 장소에서 학습할 수 있으며, 학습내용에 대한 예상문제를 풀어볼 수 있는 환경을 제공한다. 또한, 학습자가 학습방법과 학습진도에 대해 결정할 수 있기 때문에, 시간과 장소에 구애되지 않고, 수준별 학습이 가능하다.In recent years, the provision of online education has become common due to the development of ICT. For example, E-learning provides an environment in which a learner (or a user) can learn at a desired time and place through a learner terminal and solve expected problems for learning content. In addition, since the learner can decide on the learning method and learning progress, learning by level is possible regardless of time and place.
이러한 온라인 교육의 제공이 보편화되어짐에 따라 학습자의 학습 능력 및 학업 성취도를 평가하기 위한 시험 역시 온라인을 통해 진행하고자 많은 연구가 이뤄지고 있다. 같은 강의를 듣고 있는 모든 학습자를 한 곳에 모아서 종이로 응시해야 하는 오프라인 시험과 달리 온라인 시험은 학습자의 시간, 장소에 구애받지 않고 학습자가 편안한 환경에서 응시할 수 있는 장점이 있지만, 시험 중 학습자 간 부정행위의 우려가 크며, 관리자가 시험 도중 상기 부정행위를 발견하지 못할 가능성이 높다는 문제가 있다. 이러한 문제를 해결하기 위해 시험 출제 시 학습자 및 난이도 별로 랜덤하게 문제를 출제하는 식의 방식을 활용하고 있으나, 이 역시 학습자 간에 돌아다니는 족보 혹은 시험 간 문제를 자체적으로 분석함에 따라 부정행위를 할 수 있다는 문제가 발생할 수 있다.As the provision of such online education has become more common, many studies are being conducted to conduct online tests to evaluate learners' learning ability and academic achievement. Unlike offline exams in which all learners who are taking the same lecture are gathered in one place and have to take the exam on paper, online exams have the advantage of allowing learners to take the exam in a comfortable environment regardless of the time and place of the learners, but cheating among learners during the exam is of great concern, and there is a problem that there is a high possibility that the administrator will not discover the above cheating during the test. In order to solve this problem, a method of randomly setting questions by learner and difficulty level is used when setting the test, but it is also possible to cheat by analyzing genealogy between learners or problems between tests on their own. Problems can arise.
[선행기술문헌][Prior art literature]
[특허문헌][Patent Literature]
한국공개특허공보 제10-2017-0073244호(“차세대 이러닝 평가 관리 시스템 및 방법”, 공개일 2017.06.28.)Korean Patent Publication No. 10-2017-0073244 (“Next-generation e-learning evaluation management system and method”, published on 2017.06.28.)
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서 본 발명의 목적은, 문제 종류, 순서, 변수 값 등을 무작위로 변경되도록 하여 다종의 시험 문제를 자동으로 생성하여 학습자 간 서로 다른 문제를 제공하는 온라인 기반 시험 및 평가 시스템을 제공하는 것이다.The present invention has been made to solve the above problems, and an object of the present invention is to randomly change the problem type, order, variable value, etc. to automatically generate various test questions to provide different problems between learners It is to provide an online-based test and evaluation system for
또한, 정답의 크기에 따라 소정 영역 범위 내에서 랜덤하게 객관식 보기들을 생성하는 알고리즘을 활용함으로써, 학습자가 보기들을 통한 정답 유추를 방지하는 온라인 기반 시험 및 평가 시스템을 제공하는 것이다.In addition, an online-based test and evaluation system is provided that prevents learners from guessing the correct answer through the answers by using an algorithm that randomly generates multiple-choice answers within a predetermined range according to the size of the correct answer.
또한, 시험 응시자 간 부정행위를 방지하는 기능과 온라인 네트워크 이상, 응시자의 단말기 오류 등에 의한 시험 중단에 대한 대비 기능을 활용하여 실제 오프라인 시험을 완벽하게 대체할 수 있는 온라인 기반 시험 및 평가 시스템을 제공하는 것이다.In addition, it provides an online-based test and evaluation system that can perfectly replace the actual offline test by utilizing a function to prevent cheating between test takers and a function to prepare for test interruption due to online network abnormalities and errors in the test taker's terminal. will be.
본 발명의 온라인 기반 시험 및 평가 시스템은 시험 응시자 개인별 맞춤형 문제를 제공하는 온라인 기반 시험 및 평가 시스템에 있어서, 시험 정보를 입력 받는 관리자 단말기 및 상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 서버를 포함하는 것을 특징으로 한다.The online-based test and evaluation system of the present invention is an online-based test and evaluation system that provides customized problems for each test taker, wherein different test questions are set for each test taker based on an administrator terminal receiving test information and the test information. It is characterized in that it includes a server that provides.
또한, 상기 시험 정보는 N개의 문제인 상위 문제 정보를 포함하고, 상기 서버가, 상기 시험 응시자별로 상기 N개의 상위 문제 중에 M개의 문제를 선택하여 상기 시험 문제를 생성하되, N≥M인 것을 특징으로 한다.In addition, the test information includes N top problem information, and the server generates the test questions by selecting M questions among the N top questions for each test taker, wherein N≥M do.
또한, 상기 서버가, 상기 선택된 M개의 상위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것을 특징으로 한다.In addition, the server is characterized in that the test questions are generated by randomly arranging the order of the selected M high-ranking problems.
또한, 상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보를 포함하고, 상기 서버가, 상기 선택된 M개의 상위 문제 각각에 포함된 P개의 하위 문제 중에 랜덤하게 1개의 하위 문제를 선택하여 상기 시험 문제를 생성하는 것을 특징으로 한다.In addition, the test information includes subproblem information included in each upper problem, and the server randomly selects one subproblem among the P subproblems included in each of the selected M upper problems, and the test problem It is characterized by generating.
또한, 상기 서버가, 상기 선택된 상위 문제 각각에 해당되는 하위 문제들의 순서를 전체적으로나 부분적으로 랜덤하게 나열하여 상기 시험 문제를 출제하는 것을 특징으로 한다.In addition, the server is characterized in that the test questions are set by randomly arranging the order of sub-problems corresponding to each of the selected upper-level problems in whole or in part.
또한, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나 이상의 변수의 제한 범위를 포함하고, 상기 서버는, 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다.In addition, the test information includes information on upper and lower problems and a limited range of at least one variable of the upper and lower problems, and the server randomly sets a variable value within the limited range of the variable. It is characterized by generating the test questions by doing.
또한, 상기 서버는, 저장된 정답식과 상기 설정된 변수의 제한 범위, 소숫점 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 정답을 추출하는 것을 특징으로 한다.In addition, the server is characterized in that the correct answer of the test question is extracted based on the stored answer formula, the limited range of the set variable, a decimal point, and information on the upper and lower questions.
또한, 상기 서버는, 저장된 오답식과 보기식에 의해 상기 설정된 변수의 제한 범위, 소숫점 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 오답을 추출하는 것을 특징으로 한다.In addition, the server is characterized in that the incorrect answer of the test question is extracted based on the limited range of the set variable, the decimal point, and information on the upper and lower questions by the stored incorrect answer formula and example formula.
또한, 상기 서버는, 상기 추출된 정답과 상기 추출된 오답의 차이가 소정 범위보다 같거나 작은 경우 상기 추출된 정답과 상기 추출된 오답을 이용해서 보기에 대한 정보를 생성하는 것을 특징으로 한다.In addition, the server is characterized in that when the difference between the extracted correct answer and the extracted incorrect answer is equal to or less than a predetermined range, the server generates information about the answer using the extracted correct answer and the extracted incorrect answer.
또한, 상기 서버는, 추출된 상기 정답과 추출된 상기 오답의 차이가 소정 범위보다 큰 경우, 역추산하여 상기 오답과 상기 정답과의 차이가 소정 범위 이내가 되는 새로운 변수의 범위와 소숫점을 산출하는 것을 특징으로 한다.In addition, when the difference between the extracted correct answer and the extracted incorrect answer is greater than a predetermined range, the server performs inverse estimation to calculate a new variable range and a decimal point in which the difference between the incorrect answer and the correct answer is within a predetermined range. characterized by
또한, 상기 서버는, 추출된 상기 정답과 추출된 상기 오답의 차이가 소정 범위보다 큰 경우, 추출된 상기 오답과 추출된 상기 정답과의 차이가 소정 범위 이내가 될 때까지 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 다시 설정하여 상기 오답과 상기 정답을 다시 추출하는 것을 특징으로 한다.In addition, when the difference between the extracted correct answer and the extracted incorrect answer is greater than a predetermined range, the server keeps within the limit range of the variable until the difference between the extracted incorrect answer and the extracted correct answer falls within the predetermined range. It is characterized in that the wrong answer and the correct answer are re-extracted by randomly resetting the value of the variable in .
또한, 상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보와, 상기 상위 문제 및 하위 문제 중 적어도 하나의 정답 및 복수의 보기에 대한 정보를 포함하고, 상기 서버는, 상기 복수의 보기의 순서를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다.In addition, the test information includes information about lower problems included in each upper problem, a correct answer of at least one of the upper and lower problems, and information about a plurality of answers, and the server determines the order of the plurality of answers. It is characterized in that the test questions are generated by setting them randomly.
또한, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 R개의 보기에 대한 정보를 포함하고, 상기 서버는, 상기 R개의 보기 중에 랜덤하게 S개의 보기를 선택하여 상기 시험 문제를 생성하되, R≥S인 것을 특징으로 한다.In addition, the test information includes information on upper and lower problems and information on R examples included in at least one of the upper and lower problems, and the server randomly selects S examples among the R answers. is selected to create the test question, characterized in that R≥S.
또한, 상기 서버는, 상기 R개의 보기 중에 U개의 정답을 설정하며, 상기 S개의 보기는 상기 U개의 정답 중 적어도 하나의 정답을 포함하여 상기 시험 문제를 생성하되, R>U≥1인 것을 특징으로 한다.In addition, the server sets U correct answers among the R answers, and the S answers generate the test questions including at least one correct answer among the U correct answers, wherein R>U≥1. to be
또한, 상기 서버는, 상기 정답에 해당하는 객관식 보기의 위치를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다.In addition, the server may generate the test questions by randomly setting positions of multiple-choice options corresponding to the correct answers.
또한, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 보기 정보 및 정답 정보를 포함하고, 상기 서버는, 상기 상위 및 하위 문제에 대한 정보, 보기 정보 및 정답 정보를 토대로 복수개의 오답을 추출하여 상기 시험 문제를 생성하는 것을 특징으로 한다.In addition, the test information includes information on upper and lower problems, and information on an answer and answer information included in at least one of the upper and lower problems, and the server includes information on the upper and lower problems and information on an example and generating the test questions by extracting a plurality of incorrect answers based on correct answer information.
또한, 상기 서버는, 상기 정답 정보 내 소숫점 자리와 동일한 복수개의 오답을 생성하되, 상기 정답 및 복수개의 오답들 간 차이를 설정하며, 상기 정답 정보의 소정 영역 범위 내에서 복수개의 오답을 생성하고, 상기 정답 정보의 소정 영역 범위와 소숫점은 상기 정답의 크기가 따라 동일하거나 달라지는 것을 특징으로 한다.In addition, the server generates a plurality of incorrect answers equal to the decimal places in the correct answer information, sets a difference between the correct answer and the plurality of incorrect answers, and generates a plurality of incorrect answers within a predetermined range of the correct answer information, It is characterized in that the predetermined area range and the decimal point of the correct answer information are the same or different depending on the size of the correct answer.
또한, 상기 시험 정보는 상기 상위 및 하위 문제에 대한 정보와 상기 상위 및 하위 문제의 점수 배점 정보를 포함하고, 상기 서버는, 상기 상위 및 하위 문제의 점수 배점 정보 및 상기 시험 문제의 추출된 정답을 토대로 최종 점수를 측정하는 것을 특징으로 한다.In addition, the test information includes information on the upper and lower problems and score distribution information of the upper and lower problems, and the server determines the score distribution information of the upper and lower problems and the extracted correct answers of the test questions. It is characterized in that the final score is measured based on.
또한, 상기 서버는, 상기 M개의 상위 문제 중 적어도 하나인 Q개의 문제를 선택하며, 상기 Q개의 문제는 서로 연동되어 있음을 특징으로 하며, 상기 Q개의 문제에 해당하는 정답 정보도 연동되어 있는 것을 특징으로 한다.In addition, the server selects Q problems, which are at least one of the M upper problems, and the Q problems are interlocked with each other, and correct answer information corresponding to the Q problems is also interlocked. to be characterized
또한, 상기 시스템은, 상기 서버로부터 제공된 시험 문제를 다운받아 상기 시험 응시자가 시험을 응시하는 응시자 단말기를 더 포함하는 것을 특징으로 한다.The system may further include a test taker terminal through which the test taker takes the test by downloading the test questions provided from the server.
또한, 상기 응시자 단말기는, 상기 시험 응시자가 응시 완료한 시험 문제를 상기 서버로 전송하고, 상기 서버는, 상기 시험 문제의 정답에 기초하여 상기 응시자 단말기로부터 송신된 시험 문제의 답에 대한 채점 정보를 추출하며, 상기 추출된 채점 정보 및 상기 상위 및 하위 문제의 점수 배점 정보에 기초하여 최종 점수 정보를 추출하며, 상기 추출된 최종 점수 정보를 상기 응시자 단말기에 송신하는 것을 특징으로 한다.In addition, the test taker terminal transmits test questions completed by the test taker to the server, and the server, based on the correct answer of the test question, transmits scoring information on the answer to the test question transmitted from the test taker terminal. extracting, extracting final score information based on the extracted scoring information and score allocation information of the upper and lower problems, and transmitting the extracted final score information to the test taker terminal.
또한, 상기 시험 정보는 시험 시간, 응시자 수를 더 포함하고, 상기 서버는, 상기 상위 및 하위 문제들의 정답률을 계산하여 상기 상위 및 하위 문제들에 대한 난이도를 추출하며, 상기 추출된 난이도 정보를 상기 관리자 단말기에 송신하는 것을 특징으로 한다.In addition, the test information further includes an exam time and the number of test takers, and the server extracts the difficulty of the upper and lower questions by calculating the percent correct of the upper and lower questions, and the extracted difficulty information It is characterized in that it is transmitted to the manager terminal.
또한, 상기 서버는, 한번에 처리할 시험 응시자 집단 수를 조절하고 여러 집단을 순차적으로 처리할 수 있는 것을 특징으로 한다.In addition, the server is characterized in that it can control the number of test taker groups to be processed at one time and sequentially process several groups.
또한, 상기 응시자 단말기는, 상기 시험 응시자에 의해 상기 시험 문제의 답이 입력되면 상기 시험 정보에 입력된 시간 t1, 혹은 특정 시간마다 상기 서버와 통신하여 상기 시험 문제의 답을 송신하는 것을 특징으로 하며, 상기 서버는 수신된 상기 시험 문제의 답을 상기 t1, 혹은 특정 시간마다 저장하는 것을 특징으로 한다.In addition, the test taker terminal is characterized in that when an answer to the test question is input by the test taker, the test taker terminal communicates with the server to transmit the test question answer at a time t1 input to the test information or at a specific time, , It is characterized in that the server stores the received answer to the test question at the t1 or every specific time.
또한, 상기 시스템은, 상기 시험 응시자가 응시자 단말기를 통해 상기 시스템에 접속하면, 상기 응시자 별로 단말기의 IP, 브라우저 ID, 및 접속 시간을 송신하여 상기 서버에 저장하고, 상기 저장된 단말기의 IP, 브라우저 ID, 및 접속 시간을 상시로 감지, 비교하는 것을 특징으로 한다.In addition, when the test taker accesses the system through a test taker terminal, the system transmits the IP, browser ID, and access time of the terminal for each test taker, and stores the stored terminal IP and browser ID in the server. , and access time are always detected and compared.
본 발명에 따른 온라인 기반 시험 및 평가 시스템은, 비대면, 대면 강의에 국한되지 않고 시험을 치고 평가 결과를 실시간으로 확인함으로써 교육을 보다 효율적으로 수행할 수 있고 학습자들의 학업 성취도도 향상되는 효과가 있다.The online-based test and evaluation system according to the present invention is not limited to non-face-to-face and face-to-face lectures, and by taking tests and checking evaluation results in real time, it is possible to conduct education more efficiently and improve learners' academic achievement. .
또한, 학습자 별로 서로 다른 문제를 제공하며, 학습자가 객관식 보기들을 통해 정답을 유추할 수 없도록 함으로써, 학습자의 부정행위를 방지하는 효과가 있다.In addition, by providing different problems for each learner and preventing learners from inferring correct answers through multiple-choice answers, there is an effect of preventing learners from cheating.
또한, 자동 채점으로 채점의 어려움이 없으므로 기존의 오프라인 시험을 완벽하게 대체한 대규모 온라인 시험을 시행할 수 있는 효과가 있다.In addition, since there is no difficulty in scoring with automatic scoring, there is an effect of conducting a large-scale online test that completely replaces the existing offline test.
도 1은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템을 나타낸 블록구성도1 is a block diagram showing an online-based test and evaluation system according to an embodiment of the present invention.
도 2는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 상위 문제 및 하위 문제의 개수 및 순서를 선정하는 부분을 나타낸 블록구성도2 is a block diagram showing a part for selecting the number and order of upper and lower problems in an online-based test and evaluation system according to an embodiment of the present invention.
도 3은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답을 추출하는 부분을 나타낸 블록구성도3 is a block diagram showing a part for extracting correct answers in an online-based test and evaluation system according to an embodiment of the present invention.
도 4는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답과 보기들을 직접 입력하는 객관식 유형 문제에서 정답을 추출하는 부분을 나타낸 블록구성도4 is a block diagram showing a part for extracting correct answers from multiple-choice type questions in which correct answers and answers are directly input in an online-based test and evaluation system according to an embodiment of the present invention;
도 5는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답식과 변수 범위를 입력하는 객관식 유형 문제에서 오답을 추출하는 부분을 나타낸 블록구성도5 is a block diagram showing a part for extracting an incorrect answer from a multiple-choice type question in which a correct answer formula and variable range are input in an online-based test and evaluation system according to an embodiment of the present invention;
도 6은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 응시자 단말기를 포함하여 나타낸 블록구성도6 is a block diagram showing a test taker terminal including a test taker terminal in an online-based test and evaluation system according to an embodiment of the present invention.
도 7은 본 발명의 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 최종 점수 정보 및 난이도 정보를 추출하는 부분을 나타낸 블록구성도7 is a block diagram showing a part for extracting final score information and difficulty information in an online-based test and evaluation system according to an embodiment of the present invention.
이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, the technical idea of the present invention will be described in more detail using the accompanying drawings. Prior to this, the terms or words used in this specification and claims should not be construed as being limited to the usual or dictionary meaning, and the inventor appropriately uses the concept of the term in order to explain his/her invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, since the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention and do not represent all of the technical ideas of the present invention, various modifications that can replace them at the time of the present application It should be understood that there may be examples.
이하, 본 발명의 기술적 사상을 첨부된 도면을 사용하여 더욱 구체적으로 설명한다. 첨부된 도면은 본 발명의 기술적 사상을 더욱 구체적으로 설명하기 위하여 도시된 일예에 불과하므로 본 발명의 기술적 사상이 첨부된 도면의 형태에 한정되는 것은 아니다.Hereinafter, the technical idea of the present invention will be described in more detail using the accompanying drawings. Since the accompanying drawings are only examples shown to explain the technical idea of the present invention in more detail, the technical idea of the present invention is not limited to the form of the accompanying drawings.
도 1은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템을 나타낸 블록구성도이다. 1 is a block diagram showing an online-based test and evaluation system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 시험 응시자 개인별 맞춤형 문제를 제공하는 온라인 기반 시험 및 평가 시스템에 있어서, 시험 정보를 입력 받는 관리자 단말기(200) 및 상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 서버(100)를 포함한다.As shown in FIG. 1, in an online-based test and evaluation system that provides customized problems for each test taker, an administrator terminal 200 receiving test information and different test questions for each test taker based on the test information It includes a server 100 that provides.
관리자 단말기(200)는 관리자에게 시험 문제를 만들기 위한 시험 정보를 입력 받아 서버로 전송하는 역할을 한다. 주로, 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 휴대 단말기(Portable Terminal), 울트라북(ultrabook), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA) 등을 포함할 수 있다.The administrator terminal 200 serves to receive test information for creating test questions from the administrator and transmit it to the server. Mainly, smart phones, tablet PCs, personal computers, notebook computers, portable terminals, ultrabooks, mobile terminals, foldable terminals ( Foldable Terminal), Personal Digital Assistant (PDA), and the like.
서버(100)는 관리자 단말기(200)로부터 입력 받은 상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 역할을 한다.The server 100 serves to provide different test questions for each test taker based on the test information received from the administrator terminal 200 .
다음으로 서버(100)에서 시험 응시자 별로 서로 다른 시험 문제를 제공하는 부분에 대해 알아보고자 한다.Next, a part of the server 100 that provides different test questions for each test taker will be described.
도 2는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 상위 문제 및 하위 문제의 개수 및 순서를 선정하는 부분을 나타낸 블록구성도이다.2 is a block diagram showing a part for selecting the number and order of upper and lower problems in an online-based test and evaluation system according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 서버(100)가, 상기 시험 응시자별로 상기 N개의 상위 문제 중에 랜덤하게 M개의 문제를 선택하여 상기 시험 문제를 생성하되, N≥M인 것을 특징으로 한다. 이 때 상기 시험 정보는 N개의 문제인 상위 문제 정보를 포함한다. 또한, 서버(100)가, 상기 선택된 M개의 상위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 상위 문제는 시험의 문항을 의미하며, 본 발명에서는 N개의 문항 중 M개를 선택하고, M개의 문항 순서를 시험 응시자별로 랜덤하게 나열하여 시험 문제를 생성한다. 따라서, 우선적으로 시험의 문항을 시험 응시자별로 문제 및 문제 순서를 다르게 하여 시험 문제를 생성할 수 있다.As shown in FIG. 2 , the server 100 generates the test questions by randomly selecting M questions from among the N top questions for each test taker, wherein N≧M. At this time, the test information includes upper problem information of N problems. In addition, the server 100 is characterized in that the test questions are generated by randomly arranging the order of the selected M high rank questions. The top questions refer to the questions of the test, and in the present invention, M questions are selected from among the N questions, and the order of the M questions is randomly arranged for each test taker to generate the test questions. Therefore, the test questions may be created by preferentially differentiating the questions and the order of the questions for each test taker.
또한, 서버(100)가, 상기 선택된 M개의 상위 문제 각각에 포함된 P개의 하위 문제 중에 랜덤하게 1개의 하위 문제를 선택하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 이 때 상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보를 포함한다. 또한, 서버(100)가, 상기 선택된 상위 문제 각각에 해당하는 하위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 하위 문제는 시험 문항의 내용을 의미하며, 본 발명에서는 선택된 문항 각각에 포함된 P개의 하위 문제 중 랜덤으로 1개의 하위 문제를 선택할 수 있으며, 선택된 전체 문제들의 순서를 전체 혹은 부분적으로, 시험 응시자별로 랜덤하게, 나열하여 시험 문제를 출제한다. 따라서, 시험 문항 내의 동일한 문제 또한 시험 응시자별로 내용 및 문제 순서가 다르게 생성되어 시험 문제로 출제된다.In addition, the server 100 is characterized in that the test question is generated by randomly selecting one subproblem among the P subproblems included in each of the selected M subproblems. At this time, the test information includes lower problem information included in each upper problem. In addition, the server 100 is characterized in that the test questions are generated by randomly arranging the order of lower problems corresponding to each of the selected upper problems. The sub-problem means the content of the test item, and in the present invention, one sub-problem can be randomly selected from among the P sub-problems included in each selected item, and the order of the entire selected questions is divided in whole or in part, for each test taker. The test questions are presented randomly and in sequence. Therefore, the same question in the test item is also created as a test question with different contents and order of questions for each test taker.
도 3은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답을 추출하는 부분을 나타낸 블록구성도이다.3 is a block diagram showing a part for extracting correct answers in an online-based test and evaluation system according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 변수의 제한 범위를 포함하고, 서버(100)는, 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 결국, 본 발명에서는 문제 내에 있는 변수의 제한 범위를 둠으로써, 시험 응시자별로 랜덤하게 변수의 값 또한 설정할 수 있다. 예를 들어, 문항 내 a+b의 문제가 있다고 가정하고, a의 범위를 1.2≤a≤5.0, b의 범위를 4.0≤b≤7.0이라 가정한다면, 같은 시험 문제가 응시자별로 a의 범위 및 b의 범위 내에서 변수 a, b의 값이 랜덤으로 결정이 되며, 변수의 값에 따라 문제, 정답의 값 또한 시험 문제별로 달라질 수 있다. 또한, 변수 범위의 소수점 자릿수에 따라 무작위로 생성되는 난수들의 소수점 자릿수도 결정된다. 앞의 a의 예에서는 1.2, 1.3, ... , 5.0 중에서 랜덤하게 선택되고, a의 난수를 소수점 둘째 자리까지 생성하려면 변수 a의 범위를 1.20~5.00으로 입력하면 된다.As shown in FIG. 3, the test information includes information on upper and lower problems and a limited range of variables included in at least one of the upper and lower problems, and the server 100 limits the variables. It is characterized in that the test questions are generated by randomly setting values of variables within a range. As a result, in the present invention, by setting a limited range of variables within a problem, variable values can also be set randomly for each test taker. For example, assuming that there are questions of a+b within the item, and assuming that the range of a is 1.2≤a≤5.0 and the range of b is 4.0≤b≤7.0, the same test question is for each candidate in the range of a and b The values of variables a and b are randomly determined within the range of , and the values of questions and correct answers may also vary for each test question according to the values of the variables. Also, the number of decimal places of randomly generated random numbers is determined according to the number of decimal places in the variable range. In the example of a above, 1.2, 1.3, ..., 5.0 are randomly selected, and to generate a random number of a up to two decimal places, enter the range of variable a as 1.20 to 5.00.
또한, 상기 서버는, 저장된 정답식과 상기 설정된 변수의 범위 내에서의 값 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 정답을 추출하되, 상기 변수의 제한 범위에 기초하여 상기 정답의 소정 영역의 범위가 결정된다.In addition, the server extracts the correct answer of the test question based on the stored answer formula, values within the range of the set variable, and information on the upper and lower questions, and a predetermined area of the correct answer based on the limited range of the variable. range is determined.
또한, 상기 서버는, 저장된 오답식과 보기식, 상기 설정된 변수의 범위 내에서의 값 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 오답들을 추출하되, 상기 변수의 제한 범위에 기초하여 상기 오답들의 소정 영역의 범위가 결정된다.In addition, the server extracts incorrect answers to test questions based on stored incorrect answer expressions and example expressions, values within the range of the set variables, and information on the upper and lower questions, and the incorrect answers based on the limited range of the variables. The range of a predetermined area of s is determined.
따라서, 본 발명에 따른 온라인 기반 시험 및 평가 시스템은 정답의 소정 영역 범위 내에서 문제의 숫자들과 이에 따른 정답과 오답들이 랜덤하게 추출되므로 시험 응시자별로 다른 정답을 포함한 보기가 생성되어 시험 응시자 간 부정행위를 방지할 수 있다.Therefore, since the online-based test and evaluation system according to the present invention randomly extracts the number of questions and corresponding correct and incorrect answers within a predetermined area of the correct answer, a view including different correct answers is generated for each test taker, thereby creating a negative relationship among test takers. action can be prevented.
따라서, 상기에 설명한 바와 같이, 시험 응시자별로 시험 문제 내 문항 및 문항 순서를 랜덤으로 정해지도록 하고, 문항 내 내용 및 문제 순서를 랜덤으로 정해지도록 하며, 문제별 주어진 변수의 값 또한 랜덤으로 정해지므로 시험 응시자별로 서로 다른 문제들이 출제되므로 시험 응시자 간 부정행위를 방지할 수 있다.Therefore, as described above, the questions and the order of questions in the test questions are randomly determined for each test taker, the contents and order of questions in the questions are randomly determined, and the values of the variables given for each question are also randomly determined. Since different questions are set for each test taker, cheating among test takers can be prevented.
다음으로 문제 유형별로 문제를 출제하는 방식에 대해 알아보고자 한다.Next, we will look at how to present problems for each type of problem.
먼저, 문제 유형이 객관식 유형일 때 시험 문제가 시험 응시자별로 어떻게 달라지는지 알아보고자 한다. 참고로, 객관식 유형에는 공통적으로 보기가 존재하며, 복수개의 보기 중 정답을 찾는 유형이라고 생각하면 된다.First, when the question type is a multiple-choice type, we want to find out how the test questions differ for each test taker. For reference, the multiple choice type has an answer in common, and you can think of it as a type of finding the correct answer among multiple choices.
상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보와, 상기 상위 문제 및 하위 문제 중 적어도 하나에 해당되는 적어도 하나의 정답 및 복수의 보기에 대한 정보를 포함하고, 서버(100)는, 상기 복수의 보기의 순서를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 따라서, 시험 응시자별로 시험 문제에 따라 복수의 보기 순서가 랜덤으로 설정되므로 부정행위를 방지할 수 있다.The test information includes lower problem information included in each upper problem, at least one correct answer corresponding to at least one of the upper and lower problems, and information on a plurality of answers, and the server 100 includes the plurality of answers. It is characterized in that the test questions are generated by randomly setting the order of the examples. Accordingly, cheating can be prevented because the order of a plurality of views is randomly set according to test questions for each test taker.
다음으로, 정답과 보기들을 직접 입력하는 객관식 유형 문제와 정답식, 오답식, 보기식, 그리고 변수 범위를 입력하는 객관식 유형 문제의 경우, 문제의 보기와 정답의 출제 방법이 달라지므로 우선적으로 어떻게 달라지는지 확인하도록 하자.Next, in the case of multiple-choice type questions in which correct answers and answers are directly entered and multiple-choice type questions in which correct answers, incorrect answers, example expressions, and variable ranges are entered, since the method of presenting the question and the correct answer are different, firstly, how do they change? Let's check if
도 4는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답과 보기들을 출제자가 직접 입력하는 객관식 유형 문제에서 정답을 추출하는 부분을 나타낸 블록구성도이다.4 is a block diagram showing a part for extracting correct answers from a multiple-choice type question in which an examiner directly inputs correct answers and examples in an online-based test and evaluation system according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 정답과 보기들을 직접 입력하는 객관식 유형 문제의 경우, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 R개의 보기에 대한 정보를 포함하고, 서버(100)는, 상기 R개의 보기 중에 랜덤하게 S개의 보기를 선택하여 상기 시험 문제를 생성하되, R≥S인 것을 특징으로 한다. 또한, 서버(100)는, 상기 R개의 보기 중에 U개의 정답을 설정하며, 상기 S개의 보기는 상기 U개의 정답 중 적어도 하나의 정답을 포함하여 상기 시험 문제를 생성하되, R>U≥1인 것을 특징으로 한다. 예를 들어, 정답의 개수가 1개인 6지 선다형 문제 유형을 정한다고 가정한다면, 종래에는 정답 1개, 오답 5개를 입력하면 되지만, 본 발명에서는 예를 들어, 문제 정보에 14개의 보기 정보가 입력되어 있으며, 이 중 정답의 개수를 4개, 오답의 개수를 10개라고 가정하면 서버(100)가 문제를 생성할 시, 4개의 정답 중 랜덤하게 1개를 선택하고, 10개의 오답 중 랜덤하게 5개를 선택한다. 만약 출제자가 출제되는 문제의 정답 개수를 2개로 선택할 시, 4개의 정답 중 랜덤하게 2개를 선택하고, 10개의 오답 중 랜덤하게 4개를 선택한다. 그리고 이렇게 추출된 정답을 포함한 보기들은 응시자별로 랜덤하게 섞여서 출제된다. 상기 예시는 일실시예로, 시험 정보에 포함된 보기 정보 및 정답의 개수에 따라 달라질 수 있다. 다시 말해, 본 발명에서는 시험 정보 내 복수개의 보기 정보 및 복수개의 정답 정보가 있으며, 정답의 개수 및 보기의 개수가 정해지면, 복수개의 보기 정보 및 복수개의 정답 정보 내에서 추출하여 시험 문제를 생성함으로, 시험 응시자별로 시험 문제 내 보기의 정보가 달라짐으로써 부정 행위를 방지할 수 있다.As shown in FIG. 4, in the case of a multiple-choice type problem in which correct answers and answers are directly input, the test information includes information on upper and lower problems and R number of options included in at least one of the upper and lower problems. information, and the server 100 generates the test questions by randomly selecting S number of answers among the R number of answers, characterized in that R≥S. In addition, the server 100 sets U correct answers among the R number of answers, and the S number of answers includes at least one correct answer among the U correct answers to generate the test questions, where R>U≥1 characterized by For example, assuming that a six-choice multiple-choice problem type with one correct answer is determined, conventionally one correct answer and five incorrect answers have to be entered, but in the present invention, for example, 14 example information is provided input, and assuming that the number of correct answers is 4 and the number of incorrect answers is 10, when the server 100 generates a problem, it randomly selects one of the four correct answers and randomly selects one of the 10 incorrect answers. Choose 5 carefully. If the presenter selects the number of correct answers for the question to be presented as 2, randomly selects 2 out of 4 correct answers and randomly selects 4 out of 10 incorrect answers. In addition, the examples including the correct answers extracted in this way are randomly mixed for each test taker. The above example is an embodiment, and may vary according to the number of example information and correct answers included in the test information. In other words, in the present invention, there are a plurality of example information and a plurality of correct answer information in the test information, and when the number of correct answers and the number of answers are determined, test questions are generated by extracting the plurality of example information and the plurality of correct answer information. In addition, cheating can be prevented by changing the information in the test questions for each test taker.
다음으로 본 발명에서 정답식, 오답식, 보기식, 그리고 변수 범위를 입력하는 객관식 유형에서 정답을 포함한 보기들을 추출하는 방법에 대해 알아보도록 하자.Next, in the present invention, a method of extracting answers including correct answers from multiple choice types inputting a correct answer expression, an incorrect answer expression, an example expression, and a variable range will be described.
서버(100)는, 상기 정답에 해당하는 객관식 보기의 위치를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 따라서, 본 발명에서는 상기 설정된 변수들의 범위에 따라 랜덤하게 정답을 추출할 수 있으며, 시험 응시자별로 복수개의 보기 중 정답에 해당하는 위치를 랜덤으로 설정한다는 것이다. 예를 들어, 객관식 유형 중 6지 선다형 문제라고 가정할 시, 정답의 위치를 1번 내지 6번 중 적어도 어느 하나에 해당하는 위치에 응시자별로 랜덤으로 설정되어 문제가 출제된다.The server 100 is characterized in that the test questions are generated by randomly setting positions of multiple-choice options corresponding to the correct answers. Therefore, in the present invention, the correct answer can be randomly extracted according to the set range of variables, and a position corresponding to the correct answer among a plurality of answers is randomly set for each test taker. For example, assuming that it is a 6-choice multiple-choice problem among multiple-choice types, the position of the correct answer is randomly set for each candidate at a position corresponding to at least one of numbers 1 to 6, and the question is presented.
도 5는 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 정답식과 변수 범위를 입력하는 객관식 유형 문제에서 오답을 추출하는 부분을 나타낸 블록구성도이다.5 is a block diagram showing a part for extracting an incorrect answer from a multiple-choice type question in which a correct answer formula and a variable range are input in an online-based test and evaluation system according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 보기에 대한 정보 및 정답에 대한 정보를 포함하고, 서버(100)는, 상기 상위 및 하위 문제에 대한 정보, 보기에 대한 정보 및 정답에 대한 정보를 토대로 복수개의 오답을 추출하여 상기 시험 문제를 생성하는 것을 특징으로 한다. 또한, 서버(100)는, 상기 정답의 정보에 연동하여 결정되는 소숫점 자리와 동일한 복수개의 오답을 생성하되, 저장된 오답식과 상기 설정된 변수의 값 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 오답을 추출하는 것을 특징으로 한다.As shown in FIG. 5, the test information includes information on upper and lower problems, information on examples included in at least one of the upper and lower problems, and information on correct answers, and the server 100 , It is characterized in that the test questions are generated by extracting a plurality of incorrect answers based on the information on the upper and lower questions, the information on the examples, and the information on the correct answer. In addition, the server 100 generates a plurality of incorrect answers identical to the decimal places determined in conjunction with the information of the correct answer, but determines the number of test questions based on the stored incorrect answer formula, the values of the set variables, and the information on the upper and lower questions. It is characterized by extracting wrong answers.
서버(100)는, 상기 정답 및 복수개의 오답들 간 차이를 설정하며, 상기 정답 정보의 소정 영역 범위 내에서 복수개의 오답을 생성한다는 것이다. 단, 상기 정답 정보의 소정 영역 범위는 고정되거나 상기 정답의 크기에 연동되는 것을 특징으로 한다.The server 100 sets a difference between the correct answer and a plurality of incorrect answers, and generates a plurality of incorrect answers within a predetermined range of the correct answer information. However, the predetermined range of the correct answer information is fixed or interlocked with the size of the correct answer.
상기 정답, 오답 및 보기를 생성하는 부분을 구체화하여 설명하도록 하겠다.The part that generates the correct answer, wrong answer, and example will be described in detail.
먼저 정답을 추출할 때, 저장된 정답식과 상기 시험 정보와 상기 변수의 제한 범위 내에서 랜덤하게 설정된 변수의 값에 의해 특정 범위 내에서, 정답의 크기에 연동되거나 고정된 소수점으로 정답을 도출할 수 있다. 여기서, 예를 들어, 본 발명에 따른 정답의 특정 범위는 0.11≤정답≤100000.00으로 가정하자. 이 정답의 범위는 필요하다면 문제관리자가 아래 알고리즘 상에서 바꿀 수 있다. 이러한 정답의 범위에 따른 명령에 관련된 알고리즘은 하기에 표시되어 있다.First, when extracting the correct answer, the correct answer can be derived with a fixed decimal point or interlocked with the size of the correct answer within a specific range based on the stored answer formula, the test information, and the value of a variable randomly set within the limited range of the variable. . Here, for example, assume that the specific range of correct answers according to the present invention is 0.11 ≤ correct answer ≤ 100000.00. The range of these answers can be changed by the problem manager in the algorithm below if necessary. Algorithms related to commands according to these ranges of correct answers are shown below.
If 0.11≤Abs[정답] and Abs[정답] < 0.2; 정답 인정, command1If 0.11≤Abs[correct answer] and Abs[correct answer] < 0.2; Acknowledge the correct answer, command1
If 0.2≤Abs[정답] and Abs[정답] ≤ 99500; 정답 인정If 0.2≤Abs[correct answer] and Abs[correct answer] ≤ 99500; Acknowledge the correct answer
If 99500 < Abs[정답] and Abs[정답] ≤ 100000; 정답 인정, command2If 99500 < Abs[correct answer] and Abs[correct answer] ≤ 100000; Acknowledge the correct answer, command2
If Abs[정답] < 0.11 or Abs[정답] > 100000; 정답 불인정, command3, 정답식 추출과정 100번 loop.If Abs[correct answer] < 0.11 or Abs[correct answer] > 100000; Answer disapproved, command3, loop 100 times in the process of extracting the correct answer formula.
(여기서, command1, command2, command3은 메시지 명령어로 오직 문제관리자인 경우에만 실행됨. command1은 예를 들어, ‘정답의 하한을 0.2보다 더 크게 재설정 해주세요.’, command2는 ‘정답의 상한을 99500보다 더 작게 재설정 해주세요.’, command3은 ‘정답이 0.2보다 크고 99500보다 작도록 재설정 해주세요.’로 설정될 수 있음.)(Here, command1, command2, and command3 are message commands and are executed only in the case of a problem manager. Command1 is, for example, 'Please reset the lower limit of the correct answer to greater than 0.2.', command2 is 'the upper limit of the correct answer is greater than 99500. Please reset it smaller.', command3 can be set to 'Please reset the correct answer to be greater than 0.2 and less than 99500.')
또한, 정답 및 복수개의 오답들 간 차이를 설정하는 부분에 대해 설명하면, 먼저 정답 및 복수개의 오답의 소수점 자릿수(flag)를 설정한다. 이에 대한 알고리즘은 하기에 표시되어 있다.In addition, when explaining the part of setting the difference between the correct answer and the plurality of incorrect answers, first, the number of decimal places (flag) of the correct answer and the plurality of incorrect answers is set. The algorithm for this is shown below.
flag = 2(default)flag = 2 (default)
If 8 ≤ 정답 ≤ 12, flag = 1 or 2 중 랜덤 pick.If 8 ≤ correct answer ≤ 12, flag = 1 or 2, random pick.
If 12 < 정답 < 800, flag = 1If 12 < correct answer < 800, flag = 1
If 800 ≤ 정답 ≤ 1200, flag = 0 or 1 중 랜덤 pick.If 800 ≤ correct answer ≤ 1200, flag = 0 or 1 random pick.
If 1200 < 정답 ≤ 100000, flag = 0If 1200 < correct answer ≤ 100000, flag = 0
여기서, flag는 소수점 자릿수를 의미하며, 정답의 크기가 작을수록 소수점 자릿수가 늘어나고, 정답의 크기가 클수록 소수점 자릿수가 작아진다는 것을 확인할 수 있다. 또한, 상기 알고리즘의 2번째와 4번째 줄에서와 같이, 정답의 크기가 특정 범위 내에 속할 경우, 서버(100)가 랜덤하게 소수점 자릿수를 설정한다. 상기의 범위나 방식은 상기 알고리즘처럼 고정된 것이 아니며, 필요하다면 문제관리자가 바꿀 수도 있다.Here, the flag means the number of decimal places, and it can be seen that the smaller the size of the correct answer, the larger the number of decimal places, and the larger the size of the correct answer, the smaller the number of decimal places. Also, as in the second and fourth lines of the algorithm, when the size of the correct answer falls within a specific range, the server 100 randomly sets the number of decimal places. The above range or method is not fixed like the above algorithm, and can be changed by the problem manager if necessary.
정답식에 의한 정답 및 복수개의 오답의 소수점 자릿수(flag)가 설정되면, 정답의 크기에 연동되는 정답과 오답들과의 차이(D)를 설정한다. 본 발명에 따른 D를 추출하기 위한 범위에 대한 식은 아래와 같다.When the number of decimal places (flag) of the correct answer and a plurality of incorrect answers is set according to the correct answer formula, a difference (D) between the correct answer and the incorrect answers linked to the size of the correct answer is set. The formula for the range for extracting D according to the present invention is as follows.
p = [-2.25×log10(정답)+12.25] ~ 1.3×[-2.25×log10(정답)+12.25]p = [-2.25×log10(correct answer)+12.25] to 1.3×[-2.25×log10(correct answer)+12.25]
(여기서, log10은 밑이 10인 로그함수이다.)(Where log10 is the base 10 logarithmic function.)
위 식은 하나의 예로써, 정답이 10일 때 10~13%가 범위로 산출되며, 정답이 100000일 때 1~1.3%가 범위로 산출될 수 있음을 의미한다. 로그함수 뿐만 아니라 다른 수학 함수들로도 위의 예와 같이 정답의 크기에 따라 변하는 p의 범위를 조정할 수 있다. 또한, p의 최소, 최대값을 정답의 크기에 따른 범위별로 계단식으로 다르게 배정하거나, 혹은 정답에 관계없이 같은 값으로 고정할 수 있다. 전체 허용되는 정답의 범위도 필요하다면 조정할 수 있다.The above formula is an example. When the correct answer is 10, 10 to 13% is calculated as a range, and when the correct answer is 100000, it means that 1 to 1.3% can be calculated as a range. Not only the logarithmic function, but also other mathematical functions can adjust the range of p, which changes according to the size of the correct answer, as in the example above. In addition, the minimum and maximum values of p may be differently assigned in a cascading manner for each range according to the size of the correct answer, or may be fixed to the same value regardless of the correct answer. The range of total acceptable correct answers can also be adjusted if necessary.
서버(100)는 상기의 범위 내에서 입력된 보기의 개수(Nc)에 따라 랜덤하게 Nc-1개의 값(p1, p2, p3...)을 선택하고 이 값들은 정답과 보기, 보기와 보기들 사이의 차이와 관계가 있다.The server 100 randomly selects Nc-1 values (p1, p2, p3...) according to the number of input answers (Nc) within the above range, and these values are correct answers and answers, and answers and answers. There are differences and relationships between them.
이렇게 정답 및 복수개의 오답들 간 차이에 해당하는 값들을 결정한다면 하기 수학식 1를 따라 D 값들로 나타낼 수 있다.If values corresponding to the difference between a correct answer and a plurality of incorrect answers are determined in this way, they can be expressed as D values according to Equation 1 below.
[수학식 1][Equation 1]
Figure PCTKR2023001997-appb-img-000001
Figure PCTKR2023001997-appb-img-000002
, ...
Figure PCTKR2023001997-appb-img-000001
Figure PCTKR2023001997-appb-img-000002
, ...
(여기서, D1, D2는 정답 및 복수개의 오답들 간 차이 값들, p1은 위 로그가 포함된 식 p, 즉, 정답의 크기에 따른 범위 내에서 랜덤하게 선택된 하나의 수를 의미함)(Where, D1 and D2 are difference values between a correct answer and a plurality of incorrect answers, p1 is an expression p including the above logarithm, that is, a number randomly selected within a range according to the size of the correct answer)
위 알고리즘에 의해 정답, D=[D1, D2, D3...], 그리고 자릿수가 정해지면 객관식 보기의 수(예, Nc=6지 선다형, Nc=8지 선다형)에 따라 추출된 보기들은 응시자별로 정답과 랜덤하게 섞여서 출제된다. 보기 추출 알고리즘이 응시자에게 노출되더라도 응시자가 출제된 정답과 보기들을 관찰하고 분석하여 정답을 역추적할 수 없다.If the correct answer, D=[D1, D2, D3...], and the number of digits are determined by the above algorithm, the options extracted according to the number of multiple choice choices (eg, Nc=6 multiple choice, Nc=8 multiple choice) are It is randomly mixed with the correct answer for each question. Even if the answer extraction algorithm is exposed to the candidate, the candidate cannot trace back the correct answer by observing and analyzing the correct answers and examples presented.
또한, 정답식과 보기식이 설정되면, 상기의 과정으로 정답식에 의해 정답이 산출되고, 상기의 정답식에 의한 오답 산출과 유사하게, 보기식의 변수와 변수 범위에서 랜덤하게 Nc-1개의 오답들이 소수점 자릿수에 맞춰 같이 추출되게 된다.In addition, when the correct answer formula and the example formula are set, the correct answer is calculated by the correct answer formula in the above process, and similar to the calculation of the incorrect answer by the above correct answer formula, Nc-1 incorrect answers are randomly generated from the variables and variable ranges of the example formula. They are extracted together according to the number of decimal places.
또한, 정답식, 하나 이상의 오답식, 그리고 소수점 자릿수(flag)가 설정되면, 변수 범위에서 랜덤하게 선택된 값들에 의해 정답식에 의한 정답과 오답식들에 의한 오답들도 소수점 자릿수에 맞춰 같이 추출되게 된다.In addition, if the correct answer formula, one or more incorrect answer formulas, and the number of decimal places (flag) are set, the correct answers by the correct answer formula and the incorrect answers by the incorrect answer formulas are also extracted according to the number of decimal places by randomly selected values from the variable range. do.
일 예를 들자면, 범위 1.0 ~ 5.0을 갖는 변수 a, 범위 2.0 ~ 10.0을 갖는 변수 b에 대해서, 정답식은 a * b으로, 오답식은 a/b으로 저장되어 있다고 가정할 경우, a가 1.5로, b가 3.4로 랜덤 선택될 경우, 정답식은 5.1에 해당하며, 다지 선다형의 다른 보기들 중 하나는 오답인 0.44로 추출되게 된다. 이를 통해서, 5.1 ~ 0.44 사이의 범위가 소정 범위 이내인지 판단하여, 이내일 경우, D 값들을 산출하여 다지 선다형의 보기에 대한 정보를 생성하게 된다.For example, for a variable a with a range of 1.0 to 5.0 and a variable b with a range of 2.0 to 10.0, assuming that the correct answer expression is stored as a * b and the incorrect answer expression as a/b, a is 1.5, If b is randomly selected as 3.4, the correct answer is 5.1, and one of the other options in the multiple choice type is extracted as an incorrect answer, 0.44. Through this, it is determined whether the range between 5.1 and 0.44 is within a predetermined range, and if it is within a predetermined range, D values are calculated to generate information on multiple-choice options.
이 때, 서버(100)는, 추출된 상기 정답과 추출된 상기 오답의 차이가 소정 범위보다 큰 경우, 역추산하여 상기 오답과 상기 정답과의 차이가 소정 범위 이내가 되는 상기 변수의 새로운 범위를 산출하게 된다.At this time, if the difference between the extracted correct answer and the extracted incorrect answer is greater than a predetermined range, the server 100 performs inverse estimation to determine a new range of the variable in which the difference between the incorrect answer and the correct answer is within the predetermined range. will yield
새로운 범위를 산출하는 알고리즘은 다음과 같다. 문제의 변수의 수가 Na라고 하면 각 Na개의 변수에 해당하는 기존 범위에 따라 정답식으로 Na차원의 정답 데이터를 추출할 수 있다. 마찬가지로 오답식으로 Na차원의 오답 데이터를 추출할 수 있다. 이 두 Na차원 데이터의 차이가 소정 범위 이내가 되는 각 변수의 새로운 범위를 산출하게 된다. Na 차원의 데이터가 매우 커지는 경우에는 각 변수 데이터의 개수를 일정 수 이하로 줄인 뒤, 상기의 과정을 여러 번 반복하여 새로운 변수 범위를 산출하게 된다.The algorithm for calculating the new range is as follows. If the number of variables in the problem is Na, Na-dimensional answer data can be extracted by the correct answer formula according to the existing range corresponding to each Na number of variables. Likewise, it is possible to extract Na-dimensional incorrect answer data with an incorrect answer formula. A new range of each variable in which the difference between the two Na-dimensional data is within a predetermined range is calculated. When the Na-dimensional data becomes very large, the number of each variable data is reduced to a certain number or less, and then the above process is repeated several times to calculate a new variable range.
예를 들어, A, B, C, D, 네 개의 변수에 입력된 기존 변수 범위(데이터 개수)가 각각 1.1~30.0(290개), 1~100(100개), 1.01~10.00(900개), 1~100(100개)라고 하자. 정답식과 오답식에 의한 정답과 오답의 4차원 데이터는 290×100×900×100로 매우 커지게 되어 두 데이터의 차이를 계산하는데 시간이 오래 걸리게 된다. 이런 경우, 각 변수 범위 사이를 정해진 수(예를 들어, 25)로 다시 산출하여 각 변수 범위 사이를 25개로 분할한다.(예를 들어, A의 범위, 1.1~30.0 사이를 25개, 즉, [1.1, 2.304, 3.508..., 30.0]로 분할) 그러면 정답과 오답의 4차원 데이터는 25×25×25×25가 되고 이 두 4차원 데이터의 차이가 소정 범위 이내가 되는 각 변수의 범위(A는 1.1~4.5 B는 30~40 등)를 산출한다. 이 새로운 범위들을 원래 입력된 기존 변수의 자릿수로 설정하여 각 변수의 데이터를 다시 산정하고 이들을 통해 정답과 오답의 4차원 데이터로 상기의 과정을 반복하여 각 변수들의 새로운 범위를 최종적으로 산출한다. A 이외에 B, C, D 변수들만 적은 개수로 분할하여 위의 과정을 실행하여 A의 새로운 범위를 찾고 난 뒤(예를 들어, 290×25×25×25의 4차원 정답식과 오답식 데이터를 이용함), B, C, D의 순서로 반복할 수도 있는 등 여러 가지 유사한 알고리즘을 포함한다.For example, the existing variable ranges (number of data) entered in four variables A, B, C, D are 1.1 to 30.0 (290), 1 to 100 (100), and 1.01 to 10.00 (900), respectively. , let it be 1 to 100 (100). The 4-dimensional data of the correct and incorrect answers by the correct and incorrect answers are very large, 290 × 100 × 900 × 100, and it takes a long time to calculate the difference between the two data. In this case, the number between each variable range is recalculated to a predetermined number (eg, 25), and each variable range is divided into 25. (eg, the range of A, between 1.1 and 30.0 is 25, that is, Divided into [1.1, 2.304, 3.508..., 30.0]) Then, the 4-dimensional data of correct and incorrect answers becomes 25 × 25 × 25 × 25, and the range of each variable in which the difference between these two 4-dimensional data is within a predetermined range (A is 1.1 to 4.5 B is 30 to 40, etc.). The data of each variable is recalculated by setting these new ranges to the number of digits of the original input variables, and the above process is repeated with the 4-dimensional data of correct and incorrect answers through them to finally calculate the new ranges of each variable. In addition to A, only B, C, and D variables are divided into small numbers and the above process is executed to find a new range of A (for example, using 290 × 25 × 25 × 25 4-dimensional correct and incorrect data) ), which can be repeated in the order of B, C, D, etc.
상기의 알고리즘을 이용하여 기존의 변수 범위에서 추출된 새로운 변수 범위가 너무 좁을 경우, 기존의 변수 범위보다 넓은 범위를 검색하여 기존의 변수 범위를 벗어난 새로운 변수 범위를 산출할 수 있다. 예를 들어, 앞의 예에서 정답과 오답의 4차원 데이터의 차이가 소정 범위 이내가 되는 변수 A의 범위가 1.1~2.5로 좁게 산출되었다면, 기존에 입력된 변수 A의 범위인 1.1~30.0을 벗어난 30.0~50.0까지의 범위까지 상기의 알고리즘으로 적용하여 정답과 오답의 4차원 데이터의 차이가 소정 범위 이내인 변수 A의 새로운 범위, 예를 들어, 1.1~2.5와 40.0~45.0 등으로 산출되어 사용자에게 제시된다.When the new variable range extracted from the existing variable range using the above algorithm is too narrow, a new variable range outside the existing variable range may be calculated by searching for a wider range than the existing variable range. For example, in the previous example, if the range of variable A, in which the difference between the 4-dimensional data of correct and incorrect answers is within a predetermined range, was calculated as narrow as 1.1 to 2.5, the range of variable A that was previously input was 1.1 to 30.0. By applying the above algorithm to the range of 30.0 to 50.0, the difference between the 4-dimensional data of correct and incorrect answers is calculated as a new range of variable A within a predetermined range, for example, 1.1 to 2.5 and 40.0 to 45.0, etc. presented
또한, 상기의 과정에서 서버(100)는 기존에 입력된 변수 범위의 자릿수를 새롭게 산출된 변수 범위에서 최적화된 자릿수로 역추산하여 사용자에게 제시한다. 역추산하는 알고리즘은 변수 대비 정답식의 미분값, gradient 값 등을 이용하여 변수의 최소 변화량 대비 정답 데이터의 최소 변화량을 계산한다. 이 정답 데이터의 최소 변화량이 소정 범위 이내인 경우, 사용자에게 정답 데이터의 최소 변화량과 새로운 변수 범위의 자릿수를 제시한다. 예를 들어, 앞의 A, B, C, D, 4개의 변수들의 예에서, 변수 A는 기존 입력 변수 범위인 1.1~30.0에 의해 0.1이 최소 변화량인데, 이 0.1의 변화량에 대한 정답 데이터의 평균 변화량이 0.01이고 상기의 방법으로 산출한 보기와 정답 사이인 D 값은 0.5일 수 있다. 0.01은 0.5에 비해 매우 작으므로, 이를 서버(001)가 변수의 최소 변화량에 따른 정답 데이터의 평균 변화량이 소정 범위 이상으로 커지도록 산출하여 변수 A는 0.1 대신 1의 최소 변화량인 새로운 변수 범위, 1~30으로 사용자에게 제시한다.In addition, in the above process, the server 100 inversely estimates the number of digits of the previously input variable range to the optimized number of digits in the newly calculated variable range, and presents it to the user. The inverse estimation algorithm calculates the minimum change in the correct answer data against the minimum change in the variable using the differential value of the correct answer formula against the variable, the gradient value, etc. When the minimum change in the correct answer data is within a predetermined range, the minimum change in the correct answer data and the number of digits of the new variable range are presented to the user. For example, in the example of the four variables A, B, C, and D, variable A has a minimum change of 0.1 by the existing input variable range of 1.1 to 30.0, and the average of the correct answer data for this 0.1 change The change amount is 0.01 and the D value between the answer and the correct answer calculated by the above method may be 0.5. Since 0.01 is very small compared to 0.5, the server 001 calculates this so that the average change in the correct answer data according to the minimum change in the variable becomes larger than the predetermined range, and the variable A is a new variable range, 1, which is the minimum change of 1 instead of 0.1. presented to the user as ~30.
이와 같이, 새롭게 산출한 상기 변수의 제한 범위를 기초로 정답식의 의한 정답, 오답식에 의한 오답을 랜덤으로 산출하고 정답과 오답을 포함하는 D를 산출하여 보기에 대한 정보를 생성하게 된다.In this way, based on the newly calculated limited range of the variable, the correct answer according to the correct answer formula and the incorrect answer according to the incorrect answer formula are randomly calculated, and D including the correct answer and the incorrect answer is calculated to generate information about the example.
상세하게는, 서버(100)는, 추출된 상기 정답과 추출된 상기 오답의 차이가 소정 범위보다 큰 경우, 추출된 상기 오답과 추출된 상기 정답과의 차이가 소정 범위 이내에 해당하는 보기 범위들을 새롭게 산출하고 이 새로운 보기 범위에서 랜덤하게 변수의 값을 다시 설정하여 상기 오답과 상기 정답을 포함한 보기를 추출하게 된다.In detail, when the difference between the extracted correct answer and the extracted incorrect answer is greater than a predetermined range, the server 100 renews view ranges in which the difference between the extracted incorrect answer and the extracted correct answer is within a predetermined range. Then, the value of the variable is randomly set again in this new range of views to extract an example including the incorrect answer and the correct answer.
상기의 모든 객관식 문제 유형을 생성하는 방법들은 문제를 생성하는 사용자의 선택으로 서로 혼합되어 선택될 수 있다. 예를 들어, 8지 선다형에서 정답식으로 정답 1개, 오답식으로 오답 1개를 랜덤하게 설정, 보기식으로 오답 4개를 랜덤하게 설정, 그리고 2개는 사용자가 직접 입력한 값들로, 총 8개의 보기가 생성되어 출제되도록 객관식 문제를 만들 수 있다.All of the methods for generating multiple-choice question types may be mixed and selected according to the user's selection. For example, in the 8-choice multiple-choice type, 1 correct answer is randomly set as the correct answer method, 1 incorrect answer is randomly set as the incorrect answer method, 4 incorrect answers are randomly set as the example method, and 2 are values entered directly by the user, for a total of Multiple-choice questions can be created so that 8 options are generated and presented.
더불어, 서버(100)는 상기 추출된 정답과 상기 추출된 오답들의 차이가 소정 범위 내에 있을 경우, 상기 추출된 정답과 상기 추출된 오답들로 보기를 생성하게 된다 즉, 추출된 상기 정답과 추출된 상기 오답을 포함한 보기들 사이의 차이가 너무 작거나 크지 않도록, 상기 오답과 상기 정답과의 차이가 소정 범위 이내가 되도록 한다.In addition, when the difference between the extracted correct answer and the extracted incorrect answer is within a predetermined range, the server 100 generates an example using the extracted correct answer and the extracted incorrect answer. That is, the extracted correct answer and the extracted incorrect answer The difference between the wrong answer and the correct answer is within a predetermined range so that the difference between the answers including the incorrect answer is too small or too large.
다음으로, 문제출제자가 정답식과 변수 범위를 입력하는 객관식 문제 유형을 단답식 주관식으로 선택하게 되면 시험 문제가 시험 응시자별로 어떻게 달라지는지 알아보고자 한다.Next, we will examine how the test questions differ for each test taker when a short-answer type is selected as the type of multiple-choice question in which the question-taker inputs the correct answer formula and variable range.
문제 유형이 단답형 주관식 유형일 경우 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 정답을 산출한 후, 상기 시험 문제를 생성한다. 또한, 시험 정보 내 설정된 상기 정답의 소숫점에 따라 상기 변수의 값 및 정답의 소수점도 달라질 수 있다. 서버(100)는 정답식과 변수 범위를 입력하는 객관식 문제 유형의 알고리즘에서 산출된 보기-정답, 보기-보기 사이의 간격들인 D 값들 중, 최대값(Dmax)이나 평균값(Davg)을 이용하여 응시자가 입력하는 단답형 값이 [정답-Dmax/r]~[정답+Dmax/r] 혹은 [정답-Davg/r]~[정답+Davg/r] 사이에 있는 경우 정답으로 간주한다. 여기서 r은 10, 20과 같이 응시자가 입력한 값을 정답으로 허용되는 범위를 조정할 수 있는 인자이고, 문제관리자가 설정할 수 있다. D는 정답이 작으면 커지고 정답이 크면 작아지므로 단답형 값을 허용하는 범위도 정답에 따라 변하게 된다.If the question type is a short-answer type, the test question is created after calculating the correct answer by randomly setting the value of the variable within the limit range of the variable. Also, the value of the variable and the decimal point of the correct answer may vary according to the decimal point of the correct answer set in the test information. The server 100 uses the maximum value (Dmax) or average value (Davg) of D values, which are intervals between answer-answer and view-view calculated in the multiple-choice type algorithm for inputting the correct answer formula and variable range, so that the candidate can If the input short answer value is between [Correct Answer-Dmax/r]~[Correct Answer+Dmax/r] or [Correct Answer-Davg/r]~[Correct Answer+Davg/r], it is considered correct. Here, r is a factor that can adjust the allowable range of the value input by the candidate as the correct answer, such as 10 or 20, and can be set by the problem manager. D increases when the correct answer is small and decreases when the correct answer is large, so the range that allows short-answer values also changes depending on the correct answer.
따라서, 상기에 설명한 바와 같이, 본 발명은 시험 응시자별로 시험 문제 내 문항 및 문항 순서를 랜덤으로 정해지도록 하고, 문항 내 내용 및 문제 순서를 랜덤으로 정해지도록 하며, 문제별 주어진 변수의 값 또한 랜덤으로 정해질 뿐만 아니라 유형별로도 변수에 따른 정답의 값, 보기 내 정답의 위치 및 오답의 값에 따라 시험 응시자별로 서로 다른 문제들이 출제됨으로써, 시험 응시자 간 부정행위를 방지할 수 있으며, 시험 응시자의 정답 유추를 방지할 수 있다.Therefore, as described above, the present invention allows the questions and the order of questions in the test questions to be randomly determined for each test taker, the contents and order of questions in the questions to be determined randomly, and the values of variables given for each question are also randomly determined. In addition to being determined by type, different questions are presented for each test taker according to the value of the correct answer according to the variable, the position of the correct answer in the example, and the value of the incorrect answer, thereby preventing cheating among test takers. guessing can be avoided.
또한, 상기 시험 정보는 상기 상위 및 하위 문제에 대한 정보와 상기 상위 및 하위 문제의 점수 배점 정보를 포함하고, 상기 서버는, 상기 상위 및 하위 문제의 점수 배점 정보 및 상기 시험 문제의 추출된 정답을 토대로 최종 점수를 측정하는 것을 특징으로 한다. 따라서, 점수 배점 정보 및 추출된 정답에 따라 자동으로 시험 응시자의 점수를 채점할 수 있다.In addition, the test information includes information on the upper and lower problems and score distribution information of the upper and lower problems, and the server determines the score distribution information of the upper and lower problems and the extracted correct answers of the test questions. It is characterized in that the final score is measured based on. Accordingly, the score of the test taker may be automatically scored according to the score allocation information and the extracted correct answer.
또한, 상기 서버는, 상기 M개의 상위 문제 중 적어도 하나인 Q개의 문제를 선택하며, 상기 Q개의 문제는 서로 연동되게 할 수 있음을 특징으로 하며, 상기 Q개의 문제에 해당하는 정답 정보도 연동된 문제를 출제할 수 있는 것을 특징으로 한다. 예를 들어, 그림 F1을 가지는 A라는 문제에서 하나 이상의 정답이 a인 경우, 그림 F1과 문제 A에 연결하여 B라는 문제를 내고 이 B의 정답, b를 a에 연동할 수 있다. 여기서, 문제 A의 숫자들과 정답, a, 문제 B의 숫자들과 정답, b는 입력한 난수 범위에 따라 랜덤하게 설정되어 응시자별로 다른 정답 a와 b가 설정된다. 꼭 A와 B의 2개의 문제들이 아닌, Q개의 문제들이 연동된 하나의 문제를 출제할 수 있고 각 연동된 문제들의 배점 정보에 의해 자동으로 시험 응시자의 점수를 채점할 수 있다.In addition, the server selects Q problems, which are at least one of the M upper problems, and the Q problems can be interlocked with each other, and the correct answer information corresponding to the Q problems is also interlocked. It is characterized by being able to present problems. For example, if one or more correct answers in problem A with picture F1 is a, you can connect picture F1 and problem A to create problem B, and link this B's correct answer, b, to a. Here, the numbers and correct answers of question A, a, and the numbers and correct answers of question B, b are randomly set according to the input random number range, and different correct answers a and b are set for each test taker. It is not necessarily two problems of A and B, but one question linked with Q questions can be set, and the score of the test taker can be automatically scored based on the score information of each linked question.
도 6은 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 응시자 단말기를 포함하여 나타낸 블록구성도이다.6 is a block configuration diagram showing an online-based test and evaluation system including a test taker terminal according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 본 발명의 온라인 기반 시험 및 평가 시스템은 서버(100)로부터 제공된 시험 문제를 다운받아 상기 시험 응시자가 시험을 응시하는 응시자 단말기(300)를 더 포함할 수 있다.As shown in FIG. 6 , the online-based test and evaluation system of the present invention may further include a test taker terminal 300 through which the test taker takes the test by downloading test questions provided from the server 100 .
응시자 단말기(300)는 시험을 응시하는 시험 응시자가 시험을 응시하기 위해 활용하는 단말기로, 서버로부터 시험 문제를 다운받아 시험 응시자가 시험을 응시하도록 도와준다. 응시자 단말기(300) 역시 주로, 스마트폰(Smart Phone), 태블릿 PC(Tablet PC), 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 휴대 단말기(Portable Terminal), 울트라북(ultrabook), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA) 등을 포함할 수 있다.The test-taker terminal 300 is a terminal used by a test-taker to take the test, and downloads test questions from a server and helps the test-taker to take the test. The test taker terminal 300 is also mainly a smart phone, a tablet PC, a personal computer, a notebook computer, a portable terminal, an ultrabook, or a mobile terminal. ), a foldable terminal, a personal digital assistant (PDA), and the like.
또한, 상기의 온라인 기반 시험 및 평가 시스템을 이용한 시험에서 응시자가 상기의 온라인 기반 시험 및 평가 시스템에 접속하면 응시자 단말기(300)의 접속 브라우저의 접속 시간 및 브라우저의 ID를 기록하여 서버(100)에 자동으로 즉각 저장한다. 브라우저 ID는 사람의 지문과 같아서 상이한 두 브라우저들이 같은 ID를 가질 확률은 매우 낮다. 만약 같은 응시자 아이디로 두 개 이상의 브라우저를 통해 상기의 온라인 기반 시험 및 평가 시스템에 접속하면 서버(100)는 기록된 브라우저 ID들이 다름을 자동으로 감지하여 문제출제자에게 실시간으로 알려 준다. 같은 아이디로 두 개 이상의 응시자 단말기(300)에 접속하는 행위도 자동으로 감지하여 문제출제자에게 실시간으로 알려준다.In addition, in the test using the online-based test and evaluation system, when a candidate accesses the online-based test and evaluation system, the access time and browser ID of the test taker terminal 300 are recorded and stored in the server 100. Automatically save immediately. A browser ID is like a person's fingerprint, so the probability that two different browsers will have the same ID is very low. If the same candidate ID is used to access the online-based test and evaluation system through two or more browsers, the server 100 automatically detects that the recorded browser IDs are different and notifies the test taker in real time. An act of accessing two or more test taker terminals 300 with the same ID is also automatically detected and the problem solver is notified in real time.
도 7은 본 발명의 본 발명의 일실시 예에 따른 온라인 기반 시험 및 평가 시스템에서 최종 점수 정보 및 난이도 정보를 추출하는 부분을 나타낸 블록구성도이다.7 is a block diagram showing a part for extracting final score information and difficulty information in an online-based test and evaluation system according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 상기 응시자 단말기는, 상기 시험 응시자가 응시 완료한 시험 문제를 상기 서버로 전송하고, 상기 서버는, 상기 시험 문제의 정답에 기초하여 상기 응시자 단말기로부터 송신된 시험 문제의 답에 대한 채점 정보를 추출하며, 상기 추출된 채점 정보 및 상기 상위 및 하위 문제의 점수 배점 정보에 기초하여 최종 점수 정보를 추출하며, 상기 추출된 최종 점수 정보를 실시간으로 상기 응시자 단말기에 송신한다. 따라서, 상기에 작성된 점수 배점 정보 및 상기 시험 문제에서 추출된 정답을 토대로 시험 응시자가 작성한 정답과 비교하여 채점을 진행하며, 자동으로 점수를 추출할 수 있다.As shown in FIG. 7 , the test taker terminal transmits the test questions completed by the test taker to the server, and the server transmits the test questions transmitted from the test taker terminal based on the correct answers to the test questions. Scoring information for an answer is extracted, final score information is extracted based on the extracted scoring information and the score allocation information of the upper and lower questions, and the extracted final score information is transmitted to the test taker terminal in real time. Therefore, based on the above-written score allocation information and the correct answers extracted from the test questions, the scores are compared with the correct answers prepared by the test taker, and scores can be automatically extracted.
또한, 상기 시험 정보는 시험 시간, 응시자 수를 더 포함하고, 상기 서버는, 상기 상위 및 하위 문제들의 정답률을 계산하여 상기 상위 및 하위 문제들에 대한 난이도를 추출하며, 상기 추출된 난이도 정보를 상기 관리자 단말기에 송신한다. 따라서, 시험 관리자는 자동으로 추출된 난이도 정보에 따라서 문제의 난이도를 파악할 수 있으며, 이는 틀린 문제들만 출제되는 2차 시험이나 다음 시험들을 진행할 경우에 용이하게 사용될 수 있다.In addition, the test information further includes an exam time and the number of test takers, and the server extracts the difficulty of the upper and lower questions by calculating the percent correct of the upper and lower questions, and the extracted difficulty information Send to the administrator terminal. Accordingly, the test manager can determine the difficulty level of the problem according to the automatically extracted difficulty information, and this can be easily used in the case of conducting a secondary test or subsequent tests in which only wrong questions are presented.
또한, 상기 서버는, 한번에 처리할 시험 응시자의 집단 수를 설정할 수 있는 것을 특징으로 한다. 예를 들어, 1000명의 응시자가 동시에 시험을 실행하면 서버의 성능이 낮은 경우에 부하가 걸릴 수 있지만 이를 매우 짧은 시간 단계로 P=100명씩 10 집단으로 순차적으로 처리하면 서버의 부하가 훨씬 줄어들어 매끄럽게 처리할 수 있다. 서버의 컴퓨팅 성능이 크면 P를 크게 설정하고 서버의 컴퓨팅 성능이 낮으면 P를 작게 설정하여 매끄럽게 시험과 평가를 수행할 수 있는 서버의 성능과 응시자 수의 범위를 늘린다. 요약하면, 서버의 성능에 따라 한번에 처리할 시험 응시자 수를 설정하여 서버에 걸리는 부하를 줄여 문제없이 시험을 진행할 수 있으므로 일반 고성능 PC 정도의 서버 성능으로도 수천 명의 동시 응시자에 대해 상기 시스템을 운영할 수 있다.In addition, the server is characterized in that it is possible to set the number of groups of test takers to be processed at one time. For example, if 1000 test takers run the test at the same time, it may take a load if the server's performance is low. can do. If the server's computing power is large, P is set large, and if the server's computing power is low, P is set small to increase the performance of the server and the range of the number of test takers that can smoothly conduct tests and evaluations. In summary, the test can be conducted without problems by setting the number of test takers to be processed at one time according to the performance of the server and reducing the load on the server, so the system can be operated for thousands of simultaneous test takers with the server performance of a general high-performance PC. can
또한, 서버(100)는 상기의 모든 문제 유형에 대해 응시자가 응시자 단말기(300)에서 시험 문제의 답을 입력하면 각 문제의 답이 입력될 때마다, 혹은 일정 시간 t1마다 서버(100)와 통신하며 서버(100)가 각 응시자가 입력한 답을 기억한다. 이는 응시자의 시험지 입력 값들을 서버(100)에 저장하여 인터넷 통신 혹은 응시자 단말기의 오류로 인한 시험 진행이 원활하지 않았을 때, 응시자가 다시 시험에 접속하여 시험을 정상적으로 진행할 수 있게 한다. 또한, 일정 시간, t2마다 서버(100)와 응시자 단말기(300) 사이의 통신을 통해 응시자 단말기(300)의 시험 시간을 동기화한다. 일정 시간, t1과 t2는 상기의 온라인 기반 시험 및 평가 시스템의 관리자가 설정할 수도 있다.In addition, the server 100 communicates with the server 100 every time the answer to each question is input or at a certain time t1 when the test taker inputs the answer to the test question on the test taker terminal 300 for all of the above question types. And the server 100 remembers the answers input by each candidate. This stores the test taker's input values in the server 100 so that the test taker can access the test again and normally proceed the test when the test progress is not smooth due to an error in Internet communication or the test taker's terminal. In addition, the test time of the test taker terminal 300 is synchronized through communication between the server 100 and the test taker terminal 300 every predetermined time, t2. The constant times, t1 and t2, may be set by the manager of the online-based test and evaluation system.
상술한 바와 같이 본 발명의 실시 예에 따르면, 스마트폰으로 시험에 응시할 수 있으므로 비대면, 대면 강의에 국한되지 않고 언제든지 시험을 치고 자동으로 채점할 수 있음으로써, 교육을 보다 효율적으로 수행할 수 있고 학습자들의 학업 성취도도 향상되며, 문제 종류, 순서, 변수 값 등을 무작위로 변경되도록 하여 다종의 시험 문제를 자동으로 생성하여 응시자 별로 상이한 문제가 출제되며, 학습자가 보기를 통해 정답을 유추할 수 없도록 함으로써, 학습자의 부정행위를 방지하는 효과가 있다. 또한, 각 응시자 단말기의 브라우저 ID를 실시간으로 기록하고 상호 대조하여 상이한 브라우저 ID가 발생할 시, 문제출제자에게 실시간으로 알려주는 기능을 통해서도 학습자의 부정행위를 방지한다. 시험 중에 인터넷 통신 일시 오류 등이 발생하더라도 응시자가 바로 시험을 계속 진행할 수 있으며, 채점도 실시간으로 즉각 처리되므로 대규모 시험을 채점의 부담 없이 수행할 수 있다.As described above, according to an embodiment of the present invention, since it is possible to take the test with a smartphone, it is not limited to non-face-to-face and face-to-face lectures, and it is possible to take the test at any time and automatically score it, so that education can be performed more efficiently, The academic achievement of learners is also improved, and different types of test questions are automatically created by randomly changing the question type, order, variable value, etc., so that different questions are presented for each test taker, so that learners cannot infer the correct answer through an example. By doing so, there is an effect of preventing learners from cheating. In addition, the browser ID of each test taker terminal is recorded in real time and compared with each other, and when a different browser ID occurs, the learner's cheating is prevented through a function that informs the problem solver in real time. Even if a temporary error in internet communication occurs during the test, the test taker can continue the test immediately, and since the scoring is processed immediately in real time, large-scale tests can be performed without the burden of scoring.
[부호의 설명][Description of code]
100 : 서버100: server
200 : 관리자 단말기200: manager terminal
300 : 응시자 단말기300: test taker terminal

Claims (25)

  1. 시험 응시자 개인별 맞춤형 문제를 제공하는 온라인 기반 시험 및 평가 시스템에 있어서,In an online-based test and evaluation system that provides customized problems for each test taker,
    시험 정보를 입력 받는 관리자 단말기; 및An administrator terminal receiving test information; and
    상기 시험 정보를 기초로 상기 시험 응시자 별로 서로 다른 시험 문제를 제공하는 서버;a server providing different test questions for each test taker based on the test information;
    를 포함하는 것을 특징으로 하는 온라인 기반 시험 및 평가 시스템.Online-based test and evaluation system comprising a.
  2. 제1항에 있어서,According to claim 1,
    상기 시험 정보는 N개의 문제인 상위 문제 정보를 포함하고, The test information includes upper problem information of N problems,
    상기 서버가,the server,
    상기 시험 응시자별로 상기 N개의 상위 문제 중에 M개의 문제를 선택하여 상기 시험 문제를 생성하되, N≥M인 것Selecting M problems from among the N higher problems for each test taker to generate the test problems, where N≥M
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  3. 제 2항에 있어서,According to claim 2,
    상기 서버가,the server,
    상기 선택된 M개의 상위 문제의 순서를 랜덤하게 나열하여 상기 시험 문제를 생성하는 것Generating the test problem by randomly arranging the order of the selected M upper problems
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  4. 제 2항에 있어서,According to claim 2,
    상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보를 포함하고,The test information includes sub-problem information included in each upper-level problem,
    상기 서버가, the server,
    상기 선택된 M개의 상위 문제 각각에 포함된 P개의 하위 문제 중에 랜덤하게 1개의 하위 문제를 선택하여 상기 시험 문제를 생성하는 것Generating the test problem by randomly selecting one sub-problem among the P sub-problems included in each of the selected M upper-problems
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  5. 제 4항에 있어서,According to claim 4,
    상기 서버가, the server,
    상기 선택된 상위 문제 각각에 해당되는 하위 문제들의 순서를 전체적으로나 부분적으로 랜덤하게 나열하여 상기 시험 문제를 출제하는 것Presenting the test questions by randomly arranging the order of sub-problems corresponding to each of the selected upper-level problems in whole or in part
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  6. 제 4항에 있어서,According to claim 4,
    상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나 이상의 변수의 제한 범위를 포함하고, The test information includes information on upper and lower problems and a limited range of at least one variable among the upper and lower problems,
    상기 서버는, The server,
    상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 설정하여 상기 시험 문제를 생성하는 것Generating the test questions by randomly setting the value of the variable within the limit range of the variable
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  7. 제 6항에 있어서,According to claim 6,
    상기 서버는,The server,
    저장된 정답식과 상기 설정된 변수의 제한 범위, 소숫점 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 정답을 추출하는 것Extracting the correct answer of the test question based on the stored answer formula, the limited range of the variable set above, the decimal point, and information on the upper and lower questions
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  8. 제 7항에 있어서,According to claim 7,
    상기 서버는,The server,
    저장된 오답식과 상기 설정된 변수의 제한 범위, 소숫점 및 상기 상위 및 하위 문제에 대한 정보를 토대로 시험 문제의 오답을 추출하는 것Extracting the incorrect answer of the test question based on the stored incorrect answer formula, the limited range of the variable set above, the decimal point, and information on the upper and lower problems
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  9. 제 8항에 있어서,According to claim 8,
    상기 서버는,The server,
    상기 추출된 정답과 상기 추출된 오답의 차이가 소정 범위 보다 같거나 작은 경우 상기 추출된 정답과 상기 추출된 오답을 이용해서 보기에 대한 정보를 생성하는 것Generating information about an answer using the extracted correct answer and the extracted incorrect answer when a difference between the extracted correct answer and the extracted incorrect answer is equal to or less than a predetermined range
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  10. 제 8항에 있어서,According to claim 8,
    상기 서버는,The server,
    추출된 상기 정답과 추출된 상기 오답의 차이가 소정 범위보다 큰 경우, 역추산하여 상기 오답과 상기 정답과의 차이가 상기 소정 범위 이내가 되는 새로운 변수의 제한 범위와 소숫점을 산출하는 것If the difference between the extracted correct answer and the extracted incorrect answer is greater than a predetermined range, inversely estimating to calculate a limit range and decimal point of a new variable in which the difference between the incorrect answer and the correct answer is within the predetermined range
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  11. 제 8항에 있어서,According to claim 8,
    상기 서버는,The server,
    추출된 상기 정답과 추출된 상기 오답의 차이가 상기 소정 범위보다 큰 경우, 추출된 상기 오답과 추출된 상기 정답과의 차이가 상기 소정 범위 이내가 될 때까지 상기 변수의 제한 범위 내에서 랜덤하게 변수의 값을 다시 설정하여 상기 오답과 상기 정답을 다시 추출하는 것When the difference between the extracted correct answer and the extracted incorrect answer is greater than the predetermined range, the variable is randomly selected within the limit range of the variable until the difference between the extracted incorrect answer and the extracted correct answer falls within the predetermined range. Re-extracting the wrong answer and the correct answer by resetting the value of
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  12. 제8항에 있어서,According to claim 8,
    상기 시험 정보는 각 상위 문제에 포함된 하위 문제 정보와, 상기 상위 문제 및 하위 문제 중 적어도 하나의 정답 및 복수의 보기에 대한 정보를 포함하고,The test information includes lower problem information included in each upper problem, and information about a correct answer of at least one of the upper and lower problems and a plurality of examples,
    상기 서버는,The server,
    상기 복수의 보기의 순서를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것Generating the test questions by randomly setting the order of the plurality of examples
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  13. 제 12항에 있어서,According to claim 12,
    상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 R개의 보기에 대한 정보를 포함하고, The test information includes information on upper and lower problems and information on R examples included in at least one of the upper and lower problems,
    상기 서버는,The server,
    상기 R개의 보기 중에 랜덤하게 S개의 보기를 선택하여 상기 시험 문제를 생성하되, R≥S인 것Randomly selecting S number of examples among the R number of examples to generate the test questions, wherein R≥S
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  14. 제 13항에 있어서,According to claim 13,
    상기 서버는,The server,
    상기 R개의 보기 중에 U개의 정답을 설정하며,Setting U correct answers among the R examples,
    상기 S개의 보기는 상기 U개의 정답 중 적어도 하나의 정답을 포함하여 상기 시험 문제를 생성하되, R>U≥1인 것The S examples generate the test question including at least one correct answer among the U correct answers, and R>U≥1
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  15. 제 12항에 있어서,According to claim 12,
    상기 서버는,The server,
    상기 정답에 해당하는 보기의 위치를 랜덤으로 설정하여 상기 시험 문제를 생성하는 것Generating the test question by randomly setting the position of the answer corresponding to the correct answer
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  16. 제 15항에 있어서,According to claim 15,
    상기 시험 정보는 상위 및 하위 문제에 대한 정보와 상기 상위 문제 및 하위 문제 중 적어도 하나에 포함되는 보기 정보 및 정답 정보를 포함하고, The test information includes information on upper and lower problems, and example information and correct answer information included in at least one of the upper and lower problems,
    상기 서버는,The server,
    상기 상위 및 하위 문제에 대한 정보, 보기 정보 및 정답 정보를 토대로 복수개의 오답을 추출하여 상기 시험 문제를 생성하는 것Generating the test questions by extracting a plurality of incorrect answers based on information on the upper and lower questions, example information, and correct answer information
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  17. 제 16항에 있어서,According to claim 16,
    상기 서버는,The server,
    상기 정답 정보 내 소숫점 자리와 동일한 복수개의 오답을 생성하되,Generate a plurality of incorrect answers identical to the decimal places in the correct answer information,
    상기 정답 및 복수개의 오답들 간 차이를 설정하며,Set a difference between the correct answer and a plurality of incorrect answers;
    상기 정답 정보의 소정 영역 범위 내에서 복수개의 오답을 생성하고,generating a plurality of incorrect answers within a predetermined range of the correct answer information;
    상기 정답 정보의 소정 영역 범위와 상기 소숫점 자리는 고정되거나 상기 정답의 크기에 연동하여 달라지는 것The predetermined range of the correct answer information and the decimal point are fixed or vary in association with the size of the correct answer.
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  18. 제 8항에 있어서,According to claim 8,
    상기 시험 정보는 상기 상위 및 하위 문제에 대한 정보와 상기 상위 및 하위 문제의 점수 배점 정보를 포함하고,The test information includes information about the upper and lower problems and score allocation information of the upper and lower problems,
    상기 서버는,The server,
    상기 상위 및 하위 문제의 점수 배점 정보 및 상기 시험 문제의 추출된 정답을 토대로 최종 점수를 측정하는 것Measuring the final score based on the score distribution information of the upper and lower problems and the extracted correct answer of the test problem
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  19. 제 8항에 있어서,According to claim 8,
    상기 서버는,The server,
    상기 M개의 상위 문제 중 적어도 하나인 Q개의 문제를 선택하며,Selecting Q problems that are at least one of the M upper problems,
    상기 Q개의 문제는 서로 연동되어 있음을 특징으로 하며,The Q problems are characterized in that they are linked to each other,
    상기 Q개의 문제에 해당하는 정답 정보도 연동되어 있는 것Answer information corresponding to the above Q problems is also linked
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  20. 제 1항에 있어서,According to claim 1,
    상기 시스템은,The system,
    상기 서버로부터 제공된 시험 문제를 다운받아 상기 시험 응시자가 시험을 응시하는 응시자 단말기;a test taker terminal through which the test taker takes the test by downloading the test questions provided from the server;
    를 더 포함하는 것을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based test and evaluation system further comprising.
  21. 제 20항에 있어서,21. The method of claim 20,
    상기 응시자 단말기는,The test taker terminal,
    상기 시험 응시자가 응시 완료한 시험 문제를 상기 서버로 전송하고,Transmitting the test questions completed by the test taker to the server;
    상기 서버는,The server,
    시험 문제의 정답에 기초하여 상기 응시자 단말기로부터 송신된 시험 문제의 답에 대한 채점 정보를 추출하며,Extracting scoring information for an answer to the test question transmitted from the test taker terminal based on the correct answer to the test question;
    상기 추출된 채점 정보 및 상위 및 하위 문제의 점수 배점 정보에 기초하여 최종 점수 정보를 추출하며,extracting final score information based on the extracted scoring information and the score allocation information of the upper and lower problems;
    상기 추출된 최종 점수 정보를 상기 응시자 단말기에 송신하는 것Transmitting the extracted final score information to the test taker terminal
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  22. 제 21항에 있어서,According to claim 21,
    상기 시험 정보는 시험 시간, 응시자 수를 더 포함하고,The test information further includes the test time and the number of test takers,
    상기 서버는,The server,
    상기 상위 및 하위 문제들의 정답률을 계산하여 상기 상위 및 하위 문제들에 대한 난이도를 추출하며,Calculate the percent correct of the upper and lower problems to extract the difficulty of the upper and lower problems,
    상기 추출된 난이도 정보를 상기 관리자 단말기에 송신하는 것Transmitting the extracted difficulty information to the manager terminal
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  23. 제 1항에 있어서,According to claim 1,
    상기 서버는,The server,
    한번에 처리할 시험 응시자 집단 수를 조절할 수 있고 응시자를 여러 집단으로 나누어 순차적으로 처리할 수 있는 것Being able to control the number of groups of test takers to be processed at one time and dividing the test takers into several groups and processing them sequentially
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring
  24. 제 21항에 있어서,According to claim 21,
    상기 응시자 단말기는,The test taker terminal,
    상기 시험 응시자에 의해 상기 시험 문제의 답이 입력되면 상기 시험 정보에 입력된 시간 t1, 혹은 특정 시간마다, 상기 서버와 통신하여 상기 시험 문제의 답을 송신하는 것을 특징으로 하며,Characterized in that, when an answer to the test question is input by the test taker, the test question answer is transmitted by communicating with the server at a time t1 entered in the test information or at a specific time,
    상기 서버는 수신된 상기 시험 문제의 답을 상기 t1, 혹은 특정 시간마다, 저장하는 것The server stores the received answer to the test question at the t1, or every specific time
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
  25. 제 20항에 있어서,21. The method of claim 20,
    상기 시스템은,The system,
    상기 시험 응시자가 응시자 단말기를 통해 상기 시스템에 접속하면, 응시자 별로 단말기의 IP, 브라우저 ID, 및 접속 시간을 송신하여 상기 서버에 저장하고, 상기 저장된 단말기의 IP, 브라우저 ID, 및 접속 시간을 상시로 감지, 비교하는 것When the test taker accesses the system through the test taker's terminal, the terminal's IP, browser ID, and access time are transmitted for each test taker and stored in the server, and the stored terminal's IP, browser ID, and access time are stored at all times. detect, compare
    을 특징으로 하는 온라인 기반 시험 및 평가 시스템.An online-based testing and evaluation system featuring.
PCT/KR2023/001997 2022-02-11 2023-02-10 Online-based test and evaluation system WO2023153863A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0018307 2022-02-11
KR1020220018307A KR102473991B1 (en) 2022-02-11 2022-02-11 Online-based exam and evaluation system

Publications (1)

Publication Number Publication Date
WO2023153863A1 true WO2023153863A1 (en) 2023-08-17

Family

ID=84407661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/001997 WO2023153863A1 (en) 2022-02-11 2023-02-10 Online-based test and evaluation system

Country Status (2)

Country Link
KR (1) KR102473991B1 (en)
WO (1) WO2023153863A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102473991B1 (en) * 2022-02-11 2022-12-06 한밭대학교 산학협력단 Online-based exam and evaluation system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062735A (en) * 2007-12-13 2009-06-17 성균관대학교산학협력단 Random problem generator and education providing method thereof for self-directed learning in mathematics education
KR20100111819A (en) * 2009-04-08 2010-10-18 주식회사 유웨이중앙교육 Method of presenting and scoring testproblem having varied item order on internet
KR20120103771A (en) * 2011-02-28 2012-09-20 이언주 Method of managementing test by converting the problem of a test automatically
KR20130082992A (en) * 2011-12-26 2013-07-22 두산동아 주식회사 Apparatus and method for recommending custom-made test on demand individual peculiarities using prerequisite and following logic
KR101761562B1 (en) * 2016-08-29 2017-07-26 정철웅 Method and apparatus for online test
KR20200132080A (en) * 2019-05-15 2020-11-25 신종우 Apparatus for Generating Problem and Driving Method Thereof
KR102473991B1 (en) * 2022-02-11 2022-12-06 한밭대학교 산학협력단 Online-based exam and evaluation system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170073244A (en) 2015-12-18 2017-06-28 주식회사 아이티엑스엠투엠 Next E-Learning Test Management System and How it works

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090062735A (en) * 2007-12-13 2009-06-17 성균관대학교산학협력단 Random problem generator and education providing method thereof for self-directed learning in mathematics education
KR20100111819A (en) * 2009-04-08 2010-10-18 주식회사 유웨이중앙교육 Method of presenting and scoring testproblem having varied item order on internet
KR20120103771A (en) * 2011-02-28 2012-09-20 이언주 Method of managementing test by converting the problem of a test automatically
KR20130082992A (en) * 2011-12-26 2013-07-22 두산동아 주식회사 Apparatus and method for recommending custom-made test on demand individual peculiarities using prerequisite and following logic
KR101761562B1 (en) * 2016-08-29 2017-07-26 정철웅 Method and apparatus for online test
KR20200132080A (en) * 2019-05-15 2020-11-25 신종우 Apparatus for Generating Problem and Driving Method Thereof
KR102473991B1 (en) * 2022-02-11 2022-12-06 한밭대학교 산학협력단 Online-based exam and evaluation system

Also Published As

Publication number Publication date
KR102473991B1 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
WO2023153863A1 (en) Online-based test and evaluation system
WO2015064840A1 (en) Server and method for providing student-tailored learning service
WO2022211326A1 (en) Apparatus and system for evaluating user&#39;s ability through artificial intelligence model trained with transfer element applied to plurality of test domains, and operating method thereof
WO2012128553A2 (en) Method and device for providing learning education service
WO2020218758A1 (en) Method, system, and non-transitory computer-readable recording medium for providing learner-personalized education service
WO2021112463A1 (en) Information providing apparatus and method for company
WO2021095987A1 (en) Multi-type entity-based knowledge complementing method and apparatus
WO2020149592A1 (en) Device for providing learning service based on digital wrong answer note, and method therefor
WO2019013387A1 (en) Learning service system for linking offline and online teaching material
WO2014077566A1 (en) Education system provided with learning effect confirmation function and method for controlling same
WO2015064839A1 (en) Learning management server and learning management method
WO2020017734A1 (en) Server and computer program for providing exercise prescription information
WO2011074714A1 (en) Method for intelligent personalized learning service
WO2020019865A1 (en) Question setting method and system for attention game, and computer readable storage medium
WO2014104620A1 (en) Method and apparatus for managing learning contents
WO2022245009A1 (en) Metacognition ability evaluation method and evaluation system therefor
WO2018079968A1 (en) Method and apparatus for providing personalized educational content, and computer program
WO2014209051A1 (en) Method for posting answers of survey respondents to survey and survey service server that supports method therefor
WO2023022406A1 (en) Learning ability evaluation method, learning ability evaluation device, and learning ability evaluation system
WO2016159622A1 (en) Method and system for providing word learning content according to user&#39;s learning level, and recording medium
WO2022270840A1 (en) Deep learning-based word recommendation system for predicting and improving foreign language learner&#39;s vocabulary ability
WO2022102966A1 (en) Learning question recommendation system for recommending questions that can be evaluated through unification of score probability distribution types, and operating method therefor
WO2021066525A1 (en) Coding education system
WO2021049700A1 (en) Application and server for service worker management
WO2020153698A1 (en) Method and device for selecting annotator by using association condition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23753209

Country of ref document: EP

Kind code of ref document: A1