KR20200098830A - METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty - Google Patents

METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty Download PDF

Info

Publication number
KR20200098830A
KR20200098830A KR1020190016423A KR20190016423A KR20200098830A KR 20200098830 A KR20200098830 A KR 20200098830A KR 1020190016423 A KR1020190016423 A KR 1020190016423A KR 20190016423 A KR20190016423 A KR 20190016423A KR 20200098830 A KR20200098830 A KR 20200098830A
Authority
KR
South Korea
Prior art keywords
difficulty
content
correct
test taker
answers
Prior art date
Application number
KR1020190016423A
Other languages
Korean (ko)
Other versions
KR102230052B9 (en
KR102230052B1 (en
Inventor
박경선
곽시영
Original Assignee
주식회사 메디오피아테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디오피아테크 filed Critical 주식회사 메디오피아테크
Priority to KR1020190016423A priority Critical patent/KR102230052B1/en
Publication of KR20200098830A publication Critical patent/KR20200098830A/en
Application granted granted Critical
Publication of KR102230052B1 publication Critical patent/KR102230052B1/en
Publication of KR102230052B9 publication Critical patent/KR102230052B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

Provided are a method for adjusting question difficulty and a server for adjusting question difficulty. According to an embodiment of the present invention, the method for adjusting question difficulty comprises the steps of: determining a correct answer rate of question content using answer data for the question content received from a candidate terminal displaying the question content, and determining difficulty of the question content using the correct answer rate; and correcting the determined difficulty using the number of true correct answerers obtained by subtracting the number of guessed correct answerers from the number of correct answerers of the question content. The number of guessed correct answerers is a value obtained by multiplying the number of incorrect answerers of the question content by a guessing ratio, and the guessing ratio can be a value adjusted to decrease as a change of the correct answer rate of the question content decreases.

Description

문제 난이도 조정 방법 및 문제 난이도 조정 서버{METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty}Problem difficulty adjustment method and problem difficulty adjustment server {METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty}

본 발명은 문제 난이도 조정 방법 및 문제 난이도 조정 서버에 관한 것이다. 보다 자세하게는, 문제를 추측하여 맞힌 정답자를 제외한 정답자를 추출하여 문제의 실질적인 난이도를 측정하는 문제 난이도 조정 방법 및 문제 난이도 조정 서버에 관한 것이다.The present invention relates to a problem difficulty adjustment method and a problem difficulty adjustment server. More specifically, the present invention relates to a problem difficulty adjustment method and a problem difficulty adjustment server for measuring the actual difficulty of a problem by extracting correct answers excluding correct answers by guessing a problem.

학습관리시스템(LMS, Learning Management System)은 온라인으로 학생들의 성적과 진도, 출석 등을 관리해주는 시스템으로서, 종래의 학습관리시스템은 학생에게 단순히 문제를 제공하거나, 제공된 문제에 대한 해답을 통해 학생의 성적을 관리하는 시스템이 대부분이었다. 따라서, 종래의 학습관리 시스템은 문제의 난이도를 제대로 분석하지 못하였고, 각각의 학생에게 적당한 난이도의 문제를 제공하지 못하였기 때문에 단순히 학생의 학습 데이터를 관리하는 등 학습 효과를 효과적으로 높이지 못했던 문제가 존재하였다.The Learning Management System (LMS) is a system that manages students' grades, progress, and attendance online. Conventional learning management systems simply provide problems to students or provide answers to the provided problems. Most were the systems that managed grades. Therefore, the conventional learning management system did not properly analyze the difficulty level of the problem, and because it did not provide the problem of an appropriate difficulty level to each student, there is a problem that could not effectively increase the learning effect such as simply managing the student's learning data. Existed.

등록특허 제10-0446000호 "문제은행방식 온라인 테스팅 솔루션의 문제 난이도자동조정 방법"은 문제은행의 문제 DB의 정답률을 이용하여 난이도를 조정하는 기술을 개시하고 있는데, 이 문헌은 각 응시자의 학습 수준을 고려하지 않고, 문제를 추측하여 맞힌 사람을 고려하지 않았으며, 각각의 문제의 유형이나 특성을 고려하지 않았기 때문에 획일적인 방법으로 문제의 난이도를 조정할 뿐 다양한 학생의 학습 수준을 고려하거나 다양한 유형의 문제의 난이도를 조정하는데 어려움이 존재하였다.Registered Patent No. 10-0446000 "A method of automatically adjusting the difficulty of a problem in an online testing solution using a question bank" discloses a technique for adjusting the difficulty level using the correct answer rate of the question bank's problem DB. This document describes the learning level of each candidate. Because they did not consider the person who guessed the problem and guessed the problem, and did not consider the type or characteristics of each problem, the difficulty of the problem was adjusted in a uniform way, and the learning level of various students was considered or various types of Difficulties existed in adjusting the difficulty of the problem.

상기와 같은 문제점을 해결하기 위해서, 인공지능 및 빅데이터에 기반하여 문제의 난이도를 자동으로 분석하고 반복적인 학습에 의해 이미 분석된 문제의 난이도를 더 정확하게 보정하는 기술이 필요한 실정이다.In order to solve the above problems, there is a need for a technology that automatically analyzes the difficulty level of a problem based on artificial intelligence and big data and more accurately corrects the difficulty level of a problem that has already been analyzed by repetitive learning.

등록특허 제10-0446000호Registered Patent No. 10-0446000

본 발명이 해결하고자 하는 기술적 과제는, 문제를 추측하여 맞힌 정답자를 제외한 진성정답자를 추출하여 문제의 실질적인 난이도를 측정하는 것을 목적으로 한다.The technical problem to be solved by the present invention is to measure the practical difficulty of the problem by extracting the true correct answer excluding the correct answer by guessing the problem.

또한, 본 발명이 해결하고 하는 또다른 기술적 과제는 응시자의 학습 수준에 맞는 난이도의 문제를 제공함에 따라 응시자가 자기 수준에 적합한 문제를 효율적으로 학습하는 것이다.In addition, another technical problem to be solved by the present invention is to efficiently learn a problem suitable for a test taker's level by providing a problem of difficulty suitable for the test taker's learning level.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 문제 난이도 조정 방법은 문제 컨텐츠를 디스플레이 하는 응시자 단말로부터 수신된 상기 문제 컨텐츠에 대한 답안 데이터를 이용하여 상기 문제 컨텐츠의 정답률을 결정하고, 상기 정답률을 이용하여 상기 문제 컨텐츠의 난이도를 결정하는 단계, 상기 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 얻은 진성정답자의 수를 이용하여 상기 결정된 난이도를 보정하는 단계를 포함하되, 상기 추측정답자의 수는 상기 문제 컨텐츠의 오답자 수에 추측 비율을 곱하여 얻어진 값이고, 상기 추측 비율은 상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화가 작을수록 낮아지도록 조정되는 값일 수 있다.In order to solve the above technical problem, the problem difficulty adjustment method according to an embodiment of the present invention determines a correct answer rate of the problem content using answer data for the problem content received from a candidate terminal displaying the problem content, Determining a difficulty level of the problem content using the correct answer rate, correcting the determined difficulty level by using the number of true correct answers obtained by subtracting the number of guessed correct answers from the number of correct answers of the problem content, wherein the guessing The number of correct answers may be a value obtained by multiplying the number of incorrect answerers of the question content by a guess rate, and the guess rate may be a value adjusted to decrease as the change of the correct answer rate of the question content over time decreases.

일 실시예에서, 상기 결정된 난이도를 보정하는 단계는, 상기 문제의 정답 문항이 2개 이상인 경우, 상기 추측 비율에 상기 정답 문항 수를 곱하여 상기 추측 비율을 재설정할 수 있다.In one embodiment, the step of correcting the determined difficulty level may reset the guessing ratio by multiplying the guessing ratio by the number of correct answers when there are two or more correct answer questions.

일 실시예에서, 상기 결정된 난이도를 보정하는 단계는, 상기 문제 컨텐츠의 오답자 수에 상기 추측 비율을 곱한 값보다 상기 문제 컨텐츠의 정답자 수가 소정 비율 이상인 경우에만 수행될 수 있다.In one embodiment, the step of correcting the determined difficulty level may be performed only when the number of correct answers to the problem content is greater than a predetermined ratio than a value obtained by multiplying the number of incorrect answerers of the problem content by the guess rate.

일 실시예에서, 상기 추측 비율은, 상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화가 클수록 높아지도록 조정되는 값일 수 있다.In an embodiment, the guess rate may be a value adjusted to increase as the change over time of the correct answer rate of the problem content increases.

일 실시예에서, 상기 추측 비율은, 최대 오답 문항 수의 역수까지만 높아지도록 제한되는 값일 수 있다.In an embodiment, the guessing ratio may be a value limited to increase only up to the reciprocal of the maximum number of incorrect answers.

일 실시예에서, 상기 추측 비율은, 상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화의 표준편차에 비례하도록 조정되는 값일 수 있다.In one embodiment, the guessing ratio may be a value adjusted to be proportional to a standard deviation of a change over time of the correct answer rate of the problem content.

일 실시예에서, 보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계를 더 포함할 수 있다.In an embodiment, the method may further include recommending the corrected difficulty content to the test taker terminal.

일 실시예에서, 상기 보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계는, 상기 응시자의 학습 수준에 해당되는 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천할 수 있다.In an embodiment, in the step of recommending the corrected problem content of the difficulty level to the test taker terminal, the problem content of a difficulty level corresponding to the learning level of the test taker may be recommended to the test taker terminal.

일 실시예에서, 상기 보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계는, 상기 응시자의 학습 수준의 소정 범위 이내에 해당하는 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천할 수 있다.In one embodiment, in the step of recommending the corrected problem content of the difficulty level to the test taker terminal, the problem content of a difficulty level corresponding to within a predetermined range of the test taker's learning level may be recommended to the test taker terminal.

일 실시예에서, 상기 보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계는, 상기 응시자 단말로부터 입력되는 난이도에 해당되는 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천할 수 있다.In one embodiment, the step of recommending the corrected problem content of the difficulty level to the test taker terminal may recommend the problem content of a difficulty level corresponding to the difficulty level input from the test taker terminal to the test taker terminal.

일 실시예에서, 문제의 난이도를 결정하는 단계는, 보정된 난이도의 문제 컨텐츠에 대한 답안 데이터를 기초로 상기 문제 컨텐츠의 난이도를 재귀적으로 결정할 수 있다.In an embodiment, the determining of the difficulty level of the problem may recursively determine the difficulty level of the problem content based on answer data for the corrected difficulty level problem content.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 문제 난이도 조정 서버는 프로세서, 네트워크 인터페이스, 메모리, 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 문제 컨텐츠를 디스플레이 하는 응시자 단말로부터 수신된 상기 문제 컨텐츠에 대한 답안 데이터를 이용하여 상기 문제 컨텐츠의 정답률을 결정하고, 상기 정답률을 이용하여 상기 문제 컨텐츠의 난이도를 결정하는 인스트럭션(instruction) 및 상기 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 얻은 진성정답자의 수를 이용하여 상기 결정된 난이도를 보정하는 인스트럭션을 포함하되, 상기 추측정답자의 수는 상기 문제 컨텐츠의 오답자 수에 추측 비율을 곱하여 얻어진 값이고, 상기 추측 비율은 상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화가 작을수록 낮아지도록 조정되는 값일 수 있다.In order to solve the above technical problem, the problem difficulty adjustment server according to an embodiment of the present invention includes a processor, a network interface, a memory, and a computer program loaded into the memory and executed by the processor, The computer program determines the correct answer rate of the question content using answer data for the question content received from the test taker terminal that displays the question content, and uses the correct answer rate to determine the difficulty of the question content. ) And an instruction for correcting the determined difficulty using the number of true correct answers obtained by subtracting the number of guessed correct answers from the number of correct answerers of the problem content, wherein the number of guessed correct answers is guessed by the number of incorrect answers of the problem content. It is a value obtained by multiplying a ratio, and the guess ratio may be a value adjusted to decrease as the change over time of the correct answer rate of the problem content decreases.

도 1은 본 발명의 일 실시예에 따른 문제 난이도 조정 시스템의 개요도이다.
도 2는 본 발명의 일 실시예에 따른 문제 난이도 조정 방법의 순서도이다.
도 3은 결정된 난이도를 보정하는 단계를 구체적으로 나타내는 순서도이다.
도 4는 결정된 난이도를 보정하는 단계의 다른 실시예이다.
도 5는 본 발명의 다른 실시예에 따른 문제 난이도 조정 방법의 순서도이다.
도 6은 본 발명의 다른 실시예의 결정된 난이도를 보정하는 단계를 구체적으로 나타내는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 문제 난이도 조정 서버의 하드웨어 구성도이다.1 is a schematic diagram of a problem difficulty adjustment system according to an embodiment of the present invention.
2 is a flowchart of a method for adjusting the difficulty of a problem according to an embodiment of the present invention.
3 is a flow chart specifically showing the step of correcting the determined difficulty level.
4 is another embodiment of a step of correcting the determined difficulty level.
5 is a flowchart of a method of adjusting the difficulty of a problem according to another embodiment of the present invention.
6 is a flow chart specifically showing the step of correcting the determined difficulty according to another embodiment of the present invention.
7 is a hardware configuration diagram of a problem difficulty adjustment server according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments to be posted below, but may be implemented in a variety of different forms, and only these embodiments make the posting of the present invention complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have it, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used with meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically. The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase.

이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.Hereinafter, some embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 문제 난이도 조정 시스템의 개요도이다.1 is a schematic diagram of a problem difficulty adjustment system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 문제 난이도 조정 시스템은, 문제 난이도 조정 서버(100) 및 응시자 단말(200)을 포함할 수 있다.Referring to FIG. 1, a problem difficulty adjustment system according to an embodiment of the present invention may include a problem difficulty adjustment server 100 and a test taker terminal 200.

문제 난이도 조정 서버(100)는 컴퓨팅 장치에 의하여 수행되는 방법을 수행하는 서버로서, 본 발명의 일 실시예에 따른 문제 난이도 조정 방법(S100)을 수행할 수 있다. 문제 난이도 조정 서버(100)는 문제를 데이터베이스화하여 저장하고 응시자 단말(200)로 문제 컨텐츠를 제공하는 장치일 수 있다. 문제 컨텐츠는 문제와 이에 대한 문항이 나열된 객관식 문제일 수 있으나, 객관식 문제에 한정되는 것은 아니다.The problem difficulty adjustment server 100 is a server that performs a method performed by a computing device, and may perform the problem difficulty adjustment method S100 according to an embodiment of the present invention. The problem difficulty adjustment server 100 may be a device that converts and stores a problem into a database and provides problem content to the candidate terminal 200. The problem content may be a multiple-choice problem listing a problem and a question about it, but is not limited to a multiple-choice problem.

문제 난이도 조정 서버(100)는 응시자 단말(200)로부터 수집된 정보를 저장하고 분석할 수 있다. 문제 난이도 조정 서버(100)는 본 발명의 일 실시예에 따른 문제 난이도 조정 방법(S100)을 수행하여 문제 컨텐츠의 난이도를 결정하고, 결정된 난이도를 보정한 뒤 보정된 난이도의 문제 컨텐츠를 응시자 단말(200)로 문제를 추천할 수 있다.The problem difficulty adjustment server 100 may store and analyze the information collected from the candidate terminal 200. The problem difficulty adjustment server 100 determines the difficulty level of the problem content by performing the problem difficulty adjustment method S100 according to an embodiment of the present invention, corrects the determined difficulty level, and then applies the corrected problem content to the test taker terminal ( 200) can be recommended.

응시자 단말(200)은 문제 난이도 조정 서버(100)와 네트워크(300)로 연결되어 문제 난이도 조정 서버(100)로부터 문제를 제공받을 수 있고, 답안 데이터를 문제 난이도 조정 서버(100)로 전송한 뒤 문제 난이도 조정 서버(100)로부터 조정된 난이도의 문제 컨텐츠를 제공받을 수 있다. 응시자 단말은 제공받은 문제에 대한 답 또는 문제 풀이 과정이 입력될 수 있고, 문제 풀이에 대한 부가적인 정보가 입력될 수 있으나, 입력되는 정보는 이에 한정되는 것은 아니다.The candidate terminal 200 is connected to the problem difficulty adjustment server 100 and the network 300 to receive a problem from the problem difficulty adjustment server 100, and transmits the answer data to the problem difficulty adjustment server 100 Problem content of the adjusted difficulty level may be provided from the problem difficulty adjustment server 100. The candidate terminal may input an answer to a given problem or a problem solving process, and may input additional information about solving the problem, but the input information is not limited thereto.

응시자 단말(200)은 한 개로 구성될 수 있으나, 도 1과 같이 제1 응시자의 단말 내지 제n 응시자의 단말로 구성될 수 있으며 응시자 단말(200)의 개수는 이에 한정되는 것은 아니다. 응시자 단말(200)은 도 1과 같이 복수 개로 구성되는 경우 각 응시자 단말(200)이 모두 같은 문제 컨텐츠를 제공받거나, 모두 다른 문제 컨텐츠를 제공받거나, 일부는 같은 문제 컨텐츠를 제공받고 나머지는 다른 문제 컨텐츠를 제공받을 수 있다. 이 경우 문제 난이도 조정 서버(100)는 각 문제에 대해 어떤 응시자 단말(200)로 제공되었는지, 각 응시자 단말(200)로부터 수신한 답안 데이터는 무엇인지 저장할 수 있다. 응시자 단말(200)이 보정된 난이도의 문제 컨텐츠를 추천받는 상세한 프로세스는 도 2 내지 도 7을 통해 상세하게 설명하도록 한다.The test taker terminal 200 may be configured as one, but may be configured as a terminal of a first test taker to a terminal of an nth test taker as shown in FIG. 1, and the number of test taker terminals 200 is not limited thereto. When the test taker terminal 200 is composed of a plurality as shown in FIG. 1, each test taker terminal 200 receives the same problem content, all of them receive different problem content, some are provided with the same problem content, and the rest are different problems. Content can be provided. In this case, the problem difficulty adjustment server 100 may store which test taker terminal 200 is provided for each question, and what answer data received from each test taker terminal 200 is. A detailed process in which the candidate terminal 200 is recommended for the corrected difficulty content will be described in detail with reference to FIGS. 2 to 7.

이러한 응시자 단말(200)은 유무선 통신이 가능한 PC(Personal Computer), 노트북 등의 컴퓨팅 장치, 셀룰러 단말, 키오스크, 디스플레이가 구비된 스마트폰, PDA(Personal Digital Assistant)와 같은 전자장치일 수 있으나, 이러한 장치에 한정되는 것은 아니고, 문제 난이도 조정 서버(100)로부터 문제 컨텐츠를 제공받아 디스플레이하고, 각종 정보가 입력될 수 있는 다양한 종류의 장치로 구성될 수 있다.The test taker terminal 200 may be an electronic device such as a personal computer (PC) capable of wired or wireless communication, a computing device such as a notebook, a cellular terminal, a kiosk, a smart phone equipped with a display, or a personal digital assistant (PDA). It is not limited to the device, and may be configured with various types of devices that receive and display problem content from the problem difficulty adjustment server 100 and input various information.

네트워크(300)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobileradio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.The network 300 is implemented as all kinds of wired/wireless networks such as a local area network (LAN), a wide area network (WAN), a mobile radio communication network, and a wireless broadband Internet (Wibro). Can be.

도 2는 본 발명의 일 실시예에 따른 문제 난이도 조정 방법(S100)의 순서도이다.2 is a flowchart of a method S100 for adjusting the difficulty of a problem according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 문제 난이도 조정 방법(S100)은, 응시자 단말(200)로 문제 컨텐츠를 제시하는 단계(S110), 응시자 단말(200)로부터 문제 컨텐츠에 대한 답안 데이터를 수신하는 단계(S120), 문제 컨텐츠의 난이도를 결정하는 단계(S130), 결정된 난이도를 보정하는 단계(S140), 보정된 난이도의 문제 컨텐츠를 응시자 단말(200)로 추천하는 단계(S150) 및 응시자 단말(200)로부터 수집되지 않은 문제가 존재하는지 판단하는 단계(S160)를 포함할 수 있다.Referring to Figure 2, the problem difficulty adjustment method according to an embodiment of the present invention (S100), the step of presenting the problem content to the candidate terminal 200 (S110), an answer to the problem content from the candidate terminal 200 Receiving data (S120), determining the difficulty level of the problem content (S130), correcting the determined difficulty level (S140), and recommending the corrected problem content to the candidate terminal 200 (S150) And determining whether there is a problem that has not been collected from the candidate terminal 200 (S160).

문제 난이도 조정 서버(100)는 데이터 베이스에 포함된 문제 컨텐츠를 응시자 단말(200)로 제시할 수 있다. 문제 난이도 조정 서버(100)는 각 응시자의 학습 수준에 따라서 학습 수준에 해당하는 난이도에 해당하는 문제 컨텐츠를 응시자 단말(200)로 제시할 수 있다. 문제 컨텐츠의 난이도는 문제 난이도 조정 서버(100)에 저장된 문제에 설정된 데이터 값으로서, 초기에 문제를 생성한 문제 출제자에 의해 설정되거나, 문제 난이도 조정 서버(100)에 의해 임의로 부여된 값일 수 있다. 이러한 문제 컨텐츠의 난이도는 후술하는 바와 같이 응시자 단말(200)로부터 답안 데이터를 수신하면 문제 컨텐츠의 정답자의 수에 따라 실시간으로 조정될 수 있다.The problem difficulty adjustment server 100 may present the problem content included in the database to the candidate terminal 200. The problem difficulty adjustment server 100 may present problem content corresponding to the difficulty level corresponding to the learning level to the test taker terminal 200 according to the learning level of each test taker. The difficulty level of the problem content is a data value set for the problem stored in the problem difficulty adjustment server 100, and may be set by the problem creator who initially created the problem, or may be a value arbitrarily given by the problem difficulty adjustment server 100. As will be described later, the difficulty level of the problem content may be adjusted in real time according to the number of correct respondents of the problem content when the answer data is received from the candidate terminal 200.

학습 수준은 문제 난이도 조정 서버(100)에 응시자 단말(200) 또는 외부 서버를 통해 미리 입력된 데이터이거나, 문제 난이도 조정 서버(100) 자체에서 이 전에 응시자 단말(200)로부터 수신한 답안 데이터를 통해 응시자의 수준이 분석된 데이터일 수 있다. 학습 수준은 상, 중 및 하로 구분되거나 균등한 단위의 그룹으로 나뉜 집단으로 구분되거나, 등수를 기초로 나타낸 데이터일 수 있으나, 이에 한정되는 것은 아니다.The learning level is data previously entered through the test taker terminal 200 or an external server to the problem difficulty adjustment server 100, or through the answer data previously received from the test taker terminal 200 in the problem difficulty adjustment server 100 itself. The test taker's level may be analyzed data. The learning level may be divided into upper, middle, and lower groups, divided into groups of equal units, or data expressed on the basis of an equal number, but is not limited thereto.

문제 난이도 조정 서버(100)는 네트워크(300)를 통해 응시자 단말(200)로부터 문제 컨텐츠에 대한 답안 데이터를 수신할 수 있다. 문제 난이도 조정 서버(100)는 수신한 문제 컨텐츠에 대한 답안 데이터를 응시자 별, 날짜 별 또는 문제 유형 별로 나누어 데이터베이스에 저장할 수 있고, 저장형태가 이와 같은 사항으로 한정되는 것은 아니다.The problem difficulty adjustment server 100 may receive answer data for the problem content from the candidate terminal 200 through the network 300. The problem difficulty adjustment server 100 may divide the answer data for the received problem content into a database by dividing it by each candidate, by date, or by question type, and the storage format is not limited to this.

문제 난이도 조정 서버(100)는 답안 데이터를 이용하여 상기 문제 컨텐츠의 정답률을 결정하고, 상기 정답률을 이용하여 상기 문제 컨텐츠의 난이도를 결정하는 단계를 수행할 수 있다. 문제 난이도 조정 서버(100)는 답안 데이터를 통해 응시자의 문제 컨텐츠에 대한 정답 여부를 판단하고, 문제 컨텐츠에 정답을 맞힌 사람을 수를 기초로 정답률을 결정할 수 있다. 또한, 문제 난이도 조정 서버(100)는 결정된 정답률을 기초로 문제 컨텐츠의 난이도를 결정할 수 있다.The problem difficulty adjustment server 100 may perform the step of determining a correct answer rate of the problem content using the answer data, and determining the difficulty level of the problem content using the correct answer rate. The problem difficulty adjustment server 100 may determine whether or not the candidate has a correct answer to the problem content through the answer data, and may determine a correct answer rate based on the number of people who answered the problem content correctly. In addition, the problem difficulty adjustment server 100 may determine the difficulty level of the problem content based on the determined correct answer rate.

예를 들어, 총 응시자 수를 N이라고 하고, 문제 컨텐츠를 맞힌 응시자 수를 R이라고 하면, 정답률을 R/N로 결정할 수 있다. 1번 문제 컨텐츠를 1000명의 응시자 단말(200)에 전송하고 답안 데이터를 수신하여 400명이 맞힌 것으로 판단되면, 1번 문제 컨텐츠의 정답률은 4/10이므로, 난이도를 0.4로 결정할 수 있다. 만약, 2번 문제 컨텐츠의 난이도가 0.1인 경우 2번 문제를 맞힌 사람이 더 적은 것이므로, 2번 문제의 난이도가 더 높은 것이다.For example, if the total number of test takers is N and the number of test takers who corrected the problem content is R, the correct answer rate may be determined as R/N. If the content for question 1 is transmitted to the terminal 200 of 1000 candidates and the answer data is received and it is determined that 400 people are correct, the correct answer rate of the content for question 1 is 4/10, and the difficulty level may be determined as 0.4. If the difficulty level of the content in question 2 is 0.1, there are fewer people who have corrected the content in question 2, so the difficulty level in question 2 is higher.

문제 난이도 조정 서버(100)는 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 얻은 진성정답자의 수를 이용하여 결정된 난이도를 보정할 수 있다. 문제 난이도 조정 서버(100)는 추측정답자의 수를 계산한 뒤 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감할 수 있다. 추측정답자는 문제 컨텐츠의 정답을 확실하게 알지 못한 채 추측에 의해 문제 컨텐츠의 정답을 맞힌 정답자로서, 문제 난이도 조정 서버(100)에 의해 추측정답자라고 추정되는 응시자이다. 추측정답자 수는 문제 컨텐츠의 문항 수와 문제 컨텐츠의 오답자 수를 이용하여 계산할 수 있는데, 이러한 내용은 도 3에서 상세하게 설명하도록 한다.The problem difficulty adjustment server 100 may correct the determined difficulty level using the number of true correct answers obtained by subtracting the number of guessed correct answers from the number of correct answers of the problem content. The problem difficulty adjustment server 100 may calculate the number of guessed correct answers and then subtract the number of guessed correct answers from the number of correct answers of the problem content. The predicted correct answerer is a correct answerer who corrects the question content by guessing without knowing the correct answer of the question content, and is a candidate who is estimated to be the correct answer by the problem difficulty adjustment server 100. The number of guessed correct answers can be calculated using the number of questions in the problem content and the number of incorrect answers in the problem content, which will be described in detail in FIG. 3.

본 발명의 일 실시예에 따른 문제 난이도 조정 방법(S100)은 문제를 추측하지 않고 실력으로 맞힌 응시자들만 추출하여 문제 컨텐츠의 난이도를 정확하게 결정할 수 있다.In the method S100 for adjusting the difficulty of a problem according to an embodiment of the present invention, the difficulty of the problem content may be accurately determined by extracting only candidates who have been corrected by skill without guessing the problem.

문제 난이도 조정 서버(100)는 보정된 난이도의 문제 컨텐츠를 응시자 단말(200)로 추천할 수 있다. 문제 난이도 조정 서버(100)는 응시자 단말(200)에 처음으로 제공되는 문제 컨텐츠를 제공할 수 있으나, 응시자의 반복되는 연습을 위해 이미 제공되었던 문제 컨텐츠를 다시 제공할 수도 있다. 이때, 문제 난이도 조정 서버(100)는 응시자의 학습 수준에 해당되는 난이도의 문제 컨텐츠를 상기 응시자 단말(200)로 추천할 수 있다.The problem difficulty adjustment server 100 may recommend the corrected problem content to the candidate terminal 200. The problem difficulty adjustment server 100 may provide the first problem content to be provided to the test taker terminal 200, but may provide the problem content that has already been provided for repeated practice of the test taker. At this time, the problem difficulty adjustment server 100 may recommend problem content of a difficulty level corresponding to the test taker's learning level to the test taker terminal 200.

또한, 문제 난이도 조정 서버(100)는 응시자의 학습 수준의 소정 범위 이내에 해당하는 난이도의 문제 컨텐츠를 상기 응시자 단말(200)로 추천할 수 있다. 문제 난이도 조정 서버(100)는 서버관리자 또는 응시자 단말(200)로부터 소정 범위의 난이도를 입력 받아 응시자의 학습 수준에 크게 벗어 나지 않는 범위 내에 해당하는 난이도의 문제를 추천할 수 있다. 또한, 문제 난이도 조정 서버(100)는 응시자의 학습 수준에 바로 인접한 응시자의 학습 수준, 즉, 바로 앞 순위의 응시자 또는 바로 뒤 순위의 응시자의 학습 수준에 해당하는 문제를 추천할 수 있다. 이 경우 문제 난이도 조정 서버(100)는 응시자의 학습 수준과 유사한 학습 수준에 해당하는 다양한 문제 컨텐츠를 응시자에게 제공할 수 있는 장점이 있다.In addition, the problem difficulty adjustment server 100 may recommend problem content of a difficulty level corresponding to a predetermined range of the test taker's learning level to the test taker terminal 200. The problem difficulty adjustment server 100 may receive a predetermined range of difficulty from the server manager or the test taker terminal 200 and recommend a problem of a difficulty that falls within a range that does not significantly deviate from the learning level of the candidate. In addition, the problem difficulty adjustment server 100 may recommend a problem corresponding to the learning level of the test taker immediately adjacent to the learning level of the test taker, that is, the learning level of the test taker in the immediately preceding or the test taker immediately after the test. In this case, the problem difficulty adjustment server 100 has the advantage of being able to provide a variety of problem contents corresponding to a learning level similar to that of the test taker to the candidate.

이에 따라, 문제 난이도 조정 방법(S100)은 응시자 단말(200)에 응시자의 학습 수준에 맞는 난이도의 문제를 제공함에 따라 응시자가 자기 수준에 적합한 문제를 효율적으로 학습할 수 있다. 또한, 문제 난이도 조정 방법(S100)은 다양한 응시자의 수준에 따라 난이도가 어렵게 설정되거나 쉽게 설정되도록 유동적으로 변하여 응시자의 집단에 따라 문제 컨텐츠의 난이도를 적합하게 결정할 수 있다.Accordingly, the problem difficulty adjustment method (S100) provides the test taker terminal 200 with a problem of a difficulty level suitable for the test taker's learning level, so that the test taker can efficiently learn a problem suitable for their level. In addition, the problem difficulty adjustment method S100 may be set to be difficult or fluidly changed to be easily set according to the level of various test takers, so that the difficulty level of the problem content may be appropriately determined according to the group of test takers.

문제 난이도 조정 서버(100)는 보정된 난이도의 문제 컨텐츠에 대한 답안 데이터를 기초로 상기 문제 컨텐츠의 난이도를 재귀적으로 결정할 수 있다. 즉, 문제 난이도 조정 서버(100)는 문제 컨텐츠의 난이도를 결정할 때 보정된 난이도의 문제를 응시자 단말(200)로 추천한 후에 수신한 답안 데이터를 기초로 다시 문제 컨텐츠의 난이도를 결정할 수 있다. 이 경우, 문제 난이도 조정 서버(100)는 보정된 난이도에 따라 응시자에게 문제 컨텐츠를 제공하고 그 결과를 이용하여 난이도를 조정하는 것이기 때문에 계속적으로 새로운 결과를 제공받아 문제 컨텐츠의 난이도를 더 정확하게 결정할 수 있다. 즉, 문제 난이도 조정 서버(100)는 계속하여 문제 컨텐츠의 난이도를 보정하여 문제 컨텐츠의 정확한 난이도를 계속하여 찾을 수 있다.The problem difficulty adjustment server 100 may recursively determine the difficulty level of the problem content based on answer data for the corrected difficulty level problem content. That is, the problem difficulty adjustment server 100 may recommend the corrected difficulty level to the candidate terminal 200 when determining the difficulty level of the problem content, and then determine the difficulty level of the problem content again based on the received answer data. In this case, since the problem difficulty adjustment server 100 provides the problem content to the candidate according to the corrected difficulty level and adjusts the difficulty level using the result, it is possible to more accurately determine the difficulty level of the problem content by receiving new results continuously. have. That is, the problem difficulty adjustment server 100 may continuously correct the difficulty level of the problem content to continuously find the correct difficulty level of the problem content.

또한, 문제 난이도 조정 서버(100)는 응시자 단말(200)로부터 입력되는 난이도에 해당되는 난이도의 문제 컨텐츠를 응시자 단말(200)로 추천할 수 있다. 즉, 문제 난이도 조정 서버(100)는 응시자가 원하는 난이도의 문제 컨텐츠를 응시자 단말(200)로 추천할 수 있다. 이에 따라, 사용자는 정확하게 설정된 난이도의 문제를 자율적으로 선택하여 학습의 강도를 선택할 수 있는 장점이 있다.In addition, the problem difficulty adjustment server 100 may recommend the problem content of a difficulty level corresponding to the difficulty level input from the test taker terminal 200 to the test taker terminal 200. That is, the problem difficulty adjustment server 100 may recommend the problem content of the difficulty level desired by the test taker to the test taker terminal 200. Accordingly, the user has the advantage of being able to select the intensity of learning by autonomously selecting a problem with an accurately set difficulty level.

문제 난이도 조정 서버(100)는 응시자 단말(200)로부터 수집되지 않은 문제 컨텐츠가 존재하는 경우 응시자 단말(200)로부터 문제 컨텐츠에 대한 답안 데이터를 추가로 수집하여 문제의 컨텐츠의 난이도를 결정할 수 있다. 문제 난이도 조정 서버(100)는 추가로 수집된 문제 답안 데이터를 데이터베이스에 저장하고, 갱신된 데이터베이스를 기초로 문제를 응시한 총 응시자의 수와 정답을 맞힌 정답자 수를 변경하여 난이도를 새롭게 결정할 수 있다. 물론, 문제 난이도 조정 서버(100)는 새로운 결과의 난이도가 결정된 문제 컨텐츠의 난이도를 또 다시 보정할 수 있다.The problem difficulty adjustment server 100 may determine the difficulty level of the problem content by additionally collecting answer data for the problem content from the candidate terminal 200 when there is problem content that has not been collected from the candidate terminal 200. The problem difficulty adjustment server 100 may store the additionally collected question answer data in a database, and change the total number of candidates who took the question and the number of correct answers corrected based on the updated database to newly determine the difficulty level. . Of course, the problem difficulty adjustment server 100 may again correct the difficulty level of the problem content for which the difficulty level of the new result is determined.

본 발명의 일 실시예에 따른 문제 난이도 조정 방법(S100)은 대용량 데이터 처리시스템인 Hadoop을 이용할 수 있고, 정답자 수 및 오답자 수를 Hadoop Pig를 이용하여 상술한 공식에 대입할 수 있다. 문제 난이도 조정 서버(100)는 데이터베이스에 저장된 문제 컨텐츠를 Hadoop을 이용하여 select하고, Hadoop 에코시스템의 하나로 RDBMS와 Hadoop용 파일시스템인 HDFS간에 데이터를 import, exprt해주는 프레임워크인 Sqoop을 이용하여 HDFS에 과정에 따른 폴더파일을 저장하며, 저장된 파일을 Pig를 이용하여 문제 컨텐츠 식별번호로 그룹핑할 수 있다. 문제 난이도 조정 서버(100)는 난이도를 결정한 뒤 기존 난이도를 업데이트하는 배치문을 실행하여 난이도를 조정할 수 있다.The problem difficulty adjustment method S100 according to an embodiment of the present invention may use Hadoop, which is a large-capacity data processing system, and the number of correct and incorrect answers can be substituted into the above formula using Hadoop Pig. The problem difficulty adjustment server 100 selects the problem content stored in the database using Hadoop, and uses Sqoop, a framework that imports and exprts data between RDBMS and HDFS, a file system for Hadoop, as one of the Hadoop ecosystem. Folder files according to the process are stored, and the stored files can be grouped by problem content identification number using Pig. Problem difficulty adjustment server 100 may adjust the difficulty level by executing a batch statement for updating the existing difficulty level after determining the difficulty level.

도 3은 결정된 난이도를 보정하는 단계를 구체적으로 나타내는 순서도이다.3 is a flow chart specifically showing the step of correcting the determined difficulty level.

도 3을 참조하면, 문제 난이도 조정 서버(100)는 오답 문항의 수를 기초로 추측 비율을 설정(S1401)하고, 오답자 수에 추측 비율을 곱하여 추측정답자의 수를 계산(S1405)한 뒤, 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 진성정답자의 수를 계산(S1406)할 수 있다.3, the problem difficulty adjustment server 100 sets a guess rate based on the number of incorrect answers (S1401), and calculates the number of guess correct answers by multiplying the number of incorrect answers by the guess rate (S1405), The number of true correct answers may be calculated by subtracting the number of guessed correct answers from the number of correct answers of the problem content (S1406).

구체적으로, 문제 난이도 조정 서버(100)는 문제 컨텐츠의 정답을 확실하게 알지 못하는 응시자가 각 문항을 선택할 확률을 동일하게 취급하여 계산할 수 있다. 즉, 난이도 조정 서버는 정답 문항과 오답 문항을 합한 전체 문항 각각을 선택할 확률을 동일하게 취급할 수 있다. 문제 난이도 조정 서버(100)는 오답 문항의 수의 역수를 추측 비율로 설정할 수 있다. 객관식 문제 컨텐츠의 문항 개수를 Q라고 하면, 정답이 1개일 때 오답은 Q-1이 된다. 따라서, 추측 비율은 1/(Q-1)이된다. 추측 비율은 응시자가 문제 컨텐츠를 풀지 않고 추측할 때 각 문항에 대하여 선택하는 인원 수에 대한 기대 값이다. 따라서, 문제 난이도 조정 서버(100)는 5지선다형 객관식 문제 컨텐츠의 문항 개수 Q는 5개이므로 위 식에 대입하면, 추측 비율을 1/4로 설정할 수 있다.Specifically, the problem difficulty adjustment server 100 may calculate the same probability of selecting each question by a candidate who is not sure of the correct answer of the problem content. In other words, the difficulty adjustment server may treat the probability of selecting each of the total questions that is the sum of the correct and incorrect questions equally. The problem difficulty adjustment server 100 may set the reciprocal of the number of incorrectly answered questions as a guess rate. If the number of questions in the multiple-choice question content is Q, when there is only one correct answer, the incorrect answer becomes Q-1. Therefore, the guessing ratio becomes 1/(Q-1). The guessing rate is an expected value for the number of people selected for each question when a candidate guesses without solving the problem content. Therefore, the problem difficulty adjustment server 100 can set the guess rate to 1/4 by substituting it into the above equation since the number of questions Q of the five-choice multiple-choice problem content is five.

이후 문제 난이도 조정 서버(100)는 오답자 수에 추측 비율을 곱하여 추측 정답자의 수를 계산할 수 있다. 이하, 정답자의 수를 R이라고 하고 추측하여 정답을 맞힌 응시자가 존재하고 이를 GR이라고 하고 진성정답자를 R-GR이라고 하고, 전체 오답자의 수를 W라고 하고, 추측하여 답을 틀린 오답자의 수를 GW라고 한다. 여기서 문제를 맞히려고 노력하였으나 결과적으로 답을 제대로 알지 못하여 틀린 응시자도 결국 추측하여 답을 틀린 오답자이므로 GW는 W를 가리키는 의미로 즉, GW=W로 볼 수 있다. 이때 문제 난이도 조정 서버(100)는 상술한 바와 같이 각 문항에 대해 선택할 확률을 동일하게 가정하므로, 정답이 하나이고 문항이 Q개인 문제 컨텐츠를 추측하여 풀었을 때 각 문항을 추측하여 선택하는 인원 수에 대한 기대 값을 W/(Q-1)로 계산할 수 있다. 예를 들면, 총 응시자 수가 1000명이고, 400명이 5지 선다형 문제를 맞혔을 경우 오답자 수는 600명이 된다. 따라서, W=600이고 Q=5이므로 추측 비율은 1/4이된다. 따라서, 각 문항에 대해 추측하여 선택할 인원수에 대한 기대 값은 600/4=150이 될 수 있다. 따라서, 문제 난이도 조정 서버(100)는 정답 문항이 한 개이므로 정답 문항을 추측하여 선택하는 인원수에 대한 기대 값도 마찬가지로 W/(Q-1)로 계산할 수 있다. 따라서, GR= W/(Q-1)으로 볼 수 있으므로 GR의 값은 150이 된다. 이러한 추측정답자의 수 GR을 전체 정답자의 수 R에서 차감하면 진성정답자를 구할 수 있다. 문제 난이도 조정 서버(100)는 위와 같은 예시에서 정답자 400명 중 150명은 추측정답자 GR이므로, 250명을 진성정답자로 계산할 수 있다. 한편, 문제 난이도 조정 서버(100)는 한 문항당 추측하여 선택하는 인원을 W/(Q-1)로 계산하였으므로 여기에 문항의 수를 곱하면 문제 전체에 대해 추측하여 선택한 인원을 계산할 수 있다. 따라서, 문제 난이도 조정 서버(100)는 추측한 전체 응시자 수 G를 WQ/(Q-1)로 계산할 수 있으므로, 위와 같은 예에서 추측한 전체 응시자의 수를 750명으로 계산할 수 있다.Thereafter, the problem difficulty adjustment server 100 may calculate the number of correct guesses by multiplying the number of incorrect answers by the guess ratio. Hereinafter, the number of correct answers is R, and there are candidates who guessed and answered the correct answer. This is called GR, the true correct answer is called R-GR, the total number of incorrect answers is called W, and the number of incorrect answers by guessing is GW. It is called. Although they tried to solve the problem here, as a result, they did not know the answer properly, and as a result, the wrong candidate eventually guessed and answered the wrong answer. Therefore, GW means W, that is, GW=W. At this time, since the problem difficulty adjustment server 100 assumes the same probability of selection for each question as described above, the number of people who guess and select each question when solving by guessing and solving the problem content with one correct answer and Q questions The expected value for can be calculated as W/(Q-1). For example, if the total number of candidates is 1000, and 400 people answer the five-point multiple-choice question, the number of incorrect answers is 600. Therefore, since W=600 and Q=5, the guess ratio is 1/4. Therefore, the expected value for the number of people to select by guessing for each question can be 600/4=150. Therefore, since the problem difficulty adjustment server 100 has one correct answer question, the expected value for the number of people selected by guessing the correct answer question may also be calculated as W/(Q-1). Therefore, it can be seen as GR = W/(Q-1), so the value of GR is 150. The true correct answer can be obtained by subtracting the number of guessed correct answers GR from the total number of correct answers R. The problem difficulty adjustment server 100 is, in the above example, 150 of the 400 correct answers are the guessed correct answers GR, and thus 250 may be calculated as the true correct answer. On the other hand, since the problem difficulty adjustment server 100 calculated the number of people who guessed and selected per question as W/(Q-1), multiplying this by the number of questions can calculate the number of people who guessed and selected the entire problem. Therefore, since the problem difficulty adjustment server 100 can calculate the estimated total number of candidates G as WQ/(Q-1), the total number of candidates estimated in the above example can be calculated as 750.

문제 난이도 조정 서버(100)는 계산된 진성정답자의 수를 이용하여 문제 컨텐츠의 난이도를 보정할 수 있다. 문제 난이도 조정 서버(100)는 위와 같은 예에서, 기존에 1000명 중 400명이 정답을 맞힌 문제 컨텐츠의 난이도를 0.4로 결정했지만, 250명을 진성정답자로 계산한 뒤 난이도를 0.25로 보정할 수 있다.The problem difficulty adjustment server 100 may correct the difficulty of the problem content using the calculated number of true correct answers. In the above example, the problem difficulty adjustment server 100 has previously determined the difficulty level of the problem content to which 400 out of 1000 correct answers was correct to 0.4, but after calculating 250 people as the true correct answer, the difficulty level may be corrected to 0.25. .

이에 따라 본 발명의 일 실시예에 따른 문제 난이도 조정 방법(S100)은 문제를 추측하여 맞힌 정답자를 제거하고 실제 실력으로만 맞힌 정답자를 기준으로 다시 문제의 난이도를 결정하여 응시자들에게 정확한 난이도에 대한 정보를 제공하는 장점이 있고, 이에 따라 응시자들은 본인에게 가장 적합한 문제를 접하게 되어 학습 실력을 효과적으로 상승시킬 수 있다.Accordingly, in the method of adjusting the difficulty of a problem (S100) according to an embodiment of the present invention, the correct answer is removed by guessing the problem, and the difficulty of the problem is determined again based on the correct answer only with the actual skill. It has the advantage of providing information, and accordingly, candidates may encounter problems that are most suitable for them, thereby effectively improving their learning skills.

문제 난이도 조정 서버(100)는 추측정답자를 더 정확하게 구하기 위해 추측 비율(1/(Q-1))을 임의로 조정할 수 있다. 문제 난이도 조정 서버(100)는 추측 비율에 따른 실제 응시 결과를 기초로 추측 비율을 조정할 수 있다. 문제 난이도 조정 서버(100)는 도 2에서 설명한 바와 같이 응시자 단말(200)로부터 문제 컨텐츠에 대한 답안 데이터를 수신하는데, 이때 데이터베이스에 날짜 별, 시간 별로 응시자 단말(200)의 답안 데이터를 분류하여 관리할 수 있다. 이때, 문제 난이도 조정 서버(100)는 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화를 측정하여, 변화가 작을수록 낮아지도록 추측 비율을 조정하거나, 시간의 흐름에 따른 변화가 클수록 높아지도록 추측 비율을 조정할 수 있다. 이러한 내용에 대한 구체적인 설명은 도 6에서 함께 설명하도록 한다.The problem difficulty adjustment server 100 may arbitrarily adjust the guess ratio (1/(Q-1)) in order to more accurately obtain the guess correct answer. Problem difficulty adjustment server 100 may adjust the guess rate based on the actual gaze result according to the guess rate. The problem difficulty adjustment server 100 receives answer data for the problem content from the test taker terminal 200 as described in FIG. 2, and at this time, classifies and manages the answer data of the test taker terminal 200 by date and time in the database. can do. At this time, the problem difficulty adjustment server 100 measures the change over time in the correct answer rate of the problem content, and adjusts the guess rate so that the smaller the change is, the higher the guess rate becomes. Can be adjusted. A detailed description of these contents will be described together with FIG. 6.

도 4는 결정된 난이도를 보정하는 단계의 다른 실시예이다.4 is another embodiment of a step of correcting the determined difficulty level.

도 4를 참조하면 문제 난이도 조정 서버(100)는 도 3에 비해 정답 문항이 2개 이상인 경우 추측 비율에 정답 문항 수를 곱하여 추측 비율을 재설정하는 단계(S1402)를 더 포함할 수 있다. 문제 난이도 조정 서버(100)는 결정된 난이도를 보정하는 단계를 수행할 때 도 3의 실시예와 동일한 방식으로 수행하므로 동일한 단계에 대한 설명은 생략하도록 한다. 문제 난이도 조정 서버(100)는 정답 문항이 2개 이상인지 확인하는데, 도 4에서 이 단계는 오답 문항의 수를 기초로 추측 비율을 설정하는 단계 이후에 도시되어 있지만, 이러한 순서에 한정되는 것은 아니고, 오답자 수에 추측비율을 곱하여 추측정답자의 수를 계산하는 단계(S1405) 전에만 수행하면 무방하다.Referring to FIG. 4, when there are two or more correct answers compared to FIG. 3, the problem difficulty adjustment server 100 may further include a step of resetting the guess ratio by multiplying the guess ratio by the number of correct answers (S1402). Since the problem difficulty adjustment server 100 performs the step of correcting the determined difficulty level in the same manner as in the embodiment of FIG. 3, a description of the same steps will be omitted. The problem difficulty adjustment server 100 checks whether there are two or more correct answers, but in FIG. 4 this step is shown after the step of setting a guess rate based on the number of incorrect answers, but is not limited to this order. , It is okay to perform only before the step (S1405) of calculating the number of guessed correct answers by multiplying the number of incorrect answers by the guess ratio.

문제 난이도 조정 서버(100)는 정답 문항이 2개 이상인 경우 추측 비율(1/(Q-1))에 정답 문항의 수를 반영하여 추측 비율을 재설정(S1403)할 수 있다. 문제 난이도 조정 서버(100)는 정답 문항이 2개인 경우 추측 비율을 1/(Q-2)로, 정답 문항이 3개인 경우 추측 비율을 1/(Q-3)로 재설정할 수 있다. 마찬가지로, 문제 난이도 조정 서버(100)는 정답 문항이 더 늘어남에 따라 추측 비율을 더 크게 재설정할 수 있다.If there are two or more correct answer questions, the problem difficulty adjustment server 100 may reset the guess rate by reflecting the number of correct answer questions in the guess rate (1/(Q-1)) (S1403). The problem difficulty adjustment server 100 may reset the guess rate to 1/(Q-2) when there are two correct answer questions, and reset the guess rate to 1/(Q-3) when there are 3 correct answer questions. Likewise, the problem difficulty adjustment server 100 may reset the guess rate to be larger as the number of correct answer questions further increases.

문제 난이도 조정 서버(100)는 5지 선다형 문제 컨텐츠에서 정답 문항이 2개인 경우 추측 비율을 1/3로 설정하여 위의 예에서 추측하여 정답을 맞힌 응시자의 수 GR을 200으로 계산할 수 있다.The problem difficulty adjustment server 100 may calculate the number GR of the number of candidates who guessed in the above example and answered the correct answer as 200 by setting the guessing ratio to 1/3 when there are two correct answer questions in the 5-point multiple-choice problem content.

도 5는 본 발명의 다른 실시예에 따른 문제 난이도 조정 방법(S100)의 순서도이다.5 is a flowchart of a method (S100) for adjusting the difficulty of a problem according to another embodiment of the present invention.

도 5를 참조하면, 본 발명의 다른 실시예에 따른 문제 난이도 조정 방법(S200)은 도 2에서 설명한 각 단계와 수행 방법은 동일하지만, 본 실시예에서는 문제 난이도 조정 서버(100)는 결정된 난이도를 보정하는 단계(S240)를 문제 컨텐츠의 오답자 수에 추측 비율을 곱한 값보다 문제 컨텐츠의 정답자 수가 소정 비율 이상인 경우(S235)에만 수행할 수 있다. 도 2에서 설명한 내용과 동일한 부분은 생략하도록 한다.Referring to FIG. 5, the problem difficulty adjustment method S200 according to another embodiment of the present invention is the same as each step and performing method described in FIG. 2, but in this embodiment, the problem difficulty adjustment server 100 adjusts the determined difficulty level. The correcting step (S240) may be performed only when the number of correct respondents of the problem content is greater than a predetermined ratio (S235) than a value obtained by multiplying the number of incorrect answers of the problem content by the guessing ratio. The same parts as those described in FIG. 2 will be omitted.

도 3에서 설명한 예시를 들면, 문제 난이도 조정 서버(100)는 총 응시자 수가 1000명일 때 정답자 수가 400명이고 오답자 수가 600명인데, 만약 총 응시자 수가 750명이라고 한다면 정답자의 수가 150명이고 오답자 수가 600명이되며 GR=W/(Q-1)에 대입하면 추측정답자의 수는 150명이 된다. 이 경우 문제 난이도 조정 서버(100)는 모든 정답자의 수 R이 추측 정답자의 수 GR과 동일하게 판단하므로 모든 정답자들이 추측하여 맞힌 것으로 판단되어 현실적인 결과와 오차가 생길 수 있다. 또한, 총 응시자 수가 150명 미만으로 예를 들어 10명으로 가정하고 오답자 수가 600명인 경우라도 GR=W/(Q-1)에 대입하면 추측정답자의 수가 여전히 150명이 된다. 이러한 경우 문제 난이도 조정 서버(100)는 입력된 총 인원은 610명이지만 750명을 계산하게 되어 오류를 발생시키게 된다. 따라서, 문제 난이도 조정 서버(100)는 이러한 오류를 방지하기 위해 문제 컨텐츠의 오답자 수에 추측 비율을 곱한 값보다 문제 컨텐츠의 정답자 수가 소정 비율 이상인지 비교(S235)하여 이상인 경우에만 결정된 난이도를 보정하는 단계(S240)를 수행할 수 있다. 즉, 문제 난이도 조정 서버(100)는 W/(Q-1)<R인 경우에 결정된 난이도를 보정하는 단계(S240)를 수행할 수 있지만, 이러한 경우에도 현실과 괴리된 결과가 나올 수 있기 때문에 X를 소정 비율이라고 하면, W/(Q-1)*X<R처럼 오답자의 수에 추측 비율을 곱한 값에 다시 소정 비율을 곱한 값보다 정답자 수가 큰 경우(S235)에만 결정된 난이도를 보정하는 단계를 수행할 수 있다. 이러한 소정 비율은 서버 관리자에 의해 조정되거나 외부에 의해 변경되는 비율일 수 있다. 일 실시예로서, 소정 비율은 전체 응시자의 수와 추측정답자 수의 비율((R+W)/GR), 즉, 문항 수로 설정될 수 있다. 이 경우 문제 난이도 조정 서버(100)는 결정된 난이도를 보정하는 단계(S240)를 수행하는 정답자의 수를 여유 있도록 설정하여 프로그램의 실행 오류를 방지할 수 있다.For the example described in FIG. 3, the problem difficulty adjustment server 100 has 400 correct respondents and 600 incorrect respondents when the total number of test takers is 1000. If the total number of test takers is 750, the number of correct respondents is 150 and incorrect respondents. The number is 600, and if it is substituted for GR=W/(Q-1), the number of guessed correct answers is 150. In this case, since the problem difficulty adjustment server 100 determines that the number R of all correct answers is the same as the number of guessed correct answers GR, it is determined that all correct answers have guessed and corrected, resulting in realistic results and errors. In addition, even if the total number of test takers is less than 150, for example, 10, and the number of incorrect answers is 600, if it is substituted into GR=W/(Q-1), the number of guessed correct answers is still 150. In this case, the problem difficulty adjustment server 100 calculates 750 people, although the total number of inputs is 610 people, resulting in an error. Therefore, in order to prevent such an error, the problem difficulty adjustment server 100 compares whether the number of correct respondents of the problem content is greater than or equal to a predetermined ratio (S235) than a value obtained by multiplying the number of incorrect respondents of the problem content by the guess rate, and corrects the determined difficulty level only when it is abnormal The step (S240) may be performed. That is, the problem difficulty adjustment server 100 may perform the step (S240) of correcting the determined difficulty in the case of W/(Q-1)<R, but even in this case, a result that is deviated from the reality may come out. Assuming that X is a predetermined ratio, correcting the determined difficulty level only when the number of correct respondents is larger than the value obtained by multiplying the number of incorrect answerers by the guessing ratio and multiplying the predetermined ratio again (S235), such as W/(Q-1)*X<R You can do it. This predetermined ratio may be a ratio adjusted by the server administrator or changed by the outside. As an embodiment, the predetermined ratio may be set as a ratio ((R+W)/GR) of the total number of candidates and the number of guessed correct answers, that is, the number of questions. In this case, the problem difficulty adjustment server 100 may prevent an execution error of a program by setting the number of correct answerers who perform the step (S240) of correcting the determined difficulty level to be sufficient.

도 6은 본 발명의 다른 실시예의 결정된 난이도를 보정하는 단계를 구체적으로 나타내는 순서도이다.6 is a flow chart specifically showing the step of correcting the determined difficulty according to another embodiment of the present invention.

도 6을 참조하면, 문제 난이도 조정 서버(100)는 결정된 난이도를 보정하는 단계를 수행할 때 도 3의 실시예에 비해 문제 컨텐츠의 시간의 흐름에 따른 변화를 측정하는 단계, 변화의 표준 편차를 계산하는 단계 및 표준 편차에 따라 추측 비율을 조정하는 단계를 더 포함할 수 있다. 오답 문항의 수를 기초로 추측 비율을 설정하는 단계, 오답자 수에 추측 비율을 곱하여 추측정답자의 수를 계산하는 단계 및 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 진성정답자의 수를 계산하는 단계는 도 3에서 설명한 내용과 동일하므로 설명을 생략하도록 한다.Referring to FIG. 6, when performing the step of correcting the determined difficulty, the problem difficulty adjustment server 100 measures a change over time of the problem content compared to the embodiment of FIG. 3, and calculates the standard deviation of the change. It may further include the step of calculating and adjusting the guess ratio according to the standard deviation. The step of setting the guess rate based on the number of incorrect questions, calculating the number of guessed correct answers by multiplying the number of incorrect answers by the guessing rate, and calculating the number of true correct answers by subtracting the number of guessed correct answers from the number of correct answers in the problem content Since the step is the same as that described in FIG. 3, the description will be omitted.

만약 문제 난이도 조정 서버(100)가 문제 컨텐츠의 난이도를 결정한 뒤 결정된 난이도를 보정하고, 보정된 난이도의 문제 컨텐츠를 응시자 단말(200)로 제공한다고 했을 때, 문제 난이도 조정 서버(100)는 응시자 단말(200)로부터 제공된 문제 컨텐츠에 대한 답안 데이터를 수신하게 된다. 문제 난이도 조정 서버(100)는 답안 데이터를 각 문제 컨텐츠에 대해 시간 별로 데이터베이스화할 수 있다. 문제 난이도 조정 서버(100)는 데이터베이스화된 문제 컨텐츠가 어떤 값의 추측 비율로 응시자 단말(200)에 제공되었는지 기록할 수 있는데, 이에 따라 문제 난이도 조정 서버(100)는 추측 비율에 따라 보정된 난이도의 문제 컨텐츠를 실제 응시자가 응시했을 때 결과를 비교할 수 있다. 예를 들어, 총 응시자 수가 1000명, 정답자 수가 400명이고, 5지 선다 문제 컨텐츠의 추측 비율이 1/4이라고 할 때 문제 난이도 조정 서버(100)는 150명을 추측정답자로 계산할 수 있고, 진정 정답자를 250명으로 계산할 수 있다. 따라서, 문제 난이도 조정 서버(100)는 문제의 난이도가 0.25에 해당하는 학습 수준의 응시자들에게 상기 문제 컨텐츠를 제공할 수 있다. 문제의 난이도가 0.25에 해당하는 학습 수준의 응시자들에게 상기 문제 컨텐츠를 제공하는 경우, 각 문제의 성격과 유형에 따라서 예상되는 적정 정답률이 각기 다를 수 있다. 이러한 예상되는 적정 정답률은 서버 관리자 또는 외부 서버로부터 입력될 수 있다.If the problem difficulty adjustment server 100 determines the difficulty level of the problem content, corrects the determined difficulty level, and provides the corrected problem content to the test taker terminal 200, the problem difficulty adjustment server 100 is the test taker terminal Answer data for the problem content provided from 200 is received. The problem difficulty adjustment server 100 may convert the answer data into a database for each problem content by time. The problem difficulty adjustment server 100 may record whether the databaseized problem content is provided to the test taker terminal 200 at a guess rate of a value, and accordingly, the problem difficulty adjustment server 100 is corrected according to the guess rate. The results can be compared when the actual test taker takes the content of the problem. For example, when the total number of test takers is 1000, the number of correct answers is 400, and the guess rate of the five-point question content is 1/4, the problem difficulty adjustment server 100 may calculate 150 as the guess correct answer. The correct answer can be counted as 250. Accordingly, the problem difficulty adjustment server 100 may provide the problem content to test takers of the learning level corresponding to the problem difficulty level of 0.25. In the case of providing the question content to test takers of a learning level corresponding to a difficulty of 0.25, the expected appropriate correct answer rate may be different depending on the nature and type of each question. This expected correct answer rate may be input from a server manager or an external server.

이 경우 문제 난이도 조정 서버(100)는 적정 학습 수준의 응시자들에게 예상되는 적정 정답률을 10%라고 가정하였을 때, 실제로 응시자 단말(200)로부터 수신한 답안 데이터의 정답률이 10%일 수도 있지만 그렇지 않을 수도 있다. 즉, 실제로 응시자 단말(200)로부터 수신한 답안 데이터의 정답률은 10.5%가 되거나 9.5%가 되거나 크게는 20% 또는 5%도 될 수도 있다. 문제 난이도 조정 서버(100)는 이러한 정답률 데이터를 관리하여 시간의 흐름에 따른 변화를 측정할 수 있다. 만약, 시간의 흐름에 따른 정답률의 변화가 큰 경우 문제 난이도 조정 서버(100)는 추측정답자의 수가 잘못된 것으로 판단할 수 있다. 왜냐하면 응시자의 학습 수준은 제대로 측정된 상태에서 시간의 흐름에 따른 정답률의 변화가 큰 경우 같은 입력 값의 출력 결과가 계속적으로 다르게 나왔다는 것이므로 변수가 작용했다는 것인데, 추측하여 문제 컨텐츠를 맞힌 추측정답자 수가 계산했던 것보다 큰 문제 컨텐츠이기 때문이다.In this case, the problem difficulty adjustment server 100 may have a correct answer rate of 10% of the answer data actually received from the test taker terminal 200, assuming that the expected correct answer rate for candidates of an appropriate learning level is 10%. May be. That is, the correct answer rate of the answer data actually received from the candidate terminal 200 may be 10.5% or 9.5%, or may be 20% or 5%. The problem difficulty adjustment server 100 may measure the change over time by managing the correct answer rate data. If the change in the correct answer rate over time is large, the problem difficulty adjustment server 100 may determine that the number of guess correct answers is wrong. Because the test taker's learning level was measured correctly and the change in the correct answer rate over time was large, the output result of the same input value was continuously different, so the variable worked. This is because it is a bigger problem content than we calculated.

상술한 바와 같이 문제 컨텐츠는 문제의 유형과 성격에 따라 나뉠 수 있는데 문제 컨텐츠가 추측하기 용이한 문제가 존재할 수 있고, 추측하기 비용이한 문제가 존재할 수 있다. 예를 들어, 겉으로 보기에 문제의 난이도가 월등히 높아 보이는 문제 컨텐츠이거나 문제의 분량이 긴 경우 난이도와 상관없이 문제를 풀기도 전에 추측하는 응시자가 많을 수 있다. 이 경우 추측하여 정답을 고른 응시자들의 정답률은 일정하지 않기 때문에 의해 시간이 흐르면서 정답률의 변화 폭은 클 것이다. 이와 반대로 대부분의 응시자들이 추측하지 않고 푸는 문제는 추측하는 응시자들이 적기 때문에 학습 수준이 비슷한 응시자들 사이에서 시간이 흐르더라도 정답률의 변화 폭은 적을 것이다.As described above, problem contents can be divided according to the type and nature of the problem, and there may be problems in which the problem contents are easy to guess, and there may be problems that are less expensive to guess. For example, if the problem content seems to have a very high level of difficulty on the surface, or if the amount of problem is long, there may be many candidates who guess before solving the problem regardless of the difficulty level. In this case, the correct answer rate of the candidates who guessed and selected the correct answer is not constant, so the range of change in the correct answer rate will be large over time. On the contrary, because most candidates do not guess and solve problems without guessing, fewer candidates guess, so the rate of change in the correct answer rate will be small even though time passes among candidates with similar learning levels.

따라서, 문제 난이도 조정 서버(100)는 이러한 정답률을 기초로 추측 비율을 낮출 수 있다. 예를 들어, 문제 난이도 조정 서버(100)는 정답률의 변화 폭이 적은 경우 추측하는 응시자가 적은 것으로 판단하고, 추측 비율을 낮출 수 있다. 문제 난이도 조정 서버(100)는 도 5에서 설명한 바와 같이 정답자의 수가 오답자 수에 추측 비율을 곱한 값보다 작으면 결정된 난이도를 보정하는 단계(S240)가 수행되지 않으므로, 추측 비율을 낮춤으로써 정답자의 수가 오답자 수에 추측 비율을 곱한 값보다 커지도록 만들어 결정된 난이도를 보정하는 단계(S240)를 실시하게 만들 수 있다. 이를 통해 문제 난이도 조정 서버(100)는 정답자 수가 부족하여 결정된 난이도를 보정하는 단계(S240)를 실시하지 못하는 경우에도 미세하게 추측정답자들을 계산해 나가면서 진성정답자 수가 점점 실제 진성정답자 수에 수렴하도록 문제 컨텐츠의 난이도를 보정할 수 있다.Accordingly, the problem difficulty adjustment server 100 may lower the guess rate based on the correct answer rate. For example, the problem difficulty adjustment server 100 may determine that there are fewer candidates to guess when the range of change in the correct answer rate is small, and may lower the guess rate. Problem difficulty adjustment server 100, as described in Figure 5, if the number of correct answers is less than a value obtained by multiplying the number of incorrect answers by the guess ratio, the step of correcting the determined difficulty level (S240) is not performed, so that the correct answer is By making the number larger than a value obtained by multiplying the number of incorrect answerers by the guess ratio, the step (S240) of correcting the determined difficulty may be performed. Through this, even if the problem difficulty adjustment server 100 fails to perform the step (S240) of correcting the determined difficulty due to insufficient number of correct answers, the problem content so that the number of true correct answers gradually converges to the actual number of true correct answers while calculating the guessed correct answers finely. You can correct the difficulty of.

예를 들어, 총 응시자 수가 650명, 정답자 수가 50명이고, 5지 선다 문제 컨텐츠의 추측 비율이 1/4이라고 할 때 문제 난이도 조정 서버(100)는 150명을 추측정답자로 계산할 수 있고, 진성정답자를 0명으로 계산할 수 있다. 이러한 경우 문제 난이도 조정 서버(100)는 오류가 발생되어 문제 컨텐츠의 난이도를 보정할 수 없고, 초기에 결정된 난이도인 50/650=0.07 로 결정하고, 난이도 0.07에 해당하는 학습 수준의 응시자에게 문제를 제공할 수 있다. 이 경우 난이도 0.07에 해당하는 학습 수준의 응시자들이 문제를 푼 결과 정답률의 변동의 폭이 거의 없는 것으로 측정되는 경우, 문제 난이도 조정 서버(100)는 추측 비율을 낮게 조정할 수 있다. 만약 문제 난이도 조정 서버(100)가 추측 비율을 1/15로 낮췄다고 가정하면, 추측정답자를 40명으로 계산할 수 있다. 이 경우 정답자 수가 추측정답자 수보다 많으므로 본 발명의 결정된 난이도를 보정하는 단계를 수행할 수 있게 된다.For example, if the total number of test takers is 650, the number of correct respondents is 50, and the guess rate of the five-point question content is 1/4, the problem difficulty adjustment server 100 can calculate 150 people as the correct guess, and You can count the correct answer as 0. In this case, the problem difficulty adjustment server 100 cannot correct the difficulty of the problem content due to an error, and determines the difficulty level of 50/650 = 0.07, which is initially determined, and solves the problem to the test taker of the learning level corresponding to the difficulty level 0.07. Can provide. In this case, when it is measured that there is little variation in the correct answer rate as a result of solving the problem by the test takers of the learning level corresponding to the difficulty level of 0.07, the problem difficulty adjustment server 100 may adjust the guess rate to be low. If it is assumed that the problem difficulty adjustment server 100 has lowered the guess rate to 1/15, the number of correct guesses can be calculated as 40. In this case, since the number of correct answers is greater than the number of guessed correct answers, the step of correcting the determined difficulty level of the present invention can be performed.

또 다른 실시예에서, 문제 난이도 조정 서버(100)는 정답률을 기초로 추측 비율을 높일 수 있다. 이 경우 문제 난이도 조정 서버(100)는 정답률의 변화 폭이 큰 경우 추측 비율을 높여서 추측정답자를 빠르게 제거할 수 있다. 이때, 문제 난이도 조정 서버(100)는, 추측 비율을 최대 오답 문항 수의 역수까지만 높아지도록 제한할 수 있다. 즉, 문제 난이도 조정 서버(100)는 추측 비율을 과도하게 높여서 정답자 수가 오답자 수에 추측 비율을 곱한 값보다 적어지는 것을 방지하기 위해 추측 비율의 최대 값을 제한할 수 있다.In another embodiment, the problem difficulty adjustment server 100 may increase the guess rate based on the correct answer rate. In this case, the problem difficulty adjustment server 100 may quickly remove the guessed correct answerer by increasing the guess rate when the variation in the correct answer rate is large. In this case, the problem difficulty adjustment server 100 may limit the guess rate to be increased only to the reciprocal of the maximum number of incorrect answers. That is, the problem difficulty adjustment server 100 may limit the maximum value of the guessing ratio in order to prevent the number of correct answers less than a value obtained by multiplying the number of incorrect answers by the guessing ratio by excessively increasing the guessing ratio.

또 다른 실시예에서, 문제 난이도 조정 서버(100)는 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화의 표준편차에 비례하도록 조정할 수 있다. 이 경우 문제 난이도 조정 서버(100)는 표준편차가 미리 설정된 값에 비해 큰 경우 추측 비율을 높이고, 표준편차가 미리 설정된 값에 비해 작은 경우 추측 비율을 낮출 수 있다.In another embodiment, the problem difficulty adjustment server 100 may adjust the correct answer rate of the problem content to be proportional to the standard deviation of the change over time. In this case, the problem difficulty adjustment server 100 may increase a guess rate when the standard deviation is larger than a preset value, and decrease the guess rate when the standard deviation is smaller than a preset value.

도 7을 참조하면, 본 발명의 일 실시예에 따른 문제 난이도 조정 서버(100)는 하나 이상의 프로세서(110), 네트워크 인터페이스(120), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(130)와 하나 이상의 소프트웨어(141 및 142)를 저장하는 스토리지(140)를 포함할 수 있다.Referring to FIG. 7, the problem difficulty adjustment server 100 according to an embodiment of the present invention loads a computer program executed by one or more processors 110, network interfaces 120, and processors 110. It may include a memory 130 and a storage 140 for storing one or more software 141 and 142.

프로세서(110)는 문제 난이도 조정 서버(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(210)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 문제 난이도 조정 서버(100)는 하나 이상의 프로세서(110)를 구비할 수 있다.The processor 110 controls the overall operation of each component of the problem difficulty adjustment server 100. The processor 210 may be configured to include a CPU (Central Processing Unit), MPU (Micro Processor Unit), MCU (Micro Controller Unit), or any type of processor well known in the art. In addition, the processor 110 may perform an operation on at least one application or program for executing the method according to the embodiments of the present invention. The problem difficulty adjustment server 100 may include one or more processors 110.

네트워크 인터페이스(120)는 문제 난이도 조정 서버(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(120)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(120)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.The network interface 120 supports wired/wireless Internet communication of the problem difficulty adjustment server 100. In addition, the network interface 120 may support various communication methods other than Internet communication. To this end, the network interface 120 may be configured to include a communication module well known in the art.

네트워크 인터페이스(120)는 네트워크(300)를 통해 응시자 단말(200)로 문제 컨텐츠를 제공하고 응시자 단말(200)로부터 답안 데이터를 수신할 수 있으며, 답안 데이터를 이용해 보정된 난이도의 문제 컨텐츠를 응시자 단말(200)로 제공할 수 있다.The network interface 120 may provide problem content to the test taker terminal 200 through the network 300 and receive answer data from the test taker terminal 200, and use the answer data to receive the corrected problem content of the difficulty level at the test taker terminal. It can be provided as 200.

메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다.The memory 130 stores various types of data, commands and/or information.

메모리(130)는 본 발명의 실시예들에 따른 문제 난이도 조정 방법(S100)을 실행하기 위하여 스토리지(140)로부터 하나 이상의 프로그램(141 및 142)을 로드할 수 있다. 도 7에서 메모리(130)의 예시로 RAM이 도시되어 있으나, 이에 한정되지 않고, 하나 이상의 프로그램(141 및 142)을 로드할 수 있는 어떠한 구성 요소든지 적용 가능하다.The memory 130 may load one or more programs 141 and 142 from the storage 140 in order to execute the method S100 for adjusting the difficulty of a problem according to embodiments of the present invention. In FIG. 7, RAM is shown as an example of the memory 130, but the present invention is not limited thereto, and any component capable of loading one or more programs 141 and 142 may be applied.

스토리지(140)는 문제 컨텐츠 D/B, 응시자의 답안 D/B, 응시자 관련 데이터를 비임시적으로 저장할 수 있다. 도 7에서 하나 이상의 프로그램(142)의 예시로 문제 난이도 조정 소프트웨어가 도시되어 있다.The storage 140 may non-temporarily store the problem content D/B, the candidate's answer D/B, and the candidate-related data. In Figure 7, problem difficulty adjustment software is shown as an example of one or more programs 142.

스토리지(140)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The storage 140 is a nonvolatile memory such as a ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), flash memory, etc., a hard disk, a removable disk, or well in the technical field to which the present invention belongs. It may be configured to include any known computer-readable recording medium.

문제 난이도 조정 소프트웨어(142)는 문제 컨텐츠를 디스플레이 하는 응시자 단말(200)로부터 수신된 문제 컨텐츠에 대한 답안 데이터를 이용하여 문제 컨텐츠의 정답률을 결정하고, 정답률을 이용하여 문제 컨텐츠의 난이도를 결정하는 인스트럭션(instruction) 및 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 얻은 진성정답자의 수를 이용하여 결정된 난이도를 보정하는 인스트럭션을 포함할 수 있다. 여기서 추측정답자의 수는 문제 컨텐츠의 오답자 수에 추측 비율을 곱하여 얻어진 값이고, 추측 비율은 상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화가 작을수록 낮아지도록 조정되는 값일 수 있다.The problem difficulty adjustment software 142 is an instruction to determine the correct answer rate of the problem content using the answer data for the problem content received from the test taker terminal 200 that displays the problem content, and determine the difficulty level of the problem content using the correct answer rate. (instruction) and an instruction for correcting the determined difficulty by using the number of true correct answers obtained by subtracting the number of guessed correct answers from the number of correct answers of the problem content. Here, the number of guess correct answers is a value obtained by multiplying the number of incorrect answerers of the question content by a guess rate, and the guess rate may be a value adjusted to decrease as the change of the correct answer rate of the question content over time decreases.

지금까지 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 클라우드 서비스를 위한 서버 풀에 속한 물리 서버, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치를 모두 포함한다.The methods according to the embodiments of the present invention described so far can be performed by executing a computer program implemented in computer-readable code. The computer program may be transmitted from a first computing device to a second computing device through a network such as the Internet and installed in the second computing device, thereby being used in the second computing device. The first computing device and the second computing device include all of a server device, a physical server belonging to a server pool for cloud services, and a fixed computing device such as a desktop PC.

상기 컴퓨터프로그램은 DVD-ROM, 플래시 메모리 장치 등의 기록매체에 저장된 것일 수도 있다.The computer program may be stored in a recording medium such as a DVD-ROM or a flash memory device.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features. I can understand. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting.

Claims (12)

컴퓨팅 장치에 의하여 수행되는 방법에 있어서,
문제 컨텐츠를 디스플레이 하는 응시자 단말로부터 수신된 상기 문제 컨텐츠에 대한 답안 데이터를 이용하여 상기 문제 컨텐츠의 정답률을 결정하고, 상기 정답률을 이용하여 상기 문제 컨텐츠의 난이도를 결정하는 단계; 및
상기 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 얻은 진성정답자의 수를 이용하여 상기 결정된 난이도를 보정하는 단계를 포함하되,
상기 추측정답자의 수는 상기 문제 컨텐츠의 오답자 수에 추측 비율을 곱하여 얻어진 값이고, 상기 추측 비율은 상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화가 작을수록 낮아지도록 조정되는 값인,
문제 난이도 조정 방법.In the method performed by the computing device,
Determining a correct answer rate of the question content using answer data for the question content received from a test taker terminal displaying the question content, and determining a difficulty level of the question content using the correct answer rate; And
Compensating the determined difficulty level using the number of true correct answers obtained by subtracting the number of guessed correct answers from the number of correct answers of the problem content,
The number of guessed correct answers is a value obtained by multiplying the number of incorrect answers of the problem content by a guessing ratio, and the guessing ratio is a value adjusted to decrease as the change of the correct answer rate of the problem content over time decreases,
How to adjust the difficulty of the problem. 제1항에 있어서,
상기 결정된 난이도를 보정하는 단계는,
상기 문제의 정답 문항이 2개 이상인 경우, 상기 추측 비율에 상기 정답 문항 수를 반영하여 상기 추측 비율을 재설정하는,
문제 난이도 조정 방법.The method of claim 1,
Correcting the determined difficulty level,
When the number of correct answers to the problem is two or more, resetting the guessing ratio by reflecting the number of correct answers to the guessing ratio,
How to adjust the difficulty of the problem. 제1항에 있어서,
상기 결정된 난이도를 보정하는 단계는,
상기 문제 컨텐츠의 오답자 수에 상기 추측 비율을 곱한 값에 비해 상기 문제 컨텐츠의 정답자 수가 소정 비율 이상인 경우에만 수행되는,
문제 난이도 조정 방법.The method of claim 1,
Correcting the determined difficulty level,
It is performed only when the number of correct respondents of the problem content is greater than a predetermined ratio compared to a value obtained by multiplying the number of incorrect answerers of the problem content by the guess rate,
How to adjust the difficulty of the problem. 제3항에 있어서,
상기 추측 비율은,
상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화가 클수록 높아지도록 조정되는 값인,
문제 난이도 조정 방법.The method of claim 3,
The guess ratio is,
A value adjusted to increase as the change of the correct answer rate of the problem content increases over time,
How to adjust the difficulty of the problem. 제4항에 있어서,
상기 추측 비율은,
최대 오답 문항 수의 역수까지만 높아지도록 제한되는 값인,
문제 난이도 조정 방법.The method of claim 4,
The guess ratio is,
A value that is limited to increase only to the reciprocal of the maximum number of incorrect answers
How to adjust the difficulty of the problem. 제1항에 있어서,
상기 추측 비율은,
상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화의 표준편차에 비례하도록 조정되는 값인,
문제 난이도 조정 방법.The method of claim 1,
The guess ratio is,
A value adjusted in proportion to the standard deviation of the change over time of the correct answer rate of the problem content,
How to adjust the difficulty of the problem. 제1항에 있어서,
보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계를 더 포함하는,
문제 난이도 조정 방법.The method of claim 1,
Further comprising the step of recommending the problem content of the corrected difficulty to the candidate terminal,
How to adjust the difficulty of the problem. 제7항에 있어서,
상기 보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계는,
상기 응시자의 학습 수준에 해당되는 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는,
문제 난이도 조정 방법.The method of claim 7,
The step of recommending the corrected problem content to the test taker terminal,
Recommending problem content of a difficulty level corresponding to the test taker's learning level to the test taker terminal,
How to adjust the difficulty of the problem. 제7항에 있어서,
상기 보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계는,
상기 응시자의 학습 수준의 소정 범위 이내에 해당하는 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는,
문제 난이도 조정 방법.The method of claim 7,
The step of recommending the corrected problem content to the test taker terminal,
Recommending problem content of a difficulty level corresponding to a predetermined range of the test taker's learning level to the test taker terminal
How to adjust the difficulty of the problem. 제7항에 있어서,
상기 보정된 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는 단계는,
상기 응시자 단말로부터 입력되는 난이도에 해당되는 난이도의 문제 컨텐츠를 상기 응시자 단말로 추천하는,
문제 난이도 조정 방법.The method of claim 7,
The step of recommending the corrected problem content to the test taker terminal,
Recommending problem contents of a difficulty level corresponding to the difficulty level input from the test taker terminal to the test taker terminal,
How to adjust the difficulty of the problem. 제1항에 있어서,
문제의 난이도를 결정하는 단계는,
보정된 난이도의 문제 컨텐츠에 대한 답안 데이터를 기초로 상기 문제 컨텐츠의 난이도를 재귀적으로 결정하는,
문제 난이도 조정 방법.The method of claim 1,
The steps to determine the difficulty of the problem are:
Recursively determining the difficulty level of the problem content based on the answer data for the corrected difficulty level problem content,
How to adjust the difficulty of the problem. 프로세서;
네트워크 인터페이스;
메모리; 및
상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
상기 컴퓨터 프로그램은,
문제 컨텐츠를 디스플레이 하는 응시자 단말로부터 수신된 상기 문제 컨텐츠에 대한 답안 데이터를 이용하여 상기 문제 컨텐츠의 정답률을 결정하고, 상기 정답률을 이용하여 상기 문제 컨텐츠의 난이도를 결정하는 인스트럭션(instruction); 및
상기 문제 컨텐츠의 정답자 수에서 추측정답자의 수를 차감하여 얻은 진성정답자의 수를 이용하여 상기 결정된 난이도를 보정하는 인스트럭션을 포함하되,
상기 추측정답자의 수는 상기 문제 컨텐츠의 오답자 수에 추측 비율을 곱하여 얻어진 값이고, 상기 추측 비율은 상기 문제 컨텐츠의 정답률의 시간의 흐름에 따른 변화가 작을수록 낮아지도록 조정되는 값인,
문제 난이도 조정 서버.

Processor;
Network interface;
Memory; And
A computer program loaded into the memory and executed by the processor,
The computer program,
An instruction for determining a correct answer rate of the question content using answer data for the question content received from a test taker terminal for displaying the question content, and determining a difficulty level of the question content using the correct answer rate; And
Including an instruction for correcting the determined difficulty level using the number of true correct answers obtained by subtracting the number of guessed correct answers from the number of correct answers of the problem content,
The number of guessed correct answers is a value obtained by multiplying the number of incorrect answers of the problem content by a guessing ratio, and the guessing ratio is a value adjusted to decrease as the change of the correct answer rate of the problem content over time decreases,
Problem difficulty adjustment server.

KR1020190016423A 2019-02-13 2019-02-13 METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty KR102230052B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190016423A KR102230052B1 (en) 2019-02-13 2019-02-13 METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190016423A KR102230052B1 (en) 2019-02-13 2019-02-13 METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty

Publications (3)

Publication Number Publication Date
KR20200098830A true KR20200098830A (en) 2020-08-21
KR102230052B1 KR102230052B1 (en) 2021-03-19
KR102230052B9 KR102230052B9 (en) 2021-08-23

Family

ID=72235877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016423A KR102230052B1 (en) 2019-02-13 2019-02-13 METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty

Country Status (1)

Country Link
KR (1) KR102230052B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102316980B1 (en) * 2020-11-20 2021-10-27 태그하이브 주식회사 Apparatus for providing question personalized user and method performing thereof
KR20220056748A (en) * 2020-10-28 2022-05-06 머니매그넷 주식회사 Method and device for classifying and adjusting difficulty of evaluation problems for measuring learning level of learners level based on machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025386A (en) * 2000-09-28 2002-04-04 김용원 Method for education using internet and System therefor
KR100446000B1 (en) 2001-09-24 2004-08-25 삼성에스디에스 주식회사 Automatic contorol method of the difficulty of problem-bank type on-line testing solution
KR101000676B1 (en) * 2008-07-04 2010-12-10 동명대학교산학협력단 Method and apparatus for automatically adjusting difficulty of item evaluation using multi knowledge in the self-directed learning system
KR20150135584A (en) * 2014-05-22 2015-12-03 이원영 A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025386A (en) * 2000-09-28 2002-04-04 김용원 Method for education using internet and System therefor
KR100446000B1 (en) 2001-09-24 2004-08-25 삼성에스디에스 주식회사 Automatic contorol method of the difficulty of problem-bank type on-line testing solution
KR101000676B1 (en) * 2008-07-04 2010-12-10 동명대학교산학협력단 Method and apparatus for automatically adjusting difficulty of item evaluation using multi knowledge in the self-directed learning system
KR20150135584A (en) * 2014-05-22 2015-12-03 이원영 A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IRT 문항모수. 네이버 블로그, [online], 2017. 9. 21., [2020.07.22. 검색], 인터넷 https://blog.naver.com/quovadis34/221102036316 1부.* *
박세현. 학습자의 문제 풀이 결과에 따른 난이도 동적 조절 시스템. 인하대학교 교육대학원 석사학위논문. 인하대학교 교육대학원 정보·컴퓨터교육학과, 2004년 2월. 1부.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220056748A (en) * 2020-10-28 2022-05-06 머니매그넷 주식회사 Method and device for classifying and adjusting difficulty of evaluation problems for measuring learning level of learners level based on machine learning
KR102316980B1 (en) * 2020-11-20 2021-10-27 태그하이브 주식회사 Apparatus for providing question personalized user and method performing thereof

Also Published As

Publication number Publication date
KR102230052B9 (en) 2021-08-23
KR102230052B1 (en) 2021-03-19

Similar Documents

Publication Publication Date Title
US10354544B1 (en) Predicting student proficiencies in knowledge components
US8761658B2 (en) System and method for a computerized learning system
KR20200135892A (en) Method, apparatus and computer program for providing personalized educational curriculum and contents through user learning ability
KR102146111B1 (en) Method for providing an information of a question analysis using big data
US20150125845A1 (en) Server and method for providing learner-customized learning service
KR20150051198A (en) Server and method for providing learning service learner’s oder
KR102230052B1 (en) METHOD FOR ADJUSTING Question difficulty and SERVER FOR ADJUSTING Question difficulty
Zheng New methods of online calibration for item bank replenishment
CN110866209A (en) Online education data pushing method and system and computer equipment
KR20180097477A (en) Scoring apparatus for subjective mathematics problems using on-line network and method thereof
KR20210101201A (en) Method for recommending question based on similarity and server using the same
KR20200091537A (en) An online examination service system based on difficulty of questions
CN107729921B (en) Machine active learning method and learning system
CN108073603B (en) Job distribution method and device
KR102084092B1 (en) Method of providing mathematics education service, learning management server and mathematical education system
KR20200012430A (en) Method for providing an information of a probability of correct response for a learner
Tapia-Moreno et al. Digital Learning Tools for Mobile Devices for Accomplish Hypothesis Testing of Statistical Parameters.
KR102146112B1 (en) Method for providing an information of a question analysis using big data
KR102465634B1 (en) Technique for providing customized problems to improve problem solving skills of users
US20230351153A1 (en) Knowledge graph reasoning model, system, and reasoning method based on bayesian few-shot learning
KR102518474B1 (en) Technique for updating a skill of a user
KR20140077823A (en) Method and apparatus for providing learning contents
KR102473991B1 (en) Online-based exam and evaluation system
JP6831551B2 (en) Learning support device, program, learning support method, learning support system
KR20230136265A (en) Personalized and customized education support system based on elo rating

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction