KR102146111B1 - Method for providing an information of a question analysis using big data - Google Patents
Method for providing an information of a question analysis using big data Download PDFInfo
- Publication number
- KR102146111B1 KR102146111B1 KR1020180087739A KR20180087739A KR102146111B1 KR 102146111 B1 KR102146111 B1 KR 102146111B1 KR 1020180087739 A KR1020180087739 A KR 1020180087739A KR 20180087739 A KR20180087739 A KR 20180087739A KR 102146111 B1 KR102146111 B1 KR 102146111B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- learner
- information
- question
- answer
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004044 response Effects 0.000 claims abstract description 75
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000007405 data analysis Methods 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계, 상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계, 상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계 및 상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 제공하는 학습 문항 분석 정보 제공 단계를 포함하고, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고, 상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는, 상기 학습 문항에 대한 답변 응답시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 하는 빅데이터를 이용한 학습 문항 분석 정보 제공방법으로서, 본 발명에 의하면, 온라인 학습을 통해서도 학습한 문항에 대한 분석 정보를 제공함으로써 학습자의 학습 습관 및 실력 향상에 도움을 줄 수 있게 한다.The present invention is a learning providing step of providing learning content including learning items available to a learner connected to a service server online, and a learning information receiving step of receiving learning information including a learner's answer to the learning question , A learning information data conversion step of converting the information received by the learning information receiving step into data, a learning item analysis step of analyzing the learning items answered by the corresponding learner through data analysis stored by the learning information data conversion step, and the learning item analysis A learning item analysis information providing step of providing analysis information on the learning item analyzed by the step, wherein the learning item analysis step determines a problem that is expected to be correct by taking a picture when the answer to the learning item of the learner is the correct answer. Including the step, wherein the step of determining a problem predicted to be correct by taking the learning questionnaire using big data, characterized in that when the answer response time to the learning question is shorter than a specific time, the problem is determined as the problem expected to be correct by taking the photograph As a method of providing analysis information, according to the present invention, it is possible to help learners to improve their learning habits and skills by providing analysis information on items learned through online learning.
Description
본 발명은 학습자에게 학습에 대한 정보를 제공하는 방법에 관한 것으로서, 특히 학습자가 학습한 문항의 보다 구체적인 분석 정보를 제공하는 방법에 관한 것이다.The present invention relates to a method of providing information on learning to a learner, and in particular, to a method of providing more detailed analysis information of an item learned by the learner.
정보통신 기술이 발달하면서 컴퓨터를 통해 데이터베이스의 관리가 용이하게 됨에 따라 학습 정보를 데이터베이스에 저장하고, 온라인 상으로 인터넷을 이용하여 학습자에게 제공하는 학습 서비스가 다양한 컨텐츠를 가지고 제공되고 있다.With the development of information and communication technology, as database management becomes easier through a computer, learning services that store learning information in a database and provide online learners through the Internet have been provided with various contents.
학습자는 학습 프로그램을 제공하는 웹사이트나 휴대 단말기를 통해 접속이 가능한 앱(App)을 통해 제공되는 문제를 통해 학습이 가능하므로, 시간과 공간의 제약이 적은 온라인을 통한 장점 등에 따라 이러한 온라인을 이용하여 학습 정보를 제공하고, 학습을 직접 수행하며, 그에 대한 결과를 제공받는 서비스 방법이 많이 개발되고 있다.Because learners can learn through problems provided through websites that provide learning programs or through apps that can be accessed through a mobile terminal, they use these online according to the advantages of online services that have less time and space constraints. As a result, a number of service methods are being developed to provide learning information, perform learning, and receive results.
본 발명 또한 그러한 온라인을 이용하여 학습 정보를 제공하는 방법과 관련된 것이다.The present invention also relates to a method of providing learning information using such online.
한편, 학습은 무작정 열심히만 한다고 성과가 반드시 따라오는 것은 아니다.On the other hand, just because you work hard on learning does not necessarily result in achievements.
즉, 무작정 열심히가 아니라 어떻게 열심히 하느냐가 중요하다는 것은 익히 알려져 있는 바이다.In other words, it is well known that how you work hard is important, not blindly.
특히 제시되는 학습 문항을 풀이하는 학습에서 학습 후에 학습한 결과에 대해 검토하는 것이 풀이 못지 않게 학습에 큰 도움을 준다.In particular, in learning to solve the presented learning questions, reviewing the learning outcomes after learning is as much as helpful to learning.
이를테면 풀이한 문항이 충분히 맞출 수 있는 문항임에도 불구하고 학습자의 잘못된 습관 등으로 틀린 경우에 이를 풀이 후 인지하여 미흡한 부분을 개선할 수 있고, 명백히 몰라서 틀렸거나 단순히 찍어서 맞았다는 것을 학습자 스스로 인지하여 그러한 문항을 다음 번엔 맞출 수 있도록 다른 방법을 통한 학습을 보충하는 것은 학습에 큰 도움을 줄 수 있다.For example, even though the solved question is a question that can be sufficiently matched, if it is wrong due to the learner's wrong habit, etc., it is possible to improve the insufficient part by recognizing it after solving it, and the learner himself recognized that it was wrong because he did not know clearly or was correct by simply taking such a question. Supplementing your learning through other methods so you can fit in the next time can be of great help to your learning.
이러한 학습 문항에 대한 분석과 검토의 피드백은 오프라인 상의 학습에 의해서는 교수자가 지도해 주는 것이 용이하나, 온라인을 통한 학습의 경우에는 학습 정보 내지 문제만을 제공할 뿐 풀이 후의 학습 방법에 대한 보다 나아가는 지도는 지도교사가 방문하는 등이 아닌 한 이루어지지 못하고 있는 실정이다.It is easy for the instructor to guide the feedback of the analysis and review of these learning items through offline learning, but in the case of online learning, only learning information or problems are provided, and further guidance on the learning method after solving. The situation has not been achieved unless the guidance teacher visits.
이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.The matters described in the background art are provided to help understanding the background of the invention, and may include matters other than the prior art already known to those of ordinary skill in the field to which this technology belongs.
본 발명은 상술한 문제점을 해결하고자 안출된 것으로서, 본 발명은 온라인 학습을 통해서도 학습한 문항에 대한 분석 정보를 제공함으로써 학습자의 학습 습관 및 실력 향상에 도움을 줄 수 있는 빅데이터를 이용한 학습 문항 분석 정보 제공방법을 제공하는 데 그 목적이 있다.The present invention was conceived to solve the above-described problems, and the present invention provides analysis information on the items learned through online learning, thereby analyzing learning items using big data that can help improve learners' learning habits and skills. Its purpose is to provide a method of providing information.
본 발명의 일 관점에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법은, 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계, 상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계, 상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계 및 상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 제공하는 학습 문항 분석 정보 제공 단계를 포함하고, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고, 상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는, 상기 학습 문항에 대한 답변 응답시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 한다.A method of providing learning item analysis information using big data according to an aspect of the present invention includes a learning provision step of providing online learning content including learning items that can be used by learners connected to a service server, and Through the learning information receiving step of receiving learning information including the learner's answer content, the learning information data conversion step of converting the information received by the learning information receiving step, and the data analysis stored by the learning information data conversion step And a learning item analysis step of analyzing the answered learning item and a learning item analysis information providing step of providing analysis information on the learning item analyzed by the learning item analysis step, wherein the learning item analysis step is performed by the learner When the answer to the question is a correct answer, the step of determining a problem that is expected to be correct by taking it is included, and the step of determining the problem expected to be correct by taking the answer is that the answer to the learning question is shorter than a specific time, It is characterized in that it is determined as an expected problem.
보다 구체적으로, 상기 학습 문항 분석 단계는 해당 문항의 복수의 답변 데이터로부터 해당 문항의 정답율(%)을 응답시간의 함수로 모델링하고, 상기 특정 시간은 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간으로, 정답율 40% 이내의 응답시간을 특정시간으로 산출하는 것을 특징으로 한다.More specifically, in the learning question analysis step, the correct answer rate (%) of the corresponding question is modeled as a function of response time from a plurality of answer data of the corresponding question, and the specific time is the maximum change in the correct answer rate (%) per response time. It is characterized in that the response time within 40% of the correct answer rate is calculated as a specific time.
그리고, 상기 특정시간은 상기 복수의 답변 데이터 수가 일정 개수 이상이 추가되면 갱신되는 것을 특징으로 한다.In addition, the specific time is updated when the number of the plurality of answer data is added to a predetermined number or more.
또한, 일정 개수 이상의 상기 복수의 답변 데이터 수 중 정답과 오답의 비율은 동등한 것을 특징으로 한다.In addition, it is characterized in that the ratio of the correct answer and the incorrect answer among the plurality of answer data numbers of a certain number or more is equal.
한편, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 오답인 경우, 맞출 수 있지만 틀린 문제 판별 단계 및 몰라서 틀린 문제 판별 단계를 포함하고, 상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 학습자의 예측 정답률을 기준으로 판별하는 것을 특징으로 한다.On the other hand, the step of analyzing the learning question includes a step of determining a correct but wrong problem and a step of determining a problem that is incorrect because they do not know, when the answer to the learner's learning question is an incorrect answer. It is characterized in that it is determined based on the predicted correct answer rate of the learner.
여기서, 상기 예측정답율은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 반영하여 문항반응이론에 의해 산출하되, 상기 고유 난이도(question difficulty)는 상기 문항에 대해 타 학습자들에 의해 설정된 난이도이고, 상기 학습자의 능력치(learner ability)는 과거 타 문항에 대해 상기 타 학습자들과 비교한 상기 학습자의 능력치인 것을 특징으로 한다.Here, the predicted correct answer rate is calculated by an item response theory by reflecting the intrinsic difficulty of the learning question and the estimated ability value of the learner, and the intrinsic difficulty is a difficulty set by other learners for the question, The learner's learner ability is characterized in that it is the learner's ability value compared to the other learners with respect to other questions in the past.
그리고, 상기 예측정답율은 다음 수학식에 의해 산출되는 것을 특징으로 한다.And, the predicted correct answer rate is characterized in that it is calculated by the following equation.
한편, 상기 학습자의 능력치는 베이지안(Bayesian) 능력 산정 알고리듬에 의해 구해지는 것을 특징으로 한다.Meanwhile, the learner's ability value is characterized in that it is obtained by a Bayesian ability calculation algorithm.
결과적으로, 상기 학습 문항 분석 단계는, 상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하는 것을 특징으로 한다.As a result, in the step of analyzing the learning item, when the predicted correct answer rate of the learner is 85% or more, it is characterized as discriminating as a'correctable but incorrect problem'.
그리고, 상기 학습 문항 분석 단계는, 상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.In addition, in the step of analyzing the learning item, when the predicted correct answer rate of the learner is less than 50%, it is characterized in that it is determined as a'unknown problem'.
또한, 상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 상기 학습 문항에 대한 답변 응답시간의 소요 정도에 따라 상기 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.In addition, when the predicted correct answer rate of the learner is 50% or more and less than 85%, it is characterized in that it is determined as the'can be tailored but wrong problem' or'the problem is incorrect because you do not know the above' according to the required degree of response time to the learning question. do.
여기서, 상기 답변 응답시간의 소요 정도는 상기 학습자의 학습 문항에 대한 실제 답변 응답시간을 상기 학습자의 예측 답변 응답시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 한다.Here, the required degree of the answer response time is determined by comparing the actual answer response time to the learner's learning item with an estimate of the learner's predicted answer response time.
그리고, 상기 예측 답변 응답시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 응답시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하는 것을 특징으로 한다.The predicted response response time is estimated based on the average response time of other learners who answered the correct answer to the learning question and the average response time of the learner.
본 발명의 빅데이터를 이용한 학습 문항 분석 정보 제공방법에 의하면, 학습자가 풀이한 문항에 대해서 보다 구체적으로 개선시킬 수 있는 정보를 제공함으로써 학습자가 단순한 문제 풀이에서 벗어나 학습 방법 및 습관에 대해 고민할 수 있게 하여 학습자의 진정한 실력 향상에 도움을 줄 수 있다.According to the method of providing learning item analysis information using big data of the present invention, the learner can deviate from simple problem solving and think about the learning method and habit by providing information that can be improved more specifically for the questions solved by the learner. To help learners truly improve their skills.
도 1은 본 발명에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법을 도시한 것이다.
도 2는 본 발명에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법의 일 단계의 보다 구체적인 과정을 도시한 것이다.
도 3은 빅데이터를 이용한 특정시간의 산출 예를 도시한 것이다.1 shows a method of providing analysis information on learning items using big data according to the present invention.
2 shows a more detailed process of one step of the method of providing learning item analysis information using big data according to the present invention.
3 shows an example of calculating a specific time using big data.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the implementation of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.
본 발명의 바람직한 실시 예를 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지의 기술이나 반복적인 설명은 그 설명을 줄이거나 생략하기로 한다.In describing a preferred embodiment of the present invention, known techniques or repetitive descriptions that may unnecessarily obscure the subject matter of the present invention will be reduced or omitted.
도 1은 본 발명에 의한 학습자를 위한 학습 문항 분석 정보 제공방법을 도시한 것이고, 도 2는 본 발명에 의한 학습자를 위한 학습 문항 분석 정보 제공방법의 일 단계의 보다 구체적인 과정을 도시한 것이다.1 shows a method for providing learning item analysis information for learners according to the present invention, and FIG. 2 shows a more specific process of one step of the method for providing learning item analysis information for learners according to the present invention.
이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 의한 학습자를 위한 학습 문항 분석 정보 제공방법을 설명하기로 한다.Hereinafter, a method of providing learning item analysis information for learners according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.
본 발명에 의한 학습 문항 분석 정보 제공방법은 온라인 상으로 학습을 위한 정보를 제공하고, 온라인 상으로 접속한 이용자가 이를 통해 학습을 진행할 수 있도록 하는 서비스 방법이다.The method for providing learning item analysis information according to the present invention is a service method that provides information for learning online, and allows a user who has accessed online to proceed with learning.
즉, 서비스 제공자는 인터넷 웹사이트 또는 스마트 기기를 통해 구현되는 어플리케이션을 통해서 학습 서비스를 제공하고, 해당 서비스의 이용자는 로그인 등의 절차를 통해 웹사이트나 어플리케이션에 접속하여 학습을 수행해 나갈 수 있도록 하는 것이다. 이러한 서비스 방법과 이용 방법에 대해서 널리 인식된 기술들에 대한 설명은 본 발명에서는 생략하도록 한다.That is, a service provider provides a learning service through an Internet website or an application implemented through a smart device, and a user of the service can access the website or application through a procedure such as login to perform learning. . Descriptions of widely recognized technologies for such a service method and use method will be omitted in the present invention.
그리고, 본 발명에 의해 제공되는 학습은 일회성이기 보다는 일 단위, 주 단위, 월 단위 등의 주기에 따라 회차를 구분하여 적당한 학습량을 제공하여 학습자가 제공되는 진도에 맞게 학습을 수행해 나갈 수 있도록 제공된다.In addition, the learning provided by the present invention is provided so that the learner can perform learning according to the progress provided by providing an appropriate amount of learning by dividing the reps according to periods such as daily, weekly, monthly, etc., rather than one-time. .
구체적으로 살펴보면, 본 발명에 의한 학습 문항 분석 정보 제공방법은 학습 제공 단계, 학습 정보 수신 단계, 학습 정보 데이터화 단계, 학습 문항 분석 단계 및 학습 문항 분석 정보 제공 단계를 포함한다.Specifically, the method of providing learning item analysis information according to the present invention includes a learning provision step, a learning information reception step, a learning information data conversion step, a learning item analysis step, and a learning item analysis information provision step.
학습 제공 단계(S10)는 서비스에 접속한 학습자가 이용할 수 있는 학습 내용을 서비스 서버에 의해 온라인 상으로 제공한다.In the learning provision step (S10), learning content that can be used by a learner connected to the service is provided online by the service server.
학습 제공 단계(S10)에 의해 제공되는 학습 내용은 학습자가 풀이할 학습 문항이며, 그 외에 학습 컨텐츠도 포함한다.The learning content provided by the learning provision step (S10) is a learning item to be solved by the learner, and also includes learning content.
학습 내용은 일정 주기마다 회차를 구분하여 제공될 수 있고, 각 회차에서 제공되는 학습 내용은 학습 문항과 함께 학습 컨텐츠가 포함되며, 학습 컨텐츠만 제공될 수도 있다.The learning content may be provided by dividing the episodes at regular intervals, and the learning content provided in each round includes learning content along with a learning item, and only learning content may be provided.
학습 문항은 회차당 정해진 수와 난이도에 따른 복수의 학습 문항이 순차적으로 제공이 된다.As for the learning questions, a plurality of learning questions according to the set number and difficulty level per round are provided sequentially.
예를 들어, 10개의 문항이 일괄적으로 제공되어 학습자가 스크롤하며 풀이를 진행할 수도 있을 것이며, 하나 또는 둘 정도의 소량의 문항을 화면을 넘겨 가며 확인 가능하도록 제공하는 방식일 수 있다.For example, 10 questions may be provided in a batch so that the learner may scroll and solve, and it may be a method in which a small amount of one or two items can be checked by flipping the screen.
이에는 학습자가 문항에 대한 풀이를 위해 정답을 체크할 수 있는 수단이 함께 제공될 것이다.This will also provide a means for the learner to check the correct answer for the answer to the question.
그리고, 학습자가 나중에 풀기 위해서 제시된 문항을 건너뛰어 다른 문항을 먼저 풀이할 수 있도록 다음 문항의 선택이 가능한 수단도 제시가 된다. 단지 다음 페이지를 터치 입력 방식에 의해 선택되도록 할 수도 있을 것이다.In addition, a means for selecting the next question is also suggested so that the learner can skip the presented question to solve later and solve other questions first. You could just have the next page selected by touch input.
또한, 해당 회차의 전체 문항을 일괄적으로 채점할 수 있게 하거나, 한 페이지에 제공되는 문항마다 채점을 진행하도록 제공될 수도 있을 것이다.In addition, it may be provided so that the entire questionnaire of the corresponding round can be scored in a lump or to proceed with the scoring for each question provided on one page.
학습 제공 단계(S10)에서는 학습자가 답변을 체크하고 채점을 선택하는 경우 채점에 의한 정답 또는 오답의 결과 또한 제공되게 한다.In the learning provision step (S10), when a learner checks an answer and selects scoring, the result of the correct answer or incorrect answer by scoring is also provided.
한편, 오답인 경우에는 해당 문항에 대한 답변을 다시 할 수 있는 내용이 제공될 수도 있다.On the other hand, in the case of an incorrect answer, content for re-answering the question may be provided.
그리고, 학습 컨텐츠는 해당 회차에서 알아야할 내용에 대한 강의의 텍스트나 영상 형식일 수 있으며, 각 문항에 대한 해설의 텍스트나 영상 또는 힌트 등일 수 있다.In addition, the learning content may be in the form of a text or video of a lecture on the content to be known in the corresponding round, and may be a text, video, or hint of explanation for each item.
이와 같은 학습 제공 단계(S10)에 의해 제공된 학습 내용 중 학습 문항에 대한 학습자의 답변이 있으면, 서비스 서버는 학습 정보 수신 단계(S20)에 의해 학습자의 답변을 수신하게 된다.If there is a learner's answer to a learning item among the learning contents provided by the learning provision step (S10), the service server receives the learner's answer through the learning information receiving step (S20).
수신하는 학습 정보 또한 학습 문항에 대한 답변일 수 있으며, 학습 컨텐츠에 관한 결과물일 수 있다.The received learning information may also be an answer to a learning question or a result of learning content.
즉, 학습 문항에 대한 학습 정보는 해당 문항에 대한 학습자의 답변과 문항 제공시부터 답변까지의 응답시간, 그리고 학습자의 답변이 오답이어서 재차 답변을 시도한 경우에는 답변 시도 횟수도 포함될 수 있다.That is, the learning information on the learning question may include the learner's answer to the question, the response time from the time of providing the question to the answer, and the number of attempts to answer again when the learner's answer is an incorrect answer.
그리고, 학습 컨텐츠에 관한 결과물은 S10에서 제공된 학습 컨텐츠 내용을 이용하였는지 여부에 관한 것이다.And, the result of the learning content relates to whether or not the content of the learning content provided in S10 is used.
즉, 해당 회차에서 제공되는 강의, 해설, 힌트 등을 확인하였는지, 확인하지 않았는지에 관한 정보가 된다.In other words, it becomes information about whether or not the lecture, commentary, and hints provided in the episode have been checked or not.
이와 같이 학습 정보 수신 단계(S20)에 의해 학습자의 학습 문항에 대한 답변과 학습 컨텐츠에 관한 결과물은 학습 정보 데이터화 단계(S30)에 의해 서비스 서버가 이를 데이터화한다.In this way, the answer to the learner's learning question and the result of the learning content by the learning information receiving step (S20) are converted into data by the service server by the learning information data conversion step (S30).
학습자의 수는 온라인 서비스의 특성상 무한한 바, 학습 데이터화 단계(S30)에서는 수많은 학습자에 의한 학습 정보를 빅 데이터화하고, 이를 분석하여 후술할 학습 문항 분석 단계(S40)를 통해 학습한 문항에 대한 구체적인 분석 정보를 학습 문항 분석 정보 제공 단계(S50)에 의해 제공하게 된다.The number of learners is infinite due to the nature of the online service.In the learning data conversion step (S30), learning information by a large number of learners is converted into big data, and by analyzing this, a detailed analysis of the items learned through the learning item analysis step (S40) described later. Information is provided by the learning item analysis information providing step (S50).
학습 문항 분석 정보 제공 단계(S50)에서는 S40에 의한 학습 문항 분석 정보뿐 아니라 회차당 전체 정답률, 전체 풀이 시간, 등급, 난이도, 학습자 평균과의 비교 등의 일반적인 학습 결과에 대한 정보를 포함함은 물론이다.In the step of providing learning item analysis information (S50), information on general learning results such as total correct answer rate per round, total solve time, grade, difficulty, and comparison with the learner's average, as well as the learning item analysis information by S40, is of course included. to be.
학습 문항 분석 단계(S40)에서는 학습 정보 수신 단계(S20)에 의해 수신한 학습자의 학습 정보와 학습 정보 데이터화 단계(S30)에 의해 빅 데이터화되어 보유하고 있는 정보에 의해 학습자가 풀이한 학습 문항을 분석하여 학습자에게 도움이 될 수 있는 피드백 정보를 분석하게 된다.In the learning item analysis step (S40), the learner's learning information received by the learning information receiving step (S20) and the learning item solved by the learner are analyzed using the information that has been converted into big data by the learning information data conversion step (S30). Thus, feedback information that can be helpful to learners is analyzed.
학습 문항에 대한 분석은 '맞출 수 있지만 틀린 문제 판별(S41)', '몰라서 틀린 문제 판별(S42)', '찍어서 맞은 것으로 예상되는 문제 판별(S43)'의 과정을 통해서 풀이한 각 문항이 S41 내지 S43에 해당하는지를 판별하게 되고, 이에 속하지 않는 문항은 미분류 문항으로 분류하게 된다.Each item solved through the process of'Able to fit but wrong problem determination (S41)','Identify wrong problem because I don't know' (S42)', and'Determination of a problem that is expected to be correct (S43)' is S41 It is determined whether or not it corresponds to S43, and questions that do not belong to this are classified as unclassified items.
S41 내지 S43의 판별 과정은 문항 분석의 순서를 의미하지는 않고, 각 프로세스에 의해서 각각 또는 전체적으로 판별이 이루어진다.The discrimination process of S41 to S43 does not mean the order of item analysis, and discrimination is made individually or entirely by each process.
맞출 수 있지만 틀린 문제 판별(S41)과 몰라서 틀린 문제 판별(S42)은 학습 정보 수신 단계(S20)에 의해 해당 문항의 정답/오답 여부와 답변 응답시간을 수신 하여, 해당 문항이 오답인 경우에 학습자의 예측 정답률과 예측 풀이시간을 기준으로 학습자가 모를 확률이 높은 문항인지 실수 등으로 인해서 맞출 수 있으나 틀렸는지를 판별하게 된다.Although it can be correct, the learner receives the correct/incorrect answer and the response time of the corresponding question by the learning information receiving step (S20), and the learner if the question is an incorrect answer. Based on the predicted correct answer rate and the predicted solving time, it is possible to guess whether it is a question with a high probability that the learner does not know or because of a mistake, but it is determined whether it is wrong.
S41에서는 학습자의 해당 문항에 대한 예측 정답률이 85% 이상인지를 판단하고, 예측 정답률이 85% 이상인데 오답인 경우에는 '맞출 수 있지만 틀린 문제'로 판별한다.In S41, it is determined whether the predicted correct answer rate for the corresponding question of the learner is 85% or higher, and if the predicted correct answer rate is 85% or higher and the answer is incorrect, it is determined as a'correct but incorrect problem'.
반면, S42에서는 학습자의 해당 문항에 대한 예측 정답률이 50% 미만인지를 판단하고, 예측 정답률이 50% 미만인데 오답인 경우에는 '몰라서 틀린 문제'로 판별한다.On the other hand, in S42, it is determined whether the predicted correct answer rate for the corresponding question of the learner is less than 50%, and if the predicted correct answer rate is less than 50% and the answer is incorrect, it is determined as'I don't know and wrong problem'.
다만, 학습자의 해당 문항에 대한 예측 정답률이 50% 이상 85% 미만인 경우에는 예측 정답률과 함께 답변 응답시간의 정도를 기준으로 달리 판단하게 된다.However, if the predicted correct answer rate for the corresponding question of the learner is 50% or more and less than 85%, it is determined differently based on the predicted correct answer rate and the degree of response time.
즉, 학습자의 실제 답변 응답시간의 정도가 빠른지, 느린지, 중간 정도인지를 판단하여 판별하게 된다.That is, the learner's actual response time is determined by determining whether it is fast, slow, or intermediate.
그래서, 예측 정답률이 50% 이상 85% 미만인데 답변 응답시간이 느리지 않은, 빠르거나 중간 정도인 경우에는 S41에 의해 '맞출 수 있지만 틀린 문제'로 판별하게 된다.So, if the predicted correct answer rate is 50% or more and less than 85%, and the answer response time is not slow, fast or medium, it is determined as a'correctable but wrong problem' by S41.
그리고, 예측 정답률이 50% 이상 85% 미만인데 답변 응답시간이 빠른 경우에는 S42에 의해 '몰라서 틀린 문제'로 판별하게 된다.And, if the predicted correct answer rate is 50% or more and less than 85% and the answer response time is fast, it is determined by S42 as a'unknown problem'.
이상의 S41 및 S42의 판별 기준이 되는 예측 정답률과 예측 답변 응답시간을 설명하기로 한다.The predicted correct answer rate and predicted answer response time, which are criteria for determining the above S41 and S42, will be described.
학습자의 예측 정답률은 학습자가 해당 문항을 맞힐 것으로 예상되는 확률을 이르며, 이는 문항의 고유 난이도 설정 및 학습자의 능력치의 추정을 통해 분석한다.The predicted correct answer rate of the learner is the probability that the learner is expected to answer the question, which is analyzed by setting the inherent difficulty level of the question and estimating the learner's ability.
해당 문항의 고유 난이도(question difficulty)는 학습 정보 데이터화 단계(S30)에 의해 데이터화된 정보를 통해 해당 문항에 대한 다른 학습자들에 의해 설정된 상대적인 난이도를 추정하는 것이다.The intrinsic difficulty of the question is to estimate the relative difficulty set by other learners for the question through the information dataized by the learning information data conversion step (S30).
즉, 해당 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 하여 추정한다.In other words, it is estimated based on the percentage of all learners correct for the question and the number of attempts to answer the question.
문항의 고유 난이도의 평균값은 0을 기준으로 하며, 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수에 따라 (+) 또는 (-)로 보정함으로써 난이도를 추정한다.The average value of the intrinsic difficulty of the question is based on 0, and the difficulty is estimated by correcting it with (+) or (-) according to the percentage of all learners correct and the number of attempts to answer the correct answer.
이러한 보정(calibration)은 베이지안 알고리즘(Bayesianism)에 의해 각 응답 후 업데이트된 값에 의해 보정된다.This calibration is corrected by the updated value after each response by Bayesianism.
그리고, 학습자의 능력치(learner ability)는 과거 타 문항에 대해 타 학습자들과 비교하여 산출한다.And, the learner's learner ability is calculated by comparing with other learners for other questions in the past.
학습자의 능력치는 평균값을 0으로 하여, 학습자가 복수의 문항에 대해 답변할 때마다 정답인지 오답인지에 따라 타 학습자들의 정답율과 비교하여 (+) 또는 (-)의 가중치를 부여함으로써 추정된다.The learner's ability value is estimated by setting the average value to 0 and assigning a weight of (+) or (-) to the percentage of correct answers of other learners, depending on whether the answer is correct or incorrect whenever the learner answers a plurality of questions.
이러한 가중치 또한 베이지안 능력 산정 알고리듬(Bayesianism)에 의해 각 응답 후 업데이트된 값에 의해 구해진다.These weights are also obtained by the updated values after each response by Bayesianism.
나아가, 정답 또는 오답에 따른 가중치는 가장 최근에 답변한 문항의 결과에 대해서 보다 높게 책정될 수가 있다.Furthermore, the weight according to the correct or incorrect answer may be set higher for the result of the most recently answered question.
문항에 대한 예측정답율은 이러한 문항의 고유 난이도(question difficulty)와 학습자 능력치(learner ability)에 의해 문항반응이론(item response theory, IRT)을 기반으로 하여 다음 수학식과 같이 산출된다.The predicted correct answer rate for an item is calculated by the following equation based on item response theory (IRT) based on the question's intrinsic difficulty and learner ability.
즉, 학습자 능력치가 높을수록 또는 고유 난이도가 낮을수록 exp(question difficulty+learner ability) 값이 증가하여 P 값은 크게 나타나며 최대치는 1이 된다.That is, as the learner's ability is higher or the inherent difficulty is lower, the exp (question difficulty+learner ability) value increases, so that the P value becomes larger and the maximum value becomes 1.
그리고, 고유 난이도가 높은 문제를 학습자 능력치가 낮은 학습자가 풀더라도 Pmax는 0.5가 되어, 예측정답율은 0.5~1의 범위로 산출된다.And, even if a learner with a low learner ability solves a problem with high inherent difficulty, Pmax is 0.5, and the predicted correct answer rate is calculated in the range of 0.5-1.
한편, 학습자의 능력치와 고유 난이도에 따라 학습자의 예측정답율을 산출하기 위해, 학습자의 능력치를 2N+1(N은 정수), 고유 난이도를 2M+1(M은 정수)의 구간으로 구분할 수 있다.Meanwhile, in order to calculate the predicted correct answer rate of the learner according to the learner's ability value and the inherent difficulty level, the learner's ability value can be divided into a section of 2N+1 (N is an integer) and the inherent difficulty level is 2M+1 (M is an integer).
가령, 문항의 고유 난이도의 범위와 학습자 능력치의 범위를 ±4(N, M은 4)로 책정하면, 문항에 대한 예측 정답율은 위 수학식에 따라 다음 표와 같이 산정될 수가 있고, 표와 같이 학습자 능력치는 등차(an arithmetic progression)로 증감하는 값을 가질 수 있으며, 나아가 학습자의 능력치에 따른 문항의 고유 난이도의 조절은 아래 표에 따라 등차로 증감시켜 조절할 수 있다.For example, if the range of the intrinsic difficulty level of the question and the range of the learner's ability are set to ±4 (4 for N, M), the predicted correct answer rate for the question can be calculated as shown in the following table according to the above equation. The learner's ability value can have a value that increases or decreases by an arithmetic progression, and further, the adjustment of the inherent difficulty level of an item according to the learner's ability value can be adjusted by increasing or decreasing the level difference according to the table below.
수학식에 의해 산출되는 문항에 대한 예측 정답율(P)은 0.5에서 1의 범위를 가지게 되고, 0.5 미만의 경우에는 문항의 고유 난이도에 대해 선형성을 갖는다는 가정 하에 산출함으로써 위 표와 같은 결과를 얻을 수 있다.The predicted correct answer rate (P) for an item calculated by the equation ranges from 0.5 to 1, and if it is less than 0.5, it is calculated on the assumption that it has linearity with respect to the inherent difficulty level of the item to obtain the results shown in the table above. I can.
그리고, 표와 같이 학습자의 능력치가 증가할수록 예측정답율은 선형적으로 증가할 수 있고, 고유 난이도가 낮아질수록 예측정답율은 선형적으로 증가할 수 있다.And, as shown in the table, the predicted correct answer rate may linearly increase as the learner's ability value increases, and the predicted correct answer rate may linearly increase as the inherent difficulty decreases.
또한, 위 구간별 표에서 학습자의 능력치와 고유 난이도의 구간이 동일할 경우에 P는 0.5가 되며, 학습자의 능력치가 2N+1개의 구간을 따라 증가할수록 예측정답율은 선형적으로 증가할 수 있고, 고유 난이도가 2M+1개의 구간을 따라 낮아질수록 예측정답율은 선형적으로 증가할 수 있다.In addition, in the above table for each section, if the learner's ability value and the intrinsic difficulty section are the same, P becomes 0.5, and the predicted correct answer rate can increase linearly as the learner's ability value increases along 2N+1 sections. As the inherent difficulty decreases along 2M+1 intervals, the predicted correct answer rate can increase linearly.
이와 같이 산출되는 예측 정답률에 따라서 S41 또는 S42에서 해당 여부를 판별하게 된다.It is determined in S41 or S42 according to the predicted correct answer rate calculated as described above.
다음으로, 예측 답변 응답시간은 학습자의 해당 문항에 대한 답변의 스피드 정도를 빠르거나, 느리거나 중간 정도로 구분하고, 그에 따라서 S41 또는 S42에서 해당 여부를 판별하게 된다.Next, the predicted response response time is divided into fast, slow, or medium speed level of the learner's answer to the corresponding question, and accordingly, whether or not it is determined in S41 or S42.
학습자의 해당 문항에 대한 답변의 스피드 정도는 학습자의 실제 답변 응답시간을 학습자의 예측 답변 응답시간과 비교함으로써 결정된다.The degree of speed of the learner's answer to the corresponding question is determined by comparing the learner's actual answer response time with the learner's predicted response time.
즉, 학습자의 실제 답변 응답시간이 예측 답변 응답시간보다 표준편차 상 1.28보다 높은 구간에 위치하면서 다른 90%의 학습자보다 긴 경우를 느림 정도로 판단한다.That is, the case where the learner's actual response response time is located in the section higher than 1.28 on the standard deviation than the predicted response response time and is longer than the other 90% of the learners is judged as slow.
그리고, 학습자의 실제 답변 응답시간이 예측 답변 응답시간보다 표준편차 상 1.28보다 낮은 구간에 위치하면서 다른 90%의 학습자보다 짧은 경우를 빠름 정도로 판단한다.In addition, the case where the learner's actual response response time is located in a section lower than 1.28 on the standard deviation than the predicted response response time and is shorter than the other 90% of the learners is judged as fast.
느림과 빠름에 해당하지 않는 정도가 중간에 해당하는 스피드 정도가 된다.The degree that does not correspond to slow and fast is the degree of speed that corresponds to the middle.
학습자의 실제 답변 응답시간은 학습자가 문항에 첫 번째로 답변하였을 때 실제로 걸린 시간이 된다.The learner's actual response time is the time it takes when the learner first answers the question.
그러나, 학습자는 해당 문항을 뷰어 등을 통해 확인하고 즉시 답변하지 않고 다른 문항에 대해 먼저 답변할 수가 있으며, 이러한 행위를 수차례 반복할 수도 있다.However, the learner can check the question through a viewer, etc., and answer other questions first without answering immediately, and may repeat this behavior several times.
그러한 경우에는 해당 문항이 제시된 화면에 머무른 시간 중 가장 긴 시간을 학습자의 실제 답변 응답시간으로 한다.In such a case, the longest time out of the time spent on the screen in which the relevant question is presented is the learner's actual response time.
학습자의 예측 답변 응답시간은 학습자가 해당 문항을 풀이할 때 소요될 것으로 예상되는 시간이며, 이는 문항마다 다를 수 있고, 학습자마다 다를 수 있는 시간이다.The learner's predicted response response time is the time that the learner is expected to take when solving the corresponding question, which may vary for each question and may vary for each learner.
이러한 학습자의 예측 답변 응답시간은 해당 문항에 대해 정답을 답변한 다른 학습자들의 해당 문항에 대한 평균 답변 응답시간을 기반으로 해당 학습자가 계속적으로 문항에 대해 답변한 결과를 통한 평균 답변 시간을 조합하여 값을 추정한다.The predicted response time of such a learner is calculated by combining the average response time based on the results of the learner's continuous answers to the question based on the average response time of other learners who answered the correct answer to the question. Estimate
다음으로는, S41과 S42 외에 '찍어서 맞은 것으로 예상되는 문제 판별(S43)'의 판별 방법을 살펴본다.Next, in addition to S41 and S42, a method of discriminating'determining a problem that is expected to have been taken (S43)' will be described.
비록 학습자의 답변이 정답이라 할지라도 학습자가 조금이라도 생각할 시간을 가졌으리라고 판단되지 않는 시간 안에 답한 경우에 '찍어서 맞은 것으로 예상되는 문제'로서 판별한다.Even if the learner's answer is the correct answer, it is judged as a'probable problem that was taken and corrected' if the learner answered within a time when it is not judged that he or she has had time to think.
찍기 행동의 판별은 문항에 대한 답변 응답시간을 기준으로 판별하게 된다. 이는 대부분의 문항에서 답변 응답시간이 특정 시간보다 짧을 경우에는 정답률이 급격히 떨어지기 때문이고, 그 특정 시간보다 답변 응답시간이 짧은지 여부를 판단하여 그런 경우 해당 문항은 찍었을 확률이 매우 높은 것으로 판단하는 것이다.The discrimination of the taking action is based on the response time of the answer to the question. This is because in most of the questions, if the answer response time is shorter than a specific time, the correct answer rate drops sharply, and it is judged whether the answer response time is shorter than that specific time, and in that case, the probability that the question was taken is very high. Is to do.
이러한 특정 시간은 학습 정보 데이터화 단계(S30)를 통한 빅 데이터 정보를 이용하여 산출되며, 학습 문항 분석 단계(S40)에서는 산출된 특정 시간을 토대로 학습 문항에 대한 답변이 찍기 행동에 해당하는지 여부를 판단하게 된다.This specific time is calculated using big data information through the learning information data conversion step (S30), and in the learning item analysis step (S40), it is determined whether the answer to the learning question corresponds to the taking action based on the calculated specific time. Is done.
도 3은 빅데이터를 이용한 특정시간의 산출 예를 도시한 것으로, 이를 참조하여 특정시간의 산출 방법을 설명하기로 한다. 도 3에서 초1 수학, 초1 국어, 초고 국어, 초고 사과는 과목명을 뜻한다.3 shows an example of calculating a specific time using big data, and referring to this, a method of calculating a specific time will be described. In Fig. 3, elementary 1 math, elementary 1 Korean, first high Korean, and first high apple mean subject names.
특정시간의 산출은 문항마다 다를 수 있는 값이고, 데이터량이 증가함에 따라 능동적으로 산출값이 달라질 수 있는 값이며, 초기 설정은 1,000ms로 한다.The calculation of a specific time is a value that can vary for each question, and it is a value that can actively change as the amount of data increases, and the initial setting is 1,000 ms.
그리고, 해당 문항에 대한 일정 개수의 답변이 데이터화되면 초기 설정을 조정(CALIBRATION)하는 방식으로 특정시간을 갱신한다.And, when a certain number of answers to the corresponding question are converted into data, the specific time is updated by adjusting the initial setting (CALIBRATION).
예를 들어, 해당 문항에 대한 답변이 50개의 정답과 50개의 오답이 획득되면 조정하도록 설정될 수 있다.For example, the answer to a corresponding question may be set to adjust when 50 correct answers and 50 incorrect answers are obtained.
조정 산출 방법은 먼저 4개의 계수를 가진 로그 정규함수를 사용하여 각각의 정답율(%)을 ln(응답시간, response time)의 함수로 모델링한다.The adjustment calculation method is first modeled as a function of ln (response time) for each correct answer rate (%) using a lognormal function with four coefficients.
모델링 결과 도 3과 같은 그래프가 도출되며, 여기서 40번째 백분위 수 이하의 응답시간(response time) 중 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간(그래프상 기울기)을 특정시간으로 산출한다. 특정 시간은 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간으로, 정답율 40% 이내의 응답시간을 특정시간으로 산출할 수 있다.As a result of the modeling, a graph as shown in Fig. 3 is derived, and the response time (the slope on the graph) at which the amount of change in the percent correct per response time is the maximum among the response times below the 40th percentile is calculated as a specific time. do. The specific time is the response time at which the amount of change in percent correct per response time becomes the maximum, and the response time within 40% of the correct answer rate can be calculated as a specific time.
그래프의 예에서 이와 같이 산출 결과, 초1 수학의 경우 40번째 백분위 수 이하 중 기울기가 최대가 되는 3초가 특정시간으로 산출이 된다.As a result of the calculation in the example of the graph, in the case of the first mathematics, 3 seconds at which the slope is maximum among the 40th percentile or less is calculated as a specific time.
빅 데이터 분석상 응답 시간이 클수록 정답율은 높아지나 그 한계는 존재한다.In big data analysis, the larger the response time, the higher the correct answer rate, but there are limitations.
다만, 초고 사과와 같이 응답 시간이 클수록 정답율이 높아지는 것과 달리 응답시간 3초 이내의 답변이 정답율이 보다 높은 예외적인 경우도 존재한다.However, unlike a first draft apology, the higher the response time, the higher the correct answer rate, but there are exceptional cases where the answer within 3 seconds of the response time has a higher correct answer rate.
이는 스피드 퀴즈의 성격과 같이 매우 친숙한 문제라서 응답시간이 짧은 것으로서, 이와 같은 경우를 배제하여 특정시간을 산출하는 것이 필요하다.This is a very familiar problem, such as the nature of the speed quiz, so the response time is short, and it is necessary to calculate a specific time by excluding such cases.
이를 위해, 백분위 중 10번째로 빠른 응답의 정답율이 (40 내지 60번째 백분위 수에 해당하는 응답시간 동안의 정답 비율ㅧ0.9) 이상인 경우를 예외로 판단하여 기준점 -1을 적용하여 특정시간을 산출한다. 기준점 -1이란, 빠른 반응시간에 대한 정답이 찍기로 구분되지 않도록 별도 처리되는 데이터 태그에 해당한다.To this end, the case where the correct answer rate of the 10th fastest response among the percentiles is (the ratio of correct answers during the response time corresponding to the 40th to 60th percentiles ㅧ0.9) is an exception, and a reference point -1 is applied to calculate a specific time. . The reference point -1 corresponds to a data tag that is separately processed so that the correct answer for the quick response time is not classified by taking pictures.
다음으로, S41 내지 S43에 의해 판별되지 않고 미분류로 처리되는 문항의 경우는 해당 문항의 전체 정답자가 기준 수치에 미달하는 경우에 해당한다.Next, in the case of a question that is not discriminated by S41 to S43 and is processed as unclassified, it corresponds to a case where the total number of correct answers to the corresponding question does not meet the standard value.
예를 들어, 정답자가 10명 미만의 문항에 대해서는 예측 정답률 및 예측 답변 응답시간이 추정될 수 없기 때문이다.For example, for questions with less than 10 correct answers, the predicted correct answer rate and predicted answer response time cannot be estimated.
이상에서 살펴본 바와 같이 학습 문항에 대해 분석이 되면, 이를 학습자가 확인할 수 있도록 학습 문항 정보 제공 단계(S50)를 통해 제공하게 된다.As described above, when the learning item is analyzed, it is provided through the learning item information providing step (S50) so that the learner can check it.
이는 해당 회차의 학습에 대한 총평 등의 정보와 함께 제공할 수 있을 것이다.This can be provided along with information such as a general review on the learning of the corresponding round.
그리고, 각각의 문항마다 표시되게 하거나, 전체 문항 중 해당 문항의 횟수와 문항 정보를 총괄하여 제시할 수도 있을 것이다.In addition, each item may be displayed, or the number of items and item information may be presented collectively among the total items.
이상과 같은 본 발명은 예시된 도면을 참조하여 설명되었지만, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형될 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정 예 또는 변형 예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이며, 본 발명의 권리범위는 첨부된 특허청구범위에 기초하여 해석되어야 할 것이다.Although the present invention as described above has been described with reference to the illustrated drawings, it is not limited to the described embodiments, and that various modifications and variations can be made without departing from the spirit and scope of the present invention. It is self-evident to those who have Therefore, such modifications or variations will have to belong to the claims of the present invention, and the scope of the present invention will be interpreted based on the appended claims.
S10 : 학습 제공 단계
S20 : 학습 정보 수신 단계
S30 : 학습 정보 데이터화 단계
S40 : 학습 문항 분석 단계
S50 : 학습 문항 분석 정보 제공 단계S10: Steps to provide learning
S20: learning information receiving step
S30: Learning information data conversion step
S40: Learning item analysis step
S50: Steps to provide learning item analysis information
Claims (13)
상기 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 상기 웹사이트나 스마트 기기에 의해 구현되는 어플리케이션을 통해 온라인 상으로 제공하는 학습 제공 단계;
상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 상기 서비스 서버가 수신하는 학습 정보 수신 단계;
상기 학습 정보 수신 단계에 의해 수신된 정보를 상기 서비스 서버에서 데이터화하는 학습 정보 데이터화 단계;
상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 상기 서비스 서버에서 분석하는 학습 문항 분석 단계; 및
상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 상기 서비스 서버로부터 상기 웹사이트나 스마트 기기에 의해 구현되는 어플리케이션을 통해 제공하는 학습 문항 분석 정보 제공 단계를 포함하고,
상기 서비스 서버에서 분석하는 학습 문항 분석 단계는,
상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고,
상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는,
상기 학습 문항에 대한 답변 응답시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하며,
상기 서비스 서버에서 분석하는 학습 문항 분석 단계는,
상기 학습 문항에 대한 복수의 답변 데이터로부터 상기 학습 문항의 정답율(%)을 응답시간의 함수로 모델링하고,
상기 특정 시간은 상기 응답시간 당 정답율(%)의 변화량이 최대가 되는 상기 응답시간으로서, 상기 정답율이 40% 이내인 상기 응답시간을 상기 특정시간으로 산출하며,
상기 서비스 서버에서 분석하는 학습 문항 분석 단계는,
상기 학습자의 학습 문항에 대한 답변이 오답인 경우,
맞출 수 있지만 틀린 문제 판별 단계; 및
몰라서 틀린 문제 판별 단계를 포함하고,
상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 상기 학습자의 예측 정답률을 기준으로 판별하며,
상기 예측정답율은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 반영하여 문항반응이론에 의해 산출하되,
상기 고유 난이도(question difficulty)는 상기 학습 문항에 대해 타 학습자들에 의해 설정된 난이도이고,
상기 학습자의 능력치(learner ability)는 과거 타 문항에 대해 상기 타 학습자들과 비교한 상기 학습자의 능력치이고,
상기 답변 응답시간의 소요 정도는 상기 학습자의 상기 학습 문항에 대한 실제 답변 응답시간을 상기 학습자의 예측 답변 응답시간에 대한 추정치와 비교함으로써 결정하며,
상기 예측 답변 응답시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 응답시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하며,
상기 예측정답율은 다음 수학식에 의해 산출되는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.
(여기서 question difficulty는 고유 난이도, learner ability는 학습자의 능력치, P는 예측정답율임)In the method of providing learning item analysis information using big data for receiving and analyzing learning information on a learning service provided through a website or an application implemented by a smart device in a service server,
A learning provision step of providing learning content including learning items that can be used by a learner accessing the service server online through an application implemented by the website or a smart device;
A learning information receiving step of receiving, by the service server, learning information including a learner's answer to the learning item;
A learning information data conversion step of converting the information received by the learning information reception step into data in the service server;
A learning item analysis step of analyzing, in the service server, a learning item answered by a corresponding learner through data analysis stored by the learning information data conversion step; And
A learning item analysis information providing step of providing analysis information on the learning item analyzed by the learning item analysis step from the service server through an application implemented by the website or a smart device,
The learning item analysis step analyzed by the service server,
If the answer to the learning question of the learner is the correct answer, including the step of determining a problem expected to be correct by taking a picture,
The step of determining the problem expected to be correct by taking the above,
If the response time for the answer to the learning question is shorter than a specific time, it is determined as a problem expected to be correct by taking the above,
The learning item analysis step analyzed by the service server,
Model the correct answer rate (%) of the learning question as a function of response time from the plurality of answer data for the learning question,
The specific time is the response time at which the amount of change in the percent correct per response time is maximum, and the response time in which the correct answer rate is within 40% is calculated as the specific time,
The learning item analysis step analyzed by the service server,
If the answer to the above learner's learning question is an incorrect answer,
Correct but incorrect problem determination step; And
Including the step of determining the wrong problem because you do not know,
The above can be corrected, but the wrong problem and the above unaware and wrong problem are determined based on the predicted correct answer rate of the learner,
The predicted correct answer rate is calculated by the item response theory by reflecting the intrinsic difficulty of the learning item and the estimated ability value of the learner,
The intrinsic difficulty (question difficulty) is a difficulty set by other learners for the learning item,
The learner's learner's ability is the learner's ability compared to other learners in the past,
The required degree of response response time is determined by comparing the actual response time of the learner to the learning question with an estimate of the predicted response response time of the learner,
The predicted response response time is estimated based on the average response time of other learners who answered the correct answer to the learning question and the average response time of the learner,
The predicted correct answer rate is characterized in that calculated by the following equation,
A method of providing learning item analysis information using big data.
(Where question difficulty is the inherent difficulty, learner ability is the learner's ability value, and P is the predicted correct answer rate)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180087739A KR102146111B1 (en) | 2018-07-27 | 2018-07-27 | Method for providing an information of a question analysis using big data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180087739A KR102146111B1 (en) | 2018-07-27 | 2018-07-27 | Method for providing an information of a question analysis using big data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200012431A KR20200012431A (en) | 2020-02-05 |
| KR102146111B1 true KR102146111B1 (en) | 2020-08-19 |
Family
ID=69515032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180087739A KR102146111B1 (en) | 2018-07-27 | 2018-07-27 | Method for providing an information of a question analysis using big data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102146111B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102346734B1 (en) * | 2021-04-23 | 2022-01-04 | 주식회사 프라이빗노트 | Apparatus and method for operating online platform that provides video lecture services and problem-solving services |
| KR102423740B1 (en) * | 2021-04-27 | 2022-07-22 | 이현민 | Method for operating lecture platform and apparatus for the same |
| KR102360797B1 (en) * | 2021-04-30 | 2022-02-08 | 조재학 | Apparatus and system for providing online education service |
| CN114048377B (en) * | 2021-11-08 | 2024-05-03 | 网易有道信息技术（北京）有限公司 | Question recommending method and device, electronic equipment and storage medium |
| CN114038258A (en) * | 2021-11-25 | 2022-02-11 | 上海有我科技有限公司 | Learning ability analysis method |
| WO2023101235A1 (en) * | 2021-11-30 | 2023-06-08 | 주식회사 프로키언 | Method and system for operating platform providing personalized problem on basis of learner behavior information |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100355665B1 (en) * | 2000-07-25 | 2002-10-11 | 박종성 | On-line qualifying examination service system using the item response theory and method thereof |
| KR101058741B1 (en) | 2009-05-26 | 2011-08-24 | 주식회사 비전을여는교육 | Study habits testing system and method |
| KR20140011232A (en) * | 2012-07-18 | 2014-01-28 | 양승호 | Measurement and control method for level of problem difficulty using solving time in problem-bank type online evaluation service |
| KR20150135584A (en) * | 2014-05-22 | 2015-12-03 | 이원영 | A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students |
| KR20180061999A (en) * | 2016-11-30 | 2018-06-08 | 한국전자통신연구원 | Apparatus and method for adaptive e-learning |
-
2018
- 2018-07-27 KR KR1020180087739A patent/KR102146111B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 박정수 외 1명. 문항반응이론에서의 추정방법과 대입학력고사의 문항분석. 한국통계학회 논문집. 1994.12.,제1권, 제1호, pp.192-205* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200012431A (en) | 2020-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102146111B1 (en) | Method for providing an information of a question analysis using big data | |
| KR102146112B1 (en) | Method for providing an information of a question analysis using big data | |
| Tipton et al. | A review of statistical methods for generalizing from evaluations of educational interventions | |
| Hsin et al. | Explaining Asian Americans’ academic advantage over whites | |
| Alcarria et al. | Enhanced peer assessment in MOOC evaluation through assignment and review analysis | |
| Edwards et al. | Lexical frequency profiles and Zipf's law | |
| Kasten et al. | A meta-analytical multilevel reliability generalization of situational judgment tests (SJTs) | |
| CN109816265B (en) | Knowledge characteristic mastery degree evaluation method, question recommendation method and electronic equipment | |
| KR102107992B1 (en) | Method for providing an analysis information of a learner's prediction score | |
| US20150125845A1 (en) | Server and method for providing learner-customized learning service | |
| KR20150051198A (en) | Server and method for providing learning service learner’s oder | |
| US20200302820A1 (en) | Personalized electronic education | |
| KR20190006409A (en) | Learning and Scheduling Apparatus and Method of Word Recognition State Quantification and Smart Devices using Memorizing Learning Data | |
| US11227298B2 (en) | Digital screening platform with open-ended association questions and precision threshold adjustment | |
| KR102116434B1 (en) | Method for providing an information of an experienced difficulty for a learner | |
| CN115081965B (en) | Big data analysis system of condition of learning and condition of learning server | |
| KR20200012430A (en) | Method for providing an information of a probability of correct response for a learner | |
| KR20150110449A (en) | Server and method for learning management | |
| JP6683906B1 (en) | Learning support system and learning support method | |
| US20210201688A1 (en) | Real Time Formative Assessment and Lesson Plan Recommendation With Remedial Learning Assessment | |
| US11928984B2 (en) | Intelligent and contextual system for test management | |
| KR20150135584A (en) | A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students | |
| KR20190125055A (en) | Learning coaching method using big data | |
| CN112381291A (en) | Behavior prediction method and device, information push method and device, electronic equipment and storage medium | |
| KR102134915B1 (en) | Method for providing an information of a question analysis for a learner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |