KR20200012431A - Method for providing an information of a question analysis using big data - Google Patents
Method for providing an information of a question analysis using big data Download PDFInfo
- Publication number
- KR20200012431A KR20200012431A KR1020180087739A KR20180087739A KR20200012431A KR 20200012431 A KR20200012431 A KR 20200012431A KR 1020180087739 A KR1020180087739 A KR 1020180087739A KR 20180087739 A KR20180087739 A KR 20180087739A KR 20200012431 A KR20200012431 A KR 20200012431A
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- learner
- answer
- information
- providing
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 발명은 학습자에게 학습에 대한 정보를 제공하는 방법에 관한 것으로서, 특히 학습자가 학습한 문항의 보다 구체적인 분석 정보를 제공하는 방법에 관한 것이다.The present invention relates to a method of providing information about learning to a learner, and more particularly, to a method of providing more detailed analysis information of an item learned by a learner.
정보통신 기술이 발달하면서 컴퓨터를 통해 데이터베이스의 관리가 용이하게 됨에 따라 학습 정보를 데이터베이스에 저장하고, 온라인 상으로 인터넷을 이용하여 학습자에게 제공하는 학습 서비스가 다양한 컨텐츠를 가지고 제공되고 있다.As information and communication technology is developed, as a database is easily managed through a computer, a learning service that stores learning information in a database and provides learners using the Internet online is provided with various contents.
학습자는 학습 프로그램을 제공하는 웹사이트나 휴대 단말기를 통해 접속이 가능한 앱(App)을 통해 제공되는 문제를 통해 학습이 가능하므로, 시간과 공간의 제약이 적은 온라인을 통한 장점 등에 따라 이러한 온라인을 이용하여 학습 정보를 제공하고, 학습을 직접 수행하며, 그에 대한 결과를 제공받는 서비스 방법이 많이 개발되고 있다.Learners can learn from the problems provided through websites that provide learning programs or through apps that can be accessed through mobile devices. Therefore, a number of service methods for providing learning information, directly performing learning, and receiving a result thereof have been developed.
본 발명 또한 그러한 온라인을 이용하여 학습 정보를 제공하는 방법과 관련된 것이다.The present invention also relates to a method of providing learning information using such online.
한편, 학습은 무작정 열심히만 한다고 성과가 반드시 따라오는 것은 아니다.On the other hand, learning hardly does not necessarily follow performance.
즉, 무작정 열심히가 아니라 어떻게 열심히 하느냐가 중요하다는 것은 익히 알려져 있는 바이다.In other words, it is well known that it is important not to work hard but how to work hard.
특히 제시되는 학습 문항을 풀이하는 학습에서 학습 후에 학습한 결과에 대해 검토하는 것이 풀이 못지 않게 학습에 큰 도움을 준다.Especially, in learning to solve the presented learning questions, reviewing the results of learning after learning can be as helpful as learning.
이를테면 풀이한 문항이 충분히 맞출 수 있는 문항임에도 불구하고 학습자의 잘못된 습관 등으로 틀린 경우에 이를 풀이 후 인지하여 미흡한 부분을 개선할 수 있고, 명백히 몰라서 틀렸거나 단순히 찍어서 맞았다는 것을 학습자 스스로 인지하여 그러한 문항을 다음 번엔 맞출 수 있도록 다른 방법을 통한 학습을 보충하는 것은 학습에 큰 도움을 줄 수 있다.For example, if a question that is solved is a question that can be fully answered, it can be corrected after solving it if it is wrong due to a learner's wrong habits. Complementing learning through other methods can help greatly in learning.
이러한 학습 문항에 대한 분석과 검토의 피드백은 오프라인 상의 학습에 의해서는 교수자가 지도해 주는 것이 용이하나, 온라인을 통한 학습의 경우에는 학습 정보 내지 문제만을 제공할 뿐 풀이 후의 학습 방법에 대한 보다 나아가는 지도는 지도교사가 방문하는 등이 아닌 한 이루어지지 못하고 있는 실정이다.The feedback of the analysis and review of the learning items can be easily instructed by the instructor by the off-line learning, but in the case of the online learning, it provides only the learning information or problems, and further guidance on the learning method after solving. This is not possible unless the tutor visits.
이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.The matters described in the background art are provided to help the understanding of the background of the invention, and may include matters that are not known to those skilled in the art to which the art belongs.
본 발명은 상술한 문제점을 해결하고자 안출된 것으로서, 본 발명은 온라인 학습을 통해서도 학습한 문항에 대한 분석 정보를 제공함으로써 학습자의 학습 습관 및 실력 향상에 도움을 줄 수 있는 빅데이터를 이용한 학습 문항 분석 정보 제공방법을 제공하는 데 그 목적이 있다.The present invention has been made to solve the above-described problems, the present invention provides analysis information on the questions learned through online learning to analyze the learning items using big data that can help learners to improve their learning habits and skills The purpose is to provide a method of providing information.
본 발명의 일 관점에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법은, 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계, 상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계, 상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계 및 상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 제공하는 학습 문항 분석 정보 제공 단계를 포함하고, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고, 상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는, 상기 학습 문항에 대한 답변 응답시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 한다.Learning item analysis information providing method using the big data according to an aspect of the present invention, the learning providing step including the learning items available to learners connected to the service server online learning providing step, for the learning items The learner receives the learning information including the contents of the learner's answer, the learning information data step of data-setting the information received by the learning information receiving step, and the corresponding learner through data analysis stored by the learning information data-setting step. A learning item analysis step of analyzing the answered learning item and the learning item analysis information providing step of providing analysis information on the learning item analyzed by the learning item analysis step, wherein the learning item analysis step includes the learner's learning If the answer to the question is the correct answer, it is correct. Problem determination steps included a problem determination step is expected, and the dip expected to right with, if the answer to the response time for the learning item is shorter than the specified time is characterized in that determination of a problem that is expected to hit the dip.
보다 구체적으로, 상기 학습 문항 분석 단계는 해당 문항의 복수의 답변 데이터로부터 해당 문항의 정답율(%)을 응답시간의 함수로 모델링하고, 상기 특정 시간은 40% 이내의 상기 응답시간 중 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간을 특정시간으로 산출하는 것을 특징으로 한다.More specifically, the learning item analysis step models a percentage of the correct answer of the item as a function of response time from the plurality of answer data of the corresponding item, and the specific time is the response rate per response time of the response time within 40% It is characterized by calculating the response time at which the change amount of (%) becomes the maximum as a specific time.
그리고, 상기 특정시간은 상기 복수의 답변 데이터 수가 일정 개수 이상이 추가되면 갱신되는 것을 특징으로 한다.The specific time may be updated when the number of the plurality of answer data is added to a predetermined number or more.
또한, 일정 개수 이상의 상기 복수의 답변 데이터 수 중 정답과 오답의 비율은 동등한 것을 특징으로 한다.In addition, the ratio of the correct answer and the wrong answer among the plurality of the plurality of answers data number is characterized in that the equivalent.
한편, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 오답인 경우, 맞출 수 있지만 틀린 문제 판별 단계 및 몰라서 틀린 문제 판별 단계를 포함하고, 상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 학습자의 예측 정답률을 기준으로 판별하는 것을 특징으로 한다.On the other hand, the learning item analysis step, if the answer to the learner's answer to the answer is wrong, including the correct but wrong problem determination step and unknown problem determination step, the correct but wrong problem and the unknown problem It is characterized by determining based on the predicted correct answer rate of the learner.
여기서, 상기 예측정답율은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 반영하여 문항반응이론에 의해 산출하되, 상기 고유 난이도(question difficulty)는 상기 문항에 대해 타 학습자들에 의해 설정된 난이도이고, 상기 학습자의 능력치(learner ability)는 과거 타 문항에 대해 상기 타 학습자들과 비교한 상기 학습자의 능력치인 것을 특징으로 한다.Here, the predicted correct answer rate is calculated by the item response theory reflecting the inherent difficulty of the learning item and the estimated ability of the learner, the inherent difficulty (question difficulty) is a difficulty set by other learners for the item, The learner's ability (learner ability) is characterized in that the learner's ability compared to the other learners for the other questions in the past.
그리고, 상기 예측정답율은 다음 수학식에 의해 산출되는 것을 특징으로 한다.The predicted correct answer rate is calculated by the following equation.
한편, 상기 학습자의 능력치는 베이지안(Bayesian) 능력 산정 알고리듬에 의해 구해지는 것을 특징으로 한다.On the other hand, the learner's ability value is characterized by being calculated by the Bayesian ability calculation algorithm.
결과적으로, 상기 학습 문항 분석 단계는, 상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하는 것을 특징으로 한다.As a result, the learning item analysis step, when the learner's predicted correct answer rate is more than 85%, characterized in that it can be determined as 'can be correct but wrong problem'.
그리고, 상기 학습 문항 분석 단계는, 상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.And, the learning item analysis step, if the learner's predicted correct answer rate is less than 50%, characterized in that it is determined as a 'unknown problem wrong.'
또한, 상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 상기 학습 문항에 대한 답변 응답시간의 소요 정도에 따라 상기 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.In addition, when the predicted correct answer rate of the learner is more than 50% and less than 85%, according to the degree of the response time of the answer to the learning item characterized in that it can be determined as the 'correct but wrong problem' or the 'unknown problem wrong'. do.
여기서, 상기 답변 응답시간의 소요 정도는 상기 학습자의 학습 문항에 대한 실제 답변 응답시간을 상기 학습자의 예측 답변 응답시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 한다.In this case, the required response time may be determined by comparing the actual answer response time for the learner's learning item with an estimate of the predicted answer response time of the learner.
그리고, 상기 예측 답변 응답시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 응답시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하는 것을 특징으로 한다.The predicted answer response time may be estimated based on an average answer response time of the learner and an average answer time of the learner of other learners who answered a correct answer to the learning question.
본 발명의 빅데이터를 이용한 학습 문항 분석 정보 제공방법에 의하면, 학습자가 풀이한 문항에 대해서 보다 구체적으로 개선시킬 수 있는 정보를 제공함으로써 학습자가 단순한 문제 풀이에서 벗어나 학습 방법 및 습관에 대해 고민할 수 있게 하여 학습자의 진정한 실력 향상에 도움을 줄 수 있다.According to the method for providing learning item analysis information using the big data of the present invention, learners can worry about learning methods and habits by providing information that can be improved in detail for the questions solved by the learners. To help learners improve their true skills.
도 1은 본 발명에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법을 도시한 것이다.
도 2는 본 발명에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법의 일 단계의 보다 구체적인 과정을 도시한 것이다.
도 3은 빅데이터를 이용한 특정시간의 산출 예를 도시한 것이다.1 illustrates a method for providing learning item analysis information using big data according to the present invention.
2 illustrates a more detailed process of one step of the method for providing learning item analysis information using big data according to the present invention.
3 illustrates an example of calculating a specific time using big data.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings which illustrate preferred embodiments of the present invention and the contents described in the accompanying drawings.
본 발명의 바람직한 실시 예를 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지의 기술이나 반복적인 설명은 그 설명을 줄이거나 생략하기로 한다.In describing the preferred embodiment of the present invention, well-known techniques or repeated descriptions that may unnecessarily obscure the subject matter of the present invention will be shortened or omitted.
도 1은 본 발명에 의한 학습자를 위한 학습 문항 분석 정보 제공방법을 도시한 것이고, 도 2는 본 발명에 의한 학습자를 위한 학습 문항 분석 정보 제공방법의 일 단계의 보다 구체적인 과정을 도시한 것이다.1 illustrates a method for providing learning item analysis information for learners according to the present invention, and FIG. 2 illustrates a more detailed process of one step of the method for providing learning item analysis information for learners according to the present invention.
이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 의한 학습자를 위한 학습 문항 분석 정보 제공방법을 설명하기로 한다.Hereinafter, a method for providing learning item analysis information for learners according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.
본 발명에 의한 학습 문항 분석 정보 제공방법은 온라인 상으로 학습을 위한 정보를 제공하고, 온라인 상으로 접속한 이용자가 이를 통해 학습을 진행할 수 있도록 하는 서비스 방법이다.The method of providing learning item analysis information according to the present invention is a service method for providing information for learning online and allowing a user connected to online to proceed with learning.
즉, 서비스 제공자는 인터넷 웹사이트 또는 스마트 기기를 통해 구현되는 어플리케이션을 통해서 학습 서비스를 제공하고, 해당 서비스의 이용자는 로그인 등의 절차를 통해 웹사이트나 어플리케이션에 접속하여 학습을 수행해 나갈 수 있도록 하는 것이다. 이러한 서비스 방법과 이용 방법에 대해서 널리 인식된 기술들에 대한 설명은 본 발명에서는 생략하도록 한다.In other words, the service provider provides a learning service through an application implemented through an Internet website or a smart device, and the user of the service can access a website or application through a procedure such as logging in to perform learning. . Descriptions of technologies widely recognized for such a service method and a usage method will be omitted in the present invention.
그리고, 본 발명에 의해 제공되는 학습은 일회성이기 보다는 일 단위, 주 단위, 월 단위 등의 주기에 따라 회차를 구분하여 적당한 학습량을 제공하여 학습자가 제공되는 진도에 맞게 학습을 수행해 나갈 수 있도록 제공된다.In addition, the learning provided by the present invention is provided to allow the learner to perform the learning according to the progress provided by providing an appropriate amount of learning by classifying the cycles according to the cycles such as daily, weekly, monthly, etc. rather than one-time. .
구체적으로 살펴보면, 본 발명에 의한 학습 문항 분석 정보 제공방법은 학습 제공 단계, 학습 정보 수신 단계, 학습 정보 데이터화 단계, 학습 문항 분석 단계 및 학습 문항 분석 정보 제공 단계를 포함한다.Specifically, the learning item analysis information providing method according to the present invention includes a learning providing step, learning information receiving step, learning information data conversion step, learning item analysis step and learning item analysis information providing step.
학습 제공 단계(S10)는 서비스에 접속한 학습자가 이용할 수 있는 학습 내용을 서비스 서버에 의해 온라인 상으로 제공한다.In the learning providing step S10, the learning content available to the learner accessing the service is provided online by the service server.
학습 제공 단계(S10)에 의해 제공되는 학습 내용은 학습자가 풀이할 학습 문항이며, 그 외에 학습 컨텐츠도 포함한다.The learning content provided by the learning providing step S10 is a learning item to be solved by the learner, and also includes learning content.
학습 내용은 일정 주기마다 회차를 구분하여 제공될 수 있고, 각 회차에서 제공되는 학습 내용은 학습 문항과 함께 학습 컨텐츠가 포함되며, 학습 컨텐츠만 제공될 수도 있다.The learning contents may be provided by dividing each round at regular intervals, and the learning contents provided in each round may include learning contents together with learning questions, and only learning contents may be provided.
학습 문항은 회차당 정해진 수와 난이도에 따른 복수의 학습 문항이 순차적으로 제공이 된다.The learning items are provided with a plurality of learning items according to a predetermined number and difficulty levels.
예를 들어, 10개의 문항이 일괄적으로 제공되어 학습자가 스크롤하며 풀이를 진행할 수도 있을 것이며, 하나 또는 둘 정도의 소량의 문항을 화면을 넘겨 가며 확인 가능하도록 제공하는 방식일 수 있다.For example, 10 questions may be provided in a batch to allow a learner to scroll and solve the problem, or to provide a small amount of one or two items so that they can be checked over the screen.
이에는 학습자가 문항에 대한 풀이를 위해 정답을 체크할 수 있는 수단이 함께 제공될 것이다.It will be provided with a means for the learner to check the correct answer to solve the question.
그리고, 학습자가 나중에 풀기 위해서 제시된 문항을 건너뛰어 다른 문항을 먼저 풀이할 수 있도록 다음 문항의 선택이 가능한 수단도 제시가 된다. 단지 다음 페이지를 터치 입력 방식에 의해 선택되도록 할 수도 있을 것이다.In addition, a means of selecting the next item is presented so that the learner can skip the question presented later for solving another item. Only the next page may be selected by the touch input method.
또한, 해당 회차의 전체 문항을 일괄적으로 채점할 수 있게 하거나, 한 페이지에 제공되는 문항마다 채점을 진행하도록 제공될 수도 있을 것이다.In addition, the entire question of the round may be scored in a batch or may be provided to proceed with the scoring for each item provided on a page.
학습 제공 단계(S10)에서는 학습자가 답변을 체크하고 채점을 선택하는 경우 채점에 의한 정답 또는 오답의 결과 또한 제공되게 한다.In the learning providing step S10, when the learner checks the answer and selects the grading, the result of the correct answer or the wrong answer by the grading is also provided.
한편, 오답인 경우에는 해당 문항에 대한 답변을 다시 할 수 있는 내용이 제공될 수도 있다.On the other hand, in the case of an incorrect answer may be provided to re-answer the question.
그리고, 학습 컨텐츠는 해당 회차에서 알아야할 내용에 대한 강의의 텍스트나 영상 형식일 수 있으며, 각 문항에 대한 해설의 텍스트나 영상 또는 힌트 등일 수 있다.In addition, the learning content may be a text or video format of a lecture on the content to be known in the corresponding round, and may be text or an image or a hint of a commentary about each item.
이와 같은 학습 제공 단계(S10)에 의해 제공된 학습 내용 중 학습 문항에 대한 학습자의 답변이 있으면, 서비스 서버는 학습 정보 수신 단계(S20)에 의해 학습자의 답변을 수신하게 된다.If there is a learner's answer to the learning item among the learning contents provided by the learning providing step S10, the service server receives the learner's answer by the learning information receiving step S20.
수신하는 학습 정보 또한 학습 문항에 대한 답변일 수 있으며, 학습 컨텐츠에 관한 결과물일 수 있다.The received learning information may also be an answer to a learning item, or may be a result of learning content.
즉, 학습 문항에 대한 학습 정보는 해당 문항에 대한 학습자의 답변과 문항 제공시부터 답변까지의 응답시간, 그리고 학습자의 답변이 오답이어서 재차 답변을 시도한 경우에는 답변 시도 횟수도 포함될 수 있다.That is, the learning information on the learning item may include the learner's answer to the item, the response time from the time of providing the item to the answer, and the number of attempts to answer if the learner's answer is incorrect.
그리고, 학습 컨텐츠에 관한 결과물은 S10에서 제공된 학습 컨텐츠 내용을 이용하였는지 여부에 관한 것이다.And, the result related to the learning content relates to whether or not using the learning content content provided in S10.
즉, 해당 회차에서 제공되는 강의, 해설, 힌트 등을 확인하였는지, 확인하지 않았는지에 관한 정보가 된다.That is, it is information about whether or not the lecture, commentary, hints, etc. provided in the corresponding session are confirmed.
이와 같이 학습 정보 수신 단계(S20)에 의해 학습자의 학습 문항에 대한 답변과 학습 컨텐츠에 관한 결과물은 학습 정보 데이터화 단계(S30)에 의해 서비스 서버가 이를 데이터화한다.In this way, the answer to the learner's answer to the learning item in the learning information receiving step (S20) and the result of the learning content is data by the service server in the learning information data step (S30).
학습자의 수는 온라인 서비스의 특성상 무한한 바, 학습 데이터화 단계(S30)에서는 수많은 학습자에 의한 학습 정보를 빅 데이터화하고, 이를 분석하여 후술할 학습 문항 분석 단계(S40)를 통해 학습한 문항에 대한 구체적인 분석 정보를 학습 문항 분석 정보 제공 단계(S50)에 의해 제공하게 된다.The number of learners is infinite due to the nature of the online service. In the learning data forming step (S30), the learning information by a large number of learners is made into big data, and the detailed analysis of the questions learned through the learning item analysis step (S40) to be described later. Information is provided by the learning item analysis information providing step (S50).
학습 문항 분석 정보 제공 단계(S50)에서는 S40에 의한 학습 문항 분석 정보뿐 아니라 회차당 전체 정답률, 전체 풀이 시간, 등급, 난이도, 학습자 평균과의 비교 등의 일반적인 학습 결과에 대한 정보를 포함함은 물론이다.In the step of providing learning item analysis information (S50), not only the learning item analysis information by S40, but also information about general learning results such as the overall correct answer rate per session, the total solve time, the grade, the difficulty, and the comparison with the learner average, to be.
학습 문항 분석 단계(S40)에서는 학습 정보 수신 단계(S20)에 의해 수신한 학습자의 학습 정보와 학습 정보 데이터화 단계(S30)에 의해 빅 데이터화되어 보유하고 있는 정보에 의해 학습자가 풀이한 학습 문항을 분석하여 학습자에게 도움이 될 수 있는 피드백 정보를 분석하게 된다.In the learning item analysis step (S40), the learner solves the learning item solved by the learner by the learner's learning information received by the learning information receiving step (S20) and the information held by the big data by the learning information data making step (S30). By analyzing the feedback information that can be helpful to the learner.
학습 문항에 대한 분석은 '맞출 수 있지만 틀린 문제 판별(S41)', '몰라서 틀린 문제 판별(S42)', '찍어서 맞은 것으로 예상되는 문제 판별(S43)'의 과정을 통해서 풀이한 각 문항이 S41 내지 S43에 해당하는지를 판별하게 되고, 이에 속하지 않는 문항은 미분류 문항으로 분류하게 된다.The analysis of the learning questions is based on S41, which can be correct but wrong problem determination (S41), unknown problem determination (S42), and problem determination (S43) that are expected to be corrected. To S43, and items which do not belong to this category are classified as unclassified items.
S41 내지 S43의 판별 과정은 문항 분석의 순서를 의미하지는 않고, 각 프로세스에 의해서 각각 또는 전체적으로 판별이 이루어진다.The determination process of S41 to S43 does not mean the order of item analysis, but determination is performed individually or entirely by each process.
맞출 수 있지만 틀린 문제 판별(S41)과 몰라서 틀린 문제 판별(S42)은 학습 정보 수신 단계(S20)에 의해 해당 문항의 정답/오답 여부와 답변 응답시간을 수신 하여, 해당 문항이 오답인 경우에 학습자의 예측 정답률과 예측 풀이시간을 기준으로 학습자가 모를 확률이 높은 문항인지 실수 등으로 인해서 맞출 수 있으나 틀렸는지를 판별하게 된다.Although the correct problem determination (S41) and do not know the wrong problem determination (S42) by the learning information receiving step (S20) receives the correct answer / incorrect answer and the answer response time, the learner if the corresponding question is incorrect Based on the predicted correct answer rate and predicted solving time, the learner can determine whether the answer can be corrected due to an item or a mistake that the learner has a high probability of not knowing.
S41에서는 학습자의 해당 문항에 대한 예측 정답률이 85% 이상인지를 판단하고, 예측 정답률이 85% 이상인데 오답인 경우에는 '맞출 수 있지만 틀린 문제'로 판별한다.In S41, it is determined whether the learner's predicted correct answer rate for the corresponding item is 85% or more, and if the predicted correct answer rate is 85% or more and the wrong answer is correct, it is determined as 'correct but wrong problem'.
반면, S42에서는 학습자의 해당 문항에 대한 예측 정답률이 50% 미만인지를 판단하고, 예측 정답률이 50% 미만인데 오답인 경우에는 '몰라서 틀린 문제'로 판별한다.On the other hand, in S42, it is determined whether the learner's predicted correct answer rate for the corresponding item is less than 50%, and if the predicted correct answer rate is less than 50% and the wrong answer is incorrect, it is determined as 'unknown problem'.
다만, 학습자의 해당 문항에 대한 예측 정답률이 50% 이상 85% 미만인 경우에는 예측 정답률과 함께 답변 응답시간의 정도를 기준으로 달리 판단하게 된다.However, when the predicted correct answer rate of the learner is 50% or more and less than 85%, it is determined differently based on the predicted correct answer rate and the degree of the response time.
즉, 학습자의 실제 답변 응답시간의 정도가 빠른지, 느린지, 중간 정도인지를 판단하여 판별하게 된다.That is, it is determined by determining whether the degree of the real answer response time of the learner is fast, slow or medium.
그래서, 예측 정답률이 50% 이상 85% 미만인데 답변 응답시간이 느리지 않은, 빠르거나 중간 정도인 경우에는 S41에 의해 '맞출 수 있지만 틀린 문제'로 판별하게 된다.Thus, if the predicted correct answer rate is 50% or more and less than 85%, but the response response time is not slow, fast or medium, it is determined by S41 as a 'correct but wrong problem'.
그리고, 예측 정답률이 50% 이상 85% 미만인데 답변 응답시간이 빠른 경우에는 S42에 의해 '몰라서 틀린 문제'로 판별하게 된다.In addition, when the predicted correct answer rate is 50% or more and less than 85%, but the response response time is fast, it is determined by S42 as a 'not known problem'.
이상의 S41 및 S42의 판별 기준이 되는 예측 정답률과 예측 답변 응답시간을 설명하기로 한다.The predicted correct answer rate and the predicted answer response time serving as the discrimination criteria of S41 and S42 described above will be described.
학습자의 예측 정답률은 학습자가 해당 문항을 맞힐 것으로 예상되는 확률을 이르며, 이는 문항의 고유 난이도 설정 및 학습자의 능력치의 추정을 통해 분석한다.The learner's predicted correct answer rate is the probability that the learner is expected to answer the question, which is analyzed by setting the inherent difficulty of the question and estimating the learner's ability.
해당 문항의 고유 난이도(question difficulty)는 학습 정보 데이터화 단계(S30)에 의해 데이터화된 정보를 통해 해당 문항에 대한 다른 학습자들에 의해 설정된 상대적인 난이도를 추정하는 것이다.The inherent difficulty of the question is to estimate the relative difficulty set by other learners for the question through the information datad by the learning information data step S30.
즉, 해당 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 하여 추정한다.In other words, it is estimated based on the correct answer rate of all learners for the corresponding question and the number of answer attempts required to correct the correct answer.
문항의 고유 난이도의 평균값은 0을 기준으로 하며, 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수에 따라 (+) 또는 (-)로 보정함으로써 난이도를 추정한다.The average value of the inherent difficulty of an item is 0, and the difficulty is estimated by correcting (+) or (-) according to the correct answer rate of all learners and the number of attempts to answer the correct answer.
이러한 보정(calibration)은 베이지안 알고리즘(Bayesianism)에 의해 각 응답 후 업데이트된 값에 의해 보정된다.This calibration is corrected by the updated value after each response by Bayesianism.
그리고, 학습자의 능력치(learner ability)는 과거 타 문항에 대해 타 학습자들과 비교하여 산출한다.And the learner's ability (learner ability) is calculated by comparing the other learners with other learners.
학습자의 능력치는 평균값을 0으로 하여, 학습자가 복수의 문항에 대해 답변할 때마다 정답인지 오답인지에 따라 타 학습자들의 정답율과 비교하여 (+) 또는 (-)의 가중치를 부여함으로써 추정된다.The learner's ability value is estimated by setting the average value to 0, and assigning a weight of (+) or (-) to the learner's correct answer rate according to whether the learner answers a plurality of questions correctly or incorrectly.
이러한 가중치 또한 베이지안 능력 산정 알고리듬(Bayesianism)에 의해 각 응답 후 업데이트된 값에 의해 구해진다.This weight is also obtained by the updated value after each response by the Bayesian capability estimation algorithm (Bayesianism).
나아가, 정답 또는 오답에 따른 가중치는 가장 최근에 답변한 문항의 결과에 대해서 보다 높게 책정될 수가 있다.Furthermore, the weight according to the correct or incorrect answer may be set higher for the result of the most recently answered question.
문항에 대한 예측정답율은 이러한 문항의 고유 난이도(question difficulty)와 학습자 능력치(learner ability)에 의해 문항반응이론(item response theory, IRT)을 기반으로 하여 다음 수학식과 같이 산출된다.The predicted correct answer rate for an item is calculated based on the item response theory (IRT) by the inherent difficulty of the item and the learner's ability.
즉, 학습자 능력치가 높을수록 또는 고유 난이도가 낮을수록 exp(question difficulty+learner ability) 값이 증가하여 P 값은 크게 나타나며 최대치는 1이 된다.That is, the higher the learner ability or the lower the intrinsic difficulty, the greater the exp (question difficulty + learner ability) value, resulting in a larger P value and a maximum value of 1.
그리고, 고유 난이도가 높은 문제를 학습자 능력치가 낮은 학습자가 풀더라도 Pmax는 0.5가 되어, 예측정답율은 0.5~1의 범위로 산출된다.In addition, even if a learner solves a problem with a high inherent difficulty, the learner with a low learner ability value solves the problem.
한편, 학습자의 능력치와 고유 난이도에 따라 학습자의 예측정답율을 산출하기 위해, 학습자의 능력치를 2N+1(N은 정수), 고유 난이도를 2M+1(M은 정수)의 구간으로 구분할 수 있다.Meanwhile, in order to calculate the learner's predicted correct answer rate according to the learner's ability and the inherent difficulty, the learner's ability may be divided into 2N + 1 (N is an integer) and 2M + 1 (M is an integer).
가령, 문항의 고유 난이도의 범위와 학습자 능력치의 범위를 ±4(N, M은 4)로 책정하면, 문항에 대한 예측 정답율은 위 수학식에 따라 다음 표와 같이 산정될 수가 있고, 표와 같이 학습자 능력치는 등차(an arithmetic progression)로 증감하는 값을 가질 수 있으며, 나아가 학습자의 능력치에 따른 문항의 고유 난이도의 조절은 아래 표에 따라 등차로 증감시켜 조절할 수 있다.For example, if the range of the inherent difficulty of the item and the range of learner abilities are set to ± 4 (N, M is 4), the predicted correct answer rate for the item can be calculated as shown in the following table according to the above equation. The learner's ability can have a value that increases or decreases with an arithmetic progression, and furthermore, the adjustment of the inherent difficulty of the item according to the learner's ability can be adjusted by increasing or decreasing it according to the table below.
수학식에 의해 산출되는 문항에 대한 예측 정답율(P)은 0.5에서 1의 범위를 가지게 되고, 0.5 미만의 경우에는 문항의 고유 난이도에 대해 선형성을 갖는다는 가정 하에 산출함으로써 위 표와 같은 결과를 얻을 수 있다.The predicted correct answer rate (P) for the item calculated by the equation is in the range of 0.5 to 1, and if it is less than 0.5, it is calculated on the assumption that the item has a linearity with respect to the inherent difficulty of the item to obtain the result shown in the above table. Can be.
그리고, 표와 같이 학습자의 능력치가 증가할수록 예측정답율은 선형적으로 증가할 수 있고, 고유 난이도가 낮아질수록 예측정답율은 선형적으로 증가할 수 있다.And, as shown in the table, as the learner's ability increases, the predicted correct rate may increase linearly, and as the intrinsic difficulty decreases, the predicted correct rate may increase linearly.
또한, 위 구간별 표에서 학습자의 능력치와 고유 난이도의 구간이 동일할 경우에 P는 0.5가 되며, 학습자의 능력치가 2N+1개의 구간을 따라 증가할수록 예측정답율은 선형적으로 증가할 수 있고, 고유 난이도가 2M+1개의 구간을 따라 낮아질수록 예측정답율은 선형적으로 증가할 수 있다.In addition, if the learner's ability and inherent difficulty are the same in the table for each section, P becomes 0.5. As the learner's ability increases along 2N + 1 intervals, the predicted answer rate may increase linearly. As the inherent difficulty decreases along 2M + 1 intervals, the predicted answer rate may increase linearly.
이와 같이 산출되는 예측 정답률에 따라서 S41 또는 S42에서 해당 여부를 판별하게 된다.Whether it is determined in S41 or S42 is determined according to the predicted correct answer rate calculated as described above.
다음으로, 예측 답변 응답시간은 학습자의 해당 문항에 대한 답변의 스피드 정도를 빠르거나, 느리거나 중간 정도로 구분하고, 그에 따라서 S41 또는 S42에서 해당 여부를 판별하게 된다.Next, the predicted answer response time is divided into fast, slow or medium speed of the answer to the corresponding questions of the learner, and accordingly determine whether or not in S41 or S42.
학습자의 해당 문항에 대한 답변의 스피드 정도는 학습자의 실제 답변 응답시간을 학습자의 예측 답변 응답시간과 비교함으로써 결정된다.The speed of the learner's response to the question is determined by comparing the learner's actual answer response time with the learner's predicted answer response time.
즉, 학습자의 실제 답변 응답시간이 예측 답변 응답시간보다 표준편차 상 1.28보다 높은 구간에 위치하면서 다른 90%의 학습자보다 긴 경우를 느림 정도로 판단한다.That is, it is determined that the learner's actual answer response time is located in a section higher than 1.28 due to the standard deviation than the predicted answer response time and is longer than other 90% learners.
그리고, 학습자의 실제 답변 응답시간이 예측 답변 응답시간보다 표준편차 상 1.28보다 낮은 구간에 위치하면서 다른 90%의 학습자보다 짧은 경우를 빠름 정도로 판단한다.And, it is determined that the learner's actual answer response time is located in a section lower than 1.28 due to the standard deviation than the predicted answer response time, and is shorter than other learners of 90%.
느림과 빠름에 해당하지 않는 정도가 중간에 해당하는 스피드 정도가 된다.Slow and fast are not intermediate speeds.
학습자의 실제 답변 응답시간은 학습자가 문항에 첫 번째로 답변하였을 때 실제로 걸린 시간이 된다.The learner's actual response response time is the time actually taken when the learner first answered the question.
그러나, 학습자는 해당 문항을 뷰어 등을 통해 확인하고 즉시 답변하지 않고 다른 문항에 대해 먼저 답변할 수가 있으며, 이러한 행위를 수차례 반복할 수도 있다.However, the learner can check the question through the viewer and answer the other questions first without answering the question immediately, and may repeat this behavior several times.
그러한 경우에는 해당 문항이 제시된 화면에 머무른 시간 중 가장 긴 시간을 학습자의 실제 답변 응답시간으로 한다.In such a case, the longest time of staying on the screen where the question is presented is the actual response response time of the learner.
학습자의 예측 답변 응답시간은 학습자가 해당 문항을 풀이할 때 소요될 것으로 예상되는 시간이며, 이는 문항마다 다를 수 있고, 학습자마다 다를 수 있는 시간이다.The learner's predicted answer response time is the time expected when the learner solves the question, which may vary from question to question and may vary from learner to learner.
이러한 학습자의 예측 답변 응답시간은 해당 문항에 대해 정답을 답변한 다른 학습자들의 해당 문항에 대한 평균 답변 응답시간을 기반으로 해당 학습자가 계속적으로 문항에 대해 답변한 결과를 통한 평균 답변 시간을 조합하여 값을 추정한다.The learner's predicted answer response time is a combination of the average answer time based on the result of the learner continuously answering the question based on the average answer response time of the other learners who answered the correct answer to the question. Estimate
다음으로는, S41과 S42 외에 '찍어서 맞은 것으로 예상되는 문제 판별(S43)'의 판별 방법을 살펴본다.Next, the method of determining 'problem determination (S43) that is expected to be beaten' in addition to S41 and S42 will be described.
비록 학습자의 답변이 정답이라 할지라도 학습자가 조금이라도 생각할 시간을 가졌으리라고 판단되지 않는 시간 안에 답한 경우에 '찍어서 맞은 것으로 예상되는 문제'로서 판별한다.Although the learner's answer is the correct answer, it is identified as a 'problem expected to be beaten' if the learner responds in a time that does not determine that he or she has had any time to think.
찍기 행동의 판별은 문항에 대한 답변 응답시간을 기준으로 판별하게 된다. 이는 대부분의 문항에서 답변 응답시간이 특정 시간보다 짧을 경우에는 정답률이 급격히 떨어지기 때문이고, 그 특정 시간보다 답변 응답시간이 짧은지 여부를 판단하여 그런 경우 해당 문항은 찍었을 확률이 매우 높은 것으로 판단하는 것이다.Determination of the photographing behavior is determined based on the response time to the question. This is because the rate of correct answers drops sharply when the response response time is shorter than a certain time in most questions, and it is determined whether the answer response time is shorter than the specific time. It is.
이러한 특정 시간은 학습 정보 데이터화 단계(S30)를 통한 빅 데이터 정보를 이용하여 산출되며, 학습 문항 분석 단계(S40)에서는 산출된 특정 시간을 토대로 학습 문항에 대한 답변이 찍기 행동에 해당하는지 여부를 판단하게 된다.This specific time is calculated using the big data information through the learning information data step (S30), and in the learning item analysis step (S40), it is determined whether the answer to the learning item corresponds to the taking action based on the calculated specific time. Done.
도 3은 빅데이터를 이용한 특정시간의 산출 예를 도시한 것으로, 이를 참조하여 특정시간의 산출 방법을 설명하기로 한다. 도 3에서 초1 수학, 초1 국어, 초고 국어, 초고 사과는 과목명을 뜻한다.3 illustrates an example of calculating a specific time using big data, and a method of calculating a specific time will be described with reference to the drawing. In FIG. 3, the first mathematics, the first first language, the first Korean, and the first apple refer to a subject name.
특정시간의 산출은 문항마다 다를 수 있는 값이고, 데이터량이 증가함에 따라 능동적으로 산출값이 달라질 수 있는 값이며, 초기 설정은 1,000ms로 한다.The calculation of a specific time is a value that can vary from item to item, and the value that can be actively changed as the amount of data increases. The initial setting is 1,000 ms.
그리고, 해당 문항에 대한 일정 개수의 답변이 데이터화되면 초기 설정을 조정(CALIBRATION)하는 방식으로 특정시간을 갱신한다.When a certain number of answers to the corresponding question are dataized, the specific time is updated by adjusting the initial setting (CALIBRATION).
예를 들어, 해당 문항에 대한 답변이 50개의 정답과 50개의 오답이 획득되면 조정하도록 설정될 수 있다.For example, the answer to the question may be set to adjust when 50 correct answers and 50 incorrect answers are obtained.
조정 산출 방법은 먼저 4개의 계수를 가진 로그 정규함수를 사용하여 각각의 정답율(%)을 ln(응답시간, response time)의 함수로 모델링한다.The adjustment calculation method first uses a lognormal function with four coefficients to model each percent correct as a function of ln (response time).
모델링 결과 도 3과 같은 그래프가 도출되며, 여기서 40번째 백분위 수 이하의 응답시간(response time) 중 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간(그래프상 기울기)을 특정시간으로 산출한다.As a result of the modeling, a graph as shown in FIG. 3 is derived, and the response time (slope on the graph) in which the amount of change in the percentage of correct answers per response time is the maximum among the response time below the 40th percentile is calculated as a specific time. do.
그래프의 예에서 이와 같이 산출 결과, 초1 수학의 경우 40번째 백분위 수 이하 중 기울기가 최대가 되는 3초가 특정시간으로 산출이 된다.In the example of the graph, as a result of the calculation, in the case of the first math, 3 seconds of the maximum slope of the 40th percentile or less is calculated as a specific time.
빅 데이터 분석상 응답 시간이 클수록 정답율은 높아지나 그 한계는 존재한다.In big data analysis, the larger the response time, the higher the correct answer rate, but there is a limit.
다만, 초고 사과와 같이 응답 시간이 클수록 정답율이 높아지는 것과 달리 응답시간 3초 이내의 답변이 정답율이 보다 높은 예외적인 경우도 존재한다.However, there is an exceptional case that the response rate is higher than the response time of 3 seconds, whereas the response rate is higher as the response time is larger.
이는 스피드 퀴즈의 성격과 같이 매우 친숙한 문제라서 응답시간이 짧은 것으로서, 이와 같은 경우를 배제하여 특정시간을 산출하는 것이 필요하다.This is a very familiar problem like the nature of the speed quiz, so the response time is short, and it is necessary to calculate a specific time by excluding such a case.
이를 위해, 백분위 중 10번째로 빠른 응답의 정답율이 (40 내지 60번째 백분위 수에 해당하는 응답시간 동안의 정답 비율ㅧ0.9) 이상인 경우를 예외로 판단하여 기준점 -1을 적용하여 특정시간을 산출한다. 기준점 -1이란, 빠른 반응시간에 대한 정답이 찍기로 구분되지 않도록 별도 처리되는 데이터 태그에 해당한다.To do this, the specific time is calculated by applying the reference point of -1, with the exception that the correct answer rate of the 10th fastest response of the percentile is greater than or equal to (the percentage of correct answers during the response time corresponding to the 40th to 60th percentile? 0.9). . The reference point -1 corresponds to a data tag that is separately processed so that the correct answer to the fast response time is not separated by a photograph.
다음으로, S41 내지 S43에 의해 판별되지 않고 미분류로 처리되는 문항의 경우는 해당 문항의 전체 정답자가 기준 수치에 미달하는 경우에 해당한다.Next, in the case of an item that is not classified by S41 to S43 and treated as an unclassified item, all of the correct answerers of the item fall under the reference value.
예를 들어, 정답자가 10명 미만의 문항에 대해서는 예측 정답률 및 예측 답변 응답시간이 추정될 수 없기 때문이다.For example, the predicted correct answer rate and predicted answer response time cannot be estimated for questions with less than 10 correct answerees.
이상에서 살펴본 바와 같이 학습 문항에 대해 분석이 되면, 이를 학습자가 확인할 수 있도록 학습 문항 정보 제공 단계(S50)를 통해 제공하게 된다.As described above, when the learning item is analyzed, the learning item information is provided through the learning item information providing step S50 so that the learner can check it.
이는 해당 회차의 학습에 대한 총평 등의 정보와 함께 제공할 수 있을 것이다.This may be provided with information such as general ratings for the session.
그리고, 각각의 문항마다 표시되게 하거나, 전체 문항 중 해당 문항의 횟수와 문항 정보를 총괄하여 제시할 수도 있을 것이다.In addition, each item may be displayed or the number of items and information of the items may be collectively presented.
이상과 같은 본 발명은 예시된 도면을 참조하여 설명되었지만, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형될 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정 예 또는 변형 예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이며, 본 발명의 권리범위는 첨부된 특허청구범위에 기초하여 해석되어야 할 것이다.Although the present invention as described above has been described with reference to the illustrated drawings, it is not limited to the described embodiments, it can be variously modified and modified without departing from the spirit and scope of the present invention is common knowledge in the art Self-evident to those who have Therefore, such modifications or variations will have to belong to the claims of the present invention, the scope of the invention should be interpreted based on the appended claims.
S10 : 학습 제공 단계
S20 : 학습 정보 수신 단계
S30 : 학습 정보 데이터화 단계
S40 : 학습 문항 분석 단계
S50 : 학습 문항 분석 정보 제공 단계S10: step of providing learning
S20: step of receiving learning information
S30: learning information data step
S40: Learning Item Analysis Stage
S50: step of providing learning item analysis information
Claims (13)
상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계; 및
상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 제공하는 학습 문항 분석 정보 제공 단계를 포함하고,
상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고,
상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는,
상기 학습 문항에 대한 답변 응답시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.A learning providing step of providing learning contents online including learning items available to a learner accessing the service server online;
Learning information receiving step of receiving learning information including contents of a learner's answer to the learning item;
A learning information data step of converting the information received by the learning information receiving step into data;
A learning item analysis step of analyzing a learning item answered by the corresponding learner by analyzing the data stored by the learning information data conversion step; And
And providing learning item analysis information providing analysis information on the learning item analyzed by the learning item analyzing step.
The learning item analyzing step includes a problem determination step that is expected to be correct by taking a picture when the answer to the learning item of the learner is a correct answer,
The problem determination step that is expected to be corrected,
Characterized in that if the response time for the answer to the learning item is shorter than a specific time to determine that the problem is expected to take the shot,
Method for providing learning analysis information using big data.
상기 학습 문항 분석 단계는 해당 문항의 복수의 답변 데이터로부터 해당 문항의 정답율(%)을 응답시간의 함수로 모델링하고, 상기 특정 시간은 40% 이내의 상기 응답시간 중 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간을 특정시간으로 산출하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 1,
The learning item analysis step may model the percent correct percentage of the question as a function of response time from the plurality of response data of the corresponding question, wherein the specific time is the percentage of the percent correct answer per response time of the response time within 40%. Characterized in that the response time to the maximum amount of change is calculated as a specific time,
Method of providing learning item analysis information using big data.
상기 특정시간은 상기 복수의 답변 데이터 수가 일정 개수 이상이 추가되면 갱신되는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 2,
The specific time is characterized in that is updated when the number of the plurality of answer data is added a predetermined number,
Method of providing learning item analysis information using big data.
일정 개수 이상의 상기 복수의 답변 데이터 수 중 정답과 오답의 비율은 동등한 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 3,
The ratio of the correct answer and the wrong answer among the plurality of the plurality of answer data number, characterized in that the equal,
Method for providing learning analysis information using big data.
상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 오답인 경우,
맞출 수 있지만 틀린 문제 판별 단계; 및
몰라서 틀린 문제 판별 단계를 포함하고,
상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 학습자의 예측 정답률을 기준으로 판별하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 2,
The learning item analysis step, if the answer to the learner of the learner is the wrong answer,
Correct but incorrect problem determination step; And
Include the wrong problem determination steps,
The correct but wrong problem and the unknown wrong problem is characterized by determining based on the learner's predicted correct answer rate,
Method of providing learning item analysis information using big data.
상기 예측정답율은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 반영하여 문항반응이론에 의해 산출하되,
상기 고유 난이도(question difficulty)는 상기 문항에 대해 타 학습자들에 의해 설정된 난이도이고,
상기 학습자의 능력치(learner ability)는 과거 타 문항에 대해 상기 타 학습자들과 비교한 상기 학습자의 능력치인 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 5,
The predicted correct answer rate is calculated by the item response theory reflecting the inherent difficulty of the learning item and the estimated ability of the learner,
The unique difficulty (question difficulty) is a difficulty set by other learners for the question,
The learner's ability (learner ability) is characterized in that the learner's ability compared to the other learners for the other questions in the past,
Method of providing learning item analysis information using big data.
상기 예측정답율은 다음 수학식에 의해 산출되는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.
The method according to claim 6,
The predicted correct answer is characterized in that calculated by the following equation,
Method of providing learning item analysis information using big data.
상기 학습자의 능력치는 베이지안(Bayesian) 능력 산정 알고리듬에 의해 구해지는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 7,
The learner's ability value is obtained by a Bayesian ability estimation algorithm,
Method of providing learning item analysis information using big data.
상기 학습 문항 분석 단계는,
상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 5,
The learning item analysis step,
When the predicted correct answer rate of the learner is more than 85%, characterized in that it is determined as 'can be correct but wrong problem',
Method for providing learning analysis information using big data.
상기 학습 문항 분석 단계는,
상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 9,
The learning item analysis step,
When the learner's predicted correct answer is less than 50%, characterized in that it is determined as the 'unknown problem wrong,'
Method of providing learning item analysis information using big data.
상기 학습 문항 분석 단계는,
상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 상기 학습 문항에 대한 답변 응답시간의 소요 정도에 따라 상기 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 9 or 10,
The learning item analysis step,
When the predicted correct answer rate of the learner is more than 50% and less than 85%, according to the degree of the response time of the answer to the learning item, characterized in that it can be determined as the 'correct but wrong problem' or 'the wrong problem because it does not know,'
Method of providing learning item analysis information using big data.
상기 답변 응답시간의 소요 정도는 상기 학습자의 학습 문항에 대한 실제 답변 응답시간을 상기 학습자의 예측 답변 응답시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 11,
The required response time may be determined by comparing the actual answer response time for the learner's learning item with an estimate for the predicted answer response time of the learner.
Method of providing learning item analysis information using big data.
상기 예측 답변 응답시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 응답시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하는 것을 특징으로 하는,
빅데이터를 이용한 학습 문항 분석 정보 제공방법.The method according to claim 12,
The predicted answer response time is estimated based on the average answer response time of the learner and the average answer time of the learner of the other learners who answered the correct answer to the learning item,
Method for providing learning analysis information using big data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180087739A KR102146111B1 (en) | 2018-07-27 | 2018-07-27 | Method for providing an information of a question analysis using big data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180087739A KR102146111B1 (en) | 2018-07-27 | 2018-07-27 | Method for providing an information of a question analysis using big data |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200012431A true KR20200012431A (en) | 2020-02-05 |
KR102146111B1 KR102146111B1 (en) | 2020-08-19 |
Family
ID=69515032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180087739A KR102146111B1 (en) | 2018-07-27 | 2018-07-27 | Method for providing an information of a question analysis using big data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102146111B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102346734B1 (en) * | 2021-04-23 | 2022-01-04 | 주식회사 프라이빗노트 | Apparatus and method for operating online platform that provides video lecture services and problem-solving services |
KR102360797B1 (en) * | 2021-04-30 | 2022-02-08 | 조재학 | Apparatus and system for providing online education service |
CN114038258A (en) * | 2021-11-25 | 2022-02-11 | 上海有我科技有限公司 | Learning ability analysis method |
CN114048377A (en) * | 2021-11-08 | 2022-02-15 | 网易有道信息技术(北京)有限公司 | Topic recommendation method and device, electronic equipment and storage medium |
KR102423740B1 (en) * | 2021-04-27 | 2022-07-22 | 이현민 | Method for operating lecture platform and apparatus for the same |
WO2023101235A1 (en) * | 2021-11-30 | 2023-06-08 | 주식회사 프로키언 | Method and system for operating platform providing personalized problem on basis of learner behavior information |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010070616A (en) * | 2000-07-25 | 2001-07-27 | 박종성 | On-line qualifying examination service system using the item response theory and method thereof |
KR20100127367A (en) | 2009-05-26 | 2010-12-06 | 주식회사 비전을여는교육 | System and method for testing study habit |
KR20140011232A (en) * | 2012-07-18 | 2014-01-28 | 양승호 | Measurement and control method for level of problem difficulty using solving time in problem-bank type online evaluation service |
KR20150135584A (en) * | 2014-05-22 | 2015-12-03 | 이원영 | A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students |
KR20180061999A (en) * | 2016-11-30 | 2018-06-08 | 한국전자통신연구원 | Apparatus and method for adaptive e-learning |
-
2018
- 2018-07-27 KR KR1020180087739A patent/KR102146111B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010070616A (en) * | 2000-07-25 | 2001-07-27 | 박종성 | On-line qualifying examination service system using the item response theory and method thereof |
KR20100127367A (en) | 2009-05-26 | 2010-12-06 | 주식회사 비전을여는교육 | System and method for testing study habit |
KR20140011232A (en) * | 2012-07-18 | 2014-01-28 | 양승호 | Measurement and control method for level of problem difficulty using solving time in problem-bank type online evaluation service |
KR20150135584A (en) * | 2014-05-22 | 2015-12-03 | 이원영 | A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students |
KR20180061999A (en) * | 2016-11-30 | 2018-06-08 | 한국전자통신연구원 | Apparatus and method for adaptive e-learning |
Non-Patent Citations (1)
Title |
---|
박정수 외 1명. 문항반응이론에서의 추정방법과 대입학력고사의 문항분석. 한국통계학회 논문집. 1994.12.,제1권, 제1호, pp.192-205* * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102346734B1 (en) * | 2021-04-23 | 2022-01-04 | 주식회사 프라이빗노트 | Apparatus and method for operating online platform that provides video lecture services and problem-solving services |
KR102423740B1 (en) * | 2021-04-27 | 2022-07-22 | 이현민 | Method for operating lecture platform and apparatus for the same |
KR20220147539A (en) * | 2021-04-27 | 2022-11-03 | 이현민 | method for diagnosing a user by analyzing the user's problem solving and an electronic device thereof |
KR20220147540A (en) * | 2021-04-27 | 2022-11-03 | 이현민 | server operating an online platform for non-face-to-face education |
KR102360797B1 (en) * | 2021-04-30 | 2022-02-08 | 조재학 | Apparatus and system for providing online education service |
CN114048377A (en) * | 2021-11-08 | 2022-02-15 | 网易有道信息技术(北京)有限公司 | Topic recommendation method and device, electronic equipment and storage medium |
CN114048377B (en) * | 2021-11-08 | 2024-05-03 | 网易有道信息技术(北京)有限公司 | Question recommending method and device, electronic equipment and storage medium |
CN114038258A (en) * | 2021-11-25 | 2022-02-11 | 上海有我科技有限公司 | Learning ability analysis method |
WO2023101235A1 (en) * | 2021-11-30 | 2023-06-08 | 주식회사 프로키언 | Method and system for operating platform providing personalized problem on basis of learner behavior information |
Also Published As
Publication number | Publication date |
---|---|
KR102146111B1 (en) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200012431A (en) | Method for providing an information of a question analysis using big data | |
US11756445B2 (en) | Assessment-based assignment of remediation and enhancement activities | |
CN110413728B (en) | Method, device, equipment and storage medium for recommending exercise problems | |
KR102107992B1 (en) | Method for providing an analysis information of a learner's prediction score | |
KR20150051198A (en) | Server and method for providing learning service learner’s oder | |
US20150125845A1 (en) | Server and method for providing learner-customized learning service | |
CN108122437A (en) | Adaptive learning method and device | |
KR102146112B1 (en) | Method for providing an information of a question analysis using big data | |
El-Banna et al. | Does prior RN clinical experience predict academic success in graduate nurse practitioner programs? | |
KR20200012430A (en) | Method for providing an information of a probability of correct response for a learner | |
KR20160123948A (en) | Server, device and method, of service provider and developer for educational content | |
KR102116434B1 (en) | Method for providing an information of an experienced difficulty for a learner | |
KR20150110449A (en) | Server and method for learning management | |
US10432478B2 (en) | Simulating a user score from input objectives | |
KR102091789B1 (en) | Method FOR COACHING PERSONALIZED SELF DIRECTED LEARNING BASED ONLINE | |
JP6142491B2 (en) | Learning system, program, and learning communication system | |
JP6683906B1 (en) | Learning support system and learning support method | |
JPWO2006093065A1 (en) | Learning level determination device and learning level determination program | |
US20150010893A1 (en) | Learning curve disaggregation by student mastery | |
KR20150135584A (en) | A Difficulty Level Based Question Posing Study System Which Self-renews The Difficulty Level of Questions Based on Standard Average Hit Rate and Standard Average Solving Time of Students | |
KR20190125055A (en) | Learning coaching method using big data | |
US9818306B2 (en) | System and method for assessing learning or training progress | |
CN111259305A (en) | Online intelligent education method | |
KR20190125058A (en) | Method for providing an information of a question analysis for a learner | |
CN108140329A (en) | Information processing equipment, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |