KR102274984B1 - Method of deciding suitability skill labeling of contents and system performing the same - Google Patents
Method of deciding suitability skill labeling of contents and system performing the same Download PDFInfo
- Publication number
- KR102274984B1 KR102274984B1 KR1020200150643A KR20200150643A KR102274984B1 KR 102274984 B1 KR102274984 B1 KR 102274984B1 KR 1020200150643 A KR1020200150643 A KR 1020200150643A KR 20200150643 A KR20200150643 A KR 20200150643A KR 102274984 B1 KR102274984 B1 KR 102274984B1
- Authority
- KR
- South Korea
- Prior art keywords
- skill
- matrix
- student
- list
- correct answer
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
Description
본 발명은 컨텐츠 스킬 라벨링 적합성 판단 방법 및 이를 실행하는 시스템에 관한 것으로, 보다 상세하게는 각각의 학생이 문제를 맞출 정답 확률을 예측한 후 예측한 정답 확률 및 실제 정답률과 비교하여 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단할 수 있도록 하는 컨텐츠 스킬 라벨링 적합성 판단 방법 및 이를 실행하는 시스템에 관한 것이다. The present invention relates to a content skill labeling suitability determination method and a system for executing the same, and more particularly, predicts the probability of correct answers that each student will answer the question, and then compares the predicted probability of correct answers and the actual percentage of correct answers to determine whether the skill is suitable for the problem It relates to a content skill labeling suitability determination method that allows it to be determined whether or not it has been labeled properly, and a system for executing the same.
학습관리시스템(LMS, Learning Management System)은 온라인으로 학생들의 성적과 진도, 출석 등을 관리해주는 시스템으로서, 종래의 학습 관리 시스템은 학생에게 단순히 문제를 제공하거나, 제공된 문제에 대한 해답을 통해 학생의 성적을 관리하는 시스템이 대부분이었다. LMS (Learning Management System) is a system that manages students' grades, progress, and attendance online, and the conventional learning management system simply provides problems to students or provides answers to students' problems. Most of the systems were for managing grades.
종래에는 다양한 학습지 및 문제의 범람에 따라 학생들은 어떠한 학습지를 풀어야 할지 어떠한 강의를 들어야 할지에 대해 혼란을 느끼는 경우가 많다. 이상적으로는 기존에 학습되어 알고 있는 개념에 대해서는 잊지 않도록 하기 위한 정도의 학습이 제공되고, 새로운 개념, 모르거나 이해가 완벽하지 않은 개념에 대해서는 상대적으로 많은 학습이 이루어져야 한다.Conventionally, students often feel confused about what kind of workbook to solve and what lecture to listen to according to the overflow of various worksheets and problems. Ideally, learning should be provided to prevent forgetting about previously learned and known concepts, and relatively much learning should be done for new concepts, unknown or incomplete concepts.
그러나 종래의 학습 관리 시스템은 각각의 학생에게 적당한 난이도의 문제를 제공하지 못하였고, 학습 효과를 높이기 위한 문제를 효율적으로 제공하지 못한 단점이 존재하였다.However, the conventional learning management system did not provide a problem of appropriate difficulty to each student, and there was a disadvantage in that it did not efficiently provide a problem to increase the learning effect.
이를 해결하기 위해 종래에 공개특허공보 제10-2017-0034106호"사용자 적정 난이도 문제 추천 장치 및 그 방법"에서는 사용자들이 푼 문제를 이용하여 문제의 난이도를 결정하고, 문제를 풀려는 사용자의 수준을 예측하여 적정 난이도의 문제를 제공하는 기술이 공개되었는데, 이러한 기술은 각각의 사용자의 수준의 예측이 정확하지 않기 때문에 사용자의 수준을 잘못 예측하는 경우 사용자에게 너무 어려운 문제를 제공하거나 너무 쉬운 문제를 제공하여 사용자의 학습을 효율적으로 상승시키지 못하는 결과가 되었다. 또한, 학생들의 데이터는 풍부해져 가능 상황인데 이러한 풍부한 데이터를 효율적으로 활용하지 못한 채 단순한 문제 분류에 따라 문제를 추천하고 있는 상황이다.In order to solve this problem, in the prior art Laid-Open Patent Publication No. 10-2017-0034106 "A device and method for recommending an appropriate difficulty problem for users", the difficulty level of the problem is determined using the problem solved by users, and the level of the user who wants to solve the problem A technique that provides a problem of an appropriate difficulty by predicting has been disclosed. These techniques provide a problem that is too difficult to the user or a problem that is too easy if the user's level is incorrectly predicted because the prediction of each user's level is not accurate. As a result, it was not possible to increase the user's learning efficiently. In addition, students' data is abundant, so it is possible, but the problem is recommended according to a simple problem classification without using this rich data efficiently.
본 발명은 각각의 학생이 문제를 맞출 정답 확률을 예측한 후 예측한 정답 확률 및 실제 정답률과 비교하여 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단할 수 있도록 하는 컨텐츠 스킬 라벨링 적합성 판단 방법 및 이를 실행하는 시스템을 제공하는 것을 목적으로 한다. The present invention provides a method for determining content skill labeling suitability that allows each student to predict the probability of correct correct answers to a problem and then compare them with the predicted correct probability and the actual correct rate to determine whether the skill is properly labeled for the problem, and executing the same The purpose is to provide a system that
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned may be understood by the following description, and will be more clearly understood by the examples of the present invention. Moreover, it will be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
이러한 목적을 달성하기 위한 컨텐츠 스킬 라벨링 적합성 판단 시스템은 챕터에 대한 문제, 문제 각각을 푼 학생, 문제 각각에 대한 정답 및 문제 각각의 스킬을 이용하여 학생 매트릭스, 문제 매트릭스, 정답 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 생성하는 데이터 셋 생성 장치, 상기 데이터 셋 생성 장치로부터 학생 매트릭스 및 정답 매트릭스를 수신하면 상기 학생 매트릭스 상의 학생이 상기 정답 매트릭스 상의 문제를 풀었을 때의 데이터를 기초로 상기 문제에 대한 정답을 맞출 확률을 산출한 후 상기 정답을 맞출 확률 및 상기 랜덤 스킬 컨셉 매트릭스를 이용하여 최적의 랜덤 스킬 컨셉 매트릭스를 생성하는 모델 생성 장치 및 상기 모델 생성 장치에 의해 생성된 최적의 랜덤 스킬 컨셉 매트릭스 및 데이터 셋 생성 장치에 의해 생성된 랜덤 스킬 컨셉 매트릭스를 비교하여 기존 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단하는 컨텐츠 스킬 라벨링 적합성 판단 장치를 포함한다.To achieve this purpose, the content skill labeling suitability judgment system is a student matrix, a problem matrix, a correct answer matrix, and a random skill concept matrix by using the problem for the chapter, the student who solved each problem, the correct answer to each problem, and the skill of each problem. Upon receiving the student matrix and the correct answer matrix from the data set generating device for generating the data set generating device, the probability of correcting the correct answer to the problem based on the data obtained when the student on the student matrix solves the problem on the correct answer matrix A model generating device for generating an optimal random skill concept matrix using the probability of correcting the correct answer and the random skill concept matrix after calculating , and an optimal random skill concept matrix and data set generating device generated by the model generating device and a content skill labeling suitability determining device for determining whether a skill is properly labeled for an existing problem by comparing the random skill concept matrix generated by .
또한 이러한 목적을 달성하기 위한 컨텐츠 스킬 라벨링 적합성 판단 방법은 데이터 셋 생성 장치가 챕터에 대한 문제, 문제 각각을 푼 학생, 문제 각각에 대한 정답 및 문제 각각의 스킬을 이용하여 학생 매트릭스, 문제 매트릭스, 정답 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 생성하는 단계, 모델 생성 장치가 상기 데이터 셋 생성 장치로부터 학생 매트릭스 및 정답 매트릭스를 수신하면, 상기 학생 매트릭스 상의 학생이 상기 정답 매트릭스 상의 문제를 풀었을 때의 데이터를 기초로 상기 문제에 대한 정답을 맞출 확률을 산출하는 단계, 상기 모델 생성 장치가 상기 정답을 맞출 확률 및 상기 랜덤 스킬 컨셉 매트릭스를 이용하여 최적의 랜덤 스킬 컨셉 매트릭스를 생성하는 단계 및 컨텐츠 스킬 라벨링 적합성 판단 장치가 상기 모델 생성 장치에 의해 생성된 최적의 랜덤 스킬 컨셉 매트릭스 및 데이터 셋 생성 장치에 의해 생성된 랜덤 스킬 컨셉 매트릭스를 비교하여 기존 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단하는 단계를 포함한다.In addition, the method for determining content skill labeling suitability to achieve this purpose is that the data set generating device uses the problem for the chapter, the student who solved each problem, the correct answer for each problem, and the skill of each problem to determine the student matrix, problem matrix, correct answer generating a matrix and a random skill concept matrix; when the model generating device receives the student matrix and the correct answer matrix from the data set generating device, based on the data obtained when the student on the student matrix solves the problem on the correct answer matrix Calculating a probability of correcting the correct answer to the problem, generating an optimal random skill concept matrix using the probability that the model generating device corrects the correct answer and the random skill concept matrix, and a content skill labeling suitability determining apparatus and comparing the optimal random skill concept matrix generated by the model generating device with the random skill concept matrix generated by the data set generating device to determine whether the skill is properly labeled for the existing problem.
전술한 바와 같은 본 발명에 의하면, 각각의 학생이 문제를 맞출 정답 확률을 예측한 후 예측한 정답 확률 및 실제 정답률과 비교하여 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단할 수 있다는 장점이 있다. According to the present invention as described above, there is an advantage in that it is possible to determine whether or not the skill is properly labeled for the problem by predicting the probability of correct answers for each student, and then comparing the predicted probability of correct answers and the actual percentage of correct answers.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 스킬 라벨링 적합성 판단 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명에 따른 컨텐츠 스킬 라벨링 적합성 판단 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 컨텐츠 스킬을 설명하기 위한 예시도이다.
도 4 내지 도 7은 본 발명에 따른 컨텐츠 스킬 라벨링 적합성 판단 과정을 설명하기 위한 예시도이다.1 is a network configuration diagram for explaining a content skill labeling suitability determination system according to an embodiment of the present invention.
2 is a flowchart illustrating an embodiment of a method for determining content skill labeling suitability according to the present invention.
3 is an exemplary diagram for explaining a content skill according to an embodiment of the present invention.
4 to 7 are exemplary views for explaining the content skill labeling suitability determination process according to the present invention.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-described objects, features and advantages will be described below in detail with reference to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains will be able to easily implement the technical idea of the present invention. In describing the present invention, if it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to refer to the same or similar components.
본 명세서에서 사용된 용어 중 “지식 수준(Knowledge level)”은 선행 요구 지식을 의미한다. Among terms used in this specification, “knowledge level” means prior knowledge.
본 명세서에서 사용된 용어 중 “스킬”은 챕터 내의 서브 챕터를 숫자로 변환한 정보를 의미한다. Among terms used herein, “skill” refers to information obtained by converting sub-chapters within a chapter into numbers.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 스킬 라벨링 적합성 판단 시스템을 설명하기 위한 네트워크 구성도이다.1 is a network configuration diagram for explaining a content skill labeling suitability determination system according to an embodiment of the present invention.
도 1을 참조하면, 컨텐츠 스킬 라벨링 적합성 판단 시스템은 데이터 셋 생성 장치(100), 모델 생성 장치(200) 및 컨텐츠 스킬 라벨링 적합성 판단 장치(300)를 포함한다. Referring to FIG. 1 , the content skill labeling suitability determination system includes a data set generating
데이터 셋 생성 장치(100)는 챕터에 대한 문제, 문제 각각을 푼 학생, 문제 각각에 대한 정답 및 문제 각각의 스킬을 이용하여 데이터 셋을 생성한다. The data set generating
일 실시예에서, 데이터 셋 생성 장치(100)는 챕터에 대한 문제를 푼 학생에 대해서 특정 개수 이상의 문제를 풀고 정답률이 특정 비율 이상인 학생을 추출하여 학생 리스트를 생성한 후, 학생 리스트 및 문제 각각에 대한 스킬 리스트를 이용하여 학생 매트릭스를 생성한다. In one embodiment, the data set generating
즉, 데이터 셋 생성 장치(100)는 행이 학생 리스트이고 열이 문제 각각에 대한 스킬 리스트로 구성된 학생 매트릭스를 생성하며, 마지막 열은 난이도 반영을 위한 미리 결정된 값으로 구성되는 학생 매트릭스를 생성한다. That is, the data set generating
예를 들어, 데이터 셋 생성 장치(100)는 챕터에 대한 문제를 푼 학생에 대해서 최소 100문제 이상 풀고 정답률이 30%이상인 학생을 추출하여 학생 리스트를 생성한 후, 행이 학생 리스트이고 열이 문제 각각에 대한 스킬 리스트를 이용하여 학생 매트릭스를 생성한다. For example, the data set generating
다른 일 실시예에서, 데이터 셋 생성 장치(100)는 챕터에 대한 문제 중 학생에 의해 풀려진 특정 개수의 문제를 추출하여 문제 리스트를 생성한 후, 문제 리스트 및 문제 각각에 대한 스킬 리스트를 이용하여 문제 매트릭스를 생성한다. In another embodiment, the data set generating
즉, 데이터 셋 생성 장치(100)는 열이 문제 리스트이고 행이 스킬 리스트로 구성되며, 마지막 열은 각 문제의 난이도로 구성되는 문제 매트릭스를 생성한다. That is, the data set generating
예를 들어, 데이터 셋 생성 장치(100)는 챕터에 대한 문제 중 학생에 의해 풀려진 100문제를 추출하여 문제 리스트를 생성하고, 문제 리스트 상의 문제 각각의 스킬 값을 0 또는 1로 표현하여 스킬 리스트를 생성하고, 열이 문제 리스트이고 행이 스킬 리스트로 구성되며, 문제의 난이도로 구성되도록 하는 문제 매트릭스를 생성한다. For example, the data set generating
또 다른 일 실시예에서, 데이터 셋 생성 장치(100)는 학생 매트릭스를 생성할 때 참조된 학생 각각이 문제 매트릭스를 생성할 때 참조된 문제를 풀었을 때의 결과를 추출하여 결과 리스트를 생성하고, 학생 리스트 및 결과 리스트를 이용하여 정답 매트릭스를 생성한다.In another embodiment, the data set generating
예를 들어, 데이터 셋 생성 장치(100)는 학생 매트릭스를 생성할 때 참조된 학생 각각이 문제 매트릭스를 생성할 때 참조된 문제를 풀었을 때 맞춘 경우 1, 틀린 경우 0 풀지 않은 경우 -1로 결정하여 결과 리스트를 생성하고, 학생 리스트 및 결과 리스트를 이용하여 정답 매트릭스를 생성한다.For example, when the data set generating
또 다른 일 실시예에서, 데이터 셋 생성 장치(100)는 문제 매트릭스와 동일한 형태, 즉 문제 리스트 및 문제 각각에 대한 스킬 리스트로 구현되지만 문제 당 모든 스킬의 초기 값은 합이 1인 랜덤 값이 각각 부여된다. 즉, 데이터 셋 생성 장치(100)는 문제 리스트 및 문제 각각에 대한 랜덤 값이 부여된 스킬 리스트을 이용하여 랜덤 스킬 컨셉 매트릭스를 생성한다. In another embodiment, the data set generating
상기와 같이, 데이터 셋 생성 장치(100)는 학생 매트릭스, 문제 매트릭스, 정답 매트릭스 및 랜덤 스킬 컨셉 매트릭스 중 학생 매트릭스, 정답 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 모델 생성 장치(200)에 제공하고, 문제 매트릭스를 모델 분석 장치(200)에 제공한다. As described above, the data set generating
모델 생성 장치(200)는 데이터 셋 생성 장치(100)로부터 수신된 학생 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 기초로 학생이 문제에 대해서 정답을 맞출 확률을 예측한다. The model generating
이때, 모델 생성 장치(200)는 데이터 셋 생성 장치(100)로부터 수신한 학생 매트릭스 및 정답 매트릭스에 대해서 학생 매트릭스의 학생이 정답 매트릭스의 문제를 풀었을 때 정답을 맞추거나 못맞춘 경우의 데이터를 이용하여 학생이 문제에 대해서 정답을 맞출 확률을 예측한다. At this time, the
그런 다음, 모델 생성 장치(200)는 정답 매트릭스를 기초로 예측된 정답을 맞출 확률을 학습시켜 최적의 랜덤 스킬 컨셉 매트릭스를 생성한다. Then, the
컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 모델 생성 장치(200)에 의해 생성된 최적의 랜덤 스킬 컨셉 매트릭스 및 데이터 셋 생성 장치(100)에 의해 생성된 랜덤 스킬 컨셉 매트릭스를 비교하여 기존 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단한다. The content skill labeling
이를 위해, 컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스 중 문제의 스킬이 동일한지 여부를 판단하고, 판단 결과에 따라 기존 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단한다. To this end, the content skill labeling
일 실시예에서, 컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스 중 문제의 스킬이 동일하면, 기존 문제에 스킬이 적합하게 라벨링되었다고 판단한다.In one embodiment, the content skill labeling
다른 일 실시예에서, 컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스 중 문제의 스킬이 상이하면, 기존 문제에 스킬이 적합하게 라벨링되지 않았다고 판단한다.In another embodiment, the content skill labeling
도 2는 본 발명에 따른 컨텐츠 스킬 라벨링 적합성 판단 방법의 일 실시예를 설명하기 위한 흐름도이다.2 is a flowchart illustrating an embodiment of a method for determining content skill labeling suitability according to the present invention.
도 2를 참조하면, 데이터 셋 생성 장치(100)는 챕터에 대한 문제, 문제 각각을 푼 학생, 문제 각각에 대한 정답 및 문제 각각의 스킬을 이용하여 학생 매트릭스, 문제 매트릭스, 정답 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 생성한다(단계 S210).Referring to FIG. 2 , the data set
단계 S210에 대한 일 실시예에서, 데이터 셋 생성 장치(100)는 챕터에 대한 문제를 푼 학생에 대해서 특정 개수 이상의 문제를 풀고 정답률이 특정 비율 이상인 학생을 추출하여 학생 리스트를 생성한 후, 학생 리스트 및 문제 각각에 대한 스킬 리스트를 이용하여 학생 매트릭스를 생성한다.In one embodiment for step S210, the data set generating
단계 S210에 대한 다른 일 실시예에서, 데이터 셋 생성 장치(100)는 챕터에 대한 문제 중 학생에 의해 풀려진 특정 개수의 문제를 추출하여 문제 리스트를 생성한 후, 문제 리스트 및 문제 각각에 대한 스킬 리스트을 이용하여 문제 매트릭스를 생성한다. 즉, 데이터 셋 생성 장치(100)는 열이 문제 리스트이고 행이 스킬 리스트로 구성된 문제 매트릭스를 생성한다. In another embodiment of step S210, the data set generating
단계 S210에 대한 또 다른 일 실시예에서, 데이터 셋 생성 장치(100)는 학생 매트릭스를 생성할 때 참조된 학생 각각이 문제 매트릭스를 생성할 때 참조된 문제를 풀었을 때의 결과를 추출하여 결과 리스트를 생성하고, 학생 리스트 및 결과 리스트를 이용하여 정답 매트릭스를 생성한다.In another embodiment of step S210, the data set generating
단계 S210에 대한 또 다른 일 실시예에서, 데이터 셋 생성 장치(100)는 문제 매트릭스와 동일한 형태, 즉 문제 리스트 및 문제 각각에 대한 스킬 리스트로 구현되지만 문제 당 모든 스킬의 초기 값은 합이 1인 랜덤 값이 각각 부여된다. 즉, 데이터 셋 생성 장치(100)는 문제 리스트 및 문제 각각에 대한 랜덤 값이 부여된 스킬 리스트을 이용하여 랜덤 스킬 컨셉 매트릭스를 생성한다. In another embodiment for step S210, the data set generating
데이터 셋 생성 장치(100)는 학생 매트릭스, 정답 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 모델 생성 장치(200)에 제공하고(단계 S220), 문제 매트릭스를 컨텐츠 스킬 라벨링 적합성 판단 장치(300)에 제공한다(단계 S230).The data set generating
모델 생성 장치(200)는 상기 데이터 셋 생성 장치로부터 수신된 학생 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 기초로 학생이 문제에 대해서 정답을 맞출 확률을 예측하여 문제에 대한 정답을 맞출 확률을 산출한다(단계 S240).The model generating
모델 생성 장치(200)는 정답 매트릭스를 기초로 예측된 정답을 맞출 확률을 학습시켜 최적의 랜덤 스킬 컨셉 매트릭스를 생성한다(단계 S250). 모델 생성 장치(200)는 최적의 랜덤 스킬 컨셉 매트릭스를 컨텐츠 스킬 라벨링 적합성 판단 장치(300)에 제공한다(단계 S260).The
컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 상기 모델 생성 장치에 의해 생성된 최적의 랜덤 스킬 컨셉 매트릭스 및 데이터 셋 생성 장치에 의해 생성된 랜덤 스킬 컨셉 매트릭스를 비교하여 기존 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단한다(단계 S270).The content skill labeling
단계 S270에 대한 일 실시예에서, 컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스 중 문제의 스킬이 동일하면, 기존 문제에 스킬이 적합하게 라벨링되었다고 판단한다.In an embodiment for step S270, the content skill labeling
다른 일 실시예에서, 컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스 중 문제의 스킬이 상이하면, 기존 문제에 스킬이 적합하게 라벨링되지 않았다고 판단한다.In another embodiment, the content skill labeling
도 3은 본 발명의 일 실시예에 따른 컨텐츠 스킬을 설명하기 위한 예시도이다. 도 4 내지 도 7은 본 발명에 따른 컨텐츠 스킬 라벨링 적합성 판단 과정을 설명하기 위한 예시도이다.3 is an exemplary diagram for explaining a content skill according to an embodiment of the present invention. 4 to 7 are exemplary views for explaining the content skill labeling suitability determination process according to the present invention.
도 4 내지 도 7을 참조하면, 도 4의 참조번호(a) 및 참조번호(b)와 같이 챕터의 컨텐츠(즉, 문제)에 스킬이 할당되어 있으며, 이러한 컨텐츠에 할당된 스킬은 컨텐츠의 생성자에 의해 판단되어 라벨링되어 있는 것이다. 따라서, 각 컨텐츠에 스킬이 올바르게 라벨링되어 있는지 여부를 판단해야 한다. Referring to FIGS. 4 to 7 , skills are assigned to the contents (ie, problems) of the chapter as shown in reference numerals (a) and (b) of FIG. 4 , and the skills assigned to these contents are the creators of the contents. It is judged and labeled by Therefore, it is necessary to determine whether the skill is correctly labeled in each content.
이를 위해, 데이터 셋 생성 장치(100)는 챕터에 대한 문제, 문제 각각을 푼 학생, 문제 각각에 대한 정답 및 문제 각각의 스킬을 이용하여 데이터 셋을 생성한다. To this end, the data
먼저, 데이터 셋 생성 장치(100)는 챕터에 대한 문제를 푼 학생에 대해서 특정 개수 이상의 문제를 풀고 정답률이 특정 비율 이상인 학생을 추출하여 학생 리스트를 생성한 후, 학생 리스트 및 문제 각각에 대한 스킬 리스트를 이용하여 도 4(a)와 같이 학생 매트릭스를 생성한다.First, the data set generating
또한, 데이터 셋 생성 장치(100)는 챕터에 대한 문제 중 학생에 의해 풀려진 특정 개수의 문제를 추출하여 문제 리스트를 생성한 후, 문제 리스트 및 문제 각각에 대한 스킬 리스트를 이용하여 도 4(b)와 같이 문제 매트릭스를 생성한다. 즉, 데이터 셋 생성 장치(100)는 열이 문제 리스트이고 행이 스킬 리스트로 구성된 문제 매트릭스를 생성한다. In addition, the data
또한, 데이터 셋 생성 장치(100)는 학생 매트릭스를 생성할 때 참조된 학생 각각이 문제 매트릭스를 생성할 때 참조된 문제를 풀었을 때의 결과를 추출하여 결과 리스트를 생성하고, 학생 리스트 및 결과 리스트를 이용하여 도 5(a)와 같이 정답 매트릭스를 생성한다.In addition, the data
또한, 데이터 셋 생성 장치(100)는 문제 매트릭스와 동일한 형태, 즉 문제 리스트 및 문제 각각에 대한 스킬 리스트로 구현되지만 문제 당 모든 스킬의 초기 값은 합이 1인 랜덤 값이 각각 부여된다. 즉, 데이터 셋 생성 장치(100)는 문제 리스트 및 문제 각각에 대한 랜덤 값이 부여된 스킬 리스트을 이용하여 랜덤 스킬 컨셉 매트릭스를 생성한다. In addition, although the data
그런 다음, 모델 생성 장치(200)는 데이터 셋 생성 장치(100)로부터 수신된 학생 매트릭스 및 랜덤 스킬 컨셉 매트릭스를 기초로 학생이 문제에 대해서 정답을 맞출 확률을 예측한 후, 정답 매트릭스를 기초로 예측된 정답을 맞출 확률을 학습시켜 최적의 랜덤 스킬 컨셉 매트릭스를 생성한다.Then, the
컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 상기 모델 생성 장치(200)에 의해 생성된 최적의 랜덤 스킬 컨셉 매트릭스 및 데이터 셋 생성 장치에 의해 생성된 랜덤 스킬 컨셉 매트릭스를 비교하여 기존 문제에 스킬이 적합하게 라벨링되었는지 여부를 판단한다.The content skill labeling
예를 들어, 도 6과 같이 컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 랜덤 스킬 컨셉 매트릭스(참조번호 a) 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스(참조번호 b) 중 문제의 스킬이 동일하면, 기존 문제에 스킬이 적합하게 라벨링되었다고 판단한다.For example, as shown in FIG. 6 , the content skill labeling
다른 예를 들어, 도 7과 같이 컨텐츠 스킬 라벨링 적합성 판단 장치(300)는 랜덤 스킬 컨셉 매트릭스(참조번호 a) 중 문제에 라벨링된 스킬 및 랜덤 스킬 컨셉 매트릭스(참조번호 b) 중 문제의 스킬이 상이하면, 기존 문제에 스킬이 적합하게 라벨링되지 않았다고 판단한다.For another example, as shown in FIG. 7 , the content skill labeling
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.Although it has been described with reference to the limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations are possible from these descriptions by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should be understood only by the claims described below, and all equivalents or equivalent modifications thereof will fall within the scope of the spirit of the present invention.
100: 데이터 셋 생성 장치
200: 모델 생성 장치
300: 컨텐츠 스킬 라벨링 적합성 판단 장치 100: data set generating device
200: model generator
300: content skill labeling suitability judgment device
Claims (10)
상기 학생 매트릭스 및 상기 정답 매트릭스에 대해서 상기 학생 매트릭스의 학생이 상기 정답 매트릭스의 문제를 풀었을 때 정답을 맞추거나 못맞춘 경우의 데이터를 이용하여 학생이 문제에 대해서 정답을 맞출 확률을 예측하고, 상기 정답 매트릭스를 기초로 상기 예측된 정답을 맞출 확률을 학습시켜 최적의 랜덤 스킬 컨셉 매트릭스를 생성하는 모델 생성 장치; 및
상기 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 스킬 컨셉 매트릭스 중 문제의 스킬이 동일하면, 기존 문제에 스킬이 적합하게 라벨링되었다고 판단하고, 상기 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 스킬 컨셉 매트릭스 중 문제의 스킬이 상이하면, 기존 문제에 스킬이 적합하게 라벨링되지 않았다고 판단하는 컨텐츠 스킬 라벨링 적합성 판단 장치를 포함하는 것을 특징으로 하는
컨텐츠 스킬 라벨링 적합성 판단 시스템.
After solving a certain number of problems for students who have solved problems for a chapter, and extracting students with a percentage of correct answers or higher, a student list is created, the row is the list of students, the column is the list of skills for each question, and the last column creates a student matrix composed of predetermined values to reflect the difficulty, extracts a specific number of problems solved by students among the problems for a chapter to generate a problem list, and then creates a list of problems where the column is a list of problems and the row is for each problem. It consists of a list of skills for each problem, and the last column creates a problem matrix consisting of the difficulty level of each problem, and each student referenced when creating the student matrix solves the problem referenced when creating the problem matrix. A result list is generated by extracting, a correct answer matrix is generated using the student list and the result list, and a skill list to which each random value is given so that the sum of the initial values of the problem list and the skills of each of the problems is 1. a data set generating device for generating a random skill concept matrix using
With respect to the student matrix and the correct answer matrix, when the student of the student matrix solves the problem of the correct answer matrix, the probability of the student correcting the correct answer is predicted using data when the correct answer is correct or not correct, and the a model generating device for generating an optimal random skill concept matrix by learning a probability of correcting the predicted correct answer based on the correct answer matrix; and
If the skill labeled in the problem in the optimal random skill concept matrix and the skill in the problem in the optimal skill concept matrix are the same, it is determined that the skill is properly labeled in the existing problem, and the problem is labeled in the optimal random skill concept matrix and a content skill labeling suitability judgment device for judging that the skill in question is not properly labeled for the existing problem if the skill in question is different from the existing skill and the optimal skill concept matrix
Content skill labeling suitability judgment system.
상기 데이터 셋 생성 장치가 챕터에 대한 문제 중 학생에 의해 풀려진 특정 개수의 문제를 추출하여 문제 리스트를 생성한 후 열이 문제 리스트이고 행이 문제 각각에 대한 스킬 리스트로 구성되며, 마지막 열은 각 문제의 난이도로 구성되는 문제 매트릭스를 생성하는 단계;
상기 데이터 셋 생성 장치가 상기 학생 매트릭스를 생성할 때 참조된 학생 각각이 문제 매트릭스를 생성할 때 참조된 문제를 풀었을 때의 결과를 추출하여 결과 리스트를 생성하고, 상기 학생 리스트 및 상기 결과 리스트를 이용하여 정답 매트릭스를 생성하는 단계;
상기 데이터 셋 생성 장치가 상기 문제 리스트 및 상기 문제 각각의 스킬의 초기 값의 합이 1이 되는 랜덤 값 각각이 부여된 스킬 리스트를 이용하여 랜덤 스킬 컨셉 매트릭스를 생성하는 단계;
모델 생성 장치가 학생 매트릭스 및 상기 정답 매트릭스에 대해서 상기 학생 매트릭스의 학생이 상기 정답 매트릭스의 문제를 풀었을 때 정답을 맞추거나 못맞춘 경우의 데이터를 이용하여 학생이 문제에 대해서 정답을 맞출 확률을 예측하는 단계;
상기 모델 생성 장치가 상기 정답 매트릭스를 기초로 상기 예측된 정답을 맞출 확률을 학습시켜 최적의 랜덤 스킬 컨셉 매트릭스를 생성하는 단계;
컨텐츠 스킬 라벨링 적합성 판단 장치가 상기 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스 중 문제의 스킬이 동일하면, 기존 문제에 스킬이 적합하게 라벨링되었다고 판단하고, 상기 최적의 랜덤 스킬 컨셉 매트릭스 중 문제에 라벨링된 스킬 및 최적의 랜덤 스킬 컨셉 매트릭스 중 문제의 스킬이 상이하면, 기존 문제에 스킬이 적합하게 라벨링되지 않았다고 판단하는 단계를 포함하는 것을 특징으로 하는
컨텐츠 스킬 라벨링 적합성 판단 방법.After the data set generator solves a certain number of problems for students who have solved the problems for the chapter and extracts students with a correct rate of more than a certain percentage to generate a student list, the row is the student list and the column is the skill list for each problem. generating a student matrix, wherein the last column is composed of predetermined values for difficulty reflection;
After the data set generating device generates a problem list by extracting a specific number of problems solved by students among the problems for the chapter, a column is a problem list and a row is a skill list for each problem, and the last column is each generating a problem matrix consisting of the difficulty level of the problem;
When the data set generating device generates the student matrix, each student referenced when generating the problem matrix generates a result list by extracting a result when the referenced problem is solved, and the student list and the result list generating a correct answer matrix using the method;
generating, by the data set generating apparatus, a random skill concept matrix by using the skill list to which each random value in which the sum of the initial values of the problem list and the skills of each problem is 1;
The model generating device predicts the probability that the student will get the correct answer for the problem by using the student matrix and the data when the student of the student matrix solves the problem of the correct answer matrix with respect to the student matrix and the correct answer matrix. to do;
generating, by the model generating device, an optimal random skill concept matrix by learning a probability of correcting the predicted correct answer based on the correct answer matrix;
When the content skill labeling suitability determination device determines that the skill labeled in the problem in the optimal random skill concept matrix and the skill in the problem in the optimal random skill concept matrix are the same, it is determined that the skill is properly labeled in the existing problem, and If the skill labeled in the problem in the random skill concept matrix and the skill in question among the optimal random skill concept matrix are different, determining that the skill is not properly labeled in the existing problem
How to judge content skill labeling suitability.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200150643A KR102274984B1 (en) | 2020-11-12 | 2020-11-12 | Method of deciding suitability skill labeling of contents and system performing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200150643A KR102274984B1 (en) | 2020-11-12 | 2020-11-12 | Method of deciding suitability skill labeling of contents and system performing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102274984B1 true KR102274984B1 (en) | 2021-07-09 |
Family
ID=76864956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200150643A KR102274984B1 (en) | 2020-11-12 | 2020-11-12 | Method of deciding suitability skill labeling of contents and system performing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102274984B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170100265A (en) * | 2016-02-25 | 2017-09-04 | (주)뤼이드 | Method, apparatus and computer program for providing personalized educateionl contents |
| KR20180061998A (en) * | 2016-11-30 | 2018-06-08 | 한국전자통신연구원 | System and method for diagnosing mass attributes of leaner |
| JP2019023906A (en) * | 2014-05-23 | 2019-02-14 | データロボット， インコーポレイテッド | System and technique for predictive data analysis |
| KR102096301B1 (en) * | 2019-04-03 | 2020-04-02 | (주)뤼이드 | Method, apparatus and computer program for operating a machine learning framework with active learning techniqe |
-
2020
- 2020-11-12 KR KR1020200150643A patent/KR102274984B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019023906A (en) * | 2014-05-23 | 2019-02-14 | データロボット， インコーポレイテッド | System and technique for predictive data analysis |
| KR20170100265A (en) * | 2016-02-25 | 2017-09-04 | (주)뤼이드 | Method, apparatus and computer program for providing personalized educateionl contents |
| KR20180061998A (en) * | 2016-11-30 | 2018-06-08 | 한국전자통신연구원 | System and method for diagnosing mass attributes of leaner |
| KR102096301B1 (en) * | 2019-04-03 | 2020-04-02 | (주)뤼이드 | Method, apparatus and computer program for operating a machine learning framework with active learning techniqe |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Reddy et al. | Unbounded human learning: Optimal scheduling for spaced repetition | |
| CN106202453B (en) | Multimedia resource recommendation method and device | |
| US11023684B1 (en) | Systems and methods for automatic generation of questions from text | |
| US10354543B2 (en) | Implementing assessments by correlating browsing patterns | |
| KR20070060862A (en) | Apparatus and method for learning data construction | |
| Wang et al. | Structured knowledge tracing models for student assessment on coursera | |
| Williams et al. | Enhancing online problems through instructor-centered tools for randomized experiments | |
| CN109949637B (en) | Automatic answering method and device for objective questions | |
| CN111651676A (en) | Method, device, equipment and medium for performing occupation recommendation based on capability model | |
| CN112348725A (en) | Knowledge point difficulty grading method based on big data | |
| CN114218379A (en) | Intelligent question-answering system-oriented method for attributing questions which cannot be answered | |
| KR102274984B1 (en) | Method of deciding suitability skill labeling of contents and system performing the same | |
| KR102329611B1 (en) | Pre-training modeling system and method for predicting educational factors | |
| KR102494594B1 (en) | Method of providing contents controlled dynamic difficulty and server performing the same | |
| CN116596073A (en) | Natural language reasoning method, device and equipment based on reasoning path | |
| Le et al. | How to Forecast the Students' Learning Outcomes Based on Factors of Interactive Activities in a Blended Learning Course | |
| Agarwal et al. | Contextual Derivation of Stable BKT Parameters for Analysing Content Efficacy. | |
| CN113094404B (en) | Big data acquisition multi-core parameter self-adaptive time-sharing memory driving method and system | |
| Goldin et al. | Learner differences and hint content | |
| CN115170364A (en) | Reading method, device and equipment of student books and storage medium | |
| KR102385073B1 (en) | Learning problem recommendation system that recommends evaluable problems through unification of the score probability distribution form and operation thereof | |
| US20200402414A1 (en) | Automated decision making for selecting scaffolds after a partially correct answer in conversational intelligent tutor systems (its) | |
| Jordan et al. | Exploring Contingent Step Decomposition in a Tutorial Dialogue System. | |
| KR102590244B1 (en) | Pre-training modeling system and method for predicting educational factors | |
| CN112256743A (en) | Adaptive question setting method, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |