KR102406416B1 - Method for, device for, and system for evaluating learning ability - Google Patents
Method for, device for, and system for evaluating learning ability Download PDFInfo
- Publication number
- KR102406416B1 KR102406416B1 KR1020210109927A KR20210109927A KR102406416B1 KR 102406416 B1 KR102406416 B1 KR 102406416B1 KR 1020210109927 A KR1020210109927 A KR 1020210109927A KR 20210109927 A KR20210109927 A KR 20210109927A KR 102406416 B1 KR102406416 B1 KR 102406416B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- user
- neural network
- network model
- domain
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
본 출원의 일 실시예에 따른 학습 실력 평가 방법은, 대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터를 획득하는 단계-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-; 학습이 완료된 타겟 신경망 모델을 획득하는 단계; 상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하는 단계; 및 상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하는 단계;를 포함한다.
본 출원의 일 실시예에 따른 학습 실력 평가 장치는, 상기 사용자 단말기와 통신하는 송수신부; 및 상기 송수신부를 통하여 사용자의 평가 데이터를 획득하고, 상기 평가 데이터에 기초하여 학습 실력을 평가하도록 구성된 컨트롤러;를 포함하되, 상기 컨트롤러는, 대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-를 획득하고, 학습이 완료된 타겟 신경망 모델을 획득하고, 상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하고, 상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하도록 구성된다.The learning ability evaluation method according to an embodiment of the present application includes the steps of: obtaining target evaluation data related to a target domain of a target user and a reference user - The target evaluation data includes problem data related to the target domain and the problem data including response data of each of the target user and the reference user; acquiring a target neural network model on which learning is completed; obtaining comparative information indicating the relative ability of the target user with respect to the reference user in the target domain by using the target neural network model; and calculating a virtual score in the target domain of the target user based on the comparison information.
Learning ability evaluation apparatus according to an embodiment of the present application, a transceiver for communicating with the user terminal; and a controller configured to acquire the user's evaluation data through the transceiver and evaluate the learning ability based on the evaluation data, wherein the controller includes, the target evaluation data related to the target domain of the target user and the reference user; The target evaluation data includes problem data related to the target domain and response data of each of the target user and the reference user to the problem data, obtains a target neural network model that has been trained, and the target neural network model and obtain comparison information indicating the relative ability of the target user in the target domain with respect to the reference user, and calculate a virtual score of the target user in the target domain based on the comparison information.
Description
본 출원은 학습 실력 평가 방법, 학습 실력 평가 장치, 및 학습 실력 평가 시스템에 관한 것이다. 구체적으로 본 출원은 평가 데이터가 충분하지 않은 새로운 도메인에서의 학습자의 학습 실력을 정량화하는 학습 실력 평가 방법, 학습 실력 평가 장치, 및 학습 실력 평가 시스템에 관한 것이다.The present application relates to a learning ability evaluation method, a learning ability evaluation apparatus, and a learning ability evaluation system. Specifically, the present application relates to a learning ability evaluation method, a learning ability evaluation apparatus, and a learning ability evaluation system for quantifying the learning ability of a learner in a new domain in which evaluation data is insufficient.
인공 지능 기술이 발전하면서 학습자의 실력을 진단하고, 진단 결과에 기반하여 교육 컨텐츠를 추천하는 교육 기술 분야가 주목받고 있다. 특히 학습자의 실력별로 최적인 교육 컨텐츠를 제공하는 기술이 요구되면서 학습자의 실력을 정밀하게 정량화하는 기술에 대한 요구가 증대되고 있다. With the development of artificial intelligence technology, the field of education technology that diagnoses learners' abilities and recommends educational contents based on the diagnosis results is attracting attention. In particular, as the technology to provide optimal educational contents for each skill level of the learner is required, the demand for the technology to precisely quantify the skill of the learner is increasing.
종래에는 학생의 문항 반응 등을 이용하여 학습자의 실력을 평가하는 기술들을 연구하였다. 예컨대, 종래에는 학습자의 학습 데이터와 학습자의 실제 점수 정보를 이용하여 신경망 모델을 학습시킴으로써, 학습자의 실력을 정량화하였다. 다만, 신경망 모델을 학습시키기 위하여는 상당히 많은 양의 학습자의 학습 데이터와 학습자의 실제 점수 정보가 필요하기에, 종래 기술은 신경망 모델을 학습시키기 위한 학습 세트를 수집하는 데 상당한 비용과 시간이 소요된다는 문제가 존재하였다. Conventionally, techniques for evaluating a learner's ability by using the student's item response, etc. have been studied. For example, conventionally, a learner's ability is quantified by learning a neural network model using the learner's learning data and the learner's actual score information. However, since a fairly large amount of learner's learning data and learner's actual score information is required to train the neural network model, the prior art is that it takes considerable cost and time to collect a training set for learning the neural network model. There was a problem.
이에, 신경망 모델을 학습시키기 위한 학습 세트가 충분하지 않은 상황에서의 학습자의 학습 실력을 정밀하게 정량화하는 학습 실력 평가 방법, 장치 및 시스템의 개발이 요구된다.Accordingly, it is required to develop a learning ability evaluation method, apparatus, and system for precisely quantifying the learning ability of a learner in a situation where the learning set for learning the neural network model is not sufficient.
본 발명이 해결하고자 하는 일 과제는, 학습자의 실력을 정량화하는 학습 실력 평가 방법, 학습 실력 평가 장치, 및 학습 실력 평가 시스템을 제공하는 것이다. An object of the present invention is to provide a learning ability evaluation method, a learning ability evaluation apparatus, and a learning ability evaluation system for quantifying the ability of a learner.
본 발명이 해결하고자 하는 일 과제는, 데이터가 충분하지 않은 교육 도메인에서의 학습자의 실력을 정량화하는 학습 실력 평가 방법, 학습 실력 평가 장치, 및 학습 실력 평가 시스템을 제공하는 것이다. One problem to be solved by the present invention is to provide a learning ability evaluation method, a learning ability evaluation apparatus, and a learning ability evaluation system for quantifying a learner's ability in an education domain where data is insufficient.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problems, and the problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. .
본 출원의 일 실시예에 따른 학습 실력 평가 방법은, 대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터를 획득하는 단계-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-; 학습이 완료된 타겟 신경망 모델을 획득하는 단계; 상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하는 단계; 및 상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하는 단계;를 포함할 수 있다. Learning ability evaluation method according to an embodiment of the present application includes the steps of obtaining target evaluation data related to a target domain of a target user and a reference user - The target evaluation data is problem data related to the target domain and the problem data including response data of each of the target user and the reference user; acquiring a target neural network model on which learning is completed; obtaining comparative information indicating the relative ability of the target user with respect to the reference user in the target domain by using the target neural network model; and calculating a virtual score of the target user in the target domain based on the comparison information.
본 출원의 일 실시예에 따른 학습 실력 평가 장치는, 상기 사용자 단말기와 통신하는 송수신부; 및 상기 송수신부를 통하여 사용자의 평가 데이터를 획득하고, 상기 평가 데이터에 기초하여 학습 실력을 평가하도록 구성된 컨트롤러;를 포함하되, 상기 컨트롤러는, 대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-를 획득하고, 학습이 완료된 타겟 신경망 모델을 획득하고, 상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하고, 상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하도록 구성될 수 있다.Learning ability evaluation apparatus according to an embodiment of the present application, a transceiver for communicating with the user terminal; and a controller configured to acquire the user's evaluation data through the transceiver and evaluate the learning ability based on the evaluation data, wherein the controller includes: the target evaluation data related to the target domain of the target user and the reference user; The target evaluation data includes problem data related to the target domain and response data of each of the target user and the reference user to the problem data, obtains a target neural network model that has been trained, and the target neural network model obtain comparison information indicating the relative ability of the target user in the target domain with respect to the reference user, and calculate a virtual score of the target user in the target domain based on the comparison information have.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions to the problems of the present invention are not limited to the above-described solutions, and solutions not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the present specification and the accompanying drawings. will be able
본 출원의 실시예에 따른 학습 실력 평가 방법, 장치 및 시스템에 의하면, 학습자의 점수 정보의 수집을 최소화하고 학습자에게 논리적인 점수를 부여할 수 있다.According to the learning ability evaluation method, apparatus, and system according to an embodiment of the present application, it is possible to minimize the collection of score information of the learner and to give a logical score to the learner.
본 출원의 실시예에 따른 학습 실력 평가 방법, 장치 및 시스템에 의하면, 학습자의 평가 데이터를 수집하기 위하여 소요되는 시간과 비용을 절약할 수 있다. According to the learning ability evaluation method, apparatus, and system according to an embodiment of the present application, time and cost required to collect learner's evaluation data can be saved.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-described effects, and effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention pertains from the present specification and accompanying drawings.
도 1은 본 출원의 일 실시예에 따른 학습 실력 평가 시스템에 관한 개략도이다.
도 2는 본 출원의 일 실시예에 따른 학습 실력 평가 시스템의 동작을 나타낸 도면이다.
도 3은 본 출원의 일 실시예에 따른 학습 장치의 동작을 나타낸 도면이다.
도 4는 본 출원의 일 실시예에 따른 타겟 신경망 모델을 획득하는 방법을 도시한 순서도이다.
도 5는 본 출원의 일 실시예에 따른 기준 신경망 모델을 학습시키는 방법을 구체화한 순서도이다.
도 6은 본 출원의 일 실시예에 따른 기준 신경망 모델을 학습시키는 일 양상을 도시한 도면이다.
도 7은 본 출원의 일 실시예에 따른 학습 실력 평가 방법을 도시한 순서도이다.
도 8은 본 출원의 일 실시예에 따른 타겟 신경망 모델을 통하여 대상 사용자의 비교 정보를 획득하는 일 양상을 나타낸 도면이다. 1 is a schematic diagram of a learning ability evaluation system according to an embodiment of the present application.
2 is a diagram illustrating an operation of a learning ability evaluation system according to an embodiment of the present application.
3 is a diagram illustrating an operation of a learning apparatus according to an embodiment of the present application.
4 is a flowchart illustrating a method of obtaining a target neural network model according to an embodiment of the present application.
5 is a detailed flowchart of a method for training a reference neural network model according to an embodiment of the present application.
6 is a diagram illustrating an aspect of learning a reference neural network model according to an embodiment of the present application.
7 is a flowchart illustrating a learning ability evaluation method according to an embodiment of the present application.
8 is a diagram illustrating an aspect of obtaining comparison information of a target user through a target neural network model according to an embodiment of the present application.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.The above-described objects, features and advantages of the present application will become more apparent from the following detailed description in conjunction with the accompanying drawings. However, since the present application may have various changes and may have various embodiments, specific embodiments will be exemplified in the drawings and described in detail below.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.Throughout the specification, like reference numerals refer to like elements in principle. In addition, components having the same function within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals, and overlapping descriptions thereof will be omitted.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of a known function or configuration related to the present application may unnecessarily obscure the gist of the present application, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are only identification symbols for distinguishing one component from other components.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes "module" and "part" for the components used in the following embodiments are given or mixed in consideration of only the ease of writing the specification, and do not have distinct meanings or roles by themselves.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the following examples, the singular expression includes the plural expression unless the context clearly dictates otherwise.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility that one or more other features or components will be added is not excluded in advance.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, and the present invention is not necessarily limited to the illustrated bar.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.In cases where certain embodiments are otherwise implementable, the order of specific processes may be performed different from the order in which they are described. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the order described.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following embodiments, when components are connected, it includes not only cases in which components are directly connected but also cases in which components are interposed between components and connected indirectly.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.For example, in the present specification, when it is said that components and the like are electrically connected, it includes not only the case where the components are directly electrically connected, but also the case where the components are interposed in the middle and electrically connected indirectly.
본 출원의 일 실시예에 따른 학습 실력 평가 방법은, 대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터를 획득하는 단계-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-; 학습이 완료된 타겟 신경망 모델을 획득하는 단계; 상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하는 단계; 및 상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하는 단계;를 포함할 수 있다. Learning ability evaluation method according to an embodiment of the present application includes the steps of obtaining target evaluation data related to a target domain of a target user and a reference user - The target evaluation data is problem data related to the target domain and the problem data including response data of each of the target user and the reference user; acquiring a target neural network model on which learning is completed; obtaining comparative information indicating the relative ability of the target user with respect to the reference user in the target domain by using the target neural network model; and calculating a virtual score of the target user in the target domain based on the comparison information.
본 출원의 일 실시예에 따르면, 상기 타겟 신경망 모델은, 상기 대상 평가 데이터를 수신하기 위한 입력 레이어, 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 비교 정보를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함할 수 있다. According to an embodiment of the present application, the target neural network model includes an input layer for receiving the target evaluation data, an output layer for outputting comparison information for the reference user of the target user in the target domain, and the It may include a hidden layer having a plurality of nodes connecting the input layer and the output layer.
본 출원의 일 실시예에 따르면, 상기 타겟 신경망 모델은, 상기 타겟 도메인과는 다른 기준 도메인과 관련된 기준 평가 데이터베이스에 기초하여 사용자 간의 실력 비율을 나타내는 라벨 정보를 출력하도록 훈련된 기준 신경망 모델을 전이함으로써 획득되되, 상기 기준 신경망 모델은 상기 기준 평가 데이터베이스에 기초하여 상기 라벨 정보를 출력하도록 상기 복수의 노드들의 가중치를 조절함으로써 훈련될 수 있다. According to an embodiment of the present application, the target neural network model is transferred to a reference neural network model trained to output label information indicating a skill ratio between users based on a reference evaluation database related to a reference domain different from the target domain. Obtained, the reference neural network model may be trained by adjusting the weights of the plurality of nodes to output the label information based on the reference evaluation database.
본 출원의 일 실시예에 따르면, 상기 타겟 신경망 모델을 획득하는 단계는, 상기 타겟 도메인과는 상이한 기준 도메인과 관련된 기준 평가 데이터베이스를 획득하는 단계-상기 기준 평가 데이터베이스는 상기 기준 도메인과 관련된 기준 문제 데이터, 상기 기준 문제 데이터에 대한 적어도 2 이상의 사용자의 각각의 응답 데이터, 및 상기 기준 도메인에서의 상기 적어도 2 이상의 사용자의 각각의 점수 데이터를 포함함-; 상기 기준 평가 데이터베이스로부터 상기 적어도 2 이상의 사용자의 상대적인 실력을 연산하기 위해 기초가 되는 피처(feature)를 추출하는 단계; 상기 추출된 피처(feature)에 기초하여 기준 신경망 모델을 학습시키는 단계; 및 학습이 완료된 상기 기준 신경망 모델을 상기 타겟 도메인으로 전이시키는 단계;를 포함할 수 있다. According to an embodiment of the present application, the acquiring the target neural network model includes: acquiring a reference evaluation database related to a reference domain different from the target domain - The reference evaluation database is reference problem data related to the reference domain , each response data of at least two or more users to the reference problem data, and score data of each of the at least two or more users in the reference domain; extracting a feature that is a basis for calculating the relative skills of the at least two or more users from the reference evaluation database; training a reference neural network model based on the extracted features; and transferring the learned reference neural network model to the target domain.
본 출원의 일 실시예에 따르면, 상기 기준 신경망 모델을 학습시키는 단계는, 상기 기준 평가 데이터베이스로부터 상기 적어도 2 이상의 사용자의 상대적인 실력 비율과 관련된 라벨 정보를 포함하는 학습 세트를 획득하는 단계; 및 상기 피처 및 상기 학습 세트를 이용하여, 기준 신경망 모델의 입력 레이어에 상기 피처(feature)를 입력하고, 상기 기준 신경망 모델의 출력 레이어를 통하여 출력되는 출력 값과 상기 라벨 정보의 차이에 기초하여 상기 기준 신경망 모델의 노드의 가중치를 조절함으로써 상기 기준 신경망 모델을 학습시키는 단계;를 포함할 수 있다.According to an embodiment of the present application, the training of the reference neural network model may include: acquiring a training set including label information related to the relative proficiency ratio of the at least two or more users from the reference evaluation database; and inputting the feature to an input layer of a reference neural network model using the feature and the training set, and based on a difference between an output value outputted through an output layer of the reference neural network model and the label information. It may include; training the reference neural network model by adjusting the weights of the nodes of the reference neural network model.
본 출원의 일 실시예에 따르면, 상기 학습 실력 평가 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.According to an embodiment of the present application, a computer-readable recording medium in which a program for executing the learning ability evaluation method is recorded may be provided.
본 출원의 일 실시예에 따른 학습 실력 평가 장치는, 상기 사용자 단말기와 통신하는 송수신부; 및 상기 송수신부를 통하여 사용자의 평가 데이터를 획득하고, 상기 평가 데이터에에 기초하여 학습 실력을 평가하도록 구성된 컨트롤러;를 포함하되, 상기 컨트롤러는, 대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-를 획득하고, 학습이 완료된 타겟 신경망 모델을 획득하고, 상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하고, 상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하도록 구성될 수 있다. Learning ability evaluation apparatus according to an embodiment of the present application, a transceiver for communicating with the user terminal; and a controller configured to acquire the user's evaluation data through the transceiver and evaluate the learning ability based on the evaluation data, wherein the controller includes, the target evaluation data related to the target domain of the target user and the reference user- The target evaluation data includes problem data related to the target domain and response data of each of the target user and the reference user to the problem data, acquires a target neural network model that has been trained, and the target neural network and obtain comparison information indicating the relative ability of the target user in the target domain with respect to the reference user by using a model, and calculate a virtual score of the target user in the target domain based on the comparison information. can
이하에서는 도 1 내지 도 8을 참고하여 본 출원의 실시예들에 따른 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템에 관하여 설명한다. Hereinafter, a learning ability evaluation method, a learning ability evaluation apparatus, and a learning ability evaluation system according to embodiments of the present application will be described with reference to FIGS. 1 to 8 .
도 1은 본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)의 개략도이다.1 is a schematic diagram of a learning
본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)은 사용자 단말(100), 데이터베이스(200), 학습 실력 평가 장치(1000) 및 학습 장치(2000)를 포함할 수 있다.The learning
사용자 단말(100)은 학습 실력 평가 장치(1000) 혹은 임의의 외부장치로부터 문제 데이터베이스를 획득할 수 있다. 예를 들어, 사용자 단말(100)은 문제 데이터베이스에 포함된 일부 문제를 수신하고, 수신한 문제들을 사용자에게 디스플레이할 수 있다. 이어 사용자(혹은 학습자)는 제시된 문제에 대한 응답을 사용자 단말(100)에 입력할 수 있다. The
사용자 단말(100)은 사용자의 응답에 기초하여 평가 데이터를 획득하고, 사용자의 평가 데이터를 학습 실력 평가 장치(1000)로 송신할 수 있다. 여기서, 평가 데이터란, 사용자가 풀이한 문제 정보, 이에 대한 사용자의 응답 정보 및/또는 정오답 정보 등을 포괄하는 의미일 수 있다. 한편, 사용자 단말(100)은 사용자의 식별 정보를 학습 실력 평가 장치(1000)로 송신할 수 있다.The
한편, 사용자 단말(100)은 학습 실력 평가 장치(1000)로부터 연산된 점수 정보 및/또는 점수 정보에 기초하여 획득된 사용자 맞춤 교육 컨텐츠를 수신할 수 있다. 또한, 사용자 단말(100)은 점수 정보 및/또는 교육 컨텐츠를 사용자에게 디스플레이할 수 있다. 여기서 교육 컨텐츠란 교육과 관련된 웹 페이지, 문제에 대한 풀이 컨텐츠 및 추천 문제 컨텐츠 등 임의의 교육과 관련된 컨텐츠를 의미할 수 있다. Meanwhile, the
본 출원의 일 실시예에 따른 데이터베이스(200)는, 학습 능력 평가 시스템(10)의 각종 데이터들을 저장할 수 있다. The
일 예로, 데이터베이스(200)는 기준 도메인과 관련된 각종 데이터를 저장할 수 있다. 예컨대, 데이터베이스(200)는 기준 도메인과 관련된 문제 정보, 문제에 대한 사용자들의 응답 정보 및/또는 기준 도메인에서의 사용자들의 점수 정보 등을 포함한 임의의 데이터를 포함할 수 있다. For example, the
다른 예로, 데이터베이스(200)는 학습 장치(2000)와 관련된 각종 데이터를 저장할 수 있다. 예컨대, 데이터베이스(200)는 학습된 신경망 모델의 노드의 가중치(혹은 파라미터 정보) 및/또는 학습된 신경망 모델의 실행 데이터를 포함하여 학습 장치(2000)로부터 학습된 신경망 모델의 임의의 데이터를 포함할 수 있다. As another example, the
다만, 상술한 내용은 예시에 불과하며, 데이터베이스(200)는 타겟 도메인과 관련된 임의의 데이터를 저장할 수 있다. 예컨대, 데이터베이스(200)는 타겟 도메인과 관련된 문제 정보 및/또는 문제에 대한 사용자의 응답 정보를 저장할 수 있다. However, the above description is only an example, and the
한편, 기준 도메인은 사용자의 평가 데이터에 기초하여 산출된 사용자의 점수 정보가 존재하는 임의의 교육 도메인을 의미할 수 있다. 반면, 타겟 도메인은 사용자의 점수 정보가 존재하지 않거나 충분치 않은 임의의 교육 도메인을 의미할 수 있다.Meanwhile, the reference domain may refer to any educational domain in which the user's score information calculated based on the user's evaluation data exists. On the other hand, the target domain may mean any educational domain in which the user's score information does not exist or is insufficient.
본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는 기준 도메인과 관련된 평가 데이터베이스로부터 학습된 신경망 모델을 이용하여, 사용자의 점수 정보가 존재하지 않는 타겟 도메인의 사용자의 학습 실력을 정량화하는 동작을 수행할 수 있다. The learning
본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는 송수신부(1100), 메모리(1200) 및 컨트롤러(1300)를 포함할 수 있다.The learning
송수신부(1100)는 사용자 단말(100)을 포함한 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 학습 실력 평가 장치(1000)는 송수신부(1100)를 통해, 사용자 단말(100)로부터 사용자의 평가 데이터 및/또는 사용자 식별 정보를 포함한 각종 데이터를 수신하거나 사용자의 점수 정보 및/또는 교육 컨텐츠를 포함하여 각종 데이터를 사용자 단말(100)로 송신할 수 있다. The transceiver 1100 may communicate with any external device including the
학습 실력 평가 장치(1000)는, 송수신부(1100)를 통해 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(1200)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 학습 실력 평가 장치(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.The learning
메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1200)는 학습 실력 평가 장치(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 학습 실력 평가 장치(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 학습 실력 평가 장치(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 학습 실력 평가 장치(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다.The memory 1200 may store various types of information. Various data may be temporarily or semi-permanently stored in the memory 1200 . Examples of the memory 1200 include a hard disk (HDD), a solid state drive (SSD), a flash memory, a read-only memory (ROM), a random access memory (RAM), and the like. This can be. The memory 1200 may be provided in a form embedded in the learning
컨트롤러(1300)는 학습 실력 평가 장치(1000)의 전반적인 동작을 제어할 수 있다. 예컨대, 컨트롤러(1300)는 후술할 사용자의 대상 평가 데이터를 획득하는 동작, 대상 평가 데이터 및 타겟 신경망 모델을 이용하여 비교 정보를 획득하는 동작, 및/또는 비교 정보에 기초하여 사용자의 가상 점수를 연산하는 동작 등을 포함하여 학습 실력 평가 장치(1000)의 전반적인 동작을 제어할 수 있다. 구체적으로 컨트롤러(1300)는 메모리(1200)로부터 학습 실력 평가 장치(1000)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 컨트롤러(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.The controller 1300 may control the overall operation of the learning
본 출원의 일 실시예에 따른 학습 장치(2000)는, 사용자의 학습 실력을 정량화하는 모델을 학습시키는 동작을 수행할 수 있다. 예컨대, 학습 장치(2000)는 기준 도메인과 관련된 평가 데이터베이스에 기초하여 타겟 도메인과 관련된 대상 사용자의 학습 실력을 정량화하는 모델을 학습시키는 동작을 수행할 수 있다. The
일 예로, 학습 장치(2000)는, 사용자의 학습 실력을 정량화하기 위한 모델로 신경망 모델을 이용할 수 있다. 신경망 모델은 기계학습 모델로 제공될 수 있다. 기계학습 모델의 대표적인 예로는, 인공 신경망(Artificial Neural Network)이 있을 수 있다. 구체적으로 인공 신경망의 대표적인 예로는 데이터를 입력받는 입력 레이어, 결과를 출력하는 출력 레이어 및 입력 레이어와 출력 레이어 사이에서 데이터를 처리하는 히든 레이어(hidden layer)를 포함하는 딥 러닝 계열의 인공 신경망이 있다. 인공 신경망의 세부적인 예시들로는, 합성곱 인공 신경망(Convolution Neural Network), 순환신경망(Recurrent Neural Network), 심층신경망(Deep Neural Network), 생산적 적대 신경망(Generative Adversarial Network) 등이 있으며, 본 명세서에서 인공 신경망은 상술된 인공 신경망, 그 외의 다양한 형태의 인공 신경망 및 이들이 조합된 형태의 인공 신경망을 모두 포함하는 포괄적인 의미로 해석되어야 하며, 반드시 딥 러닝 계열이어야만 하는 것도 아니다.As an example, the
뿐만 아니라, 기계학습 모델이 반드시 인공 신경망 모델 형태이어야만 하는 것은 아니며, 이외에도 최근접 이웃 알고리즘(KNN), 랜덤 포레스트(RandomForest), 서포트 벡터 머신(SVM), 주성분분석법(PCA) 등이 포함될 수 있다. 혹은 이상에서 언급된 기법들이 앙상블된 형태나 그 외에 다양한 방식으로 조합된 형태까지도 전부 포함할 수 있다. 한편, 인공 신경망을 중심으로 언급되는 실시예들에서 특별한 언급이 없는 한 인공 신경망이 다른 기계학습 모델로 대체될 수 있음을 미리 밝혀둔다.In addition, the machine learning model does not necessarily have to be in the form of an artificial neural network model, and in addition, nearest neighbor algorithm (KNN), random forest (RandomForest), support vector machine (SVM), principal component analysis (PCA), etc. may be included. Alternatively, the above-mentioned techniques may include an ensemble form or a form in which various other methods are combined. On the other hand, it is stated in advance that the artificial neural network can be replaced with another machine learning model unless otherwise specified in the embodiments mentioned mainly with the artificial neural network.
나아가, 본 명세서에서 대상 사용자의 학습 실력을 정량화하는 알고리즘이 반드시 기계학습 모델로 한정되는 것은 아니다. 즉, 대상 사용자의 학습 실력을 하는 알고리즘은 기계학습 모델이 아닌 다양한 판단/결정 알고리즘이 포함될 수도 있다. 따라서, 본 명세서에서 대상 사용자의 학습 실력을 정량화하는 알고리즘은 대상 사용자의 대상 평가 데이터를 이용하여 대상 점수 정보를 연산하는 모든 형태의 알고리즘을 모두 포함하는 포괄적인 의미로 이해되어야 함을 밝혀 둔다. 다만 이하에서는 설명의 편의를 위하여 인공 신경망 모델을 중심으로 설명하기로 한다.Furthermore, in the present specification, an algorithm for quantifying the learning ability of a target user is not necessarily limited to a machine learning model. That is, the algorithm for the learning ability of the target user may include various judgment/decision algorithms rather than a machine learning model. Therefore, in the present specification, it is disclosed that the algorithm for quantifying the learning ability of the target user should be understood as a comprehensive meaning including all types of algorithms for calculating target score information using the target evaluation data of the target user. However, hereinafter, for convenience of explanation, the artificial neural network model will be mainly described.
본 출원의 일 실시예에 따른 학습 장치(2000)는, 송수신부, 메모리 및 컨트롤러를 포함할 수 있다. 이와 관련해서는, 전술한 학습 실력 평가 장치(1000)의 송수신부, 메모리, 컨트롤러의 내용이 유추적용될 수 있으며, 이에 대한 내용은 생략하기로 한다. The
한편, 도 1에서는 학습 실력 평가 장치(1000)와 학습 장치(2000)가 별도로 구성되는 것으로 도시하였다. 다만 이는 예시에 불과하며, 학습 실력 평가 장치(1000)와 학습 장치(2000)는 일체로 구성되도록 제공될 수 있다. Meanwhile, FIG. 1 shows that the learning
이하에서는 도 2 내지 도 8을 참고하여 본 출원의 실시예들에 따른 학습 실력 평가 시스템(10)에 포함된 학습 실력 평가 장치(1000) 및/또는 학습 장치(2000)의 동작을 구체적으로 서술한다. Hereinafter, operations of the learning
종래에는 학생의 문항 반응 등을 이용하여 학습자의 실력을 평가하는 기술들을 연구하였다. 예컨대, 종래에는 학습자의 학습 데이터와 학습자의 실제 점수 정보를 이용하여 신경망 모델을 학습시킴으로써, 학습자의 실력을 정량화하였다. 다만, 신경망 모델을 학습시키기 위하여는 상당히 많은 양의 학습자의 학습 데이터와 학습자의 실제 점수 정보가 필요하기에, 종래 기술은 신경망 모델을 학습시키기 위한 학습 세트를 수집하는 데 상당한 비용과 시간이 소요된다는 문제가 존재하였다. 또한, 종래에는 신경망 모델을 학습시키기 위하여 타겟 도메인에서의 학습자의 실제 점수 정보가 필수적으로 요구된다는 제약이 존재하였다. Conventionally, techniques for evaluating a learner's ability by using the student's item response, etc. have been studied. For example, conventionally, a learner's ability is quantified by learning a neural network model using the learner's learning data and the learner's actual score information. However, since a fairly large amount of learner's learning data and learner's actual score information is required to train the neural network model, the prior art is that it takes considerable cost and time to collect a training set for learning the neural network model. There was a problem. In addition, in the prior art, there is a restriction that information about the learner's actual score in the target domain is essential in order to learn the neural network model.
본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는 신경망 모델을 학습시키기 위한 학습 세트(예, 타겟 도메인에서의 점수 정보 등)가 충분하지 않은 타겟 도메인에서의 학습자의 실력을 정량화하는 신경망 모델을 획득할 수 있다. 구체적으로 본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는 기준 도메인과 관련된 학습 세트를 이용하여 훈련된 기준 신경망 모델을 타겟 도메인과 관련된 타겟 신경망 모델로 전이하는 기법을 이용하여, 데이터가 충분하지 않은 타겟 도메인에서의 학습자의 실력을 정량화하거나 평가할 수 있다. The learning
이하에서는 도 2를 참고하여, 상술한 목적과 효과를 달성하기 위한 본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)의 학습 실력 평가 장치(1000)의 동작을 구체적으로 서술한다. 도 2는 본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)의 동작을 나타낸 도면이다.Hereinafter, with reference to FIG. 2 , the operation of the learning
본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)의 학습 실력 평가 장치(1000)는 사용자 단말(100)로부터 대상 평가 데이터를 획득할 수 있다. 여기서, 대상 평가 데이터는 타겟 도메인과 관련된 평가 데이터일 수 있다. 예컨대, 대상 평가 데이터는 타겟 도메인과 관련된 문제 데이터 및 문제 데이터에 대한 대상 사용자 및 기준 사용자 각각의 응답 데이터를 포함할 수 있다. 혹은 대상 평가 데이터는 타겟 도메인과 관련된 문제 데이터에 대한 대상 사용자 및 기준 사용자 각각의 정오답 데이터를 포함할 수 있다. 타겟 도메인은 전술한 바와 같이, 사용자의 점수 정보가 존재하지 않거나 충분하지 않은 임의의 교육 도메인을 의미할 수 있다. The learning
본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는 학습이 완료된 타겟 신경망 모델을 획득할 수 있다. 예컨대, 학습 실력 평가 장치(1000)는 학습 장치(2000)로부터 훈련된 타겟 신경망 모델과 관련된 실행 데이터 및/또는 노드의 가중치 데이터 등을 포함하여, 타겟 신경망 모델을 실행하기 위한 임의의 데이터를 획득할 수 있다. The learning
본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는 타겟 신경망 모델을 이용하여 대상 사용자의 타겟 도메인에서의 대상 점수 정보를 연산할 수 있다. 예컨대, 학습 실력 평가 장치(1000)는 타겟 신경망 모델을 이용하고, 대상 평가 데이터에 기초하여 대상 사용자의 기준 사용자에 대한 실력 비율을 나타내는 비교 정보를 획득할 수 있다. 또한, 학습 실력 평가 장치(1000)는 비교 정보에 기초하여 대상 사용자의 타겟 도메인에서의 가상 점수를 연산하는 동작을 수행할 수 있다. The learning
본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)의 동작에 대하여는, 도 7 및 도 8에서 보다 구체적으로 서술하기로 한다. The operation of the learning
이하에서는 도 3을 참고하여, 본 출원의 일 실시예에 따른 타겟 신경망 모델을 획득하기 위한 학습 장치(2000)의 동작을 구체적으로 서술한다. 도 3은 본 출원의 일 실시예에 따른 학습 장치(2000)의 동작을 나타낸 도면이다. Hereinafter, an operation of the
본 출원의 일 실시예에 따른 학습 장치(2000)는 데이터베이스(200)로부터 평가 데이터베이스를 획득할 수 있다. 여기서, 평가 데이터베이스(이하, 기준 평가 데이베이스로 지칭)는 기준 도메인과 관련된 문제 데이터, 문제 데이터에 대한 적어도 2 이상의 사용자들의 각각의 응답 데이터 및/또는 기준 도메인에서의 적어도 2 이상의 사용자들 각각의 점수 데이터를 포함할 수 있다. 혹은 기준 평가 데이터베이스는 기준 도메인과 관련된 문제 데이터에 대한 적어도 2 이상의 사용자들의 정오답 데이터를 포함할 수 있다. 여기서, 기준 도메인이란, 전술한 바와 같이, 사용자의 평가 데이터에 기초하여 산출된 사용자의 점수 정보가 존재하는 임의의 교육 도메인을 의미한다.The
본 출원의 일 실시예에 따른 학습 장치(2000)는 기준 평가 데이터베이스로터 사용자들 간의 상대적인 실력 비율을 학습하기 위한 피처(feature)를 추출하는 동작을 수행할 수 있다. The
일 예로, 학습 장치(2000)는 기준 평가 데이터베이스로부터 사용자들 간의 상대적인 실력과 관련된 피처를 추출할 수 있다. 예컨대, 학습 장치(2000)는 제1 사용자의 문제 데이터에 대한 응답 데이터를 제2 사용자의 문제 데이터에 대한 응답 데이터 및/또는 기준 도메인에서의 제2 사용자의 점수 데이터와 비교하여 기준 평가 데이터베이스로부터 피처(feature)를 추출할 수 있다. 예컨대, 학습 장치(2000)는 기준 도메인에서의 제1 사용자의 점수 데이터를, 제2 사용자의 문제 데이터에 대한 응답 데이터 및/또는 기준 도메인에서의 제2 사용자의 점수 데이터와 비교하여 기준 평가 데이터베이스로부터 피처(feature)를 추출할 수 있다. As an example, the
다른 예로, 학습 장치(2000)는 기준 평가 데이터베이스로부터 사용자의 개별 피처를 추출할 수 있다. 이때, 추출된 사용자의 개별 피처는 사용자들 간의 상대적인 실력 차이를 연산하는 모델을 학습시키기 위하여 이용될 수 있다. 예컨대, 학습 장치(2000)는 기준 평가 데이터베이스로부터 각 사용자의 응답 평균 속도, 각 사용자가 푼 문제 세트의 정답률, 각 사용자의 평가 데이터에 기초하여 예측한 실력 지표(예컨대, ELO 모델, 문항반응이론(Item response theory, IRT) 모델 등을 포함하여 실력을 표현하기 위한 임의의 모델이 예측한 실력 지표) 및/또는 각 사용자의 기존 학습 점수 등을 포함한 임의의 피처를 추출할 수 있다.As another example, the
본 출원의 일 실시예에 따른 학습 장치(2000)는 기준 신경망 모델을 학습시킬 수 있다. 구체적으로 학습 장치(2000)는 기준 평가 데이터베이스로부터 기준 도메인에서의 사용자들 간의 상대적인 실력 비율과 관련된 라벨 정보를 포함하는 학습 세트를 획득할 수 있다. 또한, 학습 장치(2000)는 피처(feature) 및 라벨 정보에 기초하여 기준 신경망 모델을 학습시킬 수 있다. 기준 신경망 모델을 학습시키는 내용과 관련해서는, 도 4 내지 도 6에서 보다 구체적으로 서술한다. The
본 출원의 일 실시예에 따른 학습 장치(2000)는 학습이 완료된 기준 신경망 모델을 타겟 도메인으로 전이(transfer)하는 동작을 수행할 수 있다. 예컨대, 학습 장치(2000)는 전이 학습(transfer learning) 기법을 이용하여 기준 신경망 모델을 타겟 도메인에서 이용할 수 있는 타겟 신경망 모델로 전이할 수 있다. 또한, 본 출원의 일 실시예에 따른 학습 장치(2000)는 타겟 신경망 모델 및/또는 타겟 신경망 모델을 실행하기 위한 임의의 데이터를 학습 실력 평가 장치(1000)로 송신할 수 있다. The
도 3에서는 학습 장치(2000)에서 전술한 동작들을 모두 수행하는 것으로 설명하였다. 다만, 이는 예시에 불과하며, 학습 장치(2000)의 적어도 일부 동작은 학습 실력 평가 장치(1000)를 포함한 임의의 외부 장치나 외부 서버에서 수행되도록 구현될 수 있을 것이다. In FIG. 3 , it has been described that all of the above-described operations are performed in the
이하에서는 도 4를 참고하여, 본 출원의 일 실시예에 따른 타겟 신경망 모델을 획득하는 방법을 구체적으로 서술한다. 도 4는 본 출원의 일 실시예에 따른 타겟 신경망 모델을 획득하는 방법을 도시한 순서도이다. Hereinafter, a method of acquiring a target neural network model according to an embodiment of the present application will be described in detail with reference to FIG. 4 . 4 is a flowchart illustrating a method of obtaining a target neural network model according to an embodiment of the present application.
본 출원의 일 실시예에 따른 타겟 신경망 모델을 획득하는 방법은, 평가 데이터베이스를 획득하는 단계(S1100), 피처(Feature)를 추출하는 단계, 기준 신경망 모델을 학습시키는 단계(S1300) 및 학습이 완료된 기준 신경망 모델을 타겟 신경망 모델로 전이(transfer)하는 단계(S1400)를 포함할 수 있다. The method of obtaining a target neural network model according to an embodiment of the present application includes the steps of obtaining an evaluation database (S1100), extracting features, learning the reference neural network model (S1300), and learning is completed It may include transferring the reference neural network model to the target neural network model ( S1400 ).
평가 데이터베이스를 획득하는 단계(S1100)에서는, 본 출원의 일 실시예에 따른 학습 장치(2000)는, 기준 평가 데이터베이스를 획득할 수 있다. 여기서, 기준 평가 데이터베이스는 기준 도메인과 관련된 임의의 데이터를 포함할 수 있다. 예컨대, 기준 평가 데이터베이스는 전술한 바와 같이, 기준 도메인과 관련된 문제 데이터, 문제 데이터에 대한 사용자들의 응답 데이터 및/또는 기준 도메인에서의 사용자들 각각의 점수 데이터를 포함할 수 있다. 혹은 기준 평가 데이터베이스는 기준 도메인과 관련된 문제 데이터에 대한 사용자들의 정오답 데이터를 포함할 수 있다. 여기서, 기준 도메인이란, 전술한 바와 같이, 사용자의 평가 데이터에 기초하여 산출된 사용자의 점수 정보가 존재하는 임의의 교육 도메인을 의미한다.In the step of obtaining the evaluation database ( S1100 ), the
피처를 추출하는 단계(S1200)에서는, 본 출원의 일 실시예에 따른 학습 장치(2000)는, 기준 평가 데이터베이스로부터 사용자들 간의 상대적인 실력 비율을 연산하는 신경망 모델을 학습하는 데 기초가 되는 피처(feature)를 추출할 수 있다. In the step of extracting the feature ( S1200 ), the
일 예로, 학습 장치(2000)는 기준 평가 데이터베이스로부터 사용자들 간의 상대적인 실력과 관련된 피처를 추출할 수 있다. 예컨대, 학습 장치(2000)는 기준 도메인과 관련된 문제 세트에 대한 제1 사용자의 응답 데이터와 대응되는 문제 세트에 대한 제2 사용자의 응답 데이터를 비교하여 제1 사용자와 제2 사용자 간의 상대적인 응답을 나타내는 피처(feature)를 추출할 수 있다. 구체적으로 학습 장치(2000)는 기준 도메인과 관련된 문제 세트에 대한 제1 사용자와 제2 사용자 간의 상대적인 응답에 따른 제1 사용자와 제2 사용자의 점수 정보를 비교하여 제1 사용자와 제2 사용자 간 상대적인 실력과 관련된 피처를 추출할 수 있다. As an example, the
다른 예로, 학습 장치(2000)는 기준 평가 데이터베이스로부터 사용자의 개별 피처를 추출할 수 있다. 이때, 추출된 사용자의 개별 피처는 사용자들 간의 상대적인 실력 차이 또는 사용자들 간의 상대적인 실력 비율을 연산하는 신경망 모델을 학습시키는 데 이용될 수 있다. 예컨대, 학습 장치(2000)는 기준 평가 데이터베이스로부터 각 사용자의 문제에 대한 응답 평균 속도, 사용자가 풀이한 문제 세트에 대한 사용자의 정답률, 사용자의 평가 데이터에 기초하여 예측한 임의의 형태의 실력 지표(예컨대, ELO 모델, 문항반응이론(Item response theory, IRT) 모델 등을 포함하여 실력을 표현하기 위한 임의의 모델이 예측한 사용자의 실력 지표) 및/또는 사용자의 기존 점수 정보 등을 포함한 임의의 피처를 추출할 수 있다.As another example, the
기준 신경망 모델을 학습시키는 단계(S1300)에서는, 본 출원의 일 실시예에 따른 학습 장치(2000)는, 피처(feature)에 기초하여 기준 신경망을 학습시킬 수 있다. 구체적으로 학습 장치(2000)는 기준 평가 데이터베이스로부터 적어도 2 이상의 사용자들 간의 상대적인 실력 비율과 관련된 라벨 정보를 포함하는 학습 세트를 획득할 수 있다. 이때, 학습 장치(2000)는 피처 및 학습 세트를 이용하여 기준 신경망 모델을 학습시키도록 구현될 수 있다. In the step of learning the reference neural network model ( S1300 ), the
도 5 및 도 6을 참고한다. 도 5는 본 출원의 일 실시예에 따른 기준 신경망 모델을 학습시키는 방법을 구체화한 순서도이다. 도 6은 본 출원의 일 실시예에 따른 기준 신경망 모델을 학습시키는 일 양상을 도시한 도면이다. Reference is made to FIGS. 5 and 6 . 5 is a detailed flowchart of a method for training a reference neural network model according to an embodiment of the present application. 6 is a diagram illustrating an aspect of training a reference neural network model according to an embodiment of the present application.
본 출원의 일 실시예에 따른 기준 신경망 모델을 학습시키는 단계(S1300)는, 학습 세트를 획득하는 단계(S1310) 및 피처 및 학습 세트를 이용하여 기준 신경망 모델을 학습시키는 단계(S1320)를 포함할 수 있다. The step of training the reference neural network model according to an embodiment of the present application (S1300) includes acquiring a training set (S1310) and training the reference neural network model using the features and the training set (S1320). can
학습 세트를 획득하는 단계(S1310)에서는, 본 출원의 일 실시예에 따른 학습 장치(2000)는 기준 평가 데이터베이스로부터 적어도 2 이상의 사용자들 간의 상대적인 실력 비율과 관련된 라벨 정보를 포함하는 학습 세트를 획득할 수 있다. 예컨대, 학습 장치(2000)는 기준 평가 데이터베이스에 포함된 기준 도메인에서의 사용자들의 점수 정보에 기초하여 사용자의 상대적인 실력 비율을 나타내는 라벨 정보를 포함하는 학습 세트를 획득할 수 있다. 구체적으로 학습 세트는 제1 사용자의 기준 도메인에서의 제1 점수 값(s1)과 관련된 점수 정보와 제2 사용자의 기준 도메인에서의 제2 점수 값(s2)과 관련된 점수 정보에 기초하여 준비된 제1 사용자의 제2 사용자에 대한 상대적인 실력 비율과 관련된 라벨 정보(s1/(s1+s2))를 포함할 수 있다. In the step of obtaining the learning set (S1310), the
피처 및 학습 세트를 이용하여 기준 신경망 모델을 학습시키는 단계(S1320)에서는, 본 출원의 일 실시예에 따른 학습 장치(2000)는 기준 평가 데이터베이스에 포함된 기준 도메인에서의 사용자들의 문제 세트에 대한 응답 데이터 및 점수 데이터에 기초하여 기준 신경망 모델을 학습시킬 수 있다. In the step (S1320) of training the reference neural network model using the features and the training set, the
일 예로, 학습 장치(2000)는 피처 및 학습 세트를 이용하여 기준 신경망 모델을 학습시킬 수 있다. 예컨대, 기준 신경망 모델은 입력 레이어, 출력 레이어 및 입력 레이어와 출력 레이어를 연결하는 복수의 노드를 포함할 수 있다. 이때, 학습 장치(2000)는 입력 레이어에 전술한 바에 따라 추출된 피처(feature)를 입력하고, 출력 레이어를 통하여 출력되는 출력 값과 기준 도메인의 사용자들 간의 상대적인 실력과 관련된 라벨 정보의 차이에 기초하여 기준 신경망 모델의 적어도 하나의 노드의 가중치(혹은 파라미터)를 조절함으로써 기준 신경망 모델을 학습시킬 수 있다. As an example, the
또한, 학습 장치(2000)는 상술한 학습 과정을 반복적으로 수행함으로써, 출력 레이어를 통하여 출력되는 출력 값이 라벨 정보에 근사되도록 훈련된 기준 신경망 모델을 획득할 수 있다.Also, the
다시 도 4를 참고하면, 본 출원의 일 실시예에 따른 타겟 신경망 모델을 획득하는 방법은 학습이 완료된 기준 신경망 모델을 타겟 신경망 모델로 전이하는 단계(S1400)를 포함할 수 있다. Referring back to FIG. 4 , the method of obtaining a target neural network model according to an embodiment of the present application may include transferring the trained reference neural network model to the target neural network model ( S1400 ).
학습이 완료된 기준 신경망 모델을 타겟 신경망 모델로 전이하는 단계(S1400)에서는, 본 출원의 일 실시예에 따른 학습 장치(2000)는, 학습이 완료된 기준 신경망 모델을 타겟 도메인으로 전이하는 동작을 수행할 수 있다. 이때, 학습 장치(2000)는 전이 학습(Transfer Learning) 기법을 활용하여 학습이 완료된 기준 신경망 모델을 전이하여 타겟 도메인에서 이용될 수 있는 타겟 신경망 모델을 획득할 수 있다. 여기서, 전이 학습(Transfer Learning)이란 특정 영역에서 만들어진 모델을 유사한 영역으로 신경망 모델을 전이시키는 학습 기법으로써, 전이 학습(Transfer Learning)을 통하여, 전이될 영역의 데이터가 적거나 존재하지 않은 경우에도 해당 영역에 이용할 수 있는 성능을 가지는 모델을 생성할 수 있다. In the step of transferring the trained reference neural network model to the target neural network model ( S1400 ), the
한편, 도 4에서는 도시하지 않았으나, 본 출원의 일 실시예에 따른 학습 장치(2000)는 타겟 신경망 모델을 송신하도록 구현될 수 있다. 예컨대, 학습 장치(2000)는 타겟 신경망 모델의 복수의 노드의 파라미터(혹은 가중치) 데이터를 포함하여 타겟 신경망 모델을 실행시키기 위한 임의의 데이터를 학습 실력 평가 장치(1000)로 송신하도록 구현될 수 있다.Meanwhile, although not shown in FIG. 4 , the
이하에서는 도 7 및 도 8을 참고하여 본 출원의 일 실시예에 따른 타겟 신경망 모델을 이용하여 사용자의 학습 실력을 평가하는 방법에 대하여 구체적으로 서술한다. 도 7은 본 출원의 일 실시예에 따른 학습 실력 평가 방법을 도시한 순서도이다. 도 8은 본 출원의 일 실시예에 따른 타겟 신경망 모델을 통하여 대상 사용자의 비교 정보를 획득하는 일 양상을 나타낸 도면이다. Hereinafter, a method of evaluating a user's learning ability using a target neural network model according to an embodiment of the present application will be described in detail with reference to FIGS. 7 and 8 . 7 is a flowchart illustrating a learning ability evaluation method according to an embodiment of the present application. 8 is a diagram illustrating an aspect of obtaining comparison information of a target user through a target neural network model according to an embodiment of the present application.
본 출원의 일 실시예에 따른 학습 실력 평가 방법은, 타겟 도메인과 관련된 대상 평가 데이터를 획득하는 단계(S2100), 타겟 신경망 모델을 획득하는 단계(S2200), 타겟 신경망 모델을 이용하여 비교 정보를 획득하는 단계(S2300), 및 가상 점수를 연산하는 단계(S2400)를 포함할 수 있다. The learning ability evaluation method according to an embodiment of the present application includes: acquiring target evaluation data related to a target domain (S2100), acquiring a target neural network model (S2200), and acquiring comparative information using the target neural network model It may include a step of doing (S2300), and a step of calculating a virtual score (S2400).
타겟 도메인과 관련된 대상 평가 데이터를 획득하는 단계(S2100)에서는, 본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는, 사용자 단말(100)로부터 타겟 도메인과 관련된 대상 평가 데이터를 획득할 수 있다. 여기서, 대상 평가 데이터는 타겟 도메인과 관련된 문제 데이터, 문제 데이터에 대한 사용자의 응답 데이터 및/또는 사용자의 문제에 대한 정오답 데이터를 포함할 수 있다. 예컨대, 학습 실력 평가 장치(1000)는 실력을 평가하고자 하는 대상 사용자의 대상 평가 데이터를 획득할 수 있다. 또한, 학습 실력 평가 장치(1000)는, 후술할 비교 정보를 산출하기 위하여 기준이 되는 적어도 하나의 기준 사용자의 대상 평가 데이터를 획득할 수 있다. In the step (S2100) of obtaining the target evaluation data related to the target domain, the learning
타겟 신경망 모델을 획득하는 단계(S2200)에서는, 본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는, 타겟 신경망 모델을 획득할 수 있다. 구체적으로 학습 실력 평가 장치(1000)는 타겟 신경망 모델의 실행 데이터 및/또는 복수의 노드의 가중치(혹은 파라미터) 데이터를 포함하여 타겟 신경망 모델을 실행시키기 위하여 필요한 임의의 데이터를 획득할 수 있다. In the step of acquiring the target neural network model ( S2200 ), the learning
타겟 신경망 모델을 이용하여 비교 정보를 획득하는 단계(S2300)에서는, 본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는, 타겟 신경망 모델을 이용하여 타겟 도메인에서의 사용자의 상대적인 실력을 나타내는 비교 정보를 획득할 수 있다. 구체적으로 학습 실력 평가 장치(1000)는 타겟 신경망 모델의 입력 레이어에 대상 평가 데이터를 입력하고, 출력 레이어를 통하여 출력되는 타겟 도메인에서의 대상 사용자의 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득할 수 있다. In the step of obtaining comparative information using the target neural network model ( S2300 ), the learning
일 예로, 비교 정보는 타겟 도메인에서의 대상 사용자의 적어도 하나의 기준 사용자에 대한 실력의 비율을 추정하여 정량화한 형태의 정보일 수 있다. 예컨대, 대상 사용자가 타겟 도메인과 관련된 문제 세트에 대하여 제1 조합으로 응답을 하였고, 기준 사용자가 대응되는 문제 세트에 대하여 제2 조합으로 응답을 하였다면, 학습 실력 평가 장치(1000)는 대상 사용자와 기준 사용자의 응답 데이터(또는 정오답 데이터)간의 유사 및/또는 차이에 기초하여, 타겟 신경망 모델을 통하여, 대상 사용자의 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득할 수 있다. As an example, the comparison information may be information in the form of quantification by estimating the ratio of the ability of the target user to at least one reference user in the target domain. For example, if the target user responds with a first combination to a problem set related to the target domain, and the reference user responds with a second combination to the corresponding problem set, the learning
타겟 신경망 모델은 기준 도메인에서의 사용자들의 문제에 대한 응답 데이터, 정오답 데이터 및/또는 기준 도메인에서의 점수 정보에 기초하여 사용자 간의 상대적인 실력 비율을 나타내는 라벨 정보를 출력하도록 학습이 수행되었기 때문에, 점수 정보가 부족한 타겟 도메인에서의 사용자들의 문제에 대한 응답 데이터(또는 정오답 데이터)에 기초하여 사용자 간 상대적인 실력을 나타내는 비교 정보를 출력할 수 있다. Because the target neural network model is trained to output label information indicating the relative proficiency ratio between users based on response data, incorrect answer data, and/or score information in the reference domain to users' problems in the reference domain, the score Comparison information indicating the relative ability between users may be output based on response data (or incorrect answer data) to problems of users in a target domain lacking information.
다만 전술한 비교 정보는 예시에 불과하며, 사용자 간 상대적인 실력을 나타내는 임의의 형태의 정보를 획득하도록 신경망 모델이 구성될 수 있다. 또한, 사용자 간 상대적인 실력을 나타내는 임의의 형태의 정보를 획득하도록 학습 세트와 라벨 정보의 형태가 적절하게 변형될 수 있다. However, the above-described comparison information is only an example, and the neural network model may be configured to obtain any type of information indicating the relative ability between users. In addition, the form of the training set and the label information may be appropriately modified to obtain any form of information indicating the relative ability between users.
가상 점수를 연산하는 단계(S2400)에서는, 본 출원의 일 실시예에 따른 학습 실력 평가 장치(1000)는, 비교 정보에 기초하여 대상 사용자의 타겟 도메인에서의 가상 점수를 연산하도록 구현될 수 있다. 예컨대, 학습 실력 평가 장치(1000)는 타겟 신경망 모델을 통하여 대상 사용자의 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 디코드(Decode)하여 대상 사용자의 가상 점수를 연산할 수 있다. In the step of calculating the virtual score ( S2400 ), the learning
한편, 도 7에서는 도시하지 않았지만, 본 출원의 일 실시예에 따른 학습 실력 평가 방법은 가상 점수 정보를 송신하는 단계를 더 포함할 수 있다. 가상 점수 정보를 송신하는 단계에서는, 학습 실력 평가 장치(1000)는 송수신부(1100)를 통하여 가상 점수 정보를 사용자 단말(100)로 송신할 수 있다. 또한 가상 점수 정보를 수신한 사용자 단말(100)은 임의의 출력부(예, 디스플레이, 스피커, 모니터 등)를 통하여 가상 점수 정보를 사용자에게 출력할 수 있다. Meanwhile, although not shown in FIG. 7 , the learning ability evaluation method according to an embodiment of the present application may further include transmitting virtual score information. In the step of transmitting the virtual score information, the learning
본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)은 데이터가 부족한 새로운 도메인에서의 학습자의 점수 정보를 수집하지 않고 학습자에게 논리적으로 점수를 부여할 수 있는 모델을 생성할 수 있다. 따라서, 본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)은 타겟 도메인에서의 실제 점수 정보를 수집하기 위하여 소요되는 시간과 비용을 절약할 수 있다는 유리한 효과를 제공할 수 있다. 또한 본 출원의 일 실시예에 따른 학습 실력 평가 시스템(10)은 평가 데이터가 충분한 기준 도메인에서의 평가 데이터에 기초하여 정밀하게 학습된 신경망 모델을 타겟 도메인으로 전이하는 기법을 활용하여 정밀하게 학습자의 실력을 예측할 수 있다. The learning
상술한 학습 실력 평가 장치(1000)의 다양한 동작들은 학습 실력 평가 장치(1000)의 메모리(12000)에 저장될 수 있으며, 학습 실력 평가 장치(1000)의 컨트롤러(1300)는 메모리(1200)에 저장된 동작들을 수행하도록 제공될 수 있다. 또한, 상술한 학습 장치(2000)의 다양한 동작들은 학습 장치(2000)의 메모리에 저장될 수 있으며, 학습 장치(2000)의 컨트롤러는 학습 장치(2000)의 메모리 저장된 동작들을 수행하도록 제공될 수 있다.The various operations of the learning
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the above embodiments are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, features, structures, effects, etc. illustrated in each embodiment can be combined or modified for other embodiments by those of ordinary skill in the art to which the embodiments belong. Accordingly, the contents related to such combinations and modifications should be interpreted as being included in the scope of the present invention.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiment has been mainly described in the above, this is only an example and does not limit the present invention, and those of ordinary skill in the art to which the present invention pertains in the range that does not deviate from the essential characteristics of the present embodiment. It will be appreciated that various modifications and applications not illustrated are possible. That is, each component specifically shown in the embodiment can be implemented by modification. And differences related to such modifications and applications should be construed as being included in the scope of the present invention defined in the appended claims.
10: 학습 실력 평가 시스템
100: 사용자 단말
200: 데이터베이스
1000: 학습 실력 평가 장치
2000: 학습 장치10: Learning Skills Assessment System
100: user terminal
200: database
1000: learning ability evaluation device
2000: Learning Device
Claims (7)
대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터를 획득하는 단계-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-;
학습이 완료된 타겟 신경망 모델을 획득하는 단계;
상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하는 단계; 및
상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하는 단계;를 포함하되,
상기 타겟 신경망 모델은,
상기 타겟 도메인과는 다른 기준 도메인과 관련된 기준 평가 데이터베이스에 기초하여 사용자 간의 실력 비율을 나타내는 라벨 정보를 출력하도록 훈련된 기준 신경망 모델을 전이함으로써 획득되되,
상기 기준 신경망 모델은 상기 기준 평가 데이터베이스에 기초하여 상기 라벨 정보를 출력하도록 복수의 노드들의 가중치를 조절함으로써 훈련되며,
상기 라벨 정보는,
제1 사용자의 상기 기준 도메인에서의 제1 점수 정보와 제2 사용자의 상기 기준 도메인에서의 제2 점수 정보의 합에 대한 상기 제1 점수 정보의 비율과 관련된 값과 관련된 정보를 포함하며,
상기 비교 정보는,
상기 라벨 정보에 대응되는 정보이며, 상기 대상 사용자의 상기 타겟 도메인에서의 제1 예상 점수 정보와 상기 기준 사용자의 상기 타겟 도메인에서의 제2 예상 점수 정보의 합에 대한 상기 제1 예상 점수 정보의 비율과 관련된 값과 관련된 정보를 포함하는,
학습 실력 평가 방법.
A method for evaluating a user's learning ability by a learning ability evaluation apparatus for evaluating a user's learning ability in response to a response to a user's problem, the method comprising:
obtaining target evaluation data related to a target domain of a target user and a reference user, wherein the target evaluation data includes problem data related to the target domain and response data of each of the target user and the reference user to the problem data -;
acquiring a target neural network model on which learning is completed;
obtaining comparative information indicating the relative ability of the target user with respect to the reference user in the target domain by using the target neural network model; and
Calculating a virtual score in the target domain of the target user based on the comparison information; including,
The target neural network model is
It is obtained by transferring a reference neural network model trained to output label information indicating a skill ratio between users based on a reference evaluation database related to a reference domain different from the target domain,
The reference neural network model is trained by adjusting the weights of a plurality of nodes to output the label information based on the reference evaluation database,
The label information is
information related to a value related to a ratio of the first score information to the sum of the first score information in the reference domain of a first user and the second score information in the reference domain of a second user;
The comparison information is
Information corresponding to the label information, the ratio of the first expected score information to the sum of the first expected score information in the target domain of the target user and the second expected score information in the target domain of the reference user containing information related to the value associated with
How to evaluate your learning skills.
상기 타겟 신경망 모델은,
상기 대상 평가 데이터를 수신하기 위한 입력 레이어, 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 비교 정보를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함하는,
학습 실력 평가 방법.
According to claim 1,
The target neural network model is
Hidden having an input layer for receiving the target evaluation data, an output layer for outputting comparison information for the reference user of the target user in the target domain, and a plurality of nodes connecting the input layer and the output layer containing layers,
How to evaluate your learning skills.
상기 타겟 신경망 모델을 획득하는 단계는,
상기 타겟 도메인과는 상이한 기준 도메인과 관련된 기준 평가 데이터베이스를 획득하는 단계-상기 기준 평가 데이터베이스는 상기 기준 도메인과 관련된 기준 문제 데이터, 상기 기준 문제 데이터에 대한 적어도 2 이상의 사용자의 각각의 응답 데이터, 및 상기 기준 도메인에서의 상기 적어도 2 이상의 사용자의 각각의 점수 데이터를 포함함-;
상기 기준 평가 데이터베이스로부터 상기 적어도 2 이상의 사용자의 상대적인 실력을 연산하기 위해 기초가 되는 피처(feature)를 추출하는 단계;
상기 추출된 피처(feature)에 기초하여 기준 신경망 모델을 학습시키는 단계; 및
학습이 완료된 상기 기준 신경망 모델을 상기 타겟 도메인으로 전이시키는 단계;를 포함하는,
학습 실력 평가 방법.
According to claim 1,
Obtaining the target neural network model comprises:
obtaining a reference assessment database associated with a reference domain different from the target domain, wherein the reference assessment database includes reference question data related to the reference domain, respective response data of at least two or more users to the reference question data, and the comprising score data of each of said at least two or more users in a reference domain;
extracting a feature as a basis for calculating the relative skills of the at least two or more users from the reference evaluation database;
training a reference neural network model based on the extracted features; and
Including; transferring the reference neural network model that has been trained to the target domain;
How to evaluate your learning skills.
상기 기준 신경망 모델을 학습시키는 단계는,
상기 기준 평가 데이터베이스로부터 상기 적어도 2 이상의 사용자의 상대적인 실력 비율과 관련된 라벨 정보를 포함하는 학습 세트를 획득하는 단계; 및
상기 피처 및 상기 학습 세트를 이용하여, 기준 신경망 모델의 입력 레이어에 상기 피처(feature)를 입력하고, 상기 기준 신경망 모델의 출력 레이어를 통하여 출력되는 출력 값과 상기 라벨 정보의 차이에 기초하여 상기 기준 신경망 모델의 노드의 가중치를 조절함으로써 상기 기준 신경망 모델을 학습시키는 단계;를 포함하는,
학습 실력 평가 방법.
5. The method of claim 4,
The step of training the reference neural network model comprises:
obtaining a learning set including label information related to the relative proficiency ratio of the at least two or more users from the reference evaluation database; and
Using the feature and the training set, input the feature to an input layer of a reference neural network model, and based on a difference between an output value output through an output layer of the reference neural network model and the label information, the reference Including; training the reference neural network model by adjusting the weight of the node of the neural network model.
How to evaluate your learning skills.
A computer-readable recording medium in which a program for executing the method according to any one of claims 1, 2, 4, and 5 to a computer is recorded.
사용자 단말기와 통신하는 송수신부; 및
상기 송수신부를 통하여 사용자의 평가 데이터를 획득하고, 상기 평가 데이터에 기초하여 학습 실력을 평가하도록 구성된 컨트롤러;를 포함하되,
상기 컨트롤러는,
대상 사용자 및 기준 사용자의 타겟 도메인과 관련된 대상 평가 데이터-상기 대상 평가 데이터는 상기 타겟 도메인과 관련된 문제 데이터 및 상기 문제 데이터에 대한 상기 대상 사용자 및 상기 기준 사용자 각각의 응답 데이터를 포함함-를 획득하고, 학습이 완료된 타겟 신경망 모델을 획득하고, 상기 타겟 신경망 모델을 이용하여 상기 타겟 도메인에서의 상기 대상 사용자의 상기 기준 사용자에 대한 상대적인 실력을 나타내는 비교 정보를 획득하고, 상기 비교 정보에 기초하여 상기 대상 사용자의 상기 타겟 도메인에서의 가상 점수를 연산하도록 구성되되,
상기 타겟 신경망 모델은,
상기 타겟 도메인과는 다른 기준 도메인과 관련된 기준 평가 데이터베이스에 기초하여 사용자 간의 실력 비율을 나타내는 라벨 정보를 출력하도록 훈련된 기준 신경망 모델을 전이함으로써 획득되되,
상기 기준 신경망 모델은 상기 기준 평가 데이터베이스에 기초하여 상기 라벨 정보를 출력하도록 복수의 노드들의 가중치를 조절함으로써 훈련되며,
상기 라벨 정보는,
제1 사용자의 상기 기준 도메인에서의 제1 점수 정보와 제2 사용자의 상기 기준 도메인에서의 제2 점수 정보의 합에 대한 상기 제1 점수 정보의 비율과 관련된 값과 관련된 정보를 포함하며,
상기 비교 정보는,
상기 라벨 정보에 대응되는 정보이며, 상기 대상 사용자의 상기 타겟 도메인에서의 제1 예상 점수 정보와 상기 기준 사용자의 상기 타겟 도메인에서의 제2 예상 점수 정보의 합에 대한 상기 제1 예상 점수 정보의 비율과 관련된 값과 관련된 정보를 포함하는,
학습 실력 평가 장치.
A device for evaluating a user's learning ability by receiving a response to the user's problem,
Transceiver for communicating with the user terminal; and
A controller configured to acquire evaluation data of the user through the transceiver and evaluate the learning ability based on the evaluation data;
The controller is
obtaining target evaluation data related to a target domain of a target user and a reference user, wherein the target evaluation data includes problem data related to the target domain and response data of each of the target user and the reference user to the problem data; , obtains a target neural network model on which learning is completed, and uses the target neural network model to obtain comparison information indicating the relative ability of the target user with respect to the reference user in the target domain, and based on the comparison information, the target configured to compute a virtual score in the target domain of a user,
The target neural network model is
It is obtained by transferring a reference neural network model trained to output label information indicating a skill ratio between users based on a reference evaluation database related to a reference domain different from the target domain,
The reference neural network model is trained by adjusting the weights of a plurality of nodes to output the label information based on the reference evaluation database,
The label information is
information related to a value related to a ratio of the first score information to the sum of the first score information in the reference domain of a first user and the second score information in the reference domain of a second user;
The comparison information is
Information corresponding to the label information, the ratio of the first expected score information to the sum of the first expected score information in the target domain of the target user and the second expected score information in the target domain of the reference user containing information related to the value associated with
Learning skills assessment device.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210109927A KR102406416B1 (en) | 2021-08-20 | 2021-08-20 | Method for, device for, and system for evaluating learning ability |
KR1020220067538A KR20230028130A (en) | 2021-08-20 | 2022-06-02 | Method for, device for, and system for evaluating learning ability |
PCT/KR2022/011397 WO2023022406A1 (en) | 2021-08-20 | 2022-08-02 | Learning ability evaluation method, learning ability evaluation device, and learning ability evaluation system |
US17/890,612 US20230056570A1 (en) | 2021-08-20 | 2022-08-18 | Device and method for assessing learning ability of user |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210109927A KR102406416B1 (en) | 2021-08-20 | 2021-08-20 | Method for, device for, and system for evaluating learning ability |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220067538A Division KR20230028130A (en) | 2021-08-20 | 2022-06-02 | Method for, device for, and system for evaluating learning ability |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102406416B1 true KR102406416B1 (en) | 2022-06-08 |
Family
ID=81981702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210109927A KR102406416B1 (en) | 2021-08-20 | 2021-08-20 | Method for, device for, and system for evaluating learning ability |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102406416B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023022406A1 (en) * | 2021-08-20 | 2023-02-23 | (주)뤼이드 | Learning ability evaluation method, learning ability evaluation device, and learning ability evaluation system |
CN116227729A (en) * | 2023-03-20 | 2023-06-06 | 广州工程技术职业学院 | Learning evaluation method, device and equipment based on machine learning |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017003673A (en) * | 2015-06-06 | 2017-01-05 | 和彦 木戸 | Learning support device |
KR20180127266A (en) * | 2018-08-31 | 2018-11-28 | (주)뤼이드 | Method, apparatus and computer program for estimating scores |
KR20200048474A (en) * | 2018-10-30 | 2020-05-08 | 삼성에스디에스 주식회사 | Method for determining a base model for transfer learning and apparatus for supporting the same |
KR102250854B1 (en) * | 2021-03-19 | 2021-05-10 | 오영석 | Computer program for evaluating study level of learner and method of evaluating study level of learner using the same |
KR20210101533A (en) * | 2020-02-10 | 2021-08-19 | 주식회사 인사이터 | Test Score Prediction System using Artificial Intelligence and Big Data and Method of Providing Evaluation Information Thereof |
-
2021
- 2021-08-20 KR KR1020210109927A patent/KR102406416B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017003673A (en) * | 2015-06-06 | 2017-01-05 | 和彦 木戸 | Learning support device |
KR20180127266A (en) * | 2018-08-31 | 2018-11-28 | (주)뤼이드 | Method, apparatus and computer program for estimating scores |
KR20200048474A (en) * | 2018-10-30 | 2020-05-08 | 삼성에스디에스 주식회사 | Method for determining a base model for transfer learning and apparatus for supporting the same |
KR20210101533A (en) * | 2020-02-10 | 2021-08-19 | 주식회사 인사이터 | Test Score Prediction System using Artificial Intelligence and Big Data and Method of Providing Evaluation Information Thereof |
KR102250854B1 (en) * | 2021-03-19 | 2021-05-10 | 오영석 | Computer program for evaluating study level of learner and method of evaluating study level of learner using the same |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023022406A1 (en) * | 2021-08-20 | 2023-02-23 | (주)뤼이드 | Learning ability evaluation method, learning ability evaluation device, and learning ability evaluation system |
CN116227729A (en) * | 2023-03-20 | 2023-06-06 | 广州工程技术职业学院 | Learning evaluation method, device and equipment based on machine learning |
CN116227729B (en) * | 2023-03-20 | 2023-10-10 | 广州工程技术职业学院 | Learning evaluation method, device and equipment based on machine learning |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102406416B1 (en) | Method for, device for, and system for evaluating learning ability | |
US10657836B2 (en) | Information processing device and information processing method for estimation of acceptance ability | |
CN107665473A (en) | Learning path planning method and device | |
CN107220916A (en) | Pushing learning resource method and device | |
TWI670628B (en) | Action evaluation model building apparatus and action evaluation model building method thereof | |
Wu et al. | Knowledge or gaming? Cognitive modelling based on multiple-attempt response | |
CN111126347B (en) | Human eye state identification method, device, terminal and readable storage medium | |
KR20200002149A (en) | Method and Device for Machine Learning able to automatically-label | |
US20210104167A1 (en) | Information processing apparatus and method for processing information | |
KR102398318B1 (en) | Method for, device for, and system for evaluating learning ability | |
KR102506132B1 (en) | Method and device for personalized learning amount recommendation based on self-attention mechanism | |
CN110222254A (en) | Course recommended method, device, equipment and computer readable storage medium | |
CN110489455A (en) | Education resource recommended method, device, electronic equipment and storage medium | |
Cavada et al. | Serious gaming as a means of facilitating truly smart cities: a narrative review | |
KR20230028130A (en) | Method for, device for, and system for evaluating learning ability | |
KR102412380B1 (en) | Method for, device for, and system for evaluating a learning ability of an user based on search information of the user | |
KR102412377B1 (en) | Method for, device for, and system for recommending solution contents maximizing an educational effect for users | |
CN114782769A (en) | Training sample generation method, device and system and target object detection method | |
KR20170065412A (en) | Server, terminal, method and computer program for providing kindergartner observation diary service | |
KR102398319B1 (en) | Method for, device for, and system for recommending education contents | |
CN116228361A (en) | Course recommendation method, device, equipment and storage medium based on feature matching | |
WO2023196456A1 (en) | Adaptive wellness collaborative media system | |
KR101631374B1 (en) | System and method of learning mathematics for evhancing meta-cognition ability | |
KR102544246B1 (en) | Learner-tailored math education system | |
Cabada et al. | Intelligent tutoring system with affective learning for mathematics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |