WO2022145829A1 - 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법 - Google Patents

잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법 Download PDF

Info

Publication number
WO2022145829A1
WO2022145829A1 PCT/KR2021/019173 KR2021019173W WO2022145829A1 WO 2022145829 A1 WO2022145829 A1 WO 2022145829A1 KR 2021019173 W KR2021019173 W KR 2021019173W WO 2022145829 A1 WO2022145829 A1 WO 2022145829A1
Authority
WO
WIPO (PCT)
Prior art keywords
embedding vector
user
neural network
initial
latent
Prior art date
Application number
PCT/KR2021/019173
Other languages
English (en)
French (fr)
Inventor
배찬
백진언
Original Assignee
(주)뤼이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뤼이드 filed Critical (주)뤼이드
Publication of WO2022145829A1 publication Critical patent/WO2022145829A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a learning content recommendation system for predicting the probability of a user's correct answer using collaborative filtering based on latent factors and an operating method thereof. More specifically, it relates to an invention capable of increasing the learning speed and prediction performance of an artificial neural network by calculating a latent factor from the user's solution result data and using the calculated latent factor as an initial embedding vector of the artificial neural network.
  • the use of the Internet and electronic devices has been actively carried out in each field, and the educational environment is also changing rapidly.
  • learners can choose and use a wider range of learning methods.
  • the education service through the Internet has been positioned as a major teaching and learning method because of the advantage of overcoming time and spatial constraints and enabling low-cost education.
  • the educational content is embedded and input so that the artificial neural network can understand it.
  • embedding means making a vector of the same dimension or lower dimension than the original dimension.
  • the embedding of artificial neural networks is useful because it makes tens of thousands of high-dimensional variables into hundreds of low-dimensional variables, and also has sufficiently categorical meaning in a transformed low-dimensional space.
  • the artificial neural network can find the nearest neighbor information or visualize the concept and relevance between categories and provide it to the user.
  • a method of randomly initializing an embedding vector to be used for learning an artificial neural network that predicts a user's correct answer probability was used. For example, a value between -1 and +1 is randomly assigned to the initial embedding vector based on 0, and the weight is adjusted to minimize the loss through gradient descent algorithm, etc. A method for determining the vector was used.
  • a learning problem recommendation system and an operating method thereof calculate a latent factor from a user's solution result data, and convert the calculated latent factor into an initial embedding vector of an artificial neural network. By using it, it is possible to increase the learning speed and prediction performance of the artificial neural network.
  • the learning problem recommendation system and its operating method determine the learning content to be recommended to the user based on the learning content vector obtained by natural language processing of the learning content data and the predicted user correct probability, Learning content to be recommended to a user can be determined through an artificial neural network with improved performance.
  • the learning problem recommendation system and its operating method determine at least one latent factor in a collaborative filtering approach, and analyze the meaning of the determined latent factors, thereby improving the user's learning efficiency. Optimized problems can be recommended.
  • a learning content recommendation system for predicting the probability of a user's correct answer using collaborative filtering based on a potential factor communicates with a user terminal by wire or wireless and collects solution result data for a problem solved by the user
  • the solution result data collection unit, the latent factor calculation unit that calculates at least one latent factor that is the basis for predicting the probability of correct answer from the solution result data, and the continuous analysis result data value that the artificial neural network can understand based on the latent factor It includes an embedding performer that generates an initial embedding vector composed of numbers and determines the embedding vector to be used for artificial neural network learning by adjusting the weight of the initial embedding vector.
  • the method of operating a learning content recommendation system for predicting the probability of a correct answer by using a collaborative filtering based on a latent factor collects the user's solution result data from the user terminal, and predicts the correct answer probability from the solution result data Calculating a latent factor that is the basis for Generating an embedding vector to be used in , performing learning of the neural network with the embedding vector, and predicting the probability of a user's correct answer to an arbitrary problem with the learned artificial neural network, and providing it to the user terminal.
  • the learning problem recommendation system of the present invention and its operating method calculate the latent factor from the user's solution result data, and use the calculated latent factor as an initial embedding vector of the artificial neural network, thereby improving the learning speed and prediction performance of the artificial neural network. has the effect of increasing it.
  • the learning problem recommendation system of the present invention and its operating method have improved performance by determining the learning content to be recommended to the user based on the learning content vector obtained by natural language processing of the learning content data and the predicted user correct probability. There is an effect of determining the learning content to be recommended to the user through the artificial neural network.
  • the learning problem recommendation system and its operating method of the present invention determine at least one latent factor with a collaborative filtering approach, and analyze the meaning of the determined latent factors, thereby solving a problem optimized for the user's learning efficiency. There is a recommendable effect.
  • FIG. 1 is a diagram for explaining a learning problem recommendation system according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining a process of calculating a latent factor from solution result data in a collaborative filtering approach according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a method of determining a user embedding vector using a latent factor, according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a method of determining a problem embedding vector using a latent factor, according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an operation method of a learning problem recommendation system according to an embodiment of the present invention.
  • FIG. 6 is a flowchart for explaining steps S505 to S507 of FIG. 5 in more detail.
  • FIG. 7 is a flowchart illustrating a method of determining learning content to be recommended to a user, according to an embodiment of the present invention.
  • a learning content recommendation system for predicting the probability of a user's correct answer using collaborative filtering based on a potential factor communicates with a user terminal by wire or wireless and collects solution result data for a problem solved by the user
  • the solution result data collection unit, the latent factor calculation unit that calculates at least one latent factor that is the basis for predicting the probability of correct answer from the solution result data, and the continuous analysis result data value that the artificial neural network can understand based on the latent factor It includes an embedding performer that generates an initial embedding vector composed of numbers and determines the embedding vector to be used for artificial neural network learning by adjusting the weight of the initial embedding vector.
  • the latent factor calculating unit adjusts the number of the latent factors in consideration of the performance of the artificial neural network, analyzes the meaning of the latent factors, and uses them for content recommendation.
  • the initial embedding vector is obtained by assigning a weight to the specific latent factor
  • the embedding performing unit adjusts a weight of the initial embedding vector in a direction to reduce an error by comparing a predicted value obtained by inputting the initial embedding vector with an actual value, and the weight adjustment is preset It is repeated until there is an error within the value.
  • the embedding performing unit trains an artificial neural network model by using the latent factor as the initial embedding vector arbitrarily or sequentially, and thereafter, based on the learned answer probability prediction performance of the artificial neural network. Finally, the type of latent factor to be used as the initial embedding vector is decided.
  • the learning content recommendation system further includes: a correct answer probability predictor for predicting the user's correct probability for a given problem through an artificial neural network learned using the embedding vector.
  • the initial embedding vector is an initial user embedding vector representing the solution result data for each user through the latent factor, and an initial problem embedding vector representing the solution result data for each problem through the latent factor.
  • the embedding vector includes a user embedding vector obtained by weight-adjusting the initial user embedding vector and a problem embedding vector obtained by weight-adjusting the initial problem embedding vector.
  • the method of operating a learning content recommendation system for predicting the probability of a correct answer by using a collaborative filtering based on a latent factor collects the user's solution result data from the user terminal, and predicts the correct answer probability from the solution result data Calculating a latent factor that is the basis for Generating an embedding vector to be used in , performing learning of the neural network with the embedding vector, and predicting the probability of a user's correct answer to an arbitrary problem with the learned artificial neural network, and providing it to the user terminal.
  • FIG. 1 is a diagram for explaining a learning problem recommendation system according to an embodiment of the present invention.
  • a learning content recommendation system 50 may include a user terminal 100 and a learning content recommendation apparatus 200 .
  • the learning style recommendation apparatus 200 may communicate with the user terminal 100 to recommend a problem to the user and collect the recommended problem solving result data.
  • the collected problem solving results are analyzed through an artificial neural network and can be used to provide users with personalized recommendation problems.
  • the user's solution result data can be vectorized and input in a form that the artificial neural network can understand. This may be referred to as embedding.
  • embedding means making a vector of the same or lower dimension than the original dimension.
  • Embedding in an artificial neural network means making tens of thousands of high-dimensional variables into hundreds of low-dimensional variables.
  • the learning content recommendation system 50 may determine an initial embedding vector using a collaborative filtering approach.
  • the learning content recommendation apparatus 200 may calculate a latent factor from the user's solution result data, and use the calculated latent factor as an initial embedding vector of the artificial neural network.
  • a latent factor from the user's solution result data
  • the learning content recommendation apparatus 200 may calculate a latent factor from the user's solution result data, and use the calculated latent factor as an initial embedding vector of the artificial neural network.
  • the learning content recommendation apparatus 200 may include a solution result data collection unit 210 , a latent factor calculation unit 220 , an embedding performer 230 , and a correct answer probability prediction unit 240 . have.
  • the solution result data collection unit 210 may communicate with the user terminal 100 by wire or wireless and collect the user's problem solving result data. Also, the solution result data collection unit 210 may sequentially retrieve and store previously collected user solution result data.
  • the latent factor calculating unit 220 may calculate at least one latent factor from the collected solution result data.
  • a latent factor is an element inherent in the solution result data, and can be explained as a basis element for predicting the probability of a correct answer.
  • the learning content recommendation system 50 may identify the problem and the characteristics of the user in consideration of the types of latent factors and the values of each latent factor. Because the problem and the user's characteristics are identified in advance through the latent factors, the AI model can be trained more efficiently and the accuracy of predicting the correct answer probability can be increased.
  • each potential factor is 1) problem type (Reading, Listening, Speaking, ...), 2) problem difficulty (high, medium, low), 3) problem category (to-infinitive, gerund, preposition, topic inference, fact-finding) , ...) can be expressed.
  • problem type Reading, Listening, Speaking, ...)
  • problem difficulty high, medium, low
  • problem category to-infinitive, gerund, preposition, topic inference, fact-finding
  • the latent factor can be calculated using various mathematical techniques.
  • the latent factor may be calculated using matrix factorization.
  • the matrix decomposition will be described in more detail with reference to FIG. 2 to be described later.
  • the latent factor calculator 220 may adjust the number of latent factors in consideration of the performance of the artificial neural network.
  • the number of latent factors can be arbitrarily adjusted with hyperparameters or can be adjusted by finding an optimal value through cross validation.
  • the artificial neural network performance may be better when the number of latent factors is set to N+1 than when the number of latent factors is set to N.
  • the latent factor calculating unit 220 may set the number of latent factors to N+1 once, and find the number of potential factors having the optimal performance by comparing with the case where the latent factors are N+2 again.
  • the latent factor calculating unit 220 may analyze the meaning of the determined latent factors and use them for content recommendation. Since each potential factor contains different meanings, the importance of user-customized problem recommendation may be different.
  • the latent factor calculating unit 220 determines the initial embedding vector by assigning a weight to the specific latent factor. have.
  • the weighted potential factor may be one or more.
  • the embedding performer 230 may determine the final embedding vector to be used for artificial neural network learning by adjusting the weight of the initial embedding vector generated based on the latent factor.
  • the embedding performing unit 230 generates an initial embedding vector composed of consecutive numbers that an artificial neural network can understand the discrete solution result data value based on the latent factor, and adjusts the weight of the initial embedding vector, It can be determined as an embedding vector to be used for artificial neural network learning.
  • the embedding performer 230 may adjust the initial embedding vector in a direction to reduce an error by comparing the predicted value obtained by inputting the initial embedding vector to the artificial neural network with an actual value. This process may be repeatedly performed until there is an error within a preset value.
  • a final embedding vector may be determined by adjusting the weights by using a gradient descent algorithm to minimize errors.
  • FIG. 3 is a diagram for explaining weight adjustment of a user embedding vector
  • FIG. 4 is a diagram for explaining weight adjustment of a problem embedding vector.
  • the correct answer probability prediction unit 240 may predict the user's correct answer probability for an arbitrary problem through the artificial neural network learned through the embedding vector.
  • the artificial neural network trained with the user embedding vector and the problem embedding vector can predict the probability that the user will correct the problem when a new problem is subsequently input.
  • the learning content recommendation method since the viewpoint of the artificial neural network from which the problem is viewed and the viewpoint of the collaborative filtering are different, there is an effect that the cooperative filtering can capture features that the artificial neural network cannot catch.
  • This artificial neural network problem can be solved by incorporating collaborative filtering.
  • collaborative filtering since the global minimum can be found through matrix factorization, etc., problems that may occur in artificial neural networks can be overcome through collaborative filtering.
  • FIG. 2 is a diagram for explaining a process of calculating a latent factor from solution result data in a collaborative filtering approach according to an embodiment of the present invention.
  • the solution result data R may be expressed as an M X N matrix composed of M user rows and N problem columns.
  • the solution result data (R) can be decomposed into user data (P) and problem data (Q). Assuming that there are K potential factors, the user data P can be decomposed into an M X K matrix, and the problem data Q can be decomposed into a K X N matrix, respectively.
  • each row (User1, User2, User3, ..., UserM) of the user data P may be used as an initial user embedding vector.
  • each column of the problem data Q (problem 1, problem 2, problem 3, ..., problem N) can be used as an initial problem embedding vector.
  • the number of latent factors can be arbitrarily adjusted with hyperparameters or can be adjusted by finding an optimal value through cross validation.
  • a latent factor may have intrinsic meaning that can be extracted from the solution result data.
  • the latent factor computed through matrix decomposition can then be used as an initial embedding vector in an artificial neural network. At this time, it is necessary to decide which of the calculated latent factors (latent factor a1, latent factor a2, latent factor b1, latent factor b2, ...) is to be used as the initial embedding vector.
  • the learning content recommendation system may determine the latent factor a1 as the initial user embedding vector, or the latent factor a2 as the initial user embedding vector.
  • the learning content recommendation system may determine the latent factor b1 as the initial problem embedding vector, or the latent factor b2 as the initial problem embedding vector.
  • the embedding performer 230 may train the artificial neural network model by using the calculated latent factors as an initial embedding vector arbitrarily or sequentially. Thereafter, the type of potential factor to be used can be determined based on the prediction performance of the correct answer probability of the learned artificial neural network.
  • the embedding performer 230 may determine the type of latent factor to be used as the initial embedding vector based on the meaning of each latent factor. Previously, it has been described that the embedding performing unit 230 can analyze the meaning of the latent meaning and use it for content recommendation.
  • the learning content recommendation system may use a latent factor determined to have a significant value, such as a problem category, problem type, problem difficulty, user age, and user skill, as an initial embedding vector.
  • FIG. 3 is a diagram for explaining a method of determining a user embedding vector using a latent factor, according to an embodiment of the present invention.
  • a latent factor is calculated from the user's solution result data, 1) an initial user embedding vector determined from the latent factor, and 2) a user embedding vector determined by adjusting a weight in the initial user embedding vector.
  • the initial embedding vector was randomly assigned a value between -1 and +1 based on 0.
  • the weights (Dim0, Dim1, Dim2, ..., Dim48, Dim49) of the initial user embedding vectors of users 1 to 3 are given using the latent factors of FIG. 2 described above.
  • weights of FIG. 3 are assigned using a latent factor rather than a conventional arbitrary value between -1 and +1, there is an advantage in that the learning time to reach the final user embedding vector is fast and the final performance is excellent.
  • FIG. 4 is a diagram for explaining a method of determining a problem embedding vector using a latent factor, according to an embodiment of the present invention.
  • weights of FIG. 4 are assigned using a latent factor rather than a conventional arbitrary value between -1 and +1, there is an advantage in that the learning time to reach the final problem embedding vector is fast and the final performance is also excellent.
  • FIG. 5 is a flowchart illustrating an operation method of a learning problem recommendation system according to an embodiment of the present invention.
  • the learning problem recommendation system may collect the user's solution result data from the user terminal.
  • the learning problem recommendation system may sequentially call and store previously collected user's solution result data.
  • the learning problem recommendation system may calculate at least one or more latent factors by analyzing the collected solution result data.
  • the latent factor can be calculated using matrix factorization.
  • the number of latent factors may be adjusted in consideration of the performance of the artificial neural network.
  • the number of latent factors can be arbitrarily adjusted with hyperparameters or can be adjusted by finding an optimal value through cross validation.
  • the learning problem recommendation system may generate an initial embedding vector representing the solution result data as a value that the artificial neural network can understand through the latent factor.
  • the learning problem recommendation system may adjust the weight of the initial embedding vector to generate a final embedding vector to be used for artificial neural network learning.
  • the embedding vector may include a problem embedding vector and a user embedding vector.
  • Weight adjustment is a method of adjusting the initial embedding vector in a direction to reduce the error by comparing the predicted value obtained by inputting the initial embedding vector to the artificial neural network and the actual value. This process may be repeatedly performed until there is an error within a preset value.
  • the learning problem recommendation system may perform learning of the artificial neural network with the embedding vector. Thereafter, in step S511, the learning problem recommendation system may predict the probability of the user's correct answer to any problem with the learned artificial neural network.
  • FIG. 6 is a flowchart for explaining steps S505 to S507 of FIG. 5 in more detail.
  • the learning content recommendation system may generate an initial user embedding vector indicating a solution result for each user through a latent factor.
  • the learning content recommendation system may generate an initial problem embedding vector representing the solution result data for each problem through the latent factor.
  • the generated initial user embedding vector and initial problem embedding vector may be input to the artificial neural network.
  • the learning content recommendation system may adjust the weight of the initial user embedding vector and the initial problem embedding vector to generate a final user embedding vector and problem embedding vector to be used for artificial neural network training.
  • step S605 the user embedding vector and the problem embedding vector may be input to the artificial neural network and used for learning for predicting the probability of correct answer.
  • FIG. 7 is a flowchart illustrating a method of determining learning content to be recommended to a user, according to an embodiment of the present invention.
  • the learning content recommendation system may generate a learning content vector by natural language processing on the learning content data.
  • the learning content recommendation system may perform weight adjustment so that the learning content vector is included in the actual category of the learning content.
  • the learning content vector may be included in the corresponding category by adjusting the weight so that the error between the predicted value and the actual value is smaller than a preset error.
  • the learning content recommendation system may determine the learning content to be recommended to the user based on the predicted probability of the user's correct answer for each problem and the category of the learning content.
  • a problem with a low predicted correct probability is determined as a recommendation problem
  • at least one of problems included in a category of learning content including the corresponding problem may be determined as a problem to be recommended together.
  • step S707 the learning content recommendation system may provide the determined learning content to the user.
  • the learning problem recommendation system of the present invention and its operating method are artificial neural networks having improved performance by determining learning content to be recommended to a user based on a learning content vector obtained by natural language processing of learning content data and a predicted user correct probability. This has the effect of being able to determine the learning content to be recommended to the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)

Abstract

본 발명의 실시 예에 따른 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템은, 사용자 단말과 유무선으로 통신하며 사용자가 풀이한 문제에 대한 풀이결과 데이터를 수집하는 풀이결과 데이터 수집부, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 적어도 하나 이상 연산하는 잠재인자 연산부 및 잠재인자를 기초로 이산된 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터로 생성하고, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터로 결정하는 임베딩 수행부를 포함한다.

Description

잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법
본 발명은 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법에 관한 것이다. 보다 구체적으로, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용함으로써, 인공신경망의 학습 속도 및 예측 성능을 증가시킬 수 있는 발명에 관한 것이다.
최근 인터넷과 전자장치의 활용이 각 분야에서 활발히 이루어지며 교육 환경 역시 빠르게 변화하고 있다. 특히, 다양한 교육 매체의 발달로 학습자는 보다 폭넓은 학습 방법을 선택하고 이용할 수 있게 되었다. 그 중에서도 인터넷을 통한 교육 서비스는 시간적, 공간적 제약을 극복하고 저비용의 교육이 가능하다는 이점 때문에 주요한 교수 학습 수단으로 자리매김하게 되었다.
이러한 경향에 부응하여 이제는 제한된 인적, 물적 자원으로 오프라인 교육에서는 불가능했던 맞춤형 교육 서비스도 다양해지는 추세이다. 예를 들어, 인공지능을 활용하여 학습자의 개성과 능력에 따라 세분화된 교육 컨텐츠를 제공함으로써, 과거의 획일적 교육 방법에서 탈피하여 학습자의 개인 역량에 따른 교육 콘텐츠를 제공하고 있다.
교육 컨텐츠는 인공신경망이 이해할 수 있도록 임베딩(Embedding)되어 입력된다. 인공신경망에서 임베딩이란, 원래 차원보다 동일 차원 또는 저차원의 벡터로 만드는 것을 의미한다. 인공신경망의 임베딩은 수천 수만개의 고차원 변수들을 몇 백개의 저차원 변수로 만들어 주고, 또한 변형된 저차원 공간에서도 충분히 카테고리형 의미를 내재하기 때문에 유용하다. 임베딩을 통해 인공신경망은 가장 가까운 이웃정보를 찾거나, 카테고리 간의 개념과 관련도를 시각화하여 사용자에게 제공할 수 있다.
종래에는 사용자의 정답확률을 예측하는 인공신경망의 학습에 사용될 임베딩 벡터를 무작위로 초기화하는 방식을 사용하였다. 예를 들어, 초기 임베딩 벡터에 0을 기준으로 -1에서 +1 사이의 값을 무작위로 부여하고, 경사하강법(Gradient Decent Algorithm) 등을 통해 손실을 최소화하는 방법으로 가중치를 조정하여 최종적인 임베딩 벡터를 결정하는 방법을 사용하였다.
이러한 방법 하에서는 임의의 값이 부여된 초기 임베딩 벡터를 사용하기 때문에 인공신경망의 학습 시간이 길고 최종적인 성능 또한 떨어진다는 문제가 있었다.
전술한 문제를 해결하기 위해, 본 발명의 실시 예에 따른 학습 문제 추천 시스템 및 그것의 동작방법은, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용함으로써, 인공신경망의 학습 속도 및 예측 성능을 증가시킬 수 있다.
또한, 본 발명의 실시 예에 따른 학습 문제 추천 시스템 및 그것의 동작방법은, 학습 컨텐츠 데이터를 자연어 처리하여 얻은 학습 컨텐츠 벡터와 예측된 사용자 정답확률을 기초로 사용자에게 추천할 학습 컨텐츠를 결정함으로써, 향상된 성능을 가지는 인공신경망을 통해 사용자에게 추천할 학습 컨텐츠를 결정할 수 있다.
또한, 본 발명의 실시 예에 따른 학습 문제 추천 시스템 및 그것의 동작방법은, 협업 필터링 접근 방법으로 적어도 하나의 잠재인자를 결정하고, 결정된 잠재인자들이 내포한 의미를 분석함으로써, 사용자의 학습 효율에 최적화된 문제를 추천할 수 있다.
본 발명의 실시 예에 따른, 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템은, 사용자 단말과 유무선으로 통신하며 사용자가 풀이한 문제에 대한 풀이결과 데이터를 수집하는 풀이결과 데이터 수집부, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 적어도 하나 이상 연산하는 잠재인자 연산부 및 잠재인자를 기초로 이산된 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터로 생성하고, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터로 결정하는 임베딩 수행부를 포함한다.
본 발명의 실시 예에 따른, 잠재인자 기반의 협업 필터링을 사용하여 정답 확률을 예측하는 학습 컨텐츠 추천 시스템의 동작방법은, 사용자 단말로부터 사용자의 풀이결과 데이터를 수집하고, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 연산하는 단계, 잠재인자를 사용하여, 풀이결과 데이터를 인공신경망이 이해할 수 있는 숫자로 구성된 나타낸 초기 임베딩 벡터를 생성하는 단계, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터를 생성하고, 임베딩 벡터로 인경신경망의 학습을 수행하는 단계 및 학습된 인공신경망으로 임의의 문제에 대한 사용자의 정답 확률을 예측하고, 사용자 단말에 제공하는 단계를 포함한다.
본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용함으로써, 인공신경망의 학습 속도 및 예측 성능을 증가시킬 수 있는 효과가 있다.
또한, 본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 학습 컨텐츠 데이터를 자연어 처리하여 얻은 학습 컨텐츠 벡터와 예측된 사용자 정답확률을 기초로 사용자에게 추천할 학습 컨텐츠를 결정함으로써, 향상된 성능을 가지는 인공신경망을 통해 사용자에게 추천할 학습 컨텐츠를 결정할 수 있는 효과가 있다.
또한, 본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 협업 필터링 접근 방법으로 적어도 하나의 잠재인자를 결정하고, 결정된 잠재인자들이 내포한 의미를 분석함으로써, 사용자의 학습 효율에 최적화된 문제를 추천할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 학습 문제 추천 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른, 협업 필터링 접근법으로 풀이결과 데이터로부터 잠재인자를 연산하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 사용자 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 문제 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른, 학습 문제 추천 시스템의 동작방법을 설명하기 위한 순서도이다.
도 6은 도 5의 S505 내지 S507 단계를 보다 상세하게 설명하기 위한 순서도이다.
도 7은 본 발명의 실시 예에 따른, 사용자에게 추천할 학습 컨텐츠를 결정하는 방법을 설명하기 위한 순서도이다.
본 발명의 실시 예에 따른, 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템은, 사용자 단말과 유무선으로 통신하며 사용자가 풀이한 문제에 대한 풀이결과 데이터를 수집하는 풀이결과 데이터 수집부, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 적어도 하나 이상 연산하는 잠재인자 연산부 및 잠재인자를 기초로 이산된 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터로 생성하고, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터로 결정하는 임베딩 수행부를 포함한다.
본 발명의 일 실시예에 따르면, 상기 잠재인자 연산부는, 상기 인공신경망의 성능을 고려하여 상기 잠재인자의 개수를 조정하고, 상기 잠재인자가 가지는 의미를 분석하여 컨텐츠 추천에 사용한다.
본 발명의 일 실시예에 따르면, 특정 잠재인자에 가중치를 부여하여 상기 인공신경망을 학습시켰을 때 사용자의 학습 효율이 더 향상되었다고 판단되는 경우, 상기 특정 잠재인자에 가중치를 부여하여 상기 초기 임베딩 벡터를 생성한다.
본 발명의 일 실시예에 따르면, 상기 임베딩 수행부는, 상기 초기 임베딩 벡터를 입력하여 얻은 예측값과 실제값을 비교하여 오차를 줄이는 방향으로 상기 초기 임베딩 벡터의 가중치를 조정하고, 상기 가중치 조정은 미리 설정된 값 이내의 오차를 가질 때까지 반복되어 수행된다.
본 발명의 일 실시예에 따르면, 상기 임베딩 수행부는, 상기 잠재인자를 임의로 또는 순차적으로 상기 초기 임베딩 벡터로 사용하여 인공신경망 모델을 학습시키고, 이후 상기 학습된 인공신경망의 정답 확률 예측 성능을 기초로 최종적으로 초기 임베딩 벡터로 사용할 잠재인자의 종류를 결정한다.
본 발명의 일 실시예에 따르면, 학습 컨텐츠 추천 시스템은 상기 임베딩 벡터를 사용하여 학습된 인공신경망을 통해, 임의의 문제에 대한 사용자의 정답확률을 예측하는 정답확률 예측부;를 더 포함한다.
본 발명의 일 실시예에 따르면, 상기 초기 임베딩 벡터는 상기 잠재인자를 통해 상기 풀이결과 데이터를 사용자 별로 나타낸 초기 사용자 임베딩 벡터와 상기 잠재인자를 통해 상기 풀이결과 데이터를 문제 별로 나타낸 초기 문제 임베딩 벡터를 포함하고, 상기 임베딩 벡터는 상기 초기 사용자 임베딩 벡터를 가중치 조정하여 얻은 사용자 임베딩 벡터와 상기 초기 문제 임베딩 벡터를 가중치 조정하여 얻은 문제 임베딩 벡터를 포함한다.
본 발명의 실시 예에 따른, 잠재인자 기반의 협업 필터링을 사용하여 정답 확률을 예측하는 학습 컨텐츠 추천 시스템의 동작방법은, 사용자 단말로부터 사용자의 풀이결과 데이터를 수집하고, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 연산하는 단계, 잠재인자를 사용하여, 풀이결과 데이터를 인공신경망이 이해할 수 있는 숫자로 구성된 나타낸 초기 임베딩 벡터를 생성하는 단계, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터를 생성하고, 임베딩 벡터로 인경신경망의 학습을 수행하는 단계 및 학습된 인공신경망으로 임의의 문제에 대한 사용자의 정답 확률을 예측하고, 사용자 단말에 제공하는 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에 개시된 실시예를 설명함에 있어서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시 예에 따른 학습 문제 추천 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 학습 컨텐츠 추천 시스템(50)은 사용자 단말(100) 및 학습 컨텐츠 추천 장치(200)를 포함할 수 있다.
학습 문체 추천 장치(200)는 사용자 단말(100)과 통신하며 유저에게 문제를 추천하고 추천된 문제 풀이결과 데이터를 수집할 수 있다. 수집된 문제 풀이 결과는 인공신경망을 통해 분석되어 유저에게 개인별 맞춤형 추천 문제를 제공하는데 사용될 수 있다.
사용자의 풀이결과 데이터는 인공신경망이 이해할 수 있는 형태로 벡터화되어 입력될 수 있다. 이는 임베딩(Embedding)이라고 지칭될 수 있다. 인공신경망에서 임베딩이란 원래 차원보다 동일 또는 저차원의 벡터로 만드는 것을 의미하는데, 인공신경망의 임베딩은 수천 수만개의 고차원 변수들을 몇 백개의 저차원 변수로 만들어주는 것을 의미한다.
종래에는 사용자의 정답확률을 예측하는 인공신경망의 학습에 사용될 임베딩 벡터를 무작위로 초기화하는 방식을 사용하였다. 예를 들어, 초기 임베딩 벡터에 0을 기준으로 -1에서 1 사이의 값을 무작위로 부여하고, 경사하강법(Gradient Decent Algorithm) 등을 통해 손실을 최소화하는 방법으로 가중치를 조정하여 최종적인 임베딩 벡터를 결정하는 방법을 사용하였다.
이러한 방법 하에서는 임의의 값이 부여된 초기 임베딩 벡터를 사용하기 때문에 인공신경망의 학습에 소요되는 시간이 길고 최종적인 성능 또한 떨어진다는 문제가 있었다.
이를 해결하기 위해, 본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)은, 협업 필터링 접근법을 사용하여 초기 임베딩 벡터를 결정할 수 있다.
구체적으로, 학습 컨텐츠 추천 장치(200)는 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용할 수 있다. 이하 학습 컨텐츠 추천 장치(200)의 세부 구성을 보다 상세하게 설명하도록 한다.
본 발명의 실시 예에 따른 학습 컨텐츠 추천 장치(200)는, 풀이결과 데이터 수집부(210), 잠재인자 연산부(220), 임베딩 수행부(230) 및 정답확률 예측부(240)를 포함할 수 있다.
풀이결과 데이터 수집부(210)는 사용자 단말(100)과 유무선으로 통신하며 사용자의 문제 풀이결과 데이터를 수집할 수 있다. 또한, 풀이결과 데이터 수집부(210)는 이전에 수집된 사용자들의 풀이결과 데이터를 순차적으로 불러와 저장할 수도 있다.
잠재인자 연산부(220)는 수집된 풀이결과 데이터로부터 적어도 하나의 잠재인자(Latent Factor)를 연산할 수 있다. 잠재인자는 풀이결과 데이터에 내재된 요소로, 정답 확률 예측의 근거 요소로 설명될 수 있다.
잠재인자의 종류에 따라 문제 또는 사용자는 카테고리화 될 수 있다. 학습 컨텐츠 추천 시스템(50)은 잠재인자의 종류와 각 잠재인자의 값들을 고려하여 문제와 사용자의 특성을 파악할 수 있다. 문제와 사용자의 특성이 잠재인자를 통해 미리 파악되었기 때문에 인공지능 모델의 학습을 보다 효율적으로 수행할 수 있고 정답 확률 예측의 정확성을 높일 수 있다.
예를 들어, 풀이결과 데이터로부터 연산된 세 개의 잠재인자가 있다고 가정할 수 있다. 이때 각각의 잠재인자는 1) 문제 유형(Reading, Listening, Speaking, …), 2) 문제 난이도(상, 중, 하), 3) 문제 카테고리(to부정사, 동명사, 전치사, 주제추론, 사실관계 파악, …)을 나타낼 수 있을 것이다. 이는 하나의 예시일 뿐이며, 연산된 잠재인자가 의미하는 바는 실시 예에 따라 다양하게 정의될 수 있다.
잠재인자는 다양한 수학적 기법을 활용하여 연산될 수 있다. 예를 들어, 잠재인자는 행렬 분해(Matrix Factorization)를 이용하여 연산될 수 있다. 행렬 분해는 후술되는 도 2를 통해 보다 상세하게 설명하도록 한다.
잠재인자 연산부(220)는 인공신경망의 성능을 고려하여 잠재인자의 개수를 조정할 수 있다. 잠재요인의 개수는 하이퍼파라미터로 임의로 조정되거나, 교차 검증(Cross Validation)을 통해 최적의 값을 찾아나가는 방법으로 조정될 수 있다.
예를 들어, 잠재요인의 개수를 N개로 설정하였을 때보다 N+1개로 설정하였을 때의 인공신경망 성능이 더 우수할 수 있다. 이 경우 잠재인자 연산부(220)는 잠재인자를 N+1개로 일단 설정하고, 다시 잠재인자가 N+2개인 경우와 비교하는 방법으로 최적의 성능을 가지는 잠재인자 개수를 찾아나갈 수 있다.
또한, 잠재인자 연산부(220)는 결정된 잠재인자들이 가지는 의미를 분석하여 컨텐츠 추천에 사용할 수 있다. 각 잠재인자들은 서로 다른 의미를 포함하기 때문에 사용자 맞춤형 문제 추천에서 가지는 중요성이 서로 다를 수 있다.
잠재인자 연산부(220)는 특정 잠재인자에 가중치를 부여하여 인공신경망을 학습시켰을 때 사용자의 학습 효율이 더 향상되었다고 판단되는 경우, 상기 특정 잠재인자에 가중치를 부여하는 방법으로 초기 임베딩 벡터를 결정할 수 있다. 실시 예에 따라, 가중치가 부여되는 잠재인자는 하나 이상일 수 있다.
임베딩 수행부(230)는 잠재인자를 기초로 생성된 초기 임베딩 벡터의 가중치를 조정하여, 인공신경망 학습에 사용될 최종적인 임베딩 벡터를 결정할 수 있다.
구체적으로, 임배딩 수행부(230)는 잠재인자를 기초로 이산된 상기 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터를 생성하고, 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 임베딩 벡터로 결정할 수 있다.
임베딩 수행부(230)는 인공신경망에 초기 임베딩 벡터를 입력하여 얻은 예측값과 실제값을 비교하여 오차를 줄이는 방향으로 초기 임베딩 벡터를 조정할 수 있다. 이러한 과정은 미리 설정된 값 이내의 오차를 가질 때까지 반복하여 수행될 수 있다.
이 과정은 가중치를 조정으로 지칭될 수 있으며, 일 예로 경사하강법(Gradient Decent Algorithm)을 통해 오차를 최소화하는 방법으로 가중치를 조정하여 최종적인 임베딩 벡터를 결정할 수 있다.
후술되는 도 3 및 도 4는 임베딩 수행부(230)가 초기 임베딩 벡터의 가중치를 조정하여 최종적인 임베딩 벡터를 결정하는 과정을 설명하고 있다. 구체적으로 도 3은 사용자 임베딩 벡터의 가중치 조정을, 도 4는 문제 임베딩 벡터의 가중치 조정을 설명하기 위한 도면이다.
정답확률 예측부(240)는 임베딩 벡터를 통해 학습된 인공신경망을 통해 임의의 문제에 대한 사용자의 정답확률을 예측할 수 있다. 사용자 임베딩 벡터와 문제 임베딩 벡터로 학습된 인공신경망은, 이후 새로운 문제가 입력되면 해당 사용자가 문제를 맞힐 확률을 예측할 수 있다.
본 발명의 실시 예에 따른 학습 컨텐츠 추천 방법에 따르면, 인공신경망이 문제를 보는 관점과 협업 필터링이 보는 관점은 서로 다르기 때문에 인공신경망이 잡아내지 못하는 특징을 협업 필터링이 잡아낼 수 있는 효과가 있다.
전술한 경사하강법에서, 인공신경망은 전체 최소값(global minimum)에 도달하지 못하고 국소 최소값(local minimum)에 갇힐 수 있다는 문제가 알려져 있다. 이는 오차가 최소가 되는 가중치가 아닌데도 불구하고, 최소가 되는 가중치로 업데이트 했다고 잘못 인식하는 문제로, 전체 함수에서의 최소값이 아닌 가중치 조정을 시작한 부근에서의 최소값을 최적의 오차값으로 착각하는 오류이다.
이러한 인공신경망의 문제는 협업 필터링을 접목시킴으로써 해결될 수 있다. 협업 필터링에서는 행렬 분해(Matrix Factorization) 등을 통해 전체 최소값(global minimum)을 찾을 수 있기 때문에 인공신경망에서 발생될 수 있는 문제를 협업 필터링을 통해 극복할 수 있는 효과가 있다.
도 2는 본 발명의 실시 예에 따른, 협업 필터링 접근법으로 풀이결과 데이터로부터 잠재인자를 연산하는 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 풀이결과 데이터(R)는 M 개의 사용자 행과 N 개의 문제 열로 구성된 M X N 행렬로 표현될 수 있다.
풀이결과 데이터(R)는 사용자 데이터(P)와 문제 데이터(Q)로 분해될 수 있다. 잠재요인이 K 개라고 가정하면, 사용자 데이터(P)는 M X K 행렬로, 문제 데이터(Q)는 K X N 행렬로 각각 분해될 수 있다.
도 2의 실시 예에서, 사용자 데이터(P)의 각 행(사용자1, 사용자2, 사용자3, …, 사용자M)은 초기 사용자 임베딩 벡터로 사용될 수 있다. 또한, 문제 데이터(Q)의 각 열(문제1, 문제2, 문제3, …, 문제N)은 초기 문제 임베딩 벡터로 사용될 수 있다.
잠재요인의 개수는 하이퍼 파라미터로 임의로 조정하거나, 교차 검증(Cross Validation)을 통해 최적의 값을 찾아나가는 방법으로 조정될 수 있다. 잠재요인은 풀이결과 데이터에서 추출될 수 있는 내재적 의미를 내포할 수 있다.
행렬 분해를 통해 연산된 잠재인자는, 이후 인공신경망에서 초기 임베딩 벡터로 사용될 수 있다. 이때 연산된 복수의 잠재인자들(잠재인자a1, 잠재인자a2, 잠재인자b1, 잠재인자b2, …) 중 어떤 잠재인자를 초기 임베딩 벡터로 사용할지가 결정할 필요가 있다.
예를 들어, 학습 컨텐츠 추천 시스템은 잠재인자a1을 초기 사용자 임베딩 벡터로 결정할 수도, 또는 잠재인자a2를 초기 사용자 임베딩 벡터로 결정할 수도 있을 것이다. 문제 데이터에 대해서는, 학습 컨텐츠 추천 시스템은 잠재인자b1을 초기 문제 임베딩 벡터로 결정할 수도, 또는 잠재인자b2를 초기 문제 임베딩 벡터로 결정할 수도 있을 것이다.
일 실시 예에서, 임베딩 수행부(230)는 연산된 잠재인자를 임의로 또는 순차적으로 초기 임베딩 벡터로 사용하여 인공신경망 모델을 학습시킬 수 있다. 이후 학습된 인공신경망의 정답 확률 예측 성능을 기초로 사용할 잠재인자의 종류를 결정할 수 있다.
다른 실시 예에서, 임베딩 수행부(230)는, 각 잠재인자들이 가지는 의미를 기초로 초기 임베딩 벡터로 사용할 잠재인자의 종류를 결정할 수 있다. 앞서, 임베딩 수행부(230)가 잠재의미의 의미를 분석하여 컨텐츠 추천에 사용할 수 있음을 설명하였다.
학습 컨텐츠 추천 시스템은 문제 카테고리, 문제 유형, 문제 난이도, 사용자 연령, 사용자 실력 등 유의미한 값을 가진다고 판단된 잠재인자를 초기 임베딩 벡터로 사용할 수 있다.
초기 임베딩 벡터로 인공신경망의 학습을 수행해가며 실제값과의 오차를 줄여나가는 가중치 조정을 거쳐 최종적인 임베딩 벡터로 결정될 수 있다.
도 3은 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 사용자 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 1) 잠재인자로부터 결정된 초기 사용자 임베딩 벡터와, 2) 초기 사용자 임베딩 벡터에서 가중치를 조정하여 결정된 사용자 임베딩 벡터를 도시하고 있다.
종래에는 사용자의 정답확률을 예측하는 인공신경망의 학습에 사용될 임베딩 벡터를 무작위로 초기화하는 방식을 사용하였다. 예를 들어, 초기 임베딩 벡터에 0을 기준으로 -1에서 +1 사이의 값을 무작위로 부여하는 방식이었다.
이러한 방법 하에서는 임의의 값이 부여된 초기 임베딩 벡터를 사용하기 때문에 인공신경망의 학습 시간이 길고 최종적인 성능 또한 떨어진다는 문제가 있었다.
도 3을 참조하면, 사용자1 내지 사용자3의 초기 사용자 임베딩 벡터의 가중치(Dim0, Dim1, Dim2, …, Dim48, Dim49)가 전술한 도 2의 잠재인자를 사용해 부여된 것을 도시하고 있다.
도 3의 가중치들은 종래의 -1 부터 +1 사이의 임의의 값이 아니라 잠재인자를 사용해 부여되었기 때문에, 최종적인 사용자 임베딩 벡터에 도달하는 학습 시간이 빠르고 최종성능 또한 우수하다는 장점이 있다.
도 4는 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 문제 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 마찬가지로 문제1 내지 문제4의 초기 문제 임베딩 벡터의 가중치(Dim0, Dim1, Dim2, …, Dim48, Dim49)가 전술한 도 2의 잠재인자를 사용해 부여된 것을 도시하고 있다.
도 4의 가중치들은 종래의 -1 부터 +1 사이의 임의의 값이 아니라 잠재인자를 사용해 부여되었기 때문에, 최종적인 문제 임베딩 벡터에 도달하는 학습 시간이 빠르고 최종성능 또한 우수하다는 장점이 있다.
도 5는 본 발명의 실시 예에 따른, 학습 문제 추천 시스템의 동작방법을 설명하기 위한 순서도이다.
도 5를 참조하면, S501 단계에서, 학습 문제 추천 시스템은 사용자 단말로부터 사용자의 풀이결과 데이터를 수집할 수 있다. 또한, 학습 문제 추천 시스템은 이전에 수집된 사용자들의 풀이결과 데이터를 순차적으로 불러와 저장할 수도 있다.
S503 단계에서, 학습 문제 추천 시스템은 수집된 풀이결과 데이터를 분석하여 적어도 하나 이상의 잠재인자를 연산할 수 있다. 잠재인자는 행렬 분해(Matrix Factorization)를 이용하여 연산될 수 있다.
잠재인자는 인공신경망의 성능을 고려하여 그 개수가 조정될 수 있다. 잠재요인의 개수는 하이퍼파라미터로 임의로 조정되거나, 교차 검증(Cross Validation)을 통해 최적의 값을 찾아나가는 방법으로 조정될 수 있다.
S505 단계에서, 학습 문제 추천 시스템은 잠재인자를 통해 풀이결과 데이터를 인공신경망이 이해할 수 있는 값으로 나타낸 초기 임베딩 벡터를 생성할 수 있다.
이후, S507 단계에서, 학습 문제 추천 시스템은 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 최종적인 임베딩 벡터를 생성할 수 있다. 임베딩 벡터는 문제 임베딩 벡터와 사용자 임베딩 벡터를 포함할 수 있다.
가중치 조정은 인공신경망에 초기 임베딩 벡터를 입력하여 얻은 예측값과 실제값을 비교하여 오차를 줄이는 방향으로 초기 임베딩 벡터를 조절하는 방법이다. 이러한 과정은 미리 설정된 값 이내의 오차를 가질 때까지 반복하여 수행될 수 있다.
S509 단계에서, 학습 문제 추천 시스템은 임베딩 벡터로 인공신경망의 학습을 수행할 수 있다. 이후, S511 단계에서, 학습 문제 추천 시스템은 학습된 인공신경망으로 임의의 문제에 대한 사용자의 정답 확률을 예측할 수 있다.
도 6은 도 5의 S505 내지 S507 단계를 보다 상세하게 설명하기 위한 순서도이다.
도 6을 참조하면, S601 단계에서, 학습 컨텐츠 추천 시스템은 잠재인자를 통해 풀이결과를 사용자 별로 나타낸 초기 사용자 임베딩 벡터를 생성할 수 있다. 또한, 학습 컨텐츠 추천 시스템은 잠재인자를 통해 풀이결과 데이터를 문제 별로 나타낸 초기 문제 임베딩 벡터를 생성할 수 있다.
생성된 초기 사용자 임베딩 벡터와 초기 문제 임베딩 벡터는 인공신경망에 입력될 수 있다. S603 단계에서, 학습 컨텐츠 추천 시스템은 초기 사용자 임베딩 벡터와 초기 문제 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 최종적인 사용자 임베딩 벡터와 문제 임베딩 벡터를 생성할 수 있다.
이후, S605 단계에서, 사용자 임베딩 벡터와 문제 임베딩 벡터는 인공신경망에 입력되어 정답 확률 예측을 위한 학습에 사용될 수 있다.
도 7은 본 발명의 실시 예에 따른, 사용자에게 추천할 학습 컨텐츠를 결정하는 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, S701 단계에서, 학습 컨텐츠 추천 시스템은 학습 컨텐츠 데이터를 자연어 처리하여 학습 컨텐츠 벡터를 생성할 수 있다.
S703 단계에서, 학습 컨텐츠 추천 시스템은, 학습 컨텐츠 벡터가 학습 컨텐츠의 실제 카테고리에 포함되도록 가중치 조정을 수행할 수 있다. 구체적으로, 학습 컨텐츠 벡터는 가중치 조정을 통해 예측값과 실제값 사이의 오차가 미리 설정된 오차 보다 작도록 조정하는 방법으로 해당되는 카테고리에 포함시킬 수 있다.
S705 단계에서, 학습 컨텐츠 추천 시스템은 문제 별로 예측된 사용자의 정답 확률과 학습 컨텐츠의 카테고리를 기초로, 사용자에게 추천할 학습 컨텐츠를 결정할 수 있다.
예를 들어, 예측된 정답 확률이 낮은 문제를 추천 문제로 결정하는 경우, 해당 문제가 포함된 학습 컨텐츠의 카테고리에 포함된 문제들 중 적어도 어느 하나를 같이 추천해줄 문제로 결정할 수 있다.
S707 단계에서, 학습 컨텐츠 추천 시스템은 결정된 학습 컨텐츠를 사용자에게 제공할 수 있다.
본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 학습 컨텐츠 데이터를 자연어 처리하여 얻은 학습 컨텐츠 벡터와 예측된 사용자 정답확률을 기초로 사용자에게 추천할 학습 컨텐츠를 결정함으로써, 향상된 성능을 가지는 인공신경망을 통해 사용자에게 추천할 학습 컨텐츠를 결정할 수 있는 효과가 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서의 통상의 지식을 가진 자들에게 자명한 것이다.

Claims (8)

  1. 잠재인자에 기반한 협업 필터링을 사용하여 정답확률을 예측하는 학습 컨텐츠 추천 시스템에 있어서,
    사용자 단말과 유무선으로 통신하며 사용자가 풀이한 문제에 대한 풀이결과 데이터를 수집하는 풀이결과 데이터 수집부;
    상기 풀이결과 데이터로부터, 정답 확률 예측의 근거 요소가 되는 상기 잠재인자를 적어도 하나 이상 연산하는 잠재인자 연산부; 및
    상기 잠재인자를 기초로 이산된 상기 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터를 생성하고, 상기 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 임베딩 벡터로 결정하는 임베딩 수행부;를 포함하는 학습 컨텐츠 추천 시스템.
  2. 제1항에 있어서, 상기 잠재인자 연산부는,
    상기 인공신경망의 성능을 고려하여 상기 잠재인자의 개수를 조정하고, 상기 잠재인자가 가지는 의미를 분석하여 컨텐츠 추천에 사용하는 학습 컨텐츠 추천 시스템.
  3. 제2항에 있어서, 상기 잠재인자 연산부는,
    특정 잠재인자에 가중치를 부여하여 상기 인공신경망을 학습시켰을 때 사용자의 학습 효율이 더 향상되었다고 판단되는 경우, 상기 특정 잠재인자에 가중치를 부여하여 상기 초기 임베딩 벡터를 생성하는 학습 컨텐츠 추천 시스템.
  4. 제3항에 있어서, 상기 임베딩 수행부는,
    상기 초기 임베딩 벡터를 입력하여 얻은 예측값과 실제값을 비교하여 오차를 줄이는 방향으로 상기 초기 임베딩 벡터의 가중치를 조정하고, 상기 가중치 조정은 미리 설정된 값 이내의 오차를 가질 때까지 반복되어 수행되는 학습 컨텐츠 추천 시스템.
  5. 제4항에 있어서, 상기 임베딩 수행부는,
    상기 잠재인자를 임의로 또는 순차적으로 상기 초기 임베딩 벡터로 사용하여 인공신경망 모델을 학습시키고, 이후 상기 학습된 인공신경망의 정답 확률 예측 성능을 기초로 최종적으로 초기 임베딩 벡터로 사용할 잠재인자의 종류를 결정하는 학습 컨텐츠 추천 시스템.
  6. 제5항에 있어서,
    상기 임베딩 벡터를 사용하여 학습된 인공신경망을 통해, 임의의 문제에 대한 사용자의 정답확률을 예측하는 정답확률 예측부;를 더 포함하는 학습 컨텐츠 추천 시스템.
  7. 제6항에 있어서, 상기 초기 임베딩 벡터는,
    상기 잠재인자를 통해 상기 풀이결과 데이터를 사용자 별로 나타낸 초기 사용자 임베딩 벡터와, 상기 잠재인자를 통해 상기 풀이결과 데이터를 문제 별로 나타낸 초기 문제 임베딩 벡터를 포함하고,
    상기 임베딩 벡터는,
    상기 초기 사용자 임베딩 벡터를 가중치 조정하여 얻은 사용자 임베딩 벡터와, 상기 초기 문제 임베딩 벡터를 가중치 조정하여 얻은 문제 임베딩 벡터를 포함하는 학습 컨텐츠 추천 시스템.
  8. 잠재인자 기반의 협업 필터링을 사용하여 정답 확률을 예측하는 학습 컨텐츠 추천 시스템의 동작방법에 있어서,
    사용자 단말로부터 사용자의 풀이결과 데이터를 수집하고, 상기 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 연산하는 단계;
    상기 잠재인자를 사용하여, 상기 풀이결과 데이터를 인공신경망이 이해할 수 있는 숫자로 구성된 나타낸 초기 임베딩 벡터를 생성하는 단계;
    상기 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 임베딩 벡터를 생성하고, 상기 임베딩 벡터로 인경신경망의 학습을 수행하는 단계; 및
    상기 학습된 인공신경망으로 임의의 문제에 대한 사용자의 정답 확률을 예측하고, 상기 사용자 단말에 제공하는 단계;를 포함하는 학습 컨텐츠 추천 시스템의 동작방법.
PCT/KR2021/019173 2021-01-04 2021-12-16 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법 WO2022145829A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0000117 2021-01-04
KR1020210000117A KR102406414B1 (ko) 2021-01-04 2021-01-04 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법

Publications (1)

Publication Number Publication Date
WO2022145829A1 true WO2022145829A1 (ko) 2022-07-07

Family

ID=81981671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019173 WO2022145829A1 (ko) 2021-01-04 2021-12-16 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법

Country Status (3)

Country Link
US (1) US20220215255A1 (ko)
KR (2) KR102406414B1 (ko)
WO (1) WO2022145829A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465634B1 (ko) * 2022-07-20 2022-11-11 주식회사 튜링 사용자들의 문제 풀이 실력 향상을 위한 맞춤형 문제를 제공하는 기법
KR102518474B1 (ko) * 2022-07-21 2023-04-05 주식회사 튜링 사용자의 실력을 업데이트하는 기법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080098357A (ko) * 2005-11-15 2008-11-07 베르나데트 가너 신경망 훈련 방법
KR101997222B1 (ko) * 2018-01-03 2019-07-05 연세대학교 산학협력단 다수상황 간의 상관관계를 고려한 추천 시스템 및 방법
KR102015075B1 (ko) * 2018-10-16 2019-08-27 (주)뤼이드 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
KR102088855B1 (ko) * 2019-06-21 2020-05-15 탱커펀드주식회사 협업 필터링 기반의 사용자 선호도 예측 장치 및 그 방법과, 이를 이용한 서비스 제공 방법
KR20200104680A (ko) * 2019-02-27 2020-09-04 (주)웅진씽크빅 학습자 적응형 이러닝 컨텐츠 제공 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140272914A1 (en) * 2013-03-15 2014-09-18 William Marsh Rice University Sparse Factor Analysis for Learning Analytics and Content Analytics
KR20200012430A (ko) 2018-07-27 2020-02-05 (주)웅진씽크빅 학습자의 예측정답율 분석 정보 제공방법
EP3920100A1 (en) * 2020-06-03 2021-12-08 Naver Corporation Adaptive pointwise-pairwise learning to rank
US11631338B2 (en) * 2020-06-11 2023-04-18 Act, Inc. Deep knowledge tracing with transformers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080098357A (ko) * 2005-11-15 2008-11-07 베르나데트 가너 신경망 훈련 방법
KR101997222B1 (ko) * 2018-01-03 2019-07-05 연세대학교 산학협력단 다수상황 간의 상관관계를 고려한 추천 시스템 및 방법
KR102015075B1 (ko) * 2018-10-16 2019-08-27 (주)뤼이드 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
KR20200104680A (ko) * 2019-02-27 2020-09-04 (주)웅진씽크빅 학습자 적응형 이러닝 컨텐츠 제공 방법
KR102088855B1 (ko) * 2019-06-21 2020-05-15 탱커펀드주식회사 협업 필터링 기반의 사용자 선호도 예측 장치 및 그 방법과, 이를 이용한 서비스 제공 방법

Also Published As

Publication number Publication date
KR102406414B1 (ko) 2022-06-08
US20220215255A1 (en) 2022-07-07
KR20220098698A (ko) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2022145829A1 (ko) 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법
WO2022059921A1 (ko) 사용자의 학습효과를 반영하여 추천 문제를 결정하는 학습 컨텐츠 추천 장치, 시스템 및 그것의 동작 방법
WO2021251690A1 (ko) 인공 지능 학습 기반의 학습 컨텐츠 추천 시스템 및 그것의 동작 방법
WO2010150986A2 (ko) 외국어 단어 평생 학습 장치 및 방법
WO2021095987A1 (ko) 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
WO2018212396A1 (ko) 데이터를 분석하는 방법, 장치 및 컴퓨터 프로그램
WO2023287064A1 (ko) 이상 데이터 자동 검출 및 자동 라벨링 기술을 이용한 학습 데이터베이스 구축 방법 및 시스템
CN110189238A (zh) 辅助学习的方法、装置、介质以及电子设备
WO2021107422A1 (ko) 에너지 사용량 데이터의 비지도 학습 기반 부하 모니터링 방법
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2024090713A1 (ko) 공감 심리학 기반의 챗봇 서비스를 통한 유저 심리 관리 시스템
WO2011074714A1 (ko) 지능형 맞춤화된 학습서비스 방법
WO2024090712A1 (ko) 공감대 형성을 통한 심리 치료용 인공지능 대화 시스템
CN110765362A (zh) 一种基于学习情况相似度的协同过滤个性化学习推荐方法
WO2021137534A1 (ko) 음성 분석을 통한 한국어 발음 학습 방법 및 시스템
WO2022191513A1 (ko) 데이터 증강 기반 지식 추적 모델 학습 장치, 시스템 및 그것의 동작방법
WO2022163996A1 (ko) 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법
WO2023113252A1 (ko) 디지털 트윈 모델을 도출하는 장치, 방법 및 컴퓨터 프로그램
WO2022102966A1 (ko) 점수 확률 분포 형태 통일화를 통해 평가 가능한 문제를 추천하는 학습 문제 추천 시스템 및 이것의 동작 방법
WO2022015005A1 (ko) 대화기반 정신장애선별방법 및 그 장치
WO2022014898A1 (ko) Api 접근 인터페이스 서버를 통해 확장된 교육 콘텐츠에 대해 인공지능 예측 결과를 제공하는 확장 서비스 제공 시스템 및 방법
WO2022149758A1 (ko) 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법
WO2022203123A1 (ko) 캐릭터를 활용한 인공지능 자연어 처리 기반의 화상교육 콘텐츠 제공 방법 및 장치
Shah et al. Utilizing the neuronal behavior of spiking neurons to recognize music signals based on time coding features
WO2020256339A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915627

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21915627

Country of ref document: EP

Kind code of ref document: A1