KR102406414B1 - 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템은, 사용자 단말과 유무선으로 통신하며 사용자가 풀이한 문제에 대한 풀이결과 데이터를 수집하는 풀이결과 데이터 수집부, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 적어도 하나 이상 연산하는 잠재인자 연산부 및 잠재인자를 기초로 이산된 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터로 생성하고, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터로 결정하는 임베딩 수행부를 포함한다.

Description

잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법{Learning content recommendation system that predicts the user's correct answer probability using collaborative filtering based on latent factors and operation method thereof}

본 발명은 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법에 관한 것이다. 보다 구체적으로, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용함으로써, 인공신경망의 학습 속도 및 예측 성능을 증가시킬 수 있는 발명에 관한 것이다.

최근 인터넷과 전자장치의 활용이 각 분야에서 활발히 이루어지며 교육 환경 역시 빠르게 변화하고 있다. 특히, 다양한 교육 매체의 발달로 학습자는 보다 폭넓은 학습 방법을 선택하고 이용할 수 있게 되었다. 그 중에서도 인터넷을 통한 교육 서비스는 시간적, 공간적 제약을 극복하고 저비용의 교육이 가능하다는 이점 때문에 주요한 교수 학습 수단으로 자리매김하게 되었다.

이러한 경향에 부응하여 이제는 제한된 인적, 물적 자원으로 오프라인 교육에서는 불가능했던 맞춤형 교육 서비스도 다양해지는 추세이다. 예를 들어, 인공지능을 활용하여 학습자의 개성과 능력에 따라 세분화된 교육 컨텐츠를 제공함으로써, 과거의 획일적 교육 방법에서 탈피하여 학습자의 개인 역량에 따른 교육 콘텐츠를 제공하고 있다.

교육 컨텐츠는 인공신경망이 이해할 수 있도록 임베딩(Embedding)되어 입력된다. 인공신경망에서 임베딩이란, 원래 차원보다 동일 차원 또는 저차원의 벡터로 만드는 것을 의미한다. 인공신경망의 임베딩은 수천 수만개의 고차원 변수들을 몇 백개의 저차원 변수로 만들어 주고, 또한 변형된 저차원 공간에서도 충분히 카테고리형 의미를 내재하기 때문에 유용하다. 임베딩을 통해 인공신경망은 가장 가까운 이웃정보를 찾거나, 카테고리 간의 개념과 관련도를 시각화하여 사용자에게 제공할 수 있다.

종래에는 사용자의 정답확률을 예측하는 인공신경망의 학습에 사용될 임베딩 벡터를 무작위로 초기화하는 방식을 사용하였다. 예를 들어, 초기 임베딩 벡터에 0을 기준으로 -1에서 +1 사이의 값을 무작위로 부여하고, 경사하강법(Gradient Decent Algorithm) 등을 통해 손실을 최소화하는 방법으로 가중치를 조정하여 최종적인 임베딩 벡터를 결정하는 방법을 사용하였다.

이러한 방법 하에서는 임의의 값이 부여된 초기 임베딩 벡터를 사용하기 때문에 인공신경망의 학습 시간이 길고 최종적인 성능 또한 떨어진다는 문제가 있었다.

삭제

대한민국 공개특허공보 제10-2020-0012430호(2020.02.05.)

전술한 문제를 해결하기 위해, 본 발명의 실시 예에 따른 학습 문제 추천 시스템 및 그것의 동작방법은, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용함으로써, 인공신경망의 학습 속도 및 예측 성능을 증가시킬 수 있다.

또한, 본 발명의 실시 예에 따른 학습 문제 추천 시스템 및 그것의 동작방법은, 학습 컨텐츠 데이터를 자연어 처리하여 얻은 학습 컨텐츠 벡터와 예측된 사용자 정답확률을 기초로 사용자에게 추천할 학습 컨텐츠를 결정함으로써, 향상된 성능을 가지는 인공신경망을 통해 사용자에게 추천할 학습 컨텐츠를 결정할 수 있다.

또한, 본 발명의 실시 예에 따른 학습 문제 추천 시스템 및 그것의 동작방법은, 협업 필터링 접근 방법으로 적어도 하나의 잠재인자를 결정하고, 결정된 잠재인자들이 내포한 의미를 분석함으로써, 사용자의 학습 효율에 최적화된 문제를 추천할 수 있다.

본 발명의 실시 예에 따른, 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템은, 사용자 단말과 유무선으로 통신하며 사용자가 풀이한 문제에 대한 풀이결과 데이터를 수집하는 풀이결과 데이터 수집부, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 적어도 하나 이상 연산하는 잠재인자 연산부 및 잠재인자를 기초로 이산된 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터로 생성하고, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터로 결정하는 임베딩 수행부를 포함한다.

본 발명의 실시 예에 따른, 잠재인자 기반의 협업 필터링을 사용하여 정답 확률을 예측하는 학습 컨텐츠 추천 시스템의 동작방법은, 사용자 단말로부터 사용자의 풀이결과 데이터를 수집하고, 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 연산하는 단계, 잠재인자를 사용하여, 풀이결과 데이터를 인공신경망이 이해할 수 있는 숫자로 구성된 나타낸 초기 임베딩 벡터를 생성하는 단계, 초기 임베딩 벡터를 가중치 조정하여 인공신경망 학습에 사용될 임베딩 벡터를 생성하고, 임베딩 벡터로 인경신경망의 학습을 수행하는 단계 및 학습된 인공신경망으로 임의의 문제에 대한 사용자의 정답 확률을 예측하고, 사용자 단말에 제공하는 단계를 포함한다.

본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용함으로써, 인공신경망의 학습 속도 및 예측 성능을 증가시킬 수 있는 효과가 있다.

또한, 본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 학습 컨텐츠 데이터를 자연어 처리하여 얻은 학습 컨텐츠 벡터와 예측된 사용자 정답확률을 기초로 사용자에게 추천할 학습 컨텐츠를 결정함으로써, 향상된 성능을 가지는 인공신경망을 통해 사용자에게 추천할 학습 컨텐츠를 결정할 수 있는 효과가 있다.

또한, 본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 협업 필터링 접근 방법으로 적어도 하나의 잠재인자를 결정하고, 결정된 잠재인자들이 내포한 의미를 분석함으로써, 사용자의 학습 효율에 최적화된 문제를 추천할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 학습 문제 추천 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른, 협업 필터링 접근법으로 풀이결과 데이터로부터 잠재인자를 연산하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 사용자 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 문제 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른, 학습 문제 추천 시스템의 동작방법을 설명하기 위한 순서도이다.
도 6은 도 5의 S505 내지 S507 단계를 보다 상세하게 설명하기 위한 순서도이다.
도 7은 본 발명의 실시 예에 따른, 사용자에게 추천할 학습 컨텐츠를 결정하는 방법을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 명세서에 개시된 실시예를 설명함에 있어서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

도 1은 본 발명의 실시 예에 따른 학습 문제 추천 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 학습 컨텐츠 추천 시스템(50)은 사용자 단말(100) 및 학습 컨텐츠 추천 장치(200)를 포함할 수 있다.

학습 문체 추천 장치(200)는 사용자 단말(100)과 통신하며 유저에게 문제를 추천하고 추천된 문제 풀이결과 데이터를 수집할 수 있다. 수집된 문제 풀이 결과는 인공신경망을 통해 분석되어 유저에게 개인별 맞춤형 추천 문제를 제공하는데 사용될 수 있다.

사용자의 풀이결과 데이터는 인공신경망이 이해할 수 있는 형태로 벡터화되어 입력될 수 있다. 이는 임베딩(Embedding)이라고 지칭될 수 있다. 인공신경망에서 임베딩이란 원래 차원보다 동일 또는 저차원의 벡터로 만드는 것을 의미하는데, 인공신경망의 임베딩은 수천 수만개의 고차원 변수들을 몇 백개의 저차원 변수로 만들어주는 것을 의미한다.

종래에는 사용자의 정답확률을 예측하는 인공신경망의 학습에 사용될 임베딩 벡터를 무작위로 초기화하는 방식을 사용하였다. 예를 들어, 초기 임베딩 벡터에 0을 기준으로 -1에서 1 사이의 값을 무작위로 부여하고, 경사하강법(Gradient Decent Algorithm) 등을 통해 손실을 최소화하는 방법으로 가중치를 조정하여 최종적인 임베딩 벡터를 결정하는 방법을 사용하였다.

이러한 방법 하에서는 임의의 값이 부여된 초기 임베딩 벡터를 사용하기 때문에 인공신경망의 학습에 소요되는 시간이 길고 최종적인 성능 또한 떨어진다는 문제가 있었다.

이를 해결하기 위해, 본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)은, 협업 필터링 접근법을 사용하여 초기 임베딩 벡터를 결정할 수 있다.

구체적으로, 학습 컨텐츠 추천 장치(200)는 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 연산된 잠재인자를 인공신경망의 초기 임베딩 벡터로 사용할 수 있다. 이하 학습 컨텐츠 추천 장치(200)의 세부 구성을 보다 상세하게 설명하도록 한다.

본 발명의 실시 예에 따른 학습 컨텐츠 추천 장치(200)는, 풀이결과 데이터 수집부(210), 잠재인자 연산부(220), 임베딩 수행부(230) 및 정답확률 예측부(240)를 포함할 수 있다.

풀이결과 데이터 수집부(210)는 사용자 단말(100)과 유무선으로 통신하며 사용자의 문제 풀이결과 데이터를 수집할 수 있다. 또한, 풀이결과 데이터 수집부(210)는 이전에 수집된 사용자들의 풀이결과 데이터를 순차적으로 불러와 저장할 수도 있다.

잠재인자 연산부(220)는 수집된 풀이결과 데이터로부터 적어도 하나의 잠재인자(Latent Factor)를 연산할 수 있다. 잠재인자는 풀이결과 데이터에 내재된 요소로, 정답 확률 예측의 근거 요소로 설명될 수 있다.

잠재인자의 종류에 따라 문제 또는 사용자는 카테고리화 될 수 있다. 학습 컨텐츠 추천 시스템(50)은 잠재인자의 종류와 각 잠재인자의 값들을 고려하여 문제와 사용자의 특성을 파악할 수 있다. 문제와 사용자의 특성이 잠재인자를 통해 미리 파악되었기 때문에 인공지능 모델의 학습을 보다 효율적으로 수행할 수 있고 정답 확률 예측의 정확성을 높일 수 있다.

예를 들어, 풀이결과 데이터로부터 연산된 세 개의 잠재인자가 있다고 가정할 수 있다. 이때 각각의 잠재인자는 1) 문제 유형(Reading, Listening, Speaking, …), 2) 문제 난이도(상, 중, 하), 3) 문제 카테고리(to부정사, 동명사, 전치사, 주제추론, 사실관계 파악, …)을 나타낼 수 있을 것이다. 이는 하나의 예시일 뿐이며, 연산된 잠재인자가 의미하는 바는 실시 예에 따라 다양하게 정의될 수 있다.

잠재인자는 다양한 수학적 기법을 활용하여 연산될 수 있다. 예를 들어, 잠재인자는 행렬 분해(Matrix Factorization)를 이용하여 연산될 수 있다. 행렬 분해는 후술되는 도 2를 통해 보다 상세하게 설명하도록 한다.

잠재인자 연산부(220)는 인공신경망의 성능을 고려하여 잠재인자의 개수를 조정할 수 있다. 잠재요인의 개수는 하이퍼파라미터로 임의로 조정되거나, 교차 검증(Cross Validation)을 통해 최적의 값을 찾아나가는 방법으로 조정될 수 있다.

예를 들어, 잠재요인의 개수를 N개로 설정하였을 때보다 N+1개로 설정하였을 때의 인공신경망 성능이 더 우수할 수 있다. 이 경우 잠재인자 연산부(220)는 잠재인자를 N+1개로 일단 설정하고, 다시 잠재인자가 N+2개인 경우와 비교하는 방법으로 최적의 성능을 가지는 잠재인자 개수를 찾아나갈 수 있다.

또한, 잠재인자 연산부(220)는 결정된 잠재인자들이 가지는 의미를 분석하여 컨텐츠 추천에 사용할 수 있다. 각 잠재인자들은 서로 다른 의미를 포함하기 때문에 사용자 맞춤형 문제 추천에서 가지는 중요성이 서로 다를 수 있다.

잠재인자 연산부(220)는 특정 잠재인자에 가중치를 부여하여 인공신경망을 학습시켰을 때 사용자의 학습 효율이 더 향상되었다고 판단되는 경우, 상기 특정 잠재인자에 가중치를 부여하는 방법으로 초기 임베딩 벡터를 결정할 수 있다. 실시 예에 따라, 가중치가 부여되는 잠재인자는 하나 이상일 수 있다.

임베딩 수행부(230)는 잠재인자를 기초로 생성된 초기 임베딩 벡터의 가중치를 조정하여, 인공신경망 학습에 사용될 최종적인 임베딩 벡터를 결정할 수 있다.

구체적으로, 임배딩 수행부(230)는 잠재인자를 기초로 이산된 상기 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성된 초기 임베딩 벡터를 생성하고, 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 임베딩 벡터로 결정할 수 있다.

임베딩 수행부(230)는 인공신경망에 초기 임베딩 벡터를 입력하여 얻은 예측값과 실제값을 비교하여 오차를 줄이는 방향으로 초기 임베딩 벡터를 조정할 수 있다. 이러한 과정은 미리 설정된 값 이내의 오차를 가질 때까지 반복하여 수행될 수 있다.

이 과정은 가중치를 조정으로 지칭될 수 있으며, 일 예로 경사하강법(Gradient Decent Algorithm)을 통해 오차를 최소화하는 방법으로 가중치를 조정하여 최종적인 임베딩 벡터를 결정할 수 있다.

후술되는 도 3 및 도 4는 임베딩 수행부(230)가 초기 임베딩 벡터의 가중치를 조정하여 최종적인 임베딩 벡터를 결정하는 과정을 설명하고 있다. 구체적으로 도 3은 사용자 임베딩 벡터의 가중치 조정을, 도 4는 문제 임베딩 벡터의 가중치 조정을 설명하기 위한 도면이다.

정답확률 예측부(240)는 임베딩 벡터를 통해 학습된 인공신경망을 통해 임의의 문제에 대한 사용자의 정답확률을 예측할 수 있다. 사용자 임베딩 벡터와 문제 임베딩 벡터로 학습된 인공신경망은, 이후 새로운 문제가 입력되면 해당 사용자가 문제를 맞힐 확률을 예측할 수 있다.

본 발명의 실시 예에 따른 학습 컨텐츠 추천 방법에 따르면, 인공신경망이 문제를 보는 관점과 협업 필터링이 보는 관점은 서로 다르기 때문에 인공신경망이 잡아내지 못하는 특징을 협업 필터링이 잡아낼 수 있는 효과가 있다.

전술한 경사하강법에서, 인공신경망은 전체 최소값(global minimum)에 도달하지 못하고 국소 최소값(local minimum)에 갇힐 수 있다는 문제가 알려져 있다. 이는 오차가 최소가 되는 가중치가 아닌데도 불구하고, 최소가 되는 가중치로 업데이트 했다고 잘못 인식하는 문제로, 전체 함수에서의 최소값이 아닌 가중치 조정을 시작한 부근에서의 최소값을 최적의 오차값으로 착각하는 오류이다.

이러한 인공신경망의 문제는 협업 필터링을 접목시킴으로써 해결될 수 있다. 협업 필터링에서는 행렬 분해(Matrix Factorization) 등을 통해 전체 최소값(global minimum)을 찾을 수 있기 때문에 인공신경망에서 발생될 수 있는 문제를 협업 필터링을 통해 극복할 수 있는 효과가 있다.

도 2는 본 발명의 실시 예에 따른, 협업 필터링 접근법으로 풀이결과 데이터로부터 잠재인자를 연산하는 과정을 설명하기 위한 도면이다.

도 2를 참조하면, 풀이결과 데이터(R)는 M 개의 사용자 행과 N 개의 문제 열로 구성된 M X N 행렬로 표현될 수 있다.

풀이결과 데이터(R)는 사용자 데이터(P)와 문제 데이터(Q)로 분해될 수 있다. 잠재요인이 K 개라고 가정하면, 사용자 데이터(P)는 M X K 행렬로, 문제 데이터(Q)는 K X N 행렬로 각각 분해될 수 있다.

도 2의 실시 예에서, 사용자 데이터(P)의 각 행(사용자1, 사용자2, 사용자3, …, 사용자M)은 초기 사용자 임베딩 벡터로 사용될 수 있다. 또한, 문제 데이터(Q)의 각 열(문제1, 문제2, 문제3, …, 문제N)은 초기 문제 임베딩 벡터로 사용될 수 있다.

잠재요인의 개수는 하이퍼 파라미터로 임의로 조정하거나, 교차 검증(Cross Validation)을 통해 최적의 값을 찾아나가는 방법으로 조정될 수 있다. 잠재요인은 풀이결과 데이터에서 추출될 수 있는 내재적 의미를 내포할 수 있다.

행렬 분해를 통해 연산된 잠재인자는, 이후 인공신경망에서 초기 임베딩 벡터로 사용될 수 있다. 이때 연산된 복수의 잠재인자들(잠재인자a1, 잠재인자a2, 잠재인자b1, 잠재인자b2, …) 중 어떤 잠재인자를 초기 임베딩 벡터로 사용할지가 결정할 필요가 있다.

예를 들어, 학습 컨텐츠 추천 시스템은 잠재인자a1을 초기 사용자 임베딩 벡터로 결정할 수도, 또는 잠재인자a2를 초기 사용자 임베딩 벡터로 결정할 수도 있을 것이다. 문제 데이터에 대해서는, 학습 컨텐츠 추천 시스템은 잠재인자b1을 초기 문제 임베딩 벡터로 결정할 수도, 또는 잠재인자b2를 초기 문제 임베딩 벡터로 결정할 수도 있을 것이다.

일 실시 예에서, 임베딩 수행부(230)는 연산된 잠재인자를 임의로 또는 순차적으로 초기 임베딩 벡터로 사용하여 인공신경망 모델을 학습시킬 수 있다. 이후 학습된 인공신경망의 정답 확률 예측 성능을 기초로 사용할 잠재인자의 종류를 결정할 수 있다.

다른 실시 예에서, 임베딩 수행부(230)는, 각 잠재인자들이 가지는 의미를 기초로 초기 임베딩 벡터로 사용할 잠재인자의 종류를 결정할 수 있다. 앞서, 임베딩 수행부(230)가 잠재의미의 의미를 분석하여 컨텐츠 추천에 사용할 수 있음을 설명하였다.

학습 컨텐츠 추천 시스템은 문제 카테고리, 문제 유형, 문제 난이도, 사용자 연령, 사용자 실력 등 유의미한 값을 가진다고 판단된 잠재인자를 초기 임베딩 벡터로 사용할 수 있다.

초기 임베딩 벡터로 인공신경망의 학습을 수행해가며 실제값과의 오차를 줄여나가는 가중치 조정을 거쳐 최종적인 임베딩 벡터로 결정될 수 있다.

도 3은 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 사용자 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 사용자의 풀이결과 데이터로부터 잠재인자를 연산하고, 1) 잠재인자로부터 결정된 초기 사용자 임베딩 벡터와, 2) 초기 사용자 임베딩 벡터에서 가중치를 조정하여 결정된 사용자 임베딩 벡터를 도시하고 있다.

종래에는 사용자의 정답확률을 예측하는 인공신경망의 학습에 사용될 임베딩 벡터를 무작위로 초기화하는 방식을 사용하였다. 예를 들어, 초기 임베딩 벡터에 0을 기준으로 -1에서 +1 사이의 값을 무작위로 부여하는 방식이었다.

이러한 방법 하에서는 임의의 값이 부여된 초기 임베딩 벡터를 사용하기 때문에 인공신경망의 학습 시간이 길고 최종적인 성능 또한 떨어진다는 문제가 있었다.

도 3을 참조하면, 사용자1 내지 사용자3의 초기 사용자 임베딩 벡터의 가중치(Dim0, Dim1, Dim2, …, Dim48, Dim49)가 전술한 도 2의 잠재인자를 사용해 부여된 것을 도시하고 있다.

도 3의 가중치들은 종래의 -1 부터 +1 사이의 임의의 값이 아니라 잠재인자를 사용해 부여되었기 때문에, 최종적인 사용자 임베딩 벡터에 도달하는 학습 시간이 빠르고 최종성능 또한 우수하다는 장점이 있다.

도 4는 본 발명의 일 실시 예에 따른, 잠재인자를 사용하여 문제 임베딩 벡터를 결정하는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 마찬가지로 문제1 내지 문제4의 초기 문제 임베딩 벡터의 가중치(Dim0, Dim1, Dim2, …, Dim48, Dim49)가 전술한 도 2의 잠재인자를 사용해 부여된 것을 도시하고 있다.

도 4의 가중치들은 종래의 -1 부터 +1 사이의 임의의 값이 아니라 잠재인자를 사용해 부여되었기 때문에, 최종적인 문제 임베딩 벡터에 도달하는 학습 시간이 빠르고 최종성능 또한 우수하다는 장점이 있다.

도 5는 본 발명의 실시 예에 따른, 학습 문제 추천 시스템의 동작방법을 설명하기 위한 순서도이다.

도 5를 참조하면, S501 단계에서, 학습 문제 추천 시스템은 사용자 단말로부터 사용자의 풀이결과 데이터를 수집할 수 있다. 또한, 학습 문제 추천 시스템은 이전에 수집된 사용자들의 풀이결과 데이터를 순차적으로 불러와 저장할 수도 있다.

S503 단계에서, 학습 문제 추천 시스템은 수집된 풀이결과 데이터를 분석하여 적어도 하나 이상의 잠재인자를 연산할 수 있다. 잠재인자는 행렬 분해(Matrix Factorization)를 이용하여 연산될 수 있다.

잠재인자는 인공신경망의 성능을 고려하여 그 개수가 조정될 수 있다. 잠재요인의 개수는 하이퍼파라미터로 임의로 조정되거나, 교차 검증(Cross Validation)을 통해 최적의 값을 찾아나가는 방법으로 조정될 수 있다.

S505 단계에서, 학습 문제 추천 시스템은 잠재인자를 통해 풀이결과 데이터를 인공신경망이 이해할 수 있는 값으로 나타낸 초기 임베딩 벡터를 생성할 수 있다.

이후, S507 단계에서, 학습 문제 추천 시스템은 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 최종적인 임베딩 벡터를 생성할 수 있다. 임베딩 벡터는 문제 임베딩 벡터와 사용자 임베딩 벡터를 포함할 수 있다.

가중치 조정은 인공신경망에 초기 임베딩 벡터를 입력하여 얻은 예측값과 실제값을 비교하여 오차를 줄이는 방향으로 초기 임베딩 벡터를 조절하는 방법이다. 이러한 과정은 미리 설정된 값 이내의 오차를 가질 때까지 반복하여 수행될 수 있다.

S509 단계에서, 학습 문제 추천 시스템은 임베딩 벡터로 인공신경망의 학습을 수행할 수 있다. 이후, S511 단계에서, 학습 문제 추천 시스템은 학습된 인공신경망으로 임의의 문제에 대한 사용자의 정답 확률을 예측할 수 있다.

도 6은 도 5의 S505 내지 S507 단계를 보다 상세하게 설명하기 위한 순서도이다.

도 6을 참조하면, S601 단계에서, 학습 컨텐츠 추천 시스템은 잠재인자를 통해 풀이결과를 사용자 별로 나타낸 초기 사용자 임베딩 벡터를 생성할 수 있다. 또한, 학습 컨텐츠 추천 시스템은 잠재인자를 통해 풀이결과 데이터를 문제 별로 나타낸 초기 문제 임베딩 벡터를 생성할 수 있다.

생성된 초기 사용자 임베딩 벡터와 초기 문제 임베딩 벡터는 인공신경망에 입력될 수 있다. S603 단계에서, 학습 컨텐츠 추천 시스템은 초기 사용자 임베딩 벡터와 초기 문제 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 최종적인 사용자 임베딩 벡터와 문제 임베딩 벡터를 생성할 수 있다.

이후, S605 단계에서, 사용자 임베딩 벡터와 문제 임베딩 벡터는 인공신경망에 입력되어 정답 확률 예측을 위한 학습에 사용될 수 있다.

도 7은 본 발명의 실시 예에 따른, 사용자에게 추천할 학습 컨텐츠를 결정하는 방법을 설명하기 위한 순서도이다.

도 7을 참조하면, S701 단계에서, 학습 컨텐츠 추천 시스템은 학습 컨텐츠 데이터를 자연어 처리하여 학습 컨텐츠 벡터를 생성할 수 있다.

S703 단계에서, 학습 컨텐츠 추천 시스템은, 학습 컨텐츠 벡터가 학습 컨텐츠의 실제 카테고리에 포함되도록 가중치 조정을 수행할 수 있다. 구체적으로, 학습 컨텐츠 벡터는 가중치 조정을 통해 예측값과 실제값 사이의 오차가 미리 설정된 오차 보다 작도록 조정하는 방법으로 해당되는 카테고리에 포함시킬 수 있다.

S705 단계에서, 학습 컨텐츠 추천 시스템은 문제 별로 예측된 사용자의 정답 확률과 학습 컨텐츠의 카테고리를 기초로, 사용자에게 추천할 학습 컨텐츠를 결정할 수 있다.

예를 들어, 예측된 정답 확률이 낮은 문제를 추천 문제로 결정하는 경우, 해당 문제가 포함된 학습 컨텐츠의 카테고리에 포함된 문제들 중 적어도 어느 하나를 같이 추천해줄 문제로 결정할 수 있다.

S707 단계에서, 학습 컨텐츠 추천 시스템은 결정된 학습 컨텐츠를 사용자에게 제공할 수 있다.

본 발명의 학습 문제 추천 시스템 및 그것의 동작방법은, 학습 컨텐츠 데이터를 자연어 처리하여 얻은 학습 컨텐츠 벡터와 예측된 사용자 정답확률을 기초로 사용자에게 추천할 학습 컨텐츠를 결정함으로써, 향상된 성능을 가지는 인공신경망을 통해 사용자에게 추천할 학습 컨텐츠를 결정할 수 있는 효과가 있다.

본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서의 통상의 지식을 가진 자들에게 자명한 것이다.

50: 학습 문제 추천 시스템
100: 사용자 단말
200: 학습 문제 추천 장치
210: 풀이결과 데이터 수집부
220: 잠재인자 연산부
230: 임베딩 수행부
240: 정답확률 예측부

Claims (8)

1. 잠재인자에 기반한 협업 필터링을 사용하여 정답확률을 예측하는 학습 컨텐츠 추천 시스템에 있어서,
   사용자 단말과 유무선으로 통신하며 사용자가 풀이한 문제에 대한 풀이결과 데이터를 수집하는 풀이결과 데이터 수집부;
   상기 풀이결과 데이터로부터, 정답 확률 예측의 근거 요소가 되는 상기 잠재인자를 적어도 하나 이상 연산하는 잠재인자 연산부-상기 잠재인자는 문제 유형, 문제 난이도 및 문제 카테고리 중 적어도 하나와 관련된 것임-;
   상기 잠재인자를 기초로 이산된 상기 풀이결과 데이터 값을 인공신경망이 이해할 수 있는 연속적인 숫자로 구성되며 초기 사용자 벡터와 초기 문제 벡터를 포함하는 초기 임베딩 벡터를 생성하고, 상기 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 임베딩 벡터로 결정하는 임베딩 수행부; 및
   상기 결정된 임베딩 벡터를 사용하여 학습된 인공신경망을 통해, 임의의 문제에 대한 사용자의 정답확률을 예측하는 정답확률 예측부;를 포함하되,
   상기 잠재인자 연산부는 상기 인공신경망의 정답 확률 예측 성능에 기반하여 잠재인자의 개수 또는 잠재인자의 종류를 결정하고, 결정된 상기 잠재인자의 개수 또는 상기 잠재인자의 종류에 기반하여 상기 풀이결과 데이터로부터 상기 잠재인자를 연산하도록 구성되되,
   상기 임베딩 수행부는, 행렬 분해를 통하여, 상기 풀이 결과 데이터로부터 제1 인자에 대한 사용자 데이터와 제2 인자에 대한 사용자 데이터를 포함하는 사용자 행렬 및 제3 인자에 대한 문제 데이터와 제4 인자에 대한 문제 데이터를 포함하는 문제 행렬을 생성하고, 상기 인공신경망의 정답 확률 예측 성능, 상기 제1 인자 및 상기 제2 인자의 의미, 및 상기 제1 인자 및 상기 제2 인자의 값 중 적어도 하나에 기반하여 상기 제1 인자 및 상기 제2 인자 중 적어도 하나를 초기 사용자 벡터로 결정하고, 상기 인공신경망의 정답 확률 예측 성능, 상기 제3 인자 및 상기 제4 인자의 의미, 및 상기 제3 인자 및 상기 제4 인자의 값 중 적어도 하나에 기반하여 상기 제3 인자 및 상기 제4 인자 중 적어도 하나를 초기 문제 벡터로 결정하도록 구성되는,
   학습 컨텐츠 추천 시스템.
   
2. 제1항에 있어서, 상기 잠재인자 연산부는,
   상기 잠재인자가 가지는 의미를 분석하여 컨텐츠 추천에 사용하는 학습 컨텐츠 추천 시스템.
   
3. 제2항에 있어서, 상기 잠재인자 연산부는,
   특정 잠재인자에 가중치를 부여하여 상기 인공신경망을 학습시켰을 때 사용자의 학습 효율이 더 향상되었다고 판단되는 경우, 상기 특정 잠재인자에 가중치를 부여하여 상기 초기 임베딩 벡터를 생성하는 학습 컨텐츠 추천 시스템.
   
4. 제3항에 있어서, 상기 임베딩 수행부는,
   상기 초기 임베딩 벡터를 입력하여 얻은 예측값과 실제값을 비교하여 오차를 줄이는 방향으로 상기 초기 임베딩 벡터의 가중치를 조정하고, 상기 가중치 조정은 미리 설정된 값 이내의 오차를 가질 때까지 반복되어 수행되는 학습 컨텐츠 추천 시스템.
   
5. 제4항에 있어서, 상기 임베딩 수행부는,
   상기 잠재인자를 임의로 또는 순차적으로 상기 초기 임베딩 벡터로 사용하여 인공신경망 모델을 학습시키고, 이후 상기 학습된 인공신경망의 정답 확률 예측 성능을 기초로 최종적으로 초기 임베딩 벡터로 사용할 잠재인자의 종류를 결정하는 학습 컨텐츠 추천 시스템.
   
6. 제1 항에 있어서,
   상기 임베딩 수행부는,
   상기 초기 사용자 벡터를 가중치 조정하여 사용자 임베딩 벡터를 연산하고, 상기 초기 문제 벡터를 가중치 조정하여 문제 임베딩 벡터를 연산하도록 구성된,
   학습 컨텐츠 추천 시스템.
   
7. 제1 항에 있어서,
   상기 학습 컨텐츠 추천 시스템은,
   사용자의 상기 정답 확률과 학습 컨텐츠의 카테고리를 기초로 추천 컨텐츠를 결정하는 학습 컨텐츠 추천부;를 더 포함하되,
   상기 학습 컨텐츠 추천부는, 학습 컨텐츠의 데이터를 획득하고, 상기 학습 컨텐츠의 데이터를 자연어 처리하여 학습 컨텐츠 벡터를 생성하고, 상기 학습 컨텐츠 벡터의 가중치를 조정하여 상기 학습 컨텐츠의 카테고리를 결정하고, 상기 학습 컨텐츠의 카테고리 및 사용자의 상기 정답 확률에 기반하여 상기 추천 컨텐츠를 결정하도록 구성되는,
   학습 컨텐츠 추천 시스템.
   
   
8. 잠재인자 기반의 협업 필터링을 사용하여 정답 확률을 예측하는 학습 컨텐츠 추천 시스템의 동작방법에 있어서,
   사용자 단말로부터 사용자의 풀이결과 데이터를 수집하고, 상기 풀이결과 데이터로부터 정답 확률 예측의 근거 요소가 되는 잠재인자를 연산하는 단계;
   상기 잠재인자를 사용하여, 상기 풀이결과 데이터를 인공신경망이 이해할 수 있는 숫자로 구성되며 초기 사용자 벡터와 초기 문제 벡터를 포함하는 초기 임베딩 벡터를 생성하는 단계-상기 잠재인자는 문제 유형, 문제 난이도 및 문제 카테고리 중 적어도 하나와 관련된 것임-;
   상기 초기 임베딩 벡터를 가중치 조정하여, 인공신경망 학습에 사용될 임베딩 벡터를 생성하고, 상기 임베딩 벡터로 인경신경망의 학습을 수행하는 단계; 및
   상기 학습된 인공신경망으로 임의의 문제에 대한 사용자의 정답 확률을 예측하고, 상기 사용자 단말에 제공하는 단계;를 포함하되,
   상기 초기 임베딩 벡터를 생성하는 단계는,
   상기 인공신경망의 정답 확률 예측 성능에 기반하여 잠재인자의 개수 또는 잠재인자의 종류를 결정하는 단계;
   상기 결정된 잠재인자의 개수 또는 상기 잠재인자의 종류에 기반하여 상기 풀이결과 데이터로부터 상기 잠재인자를 연산하는 단계;
   상기 풀이 결과 데이터로부터, 행렬 분해를 통하여, 제1 인자에 대한 사용자 데이터와 제2 인자에 대한 사용자 데이터를 포함하는 사용자 행렬, 및 제3 인자에 대한 문제 데이터와 제4 인자에 대한 문제 데이터를 포함하는 문제 행렬을 생성하는 단계; 및
   상기 인공신경망의 정답 확률 예측 성능, 상기 제1 인자 및 상기 제2 인자의 의미, 및 상기 제1 인자 및 상기 제2 인자의 값 중 적어도 하나에 기반하여 상기 제1 인자 및 상기 제2 인자 중 적어도 하나를 초기 사용자 벡터로 결정하고, 상기 인공신경망의 정답 확률 예측 성능, 상기 제3 인자 및 상기 제4 인자의 의미, 및 상기 제3 인자 및 상기 제4 인자의 값 중 적어도 하나에 기반하여 상기 제3 인자 및 상기 제4 인자 중 적어도 하나를 초기 문제 벡터로 결정하는 단계;를 더 포함하는,
   학습 컨텐츠 추천 시스템의 동작방법.

Images