WO2021251690A1

WO2021251690A1 - 인공 지능 학습 기반의 학습 컨텐츠 추천 시스템 및 그것의 동작 방법

Info

Publication number: WO2021251690A1
Application number: PCT/KR2021/007001
Authority: WO
Inventors: 이영남; 최영덕; 조중현; 노현빈; 황찬유; 이용구
Original assignee: (주)뤼이드
Priority date: 2020-06-09
Filing date: 2021-06-04
Publication date: 2021-12-16
Also published as: KR102213476B1; US20220398486A1

Abstract

본 발명은, 특정 문제에 대한 사용자의 정답 확률을 보다 높은 정확도로 예측하고, 보다 증가된 효율성을 가지는 학습 컨텐츠를 제공하기 위한 발명으로, 사용자에게 복수의 문제들에 관한 정보를 포함하는 문제 정보를 전송하는 단계, 상기 복수의 문제들에 대한 사용자의 응답에 관한 풀이 결과 정보를 수신하는 단계 및 상기 문제 정보와 상기 풀이 결과 정보를 기초로 사용자 특성 모델을 학습시키는 단계를 포함하고, 상기 사용자 특성 모델을 학습시키는 단계는, 상기 사용자 특성 모델에 입력되는 문제 순서에 따라, 정답 확률에 영향을 미치는 정도에 기초하여 상기 사용자 특성 모델에 가중치를 부여하는 단계를 포함하는 것을 특징으로 한다.

Description

인공 지능 학습 기반의 학습 컨텐츠 추천 시스템 및 그것의 동작 방법

본 발명은 인공지능 모델을 이용하여 사용자 특성 모델을 학습하고, 학습된 사용자 특성 모델을 기초로 사용자 맞춤형 학습 컨텐츠를 제공하기 위한 학습 컨텐츠 추천 시스템 및 그것의 동작 방법에 관한 것이다.

최근 4세대 인공 지능(Artificial Intelligence, AI)의 대표 기법이면서 머신 러닝(machine learning)의 한 분야인 딥러닝(deep learning)이 대두되고 있다. 이러한 딥러닝에서는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network),　LSTM(Long Short Term Memory) 방식의 신경망 등의 단일 망인 신경망을 활용하여 예측 데이터의 추론을 수행한다. 특히 RNN의 경우 다양한 형태의 정보를 사용하여 인공신경망을 학습시킨 후 학습 결과를 사용하여 데이터 예측을 수행한다. 그러나 오래전에 학습된 정보를 잃어버려서 결과적으로 데이터 예측이 제대로 수행되지 않는 문제가 있었다. 이러한 RNN의 단점을 해결하기 위해　LSTM　방식의 신경망이 사용되기 시작하였다.

LSTM은 피드백 연결을 가지며, 단일 데이터뿐만 아니라 전체 데이터 시퀀스도 처리할 수 있다. LSTM에서는 가장 최근에 입력된 데이터를 처리할 때 그 이전에 입력된 데이터들의 처리값들 역시 입력받기 때문에 시퀀스 데이터의 장기 기억을 처리하는데 적합하다. LSTM에서는 출력 결과를 예측하는 매 시점마다 전체 입력 데이터의 처리값들을 다시 참고하는데, 출력 결과와 연관된 데이터에 집중(attention, 어텐션, 가중치)한다. 이러한 학습 과정을 통해 인공 신경망의 각 노드 간의 가중치를 조절하며 원하는 추론 결과를 획득할 수 있도록 인공 신경망이 학습될 수 있다.

종래 전술한 CNN, RNN, LSTM 등 다양한 형태의 인공지능 모델들이 다양한 분야에서 원하는 추론값을 얻기 위해 사용되었다. 그러나, 사용자에게 제공할 수 있는 학습 문제와 이에 대한 사용자의 응답 수가 한정되어 있기 때문에, 학습 문제와 사용자 응답 쌍의 데이터 시퀀스 효율을 극대화하여 학습 컨텐츠와 사용자의 상호 작용을 효율적으로 모델링 하는 것이 핵심인 교육 분야에서, 최적의 인공지능 모델이 무엇인지, 입력되는 데이터 포맷을 어떻게 구성할 경우 보다 높은 정확도로 예측할 수 있는지에 관한 구체적인 연구가 부족한 문제가 있었다.

전술한 문제를 해결하기 위해, 본 발명의 실시 예에 따른 학습 컨텐츠 추천 방법은, 교육 분야에 가중치(attention) 개념을 가지는 양방향 LSTM 구조의 인공지능 모델을 도입하여, 사용자가 풀이한 문제 및 상기 문제의 응답을 기초로 정답 확률 예측에 영향을 미치는 정도에 따라 포워드 시퀀스 및 백워드 시퀀스로 가중치를 부여하여 인공신경망을 학습시킴으로써, 보다 높은 정확도로 특정 문제에 대한 사용자의 정답 확률을 예측할 수 있다.

또한 본 발명의 실시 예에 따른 학습 컨텐츠 추천 방법은, 동적으로 유저의 상태를 업데이트하기 어려운 문제를 해결하기 위해, 유저가 풀이한 문제 및/또는 유저가 풀이한 문제의 문제 풀이 결과만 가지고 유저의 상태를 정의할 수 있다.

또한 본 발명의 실시 예에 따른 학습 컨텐츠 추천 방법은, 새로운 학습 컨텐츠를 만들기 어렵고 비싼 교육 분야에서, 어텐션(attention)을 사용한 복습 문제 추천 방식을 도입하여 학습 효율을 높일 수 있는 효과가 있다.

본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템의 동작 방법은, 특정 문제에 대한 사용자의 정답 확률을 보다 높은 정확도로 예측하고, 보다 증가된 효율성을 가지는 학습 컨텐츠를 제공하기 위한 발명으로, 사용자에게 복수의 문제들에 관한 정보를 포함하는 문제 정보를 전송하는 단계, 상기 복수의 문제들에 대한 사용자의 응답인 풀이 결과 정보를 수신하는 단계 및 상기 문제 정보와 상기 풀이 결과 정보를 기초로 사용자 특성 모델을 학습시키는 단계를 포함하고, 상기 사용자 특성 모델을 학습시키는 단계는, 상기 사용자 특성 모델에 입력되는 문제 순서에 따라, 정답 확률에 영향을 미치는 정도에 기초하여 상기 사용자 특성 모델에 가중치를 부여하는 단계를 포함한다.

본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템은, 복수의 문제들에 관한 정보인 문제 정보, 상기 복수의 문제들에 대한 사용자의 응답인 풀이 결과 정보 또는 학습 컨텐츠를 저장하는 학습 정보 저장부, 상기 문제 정보와 상기 풀이 결과 정보를 기초로 사용자 특성 모델을 학습시키는 사용자 특성 모델 학습 수행부를 포함하고, 상기 사용자 특성 모델 학습 수행부는, 상기 사용자 특성 모델에 입력되는 문제 순서에 따라, 정답 확률에 영향을 미치는 정도에 기초하여 상기 사용자 특성 모델에 가중치를 부여하는 단계를 포함한다.

본 발명은 사용자가 풀이한 문제 및 상기 문제의 응답을 포워드 시퀀스 및 백워드 시퀀스로 가중치를 부여한 양방향 LSTM 구조의 인공지능 모델을 통해, 제한된 문제 정보와 사용자의 응답 정보만으로도 특정 문제에 대한 사용자의 정답 확률을 보다 높은 정확도로 예측할 수 있는 효과가 있다. 나아가 본 발명은 상기 인공지능 모델을 통해 문제 벡터를 문제의 특성이 보다 잘 반영되도록 표현할 수 있어, 문제 벡터로부터 해당 문제의 특성을 해석하기 용이한 효과가 있다.

또한, 본발명을 따르면 교육 도메인에서 가중치 개념을 도입하고, 문제 가중치를 사용자가 풀지 않은 문제에 대한 정답 확률 예측에 영향을 준 상기 사용자가 풀이한 문제 데이터의 중요도 분포로 정의하여, 학습 컨텐츠를 사용자가 자주 틀리는 문제에 대응되는 문제 벡터의 유사성이 아닌 정답 확률을 예측하는데 높은 영향을 준 문제를 기초로 추천함으로써, 보다 증가된 효율성을 가지는 학습 컨텐츠를 제공할 수 있는 효과가 있다.

나아가 본 발명은 양방향 LSTM 구조의 인공지능 모델을 통해 추상화되어 표현된 문제 벡터를 해석하는 방법을 제공할 수 있고, 유저의 상태를 유저가 풀이한 문제 및/또는 유저가 풀이한 문제의 문제 풀이 결과만으로 정의하여 동적으로 유저의 상태를 업데이트하기 어려운 문제를 해결할 수 있으며, 새로운 학습 컨텐츠를 만들기 어렵고 비싼 교육 분야에서, 어텐션(attention)을 사용한 복습 문제 추천 방식을 도입하여 학습 효율을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템을 설명하기 위한 도면이다.

도 2는 도 1의 학습 컨텐츠 추천 시스템의 동작을 상세하게 설명하기 위한 도면이다.

도 3은 본 발명의 실시 예에 따른, 문제 정보를 연산하여 추천할 문제를 결정하는 동작을 설명하기 위한 도면이다.

도 4는 본 발명의 실시 예에 따른, 가중치가 부여된 풀이 결과 정보와 태그 매칭 비율의 상관 관계를 설명하기 위한 도면이다.

도 5는 본 발명의 실시 예에 따른, 학습 컨텐츠 추천 시스템의 동작을 설명하기 위한 순서도이다.

도 6은 도 5의 S505 단계를 상세하게 설명하기 위한 도면이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 단계적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 별명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 서술된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1을 참조하면, 학습 컨텐츠 추천 시스템(50)은 사용자 특성 모델 학습 수행부(100), 학습 정보 저장부(200) 및 학습 컨텐츠 제공부(300)을 포함할 수 있다.

본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)은, 사용자에게 문제를 제공하고, 이에 대한 사용자의 풀이 결과 정보를 수신할 수 있다. 문제 정보와 해당 문제에 대한 풀이 결과 정보는 매칭되어 학습 정보 저장부(200)의 사용자 학습 정보 저장부(230)에 저장될 수 있다.

종래 학습 컨텐츠를 제공하기 위한 플랫폼들은 사용자들과 학습 문제들의 연관관계를 분석하기 위해 협업 필터링(Collaborative filtering)을 사용하였다. 협업 필터링은 플랫폼 사용자의 모든 사용 기록 및 소비 기록을 입력시켜 그것을 근거로 불필요한 정보를 필터링해주는 기술이다.

협업 필터링에서는, 특정 사용자의 모든 문제 풀이 결과를 기초로 사용자 특성 모델을 학습(training)하며, 새로운 문제 또는 사용자의 풀이 결과 정보가 추가될 때마다 사용자 특성 모델을 다시 학습(re-training)시키는 방법으로 사용자 특성 모델을 학습시켜왔다. 그러나, 이러한 협업 필터링을 사용한 방법은 새로운 정보가 추가될 때마다 모델을 재학습해야 하므로 실시간 사용자 특성 모델링에 적합하지 않은 문제가 있다.

또한, 인공지능 모델이 최적의 정확도를 가지도록 학습시키기 위해서는 가능한 많은 양의 문제 정보와 이에 대한 사용자의 풀이 결과 정보가 필요하다. 협업 필터링은 기존에 수집된 개개인의 사용자 학습 정보를 기초로, 같은 성향이나 특징을 가진 사용자는 비슷한 선택을 할 것이라는 가정에서 출발한다. 따라서, 해당 사용자의 사용자 학습 정보가 충분히 없는 초기에는 학습 컨텐츠를 제대로 추천할 수 없는 문제가 있다.

늘어나는 사용자 수에 비해 사용자에게 제공되는 문제는 제한적일 수밖에 없다. 따라서, 한정된 수의 문제와 이에 대한 사용자의 응답을 통해 사용자 특성 모델을 학습시키는 것은 사용자의 개별 특성을 분석하기 위해 반드시 풀어야할 숙제이다. 사용자 학습 정보는 특정 문제에 대한 사용자의 풀이 결과 정보, 사용자의 예상 점수, 취약한 문제 유형에 관한 정보, 특정 사용자에게 최적의 학습 효율을 가지는 학습 컨텐츠에 관한 정보 등을 포함할 수 있다.

학습 컨텐츠 추천 시스템(50)은 사용자 개개인의 사용자 학습 정보를 모두 알고 있어야만 학습 컨텐츠의 추천이 가능한 협업 필터링과 다르게, 이미 학습을 수행한 다른 사용자들의 방대한 사용자 학습 정보를 기초로 사용자 특성 모델을 학습시킨 후, 이를 통해 신규 유입된 사용자에게 최소한의 진단 문제 풀이만으로 최적화된 학습 컨텐츠를 제공할 수 있다.

구체적으로, 본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)은 사용자가 풀이한 문제들의 벡터를 가지고 사용자 벡터를 생성할 수 있기 때문에, 사전에 학습된 사용자 벡터가 없어도 실시간으로 개개인의 사용자 학습 정보에 대한 사용자 벡터를 만들 수 있다. 반면, 협업 필터링은 정답 확률을 예측하기 위해 사전에 사용자 개개인의 사용자 벡터가 필요하기 때문에 새로운 사용자가 유입될 때마다 사용자 벡터를 생성하기 위해 새로운 학습을 수행해야 하는 비효율성이 있다.

이처럼 본 발명의 실시 예에 따른 사용자 모델링은 사용자가 풀이한 문제 및/또는 사용자가 풀이한 문제의 문제 풀이 결과만을 가지고 유저의 상태를 정의하기 때문에, 기존에 동적으로 유저의 상태를 업데이트하기 어려운 문제를 해결할 수 있다. 이러한 사용자 모델링에는 다양한 방법이 사용될 수 있는데, 일 실시 예로 사용자가 특정 시점에 사용자가 풀이한 문제를 나타내는 문제 벡터(또는 풀이한 문제 풀이 순서로 표현되는 문제 벡터)를 상기 문제의 풀이 결과를 나타내는 문제 풀이 결과 벡터와 내적하여 생성하거나, 사용자의 정오답 여부를 보다 정확하게 반영할 수 있도록 조정된 가중치를 문제 벡터와 내적하여 생성할 수 있다. 이는 예시일 뿐이며 문제 풀이 결과만 가지고 사용자 벡터를 생성하는 방법은 실시 예에 따라 다양할 수 있다.

본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)은, 협업 필터링과 달리 사용자의 특성을 표현하기 위하여 시간 지수를 추가할 수 있다. 예를 들어, 학습 컨텐츠 추천 시스템(50)은 종래 자연어 처리 분야에서 사용되던 양방향 LSTM 기반의 인공지능 모델을 교육 도메인에 적용하여 문제 및 사용자 모델을 생성할 수 있다.

구체적으로, 본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)은, 해당 사용자의 문제 풀이 시퀀스를 임베딩하여 사용자 벡터를 생성할 수 있으며, 순방향 및 역방향으로 LSTM 기반의 인공지능 모델을 학습시켜 신규 사용자가 유입될 때마다 사용자 특성 모델을 새롭게 학습시킬 필요 없이, 소량의 데이터만으로도 신규 사용자에게 가장 효율적인 학습 컨텐츠를 제공할 수 있다.

양방향 LSTM 구조의 인공지능 모델에서는, 인공지능 모델을 포워드 시퀀스로 사용자가 현재 문제 풀이한 순서대로 학습시키는 동시에 백워드 시퀀스로 사용자의 문제 풀이 순서와 반대로 학습시킴으로써, 특정 문제의 정오답 여부를 풀이시점 이후의 문제 풀이 결과와 연관시켜 분석할 수 있다.

예를 들어, 사용자가 과거에 5번 문제를 틀린 경우, 현재 10번 문제를 틀린 이유가 10번 문제와 유사한 유형을 가지는 5번 문제를 틀린 이유과 상관관계가 있기 때문이라고 해석할 수도 있고, 반대로 사용자가 과거에 5번 문제를 틀렸는데, 5번 문제를 틀린 이유가 현재 10번 문제를 틀린 이유와 상관관계가 있기 때문이라고 해석할 수도 있다.

교육 분야에서 1번부터 시작되는 문제 순서는 출제자가 임의로 결정한 것으로, 사용자의 학습 수준을 정확히 파악하고 최적의 학습 효율을 가지는 컨텐츠를 제공하기 위해서는 모든 문제에 대한 사용자의 풀이 결과를 종합적으로 분석할 필요가 있다.

양방향 LSTM 구조의 인공신경망 모델은 사용자가 과거에 풀이한 문제를 현재 풀이한 문제 풀이 결과를 가지고 분석할 수 있기 때문에 한정된 문제 개수를 가지는 교육 도메인 환경에서 보다 효율적으로 사용자의 학습 수준을 파악할 수 있다.

양방향 LSTM 구조의 인공지능 모델을 사용하면 새로운 학습 컨텐츠를 만들기 어렵고 비싼 교육 분야에서 한정된 학습 컨텐츠만을 가지고 학습 효율을 극대화시킬 수 있다. 특히 본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)은 어텐션 개념을 도입하여 정답 확률 예측에 영향을 미치는 정도에 따라 문제 정보에 가중치를 부여하여 복습 문제를 결정하기 때문에 보다 높은 정확도로 복습 문제를 결정할 수 있다.

나아가 특정 문제의 정오답 여부를 풀이시점 이후의 문제 풀이 결과와 연관시켜 분석할 수 있기 때문에 한정된 학습 컨텐츠로도 사용자가 자주 틀리거나 취약한 문제 유형을 보다 정확히 파악하고 재학습이 필요한 복습 문제를 추천할 수 있다. 정답 확률 예측에 미치는 영향이 높은 문제는 사용자가 자주 틀리는 문제(또는 문제유형), 동일한 유형의 문제이지만 사용자가 맞추는 빈도가 일정하지 않은 문제, 사용자가 잘 틀리지 않는 문제(또는 문제유형)을 포함할 수 있다.

사용자 특성 모델 학습 수행부(100)는 다수의 사용자에게 제공된 복수의 문제 정보와 이에 대한 사용자의 풀이 결과 정보를 매칭시킨 일련의 정보를 기초로 사용자 특성 모델을 학습시킬 수 있다. 사용자 특성 모델의 학습은 정답 확률 예측에 영향을 미치는 정도에 따라 문제 정보에 가중치를 부여하는 동작일 수 있다.

예를 들어, 사용자가 자주 틀리는 문제 유형은 사용자의 총점을 감소시키는 중요 유형의 문제일 수 있다. 이러한 문제는 가중치가 높게 부여되고, 이후 비슷한 문제 유형을 가지는 새로운 문제에 대해서 사용자의 정답 확률이 낮을 것으로 예측될 수 있다.

실시 예에서, 사용자가 잘 틀리지 않는 문제 유형은 사용자의 총점을 증가시키는 또 다른 의미의 중요 유형의 문제일 수 있다. 실시 예에 따라, 이러한 문제에 가중치가 높게 부여될 수도 있으며, 이후 비슷한 문제 유형을 가지는 새로운 문제에 대해서 사용자의 정답 확률이 높을 것으로 예측될 수 있다.

또 다른 실시 예에서, 동일한 유형의 문제이지만 사용자가 맞추는 빈도가 일정하지 않은 문제에도 가중치가 높게 부여될 수 있다. 이는 사용자는 해당 문제 유형에 대해 확립된 개념을 가지고 있지 못할 수 있기 때문이다. 이외에도 다양한 알고리즘에 따라 풀이 결과 정보에 가중치가 부여될 수 있다.

학습 정보 저장부(200)는 학습 컨텐츠 정보 저장부(210), 문제 정보 저장부(210), 사용자 학습 정보 저장부(230)를 포함할 수 있다.

학습 컨텐츠 정보 저장부(210)는 강의 또는 문제에 대한 설명 등을 텍스트, 동영상, 그림, 음성 등 다양한 방식으로 저장하고 있을 수 있다. 학습된 사용자 특성 모델에 기초하여 사용자에게 맞춤형 학습 컨텐츠가 제공될 때, 학습 컨텐츠 정보 저장부(210)는 학습 컨텐츠 제공부(300)의 요청에 응답하여 학습 컨텐츠 정보를 제공할 수 있다. 학습 컨텐츠 정보 저장부(210)는 관리자의 학습 컨텐츠 추가 또는 삭제에 따라 주기적으로 업데이트 되어 관리될 수 있다.

문제 정보 저장부(220)는 사용자에게 제공될 다양한 유형의 문제들을 저장하고 있을 수 있다. 문제 정보 저장부(220)는 사용자 특성 모델을 학습시키기 위해 사용자에게 제공되는 문제뿐만 아니라, 학습이 완료된 사용자 특성 모델을 기초로 최적의 학습 컨텐츠를 결정할 때, 사용자가 풀어보면 가장 도움이 될 것으로 예측되는 문제들을 저장할 수 있다.

사용자 학습 정보 저장부(230)는 특정 문제에 대한 사용자의 풀이 결과 정보를 저장할 수 있다. 나아가, 사용자 학습 정보 저장부(230)는 풀이 결과 정보를 기초로 사용자 특성 모델을 통해 예측된 해당 사용자의 예상 점수, 취약한 문제 유형에 관한 정보, 가장 학습 효율이 좋은 학습 컨텐츠에 관한 정보 등을 저장할 수 있다.

사용자 학습 정보는 사용자 특성 모델이 학습될 때마다 사용자의 변화되는 실력을 반영하여 업데이트 될 수 있다. 또한, 신규 사용자가 유입되면 신규 사용자의 풀이 결과 정보를 분석하여 사용자 학습 정보 저장부(230)에 추가로 저장할 수 있다.

학습 컨텐츠 제공부(300)는 사용자 특성 모델 학습 수행부(100)의 학습 결과에 따라 특정 사용자의 특정 문제에 대한 정답 확률을 예측하고, 이를 기초로 최적의 효율을 가지는 학습 컨텐츠를 제공할 수 있다.

본 발명의 실시 예에 따른 학습 컨텐츠 추천 시스템(50)에 따르면, 양방향 LSTM 구조의 인공지능 모델을 통해 제한된 문제 정보와 사용자의 응답 정보만으로도 특정 문제에 대한 사용자의 정답 확률을 보다 높은 정확도로 예측할 수 있는 효과가 있다.

또한, 학습 컨텐츠를 단순히 사용자가 자주 틀리는 문제에 대응되는 벡터의 유사성이 아닌, 정답 확률을 예측하는데 높은 영향을 준 문제(가중치가 높게 부여된 문제)를 기초로 추천함으로써, 보다 증가된 효율성을 가지는 학습 컨텐츠를 제공할 수 있는 효과가 있다.

도 2는 도 1의 학습 컨텐츠 추천 시스템(50)의 동작을 상세하게 설명하기 위한 도면이다.

도 2를 참조하면, 사용자 특성 모델의 학습은 양방향 LSTM 기반의 인공지능 모델을 통해 수행될 수 있다. 양방향 LSTM 구조의 인공지능 모델에서는, 사용자가 풀이한 문제(Question)와 상기 문제(Question)에 대한 사용자의 응답(Response)이 학습 데이터(410)로서 임베딩되어 입력된 후 포워드 시퀀스 및 백워드 시퀀스로 인공지능 모델의 학습에 사용될 수 있다.

구체적으로, 문제와 해당 문제에 대한 응답은 매칭되어 학습 데이터(410)로서 인공지능 모델에 입력될 수 있다. 학습 데이터(410)는 벡터로 표현된 사용자가 이미 풀이한 문제와 해당 문제에 대한 응답으로 구성될 수 있다. 이후, 임의의 사용자가 아직 풀이하지 않은 문제(420)가 입력되면, 사용자 특성 모델은 해당 문제에 대해 가중치에 따른 추론(inference) 과정을 통해 정답 확률(Output)을 예측할 수 있다.

이때, 문제 정보와 풀이 결과 정보는 임베딩 레이어(430)를 통해 수치화되어 표현될 수 있다. 임베딩은 사용자가 입력한 표현이나 형태가 다르더라도, 연관성을 계산, 수치를 통해 이를 나타내면서 단어, 문장, 글의 의미를 작성하는 동작일 수 있다.

학습 데이터(410)와 풀이하지 않은 문제(420)가 임베딩 레이어(430)에서 임베딩된 후 LSTM 레이어(440)에 입력될 수 있다. LSTM 레이어(440)는 정답 확률에 영향을 미치는 정도에 따라 학습 데이터(410)마다 서로 다른 가중치를 반영하여 인공지능 모델을 학습시키는 동작을 수행할 수 있다.

학습 컨텐츠 추천 시스템(50)은 사용자의 특성을 표현하기 위하여 시간 지수를 추가하여 학습 및 추론 과정을 수행할 수 있다. 구체적으로, 문제 정보와 풀이 결과 정보는 사용자 특성 모델에 입력되는 문제 순서(Forward)에 따라 인공지능 모델에서 학습될 수 있다. 학습은 특정 문제에 대한 사용자의 풀이 결과 정보마다, 정답 확률에 영향을 미치는 정도에 기초하여 서로 다른 가중치를 부여하는 동작일 수 있다.

또한, 인공지능 모델의 학습은 사용자 특성 모델에 입력되는 문제 순서와는 반대로(Backward) 수행될 수 있다. 이때, 반드시 순방향(Forward)으로 먼저 학습이 수행되고 난 후 그와 반대 방향(Backward)으로 학습되는 것이 아니라, 순방향 및 역방향 학습이 동시에 수행될 수 있다.

도 2에서, 가중치는 학습 데이터(410)가 입력되는 순서(Forward)에 따라 복수의 포워드 LSTM 셀(441, 442, 443)을 거치면서 조절될 수 있고, 학습 데이터(410)가 입력되는 순서와 반대로(Backward) 복수의 백워드 LSTM 셀(444, 445, 446)을 거치면서 조절될 수 있다.

사용자 특성 모델에 입력되는 문제의 순서는 사용자가 문제를 풀이하는 순서일 수 있다. 사용자가 문제를 풀이할 때마다 실시간으로 사용자 특성 모델에 해당 문제의 풀이 결과 정보가 전달될 수 있다. 이를 기초로 다음에 사용자에게 제공될 문제에 대한 정답 확률을 실시간으로 예측할 수 있다.

다만, 사용자 특성 모델에 입력되는 문제의 순서는 관리자가 인공지능을 학습시키기 위해 기존에 축적된 문제 정보와 풀이 결과 정보를 임의의 순서로 입력하는 순서일 수도 있으며, 이외에도 다양한 알고리즘에 따라 사용자 특성 모델에 입력되는 문제 순서가 결정될 수 있다.

풀이 결과 정보를 반영하여 학습이 완료된 이후, 사용자 특성 모델은 고정된 가중치를 가질 수 있다. 이후, 새로운 문제, 즉 임의의 사용자가 풀이하지 않은 문제(420)가 입력되면, 사용자 특성 모델은 가중치에 따른 추론(inference) 과정을 통해 새로운 문제에 대한 사용자의 정답 확률(Output)을 예측할 수 있다.

이상, 양방향 LSTM 방식의 인공지능 모델을 기초로 특정 문제에 대한 사용자의 정답 확률을 예측하는 것을 설명하였지만, 이에 한정되지 않고 RNN, 단방향 LSTM, 트랜스포머, CNN 등 다양한 인공지능 모델이 사용될 수 있다.

도 3은 본 발명의 실시 예에 따른, 태그 매칭 비율을 이용해 문제 벡터를 해석하고, 추천할 문제를 결정하는 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 예시1(Example 1)은 세 개의 문제(question11305, question9420, question3960)를 조합하여 임의의 문제(question10301)를 해석하는 과정을 도시하고, 예시2(Example 2)는 다른 세 개의 문제(question10365, question4101, question1570)를 조합하여 임의의 문제 (question2385)을 해석하는 과정을 도시하고 있다.

실시 예에서, 각각의 문제는 to부정사, 관사, 동명사 등 어떤 주제의 문제에 관한 것인지, 문법, 시제, 어휘, 듣기와 같은 문제의 유형, 핵심이 되는 단어, 이메일, 기사, 편지, 공문서와 같은 지문의 형식 등을 해당 문제에 태그하는 방식으로 저장될 수 있다.

예시1을 보면, 문제 11305 (question11305)는 double document, email form, announcement, inference, implication의 다섯 가지 태그를, 문제 9420 (question9420)는 double document, email form, detail의 세 가지 태그를, 문제 3960 (question3960)는 single document, announcement, detail의 세 가지 태그를 포함할 수 있다.

이때, 문제 11305 (question11305)의 태그에서 문제 9420 (question9420)의 태그를 빼고, 문제 3960 (question3960)의 태그를 더하면, 결론적으로 single document, announcement, inference, implication, detail의 다섯 가지 태그가 추출될 수 있을 것이다.

한편 본 발명의 실시예를 따르는 양방향 LSTM 기반의 인공지능 모델을 통해 문제 11305, 9420, 3960을 문제 벡터 11305, 9420, 3960으로 표현할 수 있다. 이후 "문제 벡터 11305 - 문제 벡터 9420 + 문제 벡터 3960"을 연산하면 임의의 벡터값이 나올 것이다. 이때 연산한 벡터값과 코사인 유사성이 높은 벡터 값을 가지는 문제 10301 (question10301)의 태그를 확인할 수 있다. 결과적으로 문제 10301의 태그(즉, single document, announcement, inference, implication)는 "문제 11305의 태그 - 문제 9420의 태그 + 문제 3960의 태그"인 single document, announcement, inference, implication, detail와 유사한 형태로 확인될 것이다. 이는 본 발명의 실시예를 따르는 인공지능 모델이 문제의 특성을 보다 잘 반영하도록 문제 벡터를 표현하기 때문이다.

이러한 특성을 이용하면 문제 벡터를 이용하여 해당 문제의 특성을 인간이 이해할 수 있는 형태로 해석할 수 있는 효과가 있다. 문제의 특성을 해석하여 사람이 인식할 수 있는 형태의 태그로 표현하는 것은 전문가의 수작업이 필요하기 때문에 많은 비용이 들고, 태그 정보가 사람의 주관에 의존하여 신뢰도가 낮다. 그러나 다수의 문제 벡터를 조합한 벡터값과 유사한 벡터값을 가지는 문제에 상기 다수의 문제의 태그를 조합한 결과를 태깅하는 방식으로 문제의 태그 정보를 생성하면 전문가 의존도가 낮아지고, 태그 정보의 정확도가 올라가는 효과가 있다.

나아가 문제 10301 (question10301)은 위 다섯 가지 태그(즉, single document, announcement, inference, implication, detail)로부터 추출된 문제를 나타낼 수 있다. 문제 정보 저장부(220)는 많은 문제를 저장하고 있으나, 수많은 태그들의 조합을 모두 포함하는 문제가 존재하는 것은 현실적으로 불가능할 수 있다. 예시 1에서 문제 10301 (question10301)은 상기 다섯 가지 태그(즉, single document, announcement, inference, implication, detail)와 가장 유사도가 높은 문제일 수 있다. 유사도가 가장 높은 문제는 태그 매칭 비율이 미리 설정된 값보다 큰 문제들 중에서 결정될 수 있다.

마찬가지로, 예시 2를 보면, 문제 10365 (question10365)는 single document, email form, true, NOT/true의 네 가지 태그를, 문제 4101 (question4101)은 single document, email form, inference의 세 가지 태그를, 문제 1570 (question1570)은 direct question, when, true의 세 가지 태그를 포함할 수 있다.

이때, 문제 10365 (question10365)의 태그에서 문제 4101(question4101)의 태그를 빼고, 문제 1570 (question1570)의 태그를 더하면, 결론적으로 direct question, when, true, NOT/true의 네 가지 태그가 추출될 수 있다.

한편 본 발명의 실시예를 따르는 양방향 LSTM 기반의 인공지능 모델을 통해 문제 10365, 4101, 1570을 문제 벡터 10365, 4101, 1570으로 표현할 수 있다. 이후 "문제 벡터 10365 - 문제 벡터 4101 + 문제 벡터 1570"을 연산하면 임의의 벡터값이 나올 것이다. 이때 연산한 벡터값과 코사인 유사성이 높은 벡터 값을 가지는 문제 2385 (question2385)의 태그를 확인할 수 있다. 결과적으로 문제 2385의 태그(즉, direct question, when, true, when vs. where)는 "문제 10365의 태그 - 문제 4101의 태그 + 문제 1570의 태그"인 direct question, when, true, NOT/true과 유사한 형태로 확인될 것이다.

나아가 문제 2385 (question2385)는 위 네 가지 태그(즉, direct question, when, true, NOT/true)로부터 추출된 문제를 나타낼 수 있다. 문제 정보 저장부(220)는 많은 문제를 저장하고 있으나, 수많은 태그들의 조합을 모두 포함하는 문제가 항상 존재하는 것은 현실적으로 불가능할 수 있다. 문제 2385 (question2385)는 상기 네 가지 태그(즉, direct question, when, true, NOT/true)와 가장 유사도가 높은 문제일 수 있다.

예시1과 예시2에서 추천된 문제는 추출된 태그들과 가장 유사도가 높은 문제일 수 있다. 이때, 유사도가 높은 문제를 결정하는 방법은 태그 매칭 비율이 가장 높은 문제를 검색하는 방법 또는 가중치가 높게 부여된 문제를 검색하는 방법으로 수행될 수 있다.

우선, 태그 매칭 비율은 사용자가 이미 푼 문제에 포함된 태그와 다음에 제공될 문제에 포함된 태그의 교집합을 다음에 제공될 문제에 포함된 태그의 수로 나눈 값일 수 있다. 태그 매칭 비율이 높은 문제일수록 사용자가 맞춘 문제에 포함되는 태그들은 효과적으로 제거하고, 틀린 문제들에 포함된 태그들을 보다 정확하게 반영한 문제일 수 있다.

또한, 각 문제에 포함된 태그들은 태그 매칭 비율을 연산하기 위해서 뿐만 아니라, 인공지능 모델에 부여될 가중치를 결정하는 데에도 사용될 수 있다. 사용자의 풀이 결과 정보는 특정 문제 또는 개별 태그에 대한 사용자의 정답 확률로 해석될 수 있다.

사용자 특성 모델에 가중치가 부여될 때, 각 문제에 포함된 태그들마다 상이한 가중치가 부여될 수 있으며, 이를 통해 가중치가 높게 부여된, 즉 정답 확률이 낮은 특정 태그들을 다수 포함하는 문제를 검색하는 방법으로 추천 문제를 결정할 수 있다.

도 4는 본 발명의 실시 예에 따른, 가중치가 부여된 문제 정보와 태그 매칭 비율의 상관 관계를 설명하기 위한 도면이다. 본 발명의 실시예를 따르면, 문제 어텐션 (가중치, attention)은 사용자가 풀지 않은 문제에 대한 정답 확률 예측에 영향을 준 상기 사용자가 풀이한 문제 데이터의 중요도 분포로 정의할 수 있다.

도 4를 참조하면, 임의의 문제에 대한 정답 확률 예측에 가중치(attention)가 높게 부여된 문제 정보는 짙은 파란색으로, 상기 임의의 문제와 태그 매칭 비율(tag matching ratio)이 높은 문제 정보는 짙은 초록색으로 도시되어 있다.

0부터 49까지의 숫자는 풀이된 문제의 번호를 나타낼 수 있다. 다만, 실시 예에 따라 각각의 번호는 하나 이상의 문제에 포함된 태그를 나타낼 수도 있다.

가중치와 태그 매칭 비율은 0과 1 사이의 값을 가질 수 있으며, 모든 가중치의 합과 모든 태그 매칭 비율의 합은 각각 1의 값을 갖는다. 가중치와 태그 매칭 비율이 다른 문제보다 비교적 높게 반영된 부분은 점선 모양의 경계선(41, 42, 43)으로 도시되어 있다.

경계선(41)을 보면, 11~15번 문제는 가중치가 높게 반영되어 정답 확률에 큰 영향을 미치는 문제들이라고 판단된 문제일 수 있다. 이때, 태그 매칭 비율도 높은 값을 갖는 결과를 확인할 수 있다.

경계선(42)을 보면, 8~15번 문제는 가중치가 높게 반영되어 정답 확률에 큰 영향을 미치는 문제들이라고 판단된 문제일 수 있다. 이때도 마찬가지로, 태그 매칭 비율 또한 높은 값을 가짐을 알 수 있다.

경계선(43)을 보면, 37~49번 문제는 가중치가 높게 반영되어 정답 확률에 큰 영향을 미치는 문제들이라고 판단된 문제일 수 있다. 이때도 마찬가지로, 태그 매칭 비율 또한 높은 값을 가짐을 알 수 있다.

이러한 결과를 통해, 학습 컨텐츠 추천 시스템(50)은 이전에 사용자가 답변한 문제와 추천 가능한 문제 사이의 관계를 태그 매칭 비율 또는 가중치를 통해 해석함으로써, 사용자의 잠재된 학습 효율을 극대화할 수 있는 학습 컨텐츠를 선택하고 사용자에게 추천할 수 있다.

또한, 전술한 태그 매칭 비율 또는 가중치를 통해 사용자가 아직 풀지 않은 추천 문제가 결정되면, 결정된 추천 문제에 대해 높은 가중치를 가지는 문제들 중 사용자가 이미 풀어본 문제를 다시 한번 풀어볼 수 있도록 추천 문제로 결정함으로써, 사용자가 취약한 유형의 문제에 대해 효율적인 복습이 가능하도록 할 수 있다.

도 5는 본 발명의 실시 예에 따른, 학습 컨텐츠 추천 시스템(50)의 동작을 설명하기 위한 순서도이다.

도 5를 참조하면, S501 단계에서, 학습 컨텐츠 추천 시스템(50)은 다수의 학습 컨텐츠 정보와 문제 정보를 저장할 수 있다.

S503 단계에서, 학습 컨텐츠 추천 시스템(50)은 사용자의 풀이 결과 정보를 수신할 수 있다. 풀이 결과 정보는 사용자가 해당 문제를 맞혔는지 여부를 나타낼 수 있다. 나아가, 풀이 결과 정보는 사용자가 객관식 문제(Multiple Choice Question, MCQ)에 대한 복수의 보기 중 어떤 보기를 선택했는지를 나타낼 수도 있다. 사용자가 선택한 보기는 정답 또는 오답일 수 있으나, 두 경우 모두의 정보를 기초로 사용자 특성 모델을 학습시키면 사용자의 실력을 보다 정확하게 반영할 수 있기 때문이다.

문제 정보와 이에 대응되는 풀이 결과 정보는 매칭되어 저장될 수 있고, 이후 사용자 특성 모델에 입력되어 인공지능 모델의 학습에 사용될 수 있다.

S505 단계에서, 학습 컨텐츠 추천 시스템(50)은 풀이 결과 정보에 기초하여, 정답 확률에 영향을 미치는 정도에 따라 사용자 특성 모델을 학습시킬 수 있다.

사용자 특성 모델의 학습은 정답 확률 예측에 영향을 미치는 정도에 따라 문제 정보에 가중치를 부여하는 동작일 수 있다.

사용자 특성 모델의 학습(S505)은 후술되는 도 6에 대한 설명에서 자세하게 설명하도록 한다.

S507 단계에서, 학습 컨텐츠 추천 시스템(50)은 학습된 사용자 특성 모델을 기초로 특정 문제에 대한 정답 확률을 연산할 수 있다.

정답 확률을 연산하는 동작은 가중치를 기초로 수행될 수 있다. 정답 확률을 예측하고자 하는 문제가 입력되면, 해당 문제에 가중치를 적용하여 다양한 연산을 수행하는 추론 과정을 통해 정답 확률이 연산될 수 있다.

S509 단계에서, 학습 컨텐츠 추천 시스템(50)은 정답 확률을 기초로 학습 효율이 높을 것으로 예상되는 학습 컨텐츠를 제공할 수 있다.

예를 들어, 정답 확률이 낮을 것으로 예측되는 문제들과 이 문제들의 핵심 개념을 설명하는 강의, 설명 자료들을 중심으로 사용자에게 제공할 수 있다.

또한, 실시 예에 따라 학습 컨텐츠는 가중치를 기초로 연산된 정답 확률에 따라 결정되는 것이 아니라, 태그 매칭 비율이 높은 문제들이 사용자에게 제공될 수도 있다.

도 6은 도 5의 S505 단계를 상세하게 설명하기 위한 도면이다.

도 6을 참조하면, S601 단계에서, 학습 컨텐츠 제공 시스템(50)은 문제 정보와 사용자의 풀이 결과 정보를 벡터로 표현할 수 있다. 벡터로 표현된 문제 정보와 풀이 결과 정보는 임베딩되어 수치로 표현되어 인공지능 모델에 입력될 수 있다.

S603 단계에서, 학습 컨텐츠 제공 시스템(50)은 사용자 특성 모델에 입력되는 문제 순서에 따라, 정답 확률 예측에 영향을 미치는 정도에 기초하여 사용자 특성 모델에 가중치를 부여할 수 있다.

예를 들어, 1번부터 50번 까지의 문제가 순차적으로 사용자 특성 모델에 입력되었다면, 학습 컨텐츠 제공 시스템(50)은 1번 문제에 먼저 가중치를 부여하고 2번 문제에 가중치를 부여하는 순서로 50번 문제까지 차례대로 가중치를 부여할 수 있다.

S605 단계에서, 학습 컨텐츠 제공 시스템(50)은 사용자 특성 모델에 입력되는 문제 순서와 반대로, 정답 확률 예측에 영향을 미치는 정도에 기초하여 사용자 특성 모델에 가중치를 부여할 수 있다.

위의 예에서, 학습 컨텐츠 제공 시스템(50)은 50번 문제부터 가중치를 부여하고 다음에 49번 문제에 가중치를 부여하는 순서로 1번 문제까지 차례대로 가중치를 부여할 수 있다.

본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

상술한 바와 같은 사용자 맞춤형 학습 컨텐츠를 제공하기 위한 학습 컨텐츠 추천 시스템 및 그것의 동작 방법은 온라인 교육 서비스 분야에 적용하는 것이 가능하다.

Claims

사용자에게 복수의 문제들에 관한 정보를 포함하는 문제 정보를 전송하는 단계;

상기 복수의 문제들에 대한 사용자의 응답인 풀이 결과 정보를 수신하는 단계; 및

상기 문제 정보와 상기 풀이 결과 정보를 기초로 사용자 특성 모델을 학습시키는 단계;를 포함하고,

상기 사용자 특성 모델을 학습시키는 단계는,

상기 사용자 특성 모델에 입력되는 문제 순서에 따라, 정답 확률에 영향을 미치는 정도에 기초하여 상기 사용자 특성 모델에 가중치를 부여하는 단계를 포함하는 학습 컨텐츠 추천 시스템의 동작 방법.
제1항에 있어서, 상기 사용자 특성 모델을 학습시키는 단계는,

상기 사용자 특성 모델에 입력되는 문제 순서와 반대로, 정답 확률에 영향을 미치는 정도에 기초하여 상기 사용자 특성 모델에 가중치를 부여하는 단계를 포함하는 학습 컨텐츠 추천 시스템의 동작 방법.
제1항에 있어서, 상기 문제 정보는,

어떤 주제의 문제에 관한 것인지, 문제 유형, 핵심이 되는 단어, 지문의 형식에 관한 태그 정보를 포함하는 학습 컨텐츠 추천 시스템의 동작 방법.
제1항에 있어서,

상기 사용자 특성 모델을 기초로 특정 문제에 대한 정답 확률을 연산하는 단계; 및

상기 연산된 정답 확률을 기초로, 학습 효율이 다른 학습 컨텐츠보다 높을 것으로 예상되는 학습 컨텐츠를 제공하는 단계를 더 포함하는 학습 컨텐츠 추천 시스템의 동작 방법.
제4항에 있어서, 상기 학습 컨텐츠를 제공하는 단계는,

각 문제마다 포함된 태그 정보를 기초로, 상기 특정 문제와의 태그 매칭 비율을 상기 각 문제마다 연산하는 단계; 및

상기 특정 문제와 상기 연산된 태그 매칭 비율이 미리 설정된 값보다 큰 문제를 사용자에게 제공하는 단계를 포함하는 학습 컨텐츠 추천 시스템의 동작 방법.
제1항에 있어서, 상기 가중치를 부여하는 단계는,

상기 사용자가 자주 틀리는 문제 유형에 대응되는 문제 정보에 가중치를 부여하는 단계를 포함하는 학습 컨텐츠 추천 시스템의 동작 방법.
제1항에 있어서, 상기 사용자 특성 모델에 입력되는 문제 순서는,

사용자가 문제를 풀이하는 순서인 학습 컨텐츠 추천 시스템의 동작 방법.
복수의 문제들에 관한 정보인 문제 정보, 상기 복수의 문제들에 대한 사용자의 응답인 풀이 결과 정보 또는 학습 컨텐츠를 저장하는 학습 정보 저장부;

상기 문제 정보와 상기 풀이 결과 정보를 기초로 사용자 특성 모델을 학습시키는 사용자 특성 모델 학습 수행부를 포함하고,

상기 사용자 특성 모델 학습 수행부는,

상기 사용자 특성 모델에 입력되는 문제 순서에 따라, 정답 확률에 영향을 미치는 정도에 기초하여 상기 사용자 특성 모델에 가중치를 부여하는 단계를 포함하는 학습 컨텐츠 추천 시스템.