KR102506132B1

KR102506132B1 - 자기집중 메커니즘 기반의 개인화된 학습량 추천 방법 및 장치

Info

Publication number: KR102506132B1
Application number: KR1020220060148A
Authority: KR
Inventors: 윤희동; 이상진
Original assignee: (주)대교씨엔에스
Priority date: 2021-12-03
Filing date: 2022-05-17
Publication date: 2023-03-07
Also published as: KR102400582B1

Abstract

자기집중 메커니즘 기반의 개인화된 학습량 추천 장치가 개시된다. 상기 자기집중 메커니즘 기반의 개인화된 학습량 추천 장치는, 다수의 사용자들에 대응하는 학생 단말들로부터 다수의 학습 데이터들을 수집하는 학습 데이터 수집부; 상기 다수의 학습 데이터들을 이용하여 상기 학생 단말들 각각의 사용자와 대응하는 학업성취능력 타입을 예측하는 학업성취능력 예측부; 예측된 학업성취능력 타입에 따라 상기 학습 데이터들을 전처리(pre-processing)하여 학습량 테이블을 생성하는 학습량 테이블 생성부; 및 상기 학습량 테이블을 참조하여 타겟 사용자에 대응하는 추천 학습량을 결정하고, 결정된 상기 추천 학습량을 상기 타겟 사용자의 학생 단말에 제공하는 추천 학습량 결정부;를 포함한다.

Description

자기집중 메커니즘 기반의 개인화된 학습량 추천 방법 및 장치{METHOD AND DEVICE FOR PERSONALIZED LEARNING AMOUNT RECOMMENDATION BASED ON SELF-ATTENTION MECHANISM}

본 발명은 학습량 추천 기술에 관한 것으로, 더욱 상세하게는 자기집중 메커니즘 기반의 개인화된 학습량을 추천하는 방법 및 장치에 관한 것이다.

국내는 교육에 대한 학부모의 관심과 열의가 매우 높고, 이 때문에 학생들의 학교 수업과 이를 통한 대학 입시에는 굉장히 많은 사람들이 관심을 갖고 있다.

학생들이 학습량을 최대한 많이 늘릴수록 좋은 학습 성취 결과를 얻을 가능성이 높아질 수는 있지만, 학습량을 무작정 늘리는 것은 물리적으로 불가능하고 체력적으로도 역효과를 초래할 수 있어, 주어진 시간 내에서 최적의 학습량을 결정하는 것은 매우 중요한 이슈가 된다.

통상적인 경우, 현재의 학습 결과가 다음 학습에 영향을 미치기 때문에 현재의 학습 결과에 따라 다음 학습량을 늘리거나 줄이는 방식으로 개별적으로 결정하고 있어 학업성취결과가 제각각으로 나타나는 경우가 많다.

이러한 문제를 해결하기 위하여, 종래의 기술(특허출원번호 10-2018-0135206)은 최근에 수행한 소정 개수의 학습 결과 데이터에 근거하여, 시기적으로 최근일 수록 더 높은 가중치를 부여하는 방식으로 사전 지정된 가중치를 적용하여 예상 학습량을 추정하고 있다.

그러나 상술한 종래의 기술의 경우, 사전 지정된 가중치에 따라 예측 결과가 크게 달라질 수 있는 문제가 있으며, 가중치를 선정하는 기준 자체가 구현 방식에 따라 매우 상이하게 결정되기 때문에 일정한 예측 결과를 기대하기 어려운 문제가 있었다.

한편, 최근에는 사람의 지능을 모방하여 복잡한 일을 수행하는 인공지능(artificial intelligence)에 대한 연구가 활발히 진행되고 있으며, 인공지능은 기계학습 알고리즘을 이용하여 학습되어 동작하는 형태의 머신 러닝(machine learning)을 포함하는 넓은 개념이며, 머신 러닝 분야에서도 사람의 뉴런들을 모방하여 구현된 딥 러닝(deep learning)이 조금 더 진보된 개념으로 알려져 있다.

딥 러닝에 따른 심층 신경망(Deep Neural Network, DNN)은, 다중의 은닉층을 포함하여 다양한 비선형적 관계를 학습하고, 학습 결과를 기반으로 예측 결과를 제공하는 인공신경망(ANN, Artificial Neural Network)으로서, 이에 대한 많은 관심과 연구가 이루어지고 있다.

심층 신경망은 알고리즘에 따라 비지도 학습(unsupervised learning)을 기반으로 하는 심층 신뢰 신경망(DBN, Deep Belief Network), 심층 오토인코더(Deep Autoencoder) 등이 있으며, 이미지와 같은 2차원 데이터를 처리하기 위한 합성곱 신경망(CNN, Convolutional Neural Network), 시계열 데이터를 처리하는 데 유용한 순환 신경망(RNN, Recurrent Neural Network) 등이 알려져 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 자기집중 메커니즘 기반의 개인화된 학습량 추천 방법 및 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 자기집중 메커니즘 기반의 개인화된 학습량 추천 장치를 제공한다.

상기 빅데이터와 인공지능 기반의 개인화된 학습량 추천 장치는, 다수의 사용자들에 대응하는 학생 단말들로부터 다수의 학습 데이터들을 수집하는 학습 데이터 수집부; 상기 다수의 학습 데이터들을 이용하여 상기 학생 단말들 각각의 사용자와 대응하는 학업성취능력 타입을 예측하는 학업성취능력 예측부; 예측된 학업성취능력 타입에 따라 상기 학습 데이터들을 전처리(pre-processing)하여 학습량 테이블을 생성하는 학습량 테이블 생성부; 및 상기 학습량 테이블을 참조하여 타겟 사용자에 대응하는 추천 학습량을 결정하고, 결정된 상기 추천 학습량을 상기 타겟 사용자의 학생 단말에 제공하는 추천 학습량 결정부;를 포함한다.

상기 학업성취능력 예측부는, 현재 교육과정에 따른 상기 학습 데이터들을 이용하여 상기 사용자들을 클러스터링함으로써, 상기 사용자들 각각에 대응하는 클러스터(cluster)를 결정하고, 결정된 클러스터에 부여된 학업성취능력 타입을 해당 클러스터에 속하는 사용자의 학업성취능력 타입으로 예측하는 군집화 엔진; 및 상기 사용자들 각각의 학습 데이터와 대응하는 훈련 입력값 및 상기 군집화 엔진을 통해 학업성취능력 타입이 라벨링된 훈련 출력값으로 구성되는 훈련 데이터를 이용하여 지도학습(supervised-learning)되고, 딥러닝 기반으로 상기 타겟 사용자에 대응하는 학업성취능력 타입을 예측하는 인공신경망 엔진;을 포함한다.

상기 인공신경망 엔진은, 상기 사용자들 각각의 현재 교육과정에 따른 학습 데이터를 변환하여 획득되는 학습 특징 벡터를 입력받고, 상기 학습 특징 벡터의 성분값 개수와 동일한 개수의 뉴런들로 구성되는 입력층; 상기 입력층으로부터 전달받은 출력값들을 이용하여 산출된 출력 벡터를 출력층에 전달하는 은닉층; 및 상기 출력 벡터에 활성화함수(activation function)를 적용하여 상기 출력 벡터에 대응하는 확률을 결정하고, 결정된 확률이 가장 높은 출력 벡터를 출력하는 출력층을 포함한다.

상기 인공신경망 엔진은, 상기 훈련 입력값을 입력받았을 때 상기 은닉층의 출력으로 획득되는 출력 벡터와 상기 훈련 출력값에 따른 학업 성취능력 타입을 지시하는 훈련출력 벡터를 이용하여 하기 수학식에 따른 손실함수를 연산하고, 연산된 상기 손실함수의 결과값이 최소화되도록 지도학습되고,

상기 수학식에서 Ym은 목표 출력 벡터(Ym)의 m(m은 1 이상의 자연수)번째 성분이고, Y`m은 상기 은닉층의 출력으로 획득되는 출력 벡터(Y`)의 m번째 성분이다.

상기 인공신경망 엔진은, 상기 입력층과 상기 은닉층 사이에 자기집중 메커니즘(self-attention mechanism)에 따른 기법을 수행하는 자가주의 집중계층(self-attention layer)을 더 포함한다.

상기 자가주의 집중계층은, 상기 입력층의 출력으로 획득되는 중간 연산 벡터들 각각의 중요도를 판별하고, 판별된 중요도가 상대적으로 낮은 중간 연산 벡터를 배제시킴으로써 상기 중간 연산 벡터들 중 일부를 선택적으로 상기 은닉층에 전달한다.

상기 학습량 테이블이 생성된 이후에, 상기 학습 데이터 수집부는, 상기 타겟 사용자의 학생 단말로부터 상기 타겟 사용자의 현재 교육과정에 따른 타겟 학습 데이터를 획득하고, 상기 학업성취능력 예측부는, 상기 타겟 학습 데이터를 기반으로 상기 타겟 사용자와 대응하는 학업성취능력 타입을 예측하고, 상기 추천 학습량 결정부는, 상기 학습량 테이블에서, 상기 타겟 사용자에 대하여 예측된 학업성취능력 타입과 대응하는 다음 교육과정에 따른 다수의 학습량들 각각에 대한 통계 데이터를 이용하여 상기 타겟 사용자의 다음 교육과정에 대한 상기 추천 학습량을 결정한다.

상기 군집화 엔진은, K-평균 알고리즘(K-means algorithm)을 이용하여 클러스터링을 수행한다.

상기 학습량 테이블 생성부는, 상기 학습량 테이블을 생성한 이후에, 상기 추천 학습량에 따라 상기 타겟 사용자의 다음 교육과정에 대한 학습 데이터를 이용하여 상기 학습량 테이블을 갱신한다.

상기와 같은 본 발명에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 방법 및 장치를 이용할 경우에는 학생의 학업성취능력을 미리 지도학습된 인공신경망을 이용하여 예측하고, 예측된 학습성취능력에 따른 최적의 추천 학습량을 빅데이터 기반으로 결정하여 학생에게 제공함으로써 가장 효율적인 학습량을 학생에게 가이드하고 학습 효과를 극대화할 수 있다.

도 1은 일 실시예에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 방법이 수행되는 환경을 나타낸 개념도이다.
도 2는 도 1에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 장치의 기능적 구성요소들을 나타낸 블록도이다.
도 3은 도 1에 따른 학습량 테이블의 구성을 예시적으로 나타낸 도면이다.
도 4는 도 2에 따른 학습량 테이블을 참조하여 가중점수를 산출한 결과를 나타낸 도면이다.
도 5는 도 2에 따른 군집화 엔진의 동작을 설명하기 위한 도면이다.
도 6은 도 2에 따른 인공신경망 엔진의 동작을 설명하기 위한 도면이다.
도 7은 도 6에 따른 인공신경망 엔진의 구조를 구체적으로 도시한 도면이다.
도 8은 일 실시예에 따른 자가주의집중계층에서의 K벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 장치의 하드웨어 구성을 예시적으로 나타낸 도면이다.
도 10은 일 실시예에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 방법 및 장치의 효과를 확인할 수 있는 통계 분석 결과를 나타낸 그래프이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 일 실시예에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 방법이 수행되는 환경을 나타낸 개념도이다.

도 1을 참조하면, 빅데이터와 인공지능 기반의 개인화된 학습량 추천 방법은, 이하에서 설명하는 학습량 추천 서버(100, 빅데이터와 인공지능 기반의 개인화된 학습량 추천 장치로도 혼용하여 지칭될 수 있음)에 의해 수행될 수 있다.

학습량 추천 서버(100)는, 다수의 학생 단말들(200a~200n)과 연동하여 학습 데이터를 수집할 수 있다.

학생 단말들(200a~200n) 각각에는 미리 배포된 학습용 애플리케이션이 설치되어 구동될 수 있으며, 학습용 애플리케이션이 실행됨에 따라 학생 단말들(200a~200n) 각각은 교육과정에 따른 다수의 학습 문제들을 선정하여 학생 단말(200)의 사용자에게 제공하고, 사용자의 문제 풀이 결과를 저장할 수 있다.

학생 단말(200)의 사용자는 미리 학생 단말(200)을 이용하여 학습량 추천 서버(100)에 접속하고, 사용자 인증 절차를 통해 사용자 정보를 학습량 추천 서버(100)에 등록(registration)할 수 있다. 사용자 정보는 자신의 나이, 학년, 학교 등을 포함할 수 있다.

또한, 학생 단말들(200a~200n) 각각은 학생 단말(200)의 사용자에게 제공된 학습 문제들에 따른 문제 풀이 결과를 나타내는 학습 데이터를 실시간으로 또는 미리 지정된 주기마다 또는 미리 지정된 시기들마다 학습량 추천 서버(100)에 제공할 수 있다.

구체적으로, 학습 데이터는, 주별 또는 일별로 교육 과정(ex: 덧셈 과정)에 따라 적어도 하나의 레슨(lesson)에 대하여 제공되는 학습 문제들에 대한 풀이 결과들을 의미할 수 있다. 교육 과정은, 커리큘럼에 따라 제공되는 학습과제 대분류에 해당할 수 있으며, 레슨은 특정 교육 과정 내에서 제공되는 학습과제 소분류에 해당할 수 있다. 예를 들어, 교육 과정은, 덧셈 기초 과정, 덧셈 심화 과정, 뺄셈 기초 과정, 뺄셈 심화 과정 등으로서, 미리 정해진 순서를 가질 수 있다. 구체적으로, 덧셈 기초 과정 다음에 학습할 교육 과정이 덧셈 심화 과정일 수 있고, 덧셈 심화 과정 다음에 학습할 교육 과정이 뺄셈 기초 과정일 수 있다.

예를 들어, 덧셈 기초 과정에 대한 레슨으로는 한자리 수에 대한 덧셈, 두자리 수에 대한 덧셈 등을 포함할 수 있고, 덧셈 심화 과정에 대한 레슨으로는 세자리 수에 대한 덧셈, 3개 이상의 수들 전체에 대한 덧셈 등을 포함할 수 있다.

학습량 추천 서버(100)는, 다수의 학생 단말들(200a~200n)로부터 다수의 과거 학습 데이터들을 수집하고, 수집된 과거 학습 데이터들을 기초로, 학생 단말들(200a~200n) 각각의 사용자들을 머신러닝 엔진(10)을 이용하여 군집화(clustering)함으로써, 사용자들 각각에 대응하는 학업성취능력 타입을 결정할 수 있다.

여기서, 머신러닝 엔진(10)은, 가우시안 혼합 모델 (Gaussian Mixture Model, GMM) 기반으로 동작하는 군집화 엔진(102a)을 포함할 수 있다. 군집화 엔진(102a)은 가우시안 혼합 모델(GMM)을 소프트웨어 상으로 구현한 일종의 소스코드 또는 소스코드의 동작 프로그램에 해당할 수 있다.

사람마다 각자 타고난 재능이나 기억력, 수학 연산 능력 등이 상이하기 때문에, 사용자들 마다 동일한 문제를 제공받더라도 쉽게 풀수 있는 사람과 쉽게 풀기 어려운 사람이 나뉜다. 또한, 동일한 학업성취수준을 갖고있는 사용자들이라고 하더라도, 특정인은 수학을 잘 하는 반면에 국어에 약한 반면 다른 특정인은 수학을 국어보다 상대적으로 못하는 경향성도 있다.

본 발명의 일 실시예에서는 이처럼 사람마다 각자 학업성취능력이 상이한 점을 고려하여, 학업성취능력에 따라 가장 적합한 학습량을 추천할 수 있도록, 사용자들을 군집화하여 다수의 클러스터들(clusters)을 구성하고, 구성된 클러스터들 각각에 대응하는 학업성취능력 타입을 결정한다. 여기서, 학업성취능력 타입은 사용자가 속한 클러스터마다 개별적으로 부여되는 일종의 식별 기호로서 예를 들어, A, B, C 등과 같이 우열 없이 결정되는 기호를 사용하거나 그밖에 다양한 형태의 고유 식별 기호를 사용할 수 있다. 즉, 학업성취능력 타입은 해당 클러스터에 속하는 사용자들의 학업성취능력을 대표하는 의미로서 사용된다.

군집화를 통해 사용자들 각각에 대응하는 학업성취능력 타입이 결정되면, 학습량 추천 서버(100)는, 사용자들에 대한 학습 데이터들을 학업성취능력 타입과 과거에 수행된 학습량에 따라 분류하고, 전처리함으로써 학습량 테이블(20)을 생성할 수 있다.

여기서 생성되는 학습량 테이블(20)은 추후에 특정 사용자를 위한 추천 학습량을 결정하기 위한 빅데이터로서 사용되며, 최대한 많은 사용자들을 대상으로 학습 데이터들을 수집하고, 사용자들 각각에 대응하는 학업성취능력 타입을 결정함으로써 최대한 방대한 빅데이터(big data) 기반의 학습량 테이블(20)을 구성하는 것이 바람직할 수 있다.

군집화를 통해 학습량 테이블(20)이 생성되면, 학습량 추천 서버(100)는, 특정인에 대한 추천 학습량을 제공하도록 동작할 수 있다.

먼저, 학습량 추천 서버(100)는, 사용자들 중 타겟 사용자의 학생 단말(200)로부터 타겟 학습 데이터를 수신할 수 있고, 수신된 타겟 학습 데이터를 기반으로 머신러닝 엔진(10)을 이용하여 타겟 사용자와 대응하는 학업성취능력 타입을 예측할 수 있다.

이때, 머신러닝 엔진(10)으로는 전술한 군집화 엔진(102a)이 사용될 수 있으나, 이에 한정되지 않는다.

예를 들어, 머신러닝 엔진(10)으로 심층 신경망(deep neural network) 기반의 인공신경망 엔진(102b)이 사용될 수도 있다. 인공신경망 엔진(102b)은 훈련 입력값과 훈련 출력값의 셋트(set)로 구성되는 훈련 데이터를 이용하여, 특정 사용자의 학습 데이터를 입력받으면, 해당 특정 사용자와 대응하는 학업성취능력 타입을 지시하는 출력값을 출력하도록 미리 지도학습(supervised learning)될 수 있다.

따라서, 학습량 추천 서버(100)는, 군집화 엔진(102a)을 이용하여 타겟 학습 데이터를 기반으로 타겟 사용자가 속하는 클러스터와 대응하는 학업성취능력 타입을 예측하거나, 인공신경망 엔진(102b)을 이용하여 타겟 학습 데이터를 기반으로 타겟 사용자와 대응하는 학업성취능력 타입을 예측할 수 있도록 구성될 수 있다.

학습량 추천 서버(100)는, 예측된 학업성취능력 타입을 기반으로 학습량 테이블(20)을 분석하여 예측된 학업성취능력 타입에 따른 타겟 사용자를 위한 추천 학습량을 결정할 수 있다.

예를 들어, 추천 학습량(또는 학습량)은, 타겟 학습 데이터에 따른 타겟 사용자의 현재 교육 과정 이후에 학습할 다음 교육 과정(도면상의 뺄셈 과정) 및 주별 학습 횟수 및 일별 레슨 개수 등을 의미할 수 있다.

학습량 추천 서버(100)는, 결정된 추천 학습량을 타겟 사용자의 학생 단말(200)에 전송할 수 있다.

타겟 사용자는, 학생 단말(200)로 자신의 학업성취능력 타입에서 가장 높은 성과를 달성할 것으로 예상되는 추천 학습량을 제공받기 때문에, 추천 학습량에 따라 학습을 진행함으로써 최적의 학업성취 결과를 달성할 가능성이 높아지게 될 수 있다.

도 2는 도 1에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 장치의 기능적 구성요소들을 나타낸 블록도이다. 도 3은 도 1에 따른 학습량 테이블의 구성을 예시적으로 나타낸 도면이다. 도 4는 도 2에 따른 학습량 테이블을 참조하여 가중점수를 산출한 결과를 나타낸 도면이다.

도 2를 참조하면, 학습량 추천 서버(100)는, 다수의 사용자들에 대응하는 학생 단말(200)들 각각으로부터 학습 데이터를 수집하는 학습 데이터 수집부(101), 학생 단말(200)들로부터 수집된 다수의 학습 데이터들을 이용하여 학생 단말(200)들 각각의 사용자들과 대응하는 학업성취능력 타입을 예측하는 학업성취능력 예측부(102), 예측된 학업성취능력 타입에 따라 학습 데이터들을 전처리(pre-processing)하여 학습량 테이블을 생성하는 학습량 테이블 생성부(103), 및 학습량 테이블을 참조하여 타겟 사용자에 대응하는 추천 학습량을 결정하고, 결정된 추천 학습량을 타겟 사용자의 학생 단말(200)에 제공하는 추천 학습량 결정부(104)를 포함할 수 있다.

학습 데이터 수집부(101)는, 다수의 학생 단말(200)들과 연동하여 학습 데이터를 수집할 수 있다. 이를 위해 학생 단말(200)들과 주기적으로 유선 또는 무선 네트워크를 통해 통신함으로써 학습 데이터를 획득할 수 있다. 예를 들어, 학생 단말(200)들 각각에서 교육 과정에 따른 학습이 완료되면, 학생 단말(200)들 각각이 학습 데이터 수집부(101)로 학습 완료에 따른 학습 데이터를 전송할 수 있다.

학업성취능력 예측부(102)는, 학습 데이터들을 이용하여 사용자들 각각과 대응하는 학업성취능력 타입을 예측하여 학습량 테이블 생성부(103)에 제공할 수 있다.

구체적으로, 학업성취능력 예측부(102)는, 학습 데이터들 각각에 대응하는 사용자들을 클러스터링함으로써, 사용자들 각각과 대응하는 클러스터를 결정하고, 결정된 클러스터에 부여되는 학업성취능력 타입을 결정하는 군집화 엔진(102a)을 포함할 수 있다.

예를 들어, 군집화 엔진(102a)은, 가우시안 혼합 모델(Gaussian Mixture Model, GMM)에 따른 클러스터링 또는 K-평균 알고리즘에 따른 클러스터링을 수행할 수 있다.

여기서, K-평균 알고리즘은 가우시안 혼합 모델과 달리 비지도학습에 속하는 머신러닝 기반의 클러스터링 기법일 수 있다. 구체적으로 K-평균 알고리즘은 K개의 클러스터들 각각에 대한 초기 중심점에 해당하는 벡터값을 설정한 후, 사용자들 각각을 대표하는 학습 특징 벡터와 가까운 초기 중심점을 가진 클러스터에 사용자들을 할당한다.

다음으로, 모든 사용자들에 대한 클러스터 할당이 끝나면, 해당 클러스터에 속하는 사용자들의 학습 특징 벡터들의 중간값 또는 평균값으로 각 클러스터의 중심점을 재설정하고, 재설정된 중심점을 기준으로 모든 사용자들의 클러스터 할당을 다시 시행한다.

상술하는 중심점 재설정과 클러스터 재할당을 중심점의 변동이 없을 때까지 반복함으로써 사용자들을 클러스터들에 할당할 수 있다.

학습량 테이블 생성부(103)는, 군집화 엔진(102a)에 의해 결정되는 학업성취능력 타입에 따라 학습 데이터들을 전처리하여 학습량 테이블(20)을 생성할 수 있다.

구체적으로, 학습량 테이블 생성부(103)는, 사용자의 현재 교육 과정에 따른 학습 데이터들을 기초로 군집화 엔진(102a)에 의해 결정되는 학업성취능력 타입과 현재 교육 과정 이후의 다음 교육 과정에서 수행된 학습량에 따라 분류하고, 분류된 학업성취능력 타입과 학습량에 대응하는 학습 데이터들에 대한 통계 데이터를 산출함으로써 학습 데이터들을 전처리할 수 있다.

즉, 학업성취능력 타입은 사용자의 현재 교육 과정에 따른 학습 데이터들을 기초로 군집화 엔진(102a)에 의해 예측된다.

도 3을 참조하면, 학습량 테이블(20)은, 학업성취능력 타입과 학습량에 따라 현재 교육 과정에 따른 학습 데이터들을 분류하고, 분류된 학습 데이터들에 대한 통계 연산 처리를 통해 얻어진 통계 데이터로서, 분류된 학습 데이터들에 대한 평가 통과율, 평가점수 평균 등을 포함할 수 있다.

여기서, 학습량은 해당 학업성취능력 타입의 사용자들의 다음 교육과정에서 수행한 주별 학습 횟수 및 일별 학습레슨 개수를 의미할 수 있다. 또 다른 예시로 학습량은 다음 교육과정에서 수행한 주별 학습일수와 학습시간을 의미할 수도 있다. 여기서 학습량은 그 지표를 설정되는 기준에 따라 시간, 일, 또는 월 단위로 설정될 수 있거나 그 혼용된 단위로 설정될 수도 있으며 이는 통상의 기술자의 용이 변형 사항에 해당하므로 자세한 설명은 생략한다.

여기서, 평가 통과율은 해당 학업성취능력 타입으로 결정된 사용자들을 대상으로, 다음 교육과정에서 제공된 학습량에 따른 풀이 결과가 특정 기준 점수를 초과하는 사용자들의 비율일 수 있다.

평가점수 평균은 해당 학업성취능력 타입으로 결정된 사용자들을 대상으로, 다음 교육과정에서 제공된 학습량에 따른 풀이 결과에서 평가점수들의 평균값일 수 있다.

도 3을 참조하면, 현재 교육과정에서의 학업성취능력 타입이 클러스터 A에 속하는 사용자들 중에서, 다음 교육과정으로 제공된 학습량에 따른 주별 학습횟수가 3회이고, 일별 학습레슨 개수가 3개인 사용자들이 169명이고, 169명인 사용자들을 대상으로 다음 교육과정으로 제공된 학습량에 대한 평가 통과율이 92%이며, 학습량에 대한 평가점수 평균은 94점인 것을 확인할 수 있다.

이와 같이, 학습량 테이블(20)은, 매우 방대한 다수의 사용자들의 현재 교육과정에 따른 학습 데이터들을 대상으로 사용자들 각각에 대응하는 학업성취능력 타입을 군집화 엔진(102a)을 이용하여 예측하고, 예측된 학업성취능력 타입에 따라 다음 교육과정에 따른 학습 데이터들에 대한 통계 데이터를 산출하는 방식으로 구성될 수 있다.

이와 같이 학습량 테이블(20)이 현재 교육과정에 따른 학습 데이터들을 기반으로 예측된 학업성취능력 타입에 따라 분류되어 있어, 특정 타겟 사용자의 현재 교육과정에 따른 학습데이터들을 기초로 다음 교육과정에 따른 학습량을 추천하는 것이 용이하다.

학습량 테이블(20)이 생성되면 추천 학습량을 제공하는 기능이 활성화된다.

또한, 학습량 테이블 생성부(103)는, 학습량 테이블(20)을 생성한 이후에, 추천 학습량에 따라 타겟 사용자의 다음 교육과정에 대하여 수행된 학습 데이터를 이용하여 학습량 테이블(20)을 갱신함으로써 계속 새로운 데이터가 추가되도록 구성되는 것이 바람직하다.

구체적으로, 학습 데이터 수집부(101)는, 타겟 사용자의 학생 단말(200)로부터 타겟 사용자의 현재 교육과정에 따른 타겟 학습 데이터를 획득할 수 있다. 여기서 현재 교육과정이란 타겟 사용자가 현재 진행하고 있는 교육과정의 단계를 의미할 수 있다.

학업성취능력 예측부(102)는, 현재 교육과정에 따른 타겟 학습 데이터를 기반으로 타겟 사용자에 대응하는 학업성취능력 타입을 예측할 수 있다.

일 실시예에서, 학업성취능력 예측부(102)는, 군집화 엔진(102a)을 이용하여 타겟 사용자와 대응하는 클러스터를 결정하고, 결정된 클러스터에 부여된 학업성취능력 타입을 타겟 사용자에 대응하는 학업성취능력 타입으로 예측할 수 있다.

다른 일 실시예에서, 학업성취능력 예측부(102)는, 딥러닝 기반의 인공신경망 엔진(102b)을 이용하여 타겟 사용자와 대응하는 학업성취능력 타입을 예측할 수도 있다. 인공신경망 엔진(102b)은, 훈련 데이터를 이용하여 미리 지도학습될 수 있다.

이때, 훈련 데이터를 구성하는 훈련 입력값은 다수의 사용자들 각각으로부터 수집된 학습 데이터를 이용하여 생성된 학습 특징 벡터일 수 있고, 훈련 출력값은 군집화 엔진(102a)을 이용하여 사용자들 각각에 대응하는 클러스터에 대하여 부여된 학업성취능력 타입일 수 있다.

즉, 인공신경망 엔진(102b)은, 군집화 엔진(102a)을 통해 학업성취능력 타입이 라벨링(labeling)된 훈련 출력값을 제공받기 때문에, 인공신경망을 지도학습하기 위한 방대한 학습 데이터 수집의 어려움을 해소할 수 있다.

게다가, 군집화 엔진(102a)이, 머신러닝 기반의 가우시안 혼합 모델을 이용하여 구현되기 때문에 군집화 엔진(102a)을 통해 라벨링된 훈련 출력값을 사용하더라도 통계적으로 유의미하게 라벨링될 수 있어 이를 통해 학습된 인공신경망 엔진(102b)의 학업성취능력 타입에 대한 예측 정확도가 비교적 정확하게 구현된다.

추천 학습량 결정부(104)는, 학습량 테이블(20)에서 타겟 사용자에 대하여 예측된 학업성취능력 타입에 대응하는 학습량 별 통계 데이터를 이용하여 미리 지정된 수학식에 따른 가중점수를 산출하고, 산출된 가중점수에 기초하여 추천 학습량을 결정할 수 있다.

예를 들어, 가중점수는 도 4에 도시된 것과 같이 학업성취능력 타입과 학습량에 따른 통계 데이터들을 대상으로 산출되며, 구체적으로 하기 수학식 1에 따라 산출될 수 있다.

수학식 1을 참조하면, N은 학업성취능력 타입과 학습량에 해당하는 학습인원들의 수이고, Nmin은 미리 학습능력 타입과 학습량에 따라 개별적으로 정의되는 최소 학습인원의 수이고, PP는 학업성취능력 타입과 학습량에 해당하는 학습인원들의 평가 통과율이고, acSC는 학업성취능력 타입과 학습량에 해당하는 학습인원들의 평가점수의 평균이고, k는 미리 학습성취능력 타입과 학습량에 따라 개별적으로 정의되는 가중치 상수이고, avgN은 학업성취능력 타입별 학습인원들의 수에 대한 평균값일 수 있다.

예를 들어, 타겟 사용자에 대하여 예측된 학업성취능력 타입이 클러스터 A에 해당하는 경우, 도 4에 도시된 것과 같이 학업성취능력 타입이 클러스터 A에 대응하는 다수의 학습량들 각각에 대한 통계 데이터들을 이용하여 학습량들 각각에 대하여 수학식 1에 따른 가중점수를 산출할 수 있다.

이때, 추천 학습량 결정부(104)는, 수학식 1에 따라 학습량들 각각에 대하여 산출된 가중점수들 중에서, 가장 높게 산출된 가중점수와 대응하는 학습량을 추천 학습량으로서 결정할 수 있다.

즉, 도 4에서의 경우, 가중점수가 학습량으로서 주별 학습횟수가 3회이고, 일별 학습레슨의 개수가 3개일 때 가장 높은 값으로 산출되었기 때문에, 다음 교육과정에서의 추천 학습량은 주별 학습횟수가 3회이고, 일별 학습레슨의 개수가 3개인 학습량으로 결정된다.

도 5는 도 2에 따른 군집화 엔진의 동작을 설명하기 위한 도면이다.

군집화 엔진(102a)은 사용자별로 수집되는 학습 데이터들을 이용하여 사용자의 현재 교육과정을 대표하는 학습 특징 벡터를 생성할 수 있다.

예를 들어, 도 5를 참조하면, 군집화 엔진(102a)은, 사용자별 수집되는 현재 교육과정에 따른 학습 데이터들을 이용하여 현재 교육과정과 레슨에 따른 문제풀이 횟수, 평가 통과 횟수, 교육과정에서의 평균 통과 횟수, 교육과정에서의 평균 점수, 및 레슨에서의 테스트 점수를 포함하는 전처리 학습 데이터를 획득할 수 있다.

군집화 엔진(102a)은 획득된 전처리 학습 데이터에 포함된 지표들 중 적어도 일부를 이용하여 사용자에 대응하는 학습 특징 벡터를 생성할 수 있다.

예를 들어, 군집화 엔진(102a)은, 현재 교육과정에서 레슨의 식별기호, 전처리 학습 데이터에서 문제풀이 횟수, 평가 통과 횟수, 평균 통과 횟수, 평균 점수, 및 레슨에서의 테스트 점수 각각을 성분값으로 하는 학습 특징 벡터를 생성할 수 있다.

학습 특징 벡터는, 현재 교육과정에 속하는 레슨들마다 각각 하나씩 생성될 수 있다.

군집화 엔진(102a)은 사용자들 각각의 현재 교육과정에 따른 적어도 하나의 학습 특징 벡터를 이용하여 사용자들 각각을 다수의 클러스터들 중 하나로 분류(classify)할 수 있다. 예를 들어, 가우시안 혼합 모델(GMM)의 경우, 미리 지정된 K(K는 1보다 큰 자연수)개의 가우시안 분포들 각각이 클러스터와 대응하며. 사용자들을 K개의 가우시안 분포들 중 하나로 분류하도록 동작한다.

구체적으로, 군집화 엔진(102a)의 경우, 베이즈 정리(Bayes' theorem)를 이용하여 K개의 가우시안 분포들 중에서 하기 수학식 2에 따른 가우시안 분포 선택함수(γ)의 결과값이 가장 높은 가우시안 분포를 선정하고, 선정된 가우시안 분포를 해당 사용자의 현재 교육과정에 대응하는 학업성취능력 타입으로 결정한다.

수학식 2에서 (γ)는 선택함수이고, x_n은 해당 교육과정에서 n번째 레슨에 따른 학습 특징 벡터이고, z_nk는 학습 특징 벡터가 주어졌을 때 가우시안 혼합 모델에서 k(k는 1과 K 사이의 자연수)번째 가우시안 분포가 선택되면 1이고, 아니면 0의 값을 갖는 2진 변수이다. 또한 수학식 2에서 μ와 Σ는 가우시안 혼합 모델에 따른 파라미터로서 미리 가우시안 혼합 모델에 대한 학습 과정을 통해 확정되는 값이다. 가우시안 혼합 모델에 따른 파라미터를 결정하기 위한 학습 과정에 대해서는 Christopher Bishop의 Pattern Recognition and Machine Learning, 2008.03.18 을 참조하면 이해할 수 있으므로 구체적인 설명은 생략한다.

도 6은 도 2에 따른 인공신경망 엔진의 동작을 설명하기 위한 도면이다. 도 7은 도 6에 따른 인공신경망 엔진의 구조를 구체적으로 도시한 도면이다. 도 8은 일 실시예에 따른 자가주의집중계층에서의 K벡터를 결정하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 딥러닝 기반의 인공신경망 엔진(102b)은, 훈련 데이터를 구성하는 훈련 입력값으로 현재 교육과정에 따른 레슨 별 학습 특징 벡터들을 순차적으로 입력받았을 때, 인공신경망 엔진(102b)의 출력값으로 얻어지는 학업성취능력 타입을 훈련출력값과 서로 비교하고 비교 결과에 따라 인공신경망 엔진(102b)을 구성하는 파라미터들(parameters)을 조정(tuning)하는 방식으로 지도학습된다.

구체적으로, 딥러닝 기반의 인공신경망 엔진(102b)은, 인공신경망 엔진(102b)의 출력값으로 얻어지는 학업성취능력 타입을 지시하는 출력벡터와 훈련출력값에 따른 학업성취능력 타입을 지시하는 훈련출력벡터를 이용하여 미리 정의된 손실함수(loss function)에 따라 산출하고, 산출된 손실함수의 결과값이 최소화되도록 인공신경망 엔진(102b)을 구성하는 파라미터들을 조정할 수 있다.

이때, 손실함수는 크로스 엔트로피(Cross Entropy) 함수일 수 있다.

도 7을 참조하면, 인공 신경망 엔진(102b)은, 학습 특징 벡터(X)를 입력받고, 입력받은 학습 특징 벡터의 성분값 개수와 동일한 개수(N)의 입력 노드들로 구성되는 입력층(11), 입력층(11)으로부터 전달받은 출력값들을 이용하여 산출된 출력 벡터(Y`)를 출력층(13)에 전달하는 은닉층(12), 및 출력 벡터(Y`)에 활성화 함수를 적용하여 출력 벡터(Y`)에 대응하는 확률(p)을 결정하고, 결정된 확률(p)이 가장 높은 출력 벡터(Y`)를 출력하는 출력층(13)을 포함할 수 있다. 본 발명에서 인공 신경망 엔진(102b)을 구성하는 노드들 각각은 본 발명이 속하는 기술분야에서 흔히 사용하는 표현인 뉴런(neuron)이라는 용어로도 혼용하여 지칭될 수 있다.

구체적으로, 인공 신경망 엔진(102b)은, 훈련 입력값으로 제공된 학습 특징 벡터(X)를 입력받으면, 은닉층(12)의 출력으로서 획득되는 출력 벡터(Y`)와 훈련 출력값으로 제공받은 학업성취능력 타입을 지시하는 훈련출력벡터(Y)를 사용하여 손실함수(loss function)을 연산하고, 연산된 손실함수의 결과값이 최소화되도록 지도학습된다.

예를 들어, 손실 함수(H(Y,Y`))는, 크로스 엔트로피(Cross Entropy) 함수일 수 있다. 출력 벡터(Y`)와 훈련출력벡터(Y) 사이의 크로스 엔트로피(H(Y,Y`))는 다음의 수학식 3과 같이 정의될 수 있다.

수학식 3에서 Ym은 훈련출력벡터(Y)의 m(m은 1 이상의 자연수)번째 성분이고, Y`m은 출력 벡터(Y`)의 m번째 성분일 수 있다.

입력층(11)은 학습 특징 벡터(X)를 입력받고, 입력받은 학습 특징 벡터(X)의 성분들 각각에 대하여, 입력 노드들과 대응하는 하나 이상의 연결 강도값들을 적용하여 은닉층(12)에 전달할 수 있다.

예를 들어, 입력 노드들 각각에 대응하는 하나 이상의 연결 강도값들은 N×M의 크기를 갖는 제1 연결강도 행렬(W_N×M)로 표현할 수 있다. 이때, N은 입력노드들과 동일한 개수일 수 있고, M은 N보다 1/10 배 이하로 충분히 작게 설정된다. 제1 연결강도 행렬(W_N×M)은 임의의 초기값으로 설정된 후 지도학습을 통해 지속적으로 갱신되는 파라미터일 수 있다.

종합하면, 입력층(11)은 입력받은 학습 특징 벡터(X)에 제1 연결강도 행렬(W_N×M)을 행렬곱 연산하여 얻어진 중간 연산 벡터(X)을 은닉층(12)에 전달할 수 있다.

은닉층(12)은, 입력층(11)으로부터 전달받은 중간 연산 벡터(X)에서 획득되는 특징 벡터(feature vector, F)에 은닉 노드들 각각에 대응하는 하나 이상의 연결 강도를 적용하여 출력 벡터(Y`)를 생성하고, 생성된 출력 벡터(Y`)를 출력층(13)에 전달할 수 있다.

예를 들어, 은닉층(12)은, 중간 연산 벡터(X)로부터 아래 수학식 4를 만족하는 대각 행렬(diagonal matrix)인 특징 벡터(F)를 획득할 수 있다.

수학식 4에서, R는 대각 행렬인 특징 벡터(F)와 중간 연산 벡터(X) 사이에 수학식4에 따른 관계를 가역적으로 만족시키는 행렬로서, 좌표변환행렬에 해당한다. 수학식 4에 따른 연산은 대각화 연산의 하나로 지칭될 수 있으며, 통상의 기술자에게 쉽게 이해될 수 있으므로 구체적인 설명은 생략한다.

이때, 은닉 노드들 각각에 대응하는 하나 이상의 연결 강도값들은 M×Q의 크기를 갖는 제2 연결강도 행렬(U_M×Q)로 표현할 수 있다. 즉, 제2 연결강도 행렬(UM×Q)은 M개의 차원으로 사상된 특징 벡터(F)를 다시 Q개의 차원으로 늘린다. Q는 M보다 10배 이상 충분히 큰 값으로 설정된다.

한편, 제2 연결강도 행렬(U_M×Q)의 초기값은 임의의 값으로 설정된 후, 특징 벡터(F)와 제2 연결강도 행렬(U_M×Q) 사이의 행렬곱 연산하여 생성된 출력 벡터(Y`)가 훈련 출력값인 훈련출력벡터(Y)가 되도록 지속적으로 갱신될 수 있다. 즉, 제2 연결강도 행렬(U_M×Q)도 훈련 데이터를 지속적으로 지도학습함에 따라 갱신되는 파라미터일 수 있다.

즉, 은닉층(12)은, 입력층(11)으로부터 전달받은 중간 연산 벡터(X)를 특징 벡터로 변환하고, 특징 벡터에 대하여 연결강도를 적용하여 출력 벡터(Y`)를 생성하므로, 마치 CNN(convolutional neural network)의 특징 추출을 담당하는 컨볼루셔널 레이어와 유사한 기능을 은닉층(12)에서 수행하도록 구성할 수 있다.

출력층(13)은, 은닉층(12)으로부터 전달받은 출력 벡터(Y`)에 활성화 함수를 적용함으로써 출력 벡터(Y`)에 대응하는 확률(p)을 결정하고, 결정된 확률(p)이 가장 높은 출력 벡터(Y`)를 출력할 수 있다. 활성화 함수는 다양한 범위를 가지는 값들을 0과 1 사이의 값으로 확대 또는 축소함으로써 확률로 변환하는 효과가 있다. 예를 들어, 활성화 함수는, ReLU 함수 또는 Softmax 함수일 수 있으나 이에 한정되는 것은 아니다.

한편, 일 실시예에서 입력층(11)과 은닉층(12) 사이에 2의 8제곱에 해당하는 값인 256의 p 배수(p는 2 이상의 자연수로서 예를 들면 3)에 해당하는 개수의 뉴런들로 구성되는 자가주의집중 계층(14)이 더 포함될 수 있다. 자가주의집중계층(14, self-attention layer)은, 자기집중 메커니즘(self-attention mechanism)에 따른 기법을 수행하는 계층으로서, 입력층(11)으로부터 전달되는 시퀀스로부터 정보를 통합하는 신경망 구조의 한 종류이다.

자가집중 메커니즘에 대해서는 Vaswani , output probability to another component or to another sys- A. , Shazeer , N. , Parmar , N. , Uszkoreit , J. , Jones , L. , Gomez , tem , and the like . Examples of the output terminal may 45 A. N. , Kaiser , L. and Polosukhin , I. , 2017.을 참조하여 이해될 수 있으므로, 기본적인 설명은 간략히 하였다.

한편, 본 발명의 일 실시예에서 자가주의집중계층(14)은, 입력층(11)의 출력으로 제공되는 중간 연산 벡터(X)들 각각의 중요도를 판별하여 중요도가 상대적으로 낮은 정보를 배제시켜 은닉층(12)으로 전달하도록 동작함으로써 예측 결과를 높일 수 있는 역할을 한다. 특히, 입력층(11)으로 하나의 교육 과정에 따른 레슨 별 학습 특징 벡터(X)가 순차적으로 입력될 경우, 다음 교육 과정에 영향이 큰 레슨과 영향이 적은 레슨이 구별되기 때문에 이를 고려하여 은닉층(12)에 전달함으로써 예측 성공율을 높이도록 구성하는 것이 바람직하다.

구체적으로, 자가주의집중계층(14)은, 쿼리(query)와 키(key), 값(value)이라고 하는 3개의 변수들 각각과 대응하는 벡터들을 이용하여 입력층(11)에서 전달받는 중간 연산 벡터(X)들 마다 중요도를 나타내는 자가주의집중 값(α)을 산출한 뒤, 입력층(11)에서 전달받은 중간 연산 벡터(X)들 중에서, 산출된 자가주의집중 값이 가장 높게 산출되는 중간 연산 벡터(X)를 선정하여 은닉층(12)으로 전달하도록 구성될 수 있다.

자가주의집중 값(α)을 산출하기 위하여, 쿼리(query) 변수와 대응하는 q벡터, 키(key) 변수와 대응하는 K벡터, 값(value) 변수와 대응하는 V 벡터가 먼저 결정되어야 한다. 여기서, q벡터는 중요도를 판별하고자 하는 대상으로서, 본 발명에서는 입력층(11)의 출력으로 제공되는 중간 연산 벡터(X)일 수 있다. K벡터는 q벡터와 연산됨으로써 중요도 판별의 기준값을 도출하는 역할을 할 수 있다. V벡터는 K벡터와 q벡터 사이의 연산 결과로 얻어지는 확률값에 대해 적절한 크기의 자가주의집중 값(α)을 도출하는 역할을 한다. q벡터, K벡터, 및 v벡터는 모두 동일한 차원을 갖는 벡터이다.

도 8을 참조하면, 일 실시예에서 K 벡터는 현재 교육과정에 따른 레슨의 총 개수, 레슨에서 문제풀이 횟수에 따른 평가 통과 횟수의 비율, 및 현재 교육과정에서 평균 통과 횟수에 따른 평균 점수의 비율 각각을 성분값으로 갖는 초기 K벡터가 구성될 수 있다.

다음으로, 초기 K벡터가 q벡터와 대응하는 차원을 갖도록 미리 설정된 기준값을 이용하여 패딩(padding) 처리되고, 마스크 벡터(mask vecter)와 쉬프트 내적 연산된 결과값으로서 K벡터가 결정될 수 있다. 마스크 벡터는 연산 대상이 되는 성분값들에 대한 데이터 평활화(data smoothing)을 하는 벡터로서, 다양한 형태의 스무딩용 벡터들이 존재하므로 통상의 기술자는 주지된 스무딩 벡터들 중 하나를 선택적으로 활용할 수 있다.

쉬프트 내적 연산은 마스크 벡터가 하나의 성분값씩 이동하면서 패딩 처리된 초기 K벡터와의 내적(dot)연산을 순차적으로 수행하는 것을 의미할 수 있다. 즉, 내적 연산이 수행될 때마다 순차적으로 얻어지는 결과값들이 K벡터의 성분값들이 된다.

V 벡터는 관리자에 의해 미리 설정되는 고정된 성분값을 갖는 벡터일 수 있다.

결정된 q벡터, K벡터, V벡터를 기반으로 하기 수학식에 따른 자가주의집중 값(α)이 다음과 같이 산출될 수 있다.

상기 수학식 5를 참조하면, activate는 입력값에 대한 확률값을 출력하는 활성화함수로서 전술한 ReLU 함수 또는 Softmax 함수일 수 있다. q는 상기 q벡터이고, K는 상기 K벡터이고, V는 상기 V벡터이고, d는 q벡터와 K벡터 사이의 연산 결과를 미리 설정된 크기의 값 이하로 낮춰주는 상수로서 미리 설정되는 값일 수 있다.

본 발명의 일 실시예에서 은닉층(12)은, 동일한 개수의 뉴런들을 가지며, 서로 다르고 순차적으로 연결된 복수의 은닉층들로 구성될 수 있다. 예를 들어, 은닉층(12)은 서로 다르고 순차적으로 연결된 제1 은닉층, 제2 은닉층, 제3 은닉층, 및 제4 은닉층으로 구성될 수 있다. 이때, 제1 내지 제4 은닉층은 선형 레이어(linear layer)일 수 있으며, 제1 내지 제4 은닉층들 중에서 적어도 하나는 밀집 레이어(dense layer)일 수 있다. 여기서 선형 레이어 또는 밀집 레이어의 지정은 Tensorflow에서 미리 정의된 함수를 통해 간단하게 설정될 수 있으므로 설명은 생략한다.

또한, 제1 내지 제4 은닉층들 중에서 적어도 하나는 은닉층들의 개수와 은닉층들 각각이 갖는 뉴런들의 수에 따라 결정되는 확률(p)에 따라 드랍아웃(drop out)이 적용될 수 있다.

본 발명의 일 실시예에서, 드랍아웃이란, 해당 계층을 구성하는 뉴런들 중에서 확률(p)에 따라 무작위로 선택된 적어도 일부의 뉴런들의 가중치를 0 또는 미리 정의된 상수로 설정함으로써 해당 일부의 뉴런들을 비활성화하거나 방해하도록 구성하는 것을 의미할 수 있다.

예를 들어, 제1 은닉층이 768개의 뉴런들로 구성되고, 확률(p)이 0.2인 경우, 768개의 뉴런들 중 무작위로 선택된 20%의 뉴런들(즉, 768/5 개의 뉴런들)에 대한 가중치가 0 또는 미리 정의된 상수로 설정될 수 있다.

예를 들어, 확률(p)는 다음의 수학식 6과 같이 정의될 수 있다.

수학식 6에서 NRn은 제1 내지 제4 은닉층들에 포함된 뉴런들의 평균 개수일 수 있고, HDn은 은닉층들의 전체 개수로서 제1 내지 제4 은닉층들로 구성될 경우 4일 수 있다.

이처럼, 제1 내지 제4 은닉층들 중에서 적어도 하나에 대하여 드랍아웃을 적용할 경우, 은닉층들의 수와 각 뉴런들의 수가 증가함에 따라 발생할 수 있는 과적합 경향성을 보상하거나 상쇄할 수 있어 더 높은 예측 효과를 가져오는 데 도움이 될 수 있다.

일 실시예에서, 제1 내지 제4 은닉층들 중에서 제1 은닉층 및 제3 은닉층 내지 제4 은닉층 각각은 서로 동일한 뉴런들의 수로 구성될 수 있다. 예를 들어, 각각 768개의 뉴런들로 구성될 수 있다.

이때, 제1 은닉층 뒤에 연결되는 제2 은닉층을 구성하는 뉴런들의 수는 다른 은닉층들 각각이 갖는 뉴런들의 수보다 적어도 4 배이상 클 수 있다. 제2 은닉층을 구성하는 뉴런들의 수를 다른 은닉층들 각각이 갖는 뉴런들의 수보다 기준치 이상 크게 설정할 경우, 인공 신경망 엔진(102b)이 과적합되는 경향성이 줄어들 수 있는 장점이 있다.

도 9는 일 실시예에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 장치의 하드웨어 구성을 예시적으로 나타낸 도면이다.

도 9를 참조하면, 학습량 추천 서버(100)는, 적어도 하나의 프로세서(110), 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.

여기서, 적어도 하나의 동작은 전술한 학습량 추천 서버(100)이 동작이나 기능들 중에서 적어도 일부를 포함하는 것으로 해석되며, 중복 설명을 방지하기 위하여 구체적인 설명은 생략된다.

여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다.

학습량 추천 서버(100)는, 적어도 하나의 동작을 수행함에 따른 입력 데이터, 중간 처리 데이터, 임시 데이터, 출력 데이터 등을 비일시적으로 저장하기 위한 저장 장치(160)를 더 포함할 수 있다.

예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.

또한, 학습량 추천 서버(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 더 포함할 수 있다. 또한, 학습량 추천 서버(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150) 등을 더 포함할 수 있다. 학습량 추천 서버(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.

학습량 추천 서버(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.

도 10은 일 실시예에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 방법 및 장치의 효과를 확인할 수 있는 통계 분석 결과를 나타낸 그래프이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 빅데이터와 인공지능 기반의 개인화된 학습량 추천 방법 또는 빅데이터와 인공지능 기반의 개인화된 학습량 추천 장치에서 제공되는 추천 학습량으로 다음 교육과정에서의 학습을 실시한 제1 사용자 그룹에 대한 평가성적(X_i)에 따른 확률분포(with AI)가 도시된다.

또한, 도 10을 참조하면, 본 발명의 일 실시예에 따라 제공되는 추천 학습량으로 다음 교육과정에서의 학습을 실시하지 않고, 사용자들 각자의 선택에 따른 학습량으로 다음 교육과정에서의 학습을 실시한 제2 사용자 그룹에 대한 평가성적(X_i)에 따른 확률분포(General)가 도시된다.

여기서, 제1 사용자 그룹과 제2 사용자 그룹이 수행한 현재 교육과정과 다음 교육과정은 동일하며, 각 그룹에 속하는 사용자들의 수는 동일하다. 도면에서 곱셉, 나눗셈, 분수/소수는 각각 다음 교육과정을 의미하며, 덧셈 -> 곱셈 -> 나눗셈 -> 분수/소수의 교육과정 순서를 가진다.

이때, 도 9에 도시된 것과 같이 학업성취능력 타입이 D 타입이고, 다음 교육과정이 분수/소수인 경우를 제외한 거의 모든 학업성취능력 타입에 따른 다음 교육과정에서 모두 본 발명의 일 실시예에 따른 추천 학습량을 실시하였을 때 더 높은 평가성적을 갖는 것이 확인된다.

따라서, 본 발명의 일 실시예에 따라 제공되는 추천 학습량으로 학습할 경우 학습 효과가 더욱 높아질 수 있어 학업 효율이 크게 증가할 수 있는 장점이 있다. 또한 자신의 학습량을 스스로 선택하거나 계획하기 힘든 어린 학생일수록, 추천 학습량을 제공받았을 때 더욱 높은 학업 성취도 증가 효과가 나타날 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 머신러닝 엔진
20: 학습량 테이블
100: 학습량 추천 서버
101: 학습 데이터 수집부
102: 학업성취능력 예측부
102a: 군집화 엔진
102b: 인공신경망 엔진
103: 학습량 테이블 생성부
104: 추천 학습량 결정부
200: 학생 단말

Claims

자기집중 메커니즘 기반의 개인화된 학습량 추천 장치로서,
다수의 사용자들에 대응하는 학생 단말들로부터 다수의 학습 데이터들을 수집하는 학습 데이터 수집부;
상기 다수의 학습 데이터들을 이용하여 상기 학생 단말들 각각의 사용자와 대응하는 학업성취능력 타입을 예측하는 학업성취능력 예측부;
예측된 학업성취능력 타입에 따라 상기 학습 데이터들을 전처리(pre-processing)하여 학습량 테이블을 생성하는 학습량 테이블 생성부; 및
상기 학습량 테이블을 참조하여 타겟 사용자에 대응하는 추천 학습량을 결정하고, 결정된 상기 추천 학습량을 상기 타겟 사용자의 학생 단말에 제공하는 추천 학습량 결정부;를 포함하고,
상기 학업성취능력 예측부는,
현재 교육과정에 따른 상기 학습 데이터들을 이용하여 상기 사용자들을 클러스터링함으로써, 사용자들 각각에 대응하는 클러스터(cluster)를 결정하고, 결정된 클러스터에 부여된 학업성취능력 타입을 해당 클러스터에 속하는 사용자의 학업성취능력 타입으로 예측하는 군집화 엔진; 및
상기 사용자들 각각의 학습 데이터와 대응하는 훈련 입력값 및 상기 군집화 엔진을 통해 학업성취능력 타입이 라벨링된 훈련 출력값으로 구성되는 훈련 데이터를 이용하여 지도학습(supervised-learning)되고, 딥러닝 기반으로 상기 타겟 사용자에 대응하는 학업성취능력 타입을 예측하는 인공신경망 엔진;을 포함하되,
상기 인공신경망 엔진은,
상기 사용자들 각각의 현재 교육과정에 따른 학습 데이터를 변환하여 획득되는 학습 특징 벡터를 입력받고, 상기 학습 특징 벡터의 성분값 개수와 동일한 개수의 뉴런들로 구성되는 입력층;
상기 입력층으로부터 전달받은 출력값을 이용하여 산출된 출력 벡터를 출력층에 전달하는 은닉층;
상기 출력 벡터에 활성화함수(activation function)를 적용하여 상기 출력 벡터에 대응하는 확률을 결정하고, 결정된 확률이 가장 높은 출력 벡터를 출력하는 출력층; 및
상기 입력층과 상기 은닉층 사이에 자기집중 메커니즘(self-attention mechanism)에 따른 기법을 수행하는 자가주의 집중계층(self-attention layer)을 포함하고,
상기 자가주의 집중계층은, 상기 입력층의 출력으로 얻어지는 중간 연산 벡터들 각각에 대하여 자가주의집중값(α)을 산출하고, 산출된 상기 자가주의집중값이 가장 높은 중간 연산 벡터를 상기 입력층의 출력값으로 선정하여 상기 은닉층으로 전달하되,
상기 자가주의집중값(α)은 하기 수학식 1에 따라 산출되고,
[수학식 1]

상기 수학식 1에서 activate는 입력값에 대한 확률값을 출력하는 활성화함수로서 ReLU 함수 또는 Softmax 함수이고, q는 상기 입력층의 출력으로 제공되는 중간 연산 벡터들 각각을 나타내는 q벡터이고, V는 관리자에 의해 미리 설정되는 고정된 성분값을 갖는 V벡터이고, K는 초기 K벡터에 대한 패딩(padding) 처리 후 마스크 벡터(mask vector)와의 쉬프트 내적 연산의 결과값으로 도출되는 K벡터이며,
상기 마스크 벡터는 연산 대상이 되는 성분값들에 대한 데이터 평활화(data smoothing)을 수행하도록 미리 정의된 벡터이고, 상기 초기 K벡터는, 현재 교육과정에 따른 레슨의 총 개수, 레슨에서 문제풀이 횟수에 따른 평가 통과 횟수의 비율, 및 현재 교육과정에서 평균 통과 횟수에 따른 평균 점수의 비율 각각을 성분값으로 갖는 벡터이고,
상기 자가주의 집중계층은, 256의 p 배수(p는 2 이상의 자연수)에 해당하는 개수의 뉴런들로 구성되고,
상기 은닉층은, 상기 중간 연산 벡터로부터 아래 수학식 2를 만족하는 대각 행렬(diagonal matrix)를 특징 벡터(F)로 획득하고, 획득된 상기 특징 벡터에 상기 은닉층을 구성하는 은닉 노드들 각각에 대응하는 하나 이상의 연결강도를 적용하여 상기 출력 벡터를 생성하고,
[수학식 2]

상기 수학식 2에서 X는 상기 중간 연산 벡터이고, F는 상기 특징 벡터이며, R은 특징 벡터(F)와 중간 연산 벡터(X) 사이에서 상기 수학식 2에 따른 관계를 가역적으로 만족시키는 좌표변환행렬인, 자기집중 메커니즘 기반의 개인화된 학습량 추천 장치.