KR20220070321A

KR20220070321A - 학습효과 추정 장치, 학습효과 추정 방법, 프로그램

Info

Publication number: KR20220070321A
Application number: KR1020227015036A
Authority: KR
Inventors: 준 와타나베; 토모야 우에다; 토시유키 사쿠라이
Original assignee: 가부시키가이샤 제트 카이
Priority date: 2019-11-11
Filing date: 2020-10-30
Publication date: 2022-05-30
Also published as: CN114730529A; EP4060645A4; WO2021095571A1; KR102635769B1; EP4060645A1; US20220398496A1

Abstract

인간이 사물을 이해하는 메커니즘의 다양한 측면을 반영하여, 유저의 학습 효과를 추정할 수 있는 학습효과 추정 장치를 제공한다. 학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 학습 데이터에 기초하여 유저의 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 모델 기억부와, 모델에 학습 데이터를 입력하여, 카테고리마다의 정해 확률을 생성하는 정해 확률 생성부와, 정해 확률의 시계열 데이터를 유저마다 축적하는 정해 확률 데이터베이스와, 소정의 유저의 학습효과 추정을 위한 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 유저의 범위 데이터 내의 정해 확률에 기초하는 이해도와, 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부를 포함한다.

Description

학습효과 추정 장치, 학습효과 추정 방법, 프로그램

본 발명은 유저의 학습 효과를 추정하는 학습효과 추정 장치, 학습효과 추정 방법, 프로그램에 관한 것이다.

학력효과 측정에 기초하는 학습 계획을 자동 형성하고 그 학습을 온라인 상에서 할 수 있는 온라인 학습 시스템(특허문헌 1)이 알려져 있다.

특허문헌 1의 온라인 학습 시스템은 온라인 학습 서버와 인터넷을 통하여 접속된 복수의 학습자 단말을 갖춘다. 온라인 학습 서버는 각 학습자 단말로부터의 요구에 따라 요구된 과목의 학습 효과 측정을 위한 문제를 복수의 측정 항목과 각 항목마다의 측정 분야의 단위로 나눈 문제로 요구 단말에 제공한다. 문제를 제공받은 단말로부터 학습자가 해답한 문제의 해답이 서버에 송신되면, 서버는 측정 항목에 있어서의 모든 측정 분야마다 해답을 채점함과 아울러, 각 측정 항목과 각 항목에 있어서의 전체 측정 분야마다, 채점 결과를 복수 단계의 평가값으로 변환하여 평가값을 학습자 단말에 제시한다. 서버는 이 평가값에 기초하여 각 측정 항목에 있어서의 측정 분야마다 온라인 학습 서버로부터 제공되는 당해 과목의 학습 텍스트에 있어서의 학습해야 할 각 분야의 내용과 학습해야 할 시간을 당해 학습자 단말에 제시한다.

특허문헌 1의 온라인 학습 시스템에 의하면, 서버로부터 수험한 과목의 전범위를 나눈 복수의 측정 항목에 있어서의 복수의 측정 분야에 대해, 유저의 도달도를 평가값으로 학습자 단말에 제시할 수 있다. 또, 평가값에 기초하여 각 측정 분야마다 온라인 학습 서버로부터 단말에 제공되는 텍스트 상에서 학습해야 할 단원내용과 그것에 요하는 시간을 학습자 단말에 제시할 수 있다.

일본 특개 2012-208143호

특허문헌 1의 온라인 학습 시스템은 학습 효과 측정을 위해 출제된 문제의 채점 결과를 평가값으로 치환했을 뿐이며, 인간이 사물을 이해하는 메커니즘의 다양한 측면을 반영할 수 없었다.

그래서, 본 발명에서는, 인간이 사물을 이해하는 메커니즘의 다양한 측면을 반영하여, 유저의 학습 효과를 추정할 수 있는 학습효과 추정 장치를 제공한다.

본 발명의 학습효과 추정 장치는 모델 기억부와, 정해(正解) 확률 생성부와, 정해 확률 데이터베이스와, 이해도 신뢰도 생성부를 포함한다.

모델 기억부는 학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하여, 학습 데이터에 기초하여 유저의 카테고리마다의 정해 확률을 생성하는 모델을 기억한다. 정해 확률 생성부는 모델에 학습 데이터를 입력하여, 카테고리마다의 정해 확률을 생성한다. 정해 확률 데이터베이스는 정해 확률의 시계열 데이터를 유저마다 축적한다. 이해도 신뢰도 생성부는 소정의 유저의 학습효과 추정을 위한 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 유저의 범위 데이터 내의 정해 확률에 기초하는 이해도와, 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 카테고리에 대응시켜 출력한다.

본 발명의 학습효과 추정 장치에 의하면, 인간이 사물을 이해하는 메커니즘의 다양한 측면을 반영하여, 유저의 학습 효과를 추정할 수 있다.

도 1은 실시예 1의 학습효과 추정 장치의 구성을 나타내는 블럭도.
도 2는 실시예 1의 학습효과 추정 장치의 동작을 나타내는 흐름도.
도 3은 학습 데이터의 종류에 대해 설명하는 도면.
도 4는 카테고리의 상관관계의 예를 나타내는 도면.
도 5는 상관이 있는 카테고리의 정해 확률이 동시에 변동하는 예를 나타내는 도면.
도 6은 카테고리의 선행후속 관계의 예를 나타내는 도면.
도 7은 학습 데이터(콘텐츠)에 지정되는 카테고리의 예를 나타내는 도면.
도 8은 정해 확률(이해도)의 시계열 데이터의 예를 나타내며, 도 8a는 변동이 큰 예, 도 8b, 도 8c는 변동이 적은 예를 나타내는 도면.
도 9는 카테고리 집합과 목표 카테고리의 예를 나타내는 도면.
도 10은 이해도와 신뢰도에 기초하는 유형 분류의 예를 설명하는 도면.
도 11은 이상적인 훈련 데이터와 실제의 훈련 데이터의 예를 나타내는 도면.
도 12는 정해 확률이 1보다 낮은 값(p)에서 포화하는 예를 나타내는 도면.
도 13은 더미 데이터를 삽입하여 생성한 보정 훈련 데이터의 예를 나타내는 도면.
도 14는 문제를 풀지 않은 기간을 반영한 훈련 데이터의 예를 나타내는 도면.
도 15는 컴퓨터의 기능 구성예를 나타내는 도면.

(발명을 실시하기 위한 형태)

이하, 본 발명의 실시형태에 대해, 상세하게 설명한다. 또한, 같은 기능을 갖는 구성부에는 같은 번호를 붙이고, 중복 설명을 생략한다.

실시예 1

이하, 도 1을 참조하여 실시예 1의 학습효과 추정 장치의 구성을 설명한다. 동 도면에 나타내는 바와 같이, 본 실시예의 학습효과 추정 장치(1)는 학습 데이터 취득부(11)와, 정해 확률 생성부(12)와, 모델 기억부(12A)와, 정해 확률 데이터베이스(12B)와, 범위 데이터 취득부(13)와, 이해도 신뢰도 생성부(14)와, 레코멘드 생성부(15)를 포함한다. 또한, 동 도면에 파선으로 나타내는 바와 같이, 레코멘드 생성부(15)는 필수 구성 요건은 아니며, 경우에 따라 생략해도 된다.

이하, 도 2 이후를 참조하여, 각 구성 요건의 상세한 동작을 설명한다.

<학습 데이터 취득부(11)>

학습 데이터 취득부(11)는 학습 데이터를 취득한다(S11). 학습 데이터란 유저가 콘텐츠를 학습했을 때의 학습 결과나 학습 상황의 데이터이며, 콘텐츠, 학습 데이터에는, 학습 목적별 카테고리(이하, 단지 카테고리라고 함)가 미리 배정되어 있다.

[콘텐츠, 학습 데이터]

도 3에 나타내는 바와 같이, 콘텐츠에는 커리큘럼, 어댑티브의 2개의 종별을 마련해도 된다. 커리큘럼에는, 예를 들면, 시나리오, 연습 문제 등을 포함할 수 있다. 어댑티브에는, 예를 들면, 연습(演習) 문제 등을 포함할 수 있다.

시나리오란 읽거나, 듣거나, 도면을 참조하거나, 동영상을 보는 등, 문제 연습(演習) 이외의 형식에 의해, 지식을 습득하는 타입의 콘텐츠(교재)를 나타낸다. 시나리오의 학습 데이터란 전형적으로는 시나리오의 종료, 청강 완료, 열람 완료 등 학습 결과를 나타내는 데이터(플래그)나, 학습이 행해진 일시, 장소 등 학습 상황을 나타내는 데이터이다. 이것 이외에도 시나리오의 독해, 청강, 열람의 횟수나 빈도를 시나리오의 학습 데이터로 해도 된다.

연습 문제란, 전형적으로는, 시나리오와 시나리오의 사이에 삽입되어, 혹은 시나리오의 뒤에 삽입되어, 직전의 시나리오의 이해도를 묻는 기본적인 예제 등을 의미하고 있다. 연습 문제의 학습 데이터란, 전형적으로는, 연습 문제의 실시, 실시의 횟수, 빈도, 정오, 정답률, 득점, 오답의 내용 등 학습 결과를 나타내는 데이터나, 학습이 행해진 일시, 장소 등 학습 상황을 나타내는 데이터이다.

연습(演習) 문제란, 전형적으로는, 테스트 형식으로 출제되는 문제군 등을 의미하고 있다. 연습(演習) 문제의 학습 데이터란, 전형적으로는, 연습(演習) 문제의 실시, 실시의 횟수, 빈도, 정오, 정답률, 득점, 오답의 내용 등 학습 결과를 나타내는 데이터나, 학습이 행해진 일시, 장소 등 학습 상황을 나타내는 데이터이다. 또, 모의시험의 성적 데이터를 연습(演習) 문제의 학습 데이터로서 사용해도 된다.

[카테고리]

카테고리란 유저의 학습 내용을 세분화하여 정의한 학습 목적을 나타낸다. 예를 들면, 「1차 방정식을 풀 수 있음」을 카테고리 01, 「연립방정식을 풀 수 있음」을 카테고리 02, 등으로 정의해도 된다. 또, 상기를 더 세분화하여, 예를 들면, 「이항을 사용하여 1차 방정식을 풀 수 있음」, 「괄호가 있는 1차 방정식을 풀 수 있음」, 「계수에 분수·소수를 포함하는 1차 방정식을 풀 수 있음」과 같은 카테고리를 정의해도 된다.

2개의 카테고리의 정해 확률(또는 이해도)은 경우에 따라 밀접한 관련성을 갖는 경우가 있다. 예를 들면, 삼각함수의 sinθ, cosθ의 기본적인 성질에 대한 정해 확률(또는 이해도)이 높은 경우에, 같은 삼각함수인 tanθ의 기본적인 성질에 대한 정해 확률(또는 이해도)이 높아지는 경향이 있다고 할 수 있고, 이것들은 밀접한 관련성을 가진다고 할 수 있다. 도 4에 카테고리의 상관관계의 예를 나타낸다. 동 도면의 예에서는, 카테고리 01은 카테고리 02 및 카테고리 03에 강하게 상관하고 있다. 또, 카테고리 02, 03 정도는 아니지만, 카테고리 04는 카테고리 01과 약하게 상관하고 있다. 또, 카테고리 05는 카테고리 01과는 무상관이다. 예를 들면, 유저가 카테고리 01을 학습 중인 경우, 당연한 것이지만 학습 결과에 따라, 카테고리 01의 정해 확률(또는 이해도)은 변동한다. 이때, 카테고리 02, 03, 04가 미학습이었다고 해도, 카테고리 01과 상관이 있기 때문에, 카테고리 01의 학습 결과에 따라, 카테고리 02, 03, 04의 정해 확률(또는 이해도)도 변동한다. 이때, 카테고리 01과는 무상관인 카테고리 05의 정해 확률(또는 이해도)은 변동하지 않는다.

예를 들면, 도 5에 예시하는 바와 같이, 카테고리 01을 학습함으로서, 카테고리 01의 정해 확률이 0.20 상승한 경우에, 카테고리 01과 강하게 상관하는 카테고리 02, 03의 정해 확률은 0.10 상승하고, 카테고리 01과 약하게 상관하는 카테고리 04의 정해 확률은 0.05 상승하는 것과 같은 케이스를 생각할 수 있다.

[카테고리의 선행후속 관계]

카테고리 간에 선행후속 관계를 정의해도 된다. 선행후속 관계란 카테고리의 권장 학습 순서를 정의하는 파라미터이다. 보다 상세하게는, 선행후속 관계란 어떤 카테고리를 선행하여 학습한 경우에, 후속하여 학습하는 카테고리의 학습 효과가 높아지도록 정한 가중 파라미터이다. 예를 들면, 상기의 예에 있어서, 카테고리 「sinθ, cosθ의 기본적인 성질」을 선행 학습한 경우, 후속하는 카테고리로서, 카테고리 「tanθ의 기본적인 성질」을 선택하면, 학습 효과가 높아질 것으로 예상된다.

예를 들면, 도 6의 예에서는, 카테고리 01이 선행하는 경우에, 후속하는 카테고리로서 가중 파라미터=0.8을 갖는 카테고리 02를 선택하면, 학습 효과가 높아질 것으로 예상된다. 마찬가지로, 카테고리 02가 선행하는 경우에, 후속하는 카테고리로서 가중 파라미터=0.8을 갖는 카테고리 03을 선택하면, 학습 효과가 높아질 것으로 예상된다. 또한, 도 6에 있어서, 모든 카테고리에서, 순서도 포함한 모든 학습의 관계성을 표시하는 연속값으로서, 카테고리 간의 관계성을 정의해도 된다.

[콘텐츠에 지정되는 카테고리의 수]

각 콘텐츠에는, 적어도 하나의 카테고리가 부여된다. 콘텐츠에 2 이상의 카테고리를 부여해도 된다. 도 7의 예에서는, 콘텐츠_0101에 카테고리 01, 02가, 콘텐츠_0102에 카테고리 01이, 콘텐츠_0201에 카테고리 02, 03, 04가 각각 부여되어 있다.

<모델 기억부(12A)>

모델 기억부(12A)는 학습 데이터를 입력으로 하고, 학습 데이터에 기초하여 유저의 카테고리마다의 정해 확률을 생성하는 모델(DKT 모델)을 기억한다.

[DKT 모델]

DKT란 Deep Knowledge Tracing의 약자이다. Deep Knowledge Tracing이란 학습자(유저)가 지식을 획득해 가는 메커니즘을 뉴럴·네트워크(Deep Learning)를 사용하여 모델화하는 기술이다.

DKT 모델은, 대량으로 수집한 훈련 데이터를 사용하여, 교사가 있는 학습에 의해 최적화된다. 일반적으로 훈련 데이터는 벡터와 레이블의 세트를 갖추지만, 본 실시예의 DKT 모델의 경우, 예를 들면, 벡터, 레이블에 사용하는 학습 데이터로서 대응하는 카테고리에 있어서의 연습(演習) 문제나 모의시험 문제의 정오 정보 등을 사용할 수 있다. DKT 모델에 의해 카테고리 간의 상관관계는 학습되기 때문에, DKT 모델에 어떤 교과의 일부의 카테고리의 학습 데이터만을 입력으로 한 경우이더라도, 당해 교과의 모든 카테고리의 정해 확률이 추정되어 출력된다.

<정해 확률 생성부(12)>

정해 확률 생성부(12)는 DKT 모델에 학습 데이터를 입력하여, 카테고리마다의 정해 확률을 생성한다(S12).

<정해 확률 데이터베이스(12B)>

정해 확률 데이터베이스(12B)는 스텝 S12에서 생성한 정해 확률의 시계열 데이터를 유저마다, 카테고리마다 축적한다. 도 8a, 도 8b, 도 8c에 정해 확률(이해도)의 시계열 데이터의 예를 나타낸다. 도 8a는 변동이 큰 예를 나타낸다. 그래프의 가로축은 문제 수(문으로 표기함)이어도 되고, 일 수(DAY로 표기함)이어도 된다. 그래프의 세로축은 정해 확률(또는 후술하는 이해도)이다. 도 8a는, 예를 들면, 문 4, 또는 DAY 4까지 커리큘럼의 학습에 몰두했고, 문 4, 또는 DAY 4까지의 학습 데이터를 순차적으로 DKT 모델에 입력함으로써, 정해 확률이 일시적으로 상승했지만, 문 5, 또는 DAY 5부터 어댑티브의 학습을 개시한 결과, 연습(演習) 문제의 정답률이 좋지 않았고, 문 5, 또는 DAY 5 이후의 학습 데이터를 순차적으로 DKT 모델에 입력함으로써, 정해 확률이 일시적으로 하강한 케이스 등에 해당한다. 도 8b는, 예를 들면, 문 1∼문 8, 또는 DAY 1∼DAY 8까지 계속하였고, 어댑티브의 학습에 몰두했고, 순차적으로 학습 데이터를 DKT 모델에 입력함으로써, 정해 확률이 조금씩 상승한 케이스 등이 해당된다. 도 8c는, 예를 들면, 문 2, 또는 DAY 2까지 커리큘럼의 학습에 몰두했고, 문 2, 또는 DAY 2까지의 학습 데이터를 순차적으로 DKT 모델에 입력함으로써, 정해 확률이 완만하게 상승했고, 문 3, 또는 DAY 3부터 어댑티브의 학습에 몰두했고, 학습 데이터를 순차적으로 DKT 모델에 입력함으로써 정해 확률이 완만하게 상승한 케이스 등이 해당된다.

<범위 데이터 취득부(13)>

범위 데이터 취득부(13)는 소정의 유저의 학습효과 추정을 위한 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득한다(S13). 예를 들면, 소정의 유저가 학교의 중간, 기말 테스트의 출제 범위의 학습 효과를 추정하고 싶은 경우, 당해 유저는, 중간, 기말 테스트에서 지정되어 있는 출제 범위를 카테고리에 적용하고, 적용한 카테고리 모두를 범위 데이터로서 지정(입력)한다. 또, 소정의 유저가 고교 수험의 수학에 관하여 학습 효과를 추정하고 싶은 경우, 당해 유저는 중학교 1학년∼중학교 3학년까지 학습하는 수학의 카테고리 모두를 범위 데이터로서 지정(입력)한다.

범위 데이터의 취득에 관해서는, 소정의 유저가 교과서의 페이지 수나 단원명 등의 데이터를 범위 데이터 취득부(13)에 입력하고, 범위 데이터 취득부(13)가 이들 데이터를 카테고리에 적용하여, 범위 데이터를 취득해도 된다.

<이해도 신뢰도 생성부(14)>

이해도 신뢰도 생성부(14)는 스텝 S13에서의 범위 데이터를 취득하고, 소정의 유저의 범위 데이터 내의 정해 확률(예를 들면, 최근의 데이터)에 기초하는 이해도와, 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하고, 카테고리에 대응시켜 출력한다(S14). 예를 들면, 이해도 신뢰도 생성부(14)는, 범위 데이터 내의 각 카테고리의 최근의 정해 확률을, 각 카테고리의 이해도로서 출력해도 된다. 또, 예를 들면, 이해도 신뢰도 생성부(14)는 정해 확률이 일정값 이하이면, 그 유저는 해당 카테고리를 이해하지 못했다고 간주하여, 이해도를 0으로 해도 된다. 또, 예를 들면, 이해도 신뢰도 생성부(14)는 정해 확률이 일정값을 초과했으면, 정해 확률을 α배로 하고 β를 빼서 보정한 값을 이해도로 해도 된다.

이해도 신뢰도 생성부(14)는, 이해도의 시계열 데이터의 변동을 고려하기 위해, 이해도의 시계열 데이터의 데이터수가 소정의 임계값 미만일 경우에, 신뢰도를 소정값(작은 값으로 하는 것이 바람직함)으로 설정할 수도 있다. 또, 해당 카테고리 및 관련되는 카테고리에서 학습이 시작되지 않았다(미학습)고 생각될 정도로 이해도가 낮을 경우, 즉 이해도가 미리 설정한 임계값(작은 값으로 하는 것이 바람직함) 미만일 경우에는, 이해도가 안정되었다고 하더라도, 신뢰도를 소정값(작은 값으로 하는 것이 바람직함)으로 설정할 수도 있다.

이해도를 상기와 다른 정의에 기초하여 생성, 출력해도 된다. 예를 들면, 카테고리가 어느 하나의 카테고리 집합에 속해 있고, 카테고리 집합의 각각에 목표 카테고리가 1개씩 존재하는 것으로 정의한 경우에 대해 생각한다.

예를 들면, 도 9에 나타내는 바와 같이, 카테고리 01, 02, 03이 제1 카테고리 집합(5-1)에 속해 있고, 카테고리 04, 05가 제2 카테고리 집합(5-2)에 속해 있는 것으로 하고, 제1 카테고리 집합(5-1)의 목표 카테고리를 카테고리 03으로 하고, 제2 카테고리 집합(5-2)의 목표 카테고리를 카테고리 05로 한다. 예를 들면, 정기 시험의 시험 범위에 있어서, 복수의 단원(예를 들면, 벡터와 복소수의 단원)이 출제 범위로 되어 있는 경우, 각 단원의 카테고리를 각 카테고리 집합에 포함시키고, 각 단원에 대응하는 각 카테고리 집합에 대하여, 목표 카테고리를 설정하면 적합하다.

이 경우, 이해도 신뢰도 생성부(14)는 범위 데이터 내에 포함되는 목표 카테고리의 정해 확률을 대응하는 카테고리 집합 전체의 이해도로서 생성하고, 카테고리 집합 전체의 이해도에 기초하여 카테고리 집합 전체의 신뢰도를 생성하면 적합하다.

또, 목표 카테고리는 1개의 카테고리 집합에 2개 이상 존재해도 되고, 그 경우는, 2개 이상 존재하는 목표 카테고리의 정해 확률의 평균값 등을 카테고리 집합 전체의 이해도로 해도 된다.

<레코멘드 생성부(15)>

레코멘드 생성부(15)는 이해도와 소정의 제1 임계값과의 대소 관계, 및 신뢰도와 소정의 제2 임계값과의 대소 관계에 따른 유형 분류 중, 적어도 어느 하나의 유형 분류에 속하는 카테고리를, 소정의 유저의 다음번 학습의 권장 타깃으로 하는 정보인 레코멘드를 생성하여 출력한다(S15).

예를 들면, 도 10에 나타내는 바와 같이, 이해도가 제1 임계값(T₁)을 초과하고 있고, 신뢰도가 제2 임계값(T₂)을 초과하고 있는 유형 1, 이해도가 제1 임계값(T₁)을 초과하고 있고, 신뢰도가 제2 임계값(T₂) 이하인 유형 2, 이해도가 제1 임계값(T₁) 이하이고, 신뢰도가 제2 임계값(T₂)을 초과하고 있는 유형 3, 이해도가 제1 임계값(T₁) 이하이고, 신뢰도가 제2 임계값(T₂) 이하인 유형 4의 4 패턴으로 유형 분류하면 적합하다. 또한, 동 도면에 있어서, 이해도>T₁을 이해도≥T₁, 이해도≤T₁을 이해도<T₁로 하고, 신뢰도>T₂를 신뢰도≥T₂, 신뢰도≤T₂를 신뢰도<T₂로 해도 동일한 유형 분류를 할 수 있다.

동 도면의 예에 있어서의 유형 1은 해당 카테고리에 있어서의 유저의 이해도가 미리 설정한 수준(T₁, 예를 들면, T₁=0.90)을 초과하고 있고, 해당 카테고리에 있어서의 신뢰도도 미리 설정한 수준(T₂, 예를 들면, T₂=0.90)을 초과하고 있는 경우이다. 이해도가 높은 것은 해당 카테고리에 있어서의 유저의 정해 확률이 높은 것을 의미하고, 신뢰도가 높은 것은, 도 8b에 예시한 바와 같이, 이해도의 시계열 데이터의 변동이 작은 것을 의미한다. 따라서, 유저가 해당 카테고리에 있어서 안정하게 고득점을 올릴 수 있을 정도로 습숙도가 높고, 유저의 학습이 충분하다고 판단할 수 있을 가능성이 높다.

동 도면의 예에 있어서의 유형 2는 해당 카테고리에 있어서의 유저의 이해도가 미리 설정한 수준(T₁)을 초과하고 있지만, 해당 카테고리에 있어서의 신뢰도가 미리 설정한 수준(T₂) 이하로 되어 있는 경우이다. 전형적으로는, 해당 카테고리에 있어서의 최근의 학습 데이터에서 높은 정해 확률을 마크했지만, 해당 카테고리에 있어서의 과거의 이해도의 시계열 데이터를 보면, 정해 확률이 낮은 시기가 있어, 변동이 큰 경우 등을 생각할 수 있다.

동 도면의 예에 있어서의 유형 3은 해당 카테고리에 있어서의 유저의 이해도가 미리 설정한 수준(T₁) 이하로 되어 있는 한편, 해당 카테고리에 있어서의 신뢰도가 미리 설정한 수준(T₂)을 초과하고 있는 경우이다. 전형적으로는, 해당 카테고리에 관련되는 다른 카테고리의 학습을 진행함으로써, 해당 카테고리의 이해도가 어느 정도 상승하고, 또한 안정되어 있는 경우, 해당 카테고리의 학습을 진행함으로써, 해당 카테고리의 이해도가 안정되어 있는 경우 등을 생각할 수 있다. 이러한 경우에, 더욱 이해도를 높이기 위해서는, 해당 카테고리의 학습을 진행하여, 안정하게 고득점을 마크할 필요가 있다.

동 도면의 예에 있어서의 유형 4는 해당 카테고리에 있어서의 유저의 이해도가 미리 설정한 수준(T₁) 이하이며, 해당 카테고리에 있어서의 신뢰도도 또한 미리 설정한 수준(T₂) 이하가 되는 경우이다. 전형적으로는, 해당 카테고리 및 관련되는 카테고리에 있어서 학습이 시작되지 않았다(미학습)고 생각될 정도로 이해도가 낮을 경우에, 신뢰도를 소정의 작은 값으로 설정하고 있는 경우를 생각할 수 있다. 또, 도 8a에 예시한 바와 같이, 커리큘럼 학습 등이 어느 정도 진행되어 있고, 최근의 어댑티브 학습에 있어서 득점이 낮아짐으로서, 최근의 이해도가 크게 저하하여, 이해도의 시계열 데이터의 변동이 큰(즉, 신뢰도가 낮은) 경우 등을 생각할 수 있다.

예를 들면, 레코멘드 생성부(15)는 유형 4에 해당하는 카테고리를, 해당 유저의 다음번 학습의 권장 타깃으로 하는 정보인 레코멘드를 생성하여 출력해도 된다. 레코멘드 생성부(15)는, 예를 들면, 유형 4에 해당하는 카테고리를 가장 권장하는 타깃, 유형 3에 해당하는 카테고리를 2번째에 권장하는 타깃, 유형 2에 해당하는 카테고리를 3번째로 권장하는 타깃으로 하여, 레코멘드를 생성하여 출력해도 된다.

상기의 예에 한하지 않고, 레코멘드 생성부(15)는 다양한 기준으로 레코멘드를 생성해도 된다. 예를 들면, 레코멘드 생성부(15)는 범위 데이터 내에 있어서 이해도가 0.5에 가까운 카테고리를 권장하는 타깃으로 하여, 레코멘드를 생성하여 출력해도 된다. 또한, 예를 들면, 레코멘드 생성부(15)는 최근의 학습 데이터에 있어서 N회(N은 2 이상의 임의의 정수) 연속하여 오답으로 되어 있는 설문을 갖는 카테고리를 권장하는 타깃으로 하여, 레코멘드를 생성하여 출력해도 된다.

또, 레코멘드 생성부(15)는 선행하는 카테고리의 이해도 및 신뢰도가 소정의 임계값을 초과하는 경우(1)에, 미리 정한 선행후속 관계(도 6의 예 참조)에 기초하는 후속의 카테고리를 다음번 학습의 권장 타깃으로 하고, 미리 정한 선행후속 관계에 기초하는 후속의 카테고리의 이해도가 소정의 임계값 이하이며, 신뢰도가 소정의 임계값을 초과하는 경우(3)에, 선행하는 카테고리를 다음번 학습의 권장 타깃으로 하여, 레코멘드를 생성하여 출력해도 된다.

예를 들면, 도 9에 나타낸 카테고리 집합에 있어서, 선행하는 카테고리 01의 이해도 및 신뢰도가 유형 1에 해당하는 경우, 후속의 카테고리 02를 다음번 학습의 권장 타깃으로 하여, 레코멘드를 생성하고, 후속의 카테고리 02의 이해도 및 신뢰도가 유형 3에 해당하는 경우, 선행하는 카테고리 01을 다음번 학습의 권장 타깃으로 하여, 레코멘드를 생성하여 출력해도 된다.

레코멘드 생성부(15)가 선행후속 관계에 기초하여 동작함으로써, 선행하여 학습한 카테고리와 내용적으로 멀리 떨어진 카테고리를 다음번 학습의 권장 타깃으로 하는 것을 막을 수 있다.

또, 예를 들면, 도 9에 나타낸 바와 같이, 카테고리 집합과 목표 카테고리가 설정되어 있고, 범위 데이터 내에 복수의 카테고리 집합이 포함되는 경우, 레코멘드 생성부(15)는 소정의 확률로 복수의 카테고리 집합 중 미학습의 카테고리 집합을 지정하는 플래그를 발생시키고, 플래그가 지정하는 카테고리 집합 내의 어느 하나의 카테고리를, 소정의 유저의 다음번 학습의 권장 타깃으로 하는 정보인 레코멘드를 생성하여 출력해도 된다.

레코멘드 생성부(15)는 상기의 레코멘드 생성 규칙을 복수 조합하여 사용함으로써, 레코멘드를 생성해도 된다.

또, 레코멘드 생성부(15)는 범위 데이터 내의 각 카테고리의 이해도, 신뢰도로부터, 학습 종료일을 예측하고, 예측된 학습 종료일이 미리 설정된 기한에 맞출지 아닐지를 판정하고, 판정 결과를 진척도로서 출력해도 된다. 진척도는, 예를 들면, 이해도 신뢰도 생성부(14)가 생성한 이해도의 시계열 데이터로부터 미래에 있어서의 이해도의 변화를 추정하고, 미리 설정된 기한까지, 이해도가 미리 설정된 임계값을 초과한다고 추정되는지 아닌지를 나타내는 지표로 해도 된다.

본 실시예의 학습효과 추정 장치(1)에 의하면, 뉴럴·네트워크(Deep Learning)를 사용한 DKT 모델을 사용함으로써 생성한 정해 확률에 기초하여, 이해도와 신뢰도라고 하는 2개의 파라미터를 정의했기 때문에, 당해 2개의 파라미터에 기초하여, 인간이 사물을 이해하는 메커니즘의 다양한 측면을 반영하여, 유저의 학습 효과를 추정할 수 있다.

[DKT 모델이 출력하는 정해 확률의 포화]

연습 문제, 연습(演習) 문제의 정오 정보를 훈련 데이터의 벡터, 레이블로서 사용하는 경우, 학습되는 DKT 모델에 편향이 생길 가능성이 있다. 예를 들면, 도 11에 나타내는 바와 같이, 어떤 카테고리에 관한 학습이 상태 1(당해 카테고리에 대한 이해가 불충분한 상태), 상태 2(당해 카테고리에 대해 이해하는 과정에서 시행착오하고 있는 상태), 상태 3(당해 카테고리에 대해 충분히 이해한 상태)과 같이, 구분할 수 있다고 가정한 경우에, 도 11의 「이상적인 데이터」의 표에 나타내는 바와 같이, 상태 3의 데이터를 많이 취득하여 훈련 데이터로서 사용하는 것이 DKT 모델의 학습에는 이상적이라고 할 수 있다. 그러나, 실제로는 동 도면의 「실제의 데이터」의 표에 나타내는 바와 같이, 상태 3의 데이터는 조금밖에 얻어지지 않는 경우가 많다.

이것은, 유저가 어떤 카테고리를 학습할 때, 당해 카테고리에 대해 이해가 깊어졌다고 「느낌」을 얻는 타이밍이, 상태 3에 들어가 얼마 안 되는 경우가 많기 때문으로 생각된다. 이 경우, 유저는 상태 3에 있어서의 문제 연습(演習)을 되풀이하지 않고, 다른 카테고리의 학습으로 옮겨가 버릴 가능성이 높아, 훈련 데이터로서 얻어지는 데이터는, 동 도면의 「실제의 데이터」의 표에 나타내는 바와 같이, 상태 3을 조금밖에 포함하지 않는다.

이러한 훈련 데이터에 기초하여, DKT 모델의 학습을 행하면, 도 12에 나타내는 바와 같이, 어떤 카테고리의 학습 데이터로서, 당해 카테고리의 연습 문제, 연습(演習) 문제에 정답한 데이터를 대량으로 입력해도, 당해 유저의 해당 카테고리에 있어서의 정해 확률이 1에 근접하지 않고, 소정의 값(p)(<1)에서 포화되어 버리는 현상이 생긴다. 예를 들면, p≒ 0.7 정도이다. 이 과제에 대처하는 것을 목적으로 하여, 이하에 3가지의 방법을 개시한다.

≪방법 1: 정해 확률, 이해도의 보정≫

예를 들면, 정해 확률 생성부(12)는 DKT 모델에 학습 데이터를 입력하여, 카테고리마다의 정해 확률을 생성하고, 생성한 정해 확률에 소정의 값(α)을 가산하여 이루어지는 보정 정해 확률을 출력해도 된다. 예를 들면, α=0.3으로 설정해도 된다.

또, 예를 들면, 정해 확률 생성부(12)는 생성한 정해 확률이 소정의 값(α)을 승산하여 이루어지는 보정 정해 확률을 출력해도 된다. 이 경우, 예를 들면, α=1.4로 설정해도 된다.

정해 확률을 보정하는 것이 아니고, 이해도를 보정해도 된다. 이 경우, 이해도 신뢰도 생성부(14)는 스텝 S13에 있어서의 범위 데이터 내의 정해 확률에 기초하는 이해도와, 이해도에 기초하는 신뢰도를 생성하고, 생성한 이해도에 소정의 값(β)을 가산하여 이루어지는 보정 이해도와, 신뢰도를 출력해도 된다.

또, 이해도 신뢰도 생성부(14)는 이해도를 수치가 아니고 레이블로서 출력해도 된다. 예를 들면, 이해도 신뢰도 생성부(14)는 정해 확률의 값이 속하는 범위에 기초하여 생성된 레이블인 이해도(표 1의 예 참조)와, 이해도(레이블)의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 카테고리에 대응시켜 출력한다.

≪방법 2: 더미 데이터의 삽입≫

DKT 모델의 훈련 데이터에 더미 데이터를 삽입해도 된다. 예를 들면, 도 13에 나타내는 바와 같이, 훈련 데이터의 상태 3(데이터 번호 11, 12)의 뒤에, 상태 3을 모의하는 더미 데이터(데이터 번호 d1, d2,…, d6)를 삽입하여 보정한 보정 훈련 데이터를 생성하고, 보정 훈련 데이터에 의해 DKT 모델을 학습해도 된다. 삽입하는 더미 데이터의 양은 임의이다. 이것에 의해, 훈련 데이터가 도 11에 나타내는 이상적인 데이터에 근접하기 때문에, DKT 모델이 출력하는 정해 확률이 소정의 값(p)(<1)에서 포화되어 버리는 현상을 막을 수 있다.

≪방법 3: 손실 함수의 보정≫

DKT 모델을 학습할 때의, 손실 함수에 보정항을 마련함으로써, DKT 모델을 보정해도 된다. DKT 모델의 손실 함수(L)는, 예를 들면, 평균 자승 오차의 경우는 이하의 식으로 표시된다.

n은 데이터 수, y_i는 실제값, y^_i는 예측값이다.

평균 절대 오차의 손실 함수(L)는 이하의 식으로 표시된다.

예를 들면, 어떤 모의시험의 문제 1∼7에 대해, 문제 1∼6을 훈련 데이터의 벡터로서 다루기 위해, 문제 1∼6의 정오 정보가 갖추어지도록 추출한 복수인의 유저의, 문제 1∼7의 정답, 오답이 이하와 같이 얻어졌다고 한다.

모의시험의 문제 1∼6의 정오 정보를 벡터로 하고, 모의시험의 문제 7의 정해 확률을 레이블로 한 경우, 실제값(y_i)에 상당하는 것은 레이블 즉 문제 7의 정해 확률(=0.6)이다. 예측값(y^_i)은 상기 벡터, 레이블에 기초하여 학습된 DKT 모델이 출력하는 문제 7의 정해 확률이다.

예를 들면, 식 (1)의 손실 함수를 베이스로 보정항을 추가하여, 식 (1a)로 한다.

여기에서, s_t는 t번째의 데이터가 정답일 경우에 1, 오답일 경우에 0이 되는 파라미터이다. 따라서 s_n _- ₂s_n _- ₁s_n은 데이터 수(n)의 훈련 데이터 중, 최근의 3문(n-2, n-1, n번째의 훈련 데이터)을 연속 정답을 맞히면 값 1이 되고, 그 이외의 경우에 0이 되는 파라미터에 상당한다. p는 DKT 모델이 생성하는 정해 확률이며, 보정항은 이것들의 곱에 -1을 곱한 것이다. 따라서, 최근의 3문이 모두 정답이었을 경우, 보정항은 -p가 되어, 모델이 예상하는 정해 확률(p)이 커질수록 손실 함수(L)가 작아진다. 이렇게 하여, 최근의 정답률이 높을수록, 예측되는 정해 확률(p)이 높아지도록 DKT 모델을 보정할 수 있다. 또한, 보정항은 최근의 3문에 관한 항에 한정되지 않는다. 예를 들면, 최근의 2문, 혹은 최근의 5문에 관한 항으로 해도 된다.

[문제를 풀지 않은 기간을 포함한 학습]

예를 들면, 도 14에 나타내는 바와 같이, 문제를 풀지 않은 기간(-)이 삽입되어 있는 경우와, 그렇지 않은 경우에서, 실시예 1의 DKT 모델에 입력되는 훈련 데이터에 차이는 없었다.

즉, 도 14의 데이터를 훈련 데이터로서 사용하는 경우, 「xoooxxxoxooo」가 사용되고, 문제를 풀지 않은 기간의 길이 등은 고려되지 않았다. 그래서, 동 도면에 나타내는 바와 같이, 훈련 데이터에 정오 정보뿐만 아니라, 직전의 문제를 풀고나서 당해 문제를 풀 때까지의 시간 간격을 나타내는 타임 스팬 정보(time span)를 파라미터로서 갖는 데이터로 하고, 이것을 훈련 데이터로서 사용함으로써, 문제를 풀지 않은 기간(-)이 정해 확률에 미치는 영향(예를 들면, 망각 곡선)을 고려할 수 있다.

<보기>

본 발명의 장치는, 예를 들면, 단일의 하드웨어 엔티티로서 키보드 등이 접속 가능한 취득부, 액정 디스플레이 등이 접속 가능한 출력부, 하드웨어 엔티티의 외부에 통신 가능한 통신 장치(예를 들면, 통신 케이블)가 접속 가능한 통신부, CPU(Central Processing Unit, 캐시 메모리나 레지스터 등을 갖추고 있어도 됨), 메모리인 RAM이나 ROM, 하드 디스크인 외부 기억 장치 및 이것들의 입력부, 출력부, 통신부, CPU, RAM, ROM, 외부 기억 장치 간의 데이터의 주고받음이 가능하도록 접속하는 버스를 가지고 있다. 또 필요에 따라, 하드웨어 엔티티에, CD-ROM 등의 기록 매체를 읽고 쓰기할 수 있는 장치(드라이브) 등을 설치하는 것으로 해도 된다. 이러한 하드웨어 자원을 갖춘 물리적 실체로서는 범용 컴퓨터 등이 있다.

하드웨어 엔티티의 외부 기억 장치에는, 상기의 기능을 실현하기 위해 필요하게 되는 프로그램 및 이 프로그램의 처리에 있어서 필요하게 되는 데이터 등이 기억되어 있다(외부 기억 장치에 한하지 않고, 예를 들면, 프로그램을 읽어내기 전용 기억 장치인 ROM에 기억시켜 두는 것으로 해도 됨). 또, 이들 프로그램의 처리에 의해 얻어지는 데이터 등은 RAM이나 외부 기억 장치 등에 적당하게 기억된다.

하드웨어 엔티티에서는, 외부 기억 장치(혹은 ROM 등)에 기억된 각 프로그램과 이 각 프로그램의 처리에 필요한 데이터가 필요에 따라 메모리에 읽어들여 지고, 적당하게 CPU에서 해석 실행·처리된다. 그 결과, CPU가 소정의 기능(상기, …부, …수단 등으로 표시한 각 구성 요건)을 실현한다.

본 발명은 상기의 실시형태에 한정되는 것은 아니고, 본 발명의 취지를 일탈하지 않는 범위에서 적당하게 변경이 가능하다. 또, 상기 실시형태에서 설명한 처리는, 기재의 순서에 따라 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별적으로 실행되는 것으로 해도 된다.

전술과 같이, 상기 실시형태에서 설명한 하드웨어 엔티티(본 발명의 장치)에 있어서의 처리 기능을 컴퓨터에 의해 실현하는 경우, 하드웨어 엔티티가 가져야 할 기능의 처리 내용은 프로그램에 의해 기술된다. 그리고, 이 프로그램을 컴퓨터에서 실행함으로써, 상기 하드웨어 엔티티에 있어서의 처리 기능이 컴퓨터상에서 실현된다.

상기의 각종의 처리는, 도 15에 나타내는 컴퓨터의 기록부(10020)에, 상기 방법의 각 스텝을 실행시키는 프로그램을 읽어들이게 하고, 제어부(10010), 입력부(10030), 출력부(10040) 등에 동작시킴으로써 실시할 수 있다.

이 처리 내용을 기술한 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록해 둘 수 있다. 컴퓨터로 판독 가능한 기록 매체로서는, 예를 들면, 자기 기록 장치, 광디스크, 광자기 기록 매체, 반도체 메모리 등 어떤 것이어도 된다. 구체적으로는, 예를 들면, 자기 기록 장치로서 하드 디스크 장치, 플렉시블 디스크, 자기 테이프 등을, 광디스크로서 DVD(Digital Versatile Disc), DVD-RAM(Random Access Memory), CD-ROM(Compact Disc Read Only Memory), CD-R(Recordable)/RW(ReWritable) 등을, 광자기 기록 매체로서 MO(Magneto-Optical disc) 등을, 반도체 메모리로서 EEP-ROM(Electrically Erasable and Programmable-Read Only Memory) 등을 사용할 수 있다.

또, 이 프로그램의 유통은, 예를 들면, 그 프로그램을 기록한 DVD, CD-ROM 등의 휴대형 기록 매체를 판매, 양도, 대여 등 함으로써 행한다. 또한, 이 프로그램을 서버 컴퓨터의 기억 장치에 저장해 두고, 네트워크를 통하여, 서버 컴퓨터로부터 다른 컴퓨터에 그 프로그램을 전송함으로써, 이 프로그램을 유통시키는 구성으로 해도 된다.

이러한 프로그램을 실행하는 컴퓨터는, 예를 들면, 우선, 휴대형 기록 매체에 기록된 프로그램 혹은 서버 컴퓨터로부터 전송된 프로그램을, 일단, 자기 자신의 기억 장치에 저장한다. 그리고, 처리의 실행 시, 이 컴퓨터는 자기 자신의 기록 매체에 저장된 프로그램을 판독하고, 판독한 프로그램에 따른 처리를 실행한다. 또, 이 프로그램의 다른 실행 형태로서 컴퓨터가 휴대형 기록 매체로부터 직접 프로그램을 판독하고, 그 프로그램에 따른 처리를 실행하는 것으로 해도 되고, 또한, 이 컴퓨터에 서버 컴퓨터로부터 프로그램이 전송될 때마다, 순차적으로, 수취한 프로그램에 따른 처리를 실행하는 것으로 해도 된다. 또, 서버 컴퓨터로부터, 이 컴퓨터로의 프로그램의 전송은 행하지 않고, 그 실행 지시와 결과 취득에만 의해 처리 기능을 실현하는, 소위 ASP(Application Service Provider)형의 서비스에 의해, 상기의 처리를 실행하는 구성으로 해도 된다. 또한, 본 형태에 있어서의 프로그램에는, 전자계산기에 의한 처리의 용도로 제공하는 정보로서 프로그램에 준하는 것(컴퓨터에 대한 직접적인 지령은 아니지만 컴퓨터의 처리를 규정하는 성질을 갖는 데이터 등)을 포함하는 것으로 한다.

또, 이 형태에서는, 컴퓨터상에서 소정의 프로그램을 실행시킴으로써, 하드웨어 엔티티를 구성하는 것으로 했지만, 이들 처리 내용의 적어도 일부를 하드웨어적으로 실현하는 것으로 해도 된다.

Claims

학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 모델 기억부;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 정해 확률 생성부;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 정해 확률 데이터베이스; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부;
를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
제1항에 있어서,
상기 이해도와 소정의 제1 임계값과의 대소관계, 및 상기 신뢰도와 소정의 제2 임계값과의 대소관계에 따른 유형 분류 중, 적어도 어느 하나의 유형 분류에 속하는 카테고리를, 소정의 상기 유저의 다음번 학습의 권장 타깃으로 하는 정보인 레코멘드를 생성하여 출력하는 레코멘드 생성부를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
제1항에 있어서,
진척도를 생성하여 출력하는 레코멘드 생성부를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
제1항에 있어서,
상기 카테고리는 적어도 어느 하나의 카테고리 집합에 속해 있고, 상기 카테고리 집합의 각각에 목표 카테고리가 1개 또는 복수 존재하는 것으로 하고,
상기 이해도 신뢰도 생성부는
상기 범위 데이터 내에 포함되는 상기 목표 카테고리의 상기 정해 확률을 대응하는 상기 카테고리 집합 전체의 이해도로서 생성하고, 상기 카테고리 집합 전체의 이해도에 기초하여 상기 카테고리 집합 전체의 신뢰도를 생성하는 것을 특징으로 하는 학습효과 추정 장치.
제1항에 있어서,
상기 범위 데이터는
상기 유저가 입력한 상기 카테고리에 기초하여 취득되거나, 또는 상기 유저가 입력한 데이터를 상기 카테고리로 변환하고, 변환한 상기 카테고리에 기초하여 취득되는 것을 특징으로 하는 학습효과 추정 장치.
제2항에 있어서,
상기 레코멘드 생성부는
미리 정한 카테고리의 권장 학습 순서를 정의하는 파라미터인 선행후속 관계에 기초하여, 상기 레코멘드를 생성하는 것을 특징으로 하는 학습효과 추정 장치.
제4항에 있어서,
상기 범위 데이터 내에 복수의 상기 카테고리 집합이 포함되는 경우에, 소정의 확률로 복수의 상기 카테고리 집합 중 미학습의 상기 카테고리 집합을 지정하고, 지정된 상기 카테고리 집합 내의 어느 하나의 카테고리를, 소정의 상기 유저의 다음번 학습의 권장 타깃으로 하는 정보인 레코멘드를 생성하여 출력하는 레코멘드 생성부를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 모델 기억부;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하고, 생성한 상기 정해 확률에 소정의 값을 가산하여 이루어지는 보정 정해 확률을 출력하는 정해 확률 생성부;
상기 보정 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 정해 확률 데이터베이스; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 보정 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부;
를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 모델 기억부;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 정해 확률 생성부;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 정해 확률 데이터베이스; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하고, 생성한 상기 이해도에 소정의 값을 가산하여 이루어지는 보정 이해도와, 상기 신뢰도를 상기 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부;
를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 모델 기억부;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 정해 확률 생성부;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 정해 확률 데이터베이스; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률의 값이 속하는 범위에 기초하여 생성된 레이블인 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부;
를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델로서, 유저가 당해 카테고리에 대해 충분히 이해한 상태를 모의하는 더미 데이터를 해당 카테고리의 훈련 데이터에 삽입하여 보정한 보정 훈련 데이터에 의해 학습된 모델을 기억하는 모델 기억부;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 정해 확률 생성부;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 정해 확률 데이터베이스; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부;
를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델로서, 당해 모델의 손실 함수에 최근의 문제를 소정 수 연속 정답을 맞히면 값 1이 되고, 그 이외의 경우에 값 0이 되는 파라미터와 당해 모델이 생성하는 정해 확률과의 곱에 -1을 곱하여 이루어지는 보정항을 더하여 학습된 모델을 기억하는 모델 기억부;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 정해 확률 생성부;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 정해 확률 데이터베이스; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부;
를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델로서, 정오 정보에 더하여, 직전의 문제를 풀고 나서 당해 문제를 풀 때까지의 시간 간격을 나타내는 타임 스팬 정보를 파라미터로서 갖는 훈련 데이터에 기초하여 학습된 모델을 기억하는 모델 기억부;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 정해 확률 생성부;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 정해 확률 데이터베이스; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 이해도 신뢰도 생성부;
를 포함하는 것을 특징으로 하는 학습효과 추정 장치.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 스텝;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 스텝;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 스텝; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 스텝;
을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
제14항에 있어서,
상기 이해도와 소정의 제1 임계값과의 대소관계, 및 상기 신뢰도와 소정의 제2 임계값과의 대소관계에 따른 유형 분류 중, 적어도 어느 하나의 유형 분류에 속하는 카테고리를, 소정의 상기 유저의 다음번 학습의 권장 타깃으로 하는 정보인 레코멘드를 생성하여 출력하는 스텝을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
제14항에 있어서,
상기 카테고리는 적어도 어느 하나의 카테고리 집합에 속해 있고, 상기 카테고리 집합의 각각에 목표 카테고리가 1개 또는 복수 존재하는 것으로 하고,
상기 범위 데이터 내에 포함되는 상기 목표 카테고리의 상기 정해 확률을 대응하는 상기 카테고리 집합 전체의 이해도로서 생성하고, 상기 카테고리 집합 전체의 이해도에 기초하여 상기 카테고리 집합 전체의 신뢰도를 생성하는 것을 특징으로 하는 학습효과 추정 방법.
제16항에 있어서,
상기 범위 데이터 내에 복수의 상기 카테고리 집합이 포함되는 경우에, 소정의 확률로 복수의 상기 카테고리 집합 중 미학습의 상기 카테고리 집합을 지정하고, 지정된 상기 카테고리 집합 내의 어느 하나의 카테고리를, 소정의 상기 유저의 다음번 학습의 권장 타깃으로 하는 정보인 레코멘드를 생성하여 출력하는 스텝을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 스텝;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하고, 생성한 상기 정해 확률에 소정의 값을 가산하여 이루어지는 보정 정해 확률을 출력하는 스텝;
상기 보정 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 스텝; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 보정 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 스텝;
을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 스텝;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 스텝;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 스텝; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하고, 생성한 상기 이해도에 소정의 값을 가산하여 이루어지는 보정 이해도와, 상기 신뢰도를 상기 카테고리에 대응시켜 출력하는 스텝;
을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델을 기억하는 스텝;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 스텝;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 스텝; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률의 값이 속하는 범위에 기초하여 생성된 레이블인 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 스텝;
을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델로서, 유저가 당해 카테고리에 대해 충분히 이해한 상태를 모의하는 더미 데이터를 해당 카테고리의 훈련 데이터에 삽입하여 보정한 보정 훈련 데이터에 의해 학습된 모델을 기억하는 스텝;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 스텝;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 스텝; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 스텝;
을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델로서, 당해 모델의 손실 함수에 최근의 문제를 소정 수 연속 정답을 맞히면 값 1이 되고, 그 이외의 경우에 값 0이 되는 파라미터와 당해 모델이 생성하는 정해 확률과의 곱에 -1을 곱하여 이루어지는 보정항을 더하여 학습된 모델을 기억하는 스텝;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 스텝;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 스텝; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 스텝;
을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
학습 목적별 카테고리가 배정되어 있는 유저의 학습 결과의 데이터인 학습 데이터를 입력으로 하고, 상기 학습 데이터에 기초하여 상기 유저의 상기 카테고리마다의 정해 확률을 생성하는 모델로서, 정오 정보에 더하여, 직전의 문제를 풀고 나서 당해 문제를 풀 때까지의 시간 간격을 나타내는 타임 스팬 정보를 파라미터로서 갖는 훈련 데이터에 기초하여 학습된 모델을 기억하는 스텝;
상기 모델에 상기 학습 데이터를 입력하여, 상기 카테고리마다의 상기 정해 확률을 생성하는 스텝;
상기 정해 확률의 시계열 데이터를 상기 유저마다 축적하는 스텝; 및
소정의 상기 유저의 학습효과 추정을 위한 상기 카테고리의 범위를 지정하는 데이터인 범위 데이터를 취득하고, 소정의 상기 유저의 상기 범위 데이터 내의 상기 정해 확률에 기초하는 이해도와, 상기 이해도의 시계열 데이터의 변동이 클수록 작은 값이 되는 신뢰도를 생성하여, 상기 카테고리에 대응시켜 출력하는 스텝;
을 포함하는 것을 특징으로 하는 학습효과 추정 방법.
컴퓨터를 제1항 내지 제13항 중 어느 한 항에 기재된 학습효과 추정 장치로서 기능시키는 것을 특징으로 하는 프로그램.