WO2021095571A1 - 学習効果推定装置、学習効果推定方法、プログラム - Google Patents

学習効果推定装置、学習効果推定方法、プログラム Download PDF

Info

Publication number
WO2021095571A1
WO2021095571A1 PCT/JP2020/040868 JP2020040868W WO2021095571A1 WO 2021095571 A1 WO2021095571 A1 WO 2021095571A1 JP 2020040868 W JP2020040868 W JP 2020040868W WO 2021095571 A1 WO2021095571 A1 WO 2021095571A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
category
correct answer
answer probability
Prior art date
Application number
PCT/JP2020/040868
Other languages
English (en)
French (fr)
Inventor
渡辺　淳
倫也 上田
敏之 桜井
Original Assignee
株式会社Ｚ会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019203782A external-priority patent/JP6832410B1/ja
Priority claimed from JP2020006241A external-priority patent/JP6903177B1/ja
Application filed by 株式会社Ｚ会 filed Critical 株式会社Ｚ会
Priority to KR1020227015036A priority Critical patent/KR102635769B1/ko
Priority to CN202080077903.3A priority patent/CN114730529A/zh
Priority to EP20886887.7A priority patent/EP4060645A4/en
Priority to US17/773,618 priority patent/US20220398496A1/en
Publication of WO2021095571A1 publication Critical patent/WO2021095571A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Molecular Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、モデルに学習データを入力して、カテゴリ毎の正解確率を生成する正解確率生成部と、正解確率の時系列データをユーザ毎に蓄積する正解確率データベースと、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する理解度信頼度生成部を含む。

Description

学習効果推定装置、学習効果推定方法、プログラム
　本発明は、ユーザの学習効果を推定する学習効果推定装置、学習効果推定方法、プログラムに関する。
　学力効果測定に基づく学習計画を自動形成しその学習をオンライン上でできるオンライン学習システム（特許文献１）が知られている。
　特許文献１のオンライン学習システムは、オンライン学習サーバとインターネットを介して接続された複数の学習者端末を備える。オンライン学習サーバは、各学習者端末からの要求に応じて要求された科目の学習効果測定のための問題を複数の測定項目と各項目ごとの測定分野の単位に分けた問題で要求端末に提供する。問題を提供された端末から学習者が解答した問題の解答がサーバに送信されると、サーバは、測定項目における全ての測定分野ごとに解答を採点すると共に、各測定項目と各項目における全測定分野ごとに、採点結果を複数段階の評価値に変換して評価値を学習者端末に提示する。サーバは、この評価値に基づいて各測定項目における測定分野ごとにオンライン学習サーバから提供される当該科目の学習テキストにおける学習すべき各分野の内容と学習すべき時間を当該学習者端末に提示する。
　特許文献１のオンライン学習システムによれば、サーバから受験した科目の全範囲を分けた複数の測定項目における複数の測定分野について、ユーザの到達度を評価値で学習者端末に提示することができる。また、評価値に基づいて各測定分野ごとにオンライン学習サーバから端末に提供されるテキスト上で学習すべき単元内容とそれに要する時間とを学習者端末に提示することができる。
特開２０１２－２０８１４３号公報
　特許文献１のオンライン学習システムは、学習効果測定のために出題された問題の採点結果を評価値に置き換えているだけであり、人間が物事を理解するメカニズムの様々な側面を反映できていない。
　そこで本発明では、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。
　本発明の学習効果推定装置は、モデル記憶部と、正解確率生成部と、正解確率データベースと、理解度信頼度生成部を含む。
　モデル記憶部は、学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデルを記憶する。正解確率生成部は、モデルに学習データを入力して、カテゴリ毎の正解確率を生成する。正解確率データベースは、正解確率の時系列データをユーザ毎に蓄積する。理解度信頼度生成部は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する。
　本発明の学習効果推定装置によれば、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。
実施例１の学習効果推定装置の構成を示すブロック図。 実施例１の学習効果推定装置の動作を示すフローチャート。 学習データの種類について説明する図。 カテゴリの相関関係の例を示す図。 相関があるカテゴリの正解確率が同時に変動する例を示す図。 カテゴリの先行後続関係の例を示す図。 学習データ（コンテンツ）に指定されるカテゴリの例を示す図。 正解確率（理解度）の時系列データの例を示し、図８Ａは変動が大きい例、図８Ｂ、図８Ｃは変動が少ない例を示す図。 カテゴリ集合と目標カテゴリの例を示す図。 理解度と信頼度に基づく場合分けの例を説明する図。 理想的な訓練データと実際の訓練データの例を示す図。 正解確率が１よりも低い値ｐで飽和する例を示す図。 ダミーデータを挿入して生成した補正訓練データの例を示す図。 問題を解いていない期間を反映した訓練データの例を示す図。 コンピュータの機能構成例を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　以下、図１を参照して実施例１の学習効果推定装置の構成を説明する。同図に示すように、本実施例の学習効果推定装置１は、学習データ取得部１１と、正解確率生成部１２と、モデル記憶部１２Ａと、正解確率データベース１２Ｂと、範囲データ取得部１３と、理解度信頼度生成部１４と、レコメンド生成部１５を含む。なお、同図に破線で示すように、レコメンド生成部１５は必須の構成要件ではなく、場合により割愛してもよい。
　以下、図２以降を参照して、各構成要件の詳細な動作を説明する。
＜学習データ取得部１１＞
　学習データ取得部１１は、学習データを取得する（Ｓ１１）。学習データとは、ユーザがコンテンツを学習したときの学習結果や学習状況のデータであり、コンテンツ、学習データには、学習目的別のカテゴリ（以下、単にカテゴリという）が予め割り振られている。
［コンテンツ、学習データ］
　図３に示すように、コンテンツにはカリキュラム、アダプティブの二つの種別を設けてもよい。カリキュラムには、例えばシナリオ、練習問題などを含むことができる。アダプティブには、例えば演習問題などを含むことができる。
　シナリオとは、読む、聴く、図を参照する、動画を見るなど、問題演習以外の形式によって、知識を習得するタイプのコンテンツ（教材）を示す。シナリオの学習データとは典型的には、シナリオの読了、聴講完了、閲覧完了など学習結果を示すデータ（フラグ）や、学習が行われた日時、場所など学習状況を示すデータである。これ以外にもシナリオの読解、聴講、閲覧の回数や頻度をシナリオの学習データとしてもよい。
　練習問題とは、典型的には、シナリオとシナリオの間に挿入され、あるいはシナリオの後ろに挿入され、直前のシナリオの理解度を問う基本的な例題などを意味している。練習問題の学習データとは典型的には、練習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。
　演習問題とは、典型的には、テスト形式で出題される問題群のことなどを意味している。演習問題の学習データとは、典型的には、演習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。また、模試の成績データを演習問題の学習データとして用いてもよい。
［カテゴリ］
　カテゴリとは、ユーザの学習内容を細分化して定義した学習目的を示す。例えば「１次方程式を解くことができる」をカテゴリ０１、「連立方程式を解くことができる」をカテゴリ０２、などと定義してもよい。また、上記をもっと細分化して、例えば「移項を用いて１次方程式を解くことができる」、「括弧のある１次方程式を解くことができる」、「係数に分数・小数を含む１次方程式を解くことができる」といったカテゴリを定義してもよい。
　二つのカテゴリの正解確率（または理解度）は場合により密接な関連性を有する場合がある。例えば、三角関数のｓｉｎθ，ｃｏｓθの基本的な性質についての正解確率（または理解度）が高い場合に、同じ三角関数であるｔａｎθの基本的な性質についての正解確率（または理解度）が高くなる傾向があるといえ、これらは密接な関連性を有するといえる。図４にカテゴリの相関関係の例を示す。同図の例では、カテゴリ０１は、カテゴリ０２およびカテゴリ０３に強く相関している。また、カテゴリ０２、０３ほどではないものの、カテゴリ０４は、カテゴリ０１と弱く相関している。また、カテゴリ０５は、カテゴリ０１とは無相関である。例えばユーザがカテゴリ０１を学習中の場合、当然のことながら学習結果に応じて、カテゴリ０１の正解確率（または理解度）は変動する。このとき、カテゴリ０２，０３，０４が未学習であったとしても、カテゴリ０１と相関があるため、カテゴリ０１の学習結果に応じて、カテゴリ０２，０３，０４の正解確率（または理解度）も変動する。このとき、カテゴリ０１とは無相関なカテゴリ０５の正解確率（または理解度）は変動しない。
　例えば、図５に例示するように、カテゴリ０１を学習したことにより、カテゴリ０１の正解確率が0.20上昇した場合に、カテゴリ０１と強く相関するカテゴリ０２，０３の正解確率は0.10上昇し、カテゴリ０１と弱く相関するカテゴリ０４の正解確率は0.05上昇するといったケースが考えられる。
［カテゴリの先行後続関係］
　カテゴリ間に先行後続関係を定義してもよい。先行後続関係とはカテゴリの推奨学習順序を定義するパラメータである。より詳細には、先行後続関係とは、あるカテゴリを先行して学習した場合に、後続して学習するカテゴリの学習効果が高くなるように定めた重み付けパラメータである。例えば上述の例において、カテゴリ「sinθ,cosθの基本的な性質」を先行学習した場合、後続するカテゴリとして、カテゴリ「tanθの基本的な性質」を選択すれば、学習効果が高くなると見込まれる。
　例えば図６の例では、カテゴリ０１が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０２を選択すれば、学習効果が高くなると見込まれる。同様に、カテゴリ０２が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０３を選択すれば、学習効果が高くなると見込まれる。なお、図６において、すべてのカテゴリにおいて、順序も含めたすべての学習の関係性を表す連続値として、カテゴリ間の関係性を定義してもよい。
［コンテンツに指定されるカテゴリの数］
　各コンテンツには、少なくとも一つのカテゴリが付与される。コンテンツに２以上のカテゴリを付与してもよい。図７の例では、コンテンツ＿０１０１にカテゴリ０１，０２が、コンテンツ＿０１０２にカテゴリ０１が、コンテンツ＿０２０１にカテゴリ０２，０３，０４が、それぞれ付与されている。
＜モデル記憶部１２Ａ＞
　モデル記憶部１２Ａは、学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデル（ＤＫＴモデル）を記憶する。
［ＤＫＴモデル］
　ＤＫＴとは、Deep Knowledge Tracingの略である。Deep Knowledge Tracingとは、学習者（ユーザ）が知識を獲得していくメカニズムをニューラル・ネットワーク（Deep Learning）を用いてモデル化する技術である。
　ＤＫＴモデルは、大量に収集した訓練データを用いて、教師あり学習により最適化される。一般的に訓練データは、ベクトルとラベルの組を備えるが、本実施例のＤＫＴモデルの場合、例えばベクトル、ラベルに用いる学習データとして対応するカテゴリにおける演習問題や模試の問題の正誤情報などを用いることができる。ＤＫＴモデルによりカテゴリ間の相関関係は学習されるため、ＤＫＴモデルにある教科の一部のカテゴリの学習データのみを入力とした場合であっても、当該教科の全てのカテゴリの正解確率が推定されて出力される。
＜正解確率生成部１２＞
　正解確率生成部１２は、ＤＫＴモデルに学習データを入力して、カテゴリ毎の正解確率を生成する（Ｓ１２）。
＜正解確率データベース１２Ｂ＞
　正解確率データベース１２Ｂは、ステップＳ１２で生成した正解確率の時系列データをユーザ毎、カテゴリ毎に蓄積する。図８Ａ、図８Ｂ、図８Ｃに正解確率（理解度）の時系列データの例を示す。図８Ａは、変動が大きい例を示す。グラフの横軸は、問題数（問と表記する）でもよいし、日数（ＤＡＹと表記する）でもよい。グラフの縦軸は正解確率（または後述する理解度）である。図８Ａは例えば、問４、またはＤＡＹ４までカリキュラムの学習に取り組み、問４、またはＤＡＹ４までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に上昇したものの、問５、またはＤＡＹ５からアダプティブの学習を開始した結果、演習問題の正答率が芳しくなく、問５、またはＤＡＹ５以降の学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に下降したケースなどに該当する。図８Ｂは例えば、問１～問８、またはＤＡＹ１～ＤＡＹ８まで継続して、アダプティブの学習に取り組んでおり、逐次学習データをＤＫＴモデルに入力することにより、正解確率が僅かずつ上昇したケースなどが該当する。図８Ｃは例えば、問２、またはＤＡＹ２までカリキュラムの学習に取り組み、問２、またはＤＡＹ２までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇し、問３、またはＤＡＹ３からアダプティブの学習に取り組み、学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇したケースなどが該当する。
＜範囲データ取得部１３＞
　範囲データ取得部１３は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得する（Ｓ１３）。例えば、所定のユーザが学校の中間、期末テストの出題範囲の学習効果を推定したい場合、当該ユーザは、中間、期末テストで指定されている出題範囲をカテゴリに読み替え、読み替えたカテゴリ全てを範囲データとして指定（入力）する。また、所定のユーザが高校受験の数学に関し学習効果を推定したい場合、当該ユーザは、中学１年生～中学３年生までに学習する数学のカテゴリ全てを範囲データとして指定（入力）する。
　範囲データの取得に関しては、所定のユーザが教科書のページ数や単元名などのデータを範囲データ取得部１３に入力し、範囲データ取得部１３が、これらのデータをカテゴリに読み替えて、範囲データを取得してもよい。
＜理解度信頼度生成部１４＞
　理解度信頼度生成部１４は、ステップＳ１３における範囲データを取得し、所定のユーザの範囲データ内の正解確率（例えば直近のデータ）に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する（Ｓ１４）。例えば、理解度信頼度生成部１４は、範囲データ内の各カテゴリの直近の正解確率を、各カテゴリの理解度として出力してもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値以下であるならば、そのユーザは該当カテゴリを理解していないとみなして、理解度を０としてもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値を超えていれば、正解確率をα倍してβを差し引いて補正した値を、理解度としてもよい。
　理解度信頼度生成部１４は、理解度の時系列データの変動を考慮するため、理解度の時系列データのデータ数が所定の閾値未満である場合に、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。また、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合、すなわち理解度が予め設定した閾値（小さな値とするのが望ましい）未満である場合には、理解度が安定していたとしても、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。
　理解度を上記と異なる定義に基づいて生成、出力してもよい。例えば、カテゴリが何れかのカテゴリ集合に属しており、カテゴリ集合のそれぞれに目標カテゴリが１つずつ存在するものと定義した場合について考える。
　例えば、図９に示すように、カテゴリ０１，０２，０３が第１カテゴリ集合５－１に属しており、カテゴリ０４，０５が第２カテゴリ集合５－２に属しているものとし、第１カテゴリ集合５－１の目標カテゴリをカテゴリ０３とし、第２カテゴリ集合５－２の目標カテゴリをカテゴリ０５とする。例えば、定期試験の試験範囲において、複数の単元（例えば、ベクトルと複素数の単元）が出題範囲とされている場合、各単元のカテゴリを各カテゴリ集合に含め、各単元に対応する各カテゴリ集合に対して、目標カテゴリを設定すれば好適である。
　この場合、理解度信頼度生成部１４は、範囲データ内に含まれる目標カテゴリの正解確率を対応するカテゴリ集合全体の理解度として生成し、カテゴリ集合全体の理解度に基づいてカテゴリ集合全体の信頼度を生成すれば好適である。
　また、目標カテゴリは１つのカテゴリ集合に２つ以上存在してもよく、その場合は、２つ以上存在する目標カテゴリの正解確率の平均値などをカテゴリ集合全体の理解度としてもよい。
＜レコメンド生成部１５＞
　レコメンド生成部１５は、理解度と所定の第１の閾値との大小関係、および信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力する（Ｓ１５）。
　例えば図１０に示すように、理解度が第１の閾値Ｔ１を超えており、信頼度が第２の閾値Ｔ２を超えている場合（１）、理解度が第１の閾値Ｔ１を超えており、信頼度が第２の閾値Ｔ２以下である場合（２）、理解度が第１の閾値Ｔ１以下であり、信頼度が第２の閾値Ｔ２を超えている場合（３）、理解度が第１の閾値Ｔ１以下であり、信頼度が第２の閾値Ｔ２以下である場合（４）、の４パターンに場合分けすれば好適である。なお、同図において、理解度＞Ｔ１を理解度≧Ｔ１、理解度≦Ｔ１を理解度＜Ｔ１とし、信頼度＞Ｔ２を信頼度≧Ｔ２、信頼度≦Ｔ２を信頼度＜Ｔ２としても同様の場合分けができる。
　同図の例における場合１は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１、たとえばＴ１＝０．９０）を超えており、該当カテゴリにおける信頼度も予め設定した水準（Ｔ２、たとえばＴ２＝０．９０）を超えている場合である。理解度が高いことは、該当カテゴリにおけるユーザーの正解確率が高いことを意味し、信頼度が高いことは、図８Ｂに例示したように、理解度の時系列データの変動が小さいことを意味する。従って、ユーザが該当カテゴリにおいて安定して高得点を取ることができる程度に習熟度が高く、ユーザの学習が十分であると判断できる可能性が高い。
　同図の例における場合２は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）を超えているものの、該当カテゴリにおける信頼度が予め設定した水準（Ｔ２）以下となっている場合である。典型的には、該当カテゴリにおける直近の学習データで高い正解確率をマークしたものの、該当カテゴリにおける過去の理解度の時系列データをみれば、正解確率が低い時期があり、変動が大きい場合などが考えられる。
　同図の例における場合３は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）以下となっている一方、該当カテゴリにおける信頼度が予め設定した水準（Ｔ２）を超えている場合である。典型的には、該当カテゴリに関連する別のカテゴリの学習を進めることにより、該当カテゴリの理解度がある程度上昇し、さらに安定している場合、該当カテゴリの学習を進めることにより、該当カテゴリの理解度が安定している場合などが考えられる。このような場合に、さらに理解度をあげるためには、該当カテゴリの学習を進め、安定して高得点をマークする必要がある。
　同図の例における場合４は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）以下であって、該当カテゴリにおける信頼度もまた予め設定した水準（Ｔ２）以下となる場合である。典型的には、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合に、信頼度を所定の小さな値と設定している場合が考えられる。また、図８Ａに例示したように、カリキュラム学習などがある程度進んでおり、直近のアダプティブ学習において得点が低くなったことにより、直近の理解度が大きく低下し、理解度の時系列データの変動が大きい（すなわち、信頼度が低い）場合などが考えられる。
　例えば、レコメンド生成部１５は、場合４に該当するカテゴリを、該当ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。レコメンド生成部１５は、例えば場合４に該当するカテゴリを最も推奨するターゲット、場合３に該当するカテゴリを二番目に推奨するターゲット、場合２に該当するカテゴリを三番目に推奨するターゲットとして、レコメンドを生成して出力してもよい。
　上記の例に限らず、レコメンド生成部１５は様々な基準でレコメンドを生成してもよい。例えば、レコメンド生成部１５は、範囲データ内において理解度が０．５に近いカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。また、例えば、レコメンド生成部１５は、直近の学習データにおいてＮ回（Ｎは２以上の任意の整数）連続して誤答となっている設問を有するカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。
　また、レコメンド生成部１５は、先行するカテゴリの理解度および信頼度が所定の閾値を超える場合（１）に、予め定めた先行後続関係（図６の例参照）に基づく後続のカテゴリを次回学習の推奨ターゲットとし、予め定めた先行後続関係に基づく後続のカテゴリの理解度が所定の閾値以下であって、信頼度が所定の閾値を超える場合（３）に、先行するカテゴリを次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。
　例えば図９に示したカテゴリ集合において、先行するカテゴリ０１の理解度および信頼度が場合１に該当する場合、後続のカテゴリ０２を次回学習の推奨ターゲットとして、レコメンドを生成し、後続のカテゴリ０２の理解度および信頼度が場合３に該当する場合、先行するカテゴリ０１を次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。
　レコメンド生成部１５が、先行後続関係に基づいて動作することにより、先行して学習したカテゴリと内容的にかけ離れたカテゴリを次回学習の推奨ターゲットとすることを防ぐことができる。
　また、例えば、図９に示したように、カテゴリ集合と目標カテゴリが設定されており、範囲データ内に複数のカテゴリ集合が含まれる場合、レコメンド生成部１５は、所定の確率で複数のカテゴリ集合のうちの未学習のカテゴリ集合を指定するフラグを発生させ、フラグが指定するカテゴリ集合内の何れかのカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。
　レコメンド生成部１５は、上記のレコメンド生成規則を複数組み合わせて使用することにより、レコメンドを生成してもよい。
　また、レコメンド生成部１５は、範囲データ内の各カテゴリの理解度、信頼度から、学習終了日を予測し、予測された学習終了日が予め設定された期限に間に合うか否かを判定し、判定結果を進捗度として出力してもよい。進捗度は、たとえば、理解度信頼度生成部１４が生成した理解度の時系列データから未来における理解度の変化を推定し、あらかじめ設定された期限までに、理解度があらかじめ設定された閾値を超えると推定されるか否かを表す指標としてもよい。
　本実施例の学習効果推定装置１によれば、ニューラル・ネットワーク(Deep Learning)を用いたＤＫＴモデルを使用することにより生成した正解確率に基づいて、理解度と信頼度という二つのパラメータを定義したため、当該二つのパラメータに基づいて、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。
［ＤＫＴモデルが出力する正解確率の飽和］
　練習問題、演習問題の正誤情報を訓練データのベクトル、ラベルとして用いる場合、学習されるＤＫＴモデルに偏りが生じる可能性がある。例えば、図１１に示すように、あるカテゴリに関する学習が、状態１（当該カテゴリについての理解が不十分な状態）、状態２（当該カテゴリについて理解する過程で試行錯誤している状態）、状態３（当該カテゴリについて十分に理解した状態）のように、区分できると仮定した場合に、図１１の「理想的なデータ」の表に示すように、状態３のデータを多く取得して訓練データとして用いることがＤＫＴモデルの学習には理想的と言える。しかし、実際には同図の「実際のデータ」の表に示すように、状態３のデータはわずかしか得られない場合が多い。
　これは、ユーザがあるカテゴリを学習する際、当該カテゴリについて理解が深まったと「手ごたえ」を得るタイミングが、状態３に入って間もなくである場合が多いためと考えられる。この場合、ユーザは、状態３における問題演習を繰り返さずに、他のカテゴリの学習に移ってしまう可能性が高く、訓練データとして得られるデータは、同図の「実際のデータ」の表に表すように、状態３を僅かしか含まない。
　このような訓練データに基づいて、ＤＫＴモデルの学習を行うと、図１２に示すように、あるカテゴリの学習データとして、当該カテゴリの練習問題、演習問題に正答したデータを大量に入力しても、当該ユーザの該当カテゴリにおける正解確率が１に近づかずに、所定の値ｐ（＜１）で飽和してしまう現象が生じる。例えばｐ≒０．７程度である。この課題に対処することを目的として、以下に三つの方法を開示する。
≪方法１：正解確率、理解度の補正≫
　例えば、正解確率生成部１２は、ＤＫＴモデルに学習データを入力して、カテゴリ毎の正解確率を生成し、生成した正解確率に所定の値αを加算してなる補正正解確率を出力してもよい。例えばα＝０．３と設定してもよい。
　また例えば、正解確率生成部１２は、生成した正解確率に所定の値αを乗算してなる補正正解確率を出力してもよい。この場合、例えばα＝１．４と設定してもよい。
　正解確率を補正するのでなく、理解度を補正してもよい。この場合、理解度信頼度生成部１４は、ステップＳ１３における範囲データ内の正解確率に基づく理解度と、理解度に基づく信頼度を生成し、生成した理解度に所定の値βを加算してなる補正理解度と、信頼度を出力してもよい。
　また、理解度信頼度生成部１４は、理解度を数値ではなくラベルとして出力してもよい。例えば、理解度信頼度生成部１４は、正解確率の値が属する範囲に基づいて生成されたラベルである理解度（表１の例参照）と、理解度（ラベル）の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する。
Figure JPOXMLDOC01-appb-T000001
≪方法２：ダミーデータの挿入≫
　ＤＫＴモデルの訓練データにダミーデータを挿入してもよい。例えば図１３に示すように、訓練データの状態３（データ番号１１、１２）の後に、状態３を模擬するダミーデータ（データ番号ｄ１，ｄ２，…，ｄ６）を挿入して補正した補正訓練データを生成し、補正訓練データによりＤＫＴモデルを学習してもよい。挿入するダミーデータの量は任意である。これにより、訓練データが図１１に示す理想的なデータに近づくため、ＤＫＴモデルが出力する正解確率が所定の値ｐ（＜１）で飽和してしまう現象を防ぐことが出来る。
≪方法３：損失関数の補正≫
　ＤＫＴモデルを学習する際の、損失関数に補正項を設けることにより、ＤＫＴモデルを補正してもよい。ＤＫＴモデルの損失関数Ｌは、例えば平均二乗誤差の場合は以下の式で表される。
Figure JPOXMLDOC01-appb-M000002
nはデータ数、yiは実値、y^iは予測値である。
　平均絶対誤差の損失関数Ｌは以下の式で表される。
Figure JPOXMLDOC01-appb-M000003
　例えば、ある模試の問題１～７について、問題１～６を訓練データのベクトルとして扱うために、問題１～６の正誤情報が揃うように抽出した複数人のユーザの、問題１～７の正答、誤答が以下のように得られたとする。
Figure JPOXMLDOC01-appb-T000004
　模試の問題１～６の正誤情報をベクトルとし、模試の問題７の正解確率をラベルとした場合、実値yiに相当するのは、ラベルすなわち、問題７の正解確率（=0.6）である。予測値y^iは、上記ベクトル、ラベルに基づいて学習されたＤＫＴモデルが出力する問題７の正解確率である。
　例えば式（１）の損失関数をベースに補正項を追加して、式(1a)とする。
Figure JPOXMLDOC01-appb-M000005
　ここで、stは、t番目のデータが正答である場合に1、誤答である場合に0となるパラメータである。従ってsn-2sn-1snはデータ数nの訓練データのうち、直近の3問（n-2,n-1,n番目の訓練データ）を連続正答すると値1となり、それ以外の場合に0となるパラメータに相当する。pはＤＫＴモデルが生成する正解確率であり、補正項は、これらの積に-1をかけたものである。従って、直近の3問が全て正答であった場合、補正項は-pとなり、モデルが予想する正解確率pが大きくなるほど損失関数Lが小さくなる。このようにして、直近の正答率が高いほど、予測される正解確率pが高くなるようにＤＫＴモデルを補正することが出来る。なお、補正項は直近の3問に関する項に限定されない。例えば直近の2問、あるいは直近の5問に関する項としてもよい。
［問題を解いていない期間を含めた学習］
　例えば図１４に示すように問題を解いていない期間（－）が挿入されている場合と、そうでない場合で、実施例１のＤＫＴモデルに入力される訓練データに違いはなかった。
　すなわち、図１４のデータを訓練データとして用いる場合、「xoooxxxoxooo」が使用され、問題を解いていない期間の長さなどは考慮されなかった。そこで、同図に示すように、訓練データに正誤情報だけでなく、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報（time span）をパラメータとして持つデータとし、これを訓練データとして用いることで、問題を解いていない期間（－）が正解確率に及ぼす影響（例えば忘却曲線）を考慮することが出来る。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な取得部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの取得部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　上述の各種の処理は、図１５に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、取得部１００３０、出力部１００４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (24)

  1. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  2. 　請求項１に記載の学習効果推定装置であって、
    　前記理解度と所定の第１の閾値との大小関係、および前記信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するレコメンド生成部を含む
    　学習効果推定装置。
  3. 　請求項１に記載の学習効果推定装置であって、
    　進捗度を生成して出力するレコメンド生成部を含む
    　学習効果推定装置。
  4. 　請求項１に記載の学習効果推定装置であって、
    　前記カテゴリは、少なくとも一つの何れかのカテゴリ集合に属しており、前記カテゴリ集合のそれぞれに目標カテゴリが１つまたは複数存在するものとし、
    　前記理解度信頼度生成部は、
    　前記範囲データ内に含まれる前記目標カテゴリの前記正解確率を対応する前記カテゴリ集合全体の理解度として生成し、前記カテゴリ集合全体の理解度に基づいて前記カテゴリ集合全体の信頼度を生成する
    　学習効果推定装置。
  5. 　請求項１に記載の学習効果推定装置であって、
    　前記範囲データは、
    　前記ユーザが入力した前記カテゴリに基づいて取得されるか、または前記ユーザが入力したデータを前記カテゴリに変換し、変換した前記カテゴリに基づいて取得される
    　学習効果推定装置。
  6. 　請求項２に記載の学習効果推定装置であって、
    　前記レコメンド生成部は、
    　予め定めたカテゴリの推奨学習順序を定義するパラメータである先行後続関係に基づいて、前記レコメンドを生成する
    　学習効果推定装置。
  7. 　請求項３に記載の学習効果推定装置であって、
    　前記範囲データ内に複数の前記カテゴリ集合が含まれる場合に、所定の確率で複数の前記カテゴリ集合のうちの未学習の前記カテゴリ集合を指定し、指定された前記カテゴリ集合内の何れかのカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するレコメンド生成部を含む
    　学習効果推定装置。
  8. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成し、生成した前記正解確率に所定の値を加算してなる補正正解確率を出力する正解確率生成部と、
    　前記補正正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記補正正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  9. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、生成した前記理解度に所定の値を加算してなる補正理解度と、前記信頼度を前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  10. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率の値が属する範囲に基づいて生成されたラベルである理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  11. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、ユーザが当該カテゴリについて十分に理解した状態を模擬するダミーデータを該当カテゴリの訓練データに挿入して補正した補正訓練データにより学習されたモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  12. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、当該モデルの損失関数に直近の問題を所定数連続正答すると値１となり、それ以外の場合に値０となるパラメータと当該モデルが生成する正解確率との積に－１をかけてなる補正項を加えて学習されたモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  13. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、正誤情報に加え、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報をパラメータとして持つ訓練データに基づいて学習されたモデルを記憶するモデル記憶部と、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
    　学習効果推定装置。
  14. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  15. 　請求項１４に記載の学習効果推定方法であって、
    　前記理解度と所定の第１の閾値との大小関係、および前記信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するステップを含む
    　学習効果推定方法。
  16. 　請求項１４に記載の学習効果推定方法であって、
    　前記カテゴリは、少なくとも一つの何れかのカテゴリ集合に属しており、前記カテゴリ集合のそれぞれに目標カテゴリが１つまたは複数存在するものとし、
    　前記範囲データ内に含まれる前記目標カテゴリの前記正解確率を対応する前記カテゴリ集合全体の理解度として生成し、前記カテゴリ集合全体の理解度に基づいて前記カテゴリ集合全体の信頼度を生成する
    　学習効果推定方法。
  17. 　請求項１６に記載の学習効果推定方法であって、
    　前記範囲データ内に複数の前記カテゴリ集合が含まれる場合に、所定の確率で複数の前記カテゴリ集合のうちの未学習の前記カテゴリ集合を指定し、指定された前記カテゴリ集合内の何れかのカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力するステップを含む
    　学習効果推定方法。
  18. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成し、生成した前記正解確率に所定の値を加算してなる補正正解確率を出力するステップと、
    　前記補正正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記補正正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  19. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、生成した前記理解度に所定の値を加算してなる補正理解度と、前記信頼度を前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  20. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率の値が属する範囲に基づいて生成されたラベルである理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  21. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、ユーザが当該カテゴリについて十分に理解した状態を模擬するダミーデータを該当カテゴリの訓練データに挿入して補正した補正訓練データにより学習されたモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  22. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、当該モデルの損失関数に直近の問題を所定数連続正答すると値１となり、それ以外の場合に値０となるパラメータと当該モデルが生成する正解確率との積に－１をかけてなる補正項を加えて学習されたモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  23. 　学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、正誤情報に加え、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報をパラメータとして持つ訓練データに基づいて学習されたモデルを記憶するステップと、
    　前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
    　前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
    　所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
    　学習効果推定方法。
  24. 　コンピュータを請求項１から１３の何れかに記載の学習効果推定装置として機能させるプログラム。
PCT/JP2020/040868 2019-11-11 2020-10-30 学習効果推定装置、学習効果推定方法、プログラム WO2021095571A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020227015036A KR102635769B1 (ko) 2019-11-11 2020-10-30 학습효과 추정 장치, 학습효과 추정 방법, 프로그램
CN202080077903.3A CN114730529A (zh) 2019-11-11 2020-10-30 学习效果推定装置、学习效果推定方法以及程序
EP20886887.7A EP4060645A4 (en) 2019-11-11 2020-10-30 LEARNING EFFECT ESTIMATION DEVICE, LEARNING EFFECT ESTIMATION METHOD, AND PROGRAM
US17/773,618 US20220398496A1 (en) 2019-11-11 2020-10-30 Learning effect estimation apparatus, learning effect estimation method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-203782 2019-11-11
JP2019203782A JP6832410B1 (ja) 2019-11-11 2019-11-11 学習効果推定装置、学習効果推定方法、プログラム
JP2020006241A JP6903177B1 (ja) 2020-01-17 2020-01-17 学習効果推定装置、学習効果推定方法、プログラム
JP2020-006241 2020-01-17

Publications (1)

Publication Number Publication Date
WO2021095571A1 true WO2021095571A1 (ja) 2021-05-20

Family

ID=75912320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040868 WO2021095571A1 (ja) 2019-11-11 2020-10-30 学習効果推定装置、学習効果推定方法、プログラム

Country Status (5)

Country Link
US (1) US20220398496A1 (ja)
EP (1) EP4060645A4 (ja)
KR (1) KR102635769B1 (ja)
CN (1) CN114730529A (ja)
WO (1) WO2021095571A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125179A (ja) * 1989-10-09 1991-05-28 Fujitsu Ltd 学習者理解度診断処理方式
JP2005215023A (ja) * 2004-01-27 2005-08-11 Recruit Management Solutions Co Ltd テスト実施システムおよびテスト実施方法
JP2012208143A (ja) 2011-03-29 2012-10-25 Hideki Aikawa オンライン学習システム
US20180151084A1 (en) * 2016-11-30 2018-05-31 Electronics And Telecommunications Research Institute Apparatus and method for providing personalized adaptive e-learning
JP2018205447A (ja) * 2017-05-31 2018-12-27 富士通株式会社 ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352877A (ja) * 2004-06-11 2005-12-22 Mitsubishi Electric Corp ナビゲーションシステムおよびその操作方法理解支援方法
DE102010019191A1 (de) * 2010-05-04 2011-11-10 Volkswagen Ag Verfahren und Vorrichtung zum Betreiben einer Nutzerschnittstelle
JP5565809B2 (ja) * 2010-10-28 2014-08-06 株式会社プラネクサス 学習支援装置、システム、方法、およびプログラム
JP5664978B2 (ja) * 2011-08-22 2015-02-04 日立コンシューマエレクトロニクス株式会社 学習支援システム及び学習支援方法
KR101333129B1 (ko) * 2013-03-08 2013-11-26 충남대학교산학협력단 기초학력 향상도 평가 시스템
KR101745874B1 (ko) * 2016-02-29 2017-06-12 고려대학교 산학협력단 학습코스 자동 생성 방법 및 시스템
JP6462893B2 (ja) * 2016-05-16 2019-01-30 株式会社Ｚ会 支援方法、プログラム及び支援装置
CN106960245A (zh) * 2017-02-24 2017-07-18 中国科学院计算技术研究所 一种基于认知过程链的个体知识评价方法及系统
CN107122452A (zh) * 2017-04-26 2017-09-01 中国科学技术大学 时序化的学生认知诊断方法
CN107977708A (zh) * 2017-11-24 2018-05-01 重庆科技学院 面向个性化学习方案推荐的学生dna身份信息定义方法
JP6919594B2 (ja) * 2018-02-23 2021-08-18 日本電信電話株式会社 学習スケジュール生成装置、方法およびプログラム
CN109978739A (zh) * 2019-03-22 2019-07-05 上海乂学教育科技有限公司 基于知识点掌握程度的自适应学习方法及计算机系统
CN110110899B (zh) * 2019-04-11 2022-04-05 北京作业盒子科技有限公司 知识掌握度的预测方法、自适应学习方法及电子设备
KR102371927B1 (ko) * 2019-10-17 2022-03-11 (주)유밥 학습 콘텐츠 추천 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03125179A (ja) * 1989-10-09 1991-05-28 Fujitsu Ltd 学習者理解度診断処理方式
JP2005215023A (ja) * 2004-01-27 2005-08-11 Recruit Management Solutions Co Ltd テスト実施システムおよびテスト実施方法
JP2012208143A (ja) 2011-03-29 2012-10-25 Hideki Aikawa オンライン学習システム
US20180151084A1 (en) * 2016-11-30 2018-05-31 Electronics And Telecommunications Research Institute Apparatus and method for providing personalized adaptive e-learning
JP2018205447A (ja) * 2017-05-31 2018-12-27 富士通株式会社 ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4060645A4

Also Published As

Publication number Publication date
CN114730529A (zh) 2022-07-08
KR20220070321A (ko) 2022-05-30
KR102635769B1 (ko) 2024-02-13
US20220398496A1 (en) 2022-12-15
EP4060645A4 (en) 2023-11-29
EP4060645A1 (en) 2022-09-21

Similar Documents

Publication Publication Date Title
US11551570B2 (en) Systems and methods for assessing and improving student competencies
Moore et al. Assessing the quality of student-generated short answer questions using GPT-3
Verstege et al. Relations between students' perceived levels of self-regulation and their corresponding learning behavior and outcomes in a virtual experiment environment
CN107544973B (zh) 一种对数据进行处理的方法和装置
CN110941723A (zh) 一种知识图谱的构建方法、系统及存储介质
US20150056597A1 (en) System and method facilitating adaptive learning based on user behavioral profiles
CN110991195B (zh) 机器翻译模型训练方法、装置及存储介质
Gil Short project-based learning with MATLAB applications to support the learning of video-image processing
CN111680216B (zh) 一种试题推荐方法、系统、介质及设备
CN114429212A (zh) 智能学习知识能力跟踪方法、电子设备及存储介质
CN116340624A (zh) 自适应学习信息推荐方法、装置、设备及存储介质
CN114254122A (zh) 测试题的生成方法、装置、电子设备和可读存储介质
Eglington et al. How to optimize student learning using student models that adapt rapidly to individual differences
JP6832410B1 (ja) 学習効果推定装置、学習効果推定方法、プログラム
WO2021095571A1 (ja) 学習効果推定装置、学習効果推定方法、プログラム
JP6903177B1 (ja) 学習効果推定装置、学習効果推定方法、プログラム
CN111950852A (zh) 一种用户行为分析与指导方法、装置、电子设备和可读存储装置
JP7090188B2 (ja) 学習効果推定装置、学習効果推定方法、プログラム
CA2730456A1 (en) System and method for a computerized learning system
Afanasyev et al. Organization, development and implementation of intelligent learning environments
Çakiroğlu et al. Exploring intrinsic cognitive load in the programming process: a two dimensional approach based on element interactivity
Leitão et al. New metrics for learning evaluation in digital education platforms
Nasri et al. Pedagogical Factors Influencing Training of E-Commerce Entrepreneurs: The Malaysian Case
Hsiao Exploration of outcome feedback for dynamic decision making
Mochalina et al. Advanced teaching module for the course" Theory of Probability and Statistics" based on a recurrent test system with an incremental level of complexity and dynamical case studies

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20886887

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227015036

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020886887

Country of ref document: EP

Effective date: 20220613