JP6814492B2 - 試験点数を推定する方法、装置及びコンピュータプログラム - Google Patents

Description

本発明は、特定ユーザに対する試験点数を推定する方法に関する。より具体的に、本発明は、大量のユーザの問題解答の結果データを分析して、実際の試験に対する特定ユーザの予想点数を推定する方法に関する。

今まで、特定の試験に対する受験者の予想点数は、専門家達のノウハウによって推定されるのが一般的であった。例えば、大学入学試験の場合、専門家達のノウハウによって実際の大学入学試験と類似するように模擬試験を構成し、学生達が模擬試験を解いた結果に基づいて大学入学試験の予想点数を予測してきた。

しかし、このような方法は専門家達の主観的な経験や直観に依存するため、実際の試験結果と大きく異なることが少なくない。例えば、模擬試験で２等級を受けた学生が実際の大学入学試験では全く異なる等級を受ける場合が多数ある。しかも、不完全な予想点数を予測してみるためにも学生達は多数の模擬試験を直接解くしかなく、負担が大きかった。

このように、従来の受験環境では実際の試験に対する受験者の予想点数が数学的に計算されないため、受験者が予想点数を予測してみるためには多数の模擬試験を受けなければならない他、信頼度の低い予想点数情報に基づいて該当の試験を準備しなければならず、学習能率が低下する問題があった。

本発明は、ユーザが特定試験に対する模擬試験の問題を解かずに該当の試験の予想点数を推定する方法を提供することを目的とする。

より具体的に、本発明は、問題とユーザに対するモデリングベクトルを構成することにより、実際の試験問題と類似に構成された模擬試験の問題セットをユーザが解かなくとも模擬試験の問題セットに対する予測点数を推定し、これを実際の試験問題に対する予測点数として提供する方法を提供することに目的がある。

本発明の実施例による学習データ分析サーバーで試験問題に対するユーザの予想点数を推定する方法は、複数の問題を含む問題データベースを構成し、前記問題に対する複数のユーザの解答の結果データを収集し、前記解答の結果データを用いて任意の問題に対する任意のユーザの正解確率を推定するａ段階；前記問題データベースから、前記問題データベースによらずに出題された外部試験問題セットと類似の模擬試験問題セットを少なくとも一つ構成するｂ段階；前記模擬試験問題セットを解かなかった任意のユーザに対して、前記模擬試験問題セットを構成する各問題に対する前記ユーザの前記正解確率を用いて前記模擬試験問題セットの予測点数を推定し、推定された予測点数を前記外部試験問題に対する予測点数として提供するｃ段階を含むことを特徴とする。

本発明によれば、ユーザが模擬試験問題セットを解くことなく実際の試験点数を推定することができるという効果がある。

本発明の実施例によるデータ分析フレームワークで試験点数を推定する過程を説明するための順序図である。

本発明は、以下に記載される実施例の説明内容に限定されるものではなく、本発明の技術的要旨から逸脱しない範囲内で様々な変形が加えられ得ることは明らかである。なお、実施例の説明において、本発明の属する技術分野に周知であり、本発明の技術的要旨に直接関連していない技術内容については説明を省略する。

一方、添付の図面において同一の構成要素は同一の符号で表される。そして、添付の図面において一部の構成要素は誇張、省略又は概略して表示されてもよい。これは、本発明の要旨に関連していない不要な説明を省略することによって本発明の要旨を明確に説明するためである。

近年、ＩＴデバイスの普及に伴ってユーザ分析のためのデータ収集も容易となりつつある。ユーザデータを十分に収集できれば、ユーザの分析がより精密になり、当該ユーザに最適な形態のコンテンツを提供することができる。

このようなトレンドに伴い、特に教育市場では精密なユーザ分析に対するニーズが増えている。

簡単な例を挙げると、特定大学への進学を目標とする或る学生に対して、大学入学試験において国語５０点、英語８０点を取ると高信頼度で予想できれば、この学生は大学の募集要項を参考にしてどの科目に主眼をおいて勉強すればいいか判断することができる。

試験点数を推定するために受験者は、従来、専門家達が該当の試験と類似に構成した模擬試験を数回解いてみる方式に従った。しかし、受験者が模擬試験を解くこと自体が能率的な勉強の行為であるとは言い難い。模擬試験は実際の試験に類似するかを基準に構成されるため、受験者の実力に関係なく出題される。すなわち、模擬試験は、試験点数を推定して全受験者の中で特定受験者の位置を確認する目的で構成されたもので、受験者の学習のために構成された問題ではない。

このため、各受験者は既知の問題も模擬試験で繰り返し解くことになる。その上、従来の模擬試験は専門家達のノウハウによって構成されるため、実際の試験に類似するか否か、すなわち、実際の試験との類似度を数学的に計算できず、模擬試験から推定された受験者の予想点数は実際の点数と大きく異なるしかないという問題があった。

本発明は、上記のような問題を解決するためのものである。本発明の実施例によるデータ分析サーバーは、学習データ分析にマシンラーニングフレームワークを適用し、データ処理過程において人の介入を排除して試験点数を推定する方法を提供しようとする。

本発明の実施例によれば、ユーザは模擬試験を解かなくても試験点数を予想することができる。より具体的に、本発明の実施例によれば、データ分析システムの問題データベースに基づいて実際の試験と数学的に類似な模擬試験を構成することができる。さらに、ユーザが問題データベースに基づいて構成された模擬試験を解かなくても、ユーザと問題に対するモデリングベクトルを用いて問題に対する正解率を推定できるので、当該試験の予想点数を高信頼度で計算することができる。

図１は、本発明の実施例による学習データ分析フレームワークで任意のユーザの実際の試験点数を推定する方法を示す順序図である。

段階１１０及び段階１２０は、データ分析システムにおいて個別ユーザに対する実際の試験予想点数を推定するための前提となる段階である。

本発明の実施例によれば、段階１１０で、データベースに保存された全問題に対して全ユーザの解答の結果データを収集することができる。

より具体的に、データ分析サーバーは、問題データベースを構成し、該問題データベースに属する全問題に対する全ユーザの解答の結果データを収集することができる。

例えば、データ分析サーバーは、市販されている各種問題に対するデータベースを構築し、ユーザが当該問題を解いた結果を収集する方式で解答の結果データを収集することができる。前記問題データベースは、聞き取り評価問題を含み、テキスト、イメージ、オーディオ、及び／又は動画の形態であり得る。

このとき、データ分析サーバーは、収集された問題解答の結果データを、ユーザ、問題、結果に対するリスト形態で構成することができる。例えば、Ｙ（ｕ，ｉ）は、ユーザｕが問題ｉを解いた結果を意味し、正解であれば１、不正解であれば０の値を与えることができる。

さらに、本発明の実施例によるデータ分析サーバーは、ユーザと問題で構成された多次元空間を構成し、ユーザが問題を当てたか否かに基づいて前記多次元空間に値を与えることによって、各ユーザ及び問題に対するベクトルを計算することができる（段階１２０）。この時、前記ユーザベクトルと問題ベクトルが含むフィーチャーは限定されないものと解釈されるべきである。

一方、図１に特に示してはいないが、データ分析サーバーは前記ユーザベクトルと前記問題ベクトルを用いて任意のユーザが任意の問題を当てる確率、すなわち正解率を推定することができる。

この時、前記ユーザベクトル及び前記問題ベクトルに様々なアルゴリズムを適用して前記正解率を計算することができ、本発明の解釈において正解率を計算するためのアルゴリズムは制限されない。

例えば、データ分析サーバーは、前記ユーザのベクトル値及び前記問題のベクトル値に正解率の推定のためにパラメータを設定したシグモイド関数を適用してユーザの当該問題に対する正解率を計算することができる。

他の例として、データ分析サーバーは、前記ユーザのベクトル値及び前記問題のベクトル値を用いて特定ユーザの特定問題に対する理解度を推定し、該理解度を用いて、特定ユーザが特定問題を当てる確率を推定することもできる。

例えば、ユーザベクトルの１番目の行の値が［０，０，１，０．５，１］である場合、これは、第１ユーザが１番目及び２番目の概念は全く理解しておらず、３番目及び５番目の概念は完全に理解しており、そして４番目の概念は半分だけ理解していると解釈できる。

さらに、問題ベクトルの１番目の行の値が［０，０．２，０．５，０．３，０］である場合、これは、第１問題が１番概念は全く含んでおらず、２番概念は２０％程度含み、３番概念は５０％程度含み、４番概念は３０％程度含んでいると解釈できる。

このとき、第１ユーザの第１問題の理解度を推定すれば、０×０＋０×０．２＋１×０．５＋０．５×０．５＋１×０＝０．７５と計算することができる。すなわち、第１ユーザは第１問題を７５％理解すると推定できる。

しかし、ユーザの特定問題に対する理解度と特定問題を当てる確率とが一致するとはいえない。上の例において第１ユーザが第１問題を７５％理解する場合、第１問題を実際に解いた時に正解である確率はどれくらいであろう。

このために、心理学、認知科学、教育学などで用いられる方法論を導入して、理解度と正解率との関係を推定することができる。例えば、Ｒｅｃｋａｓｅ及びＭｃＫｉｎｅｌｙが考案したＭ２ＰＬ（ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ｔｗｏ−ｐａｒａｍｅｔｅｒ ｌｏｇｉｓｔｉｃ）潜在的特性理論（Ｌａｔｅｎｔ Ｔｒａｉｔ Ｍｏｄｅｌ）などを考慮して理解度と正解率を推定することができる。

しかし、本発明は、合理的な方式で理解度と正解率との関係を推定できる従来技術を適用してユーザの問題に対する正解率を計算すればよく、本発明は、理解度と正解率との関係を推定する方法論に制限されて解釈されるものではないことに留意されたい。

その後、データ分析サーバーは、試験点数を推定するための対象試験と類似な模擬試験を、前記問題データベースを用いて構成することができる（段階１３０）。この時、特定試験に対する模擬試験は複数個構成されることがより好適である。

実際の試験は、問題データベースの外部から生成されることを原則とするため、実際試験の問題のそれぞれに対するモデリングベクトルを計算することは容易でない。したがって、モデリングベクトルが、あらかじめ計算された問題データベースを用いて該当の試験と類似な模擬試験を生成すれば、模擬試験の予測点数を実際の試験の予想点数に取り替えることができる。

本発明の実施例によれば、模擬試験は次のような方法で構成できる。

第一の方法として、データベースの各問題に対する全ユーザの平均正解率を用いて全ユーザに対する模擬試験の平均点数が任意の範囲に属するように問題セットを構成する。

例えば、国語試験の統計を参考する時、該当の試験の全受験者の平均点数が６７点〜６９点である場合、データ分析サーバーは模擬試験も平均点数が６７点〜６９点の範囲に収まるように問題セットを構成することができる。

この時、該当の試験の問題類型分布を考慮して模擬試験の問題セットを構することができる。例えば、国語試験の統計を参考するとき、実際の試験に第１類型が２０％、第２類型が３０％、第３類型が４０％、第４類型が１０％前後で出題されると、模擬試験も実際の試験と類似に問題類型分布を構成することができる。

このために、本発明の実施例によれば、問題類型に対するラーベルをあらかじめ生成して問題データベースにインデックス情報を追加することができる。

例えば、データ分析サーバーは、任意の類型に分類できる問題のラーベルをあらかじめ定義し、該当の問題類型に従う問題モデルの特性を学習して問題をクラスタリングし、クラスタリングされた問題グループに問題類型に対するラーベルを与える方式でインデックス情報を生成することができる。

他の例として、データ分析サーバーは、問題類型に対するラーベルをあらかじめ定義せず、問題のモデリングベクトルを用いて問題をクラスタリングし、クラスタリングされた問題グループの意味を解釈して問題類型に対するラーベルを与える方式でインデックス情報を生成することもできる。

本発明の実施例によって模擬試験を構成する第二の方法としては、該当の試験に対する任意のユーザ達の実際点数情報を利用する。

例えば、国語試験に対する上記の例において、該当の試験を受けたユーザＡ、Ｂ、Ｃの実際点数がそれぞれ６０点、７０点、８０点である場合、あらかじめ計算されたユーザＡ、Ｂ、Ｃの正解率を適用して計算した模擬試験推定点数がそれぞれ６０点、７０点、８０点となるように模擬試験問題セットを構成することができる。

模擬試験の推定された点数が実際点数に近接するように問題セットを構成する前記実施例によれば、模擬試験と実際の試験との類似度を、実際の試験を受けたユーザの点数情報を用いて数学的に計算することができる。したがって、模擬試験の信頼度、すなわち、模擬試験点数が実際の試験点数に近接するという信頼度を上げることができる。

この時、本発明の実施例によれば、該当の試験の問題類型分布情報を適用して模擬試験問題セットを構成することができ、統計的に分析される他の情報を適用することもできる。

一方、図１に特に示してはいないが、データ分析サーバーは、模擬試験問題セットを構成する上で問題の配点を調整することができる。これは、問題データベースに属する問題は個別の配点情報が与えられていないが、実際の試験では各問題に個別の配点が与えられるためである。

一般に、実際の試験では、難しい問題に高い配点が与えられ、易しい問題に低い配点が与えられる。これを解釈すると、問題の平均正解率、問題を構成する概念の個数、問題文の長さなどを考慮して実際の問題の配点が与えられ、問題の類型によってあらかじめ特定された配点が与えられてもよい。

したがって、本発明の実施例によるデータ分析サーバーは、該当の問題の平均正解率、問題を構成する概念の個数、問題文の長さ、及び問題類型情報のうち少なくとも一つを反映して、模擬試験問題セットをなす各問題の配点を与えることができる。

このために、図１に特に示してはいないが、データ分析サーバーは、問題の概念に対するラーベル生成のために該当の科目の学習要素及び／又は主題をツリー構造で羅列して最小学習要素に対するメタデータセットを生成し、前記最小学習要素を分析に適したグループ単位に分類して、問題を構成する概念に対するインデックス情報を生成することもできる。

特に、本発明の実施例によれば、該当の試験を実際に受けたユーザ達の実際点数とこれらユーザの模擬試験問題セットに対する推定点数とが近似するように、問題セットをなす各問題の配点を与えることもできる。

実際の試験と類似度が高い模擬試験問題セットが構成されると、本発明の実施例によるデータ分析サーバーは、ユーザのそれぞれの模擬試験に対する予測点数を推定することができる（段階１４０）。実際の試験と模擬試験が類似していると前提して模擬試験の点数を実際の試験の点数として推定するものである。

特に、本発明の実施例によれば、ユーザが模擬試験を直接解かなくても模擬試験の点数を高信頼度で推定できるという特徴がある。

本発明の実施例による模擬試験は問題データベースに含まれた問題で構成され、データベースに属する各問題に対するユーザの正解率は前述のようにあらかじめ計算されている。したがって、模擬試験を構成する全問題に対する個別ユーザの正解率を用いて当該ユーザの模擬試験予想点数を推定することができる。

この時、本発明の実施例によれば、任意の試験点数を推定するための模擬試験問題セットを複数個構成し、特定ユーザの複数の模擬試験に対する推定点数を平均化して当該ユーザの実際の試験に対する予測点数を推定することができる。

本明細書及び図面に示された本発明の実施例は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例として提示したものに過ぎず、本発明の範囲を限定するためのものではない。ここに開示された実施例に限定されず、本発明の技術的思想に基づく他の様々な変形例が実施可能であるということは、本発明の属する技術分野における通常の知識を有する者にとって明らかであろう。

Claims (5)

1. 学習データ分析サーバーで試験問題に対するユーザの予想点数を推定する方法であって、
   複数の問題を含む問題データベースを構成し、前記問題に対する複数のユーザの解答の結果データを収集し、前記解答の結果データを用いて任意の問題に対する任意のユーザの正解確率を推定するａ段階と、
   前記問題データベースから、前記問題データベースによらずに出題された外部試験問題セットと類似の模擬試験問題セットを少なくとも一つ構成するｂ段階と、
   前記模擬試験問題セットを解かなかった任意のユーザに対して、前記模擬試験問題セットを構成する各問題に対する前記ユーザの前記正解確率を用いて前記模擬試験問題セットの予測点数を推定し、推定された予測点数を前記外部試験問題に対する予測点数として提供するｃ段階と、
   を含むことを特徴とする予想点数推定方法。
2. 前記ｂ段階は、
   前記模擬試験問題セットを構成する各問題に対する全ユーザの平均正解率を用いて、前記全ユーザに対する前記模擬試験問題セットの平均点数があらかじめ設定された範囲に該当するように前記模擬試験問題セットを構成する段階を含むことを特徴とする、請求項１に記載の予想点数推定方法。
3. 前記ｂ段階は、
   あらかじめ計算された前記外部試験問題セットの問題類型分布情報に従うように前記模擬試験問題セットを構成する段階を含むことを特徴とする、請求項２に記載の予想点数推定方法。
4. 前記ｂ段階は、
   前記外部試験問題セットに対する少なくとも一つのユーザの実際点数情報を確保する段階と、
   前記ユーザに対する前記模擬試験問題セットの予測点数が前記実際点数情報に近接するように前記模擬試験問題セットを構成する段階と、を含むことを特徴とする、請求項１に記載の予想点数推定方法。
5. 試験問題に対するユーザの予想点数を推定する装置であって、
   複数の問題を含む問題データベースと、
   前記問題に対する複数のユーザの解答の結果データを収集し、前記解答の結果データを用いて任意の問題に対する任意のユーザの正解確率を推定し、前記問題データベースから、前記問題データベースによらずに出題された外部試験問題セットと類似の模擬試験問題セットを少なくとも一つ構成し、前記模擬試験問題セットを解かなかった任意のユーザに対して、前記模擬試験問題セットを構成する各問題に対する前記ユーザの前記正解確率を用いて前記模擬試験問題セットの予測点数を推定し、推定された予測点数を前記外部試験問題に対する予測点数として提供する制御部と、
   を含むことを特徴とする予想点数推定装置。
   
   

Images