JP6957993B2 - ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法に関する。

従来、質問と、質問に対する複数の選択肢とを有する問題を表示して、ユーザが選択した選択肢を入力し、解答の正誤に基づいて、ユーザの知識を判断する学習装置が提案されている（例えば、特許文献１等）。

ユーザの解答が正解の時でも、ユーザの知識に基づいて正解であった場合と、ユーザの知識は不十分であるが、適当に選択した選択肢が偶然に正解であった場合とがある。

そこで、学習装置では、ユーザが解答する時の自信レベルを求めて、自信レベルに基づいて、ユーザが自信を持って解答したのか、又は、ユーザは自信なく解答したのかを判断することが行われている。そして、ユーザの解答に対する自信レベルに基づいて、ユーザの理解度が推定される。ユーザが解答する時の自信レベルは、例えば、ユーザの視線又は脳波を測定することにより、推定することが提案されている（例えば、特許文献２〜４等）。

特開２００４−１５２１１５号公報 国際公開第２００７／０６６４５１号 特開２０１４−１７８３５８号公報 国際公開第２０１０／０４５３５６号

しかし、質問と、質問に対する複数の選択肢とを有する問題が表示された後、ユーザが、瞬時に選択肢を選択した場合には、ユーザが解答する時の自信レベルを求めることが困難であった。

そこで、本明細書では、ユーザが解答する時の自信レベルを推定できる情報処理プログラム、情報処理装置及び情報処理方法を提供することを課題とする。

本明細書に開示する情報処理プログラムの一形態によれば、質問と、質問に対する複数の選択肢とを有する第１の問題を表示部に表示することと、入力された、ユーザが第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、ユーザの第１の問題に対する第１解答に対する自信レベル及び自信レベルの信頼度を求めることと、自信レベルの信頼度が所定の閾値よりも低い場合に、第１の問題の表示態様を変更して第２の問題を作成することと、第２の問題を表示部に表示することと、第１の問題に対するユーザの第１解答と、入力された第２の問題に対するユーザの第２解答とに基づいて、第１の問題に対するユーザの自信レベルを推定することと、をプロセッサに実行させる。

また、本明細書に開示する情報処理装置の一形態によれば、表示部と、入力部と、質問と、質問に対する複数の選択肢とを有する第１の問題及び第２の問題を表示部に表示させる問題表示部と、ユーザが第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、入力部により入力されたユーザの第１の問題に対する第１解答の自信レベル及び自信レベルの信頼度を求める自信レベル計算部と、自信レベルの信頼度が所定の閾値よりも低い場合に、第１の問題の表示態様を変更して第２の問題を作成する表示態様変更部と、第１の問題に対するユーザの第１解答と、入力部により入力されたユーザの第２の問題に対する第２解答とに基づいて、第１の問題に対するユーザの自信レベルを推定する自信レベル推定部と、を有する処理部と、を備える。

更に、本明細書に開示する情報処理方法の一形態によれば、質問と、質問に対する複数の選択肢とを有する第１の問題を表示部に表示することと、入力された、ユーザが第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、ユーザの第１の問題に対する第１解答に対する自信レベル及び自信レベルの信頼度を求めることと、自信レベルの信頼度が所定の閾値よりも低い場合に、第１の問題の表示態様を変更して第２の問題を作成することと、第２の問題を表示部に表示することと、第１の問題に対するユーザの第１解答と、入力された第２の問題に対するユーザの第２解答とに基づいて、第１の問題に対するユーザの自信レベルを推定することと、をプロセッサが実行する。

本明細書に開示する形態の一側面によれば、ユーザが解答する時の自信レベルを推定できる。

本明細書に開示する情報処理装置の一実施形態を示す図である。 （Ａ）は、処理部を説明する図であり、（Ｂ）は、記憶部を説明する図である。 本明細書に開示する情報処理装置の動作を説明するフローチャート（その１）である。 本明細書に開示する情報処理装置の動作を説明するフローチャート（その２）である。 本明細書に開示する情報処理装置の動作を説明するフローチャート（その３）である。 （Ａ）〜（Ｄ）は、表示態様が変更された問題を作成することを説明する図（その１）である。 （Ａ）〜（Ｃ）は、表示態様が変更された問題を作成することを説明する図（その２）である。 本明細書に開示する情報処理装置の動作を説明するフローチャート（その４）である。 表示態様が変更された問題を作成することを説明する図（その３）である。 表示態様が変更された問題を表示することを説明する図（その１）である。 本明細書に開示する情報処理装置の動作を説明するフローチャート（その５）である。 表示態様が変更された問題を作成することを説明する図（その４）である。 表示態様が変更された問題を表示することを説明する図（その２）である。 本明細書に開示する情報処理装置の動作を説明するフローチャート（その６）である。 表示態様が変更された問題を作成することを説明する図（その６）である。 表示態様が変更された問題を作成することを説明する図（その５）である。 表示態様が変更された問題を作成することを説明する図（その７）である。 表示態様が変更された問題を作成することを説明する図（その８）である。

以下、本明細書で開示する情報処理装置の好ましい第１実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

図１は、本明細書に開示する情報処理装置の一実施形態を示す図である。図２（Ａ）は、処理部を説明する図であり、図２（Ｂ）は、記憶部を説明する図である。

本明細書の情報処理装置（以下、単に装置ともいう）１０は、ユーザの学習を支援する学習装置である。装置１０は、質問と、質問に対する複数の選択肢とを有する問題を表示し、ユーザが選択した選択肢を入力して、解答の正誤を判定する。

また、装置１０は、ユーザが問題に対して解答する時のユーザの解答に対する自信レベル及び自信レベルの信頼度を求める。装置１０は、ユーザの解答の正誤と、自信レベルとに基づいて、ユーザの問題に対する知識及び／又は理解度を推定する。

ユーザの解答の正誤と、自信レベルとの組み合わせてとしては、以下の４つの場合が挙げられる。（ａ）正解且つ高い自信レベル、（ｂ）正解且つ低い自信レベル、（ｃ）不正解且つ高い自信レベル、（ｄ）不正解且つ低い自信レベル。

ユーザの解答が不正解の場合には、一般に、ユーザの知識及び／又は理解度が不十分であると推定される（ｃ及びｄのケース）。

ユーザの解答が正解であり、且つ自信レベルが高い場合には、ユーザの知識及び／又は理解度が十分であると推定される（ａのケース）。

ユーザの解答が正解であり、且つ自信レベルが低い場合には、ユーザの知識及び／又は理解度が不十分であるが、適当に選択した選択肢が偶然に正解であったと推定される（ｂのケース）。

装置１０は、ユーザの解答に対して、正解か、又は不正解かを判断する。

また、装置１０では、ユーザが問題に対して解答する時のユーザの注視位置と、表示部に表示された問題の表示部の画面上の表示位置とに基づいて、ユーザが問題を解答した時のユーザの解答に対する自信レベル及び自信レベルの信頼度を求める。問題は、質問及び複数の選択肢を有する。

質問と、質問に対する複数の選択肢とを有する問題が表示された後、ユーザが、瞬時に選択肢を選択した場合には、ユーザが解答する時の自信レベルの信頼度が低くなるので、自信レベルを求めることが困難な場合がある。

装置１０は、自信レベルの信頼度が低い場合には、同じ内容を有し、表示態様が変更された問題をユーザへ出題する。そして、装置１０は、変更前後の問題に対するユーザの解答に基づいて、自信レベルを推定する。

以下、装置１０について、更に詳述する。

装置１０は、処理部１１と、記憶部１２と、表示部１３と、操作部１４と、視線検出デバイス１５と、通信部１６を有する。

処理部１１は、一つまたは複数のプロセッサと、周辺回路とを有する。処理部１１は、記憶部１２に予め記憶されている所定のプログラム１２ａに従い、装置１０の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するために記憶部１２を利用する。

記憶部１２は、ランダムアクセスメモリ（ＲＡＭ）若しくはリードオンリーメモリ（ＲＯＭ）等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、記憶部１２は、非一時的な記憶媒体１２ｄに記憶されたプログラムを、読み出し可能なドライブ（図示せず）を有していてもよい。

図２（Ｂ）に示すように、記憶部１２は、所定のプログラム１２ａと共に、表示部１３に問題及び問題の答えに関する情報を有する問題データ１２ｂと、ユーザにより選択された解答に関する情報を有する解答データ１２ｃを記憶する。問題データ１２ｂは、問題と関連付けられた、問題の質問及び複数の選択肢が表示部１３の画面上に表示される位置の情報も有する。解答データ１２ｃは、ユーザにより選択された解答が問題と関連付けられた情報も有する。

また、記憶部１２は、ユーザの注視位置を検出するために利用される各種のデータを記憶する。例えば、記憶部１２は、プルキンエ像の重心に対する瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブル、視線方向と注視位置との関係を表す参照テーブルを記憶する。更に、記憶部１２は、視線検出デバイス１５から得られたユーザの眼の画像、あるいは、その画像に基づいて検出されたキャリブレーション前の生の注視位置の測定点の座標及び取得順番などを記憶する。

表示部１３は、処理部１１に制御されて、装置１０の動作に伴う各種の情報を画面上に表示可能である。質問と、質問に対する複数の選択肢とを有する問題は、問題と関連づけられて記憶部１２に記憶される画面上の所定の位置に表示される。表示部１３として、例えば、液晶ディスプレイを用いることができる。

操作部１４は、装置１０のユーザにより操作されて、操作を入力可能である。装置１０は、操作部１４として、例えばキーボード又はマウスを用いることができる。また、操作部１４として、操作部１４と表示部１３とが一体となったタッチパネルを用いてもよい。ユーザは、操作部１４を操作して、複数の選択肢の内の一の選択肢を選択して、装置１０に入力する。

視線検出デバイス１５は、表示部１３の周囲に配置され、ユーザの視線方向を表す測定データを所定の周期（例えば、１ミリ秒〜３３ミリ秒）ごとに生成する。そして視線検出デバイス４は、生成した測定データを処理部１１へ出力する。

例えば、視線検出デバイス１５は、赤外発光ダイオード１５ａと、ＣＣＤ又はＣ−ＭＯＳといった赤外線に感度を持つイメージセンサと撮像光学系を含むカメラ１５ｂとを有する。そして視線検出デバイス１５は、測定データとして、ユーザの眼の瞳孔と、赤外発光ダイオード１５ａから発した光が角膜で反射された角膜反射像（以下、プルキンエ像と呼ぶ）とが表された画像をカメラ１５ｂにより生成する。

本実施形態では、視線検出デバイス１５は、表示部１３の上方又は下方又は側方に、表示部１３と対向するユーザへ向けて配置される。視線検出デバイス１５が有する赤外発光ダイオード１５ａは、ユーザの眼を照明する。そして視線検出デバイス１５が有するカメラカメラ１５ｂにより、表示部１３を見るユーザの少なくとも一方の眼を含む、ユーザの顔全体あるいは顔の一部が写った画像が生成される。

通信部１６は、例えば、図示しないネットワーク介して、情報の送受信を行う。通信部１６は、送受信を行う通信回路及び通信線を有し得る。装置１０は、例えば、プログラム、問題データ又は解答データを、通信部１６を用いて送受信してもよい。

図２（Ａ）に示すように、上述した処理部１１は、問題表示部１１ａと、注視位置検出部１１ｂと、既読割合判定部１１ｃと、自信レベル計算部１１ｄと、表示態様変更部１１ｅと、自信レベル推定部１１ｆを有する。

処理部１１が有するこれらの各部は、例えば、処理部１１が有するプロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、処理部１１が有するこれらの各部は、それぞれ、別個の回路として、装置１０に実装されてもよい。各部の説明については後述する。

問題表示部１１ａは、記憶部１２に記憶された問題データ１２ｂを読み出して、一又は複数の問題を作成して、各問題を、表示部１３の画面上の所定の位置に表示する。また、問題表示部１１ａは、表示態様が変更された問題を、表示部１３の画面上の所定の位置に表示する。

注視位置検出部１１ｂは、視線検出デバイス１５から処理部１１が画像を取得する度に、その画像上でユーザの眼が写っている領域を検出し、眼が写っている領域内でプルキンエ像及び瞳孔を検出する。そして注視位置検出部１１ｂは、プルキンエ像と瞳孔重心との位置関係に基づいてユーザの注視位置を検出する。

注視位置検出部１１ｂは、先ず、眼が写っている領域を検出する。眼に相当する画素の輝度は、眼の周囲に相当する画素の輝度と大きく異なる。そこで注視位置検出部１１ｂは、画像内の各画素に対して、例えば、Ｓｏｂｅｌフィルタを用いて垂直方向の近傍画素間差分演算を行って垂直方向に輝度が変化するエッジ画素を検出する。そして注視位置検出部１１ｂは、例えば、エッジ画素が略水平方向に眼の大きさに相当する所定数以上連結された２本のエッジ線で囲まれた領域を眼の領域とする。あるいは、注視位置検出部１１ｂは、画像上の眼の像を表すテンプレートと、画像とのテンプレートマッチングにより、画像内でテンプレートに最も一致する領域を検出し、その検出した領域を眼の領域としてもよい。

更に、注視位置検出部１１ｂは、眼の領域内で瞳孔が写っている領域を検出する。本実施形態では、注視位置検出部１１ｂは、瞳孔に相当するテンプレートと眼の領域との間でテンプレートマッチングを行い、眼の領域内でテンプレートとの一致度が最も高くなる領域を検出する。そして注視位置検出部１１ｂは、一致度の最高値が所定の一致度閾値よりも高い場合、その検出した領域に瞳孔が写っていると判定する。

また瞳孔が写っている領域の輝度は、その周囲の領域の輝度よりも低く、瞳孔は略円形である。そこで注視位置検出部１１ｂは、眼の領域内で、同心円状に半径の異なる２本のリングを設定する。そして注視位置検出部１１ｂは、外側のリングに相当する画素の輝度の平均値から内側の画素の輝度の平均値を引いた差分値が所定の閾値よりも大きい場合、その内側のリングで囲まれた領域を瞳孔領域としてもよい。注視位置検出部１１ｂは、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心の座標として算出する。

また注視位置検出部１１ｂは、眼の領域内で視線検出デバイス１５が有する赤外発光ダイオード１５ａのプルキンエ像を検出する。注視位置検出部１１ｂは、プルキンエ像に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値をプルキンエ像の重心の座標として算出する。

瞳孔重心及びプルキンエ像の重心を検出すると、注視位置検出部１１ｂは、それらに基づいてユーザの視線方向を検出する。

角膜の表面は略球形であるため、視線方向によらず、視線検出デバイス１５が有する光源のプルキンエ像の位置はほぼ一定となる。一方、瞳孔重心は、ユーザの視線方向に応じて移動する。そのため、注視位置検出部１１ｂは、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を求めることにより、ユーザの視線方向を検出できる。

本実施形態では、注視位置検出部１１ｂは、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、例えば、瞳孔重心の水平方向座標及び垂直方向座標からプルキンエ像の重心の水平方向座標及び垂直方向座標を減算することにより求める。そして注視位置検出部１１ｂは、瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブルを参照することにより、ユーザの視線方向を特定する。

注視位置検出部１１ｂは、ユーザの視線方向を検出すると、ユーザの視線方向及び想定されるユーザの眼と表示部１３間の位置関係に基づいて、表示部１３の画面上でのユーザの注視位置を検出する。

本実施形態では、注視位置検出部１１ｂは、ユーザの眼と表示部１３の画面間の想定される位置関係における、ユーザの視線方向と注視位置との関係を表す参照テーブルを参照することにより、ユーザの注視位置の測定点を求める。そして注視位置検出部１１ｂは、ユーザの注視位置の測定点の表示部１３の画面上での座標を、その取得順序とともに記憶部１２に保存する。なお、注視位置の測定点の取得順序は、その順序を表す番号で表れされてもよく、あるいは、その測定点を求めるために利用した、ユーザの眼の画像の取得時刻で表されてもよい。

既読割合判定部１１ｃは、検出された戻りスイープの数及び注視ラインの数と、表示部１３の画面に表示される質問又は複数の選択肢とを比較して、その質問又は複数の選択肢における、ユーザが既読した割合を表す既読割合を判定する。文書を読む際に観察される代表的な視線の移動パターンでは、読む行が切り替えられる際に、画面上での視線位置が後退方向へ大きく移動する。戻りスイープは、そのような、読む行の切替えに相当する、視線位置の後退方向への大きな移動の軌跡をいう。また、注視ラインは、検出された時間において、又は検出された画面上の位置において隣接する二つの戻りスイープ間の一連の固視と前方方向への微動とを、一つの行のリーディングに相当する視線位置の移動の軌跡を表す。

例えば、既読割合判定部１１ｃは、表示文書の行数に対する注視ラインの数の比を、既読割合として算出する。あるいは、既読割合判定部１１ｃは、表示文書の行数に対する、注視ラインの数と戻りスイープの数の多い方との比を、既読割合として算出してもよい。

自信レベル計算部１１ｄは、ユーザが問題に対して解答する時のユーザの注視位置の時間変化と、表示部１３の画面における問題又は複数の選択肢の表示領域とに基づいて、ユーザが問題を解答した時のユーザの解答に対する自信レベル及び自信レベルの信頼度を求める。

自信レベル計算部１１ｄは、例えば、自信レベル（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）を、０．０〜１．０のスコアとして求める。自信レベルは、スコアが低い程、自信が低いことを意味し、スコアが高い程、自信が高いことを意味する。

また、自信レベル計算部１１ｄは、求めた自信レベルの信頼度を、０．０〜１．０のスコアとして求める。自信レベルの信頼度は、スコアが低い程、自信レベルの信頼度が低いことを意味し、スコアが高い程、自信レベルの信頼度が高いことを意味する。

自信レベルの信頼度が高いことは、自信レベルのスコアがユーザの自信レベルを正確に示していることが統計的に高いことを意味する。一方、信頼度が低いことは、自信レベルのスコアがユーザの自信レベルを正確に示していることが統計的に低いことを意味する。

自信レベル計算部１１ｄは、自信レベルの信頼度を、所定の閾値と比較して、自信レベルの高低を判断する。所定の閾値は、自信レベルに求められる精度に応じて適宜決定される。所定の閾値として、例えば、０．７、０．５又は０．３とすることができる。

自信レベル計算部１１ｄは、具体的には、ユーザの注視位置と、表示部１３の画面上における問題又は複数の選択肢の表示位置とに基づいて、ユーザの解答に対する自信レベル及び自信レベルの信頼度を求めるように予め学習した識別器を用いる。識別器として、例えば、Ｋ近傍法又は２分木法等を利用した回帰分析モデルが用いられる。なお、自信レベル計算部１１ｄが、ユーザの解答に対する自信レベル及び自信レベルの信頼度を求める方法として、他の公知の方法を用いてもよい。

表示態様変更部１１ｅは、自信レベル計算部１１ｄが求めた自信レベルの信頼度に基づいて、ユーザが問題を解答した時のユーザの解答に対する自信レベルの信頼度が高いか又は低いかを判断する。例えば、表示態様変更部１１ｅは、自信レベルの信頼度が、所定の閾値よりも低い場合には、自信レベルの信頼度が低いと判断する。具体的には、表示態様変更部１１ｅは、自信レベルの信頼度が、０．７未満の場合に、０．５未満の場合に又は０．３未満の場合に、自信レベルの信頼度が低いと判断する。

自信レベルの信頼度が低い場合には、ユーザが問題を解答した時のユーザの解答に対する自信レベルが、統計的に正確であるのか否かが明確ではない（ａｂｍｉｇｕｉｔｙ）。そこで、装置１０では、自信レベルの信頼度が低い場合、問題の表示態様を変更した新たな問題を作成し、この問題を表示部１３に表示して、ユーザの解答を入力する。表示態様を変更した新たな問題は、ユーザに対して求められる知識及び／又は理解度が、変更前の問題と同等であることが好ましい。この表示態様変更部１１ｅが、表示態様を変更した新たな問題を作成する動作については後述する。

自信レベル推定部１１ｆは、表示態様を変更する前の問題（以下、第１の問題ともいう）に対するユーザの解答と、表示態様が変更された問題（以下、第２の問題ともいう）に対するユーザの解答とに基づいて、表示態様を変更する前の問題に対するユーザの自信レベルを推定する。例えば、第１の問題に対するユーザの解答が正解であり、第２の問題に対するユーザの解答も正解であれば、第１の問題に対するユーザの知識及び／又は理解度は十分であり、ユーザの自信レベルは高いと推定される。また、第１の問題に対するユーザの解答が正解であり、第２の問題に対するユーザの解答は不正解であれば、第１の問題に対するユーザの知識及び／又は理解度は不十分であり、ユーザの自信レベルは低いと推定される。

次に、上述した装置１０の動作を、図３及び図４に示すフローチャートを参照しながら、以下に説明する。

ユーザに対して出題される全ての問題に対して、ステップＳ３０１とステップＳ４１１との間の処理が行われる。

まず、ステップＳ３０３において、処理部１１の問題表示部１１ａは、記憶部１２に記憶される問題データ１２ｂを読み出して、問題を表示部１３の画面に表示する。表示部１３の画面には、例えば、図６（Ａ）に示すように、問題が有する質問及び４つの選択肢が表示される。図６（Ａ）では、ｎ番目（ｎは、ゼロ以上の整数である）に表示部１３に表示された問題ｎが示されている。問題ｎは、質問及び４つの選択肢を有する。問題ｎの質問及び４つの選択肢の表示部１３の画面上の位置は、記憶部１２に記憶される問題データ１２ｂに含まれる情報に基づいて決定される。図６（Ａ）に示す例では、表示部１３の画面上の領域Ｐ１〜Ｐ４に選択肢が表示される。

次に、ステップＳ３０５において、処理部１１の注視位置検出部１１ｂは、ユーザが表示部１３の画面上に表示された問題に対して解答する時のユーザの挙動を表す注視位置（ユーザの挙動情報）の時間変化を検出する。注視位置検出部１１ｂは、検出したユーザの注視位置の時間変化を、問題と関連づけて記憶部１２に記憶してもよい。

次に、ステップＳ３０７において、処理部１１の自信レベル計算部１１ｄは、ユーザが操作部１４を用いて解答を入力したか否かを判断する。ユーザが解答を入力していない場合（ステップＳ３０５−Ｎｏ）、ユーザは問題に対して解答している途中なので、処理はステップＳ３０５に戻る。注視位置検出部１１ｂは、ユーザの注視位置の時間変化の検出を続ける。

一方、ユーザが、操作部１４を用いて複数の選択肢の内の何れかを選択して、解答を入力した場合（ステップＳ３０５−Ｙｅｓ）、自信レベル計算部１１ｄは、ユーザの解答の正誤を判断する。そして、自信レベル計算部１１ｄは、その判断結果と共に、ユーザが選択した選択肢及び選択肢の位置を記憶部１２に記憶する（ステップＳ３０９）。

次に、ステップＳ３１１において、自信レベル計算部１１ｄは、ユーザが問題を解答した時のユーザの解答に対する自信レベル及び自信レベルの信頼度を求める。自信レベル計算部１１ｄは、ユーザが問題に対して解答する時のユーザの注視位置の時間変化と、表示部１３の画面における複数の選択肢の表示領域とを入力情報として、自信レベル及び自信レベルの信頼度を出力する。本実施形態では、自信レベル計算部１１ｄは、自信レベル（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）を、０．０〜１．０のスコアとして求める。また、自信レベル計算部１１ｄは、求めた自信レベルの信頼度を、０．０〜１．０のスコアとして求める。

次に、ステップＳ３１３において、表示態様変更部１１ｅは、自信レベルの信頼度が、所定の閾値よりも低く、且つユーザの解答が正解の場合には、第１の問題の表示態様を変更して第２の問題を作成する。本実施形態では、自信レベル計算部１１ｄは、自信レベルの信頼度が、０．５よりも低い場合に（ステップＳ３１３−Ｙｅｓ）、自信レベルの信頼度が低いと判断して、第２の問題を作成する（ステップＳ４０１）。上述したように、自信レベルの信頼度が低いことは、自信レベルのスコアがユーザの自信レベルを正確に示していることが統計的に低いことを意味する。本実施形態では、ユーザの解答が正解である場合のユーザの自信レベルを正確に把握することを目的とするので、ユーザの解答が不正解の場合には、第２の問題を作成しない。なお、ユーザの解答が不正解の場合にも、第２の問題を作成するようにしてもよい。

一方、自信レベル計算部１１ｄは、自信レベルの信頼度が、０．５以上の場合には（ステップＳ３１３−Ｎｏ）、ユーザの解答及び自信レベルを問題と関連づけて、記憶部１２に解答データ１２ｃに含める情報として記憶する（ステップＳ４１３）。

次に、ステップＳ４０１において、表示態様変更部１１ｅが、第１の問題の表示態様を変更して第２の問題を作成する処理について、図５〜図７を参照しながら、以下に説明する。ここで、第２の問題の内容は、第１の問題の内容と実質的に同じになるように作成されるので、第２の問題を出題することは、第１の問題に対して求められるのと同様のユーザの知識及び／又は理解度を確認することになる。

まず、ステップＳ５０１において、表示態様変更部１１ｅは、ユーザが第１の問題における複数の選択肢それぞれを注視した注視時間を求める。具体的には、表示態様変更部１１ｅは、ユーザの注視位置が、表示部１３の画面上の一の選択肢が表示される領域Ｐ１〜Ｐ４内に滞在している時間を、注視時間として求める。

図６（Ｂ）は、表示部１３の画面に表示された、図６（Ａ）に示す問題ｎ（第１の問題）に対して、ユーザにより各選択肢が注視された注視時間を示す。

図６（Ｂ）に示す例では、選択肢「ケニヤ山」の注視時間は１．３秒であり、選択肢「モンブラン」の注視時間は０．２秒であり、選択肢「エベレスト」の注視時間は０．４秒であり、選択肢「富士山」の注視時間は０秒である。また、質問「世界で最も高い山を選択して下さい。」の正解は、選択肢「エベレスト」である。表示態様変更部１１ｅは、正解である選択肢「エベレスト」が、領域Ｐ３に表示されていたことを、記憶部１２の問題データ１２ｂの情報に基づいて取得する。

次に、ステップＳ５０３において、表示態様変更部１１ｅは、ユーザの注視時間が最も短い選択肢が、正解の選択肢であるか否かを判断する。

表示態様変更部１１ｅは、ユーザの注視時間が最も短い選択肢が正解の選択肢ではない場合（ステップＳ５０３−Ｎｏ）、注視時間が最も短い選択肢の位置に、正解である選択肢を配置して、表示態様を変更した問題（ｎ＋１）（第２の問題）を作成する（ステップＳ５０５）。

図６（Ａ）及び図６（Ｂ）に示す例では、ユーザの注視時間が最も短い選択肢は、選択肢「富士山」であるので、正解である選択肢「エベレスト」とは異なる。

図６（Ｃ）に示すように、表示態様変更部１１ｅは、注視時間が最も短い選択肢「富士山」が表示されていた領域Ｐ４に、正解である選択肢「エベレスト」を配置する。

次に、ステップＳ５０９において、図６（Ｄ）に示すように、表示態様変更部１１ｅは、他の３つの選択肢を、領域Ｐ１〜Ｐ３にランダムに配置して、表示態様が変更された問題（ｎ＋１）（第２の問題）を作成する。このようにして、問題（ｎ＋１）は、問題ｎの４つの選択肢の位置が変更されて作成される。

一方、ユーザの注視時間が最も短い選択肢が正解の選択肢である場合（ステップＳ５０３−Ｙｅｓ）、表示態様変更部１１ｅは、注視時間が２番目に短い選択肢の位置に、正解である選択肢を配置して、表示態様が変更された問題（ｎ＋１）（第２の問題）を作成する（ステップＳ５０７）。

図７（Ａ）は、表示部１３の画面に表示された、図６（Ａ）に示す問題ｎ（第１の問題）に対して、ユーザにより各選択肢が注視された注視時間を示す。図７（Ａ）に示す例では、ユーザの注視時間が最も短い選択肢は、正解である選択肢「エベレスト」である。

図７（Ｂ）に示すように、表示態様変更部１１ｅは、注視時間が２番目に短い選択肢「モンブラン」が表示されていた領域Ｐ２に、正解である選択肢「エベレスト」を配置する。

次に、ステップＳ５０９において、図７（Ｃ）に示すように、表示態様変更部１１ｅは、他の３つの選択肢を、領域Ｐ１、Ｐ３、Ｐ４にランダムに配置して、表示態様が変更された問題（ｎ＋１）（第２の問題）を作成する。問題（ｎ＋１）は、問題ｎの４つの選択肢の位置が変更されて作成される。

ユーザが問題を解答する時には、ユーザの知識及び／又は理解度が不十分なために、ユーザは解答することをあきらめることがある。このような場合、ユーザは、最も注視していた選択肢を自動的に選択することがあり得る。そこで、本実施形態では、問題ｎ（第１の問題）において注視時間が最も短いか又は２番目に短い選択肢の位置に正解の選択肢を配置して問題（ｎ＋１）（第２の問題）を作成する。このようにして、ユーザが、問題（ｎ＋１）（第２の問題）を解答する際に、ユーザの各選択肢の記憶の影響の低減を図っている。

以上が、ステップＳ４０１の処理の説明である。

次に、ステップＳ４０３において、図６（Ｄ）又は図７（Ｃ）に示すように、処理部１１の問題表示部１１ａは、表示態様が変更された問題（ｎ＋１）（第２の問題）を、表示部１３に表示する。

次に、ステップＳ４０５において、処理部１１の自信レベル推定部１１ｆは、ユーザの解答を入力して、解答の正誤を判定する。

次に、ステップＳ４０７において、自信レベル推定部１１ｆは、問題ｎ（第１の問題）に対するユーザの解答（正解）と、問題（ｎ＋１）（第２の問題）に対するユーザの解答とに基づいて、問題ｎ（第１の問題）に対するユーザの自信レベルを推定する。自信レベル推定部１１ｆは、問題（ｎ＋１）（第２の問題）が正解の場合には、ユーザの知識及び／又は理解度は十分であるので、問題ｎ（第１の問題）の解答に対するユーザの自信レベルは、高いと推定する。例えば、ユーザが問題ｎ（第１の問題）に対して解答する時に、ユーザが瞬時に選択肢を選択したことにより、解答に対するユーザの自信レベルの信頼度が低くなったとする。この理由として、ユーザが高い自信をもって正解を選択しためであると推定される。

一方、問題（ｎ＋１）（第２の問題）が不正解の場合には、自信レベル推定部１１ｆは、ユーザの知識及び／又は理解度は不十分であるので、問題ｎ（第１の問題）の解答に対するユーザの自信レベルは、低いと推定する。例えば、ユーザが問題ｎ（第１の問題）に対して解答する時に、ユーザが瞬時に選択肢を選択したことにより、解答に対するユーザの自信レベルの信頼度は低くなったとする。この理由として、ユーザは解答することを諦めて、適当に解答を選択しためであると推定される。

本実施形態では、問題（ｎ＋１）（第２の問題）を解答した時のユーザの解答に対する自信レベル及び自信レベルの信頼度を求めていないが、自信レベル及び自信レベルの信頼度を求めて、ステップＳ４０７における自信レベルの推定の参考にしてもよい。

次に、ステップＳ４１１において、自信レベル推定部１１ｆは、ユーザの解答及び自信レベルを問題と関連づけて、記憶部１２に解答データ１２ｃとして記憶する。

次に、全ての問題の出題が終わっていない場合には、ステップＳ３０１へ戻る。

なお、上述した実施形態では、自信レベルの信頼度が低い場合には、表示態様が変更された問題を一度作成してユーザに出題していたが、表示態様が変更された問題を二度以上作成してユーザに出題してもよい。この場合、ユーザの解答の正誤の判断を、正解数に基づく多数決法を用いて判断してもよい。

次に、第１の問題の表示態様を変更して第２の問題を作成する他の実施形態を、図８〜図１８を参照しながら、以下に説明する。

図８〜図１０は、第２実施形態の処理を説明する。

第２実施形態では、上述した第１実施形態のステップＳ４０１及びステップＳ４０３の処理が異なっている。そこで、本実施形態におけるステップＳ４０１及びステップＳ４０３に対応する処理を、以下に説明する。他の処理は、上述した第１実施形態と同様である。

まず、ステップＳ８０１（ステップＳ４０１に対応）において、処理部１１の表示態様変更部１１ｅは、表示部１３に表示された４つの選択肢の内で、注視時間が最も短い選択肢の注視時間Ｓを取得する。そして、表示態様変更部１１ｅは、注視時間Ｓに基づいて、ユーザが問題ｎ（第１の問題）を解答した後に、問題（ｎ＋１）（第２の問題）を表示部１３に表示するまでに、表示部１３に表示する問題の数Ｑを決定する（図９参照）。

図９に示すように、ユーザが問題ｎに対して解答する時のユーザの注視時間は、領域Ｐ１の選択肢に対して４．１秒であり、領域Ｐ２の選択肢に対して４．７秒であり、領域Ｐ３の選択肢に対して３．５秒であり、領域Ｐ４の選択肢に対して４．２秒であった。注視時間が最も短い選択肢は、領域Ｐ３の選択肢である。

表示態様変更部１１ｅは、領域Ｐ３の選択肢に対する注視時間Ｓ（３．５秒）の整数部分の値Ｐ（３）を取得する。表示態様変更部１１ｅは、ユーザが問題ｎ（第１の問題）を解答した後に、第２の問題を表示部１３に表示するまでに、表示部１３に表示する問題の数を、値Ｐに決定する。問題ｎ（第１の問題）と、第２の問題との間に、問題ｎ（第１の問題）とは関係のない、Ｐ個の他の問題が挿入される。

次に、ステップＳ８０３において、図１０に示すように、処理部１１の問題表示部１１ａは、問題ｎを表示部１３に表示した後、問題ｎ（第１の問題）とは関係のない３つの問題（ｎ＋１）、（ｎ＋２）、（ｎ＋３）を表示部１３に表示して、ユーザに出題する。ユーザは、問題（ｎ＋１）、（ｎ＋２）、（ｎ＋３）に対して、操作部１４を用いて解答を入力する。問題（ｎ＋１）、（ｎ＋２）、（ｎ＋３）が表示部１３に表示されてユーザにより解答されるのに要する時間が、ユーザが問題ｎ（第１の問題）を解答した後に、第２の問題が表示部１３に表示されるまでの待ち時間となる。ユーザが、この待ち時間の間に他の問題に対して解答することにより、問題ｎ（第１の問題）を解答した記憶が薄れることが期待される。

次に、ステップＳ８０５（ステップＳ４０３に対応）において、問題表示部１１ａは、問題（ｎ＋３）の解答を入力した後に、問題ｎの表示態様を変更した第２の問題を、問題ｎ＋４として、表示部１３に表示する。問題ｎ＋４（第２の問題）は、上述した第１実施形態と同様に作成され得る。

ユーザは、問題を解答する時には、選択肢を注視する時間が長い程、内容を記憶する傾向がある。そこで、本実施形態では、選択肢の注視時間に応じて、問題ｎ（第１の問題）を解答した後に第２の問題を出題するまでの待ち時間を長くして、記憶した内容の影響を低減することを図っている。

上述した本実施形態では、領域Ｐ３の選択肢に対する注視時間Ｓ（３．５秒）の整数部分の値Ｐ（３）に基づいて、問題ｎ（第１の問題）と問題（ｎ＋１）（第２の問題）との間に挿入される問題の数を決定した。同様の考えにより、図９に示すように、領域Ｐ３の選択肢に対する注視時間Ｓ（３．５秒）の整数部分の値Ｐ（３）に基づいて、ユーザが問題ｎ（第１の問題）を解答した後に、第２の問題を表示部に表示するまでの待ち時間Ｔを決定してもよい。この待ち時間の間には、問題ｎ（第１の問題）とは関係のない他の問題を出題してもよい。

以上が、第２実施形態の説明である。

図１１〜図１３は、第３実施形態の処理を説明する。

第３実施形態では、上述した第１実施形態のステップＳ３０５、Ｓ４０１及びステップＳ４０３の処理が異なっている。そこで、本実施形態におけるステップＳ３０５、Ｓ４０１及びステップＳ４０３に対応する処理を、以下に説明する。他の処理は、上述した第１実施形態と同様である。

まず、ステップＳ１１０１（ステップＳ３０５に対応）において、図１２に示すように、処理部１１の既読割合判定部１１ｃは、ユーザが問題ｎ（第１の問題）を解答する時のユーザの注視位置の時間変化と、表示部１３に表示された問題ｎの質問の表示部１３の画面上の表示領域とに基づいて、ユーザが問題ｎの質問を読んだ既読割合を求める。本実施形態では、質問の表示された文章の長さに対する、ユーザ読んだ質問の部分の割合が、既読割合として、百分率で求められる。また、処理部１１の注視位置検出部１１ｂは、第１実施形態と同様に、ユーザの注視位置を検出する。

図１２に示す例では、既読割合Ｋは、５２％である。

次に、ステップ１１０３（ステップＳ４０１に対応）において、処理部１１の表示態様変更部１１ｅは、既読割合Ｋ（５３％）を所定の定数Ｃ（２０）で割った商（Ｋ／Ｃ）の整数部分の値Ｐ（２）を取得する。そして、表示態様変更部１１ｅは、ユーザが問題ｎ（第１の問題）を解答した後に、問題（ｎ＋１）（第２の問題）を表示部１３に表示する問題の数を、値Ｐ（２）に決定する。

次に、ステップＳ１１０５において、図１３に示すように、処理部１１の問題表示部１１ａは、問題ｎを表示部１３に表示した後、問題ｎ（第１の問題）とは関係のない２つの問題（ｎ＋１）、（ｎ＋２）を表示部１３に表示する。ユーザは、問題（ｎ＋１）、（ｎ＋２）に対して、操作部１４を用いて解答を入力する。問題（ｎ＋１）、（ｎ＋２）が表示部１３に表示されてユーザにより解答されるのに要する時間が、ユーザが問題ｎ（第１の問題）を解答した後に、第２の問題が表示部１３に表示されるまでの待ち時間となる。ユーザが、この待ち時間の間に他の問題に対して解答することにより、問題ｎ（第１の問題）を解答した記憶が薄れることが期待される。

次に、ステップＳ１１０７（ステップＳ４０３に対応）において、問題表示部１１ａは、問題（ｎ＋２）の解答を入力した後に、問題ｎの表示態様を変更した第２の問題を、問題（ｎ＋３）として、表示部１３に表示する。問題（ｎ＋３）（第２の問題）は、上述した第１実施形態と同様に作成され得る。

ユーザは、問題を解答する時に、質問を注視する時間が長い程、内容を記憶する傾向がある。そこで、本実施形態では、質問の注視時間と相関関係のある既読割合に応じて、問題ｎ（第１の問題）を解答した後に第２の問題を出題するまでの待ち時間を長くして、記憶した内容の影響を低減することを図っている。

上述した本実施形態では、既読割合Ｋを所定の定数Ｃで割った商（Ｋ／Ｃ）の整数部分の値Ｐに基づいて、問題ｎ（第１の問題）と問題（ｎ＋１）（第２の問題）との間に挿入される問題の数を決定した。同様の考えにより、既読割合Ｋを所定の定数Ｃで割った商（Ｋ／Ｃ）の整数部分の値Ｐに基づいて、ユーザが問題ｎ（第１の問題）を解答した後に、第２の問題を表示部に表示するまでの待ち時間を決定してもよい。この待ち時間の間には、問題ｎ（第１の問題）とは関係のない問題を出題してもよい。

以上が、第３実施形態の説明である。

図１４〜図１６は、第４実施形態の処理を説明する。

第４実施形態では、上述した第１実施形態のステップＳ３０９、Ｓ４０１及びステップＳ４０３の処理が異なっている。そこで、本実施形態におけるステップＳ３０９、Ｓ４０１及びステップＳ４０３に対応する処理を、以下に説明する。他の処理は、上述した第１実施形態と同様である。

まず、ステップＳ１４０１（ステップＳ３０９に対応）において、処理部１１の注視位置検出部１１ｂは、ユーザにより選択された選択肢を入力する。そして、注視位置検出部１１ｂは、連続して出題された問題に対して、ユーザが複数の選択肢の内の表示部１３の画面上における同じ位置に表示される選択肢を、所定の回数繰り返して選択したか否かを判断する。所定の回数は、求められる自信レベルの精度に応じて、適宜決定され得る。所定の回数として、例えば、２回又は３回とすることができる。

注視位置検出部１１ｂは、図１５に示すように、ユーザが問題に対して解答する度に、ユーザが選択した選択肢の位置に基づいて、ユーザが４つの領域Ｐ１〜Ｐ４それぞれが選択された回数の統計を求める。図１５に示す例では、ユーザが４つの領域Ｐ１〜Ｐ４それぞれが選択された回数は、領域Ｐ１〜Ｐ４の順番で少なくなっている。

また、処理部１１の自信レベル計算部１１ｄは、ユーザの解答の正誤を判断し、判断結果と共に、ユーザが選択した選択肢及び選択肢の位置を記憶部１２に記憶する（ステップＳ１４０１（ステップＳ３０９に対応））。

図１６に示す例のように、ユーザが、問題ｎ−１において、表示部１３の画面上の領域Ｐ２の選択肢を選択し、且つ問題ｎにおいても、表示部１３の画面上の同じ領域Ｐ２の選択肢を選択したとする。この場合、注視位置検出部１１ｂは、ユーザが表示部１３の画面上における同じ位置に表示される選択肢を、２回繰り返して選択したと判断する（ステップＳ１４０１−Ｙｅｓ）。ここでは、ステップＳ１４０１の所定の回数を２回とする。

図１６に示す例では、各問題の４つの選択肢は、表示部１３の画面上の同じ４つの領域Ｐ１〜Ｐ４に表示される。問題ｎ−１における４つの選択肢と、問題ｎにおける４つの選択肢とは、表示部１３の画面上の同じ位置に表示される。この場合、「表示部の画面上における同じ位置」は、表示部１３の画面上の同じ領域を意味する。

また、本明細書では、「表示部の画面上における同じ位置」は、選択された選択肢の２つの位置が、他の選択肢との位置関係において相対的に同じ位置にあることも含む。図１６に示す例では、問題ｎ−１における４つの選択肢は、矩形の４隅の位置に配置される。ここで、問題ｎにおける４つの選択肢は、問題ｎ−１と同様に矩形の対応する４隅に配置されていれば、矩形の寸法又は縦横比率又は表示部の画面上の位置は、問題ｎ−１とは異なっていてもよい。問題ｎ−１及び問題ｎにおいて、四角形の右上の隅に配置される選択肢が選択されることは、「表示部の画面上における同じ位置」に表示される選択肢が繰り返し選択されたことを意味する。

ユーザが表示部１３の画面上における同じ位置に表示される選択肢を繰り返して選択した場合（ステップＳ１４０１−Ｙｅｓ）、処理部１１の表示態様変更部１１ｅは、ユーザが過去に最も選択しなかった選択肢の位置を取得する（ステップＳ１４０３（ステップＳ４０１に対応））。

図１５に示すように、表示態様変更部１１ｅは、ユーザが過去に選択した選択肢の位置の統計情報に基づいて、ユーザが過去に最も選択しなかった選択肢の位置として、領域Ｐ４を取得する。

次に、ステップＳ１４０５（ステップＳ４０１に対応）において、図１６に示すように、表示態様変更部１１ｅは、ユーザが今までの解答において最も選択しなかった選択肢の位置である領域Ｐ４に、正解である選択肢「エベレスト」を配置して、問題（ｎ＋１）（第２の問題）を作成する。

次に、ステップＳ１４０７（ステップＳ４０１に対応）において、図１６に示すように、表示態様変更部１１ｅは、他の選択肢を、残りの領域Ｐ１〜Ｐ３にランダムに配置して、表示態様が変更された問題（ｎ＋１）（第２の問題）を作成する。そして、問題表示部１１ａは、問題（ｎ＋１）（第２の問題）を表示部１３に表示する（ステップＳ４０３に対応）。

ユーザが問題を解答する時に、ユーザの知識及び／又は理解度が不十分なために、考えて解答することをあきらめることがある。このような場合、ユーザは、表示部１３の画面上の同じ位置の選択肢を繰り返して選択することがあり得る。そこで、本実施形態では、装置１０は、ユーザが過去に解答した時に最も選択しなかった選択肢の位置に、正解である選択肢を配置して、問題（ｎ＋１）（第２の問題）を作成することができる。

以上が、第４実施形態の説明である。

図１７は、第５実施形態の処理を説明する。

第５実施形態では、上述した第１実施形態のステップＳ４０１の処理が異なっている。そこで、本実施形態におけるステップＳ４０１に対応する処理を、以下に説明する。他の処理は、上述した第１実施形態と同様である。

本実施形態では、表示態様変更部１１ｅは、問題ｎ（第１の問題）における質問の表示態様と、問題ｎ（第１の問題）における複数の選択肢の表示態様とを入れ替えて、問題（ｎ＋１）（第２の問題）を作成する。

図１７に示す例の問題ｎ（第１の問題）では、質問は、山の写真で示されており、４つの選択肢は、山の名称を文字で示している。

問題（ｎ＋１）（第２の問題）では、質問は、山を選択すること文字で示されており、４つの選択肢は、山の写真を示している。

問題ｎ（第１の問題）の４つの選択肢それぞれの山の名称と対応する山の写真が、問題（ｎ＋１）（第２の問題）の４つの山の写真に含まれており、第２の問題の内容は、第１の問題と実質的に同じである。

このように、本実施形態では、問題ｎ（第１の問題）における質問の表示態様である写真と、問題ｎ（第１の問題）における複数の選択肢の表示態様である文字とを入れ替えて、問題（ｎ＋１）（第２の問題）が作成される。

ユーザの知識及び／又は理解度が十分であれば、第１の問題における質問の表示態様と複数の選択肢の表示態様とを入れ替えて作成された第２の問題に対しても、ユーザにより正解を選択してもらえることが期待できる。

本実施形態では、このような観点から、問題（ｎ＋１）（第２の問題）を作成して、解答に対するユーザの自信度を推定する。

以上が、第５実施形態の説明である。

図１８は、第６実施形態の処理を説明する。

第６実施形態では、上述した第１実施形態のステップＳ４０１の処理が異なっている。そこで、本実施形態におけるステップＳ４０１に対応する処理を、以下に説明する。他の処理は、上述した第１実施形態と同様である。

本実施形態では、表示態様変更部１１ｅは、問題ｎ（第１の問題）における複数の選択肢に対して、新たな選択肢を追加して、問題（ｎ＋１）（第２の問題）を作成する。

図１８に示す例の問題ｎ（第１の問題）では、表示部１３の画面上の領域Ｐ１〜Ｐ４に、４つの選択肢が表示されている。問題（ｎ＋１）（第２の問題）では、２つの選択肢が追加されて、表示部１３の画面上の領域Ｐ１〜Ｐ６に、６つの選択肢が表示される。なお、領域Ｐ１〜Ｐ４に表示される選択肢の配置を、問題ｎとは異なるように変更して、問題（ｎ＋１）を作成してもよい。例えば、第１実施形態と同様の方法を用いて、領域Ｐ１〜Ｐ４に表示される選択肢を、問題ｎとは異なるように変更してもよい。

ユーザの知識及び／又は理解度が十分であれば、第１の問題における選択肢の数が増加しても、正解を選択してもらえることが期待できる。

本実施形態では、このような観点から、選択肢が追加された問題（ｎ＋１）（第２の問題）を作成して、ユーザの解答に対する自信度を推定する。

上述した実施形態の装置１０によれば、問題ｎ（第１の問題）に対するユーザの解答に対する自信レベルが低い時でも、表示態様が変更された第２問題を出題することにより、ユーザが解答する時の自信レベルを推定できる。

本発明では、上述した実施形態の情報処理プログラム、情報処理装置及び情報処理方法は、本発明の趣旨を逸脱しない限り適宜変更が可能である。

例えば、ユーザの解答に対する自信レベル及び自信レベルの信頼度は、ユーザの注視位置以外のユーザ情報に基づいて求めてもよい。ユーザの注視位置以外のユーザ情報として、表示部１３の画面上のポインタの位置又はユーザの生体情報が挙げられる。

ユーザが第１の問題に対して解答する時のユーザの表示部１３の画面上のポインタの位置は、例えば、マウス、タッチパネル上の触知された位置に基づいて取得される。画面上のポインタの位置は、注視位置と同様に、ユーザが解答を考えている時の精神状態を示すので、自信レベル及び自信レベルの信頼度を求めるユーザ情報として使用される。

また、ユーザが第１の問題に対して解答する時のユーザの生体情報としては、例えば、心拍数、瞳径、頭部姿勢、脳波を用いることができる。心拍数は、心拍数計を用いて取得される。瞳径、視線検出デバイスが有するカメラ等を用いて撮影されたユーザの眼を含む画像に基づいて取得される。頭部姿勢は、カメラを用いて撮影されたユーザの頭部を含む画像に基づいて取得される。生体情報は、注視位置と同様に、ユーザが解答を考えている時の精神状態を示すので、自信レベル及び自信レベルの信頼度を求めるユーザ情報として使用される。

これらのユーザ情報と、表示部１３の画面上における問題又は複数の選択肢の表示位置とに基づいて、ユーザの解答に対する予め学習した識別器を用いて、ユーザの解答に対する自信レベルの信頼度を求めることができる。

識別器は、上述したユーザ情報毎に生成してもよいし、注視位置を含む複数のユーザ情報を用いて、識別器を生成してもよい。

また、上述した実施形態では、ステップＳ３１３において、ユーザの解答が不正解であり、且つ自信レベルの信頼度が所定の閾値よりも低い場合には、第２の問題の作成及び出題を行っていない。そこで、ステップＳ３１３において、ユーザの解答が不正解であり、且つ自信レベルの信頼度が所定の閾値よりも低い場合にも、第２の問題の作成及び出題を行ってもよい。この場合（第１の問題の解答が不正解であり、自信レベルが低い時）、第２の問題に対する解答が正解である場合には、（１）第１の問題に対する解答は、ユーザが誤って選択肢を選択したことが考えられる。または、（２）ユーザの知識及び／又は理解度は不十分であるが、第２の問題に対する解答が偶然に正解であったことが考えられる。そこで、第２の問題に対する解答が正解である場合には、更に、第２の問題の表示態様を、第１の問題とも異なるように変更した第３の問題を作成及び表示して、ユーザの解答を入力してもよい。３回のユーザの正解数が不正解数よりも多い時には、ユーザの知識及び／又は理解度は十分であり、解答に対するユーザの自信レベルは高いと推定される。そうではない時には、ユーザの知識及び／又は理解度は不十分であり、解答に対するユーザの自信レベルは低いと推定される。また、第２の問題に対する解答が不正解である場合には、ユーザの知識及び／又は理解度は十分であり、解答に対するユーザの自信レベルは低いと推定される。

ここで述べられた全ての例及び条件付きの言葉は、読者が、発明者によって寄与された発明及び概念を技術を深めて理解することを助けるための教育的な目的を意図する。ここで述べられた全ての例及び条件付きの言葉は、そのような具体的に述べられた例及び条件に限定されることなく解釈されるべきである。また、明細書のそのような例示の機構は、本発明の優越性及び劣等性を示すこととは関係しない。本発明の実施形態は詳細に説明されているが、その様々な変更、置き換え又は修正が本発明の精神及び範囲を逸脱しない限り行われ得ることが理解されるべきである。

以上の上述した各実施形態に関し、更に以下の付記を開示する。

（付記１）
質問と、質問に対する複数の選択肢とを有する第１の問題を表示部に表示することと、
入力された、ユーザが前記第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、ユーザの前記第１の問題に対する第１解答に対する自信レベル及び自信レベルの信頼度を求めることと、
前記自信レベルの信頼度が所定の閾値よりも低い場合に、前記第１の問題の表示態様を変更して第２の問題を作成することと、
前記第２の問題を前記表示部に表示することと、
前記第１の問題に対するユーザの前記第１解答と、入力された前記第２の問題に対するユーザの第２解答とに基づいて、前記第１の問題に対するユーザの前記自信レベルを推定することと、
をプロセッサに実行させる情報処理プログラム。

（付記２）
前記第２の問題を作成することは、
前記自信レベルの信頼度が前記所定の閾値よりも低く、且つユーザの前記第１解答が正解である場合に、前記第１の問題の表示態様を変更して前記第２の問題を作成することを含む付記１に記載の情報処理プログラム。

（付記３）
前記第２の問題を作成することは、
前記第１の問題における前記複数の選択肢の位置を変更して、前記第２の問題を作成することを含む付記１又は２に記載の情報処理プログラム。

（付記４）
前記挙動情報はユーザの注視位置の時間変化であり、
前記自信レベル及び前記自信レベルの信頼度を求めることは、
ユーザが前記第１の問題に対して解答する時のユーザの注視位置の変化と、前記表示部に表示された前記第１の問題の質問又は複数の選択肢の前記表示部の画面上の表示領域とに基づいて、ユーザが前記第１の問題を解答した時のユーザの前記第１解答に対する前記自信レベル及び前記自信レベルの信頼度を求めることを含む付記１〜３の何れか一項に記載の情報処理プログラム。

（付記５）
前記第２の問題を作成することは、
ユーザが前記第１の問題における複数の選択肢それぞれを注視した注視時間に基づいて、前記第１の問題における前記複数の選択肢の配置を変更して、前記第２の問題を作成することを含む付記４に記載の情報処理プログラム。

（付記６）
前記第２の問題を作成することは、
注視時間が最も短い選択肢の位置に、前記複数の選択肢の内の正解である選択肢を配置して、前記第２の問題を作成することを含む付記５に記載の情報処理プログラム。

（付記７）
前記第２の問題を前記表示部に表示することは、
注視時間が最も短い選択肢の注視時間に基づいて、ユーザが前記第１の問題を解答した後に前記第２の問題を前記表示部に表示するまでの待ち時間を決定することを含む付記４〜６の何れか一項に記載の情報処理プログラム。

（付記８）
前記第２の問題を前記表示部に表示することは、
ユーザが前記第１の問題を解答する時のユーザの注視位置の時間変化と、前記表示部に表示された前記第１の問題の前記質問の前記表示部の画面上の表示領域とに基づいて、ユーザが前記第１の問題の前記質問を読んだ既読割合を求め、
前記既読割合に基づいて、ユーザが前記第１の問題を解答した後に前記第２の問題を前記表示部に表示するまでの待ち時間を決定することを含む付記４〜７の何れか一項に記載の情報処理プログラム。

（付記９）
前記第２の問題を作成することは、
連続して出題された問題に対して、前記複数の選択肢の内の前記表示部における同じ位置に表示される選択肢を、ユーザが繰り返して選択することで解答が入力された場合に、
ユーザが過去に選択した選択肢の位置の情報に基づいて、前記複数の選択肢の内の正解である選択肢が配置される位置を決定して、前記第２の問題を作成することを含む付記１〜３の何れか一項に記載の情報処理プログラム。

（付記１０）
前記第２の問題を作成することは、
ユーザが過去に解答した時に最も選択しなかった選択肢の位置に、前記複数の選択肢の内の正解である選択肢を配置して、前記第２の問題を作成することを含む付記９に記載の情報処理プログラム。

（付記１１）
前記第２の問題を作成することは、
前記第１の問題における前記質問の表示態様と、前記第１の問題における前記複数の選択肢の表示態様とを入れ替えて、前記第２の問題を作成することを含む付記１〜３の何れか一項に記載の情報処理プログラム。

（付記１２）
前記第２の問題を作成することは、
前記第１の問題における前記複数の選択肢に対して、新たな選択肢を追加して、前記第２の問題を作成することを含む付記１〜３の何れか一項に記載の情報処理プログラム。

（付記１３）
表示部と、
入力部と、
質問と、質問に対する複数の選択肢とを有する第１の問題及び第２の問題を前記表示部に表示させる問題表示部と、
ユーザが前記第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、前記入力部により入力されたユーザの前記第１の問題に対する第１解答の自信レベル及び自信レベルの信頼度を求める自信レベル計算部と、
前記自信レベルの信頼度が所定の閾値よりも低い場合に、前記第１の問題の表示態様を変更して前記第２の問題を作成する表示態様変更部と、
前記第１の問題に対するユーザの前記第１解答と、前記入力部により入力されたユーザの前記第２の問題に対する第２解答とに基づいて、前記第１の問題に対するユーザの前記自信レベルを推定する自信レベル推定部と、
を有する処理部と、
を備える情報処理装置。

（付記１４）
質問と、質問に対する複数の選択肢とを有する第１の問題を表示部に表示することと、
入力された、ユーザが前記第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、ユーザの前記第１の問題に対する第１解答に対する自信レベル及び自信レベルの信頼度を求めることと、
前記自信レベルの信頼度が所定の閾値よりも低い場合に、前記第１の問題の表示態様を変更して第２の問題を作成することと、
前記第２の問題を前記表示部に表示することと、
前記第１の問題に対するユーザの前記第１解答と、入力された前記第２の問題に対するユーザの第２解答とに基づいて、前記第１の問題に対するユーザの前記自信レベルを推定することと、
をプロセッサが実行する情報処理方法。

１０ 情報処理装置
１１ 処理部
１１ａ 問題表示部
１１ｂ 注視位置検出部
１１ｃ 既読割合判定部
１１ｄ 自信レベル計算部
１１ｅ 表示態様変更部
１１ｆ 自信レベル推定部
１２ 記憶部
１２ａ プログラム
１２ｂ 問題データ
１２ｃ 解答データ
１３ 表示部
１４ 操作部（入力部）
１５ 視線検出デバイス
１６ 通信部

Claims (9)

1. 質問と、質問に対する複数の選択肢とを有する第１の問題を表示部に表示することと、
   入力された、ユーザが前記第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、ユーザの前記第１の問題に対する第１解答に対する自信レベル及び自信レベルの信頼度を求めることと、
   前記自信レベルの信頼度が所定の閾値よりも低い場合に、前記第１の問題の表示態様を変更して第２の問題を作成することと、
   前記第２の問題を前記表示部に表示することと、
   前記第１の問題に対するユーザの前記第１解答と、入力された前記第２の問題に対するユーザの第２解答とに基づいて、前記第１の問題に対するユーザの前記自信レベルを推定することと、
   をプロセッサに実行させる情報処理プログラム。
2. 前記第２の問題を作成することは、
   前記自信レベルの信頼度が前記所定の閾値よりも低く、且つユーザの前記第１解答が正解である場合に、前記第１の問題の表示態様を変更して前記第２の問題を作成することを含む請求項１に記載の情報処理プログラム。
3. 前記第２の問題を作成することは、
   前記第１の問題における前記複数の選択肢の位置を変更して、前記第２の問題を作成することを含む請求項１又は２に記載の情報処理プログラム。
4. 前記挙動情報はユーザの注視位置の時間変化であり、
   前記自信レベル及び前記自信レベルの信頼度を求めることは、
   ユーザが前記第１の問題に対して解答する時のユーザの注視位置の変化と、前記表示部に表示された前記第１の問題の質問又は複数の選択肢の前記表示部の画面上の表示領域とに基づいて、ユーザが前記第１の問題を解答した時のユーザの前記第１解答に対する前記自信レベル及び前記自信レベルの信頼度を求めることを含む請求項１〜３の何れか一項に記載の情報処理プログラム。
5. 前記第２の問題を作成することは、
   ユーザが前記第１の問題における複数の選択肢それぞれを注視した注視時間に基づいて、前記第１の問題における前記複数の選択肢の配置を変更して、前記第２の問題を作成することを含む請求項４に記載の情報処理プログラム。
6. 前記第２の問題を作成することは、
   前記表示部における同じ位置に表示される前記複数の選択肢の内の一の選択肢を、ユーザが繰り返して選択することで解答が入力された場合に、
   ユーザが過去に選択した選択肢の位置の情報に基づいて、前記複数の選択肢の内の正解である選択肢が配置される位置を決定して、前記第２の問題を作成することを含む請求項１〜３の何れか一項に記載の情報処理プログラム。
7. 前記第２の問題を作成することは、
   前記第１の問題における前記質問の表示態様と、前記第１の問題における前記複数の選択肢の表示態様とを入れ替えて、前記第２の問題を作成することを含む請求項１〜３の何れか一項に記載の情報処理プログラム。
8. 表示部と、
   入力部と、
   質問と、質問に対する複数の選択肢とを有する第１の問題及び第２の問題を前記表示部に表示させる問題表示部と、
   ユーザが前記第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、前記入力部により入力されたユーザの前記第１の問題に対する第１解答の自信レベル及び自信レベルの信頼度を求める自信レベル計算部と、
   前記自信レベルの信頼度が所定の閾値よりも低い場合に、前記第１の問題の表示態様を変更して前記第２の問題を作成する表示態様変更部と、
   前記第１の問題に対するユーザの前記第１解答と、前記入力部により入力されたユーザの前記第２の問題に対する第２解答とに基づいて、前記第１の問題に対するユーザの前記自信レベルを推定する自信レベル推定部と、
   を有する処理部と、
   を備える情報処理装置。
9. 質問と、質問に対する複数の選択肢とを有する第１の問題を表示部に表示することと、
   入力された、ユーザが前記第１の問題に解答する時のユーザの挙動を表す挙動情報に基づいて、ユーザの前記第１の問題に対する第１解答に対する自信レベル及び自信レベルの信頼度を求めることと、
   前記自信レベルの信頼度が所定の閾値よりも低い場合に、前記第１の問題の表示態様を変更して第２の問題を作成することと、
   前記第２の問題を前記表示部に表示することと、
   前記第１の問題に対するユーザの前記第１解答と、入力された前記第２の問題に対するユーザの第２解答とに基づいて、前記第１の問題に対するユーザの前記自信レベルを推定することと、
   をプロセッサが実行する情報処理方法。

Images