以下図面に基づいて本発明の実施の形態を詳述する。
(1)本発明の記憶度推定装置の概要
図1において、1は本発明の記憶度推定装置を示し、この記憶度推定装置1は、例えばユーザが漢字の習得学習に用いることができ、問題として提示された「カタカナ」表記の文字を基にユーザが解答した「漢字」の正解・不正解を判定し得るようになされている。またこれに加えて、この記憶度推定装置1は、ユーザの解答が正解した際、当該解答をユーザがどの程度記憶していたかの記憶度合いをも推定し得る点に特徴を有している。
実際上、この記憶度推定装置1は、箱型の筐体2の正面2Aに入力面3Aを備えたタッチパネル構成の操作表示部3が設けられている。記憶度推定装置1は、例えば操作表示部3の所定領域に問題を表示し得るとともに、入力ペン4の一端によって操作表示部3の入力面3Aに「漢字」などの文字を手書き入力し得る。操作表示部3は、問題となる文字や、手書き入力された線図など各種情報が表示される液晶ディスプレイ等の表示部5と、透明なタッチパネル6とが積層配置されている。
タッチパネル6は、入力ペン4の一端または他端が入力面3Aに押圧されると、図示しない2枚のフィルム基板がそれぞれ押圧位置のみ変形する可撓性を有することにより、押圧位置において対向するY座標電極およびX座標電極同士のみが接触して導通する。これによりタッチパネル6は、押圧に応じて導通した一対のY座標電極およびX座標電極を検出すれば、当該検出したY座標電極およびX座標電極同士の導通した交点位置に応じて入力ペン4による押圧位置の座標を検出し得る。
なお、上述した実施の形態の場合、いわゆる抵抗膜方式のタッチパネル6を一例として説明したが、本発明はこれに限らず、要は、入力面3A上での入力ペン4の位置や、その時の筆圧を検出できれば、例えば電磁誘導方式のタッチパネル6や、静電容量方式のタッチパネル6などその他種々の方式のタッチパネル(例えば、ウィキペディア「タッチパネル」(平成24年8月2日検索、インターネットURL:http://ja.wikipedia.org/wiki/%E3%82%BF%E3%83%83%E3%83%81%E3%83%91%E3%83%8D%E3%83%AB)記載のタッチパネルなど)を適用してもよい。
ここで、記憶度推定装置1は、手書き入力モードと、ストローク消去モードとがあり、手書き入力モード時、入力面3Aから得られた一連の座標情報から、ユーザが入力ペン4の一端によって入力面3Aに手書き入力した軌跡を認識し、手書き入力終了後にユーザが入力面3Aに手書き入力したであろう「漢字」を特定し得る。なお、このタッチパネル6は、入力ペン4が入力面3Aに接触している際に、入力ペン4からの押圧力により生じる入力面3aの変形から手書き入力時における筆圧を検出し得るようになされている。
実際上、この記憶度推定装置1は、手書き入力モード時、例えば問題として「カタカナ」表記の文字を表示部5に表示し、この際、ユーザが入力ペン4の一端で入力面3Aに「漢字」を構成するストロークが手書き入力されてゆく。ここで、ストロークとは、入力面3Aに入力ペン4の一端を接触させてから離すまでに入力面3Aに手書き入力された直線や、曲線、長線、短線、点などの1つの入力軌跡をいう。例えばユーザが入力面3Aに対し一般的な画数で漢字を手書き入力した場合には、漢字「乙」は1ストロークから構成され、漢字「慎」は13ストロークから構成されることになる。
このようなストロークは、手書き入力モードからストローク消去モードに移行することで、入力面3Aに手書き入力されているストロークをストローク単位で消去し得る。この実施の形態の場合、記憶度推定装置1は、入力ペン4の一端側を入力面3Aに接触させることで、入力面3Aにストロークを手書き入力する手書き入力モードとなり、一方、入力ペン4の向きを変え入力ペン4の他端側を入力面3Aに接触させることで、入力面3Aに手書き入力されているストロークを消去するストローク消去モードへと移行し得る。すなわち、記憶度推定装置1は、ストローク消去モード時、入力面3Aに手書き入力されたストロークを、入力ペン4の他端で指定することで、指定されたストロークだけを消去し得、仮にユーザが誤ったストロークを手書き入力してしまっても当該ストロークを消去して正しいストロークを改めて手書き入力し得るようになされている。
記憶度推定装置1は、入力面3Aに手書き入力された複数のストロークから「漢字」を特定すると、この特定した「漢字」が問題に予め対応付けられた解答と合致するか否かを判断し、その結果、当該「漢字」が「カタカナ」を漢字表記した解答と合致しているとき「正解」を表示部5に表示し、一方、合致していないとき「不正解」を表示部5に表示してユーザの解答が正解か不正解かをユーザに通知し得る。これによりユーザは、表示部5に表示された正解・不正解を基に、解答した問題を再学習する必要があるか否かを瞬時に判断できる。
かかる構成に加えて、本発明の記憶度推定装置1は、ユーザによって入力面3Aに対しストロークが手書き入力されてゆく際、特徴量取得処理を実行することにより、時系列情報を含む一連の筆跡データ(以下、これをオンライン手書きデータと呼ぶ)を取得してゆき、このオンライン手書きデータからユーザが迷いながら「漢字」を手書き入力していたか、或いは迷うことなく「漢字」を手書き入力したかを判別し、ユーザの「漢字」に対する記憶度合いを推定し得るようになされている。
なお、解答となる「漢字」をユーザが知識として獲得したときのこと(文脈)を意識的に思い出さなくては使えない記憶(顕在記憶)を、ここでは記憶度合いが低いとし、一方、文脈を意識的に思い出さなくても利用可能な記憶(潜在記憶)を、記憶度合いが高いとする。そして、このような記憶度合いが低い場合には、ユーザの記憶が曖昧で迷いながら「漢字」を手書き入力していることから、手書き入力した「漢字」が仮に正解していたときでも、次回、同じ問題が出題されたときには不正解となることも想定される。
そこで、本発明の記憶度推定装置1では、ユーザが手書き入力した「漢字」に対して、単に正解・不正解を通知するだけでなく、オンライン手書きデータを基にユーザの解答に対する記憶度合いが低いと推定すると、仮に正解していてもこの問題を再学習問題として登録し得るようになされている。なお、再学習問題として登録された問題は、例えば不正解の問題とともに再度ユーザに対して出題され、ユーザに再学習の機会を与えて学習能力の向上が図られ得るようになされている。
次に、このような記憶度推定装置1の回路構成について以下説明する。ここで、図2は記憶度推定装置1の回路構成を示すブロック図を示し、当該記憶度推定装置1の各種機能を統括的に制御するCPU(Central Processing Unit)7に対し、操作表示部3と、CPU7が実行する記憶度推定プログラム等の各種プログラムを記憶したROM(Read
Only Memory)9と、CPU7のワークエリアとして用いられるRAM(Random Access Memory)8と、問題や解答など各種情報を記憶した記憶部10と、問題の提示や、正解・不正解を判断する学習支援部11と、オンライン手書きデータから記憶度合いの推定に用いる特徴量を取得する特徴量取得部17と、特徴量取得部で取得した特徴量を基に記憶度合いを推定する推定部18とが接続されている。
CPU7は、ROM9に格納された各種プログラムを適宜読み出し、これをRAM8に展開して実行することにより各種処理を実行し、各種処理命令に応じた情報を表示部5に表示させる。例えば、CPU7は、ROM9に格納された記憶度推定プログラムを読み出し、これをRAM8に展開して実行することにより、ユーザの入力面3Aに対する手書き入力の傾向(手書き入力傾向)を総合的に判断してユーザの解答に対する記憶度合いを推定し得るようになされている。
記憶部10には、「カタカナ」表記の問題となる文字に対し、当該「カタカナ」の漢字表記が解答として対応付けられた複数の出題データがレベル別に分けられた問題集が記憶されている。問題集は、例えば小学校低学年レベルから大学生・社会人レベルまで複数段の出題レベルに分けられており、ユーザ自身が自己の学習レベルに合った問題が出題されるよう出題レベルを自由に選択し得るようになされている。
CPU7は、ユーザが漢字の習得学習を行う際、複数の出題レベルを表示部5に表示させ、ユーザに対して自己の学習レベルにあった出題レベルを選択させ得る。タッチパネル6は、入力ペン4によって所定の出題レベルが指定されると、学習開始命令を学習支援部11に送出する。学習支援部11は、受け取った学習開始命令を基に、ユーザが選択した出題レベルの出題データを記憶部10から読み出し、その後、タッチパネル6上でStartボタンが選択されると、これに応じてカウントダウンフェーズに移行して出願データの問題を表示部5に表示させる。
ここで、カウントダウンフェーズは、問題が出題される前に所定時間(例えば3秒)カウントし、ユーザに対して問題を解答する準備時間を与えるフェーズである。学習支援部11は、問題を出題する3秒前からカウントダウンの数字を表示部5に表示させ、0秒になったとき問題を表示部5に表示させ得るようになされている。このように学習支援部11は、タッチパネル6上のStartボタンが入力ペン4で指定された直後に問題が表示されることを防止し、各問題に対して公平性を図るようになされている。
学習支援部11および特徴量取得部17は、カウントダウンフェーズが終了すると、解答入力フェーズに移行し、入力面3Aにストロークが手書き入力されることにより、タッチパネル6から得られるオンライン手書きデータを待ち受ける。ここで、タッチパネル6からリアルタイムで受け取るオンライン手書きデータには、入力面3A上のX座標、Y座標、筆圧、入力ペンのモードおよび経過時間の合計5つの情報が含まれている。X座標およびY座標の座標情報はその時点での入力面3A上での入力ペン4の位置をX座標、Y座標で示す。筆圧はその時点での入力面3A上での入力ペン4の筆圧を表す。入力ペン4のモードは、手書き入力モードとストローク消去モードの2種類の状態を示す。なお、手書き入力モードは入力ペン4の一端を入力面3Aに接触させた場合で、入力面3Aにストロークを手書き入力できる。一方、ストローク消去モードは、入力ペン4の他端を入力面3Aに接触させた場合で、入力面3Aに手書き入力されたストロークを消去することができる。
特徴量取得部17は、タッチパネル6から受け取ったオンライン手書きデータから記憶度合いを推定可能な特徴量を取得し得るようになされている。この場合、記憶度合いを推定可能な特徴量としては、大きく分けて、ストロークの時間に関する特徴量と、ストロークの筆圧に関する特徴量と、ストロークの移動平均速度に関する特徴量と、ストローク消去モードに関する特徴量との4つがある。
ストロークの時間に関する特徴量には、最初のストロークを手書き入力し始めるまでの時間(以下、入力開始時間と呼ぶ)と、一のストロークと次のストロークとの間の時間を全て加算した時間(以下、ストローク間隔総和時間と呼ぶ)とがある。この場合、特徴量取得部17は、カウントダウンフェーズ終了後から最初のストロークのオンライ手書きデータをタッチパネル6から受け取るまでの経過時間を計測しており、これを入力開始時間として取得し得るようになされている。また、特徴量取得部17は、カウントダウンフェーズ終了後、最初のストローク開始から最後のストローク終了までの総時間と、入力面3Aにストロークが手書き入力されている間の時間(以下、ストローク時間と呼ぶ)とをオンライ手書きデータから取得し、総時間から全ストローク時間を減算することでストローク間隔総和時間を算出し得るようになされている。
ストロークの筆圧に関する特徴量には、ストロークの最高筆圧と、ストロークの最低筆圧と、ストロークの平均筆圧と、ストロークの筆圧の標準偏差とがある。特徴量取得部は、オンライン手書きデータからストローク毎に筆圧を抽出してゆき、全ストロークの中で最も高い筆圧を最高筆圧とし、全ストロークの中で最も低い筆圧を最低筆圧として取得する。また、特徴量取得部は、これら全ストロークから得られた筆圧から平均筆圧を算出するとともに、全ストロークから得られた筆圧から筆圧標準偏差を算出し、平均筆圧と筆圧標準偏差とを取得し得るようになされている。
ストロークの移動平均速度に関する特徴量には、ストロークの最高移動平均速度と、ストロークの最低移動平均速度と、ストロークの平均移動平均速度と、ストロークの移動平均速度の標準偏差とがある。ここで、ストロークの移動平均速度とは、ストローク中、所定間隔でプロットされてゆく標本座標点のうち、連続する5つの標本座標点(X座標、Y座標)から求めた平均速度である。この場合、特徴量取得部17は、ストローク中、所定間隔で標本座標点をプロットしてゆき、連続する5つの標本座標点をオンライン手書きデータから抽出し、この5つの標本座標点の総和距離を算出する。続けて、特徴量取得部17は、この5つの標本座標点のうち、1つ目の標本座標点を得た時間と、5つ目の標本座標点を得た時間との時間差をオンライン手書きデータから算出し、総和距離を時間差で除算してストロークの移動平均速度を算出する。
因みに、移動平均速度を求める連続する標本座標点の数は、標本座標点の数を変えながら移動平均速度を求め、ストローク中の標本座標点の数や、算出された移動平均速度の値を検討した結果、5つが最適であるとしたが、これに限らず、移動平均速度を求める連続する標本座標点の数を5つ未満の4つ、3つなどとしてもよく、また5つを超えた6つ7つなどにしてもよい。
但し、特徴量取得部17は、この移動平均速度を求める標本座標点の数を5つと設定した場合でも、1ストローク中の標本座標点が5つに満たないとき、2つ〜4つまでのいずれかで移動平均速度を求め得る。
ここで、オンライン手書きデータに含まれた複数のストロークのうち、あるストロークiにN個の標本座標点(Xi1,Yi1),(Xi2,Yi2),…,(XiN,YiN)を持つとき、特徴量取得部17は、N個の標本座標点から5つの標本座標点を抽出してゆき、下記の数1を基にこれら5つの標本座標点毎に、移動平均速度(数1中、MovAveVikと表記)を算出してゆく。
なお、iは、あるストロークを示す記号であり、Tikはストロークiのk番目(1≦k≦N)の標本座標点が得られたときのタイムスタンプを示す。
また、特徴量取得部17は、N個の標本座標点から上記の数1より複数の移動平均速度を求めると、下記の数2を基に、これら移動平均速度から平均移動平均速度(数2中、AveViと表記)を算出し得る。なお、MはストロークiのN個の標本座標点から求めた移動平均速度の数である。
また、特徴量取得部17は、ストローク毎に求めた全ての移動平均速度のうち、移動平均速度が最も速い最高移動平均速度と、移動平均速度が最も遅い最低移動平均速度とを特定するとともに、全ての移動平均速度から移動平均速度の標準偏差を算出し得るようになされている。
ストローク消去モードに関する特徴量には、ユーザが1つの問題を解答し終えるまでに消去したストロークの全本数(以下、ストローク消去本数と呼ぶ)と、1つの問題を解答し終えるまでにストローク消去モードに遷移した全回数(以下、消去モード遷移回数と呼ぶ)と、1つの問題を解答し終えるまでにストローク消去モードに遷移していた全時間(以下、消去モード遷移時間と呼ぶ)とがある。
ここで、特徴量取得部17は、オンライン手書きデータに含まれる入力ペン4によるモード状態と、座標情報とから消去されたストローク本数を特定し得る。すなわち入力ペン4のモード状態からストローク消去モードに移行していると判断している際に得られた1ストロークの座標情報は、ストロークを1つ消去していることを示しており、特徴量取得部17によって、1つの問題が解答し終えるまでに消去されたストロークの本数を算出し、これをストローク消去本数とし得る。
また、特徴量取得部17は、オンライン手書きデータにおける入力ペン4のモード状態から消去モード遷移回数を算出するとともに、同じく入力ペン4のモード状態から消去モード遷移回数を算出し得るようになされている。なお、特徴量取得部17は、これら記憶度合いを推定可能な特徴量を全て取得してもよいが、これら特徴量の中からユーザに依存せず記憶度合いの推定に高い有意差を持つ特徴量だけを選出して取得してもよい。
この実施の形態の場合、特徴量取得部17は、ユーザに依存せず記憶度合いの推定に高い有意性を持つ特徴量として、例えばストロークの時間に関する特徴量のうち、入力開始時間およびストローク間隔総和時間と、ストローク消去モードに関する特徴量のうち、ストローク消去本数、消去モード遷移回数および消去モード遷移時間の合計5つの特徴量を、記憶度合いを推定する指標に用いており、以下、これら5つの特徴量を中心に説明する。
特徴量取得部17は、オンライン手書きデータから取得した入力開始時間、ストローク間隔総和時間、ストローク消去本数、消去モード遷移回数および消去モード遷移時間をそれぞれ特徴量として推定部18に送出し得る。この実施の形態の場合、推定部18は、例えばサポートベクターマシン(Support Vector Machine:以下、単にSVMと呼ぶ)からなり、ユーザが正解した問題について、特徴量取得部17で取得した入力開始時間、ストローク間隔総和時間、ストローク消去本数、消去モード遷移回数および消去モード遷移時間の5つの特徴量を基に、ユーザが解答した問題を記憶度合いが高い「完全に記憶している」問題と、記憶度合いが低い「迷いながら正解した」問題とに分類し得る。
ここで、推定部18となるSVMは、オープンソースのフリーソフトで有志により管理された統計解析ソフトウェア「R」(インターネットURL:http://www.r-project.org/にて入手可能)を用いて構築されたものであり、多次元の特徴量空間で線形分離を行え得るものである。本発明では、上述した入力開始時間、ストローク間隔総和時間、ストローク消去本数、消去モード遷移回数および消去モード遷移時間の5つの特徴量について、記憶度合いが高く「完全に記憶している」問題を解答しているときと、記憶度合いが低く「迷いながら正解した」問題を解答しているときの一般ユーザの傾向を予め調べておき、統計解析ソフトウェア「R」によって、これら一般ユーザの5つの特徴量から5次元の特徴量空間にて線形分離(記憶度合いが高い問題か、或いは記憶度合いが低い問題かの分類)可能な多次元線形分離データを生成した。
ここで、一般ユーザの統計的な手書き入力傾向について検討すると、「迷いながら正解した」ユーザは、表示部5に表示された問題(「カナカナ」表記の文字)を認識してから、当該問題に対応する解答(「漢字」)を思い出すまでに時間がかかる傾向があり、この場合、入力面3Aに解答を手書き入力し始めるまでの時間が長くなる。従って、「迷いながら正解した」ユーザの入力開始時間は、一般的に長いものとなる。
また、「迷いながら正解した」ユーザは、手書き入力したい「漢字」の部首(文字を構成する要素)を思い出しながら手書き入力してゆく傾向があり、この場合、一のストロークを手書き入力した後に次のストロークを手書き入力するまでの間に時間がかかる。従って、「迷いながら正解した」ユーザのストローク間隔総和時間は、一般的に長いものとなる。
さらに、「迷いながら正解した」ユーザは、手書き入力したい「漢字」の部首の記憶が曖昧であることから誤ったストロークを手書き入力してしまう傾向があり、この場合、誤ったストロークを消去するなどの修正行為が増えるため、ストローク消去本数や消去モード遷移回数が増え、また消去モード遷移時間も長くなる。従って、「迷いながら正解した」ユーザのストローク消去本数および消去モード遷移回数は一般的に多くなり、消去モード遷移時間は長いものなる。
推定部18であるSVMは、一般ユーザの「完全に記憶している」ときと、「迷いながら正解した」ときのこれら入力開始時間、ストローク間隔総和時間、ストローク消去本数、消去モード遷移回数および消去モード遷移時間の違いを基に、ユーザの記憶度合いを線形分離可能な多次元線形分離データを生成している。なお、この実施の形態の場合、線形分離に用いる多次元線形分離データは、保持手段としての推定部18または記憶部10に予め保持されている。
実際上、推定部18は、学習支援部11にてユーザの解答が正解していると判断されると、特徴量取得部17から受け取った入力開始時間、ストローク間隔総和時間、ストローク消去本数、消去モード遷移回数および消去モード遷移時間の5つの特徴量を、多次元線形分離データに入力して線形分離処理を実行し、ユーザが解答した問題を「完全に記憶している」問題または「迷いながら正解した」問題のいずれかに分類し得る。次いで、推定部18は、この分類した結果を推定結果として学習支援部11に送出し得る。
登録手段としての学習支援部11は、ユーザが解答した問題が「迷いながら正解した」問題であるとの推定結果を推定部18から受け取ると、当該問題を再学習問題として登録し、これを記憶部10に記憶させ得る。記憶度推定装置1では、このように「迷いながら正解した」問題を再学習問題として登録することで、再学習問題を解析することでユーザの不得意な問題傾向を把握したり、或いは、再学習問題だけ出題してユーザに復習させるなど、ユーザの学習能力向上に役立てることができる。一方、学習支援部11は、ユーザが解答した問題が「完全に記憶している」問題であるとの推定結果を推定部18から受け取ると、当該問題を再学習不要問題として登録し、これを記憶部10に記憶させ得る。
次に、上述した記憶度推定処理手順について、図3に示すフローチャートを用いて簡単に説明する。図3は、学習支援部11、特徴量取得部17および推定部18によって実行される記憶度推定処理手順を示し、タッチパネル6からの操作命令により、ユーザによって自己の学習レベルにあった出題レベルが選択されると、記憶度推定処理手順を開始ステップRT1から開始し、次のステップSP1へ移る。ステップSP1において、学習支援部11は、選択された出題レベル内にある複数の出題データのうち任意に選択した出題データを記憶部10から読み出した後、カウントダウンフェーズに移行して所定秒経過後(この場合3秒経過後)に出題データの問題を表示部5に表示させ、次のステップSP2に移る。
ステップSP2において特徴量取得部17は、タッチパネル6からオンライン手書きデータを受け取ったか否かを判断する。ここで、否定結果が得られると、このことは特徴量取得部17がタッチパネル6からオンライン手書きデータを受け取っていないこと、すなわち、カウントダウンフェーズ終了後、入力ペン4の一端によって入力面3Aに1ストロークが入力されていないことを表しており、このとき特徴量取得部17はオンライン手書きデータをタッチパネル6から受け取るまで待ち受ける。
これに対してステップSP2にて肯定結果が得られると、このことは特徴量取得部17がタッチパネル6からオンライン手書きデータを受け取ったこと、すなわち、カウントダウンフェーズ終了後に入力ペン4の一端によって入力面3Aに1ストロークが入力されたことを表しており、このとき特徴量取得部17は、次にステップSP3へ移る。
ステップSP3において、特徴量取得部17は、オンライン手書きデータを基に、ストロークの入力開始時間を特徴量として取得するとともに、当該オンライン手書きデータから記憶度合いの推定に用いるその他の特徴量を取得し、次のステップSP4へ移り、タッチパネル6のAnswerボタンが選択されたか否かを判断する。ここで否定結果が得られると、このことは、ユーザが手書き入力を終了しておらず、次のストロークを入力する意思があることを示しており、このとき特徴量取得部17は再びステップSP3に移り、オンライン手書きデータから特徴量の取得を継続する。
この際、特徴量取得部17は、ステップSP3において、入力開始時間の他、タッチパネル6から受け取ったオンライン手書きデータを基に、ストローク間の時間を計測するとともに、ストロークを消去した本数と、ストローク消去モードに遷移した回数と、ストローク消去モードへの遷移時間とを計測し得るようになされている。
一方、ステップSP4において肯定結果が得られると、このことはユーザが手書き入力を終了して解答となる文字(この場合「漢字」)を入力し終えたことを表しており、このとき特徴量取得部17は次のステップSP5へ移る。ステップSP5において、特徴量取得部17は、ステップSP3にてオンライン手書きデータから取得したストローク間の時間や、ストロークを消去した本数、ストローク消去モードに遷移した回数、ストローク消去モードへ遷移していた各時間から、手書き入力開始から手書き入力終了までのストローク間隔総和時間、ストローク消去本数、消去モード遷移回数および消去モード遷移時間を特徴量として算出し、これを推定部18へ送出し、次のステップSP6へ移る。なお、このステップSP1〜ステップSP5までの処理手順が特徴量取得処理手順となる。
ステップSP6において、学習支援部11は、タッチパネル6から受け取ったオンライン手書きデータを基に、タッチパネル6に入力された複数のストロークから該当する文字(「漢字」)を特定し、特定した文字が問題に予め対応付けられた解答と合致するか否かを判断する。ステップSP6において否定結果が得られると、このことはユーザがタッチパネル6に手書き入力した文字が問題に対応付けられた解答と合致しないこと、すなわちユーザの解答が不正解であったことを表しており、このとき学習支援部11は次のステップSP7に移る。ステップSP7において学習支援部11は、ユーザの解答が不正解であった旨を表示部5に表示して不正解通知を行い、ユーザが解答した問題を再学習問題として登録し、ステップSP11に移り、記憶度推定処理手順を終了する。
一方、ステップSP6で肯定結果が得られると、このことはユーザがタッチパネル6に手書き入力した文字が問題に対応付けられた解答と合致していること、すなわちユーザの解答が正解であったことを表しており、このとき学習支援部11は次のステップSP8へ移る。ステップSP8において、推定部18は、特徴量取得部17から受け取った上記5つの特徴量を多次元線形分離データに入力し、ユーザが「迷いながら正解した」問題であるか否かを判断する。
ステップSP8において否定結果が得られると、このことはユーザが「迷いながら正解した」問題ではないこと、すなわちユーザの記憶度合いが高く「完全に記憶した」問題であり、再学習が不要であることを表しており、このとき学習支援部11は次のステップSP9に移る。ステップSP9において学習支援部11は、ユーザの解答が正解であった旨を表示部5に表示して正解通知を行い、ユーザが解答した問題を再学習不要問題として登録してステップSP11に移り記憶度推定処理手順を終了する。
一方、ステップSP8において肯定結果が得られると、このことはユーザが「迷いながら正解した」問題であること、すなわちユーザの記憶度合いが低い問題であり、再学習が必要であることを表しており、このとき学習支援部11は次のステップSP10に移る。ステップSP10において学習支援部11は、ユーザの解答が正解であった旨を表示部5に表示して正解通知を行い、ユーザが解答した問題を再学習問題として登録してステップSP11に移り記憶度推定処理手順を終了する。
(2)動作及び効果
以上の構成において、記憶度推定装置1では、表示部5により表示された問題を基にユーザが入力面3Aに文字を手書き入力する際の手書き入力傾向を表す5つの特徴量を特徴量取得部17で取得し、手書き入力した文字が問題に予め対応付けられた解答と合致するか否かを判断する際、ユーザの解答に対する記憶度合いを、特徴量取得部17により取得される5つの特徴量に基づいて推定するようにした。これにより、記憶度推定装置1では、ユーザが解答に対する記憶度合いを自ら判断しなくても、入力面3Aに対し単に解答を手書き入力するだけで、問題に対するユーザの記憶度合いを推定し得、ユーザに負担をかけることなく、問題に対するユーザの客観的な記憶度合いを推定し得る。
ところで、従来の学習装置では、ユーザの解答が正解か不正解かだけを判断していたことから、ユーザが曖昧な記憶であるにもかかわらず、たまたま正解してしまうと、次回、提示されたとき不正解となる可能性が非常に高い問題であっても、「記憶している問題」であるとして処理されてしまう。特に、学習装置において、正解した問題を排除してゆき不正解問題だけを効率的に解答させる問題提示方法を採用している場合には、偶然に正解してしまった問題であっても、記憶しているとして処理されてしまい、当該問題が再び提示されることなく再学習の機会が与えられないことになる。
これに対して、本発明の記憶度推定装置1では、従来の学習装置にて正解した問題について今まで単に「記憶している」とだけ処理されていた事象に関し、さらに正解に至るまでの手書き入力傾向も踏まえて「迷いながら正解した」問題であるか否かを判断するようにしたことで、例えば曖昧な記憶で正確してしまった問題を再出題させるなど、再学習の機会をユーザに与えることもでき、ユーザの学習能力を向上させることができる。
また、この記憶度推定装置1では、ユーザ自身が自己判断によって記憶度合いの判定を行うのではなく、手書き入力時におけるユーザの無意識の行動パターンを基に客観的に「迷いながら正解した」問題であることが判別できるので、ユーザに対して負担をかけることなく、より正確な記憶度合いの推定を行うことができる。
因みに、記憶度推定装置1では、個々のユーザ毎に多次元線形分離データを生成して、使用に応じて学習させていってもよく、この場合、先ずユーザに対して記憶したい事象に関し、記憶度合いの高い「完全に記憶している」ときの手書き入力傾向と、記憶度合いの低い「迷いながら正解した」ときの手書き入力傾向とを示し、多次元の特徴量空間にて線形分離可能なSVM関数から多次元線形分離データを生成する。記憶度推定装置1では、この多次元線形分離データを用いたSVMを利用することで、ユーザに合わせて一段と正確な記憶度合いの推定を行うことができる。
(3)検証試験
次に上述した記憶度推定装置1を作製し、この記憶度推定装置1について検証試験を行った。記憶度推定装置1を構築するために、ユーザの記憶度合いに関連するオンライン手書きデータの特徴量を調べる実験を行った。ユーザが、記憶度合いが低いと判断した場合と、記憶度合いが高いと判断した場合の両者のオンライン手書きデータに、有意な差が表れるかどうかを検証した。
オンライン手書きデータの収集に用いるタブレット端末として、ワコム社の「Cintiq 12WX」を用意し、これを記憶度推定装置1として使用した。検証試験に用いるアプリケーションは、Microsoft社の「Windows Presentation Foundation」で開発を行った。また、検証試験は、大学生6名にテストを依頼した。この検証試験においては、「漢字」の書き取り問題を出題し、被験者(ユーザ)に解答をタブレット端末上に書かせた。その後、出題した「漢字」に対する記憶度合いを4つの選択肢の中から選択させた。このときの被験者が選択した記憶度合いとタブレット端末上に書いたオンライン手書きデータの特徴量との関係性を調査した。
具体的には、図4に示すフローチャートに従って行った。図4に示すように、タブレット端末は、開始ステップRT2から開始し、次のステップSP21へ移り、カウントダウンフェーズに移行する。カウントダウンフェーズでは、問題が表示される前に3秒間のカウントダウンを行い、被験者に問題を解答する準備を与えた。タブレット端末は、3秒が経過しカウントダウンフェーズが終了すると、ステップSP22に移り、解答入力フェーズに移行するようにした。解答入力フェーズでは、解答を手書き入力し終えたら、画面内のNextボタンがユーザによって押されることで、次の記憶度仮決定フェーズへ遷移するようにした。なお、問題に対する解答が全く分からない場合には、何も記入せずにNextボタンを押して、次の記憶度仮決定フェーズへ遷移するよう被験者に求めた。また、この解答入力フェーズでは、解答を入力するための時間制限を設定せず、ストローク消去モードへの遷移によってストロークを消去可能とし、何度も書き直すことができるようにした。
タブレット端末は、解答入力フェーズが終了すると、ステップSP23に移り、記憶度仮決定フェーズに移行し、正解となる解答が表示部5に表示される前に被験者自身で解答に対する記憶度合いを選択決定させた。この検証試験では、解答が表示された状態で被験者自身に記憶度合いを選択・決定させると、被験者自身の記憶度合いを高く評価してしまう傾向があることから、これを防止するために、解答が表示される前に一度被験者自身で記憶度合いを考えさせる記憶度仮決定フェーズを設けた。なお、この記憶度仮決定フェーズでは、「完全に記憶している」(正解)と、「迷いながら正解した」(正解)と、「間違えてしまった」(不正解)の3種の中から、現時点で被験者が確信している内容のものを、ラジオボタンによって選択させた。
続いて、この検証試験では、Answerボタンが押されることで、次のステップSP24に移り記憶度選択フェーズに移行し、問題と解答とが表示部5に表示された状態で被験者に対し再び記憶度合いを選択・決定させた。この場合も、「完全に記憶している」(正解)と、「迷いながら正解した」(正解)と、「間違えてしまった」(不正解)との3種の中から、現時点で被験者が確信している内容のものを、ラジオボタンによって選択させた。この記憶度選択フェーズでは、被験者の解答の正解・不正解を確認しつつ、先の記憶度仮決定フェーズの結果も踏まえて、最終的に被験者自身で合致する記憶度合いを一つ選択させ、Nextボタンを押させることで決定させ、次の問題を解かせるようにした。
ここで、図5は、タブレット端末の入力面3Aに表示された解答画面21に一例を示すものである。この解答画面21では、「Start」ボタン22を入力ペン4(図1)で選択することでカウントダウンフェーズが開始され、カウントダウンフェーズ終了後に問題表示領域24に、例えば問題「形が変形しないようにシンチョウに運ぶ」が表示されて被験者に対してカタカナの「シンチョウ」の漢字を手書き入力領域26に手書き入力させるようにした。また、解答画面21中、25は正解となる解答が表示される解答表示領域であり、27は「Answer」ボタン、28は「Next」ボタン、31a,31b,31cはそれぞれ記憶度合いを選択可能なラジオボタンを示す。
この検証試験では、財団法人日本漢字能力検定協会が実施する漢字検定の書き取り問題を出題した。また、出題レベルとしては、被験者である大学生が迷いながらも正解できる難易度であると想定した漢字が出題されている漢字検定準2級の漢字書き取り問題を選択した。漢字検定準2級の過去問題から計50問を被験者に解答させた。
タブレット端末で得られるオンライン手書きデータの中で、この検証試験に用いたものとしては、X座標、Y座標、筆圧、入力ペン4の入力状態、入力ペン4のモード、経過時間の6つを用いた。X座標、Y座標、筆圧はその時点での各々入力ペン4の場所、筆圧を表す。筆圧は1024段階で取得可能であり、0から1までの小数値で表される。入力ペン4の入力状態は、入力ペン4がタブレット端末の入力面3Aに接しているか否かを指す。
なお、この検証試験でタブレット端末として用いたワコム社の「Cintiq
12WX」では、入力ペン4が入力面3Aに触れていない状態でも、ある程度入力ペン4が入力面3Aに近ければ、各種パラメータ(X座標、Y座標など)が取得可能となる。但し、このときの筆圧は0となる。入力ペン4のモードは、手書き入力モードと、ストローク消去モードの2種類の状態を指す。手書き入力モードは入力ペン4の一端で入力面3Aに入力した場合であり、入力面3Aに線を書くことができる。ストローク消去モードは、入力ペン4の他端側で入力面3Aに入力した場合であり、入力面3Aに書かれているストロークを消すことができる。経過時間は問題が表示されてから経過した時間を意味する。
因みに、記憶度選択フェーズにて「間違えてしまった」(不正解)を選択したオンライン手書きデータについては、本検証試験での解析の対象とはしなかった。これは、本検証試験の目的が、正解した問題に関して記憶度合いを推定し、正解した問題のうち記憶度合いが低いと判断される問題を選出する点にあるからである。
これらオンライン手書きデータから計算によって求められる特徴量は無数に存在するが、この検証試験では、図6に示す特徴量(オンライン手書き特徴量とも呼ぶ)を設定した。なお、図6中、「ストロークの時間間隔」とは上述したストローク間隔総和時間であり、最初のストローク開始から最後のストロークの終了までの総時間から、ストローク時間の総和時間を引いたものである。また、ストロークの移動平均速度とは、ストローク中の連続する5つの標本座標点に関する平均速度を求めたものであり、上述した数1を基に求めた。但し、ストローク中の標本座標点が5つに満たない場合は、2つから4つまでのいずれかで移動平均速度を求めた。なお、ストロークの平均移動平均速度は上述した数2より求めた。
「完全に記憶している」と、「迷いながら正解した」との間のオンライン手書きデータの各特徴量の相違を確認するために、各特徴量においてマンホイットニーのU検定を行ったところ、図6に示すような結果が得られた。なお、各個人によって筆跡が異なることから、被験者毎に調査を行った。図6では、有意水準0.05を下回った値を四角で囲った。
因みに、特徴量の定義上、あるいはデバイスの都合上、不適切な特徴量がいくつかあった。例えば、「ストロークの最低筆圧」は、たいていの場合において0に近い非常に小さい値となってしまい、特徴量として意味を成さない値となってしまったため除外した。また、「ストロークの最高移動平均速度」は、デバイスの都合上、全く同様のタイムスタンプにも関わらず、座標が複数点存在する場合があり、この場合、移動平均速度が無限大となってしまう場合があったため除外した。
図6の結果と、実際に得られたデータより、被験者に依存せず高い有意差を持つ特徴量を選出した。選出した特徴量としては、書き始めるまでの時間(入力開始時間)と、ストロークの時間間隔(ストローク間隔総和時間)と、ストローク消去本数と、消去モード遷移回数と、消去モード遷移時間の5つとした。これら5つの特徴量を基に、オンライン手書きデータを「完全に記憶している」と、「迷いながら正解した」とに分類を行った。本検証試験では、推定部18として2値分類問題の解決法であるSVMを使用した。SVMには、「完全に記憶している」ときと、「迷いながら正解した」ときの上記被験者から得られた5つの各特徴量を特徴ベクトルとして、学習器を作製した。ここでは、作成した学習器を使って、同被験者のオンライン手書きデータから、「完全に記憶している」問題であったか、或いは「迷いながら正解した」問題であったかのいずれかを判別する。
SVMに入力する特徴量には、オンライン手書きデータを基に算出した上記5つの各特徴量の値を用いた。検証試験に用いたSVMによる判定の精度を確認するために、上記被験者が記憶度選択フェーズにて「完全に記憶している」を選択したときのオンライン手書きデータと、「迷いながら正解した」を選択したときのオンライン手書きデータとを対象に、上述した5つの特徴量を使って交差検定を行った。SVMと交差検定とには、統計解析ソフトウェア「R」(「The R Project for Statistical Computing」インターネットURL:http://www.r-project.org/にて入手可能)を用いた。
この検証試験では、統計解析ソフトウェア「R」の「e1071パッケージ」(「CRAN-Package e1071」インターネットURL:http://cran.r-project.org/web/packages/e1071/index.htmlにて入手可能)に含まれるSVM関数を用いた。ここでは、各被験者から得られたデータのうち、被験者が記憶度選択フェーズにて「完全に記憶している」を選択した問題と、「迷いながら正解した」を選択した問題とを交差検定対象データとし、この交差検定対象データから任意の問題を1問選択し、残りの交差検定対象データで学習を行った。
学習後、先ほど選択した任意の問題1問に関して、「完全に記憶している」問題であるのか、或いは「迷いながら正解した」問題であるのか推測した。この一連の操作を、各交差検定対象データ全てが任意の問題として1回ずつ選択されるまで(すなわち、交差検定対象データの数だけ)繰り返し、任意の問題1問に関して、「完全に記憶している」問題であるのか、或いは「迷いながら正解した」問題であるのか推測してゆき、精度と再現率とを測定した。
ここで精度とは、図7に示すように、SVMが「迷いながら正解した」と推定し、かつ被験者が記憶度選択フェーズで「迷いながら正解した」を選択した問題数Cを、SVMが「迷いながら正解した」と推定した問題数Aで除算して得られるものである。また、再現率とは、上記問題数Cを、被験者が記憶度選択フェーズで「迷いながら正解した」を選択した問題数Bで除算して得られるものである。これら精度と再現率を被験者毎に求めた結果を図8に示す。なお、図8では、6人の被験者A,B,C,D,E,Fのそれぞれの精度および再現率を%で表記している。
因みに、このとき使用したSVMのパラメータであるGAMMAとcostについては、被験者毎にグリッドサーチによって算出した。グリッドサーチとは、各パラメータを少しずつ増減させ、網羅的に最適なパラメータを探索する手法である。この検証試験ではGAMMA値とcost値とを増減させ、交差検定の精度が最も高くなる値を採用した。
図8から、被験者Eを除き、他の被験者A,B,C,D,Fの「迷いながら正解した」についての平均的な精度が約85[%]、再現率が約70[%]で予測することができた。なお、SVMは、被験者Eの特徴量から全問題について「完全に記憶している」と予測した。これは特徴量が5つに対して「迷いながら正解した」問題数が4つしか存在しなかったことから、うまく学習が行えなかったために精度が低くなったと考えられる。
(4)他の実施の形態
なお、本発明は、本実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能であり、例えば、図2に示す回路構成とは異なる回路構成を有した記憶度推定装置を適用してもよい。また、上述した実施の形態においては、記憶度合いを推定する特徴量として、入力開始時間、ストローク間隔総和時間、ストローク消去本数、消去モード遷移回数および消去モード遷移時間の5つの特徴量を適用した場合について述べたが、本発明はこれに限らず、図6に示した他の特徴量を任意に選択して適用したり、或いは、図6に示す全ての特徴量を適用して記憶度合いを推定するようにしてもよい。
ここで、「迷いながら正解した」ユーザは、解答を手書き入力する際に自己の解答に自信がないため、手書き入力する際の筆圧が比較的弱くなる傾向がある。従って、「迷いながら正解した」ユーザのストロークの最高筆圧や平均筆圧などは一般的に弱くなる。
また、「迷いながら正解した」ユーザは、例えば考えながら手書き入力してゆくことから、1つのストロークを手書き入力する際に時間がかかる傾向がある。従って、「迷いながら正解した」ユーザのストロークの最低移動平均速度や、平均移動平均速度などは一般的に遅くなる。
この場合、これらストロークの最高筆圧や平均筆圧、最低移動平均速度、平均移動平均速度などについて、「迷いながら正解した」際の統計的な特徴的変化を基に、多次元の特徴量空間で線形分離を行える多次元線形分離データをSVMに保持させるようにしてもよい。記憶度推定装置1では、特徴量取得部17にてこれらストロークの最高筆圧や平均筆圧、最低移動平均速度、平均移動平均速度などを特徴量としてオンライン手書きデータから取得し、推定部18であるSVMにて多次元線形分離データに当該特徴量を入力し、ユーザの解答した問題が「完全に記憶している」問題であるか、或いは「迷いながら正解した」問題であるかのいずれかに線形分離し得る。
また、上述した実施の形態においては、問題となる文字を「カタカナ」で提示し、ユーザに当該「カタカナ」の漢字表記を解答として手書き入力させる記憶度推定装置1に適用した場合について述べたが、本発明はこれに限らず、問題となる文字を「カタカナ」または「ひらがな」で提示し、ユーザに当該問題の英語翻訳文字や、中国語翻訳文字、韓国語翻訳文字、フランス語翻訳文字などその他種々の外国語の文字を解答として手書き入力させる記憶度推定装置や、その逆に問題となる文字を外国語で提示し、ユーザに当該外国語の日本語翻訳の文字を解答として手書き入力させる記憶度推定装置に適用してもよく、要はユーザの記憶度合いを推定する問題を提示する記憶度推定装置であれば種々の記憶度推定装置に適用してもよい。
さらに、上述した実施の形態においては、問題を提示する提示手段として、問題を表示し、ユーザに視覚的に問題を認識させる表示部5を適用するようにした場合について述べたが、本発明はこれに限らず、問題を読み上げた音声を放音し、ユーザに聴覚的に問題を認識させる放音手段などその他種々の手法でユーザに問題を提示する提示手段を適用してもよい。
また、上述した実施の形態においては、推定部として、多次元の特徴量空間にて、ユーザの解答した問題が「完全に記憶している」問題であるか、或いは「迷いながら正解した」問題であるかのいずれかに線形分離可能なSVMを適用した場合について述べたが、本発明はこれに限らず、例えば入力開始時間や、ストローク間隔総和時間などの各特徴量に閾値を設けた線形分離データを保持しておき、この閾値を基準にユーザが「完全に記憶している」問題であるか、或いは「迷いながら正解した」問題であるかのいずれかに線形分離する推定部を適用してもよく、要は、解答に対する記憶度合いが低いときの一般ユーザの手書き入力傾向を示した線形分離データを基準に、特徴量取得手段17により取得される特徴量を用いて、ユーザの解答に対する記憶度合いを推定できれば種々の推定部を適用してもよい。
また、上述した実施の形態においては、記憶度合いの高い「完全に記憶している」問題であるか、或いは記憶度合いの低い「迷いながら正解した」問題であるかのいずれか一方に分類するようにした場合について述べたが、本発明はこれに限らず、記憶度合いが高い問題から記憶度合いが低い問題まで複数段階に分類するようにしてもよい。