JP4631014B2 - 電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラム - Google Patents

Description

本発明は、電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラムに関し、さらに詳しくは、教育分野において興味を持った、疲れたなどの学習者の心理状態をモニタし、それぞれの心理状態に対応した電子教材を提供することにより電子教材による学習を支援する電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラムに関する。

インターネットのＷＥＢ（world wide web）に電子教材を登録して学習者が都合の良いときに都合の良い時間で学ぶＷＢＴ(web-based training)システムが企業人、社会人教育、高等教育などでも導入されつつある。例えば、先進学習基盤協議会（ALIC）編、eラーニング白書2003/2004年度版（発行所：株式会社オーム社）の「第1章 概要」では、eラーニングの代表例として、ＷＢＴ(web-based training)システムが示されている。

図１は、これを参考にしたＷＢＴ(web-based training)システムの構成例を示している。１００は教材蓄積サーバもしくは教材ＤＢ。１０１はインストラクタ端末ＰＣ、１０２はインストラクタ、１０３はサーバと端末を結ぶインターネット、１０７は学習者１０４用の端末ＰＣ、１０８は学習者１０５用の端末ＰＣ、１０９は学習者１０６用の端末ＰＣである。インターネット１０３は通信回線を介して、教材ＤＢ１００、インストラクタ端末ＰＣ１０１、学習者１０４用端末ＰＣ１０７、学習者１０５用端末ＰＣ１０８、学習者１０６用端末ＰＣ１０９を結んでいる。例えば、学習者１０４は、端末ＰＣ１０７を使って教材ＤＢ１００に蓄積された教材にアクセス可能とされ、これによって学習を進める。

教材には、通常の対面講義に対応する「解説」部分と演習に対応する「チェック問題」があり、学習者１０４−１０６はそれぞれの都合のよい時間と場所で学習を進めることが出来る。インストラクタ１０２は、インストラクタ端末ＰＣ１０１を使って、各学習者の学習進捗状況を把握出来る。また、学習者１０４−１０６は、それぞれの端末１０７、１０８、１０９を使って不明な点をインストラクタ１０２に質問出来る。このような構成で、学習者１０４−１０６は、教材ＤＢ１００に蓄積された教材を自己のペースで学習をすすめることが出来る。

これを簡素化したシステムとしてＣＡＩ（computer aided instruction system）がある。図１の学習者用端末ＰＣ１０７、１０８、１０９には、ＣＤ−ＲＯＭやネットワークダウンロードその他の手段によりおのおの独立に教材が、蓄積されており、各学習者は、教材の「解説」部分を読み、演習に対応する「チェック問題」を解いて理解度を確認しつつ学習を進める。

このような装置では、分散した場所の学習者は、それぞれの学習者用端末ＰＣに蓄積された教材を自己のペースで学習をすすめることが出来るが、以下のような難点がある。
（１）対面講義では、学習者の表情からその理解の具合を推定できるが、ＷＢＴやＣＡＩでは教材進捗の具合、「チェック問題」への回答具合からしか学習者の理解状況が判断できない。
（２）電子教材の進捗具合からしか学習者の状況を得ることができない。対面講義では、興味を持ったとか、疲れたといった状況が学習者の表情から容易に判断出来る。
（３）一定量の電子教材を読みこなした後でしか学習者の状況を把握することが困難である、電子教材に取り組んでいる学習者の状況をリアルタイムで得ることが難しい。
（４）学習者の心理状態に対応した学習スピード、内容の変更を行うことは難しい。

この点、学習者端末に向かった学習者の学習状態に応じて学習を進めることが可能な学習システムが提案されている（特開２００３−３３７５２８）。
当該学習システムの骨子は、概略以下の通りである。すなわち、
（１）カメラを備えた学習者端末と、学習用のコンテンツを格納したサーバで構成されており、学習者端末のカメラで撮影された目線を含む学習者画像をサーバに送信し、サーバはその画像データから学習者の状態を判断して対応するコンテンツを学習者端末に送信、画面に表示する。
（２）学習者端末の画面のクリックデータをサーバに送信し、サーバは、受信した画像と合わせて学習者の状態判断に用いる。

特開２００３−３３７５２８号公報

しかしながら、学習者によってはポーカーフェースの人、感情をすぐに身体表現として出す人など様々な性格の人がいる。しかも、学習者の身長、座高等の身体的特徴はそれぞれ異なり、学習者の表情や動作の部位を特定せずにリアルタイムでその学習状態を判断するのは容易なことではない。また、赤外線検出器を目の近くに装着する眼球運動測定を用いて学習者の目線の位置を行う場合でもメガネ着用者の目線(視点)の動きを検出するには大きな困難がともなう。したがって、カメラの撮影映像から目線(視点)変化をリアルタイムで検出し学習者の心理状態を推定するのはより一層大きな困難が伴う。

さらに、電子教材として提供されるコンテンツには、静止画像や動画、仮想空間及びそれらを組み合わせた各種の表現形式のものがある。学習形態も電子教材の多様化に対応して、日常生活の文脈から独立した伝統的な知識獲得型学習に加え、体験型学習、問題解決型学習、問題発見型学習など多様な学習形態の有効性が指摘されている。
従って、従来の学習システムは、均一の学習者群に対して、静止画で構成された短い学習単位と獲得知識確認設問を組み合わせた等限定された教材を用いた知識獲得型学習には適用可能であるが、全ての表現形態の電子教材とそれを活用した多様な学習形態に対しては学習者の状態判断を習者端末の画面のクリックデータから判断することは必ずしも学習者の心理状態を正しく推定できるとは限らないと考えられる。

また、オンデマンド方式の電子学習の場合にあっては、教師をはじめ他の学習者とのやり取りは不要で学習者が自分の都合のよい時間にアクセスしてサーバに蓄積された学習資料を利用して学習することが大きな特徴でありそれが利点となっている。
しかし、学習中に疑問が生じた場合やどうしても理解出来ない事項があった場合には教師や他の学習者に質問することが極めて難しい。この場合、疑問点を記録しておき後で教師や他の学習者に質問することも可能だが、オンデマンド方式では質問を受け付ける教師自体が存在しないこともあるし、その場で解決できなければ現在の学習が前へ進まなくなり、途中でやめてしまうケースも考えられる。

そこで、本発明は、かかる従来の問題点を解決し、静止画像や動画、仮想空間およびそれらを組み合わせたさまざま電子教材を活用した知識獲得型学習、体験型学習、問題解決型学習、問題発見型学習など多様な学習形態における学習者の電子教材の進捗具合以外に興味を持った、疲れた等の学習者の心理・精神状態をモニタして心理状態の推定を行い、それによって現在の心理状態に対応した電子教材を提供することにより電子教材による学習を支援する電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラムを提供することを目的とする。
これにより、企業教育、社会教育、学校教育において、学習者は、それぞれの学習者用端末ＰＣ自体もしくはネットワークでつながれたＤＢに蓄積された教材を自己のペースで学習をすすめることが出来るいわゆるe-Learningシステムにおいて、多人数の学習者が、対面講義と同様に、学習者の表情、態度からその理解の具合を推定し、学習者の心理状態をリアルタイムで把握し、それに対応した学習スピード、内容の変更を行うことができＩＴを活用して教育効果を高め、効率化することが可能となる。

また、本発明は、オンデマンド方式による電子学習であっても、学習者が疑問や理解出来ない事項が生じたときに他の学習者に質問をしてその回答をえることが可能な電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラムを提供することを目的とする。
これにより、疑問点が生じた時点ですぐにそれを解消することができるので学習意欲が失われず継続的に学習を進めることができ極めて効率的に学習を進めることが可能となる。

上記課題を解決するために請求項１に記載の本発明は、学習者の心理状態をモニタし、それぞれの心理状態に対応した電子教材を提供することにより電子教材による学習を支援する電子教材学習支援装置を利用した電子教材学習支援システムにおいて、複数の電子教材学習支援装置及び教材サーバがネットワークを介して互いに通信可能に構成され、電子教材学習支援装置は、ビデオカメラを介して入力された学習者の顔が映し出された最初の映像フレーム（第一フレーム）の画像データに対して目元、額、口などの着目すべき部分を着目領域として特定すると共に当該着目領域の中心位置を確定して当該着目領域の二次元画像データを収集し、その後に撮影された映像フレーム（第二フレーム）の画像データにおいて、最初の映像フレーム（第一フレーム）における着目領域とその後に撮影された映像フレーム（第二フレーム）上の同じサイズの小領域の映像情報との差分が最小となる領域を算出して新しい着目領域として特定すると共に当該新しい着目領域の中心位置を確定して当該新しい着目領域の二次元画像データを収集し、さらに、その後に撮影された映像フレーム（第三フレーム）の画像データにおいて新しい着目領域の近傍を探索することによって類似度が高い領域を算出して特定し、順次これを繰り返すことにより着目領域の相対的な移動量を学習者の表情の変化としてリアルタイムで検出しその移動量を移動量データとして移動量データ記録部に記録保存する映像解析部を備えた表情映像処理手段と、学習者の身体に身体情報センサを装着もしくは近接させることにより得られる心拍数や皮膚温度等の身体情報の変化をリアルタイムで検出して身体情報データとして身体情報データ記録部に記録する身体情報記録手段と、表情映像処理手段及び身体情報記録手段によって得られた移動量データ及び身体情報データと予めアセスメントを行うことによって所定の心理状態における移動量データ及び身体情報データを当該心理状態に対応させて格納した心理状態推定ＤＢ内の移動量データ及び身体情報データとを比較することにより当該学習者の心理状態を推定する心理状態推定手段と、心理状態推定手段により推定された心理状態に基づいて当該学習者の心理状態にふさわしい教材ファイルを学習者に提供する学習ナビゲーション手段と、一の電子教材学習支援装置がネットワークに接続した際に割り当てられた又は予め特定されている固有のＩＰアドレス情報と一の電子教材学習支援装置を特定するためのＩＤ情報をセットにして教材サーバへ自動的に送出する接続情報送出部を備えた通信処理手段とを備え、教材サーバは、ネットワークに接続可能な通信手段と、予め複数の電子教材学習支援装置のＩＤ情報を記録したＩＤ情報ＤＢを備えると共に、一の電子教材学習支援装置から送られてきたＩＤ情報をＩＤ情報ＤＢから検索し、ＩＤ番号が検索された場合には当該ＩＤ情報と一緒に送られてきたＩＰアドレス情報を他の電子教材学習支援装置に送信することにより相互に通信を可能とさせる通信状態確立部と、予め様々な心理状態に合わせて複数のレベルに分類して格納された教材、チェック問題及び模範解答を格納した教材ＤＢと、チェック問題ごとに正答者を検索可能に構築されると共に、正答者である学習者が他人に教えるチュータとなることを了承しているか否か、さらにはチュータの能力の高さに応じたランクを予め付与したランク情報を格納したチュータＤＢと、各電子教材学習支援装置との間で教材及びチェック問題を供給すると共に学習者から電子教材支援装置を介して送られてくるチュータ要求を受け付ける電子教材学習支援制御手段と、電子教材学習支援装置を介して学習者から送られてくるどの問題についてチュータが要求されているかというチュータ要求に基づいてチュータＤＢから当該問題について既にクリアしている者であってチュータ了承を行っている者をチュータとして選択し、通信状態確立部によって選択されたチュータのうち当該教材サーバに接続中のチュータの電子教材学習支援装置を特定すると共に、チュータ要求を行った電子教材学習支援装置との間での接続を制御するチュータ検索制御手段と、チュータ要求により接続された全ての接続について接続時間を計測し、これを学習者毎に接続ＤＢに記録して管理する接続時間計測部と、接続ＤＢに記録された全接続又は所定の数の接続についての時間を定期的に計算して統計値とし、当該統計値を接続ＤＢに記録する接続時間統計計算部とを備え、電子教材学習支援装置に設けられた通信処理手段によってネットワークを介して教材サーバの教材ＤＢにアクセスすることにより学習ナビゲーション手段が教材ＤＢの中から心理状態推定手段により推定された心理状態に基づいて当該学習者の心理状態にふさわしい教材ファイルを検索抽出し、それを出力することにより当該電子教材学習支援装置に教材ファイルが提供されるように構成されると共に、文字データ、音声データ、又は画像データを送受信することにより一の電子教材学習支援装置と他の電子教材学習支援装置の相互間で学習者同士での質疑応答を可能としたことを特徴とする。

本発明に係る、電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラムによれば、学習者の表情のみならず心理・精神状態をもモニタして心理状態の推定を行い、それによって現在の心理状態に対応した電子教材を提供することとしたので、学習者は、それぞれの学習者用端末ＰＣ自体もしくはネットワークでつながれたＤＢに蓄積された教材を自己のペースで学習をすすめることが出来るいわゆるe-Learningシステムにおいて、多人数の学習者が、対面講義と同様に、学習者の表情、態度からその理解の具合を推定し、学習者の心理状態をリアルタイムで把握し、それに対応した学習スピード、内容の変更を行うことができＩＴを活用して教育効果を高めることができるという効果がある。

また、本発明によれば、オンデマンド方式による電子学習であっても、学習者が疑問や理解出来ない事項が生じたときに他の学習者に質問をしてその回答を得ることができるため、疑問点が生じた時点ですぐにそれを解消することができるので学習意欲が失われず継続的に学習を進めることができ極めて効率的に学習を進めることが可能となるという効果がある。

以下、本発明に係る電子教材学習支援装置と電子教材学習支援システム及び電子教材学習支援方法並びに電子学習支援プログラムについて、図示された好ましい一実施形態に基づいて、さらに詳しく説明する。図２は本発明に係る電子教材学習支援装置の一実施形態におけるブロック図である。
図２に示された電子教材学習支援装置１０は、電子教材学習支援装置１０内に蓄積された教材を用いて自己のペースで学習を進めることが出来るいわゆるe-Learningシステムに適用した例である。

図示された電子教材学習支援装置１０は、概略として、ビデオカメラ６によって撮影された学習者４の顔の画像データを解析して学習者４の表情の変化をリアルタイムで検出する表情映像処理手段１１と、身体情報センサ８ａ、８ｂにより得られる学習者４の心身体情報の変化をリアルタイムで検出する身体情報記録手段１３と、データ対比部１５ａ及び心理状態推定ＤＢ１５ｂを有する学習者４の心理状態を推定する心理状態推定手段１５と、そして、検索抽出部１７ａ及び教材ＤＢ１７ｂを有する学習者４の現在の心理状態にふさわしい教材を提供する学習ナビゲーション手段１７とを有して構成されている。

ビデオカメラ６は、学習者４の主として顔の映像を電子教材学習支援装置１０に取り込むためのものである。汎用のデジタルビデオカメラやＣＣＤカメラを用いることができる。カメラの画素数が多いほど詳細な映像データを取得することができ解析の精度が向上するのでなるべく画素数の多いカメラを用いることが好ましい。本実施形態においてはビデオカメラ６によって撮影された学習者４の映像はコード８ｅを介して電子教材学習支援装置１０に入力されるようになっている。もちろん、画像データの電子教材学習支援装置１０の入力はワイヤレスにより行うことも可能である。

電子教材学習支援装置１０は、汎用のパーソナルコンピュータ（いわゆる「パソコン」）に所定の動作を行わせるプログラムをインストールすることにより実現されている。電子教材学習支援装置１０として用いるパソコンは、少なくとも、プログラムや電子データを記録保存するメモリ、ハードディスクやその他ＣＤ−ＲＯＭ、ＤＶＤ等の外部記憶媒体を含む記憶装置と、所定のデータや命令を入力して操作を行うためのキーボードやマウス等のポインティングデバイスを含む入力装置と、所定のプログラムに従って演算処理を行う中央処理装置（ＣＰＵ）と、中央処理装置により処理の結果を画面に出力して映像表示する映像情報出力装置１９ａ及び音声として出力するスピーカやヘッドフォーン等の音声情報出力装置１９ｂを備えて構成されている。また、外部電子機器類とのデータを送受信するためのＩ／Ｏインターフェイス、モデムやネットワークと接続するための通信装置を有していることが好ましい。電子教材学習支援装置１０を構成するパソコンは上記した一般的な装備を備えていればノート型やデスクトップ型、あるいは携帯情報端末（ＰＤＡ）等の形状を問うものではない。尚、上記した汎用パソコンの内部構成については周知であるため図示は省略する。

上記のハード構成を利用して実現される電子教材学習支援装置１０の表情映像処理手段１１は、図５に示すように、映像解析部１１ａがビデオカメラ６を介して入力された学習者４の顔の画像データを解析して所定の範囲を着目領域Ｄとして特定し（図３参照）、その後に撮影された画像データにおける着目領域Ｄ２との相対的な移動量を学習者４の表情の変化としてリアルタイムで検出し（図４参照）、その移動量を移動量データとして図示しない記憶装置に形成された移動量データ記録部１１ｂに記録保存する。すなわち、ビデオカメラ６によって撮影された学習者４の顔の画像データを用いて二次元画像解析による身体部位移動の算出を行いその結果を記録して表示する。尚、これは後で述べる本発明の第二の実施形態においても用いられている。

はじめに、図３を用いて着目した特定の身体部位の時間的移動量を算出する手順を説明する。図３（ａ）から（ｃ）はビデオカメラ６で撮影された学習者４の顔の各映像フレームを示している。デジタル映像情報は、異なる時間の静止画を順次取り込んだものである。そこで、まず、映像解析部１１ａは学習者４の顔が映し出されたｔ＝ｔ_１の最初の映像フレーム、すなわち、第一フレーム（図３（ａ））の二次元画像データに対して着目すべき部分をマーキングし、二次元空間（ｘ，ｙ）における着目領域Ｄ１の中心位置（ｘ_１，ｙ_１）を確定する。そして、着目領域Ｄ１の二次元画像データ（白黒パターン）ｔ(ｘ，ｙ) (但し、ｘ、ｙは、着目領域Ｄ１内に属する)を収集する。

次に、映像解析部１１ａはｔ＝ｔ_２の映像フレーム、すなわち第二フレーム（図３（ｂ））の画像データを取り込み、前フレーム（第１フレーム）の着目領域Ｄ１の近傍を探索し、類似度が高い領域を算出して特定する。具体的には、以下の手順の計算を行うことにより特定される。
すなわち、前フレーム（第一フレーム）の着目領域Ｄ１の画像パターンと現映像フレーム（第二フレーム）上の同じサイズの小領域の映像情報の差分を(積分)計算してその特定を行う。

（１）
ここで、ｔ（ｘ，ｙ）は前フレームの着目領域のデータ、ｆ（ｘ，ｙ）は現フレームのデータ、iはｘ軸上の着目領域移動量、jはｙ軸上の着目領域移動量、Ｄは着目領域の範囲である（図４参照）。

図４は、初期映像フレームで指定された着目領域の中心点（ｘ_１，ｙ_１）と第二映像フレームの着目領域の中心点（ｘ_２，ｙ_２）の関係を示している。計算する小領域の移動量（ｉ，ｊ）を変えて、前フレームの着目領域Ｄ１との差分が最小になる場所を見つける。すなわち、（１）式のｄの値が最小になる移動量（ｉ，ｊ）を求める。そして、差分が最小となる領域を新しい着目領域Ｄ２とする。前フレームの着目領域の近傍を探索した結果、映像解析部１１ａはｘ軸上をｉ、ｙ軸上をｊ移動した所に類似度が高い領域があると算定した。
次に、着目領域Ｄ２の新しい中心位置（ｘ_Ｍ，ｙ_Ｍ）（Ｍ＞１）を移動量から確定し、また同時に、新しい着目領域Ｄ２の二次元画像データ（白黒パターン）ｆ（ｘ，ｙ）を確定する。その結果を用いて、映像解析部１１ａは映像フレームデータに新しい着目領域をマークし、移動量データを記録し表示する。

そして、映像解析部１１ａはｔ＝ｔ_３の新しい映像フレーム、すなわち、第三フレーム（図３（ｃ））の映像フレームである画像データを取り込み、着目領域Ｄ２の移動量を上記の手順で求める。以下、ｔ＝ｔ_４の第四フレーム、ｔ＝ｔ_５の第五フレームと順次その処理を行い、着目領域Ｄの移動量を算出する。
表情映像処理手段１１はこのような画像処理を行うことにより目元、額、口などの着目領域の部位の変化を検出する。
次に、身体情報記録手段１３は、図６に示すように、身体情報解析部１３ａにより学習者４の身体に身体情報センサ８ａ、８ｂを装着もしくは近接させることにより得られる心拍数や皮膚温度等の身体情報の変化をリアルタイムで検出して身体情報データとして身体情報データ記録部１３ｂに記録する。本実施形態では、身体情報センサ８ａは腕に装着することにより微弱電流を検出して心拍数を測定するセンサであり、身体情報センサ８ｂは腕に装着することによりその抵抗値を検出して皮膚温度を測定するセンサである。そして、身体情報センサ８ａ、８ｂにより測定された身体情報はそれぞれコード８ｃ、８ｄによって電子教材学習支援装置１０の身体情報記録手段１３に送られ、その解析が行われる。

身体情報センサ８ａ、８ｂで測定出来る情報は、学習者４に装着する部位とセンサ素子で異なり、種々のセンサを用いればいろいろな身体情報を取得することが可能である。身体情報センサとして、さらに、呼吸数計を用いれば呼吸数を身体情報データとして得ることができ、同様に血圧計を用いれば血圧を、脳波計を用いれば脳波を、皮膚活動電位計を用いれば皮膚活動電位を身体情報データとして得てそれを身体情報記録手段１３に入力して解析させることができる。
次に、心理状態推定手段１５は、図７に示すように、所定の心理状態における移動量データ及び身体情報データを当該心理状態に対応させて格納した心理状態推定ＤＢ１５ｂと、そして、学習者４の現実の移動量データ及び身体情報データと心理状態推定ＤＢ１５ｂに予め記録された所定の心理状態における移動量データ及び身体情報データを比較して審理状態を推定する心理状態対比部１５ａと、を備えている。

電子教材で学習している学習者４が「面白い」と感じている心理状態の表情変化は、例えば、上唇と下唇がしっかりとくっついているか、または、口の端が後方に引かれているかといった表情変化により推定できる。また、電子教材で学習している学習者４が「困った」と感じている心理状態の表情変化は、例えば、両眉が中央により眉間に皺ができるか、または、下唇が持ち上げられ、噛み締めているという表情変化が見られるかといった表情変化により推定できる。従って、予めそのような表情を変化させたときの移動量データをその心理状態と関連させてＤＢ化して心理状態推定ＤＢ１５ｂに保存しておき、学習者４を撮影して得られた映像データを基に解析された移動量データと心理状態推定ＤＢ１５ｂに保存された移動量データとの対比を行うことにより学習者４の心理状態を推定することが可能となる。尚、好ましくは、学習者４の目元、額、口などの顔部位の変化と学習者の心理状態の関係は学習者４の属性、教材内容に依存する部分があるので、対象とする学習者４と教材ごとに事前のアセスメントを行って目元、額、口などの着目領域の変化量と心理状態を関連づけて心理状態推定ＤＢ１５ｂに保存しておき、それと対比するように構成すればより確実に心理状態を推定することができる。

一方、図８に示すグラフは、実際の学習者４の皮膚温度及び心拍数と心理状態の変化の関係を示した図である。図８における２分時点と４分時点では学習者４が実際に「面白い」と感じている心理状態であり、相対的に心拍数が下がっている。一方、７分時点では学習者４が実際に「困った」と感じている心理状態であり相対的に心拍数が上がっている。同様に、１３分時点では「面白い」と感じ、１４分時点では「困った」と感じ、１５分時点では「納得した」と感じている心理状態である。一方、学習者４は全体を通しては「面白かった」と感じており、このときの皮膚温度は時間を経過するにつれて上昇している。従って、予めそのような身体情報データの変化をそのときの心理状態と関連させて心理状態推定ＤＢ１５ｂに保存しておき、学習者４の実際に測定した身体情報データと対比することにより学習者４の心理状態を推定することができる。また、移動量データの場合と同様に、学習者４の身体情報データと心理状態の関係は対象とする学習者４と教材ごとに事前のアセスメントを行って心理状態推定ＤＢ１５ｂに保存しておくことが好ましい。これにより、さらに確実に心理状態を推定することが可能となるのは移動量データの場合と同様である。

そして、表情変化と身体情報変化の双方を勘案すれば刻々と変化する学習者４の心理状態をリアルタイムでしかも確実に推定することが可能となる。顔の表情に変化を生じさせないようなタイプの人間でも、心の中では何らかの変化が生じており、その変化が身体的な変化として現れる。本発明では、このような身体的な変化をも考慮して、適切な教材を提供することができる。
次に、学習ナビゲーション手段１７は、図９に示すように、予め様々な心理状態に合わせて作成された教材ファイルを格納した教材ＤＢ１７ｂの中から心理状態推定手段１５により推定した心理状態にふさわしい教材ファイルを検索抽出部１７ａが選定し、それを映像情報出力装置１９ａや音声情報出力装置１９ｂへ送って出力することにより学習者４に教材を提供して学習を行わせる。すなわち、教材ＤＢ１７ｂには、「疲れている」、「困っている」、「興味を感じている」といった様々な学習者の心理状態に応じた教材ファイルが蓄積されている。

教材ＤＢ１７ｂには、例えば図１０に示すような教材ファイルを電子データとして準備しておくことができる。すなわち、誰でも最初に学習すべき基礎教材であるスタート教材２７を用意し、次に学ぶべき第１章の教材２７ａはスタート教材２７での学習者４の心理状態に応じて易しく学習させる「易教材」、普通のレベルで学習させる「中教材」、高いレベルに対応して学習させる「難教材」を準備する。そして、次に学ぶべき第２章の教材２７ｂも同様に準備する。同様にして第ｎ章までの教材２７ｎを準備しておき、学習者４の心理状態に応じて適宜教材を特定して提供していく。これにより、学習者４の心理状態をリアルタイムで把握し、それに対応した学習スピード、内容の変更を行うことができる。
次に、本発明に係る電子教材学習支援方法について上記の電子教材学習支援装置１０の動作と共に説明する。図１１は電子教材学習支援方法の一実施形態におけるフローチャートである。尚、各ステップにおける詳細な動作については上記の電子教材学習支援装置１０において説明したのでここでは省略する。

はじめに、ビデオカメラ６により学習者４の顔を撮影し、その映像フレームを元に、ビデオカメラ６で撮影した学習者４の顔を画像データとして入力する（ステップ１１）。
入力された画像データを表情映像処理手段１１によって解析して目元、額、口といった所定の範囲を着目領域Ｄ１として特定する。そして、その後に撮影された映像フレームの画像データにおける着目領域Ｄ２の相対的な移動量を学習者４の表情の変化としてリアルタイムで検出してその移動量を移動量データとして記録して目元、額、口といった着目した顔部位の変化をリアルタイムで検出する。（ステップ１２）。
一方、前記ステップＳ１１、Ｓ１２と並行して、学習者４の身体に身体情報センサ８ａ、８ｂを装着もしくは近接させることにより得られる心拍数や皮膚温度等の身体情報の変化をリアルタイムで検出して身体情報データとして記録する（ステップ１３）。
そして、表情映像処理ステップ１２及び身体情報記録ステップ１３によって得られた移動量データ及び身体情報データと、予め所定の心理状態における移動量データ及び身体情報データを当該心理状態に対応させて格納した心理状態推定ＤＢ１５ｂ内の移動量データ及び身体情報データと、を比較して学習者４の心理状態を推定する（ステップ１４）。

予め様々な心理状態に合わせて作成された教材ファイルを格納した教材ＤＢ１７ｂの中から心理状態推定手段１５により推定された「疲れている」、「困っている」、「興味を感じている」といった学習者４の心理状態に基づいて現在の学習者４の心理状態にふさわしい教材ファイルを検索抽出し、それを映像情報出力装置１９ａや音声情報出力装置１９ｂに出力することにより学習者４に教材を提供して学習させる（ステップ１５）。
このようにして本実施形態における電子教材学習支援装置１０及び電子教材学習支援方法によれば、学習者４の学習過程で、その時点々々での心理状態に最適な教材が提示され、効果的な学習を進めることが出来る。

次に、本発明に係る電子教材学習支援装置の第二の実施形態について説明する。
図１２は、第二の実施形態における電子教材学習支援装置１０のブロック図である。この実施形態では、教材ＤＢ２３がネットワーク３に接続された教材サーバ２０に別途格納されて構成されており、電子教材学習支援装置１０はネットワーク３を通じて教材サーバ２０の教材ＤＢ２３にアクセスして学習者４に提供するようになされたe-Learningシステムである。尚、第一の実施形態と同じ構成については同一の符号を付し、詳しい説明は省略する。
はじめに電子教材学習支援装置１０は、表情映像処理手段１１、身体情報記録手段１３、心理状態推定手段１５、学習ナビゲーション手段１７を有している他、さらに、教材サーバ２０に格納された教材ＤＢ２３と教材ファイルのやりとりを制御する通信処理手段１８を備えて構成されている。通信処理手段１８は、モデム、ルータ、ネットワークカード等のハードウェア構成により電話回線、光通信網等の通信回線を介してネットワーク３に接続可能とされている。ここで、ネットワーク３としては、インターネットが利用されるが、これに限るものではなく、例えば社内ＬＡＮやＷＡＮ等のネットワークであってもよい。

一方、教材ＤＢ２３はネットワーク３に接続可能とする通信手段２５を備えた教材サーバ２０に格納されている。尚、教材サーバ２０もいわゆる一般的なコンピュータから構成されている。
かかる構成により、ビデオカメラ６によって学習者４の顔を撮影した画像データを基に（Ｓ１１）、撮影された学習者４の目元、額、口といった着目した顔部位の変化を表情映像処理手段１１がリアルタイムで検出すると共に（Ｓ１２）、学習者４の心拍数、皮膚温度といった身体情報を身体情報記録手段１３がリアルタイムで検出する（Ｓ１３）。そして、心理状態推定手段１５が移動量データ及び身体情報データから「疲れている」、「困っている」、「興味を感じている」といった学習者４の様々な心理状態を推定する（Ｓ１５）。

そして、電子教材学習支援装置１０の学習ナビゲーション手段１７は、通信手段２５を介してネットワーク３に接続して教材サーバ２０にアクセスし、教材サーバ２０に格納された教材ＤＢ２３から「疲れている」、「困っている」、「興味を感じている」といった学習者４の様々な心理状態に対応して作成された教材ファイルを選別、獲得して学習者４に提供する。
このようにして第二の実施形態では、教材ＤＢ２３が電子教材学習支援装置１０の内部ではなく教材サーバ２０に保存されているのでメモリや記憶容量を圧迫することはない。また、教材サーバ２０の教材ファイルを適宜変更することにより教材ＤＢを多数の学習者４で共有することができるので経済的なe-Learningシステムが実現できる。

次に、本発明に係る電子教材学習支援装置を利用した電子教材学習支援システムの応用例について図面を参照しつつ説明する。図１３は本発明に係る電子教材学習支援装置１０を利用した電子教材学習支援システムの応用例におけるブロック図である。
本応用例は、オンデマンド方式の一つの課題である「問題解決型学習において、解答がどうしても得られない場合に、学習者は行き詰まり先に進めない状態に陥ってしまう」、という課題を解決しようとするものである。例えば、数学や物理の問題では、教科書の説明を読んでも、あるいは、模範解答を見せてもらったとしても、何故、そのように考えるのかが分からないと解答の意味が理解できない事がまま存在する。本応用例は、同じ学習者の中でそれを既にクリアしている者の人的資源を有効利用し学習効果の飛躍的向上を図るものである。
図示された電子教材学習支援システム１１は、複数の電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…がネットワーク３に接続されていると共に、教材サーバ２０もネットワーク３に接続されて構成されている。

各電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…の構成は第二の実施形態で説明した構成を備えているのに加えて、通信手段２５はさらに他の電子教材学習支援装置と相互に通信可能とする機能を備えて構成されている。具体的には、図１４に示すように、通信手段２５は（電子教材学習支援装置１０Ａを例に取ると）、電子教材学習支援装置１０Ａがネットワーク３に接続した際に割り当てられた又は予め特定されている固有のＩＰアドレス情報１８ａと電子教材学習支援装置１０Ａを特定するためのＩＤ情報１８ｂをセットにして教材サーバ２０へ自動的に送出する接続情報送出部１８ｃを備えている。

一方、教材サーバ２０には、教材ＤＢ２３及び通信手段２５の他、予め各電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…のＩＤ情報を記録したＩＤ情報ＤＢ２４を備えていると共に、電子教材学習支援装置１０Ａから送られてきたＩＤ情報をＩＤ情報ＤＢ２４から検索し、そのＩＤ番号が検索された場合には当該ＩＤ情報と一緒に送られてきたＩＰアドレス情報を他の電子教材学習支援装置１０Ｂ、１０Ｃに送信することにより相互に通信を可能とさせる通信状態確立部２５ａを備えている。もし、他の電子教材学習支援装置１０Ｂ、１０Ｃがネットワーク３に接続していない場合には電子教材学習支援装置１０ＡのＩＰアドレス情報を送るべき先がないので電子教材学習支援装置１０Ａにはその旨、例えば、「チュータ先が未接続です。」又は「チュータが存在しません。」等の情報を返信するようになっている。前者は教える能力のある学習者は居るのであるが、その人の電子教材学習支援装置１０がネットワーク３に接続していない時である。後者は、問題が難し過ぎてそれをクリアした他の学習者が存在しないときである。
これにより、電子教材学習支援装置１０Ａでは他の電子教材学習支援装置１０Ｂ、１０Ｃ…がネットワーク３に接続しているか否かがわかる。尚、既にネットワーク３への接続が確立されている電子教材学習支援装置１０Ｂ、１０Ｃ…のＩＰアドレス情報は接続が行われた電子教材学習支援装置１０Ａに送信されることはいうまでもない。

接続情報送出部１８ｃは、また、所定の時間間隔をおいてＩＤ情報とＩＰアドレス情報を有する接続情報を教材サーバ２０に送信するようになっている。これにより、教材サーバ２０の接続情報通信状態確立部２５ａでは一定間隔ごとに送られてくる接続情報が受信されなくなったときには電子教材学習支援装置１０Ａはネットワーク３の接続が解除されていると判断してその情報を他の電子教材学習支援装置１０Ｂ、１０Ｃに送る機能も備えている。

本応用例は、例えば、次のようにシステムを運用することができる。
〔チュータの選定〕
図１０においては、教材について、「易教材」、普通のレベルで学習させる「中教材」、高いレベルに対応して学習させる「難教材」と分けて教材ＤＢ２３に蓄積するようになっていた。本応用例では、チェック問題も同様に複数のレベルに分類して、レベル毎に蓄積する。
例えば、学習者４Ａが、ある科目について、スタート教材２７からスタートして、教材の第1章の勉強を始めたものとする。教材ＤＢ２３としては、先ず、第1章の「中教材」を電子教材学習支援装置１０Ａに提供して、学習者４Ａにその章の理解に必要な基礎知識を教授する。しかる後、中難易度のチェック問題を電子教材学習支援装置１０Ａに提供して、学習者４Ａの理解度を測定し、所定の結果を収めた場合には次の章に進む。他方、所定の結果を収められなかった場合には、「中教材」又は「易教材」を電子教材学習支援装置１０Ａに再度提供して学習者４Ａの理解を確実なものとした後再度チェック問題にチャレンジさせる。「易教材」では、その章、その教材及び／又はその科目に必要な基礎知識を納めた各種の他の教材を駆使して、学習者４Ａの理解を確実なものとすることが好ましい。

前述したように、数学や物理の問題では、教科書上、すなわち、文字で書かれたものを読んだだけでは、基礎からやり直しても又は教科書がどんなに分かり易く説明されているとしても、理解できない学習者には理解できないという現実が存在する。そのような場合、従来は、教師の方の人的・時間的制約等からこれらの者は無視され、次の章に進んでしまっていた。その結果、学習者の側は、進めば進む程その科目の中身が分からなくなり、最終的には、その科目に対して拒否反応を示すこととなっていた。
本応用例では、教材サーバ２０に各学習者４Ａ、４Ｂ、４Ｃ…の学習履歴を蓄積しておき、ある問題についてその問題を既にクリアした学習者とその問題が解けない学習者とをネットワーク３を介してマッチングさせることを特徴とする。

以下、前述の仕組みを実行するシステムの詳細構造について説明する。教材サーバ２０のチュータＤＢ３２（図１６参照）には、チェック問題毎に、その問題について正答した者が誰であるかを検索できるようにデータを蓄積する。かかる検索は、例えば、図１７に示されているように、二次元マトリクスからなるチュータ検索表を作成し、チェック問題をスキーマとし学習者をレコードとしたリレーショナルＤＢを作成することにより簡単に達成することができる。なお、表中、「０」は未正答、「１」は正答済みを表している。また、スキーム「チュータ了承」欄は、その学習者が他人に教えることを了承しているか否かを示すもので、予め本人の意思を確かめることによって入力しておく。これにより、他人に教えることは好きでない、勉強の邪魔をされたくないといった学習者の意思も尊重することができる。この欄と所定の問題欄におけるデータを「ＡＮＤ」検索することによって、他人に教えることを了承しており且つ当該問題についてすでに正答しクリアしている学習者のみを、それを必要としている学習者４Ａに接続することができる。

また、「ランク」の欄は、チュータをすることを了承した学習者の内、その能力の高い者を識別するためのものである。もちろん、ランク分けは３段階以上とすることもできる。ランク分けは、本応用例が実際に稼動した場合に、教えることが上手な者にアクセスが集中するのを防止するためである。種々の方法により、教えることが上手な者を識別することができる。例えば、（１）チュータが教える事によりその問題がクリアされ場合に、そのチュータを行っていた時間、すなわち、接続時間を計測する、（２）問題の分からない学習者が自己の電子教材学習支援装置１０Ａからチュータを選択できるようにした場合に、その選択された数、（３）教えを受けた学習者からのコメント等である。

このような教えることが上手なチュータ候補者は、例えば、ある問題についてチュータを要求した学習者ではなく、チュータを勤めた者からのみ交替要求をすることができるようにする。これにより、当該チュータが学習者４Ａに教えたにもかかわらず理解してもらえなかった場合に、教えることがより上手な者に交替できるようにすることができる。
教材サーバ２０は、電子教材学習支援装置１０Ａとの間で情報の遣り取りを行い、教材を供給したり、学習者からのチュータ要求を受け付たりする電子教材学習支援制御手段２０ａと、チュータＤＢ３２から条件に合致するチュータである学習者を選択し、チュータを要求している電子教材学習支援装置１０Ａと接続するための制御を行うチュータ検索制御手段２０ｂと、教えることの上手なチュータ、図１７の応用例では、電子教材学習支援装置１０Ｂと接続する上級チュータ選択制御部２０ｃとを備えている。

電子教材学習支援制御手段２０ａは、電子教材学習支援装置１０Ａからチュータ要求を受けると、先ず、どの問題についてチュータが要求されているかを特定する（ステップ２１）。次に、チュータＤＢ３２にアクセスし、チュータ検索表から当該問題について既にクリアしている者であってチュータ了承を行っている者を選択する（ステップ２２）。選択されたチュータ候補の内、通信状態確立部２５ａを介して把握している接続中の電子教材学習支援装置を自動的に又は電子教材学習支援装置１０Ａの利用者である学習者４Ａに提示した後、その選択により接続する（ステップ２３）。
これにより、電子教材学習支援装置１０Ａは他の電子教材学習支援装置１０Ｂ、１０Ｃ…の任意の者との間で相互に通信が可能となり、疑問点や質問を他の学習者４に問い合わせて学習者４Ａ、４Ｂ、４Ｃ…同士での質疑応答が可能となる。

そして、電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…間における通信は、文字等のテキストデータのみならず、電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…にマイクを接続することにより音声データを送受信したり、ビデオカメラ６により撮影した画像データを送受信することによって様々な通信を行うことができる。
ここで、いわゆるオンデマンドによる学習システムの場合は、自分の都合のよい時間を利用して学習することから他の学習者４が自分と同じ時間帯に学習していない場合が考えられる。そこで、教材サーバ２０へのアクセスをある時間帯に限って可能とすれば複数の学習者４が同じ時間帯に多数学習している状況を作り出すことができる。かかる状況を作り出せれば学習者４同士の質疑応答がより実行しやすくなる。そのために第三の実施形態においては、図１５に示すように、教材サーバ２０には電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…からのアクセスを所定の時間帯のみに制限するタイマ部２５ｃが設けられている。

タイマ部２５ｃは、予め設定した時間帯に限って電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…のアクセスを可能とする。教材サーバ２０を構成するパソコンは時計機能を有しており、何年何月何日何時何分何秒のタイムスケジュールを設定することが可能である。従って、例えば２００４年７月１日１７：００〜２００４年７月２日９：００の間にアクセスは可能だがそれ以外はアクセスを拒否するように設定すればよい。尚、アクセス可能な時間帯を狭い範囲に設定すれば多数の学習者４が同時に学習する確率は高くなるため学習者４同士のコミュニケーションは取りやすくなる。しかしながら、自由に学習できるというオンデマンド方式のメリットが減じることになる。そこで、時間帯の設定は学習者の人数や学生か社会人かなどの学習者の種類等を考慮して適宜決定することが好ましい。
同時に接続している学習者の存在確率を高めるため、時間帯を限定して電子教材学習支援装置１０Ａ、１０Ｂ、１０Ｃ…からのアクセスを可能とする代わりに、後の時間帯にマッチングが可能なようにすることもできる。例えば、（１）教材サーバ２０等に置かれた掲示板に、チュータ要求の意思表示をするようにシステムを構築する、（２）同時にはネットワーク３に接続されていないチュータ候補者の電子教材学習支援装置に予約を入れる等である。

〔チュータへの質問支援とチュータの回答支援〕
チェック問題の解答ができなかった学習者とチュータ役である他の学習が、それぞれの電子教材学習支援装置及びネットワーク３を介して接続されたとしても、それだけでは、問題の即解決とはならない。チェック問題の解答ができなかった学習者は、先ず、チュータに問題の存在と何が分からないかを説明しなければならない。他方、その問題に対する回答をいきなり聞かれるチュータである他の学習者は、チェック問題の解答ができなかった学習者の説明から問題を理解し、過去の記憶を呼び起こし、考えた回答が正しいか否かを検証した後、回答を行うこととなる。
ここで課題として挙げられる事は、チェック問題に答えられない学習者に、自分の分からない点を誰かに正確に伝えることは難しい、また、他のことをやっていたチュータ役の他の学習者が、いきなりの質問に正解を常に答えることも易しいことではない、という点である。これらがスムースに行われるようにするための支援システムの構築が要望される。
かかる要望は、以下のような支援システムにより達成される。

本応用例に使用される各電子教材学習支援装置１０は、教材その他を表示するモニタ等の映像情報出力装置１９ａと、スピーカ、ヘッドフォーン、イヤーフォーン等の音声情報出力装置１９ｂと、学習者が解答を入力するキーボード、モニタの所定位置を触ることにより所定の解答を選択するタッチパネル等の入力装置１９ｃと、マイク等の音声入力装置１９ｄと、ＣＰＵと、記憶装置とを備えて構成されている。
本応用例の特徴は、モニタ等の映像情報出力装置１９ａを少なくとも２つの部分に分割して使用する点にある。チュ−タを要求する側及びチュータを行う側とも、第一の部分Ｐ１には、分からないチェック問題に関する事項を表示する。すなわち、質問をする側及び答える側が同じ情報を共有することにより、問題の存在と何が分からないかを説明し易くする。

図１９に示されているように、映像情報出力装置１９ａの第二の部分Ｐ２には、質問をする側及び答える側で異なる情報を表示する。質問をする側の映像情報出力装置１９ａには、例えば、そのチェック問題に関する教材や答える側の学習者４の顔を表示することができる（チュータ役である質問される側も同様に相手の顔を表示する。）。前者は、問題の存在と何が分からないかを説明する際の手助けとなる。他方、後者のようにすると、質問をする側及び答える側の学習者４が他の機会、例えば、学校の食堂などで偶然近くに居るような場合に、相互に相手を認識できる。これにより、コンピュータ社会における人と人との交流欠如を補うことができる効果を有する。この際、チュータＤＢ３２に記録されている当該学習者４のプロフィルやプロモーションビデオのような動画を表示することもできる。これにより、答える側の学習者４が回答を得るまでに必要な時間、質問をしている側の学習者４が無為に待たされるという事態を回避することができる。

図２０に示されているように、答える側の映像情報出力装置１９ａの第二部分Ｐ２にも、相手の学習者４の顔を表示することができる。また、チュータ役の他の学習者が、いきなりの質問にも正解を答えるために役立つ各種の情報が表示される。例えば、自分がそのチェック問題を解いた時の解答、他の学習者４の解答例、難易度、中程度又は易しく説明した教材などを複数のウィンドウで表示するようにすることもできる。これらから回答に役立つものを選択し、大写しするようにすることができる。これにより、チュータ役の学習者４は、手助けを依頼されたのに答えられないといった事態を回避することができる。
本応用例では、また、質問をする側及び答える側の学習者４は、映像情報出力装置１９ａに表示された情報を見ながら音声情報出力装置１９ｂ、音声入力装置１９ｄ及び入力装置１９ｃを用いて疑問やそれに対する答えをすることができる。これにより、質問する側の学習者４は問題の存在及びなにが分からないかをチュータ役の学習者４に正確に伝えることができる。他方、チュータ役の学習者４も、質問する側の学習者４が納得するまで十分に説明することができる効果がある。この仕組みは、チェック問題のできなかった学習者４をできるようにするだけでなく、順次、当該学習者４をチュータ役に変えていくものである。これにより、教える側の人数を指数関数的に増加させ、教育効果及び効率を今まで存在しなかったレベルで向上させる。

〔チュータ役を引き受けさせるための動機付け〕
本応用例は、学習者４の中にチュータ役を引き受けることを了承している者が多数存在することが必要である。これを達成するためには、何らかのメリットを付与することが考えられる。何らのメリットがないのに他人に教えることを欲する者は居ないからである。メリットとしては種々のものがある。例えば、（１）点数化して成績、進学、内申書の記載等において有利な扱いをする、（２）電子教材学習支援装置１０を用いて学習する際、他のテーマについての利用料を優遇する、（３）本システムを利用する条件としてチュータ役を義務付けるなどである。

〔不正の自動発見〕
チュータ役をする学習者４に対しメリットを付与すると、質問をする側の学習者４と答える側の学習者４とが示し合わせてあたかもチュータを受けたのように装って点数を稼ぐ不正が発生する可能性がある。かかる不正に対処する仕組みの構築が要望される。
かかる問題は、膨大な数の接続から不正の可能性のある組み合わせの当事者をスクリーニングし、当該当事者を本応用例運用者の監視下に置くことによって解決することができる。不正の可能性のある組み合わせのスクリーニングは、例えば、当該接続の接続時間を監視することによって行うことができる。すなわち、全ての又は所定数のサンプル接続について接続時間を計測し、各接続について統計値に比べてある閾値より少ない接続時間のものが所定数ある場合に、これを要注意人物とする。

図１６に示された好ましい実施形態では、教材サーバ２０は、さらに、チュータの要求により接続された全ての接続について接続時間を計測しこれを学習者４毎に接続ＤＢ３３に管理して記録する接続時間計測部２０ｄと、接続ＤＢ３３に記録された全接続又は所定の数の接続を定期的に計算し統計値を獲得しこれを接続ＤＢ３３その他のメモリに記録する接続時間統計計算部２０ｅと、そして、メモリに記録して統計値と各接続時間とを比較して所定の閾値よりも少ない接続時間である場合にその旨を当該接続の両当事者について接続ＤＢ３３に記録する要注意人物検出部２０ｆとを含んでいる。要注意人物検出部２０ｆは、また、そのような閾値よりも少ない接続時間の接続が１以上の所定回数発見された場合に、本応用例運用者に知らせる。これにより、これらの者を本応用例運用者の監視下に置くことができる。

図２１は、接続ＤＢ３３に記録されるデータの一例である。本応用例では、接続された順番に接続ＤＢ３３に記録される。接続時間計測部２０ｄは、データの最初の接続を監視し接続が終了した時点でそのデータを接続ＤＢ３３に移送する。本応用例では、学習者４Ａと学習者４Ｃとが２００４年６月２９日のある時間帯に接続され、その時の接続時間は２分３０秒であったことを示している。かかる記録が接続時間の統計を採るのに十分な数取得された後、接続時間統計計算部２０ｅは、記録された接続時間を接続ＤＢ３３から取得して、統計値を獲得する。これを、接続ＤＢ３３その他のメモリに記録する。以後、接続時間統計計算部２０ｅは、所定の数、例えば、過去１００回分の接続について統計値を獲得する。これは、時間の経過と共に理解力の低い者の接続が増えることが予想され、その場合、説明に要する時間、すなわち、接続時間は長くなる可能性が高いからである。

統計値が獲得されると、要注意人物検出部２０ｆは、各接続の接続時間と統計値とを比較する。本応用例では、標準偏差の値が２％以下の場合に不正判定を行い、両当事者の「不正判定欄」に有りのデータが記録される。要注意人物検出部２０ｆは、また、定期的に不正判定欄に「有り」の判定したものを検索してこれを各学習者について集計する。そして、その数が、例えば、３以上となった時に、教材サーバ２０に設けられたモニタに『不正疑義者発見』等の表示を行うことにより本応用例運用者に知らせる。本応用例運用者は、接続ＤＢ３３に記録されたランダムに取得した１分程度の会話サンプルを呼び出し、その内容をチェックすることにより不正が行われた否かを判断することができる。これと共に、又はその代わりに、接続中に使用した標準データ、例えば、図１９及び図２０に示された第一の部分Ｐ１に表示されるべき事項以外の情報の有無により不正を判断することができる。

〔教材・チェック問題及び模範解答の自動更新〕
本応用例では、不正の行われなかった接続を分析し、その結果を利用することにより、教材・チェック問題及び模範解答の自動更新を行うことができる。従来、種々の学習すべき科目について所定の教材とチェック問題を所定の時間費やして教えた後、学習者４がその科目の全部又は一部を理解できなかった場合、その非は一方的に学習者の側に負わされていた。この傾向は、学年が進むにつれて顕著で、中学・高校レベルでは文部科学省の認可があった教科書であるからという理由で、生徒がそれを本当に理解できるか否かは打ち捨てられてきたと言って過言ではない。教材・チェック問題及び模範解答を、学習におけるお客様である学習者が本当に理解できるものとする有効で且つ結果の優秀性が確保できる教材・チェック問題及び模範解答の自動更新システムの構築が要望される。

かかる要望は、以下のような教材・チェック問題及び模範解答の自動更新支援システムにより達成される。
図１６に示された好ましい実施形態では、教材サーバ２０は、さらに、学習者４が理解し難い教材部分、チェック問題及び／又はその模範解答の検出を行う難解部分検出部２０ｇと、検出した難解チェック問題について所定の閾値を超えた又は下回った場合に難解問題として特定する難解問題特定部２０ｈと、難解問題特定部２０ｈにより特定された難解問題について正答を導き出した実例・使用した資料を検出すると共にそれ以後同一の問題についてチュータ要求があった接続に対し当該実例・資料を提供する特定資料提供部２０ｊと、そして、実例・資料を提供した結果何らかの改善があった場合に教材・チェック問題及び模範解答の自動更新をする教材等自動更新部２０ｋとを含んでいる。

難解部分検出部２０ｇは、先ず、接続ＤＢ３３にアクセスし接続記録のあるチェック問題を特定する。この際、前述の不正接続を除くことが好ましい。チェック問題が分かる又は分からないにかかわらず接続を行っているからである。また、極端に理解力がある者及び／又は無い者も除くことがこのましい。これらの者は、チュータ役を行った場合のチュータ要求側の正答率や進行スピードの記録により識別することができる。
難解問題特定部２０ｈは、例えば、（１）そのチェック問題について接続数の絶対数が多いものを選択して特定する、（２）その問題を教材サーバ２０から提供を受けて学習した学習者４の総数に対する接続数の比率が高いものを選択して特定する、（３）接続したチュータ役の学習者４では解決がつかず上級のチュータを要求したケースの絶対数又は学習者４の総数に対する比率が高いものを選択して特定する等により、難解問題を特定する。ここでの課題は、そのチェック問題ができない理由が、教材の内容そのものにあるのか、チェック問題にあるのか、あるいは、その模範解答にあるのかが分からない点である。かかる課題は、次のようにして本応用例により解決される。

特定資料提供部２０ｊは、難解問題特定部２０ｈにより特定されたチェック問題についてチュータ役又は上級チュータ役の学習者４の説明により問題解決に至ったケースを抽出する。特定資料提供部２０ｊは、また、このようなチュータ成功例の記録の内、使用データの欄に記録された各種の情報であってチュータ成功を導いたものを抽出する。そして、かかる情報をそれ以後同一の問題についてチュータ要求があった接続に対し提供する。チュータ成功を導いた情報であるか否かは、例えば、チュータに要した時間や成功例の絶対数、その比率等によって判断することができる。使用データの欄に記録された各種の情報としては、（１）インターネットを介してチュータ役の学習者４が入手したもの、（２）チュータ役学習者４の又は他の学習者４の回答例等の電子情報である。

教材等自動更新部２０ｋは、実例・資料を提供した結果何らかの改善があった場合に、そのような実例・資料が教材である場合は教材部分を、問題である場合にはチェック問題を、そして、その模範解答である場合には模範解答を自動的に更新する。何らかの改善があった場合とは、成功例の絶対数が増加した、成功率が改善した、チュータに要した時間、すなわち、接続時間が減少した等のデータが得られた場合である。
上級チュータ役の学習者４によっても問題の解決に至らなかったケースについては、自動更新ではなく、本応用例運用者による人的資源を使っての当該教材部分、チェック問題及びその模範解答の削除を含めた再検討が必要となる。

本応用例では、単に教材部分、チェック問題及びその模範解答を他のものと交替して更新するのではなく、実際の学習者４における実績を加味し、効果の検証されたものに変更されるようになっている。よって、これらのものは、時間が経過すればする程内容が改善されていく効果がある。
なお、上述した電子教材学習支援装置１０や教材サーバ２０の各実施形態における諸機能をコンピュータに実行させることにより当該コンピュータを電子教材学習支援装置１０や教材サーバ２０として機能させるには上記機能を実現するための電子学習支援プログラムはコンピュータのハードディスクやメモリにインストールすることによりコンピュータのＣＰＵが当該プログラムに基づく演算処理を行うことにより実現される。そのような電子学習支援プログラムはＣＤ−ＲＯＭやＤＶＤ等の記録媒体に記録して提供することもインターネット等のネットワーク３を介して配布することももちろん可能である。

従来の学習システムのブロック図である。 本発明に係る電子教材学習支援装置の第一の実施形態におけるブロック図である。 （ａ）から（ｃ）はビデオカメラで撮影された学習者の顔の各映像フレームである。 初期映像フレームで指定された着目領域の中心点と第二映像フレームの着目領域の中心点の関係を示す図である。 表情映像処理手段の構成を示すブロック図である。 身体情報記録手段の構成を示すブロック図である。 心理状態推定手段の構成を示すブロック図である。 学習者の皮膚温度及び心拍数と心理状態の変化の関係を示した図である。 学習ナビゲーション手段の構成を示すブロック図である。 教材ファイルの提供方法を示す図である。 電子教材学習支援方法の一実施形態におけるフローチャートである。 本発明に係る電子教材学習支援装置の第二の実施形態におけるブロック図である。 本発明に係る電子教材学習支援装置を利用した電子教材学習支援システムの応用例におけるブロック図である。 電子教材学習支援装置の通信処理手段と教材サーバの通信処理手段との関係を示すブロック図である。 教材サーバのタイマ部を示すブロック図である。 本発明に係る電子教材学習支援装置を利用した電子教材学習支援システムの応用例を示すブロック図である。 図１６に示されたチュータＤＢに記録されたチュータ検索表の一例を示すテーブルである。 チェック問題が解けない学習者をその問題を既にクリアした学習者とをネットワークを介してマッチングさせる方法を示すフローチャートである。 チュータ要求側における電子教材学習支援装置のモニタに表示される内容の一例を示す説明図である。 チュータ役側における電子教材学習支援装置のモニタに表示される表示の一例を示す説明図である。 図１６に示された接続ＤＢに記録されたデータ表の一例を示すテーブルである。

符号の説明

３ ネットワーク
４、４Ａ、４Ｂ、４Ｃ 学習者
６ ビデオカメラ
８ａ、８ｂ 身体情報センサ
８ｃ、８ｄ コード
１０、１０Ａ、１０Ｂ、１０Ｃ・・・電子教材学習支援装置
１１ 表情映像処理手段
１１ａ 映像解析部
１１ｂ 移動量データ記録部
１３ 身体情報記録手段
１３ａ 身体情報解析部
１３ｂ 身体情報データ記録部
１５ 心理状態推定手段
１５ａ データ対比部
１５ｂ 心理状態推定ＤＢ
１７ 学習ナビゲーション手段
１７ａ 検索抽出部
１７ｂ 教材ＤＢ
１８ 通信処理手段
１８ａ ＩＰアドレス情報
１８ｂ ＩＤ情報
１８ｃ 接続情報送出部
１９ａ 映像情報出力手段
１９ｂ 音声情報出力手段
１９ｃ 入力装置
１９ｄ 音声入力装置
２０ 教材サーバ
２０ａ 電子教材学習支援制御手段
２０ｂ チュータ検索制御手段
２０ｃ 上級チュータ選択制御部
２０ｄ 接続時間計測部
２０ｅ 接続時間統計計算部
２０ｆ 要注意人物検出部
２０ｇ 難解部分検出部
２０ｈ 難解問題特定部
２０ｊ 特定資料提供部
２０ｋ 教材等自動更新部
２３ 教材サーバ
２４ ＩＤ情報ＤＢ
２５ 通信手段
２５ａ 通信状態確立部
２５ｃ タイマ部
２７ スタート教材
３２ チュータＤＢ
３３ 接続ＤＢ
Ｄ、Ｄ１、Ｄ２、Ｄ３ 着目領域

Claims (1)

1. 学習者の心理状態をモニタし、それぞれの心理状態に対応した電子教材を提供することにより電子教材による学習を支援する電子教材学習支援装置を利用した電子教材学習支援システムにおいて、
   複数の前記電子教材学習支援装置及び教材サーバがネットワークを介して互いに通信可能に構成され、
   前記電子教材学習支援装置は、
   ビデオカメラを介して入力された学習者の顔が映し出された最初の映像フレーム（第一フレーム）の画像データに対して目元、額、口などの着目すべき部分を着目領域として特定すると共に当該着目領域の中心位置を確定して当該着目領域の二次元画像データを収集し、その後に撮影された映像フレーム（第二フレーム）の画像データにおいて、最初の映像フレーム（第一フレーム）における着目領域とその後に撮影された前記映像フレーム（第二フレーム）上の同じサイズの小領域の映像情報との差分が最小となる領域を算出して新しい着目領域として特定すると共に当該新しい着目領域の中心位置を確定して当該新しい着目領域の二次元画像データを収集し、さらに、その後に撮影された映像フレーム（第三フレーム）の画像データにおいて前記新しい着目領域の近傍を探索することによって類似度が高い領域を算出して特定し、順次これを繰り返すことにより着目領域の相対的な移動量を前記学習者の表情の変化としてリアルタイムで検出しその移動量を移動量データとして移動量データ記録部に記録保存する映像解析部を備えた表情映像処理手段と、
   前記学習者の身体に身体情報センサを装着もしくは近接させることにより得られる心拍数や皮膚温度等の身体情報の変化をリアルタイムで検出して身体情報データとして身体情報データ記録部に記録する身体情報記録手段と、
   前記表情映像処理手段及び前記身体情報記録手段によって得られた前記移動量データ及び前記身体情報データと予めアセスメントを行うことによって所定の心理状態における移動量データ及び身体情報データを当該心理状態に対応させて格納した心理状態推定ＤＢ内の移動量データ及び身体情報データとを比較することにより当該学習者の心理状態を推定する心理状態推定手段と、
   前記心理状態推定手段により推定された心理状態に基づいて当該学習者の心理状態にふさわしい教材ファイルを前記学習者に提供する学習ナビゲーション手段と、
   一の電子教材学習支援装置がネットワークに接続した際に割り当てられた又は予め特定されている固有のＩＰアドレス情報と前記一の電子教材学習支援装置を特定するためのＩＤ情報をセットにして教材サーバへ自動的に送出する接続情報送出部を備えた通信処理手段と、
   を備え、
   前記教材サーバは、
   ネットワークに接続可能な通信手段と、
   予め複数の電子教材学習支援装置のＩＤ情報を記録したＩＤ情報ＤＢを備えると共に、前記一の電子教材学習支援装置から送られてきたＩＤ情報をＩＤ情報ＤＢから検索し、前記ＩＤ番号が検索された場合には当該ＩＤ情報と一緒に送られてきたＩＰアドレス情報を他の電子教材学習支援装置に送信することにより相互に通信を可能とさせる通信状態確立部と、
   予め様々な心理状態に合わせて複数のレベルに分類して格納された教材、チェック問題及び模範解答を格納した教材ＤＢと、
   前記チェック問題ごとに正答者を検索可能に構築されると共に、前記正答者である学習者が他人に教えるチュータとなることを了承しているか否か、さらにはチュータの能力の高さに応じたランクを予め付与したランク情報を格納したチュータＤＢと、
   各電子教材学習支援装置との間で教材及びチェック問題を供給すると共に学習者から電子教材支援装置を介して送られてくるチュータ要求を受け付ける電子教材学習支援制御手段と、
   電子教材学習支援装置を介して学習者から送られてくるどの問題についてチュータが要求されているかというチュータ要求に基づいて前記チュータＤＢから当該問題について既にクリアしている者であってチュータ了承を行っている者をチュータとして選択し、前記通信状態確立部によって前記選択されたチュータのうち当該教材サーバに接続中のチュータの電子教材学習支援装置を特定すると共に、チュータ要求を行った電子教材学習支援装置との間での接続を制御するチュータ検索制御手段と、
   前記チュータ要求により接続された全ての接続について接続時間を計測し、これを学習者毎に接続ＤＢに記録して管理する接続時間計測部と、
   前記接続ＤＢに記録された全接続又は所定の数の接続についての時間を定期的に計算して統計値とし、当該統計値を前記接続ＤＢに記録する接続時間統計計算部と、
   を備え、
   前記電子教材学習支援装置に設けられた通信処理手段によって前記ネットワークを介して前記教材サーバの前記教材ＤＢにアクセスすることにより前記学習ナビゲーション手段が前記教材ＤＢの中から前記心理状態推定手段により推定された心理状態に基づいて当該学習者の心理状態にふさわしい教材ファイルを検索抽出し、それを出力することにより当該電子教材学習支援装置に前記教材ファイルが提供されるように構成されると共に、文字データ、音声データ、又は画像データを送受信することにより一の電子教材学習支援装置と他の電子教材学習支援装置の相互間で学習者同士での質疑応答を可能としたことを特徴とする電子教材学習支援システム。

Images