JP3138145U - 脳トレーニング装置 - Google Patents

Abstract

【課題】撮像画像に写りこんだ被写体の像に基づいて課題に対する正誤を判定する新規な脳トレーニング装置を提供する。
【解決手段】使用者が装着したグローブに取り付けられた再帰反射シートを撮像する撮像ユニットと、再帰反射シートの動きに連動するカーソル４１Ｌ，４１Ｒ及び各々が選択の対象である複数のカード４５を表示し、かつ、シルエットにより使用者に課題４７を提示するマルチメディアプロセッサと、を備える。使用者は、提示された課題４７が表す特定のものを推理し、ばらばらに並べられたカード４５を頭の中で正しく並べなおし、カーソル４１Ｌ又は４１Ｒを操作して、並べなおした順番で、カード４５を選択していき、解答を導出する。
【選択図】図５

Description

本考案は、表示装置を使用する脳トレーニング装置及びその関連技術に関する。

本件出願人による特許文献１に開示されているゴルフゲームシステムは、ゲーム機及びゴルフクラブ型入力装置を含み、ゲーム機のハウジングの内部には撮像ユニットが収納され、この撮像ユニットは、イメージセンサ及び赤外発光ダイオード等から構成される。赤外発光ダイオードによって撮像ユニットの前方の所定範囲に赤外光が間欠的に照射され、したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる入力装置の速度などを計算する。このように、ストロボスコープを用いてゲーム機にリアルタイムで入力を与えることができる。

ところで、近年、脳を鍛えるゲーム機が数多く売り出されている。

特開２００４−８５５２４号公報

本考案の目的は、撮像画像に写りこんだ被写体の像に基づいて課題に対する正誤を判定する新規な脳トレーニング装置及びその関連技術を提供することである。

本考案の形態によると、脳トレーニング装置は、表示装置に接続して使用される脳トレーニング装置であって、使用者が操作する被写体を撮像する撮像手段と、前記被写体の動きに連動するカーソル及び各々が選択の対象である複数の選択画像を前記表示装置に表示し、かつ、映像及び／又は音声により前記使用者に課題を提示するプロセッサと、を備え、前記課題の解答は、表示された前記複数の選択画像のうちの全部又は一部の表記の順番を並べ替えることで得られるものであり、前記各選択画像の前記表記は、文字、数字、記号、図形、絵柄、模様若しくは色彩又はそれらの全部又は一部の組み合わせを含み、前記プロセッサは、少なくとも前記カーソルが前記選択画像に重なったことを条件として当該選択画像が選択されたと認識し、前記選択画像の選択の順番が、前記課題に対応して予め定められた順番に該当する場合に正解と判定する。

この構成によれば、使用者は、提示された課題に応じて、ばらばらに並べられた選択画像を頭の中で正しく並べ直し、カーソルを操作して、並べなおした順番で、選択画像を選択していき、解答を導出しなければならない。このような使用者の動作により、使用者の脳と体の神経伝達系統が刺激され、反射神経や思考力を鍛えることができる。また、使用者は、画面に触れることなく空中で被写体を操作するので、空間認識による新しい脳機能の活性化を期待できる。

この脳トレーニング装置において、前記プロセッサは、選択された前記選択画像の前記表記と実質的に同一の表記を含む画像を選択された順番に並べて前記表示装置に表示する。

この構成によれば、使用者は、自身が選択した選択画像を記憶しておく必要がなく、選択画像の並べ替えだけに集中できる。

上記脳トレーニング装置において、前記課題は、文字列又はシルエット画像を含む。

この構成によれば、文字列によって特定のものを指し示すことにより、あるいは、特定のもののシルエット画像により、使用者に対して、その特定のものを推理させることができる。

上記脳トレーニング装置において、前記プロセッサは、前記カーソルが前記選択画像に重なった状態の直後に、前記被写体の像が得られなかった場合に、当該選択画像が選択されたと判定する。

この構成によれば、例えば、使用者が手の平に被写体を装着している場合、使用者は、手の平を開いた状態でカーソルを移動し、選択画像に重ね、そして、手を握り締めて、被写体を隠すことにより、選択画像を選択することができる。つまり、使用者は、カーソルを選択画像まで動かし、手を握り締めることによって、選択画像を選択することができる。従って、使用者は、あたかも選択画像を握るかのような操作によって入力を与えることができる。

ここで、「重なった状態の直後」における「重なった状態」とは、重なったことが検出されている状態が維持されている状態を含む。

上記脳トレーニング装置において、前記被写体は、光を再帰反射する再帰反射体である。

この構成によれば、被写体は光を再帰反射するので、撮像画像に被写体の像がより鮮明に写り込み、より精度良く被写体の像を抽出できる。

この脳トレーニング装置において、前記撮像手段は、光を間欠的に照射する発光手段を含む。

この構成によれば、光の照射時と非照射時とで、撮像画像の差分をとることができ、被写体の像（被写体からの反射光）以外の像（被写体以外の光源等からの光）、つまり、ノイズを簡易に除去できる。

この脳トレーニング装置において、前記発光手段が照射する前記光は、赤外光である。

この構成によれば、例えば、赤外線フィルタを通して、赤外光だけを撮像することにより、赤外光以外の光を簡易に除去できる。

上記脳トレーニング装置において、前記再帰反射体は、前記使用者の手の平に装着される。

以下、本考案の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。

図１は、本考案の実施の形態による脳トレーニングシステムの全体構成を示す図である。図１を参照して、この脳トレーニングシステムは、アダプタ１、撮像ユニット５を備えたカートリッジ３、グローブ７Ｌ，７Ｒ及びテレビジョンモニタ１１を備える。アダプタ１には、カートリッジ３が装着される。また、アダプタ１は、ＡＶケーブル１３により、テレビジョンモニタ１１に接続される。

図２は、図１のアダプタ１及びカートリッジ３の斜視図である。図２を参照して、アダプタ１は、上面、下面、左右の側面、前面、及び背面を有する平たい直方体形状を有する。アダプタ１の前面左側には、電源スイッチ１９及びリセットスイッチ２１が設けられ、前面右側には、赤外線フィルタ２９が設けられる。この赤外線フィルタ２９は、赤外線以外の光をカットして、赤外線だけを透過させるフィルタであり、この赤外線フィルタ２９の裏側には、ＩＲレシーバ（図示せず）が配置されている。また、アダプタ１の上面の前縁近傍には、４個の方向キー２７が設けられる。さらに、左端の方向キー２７の左側には、キャンセルキー２３が設けられ、右端の方向キー２７の右側には、決定キー２５が設けられる。

カートリッジ３には、その上面後部に撮像ユニット５が設けられている。撮像ユニット５には、赤外線フィルタ１７が設けられ、それを囲むように４個の赤外発光ダイオード１５が設けられる。この赤外線フィルタ１７は、赤外線以外の光をカットして、赤外線だけを透過させるフィルタであり、この赤外線フィルタ１７の裏側には、後述のイメージセンサ３１（図４参照）が配置されている。

図３は、図１のグローブ７Ｌ，７Ｒの説明図である。図３を参照して、それぞれのグローブ７Ｌ，７Ｒには、親指を通す開口と４本の他の指全部を通す開口が設けられている。使用者は、これらの開口に指を通して、左手にグローブ７Ｌを装着し、右手にグローブ７Ｒを装着する。また、それぞれのグローブ７Ｌ，７Ｒには、光を再帰反射する再帰反射シート９Ｌ，９Ｒが取り付けられている。使用者は、再帰反射シート９Ｌ，９Ｒが手の平側になるように、グローブ７Ｌ，７Ｒを装着する。

ここで、グローブ７Ｌ，７Ｒを区別する必要がないときは、グローブ７と表記し、再帰反射シート９Ｌ，９Ｒを区別する必要がないときは、再帰反射シート９と表記する。

図１に戻って、使用者が、撮像ユニット５に向けて、手を開くと、再帰反射シート９が現れ、この再帰反射シート９が撮影される。一方、手を握り締めると、再帰反射シート９は、手の中に隠れてしまい、撮像ユニット５に撮影されない。従って、使用者は、手を開いたり閉じたりする動作によって、再帰反射シート９を撮影させたり撮影させなかったりすることにより、カートリッジ３のマルチメディアプロセッサ３３（図４参照）に対する入力を制御できる。本実施の形態では、再帰反射シート９が撮影された場合を撮影状態、撮影されない状態を非撮影状態と呼ぶ。

再び図２を参照して、４つの赤外発光ダイオード１５は、間欠的に赤外光を発光する。そして、赤外発光ダイオード１５からの赤外光は、グローブ７に取り付けられた再帰反射シート９により反射され、赤外線フィルタ１７の背面側に設けられたイメージセンサ３１に入力される。このようにして、イメージセンサ３１により、グローブ７の再帰反射シート９が撮影される。

赤外光は間欠的に照射されるところ、赤外光の非照射時においても、イメージセンサ３１による撮影処理は行われている。カートリッジ３のマルチメディアプロセッサ３３は、赤外光照射時の画像信号と非照射時の画像信号との差分を求めて、この差分信号ＤＩ（差分画像ＤＩ）を基に、グローブ７（つまり再帰反射シート９）の位置等を算出する。このように、差分を求めることで、再帰反射シート９からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート９を検出できる。

図４は、図１のアダプタ１及びカートリッジ３の電気的構成を示す図である。図４を参照して、アダプタ１に電気的に接続されるカートリッジ３は、マルチメディアプロセッサ３３、イメージセンサ３１、赤外発光ダイオード１５、外部メモリ３５、及びバス３７を含む。外部メモリ３５は、ＲＯＭ、ＲＡＭ、及び／又はフラッシュメモリなど、システムの仕様に応じて必要なものを備える。

マルチメディアプロセッサ３３は、バス３７を通じて、外部メモリ３５にアクセスできる。従って、マルチメディアプロセッサ３３は、外部メモリ３５に格納されたプログラムを実行でき、また、外部メモリ３５に格納されたデータをリードして処理することができる。この外部メモリ３５に、画面の制御、再帰反射シート９の位置検出、並びに正誤判定等の各処理を行うアプリケーションプログラム、画像データ、及び音声データ等が予め格納される。

このマルチメディアプロセッサ３３は、図示しないが、中央演算処理装置（以下、「ＣＰＵ」と呼ぶ。）、グラフィックスプロセシングユニット（以下、「ＧＰＵ」と呼ぶ。）、サウンドプロセシングユニット（以下、「ＳＰＵ」と呼ぶ。）、ジオメトリエンジン（以下、「ＧＥ」と呼ぶ。）、外部インタフェースブロック、メインＲＡＭ、及びＡ／Ｄコンバータ（以下、「ＡＤＣ」と呼ぶ。）などを具備する。

ＣＰＵは、外部メモリ３５に格納されたプログラムを実行して、各種演算やシステム全体の制御を行う。グラフィックス処理に関するＣＰＵの処理として、外部メモリ３５に格納されたプログラムを実行して、各オブジェクトの拡大・縮小、回転、及び／又は平行移動のパラメータ、視点座標（カメラ座標）、並びに視線ベクトルの算出等を行う。ここで、１または複数のポリゴン又はスプライトから構成され、同じ拡大・縮小、回転、及び平行移動の変換が適用される単位を「オブジェクト」と呼ぶ。

ＧＰＵは、ポリゴン及びスプライトから構成される三次元イメージをリアルタイムに生成し、アナログのコンポジットビデオ信号に変換する。ＳＰＵは、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）波形データ、アンプリチュードデータ、及びメインボリュームデータを生成し、これらをアナログ乗算して、アナログオーディオ信号を生成する。ＧＥは、三次元イメージを表示するための幾何演算を実行する。具体的には、ＧＥは、行列積、ベクトルアフィン変換、ベクトル直交変換、透視投影変換、頂点明度／ポリゴン明度計算（ベクトル内積）、及びポリゴン裏面カリング処理（ベクトル外積）などの演算を実行する。

外部インタフェースブロックは、周辺装置（本実施の形態ではイメージセンサ３１及び赤外発光ダイオード１５）とのインタフェースであり、２４チャンネルのプログラマブルなデジタル入出力（Ｉ／Ｏ）ポートを含む。ＡＤＣは、４チャンネルのアナログ入力ポートに接続され、これらを介して、アナログ入力装置（本実施の形態ではイメージセンサ３１）から入力されたアナログ信号をデジタル信号に変換する。メインＲＡＭは、ＣＰＵのワーク領域、変数格納領域、および仮想記憶機構管理領域等として利用される。

グローブ７は、赤外発光ダイオード１５の赤外光に照射され、その赤外光を再帰反射シート９で反射する。この再帰反射シート９からの反射光がイメージセンサ３１に入力され、したがって、イメージセンサ３１からは再帰反射シート９の像を含む画像信号が出力される。上記のように、マルチメディアプロセッサ３３は、ストロボ撮影のために、赤外発光ダイオード１５を間欠的に点滅するので、赤外光消灯時の画像信号も出力される。イメージセンサ３１からのこれらのアナログ画像信号はマルチメディアプロセッサ３３に内蔵されたＡＤＣによってデジタルデータに変換される。

マルチメディアプロセッサ３３は、イメージセンサ３１からＡＤＣを介して入力されるデジタル画像信号から上記の差分信号ＤＩ（差分画像ＤＩ）を生成して、これに基づき、グローブ７の位置を検出して、演算、グラフィック処理、及びサウンド処理等を実行し、ビデオ信号ＶＤおよびオーディオ信号ＡＵを出力する。ビデオ信号ＶＤおよびオーディオ信号ＡＵは、アダプタ１を介してＡＶケーブル１３によりテレビジョンモニタ１１に与えられ、応じて、テレビジョンモニタ１１に映像が表示され、そのスピーカ（図示せず）から音声が出力される。

次に、マルチメディアプロセッサ３３がテレビジョンモニタ１１に表示するトレーニング画面を表した図面を参照しながら、マルチメディアプロセッサ３３による処理内容を説明する。

図５〜図７は、トレーニング画面の例示図である。図５を参照して、マルチメディアプロセッサ３３がテレビジョンモニタ１１に表示するトレーニング画面は、トレーニング開始時からの経過時間を表示する経過時間表示部５４及びカーソル４１Ｌ，４１Ｒを含む。マルチメディアプロセッサ３３は、検出した再帰反射シート９Ｌの位置に応じて、カーソル４１Ｌの移動を制御し、検出した再帰反射シート９Ｒの位置に応じて、カーソル４１Ｒの移動を制御する。

つまり、マルチメディアプロセッサ３３は、差分画像ＤＩから再帰反射シート９Ｌ，９Ｒの像を抽出して、それぞれの注目点の差分画像ＤＩ上の座標を算出する。そして、マルチメディアプロセッサ３３は、２つの注目点の差分画像ＤＩ上の座標を、スクリーン座標に変換することによって、２つの注目点のテレビジョンモニタ１１の画面上の位置を求める。マルチメディアプロセッサ３３は、この２つの注目点（再帰反射シート９Ｌ，９Ｒに相当）の画面上の位置に、カーソル４１Ｌ，４１Ｒを表示する。なお、スクリーン座標系は、テレビジョンモニタ１１に映像を表示する際に用いられる座標系である。また、差分画像上の水平座標軸及び垂直座標軸は、それぞれスクリーン座標の水平座標軸及び垂直座標軸と平行である。

また、トレーニング画面の中段には、課題４７が表示される。この課題４７は、解答である特定のもの（図ではバナナ）のシルエット画像である。さらに、トレーニング画面の下段４３には、各々文字が付されたカード４５が表示される。課題４７が表す特定のものの名称を構成する文字（「バ」「ナ」「ナ」）がカード４５に付されている。この場合、カード４５の並びは、名称どおりに並んでいるのではなく、バラバラに並んでいる（図では、左から「ナ」「バ」「ナ」）。

使用者は、課題４７が表す特定のものを推理して、その名称を構成する文字の順番で、カード４５を選択しなければならない。この場合の選択は、カーソル４１Ｌ又は４１Ｒのいずれかにより行う。どのカーソルで選択するかは使用者の任意である。ここで、カーソル４１Ｌ，４１Ｒを区別する必要の無い場合はカーソル４１と表記する。

使用者は、グローブ７を撮影状態（手の平を開いた状態）にしてカーソル４１を移動し、所望のカード４５に重ねる（選択操作）。すると、そのカード４５には、黄色（斜線部）の枠４４（図６参照）が表示され、選択されたことが明示される。この段階では、まだ、選択は確定していない。

この選択状態から、使用者は、グローブ７を非撮影状態（手握り締めた状態）にして、再帰反射シート９を隠す（確定操作）。これにより、マルチメディアプロセッサ３３は、当該カード４５の選択が確定したとみなし、図６に示すように、トレーニング画面の上段４９の白色の枠５３の中に（枠５３が位置するアンダーライン５１上に）、選択されたカード４５に付された文字を表示する。ただし、使用者が正しくないカード４５を選択した場合、マルチメディアプロセッサ３３は、枠５３に文字を表示せず、正しいカード４５に赤い枠（図示せず）を一定時間だけ付して、使用者を支援する。このように、マルチメディアプロセッサ３３は、選択の正誤を判定して、その結果に応じた処理を実行する。

なお、カード４５にカーソル４１を重ね、グローブ７を非撮影状態にする操作を「カードを握る。」と呼ぶこともある。

グローブ７が撮影状態にある場合は、対応するカーソル４１の形態は、手の平を開いた形状をとる（例えば図６のカーソル４１Ｒ）。グローブ７が撮影状態から非撮影状態になった場合は、対応するカーソル４１の形態は、一定時間（例えば１秒）、手を握り締めた形状（握りこぶし）をとる（例えば図６のカーソル４１Ｌ）。ただし、一定時間の経過後は、再びグローブ７が撮影状態になるまで、対応するカーソル４１は消滅する。なお、奥が透けて見えるように、カーソル４１の全部又は一部の色彩は半透明である。また、カーソル４１の一部が完全透明でもよい。

マルチメディアプロセッサ３３は、正しいカード４５が選択され、文字を枠５３の中に表示した後は、その文字はそのままで、枠５３を右隣のアンダーライン５１上に移動する。そして、使用者が、カーソル４１を操作して、全てのカード４５を正しい順番で選択し終わると、図７に示すように、トレーニング画面の下段４３には、正解である旨の表示が行われると共に、中段には、シルエットではなく、課題４７の解答である特定のもの（図ではバナナ）の画像５５が表示される。なお、枠５３は消去される。

この例では、課題４７を映像だけで提示した。ただし、課題を音声だけで提示することもできる。もちろん、映像及び音声の双方で課題を提示することもできる。また、課題を文字列で提示することもできる。例えば、「帆に風を受けて進む舟」なる課題を提示する。この場合は、三枚のカード４５を表示し、それぞれに、「ヨ」「ッ」「ト」なる文字を付する。なお、解答は「ヨット」である。このように、例えば、課題として、解答となる特定のものを表す文字列を表示する。

ここで、実施の形態において、解答となる「特定のもの」の「もの」には、有体物だけでなく、無体物を含み、また、物体に限られず、名詞、単語、熟語、事象など、映像及び／又は音声による課題により一義的に特定できるあらゆるものが含まれる。

本実施の形態では、シルエットからなる課題４７及び文字列からなる課題４７からなる計５問の課題４７が提示され、使用者は、できるだけ早く全問の正答を導くように努力する。使用者は、５問を終えた時の経過時間表示部５４の時間が短いほど、高い評価を得ることができる。評価は、高い順に、金、銀、銅の三段階で示される。

さて、次に、再帰反射シート９Ｌ及び９Ｒの検出処理及び左右決定処理を図面を用いて説明する。

図８は、再帰反射シート９Ｌ及び９Ｒの検出処理の説明図である。図８には、赤外光発光時及び消灯時の画像データから生成した差分画像データに基づく差分画像（３２×３２ピクセル）が図示されている。図中、小さい正方形は１ピクセルを示す。また、左上角をＸＹ座標軸の原点とする。

この画像には、輝度値が大きい２つの領域２５１及び２５３が含まれる。領域２５１及び２５３は、再帰反射シート９Ｌ及び９Ｒである。ただし、この時点では、どの領域がどの再帰反射シートに対応するかは判別できない。

まず、マルチメディアプロセッサ３３は、Ｙ＝０を出発点として、Ｘ＝０からＸ＝３１まで、差分画像データをスキャンし、次に、Ｙをインクリメントし、Ｘ＝０からＸ＝３１まで、差分画像データをスキャンする。このような処理をＹ＝３１まで行い、３２×３２ピクセルの差分画像データをスキャンして、閾値ＴｈＬより大きいピクセルデータの上端位置ｍｉｎＹ、下端位置ｍａｘＹ、左端位置ｍｉｎＸ、及び右端位置ｍａｘＸを求める。

次に、マルチメディアプロセッサ３３は、座標（ｍｉｎＸ，ｍｉｎＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＴを算出する。また、マルチメディアプロセッサ３３は、座標（ｍａｘＸ，ｍｉｎＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＴを算出する。さらに、マルチメディアプロセッサ３３は、座標（ｍｉｎＸ，ｍａｘＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＢを算出する。さらに、マルチメディアプロセッサ３３は、座標（ｍａｘＸ，ｍａｘＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＢを算出する。

マルチメディアプロセッサ３３は、距離ＬＴ＞ＲＴのときは、座標（ｍａｘＸ，ｍｉｎＹ）を第１抽出点とし、距離ＬＴ≦ＲＴのときは、座標（ｍｉｎＸ，ｍｉｎＹ）を第１抽出点とする。また、マルチメディアプロセッサ３３は、距離ＬＢ＞ＲＢのときは、座標（ｍａｘＸ，ｍａｘＹ）を第２抽出点とし、距離ＬＢ≦ＲＢのときは、座標（ｍｉｎＸ，ｍａｘＹ）を第２抽出点とする。

図９は、左右決定処理の説明図である。図９には、前回（１ビデオフレーム前）の再帰反射シート９Ｌの位置ＴＰＬ２及び前々回（２ビデオフレーム前）の位置ＴＰＬ１、並びに、前回（１ビデオフレーム前）の再帰反射シート９Ｒの位置ＴＰＲ２及び前々回（１ビデオフレーム前）の位置ＴＰＲ１が図示されている。位置ＴＰＬ１，ＴＰＬ２，ＴＰＲ１及びＴＰＲ２は、差分画像データに基づく差分画像上の位置である。

マルチメディアプロセッサ３３は、位置ＴＰＬ１を始点、位置ＴＰＬ２を終点とする速度ベクトルＶＬを算出する。そして、位置ＴＰＬ２を始点とする速度ベクトルＶＬの終点を、再帰反射シート９Ｌの予測位置ＴＰＬｐとする。一方、マルチメディアプロセッサ３３は、位置ＴＰＲ１を始点、位置ＴＰＲ２を終点とする速度ベクトルＶＲを算出する。そして、位置ＴＰＲ２を始点とする速度ベクトルＶＲの終点を、再帰反射シート９Ｒの予測位置ＴＰＲｐとする。

マルチメディアプロセッサ３３は、第１抽出点ＴＰＮ１と予測位置ＴＰＬｐとの距離ＬＤ１、第１抽出点ＴＰＮ１と予測位置ＴＰＲｐとの距離ＲＤ１、第２抽出点ＴＰＮ２と予測位置ＴＰＬｐとの距離ＬＤ２、及び、第２抽出点ＴＰＮ２と予測位置ＴＰＲｐとの距離ＲＤ２を求める。

マルチメディアプロセッサ３３は、距離ＬＤ１＞ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート９Ｒの今回の位置とし、距離ＬＤ１≦ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート９Ｌの今回の位置とする。また、マルチメディアプロセッサ３３は、距離ＬＤ２＞ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート９Ｒの今回の位置とし、距離ＬＤ２≦ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート９Ｌの今回の位置とする。

このように、左右の予測位置ＴＰＬｐ及びＴＰＲｐに基づいて、第１抽出点ＴＰＮ１及び第２抽出点ＴＰＮ２に左右を割り当てているため、再帰反射シート９Ｌと再帰反射シート９Ｒとの左右が入れ替わった場合でも（クロスした場合でも）、マルチメディアプロセッサ３３は、差分画像データに基づく差分画像上において、再帰反射シート９Ｌ及び９Ｒの各々を的確に認識できる。

さて、次に、マルチメディアプロセッサ３３による処理の流れをフローチャートを用いて説明する。

図１０は、図４のマルチメディアプロセッサ３３による全体処理の流れの一例を示すフローチャートである。図１０を参照して、ステップＳ１にて、マルチメディアプロセッサ３３は、各種変数（フラグやカウンタを含む。）の初期化等、システムの初期設定を実行する。ステップＳ３にて、マルチメディアプロセッサ３３は、外部メモリ３５に格納されたアプリケーションプログラムに従った処理を実行する。ステップＳ５にて、マルチメディアプロセッサ３３は、ビデオ同期信号による割り込みが発生するまで待機する。つまり、マルチメディアプロセッサ３３は、ビデオ同期信号による割り込みが発生していない場合は、同じステップＳ５に戻り、ビデオ同期信号による割り込みが発生した場合は、ステップＳ７に進む。例えば、ビデオ同期信号による割り込みは、１／６０秒ごとに発生する。この割り込みに同期して、ステップＳ７及びステップＳ９にて、マルチメディアプロセッサ３３は、ステップＳ３の処理結果に従って、テレビジョンモニタ１１に表示する画像を更新すると共に、音声の再生を行う。そして、マルチメディアプロセッサ３３は、ステップＳ３に戻る。

ステップＳ３の処理を制御するアプリケーションプログラムは、複数のプログラムを含む。この複数のプログラムに、下記するフローチャートが示す処理を実行するプログラムが含まれる。

図１１は、図１０のステップＳ３におけるアプリケーションプログラムによる処理の主要部分の流れの一例を示すフローチャートである。図１１を参照して、ステップＳ２１にて、マルチメディアプロセッサ３３は、再帰反射シート９Ｌ及び９Ｒの撮影処理を実行する。ステップＳ２３にて、マルチメディアプロセッサ３３は、ステップＳ２１で得られた画像に基づいて、再帰反射シート９Ｌ及び９Ｒの像を検出して、それぞれのテレビ画面上の位置を算出する。ステップＳ２５にて、マルチメディアプロセッサ３３は、ステップＳ２３の結果に基づいて、使用者が手の平を握り締めたか否かを判定する。ステップＳ２７にて、マルチメディアプロセッサ３３は、再帰反射シート９Ｌ及び９Ｒのテレビ画面上の位置にそれぞれカーソル４１Ｌ及び４１Ｒの座標を設定する。この場合、マルチメディアプロセッサ３３は、ステップＳ２５の結果に基づき、カーソル４１Ｌ及び４１Ｒの形態（じゃんけんの石（ぐう）又は紙（ぱあ））を決定する。ステップＳ２９にて、マルチメディアプロセッサ３３は、トレーニング画面の制御といった脳トレーニングのための映像の制御や必要な演算を実行する。

図１２は、図１１のステップＳ２１における撮影処理の流れの一例を示すフローチャートである。図１２に示すように、ステップＳ４１において、マルチメディアプロセッサ３３は、赤外発光ダイオード１５を点灯する。ステップＳ４３で、マルチメディアプロセッサ３３は、イメージセンサ３１から、赤外光点灯時の画像データを取得して、メインＲＡＭに格納する。

ここで、本実施の形態では、イメージセンサ３１の例として、３２ピクセル×３２ピクセルのＣＭＯＳイメージセンサを使用する。従って、イメージセンサ３１からは、画像データとして、３２ピクセル×３２ピクセルのピクセルデータが出力される。このピクセルデータは、Ａ／Ｄコンバータにより、デジタルデータに変換されて、メインＲＡＭ上の二次元配列Ｐ１［Ｘ］［Ｙ］の要素として格納される。

ステップＳ４５で、マルチメディアプロセッサ３３は、赤外発光ダイオード１５を消灯する。ステップＳ４７にて、マルチメディアプロセッサ３３は、イメージセンサ３１から、赤外光消灯時の画像データ（３２ピクセル×３２ピクセルのピクセルデータ）を取得して、メインＲＡＭに格納する。この場合、このピクセルデータは、メインＲＡＭ上の二次元配列Ｐ２［Ｘ］［Ｙ］の要素として格納される。

以上のようにして、ストロボ撮影が行われる。本実施の形態では、３２ピクセル×３２ピクセルのイメージセンサ３１を用いているため、Ｘ＝０〜３１、Ｙ＝０〜３１である。

図１３は、図１１のステップＳ２３におけるシート検出処理の流れの一例を示すフローチャートである。図１３に示すように、ステップＳ６１にて、マルチメディアプロセッサ３３は、赤外光発光時のピクセルデータＰ１［Ｘ］［Ｙ］と、赤外光消灯時のピクセルデータＰ２［Ｘ］［Ｙ］と、の差分を算出して、配列Ｄｉｆ［Ｘ］［Ｙ］に代入する。ステップＳ６３にて、マルチメディアプロセッサ３３は、３２×３２ピクセル分の差分を算出した場合は、ステップＳ６５に進み、そうでなければ、ステップＳ６１に戻る。このように、マルチメディアプロセッサ３３は、ステップＳ６１の処理を繰り返して、赤外光発光時の画像データと、赤外光消灯時の画像データと、の差分画像データを生成する。このように、差分画像データ（差分画像）を求めることで、再帰反射シート９Ｌ及び９Ｒからの反射光以外の光によるノイズを極力除去でき、再帰反射シート９Ｌ及び９Ｒを精度良く検出できる。

ステップＳ６５にて、マルチメディアプロセッサ３３は、図８で説明した左右上下端（ｍｉｎＸ、ｍａｘＸ、ｍｉｎＹ、ｍａｘＹ）検出処理を実行する。

図１４は、図１３のステップＳ６５における左右上下端検出処理の流れの一例を示すフローチャートである。図１４に示すように、ステップＳ９１にて、マルチメディアプロセッサ３３は、「Ｘ」、「Ｙ」、「ｍａｘＸ」、「ｍａｘＹ」、「ｋ」、及び「ＳＮ」に「０」を代入する。また、マルチメディアプロセッサ３３は、「ｍｉｎＸ」及び「ｍｉｎＹ」に「３１」を代入する。

ステップＳ９３にて、マルチメディアプロセッサ３３は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素を所定の閾値ＴｈＬと比較する。ステップＳ９５にて、マルチメディアプロセッサ３３は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素が所定の閾値ＴｈＬより大きい場合は、ステップＳ９７に進み、所定の閾値ＴｈＬ以下の場合は、ステップＳ１２１に進む。

ステップＳ９３，Ｓ９５の処理は、再帰反射シート９Ｌ，９Ｒが撮影されたか否かを検出するための処理である。再帰反射シート９Ｌ，９Ｒが撮影されると、差分画像上では、再帰反射シート９Ｌ，９Ｒに相当するピクセルの輝度値が大きくなる。このため、閾値ＴｈＬにより、輝度値の大小を峻別して、閾値ＴｈＬより大きい輝度値を持つピクセルを、撮影された再帰反射シート９Ｌ，９Ｒの一部であると認識する。

ステップＳ９７にて、マルチメディアプロセッサ３３は、カウント値ｋを１つインクリメントする。ステップＳ９９にて、マルチメディアプロセッサ３３は、カウント値ｋが「１」か否かを判断し、ｋ＝１であれば、ステップＳ１０１に進み、それ以外では、ステップＳ１０３に進む。

ステップＳ１０１では、マルチメディアプロセッサ３３は、最小Ｙ座標ｍｉｎＹに、現在のＹ座標を代入する。つまり、スキャンは、（Ｘ，Ｙ）＝（０，０）から開始して、Ｘ＝０〜３１まで行い、Ｙをインクリメントして、再び、Ｘ＝０〜３１まで行う、という処理を繰り返すので（後述のステップＳ１２１〜Ｓ１２９参照）、最初に閾値ＴｈＬを超えた要素（つまりピクセル）を持つ配列Ｄｉｆ［Ｘ］［Ｙ］の「Ｙ」が最小Ｙ座標ｍｉｎＹとなる。

ステップＳ１０３では、マルチメディアプロセッサ３３は、現在の最大Ｙ座標ｍａｘＹと現在のＹ座標とを比較する。ステップＳ１０５にて、マルチメディアプロセッサ３３は、現在の最大Ｙ座標ｍａｘＹより現在のＹ座標が大きい場合は、ステップＳ１０７に進み、それ以外はステップＳ１０９に進む。ステップＳ１０７では、マルチメディアプロセッサ３３は、最大Ｙ座標ｍａｘＹに、現在のＹ座標を代入する。

ステップＳ１０９では、マルチメディアプロセッサ３３は、現在の最小Ｘ座標ｍｉｎＸと現在のＸ座標とを比較する。ステップＳ１１１にて、マルチメディアプロセッサ３３は、現在の最小Ｘ座標ｍｉｎＸより現在のＸ座標が小さい場合は、ステップＳ１１３に進み、それ以外はステップＳ１１５に進む。ステップＳ１１３では、マルチメディアプロセッサ３３は、最小Ｘ座標ｍｉｎＸに、現在のＸ座標を代入する。

ステップＳ１１５では、マルチメディアプロセッサ３３は、現在の最大Ｘ座標ｍａｘＸと現在のＸ座標とを比較する。ステップＳ１１７にて、マルチメディアプロセッサ３３は、現在の最大Ｘ座標ｍａｘＸより現在のＸ座標が大きい場合は、ステップＳ１１９に進み、それ以外はステップＳ１２１に進む。ステップＳ１１９では、マルチメディアプロセッサ３３は、最大Ｘ座標ｍａｘＸに、現在のＸ座標を代入する。

ステップＳ１２１では、マルチメディアプロセッサ３３は、「Ｘ」を１つインクリメントする。ステップＳ１２３にて、マルチメディアプロセッサ３３は、Ｘ＝３２のときは（つまり、差分画像のピクセル１行分の処理が終了したときは）ステップＳ１２５に進み、それ以外はステップＳ９３に進む。

ステップＳ１２５では、マルチメディアプロセッサ３３は、「Ｘ」に「０」を代入する。ステップＳ１２７にて、マルチメディアプロセッサ３３は、「Ｙ」を１つインクリメントする。ステップＳ１２５，Ｓ１２７の処理は、差分画像の１行分の処理が終了したため、次の１行分の処理を進めるために実行される。

ステップＳ１２９にて、マルチメディアプロセッサ３３は、Ｙ＝３２のときは（つまり、差分画像の３２×３２ピクセル分の処理が終了したときは）、ステップＳ１３１に進み、それ以外はステップＳ９３に進む。

上記ステップＳ９３〜Ｓ１２９を繰り返すことにより、Ｙ＝３２となった時点で、最小Ｘ座標ｍｉｎＸ、最大Ｘ座標ｍａｘＸ、最小Ｙ座標ｍｉｎＹ、及び最大Ｙ座標ｍａｘＹが全て確定する。

ステップＳ１３１では、「ｍａｘＸ」、「ｍａｘＹ」、「ｍｉｎＸ」及び「ｍｉｎＹ」が初期値のままであるか否かを判断し、初期値の場合はステップＳ１３３に進み、それ以外はリターンする。「ｍａｘＸ」、「ｍａｘＹ」、「ｍｉｎＸ」及び「ｍｉｎＹ」の全てが初期値ということは、差分画像の全ピクセルが閾値ＴｈＬ以下であり、再帰反射シート９Ｌ及び９Ｒが撮影されなかったことを意味する。従って、ステップＳ１３３では、マルチメディアプロセッサ３３は、撮影された再帰反射シートの数を示すシート数フラグＳＮに「０１」（撮影された再帰反射シートの数が０であることを示す。）を代入する。そして、ステップＳ１３５にて、マルチメディアプロセッサ３３は、左オープンフラグＯＬ及び右オープンフラグＯＲをオフにして、図１３のステップＳ７７に進む。左オープンフラグＯＬ及び右オープンフラグＯＲは、それぞれ、再帰反射シート９Ｌ及び９Ｒが撮影されたことを示すフラグである。

図１３に戻って、ステップＳ６７にて、マルチメディアプロセッサ３３は、図８で説明した２点位置（第１抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）、第２抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］））の決定処理を実行する。

図１５は、図１３のステップＳ６７における２点位置決定処理の流れの一例を示すフローチャートである。図１５に示すように、マルチメディアプロセッサ３３は、ステップＳ１５１にて、「Ｍ」に「０」を代入して、ステップＳ１５３からステップＳ１８５までの処理を繰り返す。ここで、ステップＳ１５３に示すように、一回目のループのときは、Ｙｔｂ＝ｍｉｎＹ、二回目のループのときは、Ｙｔｂ＝ｍａｘＹ、である。ステップＳ１５５にて、マルチメディアプロセッサ３３は、座標（ｍｉｎＸ，Ｙｔｂ）を始点としてスキャンを開始する。

ステップＳ１５７にて、マルチメディアプロセッサ３３は、カウント値Ｃｌに「０」を代入する。ステップＳ１５９にて、マルチメディアプロセッサ３３は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ１６５に進み、それ以外は、ステップＳ１６１に進む。ステップＳ１６１では、マルチメディアプロセッサ３３は、カウント値Ｃｌを１つインクリメントする。ステップＳ１６３にて、マルチメディアプロセッサ３３は、座標Ｘを１つインクリメントして、ステップＳ１５９に進む。

ステップＳ１５９で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｌは、図８の距離ＬＴあるいはＬＢに相当する。ステップＳ１５５で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｌ＝ＬＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｌ＝ＬＢである。

ステップＳ１６５にて、マルチメディアプロセッサ３３は、座標（ｍａｘＸ，Ｙｔｂ）を始点としてスキャンを開始する。ステップＳ１６７にて、マルチメディアプロセッサ３３は、カウント値Ｃｒに「０」を代入する。ステップＳ１６９にて、マルチメディアプロセッサ３３は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ１７５に進み、それ以外は、ステップＳ１７１に進む。ステップＳ１７１では、マルチメディアプロセッサ３３は、カウント値Ｃｒを１つインクリメントする。ステップＳ１７３にて、マルチメディアプロセッサ３３は、座標Ｘを１つデクリメントして、ステップＳ１６９に進む。

ステップＳ１６９で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｒは、図８の距離ＲＴあるいはＲＢに相当する。ステップＳ１６５で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｒ＝ＲＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｒ＝ＲＢである。

ステップ１７５では、マルチメディアプロセッサ３３は、距離ＣｌとＣｒとを比較する。ステップＳ１７７にて、距離Ｃｌが距離Ｃｒより大きい場合は、ステップＳ１７９に進み、それ以外は、ステップＳ１８１に進む。

ステップＳ１８１では、「Ｘｔｐ［Ｍ］」に「ｍｉｎＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。一方、ステップＳ１７９では、「Ｘｔｐ［Ｍ］」に「ｍａｘＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。

ここで、座標（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図８で説明した第１抽出点の座標であり、座標（Ｘｔｐ［１］，Ｙｔｐ［１］）は、第２抽出点の座標である。

ステップＳ１８３では、マルチメディアプロセッサ３３は、「Ｍ」を１つインクリメントして、ステップＳ１８５へ進む。ステップＳ１５３からステップＳ１８５までのループが終了するとリターンする。

図１３に戻って、ステップＳ６９にて、マルチメディアプロセッサ３３は、第１抽出点及び第２抽出点に左右を割り当てる処理を実行する。

図１６は、図１３のステップＳ６９における左右決定処理の流れの一例を示すフローチャートである。なお、再帰反射シート９Ｌの位置を左抽出点、再帰反射シート９Ｒの位置を右抽出点と呼ぶ。

図１６に示すように、ステップＳ２０１にて、マルチメディアプロセッサ３３は、過去（前回及び前々回）の左抽出点の位置（ＸＬ，ＹＬ）からの今回の左抽出点の位置（Ｘｎｌ，Ｙｎｌ）を予測する。ステップＳ２０３にて、マルチメディアプロセッサ３３は、過去（前回及び前々回）の右抽出点の位置（ＸＲ，ＹＲ）からの今回の右抽出点の位置（Ｘｎｒ，Ｙｎｒ）を予測する。ここで、左抽出点（Ｘｎｌ，Ｙｎｌ）は、図９の予測位置ＴＰＬｐに相当し、右抽出点の位置（Ｘｎｒ，Ｙｎｒ）は、予測位置ＴＰＲｐに相当する。

ステップＳ２０５にて、マルチメディアプロセッサ３３は、「Ｍ」に「０」を代入する。ステップＳ２０７にて、マルチメディアプロセッサ３３は、予測位置（Ｘｎｌ，Ｙｎｌ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｌを算出する。ステップＳ２０９にて、マルチメディアプロセッサ３３は、予測位置（Ｘｎｒ，Ｙｎｒ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｒを算出する。

ここで、抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図１５のルーチンで求めた第１抽出点であり、抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］）は、図１５のルーチンで求めた第２抽出点である。Ｍ＝０のときは、距離Ｄｌは、図９の距離ＬＤ１に相当し、距離Ｄｒは、距離ＲＤ１に相当する。Ｍ＝１のときは、距離Ｄｌは、図９の距離ＬＤ２に相当し、距離Ｄｒは、距離ＲＤ２に相当する。

ステップＳ２１１にて、マルチメディアプロセッサ３３は、距離Ｄｌと距離Ｄｒとを比較する。ステップＳ２１３にて、マルチメディアプロセッサ３３は、Ｄｌ＞ＤｒならばステップＳ２１５に進み、それ以外はステップＳ２１７に進む。

ステップＳ２１７では、マルチメディアプロセッサ３３は、今回の左抽出点の位置（ＸＬ，ＹＬ）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。

一方、ステップＳ２１５では、マルチメディアプロセッサ３３は、今回の右抽出点の位置（ＸＲ，ＹＲ）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。

ステップＳ２１９では、マルチメディアプロセッサ３３は、「Ｍ」を１つインクリメントする。ステップＳ２２１にて、マルチメディアプロセッサ３３は、Ｍ＝２か否かを判断し、Ｍ＝２であればリターンし、それ以外はステップＳ２０７に進む。

図１３に戻って、ステップＳ７１にて、マルチメディアプロセッサ３３は、左抽出点（ＸＬ，ＹＬ）と右抽出点（ＸＲ，ＹＲ）との中点（ＸＭ，ＹＭ）を算出する。

そして、ステップＳ７３にて、マルチメディアプロセッサ３３は、検出した再帰反射シートの数を決定する処理を実行する。

図１７は、図１３のステップＳ７３における検出シート数決定処理の流れの一例を示すフローチャートである。図１７を参照して、ステップＳ２４１にて、マルチメディアプロセッサ３３は、左抽出点のＹ座標ＹＬと右抽出点のＹ座標ＹＲとを比較する。ステップＳ２４３にて、マルチメディアプロセッサ３３は、Ｙ座標ＹＬが大きい場合は、ステップＳ２５１に進み、それ以外はステップＳ２４７に進む。

ステップＳ２５１では、マルチメディアプロセッサ３３は、差分画像を、その右上がりの対角線に沿ってスキャンする。一方、ステップＳ２４７では、マルチメディアプロセッサ３３は、差分画像を、その右下がりの対角線に沿ってスキャンする。

ステップＳ２５３では、マルチメディアプロセッサ３３は、ステップＳ２４７又はＳ２５１でのスキャンの結果、閾値ＴｈＬ以下のピクセルを検出した場合は、２つの再帰反射シート９Ｌ及び９Ｒが撮影されたとみなして、ステップＳ２５５に進み、閾値ＴｈＬ以下のピクセルを検出しなかった場合は、再帰反射シート９Ｌ及び９Ｒのうちのいずれか一方のみが検出されたとみなして、ステップＳ２５９に進む。

ステップＳ２５５では、マルチメディアプロセッサ３３は、シート数フラグＳＮに「１１」（２つの再帰反射シート９Ｌ及び９Ｒが撮影されたことを示す。）をセットする。そして、ステップＳ２５７にて、マルチメディアプロセッサ３３は、左オープンフラグＯＬ及び右オープンフラグＯＲをオンする。一方、ステップＳ２５９では、マルチメディアプロセッサ３３は、シート数フラグＳＮに「１０」（再帰反射シート９Ｌ及び９Ｒのうちのいずれか一方のみが撮影されたことを示す。）をセットする。

図１３に戻って、ステップＳ７５にて、マルチメディアプロセッサ３３は、再帰反射シート９Ｌ及び９Ｒのうちのいずれか一方のみが撮影された場合に、どちらが撮影されたかを特定する処理（１点特定処理）を実行する。

図１８は、図１３のステップＳ７５における一点特定処理の流れの一例を示すフローチャートである。図１８を参照して、ステップＳ２７１にて、マルチメディアプロセッサ３３は、シート数フラグＳＮが「１０」か否か、つまり、再帰反射シート９Ｌ及び９Ｒのうちのいずれか一方のみが撮影されたか否かを判断して、ＹＥＳの場合、左右どちらの再帰反射シートかを特定するためにステップＳ２７３に進み、それ以外はリターンする。

ステップＳ２７３にて、マルチメディアプロセッサ３３は、予測位置（Ｘｎｌ，Ｙｎｌ）と中点（ＸＭ，ＹＭ）との間の距離Ｄｌｍを算出する。ステップＳ２７５にて、マルチメディアプロセッサ３３は、予測位置（Ｘｎｒ，Ｙｎｒ）と中点（ＸＭ，ＹＭ）との間の距離Ｄｒｍを算出する。なお、中点（ＸＭ，ＹＭ）は、図１３のステップＳ７１で求めたものである。また、予測位置（Ｘｎｌ，Ｙｎｌ）は、図１６のステップＳ２０１で求めたものである。予測位置（Ｘｎｒ，Ｙｎｒ）は、図１６のステップＳ２０３で求めたものである。

ステップＳ２７７にて、マルチメディアプロセッサ３３は、距離Ｄｌｍと距離Ｄｒｍとを比較する。ステップＳ２７９にて、マルチメディアプロセッサ３３は、Ｄｌｍ＞ＤｒｍならばステップＳ２８１に進み、それ以外はステップＳ２８５に進む。

ステップＳ２８１では、マルチメディアプロセッサ３３は、今回の左抽出点の位置（ＸＬ，ＹＬ）を、座標（０，０）とし、今回の右抽出点の位置（ＸＲ，ＹＲ）を、座標（ＸＭ，ＹＭ）とする。そして、ステップＳ２８３にて、マルチメディアプロセッサ３３は、左オープンフラグＯＬをオフにし、右オープンフラグＯＲをオンにして、リターンする。

一方、ステップＳ２８５では、マルチメディアプロセッサ３３は、今回の左抽出点の位置（ＸＬ，ＹＬ）を、座標（ＸＭ，ＹＭ）とし、今回の右抽出点の位置（ＸＲ，ＹＲ）を、座標（０，０）とする。そして、ステップＳ２８７にて、マルチメディアプロセッサ３３は、左オープンフラグＯＬをオンにし、右オープンフラグＯＲをオフにして、リターンする。

図１３に戻って、ステップＳ７７にて、マルチメディアプロセッサ３３は、左抽出点（ＸＬ，ＹＬ）及び右抽出点（ＸＲ，ＹＲ）をスクリーン座標に変換してリターンする。なお、図１４のステップＳ１３５に続く場合は、マルチメディアプロセッサ３３は、左抽出点（ＸＬ，ＹＬ）及び右抽出点（ＸＲ，ＹＲ）をそれぞれ（０，０）として、スクリーン座標に変換する。

次に、図１１のステップＳ２５のグリップ判定処理の詳細を説明する。

図１９は、図１１のステップＳ２５におけるグリップ判定処理の流れの一例を示すフローチャートである。図１９を参照して、ステップＳ３０１にて、マルチメディアプロセッサ３３は、左グリップトリガ及び右グリップトリガをオフにする。左グリップトリガは、再帰反射シート９Ｌが撮影状態から非撮影状態に変化した時に（使用者がグローブ７Ｌを装着した左手を握り締めることに相当）にオンするフラグのことである。右グリップトリガは、再帰反射シート９Ｒが撮影状態から非撮影状態に変化した時に（使用者がグローブ７Ｒを装着した左手を握り締めることに相当）にオンするフラグのことである。

ステップＳ３０３にて、マルチメディアプロセッサ３３は、左オープンフラグＯＬがオンからオフへ遷移したか否かを判断し、遷移した場合は、使用者が左手を握り締めたとみなしてステップＳ３０５に進み、それ以外はステップＳ３０７に進む。ステップＳ３０５では、マルチメディアプロセッサ３３は、左グリップトリガをオンにする。

ステップＳ３０７では、マルチメディアプロセッサ３３は、右オープンフラグＯＲがオンからオフへ遷移したか否かを判断し、遷移した場合は、使用者が右手を握り締めたとみなしてステップＳ３０９に進み、それ以外はリターンする。ステップＳ３０９では、マルチメディアプロセッサ３３は、右グリップトリガをオンにしてリターンする。

次に、図１１のステップＳ２９で主に実行される脳トレーニング処理をフローチャートを用いて説明する。ただし、図１０や図１１のように、ビデオ同期信号に同期する形式のフローチャートではなく、理解の容易のため、トレーニングの流れ（遷移）を表したフローチャートで説明する。

図２０は、図４のマルチメディアプロセッサ３３によるトレーニングの流れの一例を示すフローチャートである。図２０を参照して、ステップＳ４００にて、マルチメディアプロセッサ３３は、テレビジョンモニタ１１に難易度選択画面を表示する。本実施の形態では、難易度は三段階（難しい、普通、易しい）で用意される。ステップＳ４０２にて、マルチメディアプロセッサ３３は、テレビジョンモニタ１１に操作説明画面を表示する。ステップＳ４０４にて、マルチメディアプロセッサ３３は、脳トレーニングのための各種処理を実行する。

図２１は、図２０のステップＳ４０４の脳トレーニング処理の流れの一例を示すフローチャートである。図２１を参照して、ステップＳ４２０にて、マルチメディアプロセッサ３３は、複数の課題配置テーブルから１つの課題配置テーブルをランダムに（乱数を発生して）選択する。課題配置テーブルは、５問の中に、シルエットによる課題４７と文字列による課題４７とをどのように配分するかを規定したテーブルである。

ステップＳ４２２にて、マルチメディアプロセッサ３３は、選択した課題配置テーブルにおいて、ポインタが指し示している課題４７のカテゴリ（シルエット又は文字列）に属する複数の課題４７から、１つの課題４７をランダムに（乱数を発生して）選択する。そして、上記ポインタを１つ進める。

ステップＳ４２４にて、マルチメディアプロセッサ３３は、選択した課題４７に対応して用意された複数のカード配置テーブルから１つのカード配置テーブルをランダムに（乱数を発生して）選択する。カード配置テーブルは、選択された課題４７の解答である特定のものを表す文字列を構成する文字を付したカード４５の順番を規定したテーブルである。つまり、各文字の並びを規定している。

ステップＳ４２６にて、マルチメディアプロセッサ３３は、ステップＳ４２２で選択した課題４７を表示すると共に、ステップＳ４２４で選択したカード配置テーブルが示す並びで各カード４５を表示する（図５参照）。また、マルチメディアプロセッサ３３は、トレーニング画面を構成するその他の画像要素（経過時間表示部５４やカーソル４１Ｌ及び４１Ｒ等）を表示する。

ステップＳ４２８にて、マルチメディアプロセッサ３３は、カード４５にカーソル４１Ｌ又は４１Ｒのいずれかが重なっているか否かを判断し、重なっている場合はステップＳ４３０に進み、重なっていない場合はステップＳ４３２に進む。ステップＳ４３０では、マルチメディアプロセッサ３３は、重複判定（ステップＳ４２８）の対象となったカード４５に対応するフラグ（カードフラグ）をオンにする。一方、ステップＳ４３２では、マルチメディアプロセッサ３３は、重複判定（ステップＳ４２８）の対象となったカード４５に対応するフラグ（カードフラグ）をオフにする。そして、ステップＳ４３４では、表示された全てのカード４５に対して、重複判定（ステップＳ４２８）が完了したか否かを判断し、完了していない場合はステップＳ４２８に戻り、完了した場合はステップＳ４３６に進む。ここで、重複判定（ステップＳ４２８）は、左端のカード４５から順番に実行される。

ステップＳ４３６では、マルチメディアプロセッサ３３は、オンのカードフラグに対応するカード４５のみに黄色の枠４４を表示する。だだし、オンのカードフラグが２つ存在する場合は、より後にオンになったカードフラグに対応するカード４５のみに黄色の枠４４を表示する。この場合、「後」とは、重複判定（ステップＳ４２８）の一巡を１サイクルとすると、１サイクル内での「後」を意味するのではなく、サイクル間の「後」を意味する。

ステップＳ４３８にて、マルチメディアプロセッサ３３は、黄色の枠４４が付されたカード４５に重なっているカーソル４１（４１Ｌ又は４１Ｒ）に対応する抽出点（左抽出点又は右抽出点）が消失したか否かを判断し、つまり、黄色の枠４４が付されたカード４５が握られたか否かを判断し、握られたと判断した場合はステップＳ４４０に進み、それ以外はステップＳ４２８に戻る。つまり、カーソル４１がカード４５に重なった状態の直後に、再帰反射シート９の像が得られなかった場合に、当該カード４５が握られた判定される。ここで、「重なった状態の直後」における「重なった状態」とは、重なったことが検出されている状態が維持されている状態を含む。

ステップＳ４４０では、マルチメディアプロセッサ３３は、課題４７の解答である特定のものを表す文字列に照らして、当該カード４５が正しい順番で握られたか否かを判断し、正しい順番で握られたと判断した場合ステップＳ４４４に進み、正しくない順番で握られたと判断した場合ステップＳ４４２に進む。ステップＳ４４２にて、マルチメディアプロセッサ３３は、正しいカード４５に赤枠を一定時間だけ表示し、ステップＳ４２８に戻る。一方、ステップＳ４４４にて、マルチメディアプロセッサ３３は、白色の枠５３に、握られたカード４５に付された文字を表示する。

ステップＳ４４６にて、マルチメディアプロセッサ３３は、握られたカード４５が最後（右端）のカード４５か否かを判定し、最後でない場合はステップＳ４４８に進み、最後の場合ステップＳ４５０に進む。ステップＳ４４８では、マルチメディアプロセッサ３３は、白色の枠５３を右隣のアンダーライン５１上に移動して、ステップＳ４２８に戻る。一方、ステップＳ４５０では、マルチメディアプロセッサ３３は、白色の枠５３を消去する。そして、ステップＳ４５２にて、マルチメディアプロセッサ３３は、正解画面（図７参照）を表示する。

ステップＳ４５４にて、マルチメディアプロセッサ３３は、全問終了したか否かを判断し、終了していない場合ステップＳ４２２に進み、終了した場合ステップＳ４５６に進む。なお、ステップＳ４５４で、「ＹＥＳ」が判断されたということは、全てのカード４５が正しい順番で握られたことを意味する。そして、ステップＳ４５６にて、マルチメディアプロセッサ３３は、評価を含む結果画面を表示して、処理を終了する。

さて、以上のように、本実施の形態によれば、使用者は、提示された課題４７に応じて、ばらばらに並べられたカード４５を頭の中で正しく並べなおし、カーソル４１を操作して、並べなおした順番で、カード４５を選択していき、解答を導出しなければならない。このような使用者の動作により、使用者の脳と体の神経伝達系統が刺激され、反射神経や思考力を鍛えることができる。また、使用者は、画面に触れることなく空中でグローブ７を操作するので、空間認識による新しい脳機能の活性化を期待できる。

また、選択されたカード４５に付された文字がアンダーライン５１上に表示されるので、使用者は、自身が選択したカード４５を記憶しておく必要がなく、カード４５の並べ替えだけに集中できる。さらに、課題４７の解答である特定のものをシルエット画像又は文字列により提示することで、使用者に対して、その特定のものを推理させることができる。

また、使用者は、手の平を開いた状態でカーソル４１を移動し、カード４５に重ね、そして、手を握り締めて、再帰反射シート９を隠すことにより、カード４５を選択することができる。つまり、使用者は、カーソル４１をカード４５まで動かし、手を握り締めることによって、カード４５を選択することができる。従って、使用者は、あたかもカード４５を握るかのような操作によって入力を与えることができる。

さらに、本実施の形態では、再帰反射シート９が照射された赤外光を再帰反射するので、撮像画像によりはっきりと再帰反射シート９の像が写り込み、再帰反射シート９の検出が容易になる。さらに、点灯時及び消灯時の差分画像に基づき再帰反射シート９を検出するので、再帰反射シート９からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート９を検出できる。

また、本実施の形態では、発光手段として赤外発光ダイオード１５を設け、さらに、イメージセンサ３１は赤外線フィルタ１７を介して赤外光のみに応答する。このように、イメージセンサ３１は、赤外光以外の光には応答せず、赤外光以外の光を含む移動光源および点滅光源（蛍光灯など）等のノイズ光源を除去することが可能となる。

なお、本考案は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。

（１）カード４５の枚数は、解答である特定のものを表す文字列を構成する文字数に一致させる必要はなく、それより多いカード４５を表示することもできる。この場合は、不要なカード４５があるので難易度を高くできる。さらに、カード４５には、文字を付したが、課題４７の内容によっては、数字、記号、図形、絵柄、模様若しくは色彩又はそれらの全部又は一部の組み合わせであってもよい。さらに、カード４５の選択は、カード４５を握ることにより行ったが、カーソル４１が一定時間カード４５に重なったことをもって、そのカード４５が選択されたと判断することもできる。トレーニングの難易度は、カード４５の枚数でも調整できる。枚数が多いほど難しく、少ないほど易しくなる。

（２）上記のストロボ撮影（赤外発光ダイオード１５の点滅）及び差分処理は、好適な例を示しただけであって、本発明に必須の要素ではない。つまり、赤外発光ダイオード１５は、点滅させなくてもよいし、また、赤外発光ダイオード１５がなくてもよい。照射する光は赤外光に限られない。また、再帰反射シート９は本発明に必須の要素ではなく、撮像画像を解析して、身体の特定部位（例えば手）が検知できればよい。撮像素子は、イメージセンサに限られず、ＣＣＤなどの他の撮像素子を使用できる。

本考案の実施の形態による脳トレーニングシステムの全体構成を示す図である。 図１のアダプタ１及びカートリッジ３の斜視図である。 図１のグローブ７Ｌ，７Ｒの説明図である。 図１のアダプタ１及びカートリッジ３の電気的構成を示す図である。 開始時のトレーニング画面の例示図である。 選択時のトレーニング画面の例示図である。 正答時のトレーニング画面の例示図である。 再帰反射シート９Ｌ及び９Ｒの検出処理の説明図である。 左右決定処理の説明図である。 図４のマルチメディアプロセッサ３３による全体処理の流れの一例を示すフローチャートである。 図１０のステップＳ３におけるアプリケーションプログラムによる処理の主要部分の流れの一例を示すフローチャートである。 図１１のステップＳ２１における撮影処理の流れの一例を示すフローチャートである。 図１１のステップＳ２３におけるシート検出処理の流れの一例を示すフローチャートである。 図１３のステップＳ６５における左右上下端検出処理の流れの一例を示すフローチャートである。 図１３のステップＳ６７における２点位置決定処理の流れの一例を示すフローチャートである。 図１３のステップＳ６９における左右決定処理の流れの一例を示すフローチャートである。 図１３のステップＳ７３における検出シート数決定処理の流れの一例を示すフローチャートである。 図１３のステップＳ７５における一点特定処理の流れの一例を示すフローチャートである。 図１１のステップＳ２５におけるグリップ判定処理の流れの一例を示すフローチャートである。 図４のマルチメディアプロセッサ３３によるトレーニングの流れの一例を示すフローチャートである。 図２０のステップＳ４０４の脳トレーニング処理の流れの一例を示すフローチャートである。

符号の説明

１…アダプタ、３…カートリッジ、５…撮像ユニット、１１…テレビジョンモニタ、７Ｌ，７Ｒ…グローブ、９Ｌ，９Ｒ…再帰反射シート、３１…イメージセンサ、３３…マルチメディアプロセッサ、３５…外部メモリ、１５…赤外発光ダイオード。

Claims (8)

1. 表示装置に接続して使用される脳トレーニング装置であって、
   使用者が操作する被写体を撮像する撮像手段と、
   前記被写体の動きに連動するカーソル及び各々が選択の対象である複数の選択画像を前記表示装置に表示し、かつ、映像及び／又は音声により前記使用者に課題を提示するプロセッサと、を備え、
   前記課題の解答は、表示された前記複数の選択画像のうちの全部又は一部の表記の順番を並べ替えることで得られるものであり、
   前記各選択画像の前記表記は、文字、数字、記号、図形、絵柄、模様若しくは色彩又はそれらの全部又は一部の組み合わせを含み、
   前記プロセッサは、少なくとも前記カーソルが前記選択画像に重なったことを条件として当該選択画像が選択されたと認識し、前記選択画像の選択の順番が、前記課題に対応して予め定められた順番に該当する場合に正解と判定する、脳トレーニング装置。
2. 前記プロセッサは、選択された前記選択画像の前記表記と実質的に同一の表記を含む画像を選択された順番に並べて前記表示装置に表示する、請求項１記載の脳トレーニング装置。
3. 前記課題は、文字列又はシルエット画像を含む、請求項１又は２記載の脳トレーニング装置。
4. 前記プロセッサは、前記カーソルが前記選択画像に重なった状態の直後に、前記被写体の像が得られなかった場合に、当該選択画像が選択されたと判定する、請求項１から３のいずれかに記載の脳トレーニング装置。
5. 前記被写体は、光を再帰反射する再帰反射体である、請求項１から４のいずれかに記載の脳トレーニング装置。
6. 前記撮像手段は、光を間欠的に照射する発光手段を含む、請求項５に記載の脳トレーニング装置。
7. 前記発光手段が照射する前記光は、赤外光である、請求項６に記載の脳トレーニング装置。
8. 前記再帰反射体は、前記使用者の手の平に装着される、請求項５に記載の脳トレーニング装置。