JP3138145U - 脳トレーニング装置 - Google Patents
脳トレーニング装置 Download PDFInfo
- Publication number
- JP3138145U JP3138145U JP2007007799U JP2007007799U JP3138145U JP 3138145 U JP3138145 U JP 3138145U JP 2007007799 U JP2007007799 U JP 2007007799U JP 2007007799 U JP2007007799 U JP 2007007799U JP 3138145 U JP3138145 U JP 3138145U
- Authority
- JP
- Japan
- Prior art keywords
- multimedia processor
- image
- brain training
- user
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】撮像画像に写りこんだ被写体の像に基づいて課題に対する正誤を判定する新規な脳トレーニング装置を提供する。
【解決手段】使用者が装着したグローブに取り付けられた再帰反射シートを撮像する撮像ユニットと、再帰反射シートの動きに連動するカーソル41L,41R及び各々が選択の対象である複数のカード45を表示し、かつ、シルエットにより使用者に課題47を提示するマルチメディアプロセッサと、を備える。使用者は、提示された課題47が表す特定のものを推理し、ばらばらに並べられたカード45を頭の中で正しく並べなおし、カーソル41L又は41Rを操作して、並べなおした順番で、カード45を選択していき、解答を導出する。
【選択図】図5
【解決手段】使用者が装着したグローブに取り付けられた再帰反射シートを撮像する撮像ユニットと、再帰反射シートの動きに連動するカーソル41L,41R及び各々が選択の対象である複数のカード45を表示し、かつ、シルエットにより使用者に課題47を提示するマルチメディアプロセッサと、を備える。使用者は、提示された課題47が表す特定のものを推理し、ばらばらに並べられたカード45を頭の中で正しく並べなおし、カーソル41L又は41Rを操作して、並べなおした順番で、カード45を選択していき、解答を導出する。
【選択図】図5
Description
本考案は、表示装置を使用する脳トレーニング装置及びその関連技術に関する。
本件出願人による特許文献1に開示されているゴルフゲームシステムは、ゲーム機及びゴルフクラブ型入力装置を含み、ゲーム機のハウジングの内部には撮像ユニットが収納され、この撮像ユニットは、イメージセンサ及び赤外発光ダイオード等から構成される。赤外発光ダイオードによって撮像ユニットの前方の所定範囲に赤外光が間欠的に照射され、したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる入力装置の速度などを計算する。このように、ストロボスコープを用いてゲーム機にリアルタイムで入力を与えることができる。
ところで、近年、脳を鍛えるゲーム機が数多く売り出されている。
本考案の目的は、撮像画像に写りこんだ被写体の像に基づいて課題に対する正誤を判定する新規な脳トレーニング装置及びその関連技術を提供することである。
本考案の形態によると、脳トレーニング装置は、表示装置に接続して使用される脳トレーニング装置であって、使用者が操作する被写体を撮像する撮像手段と、前記被写体の動きに連動するカーソル及び各々が選択の対象である複数の選択画像を前記表示装置に表示し、かつ、映像及び/又は音声により前記使用者に課題を提示するプロセッサと、を備え、前記課題の解答は、表示された前記複数の選択画像のうちの全部又は一部の表記の順番を並べ替えることで得られるものであり、前記各選択画像の前記表記は、文字、数字、記号、図形、絵柄、模様若しくは色彩又はそれらの全部又は一部の組み合わせを含み、前記プロセッサは、少なくとも前記カーソルが前記選択画像に重なったことを条件として当該選択画像が選択されたと認識し、前記選択画像の選択の順番が、前記課題に対応して予め定められた順番に該当する場合に正解と判定する。
この構成によれば、使用者は、提示された課題に応じて、ばらばらに並べられた選択画像を頭の中で正しく並べ直し、カーソルを操作して、並べなおした順番で、選択画像を選択していき、解答を導出しなければならない。このような使用者の動作により、使用者の脳と体の神経伝達系統が刺激され、反射神経や思考力を鍛えることができる。また、使用者は、画面に触れることなく空中で被写体を操作するので、空間認識による新しい脳機能の活性化を期待できる。
この脳トレーニング装置において、前記プロセッサは、選択された前記選択画像の前記表記と実質的に同一の表記を含む画像を選択された順番に並べて前記表示装置に表示する。
この構成によれば、使用者は、自身が選択した選択画像を記憶しておく必要がなく、選択画像の並べ替えだけに集中できる。
上記脳トレーニング装置において、前記課題は、文字列又はシルエット画像を含む。
この構成によれば、文字列によって特定のものを指し示すことにより、あるいは、特定のもののシルエット画像により、使用者に対して、その特定のものを推理させることができる。
上記脳トレーニング装置において、前記プロセッサは、前記カーソルが前記選択画像に重なった状態の直後に、前記被写体の像が得られなかった場合に、当該選択画像が選択されたと判定する。
この構成によれば、例えば、使用者が手の平に被写体を装着している場合、使用者は、手の平を開いた状態でカーソルを移動し、選択画像に重ね、そして、手を握り締めて、被写体を隠すことにより、選択画像を選択することができる。つまり、使用者は、カーソルを選択画像まで動かし、手を握り締めることによって、選択画像を選択することができる。従って、使用者は、あたかも選択画像を握るかのような操作によって入力を与えることができる。
ここで、「重なった状態の直後」における「重なった状態」とは、重なったことが検出されている状態が維持されている状態を含む。
上記脳トレーニング装置において、前記被写体は、光を再帰反射する再帰反射体である。
この構成によれば、被写体は光を再帰反射するので、撮像画像に被写体の像がより鮮明に写り込み、より精度良く被写体の像を抽出できる。
この脳トレーニング装置において、前記撮像手段は、光を間欠的に照射する発光手段を含む。
この構成によれば、光の照射時と非照射時とで、撮像画像の差分をとることができ、被写体の像(被写体からの反射光)以外の像(被写体以外の光源等からの光)、つまり、ノイズを簡易に除去できる。
この脳トレーニング装置において、前記発光手段が照射する前記光は、赤外光である。
この構成によれば、例えば、赤外線フィルタを通して、赤外光だけを撮像することにより、赤外光以外の光を簡易に除去できる。
上記脳トレーニング装置において、前記再帰反射体は、前記使用者の手の平に装着される。
以下、本考案の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。
図1は、本考案の実施の形態による脳トレーニングシステムの全体構成を示す図である。図1を参照して、この脳トレーニングシステムは、アダプタ1、撮像ユニット5を備えたカートリッジ3、グローブ7L,7R及びテレビジョンモニタ11を備える。アダプタ1には、カートリッジ3が装着される。また、アダプタ1は、AVケーブル13により、テレビジョンモニタ11に接続される。
図2は、図1のアダプタ1及びカートリッジ3の斜視図である。図2を参照して、アダプタ1は、上面、下面、左右の側面、前面、及び背面を有する平たい直方体形状を有する。アダプタ1の前面左側には、電源スイッチ19及びリセットスイッチ21が設けられ、前面右側には、赤外線フィルタ29が設けられる。この赤外線フィルタ29は、赤外線以外の光をカットして、赤外線だけを透過させるフィルタであり、この赤外線フィルタ29の裏側には、IRレシーバ(図示せず)が配置されている。また、アダプタ1の上面の前縁近傍には、4個の方向キー27が設けられる。さらに、左端の方向キー27の左側には、キャンセルキー23が設けられ、右端の方向キー27の右側には、決定キー25が設けられる。
カートリッジ3には、その上面後部に撮像ユニット5が設けられている。撮像ユニット5には、赤外線フィルタ17が設けられ、それを囲むように4個の赤外発光ダイオード15が設けられる。この赤外線フィルタ17は、赤外線以外の光をカットして、赤外線だけを透過させるフィルタであり、この赤外線フィルタ17の裏側には、後述のイメージセンサ31(図4参照)が配置されている。
図3は、図1のグローブ7L,7Rの説明図である。図3を参照して、それぞれのグローブ7L,7Rには、親指を通す開口と4本の他の指全部を通す開口が設けられている。使用者は、これらの開口に指を通して、左手にグローブ7Lを装着し、右手にグローブ7Rを装着する。また、それぞれのグローブ7L,7Rには、光を再帰反射する再帰反射シート9L,9Rが取り付けられている。使用者は、再帰反射シート9L,9Rが手の平側になるように、グローブ7L,7Rを装着する。
ここで、グローブ7L,7Rを区別する必要がないときは、グローブ7と表記し、再帰反射シート9L,9Rを区別する必要がないときは、再帰反射シート9と表記する。
図1に戻って、使用者が、撮像ユニット5に向けて、手を開くと、再帰反射シート9が現れ、この再帰反射シート9が撮影される。一方、手を握り締めると、再帰反射シート9は、手の中に隠れてしまい、撮像ユニット5に撮影されない。従って、使用者は、手を開いたり閉じたりする動作によって、再帰反射シート9を撮影させたり撮影させなかったりすることにより、カートリッジ3のマルチメディアプロセッサ33(図4参照)に対する入力を制御できる。本実施の形態では、再帰反射シート9が撮影された場合を撮影状態、撮影されない状態を非撮影状態と呼ぶ。
再び図2を参照して、4つの赤外発光ダイオード15は、間欠的に赤外光を発光する。そして、赤外発光ダイオード15からの赤外光は、グローブ7に取り付けられた再帰反射シート9により反射され、赤外線フィルタ17の背面側に設けられたイメージセンサ31に入力される。このようにして、イメージセンサ31により、グローブ7の再帰反射シート9が撮影される。
赤外光は間欠的に照射されるところ、赤外光の非照射時においても、イメージセンサ31による撮影処理は行われている。カートリッジ3のマルチメディアプロセッサ33は、赤外光照射時の画像信号と非照射時の画像信号との差分を求めて、この差分信号DI(差分画像DI)を基に、グローブ7(つまり再帰反射シート9)の位置等を算出する。このように、差分を求めることで、再帰反射シート9からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート9を検出できる。
図4は、図1のアダプタ1及びカートリッジ3の電気的構成を示す図である。図4を参照して、アダプタ1に電気的に接続されるカートリッジ3は、マルチメディアプロセッサ33、イメージセンサ31、赤外発光ダイオード15、外部メモリ35、及びバス37を含む。外部メモリ35は、ROM、RAM、及び/又はフラッシュメモリなど、システムの仕様に応じて必要なものを備える。
マルチメディアプロセッサ33は、バス37を通じて、外部メモリ35にアクセスできる。従って、マルチメディアプロセッサ33は、外部メモリ35に格納されたプログラムを実行でき、また、外部メモリ35に格納されたデータをリードして処理することができる。この外部メモリ35に、画面の制御、再帰反射シート9の位置検出、並びに正誤判定等の各処理を行うアプリケーションプログラム、画像データ、及び音声データ等が予め格納される。
このマルチメディアプロセッサ33は、図示しないが、中央演算処理装置(以下、「CPU」と呼ぶ。)、グラフィックスプロセシングユニット(以下、「GPU」と呼ぶ。)、サウンドプロセシングユニット(以下、「SPU」と呼ぶ。)、ジオメトリエンジン(以下、「GE」と呼ぶ。)、外部インタフェースブロック、メインRAM、及びA/Dコンバータ(以下、「ADC」と呼ぶ。)などを具備する。
CPUは、外部メモリ35に格納されたプログラムを実行して、各種演算やシステム全体の制御を行う。グラフィックス処理に関するCPUの処理として、外部メモリ35に格納されたプログラムを実行して、各オブジェクトの拡大・縮小、回転、及び/又は平行移動のパラメータ、視点座標(カメラ座標)、並びに視線ベクトルの算出等を行う。ここで、1または複数のポリゴン又はスプライトから構成され、同じ拡大・縮小、回転、及び平行移動の変換が適用される単位を「オブジェクト」と呼ぶ。
GPUは、ポリゴン及びスプライトから構成される三次元イメージをリアルタイムに生成し、アナログのコンポジットビデオ信号に変換する。SPUは、PCM(pulse code modulation)波形データ、アンプリチュードデータ、及びメインボリュームデータを生成し、これらをアナログ乗算して、アナログオーディオ信号を生成する。GEは、三次元イメージを表示するための幾何演算を実行する。具体的には、GEは、行列積、ベクトルアフィン変換、ベクトル直交変換、透視投影変換、頂点明度/ポリゴン明度計算(ベクトル内積)、及びポリゴン裏面カリング処理(ベクトル外積)などの演算を実行する。
外部インタフェースブロックは、周辺装置(本実施の形態ではイメージセンサ31及び赤外発光ダイオード15)とのインタフェースであり、24チャンネルのプログラマブルなデジタル入出力(I/O)ポートを含む。ADCは、4チャンネルのアナログ入力ポートに接続され、これらを介して、アナログ入力装置(本実施の形態ではイメージセンサ31)から入力されたアナログ信号をデジタル信号に変換する。メインRAMは、CPUのワーク領域、変数格納領域、および仮想記憶機構管理領域等として利用される。
グローブ7は、赤外発光ダイオード15の赤外光に照射され、その赤外光を再帰反射シート9で反射する。この再帰反射シート9からの反射光がイメージセンサ31に入力され、したがって、イメージセンサ31からは再帰反射シート9の像を含む画像信号が出力される。上記のように、マルチメディアプロセッサ33は、ストロボ撮影のために、赤外発光ダイオード15を間欠的に点滅するので、赤外光消灯時の画像信号も出力される。イメージセンサ31からのこれらのアナログ画像信号はマルチメディアプロセッサ33に内蔵されたADCによってデジタルデータに変換される。
マルチメディアプロセッサ33は、イメージセンサ31からADCを介して入力されるデジタル画像信号から上記の差分信号DI(差分画像DI)を生成して、これに基づき、グローブ7の位置を検出して、演算、グラフィック処理、及びサウンド処理等を実行し、ビデオ信号VDおよびオーディオ信号AUを出力する。ビデオ信号VDおよびオーディオ信号AUは、アダプタ1を介してAVケーブル13によりテレビジョンモニタ11に与えられ、応じて、テレビジョンモニタ11に映像が表示され、そのスピーカ(図示せず)から音声が出力される。
次に、マルチメディアプロセッサ33がテレビジョンモニタ11に表示するトレーニング画面を表した図面を参照しながら、マルチメディアプロセッサ33による処理内容を説明する。
図5〜図7は、トレーニング画面の例示図である。図5を参照して、マルチメディアプロセッサ33がテレビジョンモニタ11に表示するトレーニング画面は、トレーニング開始時からの経過時間を表示する経過時間表示部54及びカーソル41L,41Rを含む。マルチメディアプロセッサ33は、検出した再帰反射シート9Lの位置に応じて、カーソル41Lの移動を制御し、検出した再帰反射シート9Rの位置に応じて、カーソル41Rの移動を制御する。
つまり、マルチメディアプロセッサ33は、差分画像DIから再帰反射シート9L,9Rの像を抽出して、それぞれの注目点の差分画像DI上の座標を算出する。そして、マルチメディアプロセッサ33は、2つの注目点の差分画像DI上の座標を、スクリーン座標に変換することによって、2つの注目点のテレビジョンモニタ11の画面上の位置を求める。マルチメディアプロセッサ33は、この2つの注目点(再帰反射シート9L,9Rに相当)の画面上の位置に、カーソル41L,41Rを表示する。なお、スクリーン座標系は、テレビジョンモニタ11に映像を表示する際に用いられる座標系である。また、差分画像上の水平座標軸及び垂直座標軸は、それぞれスクリーン座標の水平座標軸及び垂直座標軸と平行である。
また、トレーニング画面の中段には、課題47が表示される。この課題47は、解答である特定のもの(図ではバナナ)のシルエット画像である。さらに、トレーニング画面の下段43には、各々文字が付されたカード45が表示される。課題47が表す特定のものの名称を構成する文字(「バ」「ナ」「ナ」)がカード45に付されている。この場合、カード45の並びは、名称どおりに並んでいるのではなく、バラバラに並んでいる(図では、左から「ナ」「バ」「ナ」)。
使用者は、課題47が表す特定のものを推理して、その名称を構成する文字の順番で、カード45を選択しなければならない。この場合の選択は、カーソル41L又は41Rのいずれかにより行う。どのカーソルで選択するかは使用者の任意である。ここで、カーソル41L,41Rを区別する必要の無い場合はカーソル41と表記する。
使用者は、グローブ7を撮影状態(手の平を開いた状態)にしてカーソル41を移動し、所望のカード45に重ねる(選択操作)。すると、そのカード45には、黄色(斜線部)の枠44(図6参照)が表示され、選択されたことが明示される。この段階では、まだ、選択は確定していない。
この選択状態から、使用者は、グローブ7を非撮影状態(手握り締めた状態)にして、再帰反射シート9を隠す(確定操作)。これにより、マルチメディアプロセッサ33は、当該カード45の選択が確定したとみなし、図6に示すように、トレーニング画面の上段49の白色の枠53の中に(枠53が位置するアンダーライン51上に)、選択されたカード45に付された文字を表示する。ただし、使用者が正しくないカード45を選択した場合、マルチメディアプロセッサ33は、枠53に文字を表示せず、正しいカード45に赤い枠(図示せず)を一定時間だけ付して、使用者を支援する。このように、マルチメディアプロセッサ33は、選択の正誤を判定して、その結果に応じた処理を実行する。
なお、カード45にカーソル41を重ね、グローブ7を非撮影状態にする操作を「カードを握る。」と呼ぶこともある。
グローブ7が撮影状態にある場合は、対応するカーソル41の形態は、手の平を開いた形状をとる(例えば図6のカーソル41R)。グローブ7が撮影状態から非撮影状態になった場合は、対応するカーソル41の形態は、一定時間(例えば1秒)、手を握り締めた形状(握りこぶし)をとる(例えば図6のカーソル41L)。ただし、一定時間の経過後は、再びグローブ7が撮影状態になるまで、対応するカーソル41は消滅する。なお、奥が透けて見えるように、カーソル41の全部又は一部の色彩は半透明である。また、カーソル41の一部が完全透明でもよい。
マルチメディアプロセッサ33は、正しいカード45が選択され、文字を枠53の中に表示した後は、その文字はそのままで、枠53を右隣のアンダーライン51上に移動する。そして、使用者が、カーソル41を操作して、全てのカード45を正しい順番で選択し終わると、図7に示すように、トレーニング画面の下段43には、正解である旨の表示が行われると共に、中段には、シルエットではなく、課題47の解答である特定のもの(図ではバナナ)の画像55が表示される。なお、枠53は消去される。
この例では、課題47を映像だけで提示した。ただし、課題を音声だけで提示することもできる。もちろん、映像及び音声の双方で課題を提示することもできる。また、課題を文字列で提示することもできる。例えば、「帆に風を受けて進む舟」なる課題を提示する。この場合は、三枚のカード45を表示し、それぞれに、「ヨ」「ッ」「ト」なる文字を付する。なお、解答は「ヨット」である。このように、例えば、課題として、解答となる特定のものを表す文字列を表示する。
ここで、実施の形態において、解答となる「特定のもの」の「もの」には、有体物だけでなく、無体物を含み、また、物体に限られず、名詞、単語、熟語、事象など、映像及び/又は音声による課題により一義的に特定できるあらゆるものが含まれる。
本実施の形態では、シルエットからなる課題47及び文字列からなる課題47からなる計5問の課題47が提示され、使用者は、できるだけ早く全問の正答を導くように努力する。使用者は、5問を終えた時の経過時間表示部54の時間が短いほど、高い評価を得ることができる。評価は、高い順に、金、銀、銅の三段階で示される。
さて、次に、再帰反射シート9L及び9Rの検出処理及び左右決定処理を図面を用いて説明する。
図8は、再帰反射シート9L及び9Rの検出処理の説明図である。図8には、赤外光発光時及び消灯時の画像データから生成した差分画像データに基づく差分画像(32×32ピクセル)が図示されている。図中、小さい正方形は1ピクセルを示す。また、左上角をXY座標軸の原点とする。
この画像には、輝度値が大きい2つの領域251及び253が含まれる。領域251及び253は、再帰反射シート9L及び9Rである。ただし、この時点では、どの領域がどの再帰反射シートに対応するかは判別できない。
まず、マルチメディアプロセッサ33は、Y=0を出発点として、X=0からX=31まで、差分画像データをスキャンし、次に、Yをインクリメントし、X=0からX=31まで、差分画像データをスキャンする。このような処理をY=31まで行い、32×32ピクセルの差分画像データをスキャンして、閾値ThLより大きいピクセルデータの上端位置minY、下端位置maxY、左端位置minX、及び右端位置maxXを求める。
次に、マルチメディアプロセッサ33は、座標(minX,minY)を出発点として、X軸の正方向にスキャンを実行して、最初に閾値ThLを超えるピクセルまでの距離LTを算出する。また、マルチメディアプロセッサ33は、座標(maxX,minY)を出発点として、X軸の負方向にスキャンを実行して、最初に閾値ThLを超えるピクセルまでの距離RTを算出する。さらに、マルチメディアプロセッサ33は、座標(minX,maxY)を出発点として、X軸の正方向にスキャンを実行して、最初に閾値ThLを超えるピクセルまでの距離LBを算出する。さらに、マルチメディアプロセッサ33は、座標(maxX,maxY)を出発点として、X軸の負方向にスキャンを実行して、最初に閾値ThLを超えるピクセルまでの距離RBを算出する。
マルチメディアプロセッサ33は、距離LT>RTのときは、座標(maxX,minY)を第1抽出点とし、距離LT≦RTのときは、座標(minX,minY)を第1抽出点とする。また、マルチメディアプロセッサ33は、距離LB>RBのときは、座標(maxX,maxY)を第2抽出点とし、距離LB≦RBのときは、座標(minX,maxY)を第2抽出点とする。
図9は、左右決定処理の説明図である。図9には、前回(1ビデオフレーム前)の再帰反射シート9Lの位置TPL2及び前々回(2ビデオフレーム前)の位置TPL1、並びに、前回(1ビデオフレーム前)の再帰反射シート9Rの位置TPR2及び前々回(1ビデオフレーム前)の位置TPR1が図示されている。位置TPL1,TPL2,TPR1及びTPR2は、差分画像データに基づく差分画像上の位置である。
マルチメディアプロセッサ33は、位置TPL1を始点、位置TPL2を終点とする速度ベクトルVLを算出する。そして、位置TPL2を始点とする速度ベクトルVLの終点を、再帰反射シート9Lの予測位置TPLpとする。一方、マルチメディアプロセッサ33は、位置TPR1を始点、位置TPR2を終点とする速度ベクトルVRを算出する。そして、位置TPR2を始点とする速度ベクトルVRの終点を、再帰反射シート9Rの予測位置TPRpとする。
マルチメディアプロセッサ33は、第1抽出点TPN1と予測位置TPLpとの距離LD1、第1抽出点TPN1と予測位置TPRpとの距離RD1、第2抽出点TPN2と予測位置TPLpとの距離LD2、及び、第2抽出点TPN2と予測位置TPRpとの距離RD2を求める。
マルチメディアプロセッサ33は、距離LD1>RD1ならば、第1抽出点TPN1を再帰反射シート9Rの今回の位置とし、距離LD1≦RD1ならば、第1抽出点TPN1を再帰反射シート9Lの今回の位置とする。また、マルチメディアプロセッサ33は、距離LD2>RD2ならば、第2抽出点TPN2を再帰反射シート9Rの今回の位置とし、距離LD2≦RD2ならば、第2抽出点TPN2を再帰反射シート9Lの今回の位置とする。
このように、左右の予測位置TPLp及びTPRpに基づいて、第1抽出点TPN1及び第2抽出点TPN2に左右を割り当てているため、再帰反射シート9Lと再帰反射シート9Rとの左右が入れ替わった場合でも(クロスした場合でも)、マルチメディアプロセッサ33は、差分画像データに基づく差分画像上において、再帰反射シート9L及び9Rの各々を的確に認識できる。
さて、次に、マルチメディアプロセッサ33による処理の流れをフローチャートを用いて説明する。
図10は、図4のマルチメディアプロセッサ33による全体処理の流れの一例を示すフローチャートである。図10を参照して、ステップS1にて、マルチメディアプロセッサ33は、各種変数(フラグやカウンタを含む。)の初期化等、システムの初期設定を実行する。ステップS3にて、マルチメディアプロセッサ33は、外部メモリ35に格納されたアプリケーションプログラムに従った処理を実行する。ステップS5にて、マルチメディアプロセッサ33は、ビデオ同期信号による割り込みが発生するまで待機する。つまり、マルチメディアプロセッサ33は、ビデオ同期信号による割り込みが発生していない場合は、同じステップS5に戻り、ビデオ同期信号による割り込みが発生した場合は、ステップS7に進む。例えば、ビデオ同期信号による割り込みは、1/60秒ごとに発生する。この割り込みに同期して、ステップS7及びステップS9にて、マルチメディアプロセッサ33は、ステップS3の処理結果に従って、テレビジョンモニタ11に表示する画像を更新すると共に、音声の再生を行う。そして、マルチメディアプロセッサ33は、ステップS3に戻る。
ステップS3の処理を制御するアプリケーションプログラムは、複数のプログラムを含む。この複数のプログラムに、下記するフローチャートが示す処理を実行するプログラムが含まれる。
図11は、図10のステップS3におけるアプリケーションプログラムによる処理の主要部分の流れの一例を示すフローチャートである。図11を参照して、ステップS21にて、マルチメディアプロセッサ33は、再帰反射シート9L及び9Rの撮影処理を実行する。ステップS23にて、マルチメディアプロセッサ33は、ステップS21で得られた画像に基づいて、再帰反射シート9L及び9Rの像を検出して、それぞれのテレビ画面上の位置を算出する。ステップS25にて、マルチメディアプロセッサ33は、ステップS23の結果に基づいて、使用者が手の平を握り締めたか否かを判定する。ステップS27にて、マルチメディアプロセッサ33は、再帰反射シート9L及び9Rのテレビ画面上の位置にそれぞれカーソル41L及び41Rの座標を設定する。この場合、マルチメディアプロセッサ33は、ステップS25の結果に基づき、カーソル41L及び41Rの形態(じゃんけんの石(ぐう)又は紙(ぱあ))を決定する。ステップS29にて、マルチメディアプロセッサ33は、トレーニング画面の制御といった脳トレーニングのための映像の制御や必要な演算を実行する。
図12は、図11のステップS21における撮影処理の流れの一例を示すフローチャートである。図12に示すように、ステップS41において、マルチメディアプロセッサ33は、赤外発光ダイオード15を点灯する。ステップS43で、マルチメディアプロセッサ33は、イメージセンサ31から、赤外光点灯時の画像データを取得して、メインRAMに格納する。
ここで、本実施の形態では、イメージセンサ31の例として、32ピクセル×32ピクセルのCMOSイメージセンサを使用する。従って、イメージセンサ31からは、画像データとして、32ピクセル×32ピクセルのピクセルデータが出力される。このピクセルデータは、A/Dコンバータにより、デジタルデータに変換されて、メインRAM上の二次元配列P1[X][Y]の要素として格納される。
ステップS45で、マルチメディアプロセッサ33は、赤外発光ダイオード15を消灯する。ステップS47にて、マルチメディアプロセッサ33は、イメージセンサ31から、赤外光消灯時の画像データ(32ピクセル×32ピクセルのピクセルデータ)を取得して、メインRAMに格納する。この場合、このピクセルデータは、メインRAM上の二次元配列P2[X][Y]の要素として格納される。
以上のようにして、ストロボ撮影が行われる。本実施の形態では、32ピクセル×32ピクセルのイメージセンサ31を用いているため、X=0〜31、Y=0〜31である。
図13は、図11のステップS23におけるシート検出処理の流れの一例を示すフローチャートである。図13に示すように、ステップS61にて、マルチメディアプロセッサ33は、赤外光発光時のピクセルデータP1[X][Y]と、赤外光消灯時のピクセルデータP2[X][Y]と、の差分を算出して、配列Dif[X][Y]に代入する。ステップS63にて、マルチメディアプロセッサ33は、32×32ピクセル分の差分を算出した場合は、ステップS65に進み、そうでなければ、ステップS61に戻る。このように、マルチメディアプロセッサ33は、ステップS61の処理を繰り返して、赤外光発光時の画像データと、赤外光消灯時の画像データと、の差分画像データを生成する。このように、差分画像データ(差分画像)を求めることで、再帰反射シート9L及び9Rからの反射光以外の光によるノイズを極力除去でき、再帰反射シート9L及び9Rを精度良く検出できる。
ステップS65にて、マルチメディアプロセッサ33は、図8で説明した左右上下端(minX、maxX、minY、maxY)検出処理を実行する。
図14は、図13のステップS65における左右上下端検出処理の流れの一例を示すフローチャートである。図14に示すように、ステップS91にて、マルチメディアプロセッサ33は、「X」、「Y」、「maxX」、「maxY」、「k」、及び「SN」に「0」を代入する。また、マルチメディアプロセッサ33は、「minX」及び「minY」に「31」を代入する。
ステップS93にて、マルチメディアプロセッサ33は、配列Dif[X][Y]の要素を所定の閾値ThLと比較する。ステップS95にて、マルチメディアプロセッサ33は、配列Dif[X][Y]の要素が所定の閾値ThLより大きい場合は、ステップS97に進み、所定の閾値ThL以下の場合は、ステップS121に進む。
ステップS93,S95の処理は、再帰反射シート9L,9Rが撮影されたか否かを検出するための処理である。再帰反射シート9L,9Rが撮影されると、差分画像上では、再帰反射シート9L,9Rに相当するピクセルの輝度値が大きくなる。このため、閾値ThLにより、輝度値の大小を峻別して、閾値ThLより大きい輝度値を持つピクセルを、撮影された再帰反射シート9L,9Rの一部であると認識する。
ステップS97にて、マルチメディアプロセッサ33は、カウント値kを1つインクリメントする。ステップS99にて、マルチメディアプロセッサ33は、カウント値kが「1」か否かを判断し、k=1であれば、ステップS101に進み、それ以外では、ステップS103に進む。
ステップS101では、マルチメディアプロセッサ33は、最小Y座標minYに、現在のY座標を代入する。つまり、スキャンは、(X,Y)=(0,0)から開始して、X=0〜31まで行い、Yをインクリメントして、再び、X=0〜31まで行う、という処理を繰り返すので(後述のステップS121〜S129参照)、最初に閾値ThLを超えた要素(つまりピクセル)を持つ配列Dif[X][Y]の「Y」が最小Y座標minYとなる。
ステップS103では、マルチメディアプロセッサ33は、現在の最大Y座標maxYと現在のY座標とを比較する。ステップS105にて、マルチメディアプロセッサ33は、現在の最大Y座標maxYより現在のY座標が大きい場合は、ステップS107に進み、それ以外はステップS109に進む。ステップS107では、マルチメディアプロセッサ33は、最大Y座標maxYに、現在のY座標を代入する。
ステップS109では、マルチメディアプロセッサ33は、現在の最小X座標minXと現在のX座標とを比較する。ステップS111にて、マルチメディアプロセッサ33は、現在の最小X座標minXより現在のX座標が小さい場合は、ステップS113に進み、それ以外はステップS115に進む。ステップS113では、マルチメディアプロセッサ33は、最小X座標minXに、現在のX座標を代入する。
ステップS115では、マルチメディアプロセッサ33は、現在の最大X座標maxXと現在のX座標とを比較する。ステップS117にて、マルチメディアプロセッサ33は、現在の最大X座標maxXより現在のX座標が大きい場合は、ステップS119に進み、それ以外はステップS121に進む。ステップS119では、マルチメディアプロセッサ33は、最大X座標maxXに、現在のX座標を代入する。
ステップS121では、マルチメディアプロセッサ33は、「X」を1つインクリメントする。ステップS123にて、マルチメディアプロセッサ33は、X=32のときは(つまり、差分画像のピクセル1行分の処理が終了したときは)ステップS125に進み、それ以外はステップS93に進む。
ステップS125では、マルチメディアプロセッサ33は、「X」に「0」を代入する。ステップS127にて、マルチメディアプロセッサ33は、「Y」を1つインクリメントする。ステップS125,S127の処理は、差分画像の1行分の処理が終了したため、次の1行分の処理を進めるために実行される。
ステップS129にて、マルチメディアプロセッサ33は、Y=32のときは(つまり、差分画像の32×32ピクセル分の処理が終了したときは)、ステップS131に進み、それ以外はステップS93に進む。
上記ステップS93〜S129を繰り返すことにより、Y=32となった時点で、最小X座標minX、最大X座標maxX、最小Y座標minY、及び最大Y座標maxYが全て確定する。
ステップS131では、「maxX」、「maxY」、「minX」及び「minY」が初期値のままであるか否かを判断し、初期値の場合はステップS133に進み、それ以外はリターンする。「maxX」、「maxY」、「minX」及び「minY」の全てが初期値ということは、差分画像の全ピクセルが閾値ThL以下であり、再帰反射シート9L及び9Rが撮影されなかったことを意味する。従って、ステップS133では、マルチメディアプロセッサ33は、撮影された再帰反射シートの数を示すシート数フラグSNに「01」(撮影された再帰反射シートの数が0であることを示す。)を代入する。そして、ステップS135にて、マルチメディアプロセッサ33は、左オープンフラグOL及び右オープンフラグORをオフにして、図13のステップS77に進む。左オープンフラグOL及び右オープンフラグORは、それぞれ、再帰反射シート9L及び9Rが撮影されたことを示すフラグである。
図13に戻って、ステップS67にて、マルチメディアプロセッサ33は、図8で説明した2点位置(第1抽出点(Xtp[0],Ytp[0])、第2抽出点(Xtp[1],Ytp[1]))の決定処理を実行する。
図15は、図13のステップS67における2点位置決定処理の流れの一例を示すフローチャートである。図15に示すように、マルチメディアプロセッサ33は、ステップS151にて、「M」に「0」を代入して、ステップS153からステップS185までの処理を繰り返す。ここで、ステップS153に示すように、一回目のループのときは、Ytb=minY、二回目のループのときは、Ytb=maxY、である。ステップS155にて、マルチメディアプロセッサ33は、座標(minX,Ytb)を始点としてスキャンを開始する。
ステップS157にて、マルチメディアプロセッサ33は、カウント値Clに「0」を代入する。ステップS159にて、マルチメディアプロセッサ33は、差分データDif[X][Y]と閾値ThLとを比較して、差分データが閾値より大きい場合は、ステップS165に進み、それ以外は、ステップS161に進む。ステップS161では、マルチメディアプロセッサ33は、カウント値Clを1つインクリメントする。ステップS163にて、マルチメディアプロセッサ33は、座標Xを1つインクリメントして、ステップS159に進む。
ステップS159で、Dif[X][Y]>ThLと判断された時点のカウント値Clは、図8の距離LTあるいはLBに相当する。ステップS155で、Ytb=minYのときは、Cl=LTであり、Ytb=maxYのときは、Cl=LBである。
ステップS165にて、マルチメディアプロセッサ33は、座標(maxX,Ytb)を始点としてスキャンを開始する。ステップS167にて、マルチメディアプロセッサ33は、カウント値Crに「0」を代入する。ステップS169にて、マルチメディアプロセッサ33は、差分データDif[X][Y]と閾値ThLとを比較して、差分データが閾値より大きい場合は、ステップS175に進み、それ以外は、ステップS171に進む。ステップS171では、マルチメディアプロセッサ33は、カウント値Crを1つインクリメントする。ステップS173にて、マルチメディアプロセッサ33は、座標Xを1つデクリメントして、ステップS169に進む。
ステップS169で、Dif[X][Y]>ThLと判断された時点のカウント値Crは、図8の距離RTあるいはRBに相当する。ステップS165で、Ytb=minYのときは、Cr=RTであり、Ytb=maxYのときは、Cr=RBである。
ステップ175では、マルチメディアプロセッサ33は、距離ClとCrとを比較する。ステップS177にて、距離Clが距離Crより大きい場合は、ステップS179に進み、それ以外は、ステップS181に進む。
ステップS181では、「Xtp[M]」に「minX」を代入するとともに、「Ytp[M]」に「Ytb」を代入する。一方、ステップS179では、「Xtp[M]」に「maxX」を代入するとともに、「Ytp[M]」に「Ytb」を代入する。
ここで、座標(Xtp[0],Ytp[0])は、図8で説明した第1抽出点の座標であり、座標(Xtp[1],Ytp[1])は、第2抽出点の座標である。
ステップS183では、マルチメディアプロセッサ33は、「M」を1つインクリメントして、ステップS185へ進む。ステップS153からステップS185までのループが終了するとリターンする。
図13に戻って、ステップS69にて、マルチメディアプロセッサ33は、第1抽出点及び第2抽出点に左右を割り当てる処理を実行する。
図16は、図13のステップS69における左右決定処理の流れの一例を示すフローチャートである。なお、再帰反射シート9Lの位置を左抽出点、再帰反射シート9Rの位置を右抽出点と呼ぶ。
図16に示すように、ステップS201にて、マルチメディアプロセッサ33は、過去(前回及び前々回)の左抽出点の位置(XL,YL)からの今回の左抽出点の位置(Xnl,Ynl)を予測する。ステップS203にて、マルチメディアプロセッサ33は、過去(前回及び前々回)の右抽出点の位置(XR,YR)からの今回の右抽出点の位置(Xnr,Ynr)を予測する。ここで、左抽出点(Xnl,Ynl)は、図9の予測位置TPLpに相当し、右抽出点の位置(Xnr,Ynr)は、予測位置TPRpに相当する。
ステップS205にて、マルチメディアプロセッサ33は、「M」に「0」を代入する。ステップS207にて、マルチメディアプロセッサ33は、予測位置(Xnl,Ynl)と抽出点(Xtp[M],Ytp[M])との間の距離Dlを算出する。ステップS209にて、マルチメディアプロセッサ33は、予測位置(Xnr,Ynr)と抽出点(Xtp[M],Ytp[M])との間の距離Drを算出する。
ここで、抽出点(Xtp[0],Ytp[0])は、図15のルーチンで求めた第1抽出点であり、抽出点(Xtp[1],Ytp[1])は、図15のルーチンで求めた第2抽出点である。M=0のときは、距離Dlは、図9の距離LD1に相当し、距離Drは、距離RD1に相当する。M=1のときは、距離Dlは、図9の距離LD2に相当し、距離Drは、距離RD2に相当する。
ステップS211にて、マルチメディアプロセッサ33は、距離Dlと距離Drとを比較する。ステップS213にて、マルチメディアプロセッサ33は、Dl>DrならばステップS215に進み、それ以外はステップS217に進む。
ステップS217では、マルチメディアプロセッサ33は、今回の左抽出点の位置(XL,YL)を、座標(Xtp[M],Ytp[M])とする。
一方、ステップS215では、マルチメディアプロセッサ33は、今回の右抽出点の位置(XR,YR)を、座標(Xtp[M],Ytp[M])とする。
ステップS219では、マルチメディアプロセッサ33は、「M」を1つインクリメントする。ステップS221にて、マルチメディアプロセッサ33は、M=2か否かを判断し、M=2であればリターンし、それ以外はステップS207に進む。
図13に戻って、ステップS71にて、マルチメディアプロセッサ33は、左抽出点(XL,YL)と右抽出点(XR,YR)との中点(XM,YM)を算出する。
そして、ステップS73にて、マルチメディアプロセッサ33は、検出した再帰反射シートの数を決定する処理を実行する。
図17は、図13のステップS73における検出シート数決定処理の流れの一例を示すフローチャートである。図17を参照して、ステップS241にて、マルチメディアプロセッサ33は、左抽出点のY座標YLと右抽出点のY座標YRとを比較する。ステップS243にて、マルチメディアプロセッサ33は、Y座標YLが大きい場合は、ステップS251に進み、それ以外はステップS247に進む。
ステップS251では、マルチメディアプロセッサ33は、差分画像を、その右上がりの対角線に沿ってスキャンする。一方、ステップS247では、マルチメディアプロセッサ33は、差分画像を、その右下がりの対角線に沿ってスキャンする。
ステップS253では、マルチメディアプロセッサ33は、ステップS247又はS251でのスキャンの結果、閾値ThL以下のピクセルを検出した場合は、2つの再帰反射シート9L及び9Rが撮影されたとみなして、ステップS255に進み、閾値ThL以下のピクセルを検出しなかった場合は、再帰反射シート9L及び9Rのうちのいずれか一方のみが検出されたとみなして、ステップS259に進む。
ステップS255では、マルチメディアプロセッサ33は、シート数フラグSNに「11」(2つの再帰反射シート9L及び9Rが撮影されたことを示す。)をセットする。そして、ステップS257にて、マルチメディアプロセッサ33は、左オープンフラグOL及び右オープンフラグORをオンする。一方、ステップS259では、マルチメディアプロセッサ33は、シート数フラグSNに「10」(再帰反射シート9L及び9Rのうちのいずれか一方のみが撮影されたことを示す。)をセットする。
図13に戻って、ステップS75にて、マルチメディアプロセッサ33は、再帰反射シート9L及び9Rのうちのいずれか一方のみが撮影された場合に、どちらが撮影されたかを特定する処理(1点特定処理)を実行する。
図18は、図13のステップS75における一点特定処理の流れの一例を示すフローチャートである。図18を参照して、ステップS271にて、マルチメディアプロセッサ33は、シート数フラグSNが「10」か否か、つまり、再帰反射シート9L及び9Rのうちのいずれか一方のみが撮影されたか否かを判断して、YESの場合、左右どちらの再帰反射シートかを特定するためにステップS273に進み、それ以外はリターンする。
ステップS273にて、マルチメディアプロセッサ33は、予測位置(Xnl,Ynl)と中点(XM,YM)との間の距離Dlmを算出する。ステップS275にて、マルチメディアプロセッサ33は、予測位置(Xnr,Ynr)と中点(XM,YM)との間の距離Drmを算出する。なお、中点(XM,YM)は、図13のステップS71で求めたものである。また、予測位置(Xnl,Ynl)は、図16のステップS201で求めたものである。予測位置(Xnr,Ynr)は、図16のステップS203で求めたものである。
ステップS277にて、マルチメディアプロセッサ33は、距離Dlmと距離Drmとを比較する。ステップS279にて、マルチメディアプロセッサ33は、Dlm>DrmならばステップS281に進み、それ以外はステップS285に進む。
ステップS281では、マルチメディアプロセッサ33は、今回の左抽出点の位置(XL,YL)を、座標(0,0)とし、今回の右抽出点の位置(XR,YR)を、座標(XM,YM)とする。そして、ステップS283にて、マルチメディアプロセッサ33は、左オープンフラグOLをオフにし、右オープンフラグORをオンにして、リターンする。
一方、ステップS285では、マルチメディアプロセッサ33は、今回の左抽出点の位置(XL,YL)を、座標(XM,YM)とし、今回の右抽出点の位置(XR,YR)を、座標(0,0)とする。そして、ステップS287にて、マルチメディアプロセッサ33は、左オープンフラグOLをオンにし、右オープンフラグORをオフにして、リターンする。
図13に戻って、ステップS77にて、マルチメディアプロセッサ33は、左抽出点(XL,YL)及び右抽出点(XR,YR)をスクリーン座標に変換してリターンする。なお、図14のステップS135に続く場合は、マルチメディアプロセッサ33は、左抽出点(XL,YL)及び右抽出点(XR,YR)をそれぞれ(0,0)として、スクリーン座標に変換する。
次に、図11のステップS25のグリップ判定処理の詳細を説明する。
図19は、図11のステップS25におけるグリップ判定処理の流れの一例を示すフローチャートである。図19を参照して、ステップS301にて、マルチメディアプロセッサ33は、左グリップトリガ及び右グリップトリガをオフにする。左グリップトリガは、再帰反射シート9Lが撮影状態から非撮影状態に変化した時に(使用者がグローブ7Lを装着した左手を握り締めることに相当)にオンするフラグのことである。右グリップトリガは、再帰反射シート9Rが撮影状態から非撮影状態に変化した時に(使用者がグローブ7Rを装着した左手を握り締めることに相当)にオンするフラグのことである。
ステップS303にて、マルチメディアプロセッサ33は、左オープンフラグOLがオンからオフへ遷移したか否かを判断し、遷移した場合は、使用者が左手を握り締めたとみなしてステップS305に進み、それ以外はステップS307に進む。ステップS305では、マルチメディアプロセッサ33は、左グリップトリガをオンにする。
ステップS307では、マルチメディアプロセッサ33は、右オープンフラグORがオンからオフへ遷移したか否かを判断し、遷移した場合は、使用者が右手を握り締めたとみなしてステップS309に進み、それ以外はリターンする。ステップS309では、マルチメディアプロセッサ33は、右グリップトリガをオンにしてリターンする。
次に、図11のステップS29で主に実行される脳トレーニング処理をフローチャートを用いて説明する。ただし、図10や図11のように、ビデオ同期信号に同期する形式のフローチャートではなく、理解の容易のため、トレーニングの流れ(遷移)を表したフローチャートで説明する。
図20は、図4のマルチメディアプロセッサ33によるトレーニングの流れの一例を示すフローチャートである。図20を参照して、ステップS400にて、マルチメディアプロセッサ33は、テレビジョンモニタ11に難易度選択画面を表示する。本実施の形態では、難易度は三段階(難しい、普通、易しい)で用意される。ステップS402にて、マルチメディアプロセッサ33は、テレビジョンモニタ11に操作説明画面を表示する。ステップS404にて、マルチメディアプロセッサ33は、脳トレーニングのための各種処理を実行する。
図21は、図20のステップS404の脳トレーニング処理の流れの一例を示すフローチャートである。図21を参照して、ステップS420にて、マルチメディアプロセッサ33は、複数の課題配置テーブルから1つの課題配置テーブルをランダムに(乱数を発生して)選択する。課題配置テーブルは、5問の中に、シルエットによる課題47と文字列による課題47とをどのように配分するかを規定したテーブルである。
ステップS422にて、マルチメディアプロセッサ33は、選択した課題配置テーブルにおいて、ポインタが指し示している課題47のカテゴリ(シルエット又は文字列)に属する複数の課題47から、1つの課題47をランダムに(乱数を発生して)選択する。そして、上記ポインタを1つ進める。
ステップS424にて、マルチメディアプロセッサ33は、選択した課題47に対応して用意された複数のカード配置テーブルから1つのカード配置テーブルをランダムに(乱数を発生して)選択する。カード配置テーブルは、選択された課題47の解答である特定のものを表す文字列を構成する文字を付したカード45の順番を規定したテーブルである。つまり、各文字の並びを規定している。
ステップS426にて、マルチメディアプロセッサ33は、ステップS422で選択した課題47を表示すると共に、ステップS424で選択したカード配置テーブルが示す並びで各カード45を表示する(図5参照)。また、マルチメディアプロセッサ33は、トレーニング画面を構成するその他の画像要素(経過時間表示部54やカーソル41L及び41R等)を表示する。
ステップS428にて、マルチメディアプロセッサ33は、カード45にカーソル41L又は41Rのいずれかが重なっているか否かを判断し、重なっている場合はステップS430に進み、重なっていない場合はステップS432に進む。ステップS430では、マルチメディアプロセッサ33は、重複判定(ステップS428)の対象となったカード45に対応するフラグ(カードフラグ)をオンにする。一方、ステップS432では、マルチメディアプロセッサ33は、重複判定(ステップS428)の対象となったカード45に対応するフラグ(カードフラグ)をオフにする。そして、ステップS434では、表示された全てのカード45に対して、重複判定(ステップS428)が完了したか否かを判断し、完了していない場合はステップS428に戻り、完了した場合はステップS436に進む。ここで、重複判定(ステップS428)は、左端のカード45から順番に実行される。
ステップS436では、マルチメディアプロセッサ33は、オンのカードフラグに対応するカード45のみに黄色の枠44を表示する。だだし、オンのカードフラグが2つ存在する場合は、より後にオンになったカードフラグに対応するカード45のみに黄色の枠44を表示する。この場合、「後」とは、重複判定(ステップS428)の一巡を1サイクルとすると、1サイクル内での「後」を意味するのではなく、サイクル間の「後」を意味する。
ステップS438にて、マルチメディアプロセッサ33は、黄色の枠44が付されたカード45に重なっているカーソル41(41L又は41R)に対応する抽出点(左抽出点又は右抽出点)が消失したか否かを判断し、つまり、黄色の枠44が付されたカード45が握られたか否かを判断し、握られたと判断した場合はステップS440に進み、それ以外はステップS428に戻る。つまり、カーソル41がカード45に重なった状態の直後に、再帰反射シート9の像が得られなかった場合に、当該カード45が握られた判定される。ここで、「重なった状態の直後」における「重なった状態」とは、重なったことが検出されている状態が維持されている状態を含む。
ステップS440では、マルチメディアプロセッサ33は、課題47の解答である特定のものを表す文字列に照らして、当該カード45が正しい順番で握られたか否かを判断し、正しい順番で握られたと判断した場合ステップS444に進み、正しくない順番で握られたと判断した場合ステップS442に進む。ステップS442にて、マルチメディアプロセッサ33は、正しいカード45に赤枠を一定時間だけ表示し、ステップS428に戻る。一方、ステップS444にて、マルチメディアプロセッサ33は、白色の枠53に、握られたカード45に付された文字を表示する。
ステップS446にて、マルチメディアプロセッサ33は、握られたカード45が最後(右端)のカード45か否かを判定し、最後でない場合はステップS448に進み、最後の場合ステップS450に進む。ステップS448では、マルチメディアプロセッサ33は、白色の枠53を右隣のアンダーライン51上に移動して、ステップS428に戻る。一方、ステップS450では、マルチメディアプロセッサ33は、白色の枠53を消去する。そして、ステップS452にて、マルチメディアプロセッサ33は、正解画面(図7参照)を表示する。
ステップS454にて、マルチメディアプロセッサ33は、全問終了したか否かを判断し、終了していない場合ステップS422に進み、終了した場合ステップS456に進む。なお、ステップS454で、「YES」が判断されたということは、全てのカード45が正しい順番で握られたことを意味する。そして、ステップS456にて、マルチメディアプロセッサ33は、評価を含む結果画面を表示して、処理を終了する。
さて、以上のように、本実施の形態によれば、使用者は、提示された課題47に応じて、ばらばらに並べられたカード45を頭の中で正しく並べなおし、カーソル41を操作して、並べなおした順番で、カード45を選択していき、解答を導出しなければならない。このような使用者の動作により、使用者の脳と体の神経伝達系統が刺激され、反射神経や思考力を鍛えることができる。また、使用者は、画面に触れることなく空中でグローブ7を操作するので、空間認識による新しい脳機能の活性化を期待できる。
また、選択されたカード45に付された文字がアンダーライン51上に表示されるので、使用者は、自身が選択したカード45を記憶しておく必要がなく、カード45の並べ替えだけに集中できる。さらに、課題47の解答である特定のものをシルエット画像又は文字列により提示することで、使用者に対して、その特定のものを推理させることができる。
また、使用者は、手の平を開いた状態でカーソル41を移動し、カード45に重ね、そして、手を握り締めて、再帰反射シート9を隠すことにより、カード45を選択することができる。つまり、使用者は、カーソル41をカード45まで動かし、手を握り締めることによって、カード45を選択することができる。従って、使用者は、あたかもカード45を握るかのような操作によって入力を与えることができる。
さらに、本実施の形態では、再帰反射シート9が照射された赤外光を再帰反射するので、撮像画像によりはっきりと再帰反射シート9の像が写り込み、再帰反射シート9の検出が容易になる。さらに、点灯時及び消灯時の差分画像に基づき再帰反射シート9を検出するので、再帰反射シート9からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート9を検出できる。
また、本実施の形態では、発光手段として赤外発光ダイオード15を設け、さらに、イメージセンサ31は赤外線フィルタ17を介して赤外光のみに応答する。このように、イメージセンサ31は、赤外光以外の光には応答せず、赤外光以外の光を含む移動光源および点滅光源(蛍光灯など)等のノイズ光源を除去することが可能となる。
なお、本考案は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。
(1)カード45の枚数は、解答である特定のものを表す文字列を構成する文字数に一致させる必要はなく、それより多いカード45を表示することもできる。この場合は、不要なカード45があるので難易度を高くできる。さらに、カード45には、文字を付したが、課題47の内容によっては、数字、記号、図形、絵柄、模様若しくは色彩又はそれらの全部又は一部の組み合わせであってもよい。さらに、カード45の選択は、カード45を握ることにより行ったが、カーソル41が一定時間カード45に重なったことをもって、そのカード45が選択されたと判断することもできる。トレーニングの難易度は、カード45の枚数でも調整できる。枚数が多いほど難しく、少ないほど易しくなる。
(2)上記のストロボ撮影(赤外発光ダイオード15の点滅)及び差分処理は、好適な例を示しただけであって、本発明に必須の要素ではない。つまり、赤外発光ダイオード15は、点滅させなくてもよいし、また、赤外発光ダイオード15がなくてもよい。照射する光は赤外光に限られない。また、再帰反射シート9は本発明に必須の要素ではなく、撮像画像を解析して、身体の特定部位(例えば手)が検知できればよい。撮像素子は、イメージセンサに限られず、CCDなどの他の撮像素子を使用できる。
1…アダプタ、3…カートリッジ、5…撮像ユニット、11…テレビジョンモニタ、7L,7R…グローブ、9L,9R…再帰反射シート、31…イメージセンサ、33…マルチメディアプロセッサ、35…外部メモリ、15…赤外発光ダイオード。
Claims (8)
- 表示装置に接続して使用される脳トレーニング装置であって、
使用者が操作する被写体を撮像する撮像手段と、
前記被写体の動きに連動するカーソル及び各々が選択の対象である複数の選択画像を前記表示装置に表示し、かつ、映像及び/又は音声により前記使用者に課題を提示するプロセッサと、を備え、
前記課題の解答は、表示された前記複数の選択画像のうちの全部又は一部の表記の順番を並べ替えることで得られるものであり、
前記各選択画像の前記表記は、文字、数字、記号、図形、絵柄、模様若しくは色彩又はそれらの全部又は一部の組み合わせを含み、
前記プロセッサは、少なくとも前記カーソルが前記選択画像に重なったことを条件として当該選択画像が選択されたと認識し、前記選択画像の選択の順番が、前記課題に対応して予め定められた順番に該当する場合に正解と判定する、脳トレーニング装置。 - 前記プロセッサは、選択された前記選択画像の前記表記と実質的に同一の表記を含む画像を選択された順番に並べて前記表示装置に表示する、請求項1記載の脳トレーニング装置。
- 前記課題は、文字列又はシルエット画像を含む、請求項1又は2記載の脳トレーニング装置。
- 前記プロセッサは、前記カーソルが前記選択画像に重なった状態の直後に、前記被写体の像が得られなかった場合に、当該選択画像が選択されたと判定する、請求項1から3のいずれかに記載の脳トレーニング装置。
- 前記被写体は、光を再帰反射する再帰反射体である、請求項1から4のいずれかに記載の脳トレーニング装置。
- 前記撮像手段は、光を間欠的に照射する発光手段を含む、請求項5に記載の脳トレーニング装置。
- 前記発光手段が照射する前記光は、赤外光である、請求項6に記載の脳トレーニング装置。
- 前記再帰反射体は、前記使用者の手の平に装着される、請求項5に記載の脳トレーニング装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007007799U JP3138145U (ja) | 2007-10-02 | 2007-10-11 | 脳トレーニング装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007259269 | 2007-10-02 | ||
JP2007007799U JP3138145U (ja) | 2007-10-02 | 2007-10-11 | 脳トレーニング装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP3138145U true JP3138145U (ja) | 2007-12-20 |
Family
ID=43288465
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007007799U Expired - Fee Related JP3138145U (ja) | 2007-10-02 | 2007-10-11 | 脳トレーニング装置 |
JP2007007913U Expired - Fee Related JP3138303U (ja) | 2007-10-02 | 2007-10-15 | トレーニング装置 |
JP2007007966U Expired - Fee Related JP3138335U (ja) | 2007-10-02 | 2007-10-16 | 疑似輪投げ遊戯装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007007913U Expired - Fee Related JP3138303U (ja) | 2007-10-02 | 2007-10-15 | トレーニング装置 |
JP2007007966U Expired - Fee Related JP3138335U (ja) | 2007-10-02 | 2007-10-16 | 疑似輪投げ遊戯装置 |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP3138145U (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010284380A (ja) * | 2009-06-12 | 2010-12-24 | Sony Computer Entertainment Inc | ゲーム制御プログラム、ゲーム装置、及びゲーム制御方法 |
JP2011206444A (ja) * | 2010-03-30 | 2011-10-20 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
JP2011212243A (ja) * | 2010-03-31 | 2011-10-27 | Sankyo Co Ltd | 遊技機 |
WO2016010024A1 (ja) * | 2014-07-15 | 2016-01-21 | フィールズ株式会社 | ゲーム提供プログラム、ゲーム提供システム及びゲーム提供方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5554009B2 (ja) * | 2009-05-01 | 2014-07-23 | 株式会社タイトー | ゲームシステム |
-
2007
- 2007-10-11 JP JP2007007799U patent/JP3138145U/ja not_active Expired - Fee Related
- 2007-10-15 JP JP2007007913U patent/JP3138303U/ja not_active Expired - Fee Related
- 2007-10-16 JP JP2007007966U patent/JP3138335U/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010284380A (ja) * | 2009-06-12 | 2010-12-24 | Sony Computer Entertainment Inc | ゲーム制御プログラム、ゲーム装置、及びゲーム制御方法 |
JP2011206444A (ja) * | 2010-03-30 | 2011-10-20 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
JP2011212243A (ja) * | 2010-03-31 | 2011-10-27 | Sankyo Co Ltd | 遊技機 |
WO2016010024A1 (ja) * | 2014-07-15 | 2016-01-21 | フィールズ株式会社 | ゲーム提供プログラム、ゲーム提供システム及びゲーム提供方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3138303U (ja) | 2007-12-27 |
JP3138335U (ja) | 2007-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3425481B1 (en) | Control device | |
JP6343718B2 (ja) | ジェスチャインタフェース | |
JP5109221B2 (ja) | ストロボスコープを使った入力システムを備える情報処理装置 | |
JP2022535315A (ja) | 自己触覚型仮想キーボードを有する人工現実システム | |
EP1329839A2 (en) | Pointing device using the image of the hand | |
CN108572728B (zh) | 信息处理设备、信息处理方法和程序 | |
WO2017047182A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN107132917A (zh) | 用于虚拟现实场景中的手型显示方法及装置 | |
CN101898041A (zh) | 信息处理系统及用于控制信息处理系统的方法 | |
CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
JP2002035411A (ja) | ゲームシステム、サイン認識システム、ゲーム用処理方法、およびゲーム用プログラムを記録した記録媒体 | |
KR101794233B1 (ko) | 모션 인식 및 특수 효과 제어기술을 이용한 체감형 게임 콘텐츠 제공 시스템 | |
JP3138145U (ja) | 脳トレーニング装置 | |
JP2022534639A (ja) | 指マッピング自己触覚型入力方法を有する人工現実システム | |
JP2004078977A (ja) | インターフェイス装置 | |
CN110520822B (zh) | 控制装置、信息处理系统、控制方法和程序 | |
CN108594995A (zh) | 一种基于手势识别的电子设备操作方法及电子设备 | |
CN109300528A (zh) | 一种认知康复训练系统及方法 | |
CN109144598A (zh) | 基于手势的电子面罩人机交互方法与系统 | |
JP3136549U (ja) | スロットマシーン | |
JPH09311759A (ja) | ジェスチャ認識方法および装置 | |
WO2018079383A1 (ja) | 情報処理装置、制御方法、プログラム、及び記録媒体 | |
JP4584136B2 (ja) | ゲームシステム | |
JP3138822U (ja) | ビンゴゲーム装置 | |
JP2008134991A (ja) | 入力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |