JPWO2008126419A1 - 運動支援方法 - Google Patents

Abstract

【課題】 人を特定の運動に誘導するための、運動支援方法を提供することである。【解決手段】本発明の運動支援方法は、ユーザに特定の動作を促すための運動支援方法であって、テレビジョンモニタ５のスクリーンに襖を模した襖３５を表示するステップと、撮像を行い、撮像の結果得られた画像に基づいて、ユーザの動きを検出する検出ステップと、前記ユーザの動きに応じて、テレビジョンモニタ５のスクリーンに表示されたカーソル７０を移動させるステップと、実在の襖を開くのと同様の手順で、すなわち、カーソル７０Ｒ及び７０Ｌがそれぞれ、引手３３Ｒ及び３３Ｌ上に移動してからカーソル７０Ｒが右方向に、カーソル７０Ｌが左方向に移動することを条件として、襖３５が開くようにに表示を行うエフェクトステップと、を含む。【選択図】 図５

Description

本発明は、ユーザに運動を行うことを促すための運動支援方法及びその関連技術に関する。

本出願人が出願した特許文献１は、カメラを使った入力システムに関するものである。引用文献１では、プレイヤのスポーツの動作又は模擬的な動作を検出し、その検出結果を入力に用いる体感ボールゲームシステムが開示されている。
特開２００４−８５５２４号公報

引用文献１に開示されている体感ボールゲームシステムは、実際のスポーツを疑似体験することを目的に開発されたものであるため、プレイヤはゲーム内の状況に応じて、実際のスポーツのように動作の強度、動作の速度、動作を行う位置及び動作を行う向きなどを自由に変えて、ゲームを進行することができた。このため、上記の体感ボールゲームシステムは、プレイヤの動作の自由度が重視されており、ユーザに対して特定の動作だけを促すという観点からは設計されていない。しかし、リハビリテーションや訓練の分野では、ユーザに対して特定の動作だけを反復して実行させたい場合がある。

そこで、本発明の目的は、ユーザに対して特定の動作を促すための運動支援方法及びそれらの関連技術を提供することである。

本発明の第１の形態によれば、運動支援方法は、ユーザに特定の動作を促すための運動支援方法であって、表示装置のスクリーンに実在の物体を模したオブジェクトを表示するステップと、撮像を行い、撮像の結果得られた画像に基づいて、ユーザの動きを検出する検出ステップと、前記ユーザの動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記実在の物体に対して行われる実際の操作と同じ手順で前記オブジェクト上を前記カーソルが移動したことを条件に、前記オブジェクトに対して前記実際の操作が行われたように表示を行うエフェクトステップと、を含む。

この構成によれば、ユーザの動作に連動するカーソルを動かす手順が、実在の物体に対して行われる操作と同じ手順であるため、特に指示しなくてもユーザは直感的にカーソルを動かすための動作の手順を知ることができる。結果ユーザに特定の動作を促すことができる。
さらに、手順どおりに動作を行い、カーソルを移動させると、オブジェクトの表示に実在の物体に対する実際の操作が行われたような反応があるため、ユーザは自分のカーソルを動かす手順が正しいか否か、すなわち自分の動作が正しいか否かを自分でもチェックすることができる。
さらに、実在の物体を操作することによる作業療法やトレーニングを、オブジェクトに対するカーソルの移動のための特定の動作を行うという形で、擬似的に実施することができる。ユーザはカーソルを動かすために特定の動作を行うだけなので、実際の作業療法やトレーニングに比べて負荷が小さく、安静が必要な場合や機材がない場合など、何らかの理由で実際の作業療法やトレーニング等を行うことが難しいユーザのためのリハビリテーションやイメージトレーニングとしても利用できる。また、特定の動作を行った場合、実在の物体に対する実際の操作が行われたようにオブジェクトの表示が変化するため、ユーザに対して特定の動作を行うことによる刺激だけでなく、同時に映像によって視覚的な刺激を与えることができ、ユーザに実際の作業療法やトレーニングを行っているかのようなイメージを与えることもできる。脳科学の分野では、動作による刺激だけでなく、動作のイメージを強く持つことによる刺激によっても、脳の機能の一部が失われたり低下したりした場合に健在な脳の他の部分が失われた部分の機能を補おうとする脳の代替機能（脳の可塑性ともいう。）が発揮されて、機能が回復していく場合があるとされているので、この特定の動作による擬似的な作業療法やイメージトレーニングにも、リハビリテーションとしての効果は期待できる。
さらに、プログラムによって様々な実在の物体を模したオブジェクトを表示し、それらのオブジェクトに対するカーソルの移動手順と、正しいカーソル移動が行われた場合のオブジェクトの表示を設定しておくことができるので、ユーザに対して様々な特定の動作を誘導することが可能となる。

前記実在の物体は、ユーザが見るだけで前記実際の操作が分かるようなユーザにとって身近な物体であるとなおよい。

この運動支援方法の、前記エフェクトステップでは、少なくとも、前記オブジェクトに前記カーソルが重なった状態で、前記カーソルが第１の所定方向に動くことを条件に、前記オブジェクトを第２の所定方向に移動する。

この場合、前記オブジェクトが所定位置まで移動した後、再び前記オブジェクトを前記移動前の位置に表示するステップをさらに含んでもよい。

この構成によれば、オブジェクトが移動した後、移動前の位置に再びオブジェクトが表示されるので、ユーザに対して、オブジェクトの位置にカーソルを移動させるための動作と、第１の所定方向にカーソルを移動させるための動作を反復させることができる。ここで、移動前の位置に再びオブジェクト表示する方法は、所定位置に移動後のオブジェクトを再び元の位置に移動させるような表示方法でもよいし、所定位置に移動後のオブジェクトの表示は消去し、移動前の位置に新たにオブジェクトを出現させるような表示方法でもよい。

上記の運動支援方法の、前記オブジェクトは、複数の要素画像を含み、前記複数の要素画像は、所定方向に並んで配置され、前記エフェクトステップでは少なくとも、前記要素画像に前記カーソルが重なった状態で、前記カーソルが前記所定方向に動くことを条件に、前記所定方向に前記オブジェクトを移動する。

この構成によれば、カーソルを移動することによって並んだ複数の要素画像が次々に現れるので、ユーザに対して、要素画像の位置にカーソルを移動させるための動作と、カーソルを所定方向に動かすための動作とを反復させることができる。

この場合、前記複数の要素画像は、所定の間隔で並んで配置されていてもよい。

この構成によれば、反復されるユーザの特定の動作の幅が一定になる。

上記の運動支援方法の、前記エフェクトステップでは、少なくとも、前記カーソルが前記オブジェクト上を移動することを条件に、前記オブジェクトの前記カーソルの移動軌跡に対応する部分の形状、模様、色彩のうち少なくとも一つを変化させる。

この場合、前記オブジェクトは、第１の画像を含み、前記エフェクトステップでは、少なくとも、前記カーソルが前記第１の画像上を移動することを条件に、前記第１の画像のうち、前記カーソルの移動軌跡に対応する部分を、第２の画像に変更してもよい。

これらの構成によれば、オブジェクトの表示位置にカーソルを重ね、カーソルでなぞっていくような動作をユーザに促すことができる。

本発明の第２の形態によれば、運動支援方法は、ユーザに特定の動作を促すための運動支援方法であって、撮像を行い、撮像の結果得られた画像に基づいて、ユーザの動きを検出する検出ステップと、前記ユーザの動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記スクリーンに、所定のオブジェクトを表示するステップと、少なくとも、前記オブジェクトに前記カーソルが重なった状態で、前記カーソルが第１の所定方向に動くことを条件に、前記オブジェクトを第２の所定方向に移動するステップと、を含む。

この場合、前記オブジェクトが所定位置まで移動した後、再び前記オブジェクトを前記移動前の位置に表示するステップをさらに含んでもよい。

この構成によれば、オブジェクトが移動した後、移動前の位置に再びオブジェクトが表示されるので、ユーザに対して、オブジェクトの位置にカーソルを移動させるための動作と、第１の所定方向にカーソルを移動させるための動作を反復させることができる。

本発明の第３の形態によれば、運動支援方法は、ユーザに特定の運動を促すための運動支援方法であって、撮像を行い、撮像の結果得られた画像に基づいて、ユーザの動きを検出する検出ステップと、前記ユーザの動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記スクリーンに、所定方向に並んで配置された複数の要素画像を含む所定のオブジェクトを表示するステップと、前記要素画像に前記カーソルが重なった状態で、前記カーソルが前記所定方向に動くことを条件に、前記所定方向に前記オブジェクトを移動するステップと、を含む。

この構成によれば、カーソルを移動することによって並んだ複数の要素画像が次々に現れるので、ユーザに対して、要素画像の位置にカーソルを移動させるための動作と、カーソルを所定方向に動かすための動作とを反復させることができる。

この場合、前記複数の要素画像は、所定の間隔で並んで配置されていてもよい。

この構成によれば、反復されるユーザの特定の動作の幅が一定になる。

本発明の第４の形態によれば、ユーザに特定の運動を促すための運動支援方法であって、撮像を行い、撮像の結果得られた画像に基づいて、ユーザの動きを検出する検出ステップと、前記ユーザの動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、前記スクリーンに所定のオブジェクトを表示するステップと、少なくとも、前記カーソルが前記オブジェクト上を移動することを条件に、前記オブジェクトの前記カーソルの移動軌跡に対応する部分の形状、模様、色彩のうち少なくとも一つを変化させるエフェクトステップと、を含む。

この場合、前記オブジェクトは、第１の画像を含み、前記エフェクトステップでは、少なくとも、前記カーソルが前記第１の画像上を移動することを条件に、前記第１の画像のうち、前記カーソルの移動軌跡に対応する部分を、第２の画像に変更するようにしてもよい。

これらの構成によれば、オブジェクトの表示位置にカーソルを重ね、カーソルでなぞっていくような動作をユーザに促すことができる。また、オブジェクトの形状、模様、色彩の変化又は第１画像から第２画像への変化によって、ユーザに対して、特定の動作を行うことによる刺激だけでなく、映像による視覚的な刺激を与えることができる。

本発明の新規な特徴は、特許請求の範囲に記載されている。しかしながら、発明そのもの及びその他の特徴と効果は、添付図面を参照して具体的な実施例の詳細な説明を読むことにより容易に理解される。
本発明の実施の形態による運動支援方法を実行するための情報処理システムの全体構成を示す図である。 図１の入力装置３の斜視図である。 図１の入力装置３Ｌ及び３Ｒの使用状態の一例を示す説明図である。 図１の情報処理装置１の電気的構成を示す図である。 図１の情報処理システムによる襖開きモードでの画面の例示図である。図５（ａ）は襖３５が両方閉じた状態を示す画面を説明する図、図５（ｂ）は右開き入力があった場合の画面を説明する図、図５（ｃ）両開き入力があった場合の画面を説明する図、そして図５（ｄ）は右開き入力及び左開き入力が順次行われたか、両開き入力が行われた場合の画面を示す図である。 図１の情報処理システムによる梯子登りモードでの画面の例示図である。 図１の情報処理システムによる窓拭きモードでの画面の例示図である。 図４のマルチメディアプロセッサ５０による全体処理の流れの一例を示すフローチャートである。 図８のステップＳ３のアプリケーションプログラムが実行する処理の１つである撮影処理の流れを示すフローチャートである。 図８のステップＳ３のアプリケーションプログラムが実行する処理の１つであるシート検出処理を示すフローチャートである。 差分画像ＤＩから再帰反射シート１５Ｌ及び１５Ｒのそれぞれの注目点を検出する方法の説明する図である。 図４のマルチメディアプロセッサ５０が実行する情報処理の流れを示す遷移図である。 図１２のステップＳ５３の襖開きモードでマルチメディアプロセッサ５０が行う処理の流れを説明するフローチャートである。 図１３のステップＳ６７の左入力判定前処理で、マルチメディアプロセッサ５０が実行する処理を説明するフローチャートである。 図１３のステップＳ７１の左入力判定処理のフローチャートである。 閾値ｘ１からｘ４について説明する図である。 図１２の遷移図のステップＳ５５の梯子登りモードの処理を説明するフローチャートである。 図１１の遷移図のステップＳ５７の窓拭きモードの処理を説明するフローチャートである。

符号の説明

１…情報処理装置、３，３Ｌ，３Ｒ…入力装置、５…テレビジョンモニタ、９…赤外発光ダイオード、１５，１５Ｌ，１５Ｒ…再帰反射シート、７０，７０Ｌ，７０Ｒ…カーソル、３３，３３Ｌ，３３Ｒ…引手、３５，３５Ｌ，３５Ｒ…襖、３６…背景画像。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については、同一の参照符号を付してその説明を援用する。

図１は、本発明の実施の形態による運動支援方法を実行するための情報処理システムの全体構成を示す図である。図１に示すように、この情報処理システムは、情報処理装置１、入力装置３Ｌ及び３Ｒ、並びにテレビジョンモニタ５を備える。ここで、入力装置３Ｌ及び３Ｒを区別する必要がないときは、入力装置３と表記する。情報処理装置１は、ＡＶケーブル７により、テレビジョンモニタ５に接続される。さらに、情報処理装置１には、図示していないが、ＡＣアダプタあるいは電池により電源電圧が供給される。情報処理装置１の背面には、電源スイッチ（図示せず）が設けられる。

図２は、図１の入力装置３の斜視図である。図２に示すように、入力装置３は、透明体１７の底面側にベルト１９を通して、そのベルト１９を透明体１７の内部で固定してなる。透明体１７の内面全体にわたって（底面側を除く）、再帰反射シート１５が取り付けられる。入力装置３の使用方法は後述する。

図１に戻って、情報処理装置１は、その前面側に、赤外光のみを透過する赤外線フィルタ２０が設けられ、さらに、赤外線フィルタ２０を囲むように、赤外光を発生する４つの赤外発光ダイオード９が露出している。赤外線フィルタ２０の背面側には、後述のイメージセンサ５４が配置される。
４つの赤外発光ダイオード９は、間欠的に赤外光を発光する。そして、赤外発光ダイオード９からの赤外光は、入力装置３に取り付けられた再帰反射シート１５により反射され、赤外線フィルタ２０の背面側に設けられたイメージセンサ５４に入力される。このようにして、イメージセンサ５４により、入力装置３が撮影される。
赤外光は間欠的に照射されるところ、赤外光の非照射時においても、イメージセンサ５４による撮影処理は行われている。情報処理装置１は、ユーザにより動かされた入力装置３の、赤外光照射時の画像信号と非照射時の画像信号との差分を求めて、この差分信号ＤＩ（差分画像ＤＩ）を基に、再帰反射シート１５の位置、つまり入力装置３の位置を算出する。このように、差分を求めることで、再帰反射シート１５からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート１５を検出できる。

図３は、図１の入力装置３Ｌ及び３Ｒの使用状態の一例を示す説明図である。図１及び図３に示すように、ユーザは、中指を図２のベルト１９に通して、入力装置３を装着する。この場合、透明体１７及び再帰反射シート１５が、手の平の側にくるようにする。図１のように、ユーザが、情報処理装置１に向けて、つまり、イメージセンサ５４に向けて手を開くと、透明体１７及び再帰反射シート１５が現れ、この再帰反射シート１５が撮影される。一方、透明体１７を握り締めると、再帰反射シート１５は手の中に隠れてしまい、イメージセンサ５４に撮影されない。従って、ユーザは、手を開いたり閉じたりする動作によって、再帰反射シート１５を撮影させたり撮影させなかったりすることにより、情報処理装置１に対する入力の制御を行うこともできる。以下、この入力方法を握り入力と呼ぶ。

図４は、図１の情報処理装置１の電気的構成を示す図である。図４に示すように、情報処理装置１は、マルチメディアプロセッサ５０、イメージセンサ５４、赤外発光ダイオード９、外部メモリ５２、及びバス５６を含む。外部メモリ５２には、例えば、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄａｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ等が利用できる。
マルチメディアプロセッサ５０は、バス５６を通じて、外部メモリ５２にアクセスできる。従って、マルチメディアプロセッサ５０は、外部メモリ５２に格納されたプログラムを実行でき、また、外部メモリ５２に格納されたデータをリードして処理することができる。この外部メモリ５２に、後述の各種画面の制御、再帰反射シート１５Ｌ及び１５Ｒの位置検出、並びに入力状態及び非入力状態の判定等の各処理を行うプログラム、画像データ、及び音声データ等が予め格納される。

このマルチメディアプロセッサ５０は、図示しないが、中央演算処理装置（以下、「ＣＰＵ」と呼ぶ。）、グラフィックスプロセシングユニット（以下、「ＧＰＵ」と呼ぶ。）、サウンドプロセシングユニット（以下、「ＳＰＵ」と呼ぶ。）、ジオメトリエンジン（以下、「ＧＥ」と呼ぶ。）、外部インタフェースブロック、メインＲＡＭ、及びＡ／Ｄコンバータ（以下、「ＡＤＣ」と呼ぶ。）などを具備する。
ＣＰＵは、外部メモリ５２に格納されたプログラムを実行して、各種演算やシステム全体の制御を行う。グラフィックス処理に関するＣＰＵの処理として、外部メモリ５２に格納されたプログラムを実行して、各オブジェクトの拡大・縮小、回転、及び／又は平行移動のパラメータ、視点座標（カメラ座標）、並びに視線ベクトルの算出等を行う。ここで、１または複数のポリゴン又はスプライトから構成され、同じ拡大・縮小、回転、及び平行移動の変換が適用される単位を「オブジェクト」と呼ぶ。
ＧＰＵは、ポリゴン及びスプライトから構成される三次元イメージをリアルタイムに生成し、アナログのコンポジットビデオ信号に変換する。ＳＰＵは、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）波形データ、アンプリチュードデータ、及びメインボリュームデータを生成し、これらをアナログ乗算して、アナログオーディオ信号を生成する。ＧＥは、三次元イメージを表示するための幾何演算を実行する。具体的には、ＧＥは、行列積、ベクトルアフィン変換、ベクトル直交変換、透視投影変換、頂点明度／ポリゴン明度計算（ベクトル内積）、及びポリゴン裏面カリング処理（ベクトル外積）などの演算を実行する。
外部インタフェースブロックは、周辺装置（本実施の形態ではイメージセンサ５４及び赤外発光ダイオード９）とのインタフェースであり、２４チャンネルのプログラマブルなデジタル入出力（Ｉ／Ｏ）ポートを含む。ＡＤＣは、４チャンネルのアナログ入力ポートに接続され、これらを介して、アナログ入力装置（本実施の形態ではイメージセンサ５４）から入力されたアナログ信号をデジタル信号に変換する。メインＲＡＭは、ＣＰＵのワーク領域、変数格納領域、および仮想記憶機構管理領域等として利用される。

入力装置３Ｌ及び３Ｒは、赤外発光ダイオード９の赤外光に照射され、その赤外光を再帰反射シート１５Ｌ及び１５Ｒで反射する。この再帰反射シート１５Ｌ及び１５Ｒからの反射光がイメージセンサ５４によって撮影され、したがって、イメージセンサ５４からは再帰反射シート１５Ｌ及び１５Ｒを含む画像信号が出力される。上記のように、マルチメディアプロセッサ５０は、ストロボ撮影のために、赤外発光ダイオード９を間欠的に点滅するので、赤外光消灯時の画像信号も出力される。イメージセンサ５４からのこれらのアナログ画像信号はマルチメディアプロセッサ５０に内蔵されたＡＤＣによってデジタルデータに変換される。
マルチメディアプロセッサ５０は、イメージセンサ５４からＡＤＣを介して入力されるデジタル画像信号から上記の差分信号ＤＩ（差分画像ＤＩ）を生成して、これに基づき、入力装置３Ｌ及び３Ｒによる入力／非入力の判定、さらに入力装置３Ｌ及び３Ｒの位置等を検出して、演算、グラフィック処理、及びサウンド処理等を実行し、ビデオ信号およびオーディオ信号を出力する。ビデオ信号およびオーディオ信号は、ＡＶケーブル７によりテレビジョンモニタ５に与えられ、応じて、テレビジョンモニタ５に映像が表示され、そのスピーカ（図示せず）から音声が出力される。

マルチメディアプロセッサ５０は、検出した入力装置３Ｌ及び３Ｒの位置に応じて、カーソル７０Ｌ及び７０Ｒの移動を制御する。まずマルチメディアプロセッサ５０は、差分画像ＤＩから再帰反射シート１５Ｌ及び１５Ｒの像を抽出して、それぞれの注目点の差分画像ＤＩ上の座標を算出する。注目点の検出の仕方については、差分画像ＤＩをスキャンして、再帰反射シート１５Ｌ及び１５Ｒの像の最も輝度が高いピクセルを注目点とする方法等周知の様々な方法が利用できる。本実施の形態での方式は、図１０及び図１１を用いて後述する。

マルチメディアプロセッサ５０は、差分画像ＤＩ上の２つの注目点の差分画像ＤＩ上の座標を、テレビジョンモニタ５に映像を表示する際に用いられる座標系であるスクリーン座標系の座標に変換する。以下、スクリーン座標系は、画面左上角を原点、ユーザから見て画面の右方向をｘ軸正方向、ユーザから見て画面の下方向をｙ軸正方向とするｘｙ平面を想定して説明する。マルチメディアプロセッサ５０は、上記の２つの注目点（再帰反射シート１５Ｌ及び１５Ｒに対応）のスクリーン座標系での座標（以下、カーソル座標という。）に、それぞれカーソル７０Ｌ及び７０Ｒを表示する。また、スクリーン座標系におけるカーソル座標、画像又は各種オブジェクトの位置や動きを説明する場合に、ｘ軸正方向を単に右、ｘ軸負方向を単に左、ｙ軸正方向を単に下、ｙ軸負方向を単に上として説明する場合がある。さらに、２つのカーソル座標のうち、画面中左にあるカーソル座標を左カーソル座標（再帰反射シート１５Ｌに対応）、画面中右にあるカーソル座標を右カーソル座標（再帰反射シート１５Ｒに対応）として分けて説明する場合がある。

次に、本実施の形態の情報処理システムにより実行される各種モードでの画面を例示して、マルチメディアプロセッサ５０による処理内容を説明する。
［襖開きモード］
図５は、図１の情報処理システムによる襖開きモードでの画面の例示図である。襖とは、日本の部屋と部屋とを仕切る引き戸の一種で、引手に手を掛けて左右にスライドさせて開くものである。マルチメディアプロセッサ５０は、テレビジョンモニタ５に、引手３３Ｌ及び３３Ｒをそれぞれ備えた襖３５Ｌ及び３５Ｒを含む画面を表示する。以下、引手３３Ｌ及び３３Ｒを包括して引手３３と表現し、襖３５Ｌ及び３５Ｒを包括して襖３５と表現する場合がある。

この襖開きモードでは、ユーザは、入力装置３Ｌを、カーソル７０が引手３３Ｌ上に移動するように動かし、その後入力装置３Ｌをユーザから見て左に所定量以上動かすと、襖３５Ｌを開くことができる。また、ユーザは、入力装置３Ｒを、カーソル７０Ｒが引手３３Ｒ上に移動するように動かし、その後入力装置３Ｒをユーザから見て右に一定量以上動かすと、襖３５Ｒを開くことができる。ユーザは一定時間内に何枚の襖を開けるかに挑戦する。

図５（ａ）は襖３５が両方閉じた状態を示す画面を説明する図である。マルチメディアプロセッサ５０は、襖開きモードを開始すると、図５（ａ）の画面をまず表示する。マルチメディアプロセッサ５０は、左カーソル座標に応じてカーソル７０Ｌを、右カーソル座標に応じてカーソル７０Ｒを表示する。マルチメディアプロセッサ５０は、カーソル座標の動き、すなわちイメージセンサ５４によって検知したユーザの手の動きに応じて、右開き入力、左開き入力、両開き入力を判別し、画面表示を変更していく。以下、右開き入力、左開き入力、及び両開き入力について説明する。
図５（ｂ）は、右開き入力があった場合の画面を説明する図である。図５（ｂ）を参照して、マルチメディアプロセッサ５０は、カーソル７０Ｒが引手３３Ｒ上に移動すると、以降右開き入力又は両開き入力が入力されるまで、カーソル７０Ｒを右カーソル座標の位置ではなく引手３３Ｒの傍に固定表示する。この後、マルチメディアプロセッサ５０は、右カーソル座標が所定量右に移動するのを検知すると、右開き入力があったと判断し、カーソル７０Ｒ、引手３３Ｒ及び襖３５Ｒを右方向の画面外までスクロールし、背景画像３６の右領域を表示する。このため、ユーザには襖３５Ｒが開いていくように見える。
同様に、マルチメディアプロセッサ５０は、カーソル７０Ｌが引手３３Ｌ上に移動すると、以降左開き入力又は両開き入力が入力されるまで、カーソル７０Ｌを左カーソル座標の位置ではなく引手３３Ｌの傍に固定表示する。このとき、マルチメディアプロセッサ５０は、左カーソル座標が所定量左に移動するのを検知すると、左開き入力があったと判断し、カーソル７０Ｌ、引手３３Ｌ及び襖３５Ｌを左方向の画面外に移動させ、背景画像３６の左領域を表示する。このため、ユーザには襖３５Ｌが開いていくように見える。なお、左開き入力がなされた場合の画面表示については、図５（ｂ）を左右対称にしたものであるので、図示を省略する。また、右開き入力と、左開き入力とが実質的に同時に行われた場合、マルチメディアプロセッサ５０は両開き入力があったと判断する。
図５（ｃ）は両開き入力があった場合の画面を説明する図である。図５（ｃ）のように、マルチメディアプロセッサ５０は、両開き入力があると、カーソル７０Ｒ、引手３３Ｒ及び襖３５Ｒを右に移動させ、同時にカーソル７０Ｌ、引手３３Ｌ及び襖３５Ｌを左に移動させ、背景画像３６を表示する。このため、ユーザには襖３５Ｒ及び襖３５Ｌが同時に開いていくように見える。
図５（ｄ）は、襖３５Ｒ及び３５Ｌが両方開いた状態の画面を示す図である。図５（ｄ）を参照して、襖３５を両方とも開くと、マルチメディアプロセッサ５０は、背景画像３６だけが表示された画面を表示する。背景画像３６には次の襖３５が画面奥に描かれている。マルチメディアプロセッサ５０は、襖を開いた回数をインクリメントし、次の襖３５に近づいていくようにアニメーション表示を行い、再び、図（ａ）で示したのと同じ、襖３５及び引手３３を含む画面を表示し、再びカーソル座標に応じてカーソル７０を表示する。以降マルチメディアプロセッサ５０は、一定時間が経過するまで上述の処理を繰り返し、一定時間が経過すると、ユーザが一定時間内に何枚襖を開いたかを表示する結果表示画面（図示せず）を表示し、襖開きモードを終了する。

［梯子登りモード］
図６は、図１の情報処理システムによる梯子登りモードでの画面の例示図である。図６を参照して、マルチメディアプロセッサ５０は、梯子３７を含む画面をテレビジョンモニタ５に表示させる。梯子３７は、縦棒と横棒３９とからなる。
まずマルチメディアプロセッサ５０は、横棒３９の表示位置に、カーソル７０Ｒ又は７０Ｌの何れかが重なると、当該横棒３９に重なったカーソル７０の下方向への動きに合わせて、梯子３７の画像も下方向にスクロールさせる。梯子３７には、画面に表れていない部分も存在する。マルチメディアプロセッサ５０は、梯子３７の画像をループさせて表示するので、梯子３７の画像がスクロールしても、画像３７の画像の端部が表示されることは無く、常に横棒３９が等間隔に並んだ状態で梯子３７が画面下にスクロールしていく。マルチメディアプロセッサ５０は、梯子３７のスクロール量に応じて、高さパラメータを増加させ、高さ表示部４０に表示する。なお、高さパラメータに応じて背景の画像を変えるようにしてもよい。

ユーザはカーソル７０が重なった横棒３９が、カーソル７０に伴って画面下までスクロールしたら、ユーザは、実際に梯子を登るときに上の棒に手を伸ばす動作のようにカーソル７０を画面上方向に動かし、カーソル７０を上に表示された横棒３９に重ね、再び横棒３９に重なったカーソル７０を画面下方向に移動させることで、次々に梯子３７をスクロールさせ、高さパラメータを増やすことができる。梯子３７が下方向にスクロールしていく様子は、ユーザから見ると梯子を登っているように見える。マルチメディアプロセッサ５０は、一定時間上記の処理を実行し、一定時間経過後、高さパラメータと評価を表示するための結果表示画面（図示せず）を表示し、梯子登りモードを終了する。

［窓拭きモード］
図７は、図１の情報処理システムによる窓拭きモードでの画面の例示図である。図７を参照して、マルチメディアプロセッサ５０は、窓４４を含む画面を表示する。
マルチメディアプロセッサ５０は、図７に示すように、窓４４の内部に、窓の曇りを表現した曇り画像４６を表示する。次に、曇り画像４６の表示位置に、カーソル７０が重なると、マルチメディアプロセッサ５０は、重なった部分の曇り画像４６を、風景画像４８に変更する。このようにするとユーザからは、カーソル７０を動かすことによって曇りが取れて、窓の向こうの風景が現れるように見える。
マルチメディアプロセッサ５０は、曇り画像４６が全て風景画像４８に変更されたと判断すると、風景画像４８が内部に表示された窓４４の表示を止め、拭き終わった窓の数をインクリメントし、新たに曇り画像４６が内部に表示された窓４４を表示する。以上の処理をマルチメディアプロセッサ５０は、一定時間繰り返す。一定時間が経過すると、マルチメディアプロセッサ５０は、拭き終わった窓の数を表示する結果表示画面（図示せず）を表示し、窓拭きモードを終了する。

次に、マルチメディアプロセッサ５０が外部メモリ５２に格納されたプログラムを実行することにより行う処理を、フローチャートを用いて説明する。
図８は、図４のマルチメディアプロセッサ５０による全体の処理の流れの一例を示すフローチャートである。図８に示すように、ステップＳ１にて、マルチメディアプロセッサ５０は、各種変数（フラグやカウンタを含む。）の初期化等、システムの初期設定を実行する。ステップＳ３にて、マルチメディアプロセッサ５０は、外部メモリ５２に格納されたアプリケーションプログラムに従った処理を実行する。ステップＳ５にて、マルチメディアプロセッサ５０は、ビデオ同期信号による割り込みが発生するまで待機する。つまり、マルチメディアプロセッサ５０は、ビデオ同期信号による割り込みが発生していない場合は、同じステップＳ５に戻り、ビデオ同期信号による割り込みが発生した場合は、ステップＳ７に進む。例えば、ビデオ同期信号による割り込みは、１／６０秒ごとに発生する。この割り込みに同期して、ステップＳ７及びステップＳ９にて、マルチメディアプロセッサ５０は、テレビジョンモニタ７に表示する画像を更新すると共に、音声の再生を行う。そして、マルチメディアプロセッサ５０は、ステップＳ３に戻る。
ステップＳ３の処理を制御するアプリケーションプログラムは、複数のプログラムを含む。この複数のプログラムに、再帰反射シート１５の撮影処理を実行するためのプログラム、差分画像ＤＩ上の注目点の抽出処理を実行するためのプログラム、検出された２つの注目点に左右を割り当てる左右決定処理を実行するためのプログラム、及び各種画面表示を生成するためのプログラム等が含まれる。以下、これらの処理をフローチャートを用いて説明する。

図９は、図８のステップＳ３のアプリケーションプログラムが実行する処理の１つである撮影処理の流れを示すフローチャートである。図９に示すように、ステップＳ２１において、マルチメディアプロセッサ５０は、赤外発光ダイオード９を点灯する。ステップＳ２３で、マルチメディアプロセッサ５０は、イメージセンサ５４から、赤外光点灯時の画像データを取得して、メインＲＡＭに格納する。
ここで、本実施の形態では、イメージセンサ５４の例として、３２ピクセル×３２ピクセルのＣＭＯＳイメージセンサを使用する。従って、イメージセンサ５４からは、画像データとして、３２ピクセル×３２ピクセルのピクセルデータが出力される。このピクセルデータは、Ａ／Ｄコンバータにより、デジタルデータに変換されて、メインＲＡＭ上の二次元配列Ｐ１［Ｘ］［Ｙ］の要素として格納される。
ステップＳ２５で、マルチメディアプロセッサ５０は、赤外発光ダイオード９を消灯する。ステップＳ２７にて、マルチメディアプロセッサ５０は、イメージセンサ５４から、赤外光消灯時の画像データ（３２ピクセル×３２ピクセルのピクセルデータ）を取得して、メインＲＡＭに格納する。この場合、このピクセルデータは、メインＲＡＭ上の二次元配列Ｐ２［Ｘ］［Ｙ］の要素として格納される。
以上のようにして、ストロボ撮影が行われる。ここで、イメージセンサ５４による画像を構成する各ピクセルの位置を表す二次元座標系では、水平方向をＸ軸、垂直方向をＹ軸とし、原点Ｏを画像の左上角とする。本実施の形態では、３２ピクセル×３２ピクセルのイメージセンサ５４を用いているため、Ｘ＝０〜３１、Ｙ＝０〜３１である。この点、差分画像ＤＩについても同じである。また、ピクセルデータは輝度値である。

マルチメディアプロセッサ５０は、図１０の撮影処理で得られた赤外光点灯時の画像と赤外光消灯時の画像とから、差分画像ＤＩを算出して、差分画像ＤＩに映り込んだ再帰反射シート１５Ｌ及び１５Ｒのそれぞれの注目点を抽出する。詳細は次の通りである。
図１０は、図８のステップＳ３のアプリケーションプログラムが実行する処理の１つであるシート検出処理を示すフローチャートである。図１０を参照して、ステップＳ４１にて、マルチメディアプロセッサ５０は、赤外光点灯時のピクセルデータＰ１［Ｘ］［Ｙ］と、赤外光消灯時のピクセルデータＰ２［Ｘ］［Ｙ］と、の差分を算出して、配列Ｄｉｆ［Ｘ］［Ｙ］に代入する。ステップＳ４３にて、マルチメディアプロセッサ５０は、３２×３２ピクセル分の差分を算出した場合は、ステップＳ４５に進み、そうでなければ、ステップＳ４１に戻る。このように、マルチメディアプロセッサ５０は、ステップＳ４１の処理を繰り返して、赤外光発光時の画像データと、赤外光消灯時の画像データと、の差分画像データを生成する。このように、差分画像データ（差分画像ＤＩ）を求めることで、入力装置３Ｌ及び３Ｒの再帰反射シート１５Ｌ及び１５Ｒからの反射光以外の光によるノイズを極力除去でき、左右の再帰反射シート１５Ｌ及び１５Ｒを精度良く検出できる。なお、この場合、差分データと固定閾値又は可変閾値とを比較して、閾値を超えた差分データだけを有効なデータとして扱い、以降の処理を行うこともできる。この場合、例えば、閾値以下の差分データを「０」とする。
ステップＳ４５〜Ｓ４９を説明する前に、再帰反射シート１５Ｌ及び１５Ｒの像からそれぞれの注目点、つまり、左注目点及び右注目点を検出する方法について具体例を挙げて説明する。

図１１は、差分画像ＤＩから再帰反射シート１５Ｌ及び１５Ｒの像から、それぞれの注目点を検出する方法の説明図である。図１１には、赤外光点灯時及び消灯時の画像データから生成した差分画像データに対応する差分画像ＤＩ（３２×３２ピクセル）が図示されている。図中、小さい正方形は１ピクセルを示す。また、左上角をＸＹ座標軸の原点Ｏとする。この画像には、輝度値が大きい２つの領域２５１及び２５３が含まれる。領域２５１及び２５３は、再帰反射シート１５Ｌ及び１５Ｒである。ただし、この時点では、どの領域がどちらの再帰反射シート１５に対応するかは判別できない。

まず、マルチメディアプロセッサ５０は、Ｙ＝０を出発点として、Ｘ＝０からＸ＝３１まで、差分画像データをスキャンし、次に、Ｙをインクリメントし、Ｘ＝０からＸ＝３１まで、差分画像データをスキャンする。このような処理をＹ＝３１まで行い、３２×３２ピクセルの差分画像データをスキャンして、閾値ＴｈＬより大きいピクセルデータの上端位置ｍｉｎＹ、下端位置ｍａｘＹ、左端位置ｍｉｎＸ、及び右端位置ｍａｘＸを求める。
次に、マルチメディアプロセッサ５０は、座標（ｍｉｎＸ，ｍｉｎＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＴを算出する。また、マルチメディアプロセッサ５０は、座標（ｍａｘＸ，ｍｉｎＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＴを算出する。さらに、マルチメディアプロセッサ５０は、座標（ｍｉｎＸ，ｍａｘＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＢを算出する。さらに、マルチメディアプロセッサ５０は、座標（ｍａｘＸ，ｍａｘＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＢを算出する。
マルチメディアプロセッサ５０は、距離ＬＴ＞ＲＴのときは、座標（ｍａｘＸ，ｍｉｎＹ）を再帰反射シート１５Ｒの注目点、つまり右注目点とし、距離ＬＴ≦ＲＴのときは、座標（ｍｉｎＸ，ｍｉｎＹ）を再帰反射シート１５Ｌの注目点、つまり左注目点とする。また、マルチメディアプロセッサ５０は、距離ＬＢ＞ＲＢのときは、座標（ｍａｘＸ，ｍａｘＹ）を再帰反射シート１５Ｒの注目点、つまり右注目点とし、距離ＬＢ≦ＲＢのときは、座標（ｍｉｎＸ，ｍａｘＹ）を再帰反射シート１５Ｌの注目点、つまり左注目点とする。

図１０に戻って、ステップＳ４５にて、マルチメディアプロセッサ５０は、図１１で説明した左右上下端（ｍｉｎＸ、ｍａｘＸ、ｍｉｎＹ、ｍａｘＹ）の検出処理を実行する。ステップＳ４７にて、マルチメディアプロセッサ５０は、図１１で説明した左注目点及び右注目点の決定処理を実行する。ステップＳ４９にて、マルチメディアプロセッサ５０は、左注目点及び右注目点のＸＹ座標をスクリーン座標系に変換し、カーソル座標を取得する。

図１２は、図４のマルチメディアプロセッサ５０が実行する情報処理の流れを示す遷移図である。図１２を参照して、マルチメディアプロセッサ５０は、図５〜７で説明した各種モードを選択するための選択画面（図示せず）を、テレビジョンモニタ５に表示する。本実施の形態では、前述の通り３つのモードが設けられる。
ステップＳ５１で、マルチメディアプロセッサ５０は、選択画面において、ユーザがカーソル７０を操作して３つのモードのうち、何れかを選択するための画面である選択画面（図示せず）を表示する。マルチメディアプロセッサ５０は、ステップＳ５１で襖開きモードが選ばれた場合、ステップＳ５３に進み、襖開きモードのための処理を実行し、ステップＳ５１に戻る。また、マルチメディアプロセッサ５０は、ステップＳ５１で梯子登りモードが選ばれた場合、ステップＳ５５に進み、梯子登りモードのための処理を実行し、ステップＳ５１に戻る。また、マルチメディアプロセッサ５０は、ステップＳ５１で窓拭きモードが選ばれた場合、ステップＳ５７に進み、窓拭きモードのための処理を実行し、ステップＳ５１に戻る。
以下、襖開きモード、窓拭きモード及び梯子登りモード実行時に、マルチメディアプロセッサ５０が行う処理をフローチャートを用いて説明する。なお、これらの処理もまた、図８のステップＳ３の処理として行われるが、説明の便宜のため、ビデオ同期信号に同期した形でのフローチャートではなく、図１２の遷移図に含まれる形のフローチャートで説明する。

図１３は、図１２のステップＳ５３の襖開きモードでマルチメディアプロセッサ５０が行う処理の流れを説明するフローチャートである。図１３を参照して、ステップＳ６１でマルチメディアプロセッサ５０は、襖開きモードのための画面を表示し、各種変数（フラグ及びソフトウェアカウンタを含む。）を初期化などの初期設定をおこなう。
ステップＳ６３に進み、マルチメディアプロセッサ５０は、計時を開始する。ステップＳ６５に進み、図１０のステップＳ４９で取得したカーソル座標をチェックし、ステップＳ６７の左入力判定前処理に進む。この左入力判定前処理は、カーソル７０Ｌをどの位置に表示するかを判定するための処理である。マルチメディアプロセッサ５０は、カーソル７０Ｌが引手３３Ｌに重なるまでは、カーソル座標に応じてにカーソル７０Ｌを表示し、カーソル７０Ｌが引手３３Ｌに重なると、カーソル７０Ｌを引手３３Ｌの傍に固定し、以降左開き入力の有無の判定のために、カーソル座標のｘ座標の値を変数ｘＬとして格納し、カーソル座標のｘ座標に変化がある都度更新する。図１４のフローチャートを用いて、左入力判定前処理を説明する。

図１４は、図１３のステップＳ６７の左入力判定前処理で、マルチメディアプロセッサ５０が実行する処理を説明するフローチャートである。図１４を参照して、ステップＳ８１で、マルチメディアプロセッサ５０は、左開きフラグがオンかオフかを判断し、オフならステップＳ８３へ、オンならばリターンする。左開きフラグは、図１５で後述するが、スクリーン上で襖３５Ｌがスクロールした後で、代わりに背景画像３６の左領域が表示されている状態の時にオンになるフラグである。マルチメディアプロセッサ５０は、図５（ａ）で示した状態から左開き入力があった場合に、右開き入力が入力されるまで、この左開きフラグをオンにする。同様に、マルチメディアプロセッサ５０は、襖３５Ｒのみが開いた状態の場合、左開き入力が入力されるまで、右開きフラグがオンにする。左開きフラグがオンの間は、カーソル７０Ｌは画面に表示されないため、マルチメディアプロセッサ５０は、カーソル７０を表示するための設定を特に行わずリターンする。

ステップＳ８３で、マルチメディアプロセッサ５０は、左フラグがオンか否かをチェックし、オンならばステップＳ９３へ、オフならばステップＳ８５へ進む。ステップＳ８５でマルチメディアプロセッサ５０は、カーソル７０Ｌが引手３３Ｌ上に来たか否かをチェックし、来た場合はステップＳ８７に進んで左フラグをオンにした後、カーソル７０Ｌを引手３３Ｌの傍に表示するように設定し、リターンする。ステップＳ８５で、カーソル７０Ｌが引手３３Ｌ上に来ていない場合、マルチメディアプロセッサ５０は、左カーソル座標にカーソル７０Ｌを表示する設定を行い、リターンする。
ステップＳ８３で、左フラグがすでにオンである場合、マルチメディアプロセッサ５０は、ステップＳ９３でカーソル７０Ｌを引手３３Ｌの傍に表示するように設定し、ステップＳ９５で、左カーソル座標のｘ座標の値を変数ｘＬに格納してリターンする。

図１３のフローに戻って、マルチメディアプロセッサ５０は、ステップＳ６９の右入力判定前処理に進む。ステップＳ６９の右入力判定前処理では、カーソル７０Ｒをスクリーン上のどこに表示するかについての判定処理が行われる。ステップＳ６９の処理はステップＳ６７の処理の左右を入れ替えた以外は、実質的に同一の処理が行われるため、図１４の説明を援用し、説明を省略する。ただし適宜、左開きフラグを右開きフラグに、左カーソル座標を右カーソル座標に、カーソル７０Ｌをカーソル７０Ｒに、引手３３Ｌを引手３３Ｒに、変数ｘＬを変数ｘＲに、左フラグを右フラグに、読み替えるものとする。なお、変数ｘＬは、左フラグがオンになった以降の左カーソル座標のｘ座標の値が格納されるのと同様、変数ｘＲは、右フラグがオンになった以降の右カーソル座標のｘ座標の値が格納される。

図１３のフローのステップＳ７１に進んで、マルチメディアプロセッサ５０は、左入力判定処理を行う。この処理は、前述の左開き入力又は両開き入力が行われたか否かを判定し、入力に応じた表示を行う処理である。左入力判定処理について、図１５のフローチャートを利用して説明する。
図１５は、図１３のステップＳ７１の左入力判定処理のフローチャートである。ステップＳ１０１で、マルチメディアプロセッサ５０は、左フラグがオンか否かをチェックし、オンならばステップＳ１０３へ進み、オフならば左開き入力又は両開き入力はまだ行われないのでリターンする。ステップＳ１０３で、マルチメディアプロセッサ５０は、右開きフラグがオンかオフか、すなわち襖３５Ｒが既に開いているか否かをチェックし、ＹｅｓならばステップＳ１１７へ、ＮｏならばステップＳ１０５へすすむ。

ステップＳ１０５でマルチメディアプロセッサ５０は、変数ｘＬをチェックし、閾値ｘ１と比較し、ｘＬ＜ｘ１であればステップＳ１０７に進み、ｘＬ＞ｘ１であれば何もせずにリターンする。左フラグがオンになって以降の左注目点のｘ座標である変数ｘＬが閾値ｘ１より小さくなったということは、スクリーン座標系で、左カーソル座標が一度引手３３Ｌ上に移動した後、ｘ座標がｘ１のラインよりも左側の領域まで移動したことを意味する。さらに、マルチメディアプロセッサ５０は、ステップＳ１０７で変数ｘＲが閾値ｘ３より大きいか否かを判別し、大きければステップＳ１０９に進み、小さければステップＳ１１３に進む。右フラグがオンになって以降の右注目点のｘ座標である変数ｘＲが閾値ｘ３より大きくなるということは、ｘｙ座標上で、右注目点が一度引手３３Ｒ上に移動した後、ｘ座標がｘ３のラインよりも右側の領域まで移動したことを意味する。ここで閾値ｘ１及びｘ３並びに後述の閾値ｘ２及びｘ４とその位置関係について、図１６を用いて説明する。

図１６は、閾値ｘ１〜ｘ４について説明する図である。図１６では、襖開きモードの図５（ａ）で示した状態の画面のスクリーン座標（ｘｙ座標）を用いて、閾値ｘ１からｘ４について説明する。図１６を参照して、閾値ｘ１＜閾値ｘ２＜引手３３Ｌの表示位置のｘ座標＜引手３３Ｒの表示位置のｘ座標＜閾値ｘ３＜閾値ｘ４となっている。また、引手３３Ｌからｘ座標がｘ１のラインまでの距離と、引手３３Ｒからｘ座標がｘ４のラインまでの距離は等しく、引手３３Ｌからｘ座標がｘ２のラインまでの距離と引手３３Ｒからｘ座標がｘ３のラインまでの距離は等しい。なお、ステップＳ１０７で、変数ｘＲを閾値ｘ４ではなく、閾値ｘ３と比較するのは、ユーザが同時に、同量手を動かしているつもりでも、マルチメディアプロセッサ５０には、動き始めの時点も、動きの量も異なって検出される場合が多いので、このように左右で、後から移動を始めたと考えられる側の手の移動量の閾値を少なく設定することで、マルチメディアプロセッサ５０は、ユーザの意図どおり両開き入力を判別している。

図１５に戻って、ステップＳ１０９で、マルチメディアプロセッサ５０は、両開き入力があったと判断し、襖３５Ｌ及び３５Ｒが同時に開くアニメーションを表示する。すなわち、カーソル７０、引手３３及び襖３５が左右画面外に移動し、背景画像３６が表示される（図５（ｃ）参照。）。ステップＳ１１０で左フラグをオフにして変数ｘＬをリセットし、ステップＳ１１１で右フラグをオフにして変数ｘＲをリセットし、ステップＳ１１２で次の襖３５を表示する、つまり、背景画像３６に書かれた襖の部分を拡大していき、再び引手３３及び襖３５を含む画面（図５（ａ）参照。）を表示する。

ステップＳ１０７からステップＳ１１３に進んだ場合、マルチメディアプロセッサ５０は、左開き入力のみがあったと判定し、襖３５Ｌのみが開くアニメーションを表示し、背景画像３６の左領域を表示する。ステップＳ１１５に進んで、マルチメディアプロセッサ５０は、左フラグをオフにして変数ｘＬをリセットし、ステップＳ１１６で左開きフラグをオンにし、リターンする。この状態は、襖３５Ｌだけが開き、襖３５Ｒはいまだ表示されている状態である。

ステップＳ１０３からステップＳ１１７に進んだ場合、マルチメディアプロセッサ５０は、変数ｘＬが閾値ｘ２より小さいか否かを判定し、大きい場合はリターンし、小さい場合はステップＳ１１８に進む。前述の通りｘ１＜ｘ２であるため、マルチメディアプロセッサ５０は、既に襖３５Ｒが開いている場合、襖３５Ｒが開いていない場合に比べて、ユーザの手の左方向への動きが比較的小さい段階で、左開き入力があったと判断し、襖３５Ｌが開く。ステップＳ１１８でマルチメディアプロセッサ５０は、襖３５Ｌが開くアニメーションを表示し、背景画像３６の左領域を表示する。この状態は、図５（ｄ）に示したような、襖３５が両方開き、背景画像３６だけが表示された状態である。ステップＳ１１９に進んでマルチメディアプロセッサ５０は左フラグをオフにして変数ｘＬをリセットし、ステップＳ１２０に進んで右開きフラグをオフにし、前述のステップＳ１１２の処理の後、リターンする。

図１３に戻って、マルチメディアプロセッサ５０は、ステップＳ７３の右入力判定処理を行う。この処理は、右開き入力又は両開き入力が行われたか否かを判定する処理である。ステップＳ７１の左入力判定処理と、左右が入れ替わる以外は、実質的に同様の処理であるので、図１５で行った説明を援用し、説明を省略する。ただし、右と左とを読み替え、ｘＬ＜ｘ１をｘＲ＞ｘ４に、ｘＲ＞ｘ３をｘＬ＜ｘ２に、ｘＬ＜ｘ２をｘＲ＞ｘ３に、読み替えるものとする。

ステップＳ７５に進み、マルチメディアプロセッサ５０は、ステップＳ６３の計時開始から、一定時間が経過したか否かをチェックし、まだ一定時間が経過していなかった場合は、ステップＳ６５に戻る。つまりマルチメディアプロセッサ５０は、一定時間が経過するまでステップＳ６５、Ｓ６７、Ｓ６９、Ｓ７１、Ｓ７３及びＳ７５の処理を繰り返す。ステップＳ７５で、一定時間が経過していた場合はステップＳ７７に進み、襖を開いた枚数を表示するための結果表示画面（図示せず）を表示し、図１２の遷移図にリターンする。

図１７は、図１２の遷移図のステップＳ５５の梯子登りモードの処理を説明するフローチャートである。図１７を参照して、ステップＳ１３１で、マルチメディアプロセッサ５０は、このモードのための画面を表示し、各種変数（フラグ及びソフトウェアカウンタを含む。）を初期化などの初期設定をおこない、ステップＳ１３３で計時を開始する。
マルチメディアプロセッサ５０は、ステップＳ１３５からステップＳ１４３までの処理を、カーソル７０Ｌ及びカーソル７０Ｒについてそれぞれ行う。ステップＳ１３５に進み、カーソル座標に応じてカーソル７０を移動させる。マルチメディアプロセッサ５０は、ステップＳ１３７で、カーソル７０が横棒３９と重なっているか否かをチェックし、重なっている場合、ステップＳ１３９に進み、横棒３９と重なっているカーソル７０が下方向へ移動したか否かを判断し、ＹｅｓならばステップＳ１４０で、梯子３７の画像を下方向に移動させてから、ステップＳ１４１で下方向に移動した量に比例して高さパラメータを増加させて高さ表示部４０の表示を更新し、ステップＳ１４３に進む。ステップＳ１３７で、カーソル７０と横棒３９が重なっていないと判断した場合及びステップＳ１３９でカーソル７０が下方向へ移動していないと判断した場合は、直接ステップＳ１４３に進む。

ステップＳ１４３で、マルチメディアプロセッサ５０は、カーソル７０Ｌ及びカーソル７０Ｒの両方について、ステップＳ１３５からステップＳ１４１の処理を行ったか否かを判定し、いずれか一方のカーソル７０ついてまだ処理が行われていない場合は、ステップＳ１３５に戻り、ステップＳ１３５からステップＳ１４３までの処理を実行する。
ステップＳ１４３で、カーソル７０Ｒ及び７０Ｌについてここまでの処理が終了したら、ステップＳ１４５に進み、マルチメディアプロセッサ５０は、ステップＳ１３３の計時開始から一定時間が経過したか否かを判断し、経過している場合はステップＳ１４７へ進み、経過していない場合はステップＳ１３５へ戻る。ステップＳ１４７で、マルチメディアプロセッサ５０は、高さパラメータとその評価を表示するための結果表示画面（図示せず）を表示し、図１２の遷移図にリターンする。

図１８は、図１２の遷移図のステップＳ５７の窓拭きモードの処理を説明するフローチャートである。
図１８を参照して、マルチメディアプロセッサ５０は、ステップＳ１５１で、このモードのための画面を表示し、各種変数（フラグ及びソフトウェアカウンタを含む。）を初期化などの初期設定をおこない、ステップＳ１５３で計時を開始する。
マルチメディアプロセッサ５０は、ステップＳ１５５で、カーソル座標に応じてカーソル７０を移動させ、ステップＳ１５７で、曇り画像４６と、カーソル７０とが、重なっているか否かを判定する。重なっていた場合、ステップＳ１５９に進み、マルチメディアプロセッサ５０は、カーソル７０と重なった部分の曇り画像４６を、風景画像４８に変更し、ステップＳ１６１に進む。マルチメディアプロセッサ５０は、ステップＳ１５９で、重なっていないと判断した場合、ステップＳ１６１に進む。

ステップＳ１６１で、マルチメディアプロセッサ５０は、画面上の曇り画像４６が全て風景画像４８に変更されたか否かを判断し、変更されていた場合、ステップＳ１６３に進み、風景画像４８が内部に表示された窓４４を消して、曇り画像４６が内部に表示された窓４４を新たに表示し、ステップＳ１６５で、拭き終わった窓の数をインクリメントし、ステップＳ１６７へ進む。ステップＳ１６１で、マルチメディアプロセッサ５０は、曇り画像４６が、まだ全て変更されていないと判断した場合、ステップＳ１６７へ進む。

ステップＳ１６７で、マルチメディアプロセッサ５０は、ステップＳ１５３の計時開始から一定時間が経過したか否かを判断し、経過した場合はステップＳ１６９へ進み、経過していなかった場合は、ステップＳ１５５へ戻る。ステップＳ１６９で、マルチメディアプロセッサ５０は、拭き終わった窓４４の数を表示するための結果表示画面（図示せず）を表示し、図１２の遷移図にリターンする。

さて、以上のように本実施の形態の構成によれば、カーソル７０を動かす手順が、実在の物体に対して行われる操作、すなわち襖を開くような操作、梯子を登るような操作、窓を拭くような操作と同じ手順であるため、特に指示しなくてもユーザは直感的にカーソル７０を動かすための動作の手順がわかる。結果、ユーザに特定の動作、すなわち手を左右に開くような動作や、手を上下に動かす動作、所定の位置に手をかざし前後左右に動かす動作を行わせることができる。
さらに、手順どおりに動作を行い、カーソル７０を移動させると、オブジェクトの表示に実在の物体に対する実際の操作が行われたような反応、すなわち襖が開く、梯子に上れる、窓の曇りが取れるといった反応があるため、ユーザは自分のカーソル７０を動かす手順が正しいか否か、すなわち自分の動作が正しいか否かを映像によって自分でもチェックすることができる。
さらに、実在の物体を操作することによる作業療法やトレーニングを、例えば襖を開、梯子を上る、窓を拭くといった行為を、オブジェクトに対するカーソル７０の移動のための動作を行うという形で、擬似的な作業療法やイメージトレーニングとして実施することができる。ユーザはカーソルを動かすために特定の動作を行うだけなので、実際の作業療法やトレーニングに比べて負荷が小さく、安静が必要な場合や機材がない場合など、何らかの理由で実際の作業療法やトレーニング等を行うことがまだ難しい段階のユーザのためのリハビリテーションやイメージトレーニングとしても利用しやすい。また、特定の動作を行った場合、実在の物体に対する実際の操作が行われたようにオブジェクトの表示が変化するため、ユーザに対して特定の動作を行うことによる刺激だけでなく、同時に映像によって視覚的な刺激を与えることができ、ユーザに実際の作業療法やトレーニングを行っているようなイメージを与えることができる。脳科学の分野では、動作による刺激だけでなく、動作のイメージを強く持つことによる刺激によっても、脳の機能の一部が失われたり低下したりした場合に健在な脳の他の部分が失われた部分の機能を補おうとする脳の代替機能（脳の可塑性ともいう。）が発揮されて、機能が回復していく場合があるとされているので、この特定の動作による擬似的な作業療法やイメージトレーニングにも、リハビリテーションとしての効果は期待できる。

襖開きモードのような構成では、引手３３及び襖３５が画面外までスクロールすると、スクロール前の位置に新たに引手３３及び襖３５が出現するので、ユーザに対して、引手３３の位置にカーソルを戻すために両手を閉じる動作と、左右方向にカーソル７０を移動させるために両手を開く動作とを反復させることができる。

梯子登りモードのような構成では、梯子３７をスクロールすることによって所定間隔で並んだ横棒３９が画面の上側から次々に現れるので、ユーザに対して、横棒３９の位置にカーソルを移動させるために腕を上げる動作と、その後カーソルを下方向に動かし梯子３７をスクロールするための腕を下ろす動作とを反復させることができる。また、横棒３９は所定間隔で並んでいるので、反復されるユーザの腕の上げたり下ろしたりする動作の幅がほぼ一定になる。

窓拭きモードのような構成では、曇り画像４６が背景画像４８に置き換わるように、所定の位置で手をかざし、前後左右に動かすような動作をユーザに促すことができる。

以上、本発明を実施例により詳細に説明したが、当業者にとっては、本発明が本願中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。例えば下記のような変更も可能である。

（１）透明体１７の透明には、半透明や有色透明が含まれる。
（２）再帰反射シート１５を、透明体１７の表面に取り付けることもできる。この場合は、透明体１７は、透明である必要はない。
（３）上記では、入力装置３に、中指を通す例を挙げたが、挿入する指及びその数はこれに限定されない。
（４）入力装置の形状は、上記した入力装置３の形状に限定されない。
（５）入力装置３に、再帰反射シート１５のような反射部材を取り付ける代わりに、赤外発光ダイオードのような自発光装置を取り付けることもできる。この場合は、情報処理装置１には、赤外発光ダイオード９は不要である。また、入力装置を使用せずに、イメージセンサやＣＣＤなどの撮像装置により、被験者を撮影し、画像解析して、動きを検出することもできる。
また、入力装置にイメージセンサ等の撮像素子を搭載し、テレビジョンモニタ５等の表示装置（例えば、スクリーンの若干外側）に再帰反射シート（１個、２個、あるいはそれ以上）のような反射部材を取り付けることもできる。この場合、撮像素子に撮影された反射部材の像から、入力装置がスクリーン上のどの位置を指しているかを求め、指された位置にカーソルを表示することにより、カーソルを操作することもできる。なお、入力装置が指し示すスクリーン上の位置は、入力装置にＭＣＵ等のコンピュータを搭載して求めることもできるし、撮影画像を情報処理装置１に送信して、情報処理装置１で求めることもできる。この場合、入力装置にストロボ撮影のための赤外発光ダイオードを搭載する。なお、表示装置に反射部材を取り付ける代わりに、赤外発光ダイオードのような自発光装置を表示装置に取り付けることもできる（例えば、一定間隔で２個の赤外発光ダイオードを表示装置の上面に載置）。この場合は、入力装置には、ストロボ撮影のための赤外発光ダイオードは不要である。
（６）上記の実施の形態では、ユーザの空間での動きを検出する手段として、ユーザに入力装置３を装着させ、入力装置３の再帰反射シート１５をストロボ撮影した像の動きを解析することによって、カーソルの移動量を決定していたが、ユーザの空間での動きを検出する手段は、別にこのような撮像結果を解析する方法に限定されない。例えば、ハウジング内に加速度センサやジャイロセンサを搭載し、ユーザの手の動きを検出して情報処理装置１にユーザの動きを表す信号を送るような入力装置を利用する構成にして、検出結果に応じてカーソルを動かすような構成でもよい。その場合情報処理装置１に、イメージセンサ５４や、赤外発光ダイオード９を設ける必要は無い。

（７）上記の実施の形態の、襖開きモードでは、引手３３にカーソル７０を移動させることを入力フラグがオンになる条件として設定されていたが、引手３３にカーソルを移動させた後、何か他の入力があった場合に入力フラグがオンになるような構成でもよい。例えば引手３３にカーソルを移動させた後、さらに前述の握り入力があったことを条件に、入力フラグがオンになるような設定でもよい。同様に梯子登りモードで、横棒３９にカーソル７０を重ねたあと、さらに前述の握り入力があったことを条件に、カーソル７０の下方向への移動に応じて梯子３７が下方向に移動するような設定でもよい。または、入力装置に押すと情報処理装置に入力信号を送る入力ボタンを新たに設け、握り入力の代わりに、当該入力ボタンが押下されたことを条件としてもよい。
また、カーソル７０を引手３３に移動させた後、カーソル座標の移動量が所定の閾値を越えるまで襖３５は動かず、閾値を越えた場合に一気に動くようにしていたが、これは演出として襖が一気に開いた方が気持ちいいという理由によるのみで、別にカーソル座標に応じて少しずつ襖３５が動くような設定にしてもかまわない。
（８）入力装置に重りなどの負荷を設けてもよい。または、入力装置自体がユーザの手の動きを検知し、情報処理装置１に検知結果に応じた入力を与える手段を備えた、ユーザの動作に負荷を与えるタイプの筋力トレーニング装置であってもよい。上記の実施例は高齢者用の老化防止のための運動や軽度のリハビリ運動を支援することを主眼としているが、このように構成すれば、若者用の筋力トレーニングなどにも使える。
（９）上記の実施の形態の、梯子登りモードでは、特に左右の手を動かす順番に条件は設定されていなかったが、ユーザに実際の梯子を登る動作のような、右手と左手とを交互に動かす運動をさせたい場合は、マルチメディアプロセッサ５０が、左注目点と右注目点が、交互に差分画像ＤＩ上で交互に上下に移動した場合に、梯子３７が下方向に移動させるような構成でもよい。
（１０）上記の実施の形態では、３つのモードを説明したが、情報処理装置１が実行するアプリケーションはこれらに限定されず、本発明の趣旨及び範囲を逸脱しない範囲で、他にもユーザを誘導したい特定の動きに応じて、適宜オブジェクト、特定の動きに応じたカーソルの移動を行った場合の表示の変化、そのためのプログラムを設定し、様々なアプリケーションを提供できる。この際オブジェクトの形状は、ユーザの属する文化圏に応じてユーザに操作法が分かりやすいものに変更したほうがよい。例えば西洋文化圏で襖開きモードでの動作を誘導したいのであれば、オブジェクトを襖３５ではなくスライドドアのオブジェクト等にするとよい。
このように本発明の変形例によれば、プログラムによって様々な実在の物体を模したオブジェクトを表示し、それらのオブジェクトに対するカーソルの移動手順と、正しいカーソル移動が行われた場合のオブジェクトの表示を設定しておくことができるので、ユーザに対して様々な特定の動作を誘導することが可能となる。
（１１）上記の襖開きモードや梯子登りモードでは、カーソル７０の移動方向と同じ方向に襖３５や梯子３７が移動したが、別のモードを作る場合、カーソル７０の移動方向とは違う方向にオブジェクトが移動するような構成であってもよい。例えば井戸の水汲みをモチーフにしたモードで、ロープのオブジェクトにカーソル７０を重ねて下に移動させると、水汲みバケツのオブジェクトが上に移動していくようなモードを作ってもよい。
（１２）上記の窓拭きモードでは、窓４４のうち、曇り画像４６の部分をカーソル７０でなぞると背景画像４８に変化するというオブジェクトの模様・色彩が変化する構成であったが、別のモードを作る場合、オブジェクトをカーソル７０でなぞると、オブジェクトの形状の少なくとも一つが変化するような構成でもよい。例えば陶芸をモチーフにしたモードで、粘土オブジェクトをカーソル７０でなぞると粘土オブジェクトの形状が壺のような形状に変化していくような構成でもよい。
（１３）上記の実施の形態では手の動作を支援する運動支援方法を開示したが、足やその他の身体の部位の動きに応じてカーソルを動かすような構成であってもよい。

Claims (6)

1. ユーザに特定の動作を促すための運動支援方法であって、
   表示装置のスクリーンに実在の物体を模したオブジェクトを表示するステップと、
   撮像を行い、撮像の結果得られた画像に基づいて、ユーザの動きを検出する検出ステップと、
   前記ユーザの動きに応じて、表示装置のスクリーンに表示されたカーソルを移動させるステップと、
   前記実在の物体に対して行われる実際の操作と同じ手順で前記オブジェクト上を前記カーソルが移動したことを条件に、前記オブジェクトに対して前記実際の操作が行われたように表示を行うエフェクトステップと、を含む運動支援方法。
2. 前記エフェクトステップでは、少なくとも、前記オブジェクトに前記カーソルが重なった状態で、前記カーソルが第１の所定方向に動くことを条件に、前記オブジェクトを第２の所定方向に移動する、請求項1に記載の運動支援方法。
3. 前記オブジェクトが所定位置まで移動した後、再び前記オブジェクトを前記移動前の位置に表示するステップをさらに含む請求項２に記載の運動支援方法。
4. 前記オブジェクトは、複数の要素画像を含み、前記複数の要素画像は、所定方向に並んで配置され、
   前記エフェクトステップでは少なくとも、前記要素画像に前記カーソルが重なった状態で、前記カーソルが前記所定方向に動くことを条件に、前記所定方向に前記オブジェクトを移動する、請求項1に記載の運動支援方法。
5. 前記エフェクトステップでは、少なくとも、前記カーソルが前記オブジェクト上を移動することを条件に、前記オブジェクトの前記カーソルの移動軌跡に対応する部分の形状、模様、色彩のうち少なくとも一つを変化させる、請求項１に記載の運動支援方法。
6. 前記オブジェクトは、第１の画像を含み、
   前記エフェクトステップでは、少なくとも、前記カーソルが前記第１の画像上を移動することを条件に、前記第１の画像のうち、前記カーソルの移動軌跡に対応する部分を、第２の画像に変更する、請求項５に記載の運動支援方法。

Images