JP4563723B2 - 指示動作認識装置及び指示動作認識プログラム - Google Patents

Description

本発明は、指示動作認識装置及び指示動作認識プログラムに係り、より詳しくは、ディスプレイ装置等の表示手段による３次元立体画像に対して利用者により行われる指示動作を認識する指示動作認識装置及び指示動作認識プログラムに関する。

従来より、所定の情報を表示するディスプレイ装置、ディスプレイ装置の近傍に到来した利用者を互いに異なる方向から撮像する撮像手段を備え、利用者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて利用者を認識し、利用者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、利用者がクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたものと認識して所定の処理を行うハンドポインティング装置が知られている（例えば、特許文献１、特許文献２、特許文献３参照。）。

上記のハンドポインティング装置によれば、利用者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用するための操作の簡素化を実現できる。
特開平４−２７１４２３号公報 特開平５−１９９５７号公報 特開平５−３２４１８１号公報

ところで、上記のようなハンドポインティング装置により、ディスプレイ上に表示されている特定の画像の表示状態を利用者の指示動作によって変更したい場合がある。

例えば、街頭や会議等での車、鞄等の商品のプレゼンテーション・ツールとしてハンドポインティング装置を用いた際の、当該商品のディスプレイ上での表示位置を移動させたり、回転させたり、大きさを変えたりしたい、といった場合である。

しかしながら、このような表示状態を変更する用途に上述した従来のハンドポインティング装置を適用した場合、表示状態の変更対象とする画像の移動距離、回転角度、表示倍率等の表示状態の変更量は利用者による指先等の移動量によって指示することができるものの、当該移動量には利用者の腕の長さや撮像手段による撮像範囲等に応じた限度があるため、当該限度を超えた移動量に対応する変更量での表示状態の変更を行うことができない、という問題点があった。

本発明は上記問題点を解消するためになされたものであり、移動動作の変更量に上限を設けることなく表示手段による表示画像の表示状態を変更することができる指示動作認識装置及び指示動作認識プログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の指示動作認識装置は、予め定められた３次元立体画像を表示する表示手段と、互いに異なる複数の方向から利用者を撮像する撮像手段と、前記撮像手段による撮像によって得られた撮像画像に基づいて前記利用者が前記表示手段の表示領域に対して指し示す方向を特定し、特定した方向に基づいて前記利用者により指し示された前記表示手段の表示領域上の位置を導出する導出手段と、前記撮像画像に基づいて前記利用者の手又は指先の移動動作を検出する検出手段と、前記表示手段の表示領域に前記３次元立体画像が表示された状態において前記導出手段により導出された前記表示領域上の位置に基づいて前記利用者により当該３次元立体画像が指定されたか否か及び前記検出手段によって検出された移動動作が予め定められたクリック動作であったか否かを判断する判断手段と、前記判断手段によって前記クリック動作であったと判断される毎に、前記３次元立体画像の前記表示領域内における表示位置の変更動作及び表示倍率の変更動作を行う第１の動作モードと前記３次元立体画像の前記表示領域内における回転角度の変更動作及び表示倍率の変更動作を行う第２の動作モードとが含まれた複数の動作モードの間で動作モードを切り替える切替手段と、前記判断手段によって前記３次元立体画像が指定されたと判断された場合、それ以降に前記検出手段によって検出された移動動作が予め定められた範囲内で行われているときは、前記切替手段による切り替え後の動作モードに応じた前記３次元立体画像の表示状態の変更を検出された移動動作に関する量に応じて行い、前記移動動作が前記予め定められた範囲を超えたときは、それまでの前記３次元立体画像の表示状態の変更を継続して行うように前記表示手段を制御する制御手段と、を備えている。

請求項１記載の指示動作認識装置によれば、予め定められた３次元立体画像が表示手段によって表示され、撮像手段によって互いに異なる複数の方向から利用者が撮像される。なお、上記表示手段には、液晶ディスプレイ、プラズマ・ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等の各種ディスプレイが含まれる。また、上記撮像手段には、デジタルビデオカメラ、デジタル電子スチルカメラ等の各種デジタルカメラが含まれる。

一方、本発明では、導出手段により、前記撮像手段による撮像によって得られた撮像画像に基づいて前記利用者が前記表示手段の表示領域に対して指し示す方向が特定された後、当該特定された方向に基づいて前記利用者により指し示された前記表示手段の表示領域上の位置が導出され、検出手段により、前記撮像画像に基づいて前記利用者の手又は指先の移動動作が検出される。

ここで、本発明では、前記表示手段の表示領域に前記３次元立体画像が表示された状態において前記導出手段により導出された前記表示領域上の位置に基づいて前記利用者により当該表示画像が指定されたか否か及び前記検出手段によって検出された移動動作が予め定められたクリック動作であったか否かが判断手段によって判断され、判断手段によって前記クリック動作であったと判断される毎に、切替手段により、３次元立体画像の表示位置の変更動作及び表示倍率の変更動作を行う第１の動作モードと３次元立体画像の回転角度の変更動作及び表示倍率の変更動作を行う第２の動作モードとが含まれた複数の動作モードの間で動作モードが切り替えられ、制御手段により、前記判断手段によって前記３次元立体画像が指定されたと判断された場合、それ以降に前記検出手段によって検出された移動動作が予め定められた範囲内で行われているときは、前記切替手段による切り替え後の動作モードに応じた前記３次元立体画像の表示状態の変更が、検出された移動動作に関する量に応じて行われ、前記移動動作が前記予め定められた範囲を超えたときは、それまでの前記３次元立体画像の表示状態の変更が継続して行われるように前記表示手段が制御される。

このように、請求項１記載の指示動作認識装置によれば、利用者の手又は指先の移動動作を検出し、検出した移動動作が予め定められた範囲内で行われているときは、３次元立体画像の表示状態の変更を検出された移動動作に関する量に応じて行い、移動動作が予め定められた範囲を超えたときは、それまでの３次元立体画像の表示状態の変更を継続して行うように前記表示手段を制御しているので、変更量に上限を設けることなく表示手段による３次元立体画像の表示状態を変更することができる。

ところで、本発明の前記表示状態として、前記表示画像の前記表示領域における表示位置、回転角度、表示倍率の３種類を適用した場合、表示位置及び回転角度の各々の変更については、当該変更を指示するための利用者による動作は各々表示位置の移動方向及び回転方向を示す動作となるため、各動作とも方向を示す動作となり、これらの表示状態の変更については同一の動作モードでの動作とすることは困難である。

これに対して表示倍率の変更については、指先の突き出し動作及び引き戻し動作等の動作によって指示することができ、上記のような方向を示す動作とは異なる動作で指示することができるため、上記表示位置及び上記回転角度の各々と同一の動作モードにて指示する（共存する）ことが可能である。

以上の点に着目して、請求項１に記載の発明のように、前記表示位置の変更動作及び前記表示倍率の変更動作を行う動作モードを第１の動作モードとし、前記回転角度の変更動作及び前記表示倍率の変更動作を行う動作モードを第２の動作モードとして、前記判断手段は、前記検出手段によって検出された移動動作が予め定められたクリック動作であったか否かを更に判断し、前記判断手段によって前記クリック動作であったと判断される毎に前記第１の動作モードと前記第２の動作モードとが含まれた複数の動作モードの間で動作モードを切り替える切替手段を更に備え、前記制御手段は、前記切替手段による切り替え後の動作モードに応じて前記表示状態の変更を行うように前記表示手段を制御することが好ましい。これにより、動作モードを切り替えるための操作を簡易化することができ、利便性を向上させることができる。

また、本発明は、請求項２に記載の発明のように、前記判断手段は、前記検出手段によって検出された移動動作が前記３次元立体画像の初期表示状態への復帰を示す動作として予め定められた初期復帰動作であったか否かを更に判断し、前記制御手段は、前記判断手段によって前記初期復帰動作であったと判断された場合に前記３次元立体画像を初期表示状態に復帰させるように前記表示手段を制御することが好ましい。これにより、３次元立体画像の初期表示状態への復帰を簡易に行うことができ、利便性を向上させることができる。

更に、本発明は、請求項３に記載の発明のように、前記制御手段は、前記３次元立体画像が含まれる領域を取り囲む所定形状の枠を表示するように前記表示手段を更に制御すると共に、前記導出手段によって導出された前記表示領域上の位置が前記枠の内部に位置するときに前記３次元立体画像の表示状態の変更を行い、前記表示領域上の位置が前記枠の外側に移動したときに当該表示状態の変更を停止することが好ましい。これにより、３次元立体画像の表示状態の変更が可能な範囲を利用者に対して視覚的に明示することができ、利便性を向上させることができる。

一方、上記目的を達成するために、請求項４記載の指示動作認識プログラムは、予め定められた３次元立体画像を表示する表示手段と、互いに異なる複数の方向から利用者を撮像する撮像手段と、を備えた指示動作認識装置において前記利用者による指示動作を認識するための指示動作認識プログラムであって、前記撮像手段による撮像によって得られた撮像画像に基づいて前記利用者が前記表示手段の表示領域に対して指し示す方向を特定し、特定した方向に基づいて前記利用者により指し示された前記表示手段の表示領域上の位置を導出する導出ステップと、前記撮像画像に基づいて前記利用者の手又は指先の移動動作を検出する検出ステップと、前記表示手段の表示領域に前記３次元立体画像が表示された状態において前記導出ステップにより導出された前記表示領域上の位置に基づいて前記利用者により当該３次元立体画像が指定されたか否か及び前記検出ステップによって検出された移動動作が予め定められたクリック動作であったか否かを判断する判断ステップと、前記判断ステップによって前記クリック動作であったと判断される毎に、前記３次元立体画像の前記表示領域内における表示位置の変更動作及び表示倍率の変更動作を行う第１の動作モードと前記３次元立体画像の前記表示領域内における回転角度の変更動作及び表示倍率の変更動作を行う第２の動作モードとが含まれた複数の動作モードの間で動作モードを切り替える切替ステップと、前記判断ステップによって前記３次元立体画像が指定されたと判断された場合、それ以降に前記検出ステップによって検出された移動動作が予め定められた範囲内で行われているときは、前記切替ステップによる切り替え後の動作モードに応じた前記３次元立体画像の表示状態の変更を検出された移動動作に関する量に応じて行い、前記移動動作が前記予め定められた範囲を超えたときは、それまでの前記３次元立体画像の表示状態の変更を継続して行うように前記表示手段を制御する制御ステップと、をコンピュータに実行させるものである。

従って、請求項４記載の指示動作認識プログラムによれば、コンピュータに対して請求項１記載の発明と同様に作用させることができるので、請求項１記載の発明と同様に、変更量に上限を設けることなく表示手段による３次元立体画像の表示状態を変更することができる。

なお、請求項４に記載の発明は、請求項５に記載の発明のように、前記判断ステップは、前記検出ステップによって検出された移動動作が前記３次元立体画像の初期表示状態への復帰を示す動作として予め定められた初期復帰動作であったか否かを更に判断し、前記制御ステップは、前記判断ステップによって前記初期復帰動作であったと判断された場合に前記３次元立体画像を初期表示状態に復帰させるように前記表示手段を制御することが好ましい。これにより、３次元立体画像の初期表示状態への復帰を簡易に行うことができ、利便性を向上させることができる。

本発明に係る指示動作認識装置によれば、移動動作の変更量に上限を設けることなく表示手段による表示画像の表示状態を変更することができる、という効果が得られる。
また、本発明に係る指示動作認識装置によれば、動作モードを切り替えるための操作を簡易化することができ、利便性を向上させることができる、という効果が得られる。

また、本発明に係る指示動作認識プログラムによれば、コンピュータに対して請求項１に係る指示動作認識装置と同様に作用させることができるので、請求項１記載の指示動作認識装置と同様に、移動動作の変更量に上限を設けることなく表示手段による表示画像の表示状態を変更することができる、さらに動作モードを切り替えるための操作を簡易化することができ、利便性を向上させることができる、という効果が得られる。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。

図１には、本発明に係る指示動作認識装置としての機能を備えた情報表示装置１０の概略構成が示されている。情報表示装置１０はパーソナル・コンピュータ（ＰＣ）１２を備えている。ＰＣ１２はＣＰＵ（中央処理装置）、ＲＯＭ、ＲＡＭ、入出力ポート及びＨＤＤ（ハードディスク）（何れも図示省略）を含んで構成されている。ＰＣ１２には大画面ディスプレイ１４と制御部１６が接続されている。ディスプレイ１４はＬＣＤ（液晶ディスプレイ）又はプラズマ・ディスプレイ又は有機ＥＬディスプレイから成り、壁部に取り付けられ、制御部１６からＰＣ１２に入力された情報に従い、ＰＣ１２によって種々の情報が表示されるようになっている。

制御部１６はＣＰＵ、ＲＯＭ、ＲＡＭ、及び入出力ポート（何れも図示省略）がバスを介して互いに接続されて構成されており、記憶部１８が接続されている。記憶部１８は各種のデータやプログラム等を記憶するものであり、記憶内容を書き替え可能な不揮発性の情報記憶媒体、例えばハードディスクやバックアップ電源に接続されたＲＡＭ等を含んで構成されていることが望ましい。

本実施形態において、利用者はディスプレイ１４の配設位置近傍（ディスプレイ１４前方の図２及び図３（Ｂ）に示した箇所）に到来し（図２及び図３（Ｂ）では利用者に「８０」の符号を付して示す）、ディスプレイ１４の表示画面上に設けられた対応する表示領域の任意の位置を指し示したり、表示領域に表示されている特定の画像（以下、「オブジェクト」という。）の表示状態を変更させるための指示動作を行う。

なお、情報表示装置１０では、ディスプレイ１４に表示するオブジェクトとして３次元立体画像を適用している。また、情報表示装置１０では、オブジェクトの変更対象とする表示状態として、オブジェクトの表示領域内における表示位置、回転角度、及び表示倍率の３種類が適用されている。

情報表示装置１０では、利用者が指先を予め設定した初期位置から前方に突き出す動作に応じてオブジェクトの表示サイズを縮小し、逆に指先を手前に引く動作に応じてオブジェクトの表示サイズを拡大する。この際、指先の移動量が大きくなるほどオブジェクトの縮小率ないし拡大率を高くする。

一方、情報表示装置１０では、利用者が指先をディスプレイ１４の表示面に沿った任意方向に移動させる動作に応じて、当該指先の移動の方向と同一方向へのオブジェクトの表示位置の変更、又は当該指先の移動の方向と同一方向への、オブジェクトの中心付近を通る表示面に平行な軸を中心としたオブジェクトの回転角度の変更を行う。

このように、本実施形態に係る情報表示装置１０では、利用者によるオブジェクトの表示位置の変更を指示する動作と、回転角度の変更を指示する動作とが同一の動作とされているため、これらの動作については異なる動作モードとする必要がある。これに対してオブジェクトの表示倍率の変更（拡大又は縮小）を指示する動作は、オブジェクトの表示位置を変更する動作及び回転角度を変更する動作とは異なる動作であるため、これらの動作と同一の動作モードとすることができる。

以上の点から、本実施形態に係る情報表示装置１０では、オブジェクトの表示位置を変更する動作及びオブジェクトの表示倍率を変更する動作を同一の動作モード（以下、「移動・拡縮モード」という。）とし、オブジェクトの回転角度を変更する動作及びオブジェクトの表示倍率を変更する動作を同一の動作モード（以下、「回転・拡縮モード」という。）として区別して扱っている。

一方、情報表示装置１０では、利用者により指先でディスプレイ１４の表示領域内が指し示されている場合には、当該指し示されている位置にカーソルを表示するようにしており、この際のカーソルの移動は、利用者による指先のディスプレイ１４の表示面に沿った任意方向への移動動作に対応して行われる。このように、カーソルを移動させる動作は、オブジェクトの表示位置の変更及び回転角度の変更を指示する動作と同一であるため、これらの動作については異なる動作モードとする必要がある。

そこで、情報表示装置１０では、カーソルを移動させるのみの動作を、移動・拡縮モード及び回転・拡縮モードとは異なる動作モード（以下、「ノーマルモード」という。）として区別して扱っている。

更に、情報表示装置１０では、表示状態の変更対象とするオブジェクトを指定したり、動作モードを切り替えるための動作として、クリック動作を識別するようにしている。クリック動作としては種々の動作を採用することができるが、本実施形態では、利用者が手を前方に素早く移動させる動作（図９（Ａ）参照、以下「前進クリック」という）や、利用者が手を後方に素早く移動させる動作（図９（Ｂ）参照、以下「後進クリック」という）をクリック動作としている。このクリック動作は、ディスプレイ１４の表示面上の特定の箇所を指し示して選択する動作として極めて自然な動作であり、利用者は違和感を感ずることなくクリック動作を行うことができる。

ここで、当該クリック動作と、上述したオブジェクトの表示倍率の変更を指示する動作とで、指先の移動方向については同一となるため、情報表示装置１０では、これらの動作を指先の移動速度によって区別するようにしている。すなわち、指先の移動速度が所定速度以上である場合はクリック動作であるものとし、所定速度未満である場合はオブジェクトの表示倍率の変更を指示する動作であるものとしている。ここで、本実施形態に係る情報表示装置１０では、上記所定速度として、情報表示装置１０を用いた複数人によるクリック動作を意識した指先の移動速度の測定結果における最低速度を固定的に適用しているが、利用者によって適宜設定ないし設定変更できるようにしてもよい。

そして、本実施形態に係る情報表示装置１０では、利用者によってオブジェクトの表示領域以外の領域が指し示された状態でのクリック動作を検出する度に、回転・拡縮モードから移動・拡縮モードへ、移動・拡縮モードからノーマルモードへ、ノーマルモードから回転・拡縮モードへ、動作モードをトグル的に変更するようにしている。

また、情報表示装置１０では、オブジェクトの表示状態を初期表示状態に戻すための動作として、クリア動作を識別するようにしている。クリア動作としては種々の動作を採用することができるが、本実施形態では、利用者が手を左右に上記所定速度以上で素早く移動させる動作を採用している。

一方、制御部１６には２台のビデオカメラ２０Ａ，２０Ｂが接続された撮像制御装置２２及び利用者検出センサ２４が各々接続されている。ビデオカメラ２０Ａ，２０Ｂは本発明に係る撮像手段に対応している。また、利用者検出センサ２４は例えばロードセル等で構成されており、指示動作やクリック動作を行う際に利用者が留まる位置（ディスプレイ１４前方の所定位置）の床部に埋設されている。

ディスプレイ１４の前方の空間（情報入力空間）の上方には、図３（Ａ）に示すように、情報入力空間に到来した利用者を照明する照明装置２６Ａ，２６Ｂが配設されている。なお、照明装置２６Ａ，２６Ｂから射出される照明光は可視光であっても近赤外光であってもよいが、照明光を近赤外光とする場合には、ビデオカメラ２０Ａ，２０Ｂとして、近赤外光に感度を有するＣＣＤ（電荷結合素子）等から成るエリアセンサを内蔵し、入射光をエリアセンサの受光面に結像させる結像レンズの光入射側に、近赤外域の波長の光のみを透過するフィルタが設けられた構成のビデオカメラを用いればよい。

一方、情報入力空間の上方には、回転放物面の一部（詳しくは回転対称とならない部分）に相当する凹の反射面を有する凹面鏡２８が配置されている。ビデオカメラ２０Ａ，２０Ｂは、凹面鏡２８との位置関係が、オフセットパラボラアンテナにおける反射鏡と１次放射器の位置関係と略同等になる位置近傍でかつＸＺ平面に沿って互いに異なる位置に、凹面鏡２８を介して情報入力空間を略直上より撮像する向きで各々配置されている。

凹面鏡２８は、情報入力空間側から入射された平行光線束をビデオカメラ２０Ａ，２０Ｂ側へ収束光線束として反射する光学性能を備えているので、ビデオカメラ２０Ａ，２０Ｂの撮像範囲（図２及び図３（Ｂ）において、ビデオカメラ２０Ａの撮像範囲は一点鎖線を境界とする範囲、ビデオカメラ２０Ｂの撮像範囲は破線を境界とする範囲である）の水平方向に沿った幅は、鉛直方向（Ｚ方向）に亘って各々略一定とされている。

また、本実施形態では、ビデオカメラ２０Ａは情報入力空間を正確に直上より撮像するように（図に一点鎖線で示す撮像範囲の境界が鉛直方向に沿うように）配置位置が定められている。一方、ビデオカメラ２０Ａ，２０Ｂの配置位置はＸＺ平面に沿ってずれているので、ビデオカメラ２０Ｂによる撮像範囲は、ビデオカメラ２０Ａによる撮像範囲に対してＸ方向に偏倚しており（図６（Ａ）参照）、情報入力空間をやや斜め上方より撮像する（各図に破線で示す撮像範囲の境界が鉛直方向に対して若干傾く）範囲となる。

従って、本実施形態に係る情報表示装置１０において、利用者による動作（指示動作やポインティング動作）を認識可能な領域（認識領域）は、ビデオカメラ２０Ａによる撮像範囲とビデオカメラ２０Ｂによる撮像範囲とが重複している領域、すなわち図２及び図３に二点鎖線で囲んで示す領域（図２ではハッチングで示す領域）となり、認識領域の水平方向に沿った幅についても、鉛直方向に亘っておおよそ一定となる。

図３（Ｂ）からも明らかなように、本実施形態では、情報入力空間に到来した利用者自体は認識領域から外れ、利用者が指示動作やクリック動作を行った際に、利用者の手のみが認識領域内に入るように、ビデオカメラ２０Ａ，２０Ｂの撮像範囲（凹面鏡２８の形状・寸法や凹面鏡２８、ビデオカメラ２０Ａ，２０Ｂの位置関係等）が定められている。

なお、撮像手段（カメラ）として遠赤外線カメラを用い、人間（利用者）の体温による遠赤外線と、人間の体温と所定値以上離れた温度（体温よりも高い温度であっても低い温度であってもよい）に設定又は温度調整された床から放射される遠赤外光と、によって人間と背景とを弁別する方法を用いても良い。

次に本実施形態の作用を説明する。本実施形態では、利用者検出センサ２４が利用者の到来を検出する毎に、制御部１６で指示判断処理プログラムが実行される。以下、この指示判断処理プログラムについて図４のフローチャートを参照して説明する。なお、指示判断処理プログラムは、利用者検出センサ２４によって利用者の退去が検出されると実行が終了される。

ステップ２００ではフラグに０を代入し、次のステップ２０２では特徴点座標演算処理を実行する。以下、この特徴点座標演算処理について、図５のフローチャートを参照して説明する。

ステップ２３０ではビデオカメラ２０Ａから出力される画像Ａを表す画像データを取り込み、次のステップ２３２では取り込んだ画像データをＲＡＭ等に記憶する。ステップ２３４では、前回の処理周期で画像Ａの画像データを取り込んで記憶しているか否か判定する。利用者が情報入力空間に到来して最初に特徴点座標演算処理を実行したときには、画像Ａの画像データが記憶されていないので、ステップ２３４の判定が否定されて特徴点座標演算処理を終了するが、２回目以降の前記処理実行時には、前回の処理周期で取り込んだ画像Ａの画像データがＲＡＭ等に記憶されているので、前記判定が肯定されてステップ２３６へ移行する。

ステップ２３６では、前回の処理周期で取り込んだ画像Ａの画像データ、及び今回取り込んだ画像Ａの画像データを用い、双方の画像データが表す画像の差分を画素毎に演算する。この演算により、ビデオカメラ２０Ａの撮像範囲内に存在している物体のうち、前回の処理周期から現在迄の間に動きが有った物体に相当する画素のみが「差分有り」になるので、「差分有り」の画素のみを抽出することにより、動きが有った物体に相当する画像領域が抽出される。

なお、利用者の手が認識領域内に位置している場合、当該手を空中で完全に静止させることは困難であるので、利用者の手に相当する領域は、殆どの場合、前回の処理周期から現在迄の間に動きが有った物体に相当する画像領域として抽出されることになる。

次のステップ２３８では、ステップ２３６の処理により、利用者の手に相当する画像領域（例えば図６（Ｂ）に太線で囲んで示す画像領域）が抽出されたか否か判定する。なお、認識領域内に存在している物体は照明装置２６Ａ，２６Ｂによって照明されるので、認識領域内に利用者の手が存在している場合、画像Ａ及び画像Ｂの中には、利用者の手に相当する画像領域が、高輝度の画素から成る所定値以上の面積の連続した領域として現れる。従って、認識領域内に利用者の手が存在していれば、該手に相当する画像領域を容易に抽出することができる。

ステップ２３６で動きが有った物体に相当する画像領域が抽出されなかった場合、及びステップ２３６で抽出された画像領域が利用者の手に相当する画像領域でないと判定した場合には、認識領域内に利用者の手は存在していないと判断できるので、ステップ２３８の判定が否定されて特徴点座標演算処理を終了する。

一方、ステップ２３８の判定が肯定された場合にはステップ２４０へ移行する。本実施形態では、利用者による指示動作やクリック動作を認識するための特徴点として利用者の手の指先を用いており、ステップ２４０では今回取り込んだ画像データが表す画像Ａ上での特徴点Ｐ（図６（Ｂ）に示す点Ｐ_A参照）の位置（２次元座標）を演算する。

本実施形態において、ビデオカメラ２０Ａの配置位置は、情報入力空間がビデオカメラ２０Ａによって正確に直上より撮像されるように定められているので、特徴点が鉛直方向に沿って移動（Ｘ座標値及びＹ座標値が変化することなく移動）した場合には、特徴点に対応する画像Ａ上の点Ｐ_Aの位置は殆ど変化しない。このように、画像Ａ上での点Ｐ_Aの位置はＸＹＺ座標系のＸＹ平面（水平面）内における特徴点の位置に略対応しているので、ステップ２４０の演算により水平面内の特徴点の２次元座標（ｘ，ｙ）が求まることになる。

ステップ２４４では、ビデオカメラ２０Ｂから出力される画像Ｂを表す画像データを取り込み、次のステップ２４６では取り込んだ画像データをＲＡＭ等に記憶する。ステップ２４８では、前回の処理周期で取り込んだ画像Ｂの画像データ、及び今回取り込んだ画像Ｂの画像データを用い、双方の画像データが表す画像の差分を画素毎に演算し、「差分有り」の画素のみを抽出することで、動きが有った物体に相当する画像領域を抽出する。そしてステップ２５０では、今回取り込んだ画像データが表す画像Ｂ上での特徴点（図６（Ｂ）に示す点Ｐ_B参照）の位置（２次元座標）を演算する。

図６（Ａ）にも示すように、ビデオカメラ２０Ｂによる撮像範囲は、ビデオカメラ２０Ａによる撮像範囲に対してＸ方向に偏倚しているので、画像Ａ上での特徴点の位置と画像Ｂ上での特徴点の位置は、例として図６（Ｂ）に点Ｐ_A及び点Ｐ_Bとして示すようにＸ方向に沿ってずれる（偏差ｄが生ずる）ことになる。

また、偏差ｄの大きさは特徴点の高さ位置（Ｚ方向位置）に応じて変化し、仮に特徴点が凹面鏡２８の反射面上に位置していたとすると偏差ｄは０になり、特徴点が情報入力空間の床面上に位置していたとすると偏差ｄは最大となる（偏差ｄの最大値は、情報入力空間の床面上におけるビデオカメラ２０Ａ，２０Ｂの撮像範囲のずれ量に一致する）。従って、偏差ｄと特徴点の高さ（手の高さ）Ｈとの間には図６（Ｃ）に示すような関係がある。本実施形態では、図６（Ｃ）に示すような偏差ｄと特徴点の高さＨとの関係を表すマップが記憶部１８に予め記憶されている。

上記に基づき、ステップ２５２では画像Ａ上での特徴点の位置と画像Ｂ上での特徴点の位置のＸ方向に沿った偏差ｄを演算し、次のステップ２５４では、記憶部１８に記憶されている偏差ｄと特徴点の高さＨとの関係を表すマップに基づいて、ステップ２５２で求めた偏差ｄに対応する特徴点の高さＨ、すなわちＸＹＺ座標系における特徴点の高さ（座標値ｚ）を求める。そして、ステップ２５６では、特徴点の３次元座標(ｘ，ｙ，ｚ)を現在の時刻（演算時刻）と対応付けて記憶部１８等に記憶する。特徴点座標演算処理は繰り返し実行されるので、該処理によって演算される特徴点の３次元座標は、利用者の姿勢や動作の変化に応じて逐次更新される。

なお、求めた特徴点の高さＨが極端に高い、或いは極端に低い場合には、特徴点の誤認識等が生じている可能性が非常に高いので、例えば高さＨが、図２及び図３に示す認識領域の上側境界よりも高い、或いは下側境界よりも低い場合には、認識領域内に利用者の手は存在していないと判断する等の例外処理を行うようにしてもよい。

特徴点座標演算処理が終了すると、指示判断処理プログラム（図４）のステップ２０３へ移行し、基準点の３次元座標を演算する基準点座標演算処理を実行する。以下、この基準点座標演算処理について、図７のフローチャートを参照して説明する。

ステップ２６０では、先に説明した特徴点座標演算処理（図５）によって演算されて記憶部１８に記憶された特徴点の３次元座標データ（ｘ，ｙ，ｚ）を参照し、現時点より所定時間前から現時点迄の期間内に演算された特徴点の３次元座標データが所定数（例えば特徴点の位置変化の回転中心に相当する座標を演算する処理（詳細は後述）の実行に十分な数：例えば１６個）以上有るか否か判定する。利用者が情報入力空間に到来した当初は、特徴点座標演算処理の実行回数が所定数に満たないため、上記の条件を満足する特徴点の３次元座標データの数が所定数に達せず、回転中心に相当する点の座標を高精度に演算することは非常に困難である。

このため、ステップ２６０の判定が否定された場合にはステップ２７４へ移行し、記憶部１８に記憶されている特徴点の３次元座標に基づいて、特徴点の位置変化の回転中心に相当する点の３次元座標を推定演算する。この推定演算は、例えば以下のようにして行うことができる。

すなわち、例として図１０（Ａ）に示すように、利用者が、指示動作として、肘を直角又は直角に近い角度迄曲げ、手を比較的低い位置に維持した状態（ローポジション）で、肘より先の部分のみを動かすことで指示位置を変化させる動作を行っている場合は、おおよそ肘の関節を回転中心として特徴点の位置が変化することが多い。また、例として図１０（Ｃ）に示すように、利用者が、指示動作として、腕を比較的真っ直ぐに前方へ伸ばし、手を比較的高い位置に維持した状態（ハイポジション）で、腕全体を動かすことで指示位置を変化させる動作を行っている場合には、おおよそ肩の関節を回転中心として特徴点の位置が変化することが多い。更に、例として図１０（Ｂ）に示すように、利用者が、指示動作として、手をハイポジションとローポジションの中間的な位置に維持した状態（ミドルポジション）で指示位置を変化させる動作を行っている場合には、肘及び肩の関節が各々動かされることにより、肩の関節よりも若干後方の位置を回転中心として特徴点の位置が変化することが多い。

従って、ステップ２７４の推定演算は、例えば利用者の姿勢（状態）がローポジション／ミドルポジション／ハイポジションの何れであるかを判断し、特徴点の位置変化の回転中心に相当する３次元座標として、肘の関節に相当する位置の３次元座標、肩の関節に相当する位置の３次元座標、及び肩の関節よりも若干後方の位置の３次元座標の何れかを、利用者の姿勢（状態）に応じて選択的に演算することによって行うことができる。なお、利用者の姿勢（状態）がローポジション／ミドルポジション／ハイポジションの何れであるかは、利用者の身長と特徴点の高さ（座標値ｚ）の比率から判断でき、利用者のおおよその身長は、先に説明した特徴点座標演算処理（図５）のステップ２５２，２５４と同様に、画像Ａ，Ｂ上での利用者の頭部の位置のＸ方向に沿った偏差ｄを演算し、偏差ｄと高さＨとの関係を表すマップを用いることで求めることができる。

特徴点の位置変化の回転中心に相当する３次元座標が推定演算されるとステップ２７６へ移行し、ディスプレイ１４までの距離及びディスプレイ１４の大きさに応じて回転中心に相当する点の３次元座標（Ｘ，Ｙ，Ｚ）を修正することで、基準点の３次元座標（Ｘ，Ｙ，Ｚ）を演算し、演算した基準点の３次元座標（Ｘ，Ｙ，Ｚ）を記憶部１８に記憶させて基準点座標演算処理を終了する。

基準点座標演算処理が終了すると、図４のフローチャートのステップ２０４へ移行し、特徴点座標演算処理の結果に基づいて利用者が指示動作を行っているか否かを判定する。特徴点座標演算処理では、利用者が指示動作を行っている場合（撮像によって得られた画像中に利用者の手に相当する画像領域が存在している場合）に特徴点の３次元座標を演算するので、この判定は、例えば特徴点の３次元座標が演算されているか否かを判断することで行うことができる。判定が否定された場合にはステップ２００に戻り、ステップ２００〜ステップ２０４を繰り返す。

一方、ステップ２０４の判定が肯定された場合はステップ２０６へ移行し、フラグが「０」か否か判定する。ステップ２０６の判定が肯定された場合、情報入力空間に利用者が到来して指示動作を開始した直後であると判断できるので、ステップ２０８で各種のフラグや動作モード等の初期設定を行い、ステップ２１０でフラグを「１」にしてステップ２１２へ移行する。また、ステップ２０６の判定が否定された場合には、何ら処理を行うことなくステップ２１２へ移行する。

ステップ２１２では、先の特徴点座標演算処理で演算された特徴点の３次元座標（ｘ，ｙ，ｚ）と、基準点座標演算処理で演算された基準点の３次元座標（Ｘ，Ｙ，Ｚ）に基づき、利用者の指示動作による指示方向を表す線として、図８に示すように、基準点Ｐ₀と特徴点Ｐ_Xとを結ぶ仮想線（図８の仮想線５４参照）の延びる方向を求め、利用者が指し示している位置（指示位置）として、ディスプレイ１４の表示面を含む平面と、設定した仮想線の交点（図８に示す点Ｓ参照）の座標（２次元座標）を演算する。なお、ステップ２１２は本発明の導出手段及び導出ステップに対応している。

次のステップ２１４では、ステップ２１２で演算した指示位置の座標に基づいて、ディスプレイ１４の表示画面上に設けた対応する表示領域を利用者が指し示しているか否か判定する。ステップ２１４の判定が否定された場合にはステップ２０２に戻り、ステップ２０２以降を繰り返す。一方、ステップ２１４の判定が肯定された場合にはステップ２１６へ移行し、カーソルを表示すべき位置の座標として現在の指示位置の座標をＰＣ１２へ出力し、カーソルの表示を指示する。これにより、ＰＣ１２は対応する表示領域内の指示された位置（現在の指示位置）にカーソルを表示させる。

ステップ２１６で表示領域内にカーソルを表示させると、次のステップ２１８では利用者による指示動作に応じた処理を実行する指示動作実行処理を実行し、その後に上記ステップ２０２に戻り、ステップ２０２以降を繰り返す。なお、当該指示動作実行処理は本発明に特に関係する処理であり、詳細は後述する。

ここで、利用者が情報入力空間に到来して指示動作を開始してから若干の時間が経過すると、基準点座標演算処理において、現時点より所定時間前から現時点迄の期間内に演算された特徴点の３次元座標データが所定数以上になることでステップ２６０の判定が肯定される。ステップ２６０の判定が肯定されるとステップ２６２へ移行し、上記の条件に合致する特徴点の３次元座標データ群のうち、利用者によってクリック動作が行われた期間に対応する特徴点の３次元座標データが有るか否か判定する。この判定は、例えば判定対象の特徴点の３次元座標データ群の各データを演算時刻順に時系列に並べ、各データの中に座標値ｘが急激に所定値以上変化しているデータが存在しているか否かを探索することで行うことができる。

利用者によってクリック動作が行われた期間に対応する特徴点の位置は、後述する特徴点の位置変化の回転中心に相当する点の座標の演算における演算精度低下の原因となるので、ステップ２６２の判定が肯定された場合はステップ２６４へ移行し、該当する特徴点の３次元座標データを、回転中心に相当する点の座標の演算における演算対象から除外する処理を行った後に、ステップ２６６へ移行する。なお、ステップ２６２の判定が否定された場合には、何ら処理を行うことなくステップ２６６へ移行する。

ステップ２６６では、演算対象の特徴点の３次元座標データ群に、水平面内（ＸＹ平面内）及び垂直面内（ＹＺ平面内）での座標の変化が有るか否か判定する。この判定が否定される場合は、例えば利用者が一定の位置を指示している状態を継続している等の場合であり、このような状態でのデータを用いて特徴点の位置変化の回転中心を演算することは、利用者による指示位置の判断精度の低下に繋がる。このため、ステップ２６６の判定が否定された場合にはステップ２７４へ移行し、前述の推定演算を行う。

一方、ステップ２６６の判定が肯定された場合にはステップ２６８へ移行し、演算対象の特徴点の３次元座標データ群が表す特徴点の移動軌跡に基づいて、特徴点の位置変化の回転中心に相当する点の３次元座標（Ｘ，Ｙ，Ｚ）を演算する。以下、ステップ２６８における演算について詳述する。特徴点の位置は、空間内の特定の位置（この位置は利用者の動作によって相違する）を中心とする仮想的な球の表面に沿って移動すると見なすことができる。座標（Ｘ，Ｙ，Ｚ）を中心とする半径Ｒの球面は次の（１）式で表すことができる。

（ｘ−Ｘ）²＋（ｙ−Ｙ）²＋（ｘ−Ｘ）²＝Ｒ² …（１）
なお、（１）式における座標（ｘ，ｙ，ｚ）は球面上の任意の点の座標である。特徴点のｎ個の３次元座標データを（ｘｉ，ｙｉ，ｚｉ）とし（ｉ＝１，２，・・・，ｎ）、これらを（１）式に代入して最小二乗法の極値を座標値Ｘ及び半径Ｒでとると、以下のようになる。

上記の結果より次の（３）式が得られる。

（３）式を（２）式に代入して整理すると、次の（４）式が得られる。

上記と同様に座標値Ｙ，Ｚについて解くと、次の（５），（６）式が得られる。

続いて、（４），（５），（６）式を連立させて座標値Ｘ，Ｙ，Ｚを解く。これらを行列式で表すと次の（７）式のようになる。

そして、（７）式の解は以下の（８）〜（１０）式のようになる。

従って、ステップ２６８は、演算対象の特徴点の３次元座標データ（ｘｉ，ｙｉ，ｚｉ）を（８）〜（１０）式に各々代入することで、回転中心に相当する点の３次元座標（Ｘ，Ｙ，Ｚ）を求めることができる。また半径Ｒは、演算対象の特徴点の３次元座標データ、及び（８）〜（１０）式の演算結果を（３）式に各々代入することで求めることができる。

次のステップ２７０では、以前に（現在の利用者が情報入力空間に到来してから現在までの間に）特徴点の位置変化の回転中心に相当する点の３次元座標を演算したか否か判定する。判定が否定された場合には何ら処理を行うことなくステップ２７６へ移行するが、判定が肯定された場合にはステップ２７２へ移行し、以前に演算した回転中心に相当する点の３次元座標も考慮して（例えば加重平均値を演算する等により）、回転中心に相当する点の３次元座標（Ｘ，Ｙ，Ｚ）を最終決定する。

そして次のステップ２７６では、ディスプレイ１４までの距離及びディスプレイ１４の大きさに基づいて回転中心に相当する点の３次元座標（Ｘ，Ｙ，Ｚ）が修正されることで基準点の３次元座標（Ｘ，Ｙ，Ｚ）が演算され、記憶部１８に記憶される。

このように、本実施形態では、利用者が情報入力空間に到来して指示動作を開始してから若干の時間が経過した後（現時点より所定時間前から現時点迄の期間内に演算された特徴点の３次元座標データが所定数以上になった後）は、特徴点の移動軌跡に基づき、特徴点の位置変化の回転中心に相当する点の３次元座標を最小二乗法によって演算し、この回転中心に相当する点の３次元座標に基づいて設定した基準点の３次元座標を用いて利用者による指示位置を判断しているので、指示動作として利用者が図１０（Ａ）〜（Ｃ）に示す各種動作（姿勢）の何れを行っている場合にも、また図１１に示すように、利用者の体格が大きく相違している場合にも、これらの影響を受けることなく基準点を適切な位置に設定することができ、利用者による指示位置を精度良く判断することができる。

また、基準点座標演算処理（及び特徴点座標演算処理）は繰り返し行われるので、例えば図１２に示すように（図８（Ｂ）及び（Ｃ）も参照）、利用者が指示動作に用いている腕が利用途中で変化した場合、或いは指示動作として利用者が行っている動作が利用途中で変化した場合（例えばハイポジションからミドルポジション又はローポジションに変化した等の場合）にも、この変化に追随して基準点を適切な位置に切り替えることができ、利用者による指示位置を常に精度良く判断することができる。

次に、上述した指示判断処理プログラム（図４）のステップ２１８において実行される指示動作実行処理について、図１３のフローチャートを参照して説明する。なお、ここでは、一例として図１４に示すように、当該指示動作実行処理の実行に先立って、ディスプレイ１４の表示領域の所定位置に、予め定められた３次元立体画像を示す複数のオブジェクト（図１４に示す例では、各々自動車の３次元立体画像を示すオブジェクト５０Ａ、５０Ｂ、５０Ｃの３つのオブジェクト）が表示されている場合について説明する。また、ここでは、制御部１６が、ディスプレイ１４の表示領域における各オブジェクトの表示位置及び表示範囲を把握している場合について説明する。

ステップ３００では、利用者によってクリック動作（前進クリック動作又は後進クリック動作）が行われたか否かを判定する。ここで、前進クリック動作や後進クリック動作が行われたか否かの判定は、例えば特徴点の３次元座標（ｘ，ｙ，ｚ）のうちの座標値ｘが急激に変化したか否かを判断することで行うことができる。

上記ステップ３００において否定判定となった場合はステップ３０２に移行して、利用者によってクリア動作が行われたか否かを判定する。ここで、クリア動作が行われたか否かの判定は、例えば特徴点の３次元座標（ｘ，ｙ，ｚ）のうちの座標値ｙが急激に変化したか否かを判断することで行うことができる。

上記ステップ３０２において肯定判定となった場合はステップ３０４に移行し、ディスプレイ１４によって表示されている全てのオブジェクトを初期表示状態に復帰させる処理を行った後、本指示動作実行処理を終了する。なお、上記ステップ３０２において否定判定となった場合は上記ステップ３０４の処理を実行することなく本指示動作実行処理を終了する。

一方、上記ステップ３００において肯定判定となった場合はステップ３０６に移行して、指示判断処理プログラム（図４）のステップ２１２の処理によって演算された指示位置の座標がディスプレイ１４によって表示されている何れかのオブジェクトの表示範囲の内部に位置するか否かを判定し、否定判定となった場合はステップ３０８に移行する。

ステップ３０８では、この時点で設定されている動作モードを次にトグル的に切り替えられるべき動作モードに切り替え、その後に本指示動作実行処理を終了する。なお、本ステップ３０８では、この時点で設定されている動作モードが回転・拡縮モードであった場合は移動・拡縮モードへ切り替え、この時点で設定されている動作モードが移動・拡縮モードであった場合はノーマルモードへ切り替え、この時点で設定されている動作モードがノーマルモードであった場合は回転・拡縮モードへ切り替える。

一方、ステップ３０６において肯定判定となった場合はステップ３１０に移行して、上記指示位置の座標を初期位置として記憶部１８の所定領域に記憶し、次のステップ３１２にて、上記ステップ３０６の処理において指示位置の座標が位置されると判定されたオブジェクト（以下、「処理対象オブジェクト」という。）が利用者によるクリック動作によって指定されたものと見なして、当該処理対象オブジェクトを取り囲む円形状の基準枠の表示をＰＣ１２に指示する。これにより、ＰＣ１２は、一例として図１５に示すように、当該基準枠５２をディスプレイ１４に表示させる。

次のステップ３１４では利用者による指先の上記所定速度未満での移動の開始待ちを行い、次のステップ３１６にて当該指先移動の停止待ちを行う。なお、指先の上記所定速度未満での移動開始及び移動停止の判断は、例えば、上述した特徴点座標演算処理と同様に繰り返し導出した特徴点の３次元座標（ｘ，ｙ，ｚ）の少なくとも１つの座標値の上記所定速度未満での変化が開始された時点を移動開始と判断し、当該座標値の変化が停止された時点を移動停止と判断することで行うことができる。また、上記ステップ３１４では、指先の移動開始と判断された時点の特徴点の３次元座標（ｘ，ｙ，ｚ）を記憶部１８に記憶し、上記ステップ３１６では、指先の移動停止と判断された時点の特徴点の３次元座標（ｘ，ｙ，ｚ）を記憶部１８に記憶する。

次のステップ３１８では、上記ステップ３１４及びステップ３１６にて処理対象とされた利用者の指先の移動動作に基づいて、このときの指先の移動量及び移動方向を導出する。

なお、上記移動量は、例えば、上記ステップ３１４において指先の所定速度未満での移動が開始されたと判断された時点の特徴点の３次元座標（ｘ，ｙ，ｚ）と、上記ステップ３１６において当該指先の移動が停止されたと判断された時点の特徴点の３次元座標（ｘ，ｙ，ｚ）との対応する座標値間の変化量の合計値や、当該変化量の各々の２乗値の合計値（ユークリッド距離の２乗値）等を算出することによって導出することができる。

また、上記移動方向は、例えば、上記ステップ３１４において指先の所定速度未満での移動が開始されたと判断された時点の特徴点の３次元座標（ｘ，ｙ，ｚ）と、上記ステップ３１６において当該指先の移動が停止されたと判断された時点の特徴点の３次元座標（ｘ，ｙ，ｚ）との対応する座標値間の変化量が所定量（３次元座標系における各座標方向に対する、利用者による指示動作の際の誤差量と見なすことのできる変化量であり、ここでは、一例として２ｃｍに相当する変化量）以上となる座標の方向として導出することができる。

ここで、例えば、Ｙ座標値及びＺ座標値の少なくとも一方の変化量が上記所定量以上であり、かつＸ座標値の変化量が上記所定量未満である場合には、利用者による指先の移動がディスプレイ１４の表示面に沿った任意方向への移動であるので、利用者によって処理対象オブジェクトの移動、又は処理対象オブジェクトの回転が指示されたものと判断することができる。一方、これとは逆に、Ｙ座標値及びＺ座標値の双方の変化量が上記所定量未満であり、かつＸ座標値の変化量が上記所定量以上である場合には、利用者によって処理対象オブジェクトの大きさの変更が指示されたものと判断することができる。

次のステップ３２０では、この時点における動作モードが回転・拡縮モードであるか否かを判定し、肯定判定となった場合はステップ３２２に移行して、上記ステップ３１４及びステップ３１６にて処理対象とされた利用者の指先の移動動作が処理対象オブジェクトの回転を指示するものであったか否かを判定する。なお、当該判定は、上述したように、Ｙ座標値及びＺ座標値の少なくとも一方の変化量が上記所定量以上であり、かつＸ座標値の変化量が上記所定量未満であるか否かを判定することにより行うことができる。

上記ステップ３２２において肯定判定となった場合はステップ３２４に移行し、上記指示判断処理プログラムのステップ２１２と同様に導出した、この時点の指示位置が基準枠５２の内側となっているか否かを判定して、否定判定となった場合は何ら処理を行うことなく本指示動作実行処理を終了し、肯定判定となった場合はステップ３２６に移行する。

ステップ３２６では、処理対象オブジェクトの、上記ステップ３１８において導出した指先の移動量に応じた回転角度（ここでは、当該移動量が多くなるほど大きくなるように導出した角度）での上記ステップ３１８において導出した指先の移動方向と同一方向への、当該処理対象オブジェクトの中心付近を通るディスプレイ１４の表示面に平行な軸を中心とした回転表示をＰＣ１２に指示し、その後に上記ステップ３１４に戻る。本ステップ３２６の処理により、ＰＣ１２は、従来既知の３次元立体画像の回転表示技術を用いて、一例として図１６に示すように、処理対象オブジェクトを回転表示させる。なお、図１６では、便宜上、処理対象オブジェクト（オブジェクト５０Ｂ）を当該オブジェクトの上記指先の移動方向（回転方向）に対する近傍に回転された状態で模式的に図示しているが、実際には、処理対象オブジェクトの回転前の表示位置（基準枠５２の中央位置）に回転された状態で表示される。

一方、上記ステップ３２２において否定判定となった場合は利用者によって処理対象オブジェクトの表示倍率の変更が指示されたものと見なしてステップ３３６に移行し、この時点における利用者の指先（特徴点）のＸ座標方向に対する位置が所定範囲内にあるか否かを判定する。なお、本実施の形態に係る情報表示装置１０では、上記所定範囲として、図３（Ｂ）に示されるＸ座標方向に対する認識領域における利用者側端部から若干離れた位置（一例として、Ｘ座標方向に対する認識領域範囲の１０分の１だけ離れた位置）から、当該認識領域におけるディスプレイ１４側端部から若干離れた位置（一例として、Ｘ座標方向に対する認識領域範囲の５分の１だけ離れた位置）までの範囲を適用しているが、これに限らず、予め利用者の腕の長さを測定し、当該利用者の指先が届き得る範囲や、当該範囲より若干狭い範囲等を上記所定範囲として適用することもできる。

上記ステップ３３６において肯定判定となった場合はステップ３３８に移行し、上記ステップ３１８において導出した指先の移動方向が利用者の手前方向（図３（Ｂ）における左方向）である場合は、上記ステップ３１８において導出した指先の移動量に応じた拡大率（ここでは、当該移動量が多くなるほど大きくなるように導出した拡大率）での処理対象オブジェクトの拡大表示を、上記ステップ３１８において導出した指先の移動方向が利用者の前方方向（図３（Ｂ）における右方向）である場合は、上記ステップ３１８において導出した指先の移動量に応じた縮小率（ここでは、当該移動量が多くなるほど大きくなるように導出した縮小率）での処理対象オブジェクトの縮小表示を、各々ＰＣ１２に指示し、その後に上記ステップ３１４に戻る。本ステップ３３８の処理により、ＰＣ１２は、従来既知の３次元立体画像の拡大表示技術又は縮小表示技術を用いて、処理対象オブジェクトを拡大表示又は縮小表示させる。

一方、上記ステップ３３６において否定判定となった場合は、この時点における利用者の指先の位置が上記所定範囲を超えたものと見なしてステップ３４０に移行し、上記ステップ３１８において導出した指先の移動方向が利用者の手前方向（図３（Ｂ）における左方向）である場合は処理対象オブジェクトの継続的な拡大表示を、上記ステップ３１８において導出した指先の移動方向が利用者の前方方向（図３（Ｂ）における右方向）である場合は処理対象オブジェクトの継続的な縮小表示を、各々ＰＣ１２に指示し、その後に上記ステップ３１４に戻る。本ステップ３４０の処理により、ＰＣ１２は、従来既知の３次元立体画像の拡大表示技術又は縮小表示技術を用いて、一例として図１７に示すように、処理対象オブジェクトを継続的に拡大表示又は縮小表示させる。

一方、上記ステップ３２０において否定判定となった場合はステップ３２８に移行し、この時点における動作モードが移動・拡縮モードであるか否かを判定し、肯定判定となった場合はステップ３３０に移行して、上記ステップ３１４及びステップ３１６にて処理対象とされた利用者の指先の移動動作が処理対象オブジェクトの移動を指示するものであったか否かを判定する。なお、当該判定は、上述したように、Ｙ座標値及びＺ座標値の少なくとも一方の変化量が上記所定量以上であり、かつＸ座標値の変化量が上記所定量未満であるか否かを判定することにより行うことができる。

上記ステップ３３０において肯定判定となった場合はステップ３３２に移行し、上記指示判断処理プログラムのステップ２１２と同様に導出した、この時点の指示位置が基準枠５２の内側となっているか否かを判定して、否定判定となった場合は何ら処理を行うことなく本指示動作実行処理を終了し、肯定判定となった場合はステップ３３４に移行する。

ステップ３３４では、処理対象オブジェクトの、上記ステップ３１８において導出した指先の移動量に応じた移動距離（ここでは、当該移動量が多くなるほど遠くなるように導出した距離）での上記ステップ３１８において導出した指先の移動方向と同一方向への移動表示をＰＣ１２に指示し、その後に上記ステップ３１４に戻る。本ステップ３３４の処理により、ＰＣ１２は、従来既知の３次元立体画像の移動表示技術を用いて、処理対象オブジェクトを移動表示させる。

一方、上記ステップ３３０において否定判定となった場合は利用者によって処理対象オブジェクトの表示倍率の変更が指示されたものと見なして前述したステップ３３６に移行する。

一方、上記ステップ３２８において否定判定となった場合は、この時点における動作モードがノーマルモードであるものと見なしてステップ３４２に移行し、カーソルの、上記ステップ３１８において導出した指先の移動量に応じた移動距離（ここでは、当該移動量が多くなるほど遠くなるように導出した距離）での上記ステップ３１８において導出した指先の移動方向と同一方向への移動表示をＰＣ１２に指示し、その後に本指示動作実行処理を終了する。本ステップ３４２の処理により、ＰＣ１２は、ディスプレイ１４に表示させているカーソルを、上記移動距離だけ上記移動方向へ移動して表示させる。

本指示動作実行処理プログラムのステップ３１４及びステップ３１６の処理が本発明の検出手段及び検出ステップに、ステップ３００、ステップ３０２及びステップ３０６の処理が本発明の判断手段及び判断ステップに、ステップ３０４、ステップ３１２、ステップ３２６、ステップ３３４、ステップ３３８及びステップ３４０の処理が本発明の制御手段及び制御ステップに、ステップ３０８の処理が本発明の切替手段及び切替ステップに、各々対応している。

以上詳細に説明したように、本実施の形態では、予め定められた表示画像（ここでは、オブジェクト）を表示する表示手段（ここでは、ディスプレイ１４）と、互いに異なる複数の方向から利用者を撮像する撮像手段（ここでは、ビデオカメラ２０Ａ、２０Ｂ）と、前記撮像手段による撮像によって得られた撮像画像に基づいて前記利用者が前記表示手段の表示領域に対して指し示す方向を特定し、特定した方向に基づいて前記利用者により指し示された前記表示手段の表示領域上の位置を導出する導出手段（ここでは、制御部１６）と、を備えると共に、前記表示手段の表示領域に前記表示画像が表示された状態において前記導出手段により導出された前記表示領域上の位置に基づいて前記利用者により当該表示画像が指定されたか否かを判断し、前記表示画像が指定されたと判断した場合、前記撮像画像に基づいて前記利用者の手又は指先の移動動作を検出し、検出した移動動作が予め定められた範囲内で行われているときは、当該移動動作における移動方向に応じて予め定められた前記表示画像の表示状態（ここでは、表示倍率）の変更を、検出された移動動作に関する量（ここでは、移動量）に応じて行い、前記移動動作が前記予め定められた範囲を超えたときは、それまでの前記表示画像の表示状態の変更を継続して行うように前記表示手段を制御しているので、変更量に上限を設けることなく表示手段による表示画像の表示状態を変更することができる。

また、本実施の形態では、処理対象オブジェクトの表示位置の変更動作及び表示倍率の変更動作を行う動作モードを第１の動作モード（ここでは、移動・拡縮モード）とし、処理対象オブジェクトの回転角度の変更動作及び表示倍率の変更動作を行う動作モードを第２の動作モード（ここでは、回転・拡縮モード）として、クリック動作が検出される毎に前記第１の動作モードと前記第２の動作モードとが含まれた複数の動作モード（ここでは、ノーマルモードを含む３種類の動作モード）の間で動作モードをトグル的に切り替え、当該切り替え後の動作モードに応じて前記表示状態の変更を行うように制御しているので、動作モードを切り替えるための操作を簡易化することができ、利便性を向上させることができる。

また、本実施の形態では、前記表示画像の初期表示状態への復帰を示す動作として予め定められた初期復帰動作が検出された場合に前記表示画像を初期表示状態に復帰させるように制御しているので、表示画像の初期表示状態への復帰を簡易に行うことができ、利便性を更に向上させることができる。

更に、本実施の形態では、処理対象オブジェクトが含まれる領域を取り囲む所定形状の枠（ここでは、円形状の基準枠５２）を表示するように前記表示手段を更に制御すると共に、利用者による指示位置が前記枠の内部に位置するときに処理対象オブジェクトの表示状態（ここでは、表示位置及び回転角度）の変更を行い、前記指示位置が前記枠の外側に移動したときに当該表示状態の変更を停止しているので、表示画像の表示状態の変更が可能な範囲を利用者に対して視覚的に明示することができ、利便性を更に向上させることができる。

なお、本実施の形態では、処理対象オブジェクトを取り囲む基準枠５２をディスプレイ１４に表示し、利用者による指示位置が基準枠５２の範囲外となった場合に処理対象オブジェクトの回転角度又は表示位置の変更動作を終了する場合について説明したが、本発明はこれに限定されるものではなく、基準枠５２を表示せず、利用者によってクリック動作が行われたことをもって処理対象オブジェクトの回転角度又は表示位置の変更動作を終了する形態とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。

また、本実施の形態では、利用者による指示位置が基準枠５２の範囲外となった場合に処理対象オブジェクトの回転角度又は表示位置の変更動作を終了する場合について説明したが、本発明はこれに限定されるものではなく、利用者による指示位置が基準枠５２の範囲外となるか、又は基準枠５２とは別に予め定められた領域（基準枠５２と共存する場合は基準枠５２の内部の領域）の範囲外となった場合に、それまでの回転角度又は表示位置の変更動作を継続して行うように制御する形態とすることもできる。この場合、処理対象オブジェクトの表示倍率の変更動作に加えて、回転角度及び表示位置の変更動作も変更量に上限を設けることなく継続的に行うことができ、本実施の形態に比較して、利便性を向上させることができる。

また、本実施の形態では、処理対象オブジェクトを拡大表示又は縮小表示する際に当該処理対象オブジェクトを移動せずに、その場で拡大表示又は縮小表示する場合について説明したが、本発明はこれに限定されるものではなく、例えば、図１８（Ａ）に示すように、処理対象オブジェクト以外のオブジェクトを自動的に縮小させて表示したり、図１８（Ｂ）に示すように、処理対象オブジェクトを表示領域の中央部に移動させて拡大表示又は縮小表示させると共に、他のオブジェクトを縮小して表示領域の周辺部に固めて表示する形態とすることもできる。この場合、処理対象オブジェクトのみをクローズ・アップすることができ、情報表示装置１０をプレゼンテーションで用いる場合の披露効果を向上させることができる。

また、本実施の形態で説明した利用者によるディスプレイ１４の表示領域における指示位置の導出手法は一例であり、例えば、上述した特開平４−２７１４２３号公報、特開平５−１９９５７号公報、特開平５−３２４１８１号公報等に記載されている従来既知の手法を適用できることは言うまでもない。この場合も、本実施の形態と同様の効果を奏することができる。

また、本実施の形態では、処理対象オブジェクトの回転角度、表示位置、表示倍率の各表示状態の変更速度については特に言及しなかったが、例えば、利用者による指示位置が基準枠５２に近づくほど変更速度を速くしたり、利用者による指先の移動速度が速くなるほど変更速度を速くする形態とすることもできる。この場合、当該変更速度を利用者による意志に応じて変更することができるので、より利便性を向上させることができる。

その他、本実施の形態で説明した情報表示装置１０の構成（図１〜図３参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、本実施の形態で示した各種処理プログラムの処理の流れ（図４、図５、図７、図１３参照。）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

実施形態に係る情報表示装置の概略構成を示すブロック図である。 カメラと凹面鏡の位置関係、及び各カメラの撮像範囲を示す情報入力空間の側面図である。 （Ａ）は情報入力空間の正面図、（Ｂ）は情報入力空間の側面図である。 実施形態に係る指示判断処理プログラムの処理の流れを示すフローチャートである。 実施形態に係る特徴点座標演算処理プログラムの処理の流れを示すフローチャートである。 （Ａ）は各カメラによる撮像範囲、（Ｂ）は各カメラによって得られた各画像の一例を各々示すイメージ図、（Ｃ）は各画像上での指先位置の差から手の高さを求めるためのマップの内容の一例を示す線図である。 実施形態に係る基準点座標演算処理プログラムの処理の流れを示すフローチャートである。 特徴点及び基準点から指示位置の座標を演算する処理を説明するための、（Ａ）は側面図、（Ｂ）及び（Ｃ）は平面図である。 （Ａ）は前進クリック動作、（Ｂ）は後進クリック動作を説明するためのイメージ図である。 利用者による各種の指示動作における特徴点の回転中心の一例を各々示すイメージ図である。 利用者の体格の相違が反映された基準点の位置を示すイメージ図である。 利用者が指示動作に用いる腕を変えた場合の基準点の移動を示すイメージ図である。 実施形態に係る指示動作実行処理プログラムの処理の流れを示すフローチャートである。 実施形態に係る指示動作実行処理プログラムの実行に先立って、ディスプレイの表示領域に表示された３次元立体画像の表示状態例を示す概略図である。 実施形態に係る基準枠５２の表示状態例を示す概略図である。 実施形態に係る指示動作実行処理プログラムによる処理対象オブジェクトの回転表示状態例を示す概略図である。 実施形態に係る指示動作実行処理プログラムによる処理対象オブジェクトの表示倍率の変更状態例を示す概略図である。 実施形態に係る指示動作実行処理プログラムによる処理対象オブジェクトの表示倍率の変更状態の変形例を示す概略図である。

符号の説明

１０ 情報表示装置
１４ ディスプレイ
１６ 制御部
１８ 記憶部
２０Ａ ビデオカメラ
２０Ｂ ビデオカメラ
２８ 凹面鏡

Claims (5)

1. 予め定められた３次元立体画像を表示する表示手段と、
   互いに異なる複数の方向から利用者を撮像する撮像手段と、
   前記撮像手段による撮像によって得られた撮像画像に基づいて前記利用者が前記表示手段の表示領域に対して指し示す方向を特定し、特定した方向に基づいて前記利用者により指し示された前記表示手段の表示領域上の位置を導出する導出手段と、
   前記撮像画像に基づいて前記利用者の手又は指先の移動動作を検出する検出手段と、
   前記表示手段の表示領域に前記３次元立体画像が表示された状態において前記導出手段により導出された前記表示領域上の位置に基づいて前記利用者により当該３次元立体画像が指定されたか否か及び前記検出手段によって検出された移動動作が予め定められたクリック動作であったか否かを判断する判断手段と、
   前記判断手段によって前記クリック動作であったと判断される毎に、前記３次元立体画像の前記表示領域内における表示位置の変更動作及び表示倍率の変更動作を行う第１の動作モードと前記３次元立体画像の前記表示領域内における回転角度の変更動作及び表示倍率の変更動作を行う第２の動作モードとが含まれた複数の動作モードの間で動作モードを切り替える切替手段と、
   前記判断手段によって前記３次元立体画像が指定されたと判断された場合、それ以降に前記検出手段によって検出された移動動作が予め定められた範囲内で行われているときは、前記切替手段による切り替え後の動作モードに応じた前記３次元立体画像の表示状態の変更を検出された移動動作に関する量に応じて行い、前記移動動作が前記予め定められた範囲を超えたときは、それまでの前記３次元立体画像の表示状態の変更を継続して行うように前記表示手段を制御する制御手段と、
   を備えた指示動作認識装置。
2. 前記判断手段は、前記検出手段によって検出された移動動作が前記３次元立体画像の初期表示状態への復帰を示す動作として予め定められた初期復帰動作であったか否かを更に判断し、
   前記制御手段は、前記判断手段によって前記初期復帰動作であったと判断された場合に前記３次元立体画像を初期表示状態に復帰させるように前記表示手段を制御する
   請求項１記載の指示動作認識装置。
3. 前記制御手段は、前記３次元立体画像が含まれる領域を取り囲む所定形状の枠を表示するように前記表示手段を更に制御すると共に、前記導出手段によって導出された前記表示領域上の位置が前記枠の内部に位置するときに前記３次元立体画像の表示状態の変更を行い、前記表示領域上の位置が前記枠の外側に移動したときに当該表示状態の変更を停止する
   請求項１又は請求項２記載の指示動作認識装置。
4. 予め定められた３次元立体画像を表示する表示手段と、互いに異なる複数の方向から利用者を撮像する撮像手段と、を備えた指示動作認識装置において前記利用者による指示動作を認識するための指示動作認識プログラムであって、
   前記撮像手段による撮像によって得られた撮像画像に基づいて前記利用者が前記表示手段の表示領域に対して指し示す方向を特定し、特定した方向に基づいて前記利用者により指し示された前記表示手段の表示領域上の位置を導出する導出ステップと、
   前記撮像画像に基づいて前記利用者の手又は指先の移動動作を検出する検出ステップと、
   前記表示手段の表示領域に前記３次元立体画像が表示された状態において前記導出ステップにより導出された前記表示領域上の位置に基づいて前記利用者により当該３次元立体画像が指定されたか否か及び前記検出ステップによって検出された移動動作が予め定められたクリック動作であったか否かを判断する判断ステップと、
   前記判断ステップによって前記クリック動作であったと判断される毎に、前記３次元立体画像の前記表示領域内における表示位置の変更動作及び表示倍率の変更動作を行う第１の動作モードと前記３次元立体画像の前記表示領域内における回転角度の変更動作及び表示倍率の変更動作を行う第２の動作モードとが含まれた複数の動作モードの間で動作モードを切り替える切替ステップと、
   前記判断ステップによって前記３次元立体画像が指定されたと判断された場合、それ以降に前記検出ステップによって検出された移動動作が予め定められた範囲内で行われているときは、前記切替ステップによる切り替え後の動作モードに応じた前記３次元立体画像の表示状態の変更を検出された移動動作に関する量に応じて行い、前記移動動作が前記予め定められた範囲を超えたときは、それまでの前記３次元立体画像の表示状態の変更を継続して行うように前記表示手段を制御する制御ステップと、
   をコンピュータに実行させる指示動作認識プログラム。
5. 前記判断ステップは、前記検出ステップによって検出された移動動作が前記３次元立体画像の初期表示状態への復帰を示す動作として予め定められた初期復帰動作であったか否かを更に判断し、
   前記制御ステップは、前記判断ステップによって前記初期復帰動作であったと判断された場合に前記３次元立体画像を初期表示状態に復帰させるように前記表示手段を制御する
   請求項４記載の指示動作認識プログラム。

Images