JP4608326B2 - 指示動作認識装置及び指示動作認識プログラム - Google Patents

Description

本発明は、指示動作認識装置及び指示動作認識プログラムに係り、より詳しくは、ディスプレイ装置等の表示手段による表示画像に対して利用者により行われる指示動作を認識する指示動作認識装置、指示動作認識方法及び指示動作認識プログラムに関する。

従来より、所定の情報を表示するディスプレイ装置、ディスプレイ装置の近傍に到来した利用者を互いに異なる方向から撮像する撮像手段を備え、利用者がディスプレイ上の任意の位置を指等によって指し示した状況を複数の撮像手段によって撮像し、撮像によって得られた複数の画像に基づいて利用者を認識し、利用者が指示したディスプレイ上の位置を判断し、ディスプレイ上の指示位置にカーソル等を表示すると共に、利用者がクリック動作を行ったことを検出すると、ディスプレイ上の指示位置がクリックされたものと認識して所定の処理を行うハンドポインティング装置が知られている（例えば、特許文献１、特許文献２、特許文献３参照。）。

上記のハンドポインティング装置によれば、利用者がキーボードやマウス等の入力機器に触れることなく、情報処理装置に対して各種の指示を与えたり、各種の情報を入力することが可能となるので、情報処理装置を利用するための操作の簡素化を実現できる。

ところで、この種のハンドポインティング装置に関する技術として、本発明の発明者らは、操作者の背中付近に仮想点を設け、指先と仮想点を結んだ線がディスプレイ装置の表示面と交差する点にカーソルを表示する技術を提案した。この技術では、操作者の背中付近に固定的に設けた仮想点と指先の特徴点を結んで外挿し、表示面との交点にカーソルを表示させるポインティング方式を採用している。

しかしながら、このように仮想点を固定とする方式では人が採り得る種々のポインティング姿勢に対応することができない、という問題があった。また、人のポインティング姿勢は時間の経過に伴って変化してしまう場合もあるため、このポインティング方式ではカーソルの表示位置が大きく変化してしまう場合がある、という問題もあった。例えば、一例として図２２（Ａ）に示すように手を伸ばした状態でディスプレイ装置の表示面に対するポインティング指定を開始したとしても、自身の腕の重さによって、一例として図２２（Ｃ）に示すように、肘が大きく曲げられ、指先が当初よりも下方に位置するポインティング姿勢に移行してしまう場合が多い。

そこで、この問題を解決するために、本発明の発明者らによる特許文献４には、指先の軌跡から回転中心を最小二乗法で算出し、種々のポインティング姿勢に対応させて仮想点を移動させるようにする技術が開示されている。

この技術では、一点を中心とした回転中心を実際の指先の軌跡から最小二乗法によって逐次求めており、仮想点を動的に移動させるものである。
特開平４−２７１４２３号公報 特開平５−１９９５７号公報 特開平５−３２４１８１号公報 特開２００３−２２８４５８公報

しかしながら、特許文献４に開示されている技術では、仮想点をポインティング姿勢に的確に追随させることができず、この結果として必ずしも的確にポインティング位置を特定することができるとは言えない、という問題点があった。すなわち、実際の指先は、肘、肩、手首の３自由度を有しており、人によって腕の長さも異なるため、当該技術では、仮想点を導出するための演算式が複雑になり過ぎてしまい、仮想点を的確に追随させることが困難なのである。また、当該技術では、人が指先を動かした後でないと回転中心が求められないため、この点も追随性の悪さの要因となっていた。

本発明は上記問題点を解消するためになされたものであり、利用者の指示姿勢にかかわらず的確に指示された位置を特定することができる指示動作認識装置及び指示動作認識プログラムを提供することを目的とする。

本発明の発明者らは、本発明を導出するにあたり、次のような事前検討を行った。

まず、一例として図２０に示すように、大型のディスプレイ装置の表示面に対してポインティング指示を行う場合を想定し、カメラによる撮像によって得られた画像情報から指先特徴点の三次元座標を算出すると共に腕上の仮想線又は仮想点を算出し、それらを結んで外挿してディスプレイ装置の表示面との交点にカーソルを表示させる方式について検討した。

この結果、この方式では、腕上の仮想線又は仮想点の安定度が得られないことが多く、この結果としてカーソルの表示位置が不安定となってしまった。すなわち、カーソルの安定度は、指先特徴点の安定度に腕上の仮想線又は仮想点の安定度を乗算して得られた度合いで決定されるが、指先特徴点の座標位置の安定度が高くても、カーソル位置の算出に用いる他の要素が不安定であるため、上記のような乗算の関係ではカーソルの表示位置が不安定となってしまうのである。

そこで、本発明の発明者らは、次に、一例として図２１に示すように、小型のディスプレイ装置の表示面に対してポインティング指示を行う場合を想定し、カメラによる撮像によって得られた画像情報から指先特徴点の三次元座標を算出し、その位置からディスプレイ装置の表示面に法線を落とした点にカーソルを表示させる方式について検討した。すなわち、この場合、ディスプレイ装置の表示面が小型であり、利用者の手の移動範囲内で当該表示面の全領域を無理なく指し示すことができるため、この場合には仮想線又は仮想点を用いることなく指先特徴点のみを用いてカーソル位置を特定することができるのである。

この結果、この方式ではディスプレイ装置の表示面に対する指示位置の特定に指先特徴点しか用いていないため、カーソルを高い安定度で表示することができた。但し、この方式は大型のディスプレイ装置には対応することができない。

以上の検討結果を踏まえ、上記目的を達成するために、請求項１記載の指示動作認識装置は、表示手段と、互いに異なる複数の方向から利用者の指先を撮像する撮像手段と、スクリーン面が前記指先により指し示す方向に対して垂直となる方向に、前記撮像手段による撮像によって得られた撮像画像に基づいて、前記指先が所定期間静止されたと判定されたときに予め定められたサイズとされた仮想スクリーンを前記表示手段の表示領域に対応させて設ける仮想スクリーン設定手段と、前記撮像画像に基づいて前記指先により指し示された前記仮想スクリーン上の位置を特定する特定手段と、前記特定手段によって特定された前記仮想スクリーン上の位置を前記表示手段の表示領域上の位置に変換することにより前記利用者による前記表示手段の表示領域における指示位置を導出する導出手段と、を備えている。

請求項１記載の指示動作認識装置は、表示手段が備えられると共に、撮像手段によって互いに異なる複数の方向から利用者の指先が撮像される。なお、上記表示手段には、液晶ディスプレイ、プラズマ・ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等の各種ディスプレイが含まれる。また、上記撮像手段には、デジタルビデオカメラ、デジタル電子スチルカメラ等の各種デジタルカメラが含まれる。

ここで、本発明では、仮想スクリーン設定手段により、スクリーン面が前記指先により指し示す方向に対して垂直となる方向に、前記撮像手段による撮像によって得られた撮像画像に基づいて、前記指先が所定期間静止されたと判定されたときに予め定められたサイズとされた仮想スクリーンが前記表示手段の表示領域に対応させるものとして設けられる。

そして、本発明では、特定手段により、前記撮像画像に基づいて前記指先により指し示された前記仮想スクリーン上の位置が特定され、導出手段により、前記特定手段によって特定された前記仮想スクリーン上の位置が前記表示手段の表示領域上の位置に変換されることにより前記利用者による前記表示手段の表示領域における指示位置が導出される。

すなわち、本発明では、表示手段とは別に仮想スクリーンを設けることにより、従来技術で用いていた仮想点を用いることなく利用者の指先により指し示された位置の導出を可能としており、この結果として、利用者の指示姿勢の如何にかかわらず的確に指示された位置を特定することができるようにしている。

このように、請求項１記載の指示動作認識装置によれば、表示手段による表示画像に対して利用者により行われる指示動作を認識するにあたり、互いに異なる複数の方向から利用者の指先を撮像し、スクリーン面が前記指先により指し示す方向に対して垂直となる方向に、前記撮像手段による撮像によって得られた撮像画像に基づいて、前記指先が所定期間静止されたと判定されたときに予め定められたサイズとされた仮想スクリーンを前記表示手段の表示領域に対応させるものとして設け、前記撮像画像に基づいて前記指先により指し示された前記仮想スクリーン上の位置を特定し、特定した前記仮想スクリーン上の位置を前記表示手段の表示領域上の位置に変換することにより前記利用者による前記表示手段の表示領域における指示位置を導出しているので、利用者の指示姿勢にかかわらず的確に指示された位置を特定することができる。また、利用者の意志に応じて容易に仮想スクリーンを設けることができる。

特に、請求項１に記載の発明は、請求項２に記載の発明のように、前記仮想スクリーンのサイズを、前記利用者の身長が高くなるほど大きくなるか、又は前記利用者の腕の長さが長くなるほど大きくなるように定めてもよい。これにより、指示動作を無理なく行うことができると共に、仮想スクリーンのサイズが小さすぎる場合の仮想スクリーン上における指示位置の特定精度の低下を抑制することができる。

また、請求項１または請求項２記載の発明は、請求項３に記載の発明のように、前記仮想スクリーン設定手段によって設けられた前記仮想スクリーンを、前記利用者の指先が所定位置に位置されたときに取り消す取消手段を更に備えてもよい。これにより、利用者の意志に応じて容易に仮想スクリーンを取り消すことができる。

特に、請求項３に記載の発明は、請求項４に記載の発明のように、前記所定位置を前記撮像手段による撮像範囲外の位置としてもよい。これにより、より容易に仮想スクリーンを取り消すことができる。

また、請求項１乃至請求項４の何れか１項記載の発明の前記仮想スクリーン設定手段は、請求項５に記載の発明のように、スクリーン面が前記利用者の指先と前記表示手段の表示領域における水平方向中心線上の任意の位置とを結んだ仮想線に垂直となる方向、スクリーン面が前記利用者の指先と前記表示手段の表示領域の中心とを結んだ仮想線に垂直となる方向、及びスクリーン面が前記利用者の腕の任意位置と指先とを結んだ仮想線又は当該仮想線の延長線に垂直となる方向の何れかの方向に前記仮想スクリーンを設けるものとしてもよい。これにより、利用者は利用形態に応じた自然な動作によって指示動作を行うことができる。

また、請求項１乃至請求項５の何れか１項記載の発明は、請求項６に記載の発明のように、前記撮像画像に基づいて前記利用者の指先により予め定められたクリック動作が行われたか否かを判定するクリック動作判定手段を更に備えてもよい。これにより、より利便性を向上させることができる。

特に、請求項６に記載の発明の前記クリック動作判定手段は、請求項７に記載の発明のように、前記利用者の指先が所定方向に対して所定速度以上で移動したか否かを判定することによって前記クリック動作が行われたか否かを判定するものとしてもよい。これにより、容易にクリック動作が行われたか否かを判定することができる。

また、請求項７に記載の発明は、請求項８に記載の発明のように、前記所定方向を、前記仮想スクリーンに対する法線方向、前記仮想スクリーン設定手段による前記仮想スクリーンの設定時における前記利用者の腕の任意位置と指先とを結んだ直線のベクトル方向、及び前記表示手段の表示領域に対する法線方向の少なくとも１つの方向としてもよい。これにより、利用者は利用形態に応じた自然な動作によってクリック動作を行うことができる。

また、本発明は、請求項９に記載の発明のように、前記仮想スクリーンのアスペクト比を前記表示手段の表示領域と同一としてもよい。これにより、表示手段の表示領域における指示位置を容易に導出することができる。
また、請求項１〜請求項９に記載の発明は、請求項１０に記載の発明のように、前記所定期間において前記指先の３次元座標の変化量が所定量以内である場合に前記指先が前記所定期間静止したと判定する判定手段を更に備えたものとしてもよい。
また、請求項１〜請求項１０の何れか１項に記載の発明は、請求項１１に記載の発明のように、鉛直方向を示す座標軸をＹ軸とした３次元座標系をＸＹＺ座標系とし、前記撮像手段による前記複数の方向からの撮像によって得られた前記撮像画像の各々の前記指先に相当する位置間のＸＺ座標の偏差と前記指先のＹ座標との関係を示すマップ、及び前記指先のＹ座標と前記仮想スクリーンのサイズとの関係を示すテーブルを予め記憶した記憶手段と、現時点で前記撮像手段による前記複数の方向からの撮像によって得られた前記撮像画像の各々の前記指先に相当する位置間のＸＺ座標の偏差から、前記記憶手段に記憶されている前記マップを用いて、対応する前記指先のＹ座標を導出する導出手段と、前記導出手段によって導出されたＹ座標を予め定められた記憶領域に上書き記憶することにより最新の前記Ｙ座標に更新する更新手段と、前記更新手段による更新によって前記予め定められた記憶領域に最新に上書き記憶されたＹ座標から、前記記憶手段に記憶されている前記テーブルを用いて、前記仮想スクリーンのサイズを決定する決定手段と、を更に備え、前記予め定められたサイズを前記決定手段によって決定されたサイズとしたものとしてもよい。
更に、請求項１１に記載の発明は、請求項１２に記載の発明のように、前記記憶手段が、前記テーブルに代えて、前記指先のＹ座標を入力として、これに対応する前記仮想スクリーンのサイズを出力とする関数を予め記憶し、前記決定手段が、前記更新手段による更新によって前記予め記憶領域に最新に上書き記憶されたＹ座標から、前記記憶手段に記憶されている前記関数を用いて、前記仮想スクリーンのサイズを決定するものとしてもよい。

一方、上記目的を達成するために、請求項１３記載の指示動作認識プログラムは、コンピュータを、表示手段を表示させる手段、互いに異なる複数の方向から利用者の指先を撮像する撮像手段、スクリーン面が前記指先により指し示す方向に対して垂直となる方向に、前記撮像手段による撮像によって得られた撮像画像に基づいて、前記指先が所定期間静止されたと判定されたときに予め定められたサイズとされた仮想スクリーンを前記表示手段の表示領域に対応させて設ける仮想スクリーン設定手段、前記撮像画像に基づいて前記指先により指し示された前記仮想スクリーン上の位置を特定する特定手段、及び前記特定手段によって特定された前記仮想スクリーン上の位置を前記表示手段の表示領域上の位置に変換することにより前記利用者による前記表示手段の表示領域における指示位置を導出する導出手段として実行させるためのものである。

従って、請求項１３記載の指示動作認識プログラムによれば、コンピュータに対して請求項１記載の発明と同様に作用させることができるので、請求項１記載の発明と同様に、利用者の指示姿勢にかかわらず的確に指示された位置を特定することができる。

特に、請求項１３記載の発明は、請求項１４に記載の発明のように、前記仮想スクリーンのサイズを、前記利用者の身長が高くなるほど大きくなるか、又は前記利用者の腕の長さが長くなるほど大きくなるように定めるものとしてもよい。これにより、指示動作を無理なく行うことができると共に、仮想スクリーンのサイズが小さすぎる場合の仮想スクリーン上における指示位置の特定精度の低下を抑制することができる。

本発明によれば、表示手段による表示画像に対して利用者により行われる指示動作を認識するにあたり、互いに異なる複数の方向から利用者の指先を撮像し、スクリーン面が前記指先により指し示す方向に対して垂直となる方向に、前記撮像によって得られた撮像画像に基づいて、前記指先が所定期間静止されたと判定されたときに予め定められたサイズとされた仮想スクリーンを前記表示手段の表示領域に対応させるものとして設け、前記撮像画像に基づいて前記指先により指し示された前記仮想スクリーン上の位置を特定し、特定した前記仮想スクリーン上の位置を前記表示手段の表示領域上の位置に変換することにより前記利用者による前記表示手段の表示領域における指示位置を導出しているので、利用者の指示姿勢にかかわらず的確に指示された位置を特定することができる、という効果が得られる。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。

図１には、本発明に係る指示動作認識装置としての機能を備えた情報表示装置１０の概略構成が示されている。情報表示装置１０はパーソナル・コンピュータ（ＰＣ）１２を備えている。ＰＣ１２はＣＰＵ（中央処理装置）、ＲＯＭ、ＲＡＭ、入出力ポート及びＨＤＤ（ハードディスクドライブ）（何れも図示省略）を含んで構成されている。ＰＣ１２には大画面ディスプレイ１４と制御部１６が接続されている。ディスプレイ１４はＬＣＤ（液晶ディスプレイ）又はプラズマディスプレイ又は有機ＥＬディスプレイから成り、壁部に取り付けられ、制御部１６からＰＣ１２に入力された情報に従い、ＰＣ１２によって種々の情報が表示されるようになっている。

制御部１６はＣＰＵ、ＲＯＭ、ＲＡＭ、及び入出力ポート（何れも図示省略）がバスを介して互いに接続されて構成されており、記憶部１８が接続されている。記憶部１８は各種のデータやプログラム等を記憶するものであり、記憶内容を書き替え可能な不揮発性の情報記憶媒体、例えばハードディスクやバックアップ電源に接続されたＲＡＭ等を含んで構成されていることが望ましい。

本実施形態において、利用者はディスプレイ１４の配設位置近傍（ディスプレイ１４前方の図２及び図３（Ｂ）に示した箇所）に到来し（図２及び図３（Ｂ）では利用者に「８０」の符号を付して示す）、ディスプレイ１４の表示画面上に設けられた対応する表示領域の任意の位置を指し示す指示動作を行うと共に、指示動作を行っている状態から手を前方向（ディスプレイ１４に近づく方向）又は後方向（ディスプレイ１４から離間する方向）に移動させるクリック動作を行うことにより、対応する表示領域に所望の情報を表示させる。

また、制御部１６には２台のビデオカメラ２０Ａ，２０Ｂが接続された撮像制御装置２２及び利用者検出センサ２４が各々接続されている。ビデオカメラ２０Ａ，２０Ｂは本発明に係る撮像手段に対応している。また、利用者検出センサ２４は例えばロードセル等で構成されており、指示動作やクリック動作を行う際に利用者が留まる位置（ディスプレイ１４前方の所定位置）の床部に埋設されている。

ディスプレイ１４の前方の空間（情報入力空間）の上方には、図３（Ａ）に示すように、情報入力空間に到来した利用者を照明する照明装置２６Ａ，２６Ｂが配設されている。なお、照明装置２６Ａ，２６Ｂから射出される照明光は可視光であっても近赤外光であってもよいが、照明光を近赤外光とする場合には、ビデオカメラ２０Ａ，２０Ｂとして、近赤外光に感度を有するＣＣＤ（電荷結合素子）等から成るエリアセンサを内蔵し、入射光をエリアセンサの受光面に結像させる結像レンズの光入射側に、近赤外域の波長の光のみを透過するフィルタが設けられた構成のビデオカメラを用いればよい。

一方、情報入力空間の上方には、回転放物面の一部（詳しくは回転対称とならない部分）に相当する凹の反射面を有する凹面鏡２８が配置されている。ビデオカメラ２０Ａ，２０Ｂは、凹面鏡２８との位置関係が、オフセットパラボラアンテナにおける反射鏡と１次放射器の位置関係と略同等になる位置近傍でかつＹＺ平面に沿って互いに異なる位置に、凹面鏡２８を介して情報入力空間を略直上より撮像する向きで各々配置されている。

凹面鏡２８は、情報入力空間側から入射された平行光線束をビデオカメラ２０Ａ，２０Ｂ側へ収束光線束として反射する光学性能を備えているので、ビデオカメラ２０Ａ，２０Ｂの撮像範囲（図２及び図３（Ｂ）において、ビデオカメラ２０Ａの撮像範囲は一点鎖線を境界とする範囲、ビデオカメラ２０Ｂの撮像範囲は破線を境界とする範囲である）の水平方向に沿った幅は、鉛直方向（Ｙ方向）に亘って各々略一定とされている。

また、本実施形態では、ビデオカメラ２０Ａは情報入力空間を正確に直上より撮像するように（図に一点鎖線で示す撮像範囲の境界が鉛直方向に沿うように）配置位置が定められている。一方、ビデオカメラ２０Ａ，２０Ｂの配置位置はＹＺ平面に沿ってずれているので、ビデオカメラ２０Ｂによる撮像範囲は、ビデオカメラ２０Ａによる撮像範囲に対してＺ方向に偏倚しており（図６（Ａ）参照）、情報入力空間をやや斜め上方より撮像する（各図に破線で示す撮像範囲の境界が鉛直方向に対して若干傾く）範囲となる。

従って、本実施形態に係る情報表示装置１０において、利用者による動作（指示動作やポインティング動作）を認識可能な領域（認識領域）は、ビデオカメラ２０Ａによる撮像範囲とビデオカメラ２０Ｂによる撮像範囲とが重複している領域、すなわち図２及び図３に二点鎖線で囲んで示す領域（図２ではハッチングで示す領域）となり、認識領域の水平方向に沿った幅についても、鉛直方向に亘っておおよそ一定となる。

図３（Ｂ）からも明らかなように、本実施形態では、情報入力空間に到来した利用者自体は認識領域から外れ、利用者が指示動作やクリック動作を行った際に、利用者の手のみが認識領域内に入るように、ビデオカメラ２０Ａ，２０Ｂの撮像範囲（凹面鏡２８の形状・寸法や凹面鏡２８、ビデオカメラ２０Ａ，２０Ｂの位置関係等）が定められている。

なお、撮像手段（カメラ）として遠赤外線カメラを用い、人間（利用者）の体温による遠赤外線と、人間の体温と所定値以上離れた温度（体温よりも高い温度であっても低い温度であってもよい）に設定又は温度調整された床から放射される遠赤外光と、によって人間と背景とを弁別する方法を用いても良い。

次に本実施形態の作用を説明する。本実施形態では、利用者検出センサ２４が利用者の到来を検出する毎に、制御部１６で指示判断処理プログラムが実行される。以下、この指示判断処理プログラムについて図４のフローチャートを参照して説明する。なお、指示判断処理プログラムは、利用者検出センサ２４によって利用者の退去が検出されると実行が終了される。また、指示判断処理プログラムは記憶部１８の所定領域に予め記憶されている。

ステップ２００では各種のフラグや処理モード等の初期設定を行い、次のステップ２０２では特徴点座標演算処理プログラムを実行する。以下、この特徴点座標演算処理プログラムについて、図５のフローチャートを参照して説明する。

ステップ２３０ではビデオカメラ２０Ａから出力される画像Ａを表す画像データを取り込み、次のステップ２３２では取り込んだ画像データをＲＡＭ等に記憶する。ステップ２３４では、前回の処理周期で画像Ａの画像データを取り込んで記憶しているか否か判定する。利用者が情報入力空間に到来して最初に特徴点座標演算処理を行ったときには、画像Ａの画像データが記憶されていないので、ステップ２３４の判定が否定されて特徴点座標演算処理を終了するが、２回目以降の前記処理実行時には、前回の処理周期で取り込んだ画像Ａの画像データがＲＡＭ等に記憶されているので、前記判定が肯定されてステップ２３６へ移行する。

ステップ２３６では、前回の処理周期で取り込んだ画像Ａの画像データ、及び今回取り込んだ画像Ａの画像データを用い、双方の画像データが表す画像の差分を画素毎に演算する。この演算により、ビデオカメラ２０Ａの撮像範囲内に存在している物体のうち、前回の処理周期から現在迄の間に動きが有った物体に相当する画素のみが「差分有り」になるので、「差分有り」の画素のみを抽出することにより、動きが有った物体に相当する画像領域が抽出される。

なお、利用者の手が認識領域内に位置している場合、利用者が手を前後に移動させる等のクリック動作を行ったときのみならず、利用者が特定個所を指し示す指示動作を行っているときであっても、手を空中で完全に静止させることは困難であるので、利用者の手に相当する領域は、殆どの場合、前回の処理周期から現在迄の間に動きが有った物体に相当する画像領域として抽出されることになる。

次のステップ２３８では、ステップ２３６の処理により、利用者の手に相当する画像領域（例えば図６（Ｂ）に太線で囲んで示す画像領域）が抽出されたか否か判定する。なお、認識領域内に存在している物体は照明装置２６Ａ，２６Ｂによって照明されるので、認識領域内に利用者の手が存在している場合、画像Ａ及び画像Ｂの中には、利用者の手に相当する画像領域が、高輝度の画素から成る所定値以上の面積の連続した領域として現れる。従って、認識領域内に利用者の手が存在していれば、該手に相当する画像領域を容易に抽出することができる。

ステップ２３６で動きが有った物体に相当する画像領域が抽出されなかった場合、及びステップ２３６で抽出された画像領域が利用者の手に相当する画像領域でないと判定した場合には、認識領域内に利用者の手は存在していないと判断できるので、ステップ２３８の判定が否定されて特徴点座標演算処理を終了する。

一方、ステップ２３８の判定が肯定された場合にはステップ２４０へ移行する。本実施形態では、利用者による指示動作やクリック動作を認識するための特徴点として利用者の手の指先を用いており、ステップ２４０では今回取り込んだ画像データが表す画像Ａ上での特徴点Ｐ（図６（Ｂ）に示す点Ｐ_A参照）の位置（２次元座標）を演算する。

本実施形態において、ビデオカメラ２０Ａの配置位置は、情報入力空間がビデオカメラ２０Ａによって正確に直上より撮像されるように定められているので、特徴点が鉛直方向に沿って移動（Ｘ座標値及びＺ座標値が変化することなく移動）した場合には、特徴点に対応する画像Ａ上の点Ｐ_Aの位置は殆ど変化しない。このように、画像Ａ上での点Ｐ_Aの位置はＸＹＺ座標系のＸＺ平面（水平面）内における特徴点の位置に略対応しているので、ステップ２４０の演算により水平面内の特徴点の２次元座標（ｘ，ｚ）が求まることになる。

ステップ２４４では、ビデオカメラ２０Ｂから出力される画像Ｂを表す画像データを取り込み、次のステップ２４６では取り込んだ画像データをＲＡＭ等に記憶する。ステップ２４８では、前回の処理周期で取り込んだ画像Ｂの画像データ、及び今回取り込んだ画像Ｂの画像データを用い、双方の画像データが表す画像の差分を画素毎に演算し、「差分有り」の画素のみを抽出することで、動きが有った物体に相当する画像領域を抽出する。そしてステップ２５０では、今回取り込んだ画像データが表す画像Ｂ上での特徴点（図６（Ｂ）に示す点Ｐ_B参照）の位置（２次元座標）を演算する。

図６（Ａ）にも示すように、ビデオカメラ２０Ｂによる撮像範囲は、ビデオカメラ２０Ａによる撮像範囲に対してＺ方向に偏倚しているので、画像Ａ上での特徴点の位置と画像Ｂ上での特徴点の位置は、例として図６（Ｂ）に点Ｐ_A及び点Ｐ_Bとして示すようにＺ方向に沿ってずれる（偏差ｄが生ずる）ことになる。

また、偏差ｄの大きさは特徴点の高さ位置（Ｙ方向位置）に応じて変化し、仮に特徴点が凹面鏡２８の反射面上に位置していたとすると偏差ｄは０になり、特徴点が情報入力空間の床面上に位置していたとすると偏差ｄは最大となる（偏差ｄの最大値は、情報入力空間の床面上におけるビデオカメラ２０Ａ，２０Ｂの撮像範囲のずれ量に一致する）。従って、偏差ｄと特徴点の高さ（手の高さ）Ｈとの間には図６（Ｃ）に示すような関係がある。本実施形態では、図６（Ｃ）に示すような偏差ｄと特徴点の高さＨとの関係を表すマップが記憶部１８に予め記憶されている。

上記に基づき、ステップ２５２では画像Ａ上での特徴点の位置と画像Ｂ上での特徴点の位置のＺ方向に沿った偏差ｄを演算し、次のステップ２５４では、記憶部１８に記憶されている偏差ｄと特徴点の高さＨとの関係を表すマップに基づいて、ステップ２５２で求めた偏差ｄに対応する特徴点の高さＨ、すなわちＸＹＺ座標系における特徴点の高さ（座標値ｙ）を求める。そして、ステップ２５６では、特徴点の３次元座標（ｘ，ｙ，ｚ）を現在の時刻（演算時刻）と対応付けて記憶部１８等に記憶する。特徴点座標演算処理は繰り返し実行されるので、該処理によって演算される特徴点の３次元座標は、利用者の姿勢や動作の変化に応じて逐次更新される。

なお、求めた特徴点の高さＨが極端に高い、或いは極端に低い場合には、特徴点の誤認識等が生じている可能性が非常に高いので、例えば高さＨが、図２及び図３に示す認識領域の上側境界よりも高い、或いは下側境界よりも低い場合には、認識領域内に利用者の手は存在していないと判断する等の例外処理を行うようにしてもよい。

特徴点座標演算処理が終了すると、指示判断処理プログラム（図４）のステップ２０４では、この時点に利用者の指先が認識領域内に位置しているか否かを、直前に実行された特徴点座標演算処理において特徴点の３次元座標が記憶されたか否かを判定することにより判定し、否定判定となった場合は上記ステップ２０２に戻り、肯定判定となった場合にはステップ２０６に移行する。

ところで、本実施の形態に係る情報表示装置１０では、利用者が手の指先を認識領域内において所定期間（ここでは３秒間）静止した場合に、後述する仮想スクリーンを生成するようにしている。

そこで、ステップ２０６では、利用者の指先が上記所定期間以上静止したか否かを判定し、否定判定となった場合は上記ステップ２０２に戻り、肯定判定となった場合にはステップ２１４に移行する。なお、前述したように、利用者が手を空中で完全に静止させることは困難であるため、本ステップ２０６では、この時点から遡った上記所定期間の間に特徴点座標演算処理によって記憶された特徴点の３次元座標の変化量が所定量以内であるか否かを判定することにより、利用者の指先が上記所定期間以上静止したか否かを判定するようにしている。ここで、上記所定量は、人が指先を意識的に静止したときの指先位置の平均的な変化量等に基づいて予め固定的に設定しておく形態の他、利用者毎に入力する形態等とすることもできる。

ステップ２１４では、一例として図７に示すように利用者８０とディスプレイ１４との間に仮想スクリーン４０を生成する。

なお、仮想スクリーン４０の生成方向として本実施の形態では、図７（Ｂ）及び図８に示されるように、スクリーン面が利用者８０の指先特徴点Ｐとディスプレイ１４の表示領域における水平方向中心線上の任意の位置とを結んだ仮想線に垂直となる方向を適用しているが、これに限らず、図９に示されるように、スクリーン面が利用者８０の指先特徴点Ｐとディスプレイ１４の表示領域の中心とを結んだ仮想線に垂直となる方向、図１０に示されるように、スクリーン面が利用者８０の腕の任意位置Ｐ_Nと指先特徴点Ｐとを結んだ仮想線又は当該仮想線の延長線に垂直となる方向等、利用者８０が指し示すことのできる方向であれば如何なる方向も適用できる。

また、仮想スクリーン４０の形状として本実施の形態では矩形形状を適用しているが、これに限らず、円形形状や楕円形状等、任意の形状とすることができる。なお、本実施の形態では、仮想スクリーン４０のアスペクト比をディスプレイ１４の表示領域と同一としている。

また、仮想スクリーン４０の面積として本実施の形態では仮想スクリーン４０の生成時における利用者８０の手の高さが高くなるほど大きくするようにしているが、これに限らず、利用者８０の身長が高くなるほど大きくする形態、利用者８０の腕の長さが長くなるほど大きくする形態等とすることもできる。ここで、仮想スクリーン４０の生成時における利用者の手の高さが高くなるほど仮想スクリーンの面積を大きくしているのは、最初に差し出した手の高さが高くなるほど身長が高く、腕の可動範囲が広いと考えられるからである。

本実施の形態に係る情報表示装置１０では、一例として図１１に示すような利用者の手の高さと仮想スクリーンの大きさとの関係を示すテーブルが記憶部１８に予め記憶されており、当該テーブルから特徴点座標演算処理によって最も直近に記憶された指先特徴点Ｐの座標値ｙにより示される高さに対応する仮想スクリーンの大きさを読み出して適用しているが、利用者の手の高さを示す値を入力として、これに対応する仮想スクリーンの大きさを示す値を出力とする関数を予め記憶しておき、これを用いて仮想スクリーンの大きさを決定するようにしてもよい。また、利用者の手の高さ、身長、腕の長さ等、仮想スクリーンの大きさを規定するパラメータを制御部１６に入力し、入力された値に基づいて仮想スクリーンの大きさを決定するようにしてもよい。

なお、本実施の形態に係る情報表示装置１０では、利用者８０の指先から仮想スクリーン４０に垂直に降ろした点の位置を仮想スクリーン４０上の仮想的な指示位置としているため、仮想スクリーン４０の利用者の指先からの距離は特に限定されない。

次のステップ２１６では、特徴点座標演算処理を上記ステップ２０２と同様に実行し、次のステップ２１８では、この時点に利用者の指先が認識領域内に位置しているか否かを、上記ステップ２１６にて実行された特徴点座標演算処理において特徴点の３次元座標が記憶されたか否かを判別することにより判定し、肯定判定となった場合はステップ２２０に移行する。

ステップ２２０では、この時点で利用者８０が仮想スクリーン４０を介して指し示しているディスプレイ１４の表示面における位置（指示位置）の座標を後述するように算出し、次のステップ２２２では、カーソルを表示すべき位置の座標として上記ステップ２２０において算出した指示位置の座標をＰＣ１２へ出力し、カーソルの表示を指示する。これにより、一例として図１２に示されるように、ＰＣ１２は対応する表示領域内の指示された位置（現在の指示位置）にカーソルＣを表示させる。すなわち、本実施の形態に係る指示判断処理プログラムでは、利用者８０により仮想スクリーン４０に対して指し示された位置を仮想カーソルＫＣの位置であるものと想定し、当該仮想カーソルＫＣをディスプレイ１４の表示面にカーソルＣとして転写する処理とも言える処理を実行している。

なお、図１０に示されるように、仮想スクリーン４０をスクリーン面が利用者８０の腕の任意位置Ｐ_Nと指先特徴点Ｐとを結んだ仮想線又は当該仮想線の延長線に垂直となる方向に生成した場合には、利用者８０から見たディスプレイ１４の表示面の方向と仮想スクリーン４０の方向が異なるため、一見、利用者８０による操作性が余りよくないようにも思われるが、この場合、一例として図１３に示すように、あたかも仮想スクリーン４０を通してディスプレイ１４の表示面上のカーソルＣを表示しているように考えれば、操作に戸惑うことはない。

ステップ２２２で表示領域内にカーソルを表示させると、次のステップ２２４では利用者によりクリック動作が行われたか否か判定する。クリック動作としては種々の動作を採用することができるが、本実施形態では、利用者が手を所定方向に素早く移動させる動作（図１４（Ａ）参照、以下「前進クリック」という）や、利用者が手を当該所定方向の逆方向に素早く移動させる動作（図１４（Ｂ）参照、以下「後進クリック」という）をクリック動作としている。このクリック動作は、ディスプレイ１４の表示面上の特定の箇所を指し示して選択する動作として極めて自然な動作であり、利用者は違和感を感ずることなくクリック動作を行うことができる。なお、本実施の形態に係る情報表示装置１０では、上記所定方向として、ディスプレイ１４の表示領域に対する法線方向を適用しているが、これに限らず、仮想スクリーン４０に対する法線方向、仮想スクリーン４０の生成時における利用者８０の腕の任意位置と指先とを結んだ直線のベクトル方向等を適用することもできる。

前進クリック動作や後進クリック動作が行われたか否かの判定は、例えば特徴点の３次元座標（ｘ，ｙ，ｚ）のうちの座標値ｚが所定速度以上で急激に変化したか否かを判断することで行うことができる。また、利用者が指示動作を行っている間、ディスプレイ１４の表示面と特徴点との距離を繰り返し演算し、ステップ２２４において、今回演算した距離と前回演算した距離との差が所定値以上か否かを判断することで行うこともできる。ステップ２２４の判定が否定された場合にはステップ２１６に戻り、ステップ２１６以降を繰り返す。

また、ディスプレイ１４の表示面上の所望の位置が利用者によって指示されている状態で利用者によってクリック動作が行われると、上記ステップ２２４の判定が肯定されてステップ２２６へ移行し、利用者によって行われたクリック動作に関する情報（例えばクリック動作時の指示位置（クリック位置）を表す情報や、利用者によって行われたクリック動作が前進クリックか後進クリックかを表す情報等）をＰＣ１２へ通知した後にステップ２１６に戻る。

これにより、ＰＣ１２は、通知されたクリック動作に関する情報に基づいて、対応する表示領域に表示している情報を切替える等の処理を行う。そして上記処理が繰り返されることにより、利用者が所望する情報が対応する表示領域に表示されることになる。

一方、上記ステップ２１８において否定判定となった場合はステップ２２８に移行して、上記ステップ２１４において生成した仮想スクリーンを消滅させるための処理を実行した後にステップ２００に戻り、ステップ２００以降を繰り返す。

次に、指示判断処理プログラムのステップ２２０において実行される利用者が仮想スクリーンを介して指し示しているディスプレイ１４の表示面における位置（指示位置）の座標の演算処理について説明する。なお、ここでは、一例として図１５に示すように、仮想スクリーン４０を、スクリーン面が利用者８０の指先特徴点Ｐとディスプレイ１４の表示領域における中心点とを結んだ仮想線に垂直となる方向に生成すると共に、ビデオカメラによる撮像方向を基準とした座標系（以下、「カメラ座標系」という。）Ｏと仮想スクリーンに対するポインティング方向を基準とした座標系（以下、「ポインティング座標系」という。）Ｏ’とが互いに傾斜している場合について説明する。また、ここでは、カメラ座標系Ｏでの指先特徴点ｒの座標を次の（１）式で表し、特徴点ｒに対応するポインティング座標系Ｏ’での指先特徴点ｒ’の座標を次の（２）式で表す。また、指先が所定期間停止し、仮想スクリーンが生成されたときの指先特徴点の座標（ｘ，ｙ，ｚ）を（Ｐ_x，Ｐ_y，Ｐ_z）として次の（３）式で表し、ディスプレイ１４の表示面のカメラ座標系における中心座標Ｔを次の（４）式で表す。

まず、クリック方向に対する単位ベクトルを算出する。なお、ここでは、クリック方向としてディスプレイ１４の表示領域の中心方向を適用した場合について示す。この場合、当該単位ベクトルは次の（５）式によって求めることができる。

次に、ポインティング座標系Ｏ’のｘ’軸，ｙ’軸，ｚ’軸とカメラ座標系Ｏのｘ軸，ｙ軸，ｚ軸とが平行となるように（すなわち、ｎ（ｎ_x，ｎ_y，ｎ_z）が（０，０，１）となるように）、次のように座標変換する。
（ａ）まず、次の（６）式によってカメラ座標系Ｏの原点を仮想スクリーン生成時の指先特徴点の座標Ｐに移動させる。

（ｂ）次に、カメラ座標系Ｏを次の（７）式によってｚ軸を中心としてｙ軸からｘ軸に向かう方向に角度θ（カメラ座標系Ｏとポインティング座標系Ｏ’との間のｚ軸を中心としてｙ軸からｘ軸に向かう方向の角度、図１６参照。）だけ回転させる。

（ｃ）次に、角度θ回転後のカメラ座標系Ｏを次の（８）式によってｙ軸を中心としてｘ軸からｚ軸に向かう方向に角度φ（カメラ座標系Ｏとポインティング座標系Ｏ’との間のｙ軸を中心としてｘ軸からｚ軸に向かう方向の角度、図１６参照。）だけ回転させる。

以上の座標軸の回転操作により、カメラ座標をポインティング座標と平行にした。

次に、次の（９）式により、図１５に示されるポインティング座標系Ｏ’に回転操作したカメラ座標系Ｏを一致させるために仮想スクリーンの大きさ（横幅Ｓ_X、高さＳ_Y）の半分を各ｘ，ｙ成分に加えると共に、図１５に示されるように、仮想スクリーンを指先の前に置くために適当な距離Ｓ_Zをｚ成分に加える（Ｓ_Zは任意）。

最後に、以上の演算によって求められた座標ｒ’を用いて、次の（１０）式により、ディスプレイ１４の表示領域のサイズと仮想スクリーン４０のサイズの差が調整された、利用者８０が仮想スクリーン４０を介して指し示しているディスプレイ１４の表示面における位置（指示位置）の座標ｅを算出する。なお、ここでは、図１５に示すように、ディスプレイ１４の表示領域のＸ軸方向サイズをＤ_Xとし、Ｙ軸方向サイズをＤ_Yとする。

このように、本実施の形態では、以上のような仮想スクリーンを採用することにより、従来技術で用いていた仮想点を用いることなく、指先特徴点の位置座標のみに基づいて利用者により指示された位置を特定するようにしているので、図１７に示したような標準的なポインティング姿勢、図１８に示したような利用者の目と指先とを結ぶ直線の延長線上に指し示すオブジェクトを位置させるポインティング姿勢、図１９に示したような子供等の小柄な利用者８０によるディスプレイ１４を見上げた状態のポインティング姿勢、図２２に示したような腕の重さによって指先が時間経過と共に下方に移動されるようなポインティング姿勢等、利用者の指示姿勢の如何にかかわらず的確に指示された位置を特定することができる。

以上詳細に説明したように、本実施の形態では、表示手段（ここでは、ディスプレイ１４）による表示画像に対して利用者により行われる指示動作を認識するにあたり、互いに異なる複数の方向から利用者を撮像し、当該撮像によって得られた撮像画像に基づいて前記利用者が所定部位により指し示すことができる方向に予め定められたサイズとされた仮想スクリーンを前記表示手段の表示領域に対応するものとして設け、前記撮像画像に基づいて前記利用者により指し示された前記仮想スクリーン上の位置を特定し、特定した前記仮想スクリーン上の位置を前記表示手段の表示領域上の位置に変換することにより前記利用者による前記表示手段の表示領域における指示位置を導出しているので、利用者の指示姿勢にかかわらず的確に指示された位置を特定することができる。

また、本実施の形態では、前記所定部位を前記利用者の指先としているので、利用者は自然な動作によって指示動作を行うことができる。

また、本実施の形態では、前記仮想スクリーンのサイズを、仮想スクリーン生成時における利用者の手の高さが高くなるほど大きくなるように定めているので、指示動作を無理なく行うことができると共に、仮想スクリーンのサイズが小さすぎる場合の仮想スクリーン上における指示位置の特定精度の低下を抑制することができる。

また、本実施の形態では、前記利用者の指先が所定期間静止されたときに前記仮想スクリーンを設けるものとしているので、利用者の意志に応じて容易に仮想スクリーンを設けることができる。

また、本実施の形態では、前記仮想スクリーンを、前記利用者の指先が所定位置に位置されたときに取り消しているので、利用者の意志に応じて容易に仮想スクリーンを取り消すことができる。

また、本実施の形態では、前記所定位置を撮像手段（ここでは、ビデオカメラ２０Ａ，２０Ｂ）による撮像範囲外の位置としているので、より容易に仮想スクリーンを取り消すことができる。

また、本実施の形態では、スクリーン面が前記利用者の指先と前記表示手段の表示領域における水平方向中心線上の任意の位置とを結んだ仮想線に垂直となる方向に前記仮想スクリーンを設けるものとしているので、利用者は自然な動作によって指示動作を行うことができる。

また、本実施の形態では、前記撮像画像に基づいて前記利用者の指先により予め定められたクリック動作が行われたか否かを判定しているので、より利便性を向上させることができる。

また、本実施の形態では、前記利用者の指先が所定方向に対して所定速度以上で移動したか否かを判定することによって前記クリック動作が行われたか否かを判定するものとしているので、容易にクリック動作が行われたか否かを判定することができる。

また、本実施の形態では、前記所定方向を、前記表示手段の表示領域に対する法線方向としているので、利用者は当該表示領域に対する自然な動作によってクリック動作を行うことができる。

更に、本実施の形態では、前記仮想スクリーンのアスペクト比を前記表示手段の表示領域と同一としているので、表示手段の表示領域における指示位置を容易に導出することができる。

なお、本実施の形態では、本発明の所定部位として利用者の手の指先を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、利用者に筆記具や指し棒等の、方向又は位置を指し示すことのできる部材の一端部を把持させ、当該部材の他端部を適用したり、利用者の足の指先を適用する等、方向又は位置を指し示すことができる部位であれば如何なる部位も適用することができる。この場合も、本実施の形態と同様の効果を奏することができる。

また、本実施の形態で説明した利用者によるディスプレイ１４の表示領域における指示位置の導出手法は一例であり、仮想スクリーン４０の生成方向、クリック方向等に応じて従来既知の座標変換手法を適用できることは言うまでもない。この場合も、本実施の形態と同様の効果を奏することができる。

その他、本実施の形態で説明した情報表示装置１０の構成（図１〜図３参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

例えば、本実施の形態では、本発明の撮像手段として２台のビデオカメラを適用した場合について説明したが、これに代えて１台のステレオカメラを適用することもできる。この場合も、本実施の形態と同様の効果を奏することができる。

また、本実施の形態で示した各種処理プログラムの処理の流れ（図４、図５参照。）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

実施の形態に係る情報表示装置の概略構成を示すブロック図である。 カメラと凹面鏡の位置関係、及び各カメラの撮像範囲を示す情報入力空間の側面図である。 （Ａ）は情報入力空間の正面図、（Ｂ）は情報入力空間の側面図である。 実施の形態に係る指示判断処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る特徴点座標演算処理プログラムの処理の流れを示すフローチャートである。 （Ａ）は各カメラによる撮像範囲、（Ｂ）は各カメラによって得られた各画像の一例を各々示すイメージ図、（Ｃ）は各画像上での指先位置の差から手の高さを求めるためのマップの内容の一例を示す線図である。 実施の形態に係る仮想スクリーンの生成状態を示す側面図である。 実施の形態に係る仮想スクリーンの生成方向を示す斜視図である。 実施の形態に係る仮想スクリーンの他の生成方向を示す斜視図である。 実施の形態に係る仮想スクリーンの他の生成方向を示す斜視図である。 実施の形態に係る利用者の手の高さと仮想スクリーンの大きさとの関係を示すテーブルの一例を示す模式図（線図）である。 実施の形態に係るディスプレイにカーソルを表示させる処理の説明に供する斜視図である。 図１０に示した仮想スクリーンの生成方向に対する操作性の説明に供する斜視図である。 （Ａ）は前進クリック動作、（Ｂ）は後進クリック動作を説明するためのイメージ図である。 実施の形態に係る利用者が仮想スクリーンを介して指し示しているディスプレイの表示面における指示位置座標の演算処理の説明に供する斜視図である。 実施の形態に係る利用者が仮想スクリーンを介して指し示しているディスプレイの表示面における指示位置座標の演算処理の説明に供する他の斜視図である。 ポインティング姿勢の一例を示す側面図である。 ポインティング姿勢の他の例を示す側面図である。 ポインティング姿勢の他の例を示す側面図である。 本発明の発明者らによる事前検討の説明に供する斜視図である。 本発明の発明者らによる事前検討の説明に供する他の斜視図である。 従来技術の問題点の説明に供する側面図である。

符号の説明

１０ 情報表示装置
１４ ディスプレイ
１６ 制御部（仮想スクリーン設定手段、特定手段、導出手段、取消手段、クリック動作判定手段）
１８ 記憶部
２０Ａ ビデオカメラ（撮像手段）
２０Ｂ ビデオカメラ（撮像手段）
２８ 凹面鏡
４０ 仮想スクリーン
８０ 利用者

Claims (14)

1. 表示手段と、
   互いに異なる複数の方向から利用者の指先を撮像する撮像手段と、
   スクリーン面が前記指先により指し示す方向に対して垂直となる方向に、前記撮像手段による撮像によって得られた撮像画像に基づいて、前記指先が所定期間静止されたと判定されたときに予め定められたサイズとされた仮想スクリーンを前記表示手段の表示領域に対応させて設ける仮想スクリーン設定手段と、
   前記撮像画像に基づいて前記指先により指し示された前記仮想スクリーン上の位置を特定する特定手段と、
   前記特定手段によって特定された前記仮想スクリーン上の位置を前記表示手段の表示領域上の位置に変換することにより前記利用者による前記表示手段の表示領域における指示位置を導出する導出手段と、
   を備えた指示動作認識装置。
2. 前記仮想スクリーンのサイズを、前記利用者の身長が高くなるほど大きくなるか、又は前記利用者の腕の長さが長くなるほど大きくなるように定める
   請求項１記載の指示動作認識装置。
3. 前記仮想スクリーン設定手段によって設けられた前記仮想スクリーンを、前記利用者の指先が所定位置に位置されたときに取り消す取消手段
   を更に備えた請求項１または請求項２に記載の指示動作認識装置。
4. 前記所定位置を前記撮像手段による撮像範囲外の位置とした
   請求項３記載の指示動作認識装置。
5. 前記仮想スクリーン設定手段は、スクリーン面が前記利用者の指先と前記表示手段の表示領域における水平方向中心線上の任意の位置とを結んだ仮想線に垂直となる方向、スクリーン面が前記利用者の指先と前記表示手段の表示領域の中心とを結んだ仮想線に垂直となる方向、及びスクリーン面が前記利用者の腕の任意位置と指先とを結んだ仮想線又は当該仮想線の延長線に垂直となる方向の何れかの方向に前記仮想スクリーンを設ける
   請求項１乃至請求項４の何れか１項記載の指示動作認識装置。
6. 前記撮像画像に基づいて前記利用者の指先により予め定められたクリック動作が行われたか否かを判定するクリック動作判定手段
   を更に備えた請求項１乃至請求項５の何れか１項記載の指示動作認識装置。
7. 前記クリック動作判定手段は、前記利用者の指先が所定方向に対して所定速度以上で移動したか否かを判定することによって前記クリック動作が行われたか否かを判定する
   請求項６記載の指示動作認識装置。
8. 前記所定方向を、前記仮想スクリーンに対する法線方向、前記仮想スクリーン設定手段による前記仮想スクリーンの設定時における前記利用者の腕の任意位置と指先とを結んだ直線のベクトル方向、及び前記表示手段の表示領域に対する法線方向の少なくとも１つの方向とした
   請求項７記載の指示動作認識装置。
9. 前記仮想スクリーンのアスペクト比を前記表示手段の表示領域と同一とした
   請求項１乃至請求項８の何れか１項記載の指示動作認識装置。
10. 前記所定期間において前記指先の３次元座標の変化量が所定量以内である場合に前記指先が前記所定期間静止したと判定する判定手段を更に備えた請求項１〜請求項９の何れか１項に記載の指示動作認識装置。
11. 鉛直方向を示す座標軸をＹ軸とした３次元座標系をＸＹＺ座標系とし、
    前記撮像手段による前記複数の方向からの撮像によって得られた前記撮像画像の各々の前記指先に相当する位置間のＸＺ座標の偏差と前記指先のＹ座標との関係を示すマップ、及び前記指先のＹ座標と前記仮想スクリーンのサイズとの関係を示すテーブルを予め記憶した記憶手段と、
    現時点で前記撮像手段による前記複数の方向からの撮像によって得られた前記撮像画像の各々の前記指先に相当する位置間のＸＺ座標の偏差から、前記記憶手段に記憶されている前記マップを用いて、対応する前記指先のＹ座標を導出する導出手段と、
    前記導出手段によって導出されたＹ座標を予め定められた記憶領域に上書き記憶することにより最新の前記Ｙ座標に更新する更新手段と、
    前記更新手段による更新によって前記予め定められた記憶領域に最新に上書き記憶されたＹ座標から、前記記憶手段に記憶されている前記テーブルを用いて、前記仮想スクリーンのサイズを決定する決定手段と、を更に備え、
    前記予め定められたサイズを前記決定手段によって決定されたサイズとした請求項１〜請求項１０の何れか１項に記載の指示動作認識装置。
12. 前記記憶手段は、前記テーブルに代えて、前記指先のＹ座標を入力として、これに対応する前記仮想スクリーンのサイズを出力とする関数を予め記憶し、
    前記決定手段は、前記更新手段による更新によって前記予め記憶領域に最新に上書き記憶されたＹ座標から、前記記憶手段に記憶されている前記関数を用いて、前記仮想スクリーンのサイズを決定する請求項１１記載の指示動作認識装置。
13. コンピュータを、
    表示手段を表示させる手段、
    互いに異なる複数の方向から利用者の指先を撮像する撮像手段、
    スクリーン面が前記指先により指し示す方向に対して垂直となる方向に、前記撮像手段による撮像によって得られた撮像画像に基づいて、前記指先が所定期間静止されたと判定されたときに予め定められたサイズとされた仮想スクリーンを前記表示手段の表示領域に対応させて設ける仮想スクリーン設定手段、
    前記撮像画像に基づいて前記指先により指し示された前記仮想スクリーン上の位置を特定する特定手段、
    及び前記特定手段によって特定された前記仮想スクリーン上の位置を前記表示手段の表示領域上の位置に変換することにより前記利用者による前記表示手段の表示領域における指示位置を導出する導出手段として実行させるための指示動作認識プログラム。
14. 前記仮想スクリーンのサイズを、前記利用者の身長が高くなるほど大きくなるか、又は前記利用者の腕の長さが長くなるほど大きくなるように定める
    請求項１３記載の指示動作認識プログラム。

Images