JP5950806B2 - 入力装置、情報処理方法、及び情報処理プログラム - Google Patents

Description

本発明は、入力装置、情報処理方法、及び情報処理プログラムに関する。

従来から、手の動きにより入力を行うジェスチャ入力装置が提案されている。例えば、特許文献１には、三次元撮像手段により読み取られた操作者の像に基づいて仮想操作面を形成し、仮想操作面に対する手の動きを基に操作を判定する技術が開示されている。

特開２０１１−３９８４４号公報

特許文献１では、操作者の意図しない操作入力が発生する場合がある。例えば、特許文献１では、操作者ではない人物の手と操作者の手とを区別する手法には言及されておらず、操作者ではない人物の手が操作者の手として認識されてしまう恐れがある。この場合、操作者の像に基づいて生成された仮想操作面に対する、操作者ではない人物の手の動きを基に操作が判定されることになり、操作者の意図しない操作入力が行われてしまう。

本発明は、ユーザの意図しない情報入力の開始を抑制することができる入力装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本発明に係る入力装置は、人物の位置を取得する人物位置取得手段と、手の位置を取得する手位置取得手段と、前記人物位置取得手段の取得結果に基づき、前記人物の前方に仮想的な操作領域を設定する操作領域設定手段と、前記人物位置取得手段の取得結果に基づき、前記人物に対して所定の位置に仮想的な基準領域を設定する基準領域設定手段と、前記手位置取得手段の取得結果に基づき、前記手が前記操作領域に接触したか否かを判定し、接触したと判定した場合に、前記手が前記操作領域に接触するまでの前記手の動きの方向を示す方向線を求め、当該方向線が前記操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、前記操作領域内での前記手の位置または動きに基づく入力情報の取得を開始する入力情報取得手段とを備えることを特徴とする。

また、本発明に係る情報処理方法は、人物の位置を取得する人物位置取得ステップと、手の位置を取得する手位置取得ステップと、前記人物位置取得ステップの取得結果に基づき、前記人物の前方に仮想的な操作領域を設定する操作領域設定ステップと、前記人物位置取得ステップの取得結果に基づき、前記人物に対して所定の位置に仮想的な基準領域を設定する基準領域設定ステップと、前記手位置取得ステップの取得結果に基づき、前記手が前記操作領域に接触したか否かを判定し、接触したと判定した場合に、前記手が前記操作領域に接触するまでの前記手の動きの方向を示す方向線を求め、当該方向線が前記操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、前記操作領域内での前記手の位置または動きに基づく入力情報の取得を開始する入力情報取得ステップとを含むことを特徴とする。

また、本発明に係る情報処理プログラムは、人物の位置を取得する人物位置取得ステップと、手の位置を取得する手位置取得ステップと、前記人物位置取得ステップの取得結果に基づき、前記人物の前方に仮想的な操作領域を設定する操作領域設定ステップと、前記人物位置取得ステップの取得結果に基づき、前記人物に対して所定の位置に仮想的な基準領域を設定する基準領域設定ステップと、前記手位置取得ステップの取得結果に基づき、前記手が前記操作領域に接触したか否かを判定し、接触したと判定した場合に、前記手が前記操作領域に接触するまでの前記手の動きの方向を示す方向線を求め、当該方向線が前記操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、前記操作領域内での前記手の位置または動きに基づく入力情報の取得を開始する入力情報取得ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、ユーザの意図しない情報入力の開始を抑制することができる。

表示システムの構成の一例を示すブロック図である。 表示装置に表示される表示画面の一例を示す図である。 入力装置の構成の一例を示すブロック図である。 操作領域の一例を示す斜視図である。 基準領域の一例を示す図である。 座標算出部による座標の算出を説明するための図である。 入力装置の処理の流れの一例を示すフローチャートである。 人物テーブルの一例を示す図である。 手テーブルの一例を示す図である。 操作領域の一例を示す上面図である。 操作領域の一例を示す側面図である。 操作領域の別の一例を示す斜視図である。 操作領域の別の一例を示す上面図である。 操作領域の別の一例を示す側面図である。 入力情報の取得開始後に設定される操作領域の一例を示す上面図である。 入力情報の取得開始後に設定される操作領域の別の一例を示す上面図である。

以下、本発明の実施の形態を図面に従って説明する。
（表示システムの構成）
図１は、本実施の形態における入力装置１２を備えた表示システム１０の構成の一例を示すブロック図である。この表示システム１０は、ユーザからの入力情報を入力装置１２によって取得し、取得された入力情報に応じて画面を表示するシステムである。

図１において、表示システム１０は、画像取得装置１１、入力装置１２、表示制御装置１３、および表示装置１４を有する。画像取得装置１１と入力装置１２、入力装置１２と表示制御装置１３、表示制御装置１３と表示装置１４は、それぞれ、有線または無線により接続され通信が可能となっている。また、画像取得装置１１、入力装置１２、表示制御装置１３、および表示装置１４は、物理的に一体であってもよいし、互いに分離されていてもよい。例えば、画像取得装置１１、入力装置１２、表示制御装置１３、および表示装置１４は、１つの筐体に収納されている。別の例として、画像取得装置１１および入力装置１２が一体となりリモートコントローラを構成し、表示制御装置１３および表示装置１４が一体になり情報表示装置を構成し、リモートコントローラと情報表示装置とが無線通信を行う構成も考えられる。

以下、画像取得装置１１、入力装置１２、表示制御装置１３、および表示装置１４についてそれぞれ説明する。

画像取得装置１１は、ユーザ（または人物）が撮像された画像を取得する。例えば、画像取得装置１１は、表示装置１４の前方の所定範囲の画像を取得する。具体的には、画像取得装置１１は、レンズ等の光学部、撮像素子、この撮像素子からの信号を処理して画像データを生成する画像処理部、生成した画像データを記憶するフレームバッファ部等により構成される。取得された画像データは、入力装置１２により参照される。画像の取得は、例えば１／３０秒ごとといった一定期間ごとに行われる。

本実施の形態では、画像取得装置１１は、レンズ等の光学部および撮像素子の組を２対備え、２つの撮像素子からの信号を処理して２つの画像データを生成する、いわゆるステレオカメラである。ステレオカメラでは、２つの画像データに撮像されている物体の位置の差（視差）を利用して三角測量の原理に基づき物体の３次元位置を測定することができる。

入力装置１２は、画像取得装置１１が取得した画像データを基に、ユーザ（または人物）の手の位置または動き（またはジェスチャ）を検出し、検出した手の位置または動きに基づいて入力情報を取得し、取得した入力情報を表示制御装置１３に出力する。入力装置１２は、ジェスチャ入力装置とも呼ばれる。本例では、入力装置１２は、入力情報として、ユーザの手の位置に基づき、所定の２次元座標系における２次元座標を取得する。なお、入力装置１２の詳細な構成や処理については後述する。

表示制御装置１３は、入力装置１２からの入力情報に基づき、表示画面の生成や画面遷移の制御を行い、表示画面を示す表示信号を表示装置１４に出力する。

表示装置１４は、例えば液晶パネルを備え、表示制御装置１３からの表示信号に基づいて表示画面の表示を行う装置である。

図２に、表示制御装置１３により生成されて表示装置１４に表示される表示画面Ｓの一例を示す。図２を参照して、表示制御装置１３による画面遷移の制御の例を説明する。

表示画面Ｓには、選択可能なアイコンＩ１〜Ｉ８、およびカーソルＣが表示されている。カーソルＣは、ユーザの操作により自由に動かすことが出来る。ユーザがカーソルＣを所定のアイコン（例えばアイコンＩ２）の上に移動させ、所定の決定動作（例えば、カーソルＣを一定時間アイコンの上に留め置く）を行うと、アイコンＩ２が決定され、アイコンＩ２に対応した画面遷移が行われる。

本実施の形態においては、カーソルＣは、ユーザの手の動きに応じて移動する。具体的には、表示制御装置１３は、入力装置１２から出力される２次元座標を用いて、カーソルＣを移動させる。

なお、入力装置１２および表示制御装置１３は、それぞれ、電気回路などのハードウェア資源のみにより実現されてもよいし、ハードウェア資源とソフトウェアとの協働により実現されてもよく、例えば、コンピュータプログラムが情報処理装置（またはコンピュータ）により実行されることによって実現されてもよい。具体的には、入力装置１２および表示制御装置１３のそれぞれの機能の一部または全部は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体に記録された情報処理プログラムが主記憶装置に読み出されて中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実行されることによって実現されてもよい。情報処理プログラムは、光ディスク等のコンピュータ読み取り可能な記録媒体に記録されて提供されてもよいし、インターネット等の通信回線を介して提供されてもよい。

また、本実施の形態における表示システム１０は、具体的には、デジタルテレビや、デジタルサイネージ（または電子看板）といった表示機器として利用できるほか、パーソナルコンピュータなどの情報処理機器の一部として利用できる。また、表示システム１０は、操作端末を備える工場用機器など、表示画面を備え、ユーザに操作される機器に広く適用可能である。

（入力装置の構成）
図３は、入力装置１２の構成の一例を示すブロック図である。以下、図３を参照して、入力装置１２の構成を説明する。

図３において、入力装置１２は、人物位置取得部２１、手位置取得部２２、操作領域設定部２３、基準領域設定部２４、および入力情報取得部２５を有する。

人物位置取得部２１は、人物の位置を取得する。本例では、人物位置取得部２１は、画像取得装置１１が取得した２つの画像データから、人物（具体的には人物の像）を検出し、その３次元位置を取得する。具体的には、人物位置取得部２１は、人物の位置として、人物の顔の位置を検出する。より具体的には、人物位置取得部２１は、２つの画像データにおいて人物の顔の位置を検出し、三角測量の原理を利用して当該人物の顔の３次元位置を取得する。

画像中から人物の顔の位置を検出する手法として、ビオラ−ジョーンズ法と呼ばれる方式が知られている。ビオラ−ジョーンズ法は、要約すると、画像内における小領域の位置や大きさを変えながら画像内に小領域を設定し、当該小領域から特徴量を抽出し、識別器を利用して、当該小領域が顔であるか否かを判別するものである。人物位置取得部２１は、例えば、画像データにビオラ−ジョーンズ法を適用した後、顔であると判別された小領域の位置や大きさから、画像データ（撮像された画像）の座標軸で表される顔の中心位置や顔の大きさを求めることができる。

人物位置取得部２１は、画像データから複数の人物を検出した場合には、検出された複数の人物のそれぞれについて位置を取得する。

また、人物位置取得部２１は、例えば一定時間ごとに取得される各画像データから人物の位置を検出することにより、人物の位置を継続的に取得する。この場合、人物位置取得部２１は、画像データに複数の人物が含まれる場合、各人物を識別し、識別された各人物の位置を継続的に取得して記録してもよい。

手位置取得部２２は、手の位置を取得する。本例では、手位置取得部２２は、画像取得装置１１が取得した２つの画像データから、人物の手（具体的には手の像）を検出し、その３次元位置を取得する。具体的には、手位置取得部２２は、人物位置取得部２１と同様に、２つの画像データにおける人物の手の位置を検出し、三角測量の原理を利用して手の３次元位置を取得する。

画像中からの人物の手の位置の検出は、例えば、画像データから肌色の領域を抜き出すか輝度勾配が極大となる点を抜き出すことにより物体の輪郭を抜き出した後、テンプレートマッチング法等により物体の輪郭が手に類似するか否かを判断することにより行うことができる。あるいは、手の位置の取得の簡易化や高精度化を図る観点より、手位置取得部２２は、画像データから、ユーザ（または人物）が手に持つか装着している物体または装置の位置を手の位置として検出してもよい。ユーザが手に持つ物体としては、リモコン（例えばテレビリモコン）のような形状の指示器が考えられる。また、ユーザが装着する物体としては、手袋や、指輪、腕輪のような形状のものが考えられる。例えば、表面が特定の色や特定のパターンを有している物体または装置をユーザが手に装着する場合は、手位置取得部２２は、画像データから当該特定の色やパターンの領域を抽出し、その位置を手の位置として検出することができる。

手位置取得部２２は、画像データから複数の手を検出した場合には、検出された複数の手のそれぞれについて位置を取得する。

また、手位置取得部２２は、例えば一定時間ごとに取得される各画像データから手の位置を検出することにより、手の位置を継続的に取得する。この場合、手位置取得部２２は、画像データに複数の手が含まれる場合、各手を識別し、識別された各手の位置を継続的に取得して記録してもよい。

操作領域設定部２３は、人物位置取得部２１の取得結果に基づき、人物の前方に仮想的な操作領域（または操作空間）を設定する。具体的には、操作領域設定部２３は、人物位置取得部２１が取得した人物の位置の前方に、当該人物に対応する操作領域を設定する。操作領域は、実空間内に割り当てられる領域である。原則として、操作領域内に手が入れられると入力情報の取得が開始され、操作領域内での手の位置または動きを基に入力情報が取得される。

操作領域設定部２３は、人物位置取得部２１により複数の人物の位置が検出された場合は、当該複数の人物のそれぞれについて操作領域を設定する。

操作領域設定部２３により設定される操作領域は、例えば図４に示すように、人物Ａの前方の直方体状の領域Ｒ１である。操作領域は、人物が自然に手を前に伸ばしたときに、手が操作領域内に含まれるように設定されることが望ましい。操作領域の詳細な設定方法、および操作領域の形状の別様態については後述する。

基準領域設定部２４は、人物位置取得部２１の取得結果に基づき、人物に対して所定の位置に仮想的な基準領域（または基準空間）を設定する。基準領域は、操作領域と同様に、実空間内に割り当てられる領域である。本例では、基準領域は、人物位置取得部２１が検出した人物の位置の近傍に設定され、手が操作領域に接触するまでの当該手の位置変化が、手を前に出す動きに対応したものであるかを判別するために利用される。

基準領域設定部２４は、人物位置取得部２１により複数の人物の位置が検出された場合は、当該複数の人物のそれぞれについて基準領域を設定する。

基準領域設定部２４により設定される基準領域は、例えば図５に示すように、人物Ａの両肩の位置を含むように、また人物Ａの前方を向くように設定される。具体的には、図５において、基準領域は、人物Ａの前後方向に対して垂直な、人物Ａの中心と両肩の位置を通過し、人物Ａの肩幅よりやや広い幅を持つ長方形状の平面領域Ｒ２である。また、基準領域は、人物が自然に手を前に伸ばした際の手の動きの方向を直線で示したとき、当該直線が基準領域を通過するように設定される。例えば、基準領域は、人物が自然に手を前に伸ばしたとき、基準領域側から操作領域に向けて手が移動するように設定される。

再び図３を参照すると、入力情報取得部２５は、手位置取得部２２の取得結果に基づき、手が操作領域に接触したか否かを判定し、接触したと判定した場合に、手が操作領域に接触するまでの当該手の動きの方向を示す方向線を求め、当該方向線が操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、操作領域内での手の位置または動きに基づく入力情報の取得を開始する。

本実施の形態では、基準領域は、手が人物側から操作領域に向かう方向に移動して操作領域に接触した場合に、上記方向線が基準領域を通過するように設定される。したがって、入力情報取得部２５は、人物が手を前に伸ばして操作領域に接触した場合に、入力情報の取得を開始する。上記方向線は、例えば、手が操作領域に接触するまでの一定期間における当該手の位置の変化を示す有向線分の終点から始点方向に延びる半直線である。

手が操作領域に接触したか否かを判定する際、入力情報取得部２５は、例えば、手の位置が操作領域外から操作領域内に移動したときに、手が操作領域に接触したと判定する。あるいは、入力情報取得部２５は、手の位置が操作領域外から操作領域内に移動した後、一定期間操作領域内に存在したときに、手が操作領域に接触したと判定してもよい。

入力情報取得部２５は、入力情報の取得を開始した後、手位置取得部２２の取得結果に基づき、手が操作領域外に出たか否かを判定し、出たと判定した場合に、入力情報の取得を終了する。この場合、入力情報取得部２５は、例えば、手の位置が操作領域内から操作領域外に移動したときに、手が操作領域外に出たと判定する。あるいは、入力情報取得部２５は、手の位置が操作領域内から操作領域外に移動した後、一定期間操作領域外に存在したときに、手が操作領域外に出たと判定してもよい。

複数の人物のそれぞれに対して操作領域および基準領域が設定されている場合には、入力情報取得部２５は、各操作領域について、手が当該操作領域に接触したか否かを判定し、接触したと判定した場合に、当該手が当該操作領域に接触するまでの当該手の動きの方向を示す方向線を求め、当該方向線が当該操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、当該操作領域内での当該手の位置または動きに基づく入力情報の取得を開始する。

また、手位置取得部２２により複数の手の位置が取得された場合には、入力情報取得部２５は、複数の手のうちのいずれかの手が操作領域に接触したかを判定し、いずれかの手が接触したと判定した場合に、当該手が操作領域に接触するまでの当該手の動きの方向を示す方向線を求め、当該方向線が操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、操作領域内での当該手の位置または動きに基づく入力情報の取得を開始する。

図３の例では、入力情報取得部２５は、接触判定部３１、方向線算出部３２、通過判定部３３、算出タイミング決定部３４、および座標算出部３５を含む。

接触判定部３１は、人物の手が操作領域に接触しているか否かを判定する。例えば、接触判定部３１は、手位置取得部２２が取得した手の位置が、操作領域設定部２３が設定した操作領域内に含まれているか否かを判断し、含まれている場合に接触していると判定し、含まれていない場合には接触していないと判定する。あるいは、接触判定部３１は、手の位置が操作領域内に含まれている状態が一定時間（例えば１秒）継続したとき、手が操作領域に接触していると判定し、手の位置が操作領域内に含まれていない状態が一定時間継続したとき、手が操作領域に接触していないと判定し、手の位置が操作領域内に含まれている状態や含まれていない状態の継続時間が一定時間に満たない場合は、それ以前の判定結果を維持するようにしてもよい。これにより、意図しない瞬間的な手の接触などによる誤操作を抑制することができる。

また、複数の手の位置が取得されている場合や、複数の操作領域が設定されている場合は、接触判定部３１は、手の位置と操作領域との全ての組み合わせに対して、手の位置が操作領域内に含まれているか否か、または手が操作領域に接触しているか否かの判定を行う。

接触判定部３１は、その判定結果が非接触から接触に変化した場合に、人物の手が操作領域に接触したと判定してもよく、また、その判定結果が接触から非接触に変化した場合に、人物の手が操作領域外に出たと判定してもよい。

方向線算出部３２は、手が操作領域に接触するまでの手の動きの方向を示す線を表す方向線を算出する。例えば、方向線算出部３２は、接触判定部３１により手が操作領域に接触したと判定された場合に、その接触時点までの一定期間における当該手の位置に基づいて当該手の方向線を算出する。方向線は、例えば、手が操作領域に接触した位置を終点とする半直線であり、手が操作領域に接触した時点よりも一定時間（例えば０．５秒）前の手の位置を通過する半直線である。すなわち、方向線は、例えば、手が操作領域に接触した位置を終点とし、また、手が操作空間に接触した時点よりも一定時間（例えば０．５秒）前の手の位置を始点として、始点と終点を結ぶ線を、終点から始点方向に延長して得られる半直線である。あるいは、方向線算出部３２は、手が操作領域に接触した位置を終点とする半直線であり、手が操作領域に接触するまでの一定期間における各時点（例えば接触時点の０．１秒前から１秒前までの０．１秒ごとの時点）での手の位置との距離の二乗の合計が最小となる半直線を方向線として算出してもよい。

方向線算出部３２は、接触判定部３１により複数の手が操作領域に接触したと判定された場合は、当該複数の手のそれぞれに対して方向線の算出を行う。

なお、方向線算出部３２は、接触判定部３１の判定結果によらず、手位置取得部２２により取得された全ての手について方向線を算出してもよい。

通過判定部３３は、方向線算出部３２により算出された方向線が基準領域設定部２４により設定された基準領域を通過するか（または基準領域に交差するか）を判定する。このとき、複数の方向線が算出されている場合や、複数の基準領域が設定されている場合は、通過判定部３３は、方向線と基準領域との全ての組み合わせに対して、方向線が基準領域を通過するか否かの判定を行う。

算出タイミング決定部３４は、後述する座標算出部３５による２次元座標の算出の開始および終了を決定する。座標算出部３５による２次元座標の算出の開始および終了は、ユーザによる情報入力またはジェスチャ入力の開始および終了を意味する。

算出タイミング決定部３４は、接触判定部３１により手が操作領域に接触したと判定され、かつ通過判定部３３により当該手の方向線が基準領域を通過していると判定された場合であって、さらに当該操作領域と当該基準領域とが同一の人物に対して設定されたものである場合に、座標算出部３５による２次元座標の算出の開始を決定する。

また、算出タイミング決定部３４は、接触判定部３１により手が操作領域外に出たと判定された場合に、座標算出部３５による２次元座標の算出の終了を決定する。

座標算出部３５は、操作領域内の手の３次元位置を基に２次元座標の算出を行う。座標算出部３５による座標の算出は、操作領域内の３次元座標から所定の２次元領域内の２次元座標への射影により行うことができる。

例えば、図６に示すように、座標算出部３５は、操作領域Ｒ１内に定義された２本のベクトルｕ、ｖにより張られる平面に対して、手の３次元座標を投影した際の座標を、当該２本のベクトルｕ、ｖを基底とする座標系における座標値として算出する。

座標算出部３５によって算出された２次元座標は、表示制御装置１３に対して出力される。

（処理の流れ）
図７は、本実施の形態における入力装置１２の処理の一例を示すフローチャートである。以下、図７を参照して、本実施の形態における入力装置１２の処理を説明する。

以下に説明する一連の処理は、一定のタイミングごとに実行される。例えば、画像取得装置１１が画像データを取得するタイミング（例えば１／３０秒に１回）にあわせて、１／３０秒に１回実行される。

また、ここでは、入力装置１２は、人物に関するデータを保持する人物テーブルと、手に関するデータを保持する手テーブルとを有する。

図８は、人物テーブルを示す。人物テーブルには、人物を識別するための識別情報である人物ＩＤ、当該人物の位置、当該人物の操作領域、当該人物の基準領域、および当該人物によるジェスチャ入力の開始を示す開始フラグとが互いに対応付けて記録される。開始フラグは、「０」または「１」のいずれかの値をとり、「０」は開始されていないことを示し、「１」は開始されたことを示す。開始フラグの初期値は「０」である。図８において、Ｍ１（Ｔ）およびＭ２（Ｔ）は、それぞれ対応する人物の現在の３次元座標値である。

図９は、手テーブルを示す。手テーブルには、手を識別するための識別情報である手ＩＤと、当該手の位置と、当該手の方向線とが互いに対応付けて記録される。手の位置は、現在までの位置が時系列的に記録される。図９において、Ｈ１（Ｔ）は対応する人物の現在の３次元座標値であり、Ｈ１（Ｔ−Ｎ）は対応する人物のＮ回前の３次元座標値である。

図７を参照すると、まず、入力装置１２は、画像取得装置１１から画像データを取得し（Ｓ１）、取得した画像データから人物を検出し、検出された人物の位置を取得する（Ｓ２）。

具体的には、入力装置１２は、検出された人物それぞれについて、当該人物のデータが既に人物テーブルに登録されているか否かを判断し、登録されていない場合は、当該人物に人物ＩＤを割り当て、当該人物の人物ＩＤと位置とを人物テーブルに新規に登録する。一方、既に登録されている場合には、人物テーブルにおいて当該人物の位置を更新する。上記の判断は、例えば、今回取得された人物の位置と、人物テーブルに登録されている各人物の位置との位置関係に基づいてなされる。具体的には、入力装置１２は、人物テーブルにおいて、今回検出された人物の位置からの距離が所定閾値以下である人物の位置が登録されているかを判断し、登録されていない場合には今回検出された人物のデータを新規登録し、登録されている場合には、人物テーブルに登録されている人物の位置のうち今回検出された人物の位置から最も近い人物の位置を、今回検出された位置によって更新する。ただし、入力装置１２は、上記以外の方法で判断してもよく、例えば、画像データから各人物の特徴を抽出し、各人物の特徴を人物テーブルに記録しておき、今回検出された人物の特徴と人物テーブルに記録されている各人物の特徴との類似度に基づいて判断してもよい。

また、入力装置１２は、人物テーブルに登録されている人物のデータのうち、今回検出されなかった人物のデータ、すなわち位置が更新されなかった人物のデータを、人物テーブルから削除する。

次に、入力装置１２は、ステップＳ２で人物の位置が取得されたか否かを判断し（Ｓ３）、人物の位置が取得されなかった場合は（Ｓ３：Ｎ）、処理を終了する。

一方、１人以上の人物の位置が取得された場合は（Ｓ３：Ｙ）、入力装置１２は、取得した人物の位置それぞれに対して、操作領域を設定するとともに（Ｓ４）、基準領域を設定する（Ｓ５）。具体的には、入力装置１２は、人物テーブルに登録されている人物の人物ＩＤのそれぞれに対応付けて、当該人物に対して設定された操作領域および基準領域を記録する。

次に、入力装置１２は、ステップＳ１で取得した画像データから人物の手を検出し、検出された手の位置を取得する（Ｓ６）。

具体的には、入力装置１２は、検出された手それぞれについて、当該手のデータが既に手テーブルに登録されているか否かを判断し、登録されていない場合は、当該手に手ＩＤを割り当て、当該手の手ＩＤと位置とを手テーブルに新規登録する。一方、既に登録されている場合には、手テーブルにおいて、当該手の位置の時系列データに今回取得された手の位置を追加する。上記の判断は、例えば、今回取得された手の位置と、手テーブルに登録されている各手の位置との位置関係に基づいてなされる。具体的には、入力装置１２は、手テーブルにおいて、今回検出された手の位置からの距離が所定閾値以下である手の位置が登録されているかを判断し、登録されていない場合には今回検出された手のデータを新規登録し、登録されている場合には、手テーブルに登録されている手の位置のうち今回検出された手の位置から最も近い手の位置を、今回検出された位置によって更新する。ただし、入力装置１２は、上記以外の方法で判断してもよく、例えば、画像データから各手の特徴を抽出し、各手の特徴を手テーブルに記録しておき、今回検出された手の特徴と手テーブルに記録されている各手の特徴との類似度に基づいて判断してもよい。

また、手テーブルに登録されている手のデータうち、今回検出されなかった手のデータ、すなわち位置が追加されなかった手のデータを、手テーブルから削除する。

次に、入力装置１２は、一定時間以上位置を取得した手が存在するか否かを判断し（Ｓ７）、そのような手が存在する場合（Ｓ７：Ｙ）、そのような手のすべてに対して方向線を求める（Ｓ８）。具体的には、入力装置１２は、手テーブルにおいて位置データが所定数以上登録されている手が存在する場合に、そのような手のそれぞれについて、方向線を求めて手テーブルに登録する。例えば、今回取得した手の位置（方向線の終点）と０．５秒前の手の位置（方向線が通過する点）とを、方向線を示すデータとして手テーブルに登録する。一方、一定時間以上位置を取得した手が１つも存在しない場合は（Ｓ７：Ｎ）、処理を終了する。

上記ステップＳ８の後、処理はステップＳ９に進む。ステップＳ９以降の処理は、ステップＳ２で位置が取得された人物、すなわち人物テーブルに登録されている人物のそれぞれについて行われる。

ステップＳ９では、入力装置１２は、処理対象の人物（以下、「対象人物」と称する）がすでにジェスチャ入力を開始しているかを判断する。具体的には、人物テーブルにおいて、対象人物の開始フラグが「０」であれば開始していないと判断し、「１」であれば開始していると判断する。

ジェスチャ入力を開始していない場合は（Ｓ９：Ｎ）、入力装置１２は、次のように、ジェスチャ入力を開始するか否かの判断を行う。

まず、入力装置１２は、対象人物に対して設定された操作領域に手が触れているかを判断する（Ｓ１０）。具体的には、人物テーブルに記録されている対象人物の操作領域と、手テーブルに記録されている各手の現在の位置とに基づいて、操作領域に触れている手が存在するかを判断する。

操作領域に触れている手が存在しない場合は（Ｓ１０：Ｎ）、処理を終了する。一方、操作領域に触れている手が存在する場合は（Ｓ１０：Ｙ）、入力装置１２は、当該手に対して算出された方向線が、対象人物に対して設定された基準領域に交差しているかを判断する（Ｓ１１）。

方向線が基準領域に交差している場合（Ｓ１１：Ｙ）、対象人物によるジェスチャー入力を開始し（Ｓ１２）、対象人物の操作領域に触れている手の３次元座標から２次元座標を算出し（Ｓ１３）、処理を終了する。ステップＳ１２では、入力装置１２は、人物テーブルにおける対象人物の開始フラグを「１」に設定する。一方、方向線が基準領域に交差していない場合には（Ｓ１１：Ｎ）、処理を終了する。

また、ステップＳ９において、対象人物がすでにジェスチャ入力を開始していると判断された場合は（Ｓ９：Ｙ）、次のように、ジェスチャ入力を終了するか否かの判断を行う。

入力装置１２は、対象人物に対して設定された操作領域に手が触れてるかを判断する（Ｓ１４）。具体的には、人物テーブルに記録されている対象人物の操作領域と、手テーブルに記録されている各手の現在の位置とに基づいて、操作領域に手が触れているかを判断する。

そして、操作領域に手が触れていない場合（Ｓ１４：Ｎ）、入力装置１２は、対象人物によるジェスチャ入力を終了し（Ｓ１５）、処理を終了する。この場合、人物テーブルにおける対象人物の開始フラグを「０」に戻す。

一方、操作領域に手が触れている場合は（Ｓ１４：Ｙ）、ジェスチャ入力を終了せずに、対象人物の操作領域に触れている手の３次元座標から２次元座標を算出し（Ｓ１３）、処理を終了する。

なお、上記の処理は、以下のように変更されてもよい。
ステップＳ１２において、入力装置１２は、対象人物の開始フラグを「１」に変更する際、さらに、対象人物の操作領域に触れていると判断され、かつ方向線が対象人物の基準領域に交差していると判断された手の手ＩＤを、対象人物の人物ＩＤと対応付けて人物テーブルに記録する。分かり易く言えば、ジェスチャ入力を行う手を人物と対応付けて記録しておく。

そして、ステップＳ１４において、入力装置１２は、人物テーブルを参照し、対象人物に対して設定された操作領域に、対象人物と対応付けられた手が触れているかを判断し、触れていると判断した場合（Ｓ１４：Ｙ）、ステップＳ１３において、対象人物と対応付けられた手の３次元位置から２次元座標を算出する。

（操作領域の設定）
本実施の形態における操作領域設定部２３が人物の位置を基に設定する操作領域について説明する。
操作領域は、例えば、図４に示すように、人物の前方に位置する直方体の領域である。この操作領域の位置および大きさの一例を図１０および図１１に示す。図１０および図１１は、それぞれ人物と操作領域との位置関係を示す上面図および側面図である。

なお、以下の説明では、人物Ａの左右方向、上下方向、前後方向に平行な方向における寸法を、それぞれ、幅、高さ、奥行きと称する。

図１０および図１１において、操作領域Ｒ１は、幅Ｗ、高さＨの長方形を、人物Ａの位置Ｐから距離Ｌ１離れた位置から距離Ｌ２離れた位置まで、人物Ａの前後方向に平行移動させてできる直方体である。この直方体は、幅Ｗ、高さＨ、および奥行き（Ｌ２−Ｌ１）を有する。

幅Ｗおよび高さＨの値は、人物Ａの位置Ｐから距離Ｌ１離れた位置に存在する幅Ｗ、高さＨの長方形の全体に手が届くように設定されることが望ましい。例えば、幅Ｗは人物Ａの肩幅よりもやや広い長さ、高さＨは人物Ａの頭頂から腰の位置までの長さである。また、例えば、操作領域Ｒ１は、人物Ａの左右方向において操作領域Ｒ１の中心が人物Ａの位置（例えば顔の中心位置）Ｐと一致するように、かつ人物Ａの上下方向において操作領域Ｒ１の上端および下端がそれぞれ人物Ａの頭頂および腰の位置と一致するように配置される。

また、距離Ｌ１は人物Ａの手の長さより小さい値、距離Ｌ２は人物Ａの手の長さより大きい値であることが望ましい。これにより、人物Ａが自然に手を前に伸ばした場合に手が操作領域Ｒ１に触れることができる。

ここで、人物の肩幅や人物の頭頂から腰の位置までの長さ、さらに人物の手の長さは、あらかじめ人体の寸法に関する統計値などを参照して設定されていても良いし、あるいは、実際に操作を行う人物の寸法を取得しても良い。実際に操作を行う人物の寸法を取得する場合、例えば、画像データから人物の顔の大きさを取得し、統計値などから設定された顔の大きさと人物の寸法との相関を基に、人物の寸法を推定する。

また、人物の左右方向、上下方向、および前後方向は、例えば、画像データから取得される人物の姿勢や顔の向きなどから決定してもよいし、あらかじめ入力装置１２や表示装置１４の配置を基に設定してもよい。例えば、表示装置１４の画面の左右方向を人物の左右方向、表示装置１４の画面の上下方向を人物の上下方向、表示装置１４の画面の法線方向を人物の前後方向と設定してもよい。

図１２、図１３、および図１４は、それぞれ操作領域の別の一例を示す斜視図、上面図、および側面図である。

本例では、操作領域Ｒ３は、図１３に示すように、人物Ａから見て手前側に位置する第１の面Ｓ１と、奥側に位置する第２の面Ｓ２とに挟まれる領域である。第１の面Ｓ１は、人物Ａの前方に位置し、人物Ａの両肩を結ぶ線分および人物Ａの上下方向に平行な平面部ＳＣ１と、人物Ａから見て平面部ＳＣ１の左端に接続し、人物Ａの左肩の位置ＳＬを通り人物Ａの上下方向に延びる直線を中心軸とする部分円筒面状の左曲面部ＳＬ１と、人物Ａから見て平面部ＳＣ１の右端に接続し、人物Ａの右肩の位置ＳＲを通り人物Ａの上下方向に延びる直線を中心軸とする部分円筒面状の右曲面部ＳＲ１とで構成される。第２の面Ｓ２は、人物Ａの前方に位置し、人物Ａの両肩を結ぶ線分および人物Ａの上下方向に平行な平面部ＳＣ２と、人物Ａから見て平面部ＳＣ２の左端に接続し、人物Ａの左肩の位置ＳＬを通り人物Ａの上下方向に延びる直線を中心軸とする部分円筒面状の左曲面部ＳＬ２と、人物Ａから見て平面部ＳＣ２の右端に接続し、人物Ａの右肩の位置ＳＲを通り人物Ａの上下方向に延びる直線を中心軸とする部分円筒面状の右曲面部ＳＲ２とで構成される。

第１の面Ｓ１について、人物Ａの両肩を結ぶ線分から平面部ＳＣ１までの距離、左曲面部ＳＬ１の半径、および右曲面部ＳＲ１の半径は、人物Ａの腕の長さよりも小さい。第２の面Ｓ２について、人物Ａの両肩を結ぶ線分から平面部ＳＣ２までの距離、左曲面部ＳＬ２の半径、および右曲面部ＳＲ２の半径は、人物Ａの腕の長さよりも大きい。図１３の例では、人物Ａの両肩を結ぶ線分から平面部ＳＣ１までの距離はＬ１であり、左曲面部ＳＬ１の半径および右曲面部ＳＲ１の半径はいずれもｒ１であり、人物Ａの両肩を結ぶ線分から平面部ＳＣ２までの距離はＬ２（＞Ｌ１）であり、左曲面部ＳＬ２の半径および右曲面部ＳＲ２の半径はいずれもｒ２（＞ｒ１）である。

あるいは、操作領域Ｒ３は、人物Ａの前方に配置される直方体状の中央部ＲＣと、人物Ａから見て中央部ＲＣの左側に接続する左側部ＲＬと、人物Ａから見て中央部ＲＣの右側に接続する右側部ＲＲとを有する。中央部ＲＣは、上記図４および図１０に示される操作領域Ｒ１と同様の形状を有する。左側部ＲＬは、人物Ａの左肩の位置ＳＬを通り人物Ａの上下方向に延びる直線を中心軸とする部分円筒状の立体であり、右側部ＲＲは、人物Ａの右肩の位置ＳＲを通り人物Ａの上下方向に延びる直線を中心軸とする部分円筒状の立体である。

（入力情報の取得開始後の操作領域の設定）
入力情報取得部２５による入力情報の取得開始後、または算出タイミング決定部３４が入力情報の取得開始を決定した後、操作領域設定部２３は、入力情報の取得開始前と異なる位置または形状の操作領域を設定してもよい。すなわち、操作領域設定部２３は、入力情報の取得開始前と取得開始後とで、操作領域の形状または位置を変更してもよい。例えば、図７のステップＳ４において、入力装置１２は、ある人物に対して操作領域を設定する場合、当該人物の開始フラグが「０」であるときには開始前用の操作領域を設定し、開始フラグが「１」であるときには開始後用の操作領域を設定してもよい。

例えば、操作領域設定部２３は、入力情報取得部２５による入力情報の取得開始後、入力情報の取得開始前よりも操作領域が人物に近づくように操作領域を設定するか、あるいは、入力情報の取得開始前よりも操作領域が大きくなるように操作領域を設定する。例えば、操作領域設定部２３は、入力情報の取得開始後、図１０または図１３における距離Ｌ１の値を、入力情報の取得開始前よりも小さくすることで、操作領域を人物に近づけるとともに操作領域の範囲を広げる。

また例えば、操作領域設定部２３は、入力情報取得部２５による入力情報の取得開始後、入力情報の取得開始時（または２次元座標の算出の開始の決定時）における、手の位置および方向線が基準領域を通過する位置のうちの一方または両方を基に操作領域の設定を行う。例えば、操作領域設定部２３は、入力情報の取得開始時における方向線が基準領域を通過する位置が人物の右側か左側かを判断し、その判断結果に応じた位置または形状の領域を操作領域として設定する。

具体的には、方向線が基準領域に交差する位置が人物の右側である場合は、当該人物は右手を伸ばしている可能性が高い。そこで、交差する位置が人物の右側である場合には、例えば図１５に示すように、取得開始前（図４、図１０）よりも右手側にずらした位置に操作領域Ｒ４を設定し、交差する位置が人物の左側である場合には、取得開始前よりも左手側にずらした位置に操作領域を設定する。

あるいは、交差する位置が人物の右側である場合には、例えば図１６に示すように、人物Ａの右肩の位置ＳＲを通り人物Ａの上下方向に延びる直線を中心軸とする部分円筒面状の内周面ＳＩと、人物Ａの右肩の位置ＳＲを通り人物Ａの上下方向に延びる直線を中心軸とし、内周面ＳＩよりも大きい半径を有する部分円筒面状の外周面ＳＯとに挟まれる領域、または右肩の位置ＳＲを中心とする部分円筒状の領域を操作領域Ｒ５として設定する。一方、交差する位置が人物の左側である場合には、人物の左肩の位置ＳＬを通り人物の上下方向に延びる直線を中心軸とする部分円筒面状の内周面と、人物の左肩の位置ＳＬを通り人物の上下方向に延びる直線を中心軸とし、内周面よりも大きい半径を有する部分円筒面状の外周面とに挟まれる領域、または左肩の位置を中心とする部分円筒状の領域を操作領域として設定する。

（効果）
以上説明した本実施の形態によれば、以下の効果が得られる。
（１）本実施の形態では、入力装置は、人物の前方に操作領域を設定するとともに、人物に対して所定の位置に仮想的な基準領域を設定し、手が操作領域に接触したと判定した場合に、手が操作領域に接触するまでの手の動きの方向を示す方向線を求め、当該方向線が操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、操作領域内での手の位置または動きに基づく入力情報の取得を開始する。これにより、ユーザの意図しない情報入力の開始を抑制することができる。具体的には、手が特定の方向（手の方向線が基準領域を通過するような方向）に移動して操作領域に接触した場合にのみ、入力情報の取得を開始するので、ユーザが入力を開始する意図が無いにも関わらず手が操作領域に触れたために情報入力や操作が開始されてしまうことを防ぐことができる。例えば、手を振る動作などにより、ユーザの手が当該ユーザの操作領域に偶然触れたことによる入力の開始や、ユーザ以外の人物の手が当該ユーザの操作領域に触れたことによる入力の開始を防ぐことができる。この結果、誤入力や誤操作を抑制することができる。

（２）基準領域は、手が人物側から操作領域に向かう方向に移動して操作領域に接触した場合に、方向線が基準領域を通過するように設定される。本態様によれば、人物が手を前に出して操作領域に触れた場合に、情報入力を開始することができる。

（３）基準領域は、操作領域よりも人物の近傍に人物の前方を向くように設定される。この場合、手が操作領域に接触し、かつ方向線が基準領域を通過する場合、人物の動きは、手を前に出して操作領域に触れる動きである可能性が高い。このため、本態様によれば、人物が手を前に出して操作領域に触れる動作を検出し、当該動作により手が操作領域に接触した場合に、情報入力を開始することができる。

（４）方向線は、手が操作領域に接触するまでの一定期間における手の位置の変化を示す有向線分の終点から始点方向に延びる半直線である。本態様によれば、方向線が延びる方向を一方に制限することにより、方向線が双方向に無限に延びる直線である場合と比較して、ユーザの意図しない情報入力の開始をより確実に抑制することができる。

（５）入力装置は、手の位置が操作領域外から操作領域内に移動した後、一定期間操作領域内に存在した場合に、手が操作領域に接触したと判定する。本態様によれば、ユーザの意図しない瞬間的な手の接触などによる情報入力の開始を防ぐことができる。

（６）手が操作領域外に出たと判定した場合に、入力情報の取得を終了する構成において、手の位置が操作領域内から操作領域外に移動した後、一定期間操作領域外に存在した場合に、手が操作領域外に出たと判定する。本態様によれば、意図せず瞬間的に手が操作領域から出てしまった場合に情報入力が終了してしまうことを防ぐことができる。

（７）入力装置は、複数の人物の位置を取得した場合、各人物に対して操作領域および基準領域を設定する。そして、各操作領域について、手が当該操作領域に接触したか否かを判定し、接触したと判定した場合に、手が当該操作領域に接触するまでの手の動きの方向を示す方向線を求め、当該方向線が当該操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、当該操作領域内での手の位置または動きに基づく入力情報の取得を開始する。本構成によれば、複数の人物が存在する場合に、各人物は、自身に設定された操作領域内で手を動かして情報入力または操作を行うことができる。また、複数の人物が存在し、各人物に操作領域が設定された場合に、あるユーザが別の人物に設定された操作領域に触れたとしても情報入力が開始されないので、ユーザが入力を開始する意図が無いにも関わらずユーザの手が操作領域に触れたために情報入力が開始されてしまうことを防ぐことができる。

（８）入力装置は、複数の手の位置を取得した場合、当該複数の手のうちのいずれかの手が操作領域に接触したか否かを判定し、いずれかの手が接触したと判定した場合に、当該手が操作領域に接触するまでの当該手の動きの方向を示す方向線を求め、当該方向線が操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、操作領域内での当該手の位置または動きに基づく入力情報の取得を開始する。本態様によれば、複数の手が存在する場合にも、適切に入力情報の取得を開始することができる。

（９）操作領域は、人物の肩の位置を通り人物の上下方向に延びる直線を中心軸とする部分円筒状の領域を含む。本態様では、人物の手が届く範囲を考慮した適切な操作領域が得られる。具体的には、人物の手が届く範囲は、人物を上から見たときに肩を中心とした円状の範囲であるので、本態様によれば、範囲の過不足が少ない操作領域が得られる。

（１０）操作領域は、人物から見て手前側に位置する第１の面と、奥側に位置する第２の面とに挟まれる領域であり、第１の面および第２の面は、それぞれ、上述した、平面部と、部分円筒面状の左曲面部と、部分円筒面状の右曲面部とで構成される。本態様によれば、全体に手が届きやすい操作領域が得られる。

（１１）上記第１の面について、人物の両肩を結ぶ線分から平面部までの距離、左曲面部の半径、および右曲面部の半径は、人物の腕の長さよりも小さい。この場合、ユーザは、自然に手を伸ばして操作領域内に手を入れることができる。

（１２）上記第２の面について、人物の両肩を結ぶ線分から平面部までの距離、左曲面部の半径、および右曲面部の半径は、人物の腕の長さよりも大きい。これにより、ユーザが手を前方に完全に伸ばしたときに、手が操作領域外に出てしまうことを防ぐことができる。

（１３）入力装置は、入力情報の取得開始後、取得開始前よりも操作領域が人物に近づくように、または操作領域が広くなるように操作領域を設定する。これにより、情報入力の開始後、意図せずに手が操作領域から離れ、情報入力が終了してしまうことを防ぐことができる。また、情報入力の開始前は、操作領域をある程度人物から離しておくことができ、または操作領域をある程度小さくしておくことができ、意図せずに手が操作領域に触れて情報入力が開始してしまうことを防ぐことができる。

（１４）入力装置は、入力情報の取得開始後、取得開始時における、手の位置および方向線が基準領域を通過する位置のうちの一方または両方を基に操作領域の設定を行う。これにより、ユーザの手の位置や動きに応じて、入力しやすい操作領域を設定することができる。例えば、取得開始時における手の位置または方向線が基準領域を通過する位置が人物の右側である場合に、操作領域の位置を右側にずらすことにより、右手での入力または操作を行いやすい操作領域を設定することができる。

なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の態様で実施することができる。

例えば、上記の説明では、人物および手の３次元位置を取得する場合を例示したが、入力装置１２は、人物の２次元位置や手の２次元位置を取得してもよい。２次元位置としては、例えば、水平面に平行な２次元座標系における座標がある。この場合でも、例えば、人物が手を前に出す動きを判別することができる。

また、基準領域の位置や形状は、上記に限られず、どのような手の動きを情報入力開始のトリガとするかなどによって適宜決められればよい。例えば、操作領域と人物との間に基準領域を設定してもよいし、人物の後方のある程度離れた位置に基準領域を設定してもよい。また例えば、右手を左斜め前方に出す動きを開始のトリガとする場合には、人物の右斜め後方に基準領域を設定してもよい。

また、上記の説明では、方向線として半直線を例示したが、方向線は、他の種類の線であってもよく、基準領域の位置や形状などに応じて適宜決められればよい。例えば、方向線は、手が操作領域に接触するまでの手の位置の変化を示す有向線分の始点および終点を通って双方向に延びる直線であってもよいし、当該有向線分の終点から始点方向に延びる所定長さの線分であってもよい。

また、上記の説明では、複数の人物の位置が取得された場合に、当該複数の人物のそれぞれに対して操作領域および基準領域を設定する構成を例示したが、入力装置は、各人物の位置や特徴などに基づいて、複数の人物のうちの特定の人物（例えば１人の人物）に対して操作領域および基準領域を設定してもよい。

また、上記の説明では、入力情報として、手の３次元位置を基に２次元座標を算出する場合を例示したが、入力情報取得部２５は、手の位置変化または動きに基づいてユーザのジェスチャまたは指示を認識し、認識されたジェスチャまたは指示を出力してもよい。

また、上記の説明では、入力装置を表示システムに利用する場合を例示したが、入力装置は、入力情報を他の種類の対象機器に出力してもよいし、入力情報に基づいて他の種類の対象機器の制御を行ってもよい。

１０ 表示システム、 １１ 画像取得装置、 １２ 入力装置、 １３ 表示制御装置、 １４ 表示装置、 ２１ 人物位置取得部、 ２２ 手位置取得部、 ２３ 操作領域設定部、 ２４ 基準領域設定部、 ２５ 入力情報取得部、 ３１ 接触判定部、 ３２ 方向線算出部、 ３３ 通過判定部、 ３４ 算出タイミング決定部、 ３５ 座標算出部。

Claims (20)

1. 人物の位置を取得する人物位置取得手段と、
   手の位置を取得する手位置取得手段と、
   前記人物位置取得手段の取得結果に基づき、前記人物の前方に仮想的な操作領域を設定する操作領域設定手段と、
   前記人物位置取得手段の取得結果に基づき、前記人物に対して所定の位置に仮想的な基準領域を設定する基準領域設定手段と、
   前記手位置取得手段の取得結果に基づき、前記手が前記操作領域に接触したか否かを判定し、接触したと判定した場合に、前記手が前記操作領域に接触するまでの前記手の動きの方向を示す方向線を求め、当該方向線が前記操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、前記操作領域内での前記手の位置または動きに基づく入力情報の取得を開始する入力情報取得手段と
   を備えることを特徴とする入力装置。
2. 前記基準領域は、前記手が前記人物側から前記操作領域に向かう方向に移動して前記操作領域に接触した場合に、前記方向線が前記基準領域を通過するように設定されることを特徴とする請求項１に記載の入力装置。
3. 前記基準領域は、前記操作領域よりも前記人物の近傍に前記人物の前方を向くように設定されることを特徴とする請求項１または２に記載の入力装置。
4. 前記方向線は、前記手が前記操作領域に接触するまでの一定期間における前記手の位置の変化を示す有向線分の終点から始点方向に延びる半直線であることを特徴とする請求項１から３のいずれか１項に記載の入力装置。
5. 前記入力情報取得手段は、前記入力情報として、前記操作領域内における前記手の位置に基づいて所定の２次元座標系における２次元座標を取得することを特徴とする請求項１から４のいずれか１項に記載の入力装置。
6. 前記入力情報取得手段は、前記手の位置が前記操作領域外から前記操作領域内に移動した後、一定期間前記操作領域内に存在した場合に、前記手が前記操作領域に接触したと判定することを特徴とする請求項１から５のいずれか１項に記載の入力装置。
7. 前記入力情報取得手段は、前記入力情報の取得を開始した後、前記手位置取得手段の取得結果に基づき、前記手が前記操作領域外に出たか否かを判定し、出たと判定した場合に、前記入力情報の取得を終了することを特徴とする請求項１から６のいずれか１項に記載の入力装置。
8. 前記入力情報取得手段は、前記手の位置が前記操作領域内から前記操作領域外に移動した後、一定期間前記操作領域外に存在した場合に、前記手が前記操作領域外に出たと判定することを特徴とする請求項１から７のいずれか１項に記載の入力装置。
9. 前記人物位置取得手段は、複数の人物の位置を取得し、
   前記操作領域設定手段は、前記各人物に対して前記操作領域を設定し、
   前記基準領域設定手段は、前記各人物に対して前記基準領域を設定し、
   前記入力情報取得手段は、前記各操作領域について、前記手が当該操作領域に接触したか否かを判定し、接触したと判定した場合に、前記手が当該操作領域に接触するまでの前記手の動きの方向を示す方向線を求め、当該方向線が当該操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、当該操作領域内での前記手の位置または動きに基づく入力情報の取得を開始することを特徴とする請求項１から８のいずれか１項に記載の入力装置。
10. 前記手位置取得手段は、複数の手の位置を取得し、
    前記入力情報取得手段は、前記複数の手のうちのいずれかの手が前記操作領域に接触したか否かを判定し、いずれかの手が接触したと判定した場合に、当該手が前記操作領域に接触するまでの当該手の動きの方向を示す方向線を求め、当該方向線が前記操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、前記操作領域内での当該手の位置または動きに基づく入力情報の取得を開始することを特徴とする請求項１から９のいずれか１項に記載の入力装置。
11. 前記操作領域は、前記人物から見て手前側に位置する第１の面と、奥側に位置する第２の面とに挟まれる領域であり、
    前記第１の面および前記第２の面は、それぞれ、
    前記人物の前方に位置し、前記人物の両肩を結ぶ線分および前記人物の上下方向に平行な平面部と、
    前記人物から見て前記平面部の左端に接続し、前記人物の左肩の位置を通り前記人物の上下方向に延びる直線を中心軸とする部分円筒面状の左曲面部と、
    前記人物から見て前記平面部の右端に接続し、前記人物の右肩の位置を通り前記人物の上下方向に延びる直線を中心軸とする部分円筒面状の右曲面部と
    で構成されることを特徴とする請求項１から１０のいずれか１項に記載の入力装置。
12. 前記第１の面について、前記両肩を結ぶ線分から前記平面部までの距離、前記左曲面部の半径、および前記右曲面部の半径は、前記人物の腕の長さよりも小さく、
    前記第２の面について、前記両肩を結ぶ線分から前記平面部までの距離、前記左曲面部の半径、および前記右曲面部の半径は、前記人物の腕の長さよりも大きい
    ことを特徴とする請求項１１に記載の入力装置。
13. 前記操作領域設定手段は、前記入力情報取得手段による前記入力情報の取得開始後、前記入力情報の取得開始前よりも前記操作領域が前記人物に近づくように前記操作領域を設定することを特徴とする請求項１から１２のいずれか１項に記載の入力装置。
14. 前記操作領域設定手段は、前記入力情報取得手段による前記入力情報の取得開始後、前記入力情報の取得開始時における、前記手の位置および前記方向線が前記基準領域を通過する位置のうちの一方または両方を基に前記操作領域の設定を行うことを特徴とする請求項１から１３のいずれか１項に記載の入力装置。
15. 前記操作領域設定手段は、前記取得開始時における前記方向線が前記基準領域を通過する位置が前記人物の右側か左側かを判断し、その判断結果に応じた位置または形状の領域を前記操作領域として設定することを特徴とする請求項１４に記載の入力装置。
16. 前記操作領域設定手段は、
    前記取得開始時における前記方向線が前記基準領域を通過する位置が前記人物の左側である場合には、前記人物の左肩の位置を通り前記人物の上下方向に延びる直線を中心軸とする部分円筒面状の内周面と、前記人物の左肩の位置を通り前記人物の上下方向に延びる直線を中心軸とし、前記内周面よりも大きい半径を有する部分円筒面状の外周面とに挟まれる領域を前記操作領域として設定し、
    前記取得開始時における前記方向線が前記基準領域を通過する位置が前記人物の右側である場合には、前記人物の右肩の位置を通り前記人物の上下方向に延びる直線を中心軸とする部分円筒面状の内周面と、前記人物の右肩の位置を通り前記人物の上下方向に延びる直線を中心軸とし、前記内周面よりも大きい半径を有する部分円筒面状の外周面とに挟まれる領域を前記操作領域として設定する
    ことを特徴とする請求項１５に記載の入力装置。
17. 前記基準領域は、前記人物の両肩の位置を含み、前記人物の上下方向に延在する平面状の領域であることを特徴とする請求項１から１６のいずれか１項に記載の入力装置。
18. 前記人物位置取得手段は、前記人物の顔の位置を前記人物の位置として取得することを特徴とする請求項１から１７のいずれか１項に記載の入力装置。
19. 人物の位置を取得する人物位置取得ステップと、
    手の位置を取得する手位置取得ステップと、
    前記人物位置取得ステップの取得結果に基づき、前記人物の前方に仮想的な操作領域を設定する操作領域設定ステップと、
    前記人物位置取得ステップの取得結果に基づき、前記人物に対して所定の位置に仮想的な基準領域を設定する基準領域設定ステップと、
    前記手位置取得ステップの取得結果に基づき、前記手が前記操作領域に接触したか否かを判定し、接触したと判定した場合に、前記手が前記操作領域に接触するまでの前記手の動きの方向を示す方向線を求め、当該方向線が前記操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、前記操作領域内での前記手の位置または動きに基づく入力情報の取得を開始する入力情報取得ステップと
    を含むことを特徴とする情報処理方法。
20. 人物の位置を取得する人物位置取得ステップと、
    手の位置を取得する手位置取得ステップと、
    前記人物位置取得ステップの取得結果に基づき、前記人物の前方に仮想的な操作領域を設定する操作領域設定ステップと、
    前記人物位置取得ステップの取得結果に基づき、前記人物に対して所定の位置に仮想的な基準領域を設定する基準領域設定ステップと、
    前記手位置取得ステップの取得結果に基づき、前記手が前記操作領域に接触したか否かを判定し、接触したと判定した場合に、前記手が前記操作領域に接触するまでの前記手の動きの方向を示す方向線を求め、当該方向線が前記操作領域に対応する人物に対して設定された基準領域を通過するか否かを判定し、通過すると判定した場合に、前記操作領域内での前記手の位置または動きに基づく入力情報の取得を開始する入力情報取得ステップと
    をコンピュータに実行させることを特徴とする情報処理プログラム。

Images