JP5896578B2 - データ入力装置 - Google Patents

Description

本発明は、データ入力装置に関する。
本願は、２０１２年１１月２２日に、日本に出願された特願２０１２−２５６５５２号に基づき優先権を主張し、その内容をここに援用する。

コンピュータ、ゲーム機、テレビ電話会議システム等の機器を操作するためのユーザインタフェースとして様々な機器や手法が提案されている。
例えば、特許文献１に記載の情報入力装置は、指し棒の赤外線発信部から赤外線、超音波発信部から超音波を同時に発信させ、赤外線を受信した時間を基準として超音波を受信した時間との差によって、差し棒がディスプレイ上の指している位置を入力する。
また、特許文献２に記載の情報処理装置は、光が照射された情報入力面の画像を撮像し、撮像画像の情報入力面における輝度分布に基づいて検出された入力装置の情報入力面上の位置に応じて情報を処理する。

特開平９−２１２２９９号公報 特開２０１１−１１３１９１号公報

しかしながら、特許文献１に記載の情報入力装置では、位置情報の入力に用いる入力デバイスとして差し棒等の専用の入力デバイスを用いるので用途が制約されることがある。例えば、複数人が参加するテレビ電話会議に応用される場合には、参加人数分の入力デバイスが必要になる。また、電子広告装置（デジタルサイネージ）等、一般公衆に公開される場面では、入力デバイスの破損や紛失等が発生しがちである。さらに、入力デバイスと装置本体との間では、伝搬特性が天候に影響される赤外線を用いて情報を伝達するため屋外での利用には適さないことがある。
また、特許文献２に記載の情報処理装置では、手書き文字等を入力するために用いられる情報入力面として、机やテーブル等のように物理的な平面を有する備品が必要となる。つまり、かかる備品を設置することができない状況では、応用が制約されることがある。例えば、街頭に設置される電子広告装置に応用される場合には、かかる備品を備える空間を確保できないことがある。確保できたとしても、ユーザが画像を表示する表示装置と近接できないことや、情報入力面と表示装置の表示面とがユーザから同一の方向に配置できない等の障害があった。そのため、適用できる場面が限定され、有効に活用されないことがあった。

本発明は、このような問題を鑑みてなされたもので、専用のデバイスを用いずに円滑に描画入力を行うデータ入力装置を提供することにある。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様に係るデータ入力装置は、撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出部と、前記位置検出部が検出した前記第１位置に基づいて前記他の一部を検出する操作検出領域と前記操作検出領域の一部の領域であって描画入力を検出する入力検出領域を定め、前記第２位置が前記操作検出領域のうち前記入力検出領域に含まれるか否かに基づいて前記描画入力を検出する描画入力検出部と、前記位置検出部が検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出部と、前記注目位置検出部が検出した注目位置を示す入力検出画像を形成し、前記描画入力検出部が描画入力を検出しないとき、描画入力を検出するときよりも前記入力検出画像の表示態様を目立たない態様にする画像形成部と、を備える。

（２）本発明のその他の態様によれば、上述のデータ入力装置において、前記画像形成部は、前記第２位置の奥行方向への座標値に応じて前記描画入力に基づく画像の処理に係る情報を定めるように構成されてもよい。

（３）本発明のその他の態様によれば、上述のデータ入力装置は、前記身体の他の一部の形状を検出する第一形状検出部を備えてもよい。また、前記画像形成部は、前記第一形状検出部が検出した形状に基づいて前記描画入力に基づく画像の処理に係る情報を定めるように構成されてもよい。

（４）本発明のその他の態様によれば、上述のデータ入力装置において、前記位置検出部は、前記撮像装置が撮像した映像に表されたユーザの身体のさらに他の一部の位置である第３位置を検出し、前記描画入力検出部は、前記操作検出領域に基づいて前記さらに他の一部の位置を検出し、前記操作検出領域のうち前記第３位置よりも奥の領域を前記入力検出領域として定めるように構成されてもよい。

（５）本発明のその他の態様によれば、上述のデータ入力装置は、前記身体のさらに他の一部の形状を検出する第二形状検出部を備えてもよい。また、前記画像形成部は、前記第二形状検出部が検出した形状に基づいて前記描画入力に基づく画像の処理に係る情報を定めるように構成されてもよい。

（６）本発明のその他の態様によれば、上述のデータ入力装置において、前記ユーザの身体の一部は顔であってもよく、前記身体の他の一部は左右いずれか一方の手であってもよい。

（７）本発明のその他の態様によれば、上述のデータ入力装置において、前記ユーザの身体の一部は顔であってもよく、前記身体の他の一部は左右いずれか一方の手であってもよく、前記ユーザの身体のさらに他の一部は、前記一方の手とは他方の手であってもよい。

（８）本発明のその他の態様によれば、上述のデータ入力装置において、前記ユーザの身体の一部は目であってもよく、前記身体の他の一部は左右いずれか一方の手であってもよい。

（９）本発明のその他の態様によれば、上述のデータ入力装置において、前記ユーザの身体の一部は目であってもよく、前記身体の他の一部は左右いずれか一方の手であってもよく、前記ユーザの身体のさらに他の一部は、前記一方の手とは他方の手であってもよい。

（１０）本発明のその他の態様に係るデータ入力装置におけるデータ入力方法は、撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出工程と、前記位置検出工程で検出した前記第１位置に基づいて前記他の一部を検出する操作検出領域と前記操作検出領域の一部の領域であって描画入力を検出する入力検出領域を定め、前記第２位置が前記操作検出領域のうち前記入力検出領域に含まれるか否かに基づいて前記描画入力を検出する描画入力検出工程と、前記位置検出工程で検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出工程と、前記注目位置検出工程で検出した注目位置を示す入力検出画像を形成し、前記描画入力検出工程で描画入力を検出しないとき、描画入力を検出するときよりも前記入力検出画像の表示態様を目立たない態様にする画像形成工程と、を含む。

（１１）本発明のその他の態様に係るデータ入力プログラムは、撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出工程と、前記位置検出工程で検出した前記第１位置に基づいて前記他の一部を検出する操作検出領域と前記操作検出領域の一部の領域であって描画入力を検出する入力検出領域を定め、前記第２位置が前記操作検出領域のうち前記入力検出領域に含まれるか否かに基づいて前記描画入力を検出する描画入力検出工程と、前記位置検出工程で検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出工程と、前記注目位置検出工程で検出した注目位置を示す入力検出画像を形成し、前記描画入力検出工程で描画入力を検出しないとき、描画入力を検出するときよりも前記入力検出画像の表示態様を目立たない態様にする画像形成工程と、をデータ入力装置のコンピュータに実行させる。

本発明の態様によれば、専用のデバイスを用いずに円滑にデータ入力を行うことができる。

本発明の第１の実施形態に係る表示装置の外観構成を表す概念図である。 本実施形態に係る表示装置とユーザとの位置関係を表す平面図である。 本実施形態に係る表示装置の構成を表すブロック図である。 左画像及び右画像の一例を表す概念図である。 画像ブロックの例を表す概念図である。 撮像面の位置関係を表す概念図である。 本実施形態に係るユーザ情報解析部の構成を表す概略図である。 本実施形態に係る入力検出領域の一例を表す概念図である。 本実施形態に係る操作検出領域の例を表す概念図である。 本実施形態に係る入力検出領域の他の例を表す概念図である。 注目位置の例を示す概念図である。 本実施形態に係る制御部２２の構成を示す概略図を示す。 本実施形態に係る表示装置の一動作例を示す概念図である。 本実施形態における画像の一表示例を示す概念図である。 本実施形態における画像の他の表示例を示す概念図である。 本実施形態における画像のさらに他の表示例を示す概念図である。 本実施形態における入力検出画像の一表示例を示す概念図である。 本実施形態に係るデータ入力処理を表すフローチャートである。 本発明の第２の実施形態に係る入力検出領域の一例を表す概念図である。 本実施形態に係るデータ入力処理を表すフローチャートである。 本発明の第３の実施形態における線の太さと指定位置との関連を示す概念図である。 本実施形態に係る線の太さの設定例を示す図である。 本実施形態における画像の一表示例を示す概念図である。 本実施形態における画像の他の表示例を示す概念図である。 本実施形態における線の種類の選択例を示す概念図である。 本実施形態に係る案内画像の例を示す図である。 本実施形態に係るデータ入力処理を表すフローチャートである。 本発明の第４の実施形態における線の種類の選択例を示す概念図である。 本実施形態に係る案内画像の例を示す図である。 本実施形態に係るデータ入力処理を表すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本実施形態に係る表示装置１０の外観構成を表す概念図である。
図１において、表示装置１０は、映像を表示する装置、例えばテレビジョン受信機、ディジタルサイネージ（電子看板）装置、映像会議装置である。表示装置１０は、正面下辺の中央部に撮像装置１１を備え、正面の大部分を覆うように表示部１２を備える。
撮像装置１１は、手前方向の映像を撮像する、例えばステレオカメラである。撮像装置１１は、例えば、左右方向に互いに離れて位置して前方を撮像する撮像部１１０ａ、１１０ｂを備える。撮像部１１０ａ、１１０ｂは、それぞれカメラユニットである。
表示部１２は、その内蔵する制御部２２(図３)から入力された画像信号に基づく画像を表示するディスプレイである。なお、表示装置１０は、音声を出力するスピーカ（図示せず）を備えていてもよい。

操作者１３は、表示装置１０を操作するユーザである。操作者１３は、表示装置１０の正面に対面し、所定の姿勢、例えば身体の手振り、身振り（ジェスチャ）でユーザ情報（意思）を伝える。表示装置１０に内蔵されたユーザ情報解析部２０１（図３）は、撮像装置１１が撮像した画像に表された操作者１３の身体の一部がとる姿勢を表すユーザ情報を取得する。ユーザ情報には、例えば、指差しなどの手の形状・握り拳、その動かし方を表す情報が含まれる。表示装置１０は、撮像装置１１を介して取得したユーザ情報に対応した処理を実行する。これにより、操作者１３は、指差しなどの手の形状・握り拳、その動かし方により、表示装置１０の処理を操作することができる。

表示装置１０には、自己の位置を基準とする予め設定された領域であって、操作者１３による操作を受け付ける操作可能領域が予め設定されている。表示装置１０には、操作可能領域として、例えば、表示装置１０の中心部から操作者１３の手の位置までの手前方向の距離である操作可能距離の上限（例えば、３ｍ）が設定されている。但し、操作可能領域の左右方向は、例えば、撮像装置１１の視野角の範囲内に設定されることができる。この場合には、左右方向の設定は不要である。表示装置１０には、操作可能距離の上限よりも遠くに離れたユーザである操作不可者１４による操作を受け付けない。操作を受け付けるユーザを判別する処理については、後で詳述する。

図１に示す例では、撮像装置１１が表示装置１０の正面下辺に設置されているが、これに限定されない。例えば、撮像装置１１は、表示装置１０の正面上辺に設置されていてもよいし、表示装置１０から離れた位置に設置されていてもよい。
撮像装置１１は、操作者１３の顔面の高さ、特に、目の高さよりも高い位置に設置されていてもよい。そのために、撮像装置１１の高さを、操作者１３が所在する床面の高さと人間の平均身長を考慮して予め定めておく。その他、表示装置１０が、例えば床面など比較的低い位置に設置される場合には、撮像装置１１は、表示部１２よりも高い位置に設置されていてもよい。
これにより、撮像装置１１は、操作者１３の顔面よりも高い位置から操作者１３の身体を表す映像を撮像することができ、指差しなどの手の形状・握り拳、その動かし方によって操作者１３の顔面が遮蔽されることを防止することができる。そのため、制御部２２が、操作者１３の顔面の画像を用いて行われる操作者の識別、顔面の位置の検出、操作の検出などの処理を安定して実行できる。これらの処理については後述する。

図２は、本実施形態に係る表示装置１０とユーザとの位置関係を表す平面図である。
図２において、上下は、それぞれ表示装置１０の奥、手前の方向を表す。図２が示す操作者１３、操作不可者１４及び表示装置１０の位置関係は同様である。ここで、図２では、操作者１３は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも短い（近い）位置に所在している。これに対し、操作不可者１４は、表示装置１０の正面であって、表示装置１０からの距離が操作可能距離の上限よりも長い（遠い）位置に所在している。

上述のように操作可能距離の上限が設定されることにより、制御部２２(図３)が、複数のユーザが同時に操作を行う機会や、操作と誤認される動作（例えば、ディジタルサイネージ装置の近くを通過する通行人による手振り）を表す画像が入力される機会を制限する。例えば公共の場に設置されたディジタルサイネージ装置のように、表示装置１０が同時に複数のユーザに利用される場合でも映像を視聴するユーザが意図しない処理が回避される。

〔表示装置の構成〕
次に本実施形態に係る表示装置１０の構成について説明する。
図３は、本実施形態に係る表示装置１０の構成を表すブロック図である。
表示装置１０は、撮像装置１１、画像処理装置２０、情報ＤＢ（Ｄａｔａｂａｓｅ、データベース）２１、制御部２２及び表示部１２を含んで構成される。なお、表示装置１０は、データ入力装置として画像処理装置２０、情報ＤＢ２１及び制御部２２を含んで構成されていれば、撮像装置１１及び表示部１２とは別体であってもよい。
撮像装置１１は、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２０に出力する。画像処理装置２０は、撮像装置１１から入力された映像信号に基づき判別した操作者を表す操作者情報の取得、操作者の身体の一部が所在する位置を表す第１空間情報の取得、操作者の身体の一部がとる形状を表すユーザ情報の取得を行う。画像処理装置２０は、取得した操作者情報、第１空間情報及びユーザ情報を検出情報として制御部２２に出力する。

情報ＤＢ２１には、操作者１３の映像を表す映像信号に基づく操作入力に応じて表示する表示情報が記憶されている。表示情報は、例えば、映像コンテンツ等を表す映像信号、ニュース等を表すテキスト情報、ネットワークから受信したコンテンツを表すコンテンツ情報、案内画像（操作ガイド）を表す案内画像信号である。案内画像の詳細については後述する。
制御部２２は、画像処理装置２０から入力された検出情報から第１空間情報とユーザ情報を抽出する。制御部２２は、抽出した第１空間情報が表す操作者１３の位置が予め定められた操作可能領域の範囲内である場合、抽出したユーザ情報に対応する処理を行う。ここで、制御部２２は、例えば、第１空間情報が表す操作者１３の距離が予め設定された操作可能距離の上限よりも小さいか否かを判断する。ユーザ情報に対応する処理とは、例えば、案内画像の表示、映像コンテンツの表示、ネットワークからの情報検索、検索された情報に係る映像コンテンツ等やニュース等の保存、保存された情報の表示等、各種の映像表示に係る処理である。

制御部２２は、保存することが指示された情報を表示情報として情報ＤＢ２１に記憶する。制御部２２は、表示することが指示された表示情報を情報ＤＢ２１から読み出し、読み出した表示情報を表す映像信号を表示部１２に出力する。制御部２２は、停止することが指示された表示情報の出力を停止する。
表示部１２は、制御部２２から入力された映像信号を映像として表示する。これにより、操作者１３が行って操作によって選択された映像コンテンツやニュースに係る映像や、案内画像を表示する。
これにより、情報ＤＢ２１と制御部２２は表示制御装置（図示せず）を構成し、画像処理装置２０から入力された検出情報に含まれるユーザ情報が表すコンテンツを選択する処理や、選択したコンテンツを表示する処理を実行する。

撮像装置１１は、撮像部１１０ａ、１１０ｂを含んで構成される。撮像部１１０ａ、１１０ｂは、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２０に出力する。撮像部１１０ａは、生成した映像信号をユーザ情報解析部２０１に出力する。撮像部１１０ａ、１１０ｂは、例えば、被写体から入射された光を焦点に集光するレンズを備えた光学系と、集光された光を電気信号に変換する撮像素子を備えるカメラである。撮像部１１０ａ、１１０ｂが備える撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。

画像処理装置２０は、距離算出部２００、ユーザ情報解析部２０１を含んで構成される。
距離算出部２００は、撮像部１１０ａ、１１０ｂから各々映像信号が入力される。距離算出部２００は、各々入力された映像信号に基づいて撮像装置１１から被写体（例えば、操作者１３）までの距離を表す距離情報を、例えばステレオマッチング方式を用いて算出する。

〔距離情報の算出〕
ここで、ステレオマッチング方式の一種であるブロックマッチング方式を用いた距離情報の算出方法について説明する。ステレオマッチング方式では、撮像部１１０ａ、１１０ｂが撮像した映像の視差値を距離値として算出する。以下の説明では、撮像部１１０ａが撮像した映像に含まれる画像であって、ある時点における画像を左画像と呼ぶ。撮像部１１０ｂが撮像した映像に含まれる画像であって、その時点における画像を右画像と呼ぶ。

ステレオマッチング方式では、左画像の一部の領域である左画像ブロックと対応する領域である右画像ブロックを探索する。ここで左画像及び同時に撮像された右画像を例にとって説明する。
図４は、左画像及び右画像の一例を表す概念図である。
図４は、左側に左画像４００を表し、右側に右画像４１０を表す。
距離算出部２００は、左画像４００において、注目画素を中心とする左画像ブロック（ウィンドウ）４０１を設定する。左画像ブロック４０１に含まれる左右方向に３個、上下方向に３個、計９個の四角形は、それぞれ画素を表す。図４における左画像４００の右端から左画像ブロック４０１の右端までの水平方向の距離がＬ画素（Ｌ個の画素分の距離）である。Ｌは、１又は１よりも大きい整数である。

距離算出部２００は、右画像４１０において、左画像ブロック４０１と上下方向の座標が同一であって、右画像４１０の右端からの距離がＬ＋ｄ２に右端をもつ右画像ブロック４１１を初期値として設定する。ｄ２は、予め設定された整数値であり、視差値の最大値を表す。右画像ブロック４１１の大きさ及び形状は、左画像ブロック４０１と同一である。
距離算出部２００は、左画像ブロック４０１と右画像ブロック４１１との間の指標値を算出する。距離算出部２００は、右画像ブロック４１１の右端が右画像４１０の右端からの距離がＬ画素になるまで右画像ブロック４１１の位置を初期値の位置からずらし、それぞれずれた位置で指標値を算出する。距離算出部２００は算出した指標値に基づいて左画像ブロック４０１と対応する位置にある右画像ブロック４１１を定める。指標値として、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を用いる場合、ＳＡＤ値が最小となる位置にある右画像ブロック４１１を定める。この位置が左画像４００における注目画素に対応する注目点である。注目点と注目画素の間の水平方向の座標の差分に対する絶対値が視差である。距離算出部２００は、左画像４００に含まれる各画素について実行し、撮像部１１０ａが撮像した映像に含まれる画素毎の視差値を表す視差情報（視差マップ、ディスパリティマップともいう）を距離情報として生成する。視差は、撮像装置１１から被写体までの距離が短いほど大きく、距離が長いほど小さくなる関係がある。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１に出力する。

視差マップは、予め定めたビット数で表される整数値（例えば、８ビットの場合、最小値０−最大値２５５）で表された視差値を画素毎に有する、グレースケール化したビットマップ画像である。なお、距離算出部２００は、視差は、撮像部１１０ａと撮像部１１０ｂの間隔である基線長等のカメラパラメータに基づいて、撮像装置１１から被写体までの被写空間における距離に変換し、変換した距離を表す距離情報を生成してもよい。従って、距離算出部２００は、画素毎の視差値を表す距離情報の代わりに変換した距離をグレースケール化したビットマップ画像（デプスマップ）を距離情報として生成してもよい。
なお、撮像部１１０ａ、１１０ｂは、上下方向に異なる座標値に配置され、各々が撮像した画像を表す撮像画像を用いて視差を算出してもよい。その場合、距離算出部２００は、撮像部１１０ａ、１１０ｂのいずれかが撮影した画像における画像ブロックを基準として、他方が撮影した画像における画像ブロックを上下方向にずらして対応する画像ブロックを探索すればよい。

距離算出部２００は、ＳＡＤ値を算出する際、例えば、式（１）を用いる。

式（１）において、ｘ_ｉは、左画像ブロック４０１に含まれる、例えば緑色（Ｇ：Ｇｒｅｅｎ）の画素毎の画素値である。ｉが０〜８を表す個数９は、１個の画像ブロックに含まれる画素数の一例である。Ｘ _ｉ は、左画像ブロック４０１に含まれる画素毎の画素値である。画素値ｘ_０〜ｘ_８にそれぞれ対応する画素の配置は、図５の左画像ブロック４０１に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。ｘ_ａｉは、右画像ブロック４１１に含まれる画素毎の画素値である。画素値ｘ_ａ０〜ｘ_ａ８にそれぞれ対応する画素の配置は、図５の右画像ブロック４１１に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。

指標値は、ＳＡＤ値に限られない。左画像ブロック４０１に含まれる画素値と右画像ブロック４１１に含まれる画素値との相関を表すものであれば、他の指標値、例えばＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）値や、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）値であってもよい。
左画像ブロック４０１、右画像ブロック４１１の大きさであるウィンドウサイズは、上述のように水平方向３画素×上下方向３画素に限られない。例えば、水平方向５画素×上下方向５画素、水平方向９画素×上下方向９画素のように上述よりも大きくてもよいし、水平方向４画素×上下方向４画素のように中心座標が注目点からずれた位置になってもよい。また、右画像ブロック４１１をずらす方向は、上述のように左側から右側に限られず、右側から左側であってもよい。左画像ブロック４０１、右画像ブロック４１１に含まれる画素は、緑色（Ｇ）の画素の信号値に限られず、他の色、例えば赤色（Ｒ：Ｒｅｄ）の画素の信号値であってもよいし、他の表色系に基づく画素の信号値や、それらの任意の組み合わせであってもよい。

上述のブロックマッチング方式では、左画像４００のある座標と右画像４１０の対応する座標が左右方向にずれており、上下方向にずれておらず、左画像４００と右画像４１０のエピポーラ線が一致していると仮定していた。上述のように撮像部１１０ａ、１１０ｂの光軸が平行になるように配置していたのはエピポーラ（ｅｐｉｐｏｌａｒ）線（補助線とも呼ばれる）を一致させるためである。エピポーラ線を一致させるために、距離算出部２００が予め取得した撮像部１１０ａ、１１０ｂのカメラパラメータに基づいて、左画像４００と右画像４１０の光軸が平行になるように撮像した画像信号を座標変換する処理を行ってもよい。この座標変換を行う処理は、レクティフィケーション（ｒｅｃｔｉｆｉｃａｔｉｏｎ）、又は偏移修正と呼ばれる。距離算出部２００は、この処理を行った後で距離情報を生成する。
エピポーラ線とは、図６に示されるようにエピポーラ平面４５３と、２つの撮像部１１０ａ、１１０ｂ各々が備える撮像面４５４、４５５との各々が交わる線４５６、４５７である。エピポーラ平面４５３は、２つの撮像部１１０ａ、１１０ｂ各々が備えるレンズの焦点４５０、４５１と、被写空間における特徴点４５２の３点を通る平面である。
撮像部１１０ａ、１１０ｂが、各々の光軸が平行になるように配置されている場合、エピポーラ線４５６、４５７は、左画像４００、右画像４１０各々において上下方向の座標が同一の水平線になる。

〔ユーザ情報の解析〕
次に、ユーザ情報解析部２０１の構成について説明する。
図７は、本実施形態に係るユーザ情報解析部２０１の構成を表す概略図である。
ユーザ情報解析部２０１は、顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３、注目位置検出部３５、操作者判別部３９、描画入力検出部４０及び検出情報出力部４１を備える。

〔ユーザの顔の検出〕
顔検出部３０は、撮像部１１０ａから入力された映像信号が表す操作者の顔面の画像を表す領域を検出する。顔検出部３０は、検出した顔面の領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。顔検出部３０は、距離算出部２００から入力された距離情報から、２次元顔領域情報が表す２次元座標の画素に係る距離値を抽出する。顔検出部３０は、前述の２次元座標と対応する距離値を、被写空間における３次元座標に変換して、３次元顔位置情報を生成する。
顔面の領域を検出するために、顔検出部３０は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された画像信号から抽出する。

なお、顔検出部３０は、予め人間の顔面を表す濃淡（モノクロ）画像信号を記憶した記憶部を備えるようにしてもよい。そこで、顔検出部３０は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。
その他、顔検出部３０は、入力された画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って顔面の領域を検出してもよい。顔検出部３０が顔面の領域を検出する方法は、上述の方法に限られず、入力された画像信号から顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。
顔検出部３０は、検出した顔面の画像を表す顔面画像信号を目位置検出部３１に出力する。顔検出部３０は、生成した３次元顔位置情報及び２次元顔面領域情報を操作者判別部３９に出力する。顔検出部３０は、生成した３次元顔位置情報を検出情報の一部として検出情報出力部４１に出力する。

〔目の位置の検出〕
目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域の代表点（例えば、重心点）である２次元の目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３５および操作者判別部３９に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３９に出力する。

目位置検出部３１が目の領域を検出するために、例えば、予め撮影された目のテンプレート画像を記憶させた記憶部を備えておく。目位置検出部３１は、記憶部から目のテンプレート画像を読み出し、読み出したテンプレート画像と入力された顔面画像信号を照合するテンプレートマッチング法を用いてもよい。また、目位置検出部３１は、入力された顔面画像信号が表す顔面の領域のうち、予め設定された顔面における目の位置関係（例えば、予め計測された顔面の領域と両眼の位置）を表す目位置情報を用いて目の領域を検出してもよい。また、目位置検出部３１は、入力された顔面画像信号に基づいて特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて予め定めた判別処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行って目の領域を検出してもよい。
目位置検出部３１が目の領域を検出する方法は、上述の方法に限られず、顔面画像信号から目の領域を検出する方法であれば、いかなる方法を用いてもよい。
目位置検出部３１は、検出する目の領域として、両目の重心点にかかわらず、左目や右目の位置や、これら全てを表す目領域信号を出力するようにしてもよい。

〔手の位置の検出〕
手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を算出する。
手の画像を表す領域を検出するために、手位置検出部３２は、例えば予め設定した手の表面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。手位置検出部３２は、手の位置として検出した手の画像を表す領域の代表点（例えば、重心点）の２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、３次元手位置情報を操作者判別部３９に出力する。
なお、手位置検出部３２は、左手又は右手を区別せずに手画像信号、手位置情報を生成し、出力してもよいし、左手又は右手を区別して手画像信号、手位置情報を生成し、出力をしてもよい。

また、手の画像を表す領域を検出するために、手位置検出部３２は、距離算出部２００から入力された距離情報に基づいて、顔検出部３０から入力された３次元顔位置情報が表す３次元顔位置を基準とした予め定めた奥行方向の開始点と終了点で表される距離範囲内にある画像を撮像部１１０ａから入力された映像信号から手の画像を表す領域として抽出してもよい。予め定めた距離範囲は、例えば３次元顔位置より前方（表示部１２側）にある範囲である。これにより、操作者の前方または後方にいる別人の手を、操作者の手と認識することを防ぐことができる。

〔手の形状と指先位置の検出〕
手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて手の形状を検出する。
手の形状を検出するために、手形状・指先位置検出部３３は、手画像信号から、例えばエッジ抽出処理を行って手の輪郭部分を検出する。手形状・指先位置検出部３３は、検出した輪郭部分のうち予め定めた範囲の曲率半径（例えば、６−１２ｍｍ）をもつ突起部分を指の領域の画像として探索する。手形状・指先位置検出部３３は、探索において手位置情報が表す代表点からの所定の半径の探索領域に前述の突起部分の有無を判断し、順次半径を変更することで探索領域を同心円状に更新する。手形状・指先位置検出部３３は、検出した指の領域に基づいて指の本数を計数する。手形状・指先位置検出部３３は、検出した突起部分の頂点を各指の指先位置を表す２次元座標として検出する。手形状・指先位置検出部３３は、定めた指先における２次元座標に所在する画素の距離値を距離算出部２００から入力された距離情報から抽出する。手形状・指先位置検出部３３は、抽出した距離値と指先における２次元座標の組を被写空間における３次元座標を表す３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３５に出力する。手形状・指先位置検出部３３は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部４１に出力する。指画像信号、本数情報及び２次元指先位置情報のいずれか又はその組み合わせは、手の形状を示す情報であるため手形状情報と総称する。
また、手形状・指先位置検出部３３が手形状情報を検出する方法は、上述の方法に限られず、手画像信号から指画像信号や指先位置情報などの手形状情報を検出する方法であれば、いかなる方法を用いてもよい。

〔注目位置の検出〕
次に、注目位置を検出する処理について説明する。注目位置とは、操作者が注目している位置、もしくは注目していると推定される位置である。
注目位置検出部３５は、目位置検出部３１から入力された３次元目位置情報と、手形状・指先位置検出部３３から入力された３次元指先位置情報に基づいて注目位置を検出する。
注目位置検出部３５は、例えば、３次元目位置情報が表す目の位置に基づいて基準位置を定める。注目位置検出部３５は、いずれか一方の目の位置を基準位置と定めてもよいし、両眼の位置の重心点を基準位置と定めてもよい。また、いずれか一方の目として、予め設定した操作者の利き目を予め設定しておいてもよい。以下の説明では、両眼の位置の重心点を基準位置と定めておく場合を例にとって説明するが、本実施形態ではこれには限られない。

そして、注目位置検出部３５は、基準位置から３次元指先位置情報が示す位置に延びる直線と表示部１２の表示面との交点を注目位置と算出する。即ち、注目位置検出部３５は、指先の位置に対応する表示面上の位置を注目位置として検出する。この注目位置は、操作者の指先が表示部１２の表示面上を指示する位置である。なお、３次元指先位置情報が示す位置を指定位置と呼ぶ。
注目位置検出部３５は、算出した注目位置を表示部１２の表示面上の２次元画像座標系に変換し、変換した注目位置を示す注目位置情報を生成する。注目位置検出部３５は、生成した注目位置情報を検出情報の一部として検出情報出力部４１に出力する。
これにより、操作者は、操作者の目の位置（注目位置検出の基準位置）を中心に、操作者の手（注目位置検出の指定位置）の延長線上である注目位置を指示し、その位置における描画を容易に行うことが可能となる。
また、操作者が注目位置を示す手の形状は、手を開いた形状や、人差し指を立てた形状、手を閉じた形状など、３次元指先位置情報が取得できる形状であればどのような手の形状であってもよい。

〔操作者の判別〕
次に、操作者の判別処理について説明する。
操作者判別部３９は、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能距離の領域に所在するユーザを操作者として判別する（図１、２参照）。操作者判別部３９は、例えば、３次元顔位置情報が表す距離が予め定めた操作可能距離の上限よりも、撮像装置１１からの距離が短い位置に顔面が所在するユーザを操作者として判別する。これにより、顔検出部３０が顔面を検出したユーザの中から操作者が判別される。他方、操作者判別部３９は、予め定めた操作可能領域外に所在するユーザを操作不可者として判別する。

操作者判別部３９は、操作可能領域に所在するユーザの身体の他の一部（例えば、手）が、操作検出領域に所在するか否か判断する。ここで、操作者判別部３９は、手位置検出部３２から入力された３次元手位置情報が示す位置が操作検出領域に含まれるか否かを判断する。操作検出領域は、操作可能領域に含まれる領域であって、ユーザの身体の一部（例えば、目）の位置に基づく基準位置（例えば、一方の目の位置、両目の中点、等）から予め定めた範囲にある領域である。操作者判別部３９は、例えば、顔検出部３０から入力された３次元顔位置情報や目位置検出部３１から入力された３次元目位置情報に基づいて基準位置を定め、定めた基準位置に基づいて操作検出領域を定める。以下の説明では、この３次元手位置情報が示す位置を指定位置と呼ぶことがある。操作者判別部３９は、手位置検出部３２から入力された３次元手位置情報から、操作可能領域に含まれると判断された位置を示す３次元手位置情報を選択する。

また、操作者判別部３９は、操作可能領域に含まれる領域の個数を１個に制限してもよい（排他制御）。ここで、操作者判別部３９は、指定位置が操作検出領域の範囲内にあると判断した場合、その指定位置に身体の他の一部（例えば、手）を所在させたユーザを操作者１３と判断する。その場合、操作者判別部３９は、その操作者に係る検出情報に基づいて操作が開始されたことを表す操作開始信号を検出情報出力部４１に出力する。例えば、操作者判別部３９は、このように操作検出領域を定めることにより、その領域（例えば、顔面の前面）に身体の他の一部を移動させたユーザを操作者と判断する。
操作者判別部３９は、手位置検出部３２から入力された３次元手位置情報が表わす指定位置が、操作検出領域の範囲外に離れた場合、操作者は操作を終了したと判断する。その場合、操作者判別部３９は、その操作者に係る検出情報に基づいて操作が終了されたことを表す操作終了信号を検出情報出力部４１に出力する。即ち、操作者判別部３９が、ある操作者について操作開始信号を検出情報出力部４１に出力してから、操作終了信号を出力されるまでの間は、表示装置１０は、操作者と判断されたユーザの手の形状に基づく操作入力を受け付ける。他のユーザについて手位置情報が表す代表点が操作開始検出領域の範囲内にあったとしても、その間、表示装置１０は、他のユーザからの操作を受け付けない。

操作者判別部３９は、操作可能領域に身体の一部が所在している他のユーザが複数名いる場合には、操作者判別部３９は、手位置情報が表わす指定位置が操作検出領域の中心に最も近接する１名のユーザを操作者１３として定めるようにしてもよい。これにより、表示装置１０は、新たな１名の操作者１３からのみの操作入力を受け付け、同時に２名のユーザからの操作入力を受け付けないことができる。これにより、同時に複数名からの操作が受け付けられることを回避し、操作者１名のみの操作が受け付けられるようにする。

操作者判別部３９は、操作者として判断されたユーザに係る操作検出領域を示す操作検出領域情報と選択した３次元手位置情報を描画入力検出部（手入力検出部）４０に出力する。

〔描画入力の検出〕
次に、操作者による描画入力を検出する処理について説明する。
描画入力検出部４０は、操作者判別部３９から入力された操作検出領域情報に基づいて入力検出領域を定める。入力検出領域は、操作検出領域情報が示す操作検出領域に含まれる領域であって、描画入力が行われている位置を検出する領域である。描画入力検出部４０は、例えば、操作検出領域のうち、操作者の身体の他の一部（例えば、目）よりも予め定めた奥行値よりも奥の領域を入力検出領域と定める。
描画入力検出部４０は、定めた入力検出領域と操作者判別部３９から入力された３次元手位置情報が示す指定位置に基づいて描画入力が行われたか否かを検出する。描画入力検出部４０は、３次元手位置情報が示す指定位置が入力検出領域に含まれる場合、描画入力が行われたと検出する。描画入力検出部４０は、指定位置が定めた入力検出領域に含まれない場合には、描画入力が行われていないと判断する。これにより、操作者による描画入力が検出される。描画入力検出部４０は、描画入力が検出されたか否かを示す描画検出信号を生成し、生成した描画検出信号を検出情報出力部４１に出力する。

検出情報出力部４１には、顔検出部３０、操作者判別部３９、描画入力検出部４０、注目位置検出部３５および手形状・指先位置検出部３３から、それぞれ検出情報が入力される。ここで、検出情報出力部４１は、注目位置検出部３５から入力された注目位置情報を、描画入力検出部４０から入力された描画検出信号を制御部２２へ出力する。
検出情報出力部４１は、操作者判別部３９から操作開始信号が入力された場合、入力された操作開始信号に係る操作者の検出情報を制御部２２に出力する。検出情報出力部４１は、検出情報出力部４１は、操作者判別部３９から操作終了信号が入力された場合、入力された操作終了信号に係る操作者の検出情報の出力を終了する。なお、ユーザ情報解析部２０１は、上述した方法や特徴量に限られず、入力された映像信号に基づいてユーザの特徴やユーザが指示する操作に係る情報を検出してもよい。

〔入力検出領域の例〕
次に、入力検出領域の例について説明する。次に示す例では、操作者１３の両眼の位置と顔面の位置に基づいて定められた入力検出領域の例である。
図８は、本実施形態に係る入力検出領域の一例を表す概念図である。
図８（ａ）は、操作者１３の正面を表す。
入力検出領域ｒ１１は、例えば、操作者１３の左眼１３１−１及び右眼１３１−２を結ぶ両眼の高さを表す線分１３４を含む領域である。入力検出領域ｒ１１の上下方向の範囲ｈは、例えば、線分１３４と平行であって顔面１３２の上端に接する線分１３５と、線分１３４と平行であって顔面１３２の下端に接する線分１３６に挟まれる範囲である。この例では、入力検出領域ｒ１の上下方向の範囲も、操作検出領域ｒ１の上下方向の範囲と等しい。

図８（ｂ）は、操作者１３の左側面を表す。
操作検出領域ｒ１の奥行方向の範囲は、顔面１３２の最前面を基準位置Ｐ１０として、その位置から予め定めた距離ｄ１だけ前方（奥）から、さらに予め定めた距離ｄ１１＋ｄ１２だけ前方に至る範囲である。ここでは、顔面１３２の最前面から予め定めた距離ｄ１だけ前方の位置を、操作検出開始位置ｑ１と呼ぶ。入力検出領域ｒ１の奥行方向の範囲は、顔面１３２の最前面から予め定めた距離ｄ１＋ｄ１２だけ前方から、さらに予め定めた距離ｄ１１だけ前方に至る範囲である。即ち、顔面１３２の最前面から予め定めた距離ｄ１だけ前方から、さらに予め定めた距離ｄ１２だけ前方に至る範囲の領域は、入力非検出領域ｒ１２である。つまり、入力非検出領域は、操作検出領域ｒ１に属するが、描画入力が行われている位置を検出しない領域である。境界面ｂ１は、入力検出領域ｒ１１と入力非検出領域ｒ１２との間を区分する境界面である。

〔操作者が横たわっている場合の操作検出〕
図８に示した例では、操作者の身体の一部である両眼を結ぶ線が、底面に対して水平である姿勢（例えば、起立）を取っていることを前提としている。しかし、操作者は、このような姿勢を取るとは限らず、例えば、操作者は底面上に横たわることがある。このような場合にも、操作者判別部３９は、上述のように操作検出領域を定めて操作者１３を判断することによって、操作者の姿勢によらず安定した判断が可能であり、誤検出を回避することができる。このことを次に説明する。

図９は、本実施形態に係る操作検出領域の例を表す概念図である。
図９は、操作者１３が底面１３７の上を横たわっている例を示す。このとき、左眼１３１−１及び右眼１３１−２を結ぶ線分１３４と底面１３７となす角度θは、０°よりも９０°に近い角度（例えば、７０°）である。
この場合、操作者判別部３９は、目位置検出部３１から入力された３次元目位置情報に基づいて左眼１３１−１及び右眼１３１−２を結ぶ線分１３４を定める。操作者判別部３９は、顔検出部３０から入力された３次元顔面領域情報に基づいて顔面の上端に接し線分１３４に平行な線分１３５と顔面の下端に接し線分１３４に平行な線分１３６を定める。操作者判別部３９は、線分１３５と線分１３６に挟まれる領域を操作検出領域ｒ１の幅ｈを定める。この操作検出領域ｒ１は、図８に示すものと方向が異なるに過ぎない。また、操作者判別部３９は、操作検出領域ｒ１の奥行方向の範囲も上述と同様にして、顔面１３２に垂直な方向を奥行方向として定めることができる。
このように操作者判別部３９は、操作者１３の身体の一部である顔面の位置に基づいて操作検出領域ｒ１を定めることができる。これにより、描画入力に係る身体の他部である手との位置関係に基づいて操作を受け付ける操作者が判別され、ひいては入力検出領域が定められる。

次に、入力検出領域の他の例について説明する。次に示す例では、操作者１３の両眼の位置と表示部１２の表示領域に基づいて定められた入力検出領域の例である。
図１０は、本実施形態に係る入力検出領域の他の例を表す概念図である。
図１０（ａ）は、操作者１３の左側面を表す。図１０（ａ）の紙面に対する上下方向、左右方向は、それぞれ操作者１３に対する上下方向、左右方向を示す。
図１０（ａ）において、入力検出領域ｒ１１は、塗りつぶされた部分で示されている。入力検出領域ｒ１１は、基準位置Ｐ１０からの距離が予め定めた奥行方向の距離ｄ１＋ｄ１２と等しいかｄ１＋ｄ１２よりも遠く、距離ｄ１＋ｄ１１＋ｄ１２と等しいか、それよりも近い領域（奥行方向操作範囲）である。また、入力検出領域ｒ１１の仰角の範囲ｒ_θは、基準位置Ｐ１０を頂点として、その頂点から表示部１２の上端への線分と、その頂点から表示部１２の下端への線分とのなす範囲（上下方向操作範囲ｒ_θ）である。
なお、操作検出領域ｒ１は、基準位置Ｐ１０から奥行方向に見て予め定めた入力検出領域ｒ１１と入力非検出領域ｒ１２を合わせた領域である。入力非検出領域ｒ１２は、斜線で塗りつぶされた部分で示されている。入力非検出領域ｒ１２は、基準位置Ｐ１０からの距離が予め定めた奥行方向の距離ｄ１と等しいかｄ１よりも遠く、距離ｄ１＋ｄ１２と等しいか、それよりも近い領域である。

図１０（ｂ）は、操作者１３の上表面を表す。図１０（ｂ）の紙面に対する上下方向、左右方向は、それぞれ操作者１３に対する前後方向、左右方向を示す。
図１０（ｂ）において、入力検出領域ｒ１１の方位角方向の範囲ｒ_φは、基準位置Ｐ１０を頂点として、その頂点から表示部１２の左端への線分と、その頂点から表示部１２の右端への線分とのなす角度（左右方向操作範囲ｒ_φ）である。入力非検出領域ｒ１２の方位角方向の範囲ｒ_φは、入力検出領域ｒ１１の方位角方向の範囲ｒ_φと同様である。
これにより操作者から表示部１２が視認される表示領域に合わせた視野角（画角）に合わせて入力検出領域が定められる。定められる入力検出領域は立方体ではなく、表示部１２の表示面と平行な平面が、操作者１３から表示部１２に近づく（操作者から奥行方向に遠ざかる）にしたがって徐々に大きくなる形状となる。操作者の視野に応じて注目位置を指示することで、操作者は、その注目位置への描画を直感的に行うことができる。

〔注目位置の例〕
次に、注目位置の例について説明する。次に示す例では、操作者１３の両眼の位置と顔面の位置に基づいて定められた注目位置の例である。
図１１は、注目位置の例を示す概念図である。
図１１（ａ）は、操作者１３の左側面を表す。
図１１（ａ）において、紙面に対して左方、下方はそれぞれ３次元空間座標系におけるＺ方向（奥）、Ｙ方向（下）を示し、右斜め上の方向はＸ方向（右方）を示す。表示部１２の表示面上において、右斜め上の方向、下方は、それぞれ２次元画像座標系におけるｘ方向（右）、ｙ方向（下）を示す。注目位置Ｐ１２は、基準位置Ｐ１０と指定位置Ｐ１１を結ぶ直線が、表示部１２の表面に射影された交点として算出される。基準位置Ｐ１０、指定位置Ｐ１１及び注目位置Ｐ１２は、３次元空間座標系における座標値で表されている。注目位置検出部３５は、３次元空間座標系における座標値で表されている注目位置Ｐ１２を、表示部１２の表示面上の２次元画像座標系における座標値に変換する。
図１１（ｂ）は、左眼１３１−１の位置と右眼１３１−２の位置との中点の前方に基準位置Ｐ１０があり、その中点と基準位置Ｐ１０が操作者１３の正中面１３８内にあることを示す。左眼１３１−１の位置と右眼１３１−２の位置は、ともに３次元空間画像座標系で与えられている。

〔動作の制御〕
次に、制御部２２の構成について説明する。
制御部２２は、検出情報出力部４１から入力された検出情報から、３次元顔位置情報、手形状情報（指画像信号、本数情報、２次元指先位置情報）、特徴情報、注目位置情報及び描画検出信号を抽出する。制御部２２は、抽出した情報に基づく処理を行う。抽出された情報のうち、手の形状を表す手形状情報は、指画像信号、本数情報、２次元指先位置を含んで構成される。手形状情報は、一時的又は静止した手の形状、即ち姿勢を表す情報であってもよいし、時間経過によって変化する手の形状、即ち動作を表す情報であってもよい。

図１２は、本実施形態に係る制御部２２の構成を示す概略図を示す。
制御部２２は、表示制御部（画像形成部）２２１及び案内画像表示部２２２を備える。
〔描画表示制御〕
表示制御部２２１は、抽出した描画検出信号が、描画入力が検出されたことを示す場合、注目位置情報が示す注目位置が移動しながら軌跡の画像を形成し、形成した画像を示す画像信号を生成する。軌跡の画像は、時間経過に伴って注目位置が移動することに応じて時刻毎の点画を追記することによって形成される。
ここで、表示制御部２２１は、抽出した手形状情報に基づいて開始情報又は停止情報を検知する。開始情報とは、画像の形成を開始することを指示する情報である。停止情報とは、画像の形成を停止することを指示する停止情報である。情報ＤＢ２１には、予め形成開始情報及び形成停止情報と対応付けてそれぞれ異なる手の形状を示す手形状情報を記憶しておく。例えば、形成開始情報とは、人差し指を立て、その他の指を握った形状を示す手形状情報とを対応付けておく。形成終了情報とは、互いに隣接する指を接触させながら５本の指を伸ばした形状を示す手形状情報とを対応付けておく。ここで、表示制御部２２１は、情報ＤＢ２１から入力された手形状情報に対応する開始情報の読み出しに成功した場合、形成開始情報が検知されたと判断し、形成停止情報の読み出しに成功した場合、形成停止情報が検知されたと判断する。表示制御部２２１は、形成開始情報が検知された後、形成停止情報が検知されるまでの間の注目位置の軌跡を示す画像を形成し、形成した画像を示す画像信号を生成する。形成開始情報と形成停止情報は、１枚（フレーム）の画像を区分する情報であり、上述の描画入力が検出されたか否かを示す描画検出信号や、ある操作者による操作の開始を示す操作開始信号もしくは操作の終了を示す操作終了信号とは別個の情報である。表示制御部２２１は、生成した画像信号を表示部１２に出力する。

表示制御部２２１が形成する画像は、例えば、注目位置を画素単位で表示した画像である。注目位置の位置を示すものであれば、これには限られない。また、表示制御部２２１は、注目位置の軌跡に入力検出画像（カーソル）を重畳した画像を示す画像信号を生成してもよい。入力検出画像が重畳される位置は、現在（最新）の注目位置であってもよい。入力検出画像の形状は、四角形、円、等の幾何学的な形状に限らず、手の形状、顔面画像（操作者自身の顔面画像でもよい）、アバター（分身）画像であってもよい。そこで、情報ＤＢ２１には、入力検出画像を示す入力検出画像信号を予め記憶しておき、表示制御部２２１は情報ＤＢ２１から入力検出画像信号を読み出す。

また、表示制御部２２１は、抽出した描画検出信号が、描画入力が検出されないことを示す場合、注目位置の軌跡が追記されないため、最後に追記された時点の画像のまま変化しない。そのような場合においても、表示制御部２２１は、既に形成された注目位置の画像に入力検出画像を注目位置に重畳してもよい。重畳される位置は注目位置に限らず、予め定めた位置であってもよい。

表示制御部２２１は、描画検出信号が、描画入力が検出されたことを示す場合とされない場合とで、異なる態様の入力検出画像を用いてもよい。注目位置情報が入力されるときに用いられる入力検出画像は、注目位置情報が入力されないときに用いられる入力検出画像よりも注意を引く態様（アクティブ表示）とする。注意を引く態様とは、例えば、輝度がより明るい、点滅（輝度が一定時間間隔で変化）する、他の画像とは異なる色で示される、等がある。入力検出画像として顔面画像を用いる場合には、描画もしくは筆記を行なっている状況下の画像であってもよい。
これにより、操作者は、注目位置の入力が検出されているか否か、画像として現に入力されている注目位置を視認することができる。

〔案内画像表示〕
情報ＤＢ２１には、案内画像信号を予め記憶させておく。案内画像信号は、操作者に注目位置を入力するための操作方法を案内する図や文字を示す案内画像を示す信号である。案内画像表示部２２２は、情報ＤＢ２１から案内画像信号を読み出し、読み出した案内画像信号を表示部１２に出力する。

なお、制御部２２は、予め操作対象となる処理の種別毎に手形状情報を対応付けられて記憶された記憶部を備えていてもよい。制御部２２は、記憶部から手形状情報を読み出し、読み出した手形状情報と入力された手形状情報を照合する。制御部２２は、照合に成功した手形状情報に対応した処理を実行する。
手の形状は、表示装置１０における処理の種類に対する指示として特定できればよい。例えば、伸ばしている指の本数、手の方向、親指の先端と人差し指の先端を接触させた形状であってもよい。また、本実施形態では、操作者の身体の他の一部として手の形状に限られず、身体の手以外の他の部分、例えば足の形状を用いてもよい。

〔注目位置情報の入力〕
次に、注目位置情報を入力するときの表示装置１０の動作例について説明する。
図１３は、本実施形態に係る表示装置１０の一動作例を示す概念図である。
図１３において、紙面に対して右方、下方はそれぞれ３次元空間座標系におけるＸ方向（右）、Ｙ方向（下）を示し、右斜め上の方向はＺ方向（奥行）を示す。表示部１２の表示面上において、右方、下方は、それぞれ２次元画像座標系におけるｘ方向（右）、ｙ方向（下）を示す。

この例において、基準位置Ｐ１０は、操作者１３の両眼それぞれの位置の重心点の前方の直近にある。指定位置Ｐ１１は、操作者の右手の先端の位置である。破線で示されている三角錐台は、入力検出領域ｒ１１を示す。指定位置Ｐ１１は、入力検出領域ｒ１１に含まれるため、描画入力として検出される。注目位置Ｐ１２は、基準位置Ｐ１０から指定位置Ｐ１１への直線と表示部１２の表示面との交点として算出される。算出された注目位置Ｐ１２は、３次元空間座標系から当該表示面上の２次元画像座標系に座標変換が行われる。この瞬間において、表示部１２は、座標変換を行った注目位置Ｐ１２に点画を追加的に表示する。従って、表示部１２は、指定位置Ｐ１１が入力検出領域ｒ１１に含まれる限り時間経過に応じて注目位置Ｐ１１の軌跡の画像を表示する。

〔画像の表示例〕
次に、表示部１２に表示される画像の表示例について説明する。この画像は、操作者による描画入力（手書き入力）による筆跡ともいえる画像である。
図１４は、本実施形態における画像の一表示例を示す概念図である。
図１４（ａ）において、操作者１３と入力検出領域ｒ１１との位置関係は図８（ｂ）と同様である。この例では、指定位置Ｐ１１が入力検出領域ｒ１１に含まれていることを示す。図１４（ｂ）において、境界面ｂ１によって区分される入力検出領域ｒ１１と表示部１２との位置関係は、図１３と同様である。この例では、指定位置Ｐ１１は、境界面ｂ１よりも奥にある。指定位置Ｐ１１が入力検出領域ｒ１１内において左から右に移動することに応じて、表示部１２にストロークｓ１が表示されることを示す。ストロークとは、空間的に連続する線の一区分、即ち「画（かく）」に相当する。つまり、ストロークｓ１は、注目位置Ｐ１２が左から右に移動したことを示す軌跡である。

図１５は、本実施形態における画像の他の表示例を示す概念図である。
図１５（ａ）において、操作者１３と入力検出領域ｒ１１との位置関係は図１４（ａ）と同様である。この例では、指定位置Ｐ１１が入力検出領域ｒ１１に含まれず、入力非検出領域ｒ１２に含まれることを示す。図１５（ｂ）において、境界面ｂ１によって区分される入力検出領域ｒ１１と表示部１２との位置関係は、図１４（ｂ）と同様である。この例では、指定位置Ｐ１１は、境界面ｂ１よりも手前にある。指定位置Ｐ１１は入力非検出領域ｒ１２内において右上から左下に移動するため、表示部１２にはストロークｓ１の他に、ストロークが新たに表示されないことを示す。つまり、操作者１３は、前回のストロークの表示を完了した後、次のストロークに移るまでの間、指定位置Ｐ１１が入力検出領域ｒ１１の範囲外となる領域内で自己の指を動かせばよいことが示される。

図１６は、本実施形態における画像のさらに他の表示例を示す概念図である。
図１６（ａ）において、操作者１３と入力検出領域ｒ１１との位置関係は図１５（ａ）と同様である。この例では、指定位置Ｐ１１が入力検出領域ｒ１１に含まれることを示す。図１６（ｂ）において、境界面ｂ１によって区分される入力検出領域ｒ１１と表示部１２との位置関係は、図１５（ｂ）と同様である。この例では、指定位置Ｐ１１は、境界面ｂ１よりも奥にある。指定位置Ｐ１１が入力検出領域ｒ１１内において左から右に移動するため、表示部１２に新たにストロークｓ２が表示されたことを示す。つまり、操作者１３は、次のストロークを入力する際には、再度、指定位置Ｐ１１が入力検出領域ｒ１１の範囲内となる領域内で自己の指を動かせばよいことが示される。

つまり、操作者１３は、指定位置Ｐ１１を入力検出領域ｒ１１内で移動させるか、その領域外で移動させるかによって各ストロークを区分して、入力することができる。その領域の使い分けは、身体の他の一部である手の位置を変えることで実現できる。これにより、操作者１３は、複数のストロークを有する文字、その他、複雑な形状を有する画像を簡単な動作によって入力することができる。なお、図１４−１６は、漢字の「二」の文字を入力する例を示したが、本実施形態では、その他の文字、図形、記号等を構成する線画を容易に入力することができる。

〔入力検出画像の表示例〕
次に、入力検出画像の表示例について説明する。
図１７は、本実施形態における入力検出画像の一表示例を示す概念図である。
図１７において、表示部１２と操作者１３との位置関係は、図１３における当該位置関係と同様である。但し、入力検出領域ｒ１１は実線で示されており、入力非検出領域ｒ１２は破線で示されている。
指定位置Ｐ１１−１は、操作者１３の身体の他の一部である指先の位置であって、入力検出領域ｒ１１に含まれる位置にある。注目位置Ｒ１１−１は、基準位置Ｐ１０から指定位置Ｐ１１−１を通る直線と表示部１２の表示面との交点である。表示部１２には、注目位置Ｒ１１−１に至るストロークｓ３が表示されている。注目位置Ｒ１１−１に、その先端が位置するように入力検出画像Ｃ−１が表示されている。入力検出画像Ｃ−１は、一例として筆記具としての鉛筆と同様な輪郭を有する画像であって、その代表点が鉛筆の先端である画像である。入力検出画像Ｃ−１は、後述する入力検出画像Ｃ−２よりも明るく目立つ態様で表示されている。これにより、操作者は、表示装置１０が現に描画入力を検出している状態であること、受け付けた描画入力に基づいて指定位置Ｐ１１−１に対応する注目位置Ｒ１１−１で終端される軌跡が表示（描画）されることを視認することができる。

他方、指定位置Ｐ１１−２は、操作者１３の身体の他の一部である指先の位置であって、操作検出領域の一部である入力非検出領域ｒ１２に含まれる位置にある。注目位置Ｒ１１−２は、基準位置Ｐ１０から指定位置Ｐ１１−２を通る直線と表示部１２の表示面との交点である。表示部１２には、注目位置Ｒ１１−１に至るストロークｓ３が表示されている。注目位置Ｒ１１−２に、その重心点が位置するように入力検出画像Ｃ−２が表示されている。入力検出画像Ｃ−２は、一例として正方形の輪郭を有する画像であって、入力検出画像Ｃ−１よりも暗く目立たない態様で示されている。ここでは、正方形の輪郭を有する画像を表示する例を示したが、これに限定されるものではなく、入力検出画像Ｃ−１を表示しない（指定位置Ｐ１１−２が入力非検出領域ｒ１２に含まれる場合には、入力検出画像を表示しない）こととしても良い。これにより、操作者１３が入力を開始すると、入力検出画像が表示され、入力が開始されたことを知ることできる。また、注目位置Ｒ１１−２にはストロークｓ３は終端されていない。
これにより、操作者は、表示装置１０が、操作入力が受け付けられている状態ではあるが、受け付けられた操作入力では指定位置Ｐ１１−２に対応する注目位置Ｒ１１−２の軌跡が表示（描画）されない状態であることを視認することができる。

〔処理フロー〕
次に、本実施形態に係るデータ入力処理について説明する。
図１８は、本実施形態に係るデータ入力処理を表すフローチャートである。
（ステップＳ１０１）撮像部１１０ａ、１１０ｂは、それぞれ前方の映像を撮像し、撮像した映像信号を距離算出部２００に出力する。撮像部１１０ａは、映像信号をユーザ情報解析部２０１の顔検出部３０、手位置検出部３２に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）距離算出部２００は、撮像部１１０ａ、１１０ｂから各々入力された映像信号に基づいて撮像装置１１から操作者までの距離を、例えばステレオマッチング方式を用いて算出し、算出した距離情報を生成する。距離算出部２００は、生成した距離情報をユーザ情報解析部２０１の顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３に出力する。その後、ステップＳ１０３に出力する。

（ステップＳ１０３）顔検出部３０は、撮像部１１０ａから入力された映像信号が表す操作者の顔面の画像を表す領域を検出する。顔検出部３０は、検出した顔面の領域に基づいて２次元顔面領域情報を生成する。顔検出部３０は、距離算出部２００から入力された距離情報から、２次元顔領域情報が表す２次元座標の画素に係る距離値を抽出する。顔検出部３０は、前述の２次元座標と対応する距離値を、被写空間における３次元座標に変換して、３次元顔位置情報を生成する。顔検出部３０は、検出した顔面の画像を表す顔面画像信号を目位置検出部３１に出力する。顔検出部３０は、生成した３次元顔位置情報を操作者判別部３９に出力する。顔検出部３０は、生成した３次元顔位置情報を検出情報の一部として検出情報出力部４１に出力する。

目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域に基づいて目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３５および操作者判別部３９に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号を操作者判別部３９に出力する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を表す２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、３次元手位置情報を操作者判別部３９に出力する。

手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて手の形状を検出する。手形状・指先位置検出部３３は、検出した手の形状に基づいて指の領域の画像を探索し、指の本数を計数する。手形状・指先位置検出部３３は、各指の指先位置を表す２次元座標として検出し、検出した２次元座標に所在する画素の距離値を距離算出部２００から入力された距離情報から抽出する。手形状・指先位置検出部３３は、抽出した距離値と指先における２次元座標の組を被写空間における３次元座標を表す３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３５に出力する。手形状・指先位置検出部３３は、検出した指の領域を表す指画像信号、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部４１に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）操作者判別部３９は、顔検出部３０から入力された３次元顔位置情報に基づいて、顔面の領域を検出したユーザのうち予め定めた操作可能領域に所在するユーザを操作者として判別する。操作者判別部３９は、顔検出部３０から入力された３次元顔領域情報や目位置検出部３１から入力された３次元目位置情報に基づいて操作検出領域を定める。操作者判別部３９は、操作可能領域に所在する操作者の手が、操作検出領域に所在するか否か判断する。これにより操作者からの操作が開始されたことを検知する。操作が開始されたと判断された場合（ステップＳ１０５ ＹＥＳ）、ステップＳ１０６に進む。操作が開始されていないと判断された場合（ステップＳ１０５ ＮＯ）、ステップＳ１０１に進む。

（ステップＳ１０６）操作者判別部３９は、操作者の顔の位置、および操作可能領域の手の位置を追跡し、同時に操作入力を受け付ける操作者を特定する。その後、ステップＳ１０７に進む。
（ステップＳ１０７）注目位置検出部３５は、目位置検出部３１から入力された３次元目位置情報に基づいて基準位置を定める。注目位置検出部３５は、定めた基準位置と手形状・指先位置検出部３３から入力された３次元指先位置情報が示す指定位置を結ぶ直線と表示部１２の表示面の交点を注目位置として検出する。注目位置検出部３５は、生成した注目位置情報を検出情報の一部として検出情報出力部４１に出力する。その後、ステップＳ１０８に進む。

（ステップＳ１０８）操作者判別部３９は、操作可能領域に所在する操作者の手が、操作検出領域に所在するか否かを判断し、操作者が操作を継続しているか（操作中）否かを検出する。操作者判別部３９は、操作者の手の位置が、操作検出領域に含まれると判断した場合、（ステップＳ１０８ ＹＥＳ）、ステップＳ１０９に進む。操作者判別部３９は、操作者の手が、操作検出領域に含まれないと判断した場合（ステップＳ１０８ ＮＯ）、ステップＳ１１１に進む。

（ステップＳ１０９）描画入力検出部４０は、操作者判別部３９から入力された操作検出領域情報に基づいて入力検出領域を定める。描画入力検出部４０は、定めた入力検出領域に操作者判別部３９から入力された３次元手位置情報が示す指定位置が含まれるか否かを判断し、操作者が描画入力を行っているか否かを検出する。描画入力検出部４０は、描画入力が検出されたか否かを示す描画検出信号を生成し、生成した描画検出信号を検出情報出力部４１に出力する。
描画入力検出部４０が、指定位置が入力検出領域に含まれると判断した場合（ステップＳ１０９ ＹＥＳ）、ステップＳ１１０に進む。描画入力検出部４０が、指定位置が入力検出領域に含まれないと判断した場合（ステップＳ１０９ ＮＯ）、ステップＳ１０７に進む。

（ステップＳ１１０）表示制御部２２１には、検出情報出力部４１から描画検出信号と注目位置情報が入力される。表示制御部２２１は、描画検出信号が、描画入力が検出されたことを示す場合、注目位置情報が示す注目位置が移動する軌跡の画像を示す画像信号を生成する。表示制御部２２１は、生成した画像信号を表示部１２に出力する。表示部１２は表示制御部２２１から入力された画像信号が示す入力画像（ストローク）を表示する。その後、ステップＳ１０７に進む。

（ステップＳ１１１）制御部２２は、操作者による操作が終了したか否かを判断する。制御部２２は、例えば、電源断を表す操作入力が入力された場合に操作が終了したと判断する。操作が終了していないと判断された場合（ステップＳ１１１ ＮＯ）、ステップＳ１０１に進む。操作が終了したと判断された場合（ステップＳ１１１ ＹＥＳ）、データ入力処理を終了する。

このように、本実施形態によれば、撮像装置が撮像した映像に表されたユーザの身体の一部の位置である第１位置と身体の一部とは他の一部の位置である第２位置を検出し、第１位置と第２位置に基づいて描画入力を検出する。また、本実施形態では、第２位置に対応する画像表示面上の注目位置を検出する。これにより、ユーザは専用のデバイスを用いずに身体の他の一部を動作させることによって注目位置の軌跡である画像データ入力を円滑に行うことができる。

（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について説明する。
本実施形態に係る表示装置１０ａ（図示せず）は、表示装置１０（図３）のユーザ情報解析部２０１において、描画入力検出部４０（図７）の代わりに描画入力検出部４０ａ（図示せず）を備える。
描画入力検出部４０ａは、描画入力検出部４０（図７）と同様な処理を行う。但し、描画入力検出部４０ａは、操作者判別部３９から入力された操作検出領域情報の他、操作者判別部３９から入力された３次元手位置情報に基づいて入力検出領域を定める。入力検出領域を定めるために用いる３次元手位置情報は、描画入力に係る一方の手（例えば、右手）とは反対側の手（例えば、左手）についての３次元手位置情報である。
描画入力検出部４０ａは、例えば、入力検出領域と入力非検出領域の境界面ｂ１における奥行方向の座標値を、その反対側の手に係る３次元手位置情報が示す奥行方向の座標値と定める。そして、描画入力検出部４０ａは、「一方の手」に係る３次元手位置情報が示す指定位置が、上述の入力検出領域に含まれるか否かを判断する。
また、本実施形態では、手位置検出部３２は、左手又は右手を区別して手画像信号、３次元手位置情報を生成し出力する。従って、描画入力検出部４０ａには、操作者判別部３９から左右それぞれの手について３次元手位置情報が入力される。

上述の「一方の手」として、例えば、操作者判別部３９は、操作者の顔面の画像を示す顔面画像信号と描画入力部位情報とを対応付けて自部が備える記憶部に予め記憶させておいてもよい。描画入力部位情報は、描画入力に係る身体の他の一部、例えば「一方の手」が右手もしくは左手であるかを識別する情報である。その「一方の手」は、例えば、利き手である。ここで、操作者判別部３９は、顔検出部３０から入力された顔面画像信号と照合できた顔面画像信号に対応する描画入力部位情報を記憶部から読み出し、読み出した描画入力部位情報が示す「一方の手」を判断する。
また、操作者判別部３９は、操作検出領域に先に導入された手を「一方の手」と定め、後に導入された手を身体のさらに他の一部である反対側の手、つまり「他方の手」と定めてもよい。ここで、手位置検出部３２から入力された３次元手位置情報のうち、その情報が示す位置が操作検出領域に初めて含まれる方の手を「一方の手」と判断する。
なお、「一方の手」とは、右手に限らず、左手であってもよい。「一方の手」が左手である場合には、「他方の手」とは右手である。

次に、本実施形態に係る入力検出領域の例について説明する。
図１９は、本実施形態に係る入力検出領域の一例を表す概念図である。
図１９において、操作者１３と操作検出領域ｒ１との位置関係は、図８に示す位置関係と同様である。
図１９（ａ）は、操作者１３の正面を表す。
図１９（ｂ）は、操作者１３の左側面を表す。
図１９（ｂ）において、境界面ｂ１の奥行方向の座標値は、操作者１３の反対側の手として左手ｈｌの奥行方向の座標値と定められている。これにより、操作者１３は、その意思に応じて境界面ｂ１の奥行方向の位置を柔軟（フレキシブル）に変更することができる。

そのため、操作者は、他方の手の奥行の位置を通る境界面ｂ１よりも、一方の手が奥にあるか、手前にあるかによって描画入力が検知されるか否かを直ちに知ることができるため、誤入力を減らし、容易に描画入力を行うことができる。かかる操作は、ノートや黒板等の筆記面に他方の手を接触しながら、一方の手で鉛筆や白墨等の筆記具等を用いて筆記を行う動作と類似している。そのため、本実施形態では、初めて使用する利用者、電子機器に不慣れな利用者等、操作に習熟していない利用者であっても、描画入力及びこれに基づく画像の表示（描画）を実現することができる。

なお、描画入力検出部４０ａは、一方の手による描画入力が検出されたか否かに基づいて、上述の境界面ｂ１の奥行方向の座標値を、他方の手の奥行方向の座標値よりも予め定めた値だけずれた値に定めてもよい。例えば、描画入力検出部４０ａは、描画入力が検出された直後から次に描画入力が検出されなくなるまで、境界面ｂ１の奥行方向の座標値を予め定めた値だけ小さい値（手前）に定めてもよい。また、描画入力検出部４０ａは、描画入力が検出されなくなった直後から次に描画入力が検出されるまで、境界面ｂ１の奥行方向の座標値を予め定めた値だけ大きい値（奥）に定めてもよい。これにより、描画入力中に一方の手が常に他方の手よりも奥に位置させることや、描画入力がなされていないときに一方の手が常に他方の手よりも手前に位置させなくてもよい。そのため、操作者は、描画入力に際する不自然な姿勢を維持することなく、自然な入力操作が可能になる。

また、描画入力検出部４０ａは、他方の手に係る３次元手位置情報が示す指定位置に基づいて消去入力が行われたか否かを検出してもよい。消去入力とは、描画入力によって形成された画像のうち注目位置から予め定めた範囲内の画像を消去することを指示する操作入力である。描画入力検出部４０ａは、他方の手に係る３次元手位置情報が示す指定位置の時間変化が、予め定めた時間変化パターンと照合するか否かを判断する。この時間変化パターンは、他方の手の手振り（動作）として、例えば、左右もしくは上下に一定周期で振る動作等の動作パターンを示す。描画入力検出部４０ａには、予め時間変化パターンを記憶しておき、３次元手位置情報が示す指定位置の時間変化と記憶した時間変化パターンとの類似性を示す指標値に基づいて、照合するか否かを判断する。描画入力検出部４０ａは、照合すると判断した場合には、他方の手に係る３次元手位置情報に基づいて境界面ｂ１における奥行方向の座標値を定める処理を停止する。
描画入力検出部４０ａは、照合すると判断され、かつ他方の手に係る３次元手位置情報が示す指定位置が入力検出領域に含まれる場合、消去入力が行われたと検出する。描画入力検出部４０ａは、指定位置が定めた入力検出領域に含まれない場合には、消去入力が行われていないと判断する。描画入力検出部４０ａは、消去入力が検出されたか否かを示す消去検出信号を生成し、生成した消去検出信号を検出情報出力部４１に出力する。
描画入力検出部４０ａは、基準位置から指定位置を結ぶ直線と表示部１２の表示面との交点を他方の手に係る注目位置として算出し、算出した他方の手に係る注目位置を示す注目位置情報を検出情報出力部４１に出力する。

表示制御部２２１は、検出情報出力部４１から入力された消去検出信号が、消去入力が検出されたことを示す場合、形成した軌跡の画像から、他方の手に係る注目位置情報が示す注目位置を基準として予め定めた範囲内の部分を消去する。画像が消去される領域は、注目位置が時間経過に伴って変化することによって移動する。表示制御部２２１は、消去検出信号に基づいて、その一部又は全部が消去された軌跡の画像を示す画像信号を生成し、生成した画像信号を表示部１２に出力する。表示部１２は、表示制御部２２１から入力された画像信号が示す、その一部又は全部が消去された軌跡の画像を表示する。

よって、一方の手による操作入力によって形成された画像について、他方の手を予め定めたパターンの動作（例えば、上下もしくは左右に振る、等）をさせることで、その指定位置に対応する注目位置の近傍に形成された画像が消去される。かかる動作パターンは、紙等の筆記面に対して消しゴム等の編集具を接触させながら移動させる際の動作パターンに類似する。従って、操作に習熟していない利用者であっても、描画入力により形成した画像の一部又は全部を容易に消去することができる。

〔処理フロー〕
次に、本実施形態に係るデータ入力処理について説明する。
図２０は、本実施形態に係るデータ入力処理を表すフローチャートである。
図２０に示されるステップＳ１０１〜Ｓ１０８、Ｓ１１０、及びステップＳ１１１は、図１８に示したものとそれぞれと同様である。ステップＳ１０８において、操作者判別部３９が、操作者の手の位置が、操作検出領域に含まれると判断した場合、（ステップＳ１０８ ＹＥＳ）、ステップＳ２０８に進む。

（ステップＳ２０８）手位置検出部３２は、操作者の一方の手の他、他方の手、例えば、左手についても、その画像を表す領域を撮像部１１０ａから入力された映像信号に基づいて手画像信号を生成する。手位置検出部３２は、入力された映像信号と距離算出部２００から入力された距離情報に基づいて２次元手位置情報と３次元手位置情報を生成する。手位置検出部３２は、生成した手画像信号と、２次元手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、３次元手位置情報を操作者判別部３９に出力する。

手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて他方の手の形状を検出する。手形状・指先位置検出部３３は、検出した手の形状に基づいて指の領域の画像を探索し、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部４１に出力する。また、手形状・指先位置検出部３３は、各指の指先における２次元座標と距離算出部２００から入力された距離情報に基づいて３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３５に出力する。その後、ステップＳ２０９に進む。

（ステップＳ２０９）描画入力検出部４０ａは、操作者判別部３９から入力された操作検出領域情報と操作者判別部３９から入力された他方の手に係る３次元手位置情報に基づいて入力検出領域を定める。描画入力検出部４０ａは、定めた入力検出領域に操作者判別部３９から入力された一方の手に係る３次元手位置情報が示す指定位置が含まれるか否かを判断し、操作者が描画入力を行っている（入力中）か否かを検出する。描画入力検出部４０ａは、描画入力が検出されたか否かを示す描画検出信号を生成し、生成した描画検出信号を検出情報出力部４１に出力する。
描画入力検出部４０ａが、指定位置が入力検出領域に含まれると判断した場合（ステップＳ２０９ ＹＥＳ）、ステップＳ１１０に進む。描画入力検出部４０ａが、指定位置が入力検出領域に含まれないと判断した場合（ステップＳ２０９ ＮＯ）、ステップＳ１０７に進む。

このように、本実施形態によれば、ユーザの身体の一部の位置である第１位置に基づいて描画入力を検出する入力検出領域を定め、その身体の他の一部の位置である第２位置が入力検出領域に含まれるか否かに基づいて描画入力を検出する。また、本実施形態では、前記撮像装置が撮像した映像に表されたユーザの身体のさらに他の一部の位置を示す第３位置を検出し、検出した第３位置を通るように入力検出領域の境界の１つを定める。これにより、ユーザは身体のさらに他の一部の位置に応じて入力検出領域を柔軟に変更でき、その位置に基づいて描画入力が検出される領域を認識することができる。そのため身体の他の一部の位置による操作入力を容易に行うことができる。

（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について説明する。
本実施形態に係る表示装置１０ｂ（図示せず）は、表示装置１０（図３）の制御部２２において、表示制御部２２１（図１２）の代わりに表示制御部２２１ｂ（図示せず）を備える。
表示制御部２２１ｂは、表示制御部２２１（図１）と同様な処理を行う。但し、表示制御部２２１ｂは、検出情報出力部４１から入力された検出情報の一部として３次元手位置情報が入力され、入力された３次元手位置情報に基づいて画像の処理に係る情報として、例えば描画様式情報を定める。描画様式情報とは、描画入力によって形成される軌跡の画像（線画）の様式（描画様式）を示す情報である。描画様式には、例えば、線の太さ（幅）がある。

〔線の太さの選択〕
図２１は、本実施形態における線の太さと指定位置Ｐ１１との関連を示す概念図である。
図２１において、操作者１３と入力検出領域ｒ１１との位置関係は、図８（ｂ）に示すものと同様である。
入力検出領域ｒ１１の左右を横切る線分であって、操作者１３に対して奥に位置するほど太く、手前に位置するほど細い図形は、線の太さｗ１を示す。表示制御部２２１ｂは、３次元手位置情報が示す指定位置Ｐ１１の奥行座標が奥に位置するほど太く、その奥行座標が手前に位置するほど細くなるように線の太さを定める。奥行座標の値がｄ１＋ｄ１２の場合、つまり入力検出領域ｒ１１のうち最も手前の位置（最近点）では、線の太さｗ１は、最小値ｗ_ｍｉｎとなる。奥行座標の値がｄ１＋ｄ１２＋ｄ１１の場合、つまり入力検出領域ｒ１１のうち最も奥の位置（最遠点）では、線の太さｗ１は、最大値ｗ_ｍａｘとなる。

図２２は、本実施形態に係る線の太さの設定例を示す図である。
図２２（ａ）、（ｂ）ともに、横軸は奥行座標を示し、縦軸は線の太さを示す。また、最近点(奥行座標ｄ１＋ｄ１２)において線の太さは最小値ｗ_ｍｉｎであり、最遠点（奥行座標ｄ１＋ｄ１２＋ｄ１１）において線の太さは最大値ｗ_ｍａｘである。
図２２（ａ）に示す例では、線の太さは、奥行座標に対して線形に定められている。図２２（ｂ）に示す例では、線の太さは、最近点から予め定めた位置ｄ１＋ｄ１２＋ｄ１１−δまでは奥行座標に対して線形であるが、奥行座標がｄ１＋ｄ１２＋ｄ１１−δを越えると最大値ｗ_ｍａｘである。奥行座標の値ｄ１＋ｄ１２＋ｄ１１−δは、最近点よりも最遠点の奥行座標の値に近い値である。指定座標Ｐ１１を奥行座標がｄ１＋ｄ１２＋ｄ１１−δよりも奥に移動しても線の太さが最大値ｗ_ｍａｘのまま飽和して変化しないため、指定座標Ｐ１１をさらに奥に移動させると、描画入力領域の範囲を超えて、描画入力が中断されてしまう。従って、操作者は、線の太さが変化しないことを視認することによって、指定座標Ｐ１１をさらに奥に移動させると描画入力が中断されることに気づくことができる。つまり、意図せずに描画入力が中断されることによってストロークの分断を避けることができる。

〔画像の表示例〕
次に、画像の表示例について説明する。
図２３は、本実施形態における画像の一表示例を示す概念図である。
図２３（ａ）において、操作者１３と入力検出領域ｒ１１との位置関係は図１４（ａ）と同様である。この例では、指定位置Ｐ１１が入力検出領域ｒ１１に含まれているが、最遠点よりも最近点に近いことを示す。図２３（ｂ）において、境界面ｂ１によって区分される入力検出領域ｒ１１と表示部１２との位置関係は、図１４（ｂ）と同様である。この例では、指定位置Ｐ１１を左から右に移動させることによって表示部１２に表示されるストロークｓ４の太さは、指定位置Ｐ１１の境界面ｂ１からの奥行座標ｚ１で与えられ、最大値ｗ_ｍａｘよりも最小値ｗ_ｍｉｎに近い太さである。

図２４は、本実施形態における画像の他の表示例を示す概念図である。
図２４（ａ）において、操作者１３と入力検出領域ｒ１１との位置関係は図２３（ａ）と同様である。この例では、指定位置Ｐ１１が入力検出領域ｒ１１に含まれているが、再近点よりも最近点に近いことを示す。
図２４（ｂ）において、境界面ｂ１によって区分される入力検出領域ｒ１１と表示部１２との位置関係は、図２３（ｂ）と同様である。この例では、指定位置Ｐ１１を左から右に移動させることによって表示部１２に表示されるストロークｓ５の太さは、最小値ｗ_ｍｉｎよりも最大値ｗ_ｍａｘに近い太さである。つまり、ストロークｓ５の太さは、指定位置Ｐ１１の境界面ｂ１からの奥行座標ｚ２で与えられ、ストロークｓ４（図２３）よりも太い。

これにより、操作者は、線の太さを選択するための操作入力を行う必要がなくなる。例えば、描画様式を選択するための選択メニューを表示させ、表示された選択メニューから線の太さを選択する、等の操作入力である。従って、描画入力における利便性が向上する。また、筆等の筆記具を用いて紙等の筆記面に文字を描く場合の動作には、手を奥行方向に移動させて筆圧を強くすると線の太さが太くなり、手を手前に引いて筆圧を弱くすると線の太さを細くするという動作がある。かかる動作は、本実施形態のように指定位置の奥行座標によって線の太さを選択する動作と類似している。そのため、操作者は、平素から慣れ親しんだ動作に類似した動作を行うことで直感的に線の太さを変更することができる。

上述では、表示制御部２２１ｂは、３次元手位置情報が示す指定位置の奥行座標に基づいて線の太さを定める場合を例にとって説明したが、これには限られない。表示制御部２２１ｂは、指定位置の奥行座標に基づいて、予め定めた奥行座標と色との対応関係を示す色空間情報に基づいて線の色を定めてもよい。色空間情報においては、例えば、奥行座標最遠点について赤、最近点について青が対応付けられ、最遠点と最近点との間の奥行座標のそれぞれついて、それぞれ赤と青の間の中間色が順次対応付けられている。表示制御部２２１ｂは、３次元手位置情報が示す指定位置の奥行座標に対応する色を、その色空間情報から選択する。そして、表示制御部２２１ｂは、検出情報出力部４１から入力された検出情報に基づいて選択した色を確定し、確定した色でそれ以降に入力された注目位置情報に基づいて画像を形成する。表示制御部２２１ｂは、例えば、検出情報の一部として３次元手位置座標が示す指定位置が、予め定めた時間（例えば、１秒）、その当初の位置から予め定めた範囲内にあると判断された場合に選択した色を確定する。つまり、操作者が手を予め定めた時間だけ静止させたときに選択した色を確定する。また、表示制御部２２１ｂは、検出情報の一部として手形状情報が予め定めた形状（例えば、拳）を示すと判断された場合に選択した色を確定する。つまり、操作者が手を予め定めた形状に変形させたときに選択した色を確定する。
なお、本実施形態では、線の太さや色に限られず、奥行座標と濃淡もしくは拡大率が対応付けられていてもよい。
また、上述では操作者１３と入力検出領域ｒ１１との位置関係が、図８（ｂ）と同様である場合について説明したが、本実施形態はこれに限定されず、例えば図１９（ｂ）と同様な位置関係の場合でも良い。「他方の手」により、境界面ｂ１を指定することによって、入力検出領域ｒ１１が決定された場合においても、「一方の手」の奥行位置により、線の太さや色などが変更されるようにしても良い。

〔線の種類の選択〕
表示制御部２２１ｂは、検出情報出力部４１から入力された検出情報の一部として手形状情報が入力され、入力された手形状情報に基づいて描画様式情報を定めてもよい。次に説明する例では、描画様式が線の種類である場合を例にとって説明する。線の種類とは、主に線の形状、例えば、実線、破線、一点破線等の区別、一連の線を構成する線分の頂点が角ばっているか丸みを帯びているかの区別、単純な一本の線か二重線かの区別、等がある。
表示制御部２２１ｂには、予め手形状情報と描画様式情報とを対応付けて記憶しておき、入力された手形状情報に対応する描画様式情報が示す線の種類を選択する。描画様式情報と対応付けられる手形状情報が示す手の形状として、例えば、人差し指を伸ばし、その他の指を握った形状（形状１）、５本の指を全て握った形状（形状２）、人差し指と中指を伸ばし、その他の指を握った形状（形状３）がある。

〔線の種類の選択例〕
次に、線の種類の選択例について説明する。
図２５は、本実施形態における線の種類の選択例を示す概念図である。
図２５（ａ）−（ｃ）において、境界面ｂ１と表示部１２との位置関係は、いずれも図２４（ｂ）に示すものと同様である。
図２５（ａ）は、操作者１３が形状１に変形させた右手ｈｒ１を左から右に移動させることで、指定位置Ｐ１１を左から右に移動させることを示す。このとき、表示部１２にはストロークｓ５が表示される。ストロークｓ５の線の種類は、形状１に対応する線の種類、つまり１本の頂点が角ばった線である。
図２５（ｂ）は、操作者１３が形状２に変形させた右手ｈｒ２を左から右に移動させることで、指定位置Ｐ１１を左から右に移動させることを示す。このとき、表示部１２にはストロークｓ６が表示される。ストロークｓ６の線の種類は、形状２に対応する線の種類、つまり１本の頂点が丸みを帯びた線である。
図２５（ｃ）は、操作者１３が形状３に変形させた右手ｈｒ３を左から右に移動させることで、指定位置Ｐ１１を左から右に移動させることを示す。このとき、表示部１２にはストロークｓ７が表示される。ストロークｓ７の線の種類は、形状３に対応する線の種類、つまり二重線である。
以上のように、図２５に示す例では、頂点が丸みを帯びた線と形状２（５本の指を全て握った形状）が対応付けられ、二重線と形状３（２本の指を立てた形状）といったように、手の形状と線の種類における形状的な特徴が対応付けられている。そのため、操作者は手の形状を用いて直感的に線の種類を指定することができる。

なお、本実施形態では、手形状情報が示す手の形状と描画様式情報が示す線の太さとが対応付けられていてもよい。例えば、各指が握られている度合いが高い形状ほど、線の太さが細く、各指が開いている度合いが高い形状ほど線の太さを太くてもよい。また、立てている指の本数が多いほど線の太さを太くしてもよい。その他、かかる手の形状と線の太さ以外に、色、濃淡、拡大率、線の消去のうちのいずれかが対応付けられ、手形状情報が示す手の形状に応じて描画様式が選択されるようにしてもよい。
また、上述では操作者１３と入力検出領域ｒ１１との位置関係を図２４（ｂ）と同様である場合について説明したが、本実施形態はこれに限定されず、例えば図１９（ｂ）と同様な位置関係の場合でも良い。「他方の手」により、境界面ｂ１を指定することによって、入力検出領域ｒ１１を決定した場合においても、「一方の手」の手形状により、線の太さや色などが変更されるようにしても良い。さらに、「一方の手」の手形状に線の種類を変更し、「一方の手」の奥行位置で線の太さを変えるなど、上述の複数種類の入力方法を組合せて、描画に係る処理を行っても良い。ある程度、本実施形態に係る操作入力に習熟した利用者にとっては、案内画像を逐一表示させる方法などと比べ、より一層入力方法が簡便になる。
また、上述では指定位置Ｐ１１の奥行位置によって操作者１３が入力中であるか否かを判別したが、本実施形態はこれに限定されず、手の形状により入力中であるか否かを判別されるようにしても良い。例えば、手の位置が操作検出領域ｒ１に含まれる場合、人差し指を立てる形状が検出されたとき、指定位置Ｐ１１が入力検出領域ｒ１１に含まれる場合と同様に入力中であると判別されるようにしてもよい。また、手を握る形状が検出された場合は指定位置Ｐ１１が入力非検出領域ｒ１２に含まれる場合と同様に、入力が中断されたと判別されるようにしても良い。さらに、操作者１３と入力検出領域ｒ１１との位置関係が、図１９（ｂ）と同様な位置関係の場合は、入力中であるか否かであるかの判別を行うために手形状の検出対象とする手は、「一方の手」あるいは「他方の手」のどちらでも良い。また、上述と同様に、例えば「他方の手」に基づいて入力中であるか否かの判別が行われ、「一方の手」の手形状で線の種類が指定され、「一方の手」の奥行位置で線の太さを指定されるようにするなど、上述の入力方法を複数種類組み合わせて描画に係る処理を行うようにしても良い。

〔案内画像の例〕
次に、本実施形態において、案内画像表示部２２２が表示部１２に出力する案内画像信号が示す案内画像の例について説明する。
図２６は、本実施形態に係る案内画像の例を示す図である。
図２６（ａ）は、指定位置の奥行座標に応じて線の太さを選択できることを示す案内画像の例である。この案内画像は、描画入力に係る手を奥に伸ばすことで表示される線の太さを太くすることができ、手前に引くことで線の太さを細くすることを、文章と図案で示している。
図２６（ｂ）は、手の形状に応じて線の種類（スタイル）を選択できることを示す案内画像の例である。この案内画像では、描画入力に係る手の形状を形状１、２、３に変形したとき、それぞれ頂点が角ばった線、頂点が丸みを帯びた線、二重線が選択されることを示す。

〔処理フロー〕
次に、本実施形態に係るデータ入力処理について説明する。
図２７は、本実施形態に係るデータ入力処理を表すフローチャートである。
図２７に示されるステップＳ１０１〜Ｓ１０９、Ｓ１１０、及びステップＳ１１１は、図１８に示したものとそれぞれと同様である。ステップＳ１０９において、描画入力検出部４０が、指定位置が入力検出領域に含まれると判断した場合（ステップＳ１０９ ＹＥＳ）、ステップＳ３１０に進む。

（ステップＳ３１０）表示制御部２２１ｂは、検出情報出力部４１から入力された３次元手位置情報が示す指定位置の奥行座標（奥行値）に応じて線の太さを定める。
表示制御部２２１ｂは、検出情報出力部４１から入力された手形状情報に対応する線の種類（線種）を選択する。その後、ステップＳ１１０に進む。
なお、ステップＳ１１０では、ステップＳ３１０で定めた線の太さ、選択した線の種類を用いて、注目位置の軌跡の画像を示す画像信号を生成する。

このように、本実施形態によれば、描画入力を検出したとき、ユーザの身体の他の一部の位置である第２位置に対応する画像表示面上の注目位置を示す画像を形成し、第２位置の奥行方向の座標値もしくは身体のさらに他の一部の形状に基づいて画像の表示様式を定める。これにより、ユーザの身体の他の一部の奥行座標や形状といった簡単な動作により描画入力に係る画像の表示様式を指定することができる。

（第４の実施形態）
以下、図面を参照しながら本発明の第４の実施形態について説明する。
本実施形態に係る表示装置１０ｃ（図示せず）は、表示装置１０（図３）のユーザ情報解析部２０１において、描画入力検出部４０（図７）の代わりに上述した描画入力検出部４０ｃ（図示せず）を備える。
即ち、描画入力検出部４０ｃは、描画入力検出部４０（図７）と同様な処理を行い、操作者判別部３９から入力された操作検出領域情報の他、操作者判別部３９から入力された３次元手位置情報に基づいて入力検出領域を定める。入力検出領域を定めるために用いる３次元手位置情報は、描画入力に係る一方の手とは反対側（他方の）手に係る３次元手位置情報である。

また、表示装置１０ｃは、表示装置１０（図３）の制御部２２において、表示制御部２２１（図１２）の代わりに表示制御部２２１ｃ（図示せず）を備える。
表示制御部２２１ｃは、表示制御部２２１ｂ（図示せず）と同様な処理を行う。但し、表示制御部２２１ｃは、表示制御部２２１ｂとは異なり、描画入力に係る一方の手（例えば、右手）とは反対側の手（例えば、左手）に係る検出情報、例えば、手形状情報に基づいて描画様式情報を定める。つまり、本実施形態では、描画入力に係る一方の手とは反対側の手の位置に基づいて入力検出領域を定めるとともに、その反対側の手の形状に応じて描画様式を定める。

例えば、表示制御部２２１ｃには、反対側の手の手形状情報と描画様式情報とを予め記憶しておき、反対側の手にかかる手形状情報に対応する描画様式情報を読み出す。表示制御部２２１ｃは、読み出した描画様式情報が示す描画様式で、一方の手に係る指定位置に対応した注目位置の軌跡の画像を示す画像信号を生成する。
これにより、描画入力が一方の手で行われ、他方の手で入力検出領域の制御及び描画様式の選択が行われる。この入力検出領域の制御及び描画様式の選択は、描画入力に付随する情報を入力もしくは制御することに相当する。従って、本実施形態では、操作者は描画入力と、それに付随する情報の入力もしくは制御とを、それぞれ別個の手で並行して行うことができるため、描画入力を効率的に行うことができる。

〔線の種類の選択例〕
次に、描画様式の一態様として線の種類の選択例について説明する。
図２８は、本実施形態における線の種類の選択例を示す概念図である。
図２８（ａ）−（ｃ）において、境界面ｂ１と操作者との位置関係は、いずれも図１９（ｂ）に示すものと同様であり、境界面ｂ１と表示部１２との関係は図２５に示すものと同様である。但し、描画入力に伴ってストロークを表示する表示部１２が省略されている。この例では、左手の形状（形状４〜６）は、それぞれ、実線、破線、一点破線が対応付けられている。形状４は、５本の指をいずれも伸ばしている形状である。形状５は、人差し指を伸ばし、その他の指を閉じている形状である。形状６は、人差し指と中指を伸ばし、その他の指を閉じている形状である。形状４〜６をとっている左手を、それぞれ左手ｈｌ４〜ｈｌ６と呼ぶ。

図２８（ａ）は、操作者が右手ｈｒ４を左手ｈｌ４よりも奥に伸ばしたまま左から右に移動させることで、ストロークｓ８が表示されることを示す。ストロークｓ８を構成する線の種類は、左手ｈｒ４の形状に対応する実線である。境界面ｂ１の奥行座標は、左手ｈｌ４の奥行座標と等しい。
図２８（ｂ）は、操作者が右手ｈｒ４を左手ｈｌ４よりも奥に伸ばしたまま左から右に移動させることで、ストロークｓ９が表示されることを示す。ストロークｓ９を構成する線の種類は、左手ｈｒ５の形状に対応する破線である。
図２８（ｃ）は、操作者が右手ｈｒ４を左手ｈｌ４よりも奥に伸ばしたまま左から右に移動させることで、ストロークｓ１０が表示されることを示す。ストロークｓ１０を構成する線の種類は、左手ｈｒ６の形状に対応する一点破線である。
以上のように、図２８に示す例では、操作者が左手の奥行をもって、右手による描画入力が受け付けられる領域を画定する境界面ｂ１の奥行座標を指示することができる。また、操作者は、左手の形状に応じて直感的に線の種類を指定することができる。
また、左手の形状に応じて変更対象となる描画様式は、線の種類に限定されず、例えば、線の太さや色、濃淡や拡大率、線の消去などであっても良い。
さらに、上述では、左手と右手の奥行位置の関係に基づいて操作者１３が入力中であるか否かが判別されたが、本実施形態ではこれに限定されず、手の形状に基づいて操作者１３が入力中であるか否かが判別されるようにしても良い。例えば、右手の人差し指を立てる形状が検出されたとき、指定位置Ｐ１１が入力検出領域ｒ１１に含まれる場合と同様に入力中であると判別されるようにしてもよい。また、手を握る形状が検出された場合、指定位置Ｐ１１が入力非検出領域ｒ１２に含まれた場合と同様に、入力が中断されたと判別されるようにしても良い。さらに、操作者１３と入力検出領域ｒ１１との位置関係が、図１９（ｂ）と同様な位置関係である場合は、入力中であるか否かであるかの判別を行う手形状を「一方の手」あるいは「他方の手」で指定しても良い。例えば「他方の手（左手）」に基づいて入力中であるか否かの判別が行われ、「一方の手（右手）」の手形状に基づいて線の種類が指定され、「一方の手（右手）」の奥行位置に基づいて線の太さが指定されるようにするなど、上述の入力方法を複数種類組み合わせて描画に係る処理が行われるようにしても良い。

〔案内画像の例〕
次に、本実施形態において、案内画像表示部２２２が表示部１２に出力する案内画像信号が示す案内画像の例について説明する。
図２９は、本実施形態に係る案内画像の例を示す図である。
図２９は、手の形状に応じて線の種類（スタイル）を選択できることを示す案内画像の例である。この案内画像では、描画入力に係る手の形状を形状４、５、６に変形したとき、実線、破線、一点破線が選択されることを示す。

本実施形態では、手形状情報が示す他方の手の形状と描画様式情報が示す色とが対応付けられていてもよい。例えば、形状４〜６は、黒、赤、青の各色と対応付けられていてもよい。また、手形状情報が示す他方の手の形状と描画様式情報が示す線の太さとが対応付けられていてもよい。例えば、各指が握られている形状ほど、線の太さが細く、各指が開いている形状ほど線の太さを太くてもよい。また、立てている指の本数が多いほど線の太さを太くしてもよい。その他、かかる手の形状と線の種類、太さもしくは色以外に、濃淡、拡大率のうちのいずれか、もしくはそれらの任意の組み合わせが対応付けられ、手形状情報が示す他方の手の形状に応じて描画様式が選択されるようにしてもよい。即ち、本実施形態では、他方の手の形状は手で表すことができる形状であれば、どのような形状であってもよく、それぞれの形状といかなる描画様式とが対応付けられていてもよい。

なお、表示制御部２２１ｃは、反対側の手に係る手形状情報に基づいて一つの描画様式情報として線の形状もしくは色に係る情報を定める他、一方の手に係る３次元手位置情報に基づいて他の描画様式情報として線の太さに係る情報を定めてもよい。これにより、操作者は、例えば左手の形状に応じて線の形状や色を指定し、右手の奥行座標に応じて線の太さを指定することができる。従って、操作者は一方の手で描画入力を行いながら、その一方の手で描画入力に妨げにならない単純な動作態様によって描画様式を指定し、他方の手でより詳細な描画様式を指定することができる。これにより多様な描画様式での描画入力が可能となる。

〔処理フロー〕
次に、本実施形態に係るデータ入力処理について説明する。
図３０は、本実施形態に係るデータ入力処理を表すフローチャートである。
図３０に示されるステップＳ１０１〜Ｓ１０８、Ｓ１１０、及びステップＳ１１１は、図１８に示したものとそれぞれと同様である。ステップＳ１０８において、操作者判別部３９が、操作者の手の位置が、操作検出領域に含まれると判断した場合、（ステップＳ１０８ ＹＥＳ）、ステップＳ４０８に進む。
（ステップＳ４０８）手位置検出部３２は、操作者の一方の手の他、他方の手、例えば、左手についても、その画像を表す領域を撮像部１１０ａから入力された映像信号に基づいて手画像信号を生成する。手位置検出部３２は、入力された映像信号と距離算出部２００から入力された距離情報に基づいて２次元手位置情報と３次元手位置情報を生成する。手位置検出部３２は、生成した手画像信号と、２次元手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、３次元手位置情報を操作者判別部３９に出力する。

手形状・指先位置検出部３３は、手位置検出部３２から入力された手画像信号と手位置情報に基づいて他方の手の形状を検出する。手形状・指先位置検出部３３は、検出した手の形状に基づいて指の領域の画像を探索し、指の本数を表す本数情報、指先における２次元座標を表す２次元指先位置情報を検出情報の一部として検出情報出力部４１に出力する。また、手形状・指先位置検出部３３は、各指の指先における２次元座標と距離算出部２００から入力された距離情報に基づいて３次元指先位置情報を生成する。手形状・指先位置検出部３３は、生成した３次元指先位置情報を注目位置検出部３５に出力する。その後、ステップＳ４０９に進む。

（ステップＳ４０９）描画入力検出部４０ｃは、操作者判別部３９から入力された操作検出領域情報と操作者判別部３９から入力された他方の手に係る３次元手位置情報に基づいて入力検出領域を定める。描画入力検出部４０ｃは、定めた入力検出領域に操作者判別部３９から入力された一方の手に係る３次元手位置情報が示す指定位置が含まれるか否かを判断し、操作者が描画入力を行っているか否かを検出する。描画入力検出部４０ｃは、描画入力が検出されたか否かを示す描画検出信号を生成し、生成した描画検出信号を検出情報出力部４１に出力する。
描画入力検出部４０ｃが、指定位置が入力検出領域に含まれると判断した場合（ステップＳ４０９ ＹＥＳ）、ステップＳ４１０に進む。描画入力検出部４０ｃが、指定位置が入力検出領域に含まれないと判断した場合（ステップＳ４０９ ＮＯ）、ステップＳ１０７に進む。

（ステップＳ４１０）表示制御部２２１ｃは、検出情報出力部４１から入力された他方の手に係る手形状情報に対応する線の種類（線種）を選択する。その後、ステップＳ４１１に進む。
（ステップＳ４１１）表示制御部２２１ｃは、検出情報出力部４１から入力された一方の手に係る３次元手位置情報が示す指定位置の奥行座標（奥行値）に応じて線の太さを定める。その後、ステップＳ１１０に進む。
なお、ステップＳ１１０では、ステップＳ４１０で選択した線の種類、ステップＳ４１１で定めた線の太さ、選択した線の種類を用いて、注目位置の軌跡の画像を示す画像信号を生成する。

表示制御部２２１ｃには、反対側の手の手形状情報と描画様式情報とを予め記憶しておき、反対側の手にかかる手形状情報に対応する描画様式情報を読み出してもよい。表示制御部２２１ｃは、読み出した描画様式情報が示す描画様式で、一方の手に係る指定位置に対応した注目位置の軌跡の画像を示す画像信号を生成する。
これにより、描画入力が一方の手で行われ、他方の手で入力検出領域の制御及び描画様式の選択が行われる。この入力検出領域の制御及び描画様式の選択は、描画入力に付随する情報を入力もしくは制御することに相当する。従って、本実施形態では、操作者は描画入力と、それに付随する情報の入力もしくは制御とを、それぞれ別個の手で並行して行うことができるため、描画入力を効率的に行うことができる。

このように、本実施形態によれば、ユーザの身体のさらに他の一部の形状を検出し、検出した形状に基づいて描画入力による画像の表示様式を定める。これにより、描画入力を行う身体の部位とは異なる部位の形状を変化させて表示様式を指示することができるので、描画入力の効率を低下させることが回避される。

（変形例）
上述した描画入力検出部４０、４０ａ、４０ｃは、操作検出領域情報を用いて入力検出領域を定め、定めた入力検出領域に３次元手位置情報が示す指定位置が含まれるか否かを判断していた。そして、描画入力検出部４０、４０ａ、４０ｃは、この判断に基づいて、操作者が描画入力を行っているか否かを検出していたが、これには限られない。
描画入力検出部４０、４０ａ、４０ｃは、手形状・指先位置検出部３３から入力された手形状情報に基づいて操作者が描画入力を行っているか否かを検出してもよい。ここで、描画入力検出部４０、４０ａ、４０ｃには、予め定めた手の形状を示す描画検出手形状情報と描画検出信号と対応付けて自部が備える記憶部に記憶させておく。描画検出信号は、上述したように描画入力が検出されたか否かを示す信号である。描画入力検出部４０、４０ａ、４０ｃは、入力された手形状情報と記憶部に記憶させた描画検出手形状情報とを照合し、照合に成功した描画検出手形状情報と対応付けられた描画検出信号を読み出す。また、描画入力が検出されたか否かの判定に用いる手形状情報は、一方の手に係る手形状情報であってもよいし、他方の手に係る手形状情報であってもよい。

例えば、描画入力検出部４０、４０ａ、４０ｃは、一方の手に係る手形状情報が５本の指を全て閉じた形状（拳）を示す場合に、描画入力が検出されたと判定する。また、描画入力検出部４０、４０ａ、４０ｃは、その一方の手に係る手形状情報が人差し指を伸ばし、他の指を全て閉じた形状を示す場合に、描画入力が検出されないと判定する。これにより、操作者は描画入力に係る手の形状に応じて描画入力を行うか否かを制御することができる。
また、描画入力検出部４０、４０ａ、４０ｃは、反対側の手に係る手形状情報が５本の指を全て閉じた形状（拳）を示す場合に、描画入力が検出されたと判定する。また、描画入力検出部４０、４０ａ、４０ｃは、その他方の手に係る手形状情報が人差し指を伸ばし、他の指を全て閉じた形状を示す場合に、描画入力が検出されないと判定する。これにより、操作者は描画入力に係る手とは反対側手の形状に応じて描画入力を行うか否かを制御することができる。よって、操作者は入力検出領域を意識せずに、自身の意思に応じて簡便に描画入力を行うか否かを決することができる。

また、上述では、身体の他の一部として「手」もしくは「一方の手」、身体のさらに他の一部として「他方の手」の代わりに、それぞれ「足」もしくは「一方の足」、「他方の足」を用いてよい。これにより、手の不自由な者であっても足の動作による描画入力を実現することができる。
また、上述では、画像の処理に係る情報として描画様式情報を定める場合を例にとって説明したが、それには限られない。画像の処理に係る情報として、例えば、その描画入力に係る操作者を識別する操作者識別情報の有無を示す情報、形成した画像の全部又は一部を表示部１２に表示するか否かを示す情報、その画像の全部又は一部を情報ＤＢ２１等の記憶部に記憶するか否かを示す情報であってもよい。

なお、本発明は次の態様で実施することができる。
（１）撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出部と、前記位置検出部が検出した前記第１位置と前記第２位置に基づいて描画入力を検出する描画入力検出部と、前記位置検出部が検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出部と、前記描画入力検出部が描画入力を検出したとき、前記注目位置検出部が検出した注目位置を示す画像を形成する画像形成部と、を備えることを特徴とするデータ入力装置。これにより、操作者は専用のデバイスを用いずに円滑に描画入力を行うことができる。

（２）前記描画入力検出部は、前記第１位置に基づいて前記描画入力を検出する入力検出領域を定め、前記第２位置が前記入力検出領域に含まれるか否かに基づいて前記描画入力を検出することを特徴とする（１）のデータ入力装置。これにより、操作者にとり身体の他の一部の位置による描画入力に好都合な領域に描画入力領域を設定することができる。

（３）前記位置検出部は、前記撮像装置が撮像した映像に表されたユーザの身体のさらに他の一部の位置を示す第３位置を検出し、前記描画入力検出部は前記位置検出部が検出した第３位置を通るように前記入力検出領域の境界の１つを定めることを特徴とする（２）のデータ入力装置。これにより、操作者は身体のさらに他の一部の位置を基準とした身体の他の一部の位置に基づいて、描画入力が検出されるか否かを容易に把握することができる。

（４）前記画像形成部は、前記第２位置の奥行方向への座標値に応じて前記画像の処理に係る情報を定めることを特徴とする（３）に記載のデータ入力装置。これにより、操作者は身体の他の一部の奥行方向の位置に応じて描画した画像の取り扱いを決することができる。

（５）前記身体の他の一部の形状を検出する形状検出部を備え、前記画像形成部は、前記形状検出部が検出した形状に基づいて前記画像の表示に係る情報を定めることを特徴とする（３）に記載のデータ入力装置。これにより、操作者は、身体の他の一部の形状に応じて描画した画像の取り扱いを決することができる。

（６）前記身体のさらに他の一部の形状を検出する形状検出部を備え、前記画像形成部は、前記形状検出部が検出した形状に基づいて前記画像の表示に係る情報を定めることを特徴とする（３）に記載のデータ入力装置。これにより、操作者は、身体のさらに他の一部の形状に応じて描画した画像の取り扱いを決することができる。

（７）前記ユーザの身体の一部は目であり、前記身体の他の一部は左右いずれか一方の手であることを特徴とする（１）ないし（６）のいずれかに記載のデータ入力装置。これにより一方の手が目視される方向の注目位置に描画がなされるため、その一方の手の位置に基づいて所望の形状の画像を描画することが容易になる。

（８）前記ユーザの身体のさらに他の一部は、前記一方の手とは他方の手であることを特徴とする（７）に記載のデータ入力装置。これにより、操作者は他方の手の位置に基づいて、一方の手の位置による描画入力領域の把握、描画した画像の取り扱いの指示を容易に行なうことができる。

（９）データ入力装置と前記データ入力装置が入力した入力データが示す画像を表示する表示部とを備えたデータ入力システムであって、前記データ入力装置は、撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出部と、前記位置検出部が検出した前記第１位置と前記第２位置に基づいて描画入力を検出する描画入力検出部と、前記位置検出部が検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出部と、前記描画入力検出部が描画入力を検出したとき、前記注目位置検出部が検出した注目位置を示す画像を形成する画像形成部と、を備えることを特徴とするデータ入力システム。

（１０）データ入力装置におけるデータ入力方法であって、前記データ入力装置は、撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出過程と、前記位置検出過程で検出した前記第１位置と前記第２位置に基づいて描画入力を検出する描画入力検出過程と、前記位置検出過程で検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出過程と前記描画入力検出過程で描画入力を検出したとき、前記注目位置検出過程で検出した注目位置を示す画像を形成する画像形成過程と、を有することを特徴とするデータ入力方法。

（１１）データ入力装置のコンピュータに、撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出手順、前記位置検出手順で検出した前記第１位置と前記第２位置に基づいて描画入力を検出する描画入力検出手順、前記位置検出手順で検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出手順と前記描画入力検出手順で描画入力を検出したとき、前記注目位置検出手順で検出した注目位置を示す画像を形成する画像形成手順と、を有することを特徴とするデータ入力プログラム。（９）、（１０）及び（１１）により、操作者は専用のデバイスを用いずに円滑に描画入力を行うことができる。

なお、上述した実施形態における表示装置１０、１０ａ、１０ｂ、１０ｃの一部、例えば、距離算出部２００、顔検出部３０、目位置検出部３１、手位置検出部３２、手形状・指先位置検出部３３、注目位置検出部３５、操作者判別部３９、描画入力検出部４０、４０ａ、４０ｃ、検出情報出力部４１、及び制御部２２をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置１０、１０ａ、１０ｂ、１０ｃに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における表示装置１０、１０ａ、１０ｂ、１０ｃの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置１０、１０ａ、１０ｂ、１０ｃの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本発明は、コンピュータ、ゲーム機、テレビ電話会議システム等の機器を操作するためのユーザインタフェースなどに適用できる。

１０、１０ａ、１０ｂ、１０ｃ 表示装置
１１ 撮像装置
１１０（１１０ａ、１１０ｂ） 撮像部
１２ 表示部
２０ 画像処理装置
２００ 距離算出部
２０１ ユーザ情報解析部
３０ 顔検出部
３１ 目位置検出部
３２ 手位置検出部
３３ 手形状・指先位置検出部
３５ 注目位置検出部
３９ 操作者判別部
４０、４０ａ、４０ｃ 描画入力検出部
４１ 検出情報出力部
２１ 情報ＤＢ
２２ 制御部
２２１、２２１ｂ、２２１ｃ 表示制御部
２２２ 案内画像表示部

Claims (9)

1. 撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出部と、
   前記位置検出部が検出した前記第１位置に基づいて前記他の一部を検出する操作検出領域と前記操作検出領域の一部の領域であって描画入力を検出する入力検出領域を定め、前記第２位置が前記操作検出領域のうち前記入力検出領域に含まれるか否かに基づいて前記描画入力を検出する描画入力検出部と、
   前記位置検出部が検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出部と、
   前記注目位置検出部が検出した注目位置を示す入力検出画像を形成し、前記描画入力検出部が描画入力を検出しないとき、描画入力を検出するときよりも前記入力検出画像の表示態様を目立たない態様にする画像形成部と、
   を備えるデータ入力装置。
2. 前記画像形成部は、前記第２位置の奥行方向への座標値に応じて前記描画入力に基づく画像の処理に係る情報を定める請求項１に記載のデータ入力装置。
3. 前記身体の他の一部の形状を検出する第一形状検出部を備え、
   前記画像形成部は、前記第一形状検出部が検出した形状に基づいて前記描画入力に基づく画像の処理に係る情報を定める請求項１または２に記載のデータ入力装置。
4. 前記位置検出部は、前記撮像装置が撮像した映像に表されたユーザの身体のさらに他の一部の位置である第３位置を検出し、
   前記描画入力検出部は、前記操作検出領域に基づいて前記さらに他の一部の位置を検出し、前記操作検出領域のうち前記第３位置よりも奥の領域を前記入力検出領域として定める請求項１ないし３のいずれかに記載のデータ入力装置。
5. 前記身体のさらに他の一部の形状を検出する第二形状検出部を備え、
   前記画像形成部は、前記第二形状検出部が検出した形状に基づいて前記描画入力に基づく画像の処理に係る情報を定める請求項４に記載のデータ入力装置。
6. 前記ユーザの身体の一部は顔であり、前記身体の他の一部は左右いずれか一方の手である請求項１ないし５のいずれかに記載のデータ入力装置。
7. 前記ユーザの身体の一部は顔であり、前記身体の他の一部は左右いずれか一方の手であり、前記ユーザの身体のさらに他の一部は、前記一方の手とは他方の手である請求項４または５に記載のデータ入力装置。
8. 撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出工程と、
   前記位置検出工程で検出した前記第１位置に基づいて前記他の一部を検出する操作検出領域と前記操作検出領域の一部の領域であって描画入力を検出する入力検出領域を定め、前記第２位置が前記操作検出領域のうち前記入力検出領域に含まれるか否かに基づいて前記描画入力を検出する描画入力検出工程と、
   前記位置検出工程で検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出工程と、
   前記注目位置検出工程で検出した注目位置を示す入力検出画像を形成し、前記描画入力検出工程で描画入力を検出しないとき、描画入力を検出するときよりも前記入力検出画像の表示態様を目立たない態様にする画像形成工程と、
   を含むデータ入力装置におけるデータ入力方法。
9. 撮像装置が撮像した映像に表されたユーザの身体の一部の位置に基づく第１位置と前記身体の一部とは他の一部の位置に基づく第２位置を検出する位置検出工程と、
   前記位置検出工程で検出した前記第１位置に基づいて前記他の一部を検出する操作検出領域と前記操作検出領域の一部の領域であって描画入力を検出する入力検出領域を定め、前記第２位置が前記操作検出領域のうち前記入力検出領域に含まれるか否かに基づいて前記描画入力を検出する描画入力検出工程と、
   前記位置検出工程で検出した前記第２位置に対応する画像表示面上の注目位置を検出する注目位置検出工程と、
   前記注目位置検出工程で検出した注目位置を示す入力検出画像を形成し、前記描画入力検出工程で描画入力を検出しないとき、描画入力を検出するときよりも前記入力検出画像の表示態様を目立たない態様にする画像形成工程と、
   をデータ入力装置のコンピュータに実行させるデータ入力プログラム。

Images