JP6090140B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本技術は、撮像画像から物体を認識可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。

従来から、例えば机、床、壁等の実世界での平面を操作対象とするシステムが提案されている。

例えば下記特許文献１には、プロジェクタによって机等の平面の所定領域にボタンを含む画像を投影し、所定領域内に置かれた指がボタンに触れたことをカメラで検出すると、カメラの撮像画像をキャプチャする装置が開示されている。

特開２０１０−２５０４６４号公報

また、例えばゲーム等の分野において、立体物の形状や３次元位置を画像から計測する３次元計測技術を用いて、ユーザのジェスチャを認識してジェスチャに応じた処理を実行するシステムも存在する。当該３次元計測技術には、ステレオ等のパッシブ方式または画像ベースによる手法と、ＩＲパターン等を照射するアクティブ方式による手法が存在する。

上記特許文献１に記載の技術では、平面のうちプロジェクタによる投影領域がユーザの操作領域として予め定められている。しかし、例えば平面上に仮想的に表示される３次元画像が操作対象とされる場合には、上記パッシブ方式または画像ベースによる手法では、深度・形状の取得が非常に困難である。

また、アクティブ方式による手法でも、照射信号が届く距離範囲を超えた場合や、日射等の条件によっては、やはり形状情報の取得が困難な場合があった。

したがって、いずれの方式でも、上記平面上の操作領域を定めることが困難であった。

以上のような事情に鑑み、本技術の目的は、実世界の平面または空間上に仮想的に表示される３次元画像を用いた操作対象の領域を容易に定めることが可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムを提供することにある。

上述の課題を解決するため、本技術の一形態に係る情報処理装置は、入力部と制御部とを有する。上記入力部は、撮像装置により撮像された画像が逐次入力されるように構成される。上記制御部は、上記入力された画像からユーザの手を検出し、当該検出された手の移動中の位置、姿勢及び大きさを認識し、当該認識された手の位置、姿勢及び大きさの推移を基に、上記手が移動した面上の所定領域を操作領域として定義し、上記操作領域上に配置される上記ユーザの操作用の仮想三次元オブジェクトを生成するように構成される。

この構成により情報処理装置は、手の位置、姿勢及び大きさの推移を基に、実世界の平面または空間上に仮想的に表示される３次元画像を用いた操作対象の領域を容易に定めることができる。

上記制御部は、上記ユーザの２つの手を検出し、上記移動後の手間の距離を基に上記操作領域を定義してもよい。

これにより情報処理装置は、手間の距離を基準にして操作領域を容易に定義することができる。

上記制御部は、上記手間の距離を対角線として有する矩形領域を上記操作領域として定義してもよい。

これによりユーザは、両手を左右または上下に広げるという直感的な操作により操作領域を定めることができる。

上記制御部は、上記ユーザに上記手を動かすよう指示する指示情報を生成し、当該指示情報を出力してもよい。

これにより情報処理装置は、操作領域の定義のための動作をユーザに容易に実行させることができる。ここで指示情報は、画像でもよいし音声でもよい。画像は検出された手の近傍に仮想的にまたは投影表示されてもよい。

手の平均的形状を示す平均手画像と、手の姿勢変化に関する姿勢パラメータと、手の個人差に関する個人差パラメータとを記憶するように構成された記憶部をさらに具備してもよい。この場合上記制御部は、上記入力された画像と上記平均手画像とをマッチングすることで上記手を検出し、上記平均的形状から、上記姿勢パラメータ及び上記個人差パラメータを変動させて手の三次元モデルを生成し、当該生成された三次元モデルをレンダリングし、上記レンダリングされた画像から抽出されたエッジ成分と、上記入力された画像から抽出されたエッジ成分とをマッチングすることで、上記ユーザの手の姿勢を認識してもよい。

これにより情報処理装置は、姿勢パラメータと個人差パラメータとを変動させて三次元モデルを逐次生成して入力画像とマッチングすることで、テクスチャ成分に乏しく形状変化の幅の広いユーザの手の姿勢を高精度に認識することができる。

上記制御部は、上記ユーザの手の移動中に、上記マッチングによる姿勢認識時の上記個人差パラメータを固定し、上記姿勢パラメータを変動させて上記手の姿勢を認識してもよい。

これにより情報処理装置は、ある入力画像から姿勢を認識した後は、後続の入力画像における姿勢認識においては個人差パラメータを固定することで、レンダリングに要する時間を削減し、高速に姿勢を認識することができる。

上記記憶部は、上記入力される画像のフレーム間隔において手の姿勢が変化し得る範囲を示す変化範囲情報を記憶してもよい。この場合上記制御部は、上記記憶された変化範囲情報を基に、上記姿勢パラメータの変動範囲を限定してもよい。

これにより情報処理装置は、姿勢パラメータの変動範囲を限定することで、マッチングの試行回数を大幅に減らすことができ、高速に姿勢を認識することができる。

上記制御部は、上記仮想三次元オブジェクトに対するユーザの操作時に、上記個人差パラメータを固定し上記姿勢パラメータを変動させて上記手の姿勢を認識してもよい。

これにより情報処理装置は、操作領域の定義に用いたパラメータを、操作時にも用いることができる。

本技術の他の形態に係る情報処理方法は、
撮像装置により撮像され逐次入力された画像からユーザの手を検出すること、
上記検出された手の移動中の位置、姿勢及び大きさを認識すること、
上記認識された手の位置、姿勢及び大きさの推移を基に、上記手が移動した面上の所定領域を操作領域として定義すること、及び、
上記操作領域上に配置される上記ユーザの操作用の仮想三次元オブジェクトを生成することを含む。

本技術のまた別の形態に係るプログラムは、情報処理装置に、
撮像装置により撮像され逐次入力された画像からユーザの手を検出するステップと、
上記検出された手の移動中の位置、姿勢及び大きさを認識するステップと、
上記認識された手の位置、姿勢及び大きさの推移を基に、上記手が移動した面上の所定領域を操作領域として定義するステップと、
上記操作領域上に配置される上記ユーザの操作用の仮想三次元オブジェクトを生成するステップと
を実行させる。

以上のように、本技術によれば、実世界の平面または空間上に仮想的に表示される３次元画像を用いた操作対象の領域を容易に定めることができる。しかし、当該効果は必ずしも本技術を限定するものではない。

本技術の一実施形態におけるシステムの概要を示した図である。 上記システムにおけるヘッドマウントディスプレイのハードウェア構成を示したブロック図である。 上記ヘッドマウントディスプレイが保持するデータベースについて説明した図である。 上記ヘッドマウントディスプレイの操作領域定義処理の流れを示したフローチャートである。 上記操作領域の定義方法の例を示した図である。 上記操作領域定義処理における手のフィッティング及びトラッキング処理の詳細を示したフローチャートである。 上記フィッティング処理におけるレンダリングの様子を示した図である。 上記フィッティング処理における輪郭成分の抽出処理の様子を示した図である。 上記フィッティング処理における輪郭成分のマッチング処理の様子を示した図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［システムの概要］
図１は、本技術の一実施形態に係るシステムの概要を示した図である。

同図に示すように、本実施形態では、ユーザの頭部に装着されたシースルー眼鏡型のＨＭＤ（Head Mount Display）１００により、例えばテーブルＴ等の平面上にあたかも存在するように表示される仮想三次元オブジェクトＯがユーザの操作対象とされ、いわゆるバーチャルデスクトップ環境が実現される。

テーブルＴの平面上では、操作領域Ｒが定義される。ユーザは、外界を視認しながら、当該操作領域Ｒ内に表示される仮想三次元オブジェクトＯを、指等により操作することが可能である。

本実施形態において、ＨＭＤ１００は、上記ユーザの操作開始時の初期化処理として、ユーザの手を用いた初期化動作を基に、操作領域Ｒを定義することが可能である。

［ＨＭＤのハードウェア構成］
図２は、上記ＨＭＤ１００のハードウェア構成を示したブロック図である。

同図に示すように、ＨＭＤ１００は、制御部１１、記憶部１２、通信部１３、センサ部１４、操作受付部１５、右カメラ１６、左カメラ１７及び表示部１８を有する。

制御部１１は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等からなり、上記初期化処理等において、各種演算処理を行いながらＨＭＤ１００の各ブロック全体を統括的に制御しながら、三次元オブジェクトＯの描画処理等の画像処理を担う。

記憶部１２は、例えばフラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。記憶部１２は、ＯＳや各種アプリケーション、各種データを記憶する。特に本実施形態においては、記憶部１２は、後述するユーザの手の検出及びトラッキングのための辞書データやパラメータデータ等を記憶する。

通信部１３は、例えばＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）等の規格に対応した無線通信モジュールであり、例えばユーザの携帯するスマートフォン等の機器と通信可能とされている。

センサ部１４は、ジャイロセンサ、加速度センサ、地磁気センサ等の各種センサから構成され、仮想三次元オブジェクトＯの表示処理のために、ＨＭＤ１００（ユーザ）の姿勢、位置、方向等を検出する。

操作受付部１５は、例えばタッチパネル、ボタン、スイッチ等からなり、ユーザの各種操作を受け付ける。

右カメラ１６及び左カメラ１７は、それぞれ例えばＨＭＤ１００の右フレーム及び左フレームに設けられ（図１参照）、両者で撮影された画像間の視差から、ユーザの前方環境の物体の位置、立体的形状及び深度を認識するステレオカメラとして機能する。本実施形態における上記初期化処理においては、右カメラ１６及び左カメラ１７は、ユーザの手及びその周囲の環境（テーブルＴ等）を検出するのに用いられる。

表示部１８は、透過ディスプレイとして構成され、表示素子１８１と光学部材１８２とを有する。表示部１８は、例えばＨＭＤ１００のフレーム部に収容される表示素子１８１により三次元画像を形成し、その画像光を光学部材１８２内に導光しユーザの目に出射することで、三次元画像をユーザに提示する。

表示素子１８１は例えばＬＣＤ（Liquid Crystal Display）で構成される。光学部材１８２は、偏向素子（ホログラム回折格子）及び表示面としての導光板を有し、偏光素子によりＲＧＢの各色に対応する特定波長の光が回折反射され、導光板内で全反射されることで画像がユーザの目に出射される。

［ＨＭＤのデータベース構成］
次に、ＨＭＤ１００が有する記憶部１２上のデータベースについて説明する。図３は、当該データベースについて説明した図である。

同図に示すように、ＨＭＤ１００は、手の指や掌の長さや太さといった手の個人差を表すパラメータ（個人差パラメータ）と、掌及び指の姿勢変化（掌の位置／傾き、指の曲げ具合／広げ具合）のバリエーションを表すパラメータ（姿勢パラメータ）とを記憶している。

具体的には、人間の手は５本の指を有し、各指は３つの関節によって掌方向に曲げが可能とされ、また掌に平行な方向にも曲げが可能とされていることから、指の曲げについては（３＋１）×５＝２０のパラメータが存在する。また手のグローバルな位置（x, y, z）は、例えば掌上の１つの点を原点として表される。さらに、手のグローバルな回転方向は、四元数を用いて表される。

したがって、手の姿勢は、例えば２０（曲げ）＋３（位置）＋４（回転）＝２７のパラメータで表すことができる。

ＨＭＤ１００は、これらのパラメータを組み合わせて変動させて三次元モデルを生成して逐次レンダリングし、入力画像とのマッチングをとることで、ユーザの手の姿勢を認識することが可能となる。

これらパラメータ以外にも、ＨＭＤ１００は、入力画像から最初に手の存在を検出するために、平均的な手の形状（例えば５本の指を全て開いた状態）のエッジ分布を辞書として記憶している。

また、個人差及び姿勢に関するパラメータに加えて、照明条件や動きボケ、指輪やマニキュア等の装飾の有無等などについてもパラメータが記憶されてもよい。

［ＨＭＤの動作］
次に、以上のように構成されたＨＭＤ１００の動作について説明する。以降の説明においては、ＨＭＤの制御部１１を主な動作主体として説明するが、この動作は制御部１１の制御下において実行される他のハードウェア及びソフトウェアと協働して行われる。

図４は、ＨＭＤ１００が操作領域Ｒを定義する処理の流れを示したフローチャートである。また図５は、当該操作領域Ｒの定義処理方法の例を示した図である。

同図に示すように、ＨＭＤ１００の制御部１１はまず、上記カメラ１６及び１７から、ユーザの視線方向の画像群を入力する（ステップ４１）。

この時点で、ユーザはテーブルＴ上に両手を軽く揃えた形で載置する。

続いて制御部１１は、上記入力画像から手を検出し、当該手の形状を詳細にフィッティングする（ステップ４２）。この手のフィッティング処理の詳細については後述する。

手が検出された場合（ステップ４３のＹｅｓ）、制御部１１は、ユーザに、手を動かすように指示する（ステップ４４）。例えば制御部１１は、図５Ａに示すように、両手（Ｈ１，Ｈ２）を対角線方向に広げるように動かすように、その方向を示す矢印５１を表示部１８に表示する。当該矢印は、ユーザにはテーブルＴ上に存在するように見える。

また制御部１１はそれに代えて、両手を広げるように指示する音声ガイダンスを出力してもよい。この場合ＨＭＤ１００は、スピーカ等の音声出力部を有する。

上記指示に応じてユーザが手を動かすと、制御部１１は、手の移動中の位置、姿勢及び大きさをトラッキングする（ステップ４５）。このトラッキング処理の詳細についても後述するが、ＨＭＤ１００は、当該姿勢の遷移から、手の接地している平面を推定することが可能となる。

続いて制御部１１は、ユーザの手の移動が止まったか否かを判断する（ステップ４６）。

ユーザの手の移動が止まったと判断した場合（Ｙｅｓ）、制御部１１は、図５Ｂに示すように、停止した両手間の距離を対角線とする矩形平面を操作領域Ｒとして定義する（ステップ４７）。

両手間の距離は、具体的には、例えば右手Ｈ１の重心と左手Ｈ２の重心との間の距離とされるが、これに限られない。

そして制御部１１は、操作用の仮想三次元オブジェクトを生成して、上記定義された操作領域Ｒ上に仮想的に存在するように、表示部１８に重畳表示する（ステップ４８）。これ以降、ユーザは指や掌等による当該仮想三次元オブジェクトに対する操作及びインタラクションが可能となる。

次に、上記手のフィッティング処理及びトラッキング処理の詳細について説明する。図６は、当該フィッティング処理及びトラッキング処理の流れを示したフローチャートである。

また図７は、上記フィッティング処理におけるレンダリングの様子を示した図であり、図８は、上記フィッティング処理における輪郭成分の抽出処理の様子を示した図であり、図９は、上記フィッティング処理における輪郭成分のマッチング処理の様子を示した図である。

図６に示すように、フィッティング処理において、制御部１１はまず、入力画像からエッジ成分を検出する（ステップ６１）。

続いて制御部１１は、記憶部１２に記憶されている、平均的な手の形状のエッジ分布データと、上記入力画像から検出されたエッジ分布とをマッチングする（ステップ６２）。

当該マッチングに際しては、例えば上述したように初期化動作において指を広げた状態が想定されている場合等、初期化動作のルールに応じて、有る程度手指の形状を限定した形状のみがサーチされればよく、またその大まかな位置と形状が把握されればよい。したがって記憶部１２には、上記限定した形状のエッジ分布のみが辞書として登録されていればよい。

上記エッジ分布同士がマッチングできた場合（ステップ６３のＹｅｓ）、制御部１１は、三次元モデルを用いて、検出されたユーザの指の形状をより細かくフィッティングする。

具体的には、制御部１１は、上記手の検出時にマッチングされた登録データ（初期形状）を基に、上記姿勢パラメータ及び個人差パラメータを変動させて、入力画像に最も近いパラメータを探す（ステップ６４）。

この際、制御部１１は、図７に示すように、設定されたパラメータを基に三次元ポリゴンモデルを生成し、それをレンダリングする。

ただし、手自体はテクスチャ成分に乏しいため、輪郭や凹凸による陰影などのエッジ成分に着目してフィッティングを行えば十分である。例えば制御部１１は、図８に示すように、レンダリング結果の法線マップ及びデプスマップにエッジ検出を掛けることで（図８の左から２番目及び３番目のノーマルエッジ画像及びデプスエッジ画像）、輪郭等で生じるエッジ成分のみ抜き出した画像を生成する（ステップ６５、図８の右端の輪郭成分画像）。

続いて制御部１１は、図９に示すように、当該輪郭成分画像と、入力画像にエッジ検出を掛けたものの間で、上記検出処理と同様のエッジベースのマッチングを行なう（ステップ６６）。これにより入力画像にフィットしたパラメータを決定することが可能となる。同図において、右から２番目のマッチング結果（ｃ）はフィッティングが十分でない結果を示しており、右端のマッチング結果（ｄ）が最も入力画像に近い結果を示したものである。

このマッチング処理においては、例えばＩＣＰ（Iterative Closest Point）等、一般的なマッチングアルゴリズムが適用される。

そしてマッチングできた場合（ステップ６７のＹｅｓ）、制御部１１は、後続フレームにおいても、上記と同様のフィッティングにより手の姿勢をトラッキングする。この際、制御部１１は、個人差パラメータについては、同じユーザである限り変動しないはずであるので、それを固定した状態にして、姿勢パラメータのみ変動させる。

また制御部１１は、入力画像のフレーム間隔などを基に、フレーム間で取り得る姿勢変化を限定することで、パラメータの変動範囲を狭い値域に限定することができる。この場合、記憶部１２には、入力画像のフレーム間隔において手の姿勢が変化し得る範囲を示す変化範囲情報が記憶され、制御部１１は当該変化範囲情報を基に姿勢パラメータを変動させる範囲を限定する。これによりフィッティングの試行回数が大幅に削減されるため、リアルタイムでの高速処理が可能となる。

ここで制御部１１は、上記仮想三次元オブジェクトの表示後に、ユーザの手による操作を検出する際にも、上記個人差パラメータを固定し上記姿勢パラメータのみ変動させて手の姿勢を認識することが可能である。

また、ユーザが、例えば定義された操作領域Ｒが狭すぎると感じた場合等、操作領域Ｒの再定義が可能とされていてもよい。この場合制御部１１は、例えば操作受付部１５から、操作領域Ｒの再定義操作を受け付け、その後は上記図４で示した処理を実行すればよい。

以上のように、本実施形態によれば、ＨＭＤ１００は、ユーザの手の位置、姿勢及び大きさの推移を基に、テクスチャ成分に乏しい実世界の平面領域を認識し、当該平面領域上に仮想的に表示される３次元画像を用いた操作用の操作領域Ｒを容易に定義することができる。この際、ユーザは、両手を対角線に広げるという直感的な動作で容易に操作領域Ｒを定めることができる。またＨＭＤ１００は、個人差や姿勢変化に関するパラメータを用いることで、テクスチャ成分に乏しい手の形状を高精度に検出して高速に捕捉することができる。

［変形例］
本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態においては、操作領域の定義のためのユーザの初期化動作として、ユーザの手が対角線状に広げられる動作が示されたが、初期化動作はこれに限られない。

例えば、予め矩形の操作領域のアスペクト比が定められており、両手を左右または上下に広げることで、両手間の距離が操作領域の縦方向または横方向の長さに設定されてもよい。

また、片手のみの動作によって操作領域が定められてもよい。例えば上記対角線状の動きが片手で実行されてもよいし、手が矩形状に動かされてその矩形領域が操作領域に定められてもよいし、手が円状に動かされてその円を最大限に含む所定のアスペクト比の矩形領域が操作領域に定められてもよい。

さらに、上述の実施形態において、制御部１１は、ユーザが初期化動作において、対角線状の手の動きを右上がり（左下がり）で行なうか左上がり（右下がり）で行なうかに応じて、起動モードを切り替えることも可能である。

上述の実施形態においては、テーブルＴ上に操作領域Ｒが定義される例が示されたが、本技術はこの場合に限られない。例えば同様の処理は、床等の水平面のほか、壁面やホワイトボード等の鉛直面で実行されてもよいし、平面以外の任意の空間上で実行されてもよい。

上述の実施形態では、手の認識を例に挙げたが、コップその他陶器や什器、家具など、形状に個体差があり、かつテクスチャに乏しい物体の認識にも上記実施形態が適用可能である。

上述の実施形態では、ステレオカメラを有するシースルー眼鏡型のＨＭＤが本技術に適用された例が示されたが、本技術はこれに限られない。例えば、同様のウェアラブルデバイスの表示部に網膜プロジェクタが用いられてもよい。さらに、シースルーでないＨＭＤ、スマートフォン、デスクトップＰＣのディスプレイ、プロジェクタ等の各種表示デバイスと、ステレオカメラ以外のＴＯＦ（Time of Flight）センサ、ＩＲ（infrared）パターン照射型の各種デプスセンサとが組み合わされて本技術が実現されてもよい。

［その他］
本技術は以下のような構成もとることができる。
（１）
撮像装置により撮像された画像が逐次入力されるように構成された入力部と、
前記入力された画像からユーザの手を検出し、当該検出された手の移動中の位置、姿勢及び大きさを認識し、当該認識された手の位置、姿勢及び大きさの推移を基に、前記手が移動した面上の所定領域を操作領域として定義し、前記操作領域上に配置される前記ユーザの操作用の仮想三次元オブジェクトを生成するように構成された制御部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記ユーザの２つの手を検出し、前記移動後の手間の距離を基に前記操作領域を定義する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
前記制御部は、前記手間の距離を対角線として有する矩形領域を前記操作領域として定義する
情報処理装置。
（４）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記ユーザに前記手を動かすよう指示する指示情報を生成し、当該指示情報を出力する
情報処理装置。
（５）
上記（１）に記載の情報処理装置であって、
手の平均的形状を示す平均手画像と、手の姿勢変化に関する姿勢パラメータと、手の個人差に関する個人差パラメータとを記憶するように構成された記憶部をさらに具備し、
前記制御部は、前記入力された画像と前記平均手画像とをマッチングすることで前記手を検出し、前記平均的形状から、前記姿勢パラメータ及び前記個人差パラメータを変動させて手の三次元モデルを生成し、当該生成された三次元モデルをレンダリングし、前記レンダリングされた画像から抽出されたエッジ成分と、前記入力された画像から抽出されたエッジ成分とをマッチングすることで、前記ユーザの手の姿勢を認識する
情報処理装置。
（６）
上記（５）に記載の情報処理装置であって、
前記制御部は、前記ユーザの手の移動中に、前記マッチングによる姿勢認識時の前記個人差パラメータを固定し、前記姿勢パラメータを変動させて前記手の姿勢を認識する
情報処理装置。
（７）
上記（６）に記載の情報処理装置であって、
前記記憶部は、前記入力される画像のフレーム間隔において手の姿勢が変化し得る範囲を示す変化範囲情報を記憶し、
前記制御部は、前記記憶された変化範囲情報を基に、前記姿勢パラメータの変動範囲を限定する
情報処理装置。
（８）
上記（６）に記載の情報処理装置であって、
前記制御部は、前記仮想三次元オブジェクトに対するユーザの操作時に、前記個人差パラメータを固定し前記姿勢パラメータを変動させて前記手の姿勢を認識する
情報処理装置。

１１…制御部
１２…記憶部
１４…センサ部
１６…右カメラ
１７…左カメラ
１８…表示部
５１…矢印
１００…ＨＭＤ（Head Mount Display）

Claims (9)

1. 撮像装置により撮像された画像が逐次入力されるように構成された入力部と、
   手の平均的形状を示す平均手画像と、手の姿勢変化に関する姿勢パラメータと、手の個人差に関する個人差パラメータとを記憶するように構成された記憶部と、
   前記入力された画像と前記平均手画像とをマッチングすることで前記入力された画像からユーザの手を検出し、
   当該検出された手の移動中の位置及び大きさを認識するとともに、前記平均的形状から、前記姿勢パラメータ及び前記個人差パラメータを変動させて手の三次元モデルを生成し、当該生成された三次元モデルをレンダリングし、前記レンダリングされた画像から抽出されたエッジ成分と、前記入力された画像から抽出されたエッジ成分とをマッチングすることで、前記検出された手の移動中の姿勢を認識し、
   当該認識された手の位置、大きさ及び姿勢の推移を基に、前記手が移動した面上の所定領域を操作領域として定義し、前記操作領域上に配置される前記ユーザの操作用の仮想三次元オブジェクトを生成するように構成された制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記ユーザの２つの手を検出し、前記移動後の手間の距離を基に前記操作領域を定義する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記制御部は、前記手間の距離を対角線として有する矩形領域を前記操作領域として定義する
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記ユーザに前記手を動かすよう指示する指示情報を生成し、当該指示情報を出力する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記ユーザの手の移動中に、前記マッチングによる姿勢認識時の前記個人差パラメータを固定し、前記姿勢パラメータを変動させて前記手の姿勢を認識する
   情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記記憶部は、前記入力される画像のフレーム間隔において手の姿勢が変化し得る範囲を示す変化範囲情報を記憶し、
   前記制御部は、前記記憶された変化範囲情報を基に、前記姿勢パラメータの変動範囲を限定する
   情報処理装置。
7. 請求項５に記載の情報処理装置であって、
   前記制御部は、前記仮想三次元オブジェクトに対するユーザの操作時に、前記個人差パラメータを固定し前記姿勢パラメータを変動させて前記手の姿勢を認識する
   情報処理装置。
8. 撮像装置により撮像され逐次入力された画像と、手の平均的形状を示す平均手画像とをマッチングすることで、前記入力された画像からユーザの手を検出し、
   前記検出された手の移動中の位置及び大きさを認識し、
   前記平均的形状から、手の姿勢変化に関する姿勢パラメータと、手の個人差に関する個人差パラメータとを変動させて手の三次元モデルを生成し、当該生成された三次元モデルをレンダリングし、前記レンダリングされた画像から抽出されたエッジ成分と、前記入力された画像から抽出されたエッジ成分とをマッチングすることで、前記検出された手の移動中の姿勢を認識し、
   前記認識された手の位置、大きさ及び姿勢の推移を基に、前記手が移動した面上の所定領域を操作領域として定義し、前記操作領域上に配置される前記ユーザの操作用の仮想三次元オブジェクトを生成する
   情報処理方法。
9. 情報処理装置に、
   撮像装置により撮像され逐次入力された画像と、手の平均的形状を示す平均手画像とをマッチングすることで、前記入力された画像からユーザの手を検出するステップと、
   前記検出された手の移動中の位置及び大きさを認識するステップと、
   前記平均的形状から、手の姿勢変化に関する姿勢パラメータと、手の個人差に関する個人差パラメータとを変動させて手の三次元モデルを生成し、当該生成された三次元モデルをレンダリングし、前記レンダリングされた画像から抽出されたエッジ成分と、前記入力された画像から抽出されたエッジ成分とをマッチングすることで、前記検出された手の移動中の姿勢を認識するステップと、
   前記認識された手の位置、大きさ及び姿勢の推移を基に、前記手が移動した面上の所定領域を操作領域として定義し、前記操作領域上に配置される前記ユーザの操作用の仮想三次元オブジェクトを生成するステップと
   を実行させるプログラム。