JP4613994B2 - 動態推定装置、動態推定方法、プログラム - Google Patents

Description

本発明は、例えば観測画像を利用して三次元物体の動態を推定する動態推定装置とその方法に関する。また、このような動態推定装置が実行するプログラムに関する。

例えば、三次元物体とその観測画像とのマッチングを実行しながら、三次元物体についての位置や動きを推定する、動態推定のための手法がこれまでに多く提案されている。

上記動態推定手法のうちの１つとして、物体の位置変化であるとか運動による外観の変化を画像のアフィン変換で記述し、アフィン変換のパラメータを推定するというものが知られている。
しかし、アフィン変換は、三次元物体が剛体でなければならないという制限があるほか、三次元パラメータからアフィン変換のパラメータへの計算が複雑であり、隠蔽への対応も不可能とされている。

そこで動態推定のための他の手法として、特許文献１、非特許文献１などの技術が提案されてきている。
特許文献１には、被写体画像から切り出した被写体画像に基づいて被写体に類似する標準三次元形状モデルの形状を修正する、という構成が記載されている。
また、非特許文献１には、画像上で人のシルエットを抽出するとともに、モデルに設定したサンプルポイントを撮影された画像上で取得し、この取得したサンプルポイントの位置が上記シルエット内に位置するか否かについてのマッチング処理を行うようにした構成が記載されている。

上記のようにして三次元のモデルに対して設定するサンプルポイント(三次元制御点)は、全ての物体運動を記述することが可能とされ、各制御点が隠蔽されているか否かに応じてマッチング法の適用を変えるようなことも可能とされている。

特開２０００−１９４８５９号公報 J. Deutscher, A. Blake, and I. Reid. "Articulated Body Motion Capture by Annealed Particle Filtering", In Proc. CVPR, 2:126-133, 2000.

本願発明としても、三次元物体を対象とする動態推定の手法として、これまでに提案されているものと比較して、より高い性能が得られるようにすることを目的とする。

そこで本発明は上記した課題を考慮して、動態推定装置として次のように構成する。
つまり、三次元物体モデルに対して複数の制御点を設定する制御点設定手段と、三次元物体モデルに対応する実体を被写体とする被写体画像に対して射影したときに、この被写体画像上に射影されたとする上記制御点の位置である射影位置ごとに対応する色を示す情報である、制御点色情報を取得する制御点色情報取得手段と、制御点色情報取得手段により初期設定用の上記被写体画像から取得させた制御点色情報を、初期制御点色情報として保持させる初期制御点色情報保持手段と、現時刻における制御点ごとの位置を推定する制御点位置推定手段と、この制御点位置推定手段によりその位置が推定された上記制御点を、現時刻の被写体画像に射影したとするときの現制御点色情報を取得する、現制御点色情報取得手段と、現制御点色情報と初期制御点色情報とを利用して尤度を算出する尤度算出手段とを備え、上記制御点設定手段は、一配列方向における上記射影位置間の距離が等しくなるようにして、三次元物体モデルの表面上で制御点を配置することとした。

上記構成では、三次元物体モデルに対して制御点を設定することとしたうえで、この制御点ごとの色を示す制御点色情報を得ることができる。そのうえで、先ず、初期設定値としての制御点ごとの色を示す初期制御点色情報を保持するようにされる。動態推定処理に際しては、時間経過に応じて変化し得る制御点の位置を推定し、推定した制御点を画像に射影したときの画像上での制御点の色を示す現制御点色情報を得る。そして、初期制御点色情報を仮定の情報として扱い、現制御点色情報を観測値として扱って尤度を求める。

上記のようにして本願発明においては、制御点の位置に依るのみではなく、その色情報も用いて動態推定が行えるものであり、これにより、例えば制御点の色情報を用いない動態推定と比較して、より高い性能が期待されることになる。

図１は、本願発明を実施するための最良の形態（以下、実施の形態という）としての動態推定装置に対応する、動態推定システムの構成例を示すブロック図である。
本実施形態の動態推定システムは、図示するようにして、制御点設定部１１（制御点設定手段）、制御点初期色登録部１２（初期制御点色情報保持手段）、及び制御点移動処理部１３（制御点位置推定手段）、移動制御点色取得部１４（現制御点色情報取得手段）、制御点色抽出部１５（制御点色情報取得手段）、及び尤度算出部１６（尤度算出手段）から成る。

制御点設定部１１は、動態推定処理のための初期設定の１つとして、動態推定の対象であって三次元物体をモデル化したもの（三次元物体モデル）に対して、制御点（三次元制御点）を設定する処理を実行する。この制御点設定部１１による制御点設定の仕方について、図２〜図５を参照して説明する。

先ず、図２（ａ）においては、動態推定の対象としての三次元物体モデル２０が斜視図により示されている。なお、ここでの三次元物体モデル２０は、テーパー状の円錐形状としている。
制御点Ｄｔは、このようにして或る特定の形状を有する三次元物体モデル２０の表面上において、均一性が与えられるような位置関係でもって、必要数を貼り付けるようにして設定すべきものとなる。

ここで、制御点Ｄｔについて、上記均一性を与えるためには、例えば制御点Ｄｔをマトリクス状に配列することとしたうえで、１行ごと、及び１列ごとに、隣り合う制御点Ｄｔ間の距離が等しくなるようにして設定する、という手法がこれまでにおいてしばしば用いられている。
例えば図２（ａ）の場合であれば、先ず、縦方向に対応する、５つの制御点Ｄｔから成る各列においては、隣り合う制御点Ｄｔ間の距離について、それぞれＡで等しくなるように設定する。
また、横方向に対応する、７つの制御点Ｄｔから成る各行についても、隣り合う制御点Ｄｔ間の距離について、それぞれ、Ｂ1〜Ｂ5で等しくなるように設定する。ただし、この場合の三次元物体モデル２０は、上方向から下方向にかけて小さくなっていくテーパー状の円錐形状とされているので、一番上の行における制御点Ｄｔ間の距離Ｂが最も大きくなり、以降、下の行となるのにつれて、制御点Ｄｔ間の距離は小さくなっていき、最も下の行における制御点Ｄｔ間の距離Ｃが最も小さくなる。

しかし、上記のようにして、三次元物体モデル２０の表面上で、隣り合う制御点Ｄｔ間の距離が等しくなるようにして制御点の設定を行った場合、その三次元物体モデル２０を画像として射影した際には、均一性が大きく損なわれる。
具体例として、図２（ｂ）には、三次元物体モデル２０を平面方向から見たときに或る１つの行を成す７つの制御点Ｄｔを示している。これら制御点Ｄｔについて、上記のようにして隣り合う制御点Ｄｔ間を距離Ｂ（図２（ａ）のＢ1〜Ｂ5のいずれかに相当する）で等しくなるように設定した場合において、これを側面方向から見た場合には、距離Ｐ１〜Ｐ６のようにして示すように、隣り合う制御点Ｄｔ間の距離が、その位置によって異なるものとなる。これは、三次元物体モデル２０を射影変換して得られる画像上においては、設定された制御点Ｄｔ間の距離が、上記距離Ｐ１〜Ｐ６の大小関係を有するようにして、異なってしまうことを示している。

本実施形態の動態推定システムは、後述するようにして動態推定を行うのにあたり、三次元物体モデル２０が時間経過に応じて動く画像を観測画像として利用する。このように観測画像を利用することとしたうえで、本実施形態のようにして三次元物体モデルに対して制御点を設定する場合、より高い推定精度を得るためには、画像に射影変換されたときに制御点が均一に配置される状態となっていることのほうが好ましい。

そこで、本実施形態では、次のようにして制御点を設定することとした。
本実施形態における制御点の設定に際しては、先ず、図３に示すようにして、三次元物体モデル２０を撮像装置３０により撮像している状態を想定する。

図４（ａ）（ｂ）は、上記図３のようにして撮像装置３０により三次元物体モデル２０を撮像している状態を、それぞれ、側面方向と平面方向より見た状態に対応する。
撮像装置３０においては、撮像により得られた像光が到達する像光面３０ａが形成される。この像光面３０ａは、例えば撮像素子を備える撮像装置の場合であれば、この撮像素子における受光面が対応する。
そのうえで、この撮像面３０ａに平行であって、三次元物体モデル２０を切断する面（モデル切断面）を想定する。図４（ａ）（ｂ）において、一点鎖線Ｍ１は、撮像面３０ａに沿った面を示すもので、一点鎖線Ｍ２は、上記一点鎖線Ｍ１に対応する面（即ち撮像面３０ａ）に平行なモデル切断面を示す。
そして、上記一点鎖線Ｍ２に対応する切断面により三次元物体モデル２０を切断したとする場合において、その面積（断面積）が最も大きくなる三次元物体モデル２０の断面を、基準断面として得る。
ここでの三次元物体モデル２０は、平面部が真円のテーパー状の円錐形状であることとしている。従って、三次元物体モデル２０の断面として最も面積が大きくなるのは、図４（ｂ）に示されるようにして、切断面、即ち一点鎖線Ｍ２について、三次元物体モデル２０の平面上において、その円形状の半径を通過させたときとなる。

図５（ａ）は、上記のようにして得られた三次元物体モデル２０についての基準断面２１を示している。
また、図５（ｂ）は、上記基準断面２１とともに、三次元物体モデル２０を平面より示している。
本実施形態においては、この図５（ｂ）に示すようにして、基準断面２１に対応する線分（基準線２１ａ）について、１行分の制御点Ｄｔの数に応じて等分する。この場合には、１行分の制御点Ｄｔの数を７としているので、基準線２１ａを６等分することになる。ここでは、基準線２１ａを等分して得られる長さをＬで示している。

次に、基準線２１ａの両端と、その間の５つの等分点を通過し、かつ、基準線２１ａと直交する直線Ｖ１〜Ｖ７を想定することとして、これら直線Ｖ１〜Ｖ７と、三次元物体モデル２０の表面と交差する位置に対して、それぞれ制御点Ｄｔを設定する。この１行分の制御点設定を、各行ごとに行うようにする。また、実際の三次元物体モデル２０の形状に応じては、列方向においても、同様の手順で制御点を設定する。

このようにして制御点Ｄｔを設定した場合、１つの行若しくは列としての一配列方向において隣り合う制御点間の距離は、制御点の位置により異なるものとなる。しかし、基準断面２１と平行な面に対して制御点Ｄｔを射影して二次元平面に置換したときには、一配列方向において隣り合う制御点Ｄｔ間の距離を同じとすることができる。つまり、図５（ｂ）において示される距離Ｐ１〜Ｐ６は、基準線２１ａを等分して得られる長さＬに対応して等しいものとなる。
このことは、図５（ｂ）において白抜きの矢印で示す方向（撮像方向）より撮像したとする場合、撮像装置３０により撮像して得られる画像上では、隣り合う制御点Ｄｔ（射影点）間の距離が等しくなっている、即ち均等になっている状態が得られることになる。
このようにして、本実施形態では、制御点設定部１１により上記のようにして制御点を設定する。これにより、観測画像上で見える制御点は、例えば図２にて説明したように三次元物体モデル２０の表面上で等距離に制御点を配置する場合と比較すると、より均一に配置された状態を得ることができる。

制御点設定部１１では、推定対象である三次元物体モデル２０が被写体として存在する画像、即ち、例えば図３のようにして三次元物体モデル２０としての実体を被写体として撮像装置３０により撮像して得られる画像（画像データである）を、初期設定用画像（初期設定用の被写体画像）として入力する。なお、この初期設定用画像では、三次元物体モデル２０としての実体は、制御点設定に適切とされる方向を撮像装置３０に向けたとする位置状態で動かないように固定させておくようにする。従って、初期設定用画像については、三次元物体モデル２０を撮像して得られる静止画としての画像データを利用することとしてもよい。

そのうえで、制御点設定部１１は、取り込んだ画像データにおける三次元物体モデル２０の画像に対して、先に、図３〜図５にて説明した手法に従って、必要数の制御点を設定する。
例えばこの際には、撮像装置３０から被写体である三次元物体モデル２０までの距離をはじめ、撮像装置３０における画角（ズーム倍率）その他の撮像に関連するパラメータについては予め定めておくことで既知となるようにしている。従って、これらの既知のパラメータを利用することで、撮像画像上での制御点が射影される位置は求められる。

上記のようにして制御点設定部１１により設定された制御点の例を図６に模式的に示す。
ここでは先ず、図６（ａ）においては、撮像装置３０により撮像して得られた撮像画像データの画像、即ち撮像画像４０として、三次元物体モデル２０の実体が被写体として写されている画内容が示されている。ここでの三次元物体モデル２０の実体は人とされたうえで、この人を正面から撮像している。
そして、例えばこの場合には、この三次元物体モデル２０の実体である人の胴体部分を、三次元物体モデル２０に対応させることとして、先の図３〜図５により説明した手法に従って、撮像画像４０上での配置位置を決定した制御点を設定する。このようにして三次元物体モデル２０に対して設定した制御点のパターン例が図６（ｂ）に示される。

図６（ｂ）に示される制御点Ｄｔの配列パターンは、例えば縦方向においては上から下にかけて行ｒ１〜ｒ５が配列され、横方向においては左から右にかけて行ｃ１〜ｃ７が配列されるものとなっている。つまり、５行×７列により計３５個がマトリクス状に配列されているものである。

初期設定処理として、上記のようにして制御点設定部１１により撮像画像上での制御点についての設定を行った後は、制御点初期色登録部１２によって、制御点ごとの初期色の情報を、初期設定情報として登録する処理を行う。

このためには、制御点初期色登録部１２が、制御点設定部１１により設定された制御点ごとの色情報を取得する必要があるが、この制御点ごとの色情報の取得は、制御点色抽出部１５が実行する。

この場合の制御点色抽出部１５は、初期設定画像から、制御点設定部１１により制御点が設定された位置ごとの色情報を抽出する。このようにして抽出された色情報が抽出された制御点ごとの初期色の情報となる。

そこで制御点初期色登録部１２は、初期設定情報として、制御点設定部１１により設定された制御点ごとの初期色情報を登録する処理を行う。
本実施形態において、制御点ごとの色情報は、模式的には、図７に示されるようなテンプレート形式であるものとする。ここでは、このテンプレート形式による制御点ごとの色情報について、制御点色テンプレートともいうことにする。

図７に示される制御点色テンプレートは、図６（ｂ）に示した制御点の設定に応じたものとなっている。
図７においては、図６（ｂ）に示した制御点の配列パターンに応じた、行ｒ１〜ｒ５と列ｃ１〜ｃ７による３５個のマスがマトリクス状に配列されている。これらのマスの各々が、図６（ｂ）において配列される個々の制御点の色情報に対応することになる。
なお、各マス（色情報）ごとに対応して付されている１〜３５のサンプル番号については後述する。

そして、例えば制御点色テンプレートとして、初期色情報に対応するものを作成する場合には、図６（ｂ）の各マスに対応させて、制御点色抽出部１５により抽出した制御点ごとの初期色情報を設定すればよい。

図１との対応では、上記初期色情報に対応する制御点色テンプレートのデータは、制御点色抽出部１５が生成するものとしてもよいし、制御点初期色登録部１２が、制御点色抽出部１５から受け取ったとする制御点ごとに対応した色情報を利用して生成するものとしてもよい。いずれにせよ、制御点初期色登録部１２は、初期色情報に対応する制御点色テンプレート（初期制御点色情報）を取得することになる。
なお、以降においては、初期色情報に対応する制御点色テンプレートは、「初期テンプレート」ともいう。
そして、制御点初期色登録部１２は、上記のようにして取得した初期テンプレートのデータを初期設定情報として登録する、即ち、所定の記憶領域にて保持させる。なお、実際において、上記記憶領域は、例えばＲＡＭやフラッシュメモリなどの記憶装置となる。

上記した初期設定処理、即ち初期テンプレートを登録する処理を実行したとされると、動態推定システム１は、以降説明するようにして、三次元物体モデル２０を撮像して得られる動画像の画像データを観測値として利用して、三次元物体モデル２０についての三次元空間における動態推定処理を実行することができる。

図８は、本実施形態における動態推定の概念を模式的に示すものとして、現実の三次元空間内の三次元物体モデル２０と、撮像画像４０における射影画像としての三次元物体モデル（射影モデル画像）との関係が示される。
ここで、例えば前時刻t-1において、現実の空間内において或る姿勢状態、位置状態にあるとされた三次元物体モデル２０(t-1)を撮像装置３０により撮像したことで、撮像画像４０にて存在する三次元物体モデル２０の画像である射影モデル画像２０A(t-1)が図のようなものであったとする。
そして、この三次元物体モデル２０が移動をしていることで、現時刻ｔ−１に至ったときには、
前時刻t-1に対応する三次元物体モデル２０（ｔ−１）の位置から、三次元物体モデル２０（ｔ）として示される位置姿勢に変化していたとする。これに応じて、撮像画像４０においても、前時刻ｔ−１において存在していた射影モデル画像２０A(t-1)は、現時刻ｔに至って、射影モデル画像２０A(t)として示されるようにして移動、変化する。
本実施形態における動態推定処理は、このような現実の物体移動に応じて、三次元物体モデルの動態を推定しようというものである。

本実施形態の動態推定処理は、先に説明した三次元物体モデル２０に対する制御点の設定と、初期テンプレート登録のための初期設定が行われていることを前提とした上で、主として制御点移動処理部１３、移動制御点色取得部１４、制御点色抽出部１５、及び尤度算出部１６が下記の処理を実行することにより実現される。

上記図８の説明のようにして三次元物体モデル２０が移動することに応じては、先の説明のようにして三次元物体モデル２０に設定した制御点も移動することになる。
制御点移動処理部１３は、三次元物体モデル２０の移動に応じて設定された制御点Dｔを移動させる処理、即ち、現時刻tにおける制御点Dtごとの位置を推定して追跡する処理を実行する。

上記の追跡処理のアルゴリズムの一例として、パーティクルフィルタを応用したアルゴリズムを適用した場合には、制御点移動処理部１３は、例えば次のような手順による処理を実行すればよい。
先ず、制御点移動処理部１３は、後述の尤度算出部１６から出力される尤度情報を取り込む。この尤度情報は、前時刻t-1に対応して得られたものとして扱われる。また、制御点移動処理部１３は、現時刻ｔに対応して得られたとされる観測画像としての画像データ（撮像画像４０に対応する）を取り込む。そして、決定された前時刻t-1におけるパーティクルの重みに基づいてパーティクルの選択を行う。次に、これらの選択されたパーティクルについて、例えば等速運動モデルなどを用いて、現時刻ｔにおける位置の予測を行う。そして、制御点移動処理部１３としては、このようにして得られた予測結果に基づいて、現時刻ｔにおける制御点Ｄｔごとについての三次元空間上での位置を推定する。

なお、制御点移動処理部１３による制御点移動のための処理、即ち、制御点の位置推定のためのアルゴリズムとしては、上記パーティクルフィルタをはじめ、これまでに知られている各種の物体追跡、姿勢追跡（姿勢推定）などといわれる処理のためのアルゴリズムを採用することができるものであり、特に限定されるべきではない。

上記のようにして制御点移動処理部１３によって、現時刻ｔにおける制御点位置が設定（推定）されたことに応じては、移動制御点色設定部１４により、現時刻ｔにおいて新たに得られたとされる制御点ごとの色情報を取得する。この色情報についても、先の初期色情報の場合と同様、制御点色テンプレートとして取得する。
なお、以降において、この現時刻ｔにおける制御点ごとの色情報から成る制御点色テンプレートについては「現テンプレート」ともいうことにして、先の初期色情報を有する制御点色テンプレートである「初期テンプレート」と区別する。

そして、上記現テンプレートを得るのにあたっても、初期テンプレートの場合と同様に、制御点色抽出部１５によって、現時刻ｔの画像データから制御点ごとの色情報を抽出する処理を行う。
つまり、この場合の制御点色抽出部１５は、現時刻ｔにおいて得られる観測画像（撮像画像４０）上に、制御点移動処理部１３により推定された現時刻ｔの制御点Ｄｔを射影させる。これにより、現時刻ｔの観測画像上において、現時刻ｔに対応して推定された制御点ごとに、画像内の位置が設定されることになる。そこで、制御点色抽出部１５は、現時刻ｔの観測画像において、制御点が設定されているとする位置において表現されている色を示す色情報を抽出する。

ただし、現実においては、観測画像において制御点が射影されたとする点(射影点)のパターンについて、観測画像を形成する画素のグリッドと一致しない状態が発生し得る。つまり、撮像画像４０上において、隣接する射影点の距離が、１画素分よりも大きくなったり、小さくなったりする状態が生じ得る。
例えば、上記射影点の距離が１画素分よりも小さくなるときには補間技術により画像データを取り出すことはできる。しかし、上記射影点の距離が１画素分よりも大きくなるときにおいて、単純に、観測画像において射影点に対応する画素からそのまま色情報を抽出したとすると、観測画像の画像データよりも低いサンプリング周波数によって画像データのリサンプリングを実行することと等価の処理を実行することになる。この場合において、例えばサンプリング周波数が一定以下となると、色情報抽出に対応したサンプリングのデータについて、エリアシングに相当するノイズが発生してしまう。

これを回避するための対策として、１つには、次のような手法が考えられる。
つまり、隣接する射影点間の距離が一定以上の場合には、これらの射影点間に対応するとされる境界線を求め、この境界線で括られた画像領域を射影点ごとに対応させる。そして、この画像領域ごとに、そこに含まれる画素ごとの平均値を算出し、この平均値を、射影点に対応する制御点ごとの色情報とするものである。また、隣接する射影点間の距離が一定未満であれば、射影点に対応して得られる画素の補間値を求めて、これを色情報とする。
しかし、上記の手法は、例えば境界線を求めるための計算が複雑であるために高速処理の点では不利となる。

そこで、本実施形態では、制御点色抽出部１５における色情報の抽出処理として、次のような手法を採用する。
先ず、制御点色抽出部１５では、図９に示すようにして、現時刻ｔの観測画像（撮像画像４０）の画像データ（観測画像データ）を基として、第１層〜第ｎ層までの色抽出のための画像を生成可能に構成する。
ここで、第１層画像は、現時刻ｔの観測画像データについて、水平・垂直画素数＝ａ×ａを最小単位とする解像度でリサンプリングして得られる画像となる。ここでａ＝１であるとすると、第１層画像は、現時刻ｔの観測画像データと同じものになる。
また、第２層画像は、現時刻ｔの観測画像データについて、水平・垂直画素数＝２ａ×２ａを最小単位とする解像度でリサンプリングして得られる画像となる。これに準じて、例えば第３層画像〜第ｎ層画像までは、それぞれ、水平・垂直画素数＝３ａ×３ａ〜ａｎ×ａｎを最小単位とする解像度でリサンプリングして得られる画像となる。従って、第１層画像〜第ｎ層画像は、現時刻ｔの観測画像データを基として、段階的に解像度が低くなる画像となる。

そのうえで、制御点色抽出部１５は、観測画像上において設定された１つの射影点（対象射影点）に対応する色情報を抽出するのにあたって、この対象射影点と隣接する射影点ごとの各距離を求め、求めた距離のうちで最小となる距離(対象射影点対応最小距離)を選択する。この選択された対象射影点対応最小距離について、ここではｄとする。
そして、この対象射影点対応最小距離ｄを切り捨てて整数化した値（ここではd1と表記する）に対応する第d1層画像と、対象射影点最小距離ｄを切り上げて整数化した値（ここではd2と表記する）に対応する第d2層画像との２つの層画像から対象射影点に対応する画素をリサンプリングし、これらのリサンプリングした画素値を線型補間して得られる値を、最終的な対象射影点に対応する制御点の色情報(対象制御点色情報)として求める。このようにして色情報を求めるにあたっての計算式の具体例を、下記の(数１)に示す。

上記のようにして対象制御点色情報ごとの色情報を求めるようにすれば、射影点間距離に応じた、撮像画像４０として原画像よりも低いサンプリング周波数によりサンプリングされた画像から画素をリサンプリングすることと等価の処理が行われることになる。これにより、エリアシングノイズが生じることはなくなる。そのうえで、例えば、画像データから射影点ごとに対応した境界線を求めるような複雑な処理も不要であることから、軽い処理で高速に制御点ごとの色情報を抽出できる。

そして、移動制御点色取得部１４は、上記のようにして抽出された制御点（射影点）ごとの色情報に基づいて生成された、図７に示した模式構造を有する現テンプレートのデータを取得する。なお、この場合においても、現テンプレートのデータの生成処理は、制御点色抽出部１５が実行することとしてもよいし、移動制御点色取得部１４が実行することとしてもよい。

なお、上記図９により説明した、制御点色抽出部１５による対象制御点色情報ごとの色情報の求め方（制御点色抽出処理）は、制御点初期色登録部１２が登録する初期テンプレートのために、制御点ごとの初期色を抽出する際にも適用する。

上記のようにして、これまでの処理によっては、移動制御点色取得部１４において、現テンプレート、即ち、現時刻ｔに対応する制御点色テンプレートのデータが得られていることになる。
そこで、次の処理としては、尤度算出部１６により、制御点初期色登録部１２にて得た初期テンプレート（仮定）のデータと、移動制御点色取得部１４にて得た現テンプレート（観測値）のデータとを利用してのマッチング処理を実行することによって、制御点についての尤度を算出する。

本実施形態においては、尤度算出部１６として、初期テンプレートと現テンプレートとの正規化相関値、及び色ヒストグラムの距離の情報を併用して尤度を求めるように、そのアルゴリズムを構成する。
先ず、正規化相関値については、下記の(数２)により求める。

なお、上記(数２)において、変数iは、初期テンプレート、現テンプレートのそれぞれにおける、制御点ごとの色情報に対応させたサンプル番号を示す。このサンプル番号は、例えば、図７に示す順序により制御点ごとに対応させて付すことができる。

また、色ヒストグラムの距離については、次のようにして求める。
先ず、初期テンプレート、現テンプレートのそれぞれについて、各制御点に対応する色情報をＨＳＩ空間に変換し、Ｈ(色相)、Ｓ(彩度)、Ｉ（輝度）の成分ごとに量子化する。Ｈ(色相)及びＳ(彩度)については３ビットにより８段階での量子化を行い、Ｉ(輝度)については２ビットの４段階により量子化を行う。
そのうえで、これらの量子化されたＨ(色相)、Ｓ(彩度)、Ｉ（輝度）の値(量子化値)を利用して、制御点ごとに、色ヒストグラムの索引(Index：インデックス)を、下記の(数３)により求める。例えば図６、図７での例に対応させれば、この色ヒストグラムの索引(Index)は、初期テンプレートと現テンプレートとで、それぞれ３５個が求められることになる。

なお、上記（数３）において、Ｈ(色相)、Ｓ(彩度)、Ｉ（輝度）に設定した係数は、それぞれ３２、４、１となっている。これは、色ヒストグラムの観点では、色の違いを弁別する際の重要度が、Ｈ(色相)、Ｓ(彩度)、Ｉ（輝度）の順となることに基づいている。なお、ここで設定されている係数はあくまでも一例であり、実際に得られる尤度の精度などを考慮して適宜変更されてよい。

また、色ヒストグラムについては、全部で２６０次元（２６０ｂｉｎ）を用意することとした。
その理由として、先ず、基本的には、Ｈ(色相)、Ｓ(彩度)、Ｉ（輝度）の量子化ビット数がそれぞれ３ビット、３ビット、２ビットであって、計８ビットとなるので、(数２)に基づいて求められる索引としては１０進法表記では０〜２５５までの２５６通りの値を採り得る。そこで、これに対応させて、色ヒストグラムとしては、先ず、２５６次元が必要であることとした。
ただし、グレースケールの場合には、Ｈ(色相)、Ｓ(彩度)の値は不安定になる。そこで、色情報としてグレーであると判定された場合、その制御点については、（数３）を適用せずに、上記数Ｉ（輝度）の量子化値のみを採用することとした。そして、この数Ｉ（輝度）の量子化値のみを採用した場合に対応させて、上記２５６次元に加えて４つの次元（ｂｉｎ）を追加することとした。このようにして、色ヒストグラムとしては２６０次元となる。

なお、制御点ごとの色情報について、これがグレースケールであるか否かについては、その色情報として示されるＲ(赤)，Ｇ(緑)，Ｂ(青)の値の差が同じであるとみなされる程度の一定範囲に収まっているか否かに基づいて判定することができる。

そして、現テンプレートと初期テンプレートとのそれぞれについて、先の（数３）により求めた色ヒストグラムの索引(Index)ごとに、上記のようにして規定した色ヒストグラムにおいて、該当する値の次元（ｂｉｎ）に対して入れていく（投票する）。この結果、現テンプレートと初期テンプレートとのそれぞれに対応する色ヒストグラムが形成されることになる。
なお、初期テンプレートについては、初期設定時において登録された色情報の値で固定されるので、逐一、色ヒストグラムを作成しなくとも、予め作成しておいて、初期設定情報として保持しておくようにしてもよい。この場合、尤度算出部１６は、初期テンプレートの色ヒストグラムが必要な際には、この初期設定情報として保持されている初期テンプレートの色ヒストグラムのデータを取得すればよい。

上記のようにして、現テンプレートの色ヒストグラムと、初期テンプレートの色ヒストグラムとを得たとされると、尤度算出部１６は、両者の色ヒストグラム間の距離（類似度）を求める。この色ヒストグラムの距離は、Bhattacharyya(バタチャヤ)係数として、（数４）により求めることができる。

そして、尤度算出部１６は、最終的な尤度については、上記（数２）、（数３）により求めた正規化相関値と色ヒストグラム間の距離（Bhattacharyya係数）を用いて、（数５）により求める。

なお、（数５）における調整係数λ，γについては、実際に算出される尤度などの精度を考慮して調整されるべきものとなる。

また、尤度算出部１６が実行する、初期テンプレートと現テンプレートとを利用しての尤度算出のためのアルゴリズムは他にも考えられるが、本願発明者は、試行の結果、上記した正規化相関に基づく尤度算出アルゴリズム、及び色ヒストグラムに基づく尤度算出アルゴリズムが有効であることを確認した。そこで、本実施形態としては、これらの２つのアルゴリズムを併用して統合することで、最終的な尤度を求めるように構成したものである。

例えば非特許文献１においても、モデルに対して、本実施形態の制御点に相当し得るpixel map sampling pointsを設定することが記載されている。しかし、非特許文献１においては、このpixel map sampling pointsが、画像内におけるモデルのシルエットに含まれる状態に基づき尤度を求めるようにされている。
これに対して、本実施形態では、制御点に対して色を設定することとしたので、最終的な尤度を求めるのにあたっては、仮定と観測値とで、それぞれ制御点ごとの色情報を用いることが可能とされている。これにより、例えば色情報を持たずに、単位制御点の位置とシルエットとを比較する構成よりも的確に尤度を求めることが可能になり、より高い推定精度を得ることが期待できる。

ところで、これまでに説明してきた本実施形態としての動態推定のための処理、即ち、動体推定システム１は、図１に示した機能構成に対応して形成したハードウェアにより実現できる。また、図１に示した機能構成に対応する処理を実行させるプログラムを記述したソフトウェアにより実現することもできる。また、このようなハードウェアとソフトウェアを組み合わせて併用することもできる。
そして、本実施形態の動態推定のために必要な処理の少なくとも一部をソフトウェアにより実現するのにあたっては、そのソフトウェアを構成するプログラムを、動態推定システムとしてのハードウェア資源であるコンピュータ装置（ＣＰＵ）に実行させることになる。あるいは、汎用のパーソナルコンピュータなどのコンピュータ装置にプログラムを実行させることで、コンピュータ装置に対して、動態推定のために必要な処理を実行する機能を与えるようにされる。

ここで、図１０により、本実施形態の動態推定システムに対応するプログラムを実行可能な装置として、コンピュータ装置（情報処理装置）についての構成例を示しておく。

このコンピュータ装置２００において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ(Read Only Memory)２０２，ＲＡＭ(Random Access Memory)２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。
入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、ドライブ２１０が接続されている。
入力部２０６は、キーボード、マウスなどの操作入力デバイスなどよりなる。
また、この場合の入力部２０は、本実施形態の動態推定システムとの対応で、例えば、撮像装置３０から出力される画像信号を入力できるようになっている。
出力部２０７は、ディスプレイ、スピーカなどよりなる。
記憶部２０８は、ハードディスクや不揮発性メモリなどよりなる。
通信部２０９は、ネットワークインタフェースなどよりなる。
ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどとしての記録媒体２１１を駆動する。

以上のように構成されるコンピュータ装置２００では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。

ＣＰＵ２０１が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアである記録媒体２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。

また、コンピュータ装置２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態としての動態推定システムの構成例を示すブロック図である。 三次元制御点の設定手法として一般的な手法を例示するための図である。 本実施形態における三次元制御点の設定手法を説明するための図である。 本実施形態における三次元制御点の設定手法を説明するための図である。 本実施形態における三次元制御点の設定手法を説明するための図である。 本実施形態において設定された三次元制御点の例を示す図である。 制御色テンプレートの構造例を示す図である。 現実の三次元空間における三次元物体モデルと、撮像画像に射影される三次元物体モデルとの関係を示す図である。 本実施形態の制御点色抽出処理において生成される階層画像を模式的に示す図である。 コンピュータ装置の構成例を示すブロック図である。

符号の説明

１ 動態推定システム、１１ 制御点設定部、１２ 制御点初期色登録部、１３ 制御点移動処理部、１４ 位相制御点色取得部、１５ 制御点色抽出部、１６ 尤度算出部、２０ 三次元物体モデル、３０ 撮像装置、４０ 撮像画像、２００ コンピュータ装置、２０１ ＣＰＵ、２０２ ＲＯＭ、２０３ ＲＡＭ、２０４ バス、２０５ 入出力インターフェース、２０６ 入力部、２０７ 出力部、２０８ 記憶部、２０９ 通信部、２１０ ドライブ、２１１ 記録媒体、Ｄｔ 制御点

Claims (4)

1. 三次元物体モデルに対して複数の制御点を設定する制御点設定手段と、
   上記三次元物体モデルに対応する実体を被写体とする被写体画像に対して射影したときに、この被写体画像上に射影されたとする上記制御点の位置である射影位置ごとに対応する色を示す情報である、制御点色情報を取得する制御点色情報取得手段と、
   上記制御点色情報取得手段により初期設定用の上記被写体画像から取得させた制御点色情報を、初期制御点色情報として保持させる初期制御点色情報保持手段と、
   現時刻における上記制御点ごとの位置を推定する制御点位置推定手段と、
   上記制御点位置推定手段によりその位置が推定された上記制御点を、現時刻の上記被写体画像に射影したとするときの現制御点色情報を取得する、現制御点色情報取得手段と、
   上記現制御点色情報と上記初期制御点色情報とを利用して、尤度を算出する尤度算出手段と、
   を備え、
   上記制御点設定手段は、
   一配列方向における上記射影位置間の距離が等しくなるようにして、三次元物体モデルの表面上で制御点を配置する、
   動態推定装置。
2. 上記制御点色情報取得手段は、
   隣り合う制御点間の距離に応じて設定された画素数より成る最小サンプル単位により上記被写体画像をリサンプリングして得られるリサンプル画像における、上記射影点に対応する位置の画素値を利用して、上記制御点色情報を取得する、
   請求項１に記載の動態推定装置。
3. 三次元物体モデルに対して複数の制御点を設定する制御点設定手順と、
   上記三次元物体モデルに対応する実体を被写体とする被写体画像に対して射影したときに、この被写体画像上に射影されたとする上記制御点の位置である射影位置ごとに対応する色を示す情報である、制御点色情報を取得する制御点色情報取得手順と、
   上記制御点色情報取得手順により初期設定用の上記被写体画像から取得させた制御点色情報を、初期制御点色情報として保持させる初期制御点色情報保持手順と、
   現時刻における上記制御点ごとの位置を推定する制御点位置推定手順と、
   上記制御点位置推定手順によりその位置が推定された上記制御点を、現時刻の上記被写体画像に射影したとするときの現制御点色情報を取得する、現制御点色情報取得手順と、
   上記現制御点色情報と上記初期制御点色情報とを利用して、尤度を算出する尤度算出手順と、
   を実行し、
   上記制御点設定手順は、
   一配列方向における上記射影位置間の距離が等しくなるようにして、三次元物体モデルの表面上で制御点を配置する、
   動態推定方法。
4. 三次元物体モデルに対して複数の制御点を設定する制御点設定手順と、
   上記三次元物体モデルに対応する実体を被写体とする被写体画像に対して射影したときに、この被写体画像上に射影されたとする上記制御点の位置である射影位置ごとに対応する色を示す情報である、制御点色情報を取得する制御点色情報取得手順と、
   上記制御点色情報取得手順により初期設定用の上記被写体画像から取得させた制御点色情報を、初期制御点色情報として保持させる初期制御点色情報保持手順と、
   現時刻における上記制御点ごとの位置を推定する制御点位置推定手順と、
   上記制御点位置推定手順によりその位置が推定された上記制御点を、現時刻の上記被写体画像に射影したとするときの現制御点色情報を取得する、現制御点色情報取得手順と、
   上記現制御点色情報と上記初期制御点色情報とを利用して、尤度を算出する尤度算出手順と、
   を動態推定装置に実行させ、
   さらに、上記制御点設定手順は、
   一配列方向における上記射影位置間の距離が等しくなるようにして、三次元物体モデルの表面上で制御点を配置する、
   プログラム。

Images