JP4836065B2 - エッジトラッキング方法及びそのコンピュータプログラム - Google Patents

Description

この発明はモーションキャプチャシステムに関し、特に、高フレームレートに適する、一連の画像中の対象物のエッジをトラッキングすることに関する。

マーカなしで人体のモーションキャプチャをするという考えは、なんら付加的な構成を必要とせずに、画像シーケンスのみの操作によって人の動きをキャプチャしようというものである。このようなシステムのためのハードウェアは、コンピュータに加えて、1台又は２台以上のカメラのみからなり、このため手ごろな価格で容易に設定できる。

しかしながら、ヒューマノイドロボットの能動型の頭部にこれを適用するためには、いくつかの制限に対処しなければならない。比較的短距離に配置された２台のカメラという限定に加えて、能動型の頭部は潜在的に動く可能性があり、このため前景のセグメント化にオプティカル・フローまたは類似のアルゴリズムが利用できないことを念頭に置く必要がある。最大の問題は、少なくとも３０Ｈｚ、最適な結果を達成するためには好ましくは６０Ｈｚまたはそれ以上のフレームレートでリアルタイムに計算を行なわなければならないことである。

モーションキャプチャの問題の一般的な定義は、入力画像の各々について、又は画像のタプルについて、基となる関節で連結された３Ｄの人体モデルの正確な形状を見出すこと、というものである。主な問題は、人体モデルの自由度（Ｄｅｇｒｅｅ Ｏｆ Ｆｒｅｅｄｏｍ：ＤＯＦ）の数が増えるにつれて、探索空間が指数関数的に増大することである。人間の体の現実的なモデルは少なくとも２５ＤＯＦを有する。ＤＯＦがこれほど高いと、探索空間の次元が非常に高くなる。
Ａ．ブレーク及びＭ．イサード、「アクティブ輪郭」、スプリンガー、１９９８年（A. Blake and M. Isard. Active Contours. Springer, 1998.） Ｊ．ドイチャー、Ａ．ブレーク、及びＩ．レイド、「アニールされたパーティクルフィルタリングによる関節により連結された物体のモーションキャプチャ」、コンピュータビジョン及びパターン認識（ＣＶＰＲ）、２１２６−２１３３ページ、ヒルトンヘッド、ＵＳＡ、２０００年（J. Deutscher, A. Blake, and I. Reid. Articulated body motion capture by annealed particle filtering. In Computer Vision and Pattern Recognition (CVPR), pages 2126-2133, Hilton Head, USA, 2000.） Ｊ．ドイチャー、Ａ．ダビソン、及びＩ．レイド、「連接された物体のモーションキャプチャに関連する高次元探索空間の自動的パーティショニング」、コンピュータビジョン及びパターン認識（ＣＶＰＲ）、６６９−６７６ページ、カウアイ、ＵＳＡ、２００１年（J. Deutscher, A. Davison, and I. Reid. Automatic partitioning of high dimensional search spaces associated with articulated body motion capture. In Computer Vision and Pattern Recognition (CVPR), pages 669-676, Kauai, USA, 2001.） Ｍ．イサード及びＡ．ブレーク、「濃縮-視覚的トラッキングのための条件付き密度伝搬」、コンピュータビジョン国際ジャーナル、２９（１）：５−２８、１９９８年（M. Isard and A. Blake. Condensation - conditional density propagation for visual tracking. International Journal of Computer Vision, 29(1):5-28, 1998.） Ｊ．マコーミック、「視覚的トラッキングのための確率モデル及び確率的アルゴリズム」、オックスフォード大学、博士論文。ＵＫ、２０００年（J. MacCormick. Probabilistic models and stochastic algorithms for visual tracking. PhD thesis, University of Oxford, UK, 2000.） Ｊ．マコーミック及びＭ．イサード、「パーティション化されたサンプリング、関節により連結された物体、及びインターフェース品質の手のトラッキング」、コンピュータビジョンヨーロッパ会議（ＥＣＣＶ）、３−１９ページ、ダブリン、アイルランド、２０００年（J. MacCormick and M. Isard. Partitioned sampling, articulated objects, and interface-quality hand tracking. In European Conference Computer Vision (ECCV), pages 3-19, Dublin, Ireland, 2000.） Ｈ．サイデンブラー、「単眼のビデオシーケンスにおける３Ｄの人の動きの確率論的トラッキングと再構築」、王立工科大学博士論文、ストックホルム、スウェーデン、２００１年（H. Sidenbladh. Probabilistic Tracking and Reconstruction of 3D Human Motion in Monocular Video Sequences. PhD thesis, Royal Institute of Technology, Stockholm, Sweden, 2001.）

従って、この発明の目的の１つは、人間の体等の動く対象物を、一連の画像でトラッキングすることを可能にする高フレームレートに適した方法を提供することである。

この発明の一局面に従えば、対象物の一連の画像中においてエッジをトラッキングする方法は、対象物の形状を記述するモデルを準備するステップと、対象物のモデルのエッジを画像の画像平面に投影するステップと、画像平面上に投影されたエッジの各々の周囲の予め定められた区域内で画像のエッジ画素の組を探索するステップと、投影されたエッジの各々のエッジ画素の組について線分を当てはめるステップと、投影されたエッジの各々について、線分を規定する所定のパラメータの組でその線分を表すステップと、線分を用いて対象物のモデルを更新するステップとを含む。

上述の方法によれば、計算量が実質的に減じられ、一連の画像中での対象物の画像トラッキングを高フレームレートで行なうことができる。

好ましくは、探索するステップは、投影されたエッジの各々について探索点の組を決定するステップと、投影されたエッジの各々の探索点の各々について、投影されたエッジの両側において、投影されたエッジと交差する方向の予め定められた距離内に存在する、画像の高コントラスト点を探索するステップとを含む。

より好ましくは、投影されたエッジと交差する方向は、投影されたエッジと直交する方向である。

さらに好ましくは、決定するステップが、投影されたエッジの各々について、一定の距離をあけて探索点の組を決定するステップを含む。

上述のモデルは、モデルのとり得る複数個の形状とそれぞれに関連する確率とで記述されてもよい。更新するステップは、モデルの形状の確率分布関数のうち、選択されたもののパーティクルにノイズを加えることにより、モデルの形状の新たな組を予測するステップと、モデルの形状の新たな組の各々のエッジの組と、エッジ画素の組との間で所定の誤差尺度を計算するステップと、形状の新たな組の各形状に、計算するステップで計算された関連の誤差尺度に従って重みを割当てるステップと、それぞれの重みで重み付けされた新たな形状の総和を計算することによって、新たなモデルを計算するステップとを含む。

この発明の別の局面は、コンピュータ上で実行されると、上述の方法のいずれかの全てのステップをコンピュータに実行させるコンピュータプログラムに関するものである。

１．はじめに
この実施例では、ベイズのフレームワークによるパーティクルフィルタリングを用いて現在の形状の確率分布を計算する。濃縮アルゴリズムとしても知られるパーティクルフィルタリングは、非特許文献４で紹介されているように、一般に輪郭トラッキングのために（非特許文献１、５、６）、特に非特許文献２及び７において示されるように人体のモーションキャプチャのために、適用可能な頑健な技術であることがわかっている。

視覚的トラッキングにおいて、パーティクルフィルタは以下のように動作する。ｘ_ｔをｔ番目のフレームの状態ベクトルとし、ｙ_ｔを観測ベクトルとし、Ｙ_ｔ＝｛ｙ_１…ｙ_ｔ｝をｙ_ｔの履歴とする。状態の推定は、確率密度分布（ｐｄｆ）ｐ（ｘ_ｔ｜Ｙ_ｔ）を推定することとして定式化される。パーティクルフィルタでは、ｐ（ｘ_ｔ｜Ｙ_ｔ）は以下で示すディスクリートなサンプルのいくつかの組として表される。

ここでｓ_ｔ ^（ｉ）（ｉ＝１〜Ｎ）は、状態空間ｘ_ｔにおけるランダムでディスクリートなサンプルを示す。サンプルｓ_ｔ ^（ｉ）は対応の重みπ_ｔ ^（ｉ）に対応する確率を有する。従って、ｐ（ｘ_ｔ｜Ｙ_ｔ）で非ガウスｐｄｆを近似することが可能である。

パーティクルフィルタでは、各サンプルは推定ステップと観測ステップとで更新される。推定するステップでは、サンプルｓ_ｔ−１ ^ζが、重みπ_ｔ−１ ^（ｉ）に比例する確率に従って、以下の組から選択される。

その後新たなサンプルｓ_ｔ ^（ｉ）が動力学的モデルｐ（ｘ_ｔ｜ｓ_ｔ−１＝ｓ_ｔ−１ ^ζ）から生成される。観測ステップでは、現時点での観測ベクトルｙ_ｔが与えられると、観測された密度ｐ（ｙ_ｔ｜ｘ_ｔ＝ｓ_ｔζ）に基づいて各サンプルｓ_ｔ ^（ｉ）の尤度が評価され、尤度に比例する対応の重みπ_ｔ ^（ｉ）が計算される。最後に、現在の状態が、全てのサンプルを組合せることによって推定される。

パーティクルフィルタでは、探索空間が大きくなるとより多くのパーティクルを必要とする。この問題に対処する１つの戦略は、被験者の動きの範囲を、例えば被験者が歩いていると仮定することによって限定し、それによって形状空間の大きさを減じることである。一般に、このようなアプローチはいずれも、結果として得られるトラッカの一般性を大いに限定する。このため、このアプローチは好ましくない。別の方策は、分解、すなわち階層的な探索を行なうことによって形状空間の大きさと探索空間のサイズとの線形関係を仮定することである。このような方法の短所は、ある種の動き、例えば体軸周りの回転等では、体の全ての部分を同時に観察することによって得られるような重要な情報が失われることである。

パーティクルの数を減じる一般的かつ有効な方法は、非特許文献２、３で提示されたシミュレーテッドアニーリングの考え方である。しかし、最終的に得られたシステムは部屋の角の固定位置で３台のカメラを用いるものであり、１ＧＨｚのクロック信号で動作する最先端のプロセッサでも１フレームを処理するのに平均で１５秒を要する[非特許文献３]。

この実施例は高度に最適化された尤度関数を備えた人体のモーションキャプチャシステムに関するものであり、これは従来の人体のモーションキャプチャシステムのいずれに対しても２倍から３倍の速度を達成する。この実施例は高速キャプチャリングに寄与するパーティクルフィルタによるエッジ検出に基づくものである。このアプローチは上述の戦略等、他の最適化のいずれに対しても独立して適用可能である。

さらに、この実施例で採用されるアルゴリズムは直線エッジでモデル化され得るいかなる種類の対象物にも利用可能であり、またわずかな修正を加えれば楕円等の他の基本要素を組入れることもできる。このアプローチの唯一の制限は、これが６０Ｈｚ（またはそれ以上）の高フレームレートに依存することである。しかし、以下で示すように、リアルタイムの人体のモーションキャプチャではいずれにせよ高フレームレートが必要とされるので、これは問題にならない。

２．基本アルゴリズム
人体モデルの形状ｓの投影エッジと現在の入力画像ｚとが与えられると、人体のモーションキャプチャシステムのエッジの手がかりのための尤度関数ｐ（ｚ｜ｓ）は、投影されたエッジの組を与える形状が適切な形状である尤度、すなわちエッジ画像に最も合致する尤度を計算する。ここで人体モデルの形状のエッジを「投影する」とは、エッジを予め定められた画像平面に投影し、画像平面上の投影されたエッジの画像の座標を計算することを意味する。

図１を参照して、基本的な技法は、投影されたエッジ２０の全体にわたり、一定の距離Δをあけて探索点を決定し、それぞれの探索点から、投影されたエッジ２０に直交する（両側の）方向で、固定された探索距離δ内の高コントラスト特徴点３０を探索すること、すなわちカメラ画像中でエッジ画素を見出すことである[非特許文献４]。この目的のために、カメラ画像は通常、階調の勾配を用いたエッジ検出器により前処理され、画像エッジ２２が生成される。

尤度は、二乗誤差合計（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ：ＳＳＤ）に基づいて計算される。表記の便宜上、全てのエッジはＭ＝Ｌ／Δ個の範囲に分けられて１つの連続したスプライン内に含まれるものとする。ただし、Ｌは現在の画像中の投影されたエッジの全ての長さの合計を表す。ｍ番目の点についてエッジとしての特徴が見出された距離をｄ_ｍとし、μは、エッジとしての特徴を見出すことができない場合に適用される一定の最大誤差を表す。従って、尤度関数は以下の式で与えられる。

この実施の形態では、わずかに修正した尤度関数を用いて、より良好な結果を得る。その尤度関数とは、エッジごとの平均誤差を計算し、すべての誤差の平均誤差を計算するというものである。この修正した尤度関数を以下の式で表す。

ここでｅ_ｋは特定の投影されたエッジを表し、Ｅは投影されたエッジの総数を表す。さらに、

キャニーのエッジ検出器（Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ）等の高レベルエッジ検出器は、一般に、１画素幅の線を生成するので、ある特定の画素がエッジの一部であるかどうかのテストを複雑にするか、又は不適当にする。ドイチャーは非特許文献２で、階調の勾配を用いたエッジ検出マスクを用い、この結果をしきい値処理してスプリアスエッジを除去し、これに続いてガウス平滑化マスクを適用して画素マップを作成することを提案しており、このマップでは各画素値はそのエッジにどの程度近接しているかに関連づけられている。こうすることによって、画素があるエッジの一部であるか否かのテストと、そのエッジへの近接度の計算とが１回の動作で解決できる。最大値を見出すためとループ管理のために必要とされるさらに３つの動作を考慮すると、基本的動作の数は以下の式で表される。

３．新たなアルゴリズム
この実施の形態の戦略は、処理ステップをもう一歩進めて、対象エッジの幾何学的な表現を抽出することである。このために、この実施の形態では、オン−ザ−フライで（すぐさま）のエッジ検出という基本的な考え方を用いる。これは、人体モデルによって与えられる情報をエッジ検出アルゴリズムに組込むというものである。主な違いは、この実施の形態ではパーティクルの各々に対してアルゴリズムを行なうのではなく、これを画像の前処理に用いることである。その後このアルゴリズムは、人体モデルの投影されたエッジに対応する点の各組に当てはまる線分（回帰直線）を求めることで拡張される。

少なくとも３０Ｈｚ、好ましくは６０Ｈｚまたはそれ以上の高フレームレートで画像が獲得されると仮定すれば、このアプローチはかなり高速であるばかりか、オン−ザ−フライのエッジ検出より良好な結果を達成する。一見したところ、これは驚くべきことであるように思われる。というのも、理論的には、オン−ザ−フライのエッジ検出は、エッジを検出するために人体モデルの予測された形状を用いて観測を行なうために、予測を用いることによる最強の情報基盤を有するからである。しかし、欠点は、比較的大きな動きの予測ではエッジの同定誤りにつながるおそれがあることである。フレームレートがこの発明の新たなアプローチに十分なほど高くなければ、このアプローチはうまくいかない。一般的な低フレームレートの効果はセクション４で論じる。

３．１ 直線の当てはめ
人体モデルをエッジ検出に組込む主な利点は以下の２つである。

・階調の勾配を、予測されるエッジと垂直に計算できる。

・検出されたエッジ画素と投影されたエッジとのマッピングが得られる。

検出された画素と投影されたエッジとのマッピングが、人体モデルの投影されたエッジの各々についてわかっているので、アルゴリズムで特定された画素の組に対して回帰直線を見出すことができる。この組に対して最小二乗という意味で最適回帰直線を求めた後、この組の全ての画素について反復処理し、計算された直線までのそれらの距離を予め規定されたしきい値と比較することによって、アウトライアー（異常値）をフィルタリングによって除去する。最終的な結果はこのフィルタリングされた画素の組に対する回帰曲線を求めることで計算される。

この実施の形態では、画像の階調の勾配は予測されるエッジと垂直な方向で計算される。しかしながら、この方向は、必ずしも予測された方向と垂直でなくてもよい。高コントラストの特徴点の探索は、予測されたエッジと交差する方向に行なえばよい。

３．２ 誤差尺度
直線の対の組が得られた後、尤度の計算のために誤差尺度を定義することになる。理論的には、２Ｄで２つの直線間の距離を定義できるのは、２直線が平行の場合のみである。しかし、図２で示すように、線Ｅと線分／ＡＢ４０又は４２（ここで「／」は線分を表すものとし、本来文字ＡＢの上に表記すべきものである。）との尺度を以下のように定義できる。基本的アルゴリズムによって計算される誤差尺度は、ディスクリートな点での観測値に基づいて計算された、直線Ｅと線分／ＡＢ４０又は４２との平均距離である。この平均距離は、図２に例示されるように、総面積を長さ／Ａ’Ｂ’で除したものに等しい。従って、誤差尺度は以下のように計算される。

本発明者らは、この尺度について可能な組合せ２つを試みた。Ｅを画像から抽出された直線と定義し、／ＡＢを投影されたエッジとする組合せと、その逆とである。後者の場合、抽出された直線の各々について端点Ａ及びＢを定義しなければならない。これは図３に示すように、フィルタされた点の組のうち最初と最後の点を画像のエッジを表す直線に直交投影することでなされる。本発明者らは、このようにすることが最良の結果を達成することを見出した。なぜなら、これは画像エッジの長さの推定値を尤度関数に組込んでいるからである。長さの推定が悲観的であるため、結果として得られる誤差尺度は楽観的になる。実際、これはエッジの幾何学的表現に対して行なわれる式（３）で表される基本アルゴリズムの正確なエミュレーションである。式（２）で適用される新たな関数は最終的に以下のように定義される。

別の可能な誤差尺度は、図２に示される線Ｅと線分／ＡＢとの間の面積であろう。

図３は誤った形状に誤差尺度を適用した例を示す。点Ａ_１とＢ_１との間、及び点Ａ_２とＢ_２との間の白の点は、検出されたエッジ画素を特定し、線６０及び６２は回帰直線を示し、線５０及び５２は人体モデルから投影されたエッジを示す。入力画像はガウスカーネルによる３×３平滑フィルタで平滑化されている。

上述のエッジ検出は、ブロッブ（かたまり状の画像）のエッジ検出に拡張可能である。ブロッブモデルを楕円または円で表す場合、探索点は楕円線上の一定距離Δだけ離れた点として決定され、各探索点において、投影された楕円線の両側のある距離δ内で画像エッジが探索される。その後、検出された画像エッジ点に楕円を当てはめることができる。この場合、誤差は楕円の重心間の距離によって測定できる。

３．３ 有効性
前処理ステップが成功し、エッジが正確に抽出されれば、本形態の新たな誤差尺度はより正確なので、より有効なアルゴリズムが得られる。エッジを成功裏に抽出するためには、以下の２つの条件が満たされなければならない。

・画像中のエッジはほぼ直線でなければならない。

・フレームレートは十分高くなければならない。

通常の着衣を仮定すれば、第一の条件が満たされることは、発明者らのテストで示された。この仮定は適切なものである。なぜなら、基本アルゴリズムでさえ、あまりにゆったりとした着衣ではトラッカの性能が悪くなるからである。テストでは、３０Ｈｚのフレームレートで十分であり、これで現実的な速度の動きがキャプチャされる。フレームレートの問題は、セクション４で詳細に検討する。この実施の形態で採用される新たなアルゴリズムがより効果的である理由は以下のように説明できる。

・直線を抽出するのでノイズが抑制される。

・直線に基づいて誤差尺度を計算するので、完璧でないエッジであっても正確な尤度が計算される。

・フレームレートに比例する速度のみを許すことで、誤ったエッジの検出が避けられる。

これらの考察は、実際に正しいことが検証された。テストでは、この実施の形態で採用された新たなアルゴリズムの性能が基本アルゴリズムより劣ることは決してなく、実際のところは、多くの場合より良好な結果を達成した。

３．４ 効率性
このセクションでは、基本アルゴリズムの効率を新たなアルゴリズムのそれと理論上で比較する。この考察は、セクション６で提示するテスト結果で検証する。最大解像度は、Δ＝１を選択することで達成される。以下の考察では、δ＝１５を選択する。投影された全エッジの長さの合計は、ここで提示された画像シーケンスではＬ≒１５００（画素）である。

基本アルゴリズムでは、セクション２で概要を述べた計算を、フレームレートｆで各フレームの各パーティクルについて行なわなければならない。これは、Ｎ個のパーティクルではＮｆＴ（１５００）＝１．８・１０^５Ｎｆ回の演算を、毎秒行なうことを意味する。計算に要する作業については、画像の前処理は考慮していない。なぜなら、画像処理は新たなアルゴリズムでも同様に行なわなければならないからである。新たに必要となったエッジ抽出の作業は、セクション６の結果で検証されるように、無視できるものである。新たなアルゴリズムでは、各パーティクルに対し、式（５）を評価する必要がある。パーティクル１個当たりの演算数は約３０であり、そのほとんどが浮動小数点演算である。総計算作業量は
Ｔ’≒ ９０ (7)
個の基本演算に相当するものであり、これは毎秒６０Ｎｆの作業量を意味する。基本アルゴリズムで必要とされる基本演算数と比較すると、検討された例ではこれはＴ（１５００）／Ｔ’＝２・１０^３倍の高速化を意味する。しかし、システム全体では、実際の高速化はこれを下回る。なぜなら、この最適化された実現例では、人体モデルの運動と結果として得られる２Ｄの輪郭との計算もまた、各パーティクルに対して行なう必要があり、これがボトルネックとなるからである。尤度関数の計算とシステムとの高速化の実際については、セクション６で示す。

４．低フレームレートの影響
入力画像シーケンスのフレームレートが低いと、どのようなマーカ無しの人体のモーションキャプチャシステムにとっても不利となる。以下では、同じ動きを第１のフレームレートｆ_１と、ｆ_２＜ｆ_１である第２のフレームレートｆ_２でキャプチャし、この結果、画像シーケンスＶ_１及びＶ_２がそれぞれ得られたと仮定する。この場合、Ｖ_２での連続画像の関節部の各々での角度変化は、Ｖ_１と比べてｆ_１／ｆ_２倍だけ大きい。総探索空間はＤＯＦの数ｄによって指数関数的に増大するので、探索空間のサイズｓ（Ｖ_１）とｓ（Ｖ_２）との関係は以下で与えられる。

これは、このシステムにおいてフレームレートを半減すると２^２８倍のパーティクルが必要となる、という意味ではなく、定性的な結論として、２倍のフレームレートで動作させれば実際の探索空間を大いに減じることができる、という意味である。従って、パーティクルの数が同じでフレームレートが２倍ならば、人体のモーションキャプチャシステムの精度と解像度とはかなり高くなる。

高フレームレートのもう１つの大きな利点は、誤ったエッジを検出する危険性が当然のことながら低くなることである。一般に、コンピュータビジョンでは、より小さい探索空間は同時に２つの長所を持つ。すなわち、より高い「効率」と、より高い「頑健性」とである。例えば、立体視の場合にエピポーラジオメトリが相関処理をかなり高速化するだけでなく、誤った対応の確率を減じるのと同様、人体のモーションキャプチャシステムでも、高フレームレートの結果として得られる、より小さい探索空間は、誤った形状の確率を減じるとともに、より頑健なシステムを結果としてもたらす。

人体のモーションキャプチャシステムのエッジの手がかりに関する良い目安は、連続した画像間での、体部品の主軸に対し直交する方向の距離が、この体部品の幅の半分以下である、というものである。そうでないと、形状を誤る確率が比較的高くなる。なぜなら、体部品の２個のエッジのうち１個がすでに、間違ったエッジと対応付けられやすくなっているからである。この実施の形態で用いられる最適化されたアルゴリズムでは、２倍から３倍の高速化が達成されるが、エッジは予測とは「独立に」抽出され、そのため、この条件が満たされることが厳格に求められる。結論として、フレームレートが高ければ、より効率的で、より精度が高く、より頑健なシステムが得られると言え、その差は単に線形の倍率ｆ_１／ｆ_２だけでは説明できない。

５．実現例
５．１ 構造
図４はこの発明の一実施の形態に従った人体のモーションキャプチャ（Ｈｕｍａｎ Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ：ＨＭＣ）システム１２４を示す。図４を参照して、ＨＭＣシステム１２４は、ロボットの頭部に比較的短い距離をおいて装着された２台のカメラからの２つの画像１２０及び１２２を受け、最も確からしい人体モデルのパラメータ１２６を出力する。２台のカメラを使うこと、すなわち画像対のシーケンスを処理することで、リアルな３Ｄの動きを抽出することが可能である。

図４を参照して、ＨＭＣシステム１２４は、画像１２０及び１２２を平滑化するとともにノイズを除去するための一対の３×３ガウス平滑化モジュール１４０と、エッジ（図３に示すエッジに当てはまる線のＡ及びＢの対）及び肌の色の重心を抽出し、着衣の色のマップと深度計算マップとを計算するための一対の前処理モジュール１４２と、前処理モジュール１４２によって抽出され計算された情報に基づく動力学的モデルを用いて、前回の確率密度関数のパーティクルにノイズを加えることにより、新たな人体モデルの形状を予測するための新形状組予測モジュール１４４と、形状を、前処理モジュール１４２から出力された情報と比較することにより、右と左のカメラにつきそれぞれ予測された形状ｓ_ｉの各々について、確率密度関数｛（ｓ_ｉ，π_ｉ）｝を計算する、一対の尤度計算モジュール１４６とを含む。

ＨＭＣシステム１２４はさらに、尤度計算モジュール１４６によって計算された確率密度関数｛（ｓ_ｉ，π_ｉ）｝を記憶するためのＰＤ（確率密度）記憶部１４８と、人体モデルの平均形状

を、ＰＤ記憶部１４８に記憶された確率密度関数に基づいて計算し、計算された平均形状を人体モデルパラメータ１２６として出力するための平均形状計算モジュール１５０と、次のフレームの前処理のために、平均形状計算モジュール１５０によって計算された平均形状

を記憶するための平均形状記憶部１５２とを含む。平均形状記憶部１５２は前処理モジュール１４２に接続され、前処理モジュール１４２はこの平均形状を利用して、次の画像１２０及び１２２を前処理する。同様に、新形状組予測モジュール１４４は、ＰＤ記憶部１４８に記憶された確率密度関数を利用して、次の画像フレームのための新たな形状の組を予測する。

図５は前処理モジュール１４２の詳細を示す。図５を参照して、前処理モジュール１４２は、形状ｓ_ｉの各々について、カメラ画像１２０及び１２２内において、人体モデルから投影されたエッジから距離δ以内でエッジ画素を見出し、これらのエッジ画素に当てはまる線分を求め、この線分の２つの端点に関する情報を出力するためのエッジ抽出モジュール１６０と、各画像内で、予め定められた肌の色を持つブロッブの座標の重心を抽出するための肌色重心抽出モジュール１６２と、動きをキャプチャしようとするユーザの着衣の色のマップを計算するための着衣色マップ計算モジュール１６４と、２つの画像１２０及び１２２に基づいて、画像の深度マップを計算するための深度マップ計算モジュール１６８とを含む。これらのモジュール１６０、１６２、１６４及び１６８の出力は全て、新形状組予測モジュール１４４に与えられる。

図６は図５に示すエッジ抽出モジュール１６０を実現するコンピュータプログラムの制御構造を示す。図６を参照して、ステップ１８０で、人体モデルの平均形状から投影された全てのエッジについて、ステップ１８２〜１９０が繰返される。これらのステップが全てのエッジについて繰返されたあと、制御はこのルーチンから出る。

ステップ１８２で、処理すべき投影エッジの全体にわたり、一定の距離Δをあけて探索点が決定される。ステップ１８４で、ステップ１８６が全ての探索点について繰返される。ステップ１８６では、探索点を起点とし、投影されたエッジに直交する方向（の両方）の一定の探索距離δ内で、高コントラスト特徴点を探索する。この動作により、カメラ画像中のエッジ画素が見出されることとなる。

ステップ１８６が全ての探索点について繰返されると、制御はステップ１８８に進む。ステップ１８８では、ステップ１８６で見出されたエッジ点に当てはまる線分（回帰直線）を求める。ステップ１９０で、この線分の２つの代表点Ａ及びＢ（図３を参照）が決定される。

５．２ 動作
この実施例のＨＭＣシステム１２４は以下のように動作する。図４を参照して、２つの画像１２０及び１２２が与えられると、ガウス平滑化モジュール１４０が各画像を平滑化し、ノイズを除去する。このように処理された画像は前処理モジュール１４２に与えられる。

前処理モジュール１４２では、図５を参照して、先のフレームサイクルで得られた、人人体モデルの平均形状

について、エッジ抽出モジュール１６０がこの形状から投影されたエッジを計算し、投影されたエッジの各々全体にわたり、一定の距離Δをあけて探索点を決定し、探索点を起点として、投影エッジに直行する方向で一定の探索距離δ内の高コントラストな特徴を持つ点を探索し、これらエッジ画素に当てはまる線分を求め、線分の２つの代表点を決定し、これらの点の座標を出力する。

同様に、肌色重心抽出モジュール１６２は画像中で肌の色を持つブロッブの重心を出力し、着衣色マップ計算モジュール１６４は予め定められた着衣の色で画素のマップを計算し、深度マップ計算モジュール１６８は両方のカメラの画像から、深度マップを計算する。これらのモジュールの出力は全て、新形状組予測モジュール１４４に与えられる。

新形状組予測モジュール１４４は、ＰＤ記憶部１４８に記憶された最後の確率密度関数｛（ｓ_ｉ，π_ｉ）｝のパーティクルにノイズを加えることにより、動力学的モデルを用いて新たな人体モデル形状の組を予測する。この新たな人体モデル形状の組は尤度計算モジュール１４６に与えられる。

予測された形状の各々について、尤度計算モジュール１４６は前処理モジュール１４２から出力された情報と、対象となるモデル形状から投影された画像とを比較し、エッジ、肌の色重心、着衣色マップ、及び深度マップの誤差に基づいて確率を計算し、その後これらの確率を乗ずることにより、対象となるモデル形状の全体の確率を計算し、形状ｓ_ｉの各々について、確率密度関数｛（ｓ_ｉ，π_ｉ）｝を出力する。

ＰＤ記憶部１４８はこの確率密度変数を記憶する。

平均形状計算モジュール１５０は、平均形状

を、平均形状計算モジュール１５０に記憶された確率密度関数に基づいて計算し、この平均形状を人体モデルパラメータ１２６として出力する。平均形状記憶部１５２は平均形状計算モジュール１５０の出力を記憶して、次のフレームサイクルの動作に備える。

６．結果
本発明者らは、この実施例の新たなアルゴリズムの効率を、基本アルゴリズムを利用したシステム及びオン−ザ−フライのエッジ検出に基づくアルゴリズムと比較した。結果を表１に示す。

表１は２．８ＧＨｚクロック信号で動作する最新のコンピュータでの効率を比較したものである。テストでは、１０００個のパーティクルを用いた。値は１フレームの処理時間である。表１を参照して、この実施の形態に係るアルゴリズムは、２０００倍以上の高速化を達成できる可能性がある。しかし、システム全体の現在の実現例では、人体モデルの運動及びその結果得られる輪郭の計算がボトルネックであり、このため、実質的な高速化は１３０倍となっている。

６０Ｈｚでキャプチャされたビデオシーケンスのテストでは、この実施の形態で利用されたアルゴリズムは基本アルゴリズムを利用したシステム及びオン−ザ−フライのエッジ検出に基づくアプローチに比べ、さらに良好な結果を達成した。すなわち、この実施の形態で計算された尤度はより適切であると思われた。これを理論で証明するのは困難である。しかし、結果として得られた、計算された平均形状を投影したものを含むビデオ画像は、この有効性を明らかに示している。処理された８個のフレームのシーケンスを図７に示す。

図７は６０Ｈｚでキャプチャされた８枚の画像のシーケンスを例示する。左から右へ、１列目が画像１−４、２列目が画像５−８である。人体モデルの計算された平均形状の投影されたエッジが白のエッジで表示されている。３０Ｈｚでキャプチャされたビデオシーケンスも、このシステムがこのような低フレームレートでも動作することを示した。

７．結論
この明細書で、発明者らは、パーティクルフィルタを用いた、エッジトラキングのための、高度に最適化された尤度関数を備えた人体のモーションキャプチャシステムを提示した。用いられたアルゴリズムを詳細に説明し、効率と有効性とを検討し、通常のアプローチと理論的に比較し、結果を実際に検証した。この実施の形態で用いられるアルゴリズムの唯一の付加的な条件である、少なくとも３０Ｈｚ、好ましくは６０Ｈｚ以上という高いカメラフレームレートは、制限というよりはむしろ、いかなるリアルタイムの人間モーションキャプチャシステムでも、理にかなった選択というべきであろう。

セクション６で示したように、この実施の形態で用いられるアルゴリズムでは、尤度関数を通常のアプローチに比べ２０００倍も速く、オン−ザ−フライのエッジ検出に基づくアプローチに比べ３０００倍も速く計算する。ここで、システム全体の有効な高速化は通常のアプローチに比べ約１３０倍であると述べた。この実施の形態で利用した尤度関数では、さらなる高速化のためのボトルネックは人体モデルとなる。

本発明者らが知る限りでは、この実施の形態で用いたアルゴリズムによってはじめて、マーカ無しでリアルタイムの人体のモーションキャプチャが実現可能なものとなった。このアルゴリズムは、ヒューマノイドロボットの能動型の頭部に適用するための人体のモーションキャプチャシステムに重要な役割を果たすであろう。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

人体モデルから投影されたエッジから、どのように画像エッジが求められるかを概略的に示す図である。 線分と線の誤差尺度とを概略的に示す図である。 画像の２つのエッジに当てはめられた線分と人体モデルから投影された２本の線との結果を示す図である。 この発明の一実施例に従った人体のモーションキャプチャシステム１２４のブロック図である。 図４に示す前処理モジュール１４２の詳細図である。 図５に示すエッジ抽出モジュール１６０を実現するコンピュータプログラムの制御フロー図である。 この発明の実施例によって処理された８個のフレームシーケンスを示す図である。

符号の説明

５０及び５２ 投影されたエッジ
６０及び６２ 回帰直線
１２０及び１２２ 画像
１２４ ＨＭＣシステム
１２６ 人体モデルパラメータ
１４０ ガウス平滑化モジュール
１４２ 前処理モジュール
１４４ 新形状組予測モジュール
１４６ 尤度計算モジュール
１４８ ＰＤ記憶部
１５０ 平均形状計算モジュール
１５２ 平均形状記憶部
１６０ エッジ抽出モジュール
１６２ 肌色重心抽出モジュール
１６４ 着衣色マップ計算モジュール
１６８ 深度マップ計算モジュール

Claims (5)

1. 対象物の一連の２Ｄ画像中においてエッジをトラッキングする方法であって、
   前記対象物の３Ｄ形状を３Ｄ空間内のエッジにより記述するモデルを準備するステップと、
   前記対象物のモデルのエッジを前記画像の画像平面に投影するステップと、
   前記画像平面上に投影されたエッジの各々の周囲の予め定められた区域内で前記画像のエッジ画素の組を探索するステップと、
   前記投影されたエッジの各々のエッジ画素の組について回帰直線を求めることにより、前記エッジ画素の組の各々に線分を当てはめるステップと、
   前記投影されたエッジの各々について、前記線分を規定する所定のパラメータの組でその線分を表すステップと、
   前記線分を用いて対象物のモデルを更新するステップとを含み、
   前記モデルは、前記モデルのとり得る複数個の形状と、前記モデルが当該形状を取る確率とから求められた平均形状で記述され、
   前記更新するステップは
   前記モデルの形状に対し、前記確率により規定されるパーティクルフィルタを適用することにより、前記モデルの形状の新たな組を予測するステップと、
   前記モデルの形状の新たな組の各々のエッジの組と、前記エッジ画素の組に対して求められた前記線分との間で所定の誤差尺度を計算するステップと、
   前記新たな組の各形状に、前記計算するステップで計算された関連の誤差尺度に従って、前記対象物が各形状である確率を割当てるステップと、
   それぞれの確率で重み付けされた新たな形状の総和を計算することによって、新たなモデルを計算するステップとを含む、エッジトラッキング方法。
2. 前記探索するステップが、
   前記投影されたエッジの各々について探索点の組を決定するステップと、
   前記投影されたエッジの各々の前記探索点の各々について、投影されたエッジの両側において、前記投影されたエッジと交差する方向の予め定められた距離内に存在する、画像の高コントラスト点を探索するステップとを含む、請求項１に記載の方法。
3. 前記投影されたエッジと交差する前記方向は、前記投影されたエッジと直交する方向である、請求項２に記載の方法。
4. 前記決定するステップが、
   前記投影されたエッジの各々について、一定の距離をあけて前記探索点の組を決定するステップを含む、請求項２または請求項３に記載の方法。
5. コンピュータ上で実行されると、請求項１〜請求項４のいずれかに記載の全てのステップを当該コンピュータに実行させる、コンピュータプログラム。

Images