JP5222946B2 - オブジェクトモデルを三次元ポイントクラウドに対応させる方法 - Google Patents

Description

本発明は、オブジェクトモデルを三次元ポイントクラウドに一致させる方法に関する。該ポイントクラウドは、ステレオ法を用いて２つの画像から生成され、クラスタリング法は、それぞれ１つのクラスタに属するポイントを識別するためにポイントクラウドに適用されモデルマッチングがその後実行される。少なくとも１つのオブジェクトモデルは、少なくとも１つのクラスタに重畳され、かつオブジェクトモデルのクラスタに対する最適位置が決定され、かつポイントの偽割当は、一致したオブジェクトモデルを用いて修正される。

オブジェクトモデルは、オブジェクトを識別しかつその三次元位置を決定するために用いられる。オブジェクトモデルを三次元ポイントクラウドに一致させると、公知の方法［非特許文献１］の結果、曖昧性（真偽割当）が生じることが多い。オブジェクトは、複数回存在しない、または全く存在しないが、ポイントクラウドにおいて繰返し見つけられる。

モデルマッチングに関するさらなる問題は、一致の不正確である。今までのところ、従来のステレオ法は、通常左側画像および右側画像に特徴（画素の端部、点、角、ブロックなど）を探索する。局部画像ウインドウの内容は、それらの類似性に関して調べられる場合が多い。いわゆる不一致値は、次に、左側画像および右側画像における割り当てられた特徴または画像ウインドウの互いに対するオフセットを決定することによって決定される。較正カメラシステムを想定すれば、深度値を、その後、三角測法を用いて不一致値から関連する画素に割り当てることができる。偽深度値は、場合によっては偽割当の結果として生じる。エッジベースのステレオ法の場合には、これは、ある手の指、森などの画像の反復構造に生じることが多い。偽割当によって生成される３Ｄポイントを、偽対応または外れ値と呼ぶ。特徴の選択によっては、この結果は、多かれ少なかれ頻繁に生じるが、大略的にさらなる仮定がなければ決して排除することができない。これらの偽対応は、３Ｄポイントクラウドによるシーンの表現の低下を招くため、オブジェクトモデルの一致に悪影響を及ぼす。

シュミット Ｊ．(Schmidt, J.), ヴェーラー Ｃ．(Wohler, C.), クルーガー Ｌ．(Kruger, L.), ゴヴァート Ｔ．(Govert, T.), ハーミス Ｃ．(Hermes, C.)著、２００７年「多眼画像シーケンスにおける３Ｄシーン分割およびオブジェクト追跡（3D Scene Segmentation and Object Tracking in Multiocular Image Sequences）」コンピュータビジョンシステム(ＩＣＶＳ)に関する国際会議議事録(Proc. Int. Conf. on Computer Vision Systems (ICVS)) ドイツ ビーレフェルト ハーシュミューラー Ｈ．(Hirschmuller, H.)著、２００５年「半グローバルマッチングおよび相互情報による正確かつ効率的なステレオ処理(Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information)」コンピュータビジョンおよびパターン認識に関するＩＥＥＥ（電気電子学会）会議議事録(Proc. IEEE Conf. on Computer Vision and Pattern Recognition) 米国 サンジエゴ チャン Ｚ．(Zhang, Z.)著、１９９２年「自由曲線の登録のための反復ポイントマッチング (Iterative Point Matching for Registration of Free-Form Curves)」ＩＮＲＩＡ（フランス国立情報学自動制御研究所）技術報告(INRIA Technical Report)１６５８年 田中 Ｍ．(Tanaka, M.)，堀田 Ｋ．(Hotta, K.), 栗田 Ｔ．(Kurita, T.), 三島 Ｔ．(Mishima, T.)著、２００８年「人間の顔検出用イジングモデルによる動的アテンションマップ(Attention Map by Ising Model for Human Face Detection)」パターン認識に関する国際会議(Int. Conf. On Pattern Recognition)オーストリア ブリズベン ヴェーラー Ｃ．(Wohler, C.), アンラォフ Ｊ．Ｋ．(Anlauf, J. K.)著、１９９９年「撮像パターン形状及び動きを評価するための時間遅延ニューラルネットワークアルゴリズム(A Time Delay Neural Network Algorithm for Estimating Image-pattern Shape and Motion)」画像および映像コンピューティング(Image and Vision Computing)１７、２８１〜２９４ページ

前記文献１は、偽対応の問題に対処するさまざまな方法を開示している。ほとんどの場合、それらの方法は、外れ値を、その後排除するために検出しようとする。この場合の欠点は、３Ｄポイントの数の減少、またはこのことによって生じる情報の消失である。他の方法［非特許文献２］は、例えば、区分的に平滑な面を仮定することによって問題を抑制しようとする。そのような平滑性の仮定の結果、微細構造をもはや検出することができず、かつこれによって情報の消失を招く。しかも、これらの方法は、平滑面を実際に予想することができる場合にしか良好な結果を生じない。

本発明の目的は、オブジェクトモデルを三次元ポイントクラウドに一致させる改良された方法を提供することである。

本発明によれば、前記目的は、請求項１の特徴を含む方法によって達成される。有利な改良形態は、従属請求項の主題である。
オブジェクトモデルを三次元ポイントクラウドに一致させる本発明の方法において、ポイントクラウドは、ステレオ法を用いて２つの画像から生成され、かつクラスタリング法は、１つのそれぞれのクラスタに属するポイントを識別するために、ポイントクラウドに適用される。

任意のステレオ法を、［非特許文献１］に記載されているように、特に時空間ステレオ法において、三次元ポイントクラウドを生成するために用いることができる。参照することによって本明細書に組み込むこの刊行物は、例えば本発明による方法において用いることができるクラスタリング法も説明する。
クラスタリングにおいては、同じオブジェクトに属すると仮定されるポイントクラウドのポイントは、クラスタと呼ぶものにグループ化される。

クラスタリングに続いて、モデルマッチングが行われ、少なくとも１つのオブジェクトモデルは、少なくとも１つのクラスタに重畳され、かつオブジェクトモデルのクラスタに対する最適位置が決定される。特に、モデルマッチング法を、［非特許文献３］に記載されているように、この工程で用いることができ、よって参照することによって本明細書に組み込むものとする。

モデルマッチングの結果として、クラスタに誤って割り当てられるポイントを、識別しかつ排除することができる。同様に、検討したクラスタの外部に、孤立してまたは異なるクラスタに誤って存在している点（その点を、外れ値と呼ぶ）を、検討したクラスタに属するものとして識別することができ、よってその割当を修正することができる。
いわゆる確率マップは、２つの画像のうちの少なくとも一方から生成され、本文献において典型的であるが、その確率マップを、次の本文ではアテンションマップと呼ぶ。アテンションマップの生成は、［非特許文献４］に詳細に記載されている。この刊行物も、参照することによって本明細書に組み込むものとする。分類子は、［非特許文献５］に記載されているＴＤＮＮ（時間遅延ニューラルネットワーク）などのアテンションマップを生成するために用いられる。この刊行物も、参照することによって本明細書に組み込むものとする。この分類子は、最初例示オブジェクトの例示画像を用いることによって訓練される。アテンションマップは、例示オブジェクトに類似のオブジェクトがシーンに存在するか、またはこれらのオブジェクトの何個がシーンに存在するかどうかを決定することを許可する。しかも、アテンションマップは、そのようなオブジェクトが特定の位置にどのように位置決めされる可能性があるかを決定することを許可する。

アテンションマップは、クラスタリング法および／またはモデルマッチングにおける補助的な役割において現在考慮されている。クラスタリング法の場合には、アテンションマップは、次のモデルマッチングに好適なクラスタを選択するために用いられる。モデルマッチングでは、アテンションマップを、特に、そこからモデルマッチングが実行されるオブジェクトモデルの初期姿勢を計算するために用いることができる。このことは、モデルマッチングの収束特性を改良する。モデルマッチングの良好な初期化は、さらに、局部極小の問題を避け、それによって準最適一致をもたらすことがある。

特定点でのみならず、もしあればさらに影響された点でこの位置に対する対応割当を改良するために、偽割当を修正した後にステレオ法へのフィードバックループを持つ新規方法を複数回反復することが可能である。この工程では、三次元ポイントクラウドにおける各ポイントの位置についての確率を、そのポイントが、オブジェクトモデルに類似しているオブジェクトまたはクラスタの表面に通常位置決めされるべきであるため、決定することができる。このようにして、ステレオ法における対応の形成は、画像領域の類似性のみならず、位置確率を考慮し、その結果として、ポイントクラウドの性質は、偽割当が少ないため改良される。例えば、互いに非常に類似しているある手の上の指を観察すると、ある点が、隣接する指の代わりに正しい指に割り当てられる可能性がより高い。

以下では、本発明の例示的実施形態を、図面を参照してより詳細に説明する。

オブジェクトモデルを三次元ポイントクラウドに一致させる方法を説明するためのフローチャートを示す。

図１は、オブジェクトモデルＯＭを三次元ポイントクラウドＰＷに一致させる方法を説明するためのフローチャートを示す。まず第一に、２つの立体的に記録された画像Ｂ１，Ｂ２は、ステレオ法Ｓ１に供給される。ステレオ法Ｓ１は、２つの画像Ｂ１，Ｂ２のポイントから対応対を形成する。その結果が、三次元ポイントクラウドＰＷである。ポイントクラウドＰＷは、クラスタリング法Ｓ２を用いてセグメント化され、関連するポイントを持つクラスタＣＬが形成される。

クラスタリング法Ｓ２に続いて、モデルマッチング工程Ｓ３に移り、少なくとも１つのオブジェクトモデルＯＭは、少なくとも１つのクラスタＣＬに重畳され、かつオブジェクトモデルＯＭのクラスタＣＬに対する最適位置が決定される。
それらの位置および姿勢において現在識別されているオブジェクトＯを用いることによって、偽割当の修正工程Ｓ４中に、クラスタＣＬが誤って割り当てられたポイントを識別しかつ排除することが可能である。同様に、検討したクラスタＣＬの外部に、孤立してまたは異なるクラスタＣＬに誤って存在しているポイント、いわゆる外れ値を、該検討したクラスタＣＬに属するものとして識別することができ、よってその割当が修正され、その結果として修正されたポイントクラウドＰＷ'および修正されたクラスタＣＬ'が生成される。

クラスタリング法Ｓ２および／またはモデルマッチング工程Ｓ３は、以下の本文では、文献の規定に沿ってアテンションマップＡＭと呼ぶ確率マップによって支持されている。
アテンションマップＡＭは、生成工程Ｓ６において、２つの画像Ｂ１，Ｂ２のうちの少なくとも一方から生成される。分類子(classifier)ＫＬは、アテンションマップＡＭを生成するために用いられる。この分類子ＫＬは、訓練工程Ｓ５において例示オブジェクトＢＯの例示画像を用いて事前に訓練(training)される。アテンションマップＡＭは、例示オブジェクトＢＯに類似のオブジェクトＯがシーンに位置決めされるかどうか、またはシーンにこれらのオブジェクトＯが何個存在しているかを決定することを許可する。しかも、アテンションマップＡＭは、そのようなオブジェクトＯが特定の位置にどのように位置決めされる可能性があるかについて記述する可能性を与える。

クラスタリング法Ｓ２では、アテンションマップＡＭは、次のモデルマッチングＳ３に好適なクラスタＣＬを選択するために用いられる。モデルマッチングＳ３では、アテンションマップＡＭは、特に、それからモデルマッチングＳ３が開始されるオブジェクトモデルＯＭの初期姿勢を計算するために用いられる。
点線によって示す、任意の偽割当工程Ｓ４で修正した後にステレオ法Ｓ１へのフィードバックループを持つ新規方法を複数回反復することが可能である。

ＡＭ アテンションマップ、確率マップ
Ｂ１，Ｂ２ 画像
ＢＯ 例示オブジェクト
ＣＬ，ＣＬ’ クラスタ
Ｏ オブジェクト
ＯＭ オブジェクトモデル
ＰＷ，ＰＷ’ ポイントクラウド
Ｓ１ ステレオ法
Ｓ２ クラスタリング法
Ｓ３ モデルマッチング
Ｓ４ 偽割当の修正
Ｓ５ 訓練工程
Ｓ６ アテンションマップの生成工程

Claims (2)

1. オブジェクトモデル（ＯＭ）を三次元ポイントクラウド（ＰＷ）に対応させる方法であって、
   少なくとも１つの実オブジェクトを対象として、２つの画像（Ｂ１，Ｂ２）を記録し、ステレオ法（Ｓ１）を用いて前記２つの画像（Ｂ１，Ｂ２）から三次元ポイントクラウド（ＰＷ）を生成し、前記ポイントクラウド（ＰＷ）にクラスタリング法（Ｓ２）を適用して、それぞれのクラスタ（ＣＬ）に属するポイントを識別し、前記実オブシェクトをモデル化したオブジェクトモデル（ＯＭ）を用意し、前記オブジェクトモデル（ＯＭ）を、前記クラスタ（ＣＬ）に重畳し、かつ前記オブジェクトモデル（ＯＭ）の前記クラスタ（ＣＬ）に対する最適位置を決定するためのモデルマッチング（Ｓ３）を実行し、ならびにクラスタ（ＣＬ）が誤って割り当てられたポイントの割り当ての修正（Ｓ４）を実行する方法において、
   （ａ）少なくとも１つの例示オブジェクト（ＢＯ）の例示画像を用いて分類子（ＫＬ）を事前に訓練（Ｓ５）し、
   （ｂ）前記分類子（ＫＬ）を用いて、前記画像（Ｂ１，Ｂ２）の少なくとも一方から、前記例示オブジェクト（ＢＯ）に類似する少なくとも１つのオブジェクト（Ｏ）の個数または位置確率のいずれかを表すアテンションマップ（ＡＭ）を生成し（Ｓ６）、
   （ｃ）前記クラスタリング法（Ｓ２）において、前記アテンションマップ（ＡＭ）を用いて、次のモデルマッチング法（Ｓ３）に好適なクラスタ（ＣＬ）を選択する、方法。
2. オブジェクトモデル（ＯＭ）を三次元ポイントクラウド（ＰＷ）に対応させる方法であって、
   少なくとも１つの実オブジェクトを対象として、２つの画像（Ｂ１，Ｂ２）を記録し、ステレオ法（Ｓ１）を用いて前記２つの画像（Ｂ１，Ｂ２）から三次元ポイントクラウド（ＰＷ）を生成し、前記ポイントクラウド（ＰＷ）にクラスタリング法（Ｓ２）を適用して、それぞれのクラスタ（ＣＬ）に属するポイントを識別し、前記実オブシェクトをモデル化したオブジェクトモデル（ＯＭ）を用意し、前記オブジェクトモデル（ＯＭ）を、前記クラスタ（ＣＬ）に重畳し、かつ前記オブジェクトモデル（ＯＭ）の前記クラスタ（ＣＬ）に対する最適位置を決定するためのモデルマッチング（Ｓ３）を実行し、ならびにクラスタ（ＣＬ）が誤って割り当てられたポイントの割り当ての修正（Ｓ４）を実行する方法において、
   （ａ）少なくとも１つの例示オブジェクト（ＢＯ）の例示画像を用いて分類子（ＫＬ）を事前に訓練（Ｓ５）し、
   （ｂ）前記分類子（ＫＬ）を用いて、前記画像（Ｂ１，Ｂ２）の少なくとも一方から、前記例示オブジェクト（ＢＯ）に類似する少なくとも１つのオブジェクト（Ｏ）の個数または位置確率のいずれかを表すアテンションマップ（ＡＭ）を生成し（Ｓ６）、
   （ｄ）前記モデルマッチング法（Ｓ３）において、前記アテンションマップ（ＡＭ）を用いて、それからモデルマッチングが実行されるオブジェクトモデル（ＯＭ）の初期姿勢を計算する、方法。

Images