JP5705147B2 - 記述子を用いて３ｄオブジェクトまたはオブジェクトを表す方法 - Google Patents

Description

本発明は、記述子を用いてオブジェクトを表すことに関し、より詳細には、記述子を用いて２．５Ｄ距離（ｒａｎｇｅ：レンジ）画像においてオブジェクトを検出することに関する。

オブジェクトの３Ｄモデルのデータベースを用いて、３Ｄシーンのスキャナーによって取得されるクエリ２．５Ｄ距離画像においてオブジェクトを検出する方法を提供することが望まれている。２．５Ｄ距離画像では、オブジェクトのサーフェスにおける全てのスキャン点（ピクセル）（ｘ，ｙ）は、１つの深さ値ｚに関連しており、すなわち、ｚは、スキャナーからその点までの距離である。

オブジェクト検出
本明細書において定義するとき、オブジェクト検出は、概して、オブジェクト形状マッチング、オブジェクト認識及びオブジェクトレジストレーションを含む。

点群（ｐｏｉｎｔ ｃｌｏｕｄ：ポイントクラウド）
点群は、３次元座標系における頂点の集合である。頂点は、通常、（ｘ，ｙ，ｚ）座標によって定義され、一般に、オブジェクトの外側サーフェスを表す。本明細書で用いる点群は、スキャナーによって生成される。スキャナーは、オブジェクトのサーフェス上の多数の点までの距離を自動的に測定し、点群をデータファイルとして出力する。点群は、スキャナーによって測定される点の集合を表す。点群は、本明細書で定義するようなオブジェクト検出を含む多くの目的に用いられる。

従来技術によるオブジェクト検出方法は、概して、３Ｄサーフェスメッシュ及び完全な３Ｄモデルが利用可能であることを前提としており、したがって、それらの方法を２．５Ｄ距離画像には容易に拡張することはできない。２．５Ｄ距離画像において３Ｄオブジェクトを検出することは、以下の理由で困難である。

オブジェクトのパーツは、自己遮蔽（ｓｅｌｆ−ｏｃｃｌｕｓｉｏｎ）により、又は他のオブジェクトによる遮蔽により不明瞭となる場合がある。スキャナーは、最大でも、３６０度３Ｄシーンの１８０度ビューしか取得することができず、すなわち、最大でも、距離画像では、シーンの半分しか見えない。

隣接するオブジェクトもまた、検出方法を妨げる背景クラッターとして作用する可能性がある。視点及びスケールの変化により、高い外観の変動及び曖昧さが現れる。この変動は、クラス間変化を大きく超えて、不正確な検出の原因となる場合もある。

距離画像
レンジスキャナーは、サーフェスが離散点でしかスキャンされず、オブジェクトの微細な詳細が通常喪失するか又はぼやけるため、空間分解能が限られている。スキャナーによっては、サンプリング分解能が種々の軸に沿って大きく変化し、３Ｄ点群の再サンプリングが困難であって、場合によっては、サーフェストポロジーが歪むことになる。

高速レンジスキャナーは、距離測定において著しい雑音をもたらし、シーンの一部が不完全な観測値を有することになる。

上記問題にかかわらず、スキャナーが生成する点群の使用は、従来のカメラ等の従来の光学的対応物を上回る多くの利点があるため、ますます普及してきた。一般に、２．５Ｄ距離画像に対する方法は、幾何学的距離のみが問題であるため、概して照明不変である。

特徴記述子
オブジェクト検出方法のための最も普及しているオブジェクト記述子は、特徴ベースのものであり、コンパクトかつ有効な３Ｄ記述子を必要とする。それらの方法の有効性は、識別力、回転不変性、雑音に対する非感受性及び計算効率を含むいくつかの基準に基づく。

特徴ベースの方法を、サポート領域のサイズに応じて以下のカテゴリー、すなわち、グローバル記述子、リージョナル（ｒｅｇｉｏｎａｌ）記述子及びローカル記述子に分割することができる。しかしながら、ローカル記述子は、サーフェス法線、又は離散サンプル点の集合からの曲率等、局所的特性の推定が非常に不安定であるため、離散的にスキャンされる点からの認識及び検出には有用ではない。

グローバル記述子
拡張ガウス像（ＥＧＩ：ｅｘｔｅｎｄｅｄ Ｇａｕｓｓｉａｎ ｉｍａｇｅ）は、最も普及しているグローバル記述子の１つである。ＥＧＩは、重み付きサーフェス法線をガウス球にマッピングし、２Ｄ画像を形成する。この記述子が簡潔であることには、局所的な幾何学情報を喪失するという犠牲が伴う。

形状分布方法は、ペアでの点の距離をランダムにサンプリングし、形状全体を表すヒストグラムを形成する。この記述子は、迅速に確定することができ、姿勢正規化、特徴対応又はモデルのあてはめを必要としないため有利である。

他のグローバル形状特徴には、超二次、球上属性イメージ（ｓｐｈｅｒｉｃａｌ ａｔｔｒｉｂｕｔｅ ｉｍａｇｅ）、並びにＭＰＥＧ−４オブジェクト及びストリームに基づく協調システム（ＣＯＳＭＯ：ｃｏｌｌａｂｏｒａｔｉｖｅ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ＭＰＥＧ−４ ｏｂｊｅｃｔｓ ａｎｄ ｓｔｒｅａｍｓ）がある。グローバル形状記述子は、概して、モデル全体を用いることに起因して識別力が高い。一方で、これらのモデルは、クラッター又は遮蔽の影響を非常に受けやすい。

リージョナル記述子
リージョナル記述子の中で特に、スピンイメージが、多くの３Ｄ応用において有効である。スピンイメージは、中心が基準点ｐにあり、かつその北極点が点ｐにおけるサーフェス法線推定に合わせて配向される、円筒状サポート領域を考慮する。２つの円筒座標は、動径座標α、すなわち中心に対する垂直距離、及び仰角座標β、すなわち点ｐを通る接平面に対する垂直符号付き距離である。スピンイメージは、（α，β）でインデックス付けされた体積内の点を累積することによって構成される。他のリージョナル記述子には、サーフェススプラッシュ（ｓｕｒｆａｃｅ ｓｐｌａｓｈ）及びスーパーセグメント（ｓｕｐｅｒ ｓｅｇｍｅｎｔ）がある。

３Ｄ形状コンテキストは、サポート領域が球である以外は、スピンイメージに類似している。球は、その球を方位角次元及び仰角次元に沿って均一にかつ動径次元において対数的に分割することによって、部分体積に区分される。各部分体積に対する重みの累積が１つのヒストグラムビンに寄与する。方位角方向における自由度は、特徴マッチングを実行する前に取り除かれる。形状コンテキストに対して球面調和関数を適用することにより、回転不変とすることができる。その方法は、球形状コンテキストと呼ばれる。

点シグネチャ（ＰＳ：ｐｏｉｎｔ ｓｉｇｎａｔｕｒｅ）は、３Ｄ曲線から平面までの距離によって局所トポロジーを表す。この１Ｄ記述子は、スピンイメージ又は形状コンテキストよりも識別能力が低いが、確定が迅速でありかつマッチングが容易であるという意味で有利である。この１Ｄ記述子は、点密度が不十分である場合に誤りをもたらす可能性があるスピンイメージのような法線推定を必要としない。また、形状コンテキストのように姿勢によって変化しない。加えて、種々のスケールにわたるシグネチャの組合せによって、より完全な記述子を得ることができる。

多数の利用可能な３Ｄ記述子が与えられると、用途に最もよく適合する特徴を有する記述子を選択することに意味がある。種々のタイプの特徴を結合し、各特徴が用途の異なる段階で寄与することができるようにすることがより効率的である場合がある。

例えば、スピンイメージ及びＥＧＩは、トップダウン式にかつボトムアップ式に結合されてきた。その方法は、まず、スピンイメージを用いて点をオブジェクト又は背景として分類する。そして、隣接するオブジェクト点の連結成分を抽出する。一連のＥＧＩは、高速な整列と、連結成分のＥＧＩのモデルデータベースへのマッチングとを容易にする。これにより、大きいデータセットにおける車及び他のオブジェクトを検出する効率と精度との優れたトレードオフが提供される。３Ｄ顔認識のために、主曲率及び点シグネチャもまた結合されている。

検出及び認識のカスケードに沿った特徴の配置は、主に発見的規則によって決定される。各クエリ画像に対して、何十万もの点がある可能性がある。大量のデータには、モデルデータベースから最良の一致を検索する効率的な技法が必要である。一方法は、主成分分析（ＰＣＡ：ｐｒｉｎｃｉｐｌｅ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）を用いてスピンイメージの部分空間を確定する。

別の方法は、量子化を用いて特徴空間をクラスター化する。その方法は、ｋ個の代表的なクラスターを用いて、高速ｄ次元特徴検索を容易にする。ここで、ｋは実質的にｄよりも小さい。その方法は、クエリヒストグラムをオブジェクト部分空間に投影することによってオブジェクトを部分的にマッチングすることができる。粗密（ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅ）手法は、計算量を更に低減することができる。データベースのモデルと比較するために、クエリ画像から特徴の僅かな部分のみが選択される。選択を、曲率若しくは法線方向等の局所トポロジーに基づいてランダムとするか、又はデータ駆動とすることができる。モデルに対する特徴のマッチング品質は、候補位置のショートリストを決定する。粗密チェーンの最後には、候補オブジェクトはより少なくなり、したがって、より複雑な探索及び幾何学的制約を実施することができる。

特徴検索の別の方法は、ハッシュ法、幾何学的ハッシュ法を用いる。その方法は、不変座標表現を幾何学的座標ハッシュ法と結合して、単純な幾何学的制約を用いてモデルデータベースを簡潔にする。その方法は、特徴点の数の多項式である。準線形特徴検索方法は、局所性検知可能ハッシュ（ＬＳＨ：ｌｏｃａｌｉｔｙ ｓｅｎｓｉｔｉｖｅ ｈａｓｈｉｎｇ）を用い、それは、確率的最近傍探索である。その方法では、特徴がサーフェス上の角点において確定される。ＬＳＨは、衝突の確率に基づいて特徴をビンにハッシングし、それにより、同様の特徴が同じバケットにハッシングする。

点シグネチャ
点シグネチャ（ＰＳ）は、中心点を中心とする球とオブジェクトのサーフェスとの交差部によって形成される３Ｄ空間曲線に基づく形状記述子である。ＰＳは、確定が高速であり、モデルとのマッチングが容易である。しかしながら、ＰＳには、信頼性の高いマッチングに十分な識別力が欠けている。

多く応用では、スピンイメージ、形状コンテキスト及びそれらの球面調和関数等の形状記述子の他の組合せが有効である。ＰＳの過度な単純化とは対照的に、それらの記述子は、所与の体積における点の数に比例する重みを格納する。それらの記述子を、体積ベースの記述子として分類することができ、それにより、必然的に疎である距離画像の性質に起因して不可避的に高い冗長性が生じる。加えて、スピン画像及び形状コンテキストには、局所点において法線ベクトルの推定が必要であり、それにより、空間分解能が低い場合に間違いが発生しやすい可能性がある。

３Ｄオブジェクトは、記述子によって表され、３Ｄオブジェクトのモデルは、３Ｄ点群である。

３Ｄ点群における各点ｐに対する局所サポートの位置が特定され、局所サポートの基準ｘ軸、ｙ軸及びｚ軸が生成される。

基準ｘ軸、ｙ軸及びｚ軸に従って、点ｐを中心とするｘｙ平面上の方位角方向及び動径方向に沿って、極座標格子が、この格子上の各パッチが２Ｄヒストグラムのビンとなるように適用され、２Ｄヒストグラムは、格子上の２Ｄ行列Ｆであり、２Ｄ行列Ｆの各係数は、格子上のパッチに対応する。

各格子位置（ｋ，ｌ）に対して、仰角値Ｆ（ｋ，ｌ）が、パッチ内の３Ｄ点の仰角値を補間することにより推定され、点ｐの記述子が生成される。

本発明は、高い識別力を有するとともに３Ｄ形状を表現するのに有効な同心円シグネチャ（ＣＯＲＳ：ｃｏｎｃｅｎｔｒｉｃ ｒｉｎｇ ｓｉｇｎａｔｕｒｅ）を提供する。

本発明は、点群を用いてオブジェクトを認識しレジストレーションする粗密方法も提供する。

本発明の実施の形態による、オブジェクトの記述子として同心円シグネチャ（ＣＯＲＳ）によりオブジェクトを表す方法のフロー図である。 本発明の実施の形態による、２つのＣＯＲＳ記述子の間の距離を確定する方法のフロー図である。 本発明の実施の形態による、ＣＯＲＳを用いてオブジェクトをマッチングする方法のフロー図である。 本発明の実施の形態による、投影平面を確定し、面に対して基準方位を確定する、３Ｄデータ点の球状クラウドの概略図である。 本発明の実施の形態によるオブジェクトの周縁部に対する平面の概略図である。 本発明の実施の形態によるスライス面における局所近傍結果に対するあてはめの概略図である。 人間の顔の３Ｄデータクラウドにおける種々の位置において確定されるＣＯＲＳの概略図であり、ＣＯＲＳが小さい方の矩形形状を有し、従来技術によるスピンイメージが大きい方の矩形形状を有する、図である。

本発明の実施の形態は、３Ｄオブジェクトを記述子で表し、その記述子を用いてクエリ２．５Ｄ距離画像において同様のオブジェクトを検出する方法を提供する。２．５Ｄ距離画像を、スキャナーによって取得することができる。３Ｄオブジェクトは、３Ｄ点群によってモデル化される。本明細書で定義するオブジェクト検出は、概して、オブジェクト形状マッチング、オブジェクト認識及びオブジェクトレジストレーションを含み、点群は、オブジェクトの外面を表すように意図されている３次元座標系（ｘ，ｙ，ｚ）における頂点の集合として定義される。より詳細には、点群は疎であり、米国特許第７，６０５，８１号、同第７，８５６，１２５号及び米国特許出願公開第２００８／０３１０７５７号を参照されたい。

本発明者らは、局所データ点から投影平面までの距離により、折り返された同心円のセット内の局所トポロジーを表す３Ｄ記述子について述べる。本発明者らは、この記述子を同心円シグネチャ（ＣＯＲＳ）と呼ぶ。ＣＯＲＳは、データベースに格納され、対応する３Ｄモデルと関連付けられる。

スピンイメージとは対照的に、本発明者らによるＣＯＲＳは、点法線を推定する必要がない。したがって、ＣＯＲＳは、離散的にサンプリングされる点の疎クラウドに、特にそのクラウドにおける点の密度が従来の検出方法の距離画像の場合のように不十分に低い場合、直接適用可能である。さらに、本発明者らによるＣＯＲＳは、点シグネチャ（ＰＳ）及びスピンイメージよりもコンパクトかつ密な記述子ベクトルを生成し、それにより、ＣＯＲＳは、雑音、不完全なデータ及び遮蔽に対してよりロバストとなる。

本発明者らによるＣＯＲＳの識別力は、点シグネチャに対して優れており、正しい一致のスコアの割合を３９％から８８％まで改善向上させた、約２倍の優れた推定をもたらす。この品質はまた、３Ｄオブジェクト検出及び２．５Ｄ画像におけるレジストレーションに対しても観察される。

ＣＯＲＳにより、オブジェクトスケールを適切に推定することができ、したがって種々のスケールにわたる探索がなくなる。さらに、本発明者らによる３Ｄモデルは、カラー画像検出に対して異なるビューにおける複数のスナップショットが不要である。オブジェクトの各クラスに対して、データベースに僅かな数のモデルのみを格納すればよい。これにより、システムは、クエリ画像において複数のオブジェクトを検出することが望まれる場合に、クラスの数によりスケールアップすることができる。

本発明者らによる方法は、以下の基本ステップを含む。本発明者らは、オブジェクトを含むシーンのクエリ２．５Ｄ距離画像において均一に分散している点の部分集合に対して、同心円シグネチャ（ＣＯＲＳ）を確定する。本発明者らは、クエリ画像から抽出されるＣＯＲＳと、データベースの３Ｄモデルに格納されているＣＯＲＳとの対応を確定する。このステップを、形状表現によって加速させることができる。そして、オブジェクトは、幾何学的制約を用いて検出される。

同心円シグネチャ
図１は、以下に詳細に説明する、本発明の実施の形態による、オブジェクトの記述子としてＣＯＲＳを構成する方法を示す。

まず、図３においてＣＯＲＳの全体的な概念を概略的に説明する。

本方法への入力は、オブジェクトのモデルである、３Ｄデータ点ｐ１０１の球状「クラウド」である。各点ｐの局所サポートＳは、半径ｒで点ｐを中心とする点ｐ_ｉの球状体積である。本発明者らは、局所サポート領域Ｓ内で２Ｄデータ点の位置を特定する。そして、投影平面３０１を確定し、その平面における基準方位３０２を確定する。最後に、行列形態に配列されるパッチ応答（ｐａｔｃｈ ｒｅｓｐｏｎｓｅ）を確定する。平面Ｐは、局所近傍にあてはめられ、点ｐまで並進する（１３５）。他の変数は、本明細書に示す通りである。

法線方向は、ｚ軸３０２となるように取られる。次に、基準方位が、ｘ軸に対して選択され、対応するパッチ内にサーフェスから平面までの距離を投影する。

局所サポート
ｐを、３Ｄ点群１０１におけるデータ点とする。各点ｐを中心とし点ｐの半径ｒ内にある点ｐ_ｉの球状体積Ｓが、以下の式に従って点ｐの局所サポートとして定義される。

半径ｒは、データによって決まる。例えば、滑らかかつ剛性の形状には、より大きい半径が好ましく、関節又は構造的変動がある形状には、より小さい半径が好ましい。ｒが増大するほど、ＣＯＲＳは識別力が高くなるが、遮蔽に対してより脆弱になる。半径ｒの適切な選択により、２つの要素のバランスがとられる。

投影平面及び基準軸
接平面Ｐ３０１が、局所サポートＳにあてはめられる（１２０）。平面あてはめに対して２つの選択肢があり得る。１つは、局所サポート内の全ての点Ｐ_ｉを使用し（１１０）、系が略常に過剰決定であるため最小二乗によって平面をあてはめ、点ｐにおける平面Ｐの原点を法線方向に沿って並進させる（１３５）ことができる。代替的に、図１に示すように、例えば球状サポートをオブジェクトサーフェスと交差させて、局所サポートの周縁部に沿った点の部分集合を選択する（１１５）ことが可能である。

図４Ａ及び図４Ｂに示すように、平面３０１を周縁部にあてはめることは、特に山（ｒｉｄｇｅ）４０１に沿った点に対してより適している。特別な場合、平面は、局所サポートにあてはめられ、それは、平面をその周縁部にあてはめることとは異なる。図４Ａには、接平面における周縁部へのあてはめの結果を示し、図４Ｂには、スライス面４０２における局所近傍全体へのあてはめの結果を示す。本発明者らの記述子が点の仰角に基づくため、投影平面がサーフェスをスライスするのではなくサーフェスに対して接平面であることがより意味がある。投影平面がサーフェスをスライスする場合、結果としての記述子はゼロとなる。

本発明者らは、局所サポートの記述子がカメラの視角の不変量であるように局所基準座標を定義する（１３０）。ｃをカルヒャー平均とし、それは、以下のように局所サポートにおける他の点に対して全体の距離が最小である座標である。

並進動作１３５は、あてはめられた平面Ｐの原点を、その平面を平面Ｐの法線方向に沿ってシフト、すなわち平行移動させることによって、点ｐに移動する。言い換えれば、平面Ｐの（０，０）座標は、ｐに一致する。

基準軸を生成する（１４０）ために、本発明者らは、ｚ軸を平面Ｐに直交するように設定する。ｚ軸は、単位ベクトルｚのベクトルｃｐとのドット積が正であるような方向を指す。ベクトルｃｐは、カルヒャー平均点ｃを局所サポート内の点ｐに連結する。

本発明者らは、ローカル記述子が視角の不変量であるように局所基準軸（ｘ軸）を生成する（１４０）。ｘ軸は、ｐから離れる方向に、局所サポートＳ内のあてはめられた平面Ｐから最大距離である３Ｄ点の投影まで指している。ｙ軸は、クロス積ｚｘによって定義される。こうした割当により、平面Ｐは、点ｐを通るｘｙ平面に対応する。これらの２つの条件は、いかなる曖昧さもなくｘ軸を定義する。

平面Ｐからｘｙ平面までの投影距離が２つ以上のピークを超える場合、複数の基準軸を生成することができる。この状況が訓練段階で発生する場合、各々が１つのピークに対応する複数のＣＯＲＳ記述子が確定され、データベース１６０に格納され３Ｄモデルと関連付けられる。

本方法のステップを、本技術分野において既知であるようにメモリ及び入出力インターフェースに接続されたプロセッサで実行することができる。

マッチングの間（２００）、投影距離が複数の同様に大きいピークを有する場合であっても、２．５Ｄクエリ画像における各クエリ点に対して、最大ピークに対応する１つの記述子のみが必要である。それは、クエリ記述子１０３は、複数の記述子がピークの曖昧さを考慮するように生成された場合に、モデルデータベースにおける正しい一致を常に確定することができるためである。本発明者らは、この状況が点のうちの約１％のみで発生し、複数のピークを含むことにより記述子のマッチングが改善されることに注目する。

パッチのポピュレート
再び図３を参照して平面をあてはめ基準軸を生成した後、局所近傍Ｓにおける各３Ｄ点ｐ_ｉは、ここでは、数の多次元配列の形態であるテンソルｐ_ｉ（ｘ，ｙ，ｚ）によって表される。テンソルは、カメラの視角の不変量である。ｚ座標ｐ_ｉ（ｚ）は、このテンソルにおける平面からの距離に対応し、ｘｙ平面座標ｐ_ｉ（ｘ，ｙ）は、平面Ｐ上の投影に対応する。

次に、本発明者らは、基準ｘ軸、ｙ軸及びｚ軸を用いて格子上に定義されるパッチをポピュレートする（１５０）。本発明者らは、以下のように、格子上のパッチ内の所与のデータ点の代表的な仰角値を推定する。
１）本発明者らは、点ｐを中心とするｘｙ平面上の方位角方向及び動径方向に沿って極座標格子を適用する。格子上の各パッチは、２Ｄヒストグラム用のビンである。｛（ｋ，ｌ）｝を、ｋ＝１，．．．，Ｋ及びｌ＝１，．．．，Ｌのサンプリングされた格子位置の集合とし、ここでは、Ｋ及びＬは、それぞれ、方位角方向及び動径方向に沿ったサンプリング間隔の数である。言い換えれば、本発明者らは、この格子上の２Ｄ行列Ｆを抽出し、行列の各係数ｆは、格子上のパッチに対応する。
２）各格子位置（ｋ，ｌ）に対し、本発明者らは、仰角値Ｆ（ｋ，ｌ）を推定してその点の記述子を生成する。

代表的な仰角値Ｆ（ｋ，ｌ）は、以下のように推定される。

式中、ｐ_ｉは、（ｋ，ｌ）のビンの隣接する近傍ビン内の３Ｄ点であり、重みは以下のように求められる。

及び

仰角値Ｆ（ｋ，ｌ）は、格子位置（ｋ，ｌ）を包囲する点の仰角の重み付き平均である。各包囲点の仰角の代表的な仰角の推定に対する寄与は、（ｋ，ｌ）までの距離に対して反比例する重みｗ_ｉによって制御される。

パラメータαは、記述子の平滑性を制御する。α値が高くなると記述子は平滑になり、αが小さくなると記述子は位置的並進に影響を受けやすくなる。パラメータαは、方位角方向及び動径方向に沿ったサンプリング間隔によって決まる。本発明者らは、ビン中心とそれらの隣接するビンとの間の平均ユークリッド距離が十分な値であることを確認した。固定パラメータαを用いることにより、ビンは、極座標系において原点に近いビンの方が遠いビンより類似するようになる。パラメータαを、この問題を克服する適応的な方法で設定することができる。また、形状の僅かな差が中心の近くにある場合、最小距離制約を課すことによって精度が向上する。

ＳからＰまでの平均直交距離に加えて、投影距離の標準偏差及び各ビンに入る点の密度もまた、補完する識別力を有し、同様の行列に組み込まれ得る。平均距離の利点は、点密度推定及び正規化を必要としないということである。

図５は、人間の顔５００の３Ｄデータクラウド上の種々の位置において確定されるＣＯＲＳの視覚図を提供し、ここでは、本発明の実施の形態によるＣＯＲＳは、２Ｄ行列を表す小さい方の矩形形状５０１であり、従来技術によるスピンイメージは、大きい方の矩形形状５０２である。

サポート領域の半径は、両記述子に対して１５に設定される。ＣＯＲＳの方位角量子化の数及び動径量子化の数は、それぞれ１０及び５である。スピンイメージのビンサイズは、スキャナーの分解能に等しいように設定される。ＣＯＲＳの寸法は、従来技術によるスピンイメージの６．５分の１であることに留意されたい。こうした寸法の低減により、記述子マッチング効率が向上するが、識別力は損なわれない。

ＣＯＲＳの高速近似
実際には、局所基準枠のｚ軸として、利用可能な場合は、いつでも局所サポートの法線のみを使用する（１１６）ことにより、ＣＯＲＳの計算時間を大幅に低減することができる。これにより、全ての位置において平面を近傍にあてはめる必要がなくなる。

ＣＯＲＳ記述子の大きいデータベース（何十万ものシグネチャ）へのマッチングを高速化するために、粗密手法を適合させることができる。各ＣＯＲＳ記述子に対し、本発明者らは、Ｋ＊Ｌ行列の全ての要素、すなわち下位シグネチャを生成するために同じ円に位置する要素を行合計する。これを、候補の可能性が低いものを迅速に取り除くために用いることができる。

マッチング
図２Ａ及び図２Ｂにマッチングプロセスを示す。まず、図２Ａにおいて、２つのＣＯＲＳ記述子Ｆ_１２０１及びＦ_２２０２の間の相違点が、行列距離によって測定される（２１０）。ＣＯＲＳ記述子のマッチングは、ユークリッド距離には限定されない。記述子に多様体埋込み２２０を適用することができる。ＣＯＲＳの表現が行列形態であるため、それを、多様体構造を有するものと考えることができ、そこでは、マッチングスコアは、多様体における２つのＣＯＲＳ記述子を連結する測地線距離２２１として定義される。さらに、多様体を、Ｉｓｏｍａｐを用いて平坦化することができる（２２０）。Ｉｓｏｍａｐは、既知の低次元埋込み方法であり、重み付きグラフにおける測地線距離が従来のスケーリングとともに組み込まれている。Ｉｓｏｍａｐは、多様体上の各データ点の隣接するデータ点の概算に基づいてデータ多様体の固有の幾何学を推定する単純な方法を提供する。

好ましい実施の形態では、本発明者らは、いくつかの距離ノルムを使用することができる。

ユークリッド距離２１１計量は、以下のように定義され、

ここで、加算は、全ての行列係数にわたりｋ、ｌに関係する。ユークリッド距離は、対応する要素間の二乗差の平方根である。これは、恐らくは最も一般的に使用されている距離計量である。

マハラノビス距離２１２は、以下のように定義され、

式中、Ｖ^−１はＦ_１−Ｆ_２の共分散行列の逆数である。マハラノビス距離は、有効に重み付きユークリッド距離であり、重み付けは、サンプル共分散行列によって確定される。

ミンコフスキー距離２１３は、以下のように定義される。

和は、ｋ，ｌ＝１から係数の数までである。ミンコフスキー距離は、対応する要素間の絶対差をｕ乗したものの和のｕ乗根である。ユークリッド距離は、ｕ＝２の特別な場合である。

チェビシェフ距離２１４は、以下のように定義される。

相違点の尺度は、本発明が用いられる応用によって主に決定され、種々のビンの寄与をそれに従って変更することができる。例えば、応用が相称的な局所構造を強調表示することである場合、方位角次元に沿って同様のビン値を有するＣＯＲＳは、他のＣＯＲＳより大幅に高く重み付けされる。

クエリ記述子の最良一致を、ｋ次元ツリー及びボックス分解ツリーベースの探索等、近似最近傍技法を用いて効率的に抽出することができる。

ＣＯＲＳの正しいマッチングの率は、点シグネチャよりおよそ２．５倍高い。誤り率は、スピンイメージの場合の１８％からＣＯＲＳの場合の１２％まで低減し、それは３３％を超える改善である。

識別率
記述子対応を見つけることは、多くの認識問題及び検索問題に対して本質的である。潜在的に誤りのある一致をフィルタリングで除去し、更なる処理のために有用なもののみを維持する正確でロバストなメカニズムがあることが望ましい。大きいデータベースで記述子を探索するか又は雑音の多い観察結果において対応を見つける場合、最近傍マッチングにより大量の不正確な対がもたらされる。

この問題に対処するために、記述子のユークリッド距離に対するグローバル閾値をそれらの最も近い一致に課すことが可能である。しかしながら、閾値を適用することは、識別能力の低い記述子の大部分が小さい距離のみで複数の一致を有する傾向があるため機能しない。

図２Ｂに示すように、ＣＯＲＳ記述子の２つのセット、すなわちセットＡ２０３及びセットＢ２０４が与えられると、本発明者らは、図２Ａに対して上述した距離計量のうちの１つを用いて全てのペアのＣＯＲＳ記述子距離を確定する（２３０）。

本発明者らは、最良の近傍の距離を２番目に良い近傍の距離と比較する（２４０）。本発明者らは、この比較のための尺度として以下のように識別比ｄｒを確定し（２５０）、

ここで、ｄｉｓｔ_１及びｄｉｓｔ_２は、クエリオブジェクトの記述子のセットと、データベースにおける別のオブジェクトの記述子のセットのそれぞれ最良の一致及び２番目に良い一致との間のユークリッド距離である。識別比が高いためには、正しい一致が、最も近い正しくない一致より大幅に近い最も近い近傍を有していることが必要である。その結果、識別比の高い一致は、はるかにより信頼性が高い傾向にある。間違った一致の場合、特徴空間の高い次元数のために、同様の距離内に複数の他の間違った一致がある可能性がある。本発明者らは、信頼性閾値２６１より識別スコアが低い記述子の対を除去する（２６０）。残りの記述子を用いて、信頼性の高い一致が得られる（２０９）。

識別比に対して制限を課すことにより、正しい対応率が劇的に増大する。

形状検出及びオブジェクトレジストレーション
２．５Ｄレンジスキャンクエリシーンが与えられると、タスクは、シーンが関心オブジェクトを含むか否かの信頼性の高い判断を行うということである。完全であるか又は部分的に遮蔽されているターゲットのインスタンスが検出されると、本方法は、シーンのターゲットに完全なモデルをレジストレーションする変換を推定する。この問題は、いくつかの理由で困難である。第１に、レンジスキャン画像は、通常、効率よいが信頼性の高い方法で処理される必要のある何十万もの点を含む。第２に、ターゲットは、自己遮蔽及びクラッタリング効果のために部分的にしか見えず、多くのグローバル形状記述子が無用になる。

そして、ＣＯＲＳを用いる本発明者らの検出方法の３つの主なステップを以下のように列挙することができる。
１）シーンのランダムに分散した点の部分集合に対してＣＯＲＳを確定する、
２）ランダムに分散している点のクエリ記述子とオフラインで確定されたモデル記述子との間の対応を見つける、及び
３）ランダムサンプルコンセンサス（ＲＡＮＳＡＣ：ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）フレームワーク内の幾何学的制約を用いて動きパラメータを反復的に推定することにより、未知のオブジェクトの位置を特定しその姿勢を求める。

まず、本発明者らは、クエリクラウドから点のランダムな部分集合においてＣＯＲＳ行列を確定する。これらのＣＯＲＳ行列は、所定のモデルＣＯＲＳ行列と比較されて、最良の一致と２番目に良い一致とが見つけられる。識別比が確定され、この尺度が１．５未満である対応が除去される（２６０）。次に、本発明者らは、一致した位置の３つの対をサンプリングし、それらが以下のような全ての幾何学的制約を満足させるか否かを検査する。

式中、ｍ_ｉはオブジェクトモデル上の点であり、ｑ_ｉはクエリシーンにおけるその対応点である。

最後の制約は、有効に、三角形の面積を閾値Ａ_ｍｉｎよりも大きくする。三角形から離れる方向に更に移動するとレジストレーション誤差が増幅するため、本発明者らは、この誤差源を制限するために面積が十分大きい三角形を選択する必要がある。

ここで、本発明者らは、３つの適切な対応を見つけたと考えて、回転行列Ｒ及び並進ベクトルｔをいかに計算するかを簡単に述べる。剛体変換式は、以下の通りである。

表記上便宜的に、２つの追加の頂点ｍ_４及びｑ_４が導入される。

Ｒ及びｔは、以下のように推定される。

式中、

本発明者らは、高い雑音によって生成される誤検出及び他のタイプの誤りを防止する検証ステップを組み込む。このステップでは、モデルクラウド全体が、推定された回転パラメータ及び並進パラメータを用いて変換される。クエリとモデルとの間のオーバーラップする点の数が閾値を超える場合、アルゴリズムは、ターゲットの存在を確認し、Ｒ及びｔを用いてモデル全体をシーンにレジストレーションする。

点は、他のクラウドにおけるその最近傍まで距離が、スキャナーの分解能の２倍であるｅを下回る場合、オーバーラップされていると分類される。実際には、本発明者らは、点群のランダムな部分集合を検査して、オーバーラップの程度の適切な推定を行うだけでよい。選択された頂点から離れすぎている領域は、他のオブジェクトに属している可能性があるため、無視することもまたより実際的である。

本発明者らは、シーンの総数に対する正しい検出の数として定義される認識率を評価することに関心がある。グランドトゥルースに比較した並進及び姿勢推定の結果としての誤差が、それぞれオブジェクトの直径の１／１０及び１２度より小さい場合、オブジェクトは、正しく検出されたと言われる。

本発明者らの方法は、平均して３回のみのＲＡＮＳＡＣ反復の後に収束する。いかなる更なる処理もなしに、Ｒ及びｔの十分な推定値がもたらされる。

発明の効果
本発明は、高い識別力を有するとともに３Ｄ形状を表現するのに有効な同心円シグネチャを提供する。

本発明は、点群を用いてオブジェクトを認識しレジストレーションする粗密方法も提供する。

Claims (20)

1. 記述子を用いて３Ｄオブジェクトを表す方法であって、前記３Ｄオブジェクトのモデルが３Ｄ点群であり、前記方法は、
   前記３Ｄ点群における各点ｐの局所サポートの位置を特定するステップであって、前記局所サポートは、
   

   

   に従って、前記点ｐを中心とし前記点ｐの半径ｒ内にある点ｐ_ｉの球状体積Ｓである、位置を特定するステップと、
   前記局所サポートの基準ｘ軸、ｙ軸及びｚ軸を生成するステップと、
   前記基準ｘ軸、ｙ軸及びｚ軸に従って、前記点ｐを中心とするｘｙ平面上の方位角方向及び動径方向に沿って、極座標格子を、前記格子上の各パッチが２Ｄヒストグラムのビンとなるように適用するステップであって、前記２Ｄヒストグラムは、前記格子上の２Ｄ行列Ｆであり、前記２Ｄ行列Ｆの各係数は、前記格子上の前記パッチに対応する、適用するステップと、
   前記各格子位置（ｋ，ｌ）に対して、仰角値Ｆ（ｋ，ｌ）を、前記パッチ内の前記３Ｄ点の前記仰角値を補間することにより推定し、前記点ｐの前記記述子を生成する、推定するステップと、を含み、
   前記ステップは、プロセッサで実行される
   記述子を用いて３Ｄオブジェクトを表す方法。
2. 接平面Ｐを、前記接平面Ｐが前記ｚ軸に直交するように、最小二乗によって前記局所サポートにあてはめるステップと、
   前記接平面の局所基準座標を定義するステップであって、前記局所サポートの前記記述子が視角の不変量であるように、前記局所サポートの前記基準ｘ軸、ｙ軸及びｚ軸を生成する、定義するステップと、
   を更に含む請求項１に記載の方法。
3. 前記局所基準座標を定義する前に前記点ｐにおける前記平面Ｐの原点を法線方向に沿って並進させるステップ
   を更に含む請求項２に記載の方法。
4. 前記局所サポートの周縁部に沿って前記接平面にあてはめるように点の部分集合を選択するステップ
   を更に含む請求項２に記載の方法。
5. 前記ｚ軸は、前記局所サポートの法線である請求項１に記載の方法。
6. 行列距離を用いて、既知のオブジェクトの第１の記述子を未知のオブジェクトの第２の記述子とマッチングするステップ
   を更に含む請求項１に記載の方法。
7. 前記行列距離は、ユークリッド距離である請求項６に記載の方法。
8. 前記行列距離は、マハラノビスユークリッド距離である請求項６に記載の方法。
9. 前記行列距離は、ミンコフスキー距離である請求項６に記載の方法。
10. 前記行列距離は、チェビシェフ距離である請求項６に記載の方法。
11. 前記仰角値Ｆ（ｋ，ｌ）は、前記格子位置（ｋ，ｌ）を包囲する点の仰角の重み付き平均である請求項１に記載の方法。
12. 前記仰角値Ｆ（ｋ，ｌ）は、前記格子位置（ｋ，ｌ）を包囲する点の数である請求項１に記載の方法。
13. 前記仰角値Ｆ（ｋ，ｌ）は、前記格子位置（ｋ，ｌ）を包囲する点の勾配値の重み付き平均である請求項１に記載の方法。
14. 前記マッチングするステップは、
    前記第１の記述子及び前記第２の記述子を多様体に埋め込むステップを更に含み、マッチングスコアは、前記第１の記述子及び前記第２の記述子を連結する測地線距離である
    請求項６に記載の方法。
15. 前記多様体が平坦化される請求項１４に記載の方法。
16. 識別比を用いて、クエリオブジェクトの記述子のセットを別のオブジェクトの前記記述子のセットとマッチングするステップ
    を更に含む請求項１に記載の方法。
17. 第１の記述子と第２の記述子との間の距離を求めるステップであって、前記第１の記述子は、クエリセットからのものであり、前記第２の記述子は、データベースセットからのものである、求めるステップと、
    前記クエリセットにおける前記各記述子に対して最も小さい距離及び２番目に小さい距離を見つけるステップと、
    前記クエリセットにおける前記記述子に対して前記識別比を求めるステップと、
    前記識別比が信頼性閾値より小さい前記記述子を前記クエリセットから除去するステップと、
    残っている識別子を用いて、前記クエリセットの前記記述子と前記データベースセットの前記記述子との距離を求めるステップと、
    を更に含む請求項１６に記載の方法。
18. 前記記述子は、オブジェクトレジストレーションに用いられる請求項１に記載の方法。
19. 前記記述子は、未知のオブジェクトの位置を特定し前記オブジェクトの姿勢を求めるために用いられる請求項１に記載の方法。
20. 記述子を用いてオブジェクトを表す方法であって、
    前記オブジェクトを表す点群における各点の局所サポートの位置を特定するステップと、
    前記局所サポートの基準軸を生成するステップと、
    前記基準に従って、前記点を中心とする平面上の方位角方向及び動径方向に沿って、極座標格子を、前記格子上の各パッチがヒストグラムのビンであるように適用するステップであって、前記ヒストグラムは、前記格子上の行列であり、前記行列の各係数は、前記格子上の前記パッチに対応する、適用するステップと、
    前記各格子位置に対して、仰角値を、前記パッチ内の前記点の前記仰角値を補間することにより推定し、前記点の前記記述子を生成する、推定するステップと、を含み、
    前記ステップは、プロセッサで実行される
    記述子を用いてオブジェクトを表す方法。

Images