JP6441032B2

JP6441032B2 - 対応点探索装置と対応点探索プログラム並びに対応点探索方法

Info

Publication number: JP6441032B2
Application number: JP2014226566A
Authority: JP
Inventors: 祐介吉安
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2014-11-07
Filing date: 2014-11-07
Publication date: 2018-12-19
Anticipated expiration: 2034-11-07
Also published as: JP2016091391A

Description

本発明は、３次元モデル同士での対応点の探索処理に関するものである。

従来、３次元の位置情報を持つ点群からなる３次元モデル同士での各点のマッチング処理、つまり、２つの３次元モデル間での対応点の探索処理が行われている。

３次元モデルの対応点の探索処理においては、３次元モデルを構成する点群の各点の局所特徴量を算出し、各点同士の特徴量の類似度に基づいて対応点の探索が行われる。ここで、局所特徴量の例としては、例えば、Spin ImageやLocal Depth SIFTが提案されている（例えば「非特許文献１」参照）。

しかし、従来から提案されている局所特徴量は、特徴量の方向も３次元モデルの局所的な領域の点群の長軸方向など、局所的な領域の形状の特徴を用いて算出されるため、３次元モデルを構成する点群の各点の位置情報などの欠損や、３次元モデルの局所的な変形がある（例えば、人間の全身の３次元モデルの場合、対比する３次元モデル同士で腕の向きが異なっている）と、探索精度（マッチング精度）が低下してしまう。

Tal Darom and Yosi Keller, "Scale Invariant Features for 3D Mesh Models". IEEE Transactions on Image Processing, vol.21, no.5, pp.2758-2769, May 2012.

本発明は、以上のような従来技術の問題点を解消するためになされたもので、対応点の探索精度を向上させることができる、対応点探索装置と対応点探索プログラム並びに対応点探索方法を提供することを目的とする。

本発明は、点群から構成される第１の３次元モデルと第２の３次元モデルとの各点の位置情報と接続情報とが記憶される記憶部と、３次元モデルのそれぞれについて、点群の中から複数のサンプリング点を決定するサンプリング点決定部と、記憶部に記憶されているサンプリング点ごとの位置情報と接続情報とを用いて、サンプリング点ごとの特徴量を算出する特徴量算出部と、特徴量に基づいて、第１の３次元モデルのサンプリング点と第２の３次元モデルのサンプリング点同士の類似度を算出する類似度算出部と、類似度に基づいて、第１の３次元モデルの各サンプリング点に対応する点を第２の３次元モデルのサンプリング点の中から決定する対応点決定部と、を有してなり、特徴量算出部は、サンプリング点ごとに、３次元モデルの曲面上での法線方向をＺ方向、曲面上での平均拡散距離の勾配方向をＹ方向とする仮想カメラの座標系において局所深度画像を構築し、局所深度画像に含まれる各画素の深度を用いて特徴量を算出する、ことを特徴とする。

本発明によれば、対応点の探索精度を向上させることができる。

本発明にかかる対応点探索装置の実施の形態を示す機能ブロック図である。同装置に記憶されるサンプリング点と接続情報の例を示す模式図である。対比される２つの３次元モデルの例を示す模式図である。本発明にかかる対応点探索方法の実施の形態を示すフローチャートである。上記対応点探索方法における各サンプリング点の特徴量の算出処理の例を示すフローチャートである。平均拡散距離（ＡＤＤ）の例を示す模式図である。上記特徴量の算出処理において算出されるＡＤＤの勾配方向の例を示す模式図である。上記特徴量の算出処理において構築される局所深度画像が透視投影される投影面と、透視投影に用いられる仮想カメラのカメラ中心と、３次元モデルと、の位置関係を示す模式図である。

以下、本発明にかかる対応点探索装置（以下「本装置」という。）と対応点探索プログラム（以下「本プログラム」という。）並びに対応点探索方法（以下「本方法」という。）の実施の形態について、図面を参照しながら説明する。

●本装置
図１は、本装置の実施の形態を示す機能ブロック図である。本装置１０は、サンプリング点決定部１１、特徴量算出部１２、類似度算出部１３、対応点決定部１４、記憶部１５、を有してなる。

ここで、本装置１０は、パーソナルコンピュータなどの情報処理装置により実現される。後述する本方法は、本装置１０で動作する本プログラムが本装置１０を構成するハードウェア資源と協働することで、本装置１０により実行される。

なお、本装置１０とは別の情報処理装置で本プログラムを動作させることで、同情報処理装置を本装置１０と同様に機能させて、本方法を実行させることができる。

記憶部１５は、位置情報、接続情報、その他後述する本装置１が本方法を実現するために必要な情報が記憶される手段である。

位置情報とは、３次元モデルを構成する点群の各点の３次元座標の情報である。

接続情報とは、３次元モデルを構成する点群の各点同士の接続状態（後述する三角形のメッシュの切り方）を示す情報である。

記憶部１５には、３次元モデルを構成する点群の点ごとの位置情報と接続情報とが記憶されている。

サンプリング点決定部１１は、３次元モデルを構成する点群の中からサンプリング点を決定する（抽出する）手段である。サンプリング点の決定方法としては、例えば、farthest point samplingなどの手法を用いる。

サンプリング点とは、３次元モデルを構成する点群のうち、対応点の探索の対象とする点である。

図２は、人間の全身の３次元モデルを例とした、サンプリング点と接続情報（メッシュ）の例を示す模式図であり、同図（ｂ）は同図（ａ）の矩形で囲まれた部分を抜き出したものである。同図は、３次元モデルを構成する点群の各点のうち、隣接する点同士を線で繋いで描画してある。すなわち、三角形のメッシュの各辺は、隣接する頂点同士を結ぶ線である。また、同図において、三角形のメッシュの頂点、つまり、３次元モデルを構成する点群の各点のうち丸印が付してある点は、サンプリング点として決定された点である。

図３は、対比される２つの３次元モデルの例を示す模式図である。同図には、人間の全身の３次元モデルが示されていて、同図（ａ）の３次元モデルではサンプリング点１，２，３，４，５，６の６点が決定され、同図（ｂ）の３次元モデルではサンプリング点ａ，ｂ，ｃ，ｄ，ｅ，ｆの６点が決定されていることを示している。

なお、各３次元モデルを構成する点群の中から決定されるサンプリング点の数（図３に示した例では「６」）を示す情報は、あらかじめ、本装置１０に設定（記憶部１５に記憶）されている。

特徴量算出部１２は、頂点ごとの位置情報と接続情報とを用いて、サンプリング点の特徴量を算出する手段である。特徴量とその算出方法については、後述する。

類似度算出部１３は、サンプリング点同士の類似度を算出する手段である。類似度とその算出方法については、後述する。

対応点決定部１４は、対応点を決定する手段である。

対応点とは、対比する２つの３次元モデルのうち、一方の３次元モデルのサンプリング点に対応する、他方の３次元モデルのサンプリング点のことである。すなわち、図３に示した例において、同図（ａ）のサンプリング点ごとに、同図（ｂ）のサンプリング点のいずれかが対応点として決定される。つまり、例えば、同図（ａ）のサンプリング点１の対応点は、同図（ｂ）のサンプリング点ａ，ｂ，ｃ，ｄ，ｅ，ｆのいずれかである。

なお、一方の３次元モデルのサンプリング点に対応する対応点が他方の３次元モデルに存在しない、という解（場合）もあり得る。

対応点の決定方法については、後述する。

●本方法
図４は、本方法の実施の形態を示すフローチャートである。
先ず、本装置１０は、対比する２つの３次元モデルごとに、それぞれを構成する点群の位置情報と接続情報とを記憶部１５から読み出して、点群の中からサンプリング点を決定する（Ｓ１）。

次いで、本装置１０は、決定されたサンプリング点ごとの特徴量を算出する（Ｓ２）。

図５は、サンプリング点ごとの特徴量の算出処理の例を示すフローチャートである。
先ず、本装置１０は、対比する２つの３次元モデルごとに、構成する点群の位置情報と接続情報とを記憶部１５から読み出す（Ｓ２１）。

なお、読み出し処理（Ｓ２１）では、前述のサンプリング点の決定処理（Ｓ１）で記憶部１５から読み出された位置情報と接続情報とを利用するように代えてもよい。この場合、これらの情報を処理（Ｓ１）とは別に改めて記憶部１５から読み出さなくて済む。

次いで、本装置１０は、３次元モデルごとに、各サンプリング点の法線方向を、その３次元モデルのすべての頂点の位置情報と接続情報とを用いて決定する（Ｓ２２）。

次いで、本装置１０は、３次元モデルごとに、各サンプリング点の平均拡散距離（ＡＤＤ：Average Diffusion Distance）の勾配方向を決定する（Ｓ２３）。

ＡＤＤの勾配方向を決定するにあたり、本装置１０は、先ず、頂点ごとに、同じ３次元モデルの他のすべてのサンプリング点との拡散距離（Diffusion Distance）を算出した上で、算出された各サンプリング点との拡散距離の平均値をＡＤＤとして算出する。

拡散距離（Diffusion Distance）とは、グラフ構造の接続の強さを表す距離である。拡散距離は、接続が強いと距離が小さく（近く）なり、接続が弱いと距離が大きく（遠く）なる。拡散距離は、測地線距離とほぼ同じように、曲面の表面上の最短距離を測るが、測地線よりもノイズやデータ欠損に頑健である。２点ｘ，ｙ間の拡散距離ｄ_Ｄは、以下の式により算出することができる。

なお、グラフラプラシアン行列は、頂点ごとの位置座標と接続関係とから求めることができる。

ＡＤＤは、３次元モデルの中心領域が低く、３次元モデルの末端領域が高い、スカラー場である。

図６は、人間の全身の３次元モデルの場合のＡＤＤの例を示す模式図である。同図は、全身の中心に位置するへそ辺りのＡＤＤが低く、全身の末端に位置する手足の指先や頭頂部辺りのＡＤＤが高いことを示している。

図７は、ＡＤＤの勾配方向の例を示す模式図である。同図は、ＡＤＤの勾配方向の算出の対象となるサンプリング点を図の中央に表示し、このサンプリング点と接続している他の頂点が６点存在することを示している。

本装置１は、サンプリング点ごとに、サンプリング点と接続している他の頂点のＡＤＤの勾配方向を下記の式で算出する。

ＡＤＤの勾配方向＝（Ｖ１＋Ｖ２＋・・・＋Ｖｎ）／ｎ

ここで、ｎは、ＡＤＤの勾配方向の算出対象のサンプリング点と接続している他の頂点の数であり、図７に示した例ではｎ＝６である。
また、Ｖ１，Ｖ２，・・・，Ｖｎは、ＡＤＤの勾配方向の算出対象のサンプリング点と、このサンプリング点に接続する他の頂点それぞれを結ぶ辺の勾配ベクトルであり、下記の式で算出される。

Ｖ１＝（ａ１−ａ０）ｅ１
Ｖ２＝（ａ２−ａ０）ｅ２
・・・
Ｖｎ＝（ａｎ−ａ０）ｅｎ

なお、ａ０，・・・，ａｎは、各点のＡＤＤの値である。
また、ｅ０，・・・，ｅｎは、ＡＤＤの勾配方向の算出対象のサンプリング点と他の頂点とを結ぶ各辺の単位方向（ベクトル）の値であり、ｘ０，・・・，ｘｎを各点の３次元座標（３次元位置）とすると、下記の式で算出される。

ｅ１＝（ｘ１−ｘ０）／｜ｘ１−ｘ０｜
ｅ２＝（ｘ２−ｘ０）／｜ｘ２−ｘ０｜
・・・
ｅｎ＝（ｘｎ−ｘ０）／｜ｘｎ−ｘ０｜

図５に戻る。
本装置１０は、サンプリング点ごとに、局所深度画像を構築する（Ｓ２４）。
図８は、３次元モデルと、局所深度画像が透視投影される投影面と、仮想カメラの座標系のカメラ中心、との位置関係を示す模式図である。

ここで、仮想カメラの座標系は、サンプリング点ごとに、前述の法線方向をＺ方向、前述のＡＤＤの勾配方向をＹ方向として設定する。サンプリング点から仮想カメラのカメラ中心までの距離は、局所深度画像に入る３次元モデルの局所領域の大きさを決める（距離が大きければ範囲が広く、距離が小さければ範囲が狭い）。サンプリング点ごとの局所深度画像の解像度（例えば、５０×５０ピクセル）は、サンプリング点ごとに一定である。サンプリング点からカメラ中心までの距離と局所深度画像の解像度を示す情報は、あらかじめ、本装置１０に設定されている（記憶部１５に記憶されている）。

局所深度画像は、カメラ中心から３次元モデルの各頂点（同図中、Ｐ，Ｑ，Ｒ）を結ぶ線が、カメラ中心と３次元モデルとの間に設定される投射面と交差する点（同図中、Ｐ’，Ｑ’，Ｒ’）を用いて構築される。

局所深度画像の各ピクセルでの値は、そこでのＺ方向の大きさ、つまり、カメラ中心から各頂点までのＺ方向の距離（同図中、ｄＰ，ｄＱ，ｄＲ）である。

図５に戻る。
本装置１０は、サンプリング点ごとに、特徴量を算出する（Ｓ２５）。サンプリング点ごとの特徴量は、サンプリング点ごとに構築された局所深度画像に含まれる各ピクセルの値の集合（５０×５０の画像行列をベクトルとして表す）である。

図４に戻る。
本装置１０は、対比する２つの３次元モデルのそれぞれのサンプリング点のすべての組み合わせごとに、サンプリング点間の類似度（ユークリッドノルム）を算出する（Ｓ３）。すなわち、図３に示した例においては、同図（ａ）のサンプリング点１と同図（ｂ）の各サンプリング点ａ，ｂ，ｃ，ｄ，ｅ，ｆとの類似度、同図（ａ）のサンプリング点２と同図（ｂ）の各サンプリング点ａ，ｂ，ｃ，ｄ，ｅ，ｆとの類似度、・・・、同図（ａ）のサンプリング点と同図（ｂ）の各サンプリング点ａ，ｂ，ｃ，ｄ，ｅ，ｆとの類似度を算出する。

次いで、本装置１０は、対比する２つの３次元モデルのサンプリング点間のマッチング、つまり、一方の３次元モデルのサンプリング点（例えば、図３（ａ）に示したサンプリング点１，２，３，４，５，６）と、他方の３次元モデルのサンプリング点（例えば、図３（ｂ）に示したサンプリング点ａ，ｂ，ｃ，ｄ，ｅ，ｆ）との対応付けを行う（Ｓ４）。この対応付けは、例えば、ハンガリアン法を用いて行い、対比する２つの３次元モデルのサンプリング点同士の１対１の対応のマッチング結果を得る。

●まとめ
以上説明した実施の形態によれば、３次元モデルの大域的な情報から算出されるＡＤＤの勾配方向を用いた座標系において局所深度画像を構築し、この局所深度画像から算出された特徴量を用いて対応点を探索するため、３次元モデルの局所的な情報のみを用いて行う従来の探索に比べて、局所的な変形に頑健な探索が可能となり、探索精度を向上させることができる。

ここで、これまで説明した本装置の特徴について、以下にまとめて記載しておく。

（特徴１）
点群から構成される第１の３次元モデルと第２の３次元モデルとの各点の位置情報と接続情報とが記憶される記憶部と、
前記３次元モデルのそれぞれについて、前記点群の中から複数のサンプリング点を決定するサンプリング点決定部と、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出する特徴量算出部と、
前記特徴量に基づいて、前記第１の３次元モデルのサンプリング点と前記第２の３次元モデルのサンプリング点同士の類似度を算出する類似度算出部と、
前記類似度に基づいて、前記第１の３次元モデルの各サンプリング点に対応する点を前記第２の３次元モデルのサンプリング点の中から決定する対応点決定部と、
を有してなり、
前記特徴量算出部は、サンプリング点ごとに、
３次元モデルの曲面上での法線方向をＺ方向、前記曲面上での平均拡散距離の勾配方向をＹ方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる各画素の深度を用いて特徴量を算出する、
ことを特徴とする対応点探索装置。

（特徴２）
前記特徴量算出部は、前記３次元モデルごとに、
サンプリング点ごとの他のサンプリング点までの拡散距離を算出し、
前記サンプリグ点ごとの前記拡散距離の平均値を前記サンプリング点の前記平均拡散距離として算出する、
特徴１記載の対応点探索装置。

（特徴３）
前記特徴量算出部は、前記サンプリング点ごとに、前記平均拡散距離を用いて、前記平均拡散距離の勾配方向を算出する、
特徴２記載の対応点探索装置。

（特徴４）
前記特徴量算出部は、前記仮想カメラの座標系のカメラ中心と前記３次元モデルの曲面上との間の投影面に透視投影された画像を、前記局所深度画像として構築する、
特徴１乃至３のいずれかに記載の対応点探索装置。

（特徴５）
前記類似度算出部は、
前記第１の３次元モデルのサンプリング点の特徴量と前記第２の３次元モデルのサンプリング点同士のユークリッド距離を、
前記第１の３次元モデルのサンプリング点と前記第２の３次元モデルのサンプリング点同士の類似度として算出する、
特徴１乃至４のいずれかに記載の対応点探索装置。

１０対応点探索装置
１１サンプリング点決定部
１２特徴量算出部
１３類似度算出部
１４対応点決定部
１５記憶部

Claims

点群から構成される第１の３次元モデルと第２の３次元モデルとの各点の位置情報と接続情報とが記憶される記憶部と、
前記３次元モデルのそれぞれについて、前記点群の中から複数のサンプリング点を決定するサンプリング点決定部と、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出する特徴量算出部と、
前記特徴量に基づいて、前記第１の３次元モデルのサンプリング点と前記第２の３次元モデルのサンプリング点同士の類似度を算出する類似度算出部と、
前記類似度に基づいて、前記第１の３次元モデルの各サンプリング点に対応する点を前記第２の３次元モデルのサンプリング点の中から決定する対応点決定部と、
を有してなり、
前記特徴量算出部は、サンプリング点ごとに、
３次元モデルの曲面上での法線方向をＺ方向、前記曲面上での平均拡散距離の勾配方向をＹ方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる各画素の深度を用いて特徴量を算出する、
ことを特徴とする対応点探索装置。
前記特徴量算出部は、前記３次元モデルごとに、
サンプリング点ごとの他のサンプリング点までの拡散距離を算出し、
前記サンプリグ点ごとの前記拡散距離の平均値を前記サンプリング点の前記平均拡散距離として算出する、
請求項１記載の対応点探索装置。
前記特徴量算出部は、前記サンプリング点ごとに、前記平均拡散距離を用いて、前記平均拡散距離の勾配方向を算出する、
請求項２記載の対応点探索装置。
前記特徴量算出部は、前記仮想カメラの座標系のカメラ中心と前記３次元モデルの曲面上との間の投影面に透視投影された画像を、前記局所深度画像として構築する、
請求項１乃至３のいずれかに記載の対応点探索装置。
前記類似度算出部は、
前記第１の３次元モデルのサンプリング点の特徴量と前記第２の３次元モデルのサンプリング点同士のユークリッド距離を、
前記第１の３次元モデルのサンプリング点と前記第２の３次元モデルのサンプリング点同士の類似度として算出する、
請求項１乃至４のいずれかに記載の対応点探索装置。
コンピュータを、請求項１乃至５のいずれかに記載の対応点探索装置として機能させることを特徴とする対応点探索プログラム。
点群から構成される第１の３次元モデルと第２の３次元モデルとの各点の位置情報と接続情報とが記憶される記憶部を備えた装置により実行される対応点探索方法であって、
前記装置が、
前記３次元モデルごとに、前記点群の中から複数のサンプリング点を決定するステップと、
前記記憶部に記憶されている前記サンプリング点ごとの位置情報と接続情報とを用いて、前記サンプリング点ごとの特徴量を算出するステップと、
前記特徴量に基づいて、前記第１の３次元モデルのサンプリング点と前記第２の３次元モデルのサンプリング点同士の類似度を算出するステップと、
前記類似度に基づいて、前記第１の３次元モデルの各サンプリング点に対応する点を前記第２の３次元モデルのサンプリング点の中から決定するステップと、
を有してなり、
前記装置は、サンプリング点ごとに、
３次元モデルの曲面上での法線方向をＺ方向、前記曲面上での平均拡散距離の勾配方向をＹ方向とする仮想カメラの座標系において局所深度画像を構築し、
前記局所深度画像に含まれる画素の値を用いて特徴量を算出する、
ことを特徴とする対応点探索方法。