JP6351350B2

JP6351350B2 - 三次元モデル検索システム、及び三次元モデル検索方法

Info

Publication number: JP6351350B2
Application number: JP2014088578A
Authority: JP
Inventors: 淳司立間; 青野　雅樹; 雅樹青野
Original assignee: Toyohashi University of Technology NUC
Current assignee: Toyohashi University of Technology NUC
Priority date: 2014-04-04
Filing date: 2014-04-04
Publication date: 2018-07-04
Anticipated expiration: 2034-04-04
Also published as: JP2015201151A

Description

本発明は、三次元物体モデルのデータベースを検索するシステム、及び検索方法に関する。

自動車製造業に代表される機械部品の製造業では、三次元物体の形状モデルを三次元ＣＡＤ／ＣＡＭシステムで製作するのが通常業務として行われている。また、建設業界でも建物の外観・内装や建物周辺の風景を建立前にＣＧを使ってシミュレーションするために、三次元の建物モデル、部屋のモデル、家具や樹木などのモデルを作成することが広く行われている。さらに、アニメーションや映画、コマーシャルフィルムなどの作成にも、今では三次元ＣＧ技術は欠かせないものとなっている。

しかしながら、このような応用分野で、精緻な三次元モデルを最初に作成する場合、２次元の図形描画よりもはるかに多くの労力と時間を要する。そこで、これらの応用分野で、一度人手や三次元スキャナなどの補助手段で入力し作成した三次元モデルを、三次元物体モデル・データベースに保存しておき、類似した三次元物体の形状モデルを作成する場合に、類似した形状の物体モデルを再利用することで大幅なコスト削減がはかれると考えられる。

特許文献１に記載の技術は、ポリゴンを一定の大きさに分割し、分割されたポリゴンの面積と法線ベクトルから特徴量を定義して検索する方法である。正対（正規化）を行わない古い手法であるため、位置、向き、大きさに依存した検索となってしまい、形状が類似していても検索できない、という問題がある。

特許文献２に記載の技術は、二次元画像を検索キーとした三次元モデル類似検索手法であり、複数の二次元画像から得られる投影像あるいは断面像をもとに特徴量を計算し、これに基づき検索するものである。なお、この特許での特徴量とは、物体表面に実際に付随するテクスチャに対して算出できるＲＧＢ、ＨＳＶ、Ｌａｂ等の各色情報の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム、三次元オブジェクトの体積や表面積、頂点分布、ポリゴン分布のヒストグラム等である。このことから、形が類似していても、色が違うものは検索できないという問題がある。また、特許文献１と同じく、正対（正規化）処理がなく、かつ、周波数空間でのスペクトルを使わない点で、投影パラメータ（断面生成パラメータ）依存性などの問題もあり、高い検索精度は出ないと考えられる。

非特許文献１では、二次元スケッチ画像および三次元モデルから生成した線画画像から、ＬｏｃａｌＢｉｎａｒｙＰａｔｔｅｒｎ（ＬＢＰ）によるヒストグラムを作成し、さらに、スケッチ画像および線画画像をシルエット画像に変換しフーリエスペクトルを計算する。ＬＢＰヒストグラムおよびフーリエスペクトルを特徴量として、二次元スケッチ画像を検索質問とした三次元モデルの形状類似検索を実現する。

非特許文献２では、二次元スケッチ画像および三次元モデルから生成した線画画像から、ガボールフィルタの応答による局所特徴量ＧＡＬＩＦを抽出する。あらかじめ、訓練データセットから抽出した大量のＧＡＬＩＦをクラスタリングし、いくつかの代表ベクトルを得る。テストデータから抽出したＧＡＬＩＦを最近傍の代表ベクトルに割り当て、その割り当てられたＧＡＬＩＦの数をカウントすることで、ヒストグラムを作成する。この代表ＧＡＬＩＦの出現頻度によるヒストグラムを特徴量とする。

非特許文献３では、二次元スケッチ画像および三次元モデルから生成した線画画像に対して、Ｃａｎｎｙフィルタとモルフォロジー処理により輪郭画像を生成する。生成した輪郭画像から、ＳｈａｐｅＣｏｎｔｅｘｔ特徴量を抽出す。論文では、特徴抽出方の他に、三次元モデルから生成した線画画像のなかで不要なものを、視点エントロピーを基準として省く処理も提案されている。

特開２００２−４１５３０号公報特開２００４−１６４５０３号公報

ＳａｔｏｓｈｉＫａｎａｉ，"Ｃｏｎｔｅｎｔ−ｂａｓｅｄ３Ｄｍｅｓｈｍｏｄｅｌｒｅｔｒｉｅｖａｌｆｒｏｍｈａｎｄ−ｗｒｉｔｔｅｎｓｋｅｔｃｈ，"ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｎＩｎｔｅｒａｃｔｉｖｅＤｅｓｉｇｎａｎｄＭａｎｕｆａｃｔｕｒｉｎｇ，２，２，ｐｐ．８７−９８，２００８．ＭａｔｈｉａｓＥｉｔｚ，ＲｏｎａｌｄＲｉｃｈｔｅｒ，ＴａｍｙＢｏｕｂｅｋｅｕｒ，ＫｒｉｓｔｉａｎＨｉｌｄｅｂｒａｎｄ，ａｎｄＭａｒｃＡｌｅｘａ，"Ｓｋｅｔｃｈ−ＢａｓｅｄＳｈａｐｅＲｅｔｒｅｉｖａｌ，"ＡＣＭＴｒａｎｓａｃｔｉｏｎｓｏｎＧｒａｐｈｉｃｓ，３１，４，ｐｐ．１−１０，２０１２．ＢｏＬｉ，ＹｉｊｕａｎＬｕ，ａｎｄＨｅｎｒｙＪｏｈａｎ，"Ｓｋｅｔｃｈ−Ｂａｓｅｄ３ＤＭｏｄｅｌＲｅｔｒｉｅｖａｌｂｙＶｉｅｗｐｏｉｎｔＥｎｔｒｏｐｙ−ＢａｓｅｄＡｄａｐｔｉｖｅＶｉｅｗＣｌｕｓｔｅｒｉｎｇ，"ＰｒｏｃｅｅｄｉｎｇｓｏｆＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐｏｎ３ＤＯｂｊｅｃｔＲｅｔｒｉｅｖａｌ，ｐｐ．４９−５６，２０１３．

特許文献１および特許文献２は、三次元モデルそのものを検索質問としており、二次元スケッチ画像を検索質問とした三次元モデルの形状類似検索には適用できない。

非特許文献１ないし３の二次元スケッチ画像の特徴量は、画像全体あるいは局所的な範囲から特徴量を抽出している。このとき、どのような形状がどこに位置するかの空間的情報は無視されていた。さらに、スケッチ画像のノイズによる特徴量への影響は考慮されていなかった。

本発明は、上記の先行技術の課題を鑑み、これを解決するために成されたものである。

請求項１に記載の三次元モデルを検索する検索システムは、予めデータベース化された既知の三次元モデルの複数視点における深度バッファ画像と、検索対象の二次元によるスケッチ画像とを比較することにより、三次元モデルを検索する検索システムであって、
前記深度バッファ画像に対して、ラプラシアンフィルタ、細線化処理およびガウシアンフィルタによって比較画像を生成するバッファ画像処理手段と、
前記スケッチ画像および前記比較画像を所定の大きさに変換する変換処理手段と、
前記変換処理手段により所定の大きさに変換された画像を、段階ごとに定めた大きさで、かつ重畳するように設定した小領域を単位として分割する重畳分割手段と、
前記重畳分割手段により分割された小領域ごとに、輝度を重みとする輝度勾配のヒストグラムを抽出し、前記スケッチ画像および前記比較画像の特徴量の値を算出する特徴量算出手段と、
前記特徴量抽出手段により算出された前記特徴量の値に順位を付し、新たな特徴量を設定する順位正規化処理手段とを備え、
前記スケッチ画像における前記順位正規化された特徴量をインデックスとして、前記比較画像における前記順位正規化された特徴量を対比することにより、三次元モデルを検索することを特徴とする。

請求項２に記載の三次元モデルの検索システムは、前記重畳分割手段は、前記スケッチ画像または前記比較画像の大きさをＭ×Ｍとしたとき、下記式で特定される大きさをｗ×ｗとし移動幅をｓとする窓により重畳的に分割されるものであることを特徴とする。
ｗ＝Ｍ／２^ｌ
ｓ＝ｗ／２
ただし、「ｌ」は、分割の段階を示し、「０」段階から任意の段階が設定されるものである。

請求項３に記載の三次元モデルの検索システムは、前記順位正規化処理手段により設定された特徴量の値をＬ２ノルムを用いてＬ２正規化し、かつ前記Ｌ２正規化後の各値の間にユークリッド距離を設定する距離設定手段を備えることを特徴とする。

請求項４に記載の三次元モデルの検索方法は、既知の三次元モデルについて、複数視点における深度バッファ画像を予めデータベース化し、検索対象の二次元によるスケッチ画像との比較により三次元モデルを検索する検索方法であって、
前記特徴量は、既知の三次元モデルから複数視点における前記深度バッファ画像および前記スケッチ画像の双方について、段階ごとに定めた大きさで、かつ重畳するように設定した小領域を単位として分割し、該小領域ごとに、輝度を重みとする輝度勾配のヒストグラムから抽出されたものであり、
前記特徴量の値に順位を付すとともに、新たな特徴量を設定する順位正規化により、前記深度バッファ画像と前記スケッチ画像とを比較可能にすることを特徴とする。

請求項５に記載の三次元モデルの検索方法は、前記深度バッファ画像および前記スケッチ画像の分割は、該深度バッファ画像およびスケッチ画像の大きさをＭ×Ｍとしたとき、下記式で特定される大きさをｗ×ｗとし移動幅をｓとする窓により重畳的に分割されるものであることを特徴とする。
ｗ＝Ｍ／２^ｌ
ｓ＝ｗ／２
ただし、「ｌ」は、分割の段階を示し、「０」段階から任意の段階が設定されるものである。

請求項６に記載の三次元モデルの検索方法は、前記順位正規化により設定された特徴量の値をＬ２ノルムを用いてＬ２正規化し、かつ前記Ｌ２正規化後の各値の間にユークリッド距離を設定することにより、深度バッファ画像とスケッチ画像とを比較可能にするものであることを特徴とする。

請求項７に記載の三次元モデルの検索方法は、前記深度バッファ画像の特徴量は、該深度バッファ画像に対して、ラプラシアンフィルタ、細線化処理およびガウシアンフィルタによって生成した比較画像について抽出されたものであることを特徴とする。

本発明により、画像を段階的に「重複」分割して、領域ごとに特徴量を抽出することで、画像の形状の空間的情報と連続的変化を捉え、さらに輝度勾配ヒストグラムを用いてベクトルとした特徴量によって二次元スケッチ画像を検索質問とした、三次元モデルの検索システムを実現できる。

画像の段階的な重複分割の例を示す説明図である。本発明にかかる三次元モデルからの特徴量抽出の説明図である。本発明にかかる二次元スケッチ画像からの特徴量抽出の説明図である。本発明の実施にかかるＲｅｃａｌｌ−Ｐｒｅｃｉｓｉｏｎ曲線を示すグラフである。

本発明の実施の形態について図表を用いて説明を行う。本発明の実施は、計算機上で構成されるものであり、ＣＰＵ及びメモリなどハードウェアを機能させて実行されるものである。

本発明技術では、まず、前処理として、スケッチ画像をＭ×Ｍの大きさ（例えば３００×３００）に正規化する。また、ノイズを低減するために、細線化処理とガウスフィルタを施す。前処理を終えると、スケッチ画像を段階的に重複分割する。図１に示すように、重複分割は、大きさｗ×ｗ、移動幅ｓの窓を用いる。段階１における、窓の大きさと移動幅は以下のように定義される。

結果として、段階ｌでは、（２^ｌ＋１−１）^２個の小領域が作成される。

次に、作成された小領域ごとに、輝度勾配ヒストグラム（ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔ：ＨＯＧ）を抽出する。ＨＯＧは輝度強度を重みとする輝度勾配によるヒストグラムである。ある座標（ｘ，ｙ）における輝度強度ｇ（ｘ，ｙ）と輝度勾配θ（ｘ，ｙ）は以下のように定義される。

ここで、

であり、Ｌ（ｘ，ｙ）は座標（ｘ，ｙ）における画像の輝度値を表す。

さらに、二次元スケッチ画像では、描かれる画像がノイズやデフォルメを含む不安定なものであるという問題がある。結果として、同様の物体を描いたスケッチ画像であっても、抽出される特徴量が大きく異なってしまう場合がある。しかし、実験結果の観察から、特徴量の各要素の値に違いは発生しても、各要素間の大小関係にはあまり影響が現れない場合があることを発見した。これに着目して、特徴量の各要素の値を順位付けし、各要素の値を、その順位とすることを考えた。これを順位正規化と呼ぶ。抽出したｄ次元の特徴量をｖ＝［ｖ_１，ｖ_２，・・・，ｖｄ］^Ｔとすると、順位正規化された特徴量ｒ＝［ｒ_１，ｒ_２，・・・，ｒ_ｄ］^Ｔのｉ番目の要素ｒ_ｉは以下のように定義される。

つまり、正規化前の特徴量のｉ番目の要素ｖ_ｉよりも、小さい値をもつ要素の数が、順位正規化された特徴量のｉ番目の要素ｒ_ｉの値となる。そして、順位正規化した特徴量をｌｉ正規化する。特徴量間の相違度にユークリッド距離を用いる。

図２を用いて、三次元モデルと比較可能な二次元スケッチ画像の特徴量抽出について説明する。

＜ステップ１＞
与えられた二次元スケッチ画像を所定の大きさに変換する。

＜ステップ２＞
前記大きさを変換された二次元スケッチ画像に対して、細線化およびガウシアンフィルタによる平滑化を行う。

＜ステップ３＞
前処理により変換された前記スケッチ画像を、段階ごとに定めた大きさで、かつ重畳するように設定した小領域に分割する。

＜ステップ４＞
作成された前記小領域ごとに、輝度勾配ヒストグラムを計算する。

＜ステップ５＞
前記小領域ごとの輝度勾配ヒストグラムを連結して一つのベクトルとする。

＜ステップ６＞
前記ベクトルの要素の値に順位を付与し、該順位を新たに要素の値として入れ替え、Ｌ２ノルムで正規化する。

前記全ステップにより求めたベクトルを二次元スケッチ画像に対する特徴量とする。

一方、検索対象である三次元物体では、三次元物体から複数視点（例えばｇｅｏｄｅｓｉｃｓｐｈｅｒｅの頂点とした１０２視点）からＭ×Ｍの大きさ（例えば３００×３００）で深度バッファ画像を生成し、スケッチ画像と類似した画像に変換するために、ラプラシアンフィルタと細線化処理を施す。そして、ノイズ低減のため、ガウシアンフィルタを施す。前処理を終えた各深度バッファ画像で、スケッチ画像と同様にして特徴量を抽出する。

図３を用いて、二次元スケッチ画像と比較可能な三次元モデルの特徴量抽出について説明する。

＜ステップ１＞
設定した視点から物体表面までの距離をグレースケールで表現した深度バッファ画像を生成する。

＜ステップ２＞
前記深度バッファ画像に対して、ラプラシアンフィルタによるエッジ抽出、細線化およびガウシアンフィルタによる平滑化を行う。

＜ステップ３＞
生成された前記二次元画像を、段階ごとに定めた大きさで、かつ重畳するように設定した小領域に分割する。

前記全ステップにより求めたベクトルを、三次元モデルから生成した深度バッファ画像に対する特徴量とする。

以上により、発明技術（以下、ＯＰＨＯＧということがある。）では、ノイズを低減して精度よく、二次元スケッチ画像を検索質問として三次元モデルの検索を行うことができる。

ベンチマークにはＳＨＲＥＣ２０１３ＳｋｅｔｃｈＴｒａｃｋＤａｔａｓｅｔ（ＳＴＤ）を用いた。ＳＴＤにはＴｒａｉｎｉｎｇＤａｔａｓｅｔとＴｅｓｔＤａｔａｓｅｔが含まれるが、今回は評価実験用のＴｅｓｔＤａｔａｓｅｔを用いた。ＳＴＤのＴｅｓｔＤａｔａｓｅｔには、検索質問として２，７００個のスケッチ画像が、検索対象として１，２５８個の三次元モデルが含まれる。評価尺度にはＳＨＲＥＣ２０１３ＳｋｅｔｃｈＴｒａｃｋで用いられたＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ（ＮＮ）、ＦｉｒｓｔＴｉｅｒ（ＦＴ）、ＳｅｃｏｎｄＴｉｅｒ（ＳＴ）、Ｅ−Ｍｅａｓｕｒｅ（Ｅ）、ＤｉｓｃｏｕｎｔｅｄＣｕｍｕｌａｔｅｄＧａｉｎ（ＤＣＧ）、ＡｖｅｒａｇｅＰｒｅｃｉｓｉｏｎ（ＡＰ）を選択した。いずれの評価尺度も、値が大きくなるほど、検索性能が優れていると判断できる。また、Ｒｅｃａｌｌ−Ｐｒｅｃｉｓｉｏｎ曲線も評価に用いる。Ｒｅｃａｌｌ−Ｐｒｅｃｉｓｉｏｎ曲線は、曲線が右上に伸びるほど、検索性能が優れていると言える。

ＯＰＨＯＧの段階分割はｌ＝０，１，２までを使用した。また、ＨＯＧにおけるヒスグラムのビン数は４０とした。

まず、重複分割の有効性を確認するため、重複分割を行わないＰＨＯＧとの比較を行った。ＯＰＨＯＧとＰＨＯＧともに、順位正規化は用いず、ｌ_２正規化のみを行った。表１は、ＰＨＯＧとＯＰＨＯＧの各評価尺度の値をまとめたものである。ＯＰＨＯＧが全ての評価尺度でＰＨＯＧを上回っている。重複分割することが、有効であることがわかる。

次に、順位正規化の有効性を確認する。ＯＰＨＯＧにおいて、順位正規化を行った後にｌ_２正規化を行ったものと、ｌ_２正規化のみを行ったものを比較する。表２は、順位正規化の有無による各評価尺度の値をまとめたものである。順位正規化により検索性能が向上することがわかる。

最後に、ＳＨＲＥＣ２０１３ＳｋｅｔｃｈＴｒａｃｋの参加者の手法と比較を行う。ＳＨＲＥＣ２０１３ＳｋｅｔｃｈＴｒａｃｋには、フーリエスペクトルを特徴量とする手法や、ＳｈａｐｅＣｏｎｔｅｘｔを特徴量とする手法が含まれる。表３は、ＳＨＲＥＣ２０１３ＳｋｅｔｃｈＴｒａｃｋの参加者の手法とＯＰＨＯＧの各評価尺度をまとめたものである。全ての評価尺度でＯＰＨＯＧが最も大きな値となっている。図４は、同様にＳＨＲＥＣ２０１３ＳｋｅｔｃｈＴｒａｃｋの参加者の手法とＯＰＨＯＧのＲｅｃａｌｌ−Ｐｒｅｃｉｓｉｏｎ曲線をまとめたものである。全てのＲｅｃａｌｌにおいて、ＯＰＨＯＧのＰｒｅｃｉｓｉｏｎが最も大きな値となっている。発明技術であるＯＰＨＯＧが、二次元スケッチ画像を検索質問とした三次元モデルの形状類似検索で、従来技術よりも優れた検索性能であることがわかる。

Claims

予めデータベース化された既知の三次元モデルの複数視点における深度バッファ画像と、検索対象の二次元によるスケッチ画像とを比較することにより、三次元モデルを検索する検索システムであって、
前記深度バッファ画像に対して、ラプラシアンフィルタ、細線化処理およびガウシアンフィルタによって比較画像を生成するバッファ画像処理手段と、
前記スケッチ画像および前記比較画像を所定の大きさに変換する変換処理手段と、
前記変換処理手段により所定の大きさに変換された画像を、段階ごとに定めた大きさで、かつ重畳するように設定した小領域を単位として分割する重畳分割手段と、
前記重畳分割手段により分割された小領域ごとに、輝度を重みとする輝度勾配のヒストグラムを抽出し、前記スケッチ画像および前記比較画像の特徴量の値を算出する特徴量算出手段と、
前記特徴量抽出手段により算出された前記特徴量の値に順位を付し、新たな特徴量を設定する順位正規化処理手段とを備え、
前記スケッチ画像における前記順位正規化された特徴量をインデックスとして、前記比較画像における前記順位正規化された特徴量を対比することにより、三次元モデルを検索することを特徴とする三次元モデルの検索装置。
前記重畳分割手段は、前記スケッチ画像または前記比較画像の大きさをＭ×Ｍとしたとき、下記式で特定される大きさをｗ×ｗとし移動幅をｓとする窓により重畳的に分割されるものである請求項１に記載の三次元モデルの検索装置。
ｗ＝Ｍ／２^ｌ
ｓ＝ｗ／２
ただし、「ｌ」は、分割の段階を示し、「０」段階から任意の段階が設定される。
前記順位正規化処理手段により設定された特徴量の値をＬ２ノルムを用いてＬ２正規化し、かつ前記Ｌ２正規化後の各値の間にユークリッド距離を設定する距離設定手段を備える請求項１または２に記載の三次元モデルの検索装置。
既知の三次元モデルについて、複数視点における深度バッファ画像を予めデータベース化し、検索対象の二次元によるスケッチ画像との比較により三次元モデルを検索する検索方法であって、
前記特徴量は、既知の三次元モデルから複数視点における前記深度バッファ画像および前記スケッチ画像の双方について、段階ごとに定めた大きさで、かつ重畳するように設定した小領域を単位として分割し、該小領域ごとに、輝度を重みとする輝度勾配のヒストグラムから抽出されたものであり、
前記特徴量の値に順位を付すとともに、新たな特徴量を設定する順位正規化により、前記深度バッファ画像と前記スケッチ画像とを比較可能にすることを特徴とする三次元モデルの検索方法。
前記深度バッファ画像および前記スケッチ画像の分割は、該深度バッファ画像およびスケッチ画像の大きさをＭ×Ｍとしたとき、下記式で特定される大きさをｗ×ｗとし移動幅をｓとする窓により重畳的に分割されるものである請求項４に記載の三次元モデルの検索方法。
ｗ＝Ｍ／２^ｌ
ｓ＝ｗ／２
ただし、「ｌ」は、分割の段階を示し、「０」段階から任意の段階が設定される。
前記順位正規化により設定された特徴量の値をＬ２ノルムを用いてＬ２正規化し、かつ前記Ｌ２正規化後の各値の間にユークリッド距離を設定することにより、深度バッファ画像とスケッチ画像とを比較可能にするものである請求項４または５に記載の三次元モデルの検索方法。
前記深度バッファ画像の特徴量は、該深度バッファ画像に対して、ラプラシアンフィルタ、細線化処理およびガウシアンフィルタによって生成した比較画像について抽出されたものである請求項４ないし６のいずれかに記載の三次元モデルの検索方法。