JP6934224B2 - 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム - Google Patents
三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム Download PDFInfo
- Publication number
- JP6934224B2 JP6934224B2 JP2017081353A JP2017081353A JP6934224B2 JP 6934224 B2 JP6934224 B2 JP 6934224B2 JP 2017081353 A JP2017081353 A JP 2017081353A JP 2017081353 A JP2017081353 A JP 2017081353A JP 6934224 B2 JP6934224 B2 JP 6934224B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- viewpoint
- dimensional point
- shape model
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 75
- 239000013598 vector Substances 0.000 claims description 66
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000010408 sweeping Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005314 correlation function Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
本発明は、対象物が異なる視点から撮像された２枚以上の複数の撮像画像から、この対象物の三次元形状モデルを生成する三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラムに関する。
対象物が異なる視点から撮像された複数の二次元撮像画像（以下、「多視点画像」と示す）に基づいて、その対象物の三次元形状モデルを生成する三次元復元手法がある。
上記三次元復元手法の一つとして、複数枚の多視点画像の各々における局所領域の正規化相互相関を行い、対象物の三次元形状を示す三次元点群における各点の三次元座標を求める手法がある（第１の三次元復元手法）。例えば、この第１三次元復元手法において、ある視点に対応する撮像画像におけるピクセルの三次元空間での三次元座標を、複数の特徴点の含まれる局所領域に対するプレーンスイーピングを用い、その局所領域に含まれるピクセルの三次元座標を求める。すなわち、プレーンスイーピングにおいては、全探索を前提として、複数の多視点画像の各々の局所領域間の正規化相互相関の相関値を加算した数値が最も高くなる三次元座標及び法線ベクトルを求めている。
上記三次元復元手法の一つとして、複数枚の多視点画像の各々における局所領域の正規化相互相関を行い、対象物の三次元形状を示す三次元点群における各点の三次元座標を求める手法がある（第１の三次元復元手法）。例えば、この第１三次元復元手法において、ある視点に対応する撮像画像におけるピクセルの三次元空間での三次元座標を、複数の特徴点の含まれる局所領域に対するプレーンスイーピングを用い、その局所領域に含まれるピクセルの三次元座標を求める。すなわち、プレーンスイーピングにおいては、全探索を前提として、複数の多視点画像の各々の局所領域間の正規化相互相関の相関値を加算した数値が最も高くなる三次元座標及び法線ベクトルを求めている。
また、三次元復元の他の手法（第２の三次元復元手法）として、複数枚の多視点画像の局所領域の各々をフーリエ変換し、フーリエ変換した各局所領域間における位相スペクトルの位相差の傾きに基づき、三次元空間での三次元座標を求める手法がある（例えば、非特許文献１参照）。
この第２の三次元復元手法は、上述した局所領域間の正規化相互相関に比較して、局所領域に含まれるピクセルの三次元座標を、高い精度で求めることができる。これにより、第２の三次元復元手法は、上述した局所領域間の正規化相互相関を行なう第１の三次元復元手法に比較して、対象物の三次元形状モデルを、より高精度に生成することができる。
この第２の三次元復元手法は、上述した局所領域間の正規化相互相関に比較して、局所領域に含まれるピクセルの三次元座標を、高い精度で求めることができる。これにより、第２の三次元復元手法は、上述した局所領域間の正規化相互相関を行なう第１の三次元復元手法に比較して、対象物の三次元形状モデルを、より高精度に生成することができる。
しかし、第２の三次元復元手法は、複数枚の多視点画像の各々における局所領域間の位相スペクトルの位相差に基づき行なうため、局所領域の空間周波数を求めるためにフーリエ変換を行なう必要がある。このため、この第２の三次元復元手法は、局所領域間における正規化相互相関を用いる第１の三次元復元手法に比較して、計算コストが高くなる欠点を有している。そのため、第２の三次元復元手法は、各局所領域のフーリエ変換を行なう時間を考慮すると、全探索を前提としたプレーンスイーピングに適していない。
そのため、現実的な処理時間において第２の三次元復元手法を用いて三次元復元を行なうため、従来は、画像ピラミッドを用いた粗密探索により、処理時間の短縮が行なわれている（例えば、特許文献１参照）。
この画像ピラミッドを用いた粗密探索においては、多視点画像をより低解像度の低解像度画像に変換し、この低解像度画像の局所領域に対してフーリエ変換を行ない、プレーンスイーピングにより、局所領域間の位相スペクトルの位相差に基づいて、局所領域のピクセルの三次元座標を求める。これにより、プレーンスイーピングにおける全探索が、低解像度画像にのみ限定され、第２の三次元復元手法を用いた三次元復元処理にかかる時間を短縮することができる。
この画像ピラミッドを用いた粗密探索においては、多視点画像をより低解像度の低解像度画像に変換し、この低解像度画像の局所領域に対してフーリエ変換を行ない、プレーンスイーピングにより、局所領域間の位相スペクトルの位相差に基づいて、局所領域のピクセルの三次元座標を求める。これにより、プレーンスイーピングにおける全探索が、低解像度画像にのみ限定され、第２の三次元復元手法を用いた三次元復元処理にかかる時間を短縮することができる。
Ｓｈｕｊｉ Ｓａｋａｉ，Ｋｏｉｃｈｉ Ｉｔｏ，Ｔａｋａｆｕｍｉ Ａｏｋｉ，Ｔａｋａｆｕｍｉ Ｗａｔａｎａｂｅ ａｎｄ Ｈｉｒｏｋｉ Ｕｎｔｅｎ，"Ｐｈａｓｅ−ｂａｓｅｄ ｗｉｎｄｏｗ ｍａｔｃｈｉｎｇ ｗｉｔｈ ｇｅｏｍｅｔｒｉｃ ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ ｍｕｌｔｉ−ｖｉｅｗ ｓｔｅｒｅｏ，"ＩＥＩＣＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｓｙｓｔｅｍｓ，Ｖｏｌ．Ｅ９８−Ｄ，Ｎｏ．１０，ｐｐ．１８１８−１８２８，２０１５．
しかしながら、上記特許文献１において、処理時間のさらなる短縮を行なうため、画像ピラミッドにおける低解像度画像の階層数を増加させる。この場合、より低解像度の低解像度画像で発生した誤差が、解像度が高い階層の低解像度画像に伝搬し、多視点画像に撮像された対象物の三次元形状モデルの復元精度が低下してしまう。
一方、誤差の伝搬する領域を抑制するため、画像ピラミッドの階層数を低下させた場合、プレーンスイーピングにおける全探索を行なうピクセル数が増加する。このピクセル数の増加に伴い、プレーンスイーピングによる処理時間が増加してしまう。
一方、誤差の伝搬する領域を抑制するため、画像ピラミッドの階層数を低下させた場合、プレーンスイーピングにおける全探索を行なうピクセル数が増加する。このピクセル数の増加に伴い、プレーンスイーピングによる処理時間が増加してしまう。
上述したように、多視点画像からの三次元形状モデルの生成は、三次元形状モデルの復元精度を向上させようとした場合に処理時間が長くなり、三次元形状モデルの復元の処理時間を低下させようとした場合に復元精度が低下し、処理時間と復元精度との各々がトレードオフの関係にある。
本発明は、このような状況に鑑みてなされたもので、多視点画像からの三次元形状モデルの生成を、処理時間と復元精度との双方を満たして行なうことができる三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラムを提供する。
上述した課題を解決するために、本発明の三次元形状モデル生成装置は、対象物を異なる視点から撮像した２枚以上の多視点画像と、当該多視点画像を撮像した撮像装置のカメラパラメータとから、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、前記多視点画像と前記カメラパラメータとから、前記視点毎の当該多視点画像に対応するデプスマップを生成するデプスマップ生成部と、前記デプスマップと前記カメラパラメータとから、前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、前記三次元形状モデルが形成される三次元座標系において、前記三次元点群における三次元点の視点の光軸ベクトル及び視点から当該三次元点に向かう視点ベクトルの内積と、前記三次元点における法線ベクトル及び前記視点ベクトルとの内積とから、前記視点の各々の選択コストを算出し、当該選択コストの高い順番に、前記三次元点群における各三次元点のマッチング処理を行なう２個以上の視点を選択する視点選択部と、前記選択された視点により前記三次元点のマッチングを位相限定相関法により行ない、三次元点群における各三次元点の三次元空間における三次元座標を再算出する三次元座標算出部とを備えることを特徴とする。
本発明の三次元形状モデル生成装置は、前記三次元点群生成部が、同一の座標値にある前記三次元点が前記多視点画像に対応する前記デプスマップの各々において異なる深度情報を有している場合、当該三次元点を前記三次元点群から除去することを特徴とする。
本発明の三次元形状モデル生成装置は、前記三次元点群生成部が、前記三次元点群の存在する三次元空間において、処理対象の三次元点を中心とした所定の大きさの処理枠を生成し、当該処理枠の内部に含まれる三次元点の数が所定の閾値を超えるか否かを判定し、閾値以下であった場合、前記所定対象の三次元点を除去することを特徴とする。
本発明の三次元形状モデル生成装置は、前記デプスマップ生成部が、パッチマッチステレオ（PatchMatch Stereo）法を用いて、前記多視点画像の各々に対応するデプスマップを生成していることを特徴とする。
本発明の三次元形状モデル生成方法は、対象物を異なる視点から撮像した２枚以上の多視点画像と、当該多視点画像を撮像した撮像装置のカメラパラメータとから、前記対象物の三次元形状モデルを生成する三次元形状モデル生成方法であり、デプスマップ生成部が、前記多視点画像と前記カメラパラメータとから、前記視点毎の当該多視点画像に対応するデプスマップを生成するデプスマップ生成過程と、三次元点群生成部が、前記デプスマップと前記カメラパラメータとから、前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成過程と、視点選択部が、前記三次元形状モデルが形成される三次元座標系において、前記三次元点群における三次元点の視点の光軸ベクトル及び視点から当該三次元点に向かう視点ベクトルの内積と、前記三次元点における法線ベクトル及び前記視点ベクトルとの内積とから、前記視点の各々の選択コストを算出し、当該選択コストの高い順番に、前記三次元点群における各三次元点のマッチング処理を行なう２個以上の視点を選択する視点選択過程と、三次元座標算出部が、前記選択された視点により前記三次元点のマッチングを位相限定相関法により行ない、三次元点群における各三次元点の三次元空間における三次元座標を再算出する三次元座標算出過程とを含むことを特徴とする。
本発明のプログラムは、対象物を異なる視点から撮像した２枚以上の多視点画像と、当該多視点画像を撮像した撮像装置のカメラパラメータとから、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置としてコンピュータを動作させるプログラムであり、前記コンピュータを、前記多視点画像と前記カメラパラメータとから、前記視点毎の当該多視点画像に対応するデプスマップを生成するデプスマップ生成手段、前記デプスマップと前記カメラパラメータとから、前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成手段、前記三次元形状モデルが形成される三次元座標系において、前記三次元点群における三次元点の視点の光軸ベクトル及び視点から当該三次元点に向かう視点ベクトルの内積と、前記三次元点における法線ベクトル及び前記視点ベクトルとの内積とから、前記視点の各々の選択コストを算出し、当該選択コストの高い順番に、前記三次元点群における各三次元点のマッチング処理を行なう２個以上の視点を選択する視点選択手段、前記選択された視点により前記三次元点のマッチングを位相限定相関法により行ない、三次元点群における各三次元点の三次元空間における三次元座標を再算出する三次元座標算出手段として動作させるためのプログラムである。
以上説明したように、本発明によれば、多視点画像からの三次元形状モデルの生成を、処理時間と復元精度との双方を、従来例に比較して向上させることができる三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラムを提供することができる。
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態による三次元形状モデル生成装置の構成例を示すブロック図である。図１において、三次元形状モデル生成装置１は、多視点画像入力部１１、デプスマップ生成部１２、三次元点群生成部１３、視点選択部１４、三次元座標算出部１５、三次元形状モデル生成部１６、多視点画像記憶部１７、三次元点群記憶部１８及び三次元形状モデル記憶部１９の各々を備えている。
図１は、本発明の一実施形態による三次元形状モデル生成装置の構成例を示すブロック図である。図１において、三次元形状モデル生成装置１は、多視点画像入力部１１、デプスマップ生成部１２、三次元点群生成部１３、視点選択部１４、三次元座標算出部１５、三次元形状モデル生成部１６、多視点画像記憶部１７、三次元点群記憶部１８及び三次元形状モデル記憶部１９の各々を備えている。
多視点画像入力部１１は、撮像装置（不図示）が撮像した、異なる複数の視点から撮像された多視点画像のデータを入力し、この多視点画像に視点識別情報を付与し、多視点画像記憶部１７に対して書き込んで記憶させる。また、多視点画像入力部１１は、多視点画像を入力した撮像装置のカメラパラメータを多視点画像記憶部１７に対して書き込んで記憶させる。このカメラパラメータは、外部パラメータと内部パラメータとを含み、外部パラメータが世界座標系におけるレンズの中心座標、レンズの光軸の方向などであり、内部パラメータが焦点距離、画像中心、画像の分解能（画素数）及び歪収差係数などである。
図２は、多視点画像記憶部１７に書き込まれて記憶されている多視点画像テーブルの構成例を示す図である。この図２において、多視点画像テーブルは、視点識別情報に対応したレコードに、視点座標、視点方向、カメラパラメータ及び画像インデックスとの各々の欄を有している。
ここで、視点識別情報は、多視点画像を撮像した視点を識別する情報である。視点座標は、世界座標系における多視点画像を撮像した視点の三次元座標を示している。視点方向は、世界座標系における多視点画像を撮像した視点の三次元座標における向き（視点ベクトル）を示している。カメラパラメータは、上述した外部パラメータと内部パラメータなどである。画像インデックスは、多視点画像のデータが書き込まれて記憶されている領域の多視点画像記憶部１７におけるアドレスである。
ここで、視点識別情報は、多視点画像を撮像した視点を識別する情報である。視点座標は、世界座標系における多視点画像を撮像した視点の三次元座標を示している。視点方向は、世界座標系における多視点画像を撮像した視点の三次元座標における向き（視点ベクトル）を示している。カメラパラメータは、上述した外部パラメータと内部パラメータなどである。画像インデックスは、多視点画像のデータが書き込まれて記憶されている領域の多視点画像記憶部１７におけるアドレスである。
図１に戻り、デプスマップ生成部１２は、多視点画像及びカメラパラメータの各々を用いて、各視点の多視点画像に対応する世界座標系におけるデプスマップを生成する。このデプスマップは、各視点の多視点画像それぞれのピクセル毎の三次元座標における奥行きの情報が示されたマップである。
本実施形態において、デプスマップ生成部１２は、例えば、デプスマップを生成する際に、パッチマッチステレオ（PatchMatch Stereo）法を用いている。パッチマッチステレオ法においては、各視点の多視点画像それぞれのピクセルのデプスマップ及び法線ベクトルマップの各々を乱数により初期化することで生成する。
本実施形態において、デプスマップ生成部１２は、例えば、デプスマップを生成する際に、パッチマッチステレオ（PatchMatch Stereo）法を用いている。パッチマッチステレオ法においては、各視点の多視点画像それぞれのピクセルのデプスマップ及び法線ベクトルマップの各々を乱数により初期化することで生成する。
そして、デプスマップ生成部１２は、乱数により生成したデプスマップ及び法線ベクトルマップに対して、ピクセル毎に隣接する他のピクセルに対する数値の空間伝搬と、及び異なる視点の多視点画像における数値の空間伝搬と、乱数により求めた調整値を用いて各画素の深度情報（奥行き情報）及び法線ベクトルの微調整とを繰り返して行なう。デプスマップ生成部１２は、異なる視点の多視点画像における同一のピクセル間のマッチングスコアが最大値となるデプスマップ及び法線ベクトルマップを、各視点における多視点画像のデプスマップ及び法線ベクトルマップそれぞれとする（例えば、特願２０１６−１２４８２０号公報の記載参照）。デプスマップ生成部１２は、生成したデプスマップ及び法線ベクトルマップの各々を、三次元点群記憶部１８に対して書き込んで記憶させる。
ここで、マッチングスコアは、画像の局所領域（パッチ）における正規化相互相関、または画像の局所領域のＳＳＤ（Sum of Squared Differences）などが用いられる。パッチマッチステレオ法は、全探索（例えば、多視点ステレオアルゴリズムの一例であるプレーンスイーピング）と同等のデプスマップを、全探索に比較して短い処理時間により生成でき、本実施形態における対象物の初期の三次元形状の推定に対して適した方法である。本実施形態におけるデプスマップ及び法線ベクトルマップの生成処理には、対象物の推定される三次元形状の精度に比較し、三次元形状を短時間に生成することが重要であるため、マッチングスコアの計算に対し、後述する位相限定相関法などに比較して、マッチングの精度としては低いが、一方、計算が単純で高速なマッチングスコアが得られる正規化相互相関、ＳＳＤを用いることが望ましい。
図３は、三次元点群記憶部１８に記憶されている三次元点群テーブルの構成例を示す図である。図３（ａ）において、三次元点群生成テーブルは、視点識別情報に対応したレコードに、デプスマップインデックス及び法線ベクトルマップインデックスの各々の欄を有している。視点識別情報は、多視点画像を撮像した視点を識別する情報である。デプスマップインデックスは、多視点画像における各三次元画素の深度情報を示すデプスマップのデータが書き込まれて記憶されている領域の三次元点群記憶部１８におけるアドレスである。法線ベクトルマップインデックスは、多視点画像における各ピクセルの三次元点の法線ベクトルを示す法線ベクトルマップのデータが書き込まれて記憶されている領域の三次元点群記憶部１８におけるアドレスである。
図３（ｂ）において、三次元点群テーブルは、三次元点群識別情報に対応したレコードに、三次元点群インデックス、法線ベクトルマップインデックス及び再計算点群インデックスとの各々の欄を有している。三次元点群インデックスは、複数の視点に対応する三次元点群が合成された、対象物の三次元形状を示す三次元点群のデータが書き込まれて記憶されている領域の三次元点群記憶部１８におけるアドレスである。法線ベクトルインデックスは、複数の視点に対応する三次元点群が合成された、対象物の三次元形状を示す三次元点群における三次元点の各々の法線ベクトルのデータが書き込まれて記憶されている領域の三次元点群記憶部１８におけるアドレスである。再計算点群インデックスは、後述する三次元座標算出部１５により、三次元点群の各々の三次元点の座標を再計算して求めた三次元点群のデータが書き込まれて記憶されている領域の三次元点群記憶部１８におけるアドレスである。
図１に戻り、三次元点群生成部１３は、全視点におけるデプスマップ及び法線ベクトルマップの各々を統合し、対象物の三次元形状に対応する三次元点群を生成する。ここで、三次元点群生成部１３は、デプスマップ及び撮像装置のカメラパラメータの各々を用いた所定の演算により、上記三次元点群を生成する。すなわち、三次元点群生成部１３は、各視点の多視点画像のデプスマップの各々から三次元点群を求め、この三次元点群における三次元点の三次元座標を、それぞれのカメラパラメータに基づいて座標変換を行ない、世界座標系における三次元座標とする。
これにより、三次元点群生成部１３は、各多視点画像に対応するデプスマップに基づく三次元点群を、世界座標系において統合する。そして、三次元点群生成部１３は、合成した三次元点群に対して三次元点群識別情報を付与し、三次元点群記憶部１８の三次元点群テーブルに対して書き込んで記憶させる。また、三次元点群生成部１３は、上記三次元点群識別情報とともに、三次元点群を書き込んだ領域のアドレスを三次元点群インデックスとして、三次元点群テーブルに対して書き込んで記憶させる。
ここで、三次元点群生成部１３は、複数の異なる視点の多視点画像の各々のデプスマップを統合して三次元点群を生成する際、異なる多視点画像における同一の領域において、異なる三次元点として生成されている複数の三次元点を、一つの三次元点とする処理を行なう。例えば、三次元点群生成部１３は、ボクセルグリッドフィルタを用いて、上述した同一の領域における複数の三次元点の統合を行なう。すなわち、三次元点群生成部１３は、世界座標系における三次元空間を所定の大きさのボクセルグリッドで区切る。そして、三次元点群生成部１３は、区切ったボクセル毎に内部に含まれる三次元点の三次元座標を抽出し、ボクセル内における三次元点の三次元座標の平均値を有する三次元点のみを残し、他の三次元点を除去する。
これにより、異なる多視点画像における同一の領域において、異なる三次元点として生成されている複数の三次元点を、一つの三次元点とすることができ、三次元点群における三次元点の数を低減させることができる。この処理を行なうことにより、三次元点群生成部１３は、不要な三次元点に対応する必要が無くなるため、後述する三次元座標算出部１５が行なう、三次元点群における三次元点の各々の三次元座標の再計算の処理を短縮することができる。
また、三次元点群生成部１３は、各視点の多視点画像から生成したデプスマップを統合して三次元点群を生成する際、生成した三次元点群における三次元点から外れ点を除去する処理を行なってもよい。すなわち、三次元点群生成部１３は、処理対象の三次元点を中心とした所定の大きさの円、あるいはボクセル（上述したボクセルグリッドのボクセルと異なり、ボクセルグリッドより大きなサイズ）などの処理枠を構成し、その処理枠内に含まれる三次元点の数が予め設定した閾値以下か否かにより、その対象点である三次元点を削除するか否かの判定を行なう。このとき、三次元点群生成部１３は、処理枠内に含まれる三次元点の数が予め設定した閾値以下の場合、対象点である三次元点を削除する。一方、三次元点群生成部１３は、処理枠内に含まれる三次元点の数が予め設定した閾値を超える場合、対象点である三次元点を削除しない。
また、三次元点群生成部１３は、各視点の多視点画像から生成したデプスマップを統合して三次元点群を生成する際、合成した三次元点群において、異なる複数の視点の多視点画像それぞれの三次元点群間で整合性の取れない三次元点を削除する構成としてもよい。すなわち、三次元点群生成部１３は、多視点画像それぞれのデプスマップを比較し、多視点画像の各々のデプスマップにおいて同一の座標値にあるはずの三次元点が、それぞれのデプスマップにおいて異なる深度情報を有しているか否かの判定を行なう。
ここで、三次元点群生成部１３は、同一の座標値にあるはずの三次元点が、それぞれのデプスマップにおいて異なる深度情報を有している場合、三次元点群からこの三次元点を除去する。この処理を行なうことにより、異なる視点の多視点画像間において、同一の三次元点が異なる深度情報を有する場合、ある視点の多視点画像における三次元点群の三次元点が、他の視点の多視点画像における三次元点群の三次元点の見えを遮蔽する（不可視化させる）ことを防止できる。
また、三次元点群生成部１３は、統合後の三次元点群における三次元点の各々の法線ベクトルを推定する。ここで、三次元点群生成部１３は、例えば、各三次元点の法線ベクトルの推定に対して、法線ベクトルを推定する対象の三次元点近傍の他の三次元点に対して主成分分析を適用する手法を用いる。すなわち、三次元点群生成部１３は、最小二乗法により、局所的な三次元点の集合（対象となる三次元点近傍の三次元点群の集合）に対して平面を当てはめ、この平面を、対象物の三次元形状の表面とみなし、この表面に対する垂直方向を法線ベクトルとする。
そして、三次元点群生成部１３は、三次元点群の三次元点それぞれの推定した法線ベクトルを法線ベクトルマップとして、三次元点群記憶部１８に書き込んで記憶させる。三次元点群生成部１３は、法線ベクトルマップを書き込んだ領域のアドレスを取得し、法線ベクトルマップインデックスとして、三次元点群テーブルに書き込んで記憶させる。
そして、三次元点群生成部１３は、三次元点群の三次元点それぞれの推定した法線ベクトルを法線ベクトルマップとして、三次元点群記憶部１８に書き込んで記憶させる。三次元点群生成部１３は、法線ベクトルマップを書き込んだ領域のアドレスを取得し、法線ベクトルマップインデックスとして、三次元点群テーブルに書き込んで記憶させる。
視点選択部１４は、統合後の三次元点群における三次元点毎のマッチングを行なうため、マッチングに用いる２個以上の複数の視点の多視点画像を選択する。すなわち、視点選択部１４は、以下に示す（１）式により求められる選択コストが最も高い視点から、選択コストの高い順番に必要な数の視点を、マッチングに用いる視点として選択する。この（１）式における「・」はベクトルの内積を示している。「＊」は単に乗算を示している。
Ｓｉｊ＝（Ｃｊ・ｒｉｊ）＊（−ｎｉ・ｒｉｊ） …（１）
Ｓｉｊ＝（Ｃｊ・ｒｉｊ）＊（−ｎｉ・ｒｉｊ） …（１）
（１）式においては、三次元点群におけるｉ番目の三次元点と、複数の視点におけるｊ番目の視点との組合わせによる選択スコアＳｉｊを求める。Ｃｊがｊ番目の視点の光軸のベクトルを示している。ｎｉはｉ番目の三次元点の法線ベクトルを示している。ｒｉｊはｊ番目の視点からｉ番目の三次元点に向かう視点ベクトルを示している。上記（１）式における第１項の「Ｃｊ・ｒｉｊ」は、対象となるｉ番目の三次元点に対応するピクセルが、より中央近傍にある多視点画像に対応する視点のコストが高くなる。（１）式における第２項の「ｎｉ・ｒｉｊ」は、対象となるｉ番目の三次元点に対して、より正面にある視点のコストが高くなる。したがって、上記（１）式により、三次元点のマッチングに適した視点として、マッチング対象の三次元点のなるべく正面にある視点であり、かつ、その三次元点に対応するピクセルが多視点画像のより中央に近い位置に存在する視点が選択される。
また、視点選択部１４は、上記（１）式に換え、以下に示す（２）式により、選択スコアＳｉｊを求める構成としてもよい。
Ｓｉｊ＝Ｖｉｊ＊（Ｃｊ・ｒｉｊ）＊（−ｎｉ・ｒｉｊ） …（２）
（２）式において、係数Ｖｉｊは、ｉ番目の三次元点がｊ番目の視点から見えるか否かを示す可視性のパラメータである。ここで、係数Ｖｉｊは、ｉ番目の三次元点がｊ番目の視点から見える場合に「１」であり、ｉ番目の三次元点がｊ番目の視点から見えない場合に「０」である。すなわち、係数Ｖｉｊは、ｉ番目の三次元点がｊ番目の視点から見えるか否かの判定を行なう。このとき、視点選択部１４は、ｊ番目の視点とｉ番目の三次元点との間に他の三次元点の有無を検出することにより、ｉ番目の三次元点がｊ番目の視点から見えるか否かの判定を行なう。そして、視点選択部１４は、ｊ番目の視点とｉ番目の三次元点との間に他の三次元点が存在しない（三次元点に対応するピクセルが多視点画像に有る視点の）場合に、係数Ｖｉｊを「１」とし、（２）式の計算を行なう。一方、視点選択部１４は、ｊ番目の視点とｉ番目の三次元点との間に他の三次元点が存在する（三次元点に対応するピクセルが多視点画像に無い視点の）場合に、係数Ｖｉｊを「０」とし、（２）式の計算を行なう。
Ｓｉｊ＝Ｖｉｊ＊（Ｃｊ・ｒｉｊ）＊（−ｎｉ・ｒｉｊ） …（２）
（２）式において、係数Ｖｉｊは、ｉ番目の三次元点がｊ番目の視点から見えるか否かを示す可視性のパラメータである。ここで、係数Ｖｉｊは、ｉ番目の三次元点がｊ番目の視点から見える場合に「１」であり、ｉ番目の三次元点がｊ番目の視点から見えない場合に「０」である。すなわち、係数Ｖｉｊは、ｉ番目の三次元点がｊ番目の視点から見えるか否かの判定を行なう。このとき、視点選択部１４は、ｊ番目の視点とｉ番目の三次元点との間に他の三次元点の有無を検出することにより、ｉ番目の三次元点がｊ番目の視点から見えるか否かの判定を行なう。そして、視点選択部１４は、ｊ番目の視点とｉ番目の三次元点との間に他の三次元点が存在しない（三次元点に対応するピクセルが多視点画像に有る視点の）場合に、係数Ｖｉｊを「１」とし、（２）式の計算を行なう。一方、視点選択部１４は、ｊ番目の視点とｉ番目の三次元点との間に他の三次元点が存在する（三次元点に対応するピクセルが多視点画像に無い視点の）場合に、係数Ｖｉｊを「０」とし、（２）式の計算を行なう。
三次元座標算出部１５は、三次元点群における三次元点毎に、選択された視点の各々の多視点画像を用いて、三次元座標のマッチングを行ない、三次元座標の再計算の処理が行なわれる。本実施形態においては、多視点画像間の三次元点のマッチング処理を、位相限定相関法を用いて行なう。この位相限定相関法は、正規化相互相関及びＳＳＤにより求めるマッチングスコアによるマッチングに比較し、処理時間が長くなるが、より高精度に三次元座標を求めることができる（例えば、特願２０１５−１４１５３３号公報の記載を参照）。この位相限定相関法によるマッチングにおいて、三次元座標算出部１５は、三次元点の各々において、三次元座標及び法線ベクトルの各々により、選択された視点の多視点画像のそれぞれにおける局所領域を設定する。そして、三次元座標算出部１５は、多視点画像の各々の局所領域の画像から位相限定相関関数を算出することにより、多視点画像間における局所領域の画像の微少な平行移動量を推定する。三次元座標算出部１５は、この推定した平行移動量に基づき、三次元点の三次元座標を修正する再計算を行なう。
また、位相限定相関関数におけるマッチングスコアが低い三次元点は、アーチファクト・アウトライアと呼ばれる不正確な三次元点である可能性が高い。このため、三次元座標算出部１５は、マッチングスコアが低い三次元点を除去するため、予め設定されたマッチングスコアに対する所定の閾値であるスコア閾値と、マッチングスコアとの比較を行なう。そして、三次元座標算出部１５は、マッチングスコアが上記スコア閾値以上の場合、三次元点の削除を行なわない。一方、三次元座標算出部１５は、マッチングスコアが上記スコア閾値未満の場合、三次元点を削除する。これにより、アーチファクト・アウトライアに対応する不正確な三次元点の発生を防止することができる。
三次元座標算出部１５は、再計算した三次元座標に基づく三次元点群を、三次元点群記憶部１８に書き込んで記憶させ、書き込んだ領域のアドレスを再計算点群インデックスとして、三次元点群テーブルに書き込んで記憶させる。
三次元座標算出部１５は、再計算した三次元座標に基づく三次元点群を、三次元点群記憶部１８に書き込んで記憶させ、書き込んだ領域のアドレスを再計算点群インデックスとして、三次元点群テーブルに書き込んで記憶させる。
三次元形状モデル生成部１６は、三次元座標を再計算した三次元点からなる三次元点群を用い、三次元形状モデル（三次元メッシュモデル）を生成する。三次元形状モデル生成部１６は、例えば、メッシュ再構築（Poisson Surface Reconstruction）の手法を用いて、三次元点群から三次元形状モデルを生成する。
そして、三次元形状モデル生成部１６は、生成した三次元形状モデルに対して形状モデル識別情報を付与し、この三次元形状モデルのデータを三次元形状モデル記憶部１９に書き込んで記憶させる。また、三次元形状モデル生成部１６は、三次元形状モデル記憶部１９において三次元形状モデルのデータを書き込んだ領域のアドレスを、形状モデルインデックスとして、三次元形状モデル記憶部１９の三次元形状モデルテーブルに書き込んで記憶させる。
そして、三次元形状モデル生成部１６は、生成した三次元形状モデルに対して形状モデル識別情報を付与し、この三次元形状モデルのデータを三次元形状モデル記憶部１９に書き込んで記憶させる。また、三次元形状モデル生成部１６は、三次元形状モデル記憶部１９において三次元形状モデルのデータを書き込んだ領域のアドレスを、形状モデルインデックスとして、三次元形状モデル記憶部１９の三次元形状モデルテーブルに書き込んで記憶させる。
図４は、三次元形状モデル記憶部１９に記憶されている三次元形状モデルテーブルの構成例を示す図である。この図４において、三次元形状モデルテーブルは、形状モデル識別情報に対応したレコードに、形状モデルインデックスとの欄を有している。形状モデル識別情報は、三次元形状モデル生成部１６が生成した三次元形状モデルを識別する情報である。形状モデルインデックスは、三次元形状モデル記憶部１９において三次元形状モデルのデータを書き込んだ領域のアドレスを示している。
図５は、本実施形態による三次元形状モデル生成装置１が行なう三次元形状モデルを生成する処理の動作例を示すフローチャートである。以下に示すフローチャートは、異なる複数の多視点画像から、デプスマップを生成した後、三次元点群を生成して、この三次元点群に基づいて、三次元形状モデルを生成する、三次元形状モデル生成装置１の処理の流れを示している。
ステップＳ１：
多視点画像入力部１１は、異なった複数の視点で撮像装置により撮像した複数の多視点画像を外部装置（不図示）から入力し、多視点画像を撮像した視点の各々に視点識別情報を付与する。
そして、多視点画像入力部１１は、入力した多視点画像の各々を、多視点画像記憶部１７に対して書き込んで記憶し、多視点画像の各々を書き込んだ領域のアドレスを取得する。多視点画像入力部１１は、多視点画像の各々に付与した視点識別情報に対応させ、視点の視点座標、視点の視点方向、撮像装置のカメラパラメータ及び多視点画像を書き込んだ領域のアドレスそれぞれを、画像インデックスとして多視点画像記憶部１７の多視点画像テーブルに書き込んで記憶させる。
多視点画像入力部１１は、異なった複数の視点で撮像装置により撮像した複数の多視点画像を外部装置（不図示）から入力し、多視点画像を撮像した視点の各々に視点識別情報を付与する。
そして、多視点画像入力部１１は、入力した多視点画像の各々を、多視点画像記憶部１７に対して書き込んで記憶し、多視点画像の各々を書き込んだ領域のアドレスを取得する。多視点画像入力部１１は、多視点画像の各々に付与した視点識別情報に対応させ、視点の視点座標、視点の視点方向、撮像装置のカメラパラメータ及び多視点画像を書き込んだ領域のアドレスそれぞれを、画像インデックスとして多視点画像記憶部１７の多視点画像テーブルに書き込んで記憶させる。
ステップＳ２：
デプスマップ生成部１２は、多視点画像記憶部１７の多視点画像テーブルから、視点座標、視点方向、カメラパラメータ及び多視点画像インデックスの各々を読み出す。そして、デプスマップ生成部１２は、多視点画像インデックスに基づき、多視点画像記憶部１７から多視点画像の各々を読み出す。
デプスマップ生成部１２は、視点座標、視点方向、カメラパラメータ及び多視点画像の各々を用いて、各視点に対応するデプスマップ及び法線ベクトルマップを生成する。デプスマップ生成部１２は、生成したデプスマップ及び法線ベクトルマップの各々を、三次元点群記憶部１８に書き込んで記憶させる。デプスマップ生成部１２は、デプスマップ及び法線ベクトルマップの各々を書き込んだ領域のアドレスを取得し、デプスマップインデックス及び法線ベクトルマップインデックスとして、視点識別情報に対応させて三次元点群記憶部１８の三次元点群生成テーブルに書き込んで記憶させる。
デプスマップ生成部１２は、多視点画像記憶部１７の多視点画像テーブルから、視点座標、視点方向、カメラパラメータ及び多視点画像インデックスの各々を読み出す。そして、デプスマップ生成部１２は、多視点画像インデックスに基づき、多視点画像記憶部１７から多視点画像の各々を読み出す。
デプスマップ生成部１２は、視点座標、視点方向、カメラパラメータ及び多視点画像の各々を用いて、各視点に対応するデプスマップ及び法線ベクトルマップを生成する。デプスマップ生成部１２は、生成したデプスマップ及び法線ベクトルマップの各々を、三次元点群記憶部１８に書き込んで記憶させる。デプスマップ生成部１２は、デプスマップ及び法線ベクトルマップの各々を書き込んだ領域のアドレスを取得し、デプスマップインデックス及び法線ベクトルマップインデックスとして、視点識別情報に対応させて三次元点群記憶部１８の三次元点群生成テーブルに書き込んで記憶させる。
ステップＳ３：三次元点群生成部１３は、三次元点群記憶部１８の三次元点群生成テーブルを参照して、全視点のデプスマップインデックスを読み出す。そして、三次元点群生成部１３は、デプスマップインデックスの各々により、視点それぞれのデプスマップを読み出す。三次元点群生成部１３は、全視点のデプスマップを統合して、多視点画像の各々のピクセルに対応した三次元点からなる、対象物の三次元形状を示す三次元点群を生成する。
ステップＳ４：
三次元点群生成部１３は、生成された三次元点群に対して、すでに述べたボクセルグリッドフィルタを用いた、同一三次元点と見なされる複数の三次元点の選択による統合、ノイズとされる外れ点である三次元点の除去、及び複数視点間においてデプスマップとの整合性の取れない三次元点の除去などの調整処理を行なう。
そして、三次元点群生成部１３は、生成した三次元点群を三次元点群記憶部１８に対して書き込んで記憶させ、書き込んだ領域のアドレスを取得する。三次元点群生成部１３は、取得したアドレスを三次元点群インデックスとして、三次元点群テーブルに対して書き込んで記憶させる。
また、三次元点群生成部１３は、作成した三次元点群における三次元点の各々の法線ベクトルを推定し、三次元点群を三次元点群記憶部１８に対して書き込んで記憶させ、書き込んだ領域のアドレスを取得する。三次元点群生成部１３は、取得したアドレスを法線ベクトルマップインデックスとして、三次元点群テーブルに対して書き込んで記憶させる。
三次元点群生成部１３は、生成された三次元点群に対して、すでに述べたボクセルグリッドフィルタを用いた、同一三次元点と見なされる複数の三次元点の選択による統合、ノイズとされる外れ点である三次元点の除去、及び複数視点間においてデプスマップとの整合性の取れない三次元点の除去などの調整処理を行なう。
そして、三次元点群生成部１３は、生成した三次元点群を三次元点群記憶部１８に対して書き込んで記憶させ、書き込んだ領域のアドレスを取得する。三次元点群生成部１３は、取得したアドレスを三次元点群インデックスとして、三次元点群テーブルに対して書き込んで記憶させる。
また、三次元点群生成部１３は、作成した三次元点群における三次元点の各々の法線ベクトルを推定し、三次元点群を三次元点群記憶部１８に対して書き込んで記憶させ、書き込んだ領域のアドレスを取得する。三次元点群生成部１３は、取得したアドレスを法線ベクトルマップインデックスとして、三次元点群テーブルに対して書き込んで記憶させる。
ステップＳ５：
視点選択部１４は、三次元点群における各三次元点のマッチングを行なうための複数、例えば２個の視点を選択する。
このとき、視点選択部１４は、マッチングを行なう対象の三次元点のなるべく正面にあり、かつ三次元点に対応するピクセルがなるべく中央にある視点であり、この三次元点に対応するピクセルが存在する多視点画像を撮像した視点を選択する。
すなわち、視点選択部１４は、三次元点群におけるマッチング対象の三次元点の法線ベクトルを、三次元点群記憶部１８の法線ベクトルマップから読み出す。
視点選択部１４は、三次元点群における各三次元点のマッチングを行なうための複数、例えば２個の視点を選択する。
このとき、視点選択部１４は、マッチングを行なう対象の三次元点のなるべく正面にあり、かつ三次元点に対応するピクセルがなるべく中央にある視点であり、この三次元点に対応するピクセルが存在する多視点画像を撮像した視点を選択する。
すなわち、視点選択部１４は、三次元点群におけるマッチング対象の三次元点の法線ベクトルを、三次元点群記憶部１８の法線ベクトルマップから読み出す。
そして、視点選択部１４は、多視点画像記憶部１７の多視点画像テーブルから、順次、この多視点画像テーブルに記載された順番に視点を選択し、選択した視点の視点座標及び視点方向の各々を読み出す。
視点選択部１４は、（１）式あるいは（２）式により、三次元点のマッチングに用いる視点を選択するための選択コストＳｉｊを、多視点画像テーブルにおける全ての視点毎に算出する。このとき、視点選択部１４は、（２）式を用いて選択コストＳｉｊを算出する際、視点ｊから三次元点ｉが可視性の有無（視点から見えるか見えないか）を示す係数Ｖｉｊを求める。
視点選択部１４は、全視点の選択コストＳｉｊを求めた後、全視点のなかから選択コストＳｉｊが最も大きい順番に、所定の数の複数の視点を選択する。
視点選択部１４は、（１）式あるいは（２）式により、三次元点のマッチングに用いる視点を選択するための選択コストＳｉｊを、多視点画像テーブルにおける全ての視点毎に算出する。このとき、視点選択部１４は、（２）式を用いて選択コストＳｉｊを算出する際、視点ｊから三次元点ｉが可視性の有無（視点から見えるか見えないか）を示す係数Ｖｉｊを求める。
視点選択部１４は、全視点の選択コストＳｉｊを求めた後、全視点のなかから選択コストＳｉｊが最も大きい順番に、所定の数の複数の視点を選択する。
ステップＳ６：
三次元座標算出部１５は、三次元点群におけるマッチング対象の三次元点の法線ベクトルを、三次元点群記憶部１８の法線ベクトルマップから読み出す。
そして、三次元座標算出部１５は、三次元点の三次元座標及び法線ベクトルの各々から、選択された複数の視点における多視点画像の各々において同一サイズの局所領域を設定する。三次元座標算出部１５は、選択された多視点画像の各々の局所領域の画像の位相スペクトルから位相限定相関関数を計算し、相関値のピークを求めることにより、多視点画像間の微少な（サブピクセル単位の）平行移動量を推定する。
これにより、三次元座標算出部１５は、対象の三次元点の三次元座標をサブピクセルの単位で高い精度で再計算する。
三次元座標算出部１５は、三次元点群におけるマッチング対象の三次元点の法線ベクトルを、三次元点群記憶部１８の法線ベクトルマップから読み出す。
そして、三次元座標算出部１５は、三次元点の三次元座標及び法線ベクトルの各々から、選択された複数の視点における多視点画像の各々において同一サイズの局所領域を設定する。三次元座標算出部１５は、選択された多視点画像の各々の局所領域の画像の位相スペクトルから位相限定相関関数を計算し、相関値のピークを求めることにより、多視点画像間の微少な（サブピクセル単位の）平行移動量を推定する。
これにより、三次元座標算出部１５は、対象の三次元点の三次元座標をサブピクセルの単位で高い精度で再計算する。
ステップＳ７：
三次元座標算出部１５は、選択された多視点画像の各々の局所領域における画像の位相スペクトルから上記ステップＳ６において位相限定相関関数を計算することで求められた相関値（マッチングスコア）が、予め設定された閾値以上か否かの判定を行なう。このとき、三次元座標算出部１５は、上記マッチングスコアが閾値以上の場合、処理をステップＳ８へ進める。一方、三次元座標算出部１５は、上記マッチングスコアが閾値未満の場合、処理をステップＳ９へ進める。
三次元座標算出部１５は、選択された多視点画像の各々の局所領域における画像の位相スペクトルから上記ステップＳ６において位相限定相関関数を計算することで求められた相関値（マッチングスコア）が、予め設定された閾値以上か否かの判定を行なう。このとき、三次元座標算出部１５は、上記マッチングスコアが閾値以上の場合、処理をステップＳ８へ進める。一方、三次元座標算出部１５は、上記マッチングスコアが閾値未満の場合、処理をステップＳ９へ進める。
ステップＳ８：
三次元座標算出部１５は、マッチングスコアが閾値以上の場合、上記ステップＳ６において再計算された対象の三次元点の三次元座標を、一旦、自身内の記憶部に再計算点群における三次元点として書き込む。
三次元座標算出部１５は、マッチングスコアが閾値以上の場合、上記ステップＳ６において再計算された対象の三次元点の三次元座標を、一旦、自身内の記憶部に再計算点群における三次元点として書き込む。
ステップＳ９：
三次元座標算出部１５は、マッチングスコアが閾値未満の場合、この対象の三次元点を三次元点群から除去する。
三次元座標算出部１５は、マッチングスコアが閾値未満の場合、この対象の三次元点を三次元点群から除去する。
ステップＳ１０：
三次元座標算出部１５は、三次元点群における全ての三次元点の三次元座標の再計算が終了したか否かの判定を行なう。このとき、三次元点群における全ての三次元点の三次元座標の再計算が終了した場合、処理をステップＳ１１へ進める。三次元点群における全ての三次元点の三次元座標の再計算が終了していない場合、処理をステップＳ６へ進め、三次元点群における次の三次元点の三次元座標の再計算を行なう。
三次元座標算出部１５は、三次元点群における全ての三次元点の三次元座標の再計算が終了したか否かの判定を行なう。このとき、三次元点群における全ての三次元点の三次元座標の再計算が終了した場合、処理をステップＳ１１へ進める。三次元点群における全ての三次元点の三次元座標の再計算が終了していない場合、処理をステップＳ６へ進め、三次元点群における次の三次元点の三次元座標の再計算を行なう。
ステップＳ１１：
三次元座標算出部１５は、三次元点群記憶部１８の三次元点群インデックスの示すさきに記憶されている三次元点群における三次元点の全ての再計算が終了した後、自身内の記憶部に記憶されている再計算点群を、三次元点群記憶部１８に書き込んで記憶させる。そして、三次元座標算出部１５は、上記再計算点群を書き込んだ領域のアドレスを取得し、再計算点群インデックスとして、三次元点群記憶部１８の三次元点群テーブルに書き込んで記憶させる。
三次元座標算出部１５は、三次元点群記憶部１８の三次元点群インデックスの示すさきに記憶されている三次元点群における三次元点の全ての再計算が終了した後、自身内の記憶部に記憶されている再計算点群を、三次元点群記憶部１８に書き込んで記憶させる。そして、三次元座標算出部１５は、上記再計算点群を書き込んだ領域のアドレスを取得し、再計算点群インデックスとして、三次元点群記憶部１８の三次元点群テーブルに書き込んで記憶させる。
ステップＳ１２：
三次元形状モデル生成部１６は、三次元点群記憶部１８の三次元点群テーブルを参照し、再計算点群インデックスを読み出す。
そして、三次元形状モデル生成部１６は、再計算点群インデックスに基づき、三次元点群記憶部１８から、再計算点群のデータを読み出す。
三次元形状モデル生成部１６は、読み出した再計算点群から、三次元形状モデルを例えば、メッシュ再構築の手法を用いて三次元メッシュモデルとして生成する。三次元形状モデル生成部１６は、生成した三次元形状モデルに形状モデル識別情報を付与し、この三次元形状モデルのデータを三次元形状モデル記憶部１９に対して書き込んで記憶させる。三次元形状モデル生成部１６は、三次元形状モデルのデータを書き込んだアドレスを取得し、形状モデル識別情報に対応させ、三次元形状モデルインデックスとして、三次元形状モデル記憶部１９の三次元形状モデルテーブルに書き込んで記憶させる。
三次元形状モデル生成部１６は、三次元点群記憶部１８の三次元点群テーブルを参照し、再計算点群インデックスを読み出す。
そして、三次元形状モデル生成部１６は、再計算点群インデックスに基づき、三次元点群記憶部１８から、再計算点群のデータを読み出す。
三次元形状モデル生成部１６は、読み出した再計算点群から、三次元形状モデルを例えば、メッシュ再構築の手法を用いて三次元メッシュモデルとして生成する。三次元形状モデル生成部１６は、生成した三次元形状モデルに形状モデル識別情報を付与し、この三次元形状モデルのデータを三次元形状モデル記憶部１９に対して書き込んで記憶させる。三次元形状モデル生成部１６は、三次元形状モデルのデータを書き込んだアドレスを取得し、形状モデル識別情報に対応させ、三次元形状モデルインデックスとして、三次元形状モデル記憶部１９の三次元形状モデルテーブルに書き込んで記憶させる。
図６は、対象物の多視点画像から生成したこの対象物の三次元形状モデルの画像を示す図である。図６（ａ）及び図６（ｂ）の各々は、異なる視点から撮像した多視点画像の例を示す図である。図６の例においては、図６（ａ）及び図６（ｂ）を含み、異なる視点で撮像された６０枚の多視点画像と撮像装置のカメラパラメータとを用いて、図６（ａ）及び図６（ｂ）に示す対象物の三次元形状モデルを生成した。
図６（ｃ）及び図６（ｄ）の各々は、非特許文献１に記載されている手法で生成した三次元形状モデルを、図６（ａ）、図６（ｂ）それぞれの視点から観察される画像を示している。この図６（ｃ）及び図６（ｄ）の画像の三次元形状には、オクルージョン境界や三次元形状モデルの端部に誤差によるノイズが確認できる。この図６（ｃ）及び図６（ｄ）に示す画像の三次元形状モデルの生成にかかった時間は、約１１３００秒であった。
図６（ｃ）及び図６（ｄ）の各々は、非特許文献１に記載されている手法で生成した三次元形状モデルを、図６（ａ）、図６（ｂ）それぞれの視点から観察される画像を示している。この図６（ｃ）及び図６（ｄ）の画像の三次元形状には、オクルージョン境界や三次元形状モデルの端部に誤差によるノイズが確認できる。この図６（ｃ）及び図６（ｄ）に示す画像の三次元形状モデルの生成にかかった時間は、約１１３００秒であった。
一方、図６（ｅ）及び図６（ｆ）の各々は、本実施形態の手法（三次元点のマッチングに使用する視線の選択において（２）式を用いている）で生成した三次元形状モデルを、図６（ａ）、図６（ｂ）それぞれの視点から観察される画像を示している。本実施形態による図６（ｃ）及び図６（ｄ）の画像の三次元形状には、オクルージョン境界や三次元形状モデルの端部に誤差によるノイズが、図６（ｃ）及び図５（ｄ）と比較して低減されていることが確認できる。この図６（ｅ）及び図６（ｆ）に示す画像の三次元形状モデルの生成にかかった時間は、約６００秒であった。
図６の結果から判るように、本実施形態による三次元形状モデル生成装置によれば、従来例に比較して、三次元形状モデルの生成に要する時間を短縮し、かつ対象物の三次元形状に近い、精度の高い三次元形状モデルを生成することができる。
図６の結果から判るように、本実施形態による三次元形状モデル生成装置によれば、従来例に比較して、三次元形状モデルの生成に要する時間を短縮し、かつ対象物の三次元形状に近い、精度の高い三次元形状モデルを生成することができる。
上述した構成により、本実施形態によれば、異なった視点において撮像した複数の多視点画像の各々に対応するデプスマップを、例えばPatchMatch Stereo法において、マッチングスコアとして正規化相互相関やＳＳＤを使用して作成しているため、位相限定相関法に比較してマッチングの精度は低いがデプスマップの生成にかかる時間短縮を行なうことができる。そして、本実施形態によれば、上述のように生成したデプスマップを全視点で統合し、三次元点群を生成し、この三次元点群における三次元点の各々に対して位相限定相関法を用い、三次元座標の再計算を行なうため、位相限定相関法においてデプスマップを生成する場合に比較して、計算する三次元点の数を低減させ、デプスマップの生成に位相限定相関法を用いた場合と同様の精度で、三次元点群における三次元点群の各々の三次元座標の再計算を高速に行なうことができる。
また、本実施形態によれば、デプスマップを全視点で統合して生成した三次元点群における三次元点群に対し、ボクセルグリッドフィルタを用いた、同一三次元点と見なされる複数の三次元点の選択による統合、ノイズとされる外れ点である三次元点の除去、及び複数視点間においてデプスマップとの整合性の取れない三次元点の除去などの調整処理を行なうため、ノイズやマッチング処理の妨げとなる三次元点を、位相限定相関法によるマッチング処理を行なう前に行なうため、従来に比較してより対象物の三次元形状に近い、精度の高い再計算点群（再計算された三次元点群）を生成することができる。
また、本実施形態によれば、（１）式及び（２）式から求められる選択コストが高い視点を、三次元点群における三次元点のマッチング処理に用いるため、三次元点群における三次元点の法線ベクトルの向きと視点方向とがより近い、すなわち三次元点の見えが良い視点が選択されるため、三次元形状の輪郭として観察される視点を選択することが低減され、三次元形状におけるオクルージョン境界及び輪郭に発生するノイズを低減することができる。
また、本実施形態によれば、視点の選択に（２）式を用いることにより、視点から他の三次元点に遮蔽されずに可視の状態であるか否かの判定を含めて、三次元点群における三次元点の法線ベクトルの向きと視点方向とがより近い視点が選択されるため、（１）式を用いる場合に比較して、より三次元形状におけるオクルージョン境界に発生するノイズを低減することができる。
なお、本発明における図１の三次元形状モデル生成装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、求めた三次元点群により対象物の三次元形状モデルを生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
１…三次元形状モデル生成装置
１１…多視点画像入力部
１２…デプスマップ生成部
１３…三次元点群生成部
１４…視点選択部
１５…三次元座標算出部
１６…三次元形状モデル生成部
１７…多視点画像記憶部
１８…三次元点群記憶部
１９…三次元形状モデル記憶部
１１…多視点画像入力部
１２…デプスマップ生成部
１３…三次元点群生成部
１４…視点選択部
１５…三次元座標算出部
１６…三次元形状モデル生成部
１７…多視点画像記憶部
１８…三次元点群記憶部
１９…三次元形状モデル記憶部
Claims (6)
- 対象物を異なる視点から撮像した２枚以上の多視点画像と、当該多視点画像を撮像した撮像装置のカメラパラメータとから、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、
前記多視点画像と前記カメラパラメータとから、前記視点毎の当該多視点画像に対応するデプスマップを生成するデプスマップ生成部と、
前記デプスマップと前記カメラパラメータとから、前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成部と、
前記三次元形状モデルが形成される三次元座標系において、前記三次元点群における三次元点の視点の光軸ベクトル及び視点から当該三次元点に向かう視点ベクトルの内積と、前記三次元点における法線ベクトル及び前記視点ベクトルとの内積とから、前記視点の各々の選択コストを算出し、当該選択コストの高い順番に、前記三次元点群における各三次元点のマッチング処理を行なう２個以上の視点を選択する視点選択部と、
前記選択された視点により前記三次元点のマッチングを位相限定相関法により行ない、三次元点群における各三次元点の三次元空間における三次元座標を再算出する三次元座標算出部と
を備えることを特徴とする三次元形状モデル生成装置。 - 前記三次元点群生成部が、
同一の座標値にある前記三次元点が前記多視点画像に対応する前記デプスマップの各々において異なる深度情報を有している場合、当該三次元点を前記三次元点群から除去する
ことを特徴とする請求項１に記載の三次元形状モデル生成装置。 - 前記三次元点群生成部が、
前記三次元点群の存在する三次元空間において、処理対象の三次元点を中心とした所定の大きさの処理枠を生成し、当該処理枠の内部に含まれる三次元点の数が所定の閾値を超えるか否かを判定し、閾値以下であった場合、前記処理対象の三次元点を除去する
ことを特徴とする請求項１に記載の三次元形状モデル生成装置。 - 前記デプスマップ生成部が、
パッチマッチステレオ（PatchMatch Stereo）法を用いて、前記多視点画像の各々に対応するデプスマップを生成している
ことを特徴とする請求項１から請求項３のいずれか一項に記載の三次元形状モデル生成装置。 - 対象物を異なる視点から撮像した２枚以上の多視点画像と、当該多視点画像を撮像した撮像装置のカメラパラメータとから、前記対象物の三次元形状モデルを生成する三次元形状モデル生成方法であり、
デプスマップ生成部が、前記多視点画像と前記カメラパラメータとから、前記視点毎の当該多視点画像に対応するデプスマップを生成するデプスマップ生成過程と、
三次元点群生成部が、前記デプスマップと前記カメラパラメータとから、前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成過程と、
視点選択部が、前記三次元形状モデルが形成される三次元座標系において、前記三次元点群における三次元点の視点の光軸ベクトル及び視点から当該三次元点に向かう視点ベクトルの内積と、前記三次元点における法線ベクトル及び前記視点ベクトルとの内積とから、前記視点の各々の選択コストを算出し、当該選択コストの高い順番に、前記三次元点群における各三次元点のマッチング処理を行なう２個以上の視点を選択する視点選択過程と、
三次元座標算出部が、前記選択された視点により前記三次元点のマッチングを位相限定相関法により行ない、三次元点群における各三次元点の三次元空間における三次元座標を
再算出する三次元座標算出過程と
を含むことを特徴とする三次元形状モデル生成方法。 - 対象物を異なる視点から撮像した２枚以上の多視点画像と、当該多視点画像を撮像した撮像装置のカメラパラメータとから、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置としてコンピュータを動作させるプログラムであり、
前記コンピュータを、
前記多視点画像と前記カメラパラメータとから、前記視点毎の当該多視点画像に対応するデプスマップを生成するデプスマップ生成手段、
前記デプスマップと前記カメラパラメータとから、前記対象物の三次元形状を示す三次元点群を生成する三次元点群生成手段、
前記三次元形状モデルが形成される三次元座標系において、前記三次元点群における三次元点の視点の光軸ベクトル及び視点から当該三次元点に向かう視点ベクトルの内積と、前記三次元点における法線ベクトル及び前記視点ベクトルとの内積とから、前記視点の各々の選択コストを算出し、当該選択コストの高い順番に、前記三次元点群における各三次元点のマッチング処理を行なう２個以上の視点を選択する視点選択手段、
前記選択された視点により前記三次元点のマッチングを位相限定相関法により行ない、三次元点群における各三次元点の三次元空間における三次元座標を再算出する三次元座標算出手段
として動作させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017081353A JP6934224B2 (ja) | 2017-04-17 | 2017-04-17 | 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017081353A JP6934224B2 (ja) | 2017-04-17 | 2017-04-17 | 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018181047A JP2018181047A (ja) | 2018-11-15 |
| JP6934224B2 true JP6934224B2 (ja) | 2021-09-15 |
Family
ID=64275724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017081353A Active JP6934224B2 (ja) | 2017-04-17 | 2017-04-17 | 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6934224B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3883246A4 (en) | 2018-11-13 | 2021-12-15 | Panasonic Intellectual Property Corporation of America | THREE-DIMENSIONAL DATA ENCODING PROCESS, THREE-DIMENSIONAL DATA DECODING PROCESS, THREE-DIMENSIONAL DATA ENCODING DEVICE AND TRIDIMENSIONAL DATA DECODING DEVICE |
| JPWO2020116563A1 (ja) * | 2018-12-06 | 2021-10-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| GB2596475B (en) * | 2019-02-25 | 2023-07-19 | Deka Products Lp | System and method for surface feature detection and traversal |
| CN112634439B (zh) * | 2020-12-25 | 2023-10-31 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| US20230274494A1 (en) * | 2022-02-25 | 2023-08-31 | Adobe Inc. | Cropping for efficient three-dimensional digital rendering |
| CN114494389B (zh) * | 2022-04-01 | 2022-07-15 | 深圳数字视界科技有限公司 | 基于特征点识别连接的多段扫描的空间物体三维构建系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003337953A (ja) * | 2002-05-20 | 2003-11-28 | Sony Corp | 画像処理装置および画像処理方法、並びにコンピュータ・プログラム |
| JP2004336569A (ja) * | 2003-05-09 | 2004-11-25 | Ntt Docomo Inc | 移動体監視システム、及び移動体監視方法 |
| JP5106375B2 (ja) * | 2008-12-24 | 2012-12-26 | 日本放送協会 | ３次元形状復元装置及びそのプログラム |
| JP5549283B2 (ja) * | 2010-03-08 | 2014-07-16 | 株式会社リコー | 距離取得装置 |
| JP5266539B2 (ja) * | 2012-07-25 | 2013-08-21 | コニカミノルタ株式会社 | 測距装置 |
-
2017
- 2017-04-17 JP JP2017081353A patent/JP6934224B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018181047A (ja) | 2018-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6934224B2 (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム | |
| CN106651938B (zh) | 一种融合高分辨率彩色图像的深度图增强方法 | |
| CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
| US9177381B2 (en) | Depth estimate determination, systems and methods | |
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| JP4880091B2 (ja) | ３ｄテクスチャの超解像のための画像生成装置及び方法 | |
| US9338437B2 (en) | Apparatus and method for reconstructing high density three-dimensional image | |
| EP3326156B1 (en) | Consistent tessellation via topology-aware surface tracking | |
| KR102443551B1 (ko) | 포인트 클라우드 융합 방법, 장치, 전자 기기 및 컴퓨터 저장 매체 | |
| JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
| WO2012100225A1 (en) | Systems and methods for generating a three-dimensional shape from stereo color images | |
| JP6604502B2 (ja) | デプスマップ生成装置、デプスマップ生成方法及びプログラム | |
| JP4631973B2 (ja) | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム | |
| JP2016122444A (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
| US20230401855A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| JP5787398B2 (ja) | 関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラム | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| JP2019091122A (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
| KR101766431B1 (ko) | 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치 | |
| JP2019512781A (ja) | 特徴追跡及びモデル登録により三次元多視点を再構成するための方法。 | |
| Kubota et al. | All-focused light field rendering. | |
| CN115564639A (zh) | 背景虚化方法、装置、计算机设备和存储介质 | |
| CN112884817B (zh) | 稠密光流计算方法、装置、电子设备以及存储介质 | |
| Jia et al. | Drone-NeRF: Efficient NeRF based 3D scene reconstruction for large-scale drone survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170526 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6934224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |