JP6765653B2 - デプスマップ生成装置、デプスマップ生成方法及びプログラム - Google Patents

Description

本発明は、デプスマップ生成装置、デプスマップ生成方法及びプログラムに関する。

多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている（特許文献１参照）。

特開２０１３−０１９８０１号公報

上述した多視点画像に基づく３次元復元技術は、三角測量の技術を用いており、最終的に、各視点におけるデプスマップを統合することによって、３次元座標点群を生成する。
このため、各視点における画像（視点画像）を用いて世界座標系における対象物体の３次元形状を復元する際、２つ以上の異なる視点画像間において、世界座標系における３次元座標点の座標点に対応する視点画像それぞれの対応画素を検出し、各視点からのデプスマップを生成する必要がある。
従来においては、視点Ｐ１から視点画像に対して第１直線（エピポーラ直線）を生成し、視点Ｐ１と異なる視点Ｐ１から上記第１直線と交差する第２直線を生成する。

ここで、第１直線に対して第２直線が交差する公差座標点を順次変化させ、この交差座標点に対象物体の３次元座標点が存在すると仮定し、この公差座標点を視点Ｐ１の視点画像及び視点Ｐ２の視点画像の各々に投影させる。そして、それぞれの視点画像に投影された位置のピクセルの輝度値を用い、視点画像間における各ピクセルの輝度値の相関をとり、最も高い相関値を有した公差座標点を３次元座標点として抽出し、デプスマップの生成を行っている。

しかしながら、３次元座標点に対応する交差座標点を抽出するためには、ピクセル単位において公差座標点を細かい刻み幅で変化させる毎に、視点画像間の相関値を求める必要がある。このため、対象物体の復元するデプスマップを生成するためには膨大な計算が必要となり、計算コストが非常に大きくなってしまう。結果として、世界座標系における対象物体の復元に長い時間がかかることとなる。

本発明は、このような状況に鑑みてなされたもので、３次元座標点群の復元に用いるデプスマップを生成するパラメータ（奥行き、法線の傾き）を高速にかつ高精度に生成するデプスマップ生成装置、デプスマップ生成方法及びプログラムを提供する。

上述した課題を解決するために、本発明のデプスマップ生成装置は、パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置であり、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化部と、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理部と、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理部と、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成部とを備え、前記対象視点画像のピクセルは、格子状に配置されており、前記空間伝搬処理部が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理部が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行うことを特徴とする。
また、本発明のデプスマップ生成装置は、パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置であり、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化部と、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理部と、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理部と、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成部とを備え、前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行うことを特徴とする。

本発明のデプスマップ生成装置は、前記空間伝搬処理部が、パラメータの伝搬処理を所定の複数回繰り返して行い、当該空間伝搬処理部が、伝搬の処理を行う際の回数が奇数回の場合、前記対象視点画像の矩形形状における所定の頂点である第１頂点のピクセルからパラメータを伝搬させる処理を行い、伝搬の処理を行う際の回数が偶数回の場合、当該対象視点の前記第１頂点の点対称の位置にある第２頂点のピクセルからパラメータを伝搬させる処理を行うことを特徴とする。

本発明のデプスマップ生成装置は、前記空間伝搬処理部及び前記視点伝搬処理部の各々におけるパラメータの伝搬処理が終了したピクセルに対して、当該ピクセルに伝搬されたパラメータの微調整を、乱数により発生した調整値により行うパラメータ微調整部をさらに備えることを特徴とする。

本発明のデプスマップ生成装置は、前記空間伝搬処理部が、前記複数の対象視点画像に対して並列にパラメータの伝搬処理を行うことを特徴とする。

本発明のデプスマップ生成方法は、パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成方法であり、初期化部が、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化過程と、空間伝搬処理部が、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理過程と、視点伝搬処理部が、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理過程と、デプスマップ生成部が、複数の異なる前記視点画像の前記パラメータから、前記視点画
像毎のデプスマップを生成するデプスマップ生成過程とを含み、前記対象視点画像のピクセルは、格子状に配置されており、前記空間伝搬処理部が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理部が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行うことを特徴とする。
また、本発明のデプスマップ生成方法は、パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成方法であり、初期化部が、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化過程と、空間伝搬処理部が、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理過程と、視点伝搬処理部が、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理過程と、デプスマップ生成部が、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成過程とを含み、前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行うことを特徴とする。

本発明のプログラムは、パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置の処理をコンピュータに実行させるプログラムであり、前記コンピュータを、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化手段、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理手段、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理手段、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成手段として機能させるプログラムであって、前記対象視点画像のピクセルは、格子状に配置されており、前記空間伝搬処理手段が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理手段が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行うプログラムである。
また、本発明のプログラムは、パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置の処理をコンピュータに実行させるプログラムであり、前記コンピュータを、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化手段、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理手段、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理手段、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成手段として機能させるプログラムであって、前記空間伝搬処理手段が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理手段が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行うプログラムである。

以上説明したように、本発明によれば、３次元座標点群の復元に用いるデプスマップを生成するパラメータ（奥行き、法線の傾き）を高速にかつ高精度に生成することができるデプスマップ生成装置、デプスマップ生成方法及びプログラムを提供することができる。

本発明の実施形態によるデプスマップ生成装置の構成例を示す図である。 視点画像のピクセルに対応する世界座標系における３次元座標点のパラメータとして用いる乱数を発生させる範囲の設定について説明する図である。 本実施形態における記憶部１９に記憶されているパラメータテーブルの構成例を示す図である。 空間伝搬処理及び視点伝搬処理の各々における対象視点画像と近傍視点画像との対応を示す図である。 空間伝搬処理における参照ピクセルと対象ピクセルとの配置関係を示す概念図である。 図５における対象視線画像Ｖｋにおける各ピクセルの空間伝搬処理のスレッドについて説明する図である。 デプスマップ生成装置のパラメータ伝搬処理の動作手順を表すフローチャートである。 ３次元形状の対象物を撮像した撮像装置の各々の視点の位置を示す図である。 一例として、視点伝搬処理における近傍視点画像を２個とした場合のグラフの構成を示している。 パラメータの伝搬を行う近傍視点画像を２個であり、スレッド数が２個の場合におけるスレッドの開始視点画像を示す図である。 パラメータの伝搬を行う近傍視点画像を２個であり、スレッド数が３個の場合におけるスレッドの開始視点画像を示す図である。

本発明の一実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態によるデプスマップ生成装置の構成例を示す図である。図１に示すデプスマップ生成装置は、制御部１１、初期化部１２、視点選択部１３、スレッド生成部１４、空間伝搬処理部１５、視点伝搬処理部１６、微調整部１７、デプスマップ生成部１８及び記憶部１９の各々が備えられている。また、本実施形態においては、パッチマッチステレオ（ＰａｔｃｈＭａｔｃｈ Ｓｔｅｒｅｏ）法における視点画像におけるパラメータの推定を行っている。

制御部１１は、デプスマップ生成装置の各部の制御、及び外部装置とのデータの送受信処理を行う。
初期化部１２は、全視点により撮像された視点画像の各ピクセルに対応する世界座標系における座標点の奥行き（深度情報）及び法線ベクトル（法線情報、後述する法線の傾きθＶｋ（ｍ）及びφＶｋ（ｍ）により示されるベクトル）の各々のパラメータを乱数により初期化する。
視点選択部１３は、パラメータの伝搬処理における処理対象の視点の視点画像を、対象視点画像として選択する。
スレッド生成部１４は、対象視点画像Ｖｋにおけるピクセルの行方向にパラメータの伝搬処理を行うスレッドを各行に対応して生成する。

空間伝搬処理部１５は、各行に対応するスレッド毎に、行各々の対象ピクセルに対して、空間伝搬処理が終了している隣接した参照ピクセルからのパラメータ伝搬の処理を行う。
視点伝搬処理部１６は、対象視点画像における空間伝搬処理が終了した対象ピクセルから、この対象ピクセルに対応する、対象視点画像の近傍の他の視点画像である近傍視点画像（対象視点に対するステレオペアとして選択された視点の画像）のピクセルに対するパラメータ伝搬の処理を行う。
微調整部１７は、空間伝搬処理が終了した対象ピクセルのパラメータを、乱数により生成した調整値を用いた微調整を行う。
デプスマップ生成部１８は、空間伝搬処理部１５による各ピクセルに対する空間伝搬処理及び視点伝搬処理部１６の視点伝搬処理の各々が終了した後、各視点画像の各々におけるデプスマップを生成する。
記憶部１９は、視点画像群Ｖ＝｛Ｖ１，Ｖ２，Ｖ３，…｝に含まれる視点画像Ｖ１、視点画像Ｖ２、視点画像Ｖ３、…が記憶されており、またパラメータテーブル（後述）も記憶されている。

＜初期化処理＞
以下、初期化部１２が行う各視点画像のピクセルに対する初期化処理を説明する。この初期化処理においては、初期化部１２は、対象視点画像として選択した視点画像（視点画像群Ｖから選択された視点画像）に対してピクセルのマッチングを行う際に用いる、対象視点画像のステレオペアとなる対象視点近傍の視点の視点画像である近傍視点画像（視点画像群Ｖから対象視点画像Ｖｋの近傍の視点画像）の選択を行う。

視点画像群Ｖに含まれる全ての視点画像の各々を対象視点画像Ｖｋとした際、この対象視点画像Ｖｋとステレオペアとする近傍視点画像ＣＶｋを設定する。ここで、ステレオペアとして選択する近傍視点画像ＣＶｋを選択する際、選択される近傍視点画像ＣＶｋが対象視点画像Ｖｋと所定の視差より離れている場合、対象視点画像Ｖｋと近傍視点画像ＣＶｋとの視点画像間における画像変形が大きくなり、対象視点画像Ｖｋと近傍視点画像ＣＶｋとのピクセルのマッチングの精度が低減して不安定となる。このため、対象視点画像Ｖｋに対して視点間の基線長が短い順番に複数個の視点画像を選択し、この選択された視点画像から基線長の短い順に、例えばＮｐａｉｒ個の近傍視点画像ＣＶｋの選択を行う。

そして、視点画像群Ｖに含まれる全ての視点画像において、初期化部１２は、この視点画像における座標値である画像座標ｍ＝（ｕ，ｖ）のピクセルの各々に対応する世界座標系における３次元座標点のパラメータ、すなわち奥行きｄＶｋ（ｍ）と、法線の傾きθＶｋ（ｍ）及びφＶｋ（ｍ）とを一様乱数を用いて初期化する。奥行きｄＶｋ（ｍ）と、法線の傾きθＶｋ（ｍ）及びφＶｋ（ｍ）との初期値とする乱数を発生させる範囲は、視点画像の各々に合わせて自由に設定することができる。本実施形態においては、以下の説明による設定範囲により、乱数を発生させる。

図２は、視点画像のピクセルに対応する世界座標系における３次元座標点のパラメータとして用いる乱数を発生させる範囲の設定について説明する図である。図２は、対象視点画像Ｖｋに対する近傍視点画像ＣＶｋとして、近傍視点画像Ｃ１及び近傍視点画像Ｃ２の各々が選択された場合について説明する。
図２（ａ）には、対象視点画像Ｖｋと、近傍視点画像ＣＶｋである近傍視点画像Ｃ１及び近傍視点画像Ｃ２の各々との世界座標系における位置関係が示されている。対象視点画像Ｖｋにおける画像中心Ｏを通る視点を視点Ｌとし、視点Ｌを近傍視点画像Ｃ１及び近傍視点画像Ｃ２の各々に対して投影（近傍視点画像Ｃ１及び近傍視点画像Ｃ２の２次元の視点座標系に座標変換）する。近傍視点画像Ｃ１に対して投影された視点Ｌは投影視点ＬＣ１であり、近傍視点画像Ｃ２に対して投影された視点Ｌは投影視点ＬＣ２である。

図２（ｂ）は、近傍視点画像Ｃ２に投影された投影視点ＬＣ２を示す図である。近傍視点画像Ｃ２の画像の幅（矩形上の視点画像Ｃ２における長辺Ｃ２Ｗの長さ）を、ｗとする。そして、視点画像Ｃ２の短辺Ｃ２Ｈ１に対して平行に、短辺Ｃ２Ｈ１から幅ｗの１／４の距離であるｗ／４離れた位置に線分ＬＬ１を生成する。同様に、視点画像Ｃ２の短辺Ｃ２Ｈ２に対して平行に、短辺Ｃ２Ｈ２から幅ｗの１／４の距離であるｗ／４離れた位置に線分ＬＬ２を生成する。
ここで、投影視点ＬＣ２と線分ＬＬ１との交点の座標を座標値ｘＣ２＿１とし、投影視点ＬＣ２と線分ＬＬ２との交点の座標を座標値ｘＣ２＿２とする。また、近傍視点画像Ｃ１にも同様の処理を行い、座標値ｘＣ１＿１及び座標値ｘＣ１＿２の各々を求める。

次に、座標値座標値ｘＣ２＿１、座標値ｘＣ２＿２、座標値ｘＣ１＿１及び座標値ｘＣ１＿２の各々を、世界座標系における視点Ｌに対して投影する。そして、対象視点画像Ｖｋの中心座標である画像中心Ｏと、近傍視点画像Ｃ１上の座標値ｘＣ１＿１及び座標値ｘＣ１＿２の各々とが対応しているとして、すなわち座標値ｘＣ１＿１及び座標値ｘＣ１＿２のピクセルの各々が視点Ｌ上の３次元座標点に対応するとして、３次元座標点ＺＣ１＿１、３次元座標点ＺＣ＿２それぞれを生成する。同様に、対象視点画像Ｖｋの中心座標である画像中心Ｏと、近傍視点画像Ｃ２上の座標値ｘＣ２＿１及び座標値ｘＣ２＿２の各々とが対応しているとして、すなわち座標値ｘＣ２＿１及び座標値ｘＣ２＿２のピクセルの各々が視点Ｌ上の３次元座標点に対応するとして、３次元座標点ＺＣ２＿１、３次元座標点ＺＣ２＿２それぞれを生成する。

次に、視点Ｌに投影された３次元座標点ＺＣ１＿１及び３次元座標点ＺＣ１＿２において、座標中心Ｏから近い距離の３次元座標点ＺＣ１＿２を最小位置選択群に分類し、座標中心Ｏから遠い３次元座標点ＺＣ１＿１を最大位置選択群に分類する。同様に、視点Ｌに投影された３次元座標点ＺＣ２＿１及び３次元座標点ＺＣ２＿２において、座標中心Ｏから近い距離の３次元座標点ＺＣ２＿１を最小位置選択群に分類し、座標中心Ｏから遠い３次元座標点ＺＣ２＿２を最大位置選択群に分類する。例えば、近傍視点画像が３個以上であっても、上記と同様の処理を行い、視点Ｌに投影された３次元座標点ＺＣｎ＿１及び３次元座標点ＺＣｎ＿２の各々を、最小位置選択群、最大位置選択群それぞれに分類して振り分ける。

そして、初期化部１２は、最小位置選択群のなかで、世界座標系において画像中心Ｏから最も遠い視点Ｌ上の３次元座標点の座標点を選択する。図２（ａ）においては、近傍視点画像Ｃ１の３次元座標点ＺＣ２＿１が最小値の３次元座標点Ｚｍｉｎとして選択される。
同様に、初期化部１２は、最大位置選択群のなかで、世界座標系において画像中心Ｏから最も近い視点Ｌ上の３次元座標点の座標点を選択する。図２（ａ）においては、近傍視点画像Ｃ２の３次元座標点ＺＣ１＿１が最大値の３次元座標点Ｚｍａｘとして選択される。
これにより、乱数で求められる画像中心Ｏからの奥行きが、３次元座標点ＺＣ２＿１及び３次元座標点ＺＣ１＿１で設定される線分の範囲内に乱数により設定される。すなわち、初期化部１２は、３次元座標点ＺＣ１＿１を基準値として、乱数により０からΔｄの範囲内の数値を求め、基準値に対して乱数により求めた数値を加算することにより、対象視点画像Ｖｋにおける奥行きｄＶｋ（ｍ）を求める。以下に、乱数により奥行きｄＶｋ（ｄＶｋ（ｍ））の範囲を表す式（１）を示す。

（１）式において、奥行きｄＶｋ（ｄＶｋ（ｍ））が、世界座標系における視点Ｌ上の３次元座標点Ｚｍｉｎ（最小値の３次元座標点）と３次元座標点Ｚｍａｘ（最大値の３次元座標点）との間に存在することを示している。すなわち、初期化部１２は、乱数によりΔｄを求めて、対象視点画像Ｖｋにおける奥行きｄＶｋ（ｄＶｋ（ｍ））を（１）式の３次元座標点の座標値の範囲内で求める。

（２）式は、画像中心Ｏから見て、奥行きｄＶｋの最小値を示す式である。すなわち、対象視点画像Ｖｋを除いた視点画像の集合Ｖに属する近傍視点画像ＣｎのＺＣｎｍｉｎ（最小位置選択群）の中で、画像中心Ｏから最大の距離を有するＺＣｎｍｉｎを、Ｚｍｉｎとすることを示している。

（３）式は、画像中心Ｏから見て、（１）式における奥行きｄＶｋの最大値を示す式である。すなわち、対象視点画像Ｖｋの近傍視点画像ＣＶｋの集合に属する近隣画像ＣｎのＺＣｎｍａｘ（最大位置選択群）の中で、画像中心Ｏから最小の距離を有するＺＣｎｍａｘを、最大値Ｚｍａｘとすることを示している。

図１に戻り、初期化部１２は、例えば本実施形態において、法線の傾きθＶｋ（ｍ）及び法線の傾きφＶｋ（ｍ）の乱数による生成範囲を±６０度としている。また、本実施形態において、法線の傾きθＶｋ（ｍ）は法線がｚ軸と成す角度を示し、法線の傾きφＶｋ（ｍ）が法線をｘ軸ｙ軸により形成される２次元平面に投影し、投影された法線がｘ軸と成す角度を示している。

初期化部１２は、視点画像から対象視点画像Ｖｋを選択した際、この対象視点画像Ｖｋに対する近傍視点画像ＣＶｋを決定し、（１）式に示される奥行きｄＶｋ（ｍ）の乱数発生範囲を、対象視点画像Ｖｋ毎に求める。
そして、初期化部１２は、対象視点画像Ｖｋにおける各ピクセル（ピクセルｍ）のパラメータにおける奥行きｄＶｋ（ｍ）を、上述したように対象視点画像Ｖｋに対応した（１）式に示される範囲において乱数（Δｄ）を所定の刻み幅で発生させて求める。また、初期化部１２は、奥行きｄＶｋ（ｍ）を求めた際、求めたピクセルｍの法線の傾きθＶｋ（ｍ）及び法線の傾きφＶｋ（ｍ）の各々も、上述したように±６０度の範囲において乱数により求める。
初期化部１２は、対象視点画像Ｖｋとして選択した視点画像毎に、乱数により求めたピクセルのパラメータを、記憶部１９のパラメータテーブルに書き込んで記憶させる。

図３は、本実施形態における記憶部１９に記憶されているパラメータテーブルの構成例を示す図である。パラメータテーブルは、視点画像毎に設けられており、例えば視点画像を識別する視点画像識別番号（Ｖ１、Ｖ２など）が付与されている。
図３において、パラメータテーブルは、画素座標と、パラメータと、処理終了フラグと、処理完了フラグとの各々の欄が設けられている。ここで、画素座標は、視点画像におけるピクセルｍの座標値を示している。パラメータは、画素座標に対応したピクセルｍの奥行きｖＶｋ（ｍ）、法線の傾きθＶｋ（ｍ）及び法線の傾きφＶｋ（ｍ）の各々の数値を示している。処理終了フラグは、後述する空間伝搬処理が終了したピクセルを識別するものであり、空間伝搬処理毎に設定されるフラグである。処理完了フラグは、後述するパラメータを評価する評価値が所定の閾値を超えた場合、その後の伝搬処理を行う必要がないピクセルであることを識別するフラグである。

＜空間伝搬処理＞
この空間伝搬処理は、パッチマッチステレオ法におけるＳｐａｔｉａｌ ｐｒｏｐａｇａｔｉｏｎの処理である。
視点選択部１３は、全ての視点画像のなかから、空間伝搬処理の処理対象とする未処理の視点画像を、対象視点画像Ｖｋとして選択する。
スレッド生成部１４は、視点選択部１３が選択した対象視点画像Ｖｋにおいて、対象視点画像Ｖｋとして選択された視点画像のパラメータの伝搬処理を行うスレッドを生成する（スレッドの生成については後に詳述）。
空間伝搬処理部１５は、対象ピクセルのピクセルｍに対し、同一の対象視点画像Ｖｋにおけるこのピクセルｍと隣接する、空間伝搬処理の終了したピクセルのパラメータを伝搬させる処理を行う。

空間伝搬処理は、同一の視点画像内の隣接するピクセルが同一の物体における同様の状態の表面が撮像されている場合が多いため、隣接するピクセル間においてパラメータの変化がほとんど見られないことを基本としている。すなわち、空間伝搬処理は、隣接するピクセル間において、上述したパラメータの連続性の仮定を基に、近傍のピクセルから隣接するピクセルに対してパラメータを伝搬している。
対象視点画像Ｖｋにおけるピクセルｍ＝（ｕ，ｖ）が近傍のピクセルｐと同一のパラメータを保つ場合の第１マッチングスコア（第１評価値）を算出する。この第１マッチングスコアは、ピクセルｍの輝度値と、パラメータに基づいてピクセルｍを世界座標系に座標変換して３次元座標点を生成し、この生成した３次元座標点を視点画像Ｖｋに対して座標変換した際の輝度値とを比較した評価値であり、評価値が大きいほど真のパラメータに近いことを示している。

図４は、空間伝搬処理及び視点伝搬処理の各々における対象視点画像と近傍視点画像との対応を示す図である。図４において、空間伝搬処理により、対象視点画像Ｖｘにおけるピクセルｍに対し、このピクセルｍに隣接するピクセルｐのパラメータが伝搬される。
ピクセルｐに対応する世界座標系の３次元座標点Ｍとこの３次元座標点Ｍに隣接する３次元座標点２００との各々は、世界座標系における座標点が近く、凹凸などの大きな変化がなく同様のテクスチャを有すると考えられる。

空間伝搬処理部１５は、対象ピクセルとして選択されたピクセルｍのパラメータと、ピクセルｍにパラメータを伝搬するピクセルｐのパラメータとの各々を、記憶部１９のパラメータテーブルから読み出す。
例えば、対象視点画像Ｖｋにおけるピクセルｍのパラメータを、ｐＶｋ（ｍ）＝（ｄＶｋ（ｍ），θＶｋ（ｍ）、φＶｋ（ｍ））とする。また、隣接する参照ピクセルのピクセルｐ＝（ｕ＋δ，ｖ）のパラメータを、ｐＶｋ（ｕ＋δ，ｖ）とする。空間伝搬処理部１５は、このピクセルｍのパラメータを用いた第１マッチングスコアを、Ｓｃｏｒｅ（ｐＶｋ（ｕ，ｖ），ｍ）として計算する。

空間伝搬処理部１５は、上記関数Ｓｃｏｒｅ（＊，ｍ）は、第１マッチングスコアを算出する関数であり、＊がｐＶｋ（ｕ，ｖ）の場合、ピクセルｍのパラメータｐＶｋ（ｍ）のパラメータにより第１マッチングスコアを算出し、＊が隣接する参照ピクセルのピクセルｐのパラメータｐＶｋ（ｕ＋δ，ｖ）により第１マッチングを算出する。
そして、空間伝搬処理部１５は、＊がｐＶｋ（ｕ，ｖ）の場合で求めた第１マッチングスコアＳｃｏｒｅ（ｐＶｋ（ｕ，ｖ）），ｍ）と、＊が隣接する参照ピクセルのピクセルｐのパラメータｐＶｋ（ｕ＋δ，ｖ）の場合の各々で求めた第１マッチングスコアＳｃｏｒｅ（ｐＶｋ（ｕ＋δ，ｖ），ｍ）との比較を行う。

そして、空間伝搬処理部１５は、
Ｓｃｏｒｅ（ｐＶｋ（ｕ＋δ，ｖ），ｍ）＞Ｓｃｏｒｅ（ｐＶｋ（ｕ，ｖ）），ｍ）
の場合、隣接する参照ピクセルであるピクセルｐのパラメータに、ピクセルｍのパラメータを変更する。すなわち、空間伝搬処理部１５は、参照ピクセルのパラメータを対象ピクセルのパラメータとして伝搬させる。
一方、空間伝搬処理部１５は、
Ｓｃｏｒｅ（ｐＶｋ（ｕ＋δ，ｖ），ｍ）≦Ｓｃｏｒｅ（ｐＶｋ（ｕ，ｖ）），ｍ）
の場合、隣接する参照ピクセルであるピクセルｐのパラメータに、ピクセルｍのパラメータを変更せず、ピクセルｍのパラメータのままとする。すなわち、空間伝搬処理部１５は、参照ピクセルのパラメータを対象ピクセルのパラメータとして伝搬させない。

また、参照ピクセルであるピクセルｐ＝（ｕ，ｖ＋δ）である場合も、空間伝搬処理部１５は、第１マッチングスコアＳｃｏｒｅ（ｐＶｋ（ｕ，ｖ＋δ），ｍ）を求め、第１マッチングスコアＳｃｏｒｅ（ｐＶｋ（ｕ，ｖ）），ｍ）との比較を行う。そして、空間伝搬処理部１５は、すでに説明したように、参照ピクセルのパラメータを対象ピクセルのパラメータとして伝搬させるか否かの判定を、第１マッチングスコアの比較によって行う。

上述した空間伝搬処理を、対象視点画像Ｖｋのピクセルの集合Ωにおける全てのピクセルに対して行う。そして、空間伝搬処理部１５は、記憶部１９のパラメータテーブルにおけるパラメータの空間伝搬処理が終了したピクセル（終了ピクセル）の処理終了フラグを立てる。例えば、この処理終了フラグは、空間伝搬処理が終了していないピクセル（未終了ピクセル）の場合「０」であり、空間伝搬処理が終了したピクセルの場合「１」に設定されている。また、空間伝搬処理部１５は、所定の完了閾値を設け、ピクセルｍのパラメータのマッチングスコアが完了閾値を超えた場合、記憶部１９におけるパラメータテーブルの対応するピクセルの完了フラグを「０」から「１」に変更する。空間伝搬処理部１５は、ピクセルｍのパラメータを変更する際、記憶部１９におけるパラメータテーブルを参照し、完了フラグが「１」のピクセルｍに対しては伝搬処理を行わない。
上述した空間伝搬処理は、各視点画像毎に複数回ずつ行われる。

図５は、空間伝搬処理における参照ピクセルと対象ピクセルとの配置関係を示す概念図である。図５においては、対象視点画像Ｖｋにおける参照ピクセルのピクセルｐと対象ピクセルのピクセルｍとの配置関係が示されている。
ピクセルｍがピクセルｂの場合、ピクセルｐはピクセルａとなる。ピクセルｂが画素座標（ｕ，ｖ）の場合、ピクセルａが画素座標（ｕ−１，ｖ）となる。
また、ピクセルｍがピクセルｃの場合も、ピクセルｐはピクセルａとなる。ピクセルｃが画素座標（ｕ，ｖ）の場合、ピクセルａが画素座標（ｕ，ｖ−１）となる。
一方、ピクセルｍがピクセルｙの場合、ピクセルｐはピクセルｚとなる。ピクセルｙが画素座標（ｕ，ｖ）の場合、ピクセルａが画素座標（ｕ＋１，ｖ）となる。
また、ピクセルｍがピクセルｘの場合も、ピクセルｐはピクセルｚとなる。ピクセルｘが画素座標（ｕ，ｖ）の場合、ピクセルｚが画素座標（ｕ，ｖ＋１）となる。
すなわち、ピクセルａから空間伝搬処理を開始した場合、ｐＶｋ（ｕ＋δ，ｖ）及びｐＶｋ（ｕ，ｖ＋δ）におけるδは「−１」であり、ピクセルｚから空間伝搬処理を開始した場合、ｐＶｋ（ｕ＋δ，ｖ）及びｐＶｋ（ｕ，ｖ＋δ）におけるδは「＋１」である。

上述したように、空間伝搬処理は、Ｂｌｅｙｅｒの論文（M. Bleyer, C. Rhemann, and C. Rother, “PatchMatch Stereo - Stereo matchingwith slanted support windows,” Proc. British Machine Vision Conf., Vol. 11,pp. 1-11, 2011.）におけるパッチマッチステレオの空間伝搬処理と同様に、複数回の繰り返しにおいて、奇数回目に左上頂点のピクセルａから開始し、偶数回目に右下頂点のピクセルｚから開始する。すなわち、奇数回目には矩形上に配列したピクセルの集合において、所定の頂点のピクセルから、この所定の頂点に点対称の頂点のピクセルに向かって、パラメータの空間伝搬処理が行われる。
また、対象視点画像において、奇数回目に右下頂点のピクセルｚから開始し、偶数回目に左上頂点のピクセルａから開始するように構成しても良い。
また、右下頂点のピクセルと左上頂点のピクセルとでなく、対象視点画像の右上頂点のピクセルと左下頂点のピクセルとの各々を、偶数回目、奇数回目それぞれの開始するピクセルとして構成しても良い。

一方、偶数回目には矩形上に配列したピクセルの集合において、上記所定の頂点に点対称の頂点のピクセルから、この所定の頂点のピクセルに向かって、パラメータの空間伝搬処理が行われる。これにより、一方向からの空間伝搬処理では、不十分であったパラメータの伝搬が、双方向から行うことにより全てのピクセルに対して行える。例えば、一方向のみでは、空間伝搬処理を開始する頂点のピクセルにはパラメータが伝搬されない。また、一方向のみでは、途中のピクセルで真のパラメータが乱数により得られたとしても、そのピクセルより前に伝搬処理が行われるピクセルに対しては真のパラメータが伝搬されない。

＜視点伝搬処理＞
この視点伝搬処理は、パッチマッチステレオ法におけるＶｉｅｗ ｐｒｏｐａｇａｔｉｏｎの処理である。
この視点伝搬処理は、多くの視点画像間においてデプスマップの整合性が取れるとの仮定に基づいて、視点画像Ｖｋのピクセルｍのパラメータを、すでに近傍視点の画像として選択された近傍視点画像ＣＶｋのピクセルに対して伝搬させる処理である。
視点伝搬処理部１６は、対象視点画像Ｖｋのピクセルｍと対応する、近傍視点画像ＣＶｋにおけるピクセルを求める。

視点伝搬処理部１６は、ピクセルｍのパラメータにおける奥行きｄＶｋ（ｍ）を基に、対象視点画像Ｖｋのピクセルｍの座標に対して撮像視点画像Ｖｋの変換行列により座標変換を行い、対象視点画像Ｖｋの視点のカメラ座標系（３次元）における３次元座標点Ｍを復元する。そして、視点伝搬処理部１６は、この復元した３次元座標点Ｍを座標変換により近傍視点画像ＣＶｋの視点のカメラ座標系（３次元）の３次元座標点Ｍ’を求める。
以下に、３次元座標点Ｍ’の座標値を求める（４）式を示す。また、視点伝搬処理部１６は、（４）式により、 ３次元座標点Ｍ’の座標値を求める。

（４）式において、Ｍｘ’、Ｍｙ’及びＭｚ’の各々は、近傍視点画像ＣＶｋの視点におけるカメラ座標系における３次元座標点のｘ座標値、ｙ座標値、ｚ座標値それぞれを示している。また［＊］^Ｔは転置行列を示している。ｍ〜（ｍの上部に〜）は、ｍの斉次座標を示す。Ｒｃは、近傍視点画像ＣＶｋの視点のカメラ座標系における回転行列である。ＲＶｋ^−１は、対象視点画像Ｖｋの視点における回転行列の逆行列である。ｔＶｋは、対象視点画像Ｖｋの視点のカメラ座標系における並進ベクトルである。ｔｃは、近傍視点画像ＣＶｋの視点のカメラ座標系における並進ベクトルである。ＡＶｋ^−１は、対象視点画像Ｖｋの視点のカメラ座標系におけるカメラパラメータの逆行列である。

そして、視点伝搬処理部１６は、以下の（５）式を用いて、上記３次元座標点Ｍ’を近傍視点画像Ｃｖｋに投影したピクセルｍ’の座標点を求める。

（５）式において、Ａｃは、近傍視点画像ＣＶｋの視点のカメラ座標系におけるカメラパラメータの行列である。ｓは、０でない実数である。
視点伝搬処理部１６は、（５）式を用いることにより、近傍視点画像ＣＶｋ上における、近傍視点画像ＣＶｋの視点のカメラ座標系における３次元座標点Ｍ’の対応点であるピクセルｍ’の座標点を求める。
そして、視点伝搬処理部１６は、対象視点画像Ｖｋの視点のカメラ座標系に対応したピクセルｍのパラメータの法線ベクトルを、近傍視点画像ＣＶｋの視点のカメラ座標系に対応するパラメータの法線ベクトルに、以下の（６）式を用いて変換する。

（６）式において、ｎ’は、近傍視点画像ＣＶｋの視点のカメラ座標系に対応したピクセルｍ’のパラメータの法線ベクトルを示している。ｎは、対象視点画像Ｖｋの視点のカメラ座標系に対応したピクセルｍのパラメータにおける法線ベクトルを示している。ｎＸ’、ｎＹ’及びｎＺ’の各々は、近傍視点画像ＣＶｋの視点におけるカメラ座標系の３次元座標点のｘ座標値、ｙ座標値、ｚ座標値それぞれを示している。

次に、以下の（７）式は、上記（６）式より求められる近傍視点画像ＣＶｋにおけるピクセルｍ’のパラメータｐ’（ｍ’）を示している。

上記（７）式において、Ｍｚ’はピクセルｍ’における奥行きｄのパラメータを示している。ｔａｎ^−１（ｎＸ’／ｎＺ’）は、法線の傾きθＣＶｋ（ｍ’）を示している。ｔａｎ^−１（ｎＹ’／ｎＺ’）は、法線の傾きφＣＶｋ（ｍ’）を示している。

視点伝搬処理部１６は、上記（７）式を用いて近傍視点画像ＣＶｋにおけるピクセルｍ’に対するマッチングスコアＳｃｏｒｅ（ｐ’（ｍ’），ｍ’）を求める。このマッチングスコアは本実施形態における多視点画像に対応しており、詳細は後述する。
ここで、視点伝搬処理部１６は、ピクセルｍのパラメータに基づく、ピクセルｍ’のパラメータｐ’（ｍ’）を用いてマッチングスコアＳｃｏｒｅ（ｐ’（ｍ’），ｍ’）を算出する。また、視点伝搬処理部１６は、ピクセルｍ’のパラメータｐＣ（ｍ’）を、記憶部１９における近傍視点画像ＣＶｋのパラメータテーブルから読み出し、マッチングスコアＳｃｏｒｅ（ｐＣ（ｍ’），ｍ’）を算出する。

そして、視点伝搬処理部１６は、Ｓｃｏｒｅ（ｐ’（ｍ’），ｍ’）とＳｃｏｒｅ（ｐＣ（ｍ’），ｍ’）との比較を行う。
ここで、視点伝搬処理部１６は、
Ｓｃｏｒｅ（ｐ’（ｍ’），ｍ’）＞Ｓｃｏｒｅ（ｐＣ（ｍ’），ｍ’）
である場合、ピクセルｍ’のパラメータをｐＣ（ｍ’）からｐ’（ｍ’）に変換する。このとき、視点伝搬処理部１６は、記憶部１９における近傍視点画像ＣＶｋのパラメータテーブルにおけるピクセルｍ’のパラメータをｐ’（ｍ’）に書き換える。

一方、視点伝搬処理部１６は、
Ｓｃｏｒｅ（ｐ’（ｍ’），ｍ’）≦Ｓｃｏｒｅ（ｐＣ（ｍ’），ｍ’）
である場合、ピクセルｍ’のパラメータをｐＣ（ｍ’）のままとし、記憶部１９における近傍視点画像ＣＶｋのパラメータテーブルの書き換えを行わない。
上述したように、視点伝搬処理部１６は、対象視点画像Ｖｋにおけるピクセルｍのパラメータを、近傍視点画像ＣＶｋにおけるピクセルｍ’に対して伝搬させる視点伝搬処理を行う。

本実施形態においては、上述した視点伝搬処理を行うことにより、対象視点画像Ｖｋにおけるピクセルｍのパラメータを、対象視点画像Ｖｋの視点の近傍における全ての視点の近傍視点画像ＣＶｋのピクセルｍ’に対して伝搬させることができる。
しかしながら、近傍の視点の全ての近傍視点画像ＣＶｋに対してパラメータの伝搬処理を行う場合、パラメータの伝搬処理は、ステレオペア数Ｎｐａｉｒ個に対応したＮｐａｉｒ回行う必要があり、計算コストが増加してしまう。このため、本実施形態においては、近傍視点画像ＣＶｋを１視点に対応して選択し、この選択した１個の近傍視点画像ＣＶｋをステレオペアとして、視点伝搬処理を行う。これにより、ステレオペア数Ｎｐａｉｒが増加したとしても、視点伝搬処理の処理時間を一定に保つことができる。

また、近傍視点画像ＣＶｋにおける全てのピクセルｍ’に対し、対象視点画像Ｖｋのピクセルｍからのパラメータの視点伝搬処理が行われない場合もある。しかしながら、この近傍視点画像ＣＶｋが対象視点画像Ｖｋとして選択された際、空間伝搬処理により、視点伝搬処理が行われたピクセルｍ’から、他の視点伝搬処理が行われなかったピクセルｍ’に対し、視点伝搬処理で伝搬されたパラメータが伝搬する。
これにより、本実施形態においては、全ての視点画像の各々に対して、それぞれ相互にパラメータが伝搬されることになり、全ての視点画像をそれぞれの近傍視点画像として、視点伝搬処理を行った場合と同様の効果を得ることができる。

すなわち、図４において、視点伝搬処理により、対象視点画像Ｖｋにおけるピクセルｍから、近傍視点画像ＣＶｋに対応するピクセルｍ’に対してパラメータの伝搬が行われる。
世界座標系における３次元座標点Ｍと３次元座標点Ｍ’との各々の投影であるピクセルｍ、ピクセルｍ’のそれぞれは、３次元座標点Ｍと３次元座標点Ｍ’とが対応する点にあると仮定すれば、テクスチャに整合性がとれるパラメータを有することが予想される。

また、上述したように、本実施形態においては、対象視点画像Ｖｋからパラメータを伝搬させる近傍視点画像ＣＶｋをランダムに選択するため、対象視点画像Ｖｋの周囲の近傍視点画像ＣＶｋに対して、ランダムな視点画像の間隔を設け、対象視点画像Ｖｋのピクセルｍのパラメータを伝搬させることに等しい視点伝搬処理を行っている。
このため、本実施形態によれば、対象視点画像Ｖｋのピクセルｍのパラメータを伝搬させる近傍視点画像ＣＶｋをランダムに選択した場合においても、視点伝搬処理により、対象視点画像Ｖｋからステレオペアとなる近傍の視点画像の全てにパラメータを伝搬させた場合と同等の精度でのパラメータの伝搬が可能となる。また、本実施形態によれば、対象視点画像Ｖｋからパラメータを伝搬する対象として、ランダムに１個のみ近傍視点画像ＣＶｋを選択し、この近傍視点画像ＣＶｋに対して視点伝搬処理を行うことにより、ステレオペアとなる視点画像が増加しても、計算コストと復元精度とを保ったままで、視点画像間のパラメータの伝搬処理を行うことができる。

＜視点伝搬処理におけるマッチングスコア＞
本実施形態においては、ＺＮＣＣ（Zero-mean Normalized Cross Correlation 、ゼロ平均正規化相互相関）を用いて、パラメータにおける奥行きと法線の傾きとの各々に基づくマッチングスコアＳｃｏｒｅ（ｐ’（ｍ’），ｍ’）を求める。
また、本実施形態においては、ＺＮＣＣを求める際、法線の傾きを用いることで、評価対象の表面の傾きを補正し、対象視点画像Ｖｋから切り出されたウィンドウ形状に合うように、近傍視点画像ＣＶｋから切り出したウィンドウ形状を変化させている。これにより、対象視点画像と、この対象視点画像に対して傾きを有する近傍視点画像との比較に対して、ロバスト性を持ったマッチングが可能となる。

ＺＮＣＣは、以下の（８）式により表される。

上記（８）式において、ｆ−（ｆの上部に−）は以下の（９）式で表され、ｇ−（ｇの上部に−）は以下の（１０）式により表される。

（９）式及び（１０）式の双方に示すように、関数によって求められる画素値ｆ及び画素値ｇの各々において、画像全体の画素値の平均値を減算し、ｆ−（ｆの上部に−）、ｇ−（ｇの上部に−）それぞれを求めている。
本実施形態においては、上記（８）式における画素値ｆと画素値ｇとの各々を、それぞれ以下の（１１）式、（１２）式とする。

ＩＶｋは画像を示している。ｍはピクセルの座標を示している。ωはピクセル数を示している。（１１）式は、画像ＩＶｋから、ピクセルｍを中心としてω×ωピクセルのウィンドウを切り出すことを示している。
また、（１２）式における画像を示す、Ｔｒａｎｓ（Ｉ，Ｈ）は、画像Ｉを射影変換行列Ｈにより変換することを示している。この（１２）式において、あるピクセルｍのパラメータｐ（ｄ（ｍ），θ（ｍ），φ（ｍ））が与えられた場合、対象視点画像Ｖｋと近傍視点画像ＣＶｋ（単にＣとする場合もある）との間のマッチングを行うウィンドウの変形は、以下の（１３）式を用いて行われる。

上記（１３）式において、Ｒは回転行列であり、以下の（１４）式により表される。

上記（１４）式において、回転行列Ｒは、近傍視点画像ＣＶｋの視点における回転行列ＲＣと、対象視点画像Ｖｋの視点における回転行列ＲＶｋの逆行列ＲＶｋ^−１とから求められる。
また、（１３）式におけるｔは、並進ベクトルであり、以下の（１５）式により表される。

上記（１５）式において、並進ベクトルｔは、近傍視点画像ＣＶｋの視点における並進ベクトルｔＣと、対象視点画像Ｖｋの視点における並進ベクトルｔＶｋに回転行列Ｒを乗算結果とから求められる。
また、（１３）式におけるＭは、対象視点画像Ｖｋの視点におけるカメラ座標系における３次元座標点の座標値であり、以下の（１６）式により求められる。

（１６）式において、ｄは、対象視点画像Ｖｋのパラメータにおける奥行きのデータである。ＡＶｋ^−１は、対象視点画像Ｖｋの視点におけるカメラパラメータの行列ＡＶｋの逆行列である。ｕは、対象視点画像Ｖｋにおけるピクセルｍのｘ座標である。ｖは、対象視点画像Ｖｋにおけるピクセルｍのｙ座標である。
また、（１３）式におけるｎは、法線ベクトルであり、以下の（１７）式により求められる。

上記（１７）式において、θ及びφの各々は、対象視点画像Ｖｋの視点におけるカメラ座標系における角度であり、それぞれ法線がｚ軸と成す角度、法線をｘ軸ｙ軸により形成される２次元平面に投影し、投影された法線がｘ軸と成す角度を示している。

上述した（１１）式及び（１２）式の各々を用いることにより、２つの視点画像（対象視点画像Ｖｋ及び近傍視点画像ＣＶｋ）間のマッチングスコアを算出することができる。
ＺＮＣＣについては、２つの視点画像のマッチングスコアであるため、値としては１つである。このため、ＺＮＣＣの値をそのまま奥行きと法線の傾きとから求められるマッチングスコアとして用いることができる。
一方、本実施形態においては、多視点画像を用いているため、対象視点画像Ｖｋと複数の近傍視点画像ＣＶｋとにおいて、この近傍視点画像ＣＶｋの数に対応した複数のＺＮＣＣの値を得られる。しかしながら、複数のＺＮＣＣの値をそのまま、対象視点画像Ｖｋと複数の近傍視点画像ＣＶｋとの比較のマッチングスコアとして用いることができない。このため、得られた複数のＺＮＣＣの値を統合させたマッチングスコアを定義し、対象視点画像Ｖｋと複数の近傍視点画像ＣＶｋとの比較のマッチングスコアとして用いる。

また、対象視点画像Ｖｋと複数の近傍視点画像ＣＶｋとの比較におけるＺＮＣＣは、ステレオペアとなる視点画像のオクルージョンの影響により低い値となる場合がある。この結果、得られたＺＮＣＣの値を単純平均により統合させた場合、上述したようにオクルージョンの影響を受ける場合があり、信頼性の低いマッチングスコアとなってしまう。
このため、本実施形態においては、対象視点画像Ｖｋと複数の近傍視点画像ＣＶｋとを比較して得られる複数のＺＮＣＣの値を統合するために、信頼値をマッチングスコアとして用いる。

各視点画像Ｖｋ∈Ｖについて、マッチングを行うステレオペアとなる近傍視点画像を、ＣＶｋ＝｛Ｃ１，Ｃ２，Ｃ３，…，ＣＮｐａｉｒ｝⊆Ｖ＼｛Ｖｋ｝と定義する。すなわち、視点画像群Ｖにおいて対象視点画像として選択されたＶｋを除いた視点画像の中から、近傍視点画像ＣＶｋを複数選択する。ここで、ステレオペア数Ｎｐａｉｒは、マッチングスコアを求める計算に用いるステレオペアの数である。
このとき、対象視点画像Ｖｋにおけるピクセルｍのパラメータｐ＝｛ｄ，θ，φ｝におけるマッチングスコアＳｃｏｒｅ（ｐ，ｍ）が、以下の（１８）式により表される。

上記（１８）式において、ｔｈはＺＮＣＣの値を判定する所定の閾値である。また、ｆは上記（１１）式であり、ｇは上記（１２）式である。
また、（１８）式におけるＺＮＣＣ’（ｆ，ｇ，ｔｈ）は、以下の（１９）式により求められる。

（１１）式において、ＺＮＣＣ’（ｆ，ｇ，ｔｈ）は、ＺＮＣＣ（ｆ，ｇ）が閾値ｔｈより大きい場合にＺＮＣＣ（ｆ，ｇ）となり、それ以外の場合に閾値ｔｈとなる。すなわち、この閾値ｔｈを超えた場合に、ＺＮＣＣ（ｆ，ｇ）の信頼値が高いとして、（１１）式によりＺＮＣＣが算出される。

＜微調整処理＞
この微調整処理は、パッチマッチステレオ法におけるＰｌａｎｅ ｒｅｆｉｎｅｍｅｎｔの処理である。
この微調整処理は、上述した空間伝搬処理及び視点伝搬処理によるパラメータの伝搬処理のみの場合、乱数で求めた初期値によっては、精度良く探索できないパラメータが存在する。そのため、この微調整処理においては、対象ピクセルで伝搬処理が終了したピクセルｍのパラメータに対して、微少な乱数を調整値として加えてマッチングスコアを比較してパラメータを更新する。

微調整部１７は、奥行きｄＶｋ（ｍ）、θＶｋ（ｍ）及びφＶｋ（ｍ）の各々に対して乱数ΔｄＶｋ、乱数ΔθＶｋ、乱数ΔφＶｋそれぞれを発生する。
そして、微調整部１７は、Δｐ＝（ΔｄＶｋ，ΔθＶｋ，ΔφＶｋ）とし、記憶部１９における対象視点画像Ｖｋに対応したパラメータテーブルから、ピクセルｍのパラメータを読み出す。微調整部１７は、マッチングスコアＳｃｏｒｅ（ｐＶｋ（ｍ），ｍ）と、マッチングスコアＳｃｏｒｅ（ｐＶｋ（ｍ）＋Δｐ，ｍ）との各々を算出する。

微調整部１７は、マッチングスコアのＳｃｏｒｅ（ｐＶｋ（ｍ），ｍ）とＳｃｏｒｅ（ｐＶｋ（ｍ）＋Δｐ，ｍ）との各々を比較する。このとき、微調整部１７は、Ｓｃｏｒｅ（ｐＶｋ（ｍ）＋Δｐ，ｍ）＞Ｓｃｏｒｅ（ｐＶｋ（ｍ），ｍ）である場合、ｐＶｋ（ｍ）をｐＶｋ（ｍ）＋Δｐに変更する。すなわち、微調整部１７は、記憶部１９における対象視点画像Ｖｋに対応したパラメータテーブルにおいて、ｐＶｋ（ｍ）＝（ｄＶｋ（ｍ），θＶｋ（ｍ），φＶｋ（ｍ））を、ｐＶｋ（ｍ）＋ｐ＝（ｄＶｋ（ｍ）＋ΔｄＶｋ，θＶｋ（ｍ）＋ΔθＶｋ，φＶｋ（ｍ）＋ΔφＶｋ）に書き換える。

上述したΔｐは、対象視点画像Ｖｋにおけるピクセルの集合の全ピクセルから選択されたピクセルｍ毎に乱数として発生される。
本実施形態においては、初期化におけるそれぞれの乱数を生成した範囲の１／４をΔｐの生成範囲とする。例えば、奥行きｄＶｋ（ｍ）については、（１）式に示される範囲の１／４の範囲において、Δｄに対してより細かい刻み幅により、ΔｄＶｋを調整値として乱数により生成する。また、法線の傾きにおいては、±６０度であったものを±１５度として、より細かい刻み幅で、ΔθＶｋ及びΔφＶｋの調整値の各々を乱数により生成する。

また、この微調整処理は、乱数により調整値を生成するため、乱数により調整値を一度だけ生成したしても、微調整の効果を得るには不十分である。このため、微調整部１７は、ΔＰをＮｒｅｆｉｎｅ回生成し、最もマッチングスコアの高いｐＶｋに変更する更新処理を行う。
また、微調整処理を繰り返す毎に、より調整の精度を向上させるため、ΔＰの生成範囲を徐々に狭め、例えば生成範囲を１／２ずつ小さくする。

＜ピクセル単位のパラメータ伝搬の並列処理＞
以下、本実施形態において上述したパッチマッチステレオ法の空間伝搬処理、視点伝搬処理及び微調整処理をピクセル単位で並列処理化する動作について、図５を用いて説明する。以下の説明において、全ての視点画像におけるピクセルの初期化は終了した状態にある。
パッチマッチステレオ法においては、上述したように、パラメータｐを参照ピクセルから対象ピクセルに対して伝搬させていく処理が行われる。このため、空間伝搬処理、視点伝搬処理及び微調整処理を行う対象ピクセルを選択する際、伝搬処理が終了しているピクセルを参照ピクセルとする必要があり、伝搬処理を行う順序の依存性を有する。

したがって、パッチマッチステレオ法においては、ピクセルの配列においてパラメータの伝搬処理を行う対象ピクセルの選択の順序が入れ替わると、パラメータの正しい伝搬処理の結果を得ることができない。そのため、従来のパッチマッチステレオ法においては、処理順序を伝搬処理が行われたピクセルを参照ピクセルとし、この参照ピクセルに隣接するピクセルを対象ピクセルとするように、パラメータの伝搬方向を一方向、例えば図５に示す行方向（ｘ軸方向）に限定し、行毎の伝搬処理を行う並列化を行っている。

しかしながら、パラメータの伝搬方向を一方向に限定しているため、パッチマッチステレオ法によるパラメータの伝搬が十分に行われないため、精度の高いパラメータ推定が行われず、３次元形状の復元精度が行われない場合がある。
このため、本実施形態においては、パラメータの正しい伝搬処理の結果を得て、３次元形状の復元精度を向上させるため、伝搬方向を一方向のみではなく、行方向のみではなく列方向（ｙ軸方向）にも伝搬させる並列化処理を行う。
本実施形態においては、例えば、ピクセルエンジンＬＳＩ（Large Scale Integration）などの複数のスレッドの並列処理が行われるハードウェア回路を有し、複数のパラメータ伝搬処理が行われるシステムＬＳＩを用いて構成される。また、高速のＣＰＵを用いて、複数のスレッドを実行させる構成としても良い。いずれにしても、本実施形態においては、初期化部１２、視点選択部１３、空間伝搬処理部１５、視点伝搬処理部１６及び微調整部１７の各々がそれぞれのスレッドにて独立に動作し、スレッドを並列して実行できる構成となっている。

図５において、スレッド生成部１４は、対象視点画像Ｖｋにおけるピクセルの各行に対応した、空間伝搬処理部１５が行うパラメータ伝搬のスレッドを生成する（ピクセルの行毎にスレッドを対応づける）。
また、空間伝搬処理部１５は、各スレッドにおいて、各行のパラメータの伝搬を行う方向順に、ピクセルそれぞれの隣接するピクセル（同一行において隣接したピクセル、直上あるいは直下の行の隣接するピクセル）のいずれかがパラメータの伝搬処理が終了しているか否か、すなわち処理終了のフラグが立っている（「１」となっている）か否かの検出を、記憶部１９のパラメータテーブルを参照して行う。そして、空間伝搬処理部１５は、伝搬を行う方向における先頭のピクセルに隣接したピクセルのいずれかがパラメータの伝搬処理が終了していた場合、そのスレッドにおいて、先頭のピクセルを対象ピクセルとし、パラメータの伝搬処理が終了している直上あるいは直下の行の隣接ピクセルのいずれかを参照ピクセルとし、行間におけるパラメータの伝搬処理を行う。

図６は、図５における対象視点画像Ｖｋにおける各ピクセルの空間伝搬処理のスレッドについて説明する図である。図６に示すように、スレッド生成部１４は、対象視点画像Ｖｋにおけるピクセルの各行に対応した、空間伝搬処理部１５が行うパラメータ伝搬のスレッドＴＨ１、スレッドＴＨ２、…の各々を生成する。スレッドＴＨ１、スレッドＴＨ２、…の各々は、図５の対象視点画像Ｖｋにおけるピクセルの１行目、２行目、…それぞれに対応して生成される。
例えば、ピクセルａを参照ピクセルとした場合、スレッドＴＨ１において、空間伝搬処理部１５は、隣接するピクセルｂを対象ピクセルとして、空間伝搬処理によるパラメータの伝搬処理を行うことができる。そして、スレッドＴＨ１において、空間伝搬処理部１５は、ピクセルｂに対するパラメータの伝搬処理が終了した場合、このピクセルｂが参照ピクセルとなり、隣接するピクセルｄが対象ピクセルとなり、順次、スレッドＴＨ１に対応した行のパラメータの伝搬処理が行われる。スレッドＴＨ１において、空間伝搬処理部１５は、ピクセルｂに対するパラメータの伝搬処理が終了した際、記憶部１９におけるパラメータテーブルのピクセルｂの終了フラグを「０」から「１」に書き換える。

また、ピクセルａを参照ピクセルとした場合、スレッドＴＨ２において、空間伝搬処理部１５は、対象ピクセルであるピクセルｃに対して伝搬処理を行う方向に隣接するピクセルであるピクセルｅと、スレッドの処理順番が自身より後となる行において隣接するピクセルであるピクセルｆとを除き、隣接するピクセルａの伝搬処理が終了しているか否かの判定を行う。そして、スレッドＴＨ２において、空間伝搬処理部１５は、ピクセルａを参照ピクセルとし、ピクセルｃに対して空間伝搬処理によるパラメータの伝搬処理を行う。また、スレッドＴＨ２において、空間伝搬処理部１５は、ピクセルｃに対するパラメータの伝搬が終了すると、対象ピクセルをピクセルｅとし、隣接するピクセルｃを対象ピクセルとする。空間伝搬処理部１５は、ピクセルｃに対するパラメータの伝搬処理が終了した際、記憶部１９におけるパラメータテーブルのピクセルｃの終了フラグを「０」から「１」に書き換える。

そして、スレッドＴＨ２において、空間伝搬処理部１５は、対象ピクセルであるピクセルｅに対して伝搬処理を行う方向に隣接するピクセルであるピクセルｈと、スレッドの処理順番が自身より後となる行において隣接するピクセルであるピクセルｉとを除き、隣接するピクセルｂ及びピクセルｃの各々の伝搬処理が終了しているか否かの判定を行う。そして、スレッドＴＨ２において、空間伝搬処理部１５は、ピクセルｂ及びピクセルｃの各々の伝搬処理が終了した後、ピクセルｂ及びピクセルｃの各々を参照ピクセルとし、ピクセルｅに対して空間伝搬処理によるパラメータの伝搬処理を行う。

ここで、スレッドＴＨ２において、空間伝搬処理部１５は、ピクセルｂ及びピクセルｃの各々のパラメータのうち、マッチングスコアの高い方をピクセルｅのパラメータとする。そして、スレッドＴＨ２において、空間伝搬処理部１５は、ピクセルｅに対する空間伝搬処理が終了すると、記憶部１９のパラメータテーブルにおいて、ピクセルｅの終了フラグを、「０」から「１」に書き換える。
上述したように、スレッドの各々において、空間伝搬処理部１５は、順次、スレッド単位において、行毎に隣接するピクセル間におけるパラメータの空間伝搬処理を行う。

上述したスレッドの処理は、図５において、ピクセルａをパラメータ伝搬の開始ピクセルとした場合、上部のピクセルの行から下部のピクセルの行の順番に、各行において左のピクセルから右のピクセルの並び順に、空間伝搬処理が行われる場合に対応している。このとき、対象ピクセルのピクセルｍの座標値を（ｕ，ｖ）とした場合、参照ピクセルのピクセルｐの座標値が（ｕ−１，ｖ）あるいは（ｕ，ｖ−１）となる。
一方、ピクセルｚをパラメータ伝搬の開始ピクセルとした場合、下部のピクセルの行から上部のピクセルの行の順番に、各行において右のピクセルから左のピクセルの並び順に、空間伝搬処理が行われる場合もある。このとき、対象ピクセルのピクセルｍの座標値を（ｕ，ｖ）とした場合、参照ピクセルのピクセルｐの座標値が（ｕ＋１，ｖ）あるいは（ｕ，ｖ＋１）となる。

上述したように、本実施形態においては、パラメータの空間伝搬処理において、参照ピクセルとするピクセルに対する伝搬処理が終了しているか否かを、終了フラグで確認しているため、各行におけるパラメータの伝搬順序を保つことができる。また、対処ピクセルに対して２個の参照ピクセルから、すなわち行方向のみではなく列方向（ｙ軸方向）にもマッチングスコアの高い方のパラメータを伝搬させるため、パラメータ推定の精度を向上させることができる。
また、視点伝搬処理部１６は、スレッド毎に、対象視点画像Ｖｋにおける対象ピクセルに対する空間伝搬処理が終了した際、この対象ピクセルにより、近傍視点画像ＣＶｋのピクセルにおける視点伝搬処理を行う。

＜パラメータ伝搬処理の動作の説明＞
次に、パラメータ伝搬処理の動作手順について説明する。
図７は、デプスマップ生成装置のパラメータ伝搬処理の動作手順を表すフローチャートである。
ステップＳ１：
制御部１１は、伝搬処理の繰り返し回数を示す回数δを「１」とする初期化を行う。また、制御部１１は、記憶部１９におけるパラメータテーブルにおける全ての完了フラグを「０」に初期化する。
また、初期化部１２は、記憶部１９に記憶されている全ての視点画像における全てのピクセルのパラメータの初期化を、乱数を発生することにより行う。

ステップＳ２：
制御部１１は、記憶部１９におけるパラメータテーブルにおける終了フラグを「０」とする初期化を行う。

ステップＳ３：
視点選択部１３は、対象視点と成る視点画像を、記憶部１９に記憶されている視点画像のなかから選択する。

ステップＳ４：
制御部１１は、現在のパラメータの伝搬処理の回数が奇数回か偶数回かを判定、すなわち回数δが奇数か偶数かを判定する。このとき、制御部１１は、回数δが奇数の場合に処理をステップＳ５へ進め、一方回数δが偶数の場合に処理をステップＳ６へ進める。

ステップＳ５：
スレッド生成部１４は、対象視点画像Ｖｋの左上の頂部のピクセルａ（図５参照）を開始ピクセルとした場合の空間伝搬処理部１５が行うスレッドを生成する。ここで、スレッド生成部１４は、開始ピクセルがピクセルａであるため、最上部の１行目から最下部のｎ行目までのピクセルの各行の順番に対応して、スレッドＴＨ１、スレッドＴＨ２、…の各々を生成する。
そして、空間伝搬処理部１５は、各スレッドにおいて、対応する行の各ピクセルの隣接する他のピクセルにおける伝搬処理が終了したか否かを、記憶部１９におけるパラメータテーブルを参照することにより検出し、参照ピクセルから対象ピクセルに対する伝搬処理を、すでに説明したように、マッチングスコアに対応して行う。

ステップＳ６：
スレッド生成部１４は、対象視点画像Ｖｋの右下の頂部のピクセルｚ（図５参照）を開始ピクセルとした場合の空間伝搬処理部１５が行うスレッドを生成する。ここで、スレッド生成部１４は、開始ピクセルがピクセルｚであるため、最下部のｎ行目から最上部の１行目までのピクセルの各行の順番に対応して、スレッドＴＨ１、スレッドＴＨ２、…の各々を生成する。
そして、各スレッドにおいて、空間伝搬処理部１５は、対応する行の各ピクセルの隣接する他のピクセルにおける伝搬処理が終了したか否かを、記憶部１９におけるパラメータテーブルを参照することにより検出し、参照ピクセルから対象ピクセルに対する伝搬処理を、すでに説明したように、マッチングスコアに対応して行う。

ステップＳ７：
視点選択部１３は、対象視点画像Ｖｋの対象ピクセルからパラメータを伝搬する伝搬先の近傍視点画像ＣＶｋを、記憶部１９における対象視点画像Ｖｋを除いた視点画像のなかから選択する。

ステップＳ８：
各スレッドにおいて、視点伝搬処理部１６は、対象視点画像Ｖｋの対象ピクセルのパラメータを、この対象ピクセルに対応する近傍視点画像ＣＶｋのピクセルに対して伝搬させる視点伝搬処理を行う。

ステップＳ９：
各スレッドにおいて、微調整部１７は、対象視点画像Ｖｋの対象ピクセルの伝搬されたパラメータの微調整処理を、乱数により調整値を生成して行う。そして、微調整部１７は、微調整処理が終了した対象ピクセルのパラメータを空間伝搬処理部１７に出力する。
ここで、微調整部１７は、微調整処理が終了した対象ピクセルのパラメータを、記憶部１９のパラメータテーブルの対応するピクセルのレコードのパラメータの欄に書き込む。

ステップＳ１０：
各スレッドにおいて、微調整部１７は、記憶部１９のパラメータテーブルの対応するピクセルの終了フラグを「０」から「１」に書き換えて変更する。このとき、空間伝搬処理部１７は、対象ピクセルのパラメータによるマッチングスコアが、完了閾値を超えた場合、記憶部１９のパラメータテーブルにおけるこのピクセルの完了フラグを「０」から１に変更する。

ステップＳ１１：
制御部１１は、記憶部１９における対象視点画像Ｖｋに対応するパラメータテーブルを参照し、全てのピクセルの終了フラグが「１」となっているか否かの判定を行う。
このとき、制御部１１は、パラメータテーブルにおける全てのピクセルの終了フラグが「１」となっている場合、対象視点画像Ｖｋの全てのピクセルに対するパラメータの空間伝搬処理及び視点伝搬処理が終了していると判定し、処理をステップＳ１２へ進める。一方、制御部１１は、パラメータテーブルにおける全てのピクセルの終了フラグが「１」となっていない場合、対象視点画像Ｖｋの全てのピクセルに対するパラメータの空間伝搬処理及び視点伝搬処理が終了していないと判定し、処理をステップＳ４へ進める。このとき、制御部１１は、記憶部１９に記憶されている、視点画像とこの視点画像が空間伝搬処理が終了しているか否かを示すフラグとが対応した視点画像処理テーブル（不図示）に対し、全てのピクセルのパラメータの伝搬処理が終了した視点画像のフラグを立てる（「０」から「１」とする）。

また、制御部１１は、回数δが奇数の場合、開始ピクセルがピクセルａであり、最後に処理が行われる終了ピクセルがピクセルｚであるため、ピクセルｚの終了フラグのみが「１」であるか否かを判定し、一方、回数δが偶数の場合、開始ピクセルがピクセルｚであり、最後に処理が行われる終了ピクセルがピクセルａであるため、ピクセルａの終了フラグのみが「１」であるか否かを判定するように構成しても良い。

ステップＳ１２：
制御部１１は、記憶部１９におけるに視点画像処理テーブルを参照し、全ての視点画像に対するパラメータの空間伝搬処理が終了したか否か、すなわち全ての視点画像のフラグが「１」であるか否かの判定を行う。
このとき、制御部１１は、全ての視点画像に対するパラメータの空間伝搬処理が終了した場合、処理をステップＳ１３へ進める。一方、制御部１１は、全ての視点画像に対するパラメータの空間伝搬処理が終了していない場合、処理をステップＳ３へ進める。

ステップＳ１３：
制御部１１は、回数δをインクリメント（１を加算）する。

ステップＳ１４：
制御部１１は、回数δが設定数ｈを超えたか否かの判定を行う。制御部１１は、回数δが設定数ｈを超えた場合、パラメータの伝搬の処理を終了する。一方、制御部１１は、回数δが設定数ｈを超えていない（設定数ｈ以下の）場合、処理をステップＳ２へ進める。制御部１１は、回数δが設定数ｈを超えた場合、全ての視点画像の各ピクセルにおけるパラメータが推定されていると判定する。
ここで、設定数ｈは、例えば、実験的に３回以上などであり、ピクセル間のパラメータの伝搬によって、十分なパラメータの推定が行われる繰り返し回数を、３次元形状の凹凸形状に対応させて、予め実験などにより求めて設定する。

＜視点画像単位のパラメータ伝搬の並列処理＞
以下、本実施形態において上述したパッチマッチステレオ法の空間伝搬処理、視点伝搬処理及び微調整処理を視点画像単位で並列処理化する動作について、図８及び図９の各々を用いて説明する。以下の説明において、全ての視点画像におけるピクセルの初期化は終了した状態にある。
図８は、３次元形状の対象物を撮像した撮像装置の各々の視点の位置を示す図である。図８においては、例えば、対象物１００を視点Ａから視点Ｉの各々に配置した撮像装置により撮像し、複数の視点画像である多視点画像を取得している。視点Ａの近傍の視点は視点Ｂであり、視点Ｂの近傍視点は視点Ａ及び視点Ｃとなる。

図９は、一例として、視点伝搬処理における近傍視点画像を２個とした場合のグラフの構成を示している。このグラフにおいては、例えば視点Ａが視点伝搬処理を開始する開始視点画像である場合、視点Ａ→視点Ｂ→視点Ｃ→視点Ｄ→…と、順次、対象視点画像とされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。
例えば、視点Ａの視点画像を対象視点画像Ｖｋとされた場合、近傍視点画像ＣＶｋは視点Ｂと視点Ｃとの各々の視点画像である、次に、視点Ｂの視点画像が対象視点画像Ｖｋとされた場合、近傍視点画像ＣＶｋは視点Ａと視点Ｃとの各々の視点画像である。

すでに説明した視点伝搬処理において、パラメータの伝搬を行う近傍視点画像ＣＶｋを２個とした場合、対象視点画像に対する近傍視点画像ＣＶｋを選択する処理は以下のように行われる。
視点画像単位で並列化するスレッド数を、例えばＣＰＵ数に合わせて割り当てていく。ここで、グラフにより各スレッドにより、処理する視点画像の順番をグラフで設定する。

図１０は、パラメータの伝搬を行う近傍視点画像ＣＶｋが２個であり、スレッド数が２個の場合におけるスレッドの開始視点画像を示す図である。開始視点画像は、第１スレッドが視点Ａにおける視点画像であり、第２スレッドが視点Ｉにおける視点画像である。
図１０において、第１スレッドが視点Ａ→視点Ｂ→視点Ｃ→視点Ｄ→…と、順次、対象視点画像とされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。一方、第２スレッドが視点Ｉ→視点Ｈ→視点Ｇ→視点Ｆ→…と、順次、対象視点画像Ｖｋとされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。

第１スレッド及び第２スレッドの各々における開始視点画像は、互いに近傍視点画像が同一となりパラメータの伝搬処理が干渉しないように、最も離れた視点の視点画像それぞれが選択される。すなわち、スレッド生成部１４は、視点の配列から対象視点画像の選択順を示すグラフ（例えば、図９に示すグラフ）を生成する。そして、スレッド生成部１４は、スレッド数が２の場合、第１スレッド及び第２スレッドの各々を生成する。ここで、スレッド生成部１４は、最も処理順番が離れている両端部である、視点Ａ及び視点Ｉの各々の視点画像がそれぞれ第１スレッド、第２スレッドの開始視点画像とする。

第１スレッド及び第２スレッドの各々は、それぞれ視点Ａの視点画像、視点Ｉの視点画像それぞれを対象視点画像として選択し、パラメータの伝搬処理を開始する。
また、第１スレッド及び第２スレッドの各々において、すでに説明したピクセル単位におけるパラメータの伝搬の並列化処理がそれぞれ独立して行われる。近傍視点画像ＣＶｋが干渉しないためには３つ以上離れた視点画像を、それぞれ開始視点画像とする。

図１１は、パラメータの伝搬を行う近傍視点画像が２個であり、スレッド数が３個の場合におけるスレッドの開始視点画像を示す図である。開始視点画像は、第１スレッドが視点Ａにおける視点画像であり、第２スレッドが視点Ｉにおける視点画像であり、第３スレッドが視点Ｅにおける視点画像である。
図１０において、第１スレッドが視点Ａ→視点Ｂ→視点Ｃ→視点Ｄ→…と、順次、対象視点画像とされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。一方、第２スレッドが視点Ｉ→視点Ｈ→視点Ｇ→視点Ｆ→…と、順次、対象視点画像Ｖｋとされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。また、第２スレッドが視点Ｅ→視点Ｄ→視点Ｆ→視点Ｃ→…と、順次、対象視点画像Ｖｋとされて、隣接する視点間の視点画像間におけるパラメータの視線伝搬処理が行われる。

第１スレッド、第２スレッド及び第３スレッドの各々における開始視点画像は、互いに近傍視点画像が同一となりパラメータの伝搬処理が干渉しないように、最も離れた視点の視点画像それぞれが選択される。すなわち、スレッド生成部１４は、図１０の場合と同様に、視点の配列から対象視点画像の選択順を示すグラフ（例えば、図９に示すグラフ）を生成する。そして、スレッド生成部１４は、スレッド数が３の場合、第１スレッド、第２スレッド及び第３スレッドの各々を生成する。ここで、スレッド生成部１４は、最も処理順番が離れている両端部である、視点Ａ、視点Ｉ及び視点Ｅの各々の視点画像がそれぞれ第１スレッド、第２スレッド、第３スレッドの開始視点画像とする。

第１スレッド及び第２スレッドの各々は、それぞれ視点Ａの視点画像、視点Ｉの視点画像、視点Ｅの視点画像それぞれを対象視点画像として選択し、パラメータの伝搬処理を開始する。
また、第１スレッド、第２スレッド及び第３スレッドの各々において、すでに説明したピクセル単位におけるパラメータの伝搬の並列化処理がそれぞれ独立して行われる。近傍視点画像ＣＶｋが干渉しないためには３つ以上離れた視点画像を、それぞれ開始視点画像とする。

＜３次元形状の復元処理＞
デプスマップ生成部１８は、記憶部１９に記憶されている、それぞれの視点画像のパラメータテーブルに基づき、世界座標系における３次元座標点群（３次元座標点Ｍの群）における３次元座標点各々の座標値を求めるデプスマップを求める。そして、デプスマップ生成部１８は、生成した視点画像Ｖｋ毎のデプスマップを記憶部１９に書き込んで記憶させる、あるいは外部の３次元形状復元装置（不図示）に対して出力する。
３次元形状復元装置は、視点画像Ｖｋ（∈Ｖ）のデプスマップにおいて、それぞれのピクセルｍの奥行きをｄＶｋ（ｍ）とし、この視点画像Ｖｋを撮像した撮像装置（例えば、カメラ）の内部パラメータをＡＶｋとし、外部パラメータをＲＶｋ（回転行列）、ｔＶｋ（並進ベクトル）とした場合、視点画像Ｖｋのピクセルｍ（座標値）から復元される、世界座標系における３次元座標点Ｍの座標値は、以下の（２０）式で表される。

そして、３次元形状復元装置は、上記（３）式により、全ての視点画像Ｖｋのピクセルｍの３次元座標点Ｍの座標値を復元する。そして、３次元形状復元装置は、全ての視点画像Ｖｋから得られた３次元座標点の点群を統合することにより、３次元形状の復元を行う。
また、上記３次元形状復元装置に本実施形態によるデプスマップ生成装置を含め、視点画像を入力することにより、デプスマップを生成し、３次元形状を復元する３次元形状復元装置として構成しても良い。

本実施形態によれば、上述したように、初期値を乱数として生成しており、視点画像のピクセル数が大きいほど、初期値として与えられる乱数の数が増加し、空間伝搬処理における周囲の隣接したピクセルへの並列処理によるパラメータの伝搬を行うため、真値に近い値を、高速に各ピクセルに与えることが可能となる。これにより、本実施形態によれば、視点画像におけるピクセルにおけるパラメータの推定が高い精度で高速に行うことができ、高精度のデプスマップの生成が可能となる。

また、本実施形態によれば、初期値を乱数として生成しており、多視点画像の数が多いほど、対象視点画像で初期値として与えられた真値に近いパラメータが視点伝搬処理によって近傍視点画像に伝搬される確率が高くなり、パラメータの空間伝搬処理及び視点伝搬処理の各々を並列化して行うため、従来手法よりも少ない繰り返し数で、各ピクセルのパラメータの推定の結果を高速に収束させることができる。
また、本実施形態によれば、並列化した視点伝搬処理によって、複数の視点画像のパラメータを伝播させることにより、視点画像においてテクスチャの変化が少ない領域に対しても、高速に高い精度でパラメータを推定することが可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

また、上記に説明した各装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１１…制御部
１２…初期化部
１３…視点選択部
１４…スレッド生成部
１５…空間伝搬処理部
１６…視点伝搬処理部
１７…微調整部
１８…デプスマップ生成部
１９…記憶部

Claims (9)

1. パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置であり、
   デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化部と、
   対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理部と、
   対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理部と、
   複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成部と
   を備え、
   前記対象視点画像のピクセルは、格子状に配置されており、
   前記空間伝搬処理部が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理部が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行う
   ことを特徴とするデプスマップ生成装置。
2. パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置であり、
   デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化部と、
   対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理部と、
   対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理部と、
   複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成部と
   を備え、
   前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行う
   ことを特徴とするデプスマップ生成装置。
3. 前記空間伝搬処理部が、パラメータの伝搬処理を所定の複数回繰り返して行い、当該空間伝搬処理部が、伝搬の処理を行う際の回数が奇数回の場合、前記対象視点画像の矩形形状における所定の頂点である第１頂点のピクセルからパラメータを伝搬させる処理を行い、伝搬の処理を行う際の回数が偶数回の場合、当該対象視点の前記第１頂点の点対称の位置にある第２頂点のピクセルからパラメータを伝搬させる処理を行う
   ことを特徴とする請求項１または２に記載のデプスマップ生成装置。
4. 前記空間伝搬処理部及び前記視点伝搬処理部の各々におけるパラメータの伝搬処理が終了した終了ピクセルに対して、当該ピクセルに伝搬されたパラメータの微調整を、乱数により発生した調整値により行うパラメータ微調整部
   をさらに備える
   ことを特徴とする請求項１から請求項３のいずれか一項に記載のデプスマップ生成装置。
5. 前記空間伝搬処理部が、前記複数の対象視点画像に対して並列にパラメータの伝搬処理を行う
   ことを特徴とする請求項１から請求項４のいずれか一項に記載のデプスマップ生成装置。
6. パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成方法であり、
   初期化部が、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化過程と、
   空間伝搬処理部が、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理過程と、
   視点伝搬処理部が、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理過程と、
   デプスマップ生成部が、複数の異なる前記視点画像の前記パラメータから、前記視点画
   像毎のデプスマップを生成するデプスマップ生成過程と
   を含み、
   前記対象視点画像のピクセルは、格子状に配置されており、
   前記空間伝搬処理部が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理部が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行う
   ことを特徴とするデプスマップ生成方法。
7. パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成方法であり、
   初期化部が、デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化過程と、
   空間伝搬処理部が、対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理過程と、
   視点伝搬処理部が、対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理過程と、
   デプスマップ生成部が、複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成過程と
   を含み、
   前記空間伝搬処理部が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理部が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、当該対象視点画像に対応する前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行う
   ことを特徴とするデプスマップ生成方法。
8. パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置の処理をコンピュータに実行させるプログラムであり、
   前記コンピュータを、
   デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化手段、
   対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理手段、
   対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理手段、
   複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成手段
   として機能させるプログラムであって、
   前記対象視点画像のピクセルは、格子状に配置されており、
   前記空間伝搬処理手段が、前記対象視点画像の各行のごとに前記パラメータの伝搬を行う方向の先頭から順に前記ピクセルを対象ピクセルとして選択し、選択した前記対象ピクセルと同一行、または、直上の行、または、直下の行において隣接するいずれかのピクセルが、前記パラメータが伝搬されたピクセルである終了ピクセルになったタイミングで、前記終了ピクセルから前記対象ピクセルに前記パラメータを伝搬する行方向の処理を各行ごとに並列して行い、前記対象視点画像の各行の前記パラメータの伝搬を行う方向の先頭のピクセルの各々の直上の行、または、直下の行いずれかにおいて隣接するピクセルが前記終了ピクセルになったタイミングで、当該行における前記行方向の処理を開始し、また前記視点伝搬処理手段が、前記終了ピクセル各々のパラメータを、前記近傍視点画像の前記パラメータの伝搬が終了していない未終了ピクセルに対して伝搬させる処理を並列して行う
   プログラム。
9. パッチマッチステレオ法を用いて３次元画像復元に用いるデプスマップを作成するデプスマップ生成装置の処理をコンピュータに実行させるプログラムであり、
   前記コンピュータを、
   デプスマップの生成に用いる全ての視点の視点画像各々において深度情報及び法線情報を含むパラメータをピクセル毎に乱数により生成して初期化する初期化手段、
   対象視点の画像である対象視点画像における隣接するピクセル間において、前記パラメータを所定の第１評価値に対応して伝搬させる空間伝搬処理手段、
   対象視点画像と前記対象視点の近傍の視点である近傍視点の画像である近傍視点画像とのピクセル間で前記パラメータを、所定の第２評価値に対応して伝搬させる視点伝搬処理手段、
   複数の異なる前記視点画像の前記パラメータから、前記視点画像毎のデプスマップを生成するデプスマップ生成手段
   として機能させるプログラムであって、
   前記空間伝搬処理手段が、パラメータが伝搬されたピクセルである終了ピクセルの各々から、当該終了ピクセルそれぞれに隣接する伝搬の終了していない未終了ピクセルに対してパラメータを伝搬する処理を並列して行い、また前記視点伝搬処理手段が、互いに前記近傍視点画像が同一となって前記パラメータの伝搬が干渉することのないように最も離れた複数の視点の視点画像を開始視点画像とし、複数の前記開始視点画像の各々を最初の対象視点画像として選択し、選択した前記対象視点画像の近傍視点の視点画像を次の対象視点画像として選択することを繰り返し、前記対象視点画像の前記終了ピクセル各々のパラメータを、前記近傍視点画像の未終了ピクセルに対して伝搬させる処理を複数の前記対象視点画像ごとに並列して行う
   プログラム。

Images