JP5845123B2

JP5845123B2 - ３次元モデル−インテグラル画像変換装置およびそのプログラム

Info

Publication number: JP5845123B2
Application number: JP2012064679A
Authority: JP
Inventors: 健介久富; 健佑池谷; 片山　美和; 美和片山; 岩舘　祐一; 祐一岩舘
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2012-03-22
Filing date: 2012-03-22
Publication date: 2016-01-20
Anticipated expiration: 2032-03-22
Also published as: JP2013196532A

Description

本発明は、被写体の３次元形状（３次元モデル）をインテグラル画像に変換する３次元モデル−インテグラル画像変換装置およびそのプログラムに関するものである。

従来、図１２に示すように、異なる位置に配置した複数のカメラ２で撮影して得た被写体Ｓの多視点画像のうち、隣り合う２，３台のカメラ画像を用いてそれらの画像間の対応関係を画素ごとに求めることで、三角測量の原理によって被写体Ｓの３次元形状（３次元モデル）を復元できることが知られている。また、非特許文献１には、このように取得された３次元モデルを演算機内の仮想空間に２次元の仮想レンズアレー（仮想レンズ（マイクロレンズ）を２次元状に配列したレンズ板）や仮想ディスプレイとともに配置し、光線追跡法によって３次元モデルをインテグラル画像に変換することが記載されている。

この光線追跡法では、まず、仮想ディスプレイの各画素を発し、仮想レンズアレーの各仮想レンズの中央を通る仮想空間内の各光線を幾何的に追跡する。次に、入力された３次元モデルの表面と交差する点の輝度値または色情報を仮想ディスプレイの該当画素に付与することで、当該３次元モデルを、各仮想レンズに対応した要素画像が２次元状に並んだインテグラル画像に変換する。そして、このように変換されたインテグラル画像を実空間のディスプレイに表示し、ディスプレイ面から焦点距離の位置に２次元レンズアレーを配置すると、方向に応じてディスプレイから異なる光線を発することができるため、眼鏡をかけることなく左右の目に異なる光線を入射させることができ、立体の再生像を再現することができる。

岩舘、片山、「斜投影によるインテグラル立体像の生成手法」、映情学技報、34(43)、pp.17-20、2010年10月

しかしながら、このようにして生成されたインテグラル方式の立体再生像は、図１２に示すように、多視点画像から選んだ、互いに近接した２，３台のカメラ画像から復元された３次元モデルを用いているため、カメラ２の設置角度から外れる領域や、被写体Ｓにおける他の物体の陰になっている一部の領域はいずれのカメラ画像にも映らず、復元することができない。具体的には、従来のインテグラル方式の立体再生像は、図１２に示すように、被写体Ｓの周囲の黒い線の領域のみが映ったカメラ画像から復元された３次元モデルであるため、黒い線の領域以外は反映されないことになる。

このようないずれのカメラ画像にも映らない領域は、復元された３次元モデルをインテグラル画像に変換してレンズアレーを通して見ると、３次元形状情報が欠落しているため、再生像が再現されなくなり、当該再生像の品質に大きな影響を与えることになる。

本発明はかかる点に鑑みてなされたものであって、被写体から取得された３次元モデルの欠落領域を可能な限り縮小し、インテグラル方式の立体再生像の品質を改善することができる３次元モデル−インテグラル画像変換装置およびそのプログラムを提供することを課題とする。

前記課題を解決するために請求項１に係る３次元モデル−インテグラル画像変換装置は、同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、３次元モデル−ＩＰ変換手段と、中間値フィルタと、合成制御手段と、を備える構成とした。

このような構成を備える３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、３次元モデルとを仮想空間内に配置し、仮想レンズの中心を通り、かつ、３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した３次元モデルの輝度値または色情報を割り当てるとともに、３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、複数の３次元モデルをそれぞれインテグラル画像に変換する。また、３次元モデル−インテグラル画像変換装置は、中間値フィルタによって、３次元モデル−ＩＰ変換手段により変換された複数のインテグラル画像の同一位置の画素について、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、中間値となる輝度値または色情報を選択する。そして、３次元モデル−インテグラル画像変換装置は、合成制御手段によって、中間値フィルタにより選択された画素ごとの輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

これにより、３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、光線追跡法を用いて、被写体の複数の３次元モデルのそれぞれをインテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置は、中間値フィルタによって、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、複数のインテグラル画像の同一位置の画素が有する輝度値または色情報のうちの中間値を選択し、合成制御手段によって、インテグラル画像の画素ごとに、選択された輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置は、例えば３次元形状の復元誤差等が原因で、輝度値または色情報が他のインテグラル画像の輝度値または色情報と大きく異なるアウトライヤー（外れ値）を排除することができるとともに、欠落画素についても、他のインテグラル画像で輝度値または色情報が求まっている場合はその値で補完することができる。

また、前記課題を解決するために請求項２に係る３次元モデル−インテグラル画像変換装置は、同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、３次元モデル−ＩＰ変換手段と、距離変換手段と、距離３次元モデル−ＩＰ変換手段と、中間値フィルタと、合成制御手段と、を備える構成とした。

このような構成を備える３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、３次元モデルとを仮想空間内に配置し、仮想レンズの中心を通り、かつ、３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した３次元モデルの輝度値または色情報を割り当てるとともに、３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、複数の３次元モデルをそれぞれインテグラル画像に変換する。また、３次元モデル−インテグラル画像変換装置は、距離変換手段によって、仮想ディスプレイと、３次元モデルとを仮想空間内に配置し、仮想ディスプレイから３次元モデルの表面までの距離を算出し、当該距離を３次元モデルの輝度値または色情報と置き換えることで、複数の３次元モデルをそれぞれ距離３次元モデルに変換する。また、３次元モデル−インテグラル画像変換装置は、距離３次元モデル−ＩＰ変換手段によって、仮想ディスプレイと、仮想レンズアレーと、距離３次元モデルとを仮想空間内に配置し、仮想レンズの中心を通り、かつ、距離３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した距離３次元モデルの距離値を割り当てるとともに、距離３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、欠落画素を示す所定の距離値を割り当てることで、複数の距離３次元モデルをそれぞれ距離インテグラル画像に変換する。また、３次元モデル−インテグラル画像変換装置は、中間値フィルタによって、距離３次元モデル−ＩＰ変換手段により変換された複数の距離インテグラル画像の同一位置の画素について、欠落画素を示す所定の距離値を除外した上で、中間値となる距離値を選択する。そして、３次元モデル−インテグラル画像変換装置は、合成制御手段によって、距離インテグラル画像と同じ３次元モデルから変換されたインテグラル画像の輝度値または色情報のうち、中間値フィルタにより選択された距離値の画素と同一位置の画素の輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

これにより、３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、光線追跡法を用いて、被写体の複数の３次元モデルのそれぞれをインテグラル画像に変換し、距離３次元モデル−ＩＰ変換手段によって、光線追跡法を用いて、被写体の複数の３次元モデルのそれぞれを距離インテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置は、中間値フィルタによって、欠落画素を示す所定の距離値を除外した上で、複数の距離インテグラル画像の同一位置の画素が有する距離値のうちの中間値を選択し、合成制御手段によって、インテグラル画像の画素ごとに、当該中間値に対応するインテグラル画像の輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置は、例えば３次元形状の復元誤差等が原因で、距離値が他の距離インテグラル画像の距離値と大きく異なるアウトライヤー（外れ値）を排除することができるとともに、欠落画素についても、他のインテグラル画像で輝度値または色情報が求まっている場合はその値で補完することができる。

また、前記課題を解決するために請求項３に係る３次元モデル−インテグラル画像変換装置は、同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、３次元モデル−ＩＰ変換手段と、評価値変換手段と、評価値３次元モデル−ＩＰ変換手段と、中間値フィルタと、合成制御手段と、を備える構成とした。

このような構成を備える３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、３次元モデルとを仮想空間内に配置し、仮想レンズの中心を通り、かつ、３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した３次元モデルの輝度値または色情報を割り当てるとともに、３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、複数の３次元モデルをそれぞれインテグラル画像に変換する。また、３次元モデル−インテグラル画像変換装置は、評価値変換手段によって、３次元モデルが予め保持する当該３次元モデルの頂点ごとの確からしさを示す評価値を抽出し、当該評価値を３次元モデルの輝度値または色情報と置き換えることで、複数の３次元モデルをそれぞれ評価値３次元モデルに変換する。また、３次元モデル−インテグラル画像変換装置は、評価値３次元モデル−ＩＰ変換手段によって、仮想ディスプレイと、仮想レンズアレーと、評価値３次元モデルとを仮想空間内に配置し、仮想レンズの中心を通り、かつ、評価値３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した評価値３次元モデルの評価値を割り当てるとともに、評価値３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、欠落画素を示す所定の評価値を割り当てることで、複数の評価値３次元モデルをそれぞれ評価値インテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置は、合成制御手段によって、評価値３次元モデル−ＩＰ変換手段によって変換された複数の評価値インテグラル画像の同一位置の画素について、欠落画素を示す所定の評価値を除外した上で、最も高い評価値を選択し、評価値インテグラル画像と同じ３次元モデルから変換されたインテグラル画像の輝度値または色情報のうち、選択された評価値の画素と同一位置の画素の輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

これにより、３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、光線追跡法を用いて、被写体の複数の３次元モデルのそれぞれをインテグラル画像に変換し、評価値３次元モデル−ＩＰ変換手段によって、光線追跡法を用いて、被写体の複数の３次元モデルのそれぞれを評価値インテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置は、合成制御手段によって、欠落画素を示す所定の評価値を除外した上で、複数の評価値インテグラル画像の同一位置の画素が有する最も高い評価値を選択し、インテグラル画像の画素ごとに、当該評価値に対応するインテグラル画像の輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置は、入力された複数のインテグラル画像の輝度値の中から評価値の高い輝度値を採用し、また欠落画素に対しても、他のインテグラル画像における輝度値の中で最も評価値の高い輝度値で補完することができる。

前記課題を解決するために請求項４に係る３次元モデル−インテグラル画像変換装置は、同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、３次元モデル−ＩＰ変換手段と、合成制御手段と、を備える構成とした。

このような構成を備える３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、３次元モデルとを仮想空間内に配置し、仮想レンズの中心を通り、かつ、３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した３次元モデルの輝度値または色情報を割り当てるとともに、３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、複数の３次元モデルをそれぞれインテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置は、合成制御手段によって、３次元モデル−ＩＰ変換手段により変換された複数のインテグラル画像の同一位置の画素について、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、予め定められた優先順位が最も高い３次元モデルから変換されたインテグラル画像の輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

これにより、３次元モデル−インテグラル画像変換装置は、３次元モデル−ＩＰ変換手段によって、光線追跡法を用いて、被写体の複数の３次元モデルのそれぞれをインテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置は、合成制御手段によって、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、インテグラル画像の画素ごとに、予め定められた優先順位が最も高い３次元モデルから変換されたインテグラル画像の輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置は、３次元モデルに予め優先順位が付与されており、優先順位の高い３次元モデルを変換したインテグラル画像から優先的に輝度値または色情報を割り当てるため、隣り合う画素で同じインテグラル画像から割り当てられる頻度が高くなり、画素間での連続性が高くなるとともに、欠落画素に対しても、他のインテグラル画像で取得できた輝度値の中で最も優先順位の高い輝度値で補完できる。

そして、前記課題を解決するために請求項５に係る３次元モデル−インテグラル画像変換プログラムは、同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換するために、コンピュータを、３次元モデル−ＩＰ変換手段、中間値フィルタ、合成制御手段、として機能させることとした。

このような構成を備える３次元モデル−インテグラル画像変換プログラムは、３次元モデル−ＩＰ変換手段によって、仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、３次元モデルとを仮想空間内に配置し、仮想レンズの中心を通り、かつ、３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した３次元モデルの輝度値または色情報を割り当てるとともに、３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、複数の３次元モデルをそれぞれインテグラル画像に変換する。また、３次元モデル−インテグラル画像変換プログラムは、中間値フィルタによって、３次元モデル−ＩＰ変換手段により変換された複数のインテグラル画像の同一位置の画素について、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、中間値となる輝度値または色情報を選択する。そして、３次元モデル−インテグラル画像変換プログラムは、合成制御手段によって、中間値フィルタにより選択された画素ごとの輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

これにより、３次元モデル−インテグラル画像変換プログラムは、３次元モデル−ＩＰ変換手段によって、光線追跡法を用いて、被写体の複数の３次元モデルのそれぞれをインテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換プログラムは、中間値フィルタによって、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、複数のインテグラル画像の同一位置の画素が有する輝度値または色情報のうちの中間値を選択し、合成制御手段によって、インテグラル画像の画素ごとに、選択された輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換プログラムは、例えば３次元形状の復元誤差等が原因で、輝度値または色情報が他のインテグラル画像の輝度値または色情報と大きく異なるアウトライヤー（外れ値）を排除することができるとともに、欠落画素についても、他のインテグラル画像で輝度値または色情報が求まっている場合はその値で補完することができる。

請求項１および請求項５に係る発明によれば、被写体の多視点画像から隣り合う複数枚の画像の組を複数仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。

請求項２に係る発明によれば、被写体の多視点画像から隣り合う複数枚の画像の組を複数仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。また、請求項２に係る発明によれば、３次元モデルの距離値を加味して複数の３次元モデルから１つのインテグラル画像を生成するため、３次元モデルにより忠実なインテグラル画像を生成することができる。

請求項３に係る発明によれば、被写体の多視点画像から隣り合う複数枚の画像の組を複数仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。また、請求項３に係る発明によれば、３次元モデルの評価値の高さを基準として複数の３次元モデルから１つのインテグラル画像を生成するため、複数のインテグラル画像から輝度値または色情報を選択するためのフィルタリング処理が不要となり、より少ない処理でインテグラル画像を生成することができる。

請求項４に係る発明によれば、被写体の多視点画像から隣り合う複数枚の画像の組を複数仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。また、請求項４に係る発明によれば、予め定められた３次元モデルの優先順位の高さを基準として複数の３次元モデルから１つのインテグラル画像を生成するため、複数のインテグラル画像から輝度値または色情報を選択するためのフィルタリング処理が不要となり、より少ない処理でインテグラル画像を生成することができる。

本発明の第１実施形態に係る３次元モデル−インテグラル画像変換装置を含む３次元モデル−インテグラル画像変換システムの全体構成を示すブロック図である。本発明に係る３次元モデル−インテグラル画像変換システムにおける被写体に対する複数のカメラの配置位置の一例を示す概略図である。本発明に係る３次元モデル−インテグラル画像変換システムの３次元形状復元手段における光線追跡法の処理を示す概略図である。本発明の第１実施形態に係る３次元モデル−インテグラル画像変換装置の中間値フィルタおよび合成制御手段における処理の一例を示す概略図である。本発明の第１実施形態に係る３次元モデル−インテグラル画像変換装置の中間値フィルタおよび合成制御手段における処理のその他の例を示す概略図である。本発明の第１実施形態に係る３次元モデル−インテグラル画像変換装置を含む３次元モデル−インテグラル画像変換システムの処理手順を示すフローチャートである。本発明の第２実施形態に係る３次元モデル−インテグラル画像変換装置を含む３次元モデル−インテグラル画像変換システムの全体構成を示すブロック図である。本発明の第３実施形態に係る３次元モデル−インテグラル画像変換装置を含む３次元モデル−インテグラル画像変換システムの全体構成を示すブロック図である。本発明の第４実施形態に係る３次元モデル−インテグラル画像変換装置を含む３次元モデル−インテグラル画像変換システムの全体構成を示すブロック図である。本発明の第５実施形態に係る３次元モデル−インテグラル画像変換装置を含む３次元モデル−インテグラル画像変換システムの全体構成を示すブロック図である。本発明に係る３次元モデル−インテグラル画像変換システムにおける被写体に対する複数のカメラの配置位置のその他の例を示す概略図である。従来技術に係る３次元モデル−インテグラル画像変換システムにおける被写体に対する複数のカメラの配置位置のその他の例を示す概略図である。

以下、本発明の実施形態に係る３次元モデル−インテグラル画像変換装置について、図面を参照しながら説明する。なお、以下の説明において、同一の名称および符号については原則として同一の手段を示しており、詳細説明を適宜省略する。

［第１実施形態］
本発明の第１実施形態に係る３次元モデル−インテグラル画像変換装置１の構成について、図１〜図５を参照しながら説明する。３次元モデル−インテグラル画像変換装置１は、３次元モデルをインテグラル画像に変換するものである。３次元モデル−インテグラル画像変換装置１は、具体的には図１および図２に示すように、同一の被写体Ｓを複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する。

ここで、３次元モデル−インテグラル画像変換装置１は、図１に示すように、当該３次元モデル−インテグラル画像変換装置１と、カメラ２と、カメラパラメータ取得手段３と、３次元形状復元手段４と、からなる３次元モデル−インテグラル画像変換システムの一部を構成している。以下、３次元モデル−インテグラル画像変換システムにおける３次元モデル−インテグラル画像変換装置１以外の構成について先に説明する。

カメラ２は、被写体Ｓを撮影するものである。カメラ２は、ここでは図２に示すように、合計９台配置される。そして、カメラ２は、３台ずつ並列するように配置し、第１〜第３カメラ群が形成されるように構成する。なお、ここでは図１および図２に示すように、９台のカメラ２の一端に配置されたカメラ２を「第１カメラ」と呼び、９台のカメラ２の他端に配置されたカメラ２を「第９カメラ」と呼ぶこととする。複数のカメラ２は、図１に示すように、撮影した被写体Ｓの画像をカメラパラメータ取得手段３と、３次元形状復元手段４とに出力する。

カメラパラメータ取得手段３は、カメラ２によって撮影された画像からカメラパラメータを取得するものである。カメラパラメータ取得手段３は、例えば以下の参考文献１に記載されているように、画像内から抽出した特徴点の画像間の対応関係を用いて、カメラ２の焦点距離等のレンズ系のパラメータと、カメラの回転や並進等の姿勢に関するパラメータと、を取得することができる。

参考文献１：Noah Snavely，Steven M．Seitz, Richard Szeliski，「Modeling the World from Internet Photo Collections」，International Journal of Computer Vision，80(2) ，189-210，November 2008

また、カメラパラメータ取得手段３は、複数のカメラ２を設置した後、被写体Ｓの撮影の前に、既知の位置に点群が描画されているパターンを全てのカメラ２で同時に撮影し、撮影された全てのカメラ２の画像をカメラパラメータ取得手段３に入力し、例えば以下の参考文献２に記載されているような手法を用いて、カメラパラメータを取得することも可能である。

参考文献２：R．Y．Tsai，「A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses．」，IEEE Journal of Robotics and Automation，RA-3(4) ，pp323-344，1987

そして、カメラパラメータ取得手段３は、前記したいずれかの方法によって取得したカメラパラメータを、図１に示すように、３次元形状復元手段４に出力する。なお、図１に示すように、複数のカメラパラメータ取得手段３のうち、上から１〜３段目のカメラパラメータ取得手段３はそれぞれ第１〜第３カメラのカメラパラメータを取得して図１における最も上の３次元形状復元手段４に出力し、上から４〜６段目のカメラパラメータ取得手段３はそれぞれ第４〜第６カメラのカメラパラメータを取得して図１における真ん中の３次元形状復元手段４に出力し、上から７〜９段目のカメラパラメータ取得手段３はそれぞれ第７〜第９カメラのカメラパラメータを取得して図１における最も下の３次元形状復元手段４に出力する。

３次元形状復元手段４は、カメラ２によって撮影された複数の画像から被写体Ｓの３次元形状を復元することで、３次元モデルを取得するものである。ここで、３次元モデルとは、被写体Ｓの３次元形状を示す情報であり、被写体Ｓの頂点の位置（ｘ，ｙ，ｚ）と、頂点の色（Ｙ値またはＲＧＢ値）と、ポリゴン情報とから構成される。

３次元形状復元手段４には、例えば図２のように、第１〜第３カメラからなる第１カメラ群と、第４〜第６カメラからなる第２カメラ群と、第７〜第９カメラからなる第３カメラ群とによって撮影された複数の画像と、各々のカメラパラメータとが入力される。そして、３次元形状復元手段４は、例えば第１〜第３カメラ群のそれぞれから入力された３枚の画像を左画像、中央画像、右画像と定義した上で、「左画像と中央画像」、「中央画像と右画像」の２つの画像をステレオ画像として、以下の参考文献３に記載されているような手法を用いて、３次元形状を復元する。そして、３次元形状復元手段４は、図１に示すように、復元した３次元形状を含む３次元モデルを３次元モデル−インテグラル画像変換装置１の３次元モデル−ＩＰ変換手段１０１に出力する。

参考文献３：D．Scharstein and R．Szeliski，「A taxonomy and evaluation of dense two-frame stereo correspondence algorithms．」，International Journal of Computer Vision，47(1/2/3):7-42，April-June，2002

なお、参考文献３には、３次元形状の具体的な復元方法として、ＳＳＤ（Sum of Squared Difference）やＮＣＣ（Normal Cross Correlation）やＺＮＣＣ（Zero-mean Normal Cross Correlation）といった相関値を用いた評価値を求め、Graphcut等の最適化アルゴリズム手法を用いて被写体Ｓの３次元形状を復元し、頂点とその点の輝度値、ポリゴンの組み方で構成される３次元モデルを出力することが記載されている。３次元形状の頂点の色をポリゴン内で内挿する代わりにポリゴンにテクスチャ画像を貼る場合には、テクスチャ画像とその貼る位置も３次元モデルに含まれることになる。

ここで、図１に示すように、複数の３次元形状復元手段４によってそれぞれ３次元モデルを取得する場合、頂点の座標が同じ世界座標系で記載されている必要がある。従って、複数の３次元形状復元手段４によって取得された３次元モデルが異なる座標系で記載されている場合、３次元形状復元手段４は、３次元モデル−インテグラル画像変換装置１に３次元モデルを出力する前に、カメラパラメータ取得手段３で取得したカメラパラメータを用いて、同一世界座標系に変換する。なお、３次元形状の頂点の輝度値と座標、ポリゴンの組み方やテクスチャ画像や貼り付け位置については、３次元モデルに含めず、既存のＶＲＭＬ形式やＯＢＪ形式等のフォーマットで、３次元モデル−インテグラル画像変換装置１に出力することも可能である。

以下、３次元モデル−インテグラル画像変換装置１の構成について説明する。３次元モデル−インテグラル画像変換装置１は、図１に示すように、３次元モデル−ＩＰ変換手段１０１を備えるＩＰ生成手段１０と、中間値フィルタ１１１および合成制御手段１１２を備えるＩＰ合成手段１１と、を備えている。

３次元モデル−ＩＰ変換手段１０１は、３次元モデルをインテグラル画像に変換するものである。３次元モデル−ＩＰ変換手段１０１は、前記したように光線追跡法によって３次元モデルをインテグラル画像に変換する。

３次元モデル−ＩＰ変換手段１０１は、具体的には図３に示すように、まず仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、３次元形状復元手段４によって取得された３次元モデルとを仮想空間内に配置する。なお、仮想レンズアレーは、図３に示すように、仮想ディスプレイから焦点距離だけ離れた位置に配置する。次に、３次元モデル−ＩＰ変換手段１０１は、図３に示すように、仮想ディスプレイから発せられて仮想レンズの中心を通る各光線を追跡する。

そして、３次元モデル−ＩＰ変換手段１０１は、図３に示すように、３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した３次元モデルの表面の輝度値（例えば０〜２５５の値）または色情報（例えばＲＧＢごとの０〜２５５の値）を割り当てる。その際、３次元モデル−ＩＰ変換手段１０１は、前記した光線と交差した３次元モデルの表面の輝度値が０の場合は、対応する仮想ディスプレイ上の画素に１の値を割り当てる。また、３次元モデル−ＩＰ変換手段１０１は、前記した光線と交差した３次元モデルの表面の色情報がＲ＝０，Ｇ＝０，Ｂ＝０の場合は、対応する仮想ディスプレイ上の画素にＲ＝０，Ｇ＝０，Ｂ＝１の値を割り当てる。なお、仮想ディスプレイ上に輝度値を割り当てるとは、具体的にはグレースケールのインテグラル画像を生成する場合を意味しており、仮想ディスプレイ上に色情報を割り当てるとは、具体的にはカラーのインテグラル画像を生成する場合を意味している。

また、３次元モデル−ＩＰ変換手段１０１は、３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、要素画像の輝度値または色情報の取得に失敗した欠落画素であることを示す値を割り当てる。具体的には、３次元モデル−ＩＰ変換手段１０１は、グレースケールのインテグラル画像を生成する場合は０の値を割り当て、カラーのインテグラル画像を生成する場合はＲ＝０，Ｇ＝０，Ｂ＝０の値を割り当てる。

なお、この欠落画素を示す輝度値または色情報は、０あるいはＲ＝０，Ｇ＝０，Ｂ＝０に限らず任意の値を設定することができる。このように、３次元モデル−ＩＰ変換手段１０１は、仮想ディスプレイ上の全ての画素から発せられた光線について追跡を行い、当該仮想ディスプレイ上の画素ごとに輝度値または色情報、あるいは欠落画素であることを示す０の値を割り当てることで、インテグラル画像を生成する。そして、３次元モデル−ＩＰ変換手段１０１は、図１に示すように、生成したインテグラル画像を中間値フィルタ１１１に出力する。なお、３次元モデル−ＩＰ変換手段１０１は、ここでは図１に示すように、３次元モデル−インテグラル画像変換装置１内に合計３つ設けられているため、中間値フィルタ１１１には、各３次元モデル−ＩＰ変換手段１０１で生成された３枚のインテグラル画像が入力されることになる。

中間値フィルタ１１１は、複数のインテグラル画像の各画素をフィルタリングするものである。中間値フィルタ１１１は、具体的には図１に示すように、３次元モデル−ＩＰ変換手段１０１によって変換された複数のインテグラル画像の同一位置の画素について、欠落画素を示す所定の輝度値（例えば０の値）または所定の色情報（例えばＲ＝０，Ｇ＝０，Ｂ＝０の値）を除外した上で、中間値となる輝度値または色情報を選択する。

以下、中間値フィルタ１１１における処理の具体例について、図４および図５を参照（適宜図１も参照）しながら説明する。なお、図１に示す中間値フィルタ１１１には、３枚のインテグラル画像が入力されるが、以下の説明では、当該中間値フィルタ１１１に５枚のインテグラル画像が入力され、かつ、当該インテグラル画像の各画素が輝度値のみを有する場合（グレースケールの場合）について説明する。

（欠落画素が含まれない場合）
中間値フィルタ１１１は、図４に示すように、５枚のインテグラル画像が入力された場合、それぞれのインテグラル画像における同一位置の輝度値をそれぞれ抽出する。次に、中間値フィルタ１１１は、図４に示すように、各輝度値を小さい値から順番に並べる。次に、中間値フィルタ１１１は、図４に示すように、５つの輝度値のうちの中間値である「８」を選択し、図１に示すように合成制御手段１１２に出力する。そして、中間値フィルタ１１１は、それぞれのインテグラル画像における全ての画素について同様の処理を行い、選択した輝度値を合成制御手段１１２に出力する。中間値フィルタ１１１は、このような手順により、５枚のインテグラル画像から１枚分のインテグラル画像の輝度値を選択することができる。なお、以上の手順は、図４に示すように、５枚のインテグラル画像に欠落画素（輝度値が０の画素）が含まれない場合の手順を示している。

（欠落画素が含まれる場合）
中間値フィルタ１１１は、図５に示すように、５枚のインテグラル画像に欠落画素（輝度値が０の画素）が含まれる場合は、以下の手順によりフィルタリングを行う。すなわち、中間値フィルタ１１１は、図５に示すように、５枚のインテグラル画像が入力された場合、それぞれのインテグラル画像における同一位置の輝度値をそれぞれ抽出する。次に、中間値フィルタ１１１は、図５に示すように、各輝度値を小さい値から順番に並べるとともに、欠落画素を示す輝度値０を除外する。そして、中間値フィルタ１１１は、図５に示すように、中間値として「７」を選択する。

ここで、図５に示すように、フィルタリングを行う輝度値が４つ（偶数）の場合、中間値としては「７」と「９」の２つの値を採り得るが、ここでは中間値が２つの場合は値が小さいほうを選択することとしている。従って、中間値フィルタ１１１は、図５に示すように、４つの輝度値の中間値として、前から２番目の値である「７」を選択し、図１に示すように合成制御手段１１２に出力する。なお、輝度値が偶数であって中間値が２つ存在する場合に、中間値フィルタ１１１がどちらの値を選択するかは任意に定めることができ、２つの値のうち大きいほう（図５における「９」）を選択することも可能である。

合成制御手段１１２は、複数のインテグラル画像から１つのインテグラル画像を合成するものである。合成制御手段１１２は、具体的には図４および図５に示すように、中間値フィルタ１１１によって選択された画素ごとの輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

以上のような構成を備える３次元モデル−インテグラル画像変換装置１は、３次元モデル−ＩＰ変換手段１０１によって、光線追跡法を用いて、被写体Ｓの複数の３次元モデルのそれぞれをインテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置１は、中間値フィルタ１１１によって、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、複数のインテグラル画像の同一位置の画素が有する輝度値または色情報のうちの中間値を選択し、合成制御手段１１２によって、インテグラル画像の画素ごとに、選択された輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置１は、例えば３次元形状の復元誤差等が原因で、輝度値または色情報が他のインテグラル画像の輝度値または色情報と大きく異なるアウトライヤー（外れ値）を排除することができるとともに、欠落画素についても、他のインテグラル画像で輝度値または色情報が求まっている場合はその値で補完することができる。

このように、３次元モデル−インテグラル画像変換装置１によれば、被写体Ｓの多視点画像から隣り合う複数枚（ここでは３枚）の画像の組を複数（ここでは３組）仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。

以下、３次元モデル−インテグラル画像変換装置１の処理手順について、図６を参照（適宜図１も参照）しながら説明する。なお、以下の説明では、３次元モデル−インテグラル画像変換装置１における処理の前段階の処理も含めた３次元モデル−インテグラル画像変換システム全体の処理手順について説明する。

まず、３次元モデル−インテグラル画像変換システムは、複数のカメラ２によって、被写体Ｓを撮影する（ステップＳ１）。次に、３次元モデル−インテグラル画像変換システムは、カメラパラメータ取得手段３によって、カメラ２によって撮影された画像からカメラパラメータを取得する（ステップＳ２）。次に、３次元モデル−インテグラル画像変換システムは、３次元形状復元手段４によって、カメラ２によって撮影された複数の画像から被写体Ｓの３次元形状を復元し、その３次元モデルを取得する。その際、複数の３次元形状復元手段４は、それぞれが取得した３次元モデルが異なる座標系で記載されている場合、カメラパラメータ取得手段３で取得したカメラパラメータを用いて同一世界座標系に変換する（ステップＳ３）。

次に、３次元モデル−インテグラル画像変換システムは、３次元モデル−インテグラル画像変換装置１における処理を行う（ステップＳ４）。まず、３次元モデル−インテグラル画像変換装置１は、複数の３次元モデル−ＩＰ変換手段１０１によって、複数の３次元モデルをそれぞれインテグラル画像に変換する（ステップＳ４１）。次に、３次元モデル−インテグラル画像変換装置１は、中間値フィルタ１１１によって、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、複数のインテグラル画像の同一位置の画素の中から中間値となる輝度値または色情報を選択する（ステップＳ４２）。次に、３次元モデル−インテグラル画像変換装置１は、合成制御手段１１２によって、中間値フィルタ１１１によって選択された画素ごとの輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成し（ステップＳ４３）、処理を終了する。

以上のような処理を行うことで、３次元モデル−インテグラル画像変換装置１は、欠落画素を補完しつつ、複数の３次元モデルから１枚のインテグラル画像を合成することができる。

［第２実施形態］
以下、本発明の第２実施形態に係る３次元モデル−インテグラル画像変換装置１Ａについて、図７を参照しながら説明する。なお、以下の説明では、３次元モデル−インテグラル画像変換装置１との相違点を中心に説明を行い、当該３次元モデル−インテグラル画像変換装置１と重複する構成および３次元モデル−インテグラル画像変換装置１Ａの処理手順については詳細説明を省略する。

ＩＰ生成手段１０Ａは、図７に示すように、３次元モデル−ＩＰ変換手段１０１と、距離変換手段１０２と、距離３次元モデル−ＩＰ変換手段１０３と、を備えている。また、ＩＰ合成手段１１Ａは、図７に示すように、中間値フィルタ１１１Ａと、合成制御手段１１２Ａと、を備えている。

距離変換手段１０２は、３次元モデルを距離３次元モデルに変換するものである。ここで、距離３次元モデルとは、３次元モデルの輝度値または色情報を距離値に置き換えたモデルである距離画像のことを意味しており、画素の位置（ｘ，ｙ）と、画素までの距離値ｄ（ｘ，ｙ）とで構成される。また、距離３次元モデルは、前記した３次元モデルから各画素の距離の情報だけを取り出したものであるため、３次元モデルの下位概念に相当する。

距離変換手段１０２は、具体的には、まず仮想ディスプレイと、３次元形状復元手段４によって取得された３次元モデルと、を仮想空間内に配置する。次に、距離変換手段１０２は、仮想ディスプレイから３次元モデルの表面までの距離を算出し、当該距離を３次元モデルの輝度値または色情報と置き換えることで、３次元モデルを距離３次元モデルに変換する。そして、距離変換手段１０２は、図７に示すように、変換した距離３次元モデルを距離３次元モデル−ＩＰ変換手段１０３に出力する。なお、仮想ディスプレイから３次元モデルの表面までの距離は、実際の距離値を用いてもよく、あるいは、距離値の最大値と最小値とを求め、１〜２５５に正規化した値を用いてもよい。

距離３次元モデル−ＩＰ変換手段１０３は、距離３次元モデルを距離インテグラル画像に変換するものである。ここで、距離インテグラル画像とは、輝度値または色情報の代わりに距離値を用いて生成されたインテグラル画像を示している。距離３次元モデル−ＩＰ変換手段１０３は、３次元モデル−ＩＰ変換手段１０１と同様に、光線追跡法によって距離３次元モデルを距離インテグラル画像に変換する。

すなわち、距離３次元モデル−ＩＰ変換手段１０３は、具体的には、まず仮想ディスプレイと、仮想レンズアレーと、距離変換手段１０２によって取得された距離３次元モデルと、を仮想空間内に配置する。次に、距離３次元モデル−ＩＰ変換手段１０３は、仮想ディスプレイから発せられて仮想レンズの中心を通る各光線を追跡する。そして、距離３次元モデル−ＩＰ変換手段１０３は、距離３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した距離３次元モデルの表面の距離値を割り当てる。

また、距離３次元モデル−ＩＰ変換手段１０３は、距離３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、距離値の取得に失敗した欠落画素であることを示す０の値を割り当てる。距離３次元モデル−ＩＰ変換手段１０３は、仮想ディスプレイ上の全ての画素から発せられた光線について追跡を行い、当該仮想ディスプレイ上の画素ごとに距離値または欠落画素であることを示す０の値を割り当てることで、距離インテグラル画像を生成する。そして、距離３次元モデル−ＩＰ変換手段１０３は、図７に示すように、生成した距離インテグラル画像を中間値フィルタ１１１Ａに出力する。なお、距離３次元モデル−ＩＰ変換手段１０３は、ここでは図７に示すように、３次元モデル−インテグラル画像変換装置１Ａ内に合計３つ設けられているため、中間値フィルタ１１１Ａには、各距離３次元モデル−ＩＰ変換手段１０３で生成された３枚の距離インテグラル画像が入力されることになる。

中間値フィルタ１１１Ａは、複数の距離インテグラル画像の各画素をフィルタリングするものである。中間値フィルタ１１１Ａは、具体的には図７に示すように、距離３次元モデル−ＩＰ変換手段１０３によって変換された複数の距離インテグラル画像の同一位置の画素について、欠落画素を示す所定の距離値（例えば０の値）を除外した上で、中間値となる距離を選択する。なお、中間値フィルタ１１１Ａは、前記した中間値フィルタ１１１と同様の手順（図４および図５参照）により距離値の中間値を選択するため、ここでは詳細な説明は省略する。

合成制御手段１１２Ａは、複数のインテグラル画像から１つのインテグラル画像を合成するものである。合成制御手段１１２Ａには、図７に示すように、複数の３次元モデル−ＩＰ変換手段１０１から複数のインテグラル画像が入力されるとともに、複数の距離３次元モデル−ＩＰ変換手段１０３から、前記したインテグラル画像と同じ３次元モデルから変換された複数の距離インテグラル画像が入力される。そして、合成制御手段１１２Ａは、距離インテグラル画像と同じ３次元モデルから変換されたインテグラル画像の輝度値または色情報のうち、中間値フィルタ１１１Ａによって選択された距離値の画素と同一位置の画素の輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

以上のような構成を備える３次元モデル−インテグラル画像変換装置１Ａは、３次元モデル−ＩＰ変換手段１０１によって、光線追跡法を用いて、被写体Ｓの複数の３次元モデルのそれぞれをインテグラル画像に変換し、距離３次元モデル−ＩＰ変換手段１０３によって、光線追跡法を用いて、被写体Ｓの複数の３次元モデルのそれぞれを距離インテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置１Ａは、中間値フィルタ１１１Ａによって、欠落画素を示す所定の距離値を除外した上で、複数の距離インテグラル画像の同一位置の画素が有する距離値のうちの中間値を選択し、合成制御手段１１２Ａによって、インテグラル画像の画素ごとに、当該中間値に対応するインテグラル画像の輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置１Ａは、例えば３次元形状の復元誤差等が原因で、距離値が他の距離インテグラル画像の距離値と大きく異なるアウトライヤー（外れ値）を排除することができるとともに、欠落画素についても、他のインテグラル画像で輝度値または色情報が求まっている場合はその値で補完することができる。

このように、３次元モデル−インテグラル画像変換装置１Ａによれば、被写体Ｓの多視点画像から隣り合う複数枚（ここでは３枚）の画像の組を複数（ここでは３組）仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。また、３次元モデル−インテグラル画像変換装置１Ａによれば、３次元モデルの距離値を加味して複数の３次元モデルから１つのインテグラル画像を生成するため、３次元モデルにより忠実なインテグラル画像を生成することができる。

［第３実施形態］
以下、本発明の第３実施形態に係る３次元モデル−インテグラル画像変換装置１Ｂについて、図８を参照しながら説明する。なお、以下の説明では、３次元モデル−インテグラル画像変換装置１との相違点を中心に説明を行い、当該３次元モデル−インテグラル画像変換装置１と重複する構成および３次元モデル−インテグラル画像変換装置１Ｂの処理手順については詳細説明を省略する。

ＩＰ生成手段１０Ｂは、図８に示すように、３次元モデル−ＩＰ変換手段１０１と、評価値変換手段１０４と、評価値３次元モデル−ＩＰ変換手段１０５と、を備えている。また、ＩＰ合成手段１１Ｂは、図８に示すように、合成制御手段１１２Ｂを備えている。

評価値変換手段１０４は、３次元モデルを評価値３次元モデルに変換するものである。ここで、評価値３次元モデルとは、３次元モデルの輝度値または色情報を評価値に置き換えたモデルのことを意味しており、画素の位置（ｘ，ｙ）と、画素の評価値とで構成される。また、評価値とは、評価値変換手段１０４に入力される３次元モデルが予め保持する当該３次元モデルの頂点ごとの確からしさを示す値のことを意味している。この評価値としては、具体的には前記した３次元形状復元手段４において３次元形状を復元する際に用いられたＳＳＤ，ＮＣＣ，ＺＮＣＣ等の相関値を用いることができる。

評価値変換手段１０４は、具体的には、３次元形状復元手段４から入力された３次元モデルから各頂点の評価値（例えば０〜２５５の値）を抽出し、当該評価値を３次元モデルの輝度値または色情報と置き換えることで、３次元モデルを評価値３次元モデルに変換する。そして、評価値変換手段１０４は、図８に示すように、変換した評価値３次元モデルを評価値３次元モデル−ＩＰ変換手段１０５に出力する。

評価値３次元モデル−ＩＰ変換手段１０５は、評価値３次元モデルを評価値インテグラル画像に変換するものである。ここで、評価値インテグラル画像とは、輝度値または色情報の代わりに評価値を用いて生成されたインテグラル画像を示している。評価値３次元モデル−ＩＰ変換手段１０５は、３次元モデル−ＩＰ変換手段１０１と同様に、光線追跡法によって評価値３次元モデルを評価値インテグラル画像に変換する。

すなわち、評価値３次元モデル−ＩＰ変換手段１０５は、具体的には、まず仮想ディスプレイと、仮想レンズアレーと、評価値変換手段１０４によって取得された評価値３次元モデルと、を仮想空間内に配置する。次に、評価値３次元モデル−ＩＰ変換手段１０５は、仮想ディスプレイから発せられて仮想レンズの中心を通る各光線を追跡する。そして、評価値３次元モデル−ＩＰ変換手段１０５は、評価値３次元モデルと交差する光線を発した仮想ディスプレイ上の画素に、当該光線と交差した距離３次元モデルの表面の評価値を割り当てる。

また、評価値３次元モデル−ＩＰ変換手段１０５は、評価値３次元モデルと交差しない光線を発した仮想ディスプレイ上の画素に、評価値の取得に失敗した欠落画素であることを示す０の値を割り当てる。評価値３次元モデル−ＩＰ変換手段１０５は、仮想ディスプレイ上の全ての画素から発せられた光線について追跡を行い、当該仮想ディスプレイ上の画素ごとに評価値または欠落画素であることを示す０の値を割り当てることで、評価値インテグラル画像を生成する。そして、評価値３次元モデル−ＩＰ変換手段１０５は、図８に示すように、生成した評価値インテグラル画像を合成制御手段１１２Ｂに出力する。なお、評価値３次元モデル−ＩＰ変換手段１０５は、ここでは図８に示すように、３次元モデル−インテグラル画像変換装置１Ｂ内に合計３つ設けられているため、合成制御手段１１２Ｂには、各評価値３次元モデル−ＩＰ変換手段１０５で生成された３枚の評価値インテグラル画像が入力されることになる。

合成制御手段１１２Ｂは、複数のインテグラル画像から１つのインテグラル画像を合成するものである。合成制御手段１１２Ｂには、図８に示すように、複数の３次元モデル−ＩＰ変換手段１０１から複数のインテグラル画像が入力されるとともに、複数の評価値３次元モデル−ＩＰ変換手段１０５から、前記したインテグラル画像と同じ３次元モデルから変換された複数の評価値インテグラル画像が入力される。そして、合成制御手段１１２Ｂは、評価値３次元モデル−ＩＰ変換手段１０５によって変換された複数の評価値インテグラル画像の同一位置の画素について、欠落画素を示す所定の評価値（例えば０の値）を除外した上で、最も高い評価値を選択する。次に、合成制御手段１１２Ｂは、評価値インテグラル画像と同じ３次元モデルから変換されたインテグラル画像の輝度値または色情報のうち、選択された評価値の画素と同一位置の画素の輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

なお、合成制御手段１１２Ｂは、前記したＳＳＤのように、値が小さいほど程評価が高いものが評価値として用いられている場合は、評価値３次元モデル−ＩＰ変換手段１０５によって変換された複数の評価値インテグラル画像の同一位置の画素について、欠落画素を示す評価値を除外した上で、最も高い評価値を選択し、評価値インテグラル画像と同じ３次元モデルから変換されたインテグラル画像の輝度値または色情報のうち、選択された評価値の画素と同一位置の画素の輝度値または色情報を割り当てても構わない。

以上のような構成を備える３次元モデル−インテグラル画像変換装置１Ｂは、３次元モデル−ＩＰ変換手段１０１によって、光線追跡法を用いて、被写体Ｓの複数の３次元モデルのそれぞれをインテグラル画像に変換し、評価値３次元モデル−ＩＰ変換手段１０５によって、光線追跡法を用いて、被写体Ｓの複数の３次元モデルのそれぞれを評価値インテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置１Ｂは、合成制御手段１１２Ｂによって、欠落画素を示す所定の評価値を除外した上で、複数の評価値インテグラル画像の同一位置の画素が有する最も高い評価値を選択し、インテグラル画像の画素ごとに、当該評価値に対応するインテグラル画像の輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置１Ｂは、入力された複数のインテグラル画像の輝度値の中から評価値の高い輝度値を採用し、また欠落画素に対しても、他のインテグラル画像における輝度値の中で最も評価値の高い輝度値で補完することができる。

このように、３次元モデル−インテグラル画像変換装置１Ｂによれば、被写体Ｓの多視点画像から隣り合う複数枚（ここでは３枚）の画像の組を複数（ここでは３組）仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。また、３次元モデル−インテグラル画像変換装置１Ｂによれば、３次元モデルの評価値の高さを基準として複数の３次元モデルから１つのインテグラル画像を生成するため、複数のインテグラル画像から輝度値または色情報を選択するための（中間値フィルタによる）フィルタリング処理が不要となり、より少ない処理でインテグラル画像を生成することができる。

［第４実施形態］
以下、本発明の第４実施形態に係る３次元モデル−インテグラル画像変換装置１Ｃについて、図９を参照しながら説明する。なお、以下の説明では、３次元モデル−インテグラル画像変換装置１との相違点を中心に説明を行い、当該３次元モデル−インテグラル画像変換装置１と重複する構成および３次元モデル−インテグラル画像変換装置１Ｃの処理手順については詳細説明を省略する。

ＩＰ合成手段１１Ｃは、図９に示すように、合成制御手段１１２Ｃを備えている。合成制御手段１１２Ｃは、複数のインテグラル画像から１つのインテグラル画像を合成するものである。合成制御手段１１２Ｃには、図９に示すように、複数の３次元モデル−ＩＰ変換手段１０１から複数のインテグラル画像が入力されるとともに、外部から各３次元モデルの優先順位が入力される。この優先順位は、予め３次元モデルごとに設けられたものであり、例えば図９に示すように、３次元モデル−インテグラル画像変換装置１Ｃに３つの３次元モデルが入力される場合は、当該３枚の３次元モデルに対して、優先度が高い順に１〜３の優先順位が付与される。

そして、合成制御手段１１２Ｃは、３次元モデル−ＩＰ変換手段１０１によって変換された複数のインテグラル画像の同一位置の画素について、欠落画素を示す輝度値または色情報を除外した上で、予め定められた優先順位が最も高い３次元モデルから変換されたインテグラル画像の輝度値または色情報を、それぞれ対応するインテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する。

以上のような構成を備える３次元モデル−インテグラル画像変換装置１Ｃは、３次元モデル−ＩＰ変換手段１０１によって、光線追跡法を用いて、被写体Ｓの複数の３次元モデルのそれぞれをインテグラル画像に変換する。そして、３次元モデル−インテグラル画像変換装置１Ｃは、合成制御手段１１２Ｃによって、欠落画素を示す所定の輝度値または所定の色情報を除外した上で、インテグラル画像の画素ごとに、予め定められた優先順位が最も高い３次元モデルから変換されたインテグラル画像の輝度値または色情報を割り当てる。従って、３次元モデル−インテグラル画像変換装置１Ｃは、３次元モデルに予め優先順位が付与されており、優先順位の高い３次元モデルを変換したインテグラル画像から優先的に輝度値または色情報を割り当てるため、隣り合う画素で同じインテグラル画像から割り当てられる頻度が高くなり、画素間での連続性が高くなるとともに、欠落画素に対しても、他のインテグラル画像で取得できた輝度値の中で最も優先順位の高い輝度値で補完できる。

このように、３次元モデル−インテグラル画像変換装置１Ｃによれば、被写体Ｓの多視点画像から隣り合う複数枚（ここでは３枚）の画像の組を複数（ここでは３組）仮定し、それぞれの組について３次元形状を復元することで複数の３次元モデルを取得し、これらの３次元モデルを全てインテグラル画像に変換した後、さらにそれらを１枚のインテグラル画像に合成することで、３次元モデルの欠落領域を縮小し、インテグラル方式の立体再生像の品質を改善することができる。また、３次元モデル−インテグラル画像変換装置１Ｃによれば、予め定められた３次元モデルの優先順位の高さを基準として複数の３次元モデルから１つのインテグラル画像を生成するため、複数のインテグラル画像から輝度値または色情報を選択するためのフィルタリング処理が不要となり、より少ない処理でインテグラル画像を生成することができる。

［３次元モデル−インテグラル画像変換プログラム］
ここで、前記した３次元モデル−インテグラル画像変換装置１，１Ａ，１Ｂ，１Ｃは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

以上、本発明に係る３次元モデル−インテグラル画像変換装置およびそのプログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。

例えば、３次元モデル−インテグラル画像変換装置１Ｂは、評価値変換手段１０４によって３次元モデルから各頂点の評価値（例えば０〜２５５の値）を抽出し、当該評価値を３次元モデルの輝度値または色情報と置き換えることで、３次元モデルを評価値３次元モデルに変換していたが、３次元モデルの評価値を抽出せずに、予め定められた３次元モデルの優先順位を用いて評価値３次元モデルを生成することも可能である。この場合、３次元モデル−インテグラル画像変換装置１Ｄは、図１０に示すように、評価値変換手段１０４Ａに３次元モデルとともに３次元モデルの優先順位が入力される。そして、評価値変換手段１０４Ａは、当該優先順位を３次元モデルの輝度値または色情報と置き換えることで、３次元モデルを評価値３次元モデルに変換する。そして、評価値変換手段１０４Ａは、図１０に示すように、変換した評価値３次元モデルを評価値３次元モデル−ＩＰ変換手段１０５に出力する。

そして、３次元モデル−インテグラル画像変換装置１Ｄは、前記した３次元モデル−インテグラル画像変換装置１Ｂと同様の手順により、複数の３次元モデルを１枚のインテグラル画像に変換する。なお、この３次元モデル−インテグラル画像変換装置１Ｄも、他の実施形態と同様に、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。

また、３次元モデル−インテグラル画像変換装置１，１Ａ，１Ｂ，１Ｃ，１Ｄは、図２に示すように、３台ずつ並列するように配置されたカメラ２によって撮影された多視点画像から取得された３次元モデルを用いていたが、図１１に示すように、等間隔に配置されたカメラ２によって撮影された多視点画像から取得された３次元モデルを用いても構わない。この場合、図１１に示すように、第１〜第３カメラを第１カメラ群、第２〜第４カメラを第２カメラ群、というように１台ずつずらしながら隣り合う３台のカメラ２を１組とすることで、より多くの組み合わせ（図１１の例では第１〜第７カメラ群）を作ることができ、より多くの３次元モデル（図１１の例では７つの３次元モデル）を生成することができる。

また、３次元モデル−インテグラル画像変換装置１は、前記したように、輝度値を色情報に置き換えることで、グレースケールのみならずカラーのインテグラル画像にも適用することができたが、３次元モデル−インテグラル画像変換装置１Ａ，１Ｂ，１Ｃ，１Ｄについても、距離値や評価値をカラー化することで、階調を例えば８ｂｉｔから２４ｂｉｔに増やすことができるため、出力されるインテグラル画像の精度を向上させることができる。

また、３次元モデル−インテグラル画像変換装置１，１Ａ，１Ｂ，１Ｃ，１Ｄは、図２に示すように、多視点で撮影された画像からインテグラル画像を生成したが、これを連続的に処理することで動画に対応することもできる。

また、３次元モデル−インテグラル画像変換装置１，１Ａ，１Ｂ，１Ｃ，１Ｄには、多視点画像から形状復元した３次元モデルが入力されていたが、赤外線等の距離センサーなどを用いて取得した３次元モデルが入力されても構わない。そして、この場合の距離センサーには、測定値の確からしさを出力するものもあるため、これを３次元モデル−インテグラル画像変換装置１Ｂにおける評価値として利用することもできる。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ３次元モデル−インテグラル画像変換装置
２カメラ
３カメラパラメータ取得手段
４３次元形状復元手段
１０，１０Ａ，１０Ｂ，１０ＣＩＰ生成手段
１１，１１Ａ，１１Ｂ、１１ＣＩＰ合成手段
１０１３次元モデル−ＩＰ変換手段
１０２距離変換手段
１０３距離３次元モデル−ＩＰ変換手段
１０４，１０４Ａ評価値変換手段
１０５評価値３次元モデル−ＩＰ変換手段
１１１，１１１Ａ中間値フィルタ
１１２，１１２Ａ，１１２Ｂ，１１２Ｃ合成制御手段
Ｓ被写体

Claims

同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、
仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、前記３次元モデルとを仮想空間内に配置し、前記仮想レンズの中心を通り、かつ、前記３次元モデルと交差する光線を発した前記仮想ディスプレイ上の画素に、当該光線と交差した前記３次元モデルの輝度値または色情報を割り当てるとともに、前記３次元モデルと交差しない光線を発した前記仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、前記複数の３次元モデルをそれぞれ前記インテグラル画像に変換する３次元モデル−ＩＰ変換手段と、
前記３次元モデル−ＩＰ変換手段によって変換された複数のインテグラル画像の同一位置の画素について、前記欠落画素を示す所定の輝度値または所定の色情報を除外した上で、中間値となる前記輝度値または前記色情報を選択する中間値フィルタと、
前記中間値フィルタによって選択された画素ごとの前記輝度値または前記色情報を、それぞれ対応する前記インテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する合成制御手段と、
を備えることを特徴とする３次元モデル−インテグラル画像変換装置。
同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、
仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、前記３次元モデルとを仮想空間内に配置し、前記仮想レンズの中心を通り、かつ、前記３次元モデルと交差する光線を発した前記仮想ディスプレイ上の画素に、当該光線と交差した前記３次元モデルの輝度値または色情報を割り当てるとともに、前記３次元モデルと交差しない光線を発した前記仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、前記複数の３次元モデルをそれぞれ前記インテグラル画像に変換する３次元モデル−ＩＰ変換手段と、
前記仮想ディスプレイと、前記３次元モデルとを仮想空間内に配置し、前記仮想ディスプレイから前記３次元モデルの表面までの距離を算出し、当該距離を前記３次元モデルの前記輝度値または前記色情報と置き換えることで、前記複数の３次元モデルをそれぞれ距離３次元モデルに変換する距離変換手段と、
前記仮想ディスプレイと、前記仮想レンズアレーと、前記距離３次元モデルとを仮想空間内に配置し、前記仮想レンズの中心を通り、かつ、前記距離３次元モデルと交差する光線を発した前記仮想ディスプレイ上の画素に、当該光線と交差した前記距離３次元モデルの距離値を割り当てるとともに、前記距離３次元モデルと交差しない光線を発した前記仮想ディスプレイ上の画素に、欠落画素を示す所定の距離値を割り当てることで、前記複数の距離３次元モデルをそれぞれ距離インテグラル画像に変換する距離３次元モデル−ＩＰ変換手段と、
前記距離３次元モデル−ＩＰ変換手段によって変換された複数の距離インテグラル画像の同一位置の画素について、前記欠落画素を示す所定の距離値を除外した上で、中間値となる前記距離値を選択する中間値フィルタと、
前記距離インテグラル画像と同じ前記３次元モデルから変換された前記インテグラル画像の前記輝度値または前記色情報のうち、前記中間値フィルタによって選択された前記距離値の画素と同一位置の画素の前記輝度値または前記色情報を、それぞれ対応する前記インテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する合成制御手段と、
を備えることを特徴とする３次元モデル−インテグラル画像変換装置。
同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、
仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、前記３次元モデルとを仮想空間内に配置し、前記仮想レンズの中心を通り、かつ、前記３次元モデルと交差する光線を発した前記仮想ディスプレイ上の画素に、当該光線と交差した前記３次元モデルの輝度値または色情報を割り当てるとともに、前記３次元モデルと交差しない光線を発した前記仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、前記複数の３次元モデルをそれぞれ前記インテグラル画像に変換する３次元モデル−ＩＰ変換手段と、
前記３次元モデルが予め保持する当該３次元モデルの頂点ごとの確からしさを示す評価値を抽出し、当該評価値を前記３次元モデルの前記輝度値または前記色情報と置き換えることで、前記複数の３次元モデルをそれぞれ評価値３次元モデルに変換する評価値変換手段と、
前記仮想ディスプレイと、前記仮想レンズアレーと、前記評価値３次元モデルとを仮想空間内に配置し、前記仮想レンズの中心を通り、かつ、前記評価値３次元モデルと交差する光線を発した前記仮想ディスプレイ上の画素に、当該光線と交差した前記評価値３次元モデルの評価値を割り当てるとともに、前記評価値３次元モデルと交差しない光線を発した前記仮想ディスプレイ上の画素に、欠落画素を示す所定の評価値を割り当てることで、前記複数の評価値３次元モデルをそれぞれ評価値インテグラル画像に変換する評価値３次元モデル−ＩＰ変換手段と、
前記評価値３次元モデル−ＩＰ変換手段によって変換された複数の評価値インテグラル画像の同一位置の画素について、前記欠落画素を示す所定の評価値を除外した上で、最も高い前記評価値を選択し、前記評価値インテグラル画像と同じ前記３次元モデルから変換された前記インテグラル画像の前記輝度値または前記色情報のうち、選択された前記評価値の画素と同一位置の画素の前記輝度値または前記色情報を、それぞれ対応する前記インテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する合成制御手段と、
を備えることを特徴とする３次元モデル−インテグラル画像変換装置。
同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換する３次元モデル−インテグラル画像変換装置であって、
仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、前記３次元モデルとを仮想空間内に配置し、前記仮想レンズの中心を通り、かつ、前記３次元モデルと交差する光線を発した前記仮想ディスプレイ上の画素に、当該光線と交差した前記３次元モデルの輝度値または色情報を割り当てるとともに、前記３次元モデルと交差しない光線を発した前記仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、前記複数の３次元モデルをそれぞれ前記インテグラル画像に変換する３次元モデル−ＩＰ変換手段と、
前記３次元モデル−ＩＰ変換手段によって変換された複数のインテグラル画像の同一位置の画素について、前記欠落画素を示す所定の輝度値または所定の色情報を除外した上で、予め定められた優先順位が最も高い前記３次元モデルから変換された前記インテグラル画像の前記輝度値または前記色情報を、それぞれ対応する前記インテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する合成制御手段と、
を備えることを特徴とする３次元モデル−インテグラル画像変換装置。
同一の被写体を複数の方向から撮影した画像からそれぞれ取得され、同一の座標系で記載された複数の３次元モデルを、１枚のインテグラル画像に変換するために、コンピュータを、
仮想ディスプレイと、当該仮想ディスプレイと焦点距離だけ離れた位置に配置され、仮想レンズが２次元状に配置された仮想レンズアレーと、前記３次元モデルとを仮想空間内に配置し、前記仮想レンズの中心を通り、かつ、前記３次元モデルと交差する光線を発した前記仮想ディスプレイ上の画素に、当該光線と交差した前記３次元モデルの輝度値または色情報を割り当てるとともに、前記３次元モデルと交差しない光線を発した前記仮想ディスプレイ上の画素に、欠落画素を示す所定の輝度値または所定の色情報を割り当てることで、前記複数の３次元モデルをそれぞれ前記インテグラル画像に変換する３次元モデル−ＩＰ変換手段、
前記３次元モデル−ＩＰ変換手段によって変換された複数のインテグラル画像の同一位置の画素について、前記欠落画素を示す所定の輝度値または所定の色情報を除外した上で、中間値となる前記輝度値または前記色情報を選択する中間値フィルタと、
前記中間値フィルタによって選択された画素ごとの前記輝度値または前記色情報を、それぞれ対応する前記インテグラル画像の画素に割り当てることで、１枚のインテグラル画像を合成する合成制御手段、
として機能させるための３次元モデル−インテグラル画像変換プログラム。