JP6595878B2

JP6595878B2 - 要素画像群生成装置及びそのプログラム

Info

Publication number: JP6595878B2
Application number: JP2015200560A
Authority: JP
Inventors: 健介久富; 人誌日浦; 智之三科
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2015-10-08
Filing date: 2015-10-08
Publication date: 2019-10-23
Anticipated expiration: 2035-10-08
Also published as: JP2017073710A

Description

本発明は、立体テレビ用の要素画像群生成装置及びそのプログラムに関する。

マイクロレンズが２次元配列状に並んだレンズアレーを、２次元ディスプレーの前に設置し、所定の画像を２次元ディスプレーに表示することで、方向によって異なる輝度値（色）の光線を射出することができる。これを用いると、目の位置によって、右目と左目で異なる光線を受光するために、メガネなしで立体像を再生することができる。この原理を用いた立体テレビをインテグラル式立体テレビという。

レンズアレーを構成する個々のマイクロレンズ（要素レンズ：以下、単にレンズともいう）に対して割り当てられる画素群は要素画像と呼ばれている。この要素画像を集積した要素画像群が２次元ディスプレーに表示される。インテグラル方式では、要素画像群は、一般的には、高精細な多数の画素を有した高精細カメラを用いて被写体をレンズアレー越しに撮影することにより取得される。ただし、遠方の被写体をレンズアレー越しに撮影すると、この被写体を表示させた際に、立体感の少ない平面的な立体像となってしまう。

そこで、被写体をレンズアレー越しに撮影するのではなく、複数のカメラで取得された多視点映像から要素画像群を生成し、この手法で生成した要素画像群を用いてインテグラル立体像を生成する手法が従来知られている（非特許文献１、非特許文献２参照）。この手法では、はじめに、多視点映像から既存の３次元形状復元手法を用いて、被写体の３次元モデル（３次元形状）を生成する。そして、その３次元モデルを演算機内の仮想空間に配置し、実空間と同じ要領で仮想的なレンズアレーと仮想的なカメラも仮想空間内に配置することで、演算機内で要素画像群及びインテグラル立体像を生成することができる。

Yasutaka Furukawa and Jean Ponce, "Accurate, Dense, and Robust Multi-View Stereopsis", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, July 2007. K. Hisatomi, K. Tomiyama, M. Katayama, and Y. Iwadate, "3D archive system for traditional performing arts", International Journal of Computer Vision (IJCV), Vol. 94, pp78-88 (2011)

しかしながら、従来技術では、被写体の３次元モデルを仮想空間に配置することを前提としているが、この３次元モデルそのものには誤差が伴っている。
また、要素画像群を生成するために用いる多視点映像は、同一被写体を複数のカメラで撮影して生成されているので、各カメラ画像には重複している部分がある。そこで、３次元モデルから要素画像群を生成する際に、ある画素に対してどのカメラ画像（どのカメラ）を選択するのか、また選択したカメラが適切なものなのかどうかは極めて重要である。
従来、一般的には、３次元モデルの法線に一番近いカメラを選択するようにしており、表示された際に再生されるインテグラル立体像を、遠くから眺めた場合には３次元モデルの誤差（エラー）が誇張されてしまう問題があった。そして、撮影した方向（撮影時に被写体から発してカメラに記録された光線の方向）と、観測する方向（２次元ディスプレーに被写体を表示させた際に再現される光線の方向）と、のなす角度が大きくなるほど、３次元モデルにおける誤差の影響が大きくなってしまう。

本発明は、以上のような問題点に鑑みてなされたものであり、被写体の３次元モデルに含まれている誤差による影響を低減できる要素画像群生成装置及びそのプログラムを提供することを課題とする。

前記課題を解決するために、本発明の第１の観点に係る要素画像群生成装置は、被写体を撮影した画像から予め生成された３次元モデルを利用し、前記被写体を多視点カメラで撮影した多視点のカメラ画像から要素画像群を生成する要素画像群生成装置であって、光線追跡手段と、画像統合手段と、画像生成制御手段と、を備えることとした。

かかる構成によれば、要素画像群生成装置は、光線追跡手段によって、仮想空間に配置した仮想ディスプレーの画素から発して仮想レンズアレーのレンズを通過する光線を表す直線の方向ベクトルである光線ベクトルを算出すると共に前記直線と前記仮想空間に配置した前記３次元モデルとの交点のうち観測者に最も近い位置に対応して決定した交点の座標を求める。
そして、要素画像群生成装置は、画像統合手段によって、前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが１つである場合、当該１つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる。
これにより、被写体を撮影した複数のカメラの中から、被写体を表示させた際に観測する光線の方向と最も近い方向から撮影したカメラを選択することができる。
そして、要素画像群生成装置は、画像生成制御手段によって、前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する。
したがって、要素画像群生成装置は、観測する光線の方向と最も近い方向から撮影したカメラの映像を用いて立体像を生成するので、演算機内の仮想空間に配置した３次元モデルにおける誤差の影響を最小限にすることができる。

また、前記課題を解決するために、本発明の第２の観点に係る要素画像群生成装置は、被写体の予め生成された複数のデプスマップを利用し、前記被写体を多視点カメラで撮影した多視点のカメラ画像から要素画像群を生成する要素画像群生成装置であって、光線追跡手段と、画像統合手段と、画像生成制御手段と、を備えることとした。

かかる構成によれば、要素画像群生成装置は、光線追跡手段によって、仮想空間に配置した仮想ディスプレーの画素から発して仮想レンズアレーのレンズを通過する光線を表す直線の方向ベクトルである光線ベクトルを算出すると共に前記直線と前記仮想空間に配置した前記デプスマップとの交点のうち観測者に最も近い位置に対応して決定した交点の座標を求める。
そして、要素画像群生成装置は、画像統合手段によって、前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが１つである場合、当該１つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる。
そして、要素画像群生成装置は、画像生成制御手段によって、前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する。

また、本発明は、コンピュータを、前記要素画像群生成装置として機能させるための要素画像群生成プログラムで実現することもできる。

本発明によれば、被写体の３次元モデルに含まれている誤差による影響を低減して要素画像群を生成することができる。

本発明の第１実施形態に係る要素画像群生成装置の構成を模式的に示すブロック図である。図１の要素画像群生成装置に入力する各カメラ画像を撮影した多視点カメラの配置の一例を示す模式図である。図１の要素画像群生成装置の動作の説明図であって、設定される仮想空間を模式的に示している。図１の要素画像群生成装置の動作の説明図であって、仮想空間において光線ベクトルを模式的に示している。図１の要素画像群生成装置の動作の説明図であって、（ａ）は画素値の割り当て処理の一例、（ｂ）は要素画像群格納メモリの記憶構造の一例を示している。図１の要素画像群生成装置による処理の流れを示すフローチャートである。本発明の第２実施形態に係る要素画像群生成装置の構成を模式的に示すブロック図である。図７の要素画像群生成装置の動作の説明図であって、仮想空間及び光線ベクトルを模式的に示している。図７の要素画像群生成装置による処理の流れを示すフローチャートである。

本発明に係る要素画像群生成装置を実施するための形態について図面を参照して詳細に説明する。
（第１実施形態）
［要素画像群生成装置の構成］
図１に示す要素画像群生成装置１００は、同一被写体を多視点カメラ（複数のカメラ）で撮影した多視点のカメラ画像（多視点映像）からインテグラル式立体テレビの立体像を生成するための要素画像群を生成するものである。本実施形態の要素画像群生成装置１００は、被写体の予め生成された３次元モデルを演算機内の仮想空間上に配置して要素画像群を生成する。

要素画像群生成装置１００は、図１に示すように、主として、光線追跡手段１１０と、画像統合手段１２０と、画像生成制御手段１３０と、を備えている。この要素画像群生成装置１００は、例えば一般的なコンピュータで構成され、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力インタフェース等を備えている。なお、仮想空間情報メモリ１１４や要素画像群格納メモリ１３１は、ＨＤＤや一般的な画像メモリから構成される。

本実施形態では、要素画像群生成装置１００の処理の際に外部から、被写体を撮影したカメラ画像、予め取得されたカメラパラメータ、適宜設定されたディスプレーパラメータ及びレンズアレーパラメータ、予め生成された前記被写体に関する３次元モデルがそれぞれ入力されるものとする。なお、これらの入力データは、処理の前に、要素画像群生成装置１００の内部のメモリに記憶させておくこととしてもよい。

まず、入力データについて説明する。
＜入力データ＞
カメラ画像とは、多視点カメラで撮影した多視点映像の少なくとも１つの視点映像を表している。なお、視点映像や多視点映像に関して、画像処理を説明する場合や、記憶された画像又はフレーム単位の画像等を指す場合、カメラ画像あるいは単に画像と呼ぶ場合もある。撮影に用いる多視点カメラの配置の一例を図２に示す。図２に示す例では、縦３×横７の合計２１台のカラーカメラＣ（以下、単にカメラという）による２次元カメラアレーとしている。ただし、カメラ台数はこれに限らず、また、例えば縦１×横７の合計７台のカメラＣによる１次元カメラアレーとしても構わない。

カメラパラメータは、前記被写体の撮影に用いる多視点カメラについての各カメラの焦点距離等のレンズ系のパラメータと、各カメラの回転や並進等の姿勢に関するパラメータと、を含んでいる。
なお、カメラパラメータを取得する方法としては、例えば多視点カメラを設置した後、被写体を撮影する前に、既知の位置に点群が描画されているパターンを全てのカメラで同時に撮影し、撮影された全てのカメラ画像を用いて例えば以下の参考文献１に記載されているような手法を用いることでカメラパラメータを取得することが可能である。
参考文献１：R．Y．Tsai，「A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses．」，IEEE Journal of Robotics and Automation，RA-3(4) ，pp323-344，1987

または、既知の位置に点群が描画されているパターンを用いる代わりに、例えば以下の参考文献２に記載されているような手法を用いることで、カメラによって撮影された画像内から抽出した特徴点の画像間の対応関係を用いて、カメラパラメータを取得することも可能である。
参考文献２：Noah Snavely，Steven M．Seitz, Richard Szeliski，「Modeling the World from Internet Photo Collections」，International Journal of Computer Vision，80(2) ，189-210，November 2008

ディスプレーパラメータとしては、例えば仮想ディスプレーの縦横の大きさや、仮想ディスプレー上の画素の大きさ、画素数、画素ピッチ、各画素の位置等を挙げることができる。
レンズアレーパラメータとしては、例えば仮想レンズアレーの縦横の大きさ、仮想レンズアレーを構成するレンズ（マイクロレンズ）の直径、個数、レンズピッチ、各レンズの光学主点の位置、レンズの焦点距離等を挙げることができる。
画像を表示させたいディスプレーやレンズアレーが分かっていれば、そのディスプレーやレンズアレーのパラメータをそのまま当てはめてもよい。

３次元モデルは、被写体の３次元形状を表すものであり、予め生成されている。本実施形態では、３次元モデルの生成手法は特に限定されない。
一例として被写体を多視点カメラで撮影して得られた多視点映像から復元したものであるとして説明する。なお、多視点映像から３次元モデルを生成する手法としては、全てのカメラ画像を用いて一度にモデルを生成する多眼視による手法と、２台のカメラペアから順次生成したモデルを統合するステレオ視による手法とが知られている。また、多眼視による手法の１つとして視体積交差法も知られている。このようないずれの手法も採用することができる。

次に、要素画像群生成装置１００を構成する各手段について説明する。
＜光線追跡手段＞
光線追跡手段１１０は、画像生成制御手段１３０の制御の下、仮想空間に配置した仮想ディスプレーの画素から発する光線を追跡するものである。
光線追跡手段１１０には、ディスプレーパラメータ、レンズアレーパラメータ、カメラパラメータ及び３次元モデルが入力される。この光線追跡手段１１０は、仮想空間設定手段１１１と、光線ベクトル算出手段１１２と、位置情報算出手段１１３と、を備えている。

まず、図３を参照（適宜図１参照）して仮想空間設定手段１１１について説明する。
仮想空間設定手段１１１は、入力されるディスプレーパラメータに基づいて、仮想空間（仮想空間情報メモリ１１４）において基準とする位置に仮想ディスプレーを配置する。
図３では、一例として、仮想ディスプレーの表示画面（画素群）の横方向（水平方向）に沿ってＹ軸が配置され、仮想ディスプレーの表示画面（画素群）の縦方向（紙面に垂直な方向）に沿ってＸ軸が配置されているものとする。

仮想空間設定手段１１１は、入力されるレンズアレーパラメータに基づいて、仮想空間（仮想空間情報メモリ１１４）において仮想ディスプレーの表示画面に対して平行に仮想レンズアレーを配置する。ここでは、仮想ディスプレーの中心から仮想レンズアレーの中心へのベクトルをＺ軸とする。仮想空間設定手段１１１は、仮想ディスプレーからＺ軸方向に焦点距離ｆだけ離間した位置に仮想レンズアレーを配置する。なお、図３では、Ｙ軸をＺ軸の負の方向にずらして見易くしている。

仮想空間設定手段１１１は、入力されるカメラパラメータに基づいて仮想空間（仮想空間情報メモリ１１４）に仮想カメラ（以下、単にカメラともいう）を配置する。
以下では、一例として、５台のカメラからなる多視点カメラで被写体の多視点映像を撮影したものとして説明する。各カメラが配された位置が視点位置を表している。この場合、多視点映像は、画像（カメラ画像）Ｉ₀、Ｉ₁、Ｉ₂、Ｉ₃、Ｉ₄で構成される。

仮想空間設定手段１１１は、仮想空間（仮想空間情報メモリ１１４）において仮想ディスプレーの近傍に３次元モデルＱを配置する。
ここでは、後記する直線との交点を説明する目的で複雑な形状の３次元モデルを図示した。図３に示す３次元モデルＱは、平面視で、仮想ディスプレーから仮想レンズアレーの側（観測者の側）に突出した２つの突出部と、２つの突出部の間で仮想ディスプレーから仮想レンズとは反対側に凹んだ凹部とを有する曲線からなる。なお、図３では、モデルの正面（図３において右側）や側面（図３において上側及び下側）がひと続きの滑らかな曲線で示されているが、場合によっては細かなジグザグを持った波形状のモデルとして求められることがある。

次に、図４を参照（適宜図１参照）して光線追跡手段１１０の構成の説明を続ける。
光線ベクトル算出手段１１２は、仮想空間に配置した仮想ディスプレーの画素ｉから発して仮想レンズアレーのレンズを通過する光線を表す直線Ｌの方向ベクトルである光線ベクトルｇを算出する。なお、iは仮想ディスプレー上で左から何番目で上から何番目の画素であるかを示す２次元座標を特定するための識別子で、０，１，…で表される。算出された光線ベクトルは、画像統合手段１２０に出力される。
本実施形態では、光線ベクトルｇは、仮想ディスプレー上の画素ｉの位置を終点とするベクトルであって、仮想レンズアレーにおいて当該画素ｉの最近傍のマイクロレンズｍの光学主点ｐを始点とするベクトルであるものとした。この光線ベクトルｇの向きとは反対向きのベクトルを想定すると、そのベクトルの向き（仮想カメラ側に向かう直線Ｌの向き）は、生成される立体像を観測するときには、当該画素から再生されるインテグラル立体像の光線の向きを表す。

位置情報算出手段１１３は、仮想ディスプレーの画素ｉを通る直線Ｌと、仮想空間に配置した３次元モデルＱと、の交点のうち、観測者に最も近い位置に対応して決定した交点の座標を求める。図４に示す例では、位置情報算出手段１１３は、画素ｉを通る直線Ｌと３次元モデルＱとの交点｛Ｓ₀、Ｓ₁、Ｓ₂｝のうち、もっともＺ値が大きな交点Ｓ₂の座標を求めて、画像統合手段１２０に出力する。なお、以下では、特に区別しない場合、単に交点Ｓと表記する。

＜画像統合手段＞
画像統合手段１２０は、画像生成制御手段１３０の制御の下、各カメラ画像を用いてその画素値を統合するものである。この画像統合手段１２０には、カメラ画像及びカメラパラメータが入力される。図１に示すように、画像統合手段１２０は、カメラベクトル算出手段１２１と、カメラ選択手段１２２と、画素値割当手段１２３と、を備えている。

カメラベクトル算出手段１２１は、入力されるカメラパラメータに基づいて仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルをそれぞれ算出するものである。算出されたカメラベクトルは、カメラ選択手段１２２に出力される。
図３及び図４において、カメラベクトルＣ₀は、画像Ｉ₀を撮影したカメラの撮影方向を示している。同様に、他のカメラベクトルＣ₁、Ｃ₂、Ｃ₃、Ｃ₄は、画像Ｉ₁、Ｉ₂、Ｉ₃、Ｉ₄をそれぞれ撮影した各カメラの撮影方向を示している。カメラベクトルを特に区別しない場合、Ｃ_nと表記する。また、カメラを識別するためにカメラベクトルの符号（Ｃ_n）を用いることもある。カメラそのものと容易に区別できる場合にはカメラベクトルＣとも表記する。なお、カメラ画像を特に区別しない場合、Ｉ_n又は単にＩと表記する。

カメラ選択手段１２２には、光線ベクトルｇ及びカメラベクトルＣ_nが入力される。
カメラ選択手段１２２は、仮想空間においてカメラベクトルＣ_nと光線ベクトルｇとのなす角度が所定値以下であるカメラを選択するものである。すなわち、カメラ選択手段１２２は、各カメラベクトルＣ_nと光線ベクトルｇとの内積をそれぞれ求め、内積が所定の閾値以上となったカメラを選択する。ここで、角度についての所定値や、内積についての閾値は、特に限定されず、要素画像群生成装置１００の目的や用途に応じて、カメラ選択手段１２２で少なくとも１つのカメラを選択できるように、その値を適宜設定することができる。

図４に示す例では、光線ベクトルｇとカメラベクトルＣ₂との内積と、光線ベクトルｇとカメラベクトルＣ₃との内積とが所定の閾値以上になったものとしている。この場合、カメラ選択手段１２２は、画像Ｉ₂を撮影したカメラと、画像Ｉ₃を撮影したカメラとを選択する。ここで、カメラを選択するのは、そのカメラ画像を選択するためであり、カメラベクトルの符号（Ｃ_n）は、カメラ識別子を兼ねているので、カメラを選択することを、カメラベクトル｛Ｃ₂，Ｃ₃｝を選択する、又は、カメラ画像｛Ｉ₂，Ｉ₃｝を選択するともいう。

このカメラ選択手段１２２は、光線ベクトルｇとカメラベクトルＣ_nとに基づいてカメラを選択する。前記したように、生成される立体像を観測する際には、この光線ベクトルｇの向きとは反対向きのベクトルの向き（仮想カメラ側に向かう直線Ｌの向き）は、当該画素から再生されるインテグラル立体像の光線の向きを表す。したがって、カメラ選択手段１２２によって、光線ベクトルｇの向きに近い撮影方向のカメラベクトル（カメラ）を選択してそのカメラ画像Ｉを採用することで、要素画像群生成装置１００は、再生されるインテグラル立体像において３次元モデルＱの誤差の影響を最小限にすることができる。

画素値割当手段１２３は、３次元モデルＱの交点をカメラ画像Ｉに投影した投影点Jの画素値又はそれらを合成した画素値を仮想ディスプレーの画素に割り当てるものである。この画素値割当手段１２３は、投影手段１２４と、合成手段１２５と、を備えている。

投影手段１２４は、カメラ選択手段１２２で選択されたカメラについて入力されたカメラ画像に対して交点の座標を投影するものである。
投影手段１２４は、仮想カメラについてカメラパラメータに基づいて予め行ったキャリブレーションによって、仮想空間上のある点の３次元位置に対して、ある撮影方向をもって配置されたある仮想カメラの撮像面上のある一点の位置とが対応付けられるように構成されている。位置の対応付けは、キャリブレーションに基づいて得られるルックアップテーブルや関係式を用いる演算により行われる。よって、投影手段１２４は、仮想空間上の３次元位置の座標（交点の座標）が入力されると、投影先のカメラ画像の画素の位置を特定することができる。なお、このキャリブレーションには、例えば既知の位置に点群が描画されているパターンを多視点カメラで同時に撮影して取得したカメラパラメータを用いることができる。

合成手段１２５は、カメラ選択手段１２２で複数のカメラが選択されたときに、各カメラ画像の投影点の画素値を合成するものである。合成された画素値Ｖは、画像生成制御手段１３０に出力される。なお、合成手段１２５は、カメラ選択手段１２２で１つのカメラだけが選択された場合、そのカメラ画像の投影点の画素値をそのまま画像生成制御手段１３０に出力する。

ここで、画素値の合成の具体例について図５（ａ）を参照（適宜図１及び図４参照）して説明する。例えばカメラ選択手段１２２において、各カメラベクトルＣ_nと、画素ｉを通る光線ベクトルｇとの内積を求めた結果、閾値以上の内積を持つものとして２つのカメラベクトル｛Ｃ₂，Ｃ₃｝を選択したものとする。この場合、投影手段１２４は、これらのカメラベクトル｛Ｃ₂，Ｃ₃｝に対応した２つのカメラ画像｛Ｉ₂，Ｉ₃｝に対して、位置情報算出手段１１３で算出された交点Ｓ₂の座標をそれぞれ投影する。図５（ａ）に示す例では、カメラ画像Ｉ₂における交点Ｓ₂の投影点をＪ₂、カメラ画像Ｉ₃における交点Ｓ₂の投影点をＪ₃としている。また、投影点Ｊ₂の画素値（カラー値）をＶ₂、投影点Ｊ₃の画素値（カラー値）をＶ₃とする。

この場合、合成手段１２５は、画素値Ｖ₂と画素値Ｖ₃とを合成した結果の画素値Ｖを画像生成制御手段１３０に出力する。ここで、複数の画素値（カラー値）の合成は、各カメラベクトル｛Ｃ₂，Ｃ₃｝と光線ベクトルｇとのなす角で定義される式によって合成できる。例えば、次の式（１）に示すように、画素値Ｖは、画素値Ｖ₂、Ｖ₃に対して各カメラベクトル｛Ｃ₂，Ｃ₃｝と光線ベクトルｇとの内積値を係数とした重み付け加算によって定義してもよい。なお、式（１）においてＫは定数である。

＜画像生成制御手段＞
画像生成制御手段１３０は、仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成するものである。
画像生成制御手段１３０は、例えば前記式（１）、図５（ａ）及び図５（ｂ）に示すように、画素ｉを通る光線ベクトルｇから割り当てられた画素値Ｖを取得した場合、要素画像群格納メモリ１３１上で仮想ディスプレーの画素ｉに対応したアドレスに画素値Ｖを格納する。つまり、要素画像群格納メモリ１３１上の要素画像群Ｙのための記憶領域において、光線ベクトルｇが通るマイクロレンズｍに対応した要素画像Ｇの該当画素ｉに対応した座標に画素値Ｖを格納する。すなわちＹ（ｉ）＝Ｖである。

図３及び図４に示すように、仮想レンズアレーのマイクロレンズｍ（以下、単にレンズともいう）は、仮想ディスプレーの６画素×６画素に対応している。よって、この例では、１つのレンズ当たり６×６回の光線追跡に応じて、それぞれ割り当てられた画素値を格納する。
加えて、仮想レンズアレーのレンズの個数が、例えば６×６の正方配列であれば、レンズ毎に行う処理を３６回繰り返すことになる。画像生成制御手段１３０は、以上の一連の画素割当及びメモリ格納処理を、仮想ディスプレーの各画素について行った後、メモリに格納されている最終結果の要素画像群Ｙを出力する。
これにより、実空間上において、２次元ディスプレー上に、この要素画像群Ｙを表示し、レンズアレーを構成するレンズ（マイクロレンズ）の焦点距離ｆだけ離れた位置に、このレンズアレーを設置すると、インテグラル立体像を再生することができる。

［要素画像群生成装置の動作］
次に、要素画像群生成装置１００による処理の流れについて図６を参照（適宜図１及び図４参照）して説明する。まず、要素画像群生成装置１００において、光線追跡手段１１０は、仮想ディスプレー、仮想レンズアレー、３次元モデルを仮想空間に配置する（ステップＳ１）。そして、画像生成制御手段１３０は、仮想ディスプレー上の画素ｉにおいてｉ＝０を設定する（ステップＳ２）。

そして、光線追跡手段１１０は、仮想レンズアレー中で、画素ｉに最近傍のレンズ（マイクロレンズｍ）を探索し（ステップＳ３）、画素ｉとマイクロレンズｍの光学主点ｐとを結ぶ直線Ｌを算出し（ステップＳ４）、直線Ｌから光線ベクトルｇを算出する（ステップＳ５）。さらに、光線追跡手段１１０は、直線Ｌと３次元モデルとの交点を算出し（ステップＳ６）、複数の交点のうち最も観測者側の交点Ｓの位置を抽出する（ステップＳ７）。

続いて、画像統合手段１２０は、カメラベクトルＣと光線ベクトルｇとのなす角度が所定値以下であるカメラをすべて選択する（ステップＳ８）。すなわち、カメラベクトルＣと光線ベクトルｇとの内積が閾値以上であるカメラをすべて選択する。そして、画像統合手段１２０は、選択されたカメラの画像に交点Ｓをそれぞれ投影し、その画素値をそれぞれ取得する（ステップＳ９）。次に、画像生成制御手段１３０は、画素値の合成結果をメモリ内の画素ｉの位置に格納する（ステップＳ１０）。そして、画像生成制御手段１３０は、ｉの現在値に１を加算し（ステップＳ１１）、全ての画素を選択したか否かを判別する（ステップＳ１２）。まだ選択していない画素が残っている場合（ステップＳ１２：Ｎｏ）、要素画像群生成装置１００は、ステップＳ３に戻る。一方、全ての画素を選択した場合（ステップＳ１２：Ｙｅｓ）、画像生成制御手段１３０は、要素画像群を出力する（ステップＳ１３）。

第１実施形態によれば、要素画像群生成装置１００は、立体像を再生する際のインテグラル立体像の光線の向きに相当する光線ベクトルｇの向きに近い撮影方向のカメラベクトルを選択して、そのカメラ画像Iに対して光線ベクトルｇと被写体の３次元モデルＱとの交点Ｓを投影するので、３次元モデルの法線に一番近いカメラを選択する手法よりも、再生されるインテグラル立体像において３次元モデルの誤差の影響を低減することができる。

（第２実施形態）
第１実施形態では図３を参照してモデルの正面や側面がひと続きの滑らかな曲線で示された１つのモデルが求められているものとして説明したが、例えばデプスカメラ（奥行きカメラ）で被写体の距離画像を取得する場合には、一方向からしか被写体を撮影できない。ただし、デプスカメラで様々な方向から被写体を撮影して取得した距離画像を重ね合わせれば、全体としてモデルの正面や側面がひと続きの滑らかな曲線で示された１つの３次元モデルのように扱うことが可能である。

以下では、デプスカメラの代わりに通常のカラーカメラを用い、多数のカラーカメラから２台のカメラを選択しそのカメラペアでそれぞれ撮影されたカメラ画像間の対応関係を各画素について求め、三角測量の原理を用いて奥行きを推定することで、当該カメラペアのデプスマップが生成されているものとする。

［要素画像群生成装置の構成］
以下では、第１実施形態と同じ構成には同じ符号を付して説明を適宜省略する。
図７に示す要素画像群生成装置１００Ｂは、デプスマップを演算機内の仮想空間上に配置して要素画像群を生成する。本実施形態では、図７に示すように、要素画像群生成装置１００Ｂの処理の際に外部から、カメラ画像、カメラパラメータ、ディスプレーパラメータ、レンズアレーパラメータ及びデプスマップが入力されるものとする。なお、これらの入力データは、処理の前に、要素画像群生成装置１００Ｂの内部のメモリに記憶させておくこととしてもよい。

デプスマップは、多視点カメラの一部のカメラ（例えば２台のステレオカメラ）から、被写体までの奥行きを推定したものであり、画素ごとの奥行き値が２次元に並んだ距離画像である。側面等を含む３次元モデルを生成するには複数の距離画像を統合する必要があるので、複数のデプスマップを入力することが好ましい。

複数のデプスマップについて、図８を参照（適宜図７参照）して説明する。
デプスマップＤ₀は、カメラＣ₀とカメラＣ₁とを用いて生成され、カメラＣ₀による画像Ｉ₀の撮影位置からの距離値が並んだ距離画像である。
デプスマップＤ₁は、カメラＣ₁とカメラＣ₀とを用いて生成され、カメラＣ₁による画像Ｉ₁の撮影位置からの距離値が並んだ距離画像である。
デプスマップＤ₂は、カメラＣ₂とカメラＣ₁とを用いて生成され、カメラＣ₂による画像Ｉ₂の撮影位置からの距離値が並んだ距離画像である。
デプスマップＤ₃は、カメラＣ₃とカメラＣ₂とを用いて生成され、カメラＣ₃による画像Ｉ₃の撮影位置からの距離値が並んだ距離画像である。
デプスマップＤ₄は、カメラＣ₄とカメラＣ₃とを用いて生成され、カメラＣ₄による画像Ｉ₄の撮影位置からの距離値が並んだ距離画像である。
なお、以下では、特に区別しない場合、デプスマップＤと表記する。

要素画像群生成装置１００Ｂは、図７に示すように、主として、光線追跡手段１１０Ｂと、画像統合手段１２０と、画像生成制御手段１３０と、デプスマップ制御手段１４０と、を備えている。
光線追跡手段１１０Ｂは、光線ベクトル算出手段１１２で算出した光線ベクトルｇをデプスマップ制御手段１４０に出力し、代わりに、光線ベクトルｇに基づいて選択されたデプスマップＤを取得し、取得したデプスマップＤを仮想空間（仮想空間情報メモリ１１４）において仮想ディスプレーの近傍に配置する。

光線追跡手段１１０Ｂの位置情報算出手段１１３は、仮想ディスプレーの画素ｉを通る直線Ｌと、仮想空間に配置したデプスマップＤと、の交点のうち、観測者に最も近い位置に対応して決定した交点の座標を求める。求められた交点の座標は、画像統合手段１２０に出力される。図８に示す例では、位置情報算出手段１１３は、デプスマップ制御手段１４０からデプスマップＤ₂、Ｄ₃を取得し、直線ＬとデプスマップＤ₂との交点Ｓ₀と、直線ＬとデプスマップＤ₃との交点Ｓ₁のうち、もっともＺ値が大きな交点Ｓ₁の座標を求め、その結果を画像統合手段１２０に出力する。

＜デプスマップ制御手段＞
デプスマップ制御手段１４０には、カメラパラメータ及びデプスマップが入力される。
デプスマップ制御手段１４０は、カメラベクトル算出手段１４１と、デプスマップ選択手段１４２と、を備えている。

カメラベクトル算出手段１４１は、入力されるカメラパラメータに基づいて仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルをそれぞれ算出するものである。算出されたカメラベクトルＣ₀、Ｃ₁、Ｃ₂、Ｃ₃、Ｃ₄は、デプスマップ選択手段１４２に出力される。

デプスマップ選択手段１４２には、カメラベクトルＣ₀、Ｃ₁、Ｃ₂、Ｃ₃、Ｃ₄が入力すると共に、デプスマップＤ₀、Ｄ₁、Ｄ₂、Ｄ₃、Ｄ₄が入力する。
デプスマップ選択手段１４２は、光線追跡手段１１０Ｂから光線ベクトルｇを取得し、この光線ベクトルｇとカメラベクトルＣ₀、Ｃ₁、Ｃ₂、Ｃ₃、Ｃ₄との内積をそれぞれ算出し、内積が予め定められた閾値以上となるカメラベクトルを決定する。ここで、デプスマップＤ₀〜Ｄ₄は、カメラ画像Ｉ₀〜Ｉ₄の撮影位置にそれぞれ対応しているので、カメラベクトルＣ₀〜Ｃ₄にそれぞれ対応している。つまり、デプスマップ選択手段１４２で決定されたカメラベクトルは、デプスマップに１対１で対応している。要するに、デプスマップ選択手段１４２は、光線ベクトルｇとカメラベクトルとの内積が予め定められた閾値以上となるようなデプスマップを決定することができる。
図８に示す例では、デプスマップ選択手段１４２は、光線追跡手段１１０Ｂから取得した光線ベクトルｇを用いた演算処理の結果、デプスマップＤ₀〜Ｄ₄の中からデプスマップＤ₂、Ｄ₃を選択して光線追跡手段１１０Ｂに出力する。

［要素画像群生成装置の動作］
次に、要素画像群生成装置１００Ｂによる処理の流れについて図９を参照（適宜図７及び図８参照）して説明する。
まず、要素画像群生成装置１００Ｂにおいて、光線追跡手段１１０Ｂは、仮想ディスプレー、仮想レンズアレー、複数のデプスマップＤ₀〜Ｄ₄を仮想空間に配置する（ステップＳ１Ｂ）。
次のステップＳ２〜ステップＳ５の各処理は、図６のフローチャートと同じなので説明を省略する。
ステップＳ５に続いて、デプスマップ制御手段１４０は、算出したカメラベクトルＣと、光線追跡手段１１０から取得した光線ベクトルｇと、を用いて、これらのベクトルの内積が閾値以上となるようなデプスマップＤ（Ｄ₂，Ｄ₃）を選択する（ステップＳ２１）。
そして、光線追跡手段１１０Ｂの位置情報算出手段１１３は、直線ＬとデプスマップＤ（Ｄ₂，Ｄ₃）との交点を算出する（ステップＳ２２）。
以下のステップＳ７〜ステップＳ１３の各処理は、図６のフローチャートと同じなので説明を省略する。

第２実施形態によれば、要素画像群生成装置１００Ｂは、立体像を再生する際のインテグラル立体像の光線の向きに相当する光線ベクトルｇの向きに近い撮影方向のカメラベクトルを選択して、そのカメラ画像Ｉに対して光線ベクトルｇと被写体のデプスマップＤとの交点を投影するので、３次元モデルの法線に一番近いカメラを選択する手法よりも、再生されるインテグラル立体像において３次元モデルの誤差の影響を低減することができる。

以上、実施形態に基づいて本発明に係る要素画像群生成装置について説明したが、本発明はこれらに限定されるものではない。以下に変形例を列挙する。
例えば、前記各実施形態では、画像統合手段１２０のカメラ選択手段１２２は、カメラベクトルＣと光線ベクトルｇとのなす角度が所定値以下であるカメラを選択することとしたが、カメラベクトルＣと光線ベクトルｇとのなす角度を昇順に並びかえたとき、予め定められた順位以上のカメラを選択するようにしてもよい。つまり、各カメラベクトルＣ_nと光線ベクトルｇとの内積をそれぞれ求め、内積を降順に並びかえたとき、内積が予め定められた順位以上のカメラを選択してもよい。

第２実施形態では、デプスマップ選択手段１４２は、光線ベクトルｇとカメラベクトルＣとの内積が予め定められた閾値以上となるようなデプスマップＤを選択し、光線追跡手段１１０Ｂは、デプスマップ選択手段１４２で選択されたデプスマップＤを利用して決定した交点の座標を求めるようにしたが、これに限定されるものではない。例えばデプスマップ選択手段１４２は、各カメラベクトルＣ_nと光線ベクトルｇとの内積を降順に並びかえたとき、内積が予め定められた順位以上となるようなデプスマップＤを選択し、光線追跡手段１１０Ｂは、その選択されたデプスマップＤを利用して決定した交点の座標を求めるようにしてもよい。つまり、光線追跡手段１１０Ｂは、カメラベクトルＣと光線ベクトルｇとのなす角度を降順に並びかえたとき予め定められた順位以上のカメラを用いて生成されたデプスマップＤを利用して決定した交点の座標を求めるようにしてもよい。

第２実施形態では、例えばデプスマップＤの端部等の誤差が生じやすい箇所に交点が位置している場合、デプスマップ｛Ｄ₂，Ｄ₃｝と直線Ｌとのそれぞれの交点｛Ｓ₀，Ｓ₁｝のうち、もっともＺの値が高いものを単純に選択すると、適切ではないデプスマップを選択する懸念がある。そこで、確からしさが高い適切なデプスマップを選択できるように次のように変形して実施してもよい。

この変形例の場合、光線追跡手段１１０Ｂは、デプスマップＤと直線Ｌとの交点のうち観測者に最も近い交点をデプスマップＤ毎に求め、求めた交点を、選択された複数のカメラ画像Ｉにそれぞれ投影したときの各投影点での画素値の類似度を交点毎に算出し、算出した類似度が最も高くなる交点を、観測者に最も近い位置に対応した交点として決定する。

具体的には、図８に示す例では、光線追跡手段１１０Ｂは、デプスマップＤ₂内でもっともＺ値が高い交点Ｓ₀を選択し、デプスマップＤ₃内でもっともＺ値が高い交点Ｓ₁を選択する。画像統合手段１２０では、交点Ｓ₀を、選択されたカメラＣ₂の画像Ｉ₂に投影すると共に、選択されたカメラＣ₃の画像Ｉ₃にも投影する。画像統合手段１２０は、各投影点｛Ｊ₂（Ｓ₀），Ｊ₃（Ｓ₀）｝の各画素値｛Ｉ₂（Ｊ₂（Ｓ₀）），Ｉ₃（Ｊ₃（Ｓ₀））｝の類似度を算出する。
同様に、画像統合手段１２０では、交点Ｓ₁を、選択されたカメラＣ₂の画像Ｉ₂に投影すると共に、選択されたカメラＣ₃の画像Ｉ₃にも投影する。画像統合手段１２０は、各投影点｛Ｊ₂（Ｓ₁），Ｊ₃（Ｓ₁）｝の各画素値｛Ｉ₂（Ｊ₂（Ｓ₁）），Ｉ₃（Ｊ₃（Ｓ₁））｝の類似度を算出する。
この場合、画像統合手段１２０から各類似度を取得した光線追跡手段１１０Ｂは、交点Ｓ₁を投影したときの類似度の方が、交点Ｓ₀を投影したときの類似度よりも高ければ、交点Ｓ₁を、決定された交点として画像統合手段１２０に出力する。
ここで、交点Ｓ₁はデプスマップＤ₃内でもっともＺ値が高いものとして選択されていたので、画像統合手段１２０は、デプスマップＤ₃を生成するときに用いた２つのカメラのうち、撮影位置にあったカメラＣ₃で撮影された画像Ｉ₃において投影点Ｊに対応した画素の画素値を抽出して、その抽出値を画素値Ｖとする。
そして、画像生成制御手段１３０は、要素画像群Ｙの該当画素ｉの座標に画素値Ｖを入力する。すなわちＹ（ｉ）＝Ｖ＝Ｉ₃（Ｊ）である。

前記各実施形態では、光線追跡手段１１０，１１０Ｂとして、光線を１本ずつ追跡する例について説明したが、光線追跡の手法はこれに限定されるものではなく、例えば下記参考文献３に記載された手法を用いてもよい。
参考文献３：Y. Iwadate and M. Katayama, “Generating integral image from 3D object by using oblique projection,” Proc. of International Display Workshops, 3Dp-1, pp. 269-272, 2011.

参考文献３に記載された手法は、演算機の平行投影の処理を用いて、斜投影画像を取得することで、同一方向の光線を同時に取得する。この場合、カメラを光線毎に選択する必要はなく、斜投影画像を取得する際に、１度だけカメラを選択すればよい。つまり、光線追跡手段１１０，１１０Ｂは、仮想空間上で斜投影を行って仮想レンズアレーを構成する各レンズの光学主点を通過する同一方向の光線として光線ベクトルを算出し、画像統合手段１２０は、斜投影が行われる度にカメラを選択する処理を行う。このようにすることで、処理を高速化し、演算量を減らすことができる。
例えば、仮想レンズアレーのレンズの個数が例えば６×６の正方配列であれば、各要素画像中のある方向の光線を１本ずつ追跡する場合にレンズ個数（３６個）の回数だけ繰り返すことが必要な処理を、１回で済ますことができるようになる。より具体的には、ある方向の光線を取得する処理として、例えば図５（ｂ）に示すような１つの要素画像Ｇの最も左上の画素を取得する処理について説明する。通常ならば、要素画像Ｇの最も左上の画素を取得する、という処理をすべての要素画像について行う必要がある。しかしながら、斜投影画像を取得する高速化処理ならば、すべての要素画像の左上の画素の画素値を一つの処理で取得することができるようになる。

斜投影画像を取得することで、第２実施形態においては、デプスマップ選択手段１４２は、光線追跡手段１１０Ｂから取得する１つの光線ベクトルｇが、仮想レンズアレーの全レンズ分の斜投影の方向を示すことになるので、同様に、斜投影画像取得毎に、デプスマップの選択も１度だけ行えばよく、光線毎に行う必要はない。画像統合手段１２０Ｂは、斜投影が行われる度に、そのときに選択されたデプスマップを切り替えて用いればよい。

斜投影画像を取得する場合、第１実施形態において、選択された複数のカメラ画像の合成については、選択されたあるカメラ画像を、３次元モデルにマッピングしておき、その斜投影画像を取得する処理を、選択されたカメラ台数分繰り返した後で合成することができる。また、コンピュータグラフィックの関数にはそのような演算も用意されている（たとえば、OpenGLのブレンド機能）。

斜投影画像を取得する場合、第２実施形態における複数デプスマップの上の交点の選択については、奥行き値を投影したZbufferを用いて、各デプスマップ内でもっともＺ値が高い交点｛Ｓ₀，Ｓ₁｝をそれぞれ求めることができる。ここで、図８に示した例のように、デプスマップＤ₂内でもっともＺ値が高い交点はＳ₀であり、デプスマップＤ₃内でもっともＺ値が高い交点はＳ₁である。そして、投影点における画素値の類似度判定による交点Ｓの選択については、カメラＣ₂の画像Ｉ₂をデプスマップ｛Ｄ₂，Ｄ₃｝にそれぞれマッピングしておき、カメラＣ₃の画像Ｉ₃をデプスマップ｛Ｄ₂，Ｄ₃｝にそれぞれマッピングしておき、各デプスマップを斜投影した各画像上で類似の高いデプスマップの投影点の画素値を用いることで実現できる。

ここで、各デプスマップを斜投影した各画像上で類似の高いことを示す類似度としては、各カメラベクトルＣ_nと光線ベクトルｇとのなす角度が互いに小さいほど、類似が高いことを示すような類似度を定義する。つまり、各画像上でのそれぞれの画素値を比較したとき、その画素値の差が小さいほど、類似が高いことを示すような類似度を定義する。
例えば、画像Ｉ₂をデプスマップＤ₂にマッピングしたデプスマップを斜投影した画像Ｈｃ₂ｄ₂と、画像Ｉ₃をデプスマップＤ₂にマッピングしたデプスマップを斜投影した画像Ｈｃ₃ｄ₂と、を用意する。そして、対象画素ｋにおける画像Ｈｃ₂ｄ₂の画素値と、対象画素ｋにおける画像Ｈｃ₃ｄ₂の画素値と、の差を算出することで、類似度Ｒ₂を求めることができる。

同様に、画像Ｉ₂をデプスマップＤ₃にマッピングしたデプスマップを斜投影した画像Ｈｃ₂ｄ₃と、画像Ｉ₃をデプスマップＤ₃にマッピングしたデプスマップを斜投影した画像Ｈｃ₃ｄ₃と、を用意する。対象画素ｋにおける画像Ｈｃ₂ｄ₃の画素値と、対象画素ｋにおける画像Ｈｃ₃ｄ₃の画素値と、の差を算出することで、類似度Ｒ₃を求めることができる。そして、Ｒ₂＜Ｒ₃の関係が成り立っていれば、デプスマップＤ₂上の交点Ｓ₀を、決定された交点として出力すればよい。

第２実施形態では、デプスマップ制御手段１４０のカメラベクトル算出手段１４１を、画像統合手段１２０のカメラベクトル算出手段１２１で代用してもよいし、デプスマップ選択手段１４２を光線追跡手段１１０Ｂに組み込んでもよい。
第２実施形態で説明したデプスカメラで様々な方向から被写体を撮影して取得した距離画像を、精密に重ね合わせて図３に示す３次元モデルＱを生成することができれば、その後、第１実施形態で説明した手法で要素画像群を生成するようにしてもよい。

前記各実施形態では、要素画像群生成装置１００，１００Ｂとして説明したが、各装置の構成の処理を可能にするように、汎用または特殊なコンピュータ言語で記述した要素画像群生成プログラムとみなすことも可能である。

また、要素画像群生成装置１００，１００Ｂは、２次元ディスプレーとレンズアレーとを併せて利用することでインテグラル立体像を提示することができる。さらに、例えばデジタル放送受信機能と２次元ディスプレーとレンズアレーとを備えたデジタル放送受信装置（インテグラル式立体テレビ）として利用することもできる。

前記各実施形態では、水平と垂直の両方の視差を再現することができるインテグラル立体像のケースについて述べたが、かまぼこ型の１次元のマイクロレンズを用いて、水平視差のみを再現するレンチキュラー式の立体像についても同様に生成可能である。
また、前記各実施形態で説明した処理を複数のフレームに行うことで、立体像の動画を生成することができる。

さらに、前記各実施形態の説明では、３次元モデルやデプスマップが、多視点映像から生成されたものとして説明したが、これに限らず、例えばＴＯＦ（Time Of Flight）法や構造化照明法（Structured Light）など、多視点映像以外を用いて３次元モデルやデプスマップを取得するようにしても構わない。
例えば３次元モデルやデプスマップをＴＯＦ法で取得する場合、被写体をＴＯＦカメラで撮影して被写体までの距離情報を含む距離画像を取得すればよい。
また、例えば３次元モデルやデプスマップを構造化照明法で取得する場合、構造化照明法で用いるカメラで被写体を撮影して被写体の輝度情報を含むモノクローム画像を取得すればよい。なお、要素画像群を生成するために被写体を多視点カメラ（カラーカメラ）で撮影することには変わりはない。そのため、各カラーカメラの近傍に、例えばＴＯＦカメラ等を設置して、被写体のカラー画像と距離画像等とを取得するようにしてもよい。

１００，１００Ｂ要素画像群生成装置
１１０，１１０Ｂ光線追跡手段
１１１仮想空間設定手段
１１２光線ベクトル算出手段
１１３位置情報算出手段
１１４仮想空間情報メモリ
１２０画像統合手段
１２１カメラベクトル算出手段
１２２カメラ選択手段
１２３画素値割当手段
１２４投影手段
１２５合成手段
１３０画像生成制御手段
１３１要素画像群格納メモリ
１４０デプスマップ制御手段
１４１カメラベクトル算出手段
１４２デプスマップ選択手段

Claims

被写体を撮影した画像から予め生成された３次元モデルを利用し、前記被写体を多視点カメラで撮影した多視点のカメラ画像から要素画像群を生成する要素画像群生成装置であって、
仮想空間に配置した仮想ディスプレーの画素から発して仮想レンズアレーのレンズを通過する光線を表す直線の方向ベクトルである光線ベクトルを算出すると共に前記直線と前記仮想空間に配置した前記３次元モデルとの交点のうち観測者に最も近い位置に対応して決定した交点の座標を求める光線追跡手段と、
前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが１つである場合、当該１つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる画像統合手段と、
前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する画像生成制御手段と、を備える要素画像群生成装置。
被写体の予め生成された複数のデプスマップを利用し、前記被写体を多視点カメラで撮影した多視点のカメラ画像から要素画像群を生成する要素画像群生成装置であって、
仮想空間に配置した仮想ディスプレーの画素から発して仮想レンズアレーのレンズを通過する光線を表す直線の方向ベクトルである光線ベクトルを算出すると共に前記直線と前記仮想空間に配置した前記デプスマップとの交点のうち観測者に最も近い位置に対応して決定した交点の座標を求める光線追跡手段と、
前記被写体の撮影に用いる多視点カメラのカメラパラメータに基づいて前記仮想空間上に配置された複数のカメラによる撮影方向を示すカメラベクトルと前記光線ベクトルとのなす角度が所定値以下であるカメラを選択し、選択されたカメラについて入力された前記カメラ画像に対して前記交点の座標を投影し、前記選択されたカメラが１つである場合、当該１つのカメラのカメラ画像に投影された投影点の画素値を前記仮想ディスプレーの画素に割り当て、前記選択されたカメラが複数である場合、当該複数のカメラのカメラ画像に投影された複数の投影点の画素値を合成した画素値を前記仮想ディスプレーの画素に割り当てる画像統合手段と、
前記仮想ディスプレーの全画素について割り当てられた画素値を集積した要素画像群を生成する画像生成制御手段と、を備える要素画像群生成装置。
前記画像統合手段は、前記カメラベクトルと前記光線ベクトルとのなす角度を昇順に並びかえたとき、予め定められた順位以上のカメラを選択する、請求項１又は請求項２に記載の要素画像群生成装置。
前記光線追跡手段は、前記カメラベクトルと前記光線ベクトルとのなす角度を昇順に並びかえたとき、予め定められた順位以上のカメラを用いて生成されたデプスマップを用いて前記決定した交点の座標を求める、請求項２に記載の要素画像群生成装置。
前記光線追跡手段は、前記デプスマップと前記直線との交点のうち観測者に最も近い交点をデプスマップ毎に求め、求めた交点を前記選択された複数のカメラにそれぞれ投影したときの各投影点での画素値の類似度を前記交点毎に算出し、算出した類似度が最も高くなる交点を、前記観測者に最も近い位置に対応した交点として決定する、請求項２に記載の要素画像群生成装置。
前記光線追跡手段は、仮想空間上で斜投影を行って前記仮想レンズアレーを構成する各レンズの光学主点を通過する同一方向の光線として前記光線ベクトルを算出し、
前記画像統合手段は、前記斜投影が行われる度に前記カメラを選択する処理を行う、請求項１から請求項５のいずれか一項に記載の要素画像群生成装置。
前記光線追跡手段は、仮想空間上で斜投影を行って前記仮想レンズアレーを構成する各
レンズの光学主点を通過する同一方向の光線として前記光線ベクトルを算出し、
前記画像統合手段は、前記斜投影が行われる度に前記デプスマップを切り替えて用いる、請求項２に記載の要素画像群生成装置。
コンピュータを、請求項１から請求項７のいずれか一項に記載の要素画像群生成装置として機能させるための要素画像群生成プログラム。