JP6253180B2 - 画像生成装置およびプログラム - Google Patents

Description

本発明は、画像生成装置およびプログラムに関する。

従来のインテグラルフォトグラフィ（Integral Photography；ＩＰ）立体像の撮像では、１台のカメラで複数の微小レンズが配列されたレンズアレイなるものを通して被写体を撮像している。この時、カメラはレンズアレイの焦平面を撮像するため、レンズアレイを構成する各微小レンズは微小なカメラと同じ働きをする。その結果、レンズアレイ越しに被写体を撮像した画像は、微小レンズの位置に応じた微小画像（以下、要素画像とする）が並んだ画像（以下、要素画像群という）となる。この要素画像群は、被写体からの光線情報を記録した画像であり、記録できる光線数はカメラの解像度に依存する。また、インテグラルフォトグラフィ方式における再生像の解像度は、再生する光線数すなわちカメラの解像度に依存するため、高解像度のカメラが必要である。そのため、撮像用レンズアレイの代わりにカメラを密に並べたカメラアレイに置き換えた撮像装置を用いることで撮像部の多画素化を実現することができる。この場合、複数台のカメラの位置を高精度に制御する必要がある。

一方、コンピュータグラフィックス（以下、ＣＧという）によるインテグラルフォトグラフィ立体像の要素画像を生成する技術が、世の中で研究されている。この技術では、計算機内で仮想の３次元空間を生成し、３次元の被写体およびセットが実世界と同様な動作をするように再現し、その仮想３次元空間において被写体からの光線を追跡することで要素画像を生成している。このＣＧを用いた技術による要素画像の生成において、表示装置の表示面よりも飛び出す映像を生成するために、被写体からの光線を制御する奥行き制御レンズなるものを通して被写体からの光線を追跡する計算方法がある（例えば、非特許文献１）。

Spyros S. Athineos 他、"Physical modeling of a microlens array setup for use in computer generated IP"、Proc. of SPIE-IS&T Electronic Imaging、Vol. 5664 pp. 472-479、2005

しかしながら、非特許文献１に記載のＣＧを用いたインテグラルフォトグラフィ立体像の要素画像の生成方法においては、表示装置の表示面よりも飛び出した立体映像を生成するためには、被写体からの光線を制御するための光学素子（レンズ）が必要であった。そのため、奥行きを制御するための計算処理が必要となり、演算量が多くなってしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、表示面よりも飛び出した立体像と引っ込んでいる立体像とを含むインテグラルフォトグラフィ立体像の要素画像を生成する際の演算量を抑えることができる画像生成装置およびプログラムを提供する。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置であって、３次元空間における被写体の位置を表す情報を少なくとも記憶する被写体情報記憶部と、前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイのレンズ各々に対応した位置に、仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置されているとして、前記仮想撮像レンズより手前側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する前側算出部と、前記仮想撮像面と前記仮想撮像レンズとが前記前側算出部における配置と同様に配置されているとして、前記仮想撮像面より奥側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する奥側算出部と、前記前側算出部が算出した要素画像を、前記奥側算出部が算出した要素画像に対して上書きすることで、前記前側算出部が算出した要素画像と、前記奥側算出部が算出した要素画像とを合成する合成部と、を具備することを特徴とする。

（２）また、本発明の他の態様は、（１）に記載の画像生成装置であって、前記被写体情報記憶部は、前記被写体の表面の色を表す情報を記憶し、前記前側算出部は、前記要素画像における画素各々の画素値を、前記仮想撮像面における該画素と、前記仮想撮像レンズの主点とを通る直線が、前記仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、前記仮想撮像レンズの主点から最も遠い点の色を表す情報であって、前記被写体情報記憶部が記憶する該点の色を表す情報を用いて決定することを特徴とする。

（３）また、本発明の他の態様は、（１）に記載の画像生成装置であって、前記前側算出部は、前記要素画像における画素各々の画素値を、前記仮想撮像面における該画素と、前記仮想撮像レンズとを、仮想撮像面における該画素と、仮想撮像レンズの主点とを通る直線が、仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、仮想撮像レンズの主点から最も遠い点を中心とする点対称な位置に移動したときに、該移動した仮想撮像レンズの主点を通って、該移動した画素に入射する光を参照して算出することを特徴とする。

（４）また、本発明の他の態様は、コンピュータを、インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置として機能させるためのプログラムであって、前記画像生成装置は、３次元空間における被写体の位置を表す情報を少なくとも記憶する被写体情報記憶部と、前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイのレンズ各々に対応した位置に、仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置されているとして、前記仮想撮像レンズより手前側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する前側算出部と、前記仮想撮像面と前記仮想撮像レンズとが前記前側算出部における配置と同様に配置されているとして、前記仮想撮像面より奥側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する奥側算出部と、前記前側算出部が算出した要素画像を、前記奥側算出部が算出した要素画像に対して上書きすることで、前記前側算出部が算出した要素画像と、前記奥側算出部が算出した要素画像とを合成する合成部とを具備することを特徴とする。

この発明によれば、表示面よりも飛び出した立体像と引っ込んでいる立体像とを含むインテグラルフォトグラフィ立体像の要素画像を生成する際の演算量を抑えることができる。

この発明の第１の実施形態によるＩＰ立体映像表示システム１００の構成を示す概略ブロック図である。 同実施形態におけるＩＰ立体映像表示装置２０の構成を示す分解模式図である。 同実施形態における奥側算出部１３の動作を説明する模式図である。 同実施形態における前側算出部１４の動作を説明するフローチャートである。 同実施形態における前側算出部１４の動作を説明する模式図である。 同実施形態における合成部１５の動作を説明する図である。 この発明の第２の実施形態による前側算出部１４の動作を説明する模式図である。 この発明の第３の実施形態による仮想撮像面の位置を説明する模式図である。 この発明の第４の実施形態による仮想撮像レンズと、仮想撮像面との位置関係を示す透視図である。

以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態によるＩＰ（Integral Photography；インテグラルフォトグラフィ）立体映像表示システム１００の構成を示す概略ブロック図である。図１に示すＩＰ立体映像表示システム１００は、インテグラルフォトグラフィ方式で、立体映像を表示するＩＰ立体映像表示装置２０と、ＩＰ立体映像表示装置２０用のＣＧによる要素画像を生成し、該要素画像の映像信号をＩＰ立体映像表示装置２０に入力する画像生成装置１０とを含んで構成される。

画像生成装置１０は、仮想カメラアレイ情報記憶部１１と、被写体情報記憶部１２と、奥側算出部１３と、前側算出部１４と、合成部１５と、映像信号生成部１６とを含んで構成される。仮想カメラアレイ情報記憶部１１は、要素画像各々を撮像する仮想カメラの位置を表す情報を記憶する。本実施形態において、仮想カメラの位置を表す情報は、仮想撮像レンズの主点の位置を表す情報と、仮想撮像面の位置を表す情報とを含む。

仮想カメラアレイ情報記憶部１１が記憶する情報が表す仮想撮像レンズの主点の位置は、要素画像を算出するための仮想空間にＩＰ立体映像表示装置２０を配置したときに、ＩＰ立体映像表示装置２０のレンズアレイを構成するレンズ各々の主点の位置に対応する。また、仮想カメラアレイ情報記憶部１１が記憶する情報が表す仮想撮像面の位置は、仮想空間にＩＰ立体映像表示装置２０を配置したときに、ＩＰ立体映像表示装置２０により要素画像が表示される表示面の位置に対応する。すなわち、仮想撮像面は、ＩＰ立体映像表示装置２０のレンズアレイを構成するレンズの焦点距離だけ、仮想撮像レンズから離れた場所に位置する。なお、仮想レンズの主点の位置および仮想撮像面の位置は、仮想空間における時間の経過とともに変化してもよい。

被写体情報記憶部１２は、３次元の仮想空間における被写体の位置、形状、光学的な特性、色を表す情報を記憶する。例えば、被写体の仮想空間における位置、形状として、ポリゴンや自由曲面を用いてもよいし、ＣＡＤ（Computer Assisted Drafting）データを用いてもよいし、その他の形式で表してもよい。なお、被写体の仮想空間における位置、形状、光学的な特性、色は、仮想空間における時間の経過とともに変化してもよい。

奥側算出部１３は、仮想カメラアレイ情報記憶部１１が記憶する情報と、被写体情報記憶部１２が記憶する情報とを参照して、各仮想カメラに対応する奥側要素画像を算出する。奥側要素画像は、仮想カメラの仮想撮像面よりも奥側に位置する被写体による要素画像である。奥側算出部１３は、仮想撮像面における、ある画素を通った後、仮想撮像レンズの主点を通る光線を、公知の手法、例えば、レイトレーシング法や、フォトンマッピング法により算出し、該光線の色を表す値を、要素画像における該画素の画素値とする。

前側算出部１４は、仮想カメラアレイ情報記憶部１１が記憶する情報と、被写体情報記憶部１２が記憶する情報とを参照して、各仮想カメラに対応する前側要素画像を算出する。前側要素画像は、仮想カメラの仮想撮像レンズよりも手前側に位置する被写体による要素画像である。前側算出部１４は、前側要素画像の各画素の画素値を、仮想撮像面における該画素と、仮想撮像レンズの主点とを通る直線が、該仮想撮像レンズの主点より手前側で被写体と交差する点のうち、該仮想撮像レンズの主点から最も遠い点に関する情報を参照して算出する。これは、通常の陰面処理とは逆の処理となる。本実施形態では、該最も遠い点に関する情報を参照して画素値を算出する方法の一例として、該最も遠い点における被写体の色を、被写体情報記憶部１２から読み出し、該色を表す値を画素値とする方法を用いる。

なお、前側算出部１４は、上述のように、仮想撮像レンズの主点から最も遠い点の色を表す値を画素値とする際に、デプスマップを用いるようにしてもよい。まず、前側算出部１４は、仮想撮像面あるいは仮想撮像レンズから無限遠の場合が「１．０」であり、仮想撮像面あるいは仮想撮像レンズに近づくにつれて小さくなる値（ただし、０より大きい値）をデプス値として被写体の表面に対して割り当てておく。前側算出部１４は、被写体の表面をスキャンして、該表面の色を表す画素値を、前側要素画像の各画素の画素値とする。

通常の陰面処理では、デプス値を「１．０」に初期化しておき、画素値を取得した被写体のデプス値が、該画素値を書き込むべき画素の、デプスマップにおけるデプス値よりも小さいときのみ、取得した画素値で更新する。しかし、本実施形態では、通常の陰面処理とは逆の処理を行うので、前側算出部１４は、前側要素画像の各画素に対応するデプス値を有するデプスマップのデプス値を全て「０．０」に、予め初期化しておく。そして、前側算出部１４は、画素値を取得した被写体のデプス値が、該画素値を書き込むべき画素の、デプスマップにおけるデプス値よりも大きいときのみ、前側要素画像における該画素の画素値を取得した画素値で更新し、デプスマップにおける該画素のデプス値を該被写体のデプス値で更新する。

合成部１５は、奥側算出部１３が算出した奥側要素画像に、前側算出部１４が算出した前側要素画像を重ねて、要素画像を生成する。合成部１５は、生成した要素画像を、対応する仮想カメラと同様に配列した要素画像アレイを生成する。なお、奥側要素画像に重ねる前側要素画像は、同じ仮想カメラに対応するものである。また、合成部１５は、前側要素画像において被写体が存在する領域の画素値が「１」であり、被写体が存在しない領域の画素値が「０」であるマスク画像を生成し、マスク画像において画素値が「０」である画素の奥側要素画像の画素値を、前側要素画像に上書きすることで要素画像を合成してもよい。
映像信号生成部１６は、合成部１５が生成した要素画像アレイの映像信号を生成し、ＩＰ立体映像表示装置２０に入力する。

図２は、ＩＰ立体映像表示装置２０の構成を示す分解模式図である。図２に示すように、ＩＰ立体映像表示装置２０は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどの画像表示デバイスである表示パネル部２１０と、表示パネル部２１０の前面に配置されるレンズアレイ部２２０とを含んで構成される。表示パネル部２１０は、ＩＰ立体映像表示装置２０に入力された映像信号に従い、要素画像２１−１〜２１−Ｎからなる要素画像アレイを表示する。

レンズアレイ部２２０は、要素画像２１−１〜２１−Ｎの各々に対応する凸レンズ２２−１〜２２−Ｎを含んで構成される。レンズアレイ部２２０を、表示パネル部２１０から凸レンズ２２−１〜２２−Ｎの焦点距離だけ離した前面に設置されている。これにより、視聴者からは、要素画像２１−１〜２１−Ｎ各々の、視点に応じた一部分のみが見えるようになる。

なお、本実施形態では、凸レンズ２２−１〜２２−Ｎの配列および要素画像２１−１〜２１−Ｎの配列は、デルタ配置としたが、その他の配列であってもよい。また、ＩＰ立体映像表示装置２０は、表示パネル部２１０に変えて、各々が要素画像を投射する複数のプロジェクタ及び該要素画像が投射されるスクリーンを備えるものなど、インテグラルフォトグラフィ方式で立体映像を表示するものであれば、その他の構成であってもよい。

図３は、奥側算出部１３の動作を説明する模式図である。図３は、表示方向Ａｒ１が示す方向（右手方向）に向かってＩＰ立体映像表示装置２０が表示するための要素画像を算出するための仮想空間の上面図である。被写体Ｏ１、Ｏ２は、仮想撮像面Ｐ１〜Ｐ５よりも奥側にあり、被写体Ｏ３は、仮想撮像レンズの主点Ｌ１〜Ｌ５よりも手前側にある。奥側算出部１３が、仮想撮像面における画素を通った後、仮想撮像レンズの主点を通る光を、逆に追跡するレイトレーシング法を用いる形態を例に説明する。

例えば、図３の符号Ｒ１が付された矢印は、仮想撮像面Ｐ３のある画素を通った後、仮想撮像面Ｐ３に対応する仮想撮像レンズの主点Ｌ３を通る光線である。奥側算出部１３は、この光線Ｒ１を、何かに突き当たるまで、逆に辿る。ここでは、被写体Ｏ２に突き当たるので、奥側算出部１３は、被写体Ｏ２の該突き当たった点Ｐ２１における光学的な特性（反射率、拡散率、透過率、屈折率など）を、被写体情報記憶部１２から読み出す。そして、奥側算出部１３は、読み出した特性に基づき、該突き当たった点における反射、拡散、透過、屈折などにより光線Ｒ１となる光線の方向を算出する。

図３では、Ｐ２１で鏡面反射が起きている場合の例であり、反射により光線Ｒ１となる光線Ｒ２を、さらに逆に辿るというようにして、光源など、該領域から発せられる光の光量や色が予め与えられている領域に到達するまで、逆に辿ることを繰り返す。このようにすることで、奥側算出部１３は、光線Ｒ１に含まれる光の成分を求め、光線Ｒ１の色を算出することができる。奥側算出部１３は、このような処理を全ての仮想撮像面の全ての画素に対して行うことで、全ての奥側要素画像を算出する。

図４は、前側算出部１４の動作を説明するフローチャートである。図４に示すフローチャートは、１フレーム分の前側要素画像を生成する処理のフローチャートである。まず、前側算出部１４は、１フレーム分の前側要素画像の全ての画素値を初期化する（Ｓａ１）。そして、前側算出部１４は、それまでに未選択の仮想撮像面の中から一つを以降の処理対象の仮想撮像面として選択する（Ｓａ２）。次に、前側算出部１４は、処理対象の仮想撮像面の画素のうち、未選択のものの中から一つを以降の処理対象の画素として選択する（Ｓａ３）。

次に、前側算出部１４は、処理対象の画素と、処理対象の仮想撮像面に対応する仮想撮像レンズの主点とを通る直線と、仮想撮像レンズより手前側の被写体との交差点を検出する（Ｓａ４）。次に、前側算出部１４は、ステップＳａ４にて交差点が検出されたか否かを判定する（Ｓａ５）。交差点が検出されていないと判定したときは（Ｓａ５−Ｎｏ）、ステップＳａ６を飛ばして、ステップＳａ７に進む。

一方、ステップＳａ５にて、交差点が検出されたと判定したときは（Ｓａ５−Ｙｅｓ）、前側算出部１４は、検出した交差点のうち、仮想撮像レンズから最も遠いものを選択する。そして、前側算出部１４は、選択した交差点における被写体の色を示す値を、被写体情報記憶部１２から読み出し、該値を、対象の画素の画素値とし（Ｓａ６）、ステップＳａ７に進む。ステップＳａ７では、処理対象の仮想撮像面に、ステップＳａ３にて未選択の画素があるときは、ステップＳａ３に戻り、ないときはステップＳａ８に進む。

ステップＳａ８では、ステップＳａ２にて未選択の仮想撮像面があるときは、ステップＳａ２に戻り、ないときは、処理を終了する。これにより、ステップＳａ５において、交差点があると判定された画素の画素値は、ステップＳａ６にて決定した値となり、ステップＳａ５において、交差点がないと判定された画素の画素値は、ステップＳａ１にて初期化された値となる。

図５は、前側算出部１４の動作を説明する模式図である。図５は、図４のフローチャートにおけるステップＳａ４、Ｓａ６の処理を説明する模式図である。図５は、図３と同様に、表示方向Ａｒ１が示す方向（右手方向）に向かってＩＰ立体映像表示装置２０が表示するための要素画像を算出するための仮想空間の上面図である。被写体Ｏ１、Ｏ２、仮想撮像面Ｐ１〜Ｐ５、仮想撮像レンズの主点Ｌ１〜Ｌ５は、図３と同様である。

前側算出部１４が仮想撮像面Ｐ３の一画素ＰＥを処理対象としているときを考える。図５において、主点Ｌ３の仮想撮像レンズが仮想撮像面Ｐ３に対応しているので、矢印Ｒ１’が、処理対象の画素と、処理対象の仮想撮像面に対応する仮想撮像レンズの主点とを通る直線である。したがって、ステップＳａ４にて前側算出部１４が検出する、該直線Ｒ１’と、仮想撮像レンズＬ３より手前側の被写体Ｏ３との交差点は、点Ｐ３１とＰ３２となる。

ステップＳａ６では、前側算出部１４は、これらの交差点Ｐ３１、Ｐ３２のうち、仮想撮像レンズＬ３から最も遠いものを選択し、該点における色を表す値を、被写体情報記憶部１２から読み出し、処理対象の画素の画素値とする。このように、交差点のうち最も遠いものを選択することで、矢印Ｒ１’の先に視点があったときに、該視点から見て、被写体Ｏ３の陰面となっており見えない領域ＲＯ３に属する交差点Ｐ３１ではなく、該視点から見える交差点Ｐ３２を選択することができる。

図６は、合成部１５の動作を説明する図である。図６において、画像Ｅ１は、仮想撮像面のうちの１つに対応する奥側要素画像であり、画像Ｅ２は、同じ仮想撮像面に対応する前側要素画像である。合成部１５は、奥側要素画像Ｅ１に、前側要素画像Ｅ２を重ねて、要素画像Ｅ３を生成する。したがって、要素画像Ｅ３のうち、前側要素画像Ｅ２において被写体がある部分は、前側要素画像Ｅ２と同じになり、それ以外の部分は、奥側要素画像Ｅ１と同じになる。

なお、本実施形態では、合成部１５は、要素画像が配列された要素画像アレイを生成し、映像信号生成部１６は、該要素画像アレイの映像信号を生成するとして説明した。しかし、合成部１５は要素画像の生成のみを行い、要素画像アレイを生成せず、映像信号生成部１６は、要素画像各々の映像信号を生成して、ＩＰ立体映像表示装置２０に入力するようにしてもよい。

このように、本実施形態において、被写体情報記憶部１２は、３次元空間における被写体の位置を表す情報を少なくとも記憶する。また、前側算出部１４は、ＩＰ立体映像表示装置２０のレンズアレイのレンズ各々に対応した位置に、仮想撮像レンズが配置され、仮想撮像レンズの奥側に仮想撮像面が配置されているとして、仮想撮像レンズより手前側に位置する被写体による要素画像を、被写体情報記憶部１２が記憶する情報を参照して算出する。
奥側算出部１３は、仮想撮像面と仮想撮像レンズとが前側算出部１４における配置と同様に配置されているとして、該仮想撮像面より奥側に位置する被写体による要素画像を、被写体情報記憶部１２が記憶する情報を参照して算出する。また、合成部１５は、前側要素画像の画素各々のうち、直線が仮想撮像面より手前側で被写体と交差する点により画素値が算出された画素を、奥側要素画像に対して上書きすることで、前側要素画像と、奥側要素画像とを合成し、要素画像を生成する。

これにより、ＩＰ立体映像表示装置２０の表示面から視聴者側に飛び出している被写体と、逆に表示面から引っ込んでいる被写体との両方を含む立体像であっても、該立体像を表示するための要素画像の各画素を、直接算出することができるので、該要素画像を算出する際の演算量を抑えることができる。

さらに、本実施形態において、被写体情報記憶部１２は、被写体の表面の色を表す情報を記憶する。前側算出部１４は、要素画像における画素各々の画素値を、仮想撮像面における該画素と、仮想撮像レンズの主点とを通る直線が、仮想撮像レンズの主点より手前側で被写体と交差する点のうち、仮想撮像レンズの主点から最も遠い点の色を表す情報であって、被写体情報記憶部１２が記憶する該点の色を表す情報を用いて決定する。
これにより、ＩＰ立体映像表示装置２０の表示面から視聴者側に飛び出している被写体に関する画素値を容易に得ることができる。

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。第２の実施形態におけるＩＰ立体映像表示システム１００は、図１のＩＰ立体映像表示システム１００と同様の構成であるが、前側算出部１４の動作が第１の実施形態とは一部異なる。より具体的には、本実施形態における前側算出部１４は、図４のフローチャートにおけるステップＳａ６における処理が、第１の実施形態とは異なる。

図７は、本実施形態における前側算出部１４の動作を説明する模式図である。本実施形態における前側算出部１４も、前側要素画像の各画素の画素値を、仮想撮像面における該画素と、仮想撮像レンズの主点とを通る直線が、前記仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、仮想撮像レンズの主点から最も遠い点に関する情報を参照して算出する。ただし、以下のようにして、画素値を算出する点が異なる。

まず、本実施形態における前側算出部１４は、上述の交差する点のうち、仮想撮像レンズの主点から最も遠い点Ｐ３２を中心とする点対称な位置に、処理対象の仮想撮像面Ｐ３の画素と、仮想撮像レンズの主点Ｌ３とを移動する。次に、前側算出部１４は、該移動した仮想撮像レンズの主点Ｌ３’を通った後、該移動した仮想撮像面Ｐ３’の画素を通る光線を、公知の手法、例えば、レイトレーシング法や、フォトンマッピング法により算出し、該光線の色を表す値を、前側要素画像における該画素の画素値とする。

図７は、公知の手法としてレイトレーシング法を用いる場合の例である。図７では、交差点Ｐ３２で鏡面反射が起きているので、図３で説明した奥側算出部１３と同様に、前側算出部１４は、反射により光線Ｒ１’となる光線Ｒ３を、さらに逆に辿る。このようにして、前側算出部１４は、光源など、該領域から発せられる光の光量や色が予め与えられている領域に到達するまで、逆に辿り、画素値を算出する。

本実施形態においても、第１の実施形態と同様に、ＩＰ立体映像表示装置２０の表示面から視聴者側に飛び出している被写体と、逆に表示面から引っ込んでいる被写体との両方を含む立体像であっても、該立体像を表示するための要素画像の各画素を、直接算出することができるので、該要素画像を算出する際の演算量を抑えることができる。

また、本実施形態における前側算出部１４は、前側要素画像における画素各々の画素値を、仮想撮像面における該画素と、仮想撮像レンズとを、仮想撮像面における該画素と、仮想撮像レンズの主点とを通る直線が、仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、仮想撮像レンズの主点から最も遠い点を中心とする点対称な位置に移動したときに、該画素に入射する光を参照して算出する。
これにより、ＩＰ立体映像表示装置２０の表示面から被写体が視聴者側に飛び出している画像であっても、要素画像の各画素を、光学的なモデルを用いて直接算出するので、該画像を算出する際の演算量を抑えつつ、より写実的な画像を生成することができる。

［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。第３の実施形態におけるＩＰ立体映像表示システム１００は、図１のＩＰ立体映像表示システム１００と同様の構成であるが、仮想カメラアレイ情報記憶部１１が記憶する仮想撮像面の位置と大きさが第１の実施形態とは異なる。より具体的には、本実施形態における仮想カメラアレイ情報記憶部１１が記憶する情報が表す仮想撮像面の位置は、第１の実施形態よりも仮想撮像レンズの主点に近い位置となっている。そして、仮想撮像面の大きさも、表す仮想撮像面から仮想撮像レンズの主点までの距離に比例して小さくなっている。

図８は、本実施形態における仮想撮像面の位置を説明する模式図である。図８において、本実施形態における仮想撮像面Ｐ１ａ、Ｐ２ａ、・・・Ｐ５ａは、第１の実施形態における仮想撮像面Ｐ１、Ｐ２、・・・Ｐ５よりも、仮想撮像レンズの主点Ｌ１、Ｌ２、・・・Ｌ５により近い位置となっている。そして、仮想撮像面Ｐ１ａ、Ｐ２ａ、・・・Ｐ５ａの大きさは、仮想撮像レンズの主点Ｌ１、Ｌ２、・・・Ｌ５までの距離に比例して小さくなっている。図８の例では、仮想撮像面Ｐ１ａ、Ｐ２ａ、・・・Ｐ５ａ各々から、仮想撮像レンズの主点Ｌ１、Ｌ２、・・・Ｌ５のうち対応するものまでの距離は、第１の実施形態の１／２になっており、仮想撮像面Ｐ１ａ、Ｐ２ａ、・・・Ｐ５ａの大きさ（図８における上下方向の長さ）も１／２となっている。

奥側算出部１３は、仮想撮像面よりも奥側の領域を対象にして奥側要素画像を生成し、前側算出部１４は、仮想撮像レンズよりも手前側の領域を対象にして前側要素画像を生成しているため、仮想撮像面と仮想撮像レンズとの間は、要素画像に反映されない。しかし、このように、仮想撮像面と仮想撮像レンズの主点との距離を短くすることで、要素画像に反映されない領域を小さくすることができる。

また、仮想撮像面と仮想撮像レンズの主点とを結ぶ垂線の距離をＣｗとし、隣接する仮想撮像レンズの主点間の距離をＣｌとする。ＩＰ立体映像表示装置２０のレンズアレイを構成するレンズの厚みの半分をＤｗとし、該レンズアレイにおいて隣接するレンズの主点間の距離をＤｌとする。このとき、Ｄｗ／Ｄｌ＞Ｃｗ／Ｃｌとなることが望ましい。これにより、要素画像に反映されない領域の長さを、ＩＰ立体映像表示装置２０が再現可能な長さよりも、小さくすることができる。したがって、後述するように、奥側算出部１３や前側算出部１４が、ＣＧを作成するための既存のライブラリなどに用意されている仮想カメラを用いている場合、仮想撮像レンズと仮想撮像面の間の被写体を撮像できなくても、要素画像に対する、その影響を抑えることができる。

なお、本実施形態における前側算出部１４は、第２の実施形態における前側算出部１４と同様にして、前側要素画像を生成するようにしてもよい。

［第４の実施形態］
以下、図面を参照して、本発明の第４の実施形態について説明する。第４の実施形態におけるＩＰ立体映像表示システム１００は、図１のＩＰ立体映像表示システム１００と同様の構成であるが、仮想カメラアレイ情報記憶部１１が記憶する仮想撮像面の位置が第１の実施形態とは異なる。第１の実施形態では、仮想撮像面の中心は、仮想撮像レンズの光軸上にあるが、本実施形態では、仮想撮像面の中心は、仮想撮像レンズの光軸からずれている。

図９は、本実施形態における仮想撮像レンズと、仮想撮像面との位置関係を示す透視図である。図９において、仮想撮像面Ｅ２１−１、Ｅ２１−２、・・・Ｅ２１−１３の中心の間隔の方が、仮想撮像レンズの主点Ｌ２２−１、Ｌ２２−２、・・・Ｌ２２−１３の間隔よりも大きくなっている。このため、仮想撮像面Ｅ２１−７の中心は、主点Ｌ２２−７の仮想撮像レンズの光軸上にあるが、その他の仮想撮像面の中心は、仮想撮像レンズの光軸からずれた場所に位置する。

なお、図９では、仮想撮像面Ｅ２１−１、Ｅ２１−２、・・・Ｅ２１−１３の中心は等間隔に配列されているが、等間隔でなくてもよい。
例えば、仮想撮像レンズの主点Ｌ２２−１、Ｌ２２−２、・・・Ｌ２２−１３の間隔が、Ｎを自然数として、仮想撮像面の画素の長さｐ×（Ｎ＋１／２）であるときを考える。このとき、仮想撮像面Ｅ２１−１、Ｅ２１−２、・・・Ｅ２１−１３の中心の間隔が、ｐ×Ｎと、ｐ×（Ｎ＋１）とが交互になるようにしてもよい。これにより、仮想撮像レンズの主点の間隔が、仮想撮像面の画素の長さの整数倍となっていなくても、要素画像を跨って画素間隔を一定にすることができる。すなわち、要素画像アレイを生成する際に、要素画像に対して補間処理などを行って、画素位置を調整する必要がない。

なお、上述の各実施形態で、仮想撮像レンズ、仮想撮像面、ＩＰ立体映像表示装置２０のレンズアレイなどは、デルタ配置であるとして説明したが、その他の配置であってもよい。
また、上述の各実施形態で、奥側算出部１３および前側算出部１４が仮想撮像面の各画素の画素値を決定する際に、仮想撮像レンズの主点を通る光線のみを考慮するピンホールモデルを用いたが、仮想撮像レンズが所定の大きさを有し、該仮想撮像レンズを通った光線が集光される凸レンズモデルを用いるようにしてもよい。なお、凸レンズモデルを用いた場合は、該仮想撮像レンズを通って仮想撮像面の画素に集光される光線を積分することで、該画素の画素値を得る。

また、上述の各実施形態では、奥側算出部１３および前側算出部１４は、画素値を算出する際に、ＣＧを作成するための既存のライブラリなどに用意されている仮想カメラを用いるようにしてもよい。この場合、奥側算出部１３における仮想カメラの仮想撮像レンズの主点位置と、前側算出部１４における仮想カメラの仮想撮像レンズの主点位置は、同じであるが、仮想カメラの光軸の向きは逆となる。そのため、前側算出部１４は、仮想カメラによる撮像結果を１８０度回転させて前側要素画像とすることで、前側算出部１４における仮想撮像面が奥側算出部１３における仮想撮像面と同様に配置されているとすることができる。

また、図１における画像生成装置１０の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像生成装置１０を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０…画像生成装置
１１…仮想カメラアレイ情報記憶部
１２…被写体情報記憶部
１３…奥側算出部
１４…前側算出部
１５…合成部
１６…映像信号生成部
２０…ＩＰ立体映像表示装置
１００…ＩＰ立体映像表示システム

Claims (4)

1. インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置であって、
   ３次元空間における被写体の位置を表す情報を少なくとも記憶する被写体情報記憶部と、
   前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイのレンズ各々に対応した位置に、仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置されているとして、前記仮想撮像レンズより手前側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する前側算出部と、
   前記仮想撮像面と前記仮想撮像レンズとが前記前側算出部における配置と同様に配置されているとして、前記仮想撮像面より奥側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する奥側算出部と、
   前記前側算出部が算出した要素画像を、前記奥側算出部が算出した要素画像に対して上書きすることで、前記前側算出部が算出した要素画像と、前記奥側算出部が算出した要素画像とを合成する合成部と、
   を具備し、
   前記被写体情報記憶部は、前記被写体の表面の色を表す情報を記憶し、
   前記前側算出部は、前記要素画像における画素各々の画素値を、前記仮想撮像面における該画素と、前記仮想撮像レンズの主点とを通る直線が、前記仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、前記仮想撮像レンズの主点から最も遠い点の色を表す情報であって、前記被写体情報記憶部が記憶する該点の色を表す情報を用いて決定すること
   を特徴とする画像生成装置。
2. インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置であって、
   ３次元空間における被写体の位置を表す情報を少なくとも記憶する被写体情報記憶部と、
   前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイのレンズ各々に対応した位置に、仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置されているとして、前記仮想撮像レンズより手前側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する前側算出部と、
   前記仮想撮像面と前記仮想撮像レンズとが前記前側算出部における配置と同様に配置されているとして、前記仮想撮像面より奥側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する奥側算出部と、
   前記前側算出部が算出した要素画像を、前記奥側算出部が算出した要素画像に対して上書きすることで、前記前側算出部が算出した要素画像と、前記奥側算出部が算出した要素画像とを合成する合成部と、
   を具備し、
   前記前側算出部は、前記要素画像における画素各々の画素値を、前記仮想撮像面における該画素と、前記仮想撮像レンズとを、仮想撮像面における該画素と、仮想撮像レンズの主点とを通る直線が、仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、仮想撮像レンズの主点から最も遠い点を中心とする点対称な位置に移動したときに、該移動した仮想撮像レンズの主点を通って、該移動した画素に入射する光を参照して算出すること
   を特徴とする画像生成装置。
3. コンピュータを、インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置として機能させるためのプログラムであって、
   前記画像生成装置は、
   ３次元空間における被写体の位置を表す情報を少なくとも記憶する被写体情報記憶部と、
   前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイのレンズ各々に対応した位置に、仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置されているとして、前記仮想撮像レンズより手前側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する前側算出部と、
   前記仮想撮像面と前記仮想撮像レンズとが前記前側算出部における配置と同様に配置されているとして、前記仮想撮像面より奥側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する奥側算出部と、
   前記前側算出部が算出した要素画像を、前記奥側算出部が算出した要素画像に対して上書きすることで、前記前側算出部が算出した要素画像と、前記奥側算出部が算出した要素画像とを合成する合成部と
   を具備し、
   前記被写体情報記憶部は、前記被写体の表面の色を表す情報を記憶し、
   前記前側算出部は、前記要素画像における画素各々の画素値を、前記仮想撮像面における該画素と、前記仮想撮像レンズの主点とを通る直線が、前記仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、前記仮想撮像レンズの主点から最も遠い点の色を表す情報であって、前記被写体情報記憶部が記憶する該点の色を表す情報を用いて決定すること
   を特徴とするプログラム。
4. コンピュータを、インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置として機能させるためのプログラムであって、
   前記画像生成装置は、
   ３次元空間における被写体の位置を表す情報を少なくとも記憶する被写体情報記憶部と、
   前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイのレンズ各々に対応した位置に、仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置されているとして、前記仮想撮像レンズより手前側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する前側算出部と、
   前記仮想撮像面と前記仮想撮像レンズとが前記前側算出部における配置と同様に配置されているとして、前記仮想撮像面より奥側に位置する被写体による要素画像を、前記被写体情報記憶部が記憶する情報を参照して算出する奥側算出部と、
   前記前側算出部が算出した要素画像を、前記奥側算出部が算出した要素画像に対して上書きすることで、前記前側算出部が算出した要素画像と、前記奥側算出部が算出した要素画像とを合成する合成部と
   を具備し、
   前記前側算出部は、前記要素画像における画素各々の画素値を、前記仮想撮像面における該画素と、前記仮想撮像レンズとを、仮想撮像面における該画素と、仮想撮像レンズの主点とを通る直線が、仮想撮像レンズの主点より手前側で前記被写体と交差する点のうち、仮想撮像レンズの主点から最も遠い点を中心とする点対称な位置に移動したときに、該移動した仮想撮像レンズの主点を通って、該移動した画素に入射する光を参照して算出すること
   を特徴とするプログラム。

Images