JP5258049B2 - 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム - Google Patents

Description

本発明は、任意視点画像の合成に利用される多視点画像を生成する技術に関する。

従来、任意視点画像を合成する方法が開示されている（特許文献１参照）。例えば、図１０および図１１に示す従来の任意視点画像表示システム１０１は、カメラアレイ（多眼カメラアレイ）１２０と、任意視点画像合成装置１４０と、表示装置１６０とを備える。カメラアレイ１２０は、図１１に示すように平面状の格子点上に配置した複数（例えば４行５列の２０台）のカメラ１２１を備えている。個別のカメラ１２１は、それぞれ接続された複数（例えば８台）のホストＰＣ１７０の制御により、被写体を撮影できるように構成されている。また、水平垂直方向に並んだカメラ１２１は、アレイ内の全てのカメラ１２１と同期をとることができるように接続されている。なお、図１０では、カメラ１２１間の配線を省略し、図１１では、カメラ１２１間の配線の一部のみを表示した。また、図示は省略するが、カメラアレイ１２０は、各カメラ１２１を個別に載置するフレーム、または、各カメラ１２１を嵌入する複数の孔部を有する壁部材を備えている。

図１０に示す任意視点画像表示システム１０１では、カメラアレイ１２０の複数のカメラ１２１を用いて同時に複数の方向から実写の被写体空間１００を撮影する。撮影された複数の２−Ｄ（２次元）画像（多視点画像）は、任意視点画像合成装置１４０に入力される。任意視点画像合成装置１４０は、入力された多視点画像を用いることで、実際にはカメラ１２１が存在しない任意の位置から被写体空間１００を撮影した場合のカメラ画像（２−Ｄ画像）をレンダリングにより生成するという任意視点画像の合成処理を行う。レンダリングの方法は、Light Field Rendering（ＬＦＲ）として一般に知られている（非特許文献１参照）。生成されたカメラ画像（２−Ｄ画像）は、表示装置１６０に表示される。なお、従来技術である非特許文献２については、次の発明の概要の中で述べる。

特開平９−２４５１９５号公報

Marc Levoy and Pat Hanrahan, "Light Field Rendering", ACM SIGGRAPH 1996 王金戈、外３名、"実時間自由視点画像合成のためのカメラアレイシステムの構築とキャリブレーション手法の検討"、３次元画像コンファレンス、2007

しかしながら、実際に複数のカメラを格子点上に配置したカメラアレイ１２０を構成してみると例えば次のような問題が生じる。
１）カメラ１２１の配置を正確に行うことができない。
２）カメラ１２１の視線方向が同一にならない。
３）カメラ１２１の入射光量に対する応答がカメラ１２１間で微妙に異なる。
４）カメラ１２１のレンズや撮像光学系による幾何歪みが同一ではない。
つまり、各カメラ１２１の様々な個体差が発生する。これらを吸収するために手動で補正処理を行う必要があり、ＬＦＲを行う前段階として、正確なものとするために、時間のかかるカメラアレイキャリブレーションが必須であった（非特許文献２参照）。

図１２に、カメラ１２１の配置の一例を示す。図１２において、符号１２１ａで示す理想の配置にしようとしても、実際の配置は、符号１２１ｂで示すようにずれてしまう。この場合、図１０に示す任意視点画像表示システム１０１の構成に、カメラ校正装置１８０（図１２参照）を追加する必要がある。カメラ校正装置１８０は、カメラアレイキャリブレーションを行うものである。

また、ＬＦＲで高品質な任意視点画像を合成するためにはLight Fieldのサンプリング定理で規定されるきわめて多数のカメラを配置する必要がある。しかしながら、現状では、その設置の労力やサイズの制約から、数個〜数百台のカメラを配置するのが限界であるという問題があった。このことは、特にＬＦＲを実際に応用する際の障壁となり、実写かつ高品質なＬＦＲはその原画像を取得することも困難な状況にある。

撮影を行う間、被写体が必ず静止していることが明らかな場合には、カメラアレイ１２０の代わりに、図１３に示すようなコンピュータ制御の電動ステージ１９０上に載せた１台のカメラ１２１のみ（単眼カメラ）を用いて多視点画像を撮影することも可能である。この電動ステージ１９０は、カメラ１２１を設置面に平行に移動させる水平スライド部１９１と、鉛直方向に移動させる垂直スライド部１９２とを備えている。つまり、電動ステージ１９０は、１つのカメラ１２１を、カメラアレイ１２０上の格子点と同じ位置に移動させることができる。これにより、カメラ１２１を移動させながら順々に多視点画像を撮影することができる。この場合には、カメラアレイキャリブレーションを行う際に必要となる複数の処理のうち、カメラの内部パラメータはすべて同一と見なせるため、キャリブレーションは簡単になるという利点がある。

しかしながら、この単眼カメラによる撮影には数時間を要してしまう。また、被写体が静止していることが前提なので、動物や風にそよぐ植物等を被写体とすることが困難であった。さらに、この１台のカメラ１２１の視線方向が、電動ステージ１９０の駆動方向Ｘ−Ｙ（水平鉛直方向）に対して垂直な方向（Ｚ方向）となることが望ましいが、そのようにはならない。すなわち、カメラ１２１の視線方向に関する配置精度の誤差が大きいという問題もある。なお、オリジナルのＬＦＲの実写はこの方法で入力されており、入力には４時間かかる。このように実写の多視点画像を簡便に入力する方法は、あまり知られていない。

ここで、ＣＧ（Computer Graphics）的なアプローチとして、何らかの方法で３−Ｄ（３次元）の構造モデル（ポリゴンやボクセルなど）とテクスチャの情報を得て、それらをワールド座標上に配置し、仮想の光源と仮想のカメラを仮定して、３−Ｄ空間情報をカメラ画像（２−Ｄ）に変換するようなレンダリングを行う方法を検討する。このＣＧ的なアプローチによれば、実際のカメラアレイ１２０を構成するカメラ１２１の位置ずれ、カメラ１２１の視線方向のずれ、および、カメラ１２１のレンズ等のずれが生じる心配は無く、高品質な多視点画像を得ることができると考えられる。

しかし、このＣＧ的なアプローチでは、多視点画像の原画像がＣＧである場合はともかくとして、多視点画像の原画像を実写とする場合には、被写体の構造モデルを取得するだけでも多大な労力を必要とする。また、このＣＧ的なアプローチは、仮想の照明条件（仮想の光源）を仮定することから、被写体の金属光沢のような、特定の方向にのみ鋭く放射（反射）される光の情報を多視点画像にうまく反映させることが非常に困難であるという問題があった。なお、ＣＧ作成された原画を用いて、市販のＣＧレンダリングソフトを用いて数百視点からなる多視点画像を作成し、その多視点画像からＬＦＲを行うというアプローチは多くの研究者が通常用いている方法である。

前記した問題点をまとめると次のようになる。
（問題点１）
従来の方法では、多数のカメラ１２１を規則的に並べたカメラアレイ１２０におけるカメラ１２１の配置精度、カメラ１２１の視線方向の配置精度、カメラ１２１の撮像素子や後段のアンプによる光に対するリニアリティの差、カメラレンズやカメラ分光系などの主として光学系の歪みに起因する、カメラアレイ１２０の各カメラ１２１間の幾何学的な歪みの形状の差などを後段の処理（例えばＬＦＲ）に影響が出ないように予め補正するキャリブレーション処理をしなければならない。
（問題点２）
実写の多視点画像を得る際に、静止したシーンの入力に用いられるコンピュータ制御の電動ステージ１９０を用いる場合に、カメラの視線方向の配置精度の誤差が大きく、撮影に多大な時間を要してしまう。
（問題点３）
実写の被写体空間を撮影する際に、現状では、均質かつ充分に多数の視点から見た多視点画像を得ることができないため、後段のＬＦＲで高品質な任意視点画像を合成することができない。

本発明は、以上のような問題点に鑑みてなされたものであり、実写映像による多視点画像を作業効率よく得ることのできる技術を提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の多視点画像生成装置は、複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて２次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置であって、多視点画像元データ入力手段と、多視点画像元データ記憶手段と、仮想カメラパラメータ入力手段と、仮想カメラパラメータ記憶手段と、複素振幅再構成手段と、個別カメラ座標算出手段と、回折伝搬追跡手段と、輝度振幅演算手段と、出力手段とを備えることを特徴とする。

かかる構成によれば、多視点画像生成装置は、多視点画像元データ入力手段によって、前記多視点画像を生成するための元データとして、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータと、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データとの入力を受け付け、多視点画像元データ記憶手段に、前記ホログラムデータおよび前記参照光データを記憶する。したがって、被写体空間を予め記録して得られたホログラムと、予め振幅と位相が分かっている参照光とを利用して、多視点画像をレンダリングにより生成することができる。そして、多視点画像生成装置は、仮想カメラパラメータ入力手段によって、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔および当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付け、仮想カメラパラメータ記憶手段に、前記仮想カメラパラメータを記憶する。したがって、多視点画像生成装置は、演算処理に仮想的な多眼カメラアレイを用いているので、利用者は、カメラ（仮想カメラ）の配設位置（撮像面までの距離）、画素サイズ、解像度（画素の個数）、カメラ間隔等を任意に選ぶことができる。

そして、多視点画像生成装置は、複素振幅再構成手段によって、前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する。そして、多視点画像生成装置は、個別カメラ座標算出手段によって、前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する。したがって、多視点画像生成装置は、仮想カメラパラメータの入力に応じて、個別カメラ座標算出手段によって、各カメラの撮像素子の撮像面における画素単位の正確な位置を、ホログラム面を基準とした座標上に数値によりマッピングすることができる。ここで、仮想カメラパラメータには、例えばカメラレンズの画角等も含むことができる。そして、多視点画像生成装置は、回折伝搬追跡手段によって、前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する。そして、多視点画像生成装置は、輝度振幅演算手段によって、前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する。そして、多視点画像生成装置は、出力手段によって、前記生成された多視点画像を出力する。この多視点画像生成装置によれば、一度記録したホログラムから、例えば、カメラ間隔、カメラレンズの画角、解像度等の複数のパラメータの異なる多視点画像を生成することも可能である。

また、多視点画像生成装置は、回折伝搬追跡手段によって、ホログラム面上の光を、光線ではなく波として捉えるアプローチにより追跡する。例えば、仮想的な多眼カメラアレイを構成するカメラのレンズ前後の光の伝搬の様子を、従来の幾何光学によればピンホールカメラモデルでとらえるが、本発明は、物体光の回折を含むように計算する、すなわち、回折現象まで考慮したモデルで計算するため、実写の３次元の被写体空間に対する、よりシャープな像を出力することが可能となる。一方、従来の２眼式や多眼式のようなインコヒーレント光を用いる立体表示方式では、空間で光線を集めてもシャープな映像を得ることはできない。その理由は、光のインコヒーレントな重ね合わせは強度の重ね合わせとなるため、重ね合わせ後の光線幅は、元の光線が持つ広がりよりも狭くなることは無いからである。これに対して、本発明で利用するホログラムに代表されるコヒーレント光を用いる方式では、光の位相成分をも制御するため、空間に光をシャープに集光できる。光のコヒーレントな重ね合わせでは、ベクトル量としての重ね合わせが起こるため、同位相での光の重ね合わせほど鋭い光分布を生じさせることができる。

また、請求項２に記載の多視点画像生成装置は、請求項１に記載の多視点画像生成装置おいて、前記回折伝搬追跡手段が、前記ホログラム面の位置における複素振幅を、フレネル近似に基づいて、前記仮想的な多眼カメラアレイのカメラのレンズの入射面の位置における複素振幅に変換する第１フレネル変換と、前記レンズの入射面の位置における複素振幅に前記レンズの位相シフト関数を乗算することで、前記レンズの出射面の位置における複素振幅を求める位相シフトと、前記レンズの出射面の位置における複素振幅を、フレネル近似に基づいて、前記カメラの撮像素子の撮像面上における複素振幅に変換する第２フレネル変換とを実行することを特徴とする。

かかる構成によれば、多視点画像生成装置は、回折伝搬追跡手段によって、ホログラム面から仮想的な多眼カメラアレイまでの光伝搬に、現実の多眼カメラアレイまでの光伝搬の適用領域であるフレネル回折領域を用いた演算処理を行う。つまり、多視点画像生成装置は、フーリエ変換ホログラムとして知られるフラウンフォーファー回折領域ではなく、フレネル回折領域を用いた演算処理を行うので、仮想的な多眼カメラアレイの各カメラの画像を、より広い奥行き範囲において安定的に得ることができる。

また、請求項３に記載の多視点画像生成装置は、請求項２に記載の多視点画像生成装置おいて、前記ホログラムが、前記ホログラム面に対して非垂直に参照光を照射して前記被写体を記録したものであり、前記複素振幅再構成手段が、２次元配列データで記述された前記ホログラムデータと前記参照光データとを乗算することで、前記ホログラム面上における複素振幅を再構成することを特徴とする。

かかる構成によれば、多視点画像生成装置は、ホログラム面に対して非垂直に参照光を照射して記録したホログラム、すなわち、ホログラム記録による妨害２成分が発生するタイプのホログラムを用いて複素振幅を再構成する。したがって、仮想的な多眼カメラアレイを構成するカメラをどこに配置すると妨害光が入り込むかを予め知ることができる。
そのため、カメラ配置等の仮想カメラパラメータの入力を受け付ける際に、利用者によって、妨害光が入り込む位置を指定された場合に、ユーザインタフェースにワーニングを出す等の対処が可能である。

また、請求項４に記載の多視点画像生成装置は、請求項２に記載の多視点画像生成装置おいて、前記ホログラムが、前記ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したものであり、前記複素振幅再構成手段が、２次元配列データで記述された複数回分の前記ホログラムデータに基づいて、前記ホログラム面上における複素振幅を再構成することを特徴とする。

かかる構成によれば、多視点画像生成装置は、ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法で記録したホログラム、すなわち、ホログラム記録による妨害光が原理的には発生しないタイプのホログラムを用いて位相シフトデジタルホログラフィ法で複素振幅を再構成する。したがって、多視点画像生成装置は、妨害光が原理的には発生しないタイプのホログラムを用いるので、利用者から、自由なカメラ配置の仮想カメラパラメータの入力を受け付けることが可能である。

また、請求項５に記載の多視点画像生成装置は、請求項３に記載の多視点画像生成装置おいて、前記回折伝搬追跡手段が、前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第１の範囲と、前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度の正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第１フレネル変換の対象とする距離を乗算した積で表される第２の範囲と、前記ホログラムから再生される妨害光の方向によって決まる妨害光角度の正接に、前記第１フレネル変換の対象とする距離を乗算した積で表される第３の範囲と、の合計で決まる範囲を、前記第１フレネル変換の計算対象範囲とすることを特徴とする。

かかる構成によれば、多視点画像生成装置は、ホログラム面に対して非垂直に参照光を照射して記録したホログラム、すなわち、ホログラム記録による妨害２成分が発生するタイプのホログラムを用いたときに、回折伝搬追跡手段によって、フレネル変換の計算範囲を、第１の範囲と第２の範囲と第３の範囲との合計の領域とするので、ホログラム面全体を計算対象とする場合と比べて計算対象範囲が狭いので、多視点画像を高速に生成することができる。ここで、第１の範囲のレンズ開口の大きさとは、開口が円形であれば、その直径を示し、円形以外であれば、水平垂直方向の長さを示す。

また、請求項６に記載の多視点画像生成装置は、請求項４に記載の多視点画像生成装置おいて、前記回折伝搬追跡手段が、前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第１の範囲と、前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度の正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第１フレネル変換の対象とする距離を乗算して２倍した値で表される第４の範囲との合計で決まる範囲を、前記第１フレネル変換の計算対象範囲とすることを特徴とする。

かかる構成によれば、多視点画像生成装置は、ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したホログラムを用いたときに、回折伝搬追跡手段によって、フレネル変換の計算範囲を、第１の範囲と４の範囲との合計の領域とするので、ホログラム面全体を計算対象とする場合と比べて計算対象範囲が狭いので、多視点画像を高速に生成することができる。

また、請求項７に記載の多視点画像生成方法は、複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて２次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置の多視点画像生成方法であって、多視点画像元データ入力ステップと、仮想カメラパラメータ入力ステップと、複素振幅再構成ステップと、個別カメラ座標算出ステップと、回折伝搬追跡ステップと、輝度振幅演算ステップと、出力ステップとを含んで実行することを特徴とする。

かかる手順によれば、多視点画像生成装置は、多視点画像元データ入力ステップにて、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データの入力を受け付ける。そして、多視点画像生成装置は、仮想カメラパラメータ入力ステップにて、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける。これら、多視点画像元データ入力ステップと、仮想カメラパラメータ入力ステップとは、多視点画像の演算処理の前に予め行われる。ここで、１つのホログラムに対してホログラムデータおよび参照光データが１度入力されていれば、多視点画像生成装置は、ホログラムに対して指定された仮想カメラパラメータを用いて、多視点画像の演算処理を行うので、仮想カメラパラメータの値を様々に変更して入力することで、利用者が所望する様々な多視点画像を生成することができる。

そして、多視点画像生成装置は、複素振幅再構成ステップにて、前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する。そして、多視点画像生成装置は、個別カメラ座標算出ステップにて、前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する。そして、多視点画像生成装置は、回折伝搬追跡ステップにて、前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する。そして、多視点画像生成装置は、輝度振幅演算ステップにて、前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する。そして、多視点画像生成装置は、出力ステップにて、前記生成された多視点画像を出力する。

また、請求項８に記載の多視点画像生成プログラムは、複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて２次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成するために、コンピュータを、複素振幅再構成手段、個別カメラ座標算出手段、回折伝搬追跡手段、輝度振幅演算手段として機能させるためのプログラムとした。

また、請求項８に記載の多視点画像生成プログラムは、複素振幅再構成手段によって、それぞれ入力された、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する。そして、多視点画像生成プログラムは、個別カメラ座標算出手段によって、それぞれ入力された、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する。そして、多視点画像生成プログラムは、回折伝搬追跡手段によって、前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する。そして、多視点画像生成プログラムは、輝度振幅演算手段によって、前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する。

本発明によれば、仮想的な多眼カメラアレイを用いて演算処理を行うので、実写の被写体空間に対して多視点画像を得る際に、物理的に多数のカメラを空間中に配置した場合に問題となるような、各カメラの位置ずれや特性差の影響を排除し、多数かつ均質な多視点画像を提供することができる。その結果、従来行っていたキャリブレーション処理を不要とする。また、本発明によれば、演算により正確なカメラの視線方向からの多視点画像を得られるので、例えば、ＬＦＲで使用するときに都合がよい。

本発明の実施形態に係る多視点画像生成装置の構成例を示すブロック図である。 本発明の実施形態に係る多視点画像生成装置を含む任意視点画像表示システムを概念的に示す説明図である。 図２に示す任意視点画像表示システムにおける作業の流れを示すフローチャートである。 演算処理によるホログラムの記録について概念的に示す説明図である。 演算処理によるホログラムの再生について概念的に示す説明図である。 図１に示すユーザインタフェース部の説明図であって、（ａ）はホログラム面上に原点を有する座標系、（ｂ）は仮想カメラパラメータの入力画面表示例をそれぞれ示している。 図１に示す回折伝搬追跡手段の演算処理を概念的に示す説明図である。 図７に示す第１および第２フレネル変換の計算を行うフレネル領域の目安として一般に用いられている指標を示す説明図である。 図１に示す多視点画像生成装置における処理の流れを示すフローチャートである。 従来の任意視点画像表示システムを概念的に示す説明図である。 図１０に示すカメラアレイの説明図である。 従来の任意視点画像表示システムにおけるカメラ校正を概念的に示す説明図である。 従来の任意視点画像表示システムの問題点を概念的に示す説明図である。

本発明の多視点画像生成装置および多視点画像生成方法を実施するための形態（以下「実施形態」という）について図面を参照して説明する。以下では、説明の都合上、まず、多視点画像生成装置を含む任意視点画像表示システムと、多視点画像生成装置で用いるホログラムの記録および再生原理について述べた後、多視点画像生成装置の第１実施形態および第２実施形態について順次説明することとする。

［任意視点画像表示システム］
図２に示すように、任意視点画像表示システム１は、現実には存在しない仮想カメラアレイ（仮想的な多眼カメラアレイ）２０を用いる多視点画像生成装置１０と、ホログラム３０と、任意視点画像合成装置１４０と、表示装置１６０とを備える。
多視点画像生成装置１０は、任意視点画像合成装置１４０に対して入力する多視点画像を演算処理により生成するものである。この生成された多視点画像をＧと表記する。
仮想カメラアレイ２０には、複数の仮想カメラ（以下、単にカメラ２１という）が配置されている。
ホログラム３０は、ホログラフィにより被写体を記録したものである。なお、以下では、静止画を対象として説明する。
任意視点画像合成装置１４０は、多視点画像Ｇを用いて２次元表示用の任意視点画像を合成するものである。
表示装置１６０は、合成された任意視点画像を２次元表示するものであり、例えば、液晶モニタから構成される。

図３に示すように、任意視点画像表示システム１における全体の作業の流れは以下の通りである（適宜図２参照）。まず、事前に、多視点画像として撮影したい被写体空間１００（図２参照）をホログラム３０として記録しておく（ステップＳ１）。ここで、被写体空間１００は、通常の３次元空間であるので、３−Ｄ情報を有している。ホログラム３０の記録方法は任意である。そして、本発明の実施形態に係る多視点画像生成装置１０は、記録されたホログラム（実写データ）と、参照光データとから、ユーザ所望の多視点画像Ｇを生成し（ステップＳ２）、生成した多視点画像Ｇを任意視点画像合成装置１４０に入力する（ステップＳ３）。任意視点画像合成装置１４０は、ＬＦＲ等のレンダリングにより、ユーザ所望の視点から視た２次元画像を生成する（ステップＳ４）。そして、表示装置１６０は、合成された任意視点の２次元画像（２−Ｄ画像）を表示する（ステップＳ５）。

［ホログラムの記録および再生原理］
ホログラムの記録と再生は、電子的な手段により行われるため、干渉縞は平面的に記録される。つまり、ホログラムの分類上は、“薄いホログラム”である。なお、記録の方式は“振幅ホログラム”、“位相ホログラム”のいずれでもよい。

ここでは、振幅ホログラムとして、ＣＣＤ（Charge Coupled Device）撮像素子やＣＭＯＳ撮像素子等の撮像素子でホログラムの干渉縞の輝度振幅を記録する場合について、図４および図５を参照して説明する。ここでは、一例として、Ｏｆｆ−Ａｘｉｓの方法でホログラムの記録を行うものとする。この方法では、平面波である参照光を、ホログラムから参照光を視た仰角をホログラム３０の法線方向に対して＋θだけずらした方向から入射させる。なお、この例では、垂直方向に傾きのある参照光を示すが、水平方向に傾きのある参照光を照射することもできる。

＜ホログラムの記録＞
図４に、物体の一例として、りんごを図示した。ホログラム３０への記録対象の物体光（物体光データＯ）は、複素振幅（振幅情報と位相情報）を持ち、参照光（参照光データＲ）も複素振幅を持つ。しかし、ＣＣＤ撮像素子等の撮像素子は、振幅情報のみを撮影できるため、得られたホログラム３０（ホログラムデータＨ）は、振幅情報だけを持つことになる。

＜ホログラムの再生＞
図５に、得られたホログラムデータＨと参照光データＲとから、元の物体光の複素振幅を再生する様子を示す。ここでは、薄いホログラムの記録および再生理論に基づき、図４に示したものと同じホログラム３０に記録時と同様の波面形状の参照光を照射する。なお、演算処理では、２次元の配列データであるホログラムデータＨと参照光データＲとを掛け合わせることとなる。参照光を照射するときの現象は、式（１）のように記述できる。

この場合、式（１）の右辺第２項に示すように、物体光成分Ｏ|Ｒ|²が再生されてくる。ここで所望の物体光以外に、式（１）の右辺第１項および第３項に示す２成分が再生されてくるが、これらは本来の物体光には含まれない妨害成分（妨害光）であるために、ホログラムから、多視点画像Ｇを得る際には使用しない。

図４および図５に示す例において、予め、参照光をホログラムの法線方向に対して＋θだけずらした方向から入射させたので、これにより、これら妨害２成分を分離することが可能となる。すなわち、このようにすれば、透過光（妨害光）は、ホログラムから透過光の進行方向に視たときにホログラム３０の法線方向に対して−θの方向に発生する。また、共役光（妨害光）は、同様に−２θの方向に発生する。そのため、妨害２成分と物体光とは空間的な分離が可能である。つまり、多視点画像Ｇを、−θよりも上の位置（−θ＜ｘ＜＋π／２）で作成している限り、妨害光が多視点画像Ｇにかぶることはなく、被写体空間からホログラム方向へ飛来した物体光が正確に得られる。なお、ｘは、ホログラムから透過光の進行方向に視たときにホログラムの法線方向となす角度（ラジアン）である。

［多視点画像生成装置］
（第１実施形態）
次に、図２の任意視点画像表示システム１における多視点画像生成装置１０の構成について図１を参照（適宜、図２および図４〜図８参照）して説明する。
多視点画像生成装置１０は、全体処理として、ホログラム３０（図２参照）から、正確に決められたピッチの多視点画像Ｇを生成する。具体的には、グレースケール（１０ｂｉｔ階調：０〜１０２３）の２次元配列データであるホログラムデータＨ、複素数（２つ１組のｆｌｏａｔ型、ｄｏｕｂｌｅ型など）の２次元配列データである参照光データＲおよび仮想カメラパラメータ（画素数、画素サイズおよびカメラ間隔データ）Ｖから多視点画像Ｇを出力する。

このために、多視点画像生成装置１０は、ＣＰＵ（Central Processing Unit）等の演算装置と、メモリ等の記憶装置と、マウスやキーボード等の外部から情報の入力を検出する入力装置と、入力または出力される各種情報の送受信を行うインタフェース装置と、ＬＣＤ（Liquid Crystal Display）等の表示装置を備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。

第１実施形態の多視点画像生成装置１０では、Ｏｆｆ−Ａｘｉｓの方法で記録再生されるホログラム３０（図４参照）を用いることとする。すなわち、振幅ホログラムとして平面に記録されたホログラム３０は、ホログラム面に対して非垂直に参照光を照射して被写体を記録したものである。

図１に示すように、多視点画像生成装置１０は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより、ユーザインタフェース部１１と、記憶部１３と、処理部１５と、出力部１７とが実現される。

＜ユーザインタフェース部＞
ユーザインタフェース部１１は、マウスやキーボード等の入力装置Ｍから各種情報（データやコマンド）の入力を受け付け、処理結果や入力画面表示等を、液晶ディスプレイ等の表示装置Ｄに出力するインタフェース装置である。ここでは、ユーザインタフェース部１１は、多視点画像元データ入力手段１１１と、仮想カメラパラメータ入力手段１１２とを備えることとした。

多視点画像元データ入力手段１１１は、多視点画像Ｇを生成するための元データとして、ホログラムデータＨと参照光データＲとの入力を受け付けるものである。
ホログラムデータＨは、被写体を記録したホログラム３０のホログラム面における物体光としての複素振幅（振幅および位相の情報）を抽出（再生）するためのデータである。
参照光データＲは、ホログラム３０を撮影（記録）したときの参照光としての複素振幅（振幅および位相の情報）を示すデータである。

仮想カメラパラメータ入力手段１１２は、仮想カメラアレイ２０（図２および図６参照）に関するパラメータ（仮想カメラパラメータＶ）の入力を受け付けるものである。この仮想カメラパラメータ入力手段１１２は、コンピュータに対してマウスやタッチパネルなどのポインティングデバイスを用いてデータを入力するＧＵＩ（グラフィカル・ユーザ・インタフェース）を含み、このポインティングデバイスの操作位置座標を処理部１５に入力する。これにより、処理部１５は、仮想カメラパラメータ入力手段１１２から入力された操作位置座標に基づいて、パラメータ値を更新して表示装置Ｄに出力する。

図６に示す仮想カメラアレイ２０は、実際には存在しないが、カメラアレイ１２０（図１０参照）が仮想的に存在しているものとして想定した仮想的な多眼カメラアレイであり、カメラアレイ１２０と同様に複数の仮想的なカメラ２１（以下、単にカメラ２１という）を備えている。カメラ２１は、図７に示すように、例えば、撮像素子２２と、フォーカスレンズ２３と、アイリス２４と、開口２５とを備えているものとする。

図１に示す仮想カメラパラメータＶは、例えば、撮像素子２２の撮像面２２１上の画素の個数（画素数）、画素のサイズ（画素サイズ）、カメラ２１の間隔（カメラピッチＰ）、ホログラム３０のホログラム面３１から撮像面２２１までの距離（Ｚ座標距離）を含む。

＜記憶部＞
図１に示すように、記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等からなる。記憶部１３は、プログラム記憶領域、データ記憶領域、一時記憶領域、演算結果記憶領域等に区分され、コマンド、データ、プログラム等各種情報を記憶する。ここでは、記憶部１３は、多視点画像元データ記憶手段１３１と、仮想カメラパラメータ記憶手段１３２とを備えることとした。

多視点画像元データ記憶手段１３１は、ホログラムデータＨおよび参照光データＲを記憶するものであり、一般的なメモリやハードディスク等から構成される。
仮想カメラパラメータ記憶手段１３２は、仮想カメラパラメータを記憶するものであり、一般的なメモリやハードディスク等から構成される。

＜処理部＞
処理部１５は、図１に示すように、複素振幅再構成手段１５１と、個別カメラ座標算出手段１５２と、回折伝搬追跡手段１５３と、輝度振幅演算手段１５４とを備えることとした。以下、処理部１５の各手段について数式等を用いて詳細に説明する。

≪複素振幅再構成手段≫
複素振幅再構成手段１５１は、ホログラムデータＨおよび参照光データＲから、ホログラム３０のホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成するものである。第１実施形態では、複素振幅再構成手段１５１は、前記した式（１）に基づいて、２次元配列データで記述されたホログラムデータＨと参照光データＲとを乗算することで、ホログラム面上における複素振幅を再構成する。

具体的には、複素振幅再構成手段１５１では、ホログラムデータＨのうち、デジタイズ（Digitize）されたホログラムの振幅情報（複素振幅で表現すると位相項が全てゼロである。これをあらためてＨと表記する。）と、予め複素振幅が分かっている参照光データＲ
との積を複素数領域においてとることにより、物体光の複素振幅を得る。

≪個別カメラ座標算出手段≫
図１に示す個別カメラ座標算出手段１５２は、仮想カメラパラメータに基づいて、ホログラム面を基準とした座標上において、カメラ２１の撮像素子２２の撮像面２２１（図７参照）における画素の位置座標を算出するものである。

個別カメラ座標算出手段１５２では、図６（ａ）に示すように、ホログラム３０の中央を原点として、ホログラム法線方向をＺ座標とするようなＸＹＺ直交座標系において、理想的なレンズ付きカメラ（またはピンホールカメラ）として定義されるカメラ２１の撮像面上にある画素の座標を、仮想カメラパラメータＶとして入力された数値から正確に算出する。

個別カメラ座標算出手段１５２が画素の位置座標を算出するのは、図６（ａ）に示すように、仮想カメラアレイ２０を構成する個別のカメラ２１（要素カメラ）の画素値を求めるために、ホログラム３０から見た座標系でカメラ２１の座標を特定する必要があるからである。ホログラム３０から、仮想カメラアレイ２０の個別のカメラ２１までの光の伝搬の様子は、後記するように、回折伝搬追跡手段１５３により行う。この際に、ホログラム３０−カメラ２１間の具体的な距離（Ｚ座標距離、単位：メートル）などの値が必要となる。

そこで、多視点画像生成装置１０は、図６（ｂ）に入力画面表示２００の一例を示すように、例えばＧＵＩ上から所望する仮想カメラアレイ２０のスペックを入力可能とした。
この入力画面表示２００の例では、仮想カメラパラメータＶとして、カメラ数２０１、カメラピッチ（カメラの間隔）２０１、Ｚ座標距離２０３、解像度（画素数）２０４、レンズ焦点（距離）２０５、画素サイズ２０６を指定できるものとした。

多視点画像生成装置１０は、図６（ｂ）に示すような入力画面表示２００を表示し、利用者によって指定された仮想カメラパラメータＶの入力を受け付けると、個別カメラ座標算出手段１５２によって、図６（ａ）に示す座標系において、画素の具体的な位置座標（ｘ，ｙ）を算出し、ホログラム３０から、多視点画像Ｇへのレンダリングを可能な状態にする。この例では、仮想カメラアレイ２０は、平行カメラであると仮定する。すなわち、カメラ２１は、格子状に並んだ視線方向が、全てホログラム面の法線方向である。

利用者（ユーザ）が記述する情報は、仮想カメラアレイ２０のカメラ２１の画素数、カメラ画素サイズ、および水平垂直のカメラ間隔、といった所望の情報（直接的なデータ）を記述する。なお、ユーザは、必要に応じて、ホログラムの撮影方法や、途中の間接的なデータの情報を記述してもよい。

第１実施形態の場合、Ｏｆｆ−Ａｘｉｓの方法で記録再生されるホログラム３０（図４参照）を用いるので、複素振幅再構成手段１５１においてＯｆｆ−Ａｘｉｓ型の再構成を行うことができるように、ＧＵＩは次の仕組みを有することとする。すなわち、ユーザが仮想カメラアレイ２０の個別のカメラ２１（図６（ａ）参照）を配置できない位置を指定しようとした場合には、ＧＵＩで選択不可とする、または、エラーを返す。なお、図６（ｂ）に入力画面表示２００は一例であって、カメラ座標を１つ１つ入力するように構成することも可能である。ただし、カメラ数が多くなってきた場合には、多数のカメラ座標を１つ１つ入力するタイプの代わりに、入力画面表示２００のように、多数のカメラ座標を自動で計算できるようにすることが好ましい。また、仮想カメラアレイ２０としてレンズ付きカメラを想定する場合には、入力画面表示２００の符号２０５で示すように、レンズ焦点距離（例えば５０ｍｍ）やアイリスの情報（例えば、Ｆ値＝「ｆ４」）もここで入力可能に構成する。

≪回折伝搬追跡手段≫
次に、図１および図７を参照（適宜図６参照）しながら、回折伝搬追跡手段１５３の詳細を説明する。図７では、ＸＺ平面（垂直方向）で光の伝搬を示している。図示を省略するが、同様に、ＹＺ平面（水平方向）でも光が伝搬する。
この回折伝搬追跡手段１５３は、複素振幅再構成手段１５１によりホログラム面３１上に再構成された複素振幅で表される物体光が仮想カメラアレイ２０まで伝搬する際に、物体光の回折を含むように各カメラ２１の撮像素子２２の撮像面２２１上における複素振幅を画素ごとに算出するものである。

回折伝搬追跡手段１５３は、ホログラム面上での物体光の複素振幅をもとにして、図６（ａ）に示すようなホログラムを基準としてみた直交座標上において、カメラ２１内の各画素の位置（カメラ２１の撮像面２２１上にある画素の座標）における物体光の複素振幅を、次の式（２）および式（３）を用いることで、光の回折現象も含んだ精緻な光線追跡を行う。式（２）は、フレネルキルヒホッフ回折積分のフレネル領域における近似式（フレネル変換（Fresnel diffraction）の近似式）であり、式（３）は、カメラレンズによる光の位相成分の変調を表した式である。

式（２）において、Ｉｎ（ｘ₀，ｙ₀）はフレネル回折前の振幅と位相（複素振幅）であり、Ｏｕｔ（ｘ，ｙ）はフレネル回折後の振幅と位相（複素振幅）である。ｚはフレネル回折の際の伝搬距離である。λは対象となる光の波長である。（ｘ₀，ｙ₀）はフレネル回折の始点（ホログラム上を出発する光点の座標やレンズ通過後の光点の座標）であり、（ｘ，ｙ）はフレネル回折の終点（レンズ入射前の光点の座標や仮想カメラ上での画素の座標）である。なお、ｅは自然対数の底である。

式（３）において、Ｉｎ₂（ｘ，ｙ）は位相変調前の振幅と位相（複素振幅）であり、Ｏｕｔ₂（ｘ，ｙ）は位相変調後の振幅と位相（複素振幅）である。ｆはレンズの焦点距離であり、λは対象とする光の波長である。（ｘ，ｙ）はレンズ中心を原点とした座標であり、ｅは自然対数の底である。

図７に示すように、ホログラム３０を出発する光は、第１段階として、フォーカスレンズ２３に到達する。次いで、第２段階として、この光はフォーカスレンズ２３により位相項のみの変調を受ける。この際、振幅成分は変調を受けないような透過率１００％の理想的なレンズを計算により仮定することが可能である。さらに、第３段階として、フォーカスレンズ２３を通過した光は、さらにカメラ２１の撮像素子２２まで伝搬する。そのため、本実施形態では、第１〜第３段階に対応して、図１に示す回折伝搬追跡手段１５３は、第１フレネル変換と、位相シフトと、第２フレネル変換とを実行する。第１フレネル変換は、ホログラム３０とフォーカスレンズ前玉の間の光の伝搬を表す。位相シフトはフォーカスレンズ２３おける光の位相変調を表す。第２フレネル変換は、フォーカスレンズ２３と撮像素子２２との間の光の伝搬を表す。表１は、回折伝搬追跡手段１５３が実行する処理に用いる座標と、光の伝搬位置とに対応した複素振幅（振幅情報、位相情報）の表式を例示するものである。

図１に示す回折伝搬追跡手段１５３による処理を、以下の１）〜３）に分けて説明する。
１）第１フレネル変換
第１フレネル変換では、前記した式（２）は、式（２ａ）のように書き換えられる。すなわち、第１フレネル変換は、ホログラム３０のホログラム面３１（図７参照）の位置における複素振幅Ｉｎ₁（ｘ₀，ｙ₀）を用いて、フレネル回折により、仮想カメラアレイ２０のカメラ２１のフォーカスレンズ２３の入射面の位置２３１における複素振幅Ｏｕｔ₁（ｘ₁，ｙ₁）を求める。第１フレネル変換において、Ｚ軸方向の伝搬距離Ｚ₁はホログラム３０とフォーカスレンズ前玉の距離である。なお、Ｚ軸方向の伝搬距離Ｚ₁は図６（ｂ）に示すＺ座標距離と、焦点距離との差を示す。

ホログラム３０（図７参照）が発生する妨害光を取り込まないようにする必要があるため、図１に示す回折伝搬追跡手段１５３による第１フレネル変換の計算対象となる範囲Ｗ₁（Ｗ）は、次の式（４）のように決定する。

式（４）の右辺第１項のＤは、図７に示す仮想カメラアレイ２０のカメラ２１の開口２５（フォーカスレンズ開口）の大きさを示す。ここでは、開口２５を円形とするので、Ｄは開口の直径を示す。式（４）の右辺第２項は、ホログラムの最大回折角度θ_maxによる限界、第３項は透過光（妨害光）成分を排除するための限界を示す。最大回折角度θ_max（＝tan^-1（λ／２ｐ））は、ホログラム３０の記録時の水平垂直方向のサンプリングピッチｐと光の波長λによって決まる。また、ｚは、ホログラム面３１上の物体光の起点から撮像面２２１までの距離のうち第１フレネル変換の対象とする距離（Ｚ₁）を示す。第３項の妨害光角度θ_refは、ホログラム３０から再生される妨害光の方向によって決まる。このように、図１に示す回折伝搬追跡手段１５３による第１フレネル変換の計算対象となる範囲Ｗ₁（Ｗ）は、式（４）で決定されているので、ホログラム面全体を計算対象とした場合と比較して高速に演算結果を得ることができる。

２）位相シフト
位相シフトは、第１フレネル変換の結果である複素振幅Ｏｕｔ₁（ｘ₁，ｙ₁）をフォーカスレンズ２３（図７参照）により変調する。ここで、複素振幅Ｏｕｔ₁（ｘ₁，ｙ₁）を、あらためて、複素振幅Ｉｎ₂（ｘ₂，ｙ₂）と表記することとする。これらは同じものであるが、複素振幅Ｉｎ₂（ｘ₂，ｙ₂）は、位相シフト後の複素振幅Ｏｕｔ₂（ｘ₂，ｙ₂）とセットで変調前後を示すこととした（表１参照）。また、ここでは、図６（ａ）の座標系を、フォーカスレンズ２３のレンズ中心を原点とする座標（ｘ₂，ｙ₂）に一旦変更した。それは、式（３）に示すように焦点距離ｆなる凸レンズでは、レンズ中心からの距離に応じて位相の変化量が大きくなるような変調を受け、位相シフトの計算は、開口２５（フォーカスレンズ開口）上の各点（ｘ，ｙ）について行えばよいからである。この場合、位相シフトでは、前記した式（３）は、式（３ａ）のように書き換えられる。すなわち、位相シフトは、フォーカスレンズ２３の入射面の位置２３１における複素振幅Ｉｎ₂（ｘ₂，ｙ₂）に、フォーカスレンズ２３の位相シフト関数を乗算することで、フォーカスレンズ２３の出射面２３２の位置における複素振幅Ｏｕｔ₂（ｘ₂，ｙ₂）を求める。

３）第２フレネル変換
第２フレネル変換は、フォーカスレンズ２３（図７参照）通過後の物体光の複素振幅Ｏｕｔ₂（ｘ₂，ｙ₂）を、前記した式（２）における起点の複素振幅Ｉｎ（ｘ₀，ｙ₀）として用いて、カメラ２１の撮像素子２２の表面での複素振幅Ｏｕｔ（ｘ，ｙ）をフレネル回折により求める。ここで、第２フレネル変換の計算対象となる範囲は、仮想カメラアレイ２０のカメラ２１の開口２５の領域（その垂直方向の長さはＤ）である。

この第２フレネル変換は、位相シフトの結果である複素振幅Ｏｕｔ₂（ｘ₂，ｙ₂）を用いて、フレネル回折により、撮像面２２１上における複素振幅を求めるので、複素振幅Ｏｕｔ₂（ｘ₂，ｙ₂）を、あらためて、複素振幅Ｉｎ₃（ｘ₃，ｙ₃）と表記することとする。これらは同じものであるが、複素振幅Ｉｎ₃（ｘ₃，ｙ₃）は、フレネル回折後の複素振幅Ｏｕｔ₃（ｘ，ｙ）とセットで第２フレネル変換の前後を示すこととした（表１参照）。なお、（ｘ₃，ｙ₃）は、レンズ中心を原点とする座標系から、図６（ａ）の座標系に戻したことを示す。これにより、第２フレネル変換では、前記した式（２）は、式（２ｂ）のように書き換えられる。すなわち、第２フレネル変換は、フォーカスレンズ２３の出射面２３２の位置における複素振幅Ｉｎ₃（ｘ₂，ｙ₂）を用いて、フレネル回折により、カメラ２１の撮像素子２２の撮像面２２１上における複素振幅Ｏｕｔ₃（ｘ，ｙ）を求める。

また、第２フレネル変換において、Ｚ軸方向の伝搬距離ｚ（Ｚ₂）は、カメラ２１（図７参照）のフォーカスを被写体空間のどの位置に合わせたかに相当し、計算により求めることが可能である。例えば無限遠にピントを合わせた状態においては、伝搬距離ｚ＝ｆとなる。つまり、この場合、第２フレネル変換において、Ｚ軸方向の伝搬距離ｚはフォーカスレンズ２３と撮像面２２１との距離となる。

図１に示す回折伝搬追跡手段１５３では、以上のように解析的に光の伝搬を求めることにより、撮像素子２２の撮像面２２１（図７参照）での物体光の複素振幅を得ることができる。なお、光の伝搬を計算する際、フレネル領域で計算を行う目安として、図８に示す指標が一般に用いられている。これは、計算領域に対して伝搬距離ｚが十分に遠ければ、より簡便なフラウンフォーファー領域の近似にて計算しても差し支えないが、それよりも近い、より現実的な領域ではフレネル近似を用いる必要があるということである。

≪輝度振幅演算手段≫
図１に示すように、輝度振幅演算手段１５４は、回折伝搬追跡手段１５３により画素ごとに算出された物体光の複素振幅Ｏｕｔ₃（ｘ，ｙ）から物理的なカメラ１２１（図１０参照）で撮影が可能な輝度振幅Ａｍｐ（ｘ，ｙ）を演算し、この画素ごとに演算された物体光の輝度振幅Ａｍｐ（ｘ，ｙ）を合わせることで、被写体の多視点画像Ｇを生成するものである。

この輝度振幅演算手段１５４は、複素振幅の位相情報を排除した振幅情報（現実のカメラにおいて撮影が可能な画素値情報）を、式（５）で演算する。

式（５）において、Ｒｅ（ｘ，ｙ）は、前記した式（２ｂ）の複素振幅Ｏｕｔ₃（ｘ，ｙ）の実数部である（スカラー量）。また、Ｉｍ（ｘ，ｙ）は、同様に式（２ｂ）の複素振幅Ｏｕｔ₃（ｘ，ｙ）の虚数部である（スカラー量）。Ａｍｐ（ｘ，ｙ）は、画素の輝度振幅値となる（スカラー量）。（ｘ，ｙ）は仮想カメラ上での画素の座標である。この輝度振幅演算手段１５４は、画素ごとの輝度振幅値を多視点画像Ｇとして生成する。

＜出力部＞
図１に示すように、出力部（出力手段）１７は、輝度振幅演算手段１５４により生成された多視点画像Ｇを任意視点画像合成装置１４０に出力するものであり、一般的な出力インタフェースや通信インタフェースにより構成される。

［多視点画像生成装置の動作］
次に、多視点画像生成装置１０の動作について図９を参照（適宜図１および図６参照）して説明する。多視点画像生成装置１０は、多視点画像元データ入力手段１１１によって、ホログラムデータおよび参照光データの入力を受け付ける（ステップＳ２１：多視点画像元データ入力ステップ）。そして、多視点画像生成装置１０は、仮想カメラパラメータ入力手段１１２によって、仮想カメラパラメータの入力を受け付ける（ステップＳ２２：仮想カメラパラメータ入力ステップ）。このとき、例えば、図６（ｂ）の入力画面表示２００を表示する。

そして、多視点画像生成装置１０は、複素振幅再構成手段１５１によって、前記した式（１）によりホログラム面上の物体光の複素振幅を再構成し（ステップＳ２３：複素振幅再構成ステップ）、個別カメラ座標算出手段１５２によって、各カメラ２１（仮想カメラ）の画素の位置座標を算出する（ステップＳ２４：個別カメラ座標算出ステップ）。そして、多視点画像生成装置１０は、回折伝搬追跡手段１５３によって、前記した式（２ａ）、式（３ａ）、式（３ｂ）により、ホログラム面から仮想カメラアレイへ伝搬した物体光の複素振幅を画素ごとに算出する（ステップＳ２５：回折伝搬追跡ステップ）。そして、多視点画像生成装置１０は、輝度振幅演算手段１５４によって、前記した式（５）により画素ごとに輝度振幅に変換し、合成して多視点画像Ｇを生成する（ステップＳ２６：輝度振幅演算ステップ）。多視点画像生成装置１０は、出力部１７により多視点画像Ｇを出力する（ステップＳ２７：出力ステップ）。

従来、撮影された多視点画像を入力として用いる画像処理方法は、ＬＦＲの他、奥行き画像の生成や、パノラマ画像の作成など様々なものが存在しているが、その原画像として、高精度なものはＣＧで作成する原画であり、次に精度のよい原画像は電動ステージと単眼のカメラにより時間をかけて被写体シーンを入力したものであった。実写の動画に適用するためにはカメラアレイが必要であるが、これを現実に構築すると、カメラアレイ特有の調整箇所の多さゆえに、多大な労力をかけたキャリブレーションが必要であった。しかしながら、第１実施形態の多視点画像生成装置１０によれば、仮想カメラアレイ２０を用いているので、最終的に現実のカメラアレイ１２０の個別のカメラ１２１の位置ずれや特性差の影響を排除し、より簡単に精度の良い多視点画像Ｇを得ることができる。

また、第１実施形態の多視点画像生成装置１０によれば、多眼カメラ特有のパラメータ（カメラ配置の間隔など）をＧＵＩ等のユーザインタフェースから入力することにより、個別カメラ座標算出手段１５２によって、物理的なカメラを並べる際には極めて難しいレベルまで精度良く、仮想カメラを配列することができる。したがって、様々な種類、かつ、同等な品質で多視点画像Ｇを作れるので、多数かつ均質な多視点画像Ｇを提供することができる。

また、第１実施形態の多視点画像生成装置１０を用いれば、実写による任意視点画像の合成、自由視点テレビの映像入力、立体映像表示サービス、電子ホログラフィにより撮影された映像の方式変換や既存の多眼表示装置での再生を容易に行うことができる。ここで、立体映像の表示装置には、２−Ｄディスプレイ＋マウス、ヘッドマウントディスプレイ（２−Ｄ）＋磁気センサによる頭位置の検出装置、２眼立体（水平）、８眼立体（水平）、９眼斜めレンチキュラー（水平＋垂直）、多眼立体、ホログラフィなどが含まれる。さらに、電子的な手段により撮影されたホログラムデータを有効に使用して（所謂ダウンサンプリングすることに相当）、２〜３０眼程度の既に実用が可能なメガネ無し立体表示装置に表示可能な原画を作成することもできる。

（第２実施形態）
第２実施形態に係る多視点画像生成装置は、用いるホログラムの記録方法が異なっているものの、第１実施形態の装置とは、構成および動作の共通点が多いため、同じ構成には同じ符号を付して説明を省略し、異なる点のみを共通の図面である図１を参照（適宜図４〜図７参照）して説明する。まず、ホログラムの再生において妨害２成分を分離する方法について説明し、それに対応した複素振幅再構成処理と、回折伝搬追跡処理について順次説明する。

＜位相シフトデジタルホログラフィ法＞
第１実施形態において図４および図５を参照して説明したホログラムの再生において、物体光と妨害２成分とを分離する方法の他の方法として、位相シフトデジタルホログラフィ法が知られている。この位相シフトデジタルホログラフィ法を用いると、妨害光成分を計算によりキャンセルできる。ただし、同一の被写体に対して、参照光の位相を０、π／２、π、３π／２と変えながら４回（または３回）露光する必要がある。この方法であれば、参照光がホログラムの法線方向から入射するＯｎ−Ａｘｉｓ型のホログラムであっても物体光を取り出すことができる。そのため、第２実施形態では、図示を省略するが、参照光を、ホログラム面に対して垂直に照射することとする。

以下の説明では、図４において参照光をホログラム面に対して垂直に照射するものとして読み換えると共に、数式を用いて、位相を変えながら撮影して得られた４枚１組のホログラム（ホログラムデータＨ０，Ｈ１，Ｈ２，Ｈ３）をもとにして、妨害成分を除去して物体光成分のみを通過させる方法を説明する。

ここでは、各データを示す記号として、Ｏ（Ｘ，Ｙ）を物体光の複素振幅分布、Ａｏ（Ｘ，Ｙ）を物体光の振幅分布、φｏ（Ｘ，Ｙ）を物体光の位相分布とする。すると、物体光の複素振幅分布（物体光データ）Ｏは、式（６）で表される。
同様に、Ｒ（Ｘ，Ｙ）を参照光の複素振幅分布、Ａｒ（Ｘ，Ｙ）を参照光の振幅分布、φｒ（Ｘ，Ｙ）を参照光の位相分布、αを参照光の位相シフト量とする。すると、参照光の複素振幅分布（参照光データ）Ｒは、式（７）で表される。

参照光の位相を０、π／２、π、３π／２と４回シフトするとき、ホログラムデータＨ（Ｘ，Ｙ，α）は、前記した式（１）、式（６）および式（７）より、式（８）で表されることになる。

ここで、参照光の位相シフト量αは、０、π／２、π、３π／２のシフトなので、そのαの値を式（８）の左辺に代入した各ホログラムデータＨ（Ｘ，Ｙ，α）を用いると、位相分布については次の式（９）の関係が導かれ、振幅分布については次の式（１０）の関係が導かれる。

なお、式（１０）は、４箇所０、π／２、π、３π／２のホログラムによる振幅分布を考慮したときの全体の振幅分布Ａ（Ｘ，Ｙ）を定式化したもので、全体の振幅分布Ａ（Ｘ，Ｙ）を仮定したときに、全体の振幅分布Ａ（Ｘ，Ｙ）は、式（９）の分母と、式（９）の分子との２乗平均をとって４で除したもので表現できることを示している。

式（８）を代入することにより、式（９）におけるφ（Ｘ，Ｙ）、および、式（１０）におけるＡ（Ｘ，Ｙ）は、それぞれ以下の式（１１）および式（１２）のように表現することができる。

ここで、参照光としてはホログラム面に垂直に入射する平行光を用いるため、式（１１）の右辺第２項、すなわち、ホログラム面における参照光の位相分布は、式（１３）のように「０」とすることができる。したがって、式（１１）のφ（Ｘ，Ｙ）、すなわち、ホログラム面における位相分布は、式（１４）で表されることになる。

また、式（１２）中のＡ_r（Ｘ，Ｙ）、すなわち、ホログラム面における参照光の振幅分布は、一定の定数とみなすことができ、例えば、式（１５）のように「１」とすることができる。したがって、式（１２）のＡ（Ｘ，Ｙ）、すなわち、ホログラム面における振幅分布は、式（１６）で表されることになる。

その結果、前記した式（１４）および式（１６）から、ホログラム面上での複素振幅分布Ｇ（Ｘ，Ｙ）は、式（１７）で表されることになる。ゆえに、所望する物体光の複素振幅分布Ｏ（Ｘ，Ｙ）と同一の複素振幅分布（式（６）参照）を得ることができる。

なお、式（９）〜式（１６）は、参照光の位相を変えて撮影をおこなった０、π／２、π、３π／２の４枚のホログラムを用いることで物体光Ｏ（Ｘ，Ｙ）以外の成分を計算によりキャンセルすることが可能であることを示している。

以上説明したように、第２実施形態において図１に示す多視点画像生成装置１０は、複素振幅再構成手段１５１によって、２次元配列データで記述された複数回分のホログラムデータＨに基づいて、ホログラム面３１上における複素振幅Ｉｎ₁（ｘ₀，ｙ₀）を再構成する。すなわち、複素振幅再構成手段１５１は、前記した式（９）〜式（１７）を計算する。

また、第２実施形態では、参照光をホログラム面に対して垂直に照射するので、第２実施形態において図１に示す多視点画像生成装置１０は、回折伝搬追跡手段１５３によって、前記した第１フレネル変換を計算する際に、計算対象となる範囲Ｗ₂（Ｗ）を、次の式（１８）のように決定する。

式（１８）に示す範囲Ｗ₂には、前記した式（４）に示す範囲Ｗ₁の第３項、すなわち、透過光（妨害光）成分を排除するための限界の項が不要である。つまり、第３項はない。ただし、参照光をホログラム面に対して垂直に照射するので、ホログラムの最大回折角度θ_maxによる限界の項（第２項）は、前記した式（４）に示す範囲Ｗ₁の第２項の２倍の値となる。このように第２実施形態において図１に示す回折伝搬追跡手段１５３による第１フレネル変換の計算対象となる範囲Ｗ₂（Ｗ）は、式（１８）で決定されているので、ホログラム面全体を計算対象とした場合と比較して高速に演算結果を得ることができる。

第２実施形態によれば、多視点画像生成装置１０は、ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法で記録したホログラムを用いて位相シフトデジタルホログラフィ法で複素振幅を再構成する。したがって、第２実施形態の多視点画像生成装置１０は、妨害光が原理的には発生しないタイプのホログラムを用いるので、利用者から、自由なカメラ配置の仮想カメラパラメータの入力を受け付けることが可能となる。

以上、各実施形態について説明したが、本発明はこれらに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、各実施形態は、モノクログレースケールの多視点画像生成について記述したが、本発明はモノクロのホログラムに限定されるものではない。これをカラーに拡張する際は、１つの被写体空間に対して、赤、緑、青の３波長分の系（３枚のホログラム）を用意すればよい。モノクログレースケールの多視点画像生成について説明したのは、ホログラム撮影の技術が、もともと単一の波長λでの光波を記録再生する技術であったためである。

また、多視点画像生成装置１０は、一般的なコンピュータを、前記した複素振幅再構成手段１５１、個別カメラ座標算出手段１５２、回折伝搬追跡手段１５３および輝度振幅演算手段１５４として機能させるプログラム（多視点画像生成プログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して提供することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

本発明は、立体映像技術分野はもちろんのこと、医療技術分野、教育分野などに利用することができる。

１ 任意視点画像表示システム
１０ 多視点画像生成装置
１１ ユーザインタフェース部
１１１ 多視点画像元データ入力手段
１１２ 仮想カメラパラメータ入力手段
１３ 記憶部
１３１ 多視点画像元データ記憶手段
１３２ 仮想カメラパラメータ記憶手段
１７ 出力部（出力手段）
２０ 仮想カメラアレイ（仮想的な多眼カメラアレイ）
２２ 撮像素子
２３ フォーカスレンズ
２４ アイリス
２５ 開口
３０ ホログラム
１５ 処理部
１５１ 複素振幅再構成手段
１５２ 個別カメラ座標算出手段
１５３ 回折伝搬追跡手段
１５４ 輝度振幅演算手段
１４０ 任意視点画像合成装置
１６０ 表示装置
Ｄ 表示装置
Ｍ 入力装置

Claims (8)

1. 複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて２次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置であって、
   前記多視点画像を生成するための元データとして、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータと、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データとの入力を受け付ける多視点画像元データ入力手段と、
   前記ホログラムデータおよび前記参照光データを記憶する多視点画像元データ記憶手段と、
   仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔および当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力手段と、
   前記仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、
   前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段と、
   前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段と、
   前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段と、
   前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段と、
   前記生成された多視点画像を出力する出力手段と、
   を備えることを特徴とする多視点画像生成装置。
2. 前記回折伝搬追跡手段は、
   前記ホログラム面の位置における複素振幅を、フレネル近似に基づいて、前記仮想的な多眼カメラアレイのカメラのレンズの入射面の位置における複素振幅に変換する第１フレネル変換と、
   前記レンズの入射面の位置における複素振幅に前記レンズの位相シフト関数を乗算することで、前記レンズの出射面の位置における複素振幅を求める位相シフトと、
   前記レンズの出射面の位置における複素振幅を、フレネル近似に基づいて、前記カメラの撮像素子の撮像面上における複素振幅に変換する第２フレネル変換とを実行することを特徴とする請求項１に記載の多視点画像生成装置。
3. 前記ホログラムは、前記ホログラム面に対して非垂直に参照光を照射して前記被写体を記録したものであり、
   前記複素振幅再構成手段は、２次元配列データで記述された前記ホログラムデータと前記参照光データとを乗算することで、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項２に記載の多視点画像生成装置。
4. 前記ホログラムは、前記ホログラム面に対して垂直に参照光を照射して位相シフトデジタルホログラフィ法により複数回露光することで前記被写体を記録したものであり、
   前記複素振幅再構成手段は、２次元配列データで記述された複数回分の前記ホログラムデータに基づいて、前記ホログラム面上における複素振幅を再構成することを特徴とする請求項２に記載の多視点画像生成装置。
5. 前記回折伝搬追跡手段は、
   前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第１の範囲と、
   前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度の正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第１フレネル変換の対象とする距離を乗算した積で表される第２の範囲と、
   前記ホログラムから再生される妨害光の方向によって決まる妨害光角度の正接に、前記第１フレネル変換の対象とする距離を乗算した積で表される第３の範囲と、
   の合計で決まる範囲を、前記第１フレネル変換の計算対象範囲とすることを特徴とする請求項３に記載の多視点画像生成装置。
6. 前記回折伝搬追跡手段は、
   前記仮想的な多眼カメラアレイのカメラのレンズ開口の大きさで表される第１の範囲と、
   前記ホログラムの記録時の水平垂直方向のサンプリングピッチによって決まる最大回折角度の正接に、前記ホログラム面上の物体光の起点から前記撮像面までの距離のうち前記第１フレネル変換の対象とする距離を乗算して２倍した値で表される第４の範囲との合計で決まる範囲を、前記第１フレネル変換の計算対象範囲とすることを特徴とする請求項４に記載の多視点画像生成装置。
7. 複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて２次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成する多視点画像生成装置の多視点画像生成方法であって、
   前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データの入力を受け付ける多視点画像元データ入力ステップと、
   仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータの入力を受け付ける仮想カメラパラメータ入力ステップと、
   前記ホログラムデータおよび前記参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成ステップと、
   前記仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出ステップと、
   前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡ステップと、
   前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算ステップと、
   前記生成された多視点画像を出力する出力ステップと、
   を含んで実行することを特徴とする多視点画像生成方法。
8. 複数のカメラが配置された多眼カメラアレイで被写体を撮影した撮影データである多視点画像を用いて２次元表示用の任意視点画像を合成する任意視点画像合成装置に対して入力する多視点画像を演算処理により生成するために、コンピュータを、
   それぞれ入力された、前記被写体を記録したホログラムのホログラム面における物体光としての複素振幅を再生するためのホログラムデータ、および、前記ホログラムを記録したときの参照光としての複素振幅を示す参照光データから、当該ホログラムのホログラム面上における各点での物体光の振幅及び位相を示す複素振幅を再構成する複素振幅再構成手段、
   それぞれ入力された、仮想的な多眼カメラアレイを構成するカメラの撮像素子の撮像面上の画素の個数、前記画素のサイズ、前記カメラの間隔、および、当該ホログラムのホログラム面から前記撮像面までの距離を含む仮想カメラパラメータに基づいて、前記ホログラム面を基準とした座標上において、前記カメラの撮像素子の撮像面における画素の位置座標を算出する個別カメラ座標算出手段、
   前記ホログラム面上に再構成された複素振幅で表される物体光が前記仮想的な多眼カメラアレイまで伝搬する際に前記物体光の回折を含むように前記各カメラの撮像素子の撮像面上における複素振幅を前記画素ごとに算出する回折伝搬追跡手段、
   前記画素ごとに算出された物体光の複素振幅から物理的なカメラで撮影が可能な輝度振幅を演算し、前記画素ごとに演算された物体光の輝度振幅を合わせることで、前記被写体の多視点画像を生成する輝度振幅演算手段、
   として機能させるための多視点画像生成プログラム。

Images