JP6768431B2 - 画像生成装置及びプログラム - Google Patents

Description

本発明は、画像生成装置及びプログラムに関する。

従来から、専用のメガネを用いずに自然な立体像を観察者に視認させることができる立体ディスプレイ装置が提案されている。かかる立体ディスプレイ方式には、レンチキュラ方式、インテグラル方式、などがある。これらの立体ディスプレイ装置は、現実の被写体の像と同様の左右両眼に提示される像の違い（両眼視差）及び観視位置に応じた見え方の変化（運動視差）を再現する。このことは観察者に立体感を生み出す。すなわち、立体ディスプレイ装置は、表示面の前面における観察位置、つまり観察者の左右両眼の位置に応じた像の光線をその位置に応じて選択的に提示する仕組みを備える。

レンチキュラ方式、インテグラル方式のいずれも、レンズを備えた光学的な仕組みを備える。レンチキュラ方式の立体ディスプレイ装置は、細長いかまぼこ型の複数の凸レンズの長手方向を垂直方向に向け、それらの凸レンズを水平方向に配列してなるレンズ板を備える。インテグラル方式の立体ディスプレイ装置は、主面の形状が円形である複数の凸レンズを２次元平面上にアレイ状に配列してなるレンズ板を備える。そして、これらの立体ディスプレイ装置は、レンズ板からレンズの焦点距離だけ奥に離れた位置にディスプレイパネルを備える。レンズ板よりも手前の観察位置における観察者は、その観察位置に応じて表示単位からの光線による像を選択的に観察することができる。ここで、表示単位とは、レンチキュラ方式においては、各１個のかまぼこ型の凸レンズを介して観察位置に光線が到来するディスプレイパネル上の画素列となる。インテグラル方式においては、表示単位は、各１個の円形の凸レンズを介して観察位置に光線が到来するディスプレイパネル上の画素となる。

レンズ板よりも奥に配置されたディスプレイパネルに表示される画像を表示画像と呼び、視点毎の画像は要素画像と呼ばれることがある。要素画像は、ディスプレイパネル前面の所定の視域内の視点において観察される被写体の像である。観察者は、要素画像が集積してなる表示画像をレンズ板越しに観察して、立体像を視認することができる。要素画像の取得方法には、主に３つの方法がある。第１の方法は、カメラのイメージセンサの前面にレンズ板を設置し、イメージセンサの各画素の入射する光線がなす像を記録する方法である。第１の方法は、主に実写の際に用いられることがある。第２の方法は、多視点実写画像やＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、コンピュータグラフィクス）モデルを用いて生成した複数視点の画像を用いて、要素画像を合成する方法である。第２の方法は、複数視点のそれぞれにおいて観察される２次元画像を集積し、レンズ板の特性に合わせて、集積した２次元画像の各画素を再配置することにより実現される。画像の集積において平行投影、透視投影などの手法が用いられる。第２の方法は、特許文献１及び非特許文献１に例示されている。第３の方法は、ＣＧモデルを用いて被写体から各視点に到来する光線をシミュレーションして要素画像を合成する方法である。第３の方法は、光線追跡法と呼ばれることがある。第３の方法は、非特許文献１−４に例示されている。

要素画像の生成には、膨大な計算量及びデータ量を要する。例えば、第３の方法では、撮影対象の３次元空間内にインテグラル方式のディスプレイ装置が設置されていることを仮定し、３次元空間内の被写体上の各点からレンズ板よりも奥に設置されたディスプレイパネルに到来する光線を積算して得られる表示画像の画素値を算出する。第３の方法は、光学的な厳密さを備える。その反面、最終的に得られる表示画像への寄与がほとんどない光線も画素値の算出対象となるので、その計算が無用になる。第２の方法では、ＣＧモデルなどを用いて取得した３次元空間内の複数の視点に仮想カメラが設置されていると仮定し、それぞれの仮想カメラが取得した画像に基づいて表示画像を生成する。仮想カメラは表示画像の生成に最低限必要な画素毎の画素値をサンプリングするので、第２の方法では、仮想カメラに到来しない光線についての計算を要しない。そのため、第２の方法によれば、第３の方法よりも高速な表示画像の生成が可能となる。しかしながら、第２の方法では、仮想カメラがそれぞれ取得した画像を統合するために、それらの画像や表示画像の作成に用いる作業用の画像を蓄積することを要する。従って、必要とされる計算コストやメモリの記憶容量が多くなる。

第２の方法によって生成される表示画像を観察して視認される再生像について十分な品質を確保するには、表現しようとする被写体の像が大きいほど、多くの視点から取得される画像を要する。特に、ディスプレイ装置のレンズ板から遠い位置に表れる像を表す表示画像についてサンプリングが空間的に疎らになるため、画質が劣化する。例えば、視認される再生像において第３の方法では生じえない不自然な線や二重像などのアーチファクトが生じる。仮想カメラの数を増やすことによって空間サンプリングを密にすることができるが、要素画像の実写の際においては、その数に限界がある。また、ＣＧにより要素画像を取得する場合でも、合成対象である要素画像の増加により描画パフォーマンスが低下する。

また、視点毎の要素画像を用いて表示画像を生成する際、レンズ板を構成するレンズの直径が、表示画像を表示するディスプレイパネルの画素ピッチの整数倍である、などの所定の関係を満たす場合には、表示画像の生成に関わる計算量が比較的少ない。しかしながら、レンズ板の立体ディスプレイ装置への取り付け精度は、機械精度となり、画素ピッチよりも粗い。そのため、レンズ板を構成する全てのレンズについて、レンズの直径と画素ピッチとの関係をディスプレイパネル全面にわたり均一にすることは困難である。この点に関して、特許文献１には、表示画像についてフィルタ処理（リサンプリング）を行うことにより、レンズの直径と画素ピッチとの関係が均一でない場合に生じ得る画質の劣化を軽減する立体像生成装置について記載されている。画素値のフィルタ処理は、表示画像の生成に必要な処理であるが、計算コストを増加させる要因となる。

特許第５５２２７９４号公報

Athineos, Spyros S., et al. "Physical modeling of a microlens array setup for use in computer generated IP", Proceedings of the SPIE, Vol. 5664, pp. 472-479, (June 14, 2005) Huy Hoang Tran, et al., "Interactive 3D Navigation System for Image-guided Surgery", International Journal of Virtual Reality, 8(1), pp. 9-16, (2009) 中島勧, 他, "Integral Photographyの原理を用いた３次元ディスプレイの画像高速生成法", 映像メディア学会誌, Vol. 54, No.3, pp. 420-425, (2000) 小池崇文, "プログラマブルなグラフィックハードウェアを用いたインテグラルフォトグラフィ画像のレンダリング", 情報処理学会 研究報告, 2003-CG-113, pp. 70-74, (2003)

以上に説明した表示画像の生成方法には、複数の仮想カメラからの要素画像の画素を並べ替え、要素画像よりも画素数が多い中間画像を生成する過程が含まれていた。生成された中間画像から各要素レンズに対応する画像が抽出され、抽出された画像が集積されることで表示画像が生成される。中間画像には、最終的に得られる表示画像に採用されない画素の画素値が含まれることがある。このことは、メモリの利用効率が低下する要因になっていた。また、メモリに作成された中間画像を蓄積することで、各要素画像から表示画像内の１つの画素値の決定にかかる処理を画素間で独立に実行できなかった。このことは、処理の並列化におけるボトルネックとなっていた。

本発明は上記の点に鑑みてなされたものであり、効率的に表示画像を生成することができる画像生成装置及びプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、
画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記表示画素と同じ位置の仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段、を備える画像生成装置である。
［１］の構成によれば、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。中間画像を生成することなく、仮想カメラ画像に基づいて表示画像が直接生成されるので、表示画像の生成が効率化される。また、表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列にすることで、表示画像を高速に生成することができる。

［２］本発明の一態様は、上述の画像生成装置であって、前記画素値決定手段は、前記複数の要素レンズのうち前記表示画素に最も近接した要素レンズを前記表示画素に対応する要素レンズとして特定し、前記重み係数は、所定の値域内に正規化され、前記仮想カメラの位置と、前記表示画素に対応する要素レンズのレンズ中心座標系における表示画素の座標値と、仮想カメラ間の間隔に基づくことを特徴とする。
［２］の構成によれば、算出される画素値に対する仮想カメラ画像の成分が表示画素間において平滑化される。そのため、表示画像において要素レンズの間隔よりも微細な成分によるアーチファクトが軽減又は解消されるので、視認される像の画質が向上する。

［３］本発明の一態様は、上述の画像生成装置であって、画素値決定手段は、前記レンズ板の取付誤差調整パラメータに基づいて前記複数の要素レンズの座標を補正し、補正した前記座標に基づいて前記表示画素に対応する要素レンズを特定することを特徴とする。
［３］の構成によれば、取得された取付誤差調整パラメータに基づいて補正された位置に応じて表示画素に対応する要素レンズが特定され、特定された要素レンズの位置に応じた重み係数に基づいて、その表示画素の画素値が得られる。そのため、レンズ板の取付誤差の調整に伴って変更した取付誤差調整パラメータに対応する画素値で示される表示画像が得られる。表示画像に基づいて取付誤差調整パラメータを調整することができるため、取付誤差調整パラメータの校正に係る作業能率を向上させることができる。

［４］本発明の一態様は、画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記表示画素と同じ位置の仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、を備える画像生成装置として、コンピュータに機能させるためのプログラムである。
［４］の構成によれば、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。中間画像を生成することなく、仮想カメラ画像に基づいて表示画像が直接生成されるので、表示画像の生成が効率化される。また、表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列にすることで、表示画像を高速に生成することができる。

本発明によれば、効率的に表示画像を生成することができる。

本発明の実施形態に係る画像生成装置の構成例を示すブロック図である。 本発明の実施形態に係る仮想カメラの配置例を示す図である。 表示画像の一例を示す図である。 表示画像の一部を示す拡大図である。 要素レンズの配置例を示す図である。 表示画素に最も近接する要素レンズの特定方法の一例を示す説明図である。 仮想カメラ画像の例を示す図である。 本発明の実施形態に係る画像生成処理の一例を示すフローチャートである。 本発明の実施形態に係る画素値決定処理の一例を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、インテグラル方式の立体ディスプレイ装置（図示せず）に表示させる表示画像を生成する。インテグラル方式の立体ディスプレイ装置は、画像を表示するディスプレイパネルと複数の要素レンズを配列してなるレンズ板とを備える。ディスプレイパネルとレンズ板は、それぞれの主面が互いに平行に対面して配置される。観察者は、ディスプレイパネルに表示された表示画像を、レンズ板を通して観察することにより、立体像を視認することができる。
画像生成装置１０は、カメラパラメータ記録手段１１０、入力部１２０、カメラパラメータ・仮想カメラ画像関連付け手段１３０、画素値決定手段１４０及び出力部１５０を含んで構成される。

カメラパラメータ記録手段１１０は、画像生成装置１０の外部から複数の仮想カメラのそれぞれに係るカメラパラメータを取得し、取得したカメラパラメータを記録する。仮想カメラとは、仮想的に３次元空間内に設置された画像取得手段を意味する。カメラパラメータは、仮想カメラによる画像の取得に係るパラメータである。カメラパラメータには、仮想カメラの光学中心の位置が含まれる。この位置は、視点の位置に相当し、所定の位置を基準とする相対的な位置として表されてもよい。基準とする所定の位置は、例えば、複数の仮想カメラの分布領域の重心点である。

入力部１２０には、画像生成装置１０の外部から各種のデータが入力される。入力部１２０は、仮想カメラ画像取得手段１２１、立体ディスプレイパラメータ入力手段１２２及び表示画像調整パラメータ入力手段１２３を含んで構成される。
仮想カメラ画像取得手段１２１は、個々の仮想カメラが設置される位置である視点において観察される共通の被写体の画像を示す画像データを取得する。取得される画像データは、現実にその視点において撮影された被写体の画像を示す画像データでもよいし、公知のＣＧ技術を用いて合成され、その視点において観察されうる被写体の画像を示す画像データでもよい。以下の説明では、各仮想カメラについて取得される画像を仮想カメラ画像と呼び、その仮想カメラ画像を示すデータを仮想カメラ画像データと呼ぶ。仮想カメラ画像は、要素画像と呼ばれることがある。仮想カメラ画像データは、画素毎の画素値を示すデータである。画素値は、画素毎の明るさを示す輝度値、色を示す色空間値のいずれでもよい。色空間値として、例えば、ＲＧＢ表色系で色を表現するＲＧＢ値が利用可能である。仮想カメラ画像取得手段は、仮想カメラ毎に取得される仮想カメラ画像データをカメラパラメータ・仮想カメラ画像関連付け手段１３０に出力する。

立体ディスプレイパラメータ入力手段１２２は、立体ディスプレイパラメータを取得する。立体ディスプレイパラメータは、立体ディスプレイ装置による表示画像の表示に係るパラメータである。立体ディスプレイパラメータには、例えば、立体ディスプレイ装置を構成するレンズ板のパラメータと、ディスプレイパネルのパラメータとが含まれる。レンズ板のパラメータには、レンズ板を構成する個々の要素レンズの直径、焦点距離、配置間隔（ピッチ）、水平方向ならびに垂直方向の要素レンズの個数などが含まれる。ディスプレイパラメータには、画像を表示する画素の画素ピッチ、水平方向ならびに垂直方向の画素の個数などが含まれる。立体ディスプレイパラメータ入力手段１２２は、取得した立体ディスプレイパラメータを画素値決定手段１４０に出力する。

表示画像調整パラメータ入力手段１２３は、表示画像調整パラメータを取得する。表示画像調整パラメータは、立体ディスプレイ装置に表示させる表示画像の表示位置や向きを調整するためのパラメータである。表示画像調整パラメータには、レンズ板のディスプレイ装置への取り付け誤差を調整するための取付誤差調整パラメータ、例えば、所定の基準位置からの垂直方向の変位ならびに水平方向の変位、所定の基準方向からの回転角などが含まれる。表示画像調整パラメータ入力手段１２３は、取得した表示画像調整パラメータを画素値決定手段１４０に出力する。

カメラパラメータ・仮想カメラ画像関連付け手段１３０には、仮想カメラ画像取得手段１２１から仮想カメラ画像データが入力され、入力される仮想カメラ画像データに対応する仮想カメラに係るカメラパラメータをカメラパラメータ記録手段１１０から読み取る。カメラパラメータ・仮想カメラ画像関連付け手段１３０は、読み取ったカメラパラメータと入力された仮想カメラ画像データとを仮想カメラ、即ち視点毎に関連付け、カメラパラメータと仮想カメラ画像データのセットを形成する。カメラパラメータ・仮想カメラ画像関連付け手段１３０は、仮想カメラ毎に形成したカメラパラメータと仮想カメラ画像データのセットを画素値決定手段１４０に出力する。

画素値決定手段１４０には、カメラパラメータ・仮想カメラ画像関連付け手段１３０からカメラパラメータと仮想カメラ画像データのセットが仮想カメラ毎に入力され、立体ディスプレイパラメータ入力手段１２２から立体ディスプレイパラメータが入力される。画素値決定手段１４０は、立体ディスプレイパラメータとカメラパラメータに基づいて、表示画像を表示するディスプレイパネルと、そのディスプレイパネルと平行に対面して配置されるレンズ板を構成する要素レンズの位置関係を判定する。そして、画素値決定手段１４０は、表示画像の画素である表示画素毎に、その表示画素に対応する要素レンズを特定する。表示画像に対応する要素レンズとは、中心点がその表示画素から最も近接した要素レンズである。立体ディスプレイ装置において、その表示画素に対面する要素レンズが存在する場合には、その対面要素レンズが対応する要素レンズとなる。画素値決定手段１４０は、入力された仮想カメラ画像データから、その表示画素と画像内の位置を示す座標値が等しい画素の画素値を抽出する。画素値決定手段１４０は、表示画素に対応する要素レンズを特定し、特定した要素レンズの位置を基準とする表示画素の位置とその仮想カメラの位置とに基づいて、抽出した画素値に対する重み係数を定める。その仮想カメラの位置は、対応する視点の位置に相当する。そして、画素値決定手段１４０は、抽出した画素値と定めた重み係数を乗じて得られる乗算値を仮想カメラ画像間で総和をとることにより、その表示画素の画素値を定める。画素値決定手段１４０は、定めた表示画素毎の画素値を示す表示画像データを生成し、生成した表示画像データを出力部１５０に出力する。

画素値決定手段１４０には、表示画像調整パラメータ入力手段１２３から表示画像調整パラメータがさらに入力されることがある。その場合には、画素値決定手段１４０は、所定のレンズ板の位置と向きを入力された表示画像調整パラメータを用いて、レンズ板の位置と向きを補正する。この補正によりレンズ板を構成する要素レンズ毎の位置と向きが補正される。画素値決定手段１４０は、位置と向きが補正された複数の要素レンズから、表示画素に対応する要素レンズを特定する。画素値決定手段１４０における画素値を決定する手法については、後述する。

出力部１５０は、画素値決定手段１４０から入力された表示画像データを、自部が備える出力バッファに一時的に記憶し、画像生成装置１０の外部、例えば、ディスプレイ装置のディスプレイパネルに表示画像データを出力する。ディスプレイパネルは、出力部１５０から入力される表示画像データが示す表示画像を表示する。なお、表示画像データは、必ずしも立体ディスプレイ装置に出力されずに、その他の機器、例えば、画像データベースなどに出力されてもよい。

（仮想カメラの配置例）
次に、本実施形態に係る仮想カメラの配置例について説明する。図２は、本実施形態に係る仮想カメラの配置例を示す図である。表示画像の生成において複数の視点のそれぞれから観察される被写体Ｏｂを表す平面画像Ｅｉを用いる。図２に示す例では、各視点に相当する仮想カメラの光学中心の位置が被写体に対面した２次元平面内にアレイ状に配置される。立体像の画質を確保するために、一方向に配置される仮想カメラの個数は、レンズ板を構成する１つの要素レンズの領域内に収容可能な画素数以上になることが望ましい。例えば、要素レンズの直径、画素ピッチがそれぞれ１ｍｍ、０．１ｍｍであるとき、仮想カメラの水平方向、垂直方向の個数は、それぞれ１０個以上であることが望ましい。また、仮想カメラの分布は、要素レンズに対応した配列であってもよい。図２に示す例では、ほぼ円形の領域内に複数の仮想カメラが水平方向及び垂直方向に等間隔に配置される。

カメラパラメータとして用いられる各仮想カメラＶｃの座標（ｃｘ，ｃｙ）は、それらの中心に配置された仮想カメラの座標を原点Ｏ（０，０）とした相対位置で表されてもよい。原点に配置された仮想カメラの図２に対して左方に隣接する仮想カメラの座標は、（−ｐ，０）となる。ｐは、仮想カメラのピッチ（間隔）を示す。水平方向の座標値ｃｘ、垂直方向の座標値ｃｙは、複数の仮想カメラの水平方向、垂直方向の分布の幅をそれぞれ２Ｃとして正規化した値であってもよい。その場合、座標値ｃｘ、ｃｙの最大値、最小値は、それぞれＣ、−Ｃである。従って、水平方向、垂直方向の仮想カメラの数である２×Ｃ／ｐは、画素ピッチに対する要素レンズの直径の比よりも大きければよい。要素レンズの半径を１とするとき、後述する画素値の算出において採用される補間法によっては、Ｃは１よりも大きい値であってもよい。例えば、Ｃ＝１＋２ｐと設定しておいてもよい。よって、座標値ｃｘ、ｃｙがいずれも−１以上であって１以下となる仮想カメラに係る画素の画素値が確実に算出される。なお、仮想カメラ画像取得手段１２１は、複数の仮想カメラの全てについて仮想カメラ画像データを一斉に取得しなくてもよい。仮想カメラ画像取得手段１２１は、移動する１つの仮想カメラに係る仮想カメラ画像データを取得してもよい。従って、それぞれ異なる時刻において異なる視点から観察される複数の画像を示す仮想カメラ画像データが取得される。

（表示画像）
次に、表示画像の例について説明する。図３は、表示画像の一例を示す図である。図３に示す表示画像は、図２に示す被写体Ｏｂを複数の仮想カメラの位置において観察される表示画像を、画素値決定手段１４０において集積ならびに合成して得られる。この表示画像は、出力部１５０から最終的に出力される表示画像データに基づいて立体ディスプレイ装置のディスプレイパネルにより表示される二次元の画像である。この表示画像にディスプレイパネルの前面に平行にレンズ板を設置し、観察者がレンズ板を透過した表示画像を観察することによって立体像を視認することができる。
なお、（ｕ，ｖ）は、表示画像内の画素の座標値を示す。原点は、表示画像の左下端の画素である。ｕ、ｖは、それぞれ水平方向、垂直方向の座標値を示す値であって、０以上１以下に正規化された値をとる。例えば、表示画像の左下端、右上端の画素の座標は、それぞれ（０，０）、（１，１）となる。

図４は、図３に示す座標値（ｕ，ｖ）の周辺を拡大して表す拡大図である。表示画像を構成する表示画素は、その表示画素に対面するレンズ板の１つの要素レンズに対応付けられる。＋印を中心とする円は、１つの要素レンズの領域を示す。画素値決定手段１４０は、表示画素の画素値を定めるために、その表示画素の座標値（ｕ，ｖ）に最も近接する要素レンズのディスプレイパネル上の中心点を特定する。画素値決定手段１４０は、座標値（ｕ，ｖ）をその中心点Ｏｒを原点（０，０）とするレンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換する。

より具体的には、画素値決定手段１４０は、座標値（ｕ，ｖ）を、式（１）に示す関係を用いて表示画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。

式（１）において、ｗｉｄｔｈ、ｈｅｉｇｈｔは、それぞれ要素画像の水平方向、垂直方向の画素数を示す。要素画像の水平方向、垂直方向の画素数は、通例、ディスプレイパネルの解像度に相当する。例えば、立体ディスプレイ装置のディスプレイパネルが、解像度が８Ｋである８Ｋディスプレイであるとき、そのディスプレイパネルの水平方向、垂直方向の画素数は、それぞれ７６８０、４３２０である。
なお、座標値（ｕ，ｖ）に代えて座標値（Ｐｘ，Ｐｙ）が取得されている場合には、座標値（ｕ，ｖ）から座標値（Ｐｘ，Ｐｙ）への変換は省略可能である。

表示画像調整パラメータが入力される場合には、画素値決定手段１４０は、入力された表示画像調整パラメータを用いて座標値（Ｐｘ，Ｐｙ）を補正する。補正後の座標値（Ｐｘ’，Ｐｙ’）は、式（２）に示す関係を用いて算出される。

式（２）において、ｈ、ｖ、θは、それぞれ所定の基準点からの水平方向の変位（ずれ）、その基準点からの垂直方向の変位、所定の基準方向からの回転角を示す。

次に、画素値決定手段１４０は、表示画素の座標値（ｕ，ｖ）から最も近接する要素レンズの中心点を特定する。要素レンズの配置がデルタ配列である場合を例にして、最も近接する要素レンズの中心点を特定する手順を説明する。デルタ配列とは、各行について列方向に等間隔に配列対象物が配列され、ある行に配列された配列対象物の列方向の位置と、その行に隣接する行に配列された配列対象物の列方向の位置とのずれが、列方向の配列間隔の半分となる配列である。図５に示す例では、配列対象物が要素レンズであり、各要素レンズの中心点が三角格子の各頂点に配列されている。従って、列方向の要素レンズの位置について、隣接する行間のずれはｄ／２となり、要素レンズの列間の間隔はｄ√３／２となる。ここで、ｄは、各要素レンズの直径を示し、要素レンズの直径が列方向の配列間隔に等しいことを前提としている。なお、ｄは、実寸の要素レンズの直径ｄｌ（単位：ｍｍ）についてディスプレイパネルの画素ピッチｐｐ（単位：ｍｍ／ｐｉｘ）で正規化された値（単位：ｐｉｘ）をとる。

そして、画素値決定手段１４０は、各要素レンズの中心点と中心点が同一である正方形の領域のうち、表示画素の位置を含む領域を特定する。図５に破線で示す正方形は、その領域の１つを示す。特定される領域がレンズ板の最下行から第Ｎ行であるとすると、Ｎは、式（３）に示す関係を用いて算出される。

式（３）において、（ｉｎｔ）…は、実数…の小数点以下の値を切り捨てて得られる整数値を示す。画素値決定手段１４０は、特定される領域の列番号についても、その領域の行番号Ｎの算出と同様の手法を要素レンズの列に適用して定めることができる。
画素値決定手段１４０は、座標値（Ｐｘ’，Ｐｙ’）を特定される領域の左下端を原点とする座標値（Ｑｘ，Ｑｙ）に変換する。座標値（Ｑｘ，Ｑｙ）は、式（４）に示す関係を用いて算出される。但し、座標値（Ｐｘ，Ｐｙ）が補正されない場合には、画素値決定手段１４０は、座標値（Ｐｘ’，Ｐｙ’）に代えて座標値（Ｐｘ，Ｐｙ）を用いて座標値（Ｑｘ，Ｑｙ）を算出する。

式（４）において、ｅは、行番号Ｎが偶数行であるか奇数行であるかを示す変数である。具体的には、変数ｅは、式（５）に示すように、行番号Ｎを２で除算して得られる剰余として算出される。従って、行番号Ｎが偶数行を示すとき変数ｅは０であり、行番号Ｎが奇数行を示すとき変数ｅは１である。

画素値決定手段１４０は、座標値（Ｑｘ，Ｑｙ）を、特定される領域の中心点を原点とする座標値（Ｑｘ’，Ｑｙ’）に変換する。座標値（Ｑｘ’，Ｑｙ’）は、式（６）に示す関係を用いて算出される。なお、以下の説明では、座標値（Ｑｘ’，Ｑｙ’）又はその座標値で表される位置の座標点をＱ’と表すことがある。

次に、画素値決定手段１４０は、変換した座標値（Ｑｘ’，Ｑｙ’）でその位置が表される座標点Ｑ’に最も近接する要素レンズの中心点を判定する。図６に示す例では、候補となる要素レンズの中心点は、特定される領域の中心点の座標値ｐｌ０と、その中心点からの距離がｄである６個の隣接要素レンズの中心点である。これら７個の中心点の座標値ｐｌ０〜ｐｌ６は、式（７）に示す。この例では、座標値（Ｑｘ’，Ｑｙ’）、ｐｌ０〜ｐｌ６は、それぞれ中心点ｐｌ０を原点とする座標系で表されている。

座標値Ｑ’に最も近接する要素レンズの中心点の座標値ｐｌｃは、式（８）に示す関係を用いて表される。

式（８）において、ｉは、０〜６のいずれかの値をとる中心点のインデックスである。ａｒｇｍｉｎ_ｐｌｉ…は、…を最小化する座標値ｐｌｉを示す。
そして、画素値決定手段１４０は、座標値（Ｑｘ’，Ｑｙ’）を、その座標点Ｑ’に最も近接する要素レンズの中心点ｐｌｃを原点とする座標値Ｑ’’に変換する。座標値Ｑ’’は、式（９）に示す関係を用いて表される。

画素値決定手段１４０は、式（１０）に示すように変換した座標値Ｑ’’を要素レンズの半径ｄ／２で正規化して座標値（ｒｘ，ｒｙ）を算出する。

以上の処理により、表示画素の座標値（ｕ，ｖ）は、レンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換される。
次に、画素値決定手段１４０は、各仮想カメラについて仮想カメラ画像データを構成する画素のうち、表示画素の座標値（ｕ，ｖ）と等しい座標値で表される位置に配置された画素の画素値を選択する。画素値決定手段１４０は、抽出した画素値に、その画素値に対応する重み係数を乗じて得られる乗算値を仮想カメラ間で合成して得られる値を、その表示画素の画素値として定める。具体的には、画素値決定手段１４０は、式（１１）に示す関係を用いて座標値（ｕ，ｖ）に配置された表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}を算出する。

式（１１）において、ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、重み係数を示す。重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、仮想カメラの位置を示す座標値（ｃｘ，ｃｙ）、レンズ中心座標系の座標値（ｒｘ，ｒｙ）及び仮想カメラのピッチｐに依存する。式（１１）においてΣは、総和を示す記号である。この記号に付された座標値（ｃｘ，ｃｙ）は、それぞれの仮想カメラを示す。画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}は、座標値（ｕ，ｖ）に配置された仮想カメラの仮想カメラ画像を構成する画素のうち、表示画像の座標値（ｕ，ｖ）が示す位置に配置された画素の画素値を示す。総和は、仮想カメラを示す座標値（ｃｘ，ｃｙ）間で、表示画素毎に独立に演算される。

重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、式（１２）に示すよう水平方向と垂直方向のそれぞれの因子ｗ’（ｃｘ，ｒｘ，ｐ）、ｗ’（ｃｙ，ｒｙ，ｐ）の積として算出される。

各方向の因子ｗ’（ｓ，ｔ，ｐ）として公知の画像の補間法において用いられる補間係数が適用可能である。補間法の一例として、バイキュービック（ｂｉｃｕｂｉｃ）法が適用可能である。バイキュービック法は、式（１３）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。

式（１３）に示すｘは、仮想カメラからの画像を構成する画素の要素レンズの中心点を基準とする座標値を要素レンズの間隔ｐで正規化して得られる。ａは、因子ｗ’（ｓ，ｔ，ｐ）を調整するための調整係数を示す。調整係数ａは、例えば、−０．５〜−１．０の範囲内の実数である。これにより、因子ｗ’（ｓ，ｔ，ｐ）は、所定の値域（この場合、−４／２７〜１）内の値を持つ。因子ｗ’（ｓ，ｔ，ｐ）は、ｘが０から２までの場合でｘ＝１の場合を除き、正または負の値をとり、ｘが２以上である場合０となる。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの２倍以上離れている領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。これにより、表示画素間において算出される画素値に対する仮想カメラ画像の成分が平滑化される。そのため、空間エリアシングによる画質の劣化が緩和する。具体的には、不自然な線や二重像などのアーチファクトが軽減又は解消される。

補間法の他の例として、最近傍（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）補間法も適用可能である。最近傍補間法は、式（１４）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。

式（１４）において、ｘは、要素レンズの中心点を基準とする画素の座標値を要素レンズの間隔ｐで正規化して得られる。従って、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が０．５以下、つまり要素レンズの中心点からその間隔の半分の距離ｐ／２の範囲内の画素について１であり、その範囲外における画素について０であることを示す。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの半分以下の領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。従って、式（１４）に示す因子ｗ’（ｓ，ｔ，ｐ）が用いられる場合には、その要素画素に対面する要素レンズが要素画素に対応する要素レンズとして採用されればよい。

図７は、表示画像の生成に係る仮想カメラ画像の例を示す。図７（ａ）、（ｂ）、（ｃ）は、それぞれ異なる位置に設置された仮想カメラから取得された画像を示す。図７（ａ）、（ｂ）、（ｃ）に示す例では、仮想カメラの座標値（ｃｘ，ｃｙ）は、それぞれ（１．１，−０．１）、（０．０，０．０）、（−１．１，０．１）である。即ち、図７（ａ）に示す画像は、図７（ｂ）に示す画像よりも左下の視点から観察して得られる。図７（ｃ）に示す画像は、図７（ｂ）に示す画像よりも右上の視点から観察して得られる。座標値（ｕ，ｖ）における表示画素に対応する画素であって、図７（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}は、それぞれｃｏｌ^{（ｕ，ｖ）} _{（１．１，―０．１）}、ｃｏｌ^{（ｕ，ｖ）} _{（０，０）}、ｃｏｌ^{（ｕ，ｖ）} _{（―１．１，０．１）}と表される。また、座標値（ｕ，ｖ）における表示画素に対応する画素であって、図７（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、それぞれｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）、ｗ（０，０，ｒｘ，ｒｙ，ｐ）、ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）と表される。上述したように、座標値（ｕ，ｖ）において配置された表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}は、画素値ｃｏｌ^{（ｕ，ｖ）} _{（１．１，―０．１）}と重み係数ｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ^{（ｕ，ｖ）} _{（０，０）}と重み係数ｗ（０，０，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ^{（ｕ，ｖ）} _{（−１．１，０。１）}と重み係数ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）との積を仮想カメラ間で加算することによって算出される。

各表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}の計算は、中間画像バッファなどに計算途中のデータを保存せずに、各仮想カメラの画像を構成する画素の画素値のうち、必要な画素値を抽出して実行される。この計算は、表示画素毎に独立になされるため、それらを並列に行うことにより表示画像の生成に係る処理全体が高速化される。

（画像生成処理）
次に、本実施形態に係る画像生成処理について説明する。図８は、本実施形態に係る画像生成処理の一例を示すフローチャートである。
（ステップＳ１０１）カメラパラメータ記録手段１１０は、３次元空間における複数の仮想カメラのそれぞれの位置の情報を取得する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）カメラパラメータ記録手段１１０は、取得した仮想カメラのそれぞれの位置から所定の基準点を原点とする相対位置を算出し、算出した相対位置を示す相対位置情報をカメラパラメータとして記録する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）立体ディスプレイパラメータ入力手段１２２は、立体ディスプレイパラメータを取得する。表示画像調整パラメータ入力手段１２３は、表示画像調整パラメータを取得する。表示画像調整パラメータには、レンズ板の取付誤差調整パラメータが含まれる。その後、ステップＳ１０４の処理に進む。

（ステップＳ１０４）画素値決定手段１４０は、仮想カメラの相対位置情報と仮想カメラ画像データを用いて表示画素毎に画素値決定処理を行うことにより表示画像を示す表示画像データを生成する。画素値決定処理については、後述する。その後、ステップＳ１０５の処理に進む。
（ステップＳ１０５）出力部１５０は、画素値決定手段が生成した表示画像データを立体ディスプレイ装置のディスプレイパネルに出力する。ディスプレイパネルには出力部１５０から供給された表示画像データに基づく表示画像が表示される。その後、図８に示す処理を終了する。

次に、本実施形態に係る画素値決定処理について説明する。
図９に示す処理は、図８のステップＳ１０４において実行される。
図９は、本実施形態に係る画素値決定処理の一例を示すフローチャートである。
（ステップＳ１１１）画素値決定手段１４０は、表示画像を構成する表示画素毎にその座標値（ｕ，ｖ）を画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。その後、ステップＳ１１２の処理に進む。
（ステップＳ１１２）画素値決定手段１４０は、座標値（ｕ，ｖ）を、画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換し、変換した座標値（Ｐｘ，Ｐｙ）を、表示画像調整パラメータを用いて座標値（Ｐｘ’，Ｐｙ’）に補正する。その後、ステップＳ１１３の処理に進む。
（ステップＳ１１３）画素値決定手段１４０は、補正した座標値（Ｐｘ’，Ｐｙ’）で表される表示画素の位置を、その領域に含む要素レンズを特定する。その後、ステップＳ１１４の処理に進む。

（ステップＳ１１４）画素値決定手段１４０は、座標値（Ｐｘ’，Ｐｙ’）特定した要素レンズに係るレンズ中心座標系の座標値（ｒｘ、ｒｙ）に変換する。その後、ステップＳ１１５の処理に進む。
（ステップＳ１１５）画素値決定手段１４０は、各仮想カメラからの画像のうち、表示画素の座標値（ｕ，ｖ）に対応する位置に配置された画素の画素値を取得する。その後、ステップＳ１１６の処理に進む。
（ステップＳ１１６）画素値決定手段１４０は、各仮想カメラの相対位置（ｃｘ，ｃｙ）と表示画素の座標値（ｒｘ、ｒｙ）に基づいて、その仮想カメラの対応する画素に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）を算出する。その後、ステップＳ１１７の処理に進む。

（ステップＳ１１７）画素値決定手段１４０は、各仮想カメラにおいて取得される画像のうち、表示画像の座標値（ｕ、ｖ）で表される位置に配置される画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}と、この画素に対する重み値ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）との積を算出し、算出した積を仮想カメラ間で加算して、その表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}を表示画素毎に定める。画素値決定手段１４０は、表示画素毎の画素値を表す表示画像データを生成する。その後、ステップＳ１０５（図８）の処理に進む。

以上に説明したように、本実施形態に係る画像生成装置１０は、画像表示部（ディスプレイパネル）が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する。画像生成装置１０は、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段１２１を備える。また、画像生成装置１０は、表示画像の画素である表示画素に対応する要素レンズを特定し、表示画素と同じ位置の仮想カメラ画像の画素の画素値を、その表示画素の位置とその仮想カメラ画像の視点の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して表示画素の画素値を算出する画素値決定手段１４０を備える。
この構成により、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。仮想カメラ画像に基づいて中間画像を生成せずに表示画像を直接生成することが可能となるので、表示画像の生成を高速化し、メモリ利用効率を向上させることができる。また、表示画素の画素値が表示画素間で独立に算出されるので、これらの演算を並列に処理することで、表示画像の生成をさらに高速化することができる。また、高速化に伴い仮想カメラの数の増加が許容されるので、仮想カメラ画像を取得する視点がより密に設定されることで視認される像の画質が向上する。そのため、通常のテレビジョン番組などの一方向的なメディアに限らず、コンピュータゲーム、ビデオ通信などインタラクティブメディアへの画像表示装置による立体像の応用が促進される。

画素値決定手段１４０は、複数の要素レンズのうち表示画素に最も近接した要素レンズをその表示画素に対応する要素レンズとして特定する。また、画素値決定手段１４０が定める重み係数は、所定の値域内に正規化され、その表示画素の位置が特定された要素レンズの中心点から離れているほど大きい値であることを特徴とする。
この構成により、算出される画素値に対する仮想カメラ画像の成分が表示画素間において平滑化される。そのため、表示画像において要素レンズの間隔よりも微細な成分によるアーチファクトが軽減又は解消されるので、視認される像の画質が向上する。

また、画素値決定手段１４０は、レンズ板の取付誤差調整パラメータに基づいてレンズ板を構成する複数の要素レンズの座標を補正し、補正した座標に基づいて表示画素に対応する要素レンズを特定することを特徴とする。
この構成により、取付誤差調整パラメータに基づいて補正された位置に応じて表示画素に対応する要素レンズが特定され、特定された要素レンズの位置に応じた重み係数、ひいてはその表示画素の画素値が得られる。そのため、レンズ板の取付誤差の調整に伴って変更した取付誤差調整パラメータに対応する画素値で示される表示画像が即座に得られる。表示画像による立体像を観察しながら取付誤差調整パラメータをインタラクティブに調整することができるので、取付誤差調整パラメータの校正に係る作業能率を向上させることができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

例えば、上述したレンズ板は、単位図形が正三角形である三角格子の各格子点上に、それぞれの要素レンズの中心点を配置して形成される場合を例にしたが、これには限られない。要素レンズの中心点は、所定の周期をもって空間的に繰り返される平行移動対称性を有する格子の各格子点に配置されればよい。そのような格子には、例えば、正方格子、矩形格子、二等辺三角格子などがある。各要素レンズの主面の形状は、円形に限られず、例えば、長方形、三角形などであってもよい。

また、上述した画像生成装置１０の一部又は全部は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのデータ処理、特に並列処理を実行可能な集積回路を備えたコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像生成装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像生成装置１０の一部又は全部をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像生成装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１０…画像生成装置、１１０…カメラパラメータ記録手段、１２０…入力部、１２１…仮想カメラ画像取得手段、１２２…立体ディスプレイパラメータ入力手段、１２３…表示画像調整パラメータ入力手段、１３０…カメラパラメータ・仮想カメラ画像関連付け手段、１４０…画素値決定手段、１５０…出力部

Claims (4)

1. 画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、
   各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、
   前記表示画像の画素である表示画素に対応する要素レンズを特定し、
   前記表示画素と同じ位置の仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、
   を備える画像生成装置。
2. 前記画素値決定手段は、
   前記複数の要素レンズのうち前記表示画素に最も近接した要素レンズを前記表示画素に対応する要素レンズとして特定し、
   前記重み係数は、所定の値域内に正規化され、前記仮想カメラの位置と、前記表示画素に対応する要素レンズのレンズ中心座標系における表示画素の座標値と、仮想カメラ間の間隔に基づく
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記画素値決定手段は、
   前記レンズ板の取付誤差調整パラメータに基づいて前記複数の要素レンズの座標を補正し、
   補正した前記座標に基づいて前記表示画素に対応する要素レンズを特定する
   ことを特徴とする請求項１又は請求項２に記載の画像生成装置。
4. 画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、
   各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、
   前記表示画像の画素である表示画素に対応する要素レンズを特定し、
   前記表示画素と同じ位置の仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、
   を備える画像生成装置として、コンピュータに機能させるためのプログラム。