JP6823984B2 - 画像生成装置及びプログラム - Google Patents

Description

本発明は、画像生成装置及びプログラムに関する。

従来から、専用のメガネを用いずに自然な立体像を観察者に視認させることができる立体ディスプレイ装置が提案されている。かかる立体ディスプレイ方式には、レンチキュラ方式、インテグラル方式、などがある。これらの立体ディスプレイ装置は、現実の被写体の像と同様の左右両眼に提示される像の違い（両眼視差）及び観視位置に応じた見え方の変化（運動視差）を再現する。このことは観察者に立体感を生み出す。すなわち、立体ディスプレイ装置は、表示面の前面における観察位置、つまり観察者の左右両眼の位置に応じた像の光線をその位置に応じて選択的に提示する仕組みを備える。

レンチキュラ方式、インテグラル方式のいずれも、レンズを備えた光学的な仕組みを備える。レンチキュラ方式の立体ディスプレイ装置は、細長いかまぼこ型の複数の凸レンズの長手方向を垂直方向に向け、それらの凸レンズを水平方向に配列してなるレンズ板を備える。インテグラル方式の立体ディスプレイ装置は、主面の形状が円形である複数の凸レンズを２次元平面上にアレイ状に配列してなるレンズ板を備える。そして、これらの立体ディスプレイ装置は、レンズ板よりもレンズの焦点距離に相当する距離だけ奥に離れた位置にディスプレイパネルを備える。レンズ板よりも手前の観察位置における観察者は、その観察位置に応じて表示単位からの光線による像を選択的に観察することができる。ここで、表示単位とは、レンチキュラ方式においては、各１個のかまぼこ型の凸レンズを介して観察位置に光線が到来するディスプレイパネル上の画素列となる。インテグラル方式においては、表示単位は、各１個の円形の凸レンズを介して観察位置に光線が到来するディスプレイパネル上の画素となる。

レンズ板よりも奥に配置されたディスプレイパネルに表示される画像を表示画像と呼び、視点毎の画像は要素画像と呼ばれることがある。要素画像は、ディスプレイパネル前面の所定の視域内の視点において観察される被写体の像である。観察者は、要素画像が集積してなる表示画像をレンズ板越しに観察して、立体像を視認することができる。要素画像の取得方法には、主に３つの方法がある。第１の方法は、カメラのイメージセンサの前面にレンズ板を設置し、イメージセンサの各画素の入射する光線がなす像を記録する方法である。第１の方法は、主に実写の際に用いられることがある。第２の方法は、多視点実写画像やＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、コンピュータグラフィクス）モデルを用いて生成した複数視点の画像を用いて、要素画像を合成する方法である。第２の方法は、複数視点のそれぞれにおいて観察される２次元画像を集積し、レンズ板の特性に合わせて、集積した２次元画像の各画素を再配置することにより実現される。画像の集積において平行投影、透視投影などの手法が用いられる。第２の方法は、特許文献１及び非特許文献１に例示されている。第３の方法は、ＣＧモデルを用いて被写体から各視点に到来する光線をシミュレーションして要素画像を合成する方法である。第３の方法は、光線追跡法と呼ばれることがある。第３の方法は、非特許文献１−４に例示されている。

要素画像の生成には、膨大な計算量及びデータ量を要する。例えば、第３の方法では、撮影対象の３次元空間内にインテグラル方式のディスプレイ装置が設置されていることを仮定し、３次元空間内の被写体上の各点からレンズ板よりも奥に設置されたディスプレイパネルに到来する光線を積算して得られる表示画像の画素値を算出する。第３の方法は、光学的な厳密さを備える。その反面、最終的に得られる表示画像への寄与がほとんどない光線も画素値の算出対象となるので、その計算が無用になる。第２の方法では、ＣＧモデルなどを用いて取得した３次元空間内の複数の視点に仮想カメラが設置されていると仮定し、それぞれの仮想カメラが取得した画像を生成する。仮想カメラは表示画像の生成に最低限必要な画素毎の画素値をサンプリングするので、第２の方法では、仮想カメラに到来しない光線についての計算を要しない。また、仮想カメラは、表示画像の生成に最低限必要な画素毎の画素値をサンプリングする。そのため、第２の方法によれば、第３の方法よりも高速な表示画像の生成が可能となる。しかしながら、第２の方法では、仮想カメラがそれぞれ取得した画像を統合するために、それらの画像や表示画像の作成に用いる作業用の画像を蓄積することを要する。従って、必要とされる計算コストやメモリの記憶容量が多くなる。

第２の方法によって生成される表示画像を観察して視認される再生像について十分な品質を確保するには、表現しようとする被写体の像が大きいほど、多くの視点から取得される画像を要する。特に、ディスプレイ装置のレンズ板から遠い位置に表れる像を表す表示画像についてサンプリングが空間的に疎らになるため、画質が劣化する。例えば、視認される再生像において第３の方法では生じえない不自然な線や二重像などのアーチファクトが生じる。仮想カメラの数を増やすことによって空間サンプリングを密にすることができるが、要素画像の実写の際においては、その数に限界がある。また、ＣＧにより要素画像を取得する場合でも、合成対象である要素画像の増加により描画パフォーマンスが低下する。

特許第５５２２７９４号公報

Athineos, Spyros S., et al. "Physical modeling of a microlens array setup for use in computer generated IP", Proceedings of the SPIE, Vol. 5664, pp. 472-479, (June 14, 2005) Huy Hoang Tran, et al., "Interactive 3D Navigation System for Image-guided Surgery", International Journal of Virtual Reality, 8(1), pp. 9-16, (2009) 中島 勧, 他, "Integral Photographyの原理を用いた３次元ディスプレイの画像高速生成法", 映像メディア学会誌, Vol. 54, No.3, pp. 420-425, (2000) 小池崇文, "プログラマブルなグラフィックハードウェアを用いたインテグラルフォトグラフィ画像のレンダリング", 情報処理学会 研究報告, 2003-CG-113, pp. 70-74, (2003)

以上に説明した仮想カメラの数は、表示画像を形成する光線の密度に比例する。従って、仮想カメラの数、もしくは視点数が多いほど、視認される像の品質が高くなる。しかしながら、仮想カメラの数の増加は、表示画像の生成に関わる計算量の増加を招く。反面、仮想カメラの数が少ないことは、空間サンプリング間隔が疎らであることを意味し、視認される画像の画質劣化の一因である。特に、ディスプレイパネルから離れた位置にある像では、互いに隣接する仮想カメラ間で撮像される要素画像が異なる。そのため、要素画像を補間して算出される表示画像の画素値の精度が低下するので、視認される像の画質が劣化する。

本発明は上記の点に鑑みてなされたものであり、仮想カメラの数を増加させずに像の品質を向上することができる画像生成装置及びプログラムを提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、
画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、前記仮想カメラ画像に表わされた被写体の奥行と前記画像表示装置の合焦位置（空間解像度最大で表示できる位置）の奥行との差が大きいほど高い平滑化度で前記仮想カメラ画像を平滑化する仮想カメラ画像調整手段と、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記表示画素と同じ位置の平滑化された仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、を備える画像生成装置である。
［１］の構成によれば、表示画像を構成する表示画素と同じ位置の平滑化された仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。平滑化は、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値が、被写体の奥行と画像表示装置の合焦位置の奥行との差が大きいほど高い平滑化度でなされる。そのため、仮想カメラの平滑化度が低い合焦位置の奥行に近い部分について鮮明な画質を維持し、平滑化度が高い離れた部分については平滑化による画質の劣化が低減するので仮想カメラの数を増加させずに像の品質が向上する。また、中間画像を生成することなく、仮想カメラ画像に基づいて表示画像が直接生成されるので、表示画像の生成が効率化される。

［２］本発明の一態様は、上述の画像生成装置であって、前記仮想カメラ画像調整手段は、前記仮想カメラ画像のうち前記被写体の奥行が、前記合焦位置の奥行よりも深いほど高い平滑化度で前記仮想カメラ画像を平滑化することを特徴とする。
［２］の構成によれば、視認される像のうち合焦位置の奥行よりも深い部分ほど表示画像の生成に用いられる仮想カメラ画像の平滑化の度合いが高くなる。視認される像のうち合焦位置の奥行よりも深い部分ほど顕著に現れる画質の劣化が緩和されるので、像全体としての品質が向上する。

［３］本発明の一態様は、上述の画像生成装置であって、前記仮想カメラ画像調整手段は、前記被写体の奥行と前記合焦位置の奥行との差が大きいほど、大きくなるように前記奥行毎の平滑化度で平滑化された前記仮想カメラ画像の第１の画素値に対する混合率を定め、前記第１の画素値と前記混合率との積と、前記第１の画素値と同じ位置の画素値であって前記仮想カメラ画像の平滑化されていない第２の画素値と１から前記混合率を減算した値との積と、を加算した画素値を前記奥行毎に算出し、前記奥行毎の画素値の総和となる画素値を前記画素値決定手段に出力することを特徴とする。
［３］の構成によれば、画素値を所定の値域内に制限しながら、被写体の奥行と合焦位置の奥行との差が大きいほど、高い平滑化度で平滑化された画素値が簡素な演算により得られる。そのため、演算量を顕著に増加させずに画像の品質が向上する。

［４］本発明の一態様は、投射光を収束する複数の要素レンズを配列してなるレンズ板を備える画像表示装置に表示させる表示画像を生成する画像生成装置であって、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、前記仮想カメラ画像に表わされた被写体の奥行と前記画像表示装置の合焦位置の奥行との差が大きいほど高い平滑化度で前記仮想カメラ画像を平滑化する仮想カメラ画像調整手段と、前記表示画像の画素である表示画素に対応する要素レンズを特定し、前記表示画素と同じ位置の平滑化された仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、を備える画像生成装置として、コンピュータに機能させるためのプログラムである。
［４］の構成によれば、表示画像を構成する表示画素と同じ位置の平滑化された仮想カメラ画像の画素の画素値と、その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。平滑化は、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値が、被写体の奥行と画像表示装置の合焦位置の奥行との差が大きいほど高い平滑化度でなされる。そのため、仮想カメラの平滑化度が低い合焦位置の奥行に近い部分について鮮明な画質を維持し、平滑化度が高い離れた部分については平滑化による画質の劣化が低減するので仮想カメラの数を増加させずに像の品質が向上する。また、中間画像を生成することなく、仮想カメラ画像に基づいて表示画像が直接生成されるので、表示画像の生成が効率化される。

本発明によれば、効率的に表示画像を生成することができる。

本発明の実施形態に係る画像生成装置の構成例を示すブロック図である。 本発明の実施形態に係る仮想カメラの配置例を示す図である。 表示画像の一例を示す図である。 表示画像の一部を示す拡大図である。 要素レンズの配置例を示す図である。 表示画素に最も近接する要素レンズの特定方法の一例を示す説明図である。 仮想カメラ画像の例を示す図である。 本発明の実施形態に係る画像生成処理の一例を示すフローチャートである。 本発明の実施形態に係るぼかし処理の一例を示すフローチャートである。 本発明の実施形態に係る奥行位置の離散化の例を示す図である。 本発明の実施形態に係る画素値決定処理の一例を示すフローチャートである。 仮想カメラ画像と表示画像により観察される像の例を示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像生成装置１０の構成例を示すブロック図である。
画像生成装置１０は、インテグラル方式の立体ディスプレイ装置（図示せず）に表示させる表示画像を生成する。インテグラル方式の立体ディスプレイ装置は、画像を表示するディスプレイパネルと複数の要素レンズを配列してなるレンズ板とを備える。ディスプレイパネルとレンズ板は、それぞれの主面が互いに平行に対面して配置される。観察者は、ディスプレイパネルに表示された表示画像を、レンズ板を通して観察することにより、立体像を視認することができる。
画像生成装置１０は、カメラパラメータ記録手段１１０、入力部１２０、仮想カメラ画像調整手段１３０、カメラパラメータ・仮想カメラ画像関連付け手段１４０、画素値決定手段１５０及び出力部１６０を含んで構成される。

カメラパラメータ記録手段１１０は、画像生成装置１０の外部から複数の仮想カメラのそれぞれに係るカメラパラメータを取得し、取得したカメラパラメータを記録する。仮想カメラとは、仮想的に３次元空間内に設置された画像取得手段を意味する。カメラパラメータは、仮想カメラによる画像の取得に係るパラメータである。カメラパラメータには、仮想カメラの光学中心の位置が含まれる。この位置は、視点の位置に相当し、所定の位置を基準とする相対的な位置として表されてもよい。基準とする所定の位置は、例えば、複数の仮想カメラの分布領域の重心点である。

入力部１２０には、画像生成装置１０の外部から各種のデータが入力される。入力部１２０は、ぼけパラメータ取得手段１２１、仮想カメラ画像取得手段１２２、立体ディスプレイパラメータ入力手段１２３及び表示画像調整パラメータ入力手段１２４を含んで構成される。
ぼけパラメータ取得手段１２１は、画像を平滑化するために用いるぼけパラメータを取得する。画像を構成する画素間で画素値を平滑化して得られる画像は、一般に元の画像よりも不鮮明に視認される。以下の説明では、平滑化処理を「ぼかし処理」、平滑化により不鮮明になった状態を「ぼけ」と呼ぶことがある。ぼけパラメータには、ぼけの程度を調整するための調整係数が含まれる。ぼけパラメータ取得手段１２１は、取得したぼけパラメータを仮想カメラ画像調整手段１３０に出力する。

仮想カメラ画像取得手段１２２は、個々の仮想カメラが設置される位置である視点において観察される共通の被写体の画像を示す画像データを取得する。取得される画像データは、現実にその視点において撮影された被写体の画像を示す画像データでもよいし、公知のＣＧ技術を用いて合成され、その視点において観察されうる被写体の画像を示す画像データでもよい。以下の説明では、各仮想カメラについて取得される画像を仮想カメラ画像と呼び、その仮想カメラ画像を示すデータを仮想カメラ画像データと呼ぶ。仮想カメラ画像は、要素画像と呼ばれることがある。本実施形態では、仮想カメラ画像データは、画素毎の画素値と奥行位置を示すデータである。画素毎の画素値は、視点から観察される２次元の被写体の画像を表す。画素値は、画素毎の明るさを示す輝度値、色を示す色空間値のいずれでもよい。色空間値として、例えば、ＲＧＢ表色系で色を表現するＲＧＢ値が利用可能である。画素毎の奥行位置は、視点から被写体の表面のうち画素で表される部位までの奥行方向の距離を示す。奥行方向は、仮想カメラの光軸の方向と平行な方向である。仮想カメラ画像取得手段は、仮想カメラ毎に取得される仮想カメラ画像データを仮想カメラ画像調整手段１３０に出力する。

立体ディスプレイパラメータ入力手段１２３は、立体ディスプレイパラメータを取得する。立体ディスプレイパラメータは、立体ディスプレイ装置による表示画像の表示に係るパラメータである。立体ディスプレイパラメータには、例えば、立体ディスプレイ装置を構成するレンズ板のパラメータと、ディスプレイパネルのパラメータとが含まれる。レンズ板のパラメータには、レンズ板を構成する個々の要素レンズの直径、焦点距離、配置間隔（ピッチ）、水平方向ならびに垂直方向の要素レンズの個数、合焦位置などが含まれる。ディスプレイパラメータには、画像を表示する画素の画素ピッチ、水平方向ならびに垂直方向の画素の個数などが含まれる。立体ディスプレイパラメータ入力手段１２３は、取得した立体ディスプレイパラメータを画素値決定手段１５０に出力する。

表示画像調整パラメータ入力手段１２４は、表示画像調整パラメータを取得する。表示画像調整パラメータは、立体ディスプレイ装置に表示させる表示画像の表示位置や向きを調整するためのパラメータである。表示画像調整パラメータには、レンズ板のディスプレイ装置への取り付け誤差を調整するための取付誤差調整パラメータ、例えば、所定の基準位置からの垂直方向の変位ならびに水平方向の変位、所定の基準方向からの回転角などが含まれる。表示画像調整パラメータ入力手段１２４は、取得した表示画像調整パラメータを画素値決定手段１５０に出力する。

仮想カメラ画像調整手段１３０には、ぼけパラメータ取得手段１２１からぼけパラメータが入力され、仮想カメラ画像取得手段１２２から仮想カメラ毎の仮想カメラ画像データが入力される。仮想カメラ画像調整手段１３０は、ぼけパラメータを用いて仮想カメラ画像データが示す仮想カメラ画像を仮想カメラ毎に平滑化する。ここで、仮想カメラ画像調整手段１３０は、表された被写体の奥行に応じて異なる平滑化度でその仮想カメラ画像を平滑化する。平滑化度とは、平滑化の度合いを意味する。仮想カメラ画像調整手段１３０は、平滑化した仮想カメラ画像を示す仮想カメラ画像データをカメラパラメータ・仮想カメラ画像関連付け手段１４０に出力する。ぼかし処理の具体例については、後述する。

カメラパラメータ・仮想カメラ画像関連付け手段１４０には、仮想カメラ画像調整手段１３０から仮想カメラ画像データが入力され、入力される仮想カメラ画像データに対応する仮想カメラに係るカメラパラメータをカメラパラメータ記録手段１１０から読み取る。カメラパラメータ・仮想カメラ画像関連付け手段１４０は、読み取ったカメラパラメータと入力された仮想カメラ画像データとを仮想カメラ、即ち視点毎に関連付け、カメラパラメータと仮想カメラ画像データのセットを形成する。カメラパラメータ・仮想カメラ画像関連付け手段１４０は、仮想カメラ毎に形成したカメラパラメータと仮想カメラ画像データのセットを画素値決定手段１５０に出力する。

画素値決定手段１５０には、カメラパラメータ・仮想カメラ画像関連付け手段１４０からカメラパラメータと仮想カメラ画像データのセットが仮想カメラ毎に入力され、立体ディスプレイパラメータ入力手段１２３から立体ディスプレイパラメータが入力される。画素値決定手段１５０は、立体ディスプレイパラメータとカメラパラメータに基づいて、表示画像を表示するディスプレイパネルと、そのディスプレイパネルと平行に対面して配置されるレンズ板を構成する要素レンズの位置関係を判定する。そして、画素値決定手段１５０は、表示画像の画素である表示画素毎に、その表示画素に対応する要素レンズを特定する。表示画像に対応する要素レンズとは、中心点がその表示画素から最も近接した要素レンズである。立体ディスプレイ装置において、その表示画素に対面する要素レンズが存在する場合には、その対面要素レンズが対応する要素レンズとなる。画素値決定手段１５０は、入力された仮想カメラ画像データから、その表示画素と画像内の位置を示す座標値が等しい画素の画素値を抽出する。画素値決定手段１５０は、表示画素に対応する要素レンズを特定し、特定した要素レンズの位置を基準とする表示画素の位置とその仮想カメラの位置とに基づいて、抽出した画素値に対する重み係数を定める。その仮想カメラの位置は、対応する視点の位置に相当する。そして、画素値決定手段１５０は、抽出した画素値と定めた重み係数を乗じて得られる乗算値を仮想カメラ画像間で総和をとることにより、その表示画素の画素値を定める。画素値決定手段１５０は、定めた表示画素毎の画素値を示す表示画像データを生成し、生成した表示画像データを出力部１６０に出力する。

画素値決定手段１５０には、表示画像調整パラメータ入力手段１２４から表示画像調整パラメータがさらに入力されることがある。その場合には、画素値決定手段１５０は、所定のレンズ板の位置と向きを入力された表示画像調整パラメータを用いて、レンズ板の位置と向きを補正する。この補正によりレンズ板を構成する要素レンズ毎の位置と向きが補正される。画素値決定手段１５０は、位置と向きが補正された複数の要素レンズから、表示画素に対応する要素レンズを特定する。画素値決定手段１５０における画素値を決定する手法については、後述する。

出力部１６０は、画素値決定手段１５０から入力された表示画像データを、自部が備える出力バッファに一時的に記憶し、画像生成装置１０の外部、例えば、ディスプレイ装置のディスプレイパネルに表示画像データを出力する。ディスプレイパネルは、出力部１６０から入力される表示画像データが示す表示画像を表示する。なお、表示画像データは、必ずしも立体ディスプレイ装置に出力されずに、その他の機器、例えば、画像データベースなどに出力されてもよい。

（仮想カメラの配置例）
次に、本実施形態に係る仮想カメラの配置例について説明する。図２は、本実施形態に係る仮想カメラの配置例を示す図である。表示画像の生成において複数の視点のそれぞれから観察される被写体Ｏｂを表す平面画像Ｅｉを用いる。図２に示す例では、各視点に相当する仮想カメラの光学中心の位置が被写体に対面した２次元平面内にアレイ状に配置される。立体像の画質を確保するために、一方向に配置される仮想カメラの個数は、レンズ板を構成する１つの要素レンズの領域内に収容可能な画素数以上になることが望ましい。例えば、要素レンズの直径、画素ピッチがそれぞれ１ｍｍ、０．１ｍｍであるとき、仮想カメラの水平方向、垂直方向の個数は、それぞれ１０個以上であることが望ましい。また、仮想カメラの分布は、要素レンズの形状に対応した配列であってもよい。図２に示す例では、ほぼ円形の領域内に複数の仮想カメラが水平方向及び垂直方向に等間隔に配置される。

カメラパラメータとして用いられる各仮想カメラＶｃの座標（ｃｘ，ｃｙ）は、それらの中心に配置された仮想カメラの座標を原点Ｏ（０，０）とした相対位置で表されてもよい。原点に配置された仮想カメラの図２に対して左方に隣接する仮想カメラの座標は、（−ｐ，０）となる。ｐは、仮想カメラのピッチ（間隔）を示す。水平方向の座標値ｃｘ、垂直方向の座標値ｃｙは、複数の仮想カメラの水平方向、垂直方向の分布の幅をそれぞれ２Ｃとして正規化した値であってもよい。その場合、座標値ｃｘ、ｃｙの最大値、最小値は、それぞれＣ、−Ｃである。従って、水平方向、垂直方向の仮想カメラの数である２×Ｃ／ｐは、画素ピッチに対する要素レンズの直径の比よりも大きければよい。要素レンズの半径を１とするとき、後述する画素値の算出において採用される補間法によっては、Ｃは１よりも大きい値であってもよい。例えば、Ｃ＝１＋２ｐと設定しておいてもよい。よって、座標値ｃｘ、ｃｙがいずれも−１以上であって１以下となる仮想カメラに係る画素の画素値が確実に算出される。なお、仮想カメラ画像取得手段１２２は、複数の仮想カメラの全てについて仮想カメラ画像データを一斉に取得しなくてもよい。仮想カメラ画像取得手段１２２は、移動する１つの仮想カメラに係る仮想カメラ画像データを取得してもよい。従って、それぞれ異なる時刻において異なる視点から観察される複数の画像を示す仮想カメラ画像データが取得される。

（表示画像）
次に、表示画像の例について説明する。図３は、表示画像の一例を示す図である。図３に示す表示画像は、図２に示す被写体Ｏｂを複数の仮想カメラの位置において観察される表示画像を、画素値決定手段１５０において集積ならびに合成して得られる。この表示画像は、出力部１６０から最終的に出力される表示画像データに基づいて立体ディスプレイ装置のディスプレイパネルにより表示される二次元の画像である。この表示画像にディスプレイパネルの前面に平行にレンズ板を設置し、観察者がレンズ板を透過した表示画像を観察することによって立体像を視認することができる。
なお、（ｕ，ｖ）は、表示画像内の画素の座標値を示す。原点は、表示画像の左下端の画素である。ｕ、ｖは、それぞれ水平方向、垂直方向の座標値を示す値であって、０以上１以下に正規化された値をとる。例えば、表示画像の左下端、右上端の画素の座標は、それぞれ（０，０）、（１，１）となる。

図４は、図３に示す座標値（ｕ，ｖ）の周辺を拡大して表す拡大図である。表示画像を構成する表示画素は、その表示画素に対面するレンズ板の１つの要素レンズに対応付けられる。＋印を中心とする円は、１つの要素レンズの領域を示す。画素値決定手段１５０は、表示画素の画素値を定めるために、その表示画素の座標値（ｕ，ｖ）に最も近接する要素レンズのディスプレイパネル上の中心点を特定する。画素値決定手段１５０は、座標値（ｕ，ｖ）をその中心点Ｏｒを原点（０，０）とするレンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換する。

より具体的には、画素値決定手段１５０は、座標値（ｕ，ｖ）を、式（１）に示す関係を用いて表示画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。

式（１）において、ｗｉｄｔｈ、ｈｅｉｇｈｔは、それぞれ要素画像の水平方向、垂直方向の画素数を示す。要素画像の水平方向、垂直方向の画素数は、通例、ディスプレイパネルの解像度に相当する。例えば、立体ディスプレイ装置のディスプレイパネルが、解像度が８Ｋである８Ｋディスプレイであるとき、そのディスプレイパネルの水平方向、垂直方向の画素数は、それぞれ７６８０、４３２０である。
なお、座標値（ｕ，ｖ）に代えて座標値（Ｐｘ，Ｐｙ）が取得されている場合には、座標値（ｕ，ｖ）から座標値（Ｐｘ，Ｐｙ）への変換は省略可能である。

表示画像調整パラメータが入力される場合には、画素値決定手段１５０は、入力された表示画像調整パラメータを用いて座標値（Ｐｘ，Ｐｙ）を補正する。補正後の座標値（Ｐｘ’，Ｐｙ’）は、式（２）に示す関係を用いて算出される。

式（２）において、ｈ、ｖ、θは、それぞれ所定の基準点からの水平方向の変位（ずれ）、その基準点からの垂直方向の変位、所定の基準方向からの回転角を示す。

次に、画素値決定手段１５０は、表示画素の座標値（ｕ，ｖ）から最も近接する要素レンズの中心点を特定する。要素レンズの配置がデルタ配列である場合を例にして、最も近接する要素レンズの中心点を特定する手順を説明する。デルタ配列とは、各行について列方向に等間隔に配列対象物が配列され、ある行に配列された配列対象物の列方向の位置と、その行に隣接する行に配列された配列対象物の列方向の位置とのずれが、列方向の配列間隔の半分となる配列である。図５に示す例では、配列対象物が要素レンズであり、各要素レンズの中心点が三角格子の各頂点に配列されている。従って、列方向の要素レンズの位置について、隣接する行間のずれはｄ／２となり、要素レンズの列間の間隔はｄ√３／２となる。ここで、ｄは、各要素レンズの直径を示し、要素レンズの直径が列方向の配列間隔に等しいことを前提としている。なお、ｄは、実寸の要素レンズの直径ｄｌ（単位：ｍｍ）についてディスプレイパネルの画素ピッチｐｐ（単位：ｍｍ／ｐｉｘ）で正規化された値（単位：ｐｉｘ）をとる。

そして、画素値決定手段１５０は、各要素レンズの中心点と中心点が同一である正方形の領域のうち、表示画素の位置を含む領域を特定する。図５に破線で示す正方形は、その領域の１つを示す。特定される領域がレンズ板の最下行から第Ｎ行であるとすると、Ｎは、式（３）に示す関係を用いて算出される。

式（３）において、（ｉｎｔ）…は、実数…の小数点以下の値を切り捨てて得られる整数値を示す。画素値決定手段１５０は、特定される領域の列番号についても、その領域の行番号Ｎの算出と同様の手法を要素レンズの列に適用して定めることができる。
画素値決定手段１５０は、座標値（Ｐｘ’，Ｐｙ’）を特定される領域の左下端を原点とする座標値（Ｑｘ，Ｑｙ）に変換する。座標値（Ｑｘ，Ｑｙ）は、式（４）に示す関係を用いて算出される。但し、座標値（Ｐｘ，Ｐｙ）が補正されない場合には、画素値決定手段１５０は、座標値（Ｐｘ’，Ｐｙ’）に代えて座標値（Ｐｘ，Ｐｙ）を用いて座標値（Ｑｘ，Ｑｙ）を算出する。

式（４）において、ｅは、行番号Ｎが偶数行であるか奇数行であるかを示す変数である。具体的には、変数ｅは、式（５）に示すように、行番号Ｎを２で除算して得られる剰余として算出される。従って、行番号Ｎが偶数行を示すとき変数ｅは０であり、行番号Ｎが奇数行を示すとき変数ｅは１である。

画素値決定手段１５０は、座標値（Ｑｘ，Ｑｙ）を特定される領域の中心点を原点とする座標値（Ｑｘ’，Ｑｙ’）に変換する。座標値（Ｑｘ’，Ｑｙ’）は、式（６）に示す関係を用いて算出される。なお、以下の説明では、座標値（Ｑｘ’，Ｑｙ’）又はその座標値で表される位置の座標点をＱ’と表すことがある。

次に、画素値決定手段１５０は、変換した座標値（Ｑｘ’，Ｑｙ’）でその位置が表される座標点Ｑ’に最も近接する要素レンズの中心点を判定する。図６に示す例では、候補となる要素レンズの中心点は、特定される領域の中心点の座標値ｐｌ０と、その中心点からの距離がｄである６個の隣接要素レンズの中心点である。これら７個の中心点の座標値ｐｌ０〜ｐｌ６を、式（７）に示す。この例では、座標値（Ｑｘ’，Ｑｙ’）、ｐｌ０〜ｐｌ６は、それぞれ中心点ｐｌ０を原点とする座標系で表されている。

座標値Ｑ’に最も近接する要素レンズの中心点の座標値ｐｌｃは、式（８）に示す関係を用いて表される。

式（８）において、ｉは、０〜６のいずれかの値をとる中心点のインデックスである。ａｒｇｍｉｎ_ｐｌｉ…は、…を最小化する座標値ｐｌｉを示す。
そして、画素値決定手段１５０は、座標値（Ｑｘ’，Ｑｙ’）を、その座標点Ｑ’に最も近接する要素レンズの中心点ｐｌｃを原点とする座標値Ｑ’’に変換する。座標値Ｑ’’は、式（９）に示す関係を用いて表される。

画素値決定手段１５０は、式（１０）に示すように変換した座標値Ｑ’’を要素レンズの半径ｄ／２で正規化して座標値（ｒｘ，ｒｙ）を算出する。

以上の処理により、表示画素の座標値（ｕ，ｖ）は、レンズ中心座標系の座標値（ｒｘ，ｒｙ）に変換される。
次に、画素値決定手段１５０は、各仮想カメラについて仮想カメラ画像データを構成する画素のうち、表示画素の座標値（ｕ，ｖ）と等しい座標値で表される位置に配置された画素の画素値を選択する。画素値決定手段１５０は、抽出した画素値に、その画素値に対応する重み係数を乗じて得られる乗算値を仮想カメラ間で合成して得られる値を、その表示画素の画素値として定める。具体的には、画素値決定手段１５０は、式（１１）に示す関係を用いて座標値（ｕ，ｖ）に配置された表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}を算出する。

式（１１）において、ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、重み係数を示す。重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、仮想カメラの位置を示す座標値（ｃｘ，ｃｙ）、レンズ中心座標系の座標値（ｒｘ，ｒｙ）及び仮想カメラのピッチｐに依存する。式（１１）においてΣは、総和を示す記号である。この記号に付された座標値（ｃｘ，ｃｙ）は、それぞれの仮想カメラを示す。画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}は、座標値（ｕ，ｖ）に配置された仮想カメラの仮想カメラ画像を構成する画素のうち、表示画像の座標値（ｕ，ｖ）が示す位置に配置された画素の画素値を示す。総和は、仮想カメラを示す座標値（ｃｘ，ｃｙ）間で、表示画素毎に独立に演算される。

重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、式（１２）に示すよう水平方向と垂直方向のそれぞれの因子ｗ’（ｃｘ，ｒｘ，ｐ）、ｗ’（ｃｙ，ｒｙ，ｐ）の積として算出される。

各方向の因子ｗ’（ｓ，ｔ，ｐ）として公知の画像の補間法において用いられる補間係数が適用可能である。補間法の一例として、バイキュービック（ｂｉｃｕｂｉｃ）法が適用可能である。バイキュービック法は、式（１３）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。

式（１３）に示すｘは、仮想カメラからの画像を構成する画素の要素レンズの中心点を基準とする座標値を要素レンズの間隔ｐで正規化して得られる。ａは、因子ｗ’（ｓ，ｔ，ｐ）を調整するための調整係数を示す。調整係数ａは、例えば、−０．５〜−１．０の範囲内の実数である。これにより、因子ｗ’（ｓ，ｔ，ｐ）は、所定の値域（この場合、−４/２７〜１）内の値を持つ。因子ｗ’（ｓ，ｔ，ｐ）は、ｘが０から２までの場合でｘ＝１の場合を除き、正または負の値をとり、ｘが２以上である場合０となる。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの２倍以上離れている領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。これにより、表示画素間において算出される画素値に対する仮想カメラ画像の成分が平滑化される。そのため、空間エリアシングによる画質の劣化が緩和する。具体的には、不自然な線や二重像などのアーチファクトが軽減又は解消される。

補間法の他の例として、本実施形態では最近傍（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）補間法も適用可能である。最近傍補間法は、式（１４）に示す関係を用いて算出される因子ｗ’（ｓ，ｔ，ｐ）が重み係数として用いられる補間法である。

式（１４）において、ｘは、要素レンズの中心点を基準とする画素の座標値を要素レンズの間隔ｐで正規化して得られる。従って、因子ｗ’（ｓ，ｔ，ｐ）は、ｘの絶対値が０．５以下、つまり要素レンズの中心点からその間隔の半分の距離ｐ／２の範囲内の画素について１であり、その範囲外における画素について０であることを示す。これにより、座標値（ｕ，ｖ）に最も近接する要素レンズの中心点から要素レンズの間隔ｐの半分以下の領域外の画素については、表示画素の画素値の算出において無視され、その領域内の画素が表示画素の画素値の算出対象となる。従って、式（１４）に示す因子ｗ’（ｓ，ｔ，ｐ）が用いられる場合には、その要素画素に対面する要素レンズが要素画素に対応する要素レンズとして採用されればよい。

図７は、表示画像の生成に係る仮想カメラ画像の例を示す。図７（ａ）、（ｂ）、（ｃ）は、それぞれ異なる位置に設置された仮想カメラから取得された画像を示す。図７（ａ）、（ｂ）、（ｃ）に示す例では、仮想カメラの座標値（ｃｘ，ｃｙ）は、それぞれ（１．１，−０．１）、（０．０，０．０）、（−１．１，０．１）である。即ち、図７（ａ）に示す画像は、図７（ｂ）に示す画像よりも左下の視点から観察して得られる。図７（ｃ）に示す画像は、図７（ｂ）に示す画像よりも右上の視点から観察して得られる。座標値（ｕ，ｖ）における表示画素に対応する画素であって、図７（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}は、それぞれｃｏｌ^{（ｕ，ｖ）} _{（１．１，―０．１）}、ｃｏｌ^{（ｕ，ｖ）} _{（０，０）}、ｃｏｌ^{（ｕ，ｖ）} _{（―１．１，０．１）}と表される。また、座標値（ｕ，ｖ）における表示画素に対応する画素であって、図７（ａ）、（ｂ）、（ｃ）に示す画像の画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）は、それぞれｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）、ｗ（０，０，ｒｘ，ｒｙ，ｐ）、ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）と表される。上述したように、座標値（ｕ，ｖ）において配置された表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}は、画素値ｃｏｌ^{（ｕ，ｖ）} _{（１．１，―０．１）}と重み係数ｗ（１．１，−０．１，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ^{（ｕ，ｖ）} _{（０，０）}と重み係数ｗ（０，０，ｒｘ，ｒｙ，ｐ）との積、画素値ｃｏｌ^{（ｕ，ｖ）} _{（−１．１，０。１）}と重み係数ｗ（−１．１，０．１，ｒｘ，ｒｙ，ｐ）との積を仮想カメラ間で加算することによって算出される。

各表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}の計算は、中間画像バッファなどに計算途中のデータを保存せずに、各仮想カメラの画像を構成する画素の画素値のうち、必要な画素値を抽出して実行される。この計算は、表示画素毎に独立になされるため、それらを並列に行うことにより表示画像の生成に係る処理全体が高速化される。

（画像生成処理）
次に、本実施形態に係る画像生成処理について説明する。図８は、本実施形態に係る画像生成処理の一例を示すフローチャートである。
（ステップＳ１０１）カメラパラメータ記録手段１１０は、３次元空間における複数の仮想カメラのそれぞれの位置の情報を取得する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）カメラパラメータ記録手段１１０は、取得した仮想カメラのそれぞれの位置から所定の基準点を原点とする相対位置を算出し、算出した相対位置を示す相対位置情報をカメラパラメータとして記録する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）立体ディスプレイパラメータ入力手段１２３は、立体ディスプレイパラメータを取得する。表示画像調整パラメータ入力手段１２４は、表示画像調整パラメータを取得する。表示画像調整パラメータには、レンズ板の取付誤差調整パラメータが含まれる。その後、ステップＳ１０４の処理に進む。

（ステップＳ１０４）ぼけパラメータ取得手段１２１は、ぼけパラメータを取得する。その後、ステップＳ１０５の処理に進む。
（ステップＳ１０５）仮想カメラ画像調整手段１３０は、仮想カメラ画像取得手段１２２により仮想カメラ毎に取得された仮想カメラ画像を、ぼけパラメータを用いてその画像に表される被写体の奥行に応じてぼかす。ぼかし処理については、後述する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）画素値決定手段１５０は、仮想カメラの相対位置情報と仮想カメラ画像データを用いて表示画素毎に画素値決定処理を行うことにより表示画像を示す表示画像データを生成する。画素値決定処理については、後述する。その後、ステップＳ１０７の処理に進む。
（ステップＳ１０７）出力部１６０は、画素値決定手段が生成した表示画像データを立体ディスプレイ装置のディスプレイパネルに出力する。ディスプレイパネルには出力部１６０から供給された表示画像データに基づく表示画像が表示される。その後、図８に示す処理を終了する。

次に、本実施形態に係るぼかし処理について説明する。
図９は、本実施形態に係るぼかし処理の一例を示すフローチャートである。
図９に示す処理は、図８のステップＳ１０５において実行される。
（ステップＳ１１１）仮想カメラ画像調整手段１３０は、仮想カメラ画像の画素毎の奥行位置ｚに基づいて、その画素の画素値に対するぼけ量Ｓ（ｚ｜ｓ，ｄ）を定める。ぼけ量Ｓ（ｚ｜ｓ，ｄ）は、奥行位置ｚ、調整係数ｓ及び合焦位置の奥行ｄの関数である。合焦位置とは、最も空間解像度が高い像が得られる被写体の位置である。即ち、合焦位置の奥行ｄは、ぼかし処理を行わずに生成された表示画像による立体像が最も鮮明に表される被写体の深度に相当する。以下の説明では、合焦位置の奥行ｄを、単に奥行ｄと呼ぶ。図１０に例示されるように、仮想カメラ画像調整手段１３０は、所定の分割数ｎに離散化された奥行位置ｚ毎にぼけ量Ｓ（ｚ｜ｓ，ｄ）を定める。離散化において、奥行ｄから上限ｆａｒの間をｎ個に分割された範囲のうち、奥行位置ｚが含まれる範囲の代表値（例えば、最大値、最小値の平均値）が離散化された奥行位置ｚ_ｉとして用いられる。ｎは、２以上の整数である。ｎが大きいほど精密にぼけの度合いが制御されるが、多くの計算量とメモリ使用量を必要とする。ｎは、例えば、５である。ぼけ量Ｓ（ｚ_ｉ｜ｓ，ｄ）は、例えば、式（１６）（後述）の下段に示す関係を用いて定めることが可能である。その後、ステップＳ１１２の処理に進む。

（ステップＳ１１２）仮想カメラ画像調整手段１３０は、仮想カメラ画像を構成する画素（ｕ，ｖ）毎の画素値ｌ（ｕ，ｖ）を奥行位置のｎ個に分割された範囲ｉ毎に区分し、その範囲の奥行位置を代表する離散化された奥行位置ｚ_ｉと対応付ける。その後、ステップＳ１１３の処理に進む。

（ステップＳ１１３）仮想カメラ画像調整手段１３０は、離散化した奥行位置ｚ_ｉに応じたぼけ量Ｓ（ｚ_ｉ｜ｓ，ｄ）のそれぞれについて、元の仮想カメラ画像の画素値ｌ（ｕ，ｖ）を平滑化する。従って、奥行位置の範囲ｉ毎に平滑化された画像であるぼけ画像の画素値ｌ_ｉ（ｕ，ｖ）が得られる。平滑化において、仮想カメラ画像調整手段１３０は、例えば、式（１５）に示すように注目画素（ｕ，ｖ）から所定範囲内の画素の画素値について、フィルタ係数としてガウスカーネルＧ（ｕ，ｖ，Ｓ）を用いて畳み込み演算を行う。

式（１５）において、＊は、畳み込み演算を示す。
ガウスカーネルＧ（ｕ，ｖ，Ｓ）は、式（１６）に示すように注目画素の座標値（ｕ，ｖ）を平均値とし、分散をぼけ量Ｓ（ｚ_ｉ｜ｓ，ｄ）とする２次元のガウス関数である。

式（１６）に示す例では、ぼけ量Ｓ（ｚ_ｉ｜ｓ，ｄ）は、調整係数ｓに奥行ｄから奥行位置ｚ_ｉの差分の絶対値｜ｄ−ｚ_ｉ｜を乗じて算出される。従って、奥行位置ｚ_ｉが奥行ｄから離れるほど、算出されるぼけ量Ｓ（ｚ_ｉ｜ｓ，ｄ）が大きくなり、奥行ｄから離れるほど、算出されるぼけ量Ｓ（ｚ_ｉ｜ｓ，ｄ）が小さくなる。
その後、ステップＳ１１４の処理に進む。

（ステップＳ１１４）仮想カメラ画像調整手段１３０は、離散化した奥行位置ｚ_ｉ毎に平滑化した画像の画素値に対するアルファ値Ｉ_ｉ（ｕ，ｖ）．ａを定める。具体的には、仮想カメラ画像調整手段１３０は、式（１７）に示すように元の仮想カメラ画像の画素（ｕ，ｖ）に対する奥行位置ｚ_ｂ（ｕ，ｖ）について離散化した奥行位置ｚ_ｉ（ｚ_ｂ（ｕ，ｖ））を最遠平面（ｆａｒ ｃｌｉｐｐｉｎｇ ｐｌａｎｅ）の奥行位置ｆａｒと奥行ｄを用いて正規化する。最遠平面は、３次元空間において立体ディスプレイ装置により立体像を表現可能な奥行位置の上限ｆａｒを与える平面である。

式（１７）において、ｚ_ｂ’（ｕ，ｖ）は、正規化された奥行位置を示す。但し、式（１７）の右辺により算出される値が負値となる場合には、仮想カメラ画像調整手段１３０は、奥行位置ｚ_ｂ’（ｕ，ｖ）を０と定める。仮想カメラ画像調整手段１３０は、正規化された奥行位置ｚ_ｂ’（ｕ，ｖ）をアルファ値Ｉ_ｉ（ｕ，ｖ）．ａとして定める。従って、Ｉ_ｉ（ｕ，ｖ）．ａは、０から１までの範囲の実数となり奥行位置ｚ_ｉ（ｚ_ｂ（ｕ，ｖ））が大きいほど、大きい値をとる。アルファ値Ｉ_ｉ（ｕ，ｖ）．ａは、平滑化された画素値Ｉ_ｉ（ｕ，ｖ）の平滑化されていない、奥行位置ｚ_ｉの範囲ｉに区分された画素値Ｉ（ｕ，ｖ）に対する混合率を示す。アルファ値Ｉ_ｉ（ｕ，ｖ）．ａが１とは、ブレンディング対象の画像が対象外の画像により完全に透過される（完全透過）ことを示す。これに対し、アルファ値Ｉ_ｉ（ｕ，ｖ）．ａが０とは、ブレンディング対象の画像が対象外の画像により完全に遮蔽されない（非透過）ことを示す。その後、ステップＳ１１５の処理に進む。

（ステップＳ１１５）仮想カメラ画像調整手段１３０は、離散化された奥行位置ｚ_ｉ毎に区分された画像の画素値ｌ（ｕ，ｖ）と平滑化された画像の画素値Ｉ_ｉ（ｕ，ｖ）とを、その画素値Ｉ_ｉ（ｕ，ｖ）に対するアルファ値Ｉ_ｉ（ｕ，ｖ）．ａを用いてアルファブレンディングする。アルファブレンディングにより奥行ｄからの奥行位置が大きい成分ほど平滑化度、即ちぼけの度合いが高い画像が生成される。そして、仮想カメラ画像調整手段１３０は、式（１８）に示すように奥行位置ｚ_ｉ毎に得られた画像の画素値を奥行位置ｚ_ｉ間で総和をとることにより合成してぼけ画像の画素値I’（ｕ，ｖ）を算出する。

仮想カメラ画像調整手段１３０は、画素毎に算出した画素値I’（ｕ，ｖ）を示す仮想カメラ画像データをカメラパラメータ・仮想カメラ画像関連付け手段１４０を介して画素値決定手段１５０に出力する。その後、ステップＳ１０６（図８）の処理に進む。

なお、図９、図１０に示す例では、仮想カメラ画像調整手段１３０が奥行ｄから奥行位置ｚの値を大きくするほど仮想カメラ画像に対する平滑化度を高くすることを例にしたが、これには限られない。仮想カメラ画像調整手段１３０は、奥行ｄから奥行位置ｚの値を小さくするほど仮想カメラ画像に対する平滑化度を低くする処理をさらに行ってもよい。奥行ｄから奥行位置ｚの値を小さくするほど仮想カメラ画像に対する平滑化度を低くするには、図９に示す処理において、図１０に例示される奥行ｄからその上限ｆａｒとの間の奥行位置ｚの離散化を、奥行ｄからその下限ｎｅａｒとの間の奥行位置ｚの離散化に代えれば実現される。

次に、本実施形態に係る画素値決定処理について説明する。
図１１は、本実施形態に係る画素値決定処理の一例を示すフローチャートである。
図１１に示す処理は、図８のステップＳ１０６において実行される。
（ステップＳ１２１）画素値決定手段１５０は、表示画像を構成する表示画素毎にその座標値（ｕ，ｖ）を画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換する。その後、ステップＳ１２２の処理に進む。
（ステップＳ１２２）画素値決定手段１５０は、座標値（ｕ，ｖ）を、画素を単位とする座標値（Ｐｘ，Ｐｙ）に変換し、変換した座標値（Ｐｘ，Ｐｙ）を、表示画像調整パラメータを用いて座標値（Ｐｘ’，Ｐｙ’）に補正する。その後、ステップＳ１２３の処理に進む。
（ステップＳ１２３）画素値決定手段１５０は、補正した座標値（Ｐｘ’，Ｐｙ’）で表される表示画素の位置を、その領域に含む要素レンズを特定する。その後、ステップＳ１２４の処理に進む。

（ステップＳ１２４）画素値決定手段１５０は、座標値（Ｐｘ’，Ｐｙ’）特定した要素レンズに係るレンズ中心座標系の座標値（ｒｘ、ｒｙ）に変換する。その後、ステップＳ１２５の処理に進む。
（ステップＳ１２５）画素値決定手段１５０は、各仮想カメラからの画像のうち、表示画素の座標値（ｕ，ｖ）に対応する位置に配置された画素の画素値を取得する。その後、ステップＳ１２６の処理に進む。
（ステップＳ１２６）画素値決定手段１５０は、各仮想カメラの相対位置（ｃｘ，ｃｙ）と表示画素の座標値（ｒｘ、ｒｙ）に基づいて、その仮想カメラの対応する画素に対する重み係数ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）を算出する。その後、ステップＳ１２７の処理に進む。

（ステップＳ１２７）画素値決定手段１５０は、各仮想カメラにおいて取得される画像のうち、表示画像の座標値（ｕ、ｖ）で表される位置に配置される画素の画素値ｃｏｌ^{（ｕ，ｖ）} _{（ｃｘ，ｃｙ）}と、この画素に対する重み値ｗ（ｃｘ，ｃｙ，ｒｘ，ｒｙ，ｐ）との積を算出し、算出した積を仮想カメラ間で加算して、その表示画素の画素値ｃｏｌ^{（ｕ，ｖ）}を表示画素毎に定める。画素値決定手段１５０は、表示画素毎の画素値を表す表示画像データを生成する。その後、ステップＳ１０７（図８）の処理に進む。

（立体像）
次に、本実施形態に係る画像生成装置１０によって生成された表示画像によって観察される立体像の例について説明する。図１２（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ仮想カメラ画像の一例、ぼかし処理を行わずに生成された表示画像による立体像の一例、ぼかし処理を行わずに生成された表示画像による立体像の他の例、本実施形態に係るぼかし処理を行って生成された表示画像による立体像の一例を示す。図１２（ｃ）に示す例では、図１２（ｂ）よりも用いられた仮想カメラの数が多い。図１２（ｄ）に示す例では、図１２（ｂ）に示す例と仮想カメラの数が等しい。図１２に示す図は、いずれも複数の机が床上に配置され奥の壁面に黒板が設置されている教室を表す。図１２（ａ）と比較すると、図１２（ｂ）、（ｃ）、（ｄ）は、インテグラル方式の立体ディスプレイ装置の特性として、空間解像度を高く表示することが出来る奥行き位置が限られることを示す。具体的には、机上に置かれた筆記具の像は空間解像度が高く、筆記具よりも奥又は手前に配置された被写体の像は空間解像度が低く、不鮮明になることを示す。図１２（ｂ）、（ｃ）、（ｄ）に示す例では、空間解像度が低い部分において格子状の筋状の模様が顕著に現れる。この模様は、空間サンプリングが粗なために生じたアーチファクトである。この点、図１２（ｃ）に生じている模様は、図１２（ｂ）に示す模様ほど顕著ではない。図１２（ｄ）に生じている模様も、図１２（ｂ）に示す模様ほど顕著ではなく、図１２（ｃ）に示す模様とほぼ同様である。このことは、本実施形態に係るぼかし処理により仮想カメラの数を増加させずに視認される立体像の主観品質を向上できることを示す。

以上に説明したように、本実施形態に係る画像生成装置１０は、画像表示部（ディスプレイパネル）が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する。画像生成装置１０は、各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段１２２を備える。画像生成装置１０は、仮想カメラ画像に表わされた被写体の奥行と画像表示装置の合焦位置の奥行との差が大きいほど高い平滑化度で前記仮想カメラ画像を平滑化する仮想カメラ画像調整手段１３０を備える。また、画像生成装置１０は、表示画像の画素である表示画素に対応する要素レンズを特定し、表示画素と同じ位置の仮想カメラ画像の画素の画素値を、その表示画素の位置とその仮想カメラ画像の視点の位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して表示画素の画素値を算出する画素値決定手段１５０を備える。
この構成により、表示画像を構成する表示画素と同じ位置の仮想カメラ画像の画素の画素値が、被写体の奥行と画像表示装置の合焦位置の奥行との差が大きいほど高い平滑化度で平滑化される。その表示画素に対応する要素レンズの位置を基準とする表示画像の位置と仮想カメラ画像の視点により定めた重み係数を用いて、その表示画素の画素値が算出される。
そのため、視認される像のうち奥行が合焦位置の奥行に近い部分については平滑化度が低く、奥行が合焦位置の奥行から離れた部分については平滑化度が高くなる。従って、仮想カメラの平滑化度が低い合焦位置の奥行に近い部分について鮮明な画質を維持し、平滑化度が高い離れた部分については平滑化による画質の劣化が低減するので仮想カメラの数を増加させずに像の品質が向上する。また、表示画像は、平滑化された仮想カメラ画像に基づいて中間画像を生成せずに表示画像を直接生成することが可能であるので、品質の向上にかかる演算量の増加が抑制される。そのため、通常のテレビジョン番組などの一方向的なメディアに限らず、コンピュータゲーム、ビデオ通信などインタラクティブメディアへの画像表示装置による立体像の応用が促進される。

また、仮想カメラ画像調整手段１３０は、仮想カメラ画像のうち被写体の奥行が、合焦位置の奥行よりも深いほど高い平滑化度で仮想カメラ画像を平滑化することを特徴とする。
この構成により、視認される像のうち合焦位置の奥行よりも深い部分ほど表示画像の生成に用いられる仮想カメラ画像の平滑化の度合いが高くなる。視認される像のうち合焦位置の奥行よりも深い部分ほど顕著に現れる画質の劣化が緩和されるので、像全体としての品質が向上する。

また、仮想カメラ画像調整手段１３０は、被写体の奥行と合焦位置の奥行との差が大きいほど、奥行毎の平滑化度で平滑化された仮想カメラ画像の第１の画素値の奥行毎に区分した仮想カメラ画像の画素の第２の画素値に対する混合率が大きくなるように定め、第１の画素値と第２の画素値とを混合率で合成して得られる画素値を奥行間で加算して得られる画素値を前記画素値決定手段に出力することを特徴とする。
この構成により、画素値を所定の値域内に制限しながら、被写体の奥行と合焦位置の奥行との差が大きいほど、高い平滑化度で平滑化された画素値が簡素な演算により得られる。そのため、演算量を顕著に増加させずに画像の品質が向上する。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

例えば、上述したレンズ板は、単位図形が正三角形である三角格子の各格子点上に、それぞれの要素レンズの中心点を配置して形成される場合を例にしたが、これには限られない。要素レンズの中心点は、所定の周期をもって空間的に繰り返される平行移動対称性を有する格子の各格子点に配置されればよい。そのような格子には、例えば、正方格子、矩形格子、二等辺三角格子などがある。各要素レンズの主面の形状は、円形に限られず、例えば、長方形、三角形などであってもよい。

また、上述した画像生成装置１０の一部又は全部は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのデータ処理、特に並列処理を実行可能な集積回路を備えたコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像生成装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における画像生成装置１０の一部又は全部をＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像生成装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１０…画像生成装置、１１０…カメラパラメータ記録手段、１２０…入力部、１２１…ぼけパラメータ取得手段、１２２…仮想カメラ画像取得手段、１２３…立体ディスプレイパラメータ入力手段、１２４…表示画像調整パラメータ入力手段、１３０…仮想カメラ画像調整手段、１４０…カメラパラメータ・仮想カメラ画像関連付け手段、１５０…画素値決定手段、１６０…出力部

Claims (4)

1. 画像を表示する表示部が複数の要素レンズを配列してなるレンズ板に対面して配置された画像表示装置に表示させる表示画像を生成する画像生成装置であって、
   各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、
   前記仮想カメラ画像に表わされた被写体の奥行と前記画像表示装置の合焦位置の奥行との差が大きいほど高い平滑化度で前記仮想カメラ画像を平滑化する仮想カメラ画像調整手段と、
   前記表示画像の画素である表示画素に対応する要素レンズを特定し、
   前記表示画素と同じ位置の平滑化された仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、
   を備える画像生成装置。
2. 前記仮想カメラ画像調整手段は、
   前記仮想カメラ画像のうち前記被写体の奥行が、前記合焦位置の奥行よりも深いほど高い平滑化度で前記仮想カメラ画像を平滑化すること
   を特徴とする請求項１に記載の画像生成装置。
3. 前記仮想カメラ画像調整手段は、
   前記被写体の奥行と前記合焦位置の奥行との差が大きいほど、大きくなるように前記奥行毎の平滑化度で平滑化された前記仮想カメラ画像の第１の画素値に対する混合率を定め、
   前記第１の画素値と前記混合率との積と、前記第１の画素値と同じ位置の画素値であって前記仮想カメラ画像の平滑化されていない第２の画素値と１から前記混合率を減算した値との積と、を加算した画素値を前記奥行毎に算出し、
   前記奥行毎の画素値の総和となる画素値を前記画素値決定手段に出力すること
   を特徴とする請求項１または請求項２に記載の画像生成装置。
4. 投射光を収束する複数の要素レンズを配列してなるレンズ板を備える画像表示装置に表示させる表示画像を生成する画像生成装置であって、
   各視点の仮想カメラ画像を取得する仮想カメラ画像取得手段と、
   前記仮想カメラ画像に表わされた被写体の奥行と前記画像表示装置の合焦位置の奥行との差が大きいほど高い平滑化度で前記仮想カメラ画像を平滑化する仮想カメラ画像調整手段と、
   前記表示画像の画素である表示画素に対応する要素レンズを特定し、
   前記表示画素と同じ位置の平滑化された仮想カメラ画像の画素の画素値に対し、前記表示画素の位置と仮想カメラの位置に基づく重み係数を乗じて得られる値を仮想カメラ画像間で合成して前記表示画素の画素値を算出する画素値決定手段と、
   を備える画像生成装置として、コンピュータに機能させるためのプログラム。