JP6438803B2 - 立体画像生成装置及びそのプログラム - Google Patents

Description

本願発明は、インテグラルフォトグラフィ方式における要素画像群の階調が削減された階調削減要素画像群を生成する立体画像生成装置及びそのプログラムに関する。

従来のインテグラルフォトグラフィ（ＩＰ：Integral Photography）方式では、複数の微小レンズが配列されたレンズアレイを通して、１台のカメラで被写体を撮影している。このとき、ＩＰ方式では、カメラがレンズアレイの焦平面を撮影するため、レンズアレイを構成する各微小レンズが微小なカメラと同じ働きをする。その結果、ＩＰ方式では、レンズアレイ越しに被写体を撮影した画像が、微小レンズの位置に応じた微小画像（要素画像）が並んだ画像（要素画像群）となる。

この要素画像群は、被写体からの光線情報を記録した画像であり、記録できる光線数はカメラの解像度に依存する。また、ＩＰ方式における立体像の解像度は、再生する光線数すなわちカメラの解像度に依存する。このため、ＩＰ方式では、高解像度のカメラが必要になる。

以上より、ＩＰ方式では、膨大な画素数のカメラで被写体を撮影し、同程度の画素数の立体画像表示装置で再生する必要があるため、２次元画像よりも情報量が多くなる。この情報量は、撮影素子の画素数と階調数との積で表される。そこで、情報量の多い高精細映像及び立体映像では、２次元画像での画像処理方法の一つであるディザにより、階調を減らすことが行われている（例えば、特許文献１，２）。

特許５４５６０２０号公報 特許４９９１９３０号公報

前記したように、ＩＰ方式の要素画像群は、２次元画像とは異なり、複数の要素画像が並んだものである。そして、各要素画像は、２次元画像と比較すると、少ない画素で構成されることが多い。しかし、特許文献１，２に係る発明では、２次元画像に施すディザを要素画像群にそのまま適用するので、立体映像としての画質が考慮されていないためにディザによる画質劣化が目立つという問題がある。

そこで、本願発明は、ディザによる画質劣化を抑えた立体画像生成装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係る立体画像生成装置は、ＩＰ方式における要素画像群の階調が削減された階調削減要素画像群を生成する立体画像生成装置であって、レンズアレイ情報入力部と、要素画像群入力部と、要素画像群情報入力部と、立体像生成部と、適用周波数算出部と、階調削減部と、階調削減要素画像群生成部と、を備える構成とした。

かかる構成によれば、立体画像生成装置は、レンズアレイ情報入力部によって、要素レンズが２次元状に配列されたレンズアレイのレンズ間隔と、レンズアレイから観察者までの距離と、要素レンズの焦点距離と、要素レンズの個数とが、レンズアレイ情報として入力される。

立体画像生成装置は、要素画像群入力部によって、要素画像群が入力される。
立体画像生成装置は、要素画像群情報入力部によって、要素画像群の画素数と、要素画像群の画素サイズと、要素画像群の階調数と、要素画像群を構成する隣り合う要素画像間の距離とが、要素画像群情報として入力される。

立体画像生成装置は、立体像生成部によって、レンズアレイ情報及び要素画像群情報に基づいて、要素画像群に含まれる被写体の３次元立体像を仮想３次元空間に生成する。
立体画像生成装置は、適用周波数算出部によって、レンズアレイ情報に基づいて、仮想３次元空間におけるレンズアレイと３次元立体像との相対位置を求め、求めた相対位置に応じたディザの適用周波数を算出する。

このように、立体画像生成装置は、立体画像の解像度特性や、レンズアレイと観察者と３次元立体像との位置関係に応じて、ディザの適用周波数を算出する。

立体画像生成装置は、階調削減部によって、適用周波数算出部が算出した適用周波数で３次元立体像にディザを施す。
立体画像生成装置は、階調削減要素画像群生成部によって、レンズアレイ情報及び要素画像群情報に基づいて、階調が削減された３次元立体像が含まれる階調削減要素画像群を生成する。

なお、本願発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、立体画像生成装置として協調動作させる立体画像生成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る立体画像生成装置は、立体画像の解像度特性や、レンズアレイと観察者と３次元立体像との位置関係に応じて、ディザの適用周波数を算出することができる。このため、本願発明に係る立体画像生成装置は、ディザによる画質劣化を抑えることができる。

従来の立体撮影装置の説明図である。 本願発明に係る立体画像生成装置の処理概要を説明するためのブロック図である。 本願発明における３次元立体像の生成を説明する説明図である。 本願発明の実施形態に係る立体画像生成装置の構成を示すブロック図である。 本願発明の実施形態において、（ａ）は観察者の認識限度を説明する説明図であり、（ｂ）は（ａ）のレンズアレイの拡大図である。 本願発明の実施形態において、（ａ）はディザの適用前の要素画像を説明する説明図であり、（ｂ）はディザの適用後の要素画像を説明する説明図である。 本願発明の実施形態において、要素画像に対するディザの適用を説明する説明図である。 本願発明の実施形態において、ディザの適用周波数の算出を説明する説明図である。 本願発明の実施形態において、光線数の算出を説明する説明図である。 （ａ）〜（ｃ）は、本願発明の実施形態において、観察距離と光線数との関係を説明する説明図である。 図４の立体画像生成装置の動作を示すフローチャートである。

以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、同一手段には同一符号を付し、説明を省略した。

［ＩＰ立体撮影装置の概略］
図１を参照し、本願発明の実施形態を説明する前に、従来の立体画像撮影装置９Ａの概略と、本願発明の処理概要とについて説明する。
図１のように、立体画像撮影装置９Ａは、ＩＰ方式の立体画像（要素画像群）を撮影するものであり、レンズアレイ９１と、拡散板９３と、カメラ９５とを備える。

レンズアレイ９１は、例えば、要素レンズ９２が縦横に配列されたものである。また、レンズアレイ９１は、被写体からの光を拡散板９３に向けて射出する。例えば、要素レンズ９２は、微小な両凸レンズであり、一定間隔ｐで配列される。

拡散板９３は、レンズアレイ９１からの光を拡散させるものである。また、拡散板９３は、レンズアレイ９１を構成する要素レンズ９２の焦点距離ｆにある焦平面に配置される。
なお、立体画像撮影装置９Ａは、拡散板９３の代わりに集光レンズ（不図示）を備えてもよい。

カメラ９５は、例えば、一般的な撮影カメラである。また、カメラ９５は、拡散板９３に焦点が合うように調整される。そして、カメラ９５は、拡散板９３に表示された像を撮影し、要素画像群を立体画像生成装置１（図２）に出力する。

［立体画像生成装置の処理概要］
図２を参照し、立体画像生成装置１の処理概要について説明する。
立体画像生成装置１は、立体画像撮影装置９Ａから要素画像群が入力され、入力された要素画像群の階調が削減された階調削減要素画像群を生成するものである。図２のように、立体画像生成装置１は、立体像生成部２０と、階調削減部４０と、階調削減要素画像群生成部５０とを備える。

立体像生成部２０は、要素画像群に含まれる被写体の３次元立体像を仮想３次元空間に生成するものである。図３のように、立体像生成部２０は、要素レンズ９２の焦点距離ｆだけ離れたレンズアレイ９１を介して、要素画像群９７を構成する画素９８の光を取得した場合と同様、要素画像群９７を元に３次元立体像９０を生成する。
なお、図３では、図面を見やすくするために、画素９８を１つのみ図示した。

階調削減部４０は、立体像生成部２０が生成した３次元立体像の階調をディザで削減するものである。このとき、階調削減部４０は、３次元立体像を構成する点を観察者が認識できないという条件において、ディザを用いて階調を削減する。
なお、ディザとは、観察者が濃淡を認識できるように、濃淡画像を２値化する手法である。

例えば、３次元立体像９０がポリゴンオブジェクトの場合、この３次元立体像９０は、複数の点が３次元空間内に配置されたものとなる。また、３次元立体像９０は、それを構成する点の数が多いほど奇麗になる。ここで、３次元立体像９０を構成する点が２次元画像でいう解像度と同じ意味を持ち、ＩＰ方式では空間解像度とよばれる。従って、２次元画像で解像度が低いと画素構造が認識できてしまうのと同様、ＩＰ方式でも空間解像度が低いと３次元立体像９０を構成する点が認識できてしまう。

つまり、３次元立体像９０を構成する点を観察者が認識できない条件とは、空間解像度が高く３次元立体像９０を構成する点が多くなること、又は、観察者が３次元立体像９０から離れることで相対的に空間解像度が高くなることを表す。従って、階調削減部４０は、観察者がディザを認識できないように階調を削減する必要がある。

階調削減要素画像群生成部５０は、階調削減部４０が階調を削減した３次元立体像９０から、要素画像群（階調削減要素画像群）を生成するものである。そして、階調削減要素画像群生成部５０は、生成した要素画像群を外部（例えば、立体画像表示装置）に出力する。

このように、立体画像生成装置１は、入力された要素画像群にディザを施すことで、階調が削減された階調削減要素画像群を生成できる。例えば、入力された要素画像群を構成する各画素のビット深度が８ビットの場合、階調削減要素画像群のビット深度は、１ビットになる。このように、階調を削減した場合でも観察者が階調数の低下を認識しにくいので、画質を落とさずに要素画像群の情報量を削減できる。また、階調表示を行えない表示デバイス（例えば、モノクロの立体画像表示装置）を用いた場合でも、階調表現を行うことができる。

（実施形態）
［立体画像生成装置の構成］
図４を参照し、本願発明の実施形態に係る立体画像生成装置１Ａの構成について説明する（適宜図１〜図３参照）。

立体画像生成装置１Ａは、図２の立体画像生成装置１に、実際に階調削減要素画像群を生成するときに必要な手段を加えたものである。図４のように、立体画像生成装置１Ａは、レンズアレイ情報入力部１１と、要素画像群情報入力部１３と、要素画像群入力部１５と、立体像生成部２０と、適用周波数算出部３０と、階調削減部４０と、階調削減要素画像群生成部５０とを備える。

レンズアレイ情報入力部１１は、外部（例えば、立体画像生成装置１Ａの利用者）から、レンズアレイ情報が入力されるものである。そして、レンズアレイ情報入力部１１は、入力されたレンズアレイ情報を立体像生成部２０に出力する。

例えば、レンズアレイ情報には、レンズアレイ９１のレンズ間隔ｐと、レンズアレイ９１から観察者（不図示）までの距離と、要素レンズ９２の焦点距離ｆと、要素レンズ９２の個数とが含まれる。また、レンズアレイ９１から観察者までの距離は、任意に設定可能であり、立体画像表示装置の画面高さの３倍程度に設定してもよい。

要素画像群情報入力部１３は、外部（例えば、立体画像生成装置１Ａの利用者）から、要素画像群情報が入力されるものである。例えば、要素画像群情報には、要素画像群入力部１５に入力された要素画像群９７の画素数と、要素画像群９７の画素サイズと、要素画像群９７の階調数と、要素画像群９７を構成する隣り合う要素画像間の距離とが含まれる。そして、要素画像群情報入力部１３は、入力された要素画像群情報を立体像生成部２０に出力する。

要素画像群入力部１５は、外部（例えば、立体画像撮影装置９Ａ）から、要素画像群９７が入力されるものである。そして、要素画像群入力部１５は、入力された要素画像群９７を立体像生成部２０に出力する。

立体像生成部２０は、レンズアレイ情報及び要素画像群情報に基づいて、要素画像群９７に含まれる被写体の３次元立体像９０を仮想３次元空間に生成するものである。この立体像生成部２０は、レンズアレイ情報入力部１１からレンズアレイ情報が入力され、要素画像群情報入力部１３から要素画像群情報が入力され、要素画像群入力部１５から要素画像群９７が入力される。

具体的には、立体像生成部２０は、プレーンスイープ法又は視体積交差法を用いて、被写体の３次元立体像９０を生成する。ここで、立体像生成部２０は、要素画像群９７に複数の被写体が含まれる場合、被写体毎に３次元立体像９０を生成してもよい。そして、立体像生成部２０は、生成した３次元立体像９０と、レンズアレイ情報及び要素画像群情報とを適用周波数算出部３０に出力する。

適用周波数算出部３０は、立体像生成部２０から入力された３次元立体像９０に適用するディザの適用周波数を算出するものである。そして、適用周波数算出部３０は、算出したディザの適用周波数と、３次元立体像９０と、レンズアレイ情報及び要素画像群情報とを階調削減部４０に出力する。

以下、適用周波数算出部３０によるディザの適用周波数の算出について、第１例及び第２例を説明する。
なお、適用周波数算出部３０には、第１例又は第２例の何れの手法を用いるか、予め設定しておくとよい。

＜ディザの適用周波数の算出：第１例＞
この第１例の手法は、３次元立体像（オブジェクト）９０の１点が複数の要素レンズ９２から１本ずつ射出される光線で構成されていることを利用したものである。

前記したように、観察者がディザを認識できないように階調を削減する必要がある。例えば、視力１．０の観察者の場合、観察者から５メートル離れた位置のランドルト環の１．５ミリメートルの切れ目を認識できる。逆に言えば、この観察者は、１．５ミリメートル未満の切れ目を認識できない。従って、視力１．０の観察者から５メートル先にレンズアレイ９１が位置し、その要素レンズ９２が直径０．７５ミリメートルの場合を考えると、観察者は、個々の要素レンズ９２を認識できない。言い換えるなら、観察者の認識限度は、縦２個×横２個からなる要素レンズ９２の集合となる。つまり、４個の要素レンズ９２が集合した場合、各要素レンズ９２が白色又は黒色しか表示できずとも、各要素レンズ９２の色の組み合わせにより、５階調を表現できる。従って、認識限度の要素レンズ９２の個数をＬとした場合、階調数Ｎは、下記の式（１）によって求められる。
Ｎ＝Ｌ＋１ …式（１）

また、本例では、４個の要素レンズ９２が再生する色は、ランダムに白色または黒色を割り当てる。この割り当て手順として、３次元立体像９０を構成する点に対して、前記手法によってランダムでディザを適用し、ディザが適用された３次元立体像９０を要素画像群に変換する。

ここで、ランドルト環（ランドルト環の切れ目はｇとする）をｈメートル離れたときに認識できる視力は、下記の式（２）で表すことができる。
視力＝１／視角（分）
視角（分）＝１／６０（度） …式（２）

例えば、視力１．０の観察者が視角１分を認識できることから、５メートル離れた位置での認識限度（ランドルト環の切れ目）ｇは、下記の式（３）のように、約１．５ミリメートルとなる。
ｇ＝ｔａｎ（１／（６０×２））×ｈ×２
ｇ＝ｔａｎ（１／１２０）×５×２
ｇ≒０．００１５ …式（３）

ここで、要素画像群９７の画素数が無限大と仮定する。この場合、観察者までの全奥行位置において、４個の要素レンズ９２が観察者の認識限度になるという条件を満たすことができる。そして、観察者からレンズアレイ９１までの距離において４個の要素レンズ９２を認識限度とし、レンズアレイ９１の焦点距離ｆの位置に立体画像表示装置９Ｂが配置されている場合、ＩＰ方式での３次元立体像の最大空間周波数は、レンズアレイ９１面での空間周波数と等しくなる。また、要素画像群９７の画素数が無限大であれば、前記したように、観察者までの全奥行き位置において最大空間周波数が維持され、下記参考文献に記載されたＩＰ方式の空間周波数特性を満たす条件と等しくなる。
参考文献：「走査線８，０００本級映像システムを用いたインテグラル立体テレビ」、洗井他、２０１４年３月、ＮＨＫ技研 Ｒ＆Ｄ、Ｎｏ．１４４、ｐ３１

例えば、視力１．０の観察者の認識限度として、立体画像表示装置９Ｂの走査線構造や画素構造を検知できないという条件を満たす角解像度が３０ｃｐｄ（Cycles Per Degree）＝６０画素／度となる。この角解像度は、通常の２次元ディスプレイの場合であり、ＩＰ方式では前面にレンズアレイ９１を備えることから、３０ｃｐｄが要素レンズ６０個／度に相当する。また、前記４個の要素レンズ９２での条件が３０ｃｐｄの縦横各２倍の角解像度を意味することから、要素レンズ９２が６０ｃｐｄで配置されていることになる。

従って、適用周波数算出部３０は、複数の要素レンズ９２が観察者の眼球αに入るようにするために、前記参考文献に記載の手法で３次元立体像９０の空間周波数特性を算出し、観察者の認識限度（＝３０ｃｐｄ）以上、かつ、元の要素画像群の階調再現に必要な要素レンズ数（式（１）参照）となるようにディザの適用周波数を決定する。

ここで、要素画像の画素数が有限の場合、レンズアレイ９１から離れる程３次元立体像９０の解像度が低下し、認識限度以下になることがある。この場合、観察者とレンズアレイ９１とを離すことによって、相対的に３次元立体像９０の解像度を認識限度以上にすることができる。また、立体画像表示装置９Ｂでのレンズアレイ９１の要素レンズ９２のレンズ間隔、要素画像の画素間隔を狭くすることでも、相対的に３次元立体像９０の解像度を認識限度以上にすることができる。

図５のように、２５６個（縦１６個×横１６個）の要素レンズ９２が観察者の認識限度の場合、式（１）から２５７階調の表現が可能となる。このため、ディザ適用前の階調が２５６（８ビット階調）であれば、階調及び解像度を低下させることなく、ディザにより階調の情報量を１ビットまで削減できる。

例えば、図６（ａ）のように、ディザ適用前の要素画像を表示する要素レンズ９２で再現される階調が２５６階調における２４５（灰色）であることとする。この場合、図６（ｂ）のように、各要素レンズ９２からの光線は、ランダムで白色又は黒色とする。つまり、図７のように、ディザ適用後の要素画像を表示する要素レンズ９２からの出力情報に基づいて、各要素レンズ９２に対応する各要素画像の画素を白色又は黒色に変更している。
なお、図７の要素レンズ９２は、図６（ｂ）で最左列の要素レンズ９２に対応している。

以上より、下記の式（４）を用いて、ディザを施すことができる。
ディザ後の要素画像（ｘ，ｙ）＝ｒａｎｄｏｍ（ｔ，ｖ） …式（４）

この式（４）では、ｘが水平方向の任意の要素画像、ｙが垂直方向の任意の要素画像を表す。また、ｒａｎｄｏｍ（ｔ，ｖ）は、時間ｔに応じて、確率ｖの割合でランダムに０（黒色）又は１（白色）を返す関数である。この確率ｖは、要素画像群９７の階調に応じて、１から０まで変化する。要素画像群９７の階調値が０であれば確率ｖが０になり、階調値が２５５であれば確率ｖが１になる。例えば、階調値が２４５の要素画像群９７に対して、ｒａｎｄｏｍ（ｔ，ｖ）は、確率ｖ＝２４５／２５５に１を乗算するため、白色の要素画像が２４５個、黒色の要素画像が１０個となる。

＜ディザの適用周波数の算出：第２例＞
この第２例の手法は、３次元立体像（オブジェクト）９０の１点が１個の要素レンズ９２から射出される複数の光線（画素）で構成されていることを利用したものである。

図８のように、立体画像表示装置９Ｂがレンズアレイ９１を備え、要素画像群９７を表示する。このとき、３次元立体像９０が灰色（ハッチングで図示）であることとする。また、３次元立体像９０の１点の大きさは、観察者の眼球αの網膜細胞βで焦点を合わせられる最小サイズであることとする。これは、例えば、視力１．０の観察者の認識限度のサイズと言い変えられる。
また、図８では、要素画像群９７の画素９８ａが白色であることとし、この画素９８ａからの光線を短破線で図示した。また、画素９８ｂが黒色（ドットで図示）であることとし、この画素９８ｂからの光線を一点鎖線で図示した。さらに、３次元立体像９０の光線を長破線で図示した。

ＩＰ方式では、３次元立体像９０の１点は、複数の光線から構成されている。つまり、図８のように、観察者が３次元立体像９０の１点を観察しているときは、複数の光線が眼球αに入ることになる。言い変えると、各光線は各画素９８からの光であるため、観察者が３次元立体像９０の１点を観察しているときは、複数の画素９８を観察することになる。そのため、観察者は、複数の光線情報の総和として、３次元立体像９０の１点を認識できる。すなわち、３次元立体像９０の１点における階調は、複数の光線（画素）で再現できる。

ここで、ディザを施さない場合、３次元立体像９０の１点の色が灰色のため、画素９８ａ，９８ｂからの２本の光線は、灰色にする必要がある。この場合、画素９８ａ，９８ｂの両方で階調表現を行う必要がある。例えば、画素９８ａ，９８ｂが白色から黒色までを２５６階調で表現する場合、階調情報が８ビットとなる。しかし、画素９８ａを白色とし、画素９８ｂを黒色とすれば、画素９８ａ，９８ｂからの光線の総和で灰色を表現できるため、画素９８ａ，９８ｂが白黒のみを表現できればよい。この場合、画素９８ａ，９８ｂの両方が２階調を表現できればよいので、階調情報が１ビットとなる。

図８の例では、３次元立体像９０の１点の色を再現するために画素９８ａ，９８ｂからの情報を用いた。このとき、画素９８ａ，９８ｂに白色または黒色の値を割り当てる方法として、ランダムに与える方法がある。この方法は、３次元立体像９０の１点の色を再現するための画素を算出し、算出された画素に対してランダムで白色と黒色の値を割り当てる。通常、３次元立体像９０を構成する点は、隣接する点と同程度の色を持つことが多い。このため、画素の白色と黒色をランダムに割り当てることで、隣接する点の間を注視した場合にも色ムラが生じなくて済む。なお、白色と黒色の割合は、元の３次元立体像９０の１点の色になるような割合とする。

具体的には、本例では、３次元立体像９０の１点が１個の要素レンズ９２のサイズで構成されていると仮定しているため、１個の要素レンズ９２から射出されて観察者の眼球αに入射する光線数によって階調が決まる。この光線数は、要素レンズ９２に対応する要素画像の画素数によって決まる。要素画像の画素数が無限大であれば階調数は無限大になり、画素数が有限であれば階調数は有限になる。観察者から３次元立体像９０の１点までの距離をＬ１、３次元立体像９０の１点からレンズアレイ９１までの距離をＬ２、３次元立体像９０の１点のサイズをｇ、観察者の瞳孔径をｄ、要素レンズ９２の焦点距離をｆ、要素レンズ９２の直径をｐとする。この場合、図９のように、観察者の眼球αに入射する要素レンズ９２からの光線の最大角度θは、下記の式（５）で表される
θ＝ｔａｎ^−１（（ｄ−ｇ）／２／Ｌ１）×２ …式（５）

なお、図９では計算を容易にするために、要素レンズ９２の直径ｐが観察者の瞳孔径ｄより大きいこととした。また、要素レンズ９２の主点、３次元立体像９０の１点の中心位置及び観察者の瞳孔中心が、レンズアレイ９１と垂直に交わるように一直線上にあることとした。

最大角度θ内における要素画像の画素が、３次元立体像９０の１点の階調の表現に寄与する。このとき、要素レンズ９２の焦点距離ｆ及び最大角度θから、要素画像を構成する１個の画素サイズｅが、下記の式（６）によって求められる。
ｅ＝２×ｔａｎ(θ／２)×ｆ／ｍ …式（６）

ここで、ｍは、最大角度θ内における水平方向又は垂直方向の画素数を意味する。例えば、最大角度θが１度の場合、白黒のみで２５６階調を表現するためには、要素画像の画素が１度以内に２５５個（階調数−１）だけ必要になる。この場合、縦１６個及び横１６個の画素が最大角度θ＝１度以内に含まれることになる。本実施形態では、３次元立体像９０を構成する各点の対応画素を式（５）及び式（６）で算出し、この対応画素に対してランダムでディザを適用する。

なお、式（６）で求まる画素サイズｅが元の階調表現に必要なサイズ以下の場合、例えば、８ビットから１ビットまで削減せず、８ビットから２ビットのように階調情報の削減率を低くし、階調情報を減らすことが可能である。この階調情報の削減率は、第１例、第２例の何れか一方又は両方を組み合わせることで求めることができる。

前記した第１例では、要素画像群９７の画素数を無限大と仮定したが、実際のところ、要素画像群９７の画素数は有限である。このため、ＩＰ方式では、レンズアレイ９１から離れるほど、空間周波数は低下し、３次元立体像９０がぼやけてしまう。

一方、３次元立体像９０がレンズアレイ９１から離れて観察者に近づくほど、観察者の眼球αに入る光線（画素）の数が多くなり、３次元立体像９０が観察者からレンズアレイ９１に近づくほど、眼球αに入る光線の数が少なくなり、光線の数がレンズアレイ９１面上で最少となり、レンズアレイ９１よりも遠方を観察するにつれて光線の数が再び増加する。遠方観察時、少なくとも観察者の瞳孔径と同等の領域の要素レンズ９２の個数だけ光線が観察者の眼球αに入射する。このように、３次元立体像９０と観察者との位置関係に応じて、眼球αに入る光線の数が異なる。このため、３次元立体像９０の画素数が有限の場合には解像度が落ちてぼやける一方、観察者に近いほど眼球αに入る光線の数が多くなる。

そこで、適用周波数算出部３０は、レンズアレイ情報に基づいて、仮想３次元空間内でレンズアレイ９１と３次元立体像９０と観察者との相対位置を求め、この相対位置に基づいて、ディザの適用周波数を算出する。

ここで、３次元立体像９０の位置がどこであっても、観察者の認識限度以上となるようにディザの適用周波数を算出する必要があるため、３次元立体像９０が観察者に一番近い場合でもディザの適用周波数を３０ｃｐｄ以上とし、観察者の瞳孔径を６．０ミリメートルとする。

観察者から２．５メートルの位置に立体画像表示装置９Ｂがある場合を考える。図１０（ａ）のように、３次元立体像９０の位置が観察者と立体画像表示装置９Ｂとの中間である１．２５メートルに位置する場合、前記した式（３）より認識限度が直径０．４ミリメートルの領域になる。そして、直径０．４ミリメートルの領域を通過する要素レンズ９２の領域Ｌｒ（レンズ領域）が、下記の式（７）のように直径６．０ミリメートルになる。
Ｌｒ＝２×ｔａｎ(θ／２）×Ｌ３＋ｇ …式（７）

なお、θが観察者の眼球αに入射される最大角度であり、式（５）によって求まる。また、Ｌ３が立体画像表示装置９Ｂから３次元立体像９０までの距離、ｇが３次元立体像９０の１点のサイズを表す。

３次元立体像９０の位置が観察者から０．７５メートル、かつ、立体画像表示装置９Ｂの表示領域が３次元立体像９０を構成するために十分な大きさがある場合、認識限度が直径０．２ｍｍの領域、３次元立体像９０の再現に必要な要素レンズ９２の領域が直径１３．７ミリメートルになる（不図示）。

図１０（ｂ）のように、観察者が２．５メートル離れたレンズアレイ９１面上の３次元立体像９０を観察し、レンズアレイ９１のレンズ密度が３０ｃｐｄ（要素レンズが６０個／度）である場合、レンズアレイ９１面における認識限度が、要素レンズ９２の領域と等しく、直径０．７ミリメートルになる。

図１０（ｃ）のように、無限遠にある３次元立体像９０を観察する場合、レンズアレイ９１面で観察者が観察する要素レンズ９２の領域は、観察者の瞳孔径にほぼ等しくなる。本例では、観察者の瞳孔径が６．０ミリメートルと仮定しているため、レンズアレイ９１面を見ているときよりも、観察者の眼球αに入射する光線に寄与する要素レンズ９２の個数は増加し、約７０個（（６．０／０．７）の２乗）の要素レンズ９２からの光線が観察者の眼球αに入射する。

ここでは、前記第１例に記載した階調を再現するのに寄与する要素レンズ９２の具体例を示した。本例では、レンズアレイ９１面上を観察した場合、１個の要素レンズ９２のみが階調情報の再現に寄与することになる。このため、元の要素画像群の階調情報が２５６であった場合、前記１個の要素レンズ９２から射出される光線のみで階調を再現する必要がある。逆に言うと、レンズアレイ９１面上以外では、複数の要素レンズ９２からの光線が観察者の眼球αに入射することになる。例えば、無限遠観察時に約７０個の要素レンズ９２からの光線が観察者の眼球αに入射する。ここで、元の要素画像群の階調情報が２５６であった場合、元の要素画像群と同じ階調表現を実現するためには、２５５本の光線が眼球αに入射する必要がある。従って、前記約７０個の要素レンズ９２からそれぞれ３本または４本の光線が眼球αに入るように各要素レンズ９２に対応した要素画像の画素サイズを決定すればよいことになる。

図４に戻り、立体画像生成装置１Ａの構成について、説明を続ける。
階調削減部４０は、適用周波数算出部３０から入力されたディザの適用周波数で３次元立体像９０にディザを施すものである。そして、階調削減部４０は、ディザを施した３次元立体像９０と、レンズアレイ情報及び要素画像群情報とを階調削減要素画像群生成部５０に出力する。

階調削減要素画像群生成部５０は、階調削減部４０から入力されたレンズアレイ情報及び要素画像群情報に基づいて、階調が削減された３次元立体像９０が含まれる階調削減要素画像群を生成するものである。

ここで、階調削減要素画像群生成部５０は、階調削減要素画像群を、要素画像群入力部１５に入力された要素画像群９７と同じ画素数にする必要がある。そこで、階調削減要素画像群生成部５０は、レンズアレイ情報及び要素画像群情報により、仮想３次元空間にレンズアレイ９１と、３次元立体像９０と、階調削減要素画像群の元となる初期画像とを配置する。この初期画像は、要素画像群９７と同じ画素数を有し、各画素の画素値が所定の値（例えば、‘０’）に初期化された画像である。

そして、階調削減要素画像群生成部５０は、初期化画像の各画素と、その画素に対応した要素レンズ９２の主点とを結んだ直線を求める。さらに、階調削減要素画像群生成部５０は、この直線が３次元立体像９０に接した交点を算出し、算出した交点の画素値で初期化画像の画素の画素値を置き換えて、階調削減要素画像群を生成する。その後、階調削減要素画像群生成部５０は、生成した階調削減要素画像群を出力する。

［立体画像生成装置の動作］
図１１を参照し、立体画像生成装置１Ａの動作について説明する（適宜図４参照）。
図１１のように、立体画像生成装置１Ａは、レンズアレイ情報入力部１１にレンズアレイ情報が入力される（ステップＳ１）。

立体画像生成装置１Ａは、要素画像群入力部１５に要素画像群９７が入力される（ステップＳ２）。
立体画像生成装置１Ａは、要素画像群情報入力部１３に要素画像群情報が入力される（ステップＳ３）。
立体画像生成装置１Ａは、立体像生成部２０によって、要素画像群９７に含まれる被写体の３次元立体像９０を生成する（ステップＳ４）

立体画像生成装置１Ａは、適用周波数算出部３０によって、３次元立体像９０に適用するディザの適用周波数を算出する（ステップＳ５）。
立体画像生成装置１Ａは、階調削減部４０によって、ステップＳ５で算出した適用周波数で３次元立体像９０にディザを施し、階調を削減する（ステップＳ６）。
立体画像生成装置１Ａは、階調削減要素画像群生成部５０によって、レンズアレイ情報及び要素画像群情報に基づいて、階調を削減した３次元立体像９０が含まれる階調削減要素画像群を生成する（ステップＳ７）。

以上のように、立体画像生成装置１Ａは、立体画像の解像度特性や、レンズアレイ９１と観察者と３次元立体像との位置関係に応じて、ディザの適用周波数を算出するので、ディザによる画質劣化を抑えることができる。

（変形例）
以上、本願発明の実施形態を詳述してきたが、本願発明は、前記した実施形態に限定されるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、３次元立体像毎に処理するものとして説明したが、全ての３次元立体像を１個に纏めて処理することもできる。

レンズアレイのレンズ配列は、デルタ配置でも正方配列でもよい。また、レンズアレイは、２次元状に微小レンズを配列したものだけでなく、水平方向に縦長のレンズを並べたレンチキュラーレンズや、ピンホールアレイを用いてもよい。

また、本願発明は、実施形態に係る立体画像生成装置としての機能を実現する立体画像生成プログラムにより実現することもできる。この場合、立体画像生成プログラムは、コンピュータで読み取り可能な記録媒体に記録され、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行される。

１，１Ａ 立体画像生成装置
１１ レンズアレイ情報入力部
１３ 要素画像群情報入力部
１５ 要素画像群入力部
２０ 立体像生成部
３０ 適用周波数算出部
４０ 階調削減部
５０ 階調削減要素画像群生成部

Claims (2)

1. インテグラルフォトグラフィ方式における要素画像群の階調が削減された階調削減要素画像群を生成する立体画像生成装置であって、
   要素レンズが２次元状に配列されたレンズアレイのレンズ間隔と、前記レンズアレイから観察者までの距離と、前記要素レンズの焦点距離と、前記要素レンズの個数とが、レンズアレイ情報として入力されるレンズアレイ情報入力部と、
   前記要素画像群が入力される要素画像群入力部と、
   前記要素画像群の画素数と、前記要素画像群の画素サイズと、前記要素画像群の階調数と、前記要素画像群を構成する隣り合う要素画像間の距離とが、要素画像群情報として入力される要素画像群情報入力部と、
   前記レンズアレイ情報及び前記要素画像群情報に基づいて、前記要素画像群に含まれる被写体の３次元立体像を仮想３次元空間に生成する立体像生成部と、
   前記レンズアレイ情報に基づいて、前記仮想３次元空間における前記レンズアレイと前記３次元立体像との相対位置を求め、求めた前記相対位置に応じたディザの適用周波数を算出する適用周波数算出部と、
   前記適用周波数算出部が算出した適用周波数で前記３次元立体像にディザを施す階調削減部と、
   前記レンズアレイ情報及び前記要素画像群情報に基づいて、階調が削減された前記３次元立体像が含まれる前記階調削減要素画像群を生成する階調削減要素画像群生成部と、
   を備えることを特徴とする立体画像生成装置。
2. コンピュータを、請求項１に記載の立体画像生成装置として機能させるための立体画像生成プログラム。

Images