JP6055595B2

JP6055595B2 - 立体画像撮影装置および立体画像表示装置

Info

Publication number: JP6055595B2
Application number: JP2012002000A
Authority: JP
Inventors: 人誌日浦; 澄男矢野; 洗井　淳; 淳洗井; 三科　智之; 智之三科; 岩舘　祐一; 祐一岩舘
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2012-01-10
Filing date: 2012-01-10
Publication date: 2016-12-27
Anticipated expiration: 2032-01-10
Also published as: JP2013142742A

Description

本発明は、立体画像撮影装置および立体画像表示装置に関する。

空間像再生方式の一つとして、インテグラルフォトグラフィが知られている（例えば、特許文献１参照）。このインテグラルフォトグラフィを適用した撮影装置は、微小な要素レンズを二次元配列して構成したレンズアレイを介して被写体を撮影しインテグラル画像を生成する。そして、インテグラルフォトグラフィを適用した表示装置は、インテグラル画像を表示面に表示させて光束を発生させ、この光束をレンズアレイに通すことによって空間に立体像を生成する。つまり、インテグラルフォトグラフィは、表示装置の表示面から到来する光束が、実際の被写体から到来する光束と同じになるように、光の像を生成する再生方式である。

特開２００１−２２８５７０号公報

従来の撮影系のインテグラルフォトグラフィでは、被写体から要素レンズを通して得られる光束の幅は、その要素レンズに対する入射角度に応じて変化する。よって、撮像素子の撮像面に照射される光束の密度は均一ではなく、撮像により得られる画像の精細度が均一ではない。また、従来の表示系のインテグラルフォトグラフィでは、表示面から要素レンズを通して得られる光束の幅は、その要素レンズに対する入射角度に応じて変化する。よって、表示面から要素レンズを通して得られる光束の密度は均一ではなく、表示によって得られる立体像の精細度が均一ではない。
本発明は、上記問題を解決するためになされたものであり、インテグラルフォトグラフィにおいて、視域内において高精細な立体像を得ることができる、立体画像撮影装置および立体画像表示装置を提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様である立体画像撮影装置は、複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを第１平面上に配列して構成した第１レンズアレイと、複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを前記第１平面と交差する第２平面上に配列して構成した第２レンズアレイと、前記第１レンズアレイおよび前記第２レンズアレイを通して得られる光束を撮像して撮像画像データを生成する撮像部と、前記撮像部が生成した前記撮像画像データに基づいて、前記要素レンズに対応する要素画像の集合であるインテグラル画像を生成する画像処理部と、を備えることを特徴とする。
［２］上記［１］記載の立体画像撮影装置において、前記画像処理部は、前記撮像画像データから、要素レンズ自体が写る画像領域のデータを除外する処理を実行することを特徴とする。
［３］上記の課題を解決するため、本発明の一態様である立体画像表示装置は、相互に視差を有する複数の要素画像の集合である第１インテグラル画像を表示する第１表示部と、相互に視差を有する複数の要素画像の集合である第２インテグラル画像を表示する第２表示部と、複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを第１平面上に配列して構成し、前記第１インテグラル画像の光束を受光する位置に設けた第１レンズアレイと、複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを前記第１平面と交差する第２平面上に配列して構成し、前記第２インテグラル画像の光束を受光する位置に設けた第２レンズアレイと、を備えることを特徴とする。

本発明によれば、インテグラルフォトグラフィにおいて、視域内において高精細な立体像を得ることができる。

本発明の実施形態である立体画像撮影装置に適用されるレンズアレイの概略の外観を模式的に示す図であり、立体画像撮影装置に組み込んだ場合にこの立体画像撮影装置の斜め前方向に視点をおいた斜視図である。本発明の実施形態である立体画像表示装置に適用されるレンズアレイの概略の外観を模式的に示す図であり、立体画像表示装置に組み込んだ場合にこの立体画像表示装置の斜め前方向に視点をおいた斜視図である。本実施形態である立体画像撮影装置および立体画像表示装置の概略構成を示す図である。それぞれ、撮影系および表示系の上側レンズアレイおよび下側レンズアレイそれぞれにおける要素レンズの配列を示す図である。それぞれ、ピンホールアレイにおけるピンホール一列を、一列分の光軸を含む面で切ったときの断面図であり、ピンホールを通る光束により得られる画素列を示した図、およびピンホールと画素列との最短の距離が画素の幅に対して十分に長い場合の、ピンホールを通る光線により得られる画素列を示した図である。それぞれ、レンズアレイにおける要素レンズ一列を、一列分の光軸を含む面で切ったときの断面図であり、要素レンズを通る光束により得られる画素列を示した図、および焦点距離が画素の幅に対して十分に長い場合の、要素レンズを通る光束により得られる画素列を示した図である。撮影系のレンズアレイおよび撮像部を、図１におけるＹＺ平面に平行な面であって要素レンズ群における任意の要素レンズ一列の光軸を含む面で切った概略の模式的な断面図である。表示部および表示系のレンズアレイを、図２におけるＹ’Ｚ’平面に平行な面であって要素レンズ群における任意の要素レンズ一列の光軸を含む面で切った概略の模式的な断面図である。視線方向に応じたレンズアレイの光学特性を示す図である。複数のレンズアレイペアを鉛直方向に連結した構成の撮影系のレンズアレイの概略の外観を模式的に示す図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の実施形態である立体画像撮影装置に適用されるレンズアレイの概略の外観を模式的に示す図であり、立体画像撮影装置に組み込んだ場合にこの立体画像撮影装置の斜め前方向に視点をおいた斜視図である。

図１に示すレンズアレイ１１０は、本実施形態である立体画像撮影装置に適用されるレンズアレイペア、レンズアレイアセンブリ、またはレンズアレイセットである。レンズアレイ１１０は、例えば、上側レンズアレイ（第１レンズアレイ）１１０ｕおよび下側レンズアレイ（第２レンズアレイ）１１０ｄ（これら二つのレンズアレイそれぞれを、サブレンズアレイとも言う。）を組み合わせて構成される。上側レンズアレイ１１０ｕは、複数の要素レンズを、各光軸が平行となるように規則的に平面（第１平面）１１０ｓｕ上に配列（以下、二次元配列という。）させて構成した要素レンズ群（上側要素レンズ群）である。下側レンズアレイ１１０ｄは、複数の要素レンズを、各光軸が平行となるように規則的に平面（第２平面）１１０ｓｄ上に二次元配列させて構成した要素レンズ群（下側要素レンズ群）である。平面１１０ｓｕは、上側レンズアレイ１１０ｕに含まれる複数の要素レンズそれぞれの光軸に直交する平面であり、平面１１０ｓｄは、下側レンズアレイ１１０ｄに含まれる複数の要素レンズそれぞれの光軸に直交する平面である。
なお、同図では複数の要素レンズの図示を省略し、これら要素レンズの二次元配列の規則性については後述する。

図１に示す三次元直交座標系の原点は、立体画像撮影装置の撮影領域における中心軸（以下、撮影中心軸という。）が貫く点である。Ｘ軸は、平面１１０ｓｕと平面１１０ｓｄとが交差する直線に同軸または平行な軸である。Ｙ軸は、例えば鉛直方向の軸である。Ｚ軸は、立体画像撮影装置の撮影中心軸と同軸である。
上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄは、形状および大きさが略同一（同一を含む。）である。また、上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄは、平面１１０ｓｕと平面１１０ｓｄとがなす角度が立体画像撮影装置の前方から見て劣角、つまり０度から１８０度までの範囲内の角度となるように設けられる。本実施形態では、この角度をサブレンズアレイの配置角度と言う。本実施形態では、ＸＺ平面と平面１１０ｓｕとがなす角度を３０度、ＸＺ平面と平面１１０ｓｄとがなす角度を３０度、すなわち、レンズアレイ１１０におけるサブレンズアレイの配置角度を６０度とした例について具体的に説明する。

図２は、本発明の実施形態である立体画像表示装置に適用されるレンズアレイの概略の外観を模式的に示す図であり、立体画像表示装置に組み込んだ場合にこの立体画像表示装置の斜め前方向に視点をおいた斜視図である。

図２に示すレンズアレイ２３０は、本実施形態である立体画像表示装置に適用されるレンズアレイペア、レンズアレイアセンブリ、またはレンズアレイセットである。レンズアレイ２３０は、例えば、上側レンズアレイ（第１レンズアレイ）２３０ｕおよび下側レンズアレイ（第２レンズアレイ）２３０ｄ（これら二つのレンズアレイそれぞれを、サブレンズアレイとも言う。）を組み合わせて構成される。上側レンズアレイ２３０ｕは、複数の要素レンズを、各光軸が平行となるように規則的に平面（第１平面）２３０ｓｕ上に二次元配列させて構成した要素レンズ群（上側要素レンズ群）である。下側レンズアレイ２３０ｄは、複数の要素レンズを、各光軸が平行となるように規則的に平面（第２平面）２３０ｓｄ上に二次元配列させて構成した要素レンズ群（下側要素レンズ群）である。平面２３０ｓｕは、上側レンズアレイ２３０ｕに含まれる複数の要素レンズそれぞれの光軸に直交する平面であり、平面２３０ｓｄは、下側レンズアレイ２３０ｄに含まれる複数の要素レンズそれぞれの光軸に直交する平面である。
なお、同図では複数の要素レンズの図示を省略し、これら要素レンズの二次元配列の規則性については後述する。

図２に示す三次元直交座標系の原点は、立体画像表示装置の表示領域における中心軸（以下、表示中心軸という。）が貫く点である。Ｘ’軸は、平面２３０ｓｕと平面２３０ｓｄとが交差する直線に同軸または平行な軸である。Ｙ’軸は、例えば鉛直方向の軸である。Ｚ’軸は、立体画像表示装置の表示中心軸と同軸である。
上側レンズアレイ２３０ｕおよび下側レンズアレイ２３０ｄは、形状および大きさが略同一（同一を含む。）である。また、上側レンズアレイ２３０ｕおよび下側レンズアレイ２３０ｄは、平面２３０ｓｕと平面２３０ｓｄとがなす角度（サブレンズアレイの配置角度）が立体画像表示装置の前方から見て劣角、つまり０度から１８０度までの範囲内の角度となるように設けられる。レンズアレイ１１０およびレンズアレイ２３０それぞれにおけるサブレンズアレイの配置角度は同一値である。本実施形態では、Ｘ’Ｚ’平面と平面２３０ｓｕとがなす角度を３０度、Ｘ’Ｚ’平面と平面２３０ｓｄとがなす角度を３０度、すなわち、レンズアレイ２３０におけるサブレンズアレイの配置角度を６０度とした例について具体的に説明する。

図３は、本実施形態である立体画像撮影装置および立体画像表示装置の概略構成を示す図である。同図は、被写体Ｓを空間像再生方式の一方式であるインテグラルフォトグラフィにより撮影してインテグラル画像を生成する立体画像撮影装置１と、立体画像撮影装置１が生成したインテグラル画像を表示してインテグラルフォトグラフィにより空間に立体像Ｓ’を生成する立体画像表示装置２とを示す。

立体画像撮影装置１は、例えば、動画像および静止画像またはいずれかを撮影可能なカメラ装置により実現される。立体画像撮影装置１は、レンズアレイ１１０と、撮像部１２０と、画像処理部１３０と、記憶部１４０と、画像供給部１５０とを備える。レンズアレイ１１０は、上側レンズアレイ１１０ｕと下側レンズアレイ１１０ｄとを備える。撮像部１２０は、上側撮像部（第１撮像部）１２０ｕと下側撮像部（第２撮像部）１２０ｄとを備える。
ただし、同図における立体画像撮影装置１の構成のうち、レンズアレイ１１０および撮像部１２０は、立体画像撮影装置１の側面から見た場合の概略の模式的な断面図である。また、画像処理部１３０と記憶部１４０と画像供給部１５０とは、機能構成を示すブロックである。

レンズアレイ１１０は、外部から到来する光束を集光し、この集光した光束を撮像部１２０の撮像面に結像させる。具体的に、レンズアレイ１１０における上側レンズアレイ１１０ｕは、外部から到来する光束を上側要素レンズ群で集光し、これら集光した光束を上側撮像部１２０ｕの撮像面に結像させる。また、レンズアレイ１１０における下側レンズアレイ１１０ｄは、外部から到来する光束を下側要素レンズ群で集光し、これら集光した光束を下側撮像部１２０ｄの撮像面に結像させる。上側要素レンズ群および下側要素レンズ群における各要素レンズは、例えば、樽型歪および糸巻歪等の歪曲収差がないか無視できるほど小さい凸レンズである。歪曲収差がないか無視できるほど小さいとは、歪率が略０％（０％を含む。）であることを意味する。

撮像部１２０は、レンズアレイ１１０から到来する光束を撮像して撮像画像データを生成し、この撮像画像データを画像処理部１３０に供給する。具体的に、撮像部１２０における上側撮像部１２０ｕは、上側レンズアレイ１１０ｕから到来する光束を撮像して上側撮像画像データ（第１撮像画像データ）を生成し、この上側撮像画像データを画像処理部１３０に供給する。また、撮像部１２０における下側撮像部１２０ｄは、下側レンズアレイ１１０ｄから到来する光束を撮像して下側撮像画像データ（第２撮像画像データ）を生成し、この下側撮像画像データを画像処理部１３０に供給する。

上側撮像部１２０ｕおよび下側撮像部１２０ｄそれぞれは、例えば、ＣＣＤ（ＣｈａｒｇｅｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により実現される。

画像処理部１３０は、撮像部１２０から供給される撮像画像データを取り込む。具体的に、画像処理部１３０は、上側撮像部１２０ｕから供給される上側撮像画像データと、下側撮像部１２０ｄから供給される下側撮像画像データとを取り込む。そして、画像処理部１３０は、上側撮像画像データおよび下側撮像画像データから、要素レンズ自体が写る画像の領域、つまり不必要な画像の領域を除外する不要画像除外処理を実行し、上側インテグラル画像データ（第１インテグラル画像データ）および下側インテグラル画像データ（第２インテグラル画像データ）を生成する。そして、画像処理部１３０は、上側インテグラル画像データと下側インテグラル画像データとを対応付けたインテグラル画像データを生成し、このインテグラル画像データを記憶部１４０に供給する。

具体的に、上側撮像画像データおよび下側撮像画像データが静止画像データである場合、画像処理部１３０は、不要画像除外処理を実行して得た上側インテグラル画像データおよび下側インテグラル画像データを、識別情報（時刻情報、識別子等）に対応付けたインテグラル画像データを生成する。また、上側撮像画像データおよび下側撮像画像データが動画像データである場合、画像処理部１３０は、不要画像除外処理を実行して得た上側インテグラル画像データおよび下側インテグラル画像データを、フレーム画像ごとに識別情報（タイムスタンプ、識別子等）に対応付けたインテグラル画像データを生成する。

ここで、上記の不要画像除外処理について説明する。上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄは、図１におけるＸＺ平面を挟み相互に傾斜して向き合うため、上側レンズアレイ１１０ｕの視野内に下側レンズアレイ１１０ｄが含まれるとともに、下側レンズアレイ１１０ｄの視野内に上側レンズアレイ１１０ｕが含まれる場合がある。各要素レンズによって得られる要素画像において、相手側のレンズアレイが映る部分は立体像の再生に用いることができない画像情報である。すなわち、この画像情報が上記の不必要な画像である。

画像処理部１３０は、不要画像除外処理として以下の処理を実行する。つまり、画像処理部１３０は、上側撮像画像データに含まれる複数の要素画像それぞれについて、当該要素画像に対応する要素レンズの位置、光軸の方向、視野角、下側レンズアレイ１１０ｄの位置、および大きさに基づいて不必要な画像の領域を計算する。そして、画像処理部１３０は、上側撮像画像データが有する複数の要素画像それぞれについて、不必要な画像の領域を所定の色（例えば、黒色）でマスクしたり、トランスペアレントにしたりする処理を実行する。

また、画像処理部１３０は、下側撮像画像データに含まれる複数の要素画像それぞれについて、当該要素画像に対応する要素レンズの位置、光軸の方向、視野角、上側レンズアレイ１１０ｕの位置、および大きさに基づいて不必要な画像の領域を計算する。そして、画像処理部１３０は、下側撮像画像データが有する複数の要素画像それぞれについて、不必要な画像の領域を所定の色（例えば、黒色）でマスクしたり、トランスペアレントにしたりする処理を実行する。

記憶部１４０は、画像処理部１３０から供給されるインテグラル画像データを記憶する。記憶部１４０は、例えば半導体記憶装置により実現される。
画像供給部１５０は、記憶部１４０に記憶されたインテグラル画像データを読み込み、このインテグラル画像データを立体画像表示装置２に供給する。

立体画像表示装置２は、例えば、直視型ディスプレイ、例えば液晶パネル表示装置により実現される。立体画像表示装置２は、画像取得部２１０と、表示部２２０と、レンズアレイ２３０とを備える。表示部２２０は、上側表示部（第１表示部）２２０ｕと下側表示部（第２表示部）２２０ｄとを備える。レンズアレイ２３０は、上側レンズアレイ２３０ｕと下側レンズアレイ２３０ｄとを備える。
ただし、図３における立体画像表示装置２の構成のうち、表示部２２０およびレンズアレイ２３０は、立体画像表示装置２の側面から見た場合の概略の模式的な断面図である。また、画像取得部２１０は、機能構成を示すブロックである。

画像取得部２１０は、立体画像撮影装置１の画像供給部１５０から供給されるインテグラル画像データを取り込み、このインテグラル画像データを表示部２２０に供給する。具体的に、画像取得部２１０は、画像供給部１５０から供給されるインテグラル画像データを取り込み、このインテグラル画像データのうち、上側インテグラル画像データを上側表示部２２０ｕに、下側インテグラル画像データを下側表示部２２０ｄにそれぞれ供給する。

表示部２２０は、画像取得部２１０から供給されるインテグラル画像データを取り込み、表示部２２０の表示面にインテグラル画像を表示する。具体的に、上側表示部２２０ｕは、画像取得部２１０から供給される上側インテグラル画像データを取り込み、上側表示部２２０ｕの表示面にその上側インテグラル画像を表示させる。下側表示部２２０ｄは、画像取得部２１０から供給される下側インテグラル画像データを取り込み、下側表示部２２０ｕの表示面にその下側インテグラル画像を表示させる。

上側表示部２２０ｕおよび下側表示部２２０ｄそれぞれは、例えば、液晶表示素子等の固体表示素子により実現される。

レンズアレイ２３０は、表示部２２０の表示面から到来する光束を集光し、この集光した光束を空間に放射する。具体的に、レンズアレイ２３０における上側レンズアレイ２３０ｕは、上側表示部２２０ｕの表示面から到来する光束を上側要素レンズ群で集光し、これら集光した光束を空中に放射する。また、レンズアレイ２３０における下側レンズアレイ２３０ｄは、下側表示部２２０ｄの表示面から到来する光束を下側要素レンズ群で集光し、これら集光した光束を空中に放射する。上側要素レンズ群および下側要素レンズ群における各要素レンズは、例えば、樽型歪および糸巻歪等の歪曲収差がないか無視できるほど小さい凹レンズである。レンズアレイ２３０における要素レンズの配列の規則性は、レンズアレイ１１０における要素レンズの配列の規則性と同一である。

なお、上側撮像部１２０ｕおよび下側撮像部１２０ｄ、上側表示部２２０ｕおよび下側表示部２２０ｄは、単板式でも赤色、緑色、および青色による３板式でもよい。また、上側撮像部１２０ｕおよび下側撮像部１２０ｄ、上側表示部２２０ｕおよび下側表示部２２０ｄは、緑色を２系統とし、一方の緑色成分の画像に対して他方の緑色成分の画像を水平方向もしくは垂直方向または両方向に０．５画素分ずらして構成する４板式でもよい。

図４（ａ），（ｂ）の各図は、撮影系の上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄ、ならびに表示系の上側レンズアレイ２３０ｕおよび下側レンズアレイ２３０ｄそれぞれにおける要素レンズの配列を示す図である。同図（ａ），（ｂ）とも、レンズアレイの一部分を示している。
同図（ａ）は、複数の要素レンズを正方格子状に配列した例である。要素レンズの直径をＤとすると、正方格子状の配列において、Ｕ軸方向のピッチＰ_Ｕは、Ｄ≦Ｐ_Ｕである。また、Ｖ軸方向のピッチＰ_Ｖは、Ｄ≦Ｐ_Ｖである。
また、同図（ｂ）は、複数の要素レンズをデルタ配列した例である。デルタ配列において、Ｕ軸方向のピッチＰ_Ｕは、Ｄ／２≦Ｐ_Ｕである。また、Ｖ軸方向のピッチＰ_Ｖは、（√３）Ｄ／２≦Ｐ_Ｖである。

次に、レンズアレイ１１０の一部分（例えば、上側レンズアレイ１１０ｕの一部分）をピンホールアレイに置き換えて立体画像撮影装置１に適用した場合の、外部から上側撮像部１２０ｕに対する光線の方向を幾何光学により説明する。
図５（ａ），（ｂ）は、ピンホールアレイを、ピンホール一列分を含む面で切ったときの断面図である。同図（ａ）は、ピンホールを通る光線により得られる画素列を示している。同図（ａ）において、画素列１１はピンホール１２を通して得られる画素の列の一部である。画素列１１における各画素のＸ軸方向の幅はＰ_ｅである。また、ｆはピンホール１２から画素列１１に対する垂線の距離である。同図（ａ）において、ピンホール１２を通して画素Ｐ_１を得るための光線の角度変位量α_１、および画素Ｐ_２を得るための角度変位量α_２は、下記の式（１）により表される。

ピンホールを通して画素を得るための光線の角度変位量を、当該画素に対するサンプリング角度量という。式（１）により、ピンホールから画素列に対する垂線とその画素列とが交わる位置から画素の位置が離れるほど、当該画素に対するサンプリング角度量は小さくなる。

図５（ｂ）は、ピンホールから画素列に対する垂線の距離が画素の幅に対して十分に長い場合の、ピンホールを通る光線により得られる画素列を示した図である。同図（ｂ）において、画素列１１ａはピンホール１２を通して得られる画素の列の一部である。画素列１１ａにおける各画素のＸ軸方向の幅は、同図（ａ）における画素幅Ｐ_ｅに対して極めて狭い幅である。画素列１１ａの要素画像における中心位置を（Ｃ_ｘ，Ｃ_ｙ）とし、この中心位置（Ｃ_ｘ，Ｃ_ｙ）とピンホール１２の位置とを結ぶ直線ＺがＸ軸に直交する場合、画素の中心の位置が（Ｐ_ｘ，Ｐ_ｙ）である画素についての中心サンプリング角度β（Ｐ_ｘ，Ｐ_ｙ）は、下記の式（２）により表される。

式（２）に示すとおり、光線の中心サンプリング角度β（Ｐ_ｘ，Ｐ_ｙ）は逆正接関数により求められるため、画素の線形な位置の変化に対する中心サンプリング角度の変化は非線形となる。具体的には、中心サンプリング角度の変化量は、要素画像の中心位置から離れるにしたがって少なくなる。すなわち、被写体からピンホールアレイを介して到来する光線のサンプリング間隔は、ピンホールに対する入射角度が大きいほど狭くなる。入射角度とは、ピンホールアレイにおける複数のピンホールを含む面に直交し且つピンホールを通る直線に対して入射光線のなす角度である。よって、ピンホールだけでなく、通常レンズにおいても、入射角度が大きくなるほど、撮像により得られる画像の精細度は高くなる。

レンズアレイ２３０の一部分（例えば、上側レンズアレイ２３０ｕの一部分）またはピンホールアレイを立体画像表示装置２に適用した場合の、上側表示部２２０ｕの表示面から外部に対する光線についても、上記の撮影系の場合と同様である。したがって、立体像をレンズアレイまたはピンホールアレイに正対する方向から観察するよりも、その方向から角度がついた方向から観察した方が、精細度が高い立体像を得ることができる。

次に、例えば、外部から上側レンズアレイ１１０ｕを介して上側撮像部１２０に到来する光線の方向を幾何光学により説明する。
図６（ａ），（ｂ）は、レンズアレイ１１０の一部分（例えば、上側レンズアレイ１１０ｕの一部分）における要素レンズ一列を、一列分の光軸を含む面で切ったときの断面図である。同図（ａ）は、要素レンズを通る光束により得られる画素列を示している。同図（ａ）において、画素列１１ｂは要素レンズ１３を通して得られる画素の列の一部である。画素列１１ｂにおける各画素のＸ軸方向の幅はＰ_ｅである。また、ｆは要素レンズ１３の焦点距離である。中心サンプリング角度は、要素レンズ１３の光軸と要素レンズ１３を通して画素が得る主光線とのなす角度である。図５（ａ）に示したピンホールアレイを適用した場合と同様に、通常レンズアレイを適用した場合でも、要素レンズの光軸と画素列とが交わる位置から画素の位置が離れるほど、当該画素に対するサンプリング角度量は小さくなる。

図６（ｂ）は、画素の幅に対して焦点距離が十分に長い場合の、要素レンズを通る光束により得られる画素列を示した図である。同図（ｂ）において、画素列１１ｃは、要素レンズ１３を通して得られる画素の列の一部である。画素列１１ｃにおける各画素のＸ軸方向の幅は、同図（ａ）における画素幅Ｐ_ｅに対して極めて狭い幅である。同図（ｂ）において、画素の幅に対して焦点距離ｆが十分に長いと近似する場合における中心サンプリング角度は、要素レンズ１３の光軸Ｚと要素レンズ１３を通して画素が得る主光線とのなす角度である。つまり、要素レンズ１３の直径をＤ、中心サンプリング角度を図５（ｂ）と同様にβ（Ｐ_ｘ，Ｐ_ｙ）とすると、要素レンズ１３の中心サンプリング角度β（Ｐ_ｘ，Ｐ_ｙ）における光束のサンプリング幅Ｗ（Ｐ_ｘ，Ｐ_ｙ）は、下記の式（３）として表される。サンプリング幅Ｗ（Ｐ_ｘ，Ｐ_ｙ）は、光軸Ｚに対し中心サンプリング角度を有して要素レンズ１３に入射する光束を、この光束に直交する面で切った断面の最大幅である。

式（３）に示すとおり、光束のサンプリング幅Ｗ（Ｐ_ｘ，Ｐ_ｙ）は余弦関数により求められるため、画素の線形な位置の変化に対するサンプリング幅の変化は非線形となる。具体的には、画素の位置の変化に対するサンプリング幅の変化量は、要素画像の中心位置から離れるにしたがって狭くなる。すなわち、被写体からレンズアレイを介して到来する光束のサンプリング幅は、要素レンズに対する入射角度が大きいほど狭くなる。言い換えると、被写体からレンズアレイを介して到来する光束のサンプリング幅が狭くなるとサンプリング密度は高くなる。よって、入射角度が大きくなるほど、空間周波数の高い情報を得ることができる。

例えば、上側表示部２２０ｕから上側レンズアレイ２３０ｕを介して外部に放射する光束についても、上記の撮影系の場合と同様である。したがって、立体像をレンズアレイに正対する方向から観察するよりも、その方向から角度がついた方向から観察した方が、精細度が高い立体像を得ることができる。

以上により、ピンホールアレイおよびレンズアレイのいずれを適用しても、被写体から到来する光線のサンプリング密度は、入射角度が大きくなるほど高くなり、また、表示部から出射される光線のサンプリング密度は、出射角度が大きくなるほど高くなる。出射角度とは、光軸に対し出射光線のなす角度である。

図７は、レンズアレイ１１０および撮像部１２０を、図１におけるＹＺ平面に平行な面であって要素レンズ群における任意の要素レンズ一列の光軸を含む面で切った概略の模式的な断面図である。なお、同図における要素レンズの個数は、実際とは異なる。
同図において、Ｄは、上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄが有する各要素レンズの直径である。ｆは、各要素レンズの焦点距離である。要素レンズの主点を一つとして近似した場合、上側レンズアレイ１１０ｕが有する複数の要素レンズそれぞれの主点を含む平面とＸＺ平面とがなす角度θ_ｕと、下側レンズアレイ１１０ｄが有する複数の要素レンズそれぞれの主点を含む平面とＸＺ平面とがなす角度θ_ｄとの合計角度は、レンズアレイ１１０におけるサブレンズアレイの配置角度である。同図に示すように、上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄは、サブレンズアレイの配置角度が立体画像撮影装置１の前方から見て劣角（０度から１８０度までの範囲内の角度）となるように設けられる。角度θ_ｕは例えば３０度、角度θ_ｄは例えば３０度である。

図８は、表示部２２０およびレンズアレイ２３０を、図２におけるＹ’Ｚ’平面に平行な面であって要素レンズ群における任意の要素レンズ一列の光軸を含む面で切った概略の模式的な断面図である。なお、同図における要素レンズの個数は、実際とは異なる。
同図において、Ｄは、上側レンズアレイ２３０ｕおよび下側レンズアレイ２３０ｄが有する各要素レンズの直径である。ｆは、各要素レンズの焦点距離である。要素レンズの主点を一つとして近似した場合、上側レンズアレイ２３０ｕが有する複数の要素レンズそれぞれの主点を含む平面とＸ’Ｚ’平面とがなす角度θ_ｕと、下側レンズアレイ２３０ｄが有する複数の要素レンズそれぞれの主点を含む平面とＸ’Ｚ’平面とがなす角度θ_ｄとの合計角度は、レンズアレイ２３０におけるサブレンズアレイの配置角度である。同図に示すように、上側レンズアレイ２３０ｕおよび下側レンズアレイ２３０ｄは、サブレンズアレイの配置角度が立体画像表示装置２の前方から見て劣角（０度から１８０度までの範囲内の角度）となるように設けられる。角度θ_ｕは例えば３０度、角度θ_ｄは例えば３０度である。Ｗ_ＨおよびＷ_Ｗは、立体画像表示装置２の前方側の表示中心軸方向から見たときの、表示面の見かけ上の高さおよび幅である。

図９は、サブレンズアレイの配置角度が６０度であるレンズアレイ２３０を図２に示す姿勢で設置した場合の、観察者が見る方向（視線方向）に応じたレンズアレイ２３０の光学特性である。図９は、要素レンズ群を正方格子型に配列したレンズアレイ２３０の例である。また、同図の特性値は、十分離れた位置から観察した場合の幾何光学による近似値である。具体的には、図９の特性値は、視線方向が正面方向（レンズアレイ２３０のＺ’軸方向）、正面方向から上方向（上側）に３０度傾斜した方向、正面方向から上方向（上側）に６０度傾斜した方向、正面方向から右方向（右側）に３０度傾斜した方向、および正面方向から右方向に６０度傾斜した方向である場合における、レンズアレイ２３０の光学特性を示す表である。ただし、同図において、「見かけ上の画面の高さ」は、観察者の視線方向に応じた見かけ上の画面の垂直方向の大きさである。「見かけ上の画面の幅」は、観察者の視線方向に応じた見かけ上の画面の水平方向の大きさである。「見かけ上の要素レンズの高さ（上側）」および「見かけ上の要素レンズの高さ（下側）」は、要素レンズの見かけ上の高さ寸法である。上側は上側レンズアレイ２３０ｕ、下側は下側レンズアレイ２３０ｄに対応する（以下同様）。「見かけ上の要素レンズの幅（上側）」および「見かけ上の要素レンズの幅（下側）」は、要素レンズの見かけ上の幅寸法である。「出射角度（上側）」および「出射角度（下側）」は、視線方向と要素レンズの光軸とのなす角度である。「画面内の要素レンズの垂直方向の数」および「画面内の要素レンズの水平方向の数」は、視線方向に対して画面から得られる要素レンズの垂直方向および水平方向の数である。「垂直方向の光線密度」および「水平方向の光線密度」は、視線方向に対して単位面積あたりの垂直方向および水平方向の光線の密度である。「垂直方向の光線密度」および「水平方向の光線密度」それぞれは、「見かけ上の要素レンズの高さ」および「見かけ上の要素レンズの幅」それぞれの逆数に等しい。

以上説明したとおり、本発明の実施形態における立体画像撮影装置１は、複数の要素レンズの光軸が平行となるようこれら複数の要素レンズを平面１１０ｓｕ上に配列して構成した上側レンズアレイ１１０ｕと、複数の要素レンズの光軸が平行となるようこれら複数の要素レンズを平面１１０ｕと交差する平面１１０ｄ上に配列して構成した下側レンズアレイ１１０ｄと、上側レンズアレイ１１０ｕを通して得られる光束を撮像して上側撮像画像データを生成する上側撮像部１２０ｕと、下側レンズアレイ１１０ｄを通して得られる光束を撮像して下側撮像画像データを生成する下側撮像部１２０ｄと、上側撮像画像データおよび下側撮像データに基づいて、要素レンズに対応する要素画像の集合であるインテグラル画像データを生成する画像処理部１３０とを備える。

この構成によれば、平面１１０ｓｕおよび平面１１０ｓｄが交差するため、上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄは所定の角度をもって配置される。例えば、上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄは、平面１１０ｓｕと平面１１０ｓｄとがなす角度が立体画像撮影装置１の前方から見て劣角（０度から１８０度までの範囲内の角度）となるように設けられる。よって、立体画像撮影装置１の撮影中心軸の方向におけるサンプリング角度量が狭く、すなわちサンプリング密度が高いインテグラル画像を生成することができる。
したがって、立体画像撮影装置１によれば、自装置に対して正面方向における撮像画像の光束密度（光線密度）を高くすることができる。

また、サンプリング角度量が小さいほど、被写体の奥行方向を高精細にとらえることができる。よって、立体画像撮影装置１によれば、自装置に対し正面方向にある被写体における奥行方向の精細度が高いインテグラル画像を取得することができる。

また、立体画像撮影装置１の画像処理部１３０は、上側撮像画像データおよび下側撮像画像データから不必要な画像領域、例えば、要素レンズ自体が写る画像を除外する不要画像除外処理を実行する。

また、本発明の実施形態における立体画像表示装置２は、相互に視差を有する複数の要素画像の集合である上側インテグラル画像を表示する上側表示部２２０ｕと、相互に視差を有する複数の要素画像の集合である下側インテグラル画像を表示する下側表示部２２０ｄと、複数の要素レンズの光軸が平行となるようこれら複数の要素レンズを平面２３０ｓｕ上に配列して構成し、上側インテグラル画像の光束を受光する位置に設けた上側レンズアレイ２３０ｕと、複数の要素レンズの光軸が平行となるようこれら複数の要素レンズを平面２３０ｓｕと交差する平面２３０ｓｄ上に配列して構成し、下側インテグラル画像の光束を受光する位置に設けた下側レンズアレイ２３０ｄとを備える。

この構成によれば、平面２３０ｓｕおよび平面２３０ｓｄが交差するため、上側レンズアレイ２３０ｕおよび下側レンズアレイ２３０ｄは所定の角度をもって配置される。例えば、上側レンズアレイ２３０ｕおよび下側レンズアレイ２３０ｄは、平面２３０ｓｕと平面２３０ｓｄとがなす角度が立体画像表示装置２の前方から見て劣角（０度から１８０度までの範囲内の角度）となるように設けられる。よって、立体画像表示装置２の表示中心軸の方向に近い方向ほどサンプリング角度量が狭く、すなわちサンプリング密度が高い立体像を生成することができる。
したがって、立体画像表示装置２によれば、自装置に対して正面方向から観察される立体像の解像度を高くすることができる。

また、サンプリング角度量が小さいほど、立体像の奥行方向の解像度を高くすることができる。よって、立体画像表示装置２によれば、自装置に対し正面方向に視点をおいた場合に、奥行方向の解像度が高い立体像を得ることができる。

なお、本発明の実施形態である立体画像撮影装置１では、撮影系のレンズアレイ１１０として、上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄを備えるレンズアレイペアとした。具体的には、レンズアレイ１１０は、上側レンズアレイ１１０ｕおよび下側レンズアレイ１１０ｄを、平面１１０ｓｕと平面１１０ｓｄとがなす角度が立体画像撮影装置１の前方から見て劣角、つまり０度から１８０度までの範囲内の角度となるように設けた。
撮影系のレンズアレイの構成は、これに限らず、複数のレンズアレイペアを鉛直方向に連結した構成としてもよい。

図１０は、複数のレンズアレイペアを鉛直方向に連結した構成の撮影系のレンズアレイの概略の外観を模式的に示す図である。同図に示すレンズアレイ１１０ｗは、３組のレンズアレイペアを鉛直方向に連結した構成を有する。つまり、レンズアレイ１１０ｗは、第１レンズアレイから第６レンズアレイまでの６枚のサブレンズアレイを備える。
このレンズアレイ１１０ｗを組み込んだ立体画像撮影装置は、第１レンズアレイから第６レンズアレイまでそれぞれに対応させた６組の撮像部を備える。そして、その立体画像撮影装置は、さらに、６組の撮像部が生成する第１撮像画像データから第６撮像画像データに基づいてインテグラル画像データを生成する画像処理部を備える。

表示系のレンズアレイについても同様に、複数のレンズアレイペアを鉛直方向に連結した構成としてもよい。例えば、表示系のレンズアレイを、３組のレンズペアを鉛直方向に連結させて構成してもよい。
このレンズアレイを組み込んだ立体画像表示装置は、第１レンズアレイから第６レンズアレイまでそれぞれに対応させた６組の表示部を備える。

また、本実施形態では、サブレンズアレイの配置角度が鉛直方向に沿う角度となるように、レンズアレイ１１０およびレンズアレイ２３０を立体画像撮影装置１および立体画像表示装置２にそれぞれ設けた。
これ以外にも、サブレンズアレイの配置角度が鉛直方向に垂直な方向に沿う角度となるように、レンズアレイ１１０およびレンズアレイ２３０を立体画像撮影装置１および立体画像表示装置２にそれぞれ設けてもよい。

また、本実施形態では、レンズアレイ１１０の要素レンズに凸レンズ、レンズアレイ２３０の要素レンズに凹レンズを用いた例を示した。
これ以外にも、レンズアレイ１１０の要素レンズに凹レンズ、レンズアレイ２３０の要素レンズに凸レンズを用いてもよい。

また、これら凸レンズおよび凹レンズとして、糸巻型歪（ピンクッション歪）の歪曲収差を有する凸レンズおよび凹レンズを用いてもよい。糸巻型歪の歪曲収差を有する要素レンズを介して正方格子状のクロスハッチを観察した場合、クロスハッチの四角形状が糸巻形状として見える。言い換えると、糸巻型歪レンズを介して正方格子状のクロスハッチを観察した場合、この観察されるクロスハッチは、光軸に貫かれる点を中心として径方向内側に歪曲することにより、四角形状が糸巻形状として観察される。すなわち、糸巻型歪を有するクロスハッチの画像は、その中心部に対して外側にいくほど格子の間隔が広くなる。よって、糸巻型歪レンズは、歪曲収差がないレンズに対して、外周付近の光束のサンプリング密度が高い。
よって、レンズアレイ１１０の要素レンズ群を、糸巻歪型の歪曲収差を有するレンズ群で構成すると、立体画像撮影装置１の撮影中心軸方向にある被写体を高精細に撮影することができる。また、レンズアレイ２３０の要素レンズ群を、糸巻歪型の歪曲収差を有するレンズ群で構成すると、立体画像表示装置２の表示中心軸方向に生成される立体像の精細度は高い。

なお、本実施形態では、立体画像表示装置２を直視型ディスプレイに適用した例について説明した。これ以外にも、立体画像表示装置２は、プロジェクタシステムにも適用できる。この場合、立体画像表示装置２における上側表示部２２０ｕおよび下側表示部２２０ｄそれぞれを、投射装置（プロジェクタ）で構成する。

また、撮影系および表示系の要素レンズに凸レンズまたは凹レンズを用いたレンズアレイでは、クロストークが発生する。そこで、レンズアレイ１１０およびレンズアレイ２３０の要素レンズのいずれかに、屈折率分布型（ＧＲａｄｉｅｎｔＩＮｄｅｘＬｅｎｓｅｓ；ＧＲＩＮ）レンズを適用してもよい。要素レンズを屈折率分布型レンズとすることにより、要素画像間のクロストークを解消することができる。

屈折率分布型レンズとして、以下に示す仕様のレンズを用いる。すなわち、屈折率分布型レンズの光軸方向の長さをＺとし、その屈折率分布型レンズの蛇行周期をＰとしたとき、Ｐ／２＜Ｚ＜Ｐの関係を満たす屈折率分布型レンズをレンズアレイ１１０およびレンズアレイ２３０の要素レンズに適用する。この屈折率分布型レンズを用いることにより、レンズアレイ１１０およびレンズアレイ２３０は、レンズの外側に主点を有することとなり、正立実像を得ることができる。

Ｚ＝３Ｐ／４（０．７５ピッチ）となる屈折率分布型レンズを用いた場合、この屈折率分布型レンズの一方の端面から十分遠方に位置する被写体Ｓの正立実像を他方の端面に現出させることができる。この０．７５ピッチの屈折率分布型レンズを適用したレンズアレイ１１０およびレンズアレイ２３０を用いることにより、隣接する要素レンズ間におけるクロストークを防ぐことができる。

なお、屈折率分布型レンズとして、Ｐ／２＋（ｎ−１）Ｐ＜Ｚ＜ｎＰ（ｎは２以上の整数）の関係を満たす屈折率分布型レンズを適用してもよい。また、Ｚ＝３Ｐ／４＋（ｎ−１）Ｐ（ｎは２以上の整数）となる屈折率分布型レンズを適用してもよい。

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１立体画像撮影装置
２立体画像表示装置
１１０レンズアレイ
１１０ｄ下側レンズアレイ（第２レンズアレイ）
１１０ｕ上側レンズアレイ（第１レンズアレイ）
１１０ｓｄ平面（第２平面））
１１０ｓｕ平面（第１平面）
１１０ｗレンズアレイ
１２０撮像部
１２０ｄ下側撮像部
１２０ｕ上側撮像部
１３０画像処理部
１４０記憶部
１５０画像供給部
２１０画像取得部
２２０表示部
２２０ｄ下側表示部
２２０ｕ上側表示部
２３０レンズアレイ
２３０ｄ下側レンズアレイ（第２レンズアレイ）
２３０ｕ上側レンズアレイ（第１レンズアレイ）
２３０ｓｄ平面（第２平面）
２３０ｓｕ平面（第１平面）

Claims

複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを第１平面上に配列して構成した第１レンズアレイと、
複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを前記第１平面と交差する第２平面上に配列して構成した第２レンズアレイと、
前記第１レンズアレイおよび前記第２レンズアレイを通して得られる光束を撮像して撮像画像データを生成する撮像部と、
前記撮像部が生成した前記撮像画像データに基づいて、前記要素レンズに対応する要素画像の集合であるインテグラル画像を生成する画像処理部と、
を備え、
前記第１平面と前記第２平面とがなす角度を６０度とする、
ことを特徴とする立体画像撮影装置。
相互に視差を有する複数の要素画像の集合である第１インテグラル画像を表示する第１表示部と、
相互に視差を有する複数の要素画像の集合である第２インテグラル画像を表示する第２表示部と、
複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを第１平面上に配列して構成し、前記第１インテグラル画像の光束を受光する位置に設けた第１レンズアレイと、
複数の要素レンズの光軸が平行となるよう前記複数の要素レンズを前記第１平面と交差する第２平面上に配列して構成し、前記第２インテグラル画像の光束を受光する位置に設けた第２レンズアレイと、
を備え、
前記第１平面と前記第２平面とがなす角度を６０度とする、
ことを特徴とする立体画像表示装置。