JP5246424B2 - 撮像装置 - Google Patents

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、開口絞りを有する撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とを備えており、このような構成により、撮像素子では、光の強度分布に加えてその光の進行方向の情報をも含む撮像データを得ることができる。そして画像処理部において、任意の視点や方向（以下、単に視野という）からの観察画像を再構築できるようになっている。

国際公開第０６／０３９４８６号パンフレット

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、上記マイクロレンズアレイには、複数のマイクロレンズが設けられており、各マイクロレンズに対して撮像素子の複数の画素が割り当てられている。そして、上記手法を利用した場合には、再構築された画像の画素数はマイクロレンズアレイにおけるマイクロレンズ数と等しくなる。これは、再構築画像の２次元座標の情報が、マイクロレンズアレイの座標により決まるためである。従って、再構築画像の画素数は撮像素子の全画素数を各マイクロレンズに割り当てられる画素（以下、レンズ割り当て画素という）の数で割った数となる。一方、レンズ割り当て画素数は、光線の角度情報の分解能に等しく、再構築画像の任意の視野における分解能、即ちどれだけ多くの視点や方向から観察した画像が再構築可能かどうかを決定する。このため、任意の視野における分解能と２次元座標の画素数とはトレードオフの関係となる。

ここで、水平方向（横方向）もしくは垂直方向（縦方向）の１つの方向において、互いに視点が異なる複数の視点画像（多視点画像）を取得する場合について考える。一般に、各マイクロレンズの縦横のピッチは同一で、また撮像素子の各画素の平面形状は正方形である。このため、各マイクロレンズには例えば３×３や２×２等、２次元的に配列した画素が割り当てられることとなる。このような構成において、上記のような１方向における多視点画像を取得する場合には、レンズ割り当て画素のうち、１ライン上に配列する画素の画素データのみを用いて各視点画像を生成する。例えばレンズ割り当て画素が３×３である場合には、１ライン上に配列する画素数は３つであるため、これらの画素を用いて２つあるいは３つの視点画像を生成することになる。

ところが、各視点画像の２次元座標の画素数は、上述のように、撮像素子の全画素数をレンズ割り当て画素数で割った数となる。このため、１方向のみにおける多視点画像を取得する場合、レンズ割り当て画素のうち１ライン上の画素以外は実質的に不要であるにも関わらず、これらの不要な画素の存在によって最終的に得られる視点画像の画素数、即ち２次元解像度が低下してしまう。

本発明はかかる問題点に鑑みてなされたもので、その目的は、光の進行方向の情報を含むようにして取得した撮像データに基づいて、１方向のみにおける多視点画像を生成する場合に、各視点画像の２次元解像度を向上させることが可能な撮像装置を提供することにある。

本発明の第１の撮像装置は、開口絞りを有する撮像レンズと、それぞれの平面形状が矩形状である複数の画素が全体としてマトリクス状に配列されてなると共に、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズの結像面上に配置されると共に、撮像素子において矩形状の画素の短辺方向に沿って配列された２以上の画素に対して１つのレンズが割り当てられたレンズアレイ部と、撮像データのうち、レンズ単位で形成される画像領域同士の間で互いに同一の位置にある画素の画素データを抽出して合成することにより、複数の視点画像を生成する画像処理部とを備えたものである。
本発明の第２の撮像装置は、開口絞りを有する撮像レンズと、それぞれの平面形状が矩形状である複数の画素が全体としてマトリクス状に配列されてなると共に、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズの結像面上に配置されると共に、撮像素子において矩形状の画素の短辺方向に沿って配列された３個の画素に対して１つのレンズが割り当てられたレンズアレイ部とを備え、複数の画素ではそれぞれ、矩形状の画素における長辺の長さが短辺の長さの３倍となっている。

本発明の撮像装置では、撮像レンズによる撮像対象物の像は、レンズアレイ部上に結像する。そして、レンズアレイ部への入射光線がレンズアレイ部を介して撮像素子へ到達し、各レンズに対応する２以上の画素で受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、撮像素子の各画素が矩形状であると共に、この矩形状の画素の短辺方向に沿って配列する２以上の画素に対して１つのレンズが割り当てられている。これにより、撮像素子では、撮像データとして、短辺方向に沿った１方向において、互いに異なる進行方向の光線情報を含む２以上の視点画像情報を得る。

本発明の撮像装置によれば、撮像素子の各画素を矩形状とし、その短辺方向に沿って配列する２以上の画素に１つのレンズを割り当てるようにしたので、短辺方向に沿った１方向において、レンズ割り当て画素と同数の視点画像情報を得ることができる。即ち、レンズ割り当て画素における画素の無駄をなくし、レンズ割り当て画素数を必要最低限の数に設定することができる。ここで、撮像データに基づいて視点画像を生成する場合には、この視点画像の２次元解像度は、撮像素子における総画素数をレンズ割り当て画素数で割った数となる。よって、光の進行方向の情報を含むようにして取得した撮像データに基づいて、１方向のみにおける多視点画像を生成する場合に、各視点画像の２次元解像度を向上させることが可能となる。

本発明の一実施の形態に係る撮像装置の全体構成を表す図である。 図１に示した撮像素子の画素構成を表す模式図である。 図１に示した撮像素子の画素サイズを説明するための図である。 撮像素子に入射する光線の情報を説明するための模式図である。 比較例に係る視点画像生成処理の手順を説明するための模式図である。 図１に示した撮像装置における視点画像生成処理の手順を説明するための模式図である。 図１に示した撮像装置の一適用例を表す図である。 変形例に係る撮像素子の画素構成を表す模式図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。

１．実施の形態（レンズ割り当て画素数を２とし、画素の平面形状を短辺：長辺＝１：２の矩形状とした例）
２．適用例（左右の視点画像を用いた３Ｄディスプレイ装置の例）
３．変形例（レンズ割り当て画素数を３とし、画素の平面形状を短辺：長辺＝１：３の矩形状とした例）

＜実施の形態＞
（撮像装置１の全体構成）
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、被写体２を撮像して画像処理を施すことにより多視点画像（本実施の形態では左右２つの視点画像）としての画像データＤoutを出力するものである。この撮像装置１は、開口絞り１０、撮像レンズ１１、マイクロレンズアレイ１２（レンズアレイ部）、撮像素子１３、画像処理部１４、撮像素子駆動部１５および制御部１６を備えている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りであり、その中央部に円形の開口が設けられたものである。この開口絞り１０を通過した全ての光線が、撮像素子１３において、それぞれの進行方向の情報を保持した状態で受光されるようになっている。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、複数のマイクロレンズがマトリクス状に配列してなるものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、その平面形状が例えば円形となっており、例えば固体レンズや液晶レンズ、回折レンズ等からなる。このマイクロレンズアレイ１２の１つのマイクロレンズに、撮像素子１３における２以上の画素が割り当てられている（後述）。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の固体撮像素子である。

この撮像素子１３の受光面には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の画素がマトリクス状に配置され、これらのうちの２以上の画素に対して１つのマイクロレンズが割り当てられる。ここで、レンズ割り当て画素数（ｍ×ｎとする）は、多視点画像の分解能（視点の数）と関連しているため、これらｍ，ｎの値が大きくなるに従って、多視点画像の分解能は高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、各視点画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、各視点画像の画素数が高くなる。従って、多視点画像の分解能と各視点画像の画素数とはトレードオフの関係となっている。

（撮像素子１３における画素構成）
ここで、図２および図３を参照して、撮像素子１３における画素構成について説明する。図２は、撮像素子１３の画素構成を表す模式図である。図３（Ａ）〜（Ｃ）は、撮像素子１３における画素サイズを説明するための図である。

撮像素子１３では、マトリクス状に配列された複数の画素Ｐ１はそれぞれ、その平面形状が矩形状となっている。本実施の形態では、この矩形状の短辺方向（短辺に沿った方向）ｄ１が横方向（水平方向）に等しく、矩形状の短辺の長さをａとすると、長辺の長さは２ａとなっており、即ち短辺：長辺＝１：２の寸法比となっている。

マイクロレンズアレイ１２における各マイクロレンズは、その平面形状が円形で、縦横の寸法比が１：１となっており、短辺方向ｄ１に２画素、長辺方向ｄ２（縦方向、垂直方向）には１画素、それぞれ割り当てられている。即ち、本実施の形態では、短辺方向ｄ１に沿って配列する２つの画素Ｐ１に一つのマイクロレンズが割り当てられている。尚、図２中の点線で描いた領域１２Ｄが、マイクロレンズに対応する領域である。

このような画素Ｐ１の画素面積は、例えば、図３（Ａ），（Ｂ）に示したような平面形状が正方形（一辺の長さ：ｂ）の画素Ｐ１００の画素面積と互いに同一となっている（ｂ²＝２ａ²）。このため、図３（Ｃ）に示したように、本実施の形態におけるマイクロレンズの径は、レンズ割り当て画素を３×３とする場合（図３（Ａ））や２×２とする場合（図３（Ｂ））に比べて更に小さくなっている（領域１２Ｄの径＜領域１２０Ｄ１，１２０Ｄ２の径）。尚、本実施の形態では、２次元解像度（後述）を画素Ｐ１，Ｐ１００間で比較し易くするため、画素Ｐ１として画素Ｐ１００と面積同一であるものを例に挙げて説明するが、画素Ｐ１のサイズは勿論、既存のＣＣＤ等のサイズに依存して設定されるものではない。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して、視点画像生成処理を含む所定の画像処理を施し、画像データＤoutを出力するものである。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

（撮像装置１の作用、効果）
次に、本実施の形態の撮像装置１の作用および効果について、図１〜図６を参照して説明する。図４は、撮像データＤ０に含まれる光線の情報を説明するための模式図である。

撮像装置１では、撮像レンズ１１による被写体２の像は、各マイクロレンズの形状（円形状）に応じて、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、開口絞り１０の開口形状（円形状）が投影された受光領域において受光がなされる。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。具体的には、レンズ割り当て画素における各画素Ｐ１の位置により、光線の入射方向が決定される。そして、撮像素子駆動部１５による駆動動作に従って、撮像素子１３から撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。

ここで、撮像素子１３で受光される光線について図４を参照して説明する。このように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考える。撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_F（ｘ，ｙ，ｕ，ｖ）で表される。即ち、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。よって、撮像素子１３で取得される撮像データＤ０は、光線の強度だけでなく、進行方向についての情報をも含んでいる。

上記のような撮像データＤ０が、画像処理部１４へ入力されると、画像処理部１４は、撮像データＤ０に対して、視点画像生成処理（並べ替え処理）を含む所定の画像処理を施す。この画像処理後の撮像データが、撮像装置１の画像データ（視点画像データ）Ｄoutとして出力される。以下、この視点画像生成処理について詳細に説明する。

まず、図５を参照して、比較例に係る撮像装置における視点画像生成処理について説明する。図５は、比較例に係る撮像素子１３０を用いた視点画像生成処理について説明するための模式図である。尚、この比較例の撮像装置では、撮像素子１３０の構成と、マイクロレンズアレイにおけるレンズ径において本実施の形態の構成と異なっているが、それ以外は同様の構成となっている。ここで、比較例に係る撮像素子１３０は、各平面形状が正方形である複数の画素Ｐ１００をマトリクス状に配列してなり、これらの複数の画素Ｐ１００のうち３×３＝９つの画素Ｐ１００に１つのマイクロレンズが割り当てられている。撮像素子１３０では、被写体２からの光線は、マイクロレンズに対応する領域１２０Ｄ１毎に受光される。但し、３×３の画素Ｐ１００には、便宜上「１」〜「９」の番号を付している。

このような撮像素子１３０で取得された撮像データに基づいて、多視点画像を生成する場合には、領域１２０Ｄ１同士の間で互いに同じ位置に配置された画素Ｐ１００の画素データをそれぞれ抽出し、これらの画素データ同士を合成する。具体的には、左右２枚の視点画像の取得を目的とする場合には、ラインＡ上に配置された画素Ｐ１００の画素データの読み出しを行う。この後、「４」の位置に対応する画素の画素データのみを並べることにより左視点画像ＤＬ１００、「６」の位置に対応する画素の画素データのみを並べることにより右視点画像ＤＲ１００をそれぞれ生成する。このとき、左視点画像ＤＬ１００および右視点画像ＤＲ１００の各２次元解像度（解像度Ｂ１００）は、撮像素子１３０の総画素数Ｐｎとすると、これをレンズ割り当て画素３×３（＝９）で割った値（Ｂ１００＝Ｐｎ／９）となる。

続いて、図６を参照して、本実施の形態に係る視点画像生成処理について説明する。図６は、本実施の形態に係る撮像素子１３を用いた視点画像生成処理について説明するための模式図である。ここで、撮像素子１３では、上述のように各平面形状を矩形状とする複数の画素Ｐ１がマトリクス状に配列され、これらの複数の画素Ｐ１のうち短辺方向ｄ１に沿って配列する２つの画素Ｐ１（２×１の画素Ｐ１）に対して１つのマイクロレンズが割り当てられている。撮像素子１３では、被写体２からの光線は、マイクロレンズに対応する領域１２Ｄ毎に受光される。但し、２×１の画素Ｐ１には、便宜上「１」，「２」の番号を付している。

このような撮像素子１３で取得された撮像データＤ０に基づいて、画像処理部１４は、領域１２Ｄ同士の間で互いに同じ位置に配置された画素Ｐ１の画素データをそれぞれ抽出し、これらの画素データ同士を合成する。具体的には、左右２枚の視点画像の取得を目的とする場合には、各画素Ｐ１の画素データの読み出しを行い、「１」の位置に対応する画素の画素データのみを並べて左視点画像ＤＬを生成すると共に、「２」の位置に対応する画素の画素データのみを並べて右視点画像ＤＲを生成する。このとき、左視点画像ＤＬおよび右視点画像ＤＲの２次元解像度（解像度Ｂ）は、撮像素子１３の総画素数Ｐｎとすると、これをレンズ割り当て画素２×１（＝２）で割った値（Ｂ＝Ｐｎ／２）となる。

上記のように、水平方向における左右２つの視点画像を生成する場合、比較例では、レンズ割り当て画素（３×３）のうち「４」および「６」の位置に配置された画素以外の画素は、実質的に不要となっている。これに対し、本実施の形態では、レンズ割り当て画素（２×１）の「１」および「２」の位置に配置された画素Ｐ１の全てを用いている。即ち、本実施の形態では、レンズ割り当て画素数と生成される視点画像の数が同数であり、撮像素子１３における全ての画素Ｐ１を無駄なく有効に利用している。

以上のように、本実施の形態の撮像装置１では、撮像素子１３の各画素Ｐ１の平面形状を矩形状とし、その短辺方向ｄ１に沿って配列する２つの画素Ｐ１に１つのマイクロレンズを割り当てるようにしている。このため、短辺方向ｄ１に沿った１方向（ここでは水平方向）において、レンズ割り当て画素と同数の視点画像（左視点画像ＤＬ，右視点画像ＤＲ）を得ることができる。

ここで、左視点画像ＤＬ，右視点画像ＤＲの各解像度Ｂは、撮像素子１３の総画素数Ｐｎをレンズ割り当て画素数で割った数となるため、高解像化を図るためにはレンズ割り当て画素数は極力少ない方が望ましい。このため、一般には、上記比較例のような正方形状の画素Ｐ１００を配列してなる撮像素子１３０を用いて、レンズ割り当て画素を３×３（あるいは２×２）等、比較的少ない画素数に設定する。ところが、このような構成であっても、左右２つの視点画像等、１方向のみにおける多視点画像の取得を目的とする場合には、レンズ割り当て画素の半数以上が無駄となってしまう。即ち、レンズ割り当て画素のうち１ライン上の画素以外は実質的に不要であるにも関わらず、これらの不要な画素の存在によって最終的に得られる視点画像の２次元解像度が低下してしまう（解像度Ｂ１００＝Ｐｎ／９）。

これに対し、本実施の形態では、レンズ割り当て画素における画素の無駄をなくし、レンズ割り当て画素数を必要最低限の数（左視点画像ＤＬ，右視点画像ＤＲを得る場合には、２つ）に設定することができる。従って、上記比較例に比べ高解像度となる（解像度Ｂ＝Ｐｎ／２）。よって、光の進行方向の情報を含むようにして取得した撮像データＤ０に基づいて、１方向のみにおける多視点画像を生成する場合に、各視点画像の２次元解像度を向上させることが可能となる。

尚、レンズ割り当て画素数を必要最低限に設定することができる分、所望の解像度が確保されてさえいれば、撮像素子１３における総画素数を削減することも可能である。これにより、撮像素子サイズの小型化や低コスト化に有利となる。また、このような画素数の削減により、読み出す情報量（画素データ）自体が少なくなるので、読み出しの高速化につながる。更には、画素数の削減により、１画素のサイズを大きくすることも可能であり、これにより露光時間を短縮でき、ノイズに強くなる等のメリットがある。

＜適用例＞
上記のような撮像装置１は、例えば図７（Ａ）に示したようなカメラ３に搭載されて利用される。カメラ３は、筐体３０の内部に撮像装置１を備えると共に、ファインダー３１やシャッターボタン３２等の機構を有するものである。また、このカメラ３の撮影画像としての左視点画像ＤＬ，右視点画像ＤＲ（図７（Ｂ））を、例えば図７（Ｃ）に示したような３次元表示用の３Ｄディスプレイ装置４を用いて表示する。３Ｄディスプレイ装置４は、２眼ステレオ方式により左眼用の画像と右眼用の画像との各表示を行うディスプレイ装置である。このような３Ｄディスプレイ装置４に表示された右視点画像ＤＲを右眼、左視点画像ＤＬを左眼でそれぞれ別々に観察することにより立体視を実現することが可能である。

＜変形例＞
図８は、上記実施の形態の変形例に係る撮像装置における撮像素子（撮像素子１７）の画素構成を表す模式図である。本変形例における撮像装置では、水平方向における３つの視点画像の取得を目的としており、撮像素子１７の構成以外は上記実施の形態の撮像装置１と同様の構成となっている。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

撮像素子１７は、上記実施の形態に係る撮像素子１３と同様、マイクロレンズアレイ１２からの光線を受光して撮像データＤ０を取得するものであり、その受光面に複数の画素Ｐ２をマトリクス状に配列してなるものである。また、各画素Ｐ２の平面形状は矩形状となっており、短辺方向ｄ１に沿って配列する２以上の画素Ｐ２に対して１つのマイクロレンズが割り当てられている。

但し、本変形例では、レンズ割り当て画素が３×１（３つ）であり、各画素Ｐ２の矩形状の短辺の長さをｃとすると、長辺の長さは３ｃとなっており、即ち短辺：長辺＝１：３の寸法比となっている。また、各画素Ｐ２の画素面積については、例えば、図３（Ａ），（Ｂ）に示した画素Ｐ１００の画素面積と互いに同一となっている（ｂ²＝３ｃ²）。このため、本変形例におけるマイクロレンズの径は、レンズ割り当て画素を３×３とする場合（図３（Ａ））や２×２とする場合（図３（Ｂ））に比べて更に小さくなっている（領域１２Ｄの径＜領域１２０Ｄ１，１２０Ｄ２の径）。尚、本変形例においても、画素Ｐ２として画素Ｐ１００と面積同一であるものを例に挙げたが、画素Ｐ２のサイズは勿論、既存のＣＣＤ等のサイズに依存して設定されるものではない。

このような変形例に係る撮像装置では、上記実施の形態と同様、被写体２からの光線は、マイクロレンズアレイ１２を介して、撮像素子１７上に領域１２Ｄ毎に受光され、撮像データＤ０が得られる。この撮像データＤ０に基づいて、画像処理部１４が視点画像生成処理を行い視点画像データとして画像データＤoutを出力する。

ここで、本変形例では、撮像素子１７で取得された撮像データＤ０に基づいて、画像処理部１４が、領域１２Ｄ同士の間で互いに同じ位置に配置された画素Ｐ２の画素データをそれぞれ抽出し、これらの画素データ同士を合成する。具体的には、水平方向において互いに視点の異なる３枚の視点画像の取得を目的として、各画素Ｐ２の画素データの読み出しを行う。この後、「１」の位置に対応する画素の画素データを並べて左視点画像ＤＬ、「２」の位置に対応する画像を並べて中央視点画像ＤＣ、「３」の位置に対応する画素の画素データを並べて右視点画像ＤＲをそれぞれ生成する。このとき、左視点画像ＤＬ、中央視点画像ＤＣおよび右視点画像ＤＲにおける各２次元解像度（解像度Ｂ）は、撮像素子１７の総画素数Ｐｎとすると、これをレンズ割り当て画素３×１（＝３）で割った値（Ｂ＝Ｐｎ／３）となる。

尚、水平方向における３つの視点画像を生成する場合、上記比較例では、レンズ割り当て画素（３×３）のうち例えば「４」，「５」および「６」の位置に配置された画素を用いて各視点画像を生成する。即ち、これら３つの画素以外の画素は、実質的に不要となる。これに対し、本変形例では、レンズ割り当て画素（３×１）の「１」〜「３」の位置に配置された画素Ｐ２の全てを用いる。即ち、本変形例では、レンズ割り当て画素数と生成される視点画像の数が同数であり、撮像素子１７における全ての画素Ｐ２を無駄なく有効に利用している。

以上のように、本変形例では、撮像素子１７の各画素Ｐ２の平面形状を矩形状とし、その短辺方向ｄ１に沿って配列する３つの画素Ｐ２に１つのマイクロレンズを割り当てるようにしている。このため、短辺方向ｄ１に沿った１方向（ここでは水平方向）において、レンズ割り当て画素と同数の視点画像（左視点画像ＤＬ、中央視点画像ＤＣおよび右視点画像ＤＲ）を得ることができる。従って、レンズ割り当て画素における画素の無駄をなくし、レンズ割り当て画素数を必要最低限の数（ここでは３つ）に設定することができ、これにより上記比較例に比べ高解像度となる（解像度Ｂ＝Ｐｎ／３）。よって、上記実施の形態と同等の効果を得ることができる。

また、このような３つの左視点画像ＤＬ、中央視点画像ＤＣおよび右視点画像ＤＲは、例えば多眼ステレオ方式の３Ｄディスプレイ装置を用いて表示させることにより、立体表示を実現することができる。多眼ステレオ方式としては、例えば次のようなレンチキュラー方式を用いることができる。具体的には、レンチキュラー方式では、複数枚の視差画像を合成して表示するためのディスプレイパネル上に、表面に凸凹形状を有する特殊な板（レンチキュラー板）を貼り付けることにより、レンチキュラー板を通して表示画像を観察する。レンチキュラー板は、板上に、例えば縦方向に沿って延在する円筒状のレンズ（かまぼこ型レンズ）を横方向に沿って多数並べたものである。このレンズの光学的な屈折を利用して、右の眼には細かく縦線上に切られた右眼用の画像、左の眼にも同様に左眼用の画像が見えるような仕組みになっている。レンチキュラー板を使用することで、比較的簡単に、観察者の左右の眼に同時に互いに異なる画像を見せることができる。これらの画像が脳内で合成されることにより、観察者には立体的な画像として認識される。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、レンズ割り当て画素数を２つあるいは３つとした場合を例に挙げて説明したが、レンズ割り当て画素数は４つ以上であってもよい。レンズ割り当て画素数をｎ（ｎは２以上の整数）とすると、矩形状の短辺方向に沿ってｎ個の画素を配列すると共に、各画素の形状を、寸法比が短辺：長辺＝１：ｎの矩形状とすればよい。これにより、１方向において互いに視点の異なるｎ個の視点画像を得ることができる。

また、上記実施の形態等では、短辺方向ｄ１を横方向（水平方向）、長辺方向ｄ２を縦方向（垂直方向）とし、例えば左右の視点画像等、水平方向に変化する多視点画像を生成する場合を例に挙げて説明したが、各方向の対応関係はこれに限定されない。例えば、短辺方向ｄ１を縦方向（垂直方向）、長辺方向ｄ２を横方向（水平方向）としてもよく、即ち上記撮像素子を９０°回転させたような画素構成としてもよい。これにより、例えば上下の視点画像等、垂直方向において互いに視点の異なる多視点画像を生成することも可能である。

更に、上記実施の形態等では、本発明のレンズアレイ部として、複数のマイクロレンズを２次元配列してなるマイクロレンズアレイを例に挙げて説明したが、これに限定されず、複数のレンズを１次元配列してなるレンズアレイ（レンチキュラーレンズ）であってもよい。レンチキュラーレンズとしては、上述したレンチキュラー板と同様、例えば垂直方向に延在するかまぼこ型のレンズを水平方向に沿って複数並べたものを用いることができる。レンチキュラーレンズを用いた場合、１つのレンズに対して、撮像素子上のｎ列分の画素が割り当てられる。このようなレンチキュラーレンズを用いた場合、垂直方向においては、光学的なパワーを持たないことになるが、本発明では水平方向のみの多視点画像の取得が目的であるため問題はない。また逆に、垂直方向のみの多視点画像を得たい場合には、上記撮像素子およびレンチキュラーレンズを９０°回転させ、１つのレンズに対してｎ行分の画素を割り当てればよい。

加えて、上記実施の形態等では、本発明の撮像装置の適用例として、左右２つの視点画像を用いた２眼ステレオ方式による立体表示や水平方向の３視点画像を用いた多眼ステレオ方式による立体表示を例に挙げて説明したが、本発明の撮像装置は他にも適用可能である。例えば、水平方向における左右２つの視点画像を用いて測定対象までの距離を算出する測距技術への応用も可能である。この場合には、例えばステレオマッチング処理等を用いて左右２つの視点画像間の位相差を求め、この位相差からDepth Mapを生成すればよい。

また、上記実施の形態では、画像処理部１４を、撮像装置１の構成要素の一つとして説明したが、必ずしもこの画像処理部１４が撮像装置１の内部に設けられている必要はない。例えば、撮像装置１では、画像処理部１４を、別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）等に設けておき、撮像光学系で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにしてもよい。

更に、上記のように矩形状の画素を用いて取得した撮像データは、正方形状の画素からの出力を水平方向あるいは垂直方向に沿って積分した場合とほぼ同等のものである。但し、本発明のように画素の平面形状が矩形状であることにより、正方形状である場合に比べ、読み出しラインが減少すると共に、積分処理が不要である分、処理の高速化を図ることができる。

１…撮像装置、３…カメラ、４…３Ｄディスプレイ装置、１０…開口絞り、１１…撮像レンズ、１２…マイクロレンズアレイ、１３，１７…撮像素子、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、２０…表示部、２…被写体。

Claims (5)

1. 開口絞りを有する撮像レンズと、
   それぞれの平面形状が矩形状である複数の画素が全体としてマトリクス状に配列されてなると共に、受光した光に基づいて撮像データを取得する撮像素子と、
   前記撮像レンズの結像面上に配置されると共に、前記撮像素子において前記矩形状の画素の短辺方向に沿って配列されたｎ個（ｎ：２以上の整数）の画素に対して１つのレンズが割り当てられたレンズアレイ部と、
   前記撮像データのうち、レンズ単位で形成される画像領域同士の間で互いに同一の位置にある画素の画素データを抽出して合成することにより、複数の視点画像を生成する画像処理部と
   を備えた撮像装置。
2. 前記複数の画素ではそれぞれ、前記矩形状の画素における長辺の長さが短辺の長さのｎ倍となっている
   請求項１に記載の撮像装置。
3. 前記ｎが２である
   請求項２に記載の撮像装置。
4. 前記ｎが３である
   請求項２に記載の撮像装置。
5. 開口絞りを有する撮像レンズと、
   それぞれの平面形状が矩形状である複数の画素が全体としてマトリクス状に配列されてなると共に、受光した光に基づいて撮像データを取得する撮像素子と、
   前記撮像レンズの結像面上に配置されると共に、前記撮像素子において前記矩形状の画素の短辺方向に沿って配列された３個の画素に対して１つのレンズが割り当てられたレンズアレイ部とを備え、
   前記複数の画素ではそれぞれ、前記矩形状の画素における長辺の長さが短辺の長さの３倍となっている
   撮像装置。

Images