JP5224124B2 - 撮像装置 - Google Patents

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成され、撮像レンズには中央部に単一の開口を有する開口絞りが設けられている。このような構成により、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視野や焦点での観察画像を再構築できるようになっている。
国際公開第０６／０３９４８６号パンフレット 特開２０００−２２４５９３号公報 Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、上記マイクロレンズアレイには、複数のマイクロレンズが設けられており、各マイクロレンズに対して撮像素子の複数の画素が割り当てられるようになっている。そして、上記手法を利用した場合には、再構築された画像の画素数はマイクロレンズアレイにおけるマイクロレンズ数と等しくなる。これは、再構築画像の２次元座標の情報がマイクロレンズアレイの座標で決まるためである。従って、再構築画像の２次元座標の画素数は撮像素子の全撮像画素数を各マイクロレンズに割り当てられる撮像画素数で割った数となる。一方、各マイクロレンズに割り当てられる撮像画素数は、光線の進行方向の分解能に等しく、再構築画像の任意の視野、任意の焦点における分解能となる。

従って、撮像素子の全画素数が一定である場合に、マイクロレンズの数を増やすことにより、撮像素子における各マイクロレンズへの画素数の割り当てが減り、再構築画像の２次元座標の画素数（解像度）を増やすことができる。

しかしながら、各マイクロレンズへ割り当てられる画素数を減らした場合、各画素で受光される光線の進行方向の分解能が低下し、所望の進行方向の光線情報を検出しにくくなってしまうという問題がある。この結果、画像処理により再構築画像を生成した際に、その画質が劣化したり、フォーカス（リフォーカス）精度が低下してしまう。また、取得した撮像データやこの撮像データから得られる視差画像は、様々な用途に使用することができるが、上記のような問題が生じた場合、各視差画像における被写界深度が浅くなる。この結果、例えば視差画像を用いて３次元表示を行う場合には、手前から奥まで合焦しているような画像を表示しにくくなる。また、視差画像を用いて、いわゆるステレオマッチング処理による位相差検出を行う場合には、その検出精度が低下してしまう。

本発明はかかる問題点に鑑みてなされたもので、その目的は、所望の進行方向の光線情報を精度良く検出することが可能な撮像装置を提供することにある。

本発明の第１の撮像装置は、開口絞りを有する撮像レンズと、光線の進行方向を保持して受光すると共に、その受光した光に基づいて複数の撮像画素データを含む撮像データを生成する撮像素子と、撮像素子の受光面側に設けられると共に撮像素子の受光領域を制限する遮光部と、撮像レンズの結像面上に配置されると共に、撮像素子の複数の撮像画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、撮像素子で取得された撮像データに基づいて画像補間処理を行うことにより補間画像データを生成する画像補間処理部を有する画像処理部とを備えたものである。撮像データは、マイクロレンズごとに形成された画像領域を有し、画像補間処理部は、撮像データのうち各画像領域で同一の位置にある撮像画素データをそれぞれ抽出して合成することにより、マイクロレンズと同数の視差画像を生成し、生成した複数の視差画像のうち少なくとも２つの視差画像に基づいて撮像データにおける各画像領域の外側の領域を補間することにより、補間画像データを生成する。

本発明の第２の撮像装置は、複数の開口部を含む開口絞りを有する撮像レンズと、光線の進行方向を保持して受光すると共に、その受光した光に基づいて複数の撮像画素データを含む撮像データを生成する撮像素子と、撮像レンズの結像面上に配置されると共に、撮像素子の複数の撮像画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部とを備えたものである。

本発明の第１および第２の撮像装置では、撮像レンズによる撮像対象物の像は、マイクロレンズアレイ部上に結像する。そして、マイクロレンズアレイ部への入射光線がマイクロレンズアレイ部を介して撮像素子へ到達する。これにより、撮像対象物の像は、マイクロレンズごとに撮像素子上に結像する。ここで、第１の撮像装置では、撮像素子の受光面側に受光領域を制限する遮光部が設けられていることにより、各遮光部によって光束が絞られ、撮像素子では遮光部によって制限された画素領域において受光がなされる。一方、第２の撮像装置では、撮像レンズ部の開口絞りに複数の開口部が設けられていることにより、各開口部によって光束が絞られ、撮像素子では各開口部に対応する画素領域において受光がなされる。

本発明の第１の撮像装置によれば、撮像素子の受光面側に受光領域を制限する遮光部を設けたので、各マイクロレンズの割り当て画素数を減らした場合にも、所望の進行方向の光線情報を分離して取得することができる。また、本発明の第２の撮像装置によれば、撮像レンズの開口絞りが複数の開口部を含むようにしたので、各マイクロレンズの割り当て画素数を減らした場合にも、所望の進行方向の光線情報を分離して取得することができる。よって、所望の進行方向の光線情報を精度良く検出することが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

（１）実施の形態：複数の開口部を有する開口絞りを用いて得られた撮像データに基づいて補間画像データを生成する例
（２）変形例１：受光面に遮光部を有する撮像素子を用いて得られた撮像データに基づいて補間画像データを生成する例
（３）変形例２：（１）または（２）で得られた撮像データに基づいて、３次元表示（多眼ステレオ方式）用の画像データを生成する例
（４）変形例３：（１）または（２）で得られた撮像データに基づいて、３次元表示（２眼ステレオ方式）用の画像データを生成する例
（５）変形例４：（１）または（２）で得られた撮像データに基づいて、ステレオマッチング（左右視差）によるdepth mapを生成する例
（６）変形例５：（１）または（２）で得られた撮像データに基づいて、ステレオマッチング（上下視差）によるdepth mapを生成する例

＜実施の形態＞
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、被写体２を撮像して画像処理を施すことにより画像データＤoutを出力するものであり、開口絞り１０と、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。この撮像装置１では、光線の進行方向の情報を含むようにして取得した撮像データから任意の視野や焦点での再構築画像を生成できるようになっている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。開口絞り１０には、例えば、複数の開口部１０Ａが設けられており、この開口部１０Ａの数は、例えば各マイクロレンズに割り当てられる画素と同数となっている。本実施の形態では、一つのマイクロレンズに対して、撮像素子上の画素が３×３＝９個割り当てられるようになっており、開口部１０Ａの数も９つとなっている。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

マイクロレンズアレイ１２は、後述の複数のマイクロレンズが配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の撮像画素データを含む撮像データＤ０を生成するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素がマトリクス状に配置され、複数の撮像画素に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。例えば、受光面上の撮像画素の個数はＭ×Ｎ＝３７２０×２５２０＝９３７４４００個であり、このうち３×３＝９個の撮像画素に対して一つのマイクロレンズが割り当てられるようになっている。ここで、各マイクロレンズに対する画素の割り当て個数ｍ，ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して所定の画像処理を施し、画像データＤoutを出力するものである。また、例えば「Light Field Photography」と呼ばれる手法を用いた並べ替え処理を行うことにより、任意の視野や任意の焦点に設定した画像（再構築画像）データＤoutを生成できるようになっている。この画像処理部１４の詳細については後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４、撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

次に、図２を参照して画像処理部１４の詳細構成について説明する。図２は、画像処理部１４の全体構成を表す機能ブロック図である。

画像処理部１４は、例えば欠陥補正部１４１、クランプ処理部１４２、画像補間処理部１４３、並べ替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７およびガンマ補正部１４８から構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。

画像補間処理部１４３は、クランプ処理部１４２により供給される撮像データに対して、所定の画像補間処理を施すことにより、撮像データを構成する複数の撮像画素データに基づいて補間画像データを生成し、これら撮像画素データと補間画像データを含む画像データＤ１を出力するようになっている。この画像補間処理部１４３の詳細な処理動作について後述する。

並べ替え処理部１４４は、画像補間処理部１４３により供給される画像データＤ１に基づいて所定の並べ替え処理を施すことにより、画像データＤ２を生成するものである。このような並べ替え処理を行うことにより、任意の視野や焦点に設定された再構築画像の生成が可能となっている。この並べ替え処理部１４４の詳細な処理動作について後述する。

ノイズ低減部１４５は、並べ替え処理部１４４により供給される画像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される画像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される画像データに対し、撮像素子の受光面に設置されるカラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。

ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される画像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、画像データＤoutを生成するものである。

次に、本実施の形態の撮像装置１の作用および効果について、図１〜図７を参照して説明する。但し、図３は、撮像データＤ０に含まれる光線の情報を説明するための模式図である。図４は、撮像データＤ０を模式的に表すものである。図５は、本実施の形態の撮像素子１３上の受光領域を表すものである。図６は、撮像画素データに基づく画像補間処理の一例を表すものである。図７は、図６の画像補間処理後に再構築した任意視点画像の一具体例を表すものである。図８は、任意の焦点に設定した再構築画像を合成する際のリフォーカス演算処理を説明するための模式図である。

撮像装置１では、撮像レンズ１１による被写体２の像は、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。そして、撮像素子駆動部１５による駆動動作に従って、撮像素子１３から撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。

ここで、撮像素子１３で受光される光線について図３を参照して説明する。このように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の撮像画素の配置によって光線の入射方向が決まっている。

また、撮像素子１３上には、マイクロレンズごとに被写体２の像（以下、ユニット像とする）が結像する。このため、図４に示したように、撮像データＤ０では、例えば３行３列の撮像画素データ（撮像画素データＤ１０，Ｄ１１，…，Ｄ１８）ごとに、ユニット像に対応する画像領域Ｕ１が形成される。このとき、撮像データＤ０において、ユニット像に対応する画像領域Ｕ１ごとに互いに同一の位置にある撮像画素データは、それぞれ同一の光線の進行方向についての情報を保持している。また、各画像領域Ｕ１において、それぞれの撮像画素データは光線の進行方向が少しづつ変化した状態で取得される。このため、マイクロレンズに割り当てられた画素数が任意の視野、焦点での分解能となる。

さらに、撮像素子１３上で実際に光線が受光される受光領域１３Ｄは、開口絞り１０の開口部１０Ａの形状や個数に対応して形成される。例えば、本実施の形態のように、開口絞り１０に、各マイクロレンズに割り当てられる撮像画素と同数の円形の開口部１０Ａが設けられていることにより、図５に示したように、撮像画素（例えば、撮像画素Ｐ１０，Ｐ１１）ごとに、円形の受光領域１３Ｄが形成される。例えば図１１に示したような、一つの開口部１００Ａを有する開口絞り１００を用いた撮像装置では、この開口部１００Ａを通過する全光線が撮像素子１３０上で受光されることとなるため、各撮像画素において光線ベクトルの分離精度が低下し、各撮像画素において光線の位置や進行方向についての情報を得にくくなる。これに対し、本実施の形態では、受光領域１３Ｄごとに光束が絞られて受光されるため、一つの撮像画素において光線の位置や進行方向についての情報を取得し易くなる。

上記のような撮像データＤ０は、画像処理部１４へ入力されると、欠陥補正部１４１により欠陥が補正され、クランプ処理部１４２により適切な黒レベルに設定されたのち、画像補間処理部１４３に入力される。そして、画像補間処理部１４３により所定の画像補間処理がなされて画像データＤ１として出力される。以下、この画像補間処理部１４３の詳細な処理動作について説明する。

画像補間処理部１４３では、撮像データＤ０を構成する複数の撮像画素データに基づいて複数の視差画像を生成したのち、これら視差画像に基づいて補間画像を生成する。具体的には、まず、撮像データＤ０のうち、ユニット像に対応する画像領域Ｕ１ごとに同一の位置にある撮像画素データを抽出して合成することにより、マイクロレンズと同数の視差画像を生成する。そして、これらの視差画像のうち少なくとも２つの視差画像、例えば隣り合う２つの撮像画素から得られた撮像画素データに基づいてそれぞれ生成された２つの視差画像に対して、例えば相関演算などを用いた画像補間処理を施すことにより補間画像を生成するようになっている。これにより、画像領域Ｕ１における２つの撮像画素データの間に対応する領域を補間する補間画像データが得られる。

例えば、図６に示したように、画像領域Ｕ１の３行３列の撮像画素データのうち、例えば行方向において隣り合う撮像画素から得られた撮像画素データＤ１０，Ｄ１１に基づいて生成された視差画像同士の間で画像補間処理を行うことにより、補間画像データＤ２０が生成される。同様にして、行方向、列方向もしくは対角方向において隣り合う２つの撮像画素から得られた撮像画素データに基づいて生成された視差画像同士の間で画像補間処理（図中、実線で示す）を行うようにする。なお、本実施の形態では、３行３列（９個＝９ピクセル）の撮像画素に対して一つのユニット像が形成されるため、図６では、簡便化のため、ユニット像に対応する３行３列の画像領域についてのみ示している。

ここで、上記のような相関演算を用いた画像補間処理としては、例えば、テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号に基づいて表示を行う表示装置において、画像信号を構成する画像フレームから、画像フレームを補間する補間フレームを作成し、作成された補間フレームを画像フレームに内挿して表示させる技術を応用することが可能である。一般的には、動き推定の基本的技術であるブロックマッチング法を用いて動きベクトルを求め、この動きベクトルに基づいて補間すべき画像を生成するという手法を用いることができる。ブロックマッチング法は、例えば特許文献２に記載されているように、基準とする画像を小ブロックに分割し、このうち参照画像の領域から最も相関度の高いブロックを探索して動きベクトルを求める手法である。

また、ユニット像に対応する画像領域の外側の領域について補間画像データを生成する（図６中、点線の矢印で示す）場合には、画像領域にある少なくとも２つの撮像画素データに基づいて生成した視差画像のうち少なくとも２つの視差画像から、例えば動きベクトルを求め、その動きの量や極性が例えば線形であると推定して画像補間処理を施すことにより補間画像を生成する。これにより、画像領域の外側の領域を補間する補間画像データ（例えば、補間画素データＤ２１）が得られる。

上記のようにして、撮像データＤ０に基づいて生成した視差画像に対して画像補間処理を行うことにより、撮像画素データ同士の間の領域が補間され、実際に撮像した撮像画素データに加えて、これら撮像画素データとは異なる光線情報を保持する補間画像データをも含む画像データＤ１が出力される。特に、隣り合う２つの撮像画素から得られた撮像画素データ間が補間されることにより、これら２つの撮像画素データが保持する光線の位置や進行方向を少しずつ変化させ、あたかも２つの撮像画素の間の領域で撮像したかのような光線情報を有する画像データを得ることができる。また、ユニット像に対応する画像領域の外縁付近の領域では光線の視差が大きいため、少なくとも２つの撮像画素データに基づいて生成した視差画像から予測して画像領域の外側に補間画像データを生成することにより、後述の並べ替え処理によって画像の外縁部に光学的なボケをつくり易くなる。

画像補間処理部１４３を出力された画像データＤ１は、並べ替え処理部１４４に入力されると、所定の並べ替え処理がなされる。これにより、例えば任意の視野や任意の焦点に設定された画像が再構築される。以下、この任意の視野、任意の焦点における画像を再構築する際の並べ替え処理の一例について説明する。

例えば、任意の視野における画像は、画像データＤ１のうちユニット像に対応する画像領域ごとに同一の位置にある撮像画素データもしくは補間画像データを抽出して合成（並べ替え）することにより再構築することができる。例えば、図７（Ａ）および図７（Ｂ）に、ユニット像に対応する画像領域ごとに同一の位置にある撮像画素データＤ１０，Ｄ１１をそれぞれ抽出して合成した場合の実際の再構築画像（任意の視野における画像）を示す。また、図７（Ｃ）には、これらの撮像画素データＤ１０に基づいて生成した視差画像における領域Ｓ１０と撮像画素データＤ１１に基づいて生成した視差画像における領域Ｓ１１に基づく動きベクトルから生成した補間画像（補間画像データＤ２０に基づく再構築画像）の領域Ｓ２０を示す。但し、図７（Ｃ）では領域Ｓ２０のみが画像補間処理されたものとなっている。このように、撮像データにおいて隣り合う撮像画素で取得された撮像画素データはそれぞれ異なる光線情報を含んでいるため、これらに基づいて生成した視差画像（再構築画像）は、同一の撮像対象物２に対して互いに異なる視野（任意の視野）から観察した画像となる。また、隣り合う２つの撮像画素で得られた撮像画素データに基づいて画像補間処理を行うことにより、それらの間の領域で撮像したかのような再構築画像が生成される。

一方、任意の焦点における画像は次のようにして再構築することができる。図８に示したように、撮像レンズ面１１０、撮像素子面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_Ｆ’は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_Ｆ’（ｓ，ｔ）は、上記検出強度Ｌ_Ｆ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。したがって、この（２）式からリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

また、リフォーカス演算処理においては、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも奥側（遠く）に存在する撮像対象物２に対して焦点が設定された再構築画像を生成する際には、そのような焦点位置に結像する光線が選択的に抽出されるような並べ替え処理がなされる。この場合、一旦集光した光線は再び離散し、その進行方向ごとに異なるマイクロレンズを通過して撮像素子１３上に到達することとなる。また一方で、撮影時の設定焦点位置よりも手前側（近く）に存在する撮像対象物２に対して焦点が設定された再構築画像を生成する際には、そのような焦点位置に結像する光線が選択的に抽出されるような並べ替え処理がなされる。この場合、撮像対象物２の像は撮像装置１内で結像することなく、進行方向ごとに異なるマイクロレンズを通過して撮像素子１３上に到達することとなる。

上記のようにして並べ替え処理部１４４により再構築された任意の視野や任意の焦点における再構築画像の画像データは、ノイズ低減部１４５によりノイズ低減処理がなされ、さらに輪郭強調部１４６によって輪郭強調処理がなされ、ホワイトバランス調整部１４７へ供給される。そして、ホワイトバランス調整部１４７から供給された画像データは、ガンマ補正部１４８によりガンマ補正がなされることにより、画像データＤoutとして画像処理部１４から出力される。

以上のように、撮像装置１によれば、画像処理部１４において、撮像素子１３で取得された複数の撮像画素データに基づいて複数の視差画像を生成し、これら視差画像に対して画像補間処理を施すことにより補間画像を生成するようにしたので、各撮像画素データ同士の間の領域に対応する補間画像データを得ることができる。よって、実際に取得される撮像画素データに加え、これらとは光線の位置および進行方向の情報が異なる補間画像データを含む画像データを得ることができる。これにより、画像処理部１４では、実際に撮像画素で取得したよりも多くの光線情報を用いて、任意の視野や焦点での画像を再構築することができる。よって、撮像素子１３上で取得された撮像データＤ０に基づいて、任意の視野や焦点での再構築画像を生成する際に、光線の位置や進行方向についての情報を所望の数だけ確保しつつ、一つのマイクロレンズに割り当てる画素数を減らすことができる。従って、任意の視野や焦点での分解能を保持しつつ、再構築画像の画素数を増やすことができる。

また、開口絞り１０において、複数の開口部１０Ａを設けるようにすれば、撮像素子１３上で受光される光束が絞られ、光線の位置や進行方向についての情報を検出し易くなる。また、一つのマイクロレンズに割り当てられる撮像画素と同数の開口部１０Ａを設けるようにすれば、撮像画素ごとに光線情報を検出し易くなる。このように、光線の位置や進行方向についての検出精度が高まると、画像補間処理の精度が向上する。これにより、任意の視野での再構築画像は高画質となり、任意の焦点での再構築画像ではリフォーカス（フォーカス）精度を向上させることができる。

次に、上記実施の形態の撮像装置の変形例について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

＜変形例１＞
図９は、変形例１に係る撮像素子の概略構成を表す断面図である。この撮像素子は、その光入射側（受光面側）に、遮光部３１が形成されており、遮光部３１の下層には、ｐ−Ｓｉ（ポリシリコン）層３２、垂直レジスタ３３、光センサ３４などが設けられている。また、遮光部３１は、光センサ３４に対向する領域に方形の開口部３１Ａを有している。なお、遮光部３１の上部には、図示しないカラーフィルタなどが配置される。また、この撮像素子以外の構成については、上記実施の形態の撮像装置１と同様である。このような構成により、撮像素子に入射する光線は光束が絞られて受光されるようになっている。

ここで、従来は、図１２に示したように、光入射側から、オンチップマイクロレンズ１３１、カラーフィルタ１３２、内部レンズ１３３、遮光部１３４、ｐ−Ｓｉ層１３５、垂直レジスタ１３６、光センサ１３７などが設けられた構成となっている。これにより、オンチップマイクロレンズ１３１や内部レンズ１３３によって入射光線を集光して受光光線の開口率を向上させている。ところが、このような従来の構成では、受光される光線ベクトルの分離精度が低下してしまう。

これに対し、本実施の形態では、オンチップレンズなどを設けずに、遮光部３１によって受光領域を制限するようにしたので、図１０に示したように、撮像素子１３上では、各撮像画素Ｐにおいて開口部３１Ａの形状に対応した受光領域２３Ｄでのみ受光がなされる。よって、光線ベクトルの分離精度が向上し、各撮像画素で光線の位置や進行方向についての情報を検出し易くなる。すなわち、開口絞りに複数の開口部を設けた上記実施の形態とほぼ同等の効果を得ることができる。なお、本変形例では、遮光部３１に方形の開口部３１Ａを設けた構成を例に挙げて説明したが、開口部３１Ａの形状は円形や正多角形等であってもよい。また、上記実施の形態における開口絞り１０と本変形例における遮光部３１を有する撮像素子とを組み合わせた構成としてもよい。更に、上記のように遮光部３１および開口部３１Ａが撮像画素Ｐごとに設けられた構成であってもよいが、撮像素子上の画像領域Ｕ１における左右や上下等の選択的な位置にのみ開口部を設けて、他の領域を遮光した構成であってもよい。

上記実施の形態および変形例１では、光線情報が精度良く検出された撮像データを用いて補間画像を生成する場合について説明したが、このような撮像データは、上記補間画像以外にも、例えば以下の変形例２〜５のような用途に好適に用いることが可能である。

＜変形例２＞
図１３（Ａ）は、上記実施の形態において取得された撮像データＤ０を模式的に示したものである。但し、ここでは、説明のため、各画像領域Ｕ１に対応する３×３＝９つの画素に、１〜９の番号を付している。本変形例では、上記実施の形態と同様にして取得した撮像データＤ０を用いて、所定の画像処理を行うことにより、多眼ステレオ方式を用いた３次元表示用の画像データ（画像データＤ３）を生成する。具体的には、図１３（Ｂ）に示したように、撮像データＤ０に対して、各画像領域Ｕ１ごとに反転処理を施す。これにより、画像データＤ３を生成することができる。なお、反転処理を施すのは、撮像対象（被写体）に対する入力（撮像）と出力（表示）との位置関係が反転しているためである。

生成した画像データＤ３に基づいて画像表示を行う際には、例えば多眼ステレオ方式による３次元表示に対応した表示パネルに画像データＤ３を入力する。多眼ステレオ方式としては、例えばレンチキュラ方式やインテグラルフォトグラフィ方式等が挙げられる。これにより、観察者は偏光眼鏡等を使用せずに裸眼で、表示された画像を３次元の画像として認識することができる。

このように、複数の開口部を有する開口絞りを用いて取得した撮像データＤ０は、画像補間処理による補間画像の生成だけでなく、本変形例のような多眼ステレオ方式を用いた３次元表示にも好適に用いることが可能である。また、本変形例では、上記実施の形態における撮像データＤ０を用いて画像データＤ３を生成する場合を例に挙げたが、上記変形例１のような受光面に遮光部を有する撮像素子により取得された撮像データを用いてもよい。この場合であっても、本変形例と同等の効果を得ることができる。

＜変形例３＞
図１４（Ａ）は、変形例３に係る開口絞り２０の平面構成を表すものである。図１４（Ｂ）は、開口絞り２０を用いて取得した撮像データ（撮像データＤ４）の平面構成を模式的に表すものである。本変形例では、撮像データＤ４に基づいて、２眼ステレオ方式を用いた３次元表示用の画像を生成する。開口絞り２０は、撮像レンズ１１の光学的な開口絞りであり、例えば、上下左右の４箇所にそれぞれ開口部２０Ａが設けられたものである。この開口絞り２０以外の構成は、上記実施の形態と同様となっている。

開口絞り２０を用いることにより、撮像素子１３の受光面には、この開口絞り２０の開口部２０Ａに対応して、例えば上下左右の各画素（例えば図１４（Ｂ）中の２，４，６，８に対応する画素）に光束が絞られた受光領域が形成される。このようにして取得した撮像データＤ４に基づいて、上記実施の形態と同様にして、上下または左右の２視点における２つの視差画像を生成する。具体的には、図１４（Ｃ）に示したように、撮像データＤ４のうちの「４」のみを合成した画像（左視点画像Ｄ４Ｌ）と、「６」のみを合成した画像（右視点画像Ｄ４Ｒ）とをそれぞれ生成する。

画像表示を行う際には、生成した左視点画像Ｄ４Ｌ，右視点画像Ｄ４Ｒを、例えば２眼ステレオ方式による３次元表示に対応した表示パネルに入力する。２眼ステレオ方式としては、眼鏡を使用する場合と使用しない場合とで２つの方式に大別されるが、眼鏡を使用する場合には、例えば偏光眼鏡方式や液晶シャッター眼鏡方式等が挙げられる。一方、眼鏡を使用しない場合には、パララックスバリア方式、レンチキュラ方式等が挙げられる。これにより、観察者は表示された画像を３次元の画像として認識することができる。

また、上記実施の形態と同様、複数の開口部２０Ａにより光線の進行方向についての情報を精度良く検出することができる。このため、左視点画像Ｄ４Ｌ，右視点画像Ｄ４Ｒにおける被写界深度が深くなり、手前から奥まで幅広くフォーカスが合っているような３次元表示を行うことができる。なお、本変形例においても、上記変形例１のような受光面に遮光部を有する撮像素子により取得された撮像データを用いてもよい。この場合であっても、本変形例と同等の効果を得ることができる。また、開口絞り２０として、左右上下の４箇所に開口部２０Ａが設けられたものを用いたが、開口部２０Ａの位置や数は必ずしもこれに限定される訳ではない。

＜変形例４＞
図１５（Ａ），（Ｂ）は、変形例４に係るDepth Mapの生成手法について説明するための模式図である。本変形例では、撮像データＤ４に基づいて、ステレオマッチング処理（相関演算による位相差検出処理）を行うことにより、左右視差におけるDepth Mapを生成する。具体的には、まず、上記変形例３と同様にして、図１５（Ａ）に示した左視点画像Ｄ４Ｌと右視点画像Ｄ４Ｒとをそれぞれ生成する。続いて、図１５（Ｂ）に示したように、ステレオマッチング処理を行い、これらの左視点画像Ｄ４Ｌ（位相φＬ）および右視点画像Ｄ４Ｒ（位相φＲ）同士の間の位相差Δφ１を算出する。この位相差Δφ１の算出結果に基づいて、左右視差におけるDepth Mapを生成する。このとき、上記変形例３と同様、左視点画像Ｄ４Ｌ，右視点画像Ｄ４Ｒにおける被写界深度が深くなるため、ステレオマッチングの精度が向上する。なお、本変形例においても、上記変形例１のような受光面に遮光部を有する撮像素子により取得された撮像データを用いてもよい。この場合であっても、本変形例と同等の効果を得ることができる。また、３つ以上の視差画像を用いてそれぞれの間の位相差を検出してDepth Mapを生成するようにしてもよい。

＜変形例５＞
図１６（Ａ），（Ｂ）は、変形例５に係るDepth Mapの生成手法について説明するための模式図である。本変形例では、撮像データＤ４に基づいて、ステレオマッチング処理（相関演算による位相差検出処理）を行うことにより、上下視差におけるDepth Mapを生成する。具体的には、まず、上記変形例３における撮像データＤ４（図１４（Ｂ））のうちの「２」のみを合成した画像（上視点画像Ｄ４Ｕ）と、「８」のみを合成した画像（下視点画像Ｄ４Ｄ）とをそれぞれ生成する（図１６（Ａ））。続いて、図１６（Ｂ）に示したように、ステレオマッチング処理を行い、これらの上視点画像Ｄ４Ｕ（位相φＵ）および下視点画像Ｄ４Ｄ（位相φＤ）同士の間の位相差Δφ２を算出する。この位相差Δφ２の算出結果に基づいて、上下視差におけるDepth Mapを生成する。このとき、上記変形例３と同様、上視点画像Ｄ４Ｕおよび下視点画像Ｄ４Ｄにおいても被写界深度が深くなるため、ステレオマッチングの精度が向上する。なお、本変形例においても、上記変形例１のような受光面に遮光部を有する撮像素子により取得された撮像データを用いてもよい。この場合であっても、本変形例と同等の効果を得ることができる。また、３つ以上の視差画像を用いてそれぞれの間の位相差を検出してDepth Mapを生成するようにしてもよい。

また、上記変形例４では左右視差においてステレオマッチング処理を行うため、横縞状のテクスチャに対しては精度良く位相差の検出ができず、エラーが生じ易い。一方、変形例５では上下視差においてステレオマッチング処理を行うため、縦縞状のテクスチャに対しては精度良く位相差の検出ができず、エラーが生じ易い。このため、左右視差および上下視差の双方においてステレオマッチング処理を行い、左右および上下のうち相関値が大きい算出結果を優先してDepth Mapを生成するようにしてもよい。

以上、実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。また、上記実施の形態等では、画像補間処理の一例として、ブロックマッチング法による動きベクトルを用いる手法を挙げたが、撮像画素データ間の相関演算を用いた画像補間処理であれば、上述のものに限定されない。

また、上記実施の形態では、撮像データＤ０のうち画素領域において隣り合う２つの撮像画素から得られた撮像画素データに基づいて生成された視差画像同士の間で画像補間処理を行うことにより補間画像を生成し、これら２つの撮像画素データの間に対応する領域に補間画像データを生成する場合を例に挙げて説明したが、これに限定されず、画像領域にある少なくとも２つの撮像画素データに基づいて生成された視差画像に対して画像補間処理を行うようにすれば、本発明の効果を得ることができる。

また、上記実施の形態では、開口絞りの開口部の数と各マイクロレンズに割り当てられる画素数とが同数の場合について説明したが、必ずしも同一である必要はなく、異なっていてもよい。また、開口絞りの開口部の形状が円形である場合を例に挙げて説明したが、これに限定されず、他の形状、例えば正方形などであってもよい。

また、上記実施の形態では、開口絞りの位置を撮像レンズの被写体側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

また、上記実施の形態等では、一つのマイクロレンズに３行３列の撮像画素を割り当てた構成を例に挙げて説明したが、これに限定されず、必要とされる再構築画像の画素数や、設計仕様によって、マイクロレンズに割り当てられる撮像画素数を決定するようにすればよい。

また、上記実施の形態等では、３行３列の計９つの撮像画素データに基づいて、隣り合う２つの撮像画素データ間に２行（２列）分、ユニット像に対応する画像領域の外側の領域に１行（１列）分の補間画像データを生成した構成を例に挙げて説明したが、補間画像データの数は上述のものに限定されない。但し、補間画像データの数が多くなればなるほど、画像補間処理の精度が低下する。また、画像領域の外側の領域については、補間画像データを生成しないようにしてもよい。

また、上記実施の形態では、画像処理部１４を、撮像装置１の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 図１に示した画像処理部の全体構成を表す機能ブロック図である。 撮像素子に入射する光線の情報を説明するための模式図である。 撮像素子で得られた撮像データを模式的に表す図である。 撮像素子上の受光領域を表す図である。 撮像データに基づく画像補間処理の一例を表す図である。 再構築した任意視点画像の一具体例を表す図である。 任意の焦点での再構築画像を生成する際のリフォーカス演算処理を説明するための模式図である。 変形例１に係る撮像素子の概略構成を表す断面図である。 図９に示した撮像素子上の受光領域を表す図である。 比較例に係る開口絞りを備えた撮像装置の全体構成を表す図である。 比較例に係る撮像素子の概略構成を表す断面図である。 変形例２に係る３次元表示用の画像生成手法を説明するための模式図である。 （Ａ）は変形例３に係る開口絞りの平面図、（Ｂ）は３次元表示用の画像生成手法を説明するための模式図である。 変形例４に係るDepth Mapの生成手法を説明するための模式図である。 変形例５に係るDepth Mapの生成手法を説明するための模式図である。

符号の説明

１…撮像装置、１０，２０…開口絞り、１０Ａ，２０Ａ…開口部、１１…撮像レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、２…被写体。

Claims (11)

1. 開口絞りを有する撮像レンズと、
   光線の進行方向を保持して受光すると共に、その受光した光に基づいて複数の撮像画素データを含む撮像データを生成する撮像素子と、
   前記撮像素子の受光面側に設けられると共に前記撮像素子の受光領域を制限する遮光部と、
   前記撮像レンズの結像面上に配置され、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と、
   前記撮像素子で取得された撮像データに基づいて画像補間処理を行うことにより補間画像データを生成する画像補間処理部を有する画像処理部と
   を備え、
   前記撮像データは、前記マイクロレンズごとに形成された画像領域を有し、
   前記画像補間処理部は、
   前記撮像データのうち各画像領域で同一の位置にある撮像画素データをそれぞれ抽出して合成することにより、前記マイクロレンズと同数の視差画像を生成し、
   生成した複数の視差画像のうち少なくとも２つの視差画像に基づいて前記撮像データにおける各画像領域の外側の領域を補間することにより、前記補間画像データを生成する
   撮像装置。
2. 前記画像補間処理部は、前記撮像素子上の隣り合う２つの撮像画素から取得された撮像画素データに基づいて生成された視差画像同士の相関演算により画像補間処理を行う
   請求項１記載の撮像装置。
3. 前記画像処理部は、前記視差画像および前記補間画像に基づいて、所定の並べ替え処理を行うことにより、任意の焦点における画像を生成する並べ替え処理部を有する
   請求項１記載の撮像装置。
4. 前記撮像レンズの開口絞りが複数の開口部を有している
   請求項１に記載の撮像装置。
5. 前記開口絞りは、前記マイクロレンズに割り当てられる画素と同じ数の開口部を有している
   請求項４に記載の撮像装置。
6. 複数の開口部を含む開口絞りを有する撮像レンズと、
   光線の進行方向を保持して受光すると共に、その受光した光に基づいて複数の撮像画素データを含む撮像データを生成する撮像素子と、
   前記撮像レンズの結像面上に配置され、前記撮像素子の複数の撮像画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイ部と
   を備えた撮像装置。
7. 前記撮像素子で取得された撮像データに基づいて画像補間処理を行うことにより補間画像データを生成する画像補間処理部を有する画像処理部とを備え、
   前記撮像データは、前記マイクロレンズごとに形成された画像領域を有し、
   前記画像補間処理部は、前記撮像データのうち各画像領域で同一の位置にある撮像画素データをそれぞれ抽出して合成することにより、前記マイクロレンズと同数の視差画像を生成し、
   前記複数の視差画像のうち少なくとも２つの視差画像に基づいて画像補間処理を行うことにより補間画像を生成する
   請求項６に記載の撮像装置。
8. 前記画像補間処理部は、前記撮像素子上の隣り合う２つの撮像画素から取得された撮像画素データに基づいて生成された視差画像同士の相関演算により画像補間処理を行う
   請求項７記載の撮像装置。
9. 前記画像補間処理部は、前記複数の視差画像のうち、少なくとも２つの視差画像から予測して、前記撮像データにおける各画像領域の外側の領域を補間するための補間画像を生成する
   請求項７記載の撮像装置。
10. 前記画像処理部は、前記視差画像および前記補間画像に基づいて、所定の並べ替え処理を行うことにより、任意の焦点における画像を生成する並べ替え処理部を有する
    請求項７記載の撮像装置。
11. 前記開口絞りは、前記マイクロレンズに割り当てられる画素と同じ数の開口部を有している
    請求項６に記載の撮像装置。

Images