JP4967873B2 - 撮像装置 - Google Patents

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成され、撮像レンズには中央部に単一の開口を有する開口絞りが設けられている。このような構成により、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視点や方向（以下、単に視野という）からの観察画像を再構築できるようになっている。
国際公開第０６／０３９４８６号パンフレット Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、上記マイクロレンズアレイには、複数のマイクロレンズが設けられており、各マイクロレンズに対して撮像素子の複数の画素が割り当てられるようになっている。そして上記手法を利用した場合には、再構築された画像の画素数はマイクロレンズアレイにおけるマイクロレンズ数と等しくなる。これは、再構築画像の２次元座標の情報がマイクロレンズアレイの座標で決まるためである。従って、再構成画像の２次元座標の画素数は撮像素子の全画素数を各マイクロレンズに割り当てられる画素数で割った数となる。一方、各マイクロレンズに割り当てられる画素数は、光線の角度情報の分解能に等しく、再構築画像の任意の視野における分解能、すなわち、どれだけ多くの視点や方向から画像が再構築されているかを決定する。このため、任意の視野における分解能と２次元座標の画素数とはトレードオフの関係にある。

従って、撮像素子の全画素数が一定である場合に、マイクロレンズの数を増やすことにより、撮像素子における各マイクロレンズへの画素数の割り当てが減り、これによって再構築画像の２次元座標の画素数を増やすことが可能である。

しかしながら、各マイクロレンズへ割り当てられる画素数を減らした場合、各画素で受光される光線の進行方向の分解能が低下し、所望の進行方向の光線情報を得にくくなってしまう。これにより、画像処理により再構築画像を生成した際に、その画質が低下するという問題がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、画像処理によって再構築画像を生成する際に、その再構築画像の画質を低下させることなく画素数を増加させることが可能な撮像データを生成する撮像装置を提供することにある。

本発明の撮像装置は、複数の開口部を含む開口絞りを有する撮像レンズ部と、受光した光に基づいて撮像データを生成する撮像素子と、撮像レンズ部と撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、撮像素子の複数の画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部とを備えたものである。

本発明の撮像装置では、撮像レンズ部による撮像対象物の像は、マイクロレンズアレイ部上に結像する。そしてこのマイクロレンズアレイ部へ入射した光線が撮像素子へ到達し、各マイクロレンズに対応する複数の画素で受光されることにより、光の進行方向の情報を含んだ撮像データが得られる。ここで、上記撮像レンズ部の開口絞りには複数の開口部が設けられていることにより、各開口部によって光束が絞られ、撮像素子では各開口部に対応する画素領域において受光がなされる。したがって、マイクロレンズの数を増やして各マイクロレンズに割り当てられる撮像素子の画素数を減らした場合であっても、一画素内では開口部によって光束が絞られて、進行方向が制限された光線のみが開口部を通過するため、撮像レンズの開口絞りに単一の開口部が設けられている従来と比べ、所望の進行方向の光線情報が得やすくなる。

本発明の撮像装置によれば、撮像レンズの開口絞りが複数の開口部を含むようにしたので、マイクロレンズの数を増やして、各マイクロレンズに割り当てられる画素数を減らした場合であっても、撮像素子では各開口部によって光束が絞られて受光されるため、一画素内の受光領域において、所望の進行方向の光線情報を得易くなる。よって、画像処理を施して再構築画像を生成する際に、画質を低下させることなく、再構築画像の画素数を増加させることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、被写体２を撮像して撮像データＤoutを出力するものであり、被写体２の側から、開口絞り１０と、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の詳細な構成については後述する。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

マイクロレンズアレイ１２は、後述の複数のマイクロレンズが配列したものであり、撮像レンズ１１の焦点面（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。このマイクロレンズアレイ１２の具体的な構成については後述する。

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データを生成するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子などにより構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（画素Ｐ）がマトリクス状に配置され、複数の画素Ｐに対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。この受光面上の画素Ｐの個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズに割り当てられる画素数（ｍ×ｎ）は、再構築画像の任意の視野での分解能と関連しているため、これらｍ，ｎの値が大きくなるに従って、再構築画像の任意の視野での分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が高くなる。したがって、再構築画像の任意の視野での分解能と画素数とはトレードオフの関係となっている。

画像処理部１４は、撮像素子１３で得られた撮像データに対して所定の画像処理を施し、撮像データＤoutとして出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理を行い、これにより任意の視野での観察画像を再構築できるようになっている。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４、撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

次に、図２を参照して、開口絞り１０の具体的な構成について説明する。図２は、開口絞り１０の概略構成を表す平面図である。

開口絞り１０は、例えば円形状のものであり、４つの開口部１０Ａを有している。これらの開口部１０Ａは、例えば、開口絞り１０の円周に沿って（円周側の領域に）、開口絞りの中心点に対して互いに点対称となるように設けられている。なお、開口部１０Ａの形状は特に限定されないが、サイズは小さい方が好ましい。これは、サイズが小さい程、光線の進行方向を抽出し易くなるためである。また、開口部１０Ａの数は、撮像素子１３において各マイクロレンズに割り当てられる画素数と等しくなっている（本実施の形態では４つ）ことが好ましい。

続いて、図３（Ａ）および図３（Ｂ）を参照して、マイクロレンズアレイ１２の具体的な構成について説明する。図３（Ａ）および図３（Ｂ）は、マイクロレンズアレイ１２の平面構成を表したものである。

マイクロレンズアレイ１２は、図３（Ａ）に示したように、複数のマイクロレンズ１２−１をマトリクス状に２次元配列したものである。マイクロレンズ１２−１は、その平面形状が円形となっている。あるいは、図３（Ｂ）に示したように、正方形状のマイクロレンズ１２−２が２次元配列した構成であってもよい。また、このようなマイクロレンズ１２−１，１２−２は、例えば液晶レンズ、液体レンズ、回折レンズなどにより構成されている。

また、一つのマイクロレンズに対して、撮像素子１３における画素Ｐを２×２＝４つ（４ピクセル）割り当てた構成となっており、これが本実施の形態における任意の視野での分解能となり、計４つの視野での画像が取得可能となる。一方、マイクロレンズアレイ１２には、撮像素子１３全体の画素数を４で割った数のマイクロレンズが設けられており、このマイクロレンズの数が本実施の形態における再構築画像の画素数となる。なお、以下では、マイクロレンズアレイ１２として、図３（Ａ）に挙げた円形のマイクロレンズアレイを２次元配置したものを用いて説明する。

次に、本実施の形態の撮像装置１の作用および効果について、図１〜図４および図１０および図１１を参照して説明する。但し、図１０は本実施の形態の撮像素子１３における受光領域を表し、図１１は、画像処理の際に、図１０の受光領域から所定の領域を抽出する様子を表すものである。

まず、この撮像装置１の基本的な作用について図１〜図４を参照して説明する。撮像装置１では、撮像レンズ１１による被写体２の像は、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。

ここで、撮像素子１３で受光される光について図４を参照して説明する。図４に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素の配置によって光線の入射方向が決まっている。

このようにして撮像素子１３において受光がなされると、撮像素子駆動部１５による駆動動作に従って、撮像素子１３から撮像データが得られ、この撮像データが画像処理部１４へ入力される。画像処理部１４では、制御部１６の制御に応じて、撮像データに対して所定の画像処理を施し、これにより撮像データＤoutにより再構築画像が出力される。

次に、この撮像装置１の特徴的な作用について、図５〜図９に示した従来の撮像装置と比較して、図１０および図１１を参照して説明する。なお、図５は従来の開口絞りを用いた撮像装置の概略構成を表し、図６は図５の撮像装置を用いた場合の撮像素子の受光領域、図７は図５の撮像装置で実際に取得した画像、図８および図９は従来の開口絞りを用いて各マイクロレンズに割り当てられる画素数を減らした際の受光領域を表すものである。

図５に示したように、従来の撮像装置は、被写体２の側から、開口絞り１００を有する撮像レンズ１１０と、マイクロレンズアレイ１２０と、撮像素子１３０とを備えており、開口絞り１００は、その中央部に一つの円形の開口部１００Ａを有している。このため、開口絞り１００Ａを通過した全ての光線が、上述したように、その進行方向に関する情報を保持している。

従って、従来の構成では、図６に示したように、開口絞りの円形状が投影された受光領域１３０−１において受光がなされる。また、撮像素子１３０において、１５×１５＝２２５個の画素Ｐが配置された領域に、一つのマイクロレンズが割り当てられている。また、上述したように、各マイクロレンズに割り当てられた画素Ｐの位置によって光線の入射方向が決定される。従って、マイクロレンズごとに、同じ位置に結像した一の画素Ｐの出力を抽出したのち、それらを合成する。これにより、例えば、図７に示したような、一の方向における再構築画像が取得される。この各マイクロレンズに割り当てられる画素Ｐが配置された領域（再構築画素領域１３０Ｄ）が、再構築画像の一画素分に相当する。

よって、撮像素子１３上の画素数が一定である場合には、各マイクロレンズに割り当てられる画素数が少ない程、再構築画像の画素数が増え、分解能が高くなる。

そこで、図８に示したように、従来の開口絞りを用いて、マイクロレンズの数を増やすことにより、各マイクロレンズに割り当てられる画素数を２×２＝４つに設定した場合について考える。この場合、図９（Ａ）に示したように、抽出画素Ｐ１０では、その受光領域が扇形状となる。このとき、図９（Ｂ）に示したように、その円弧付近の領域１３２Ａと頂角付近の領域１３２Ｂとでは、受光される光線の進行方向が異なるものとなる。このように、一つの抽出画素Ｐ１０の受光領域１３０−１では、受光される光線の進行方向の分散が大きくなり、所望の進行方向の光線情報を得にくくなる。よって、単に各マイクロレンズに割り当てられる画素数を少なくするだけでは、抽出画素Ｐ１０を合成して画像を再構築した場合、再構築画像の画素数を増やすことはできるものの、画質そのものが低下してしまう。

これに対し、本実施の形態では、開口絞り１０に４つの開口部１０Ａを点対称となるように設けることにより、図１０に示したように、撮像素子１３上には、各マイクロレンズに割り当てられる画素が配置された領域（再構築画素領域１３Ｄ）に対して、この４つの開口部１０Ａに対応した４つの受光領域１３−１が形成される。また、各マイクロレンズに割り当てられる画素Ｐの数を、開口部１０Ａの数に等しい４（２×２）つとしている。

このような構成により、図１１に示したように、一つの抽出画素Ｐ１における受光領域１３−１では、図９（Ａ）および図９（Ｂ）に示した受光領域１３０−１に比べて、撮像素子１３へ入射する光束が絞られるため、進行方向の制限された光線のみが開口部１０Ａを通過することとなる。よって、一つの抽出画素Ｐでの所望の進行方向における光線情報を取得し易くなる。

また、複数の開口部１０Ａが、開口絞り１０の円周側の領域に配置されていることにより、正面方向に対してより大きな角度を有する視野での光線情報を取得することができる。

以上のように本実施の形態では、開口絞り１０に４つの開口部１０Ａを設けることにより、撮像素子１３に入射する光束が絞られ、各マイクロレンズに割り当てられる画素数を少なくした場合であっても、各画素Ｐでの所望の進行方向の光線情報を取得し易くなる。よって、画質を低下させることなく、再構築画像の画素数を増加させることができる。

また、上記のような撮像装置１は、図１２（Ａ）および図１２（Ｂ）に示したようなデジタルスチルカメラ３に適用することができる。なお、図１２は、デジタルスチルカメラ３の概略構成を表し、（Ａ）は正面図、（Ｂ）は側面図である。このデジタルスチルカメラ３は、筐体３００の内部に撮像装置１を備えており、筐体３００の上部には、シャッタ１７、フラッシュ１８、ファインダ光学系１９などが設けられている。また、撮像装置１は、このようなカメラの他にも、位置センサや生体センサ、光学顕微鏡などに適用することが可能である。

次に、本発明の変形例について説明する。

（変形例１）
図１３（Ａ）および図１３（Ｂ）は、本発明の変形例１に係るカラーフィルタ２０，２１の構成を表す平面図である。このカラーフィルタ２０，２１は、撮像素子１３の受光面側に配置されることにより、撮像画像のカラー表示を可能にするものである。

図１３（Ａ）では、カラーフィルタ２０は、マイクロレンズに対応する領域１２Ｄ、すなわち２×２の画素配列ごとに色分けされた構成となっている。また、カラー配列としては、３原色のフィルタ、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタの比率を１：２：１とし、緑が対角線上になるように規則的に配置された構成（配列Ａ）を用いることができる。図１３（Ｂ）では、カラーフィルタ２１は、画素Ｐごとに色分けされた構成となっており、上記カラーフィルタ２０と同じカラー配列（配列Ｂ）となっている。

このように、本発明において、所定の画素領域ごとに色分けされたカラーフィルタを配置することで、カラー表示が可能となる。この際、特に、図１３（Ａ）に示したカラーフィルタ２０のように、マイクロレンズ対応領域１２Ｄごとに色分けがなされていることにより、図１３（Ｂ）とは異なり、マイクロレンズごとに同一の位置に配置された画素を抽出して合成した場合、合成後も同一のカラー配列とすることができる。よって、図１３（Ｂ）と比べて、例えば色補間などの処理を施し易くなる。

（変形例２）
図１４は、本発明の変形例２に係る開口絞り２２の概略構成を表す平面図である。この開口絞り２２は、４つの矩形の開口部２２Ａを有している。また、これらの開口部２２Ａは、開口絞り２２の円周側に、点対称となるように設けられている。このように、複数の開口部の形状は、複数の開口部が互いに同一の形状であれば、開口部の形状は上記円形状に限定されず、多角形であってもよい。

（変形例３）
図１５は、本発明の変形例３に係る開口絞り２３の概略構成を表す平面図である。また、この開口絞り２３を用いた場合の、撮像素子の受光領域を図１６、カラーフィルタの構成を図１７（Ａ）および図１７（Ｂ）に示す。この開口絞り２３は、８つの円形の開口部２３Ａを有している。また、これらの開口部２３Ａは、開口絞り２３の円周側に、点対称となるように設けられている。これにより、図１６に示したように、撮像素子１３上には、各マイクロレンズに割り当てられる画素Ｐが配置された領域（再構築画素領域２５Ｄ）に対して、この８つの開口部２３Ａに対応した８つの受光領域１３−２が形成される。また、各マイクロレンズに割り当てられる画素Ｐの数を９（３×３）つとしている。

また、カラー表示を行う場合には、図１７（Ａ）に示したように、各マイクロレンズに割り当てられる画素Ｐ、すなわち３×３の画素配列ごとに、色分けしたカラーフィルタ２６を配置するか、あるいは、図１７（Ｂ）に示したように、画素Ｐごとに色分けしたカラーフィルタ２７を配置すればよい。但し、図１７（Ａ）のように、マイクロレンズに対応する領域ごとに色分けがされたカラーフィルタ２６を用いることにより、図１７（Ｂ）と異なり、マイクロレンズごとに画素を抽出して合成する場合に合成後の画像についても同一の配列とすることができるため、図１７（Ｂ）に比べて、色補間などの処理を施し易くなる。

なお、開口絞り２３の中央部分にもう一つ開口部２３Ａを設けることで、開口部２３Ａの数を９つとしてもよい。このように構成することで、任意の視野での光線に加え、正面方向に進行する光線を取得することができるため、正面方向における画像を再構築することができる。従って、アプリケーションによって正面での画像が必要とされる場合には、円周側に限らず、中央部分に開口部を設けるようにすることが好ましい。

以上、実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、画像処理部１４を、撮像装置１の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。

また、上記実施の形態では、開口絞りの開口部の数と、各マイクロレンズに割り当てられる画素数とが同数の場合について説明したが、必ずしも同一である必要はなく、異なっていてもよい。

また、上記実施の形態では、開口絞りの位置を撮像レンズの被写体側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

また、上記実施の形態では、カラーフィルタの配列を赤、緑、青が１：２：１の比率で、緑が対角線上に配置されるように配列したが、これに限定されず、他の比率や配置構成となるようにしてもよい。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 図１に示した開口絞りの概略構成を表す平面図である。 マイクロレンズアレイの概略構成を表す平面図である。 撮像素子に入射する光線の情報を説明するための図である。 比較例に係る従来の撮像装置の全体構成を表す図である。 図５に示した撮像装置を用いた場合の撮像素子上の受光領域を表す図である。 図５に示した撮像装置を用いて実際に取得した画像である。 比較例に係る受光領域を表す図である。 図８に示した受光領域から抽出する画素を示した図である。 本実施の形態に係る撮像素子上の受光領域を表す図である。 図１０に示した受光領域から抽出する画素を示した図である。 図１に示した撮像装置の一適用例を表す図である。 変形例１に係るカラーフィルタの構成を表す図である。 変形例２に係る開口絞りの構成を表す図である。 変形例３に係る開口絞りの構成を表す図である。 図１５に示した開口絞りを用いた場合の撮像素子上の受光領域を表す図である。 図１５に示した開口絞りを用いた場合のカラーフィルタの構成を表す図である。

符号の説明

１…撮像装置、１０…開口絞り、１１…撮像レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、２…被写体。

Claims (7)

1. 複数の開口部を含む開口絞りを有する撮像レンズ部と、
   受光した光に基づいて撮像データを生成する撮像素子と、
   前記撮像レンズ部と前記撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、前記撮像素子の複数の画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部とを備えた
   撮像装置。
2. 前記撮像素子から得られた撮像データに対して所定の画像処理を施すための画像処理部を備えた
   請求項１記載の撮像装置。
3. 前記画像処理部は、前記撮像データから、各マイクロレンズに対応する画素領域ごとに同じ位置の画素データを抽出したのち、
   前記抽出した画素データを合成することにより再構築画像を生成する
   請求項２記載の撮像装置。
4. 前記開口部の数が、前記撮像素子において各マイクロレンズに割り当てられる画素数に等しくなっている
   請求項１に記載の撮像装置。
5. 前記開口絞りが円形状であり、
   前記複数の開口部は、前記開口絞りの円周に沿って設けられている
   請求項１に記載の撮像装置。
6. 前記複数の開口部は、前記開口絞りの中心点に対して互いに点対称に配置されている
   請求項１に記載の撮像装置。
7. 前記撮像素子の受光面側に、各マイクロレンズに対応する画素領域ごとに色分けされたカラーフィルタを備えた
   請求項１に記載の撮像装置。

Images