JP5115068B2

JP5115068B2 - 撮像装置

Info

Publication number: JP5115068B2
Application number: JP2007184210A
Authority: JP
Inventors: 健二山本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-07-13
Filing date: 2007-07-13
Publication date: 2013-01-09
Anticipated expiration: 2027-07-13
Also published as: JP2009020403A

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。ここで、図１２に、この手法を用いた従来の撮像装置１００の概略構成について示す。この撮像装置１００は、撮像レンズ１１０と、マイクロレンズアレイ１２０と、複数の画素が２次元配列した撮像素子１３０とを備えており、撮像レンズ１１０には、円形状の開口部１０１Ａを有する開口絞り１０１が設けられている。また、一つのマイクロレンズに対して、複数の画素が割り当てられ、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。これにより、画像処理部において、任意の視点や方向（以下、単に視野という）、任意のフォーカスからの観察画像を再構築できるようになっている。

このような撮像装置１００では、開口絞り１０１の開口部１０１Ａを通る全ての光線がマイクロレンズアレイ１２０を介して撮像素子１３０上に受光されるため、撮像素子１３０上に受光される像（イメージ）は、開口部１０１Ａの形状の相似形となる。従って、図１３（Ａ）に示したような、複数の円形状の受光イメージが撮像素子１３０上にマトリクス状に形成された撮像データが得られる。なお、図１３（Ａ）における領域Ｓについて、図１３（Ｂ）に拡大して示す。
国際公開第０６／０３９４８６号パンフレット Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、図１３（Ｂ）に示したように、円形状の開口部を有する開口絞りを用いた場合、撮像素子１３０上では、円形状の受光イメージ１３０Ｄ−１同士の間に受光されない画素領域（非受光領域１３０Ｄ−２）が生じてしまうという問題があった。このため、撮像画素を十分に利用することができなかった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、撮像画素の受光領域を増加させることが可能な撮像装置を提供することにある。

本発明の撮像装置は、撮像レンズ部と、この撮像レンズ部の開口絞りと、複数のマイクロレンズを２次元配列したマイクロレンズアレイ部と、受光した光に基づいて撮像データを生成する撮像素子と、開口絞りが正六角形を有し、複数のマイクロレンズは千鳥格子状に配置されているものである。

本発明の撮像装置では、撮像レンズの開口絞りが、正方形状または正六角形状の開口部を有することにより、マイクロレンズアレイ部を介して撮像素子上に受光されるイメージは、開口部の形状の相似形、すなわち正方形状あるいは正六角形状となる。よって、円形の開口部を有する従来の開口絞りを用いた場合に比べて、撮像素子において、複数のイメージが隙間なく密に形成され易くなる。

本発明の撮像装置によれば、撮像レンズの開口絞りが、正方形状または正六角形状の開口部を有するようにしたので、撮像素子上に受光されるイメージが正方形状または正六角形状となるため、円形の開口部を有する従来の開口絞りを用いた場合に比べて、撮像素子において、複数のイメージが隙間なく密に形成され易くなる。よって、撮像画素の受光領域を増加させることが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、被写体２を撮像して撮像データＤoutを出力するものであり、被写体２の側から、開口絞り１０と、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の詳細な構成については後述する。

撮像レンズ１１は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

マイクロレンズアレイ１２は、後述の複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。このマイクロレンズアレイ１２の具体的な構成については後述する。

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データを生成するものであり、マイクロレンズアレイ１２の焦点面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、複数の画素Ｐをマトリクス状に２次元配列したものであり、画素Ｐは、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などにより構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（画素Ｐ）がマトリクス状に配置され、複数の画素Ｐに対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。この受光面上の画素Ｐの個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズに割り当てられる画素数（ｍ×ｎ）は、後述する再構築画像の任意の視野での分解能となる。このため、これらｍ，ｎの値が大きくなるに従って、再構築画像の任意の視野、任意のフォーカスでの分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の画素数（解像度）となる。このため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の画素数が増加する。従って、再構築画像の任意の視野での分解能と画素数とはトレードオフの関係となるが、両者をできるだけ高い値で両立させることが望ましい。

画像処理部１４は、撮像素子１３で得られた撮像データに対して所定の画像処理を施し、撮像データＤoutとして出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理を行い、これにより任意の視野での観察画像を再構築できるようになっている。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４、撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

次に、図２を参照して、開口絞り１０の具体的な構成について説明する。図２は、開口絞り１０の概略構成を表す平面図である。

開口絞り１０は、その開口部１０Ａの形状が、開口部１０Ａの中心点、すなわち光軸Ｚ１に対して点対称となる図形、例えば正方形となっている。

また、開口部１０Ａが正方形状であることにより、光軸に対する回転角θの大きさによって、開口絞り１０の有効径が変化する。また、これに伴って撮像レンズ１１のＦナンバーが変化することとなるが、開口絞り１０の有効径が最も小さくなる方向ＢにおけるＦナンバーが、後述のマイクロレンズのＦナンバーと概ね等しくなるように構成されている。なお、本発明においては、これらのＦナンバーが完全に同一である場合に限定されず、誤差等を含んでいてもよいものとする。

続いて、図３（Ａ）および図３（Ｂ）を参照して、マイクロレンズアレイ１２の具体的な構成について説明する。図３（Ａ）および図３（Ｂ）は、マイクロレンズアレイ１２の平面構成を表したものである。

マイクロレンズアレイ１２は、図３（Ａ）に示したように、複数のマイクロレンズ１２−１をマトリクス状（正格子状）に配列したものである。マイクロレンズ１２−１は、その平面形状が円形となっている。あるいは、図３（Ｂ）に示したように、正方形状のマイクロレンズ１２−２がマトリクス状に配列した構成であってもよい。また、このようなマイクロレンズ１２−１，１２−２は、例えば液晶レンズ、液体レンズ、回折レンズなどにより構成されている。

次に、本実施の形態の撮像装置１の作用および効果について、図１〜図７を参照して説明する。但し、図４は撮像素子で受光される光線情報を説明するための図であり、図５は開口絞りの有効径が変化する様子を模式的に示した図である。また、図６は本実施の形態の撮像素子１３における受光領域を表す図であり、図７はＦナンバーの設定について説明するための図である。

まず、この撮像装置１の基本的な作用について図１〜図４を参照して説明する。撮像装置１では、撮像レンズ１１による被写体２の像は、開口絞り１０によってその光束が絞られ、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その入射方向に応じて、撮像素子１３の異なる位置で受光される。

ここで、撮像素子１３で受光される光線について図４を参照して説明する。図４に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素の配置によって光線の入射方向が決まっている。

このようにして撮像素子において受光がなされると、撮像素子駆動部１５による駆動動作に従って、撮像素子１３から撮像データが得られ、この撮像データが画像処理部１４へ入力される。画像処理部１４では、制御部１６の制御に応じて、撮像データに対して所定の画像処理を施す。例えば、任意の視野の画像を再構築する際には、マイクロレンズごとに同一の位置にある画素データを抽出し、これらを合成する処理を施す。あるいは、任意のフォーカスでの画像を再構築する際には、画素データの並び替えを行い、積分処理を施すようにする。これにより、撮像データＤoutとして、任意の視野、任意のフォーカスでの再構築画像が出力される。

次に、この撮像装置１の特徴的な作用について、図５〜図７を参照して説明する。この撮像装置１では、開口絞り１０の開口部１０Ａの形状が図２に示したような正方形となっていることにより、Ａ方向に沿った面内を進行する光線は、図５（Ａ）に示したように最も大きな有効径で集光される一方、Ｂ方向に沿った面内を進行する光線は、図５（Ｂ）に示したように最も小さな有効径で集光されることとなる。従って、撮像素子１３上では、光軸Ｚ１に対する回転角θの大きさによって有効径が変化した像（受光イメージ）が取得される。

よって、図６に示したように、マイクロレンズアレイ１２を介して撮像素子１３上に入射する光線がつくる受光イメージ１３Ｄ−１は、この開口部１０Ａの形状の相似形、すなわち正方形状となる。

そして、マイクロレンズアレイ１２において、複数のマイクロレンズがマトリクス状に配置されていることにより、受光イメージ１３Ｄ−１は撮像素子１３上にマトリクス状に形成される。以上により、正方形の受光イメージ１３Ｄ−１が、撮像素子１３上にマトリクス状に配置されることとなり、撮像素子１３ほぼ全域が受光領域１３Ｄとなる。よって、図１２に示したような従来の円形の開口絞り（以下、円形絞りという）を用いた撮像装置１００に比べて、受光イメージが隙間なく密に形成され易くなり、受光領域が増加する。

ここで、この受光領域の増加率について、円形絞りがつくる円形イメージの半径をＲとして計算すると、一つの円形イメージの面積はπＲ²となり、開口絞り１０がつくる正方形の受光イメージの面積は（２Ｒ）²となる。従って、増加率は、次の式（１）によって表される。すなわち、撮像素子１３における受光領域が２７％増加することがわかる。
（２Ｒ）²／πＲ²＝１．２７ ………（１）

以上のように本実施の形態では、開口絞り１０の開口部１０Ａの形状が正方形となっていることにより、マイクロレンズアレイ１２を介して撮像素子１３へ入射する光線がつくる受光イメージ１３Ｄ−１は正方形状となる。従って、従来のように円形状の受光イメージが形成される場合と比べて、撮像素子１３上において、受光イメージ１３Ｄ−１が隙間なく密に形成され易くなり、受光領域が増加する。

また、これによって、マイクロレンズアレイ１２におけるマイクロレンズ数を一定とした場合には、各マイクロレンズに対して割り当てられる画素領域（画素数）が増加することとなるため、再構築画像の任意の視野、任意のフォーカスの分解能を向上させることができる。あるいは、各マイクロレンズに対して割り当てられる画素数を一定した場合には、マイクロレンズの数が増加することとなるため、再構築画像の２次元画素数（解像度）を増加させることができる。従って、トレードオフの関係にある、再構築画像の任意の視野、フォーカスでの分解能と、再構築画像の２次元画素数との両者を、できるだけ高い値で両立させることが可能となる。

ところで、撮像レンズ１１のＦナンバーＦ_MLと、マイクロレンズアレイのＦナンバーＦ_MLAとは、概ね等しくなっていることが好ましい。これは、図７（Ａ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも小さい場合（Ｆ_ML＜Ｆ_MLAの場合）には、隣接するマイクロレンズによる撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構築画像の画質が劣化してしまうからである。また一方で、図７（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも大きい場合（Ｆ_ML＞Ｆ_MLAの場合）には、マイクロレンズによる撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構成画像の画素数が低下してしまうからである。

本実施の形態では、光軸Ｚ１に対する回転角θの大きさによって有効径が変化するため、これに伴ってＦナンバーについても変化することとなる。具体的には、最も有効径が大きくなる方向ＡではＦナンバーが小さくなる一方、最も有効径が小さくなる方向ＢではＦナンバーが大きくなる。従って、開口絞り１０の最も有効径が小さくなる方向ＢにおけるＦナンバー、すなわち撮像レンズ１１のＦナンバーの最大値と、マイクロレンズアレイ１２のＦナンバーＦ_MLAとが概ね等しくなっていることにより、その像はマイクロレンズアレイのピッチと同じサイズになるので、隣接するマイクロレンズの像同士の隙間が丁度なくなるため、クロストークを発生させることなく、撮像画素領域を有効に活用することができる。逆に、開口絞り１０の最も有効径が大きくなる方向ＡにおけるＦナンバー、すなわち撮像レンズ１１のＦナンバーの最小値と、マイクロレンズアレイ１２のＦナンバーＦ_MLAとが概ね等しくなるようにすると、その像はマイクロレンズアレイのピッチよりも小さくなるため、隣接したマイクロレンズの像同士に隙間ができ撮像画素に一部受光されない領域が生じることとなる。

また、上記のような撮像装置１は、図８（Ａ）および図８（Ｂ）に示したようなデジタルスチルカメラ３に適用することができる。なお、図８は、デジタルスチルカメラ３の概略構成を表し、（Ａ）は正面図、（Ｂ）は側面図である。このデジタルスチルカメラ３は、筐体３００の内部に撮像装置１を備えており、筐体３００の上部には、シャッタ１７、フラッシュ１８、ファインダ光学系１９などが設けられている。また、撮像装置１は、このようなカメラの他にも、位置センサや生体センサ、光学顕微鏡などに適用することが可能である。

［第２の実施の形態］
図９は、本発明の第２の実施の形態に係る撮像装置の開口絞り２０の概略構成を表す平面図である。図１０（Ａ）および図１０（Ｂ）は、本実施の形態に係る撮像装置のマイクロレンズアレイ２１の概略構成を表す平面図である。本実施の形態では、上記第１の実施の形態に係る撮像装置１において、開口絞り１０の代わりに開口絞り２０を配置し、マイクロレンズアレイ１２の代わりにマイクロレンズアレイ２１を配置したものである。従って、これら以外の構成要素については、上記第１の実施の形態と同一の構成となっている。以下では、簡便化のため、上記第１の実施の形態と同一の構成、作用および効果については、適宜説明を省略する。

開口絞り２０は、撮像レンズ１１の光学的な開口絞りであり、図９に示したように、その開口部２０Ａの形状が、開口部２０Ａの中心点、すなわち光軸Ｚ１に対して点対称となる図形、例えば正六角形となっている。

また、開口部２０Ａが正六角形状であることにより、光軸に対する回転角θの大きさによって、開口絞り２０の有効径が変化し、これに伴ってＦナンバーが変化することとなるが、開口絞り２０の有効径が最も小さくなる方向ＢにおけるＦナンバーが、後述のマイクロレンズのＦナンバーと概ね等しくなるように構成されている。

マイクロレンズアレイ２１は、図１０（Ａ）に示したように、複数の円形のマイクロレンズ２１−１を千鳥格子状に配列したものである。あるいは、図１０（Ｂ）に示したように、正方形状のマイクロレンズ２１−２が千鳥格子状に配列した構成であってもよい。このようなマイクロレンズ２１−１，２１−２は、例えば液晶レンズ、液体レンズ、回折レンズなどにより構成されている。また、マイクロレンズアレイ２１についても、上記マイクロレンズアレイ１２と同様に、一つのマイクロレンズに対して複数の画素Ｐが割り当てられた構成となっている。

このように、開口絞り２０の開口部２０Ａの形状を正六角形とすることにより、光軸Ｚ１に対する回転角θの大きさによって、開口部２０Ａの有効径が変化する。よって、図１１に示したように、撮像素子１３上には、この開口部２０Ａの形状の相似形、すなわち正六角形状の受光イメージ１３Ｄ−２が形成される。

そして、マイクロレンズアレイ２１において、複数のマイクロレンズが千鳥格子状に配置されていることにより、受光イメージ１３Ｄ−２は撮像素子１３上に千鳥格子状に形成される。これにより、正六角形状の受光イメージ１３Ｄ−２が、撮像素子１３上に千鳥格子状（ハニカム状）に配置されることとなり、撮像素子１３ほぼ全域が受光領域１３Ｄとなる。よって、図１２に示したような従来の円形の開口絞り（以下、円形絞りという）を用いた撮像装置１００に比べて、受光イメージが隙間なく密に形成され易くなり、受光領域が増加する。なお、本実施の形態においても、撮像素子１３上のほぼ全域に受光領域１３Ｄが形成されるので、上記第１の実施の形態と同様に、従来の円形開口を用いた場合に比べて、受光領域１３Ｄが２７％程度増加することとなる。

また、開口絞り２０の有効径が最も小さくなる方向ＢにおけるＦナンバーが、後述のマイクロレンズのＦナンバーと概ね等しくなるように構成されていることにより、撮像素子１３上に入射する光線同士がクロストークしたり、逆に隣接するマイクロレンズの像同士の間に隙間が生じにくくなるため、再構築画像の画質が劣化するということがない。

以上、実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、被写体２のイメージを撮像レンズ１１で撮像し、マイクロレンズアレイ１２で結像させたのち、撮像素子１３上で受光する手法（Light Field Photography）を用いた撮像装置１を例に挙げて説明したが、本発明はこれに限定されず、他の構成、例えばマイクロレンズアレイのみによって撮像を行うような構成であってもよい。

また、上記実施の形態では、マイクロレンズアレイ１２，２１の一つのマイクロレンズに対して、複数の撮像画素Ｐを割り当てることで、撮像素子１３への入射光線が光線の位置情報に加え、その進行方向の情報をも含み、これに所定の画像処理を施すことによって任意の視野、任意のフォーカスでの画像を再構築する場合を例に挙げて説明したが、これに限定されず、一つの視野、フォーカスでの撮像画像を取得する場合にも適用可能である。

また、上記実施の形態では、開口絞りの位置を撮像レンズの被写体側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

また、上記実施の形態では、マイクロレンズとして、その平面形状が円形あるいは正方形のものを例に挙げて説明したが、これに限定されず、他の正多角形などの形状であってもよい。但し、開口絞りの開口部の形状が正方形である場合には、マトリクス状に配置されることが好ましく、開口部の形状が正六角形である場合には、千鳥格子状に配置されることが好ましい。

本発明の第１の実施形態に係る撮像装置の全体構成を表す図である。本発明の第１の実施形態に係る開口絞りの概略構成を表す平面図である。本発明の第１の実施形態に係るマイクロレンズアレイの概略構成を表す平面図である。撮像素子に入射する光線の情報を説明するための図である。開口絞りの有効径が変化する様子を説明するための図である。図２に示した開口絞りを用いた場合の撮像素子上の受光領域を表す図である。撮像レンズとマイクロレンズのＦナンバーの設定について説明するための図である。図１に示した撮像装置の一適用例を表す図である。本発明の第２の実施形態に係る開口絞りの概略構成を表す平面図である。本発明の第２の実施形態に係るマイクロレンズアレイの概略構成を表す平面図である。図９に示した開口絞りを用いた場合の撮像素子上の受光領域を表す図である。比較例に係る従来の撮像装置の全体構成を表す図である。図１２に示した従来の撮像装置を用いて撮像したデータを表す図である。

符号の説明

１…撮像装置、１０，２０…開口絞り、１０Ａ，２０Ａ…開口部、１１…撮像レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、２…被写体。

Claims

開口絞りを有する撮像レンズ部と、
複数のマイクロレンズを２次元配列したマイクロレンズアレイ部と、
受光した光に基づいて撮像データを生成する撮像素子とを備え、
前記開口絞りが正六角形状の開口部を有し、
前記複数のマイクロレンズは千鳥格子状に配置されている
撮像装置。
前記撮像素子から得られた撮像データに対して所定の画像処理を施すための画像処理部を備えた
ことを特徴とする請求項１記載の撮像装置。
前記撮像レンズ部のＦナンバーが、前記開口絞りの有効径が最も狭い方向において、前記マイクロレンズのＦナンバーと等しくなっている
ことを特徴とする請求項１記載の撮像装置。