JP6045208B2

JP6045208B2 - 撮像装置

Info

Publication number: JP6045208B2
Application number: JP2012133966A
Authority: JP
Inventors: 將夫三本木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-06-13
Filing date: 2012-06-13
Publication date: 2016-12-14
Anticipated expiration: 2032-06-13
Also published as: JP2013258602A

Description

本発明は、撮像装置に関するものである。

従来、マイクロレンズアレイを用いて高ダイナミックレンジの画像を取得可能な撮像装置が知られている（例えば、非特許文献１参照。）。
この撮像装置は、各マイクロレンズに異なるフィルタを与えて、各マイクロレンズを通過する光量を異ならせることにより、露光量の多い画像と露光量の少ない画像とを１ショットで得て、それらの画像を合成することにより、高ダイナミックレンジの画像を取得することとしている。

New results on the Plenoptic 2.0 camera．Georgiev，T，Signals，Systems and Computers，2009 Conference Record of the Forty-Third Asilomar Conference，Page1243-1247

しかしながら、非特許文献１の撮像装置は、同一の大きさを有する各マイクロレンズに異なるフィルタを与えて露出条件を異ならせることによりダイナミックレンジを拡大しようとしているので、空間分解能は少なくとも１／２まで低下させなければならないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、空間的な分解能を１／２まで低下させることなく、ダイナミックレンジを拡大することができる撮像装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、該撮像素子と前記撮像レンズとの間に、該撮像レンズの焦点面に対して光軸方向に前記被写体から遠ざかる方向に間隔をあけて配置されたマイクロレンズアレイとを備え、該マイクロレンズアレイが、入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させる複数のマイクロレンズであって、有効径、焦点距離および透過率が異なる２種以上のマイクロレンズを前記光軸に交差する方向にアレイ状に配列してなり、前記撮像素子が、前記マイクロレンズアレイに対して前記光軸方向に前記被写体から遠ざかる方向に間隔をあけて配置され、前記焦点面から前記マイクロレンズアレイまでの前記光軸方向の距離が、前記マイクロレンズアレイから前記撮像素子までの前記光軸方向の距離よりも大きい撮像装置を提供する。

本態様によれば、撮像レンズにより集光された被写体からの光は、撮像レンズの焦点面において実像を結像した後、焦点面に対して光軸方向に間隔をあけて配置されたマイクロレンズアレイに入射され、マイクロレンズアレイを構成している各マイクロレンズによって個別に撮像素子の撮像面に結像される。これにより、撮像素子には、マイクロレンズ毎に被写体の複数の像が取得される。

この場合において、本態様に係る撮像装置によれば、マイクロレンズアレイが、有効径の異なる複数種のマイクロレンズを配列することにより構成されているので、有効径の大きなマイクロレンズによって、分解能が高い画像の取得が可能となり、有効径の小さなマイクロレンズによって、分解能の低い画像が取得される。したがって、撮像レンズの焦点面を、有効径が大きいマイクロレンズの焦点面に一致させておくことにより、分解能の高い画像を取得することができる。

この場合、焦点距離が異なる有効径の小さなマイクロレンズの焦点面は撮像レンズの焦点面に一致しないので、取得される画像信号は分解能の向上には寄与しないが、透過率の異なるマイクロレンズを介した露出条件の異なる複数の画像信号によって、ダイナミックレンジを向上することができる。
そして、分解能の向上に寄与しないマイクロレンズの有効径を分解能の高い画像を取得するためのマイクロレンズの有効径より小さくすることにより、同じ有効径のマイクロレンズを配列した従来の撮像装置と比較して、分解能を１／２まで低下させることなく、すなわち、分解能の低下を抑えつつダイナミックレンジを向上することができる。

上記態様においては、前記マイクロレンズアレイが、有効径および焦点距離の異なる２種類のマイクロレンズを備え、有効径が小さい方の前記マイクロレンズが、少なくとも２種類の透過率を有していてもよい。
このようにすることで、有効径が小さい方のマイクロレンズのみによってダイナミックレンジの向上を図ることができ、有効径が大きい方のマイクロレンズによって分解能が高く明るい画像を取得することができる。

また、上記態様においては、透過率の異なる前記マイクロレンズは、それらの焦点面における同一領域を通過した被写体からの光が、両マイクロレンズのいずれにも入射することとなる位置に配置されていてもよい。
このようにすることで、同一領域を通過する光に対して露出条件を異ならせて撮像素子により撮影することができ、ダイナミックレンジの向上を図ることができる。

また、上記態様においては、有効径が大きい方の前記マイクロレンズが、少なくとも２種類の偏光方向を有していてもよい。
このようにすることで、偏光方向が同一のマイクロレンズに割り当てられた撮像素子により検出された画像信号を用いて、少なくとも１つの偏光成分の画像信号を再構成できる。その結果、例えば、反射光によるぎらつき等を抑えた画像を取得することができる。

また、上記態様においては、有効径が大きい方の前記マイクロレンズに割り当てられた前記撮像素子により検出された画像信号を構成する第１の画像構成部と、有効径が小さい方の前記マイクロレンズに割り当てられた前記撮像素子により検出された画像信号を構成する第２の画像構成部と、前記第１の画像構成部により構成された画像信号と、前記第２の画像構成部により構成された画像信号とを合成する画像合成部とを備えていてもよい。

このようにすることで、第１の画像構成部により分解能の高い画像信号が構成され、第２の画像構成部によりダイナミックレンジを向上する画像信号が構成され、画像合成部により、分解能の低下を抑えつつダイナミックレンジを向上した画像を取得することができる。

また、上記態様においては、前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで挟むように２種類の前記マイクロレンズを配列してなっていてもよい。
このようにすることで、有効径が大きい方のマイクロレンズの位置における分解能の高い画像のダイナミックレンジを、それを挟む有効径が小さい方のマイクロレンズの位置における画像によって向上することができる。

また上記態様においては、前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで異なる２方向から挟むように２種類の前記マイクロレンズを配列してなっていてもよい。
このようにすることで、有効径が大きい方のマイクロレンズの位置における分解能の高い画像のダイナミックレンジを、それを挟む有効径が小さい方のマイクロレンズの位置における画像によって、より確実に向上することができる。

また、上記態様においては、いずれかの前記マイクロレンズを通過した光が、隣接する前記マイクロレンズに対応する画素に入射しないように遮蔽する遮光部材を備えていてもよい。
このようにすることで、隣接するマイクロレンズを通過した光が遮光部材によって遮蔽され、撮像素子上において混じり合うクロストークの発生を未然に防止することができる。

本発明によれば、空間的な分解能を１／２まで低下させることなく、ダイナミックレンジを拡大することができるという効果を奏する。

本発明の一実施形態に係る撮像装置を示す全体構成図である。図１の撮像装置に備えられたマイクロレンズアレイの一例を示す正面図である。図２のマイクロレンズアレイの図２におけるＤ−Ｄ断面を示す縦断面図である。図１の撮像装置に備えられた再構成部の詳細を示すブロック図である。図３のマイクロレンズアレイの第１の変形例を説明する縦断面図である。図３のマイクロレンズアレイの第２の変形例を説明する縦断面図である。図２のマイクロレンズアレイの配列の第１の変形例を説明する正面図である。図２のマイクロレンズアレイの配列の第２の変形例を説明する正面図である。図２のマイクロレンズアレイの配列の第３の変形例を説明する正面図である。図２のマイクロレンズアレイの配列の第４の変形例を説明する正面図である。図２のマイクロレンズアレイの配列の第５の変形例を説明する正面図である。図２のマイクロレンズアレイの配列の第６の変形例を説明する正面図である。図２のマイクロレンズアレイの配列の第７の変形例を説明する正面図である。

本発明の一実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、被写体Ａを撮影する撮像部２と、該撮像部２により取得された画像信号を処理する画像処理部３と、撮像部２を制御する撮像制御部４と、画像処理部３および撮像制御部４を制御する制御部５と、該制御部５に対して外部信号を入力するＩ／Ｆ部６とを備えている。

撮像部２は、被写体Ａ側から順に、被写体Ａに対向して配置される撮像レンズ７と、該撮像レンズ７を通過した光の光束径を決定する開口絞り８と、撮像レンズ７の後側焦点位置に形成される実像Ｂに対して光軸方向に被写体Ａから遠ざかる方向に間隔をあけて配置されたマイクロレンズアレイ９と、該マイクロレンズアレイ９に対してさらに光軸方向に間隔をあけて配置され、マイクロレンズアレイ９を通過した光を撮影する撮像素子１０とを備えている。

撮像レンズ７にはＡＦモータ１１が接続されている。撮像レンズ７は、撮像制御部４からの指令信号に応じてＡＦモータ１１が駆動させられることにより、光軸方向に移動させられて、被写体Ａに前側焦点を一致させるようになっている。なお、図１中、撮像レンズ７は単一のレンズとして表示しているが、実際には、光軸方向に配列された複数のレンズからなり、少なくとも１つのレンズがＡＦモータ１１によって光軸方向に移動させられるようになっている。

開口絞り８には開度調節モータ１２が接続されている。開口絞り８は、撮像制御部４からの指令信号に応じて開度調節モータ１２が駆動させられることにより、開度が調節されて、入射光量が調節されるようになっている。開口絞り８は、後述する大きい方のマイクロレンズ９ａにより取得される画像信号が適正露光となるように調整されている。

マイクロレンズアレイ９は、図２および図３に示されるように、異なる直径を有する２種類のマイクロレンズ９ａ，９ｂを直径方向に交互に配列することにより構成されている。これらの２種のマイクロレンズ９ａ，９ｂは、焦点距離および有効径が相違している。
図３において、符号１３は、撮像素子１０上でクロストークが発生しないように、マイクロレンズアレイ９と撮像素子１０との間の空間を区画する遮光部材である。

大きい方のマイクロレンズ９ａとしては、適正露光となるような等しい透過率を有するものが使用されている。
また、小さい方のマイクロレンズ９ｂは透過率の異なるものが２種類存在し、透過率の高いマイクロレンズ９ｂと透過率の低いマイクロレンズ９ｂ（図中ハッチングで示されている）とが大きい方のマイクロレンズ９ａを挟む位置関係に配置されている。透過率の大きい方のマイクロレンズ９ｂは適正露光に対してオーバーとなり、透過率の小さい方のマイクロレンズ９ｂは適正露光に対してアンダーとなるような透過率に設定されている。

このように配列することで、大きい方のマイクロレンズ９ａは、小さい方のマイクロレンズ９ｂによって四方を取り囲まれ、同時に、小さい方のマイクロレンズ９ｂも大きい方のマイクロレンズ９ａによって四方を取り囲まれる関係になっている。

その結果、一方の種類のマイクロレンズ９ａ（９ｂ）は、他方の種類のマイクロレンズ９ｂ（９ａ）によって上下左右の２方向から挟まれている。
図３は図２のＤ−Ｄ断面である。
図３によれば、大きい方のマイクロレンズ９ａの焦点面Ｂは、撮像レンズ７の後側焦点位置に一致している。一方、小さい方のマイクロレンズ９ｂの焦点面Ｃは、撮像レンズ７の焦点位置から被写体Ａ側に光軸方向にずれた位置に配置されている。

また、図３に示されるように、大きい方のマイクロレンズ９ａを挟む位置に配置されている２つのマイクロレンズ９ｂは、それらの焦点面Ｃの任意の位置を通過した光が、両マイクロレンズ９ｂのいずれにも入射するように配列されている。
撮像素子１０は、例えば、ＲＧＢ原色系の単板ＣＣＤである。

画像処理部３は、図１に示されるように、撮像素子１０により検出された画像信号をディジタル信号に変換するＡ／Ｄ変換器１４と、ディジタル信号に変換された画像信号を一時的に格納するバッファ１５と、バッファ１５に格納された単板状態の画像信号を処理して三板状態の画像信号を生成する信号処理部１６と、信号処理部１６により生成された画像信号を用いて、画像信号を再構成する再構成部１７とを備えている。

信号処理部１６は、制御部５からの指令信号に基づいてバッファ１５上の単板状態の画像信号を読み込み、公知のデモザイキング処理やホワイトバランス処理を行った後の各画素の画像信号から三板状態の画像信号を生成するようになっている。

再構成部１７は、図４に示されるように、信号処理部１６で生成された画像信号を一時的に格納するバッファ１８と、該バッファ１８に格納された画像信号に基づいて画像信号を再構成する画像再構成部（第１の画像構成部）１９と、ダイナミックレンジの高い画像信号を再構成するＨＤＲ再構成部（第２の画像構成部）２０と、画像再構成部１９において再構成された画像信号Ｓｎと、ＨＤＲ再構成部２０において再構成された画像信号Ｓ_ＨＤＲとを合成する画像合成部２１とを備えている。

さらに具体的には、画像再構成部１９は、バッファ１８内に格納された画像信号のうち、大きい方のマイクロレンズ９ａに割り当てられた撮像素子１０の画素領域により取得された画像信号を用いて、画像信号Ｓｎを生成するようになっている。図３に示す例では、大きい方のマイクロレンズ９ａの倍率は１／３であるが、小さい方のマイクロレンズ９ｂに対して有効径が２倍であるため、画像再構成部１９において生成される画像信号Ｓｎの解像度は、縦横それぞれ２／３となっている。

一方、ＨＤＲ再構成部２０は、バッファ１８内に格納された画像信号のうち、小さい方のマイクロレンズ９ｂに割り当てられた撮像素子１０の画素領域により取得された画像信号を用いて、ダイナミックレンジの高い画像信号Ｓ_ＨＤＲを生成するようになっている。

各マイクロレンズ９ｂに割り当てられた画素領域により取得された、アンダーとオーバーの画像信号をそれぞれＳｕ，Ｓｏとし、マイクロレンズ９ｂのアンダーとオーバーの透過率をそれぞれＴｕ、Ｔｏとすると、ＨＤＲ再構成部２０において生成される画像信号Ｓ_ＨＤＲは、
Ｓ_ＨＤＲ＝Ｓｕ／Ｔｕ＋Ｓｏ／Ｔｏ
となる。
図３に示す例では、小さい方のマイクロレンズ９ｂの倍率は１／６であるため、画像信号の解像度は縦横それぞれ１／６となっている。

画像合成部２１においては、ＨＤＲ再構成部２０から出力された画像信号Ｓ_ＨＤＲの解像度を、公知のバイリニア補間やバイキュービック補間を用いて縦横それぞれ２倍に拡大して画像信号Ｓ_ＨＤＲ’を得た上で、得られた画像信号Ｓ_ＨＤＲ’を、画像再構成部１９において生成された画像信号Ｓｎと加算して画像信号Ｓを合成するようになっている。
Ｓ＝Ｓｎ＋Ｓ_ＨＤＲ’

このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて撮影を行うには、Ｉ／Ｆ部６を介してＩＳＯ感度、露出などの撮影条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮影モードに入る。被写体Ａからの光は撮像レンズ７を介して撮像部２内に入り、実像Ｂを結像した後にマイクロレンズアレイ９によって集光され撮像素子１０により撮影される。撮像素子１０により取得された画像信号は、Ａ／Ｄ変換器１４によってディジタル信号に変換された後、バッファ１５に転送され格納される。

バッファ１５内に格納された画像信号は撮像制御部４に送られる。撮像制御部４は、送られてきた画像信号中の輝度レベルを用いて開口絞り８の開度調節モータ１２を制御し、撮像素子１０における電子シャッタ速度を制御する。また、撮像制御部４は、撮像レンズ７のＡＦモータ１１を制御して、画像信号から所定領域におけるコントラスト値を算出し、該コントラスト値が最大になるように撮像レンズ７を所定の焦点距離に設定する。

この状態で、シャッタボタンを全押しすることにより、本撮影が行われる。本撮影は、撮像制御部４において求められた焦点距離および露光条件に基づいて行われ、取得された画像信号は、Ａ／Ｄ変換器１４によってディジタル信号に変換され、バッファ１５に転送されて格納される。その後、バッファ１５内の画像信号は信号処理部１６に転送される。

信号処理部１６においては、バッファ１５内から転送されてきた単板状態の画像信号に対し、公知のデモザイキング処理およびホワイトバランス処理が行われた各画素ＲＧＢの三板状態の画像信号が生成される。生成された画像信号は再構成部１７に転送される。

再構成部１７においては、信号処理部１６から送られてきた画像信号がバッファ１８内に格納される。そして、バッファ１８内に格納された画像信号の内、大きい方のマイクロレンズ９ａに割り当てられた撮像素子１０の画素領域において取得された画像信号は、画像再構成部１９に入力され、小さい方のマイクロレンズ９ｂに割り当てられた撮像素子１０の画素領域において取得された画像信号はＨＤＲ再構成部２０に入力される。

画像再構成部１９においては、入力された画像信号に基づいて比較的高解像度でダイナミックレンジの低い画像信号Ｓｎが再構成される。一方、ＨＤＲ再構成部２０においては、入力された画像信号に基づいて低解像度でダイナミックレンジの高い画像信号Ｓ_ＨＤＲ’が再構成される。

この場合において、小さい方のマイクロレンズ９ｂの焦点面Ｃは、撮像レンズ７の後側焦点位置Ｂから光軸方向にずれているため、該マイクロレンズ９ｂに割り当てられた撮像素子１０の画素領域により取得された画像信号には高い解像度の情報は含まれていない。しかしながら、ダイナミックレンジの情報は十分に含まれているため、ＨＤＲ再構成部２０においては、低解像度でダイナミックレンジの高い画像信号Ｓ_ＨＤＲ’を再構成することができる。

そして、このようにして再構成された画像信号Ｓｎ，Ｓ_ＨＤＲ’は画像合成部２１に入力され、そこで加算処理されることにより比較的高解像度でダイナミックレンジの高い画像信号Ｓを出力することができる。

すなわち、本実施形態に係る撮像装置１によれば、比較的高解像度でダイナミックレンジの低い画像信号Ｓｎ、低解像度でダイナミックレンジの高い画像信号Ｓ_ＨＤＲ’とを合成して、比較的高解像度でダイナミックレンジの高い画像信号Ｓを得ることができる。つまり、従来のように、同一の大きさを有するマイクロレンズに異なるフィルタを与えて露出条件を異ならせる場合には、解像度は１／２まで低下するのに対し、本実施形態に係る撮像装置によれば、解像度は２／３として、１／２まで低下させることなく、高いダイナミックレンジの画像信号Ｓａを得ることができるという利点がある。

なお、本実施形態においては、大きい方のマイクロレンズ９ａは等しい透過率を有するものを例示したが、図５に示されるように、偏光方向の異なるもの（図中、マイクロレンズ９ａにおけるハッチング方向の相違が偏光方向の相違を示している。）を交互に配置することにしてもよい。
この場合に、撮像レンズ７の結像面における各領域を通過する光は、偏光方向の異なる２つのマイクロレンズ９ａのいずれにも入射されるように構成されている。

そして、画像再構成部１９からは、偏光方向の異なる２種類の画像信号Ｓｓ，Ｓｐが出力され、画像合成部２１においては、これらとＨＤＲ再構成部２０から出力されたＳ_ＨＤＲ’とがそれぞれ合成されて、以下の２種類の画像信号Ｓ１，Ｓ２を得ることができる。
Ｓ１＝Ｓｓ＋Ｓ_ＨＤＲ’
Ｓ２＝Ｓｐ＋Ｓ_ＨＤＲ’

このようにすることで、画像再構成部１９からの画像信号は偏光方向の異なる２種類の画像信号Ｓｓ，Ｓｐに分離されるので、解像度は上記実施形態の半分の１／３になるが、同一の有効径のマイクロレンズで実現しようとする場合には解像度が１／４となるので、それよりも高解像度で、ダイナミックレンジを向上することができるという利点がある。
そして、このように偏光方向の異なる画像信号を得ることにより、画像中から特定の反射光成分を除外する処理が可能となり、ぎらつきの少ない画像を得ることができる。

また、本実施形態においては、小さい方のマイクロレンズ９ｂとして異なる透過率を有する２種類のマイクロレンズ９ｂを設けることとしたが、これに代えて、図６に示されるように、大きい方のマイクロレンズ９ａを適正露出となる透過率とし、小さい方のマイクロレンズ９ｂを適正露光に対してオーバーとなる透過率としてもよい。この場合には、ダイナミックレンジの増加量は少ないが、解像度は１／２．５とすることができる。

また、本実施形態においては、マイクロレンズ９ａ，９ｂとして、図２に示すような配列および形状を例示したが、これに代えて、図７〜図１３に示されるような任意の配列および形状を採用してもよい。

Ａ被写体
Ｂ焦点面
１撮像装置
７撮像レンズ
９マイクロレンズアレイ
９ａ，９ｂマイクロレンズ
１０撮像素子
１３遮光部材
１９画像再構成部（第１の再構成部）
２０ＨＤＲ再構成部（第２の再構成部）
２１画像合成部

Claims

被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、
該撮像素子と前記撮像レンズとの間に、該撮像レンズの焦点面に対して光軸方向に前記被写体から遠ざかる方向に間隔をあけて配置されたマイクロレンズアレイとを備え、
該マイクロレンズアレイが、入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させる複数のマイクロレンズであって、有効径、焦点距離および透過率が異なる２種以上のマイクロレンズを前記光軸に交差する方向にアレイ状に配列してなり、
前記撮像素子が、前記マイクロレンズアレイに対して前記光軸方向に前記被写体から遠ざかる方向に間隔をあけて配置され、
前記焦点面から前記マイクロレンズアレイまでの前記光軸方向の距離が、前記マイクロレンズアレイから前記撮像素子までの前記光軸方向の距離よりも大きい撮像装置。
前記マイクロレンズアレイが、有効径および焦点距離の異なる２種類のマイクロレンズを備え、
有効径が小さい方の前記マイクロレンズが、少なくとも２種類の透過率を有する請求項１に記載の撮像装置。
透過率の異なる前記マイクロレンズは、それらの焦点面における同一領域を通過した被写体からの光が、両マイクロレンズのいずれにも入射することとなる位置に配置されている請求項２に記載の撮像装置。
有効径が大きい方の前記マイクロレンズが、少なくとも２種類の偏光方向を有する請求項２または請求項３に記載の撮像装置。
有効径が大きい方の前記マイクロレンズに割り当てられた前記撮像素子により検出された第１の画像信号を構成する第１の画像構成部と、
有効径が小さい方の前記マイクロレンズに割り当てられた前記撮像素子により検出された第２の画像信号を構成する第２の画像構成部と、
前記第１の画像構成部により構成された第１の画像信号と、前記第２の画像構成部により構成された第２の画像信号とを合成する画像合成部とを備える請求項２から請求項４のいずれかに記載の撮像装置。
前記有効径が小さい方のマイクロレンズのうち透過率が高い方のマイクロレンズが、前記有効径が大きい方のマイクロレンズよりも高い透過率を有し、
前記画像合成部が、前記第２の画像構成部により構成された前記第２の画像信号のうち、少なくとも前記透過率が高い方のマイクロレンズに割り当てられた第２の画像信号を前記第１の画像信号との合成に用いる請求項５に記載の撮像装置。
前記画像合成部が、前記第２の画像信号の解像度を前記第１の画像信号の解像度と等しい解像度まで拡大し、解像度が拡大された第２の画像信号を前記第１の画像信号との合成に用いる請求項５または請求項６に記載の撮像装置。
前記２種類以上のマイクロレンズの各々に、前記撮像面上の複数の画素からなる画素領域が割り当てられている請求項１から請求項７のいずれかに記載の撮像装置。