JP5820831B2

JP5820831B2 - 撮像装置

Info

Publication number: JP5820831B2
Application number: JP2013026596A
Authority: JP
Inventors: 將夫三本木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-02-14
Filing date: 2013-02-14
Publication date: 2015-11-24
Anticipated expiration: 2033-02-14
Also published as: US9386207B2; JP2014157177A; WO2014125863A1; CN104919274A; CN104919274B; US20150271373A1

Description

本発明は、撮像装置に関するものである。

従来、マイクロレンズアレイを用いた撮像装置が提案されている（例えば、特許文献１参照。）。
この撮像装置は、撮像レンズとセンサとの間に各レンズに対して複数の画素が割り当てられたマイクロレンズアレイが備えられている。この撮像装置によれば、複数の視差画像を同時に取得することができ、公知のステレオマッチング処理を行うことにより被写体までの距離を被写体上のいたるところで測定することができる。

特許第４７５２０３１号公報

しかしながら、テクスチャ情報の少ない被写体を撮像する場合や、ぼけが存在する場合に、ステレオマッチング処理の精度が低下し、距離を精度よく測定することができなくなるという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、被写体距離を高精度に取得できるとともに、高画質な画像を取得することができる撮像装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズに隣接して配置された絞り部材と、前記撮像レンズにより集光され、前記絞り部材２を通過した光を撮像する撮像素子と、該撮像素子と前記撮像レンズとの間に、光軸方向に間隔をあけて配置されたマイクロレンズアレイとを備え、前記絞り部材が、略円形の開口を有する少なくとも１つの通常絞り部と、所定パターンの開口を有する少なくとも２つの符号化絞り部とを備える撮像装置を提供する。

本態様によれば、撮像レンズによって集光された被写体からの光が絞り部材を通過させられる際に、通常絞り部と符号化絞り部のいずれかを通過させられる。絞り部材を通過した光はマイクロレンズアレイを通過させられて撮像素子の撮像面に入射させられる。略円形の開口を有する通常絞り部を通過した光は、撮像面に入射させられることにより、高精度の画像を取得することができる。また、所定パターンの開口を有する少なくとも２つの符号化絞り部を通過した光は、撮像面に入射させられることにより、高周波成分を有する画像情報を取得可能とするとともに、マイクロレンズアレイによって集光された光を撮像することにより得られた画像情報は視差を有し，その視差情報を用いて被写体までの距離を精度よく測定することができる。

上記態様においては、前記符号化絞り部を通過した光を前記撮像素子によって撮像することにより取得された画像情報に基づいて距離情報を算出する距離情報算出部と、前記通常絞り部を通過した光を前記撮像素子によって撮像することにより取得された画像情報を用いて画像を生成する画像生成部と、該画像生成部により生成された画像の各画素に前記距離情報算出部により算出された距離情報を対応づける合成部とを備えていてもよい。
このようにすることで、距離情報算出部により被写体までの距離が精度よく算出されるので、合成部により、画像生成部によって生成された被写体の画像の各画素に被写体までの距離が対応づけられた高画質な画像を生成することができる。

また、上記態様においては、前記通常絞り部および前記符号化絞り部が互いに交差する２方向に沿って配列され、前記通常絞り部および前記符号化絞り部の一方向の合計配列数がｘ個、他方向の合計配列数がｙ個であるとき、前記マイクロレンズアレイのマイクロレンズの前記一方向の配列数が、ｉ×ｘ個、前記他方向の配列数がｊ×ｙ個であってもよい。
ここで、ｉおよびｊは、１以上の整数である。
このようにすることで、互いに交差する２方向に視差を有する画像情報を取得でき、被写体までの距離をさらに精度よく算出することができる。

また、上記態様においては、前記通常絞り部および前記符号化絞り部が互いに交差する２方向に沿って配列され、前記通常絞り部および前記符号化絞り部の一方向の合計配列数がｘ個、他方向の合計配列数がｙ個であるとき、前記マイクロレンズアレイの各マイクロレンズに対応する前記撮像素子の前記一方向の画素数が、ｋ×ｘ個、前記他方向の画素数がｍ×ｙ個であってもよい。
ここで、ｋおよびｍは、１以上の整数である。
このようにすることで、通常絞り部および符号化絞り部を通過した光を漏れなく撮像して、高精度の距離情報を有する高画質な画像を取得することができる。

また、上記態様においては、前記距離情報算出部が、異なる位置に配置されている前記符号化絞り部を通過して前記撮像素子により取得された２以上の画像情報を用いてマッチング処理を行うことにより算出された視差情報を用いて距離情報を算出してもよい。

本発明によれば、被写体距離を高精度に取得できるとともに、高画質な画像を取得することができるという効果を奏する。

本発明の一実施形態に係る撮像装置を示すブロック図である。図１の撮像装置の絞り部材の一例を示す図である。図１の撮像装置の絞り部材から撮像素子までの光線を説明する図である。図１の撮像装置の距離情報算出部を示すブロック図である。図１の撮像装置により取得されたボケの程度の異なる画像であって、（ａ）符号化絞り部を通過しボケの少ない画像例、（ｂ）符号化絞り部を通過しボケの多い画像例、（ｃ）通常絞り部を通過しボケの少ない画像例、（ｄ）通常絞り部を通過しボケの多い画像例を示す図である。図５の画像例（ａ）〜（ｄ）に対応する周波数特性を示す図である。（ａ）、（ｂ）ともに、図２の絞り部材における符号化絞り部の変形例を示す図である。図１の撮像装置の変形例であって、各絞り部を通過した光に対してそれぞれ複数のマイクロレンズが対応している場合を示す図である。図１の撮像装置の他の変形例であって、通常絞り部を通過した光に対するマイクロレンズが、符号化絞り部を通過した光に対するマイクロレンズより大きい場合を示す図である。図１の撮像装置の他の変形例であって、絞り部材を通過した光がマイクロレンズアレイに結像するように配列されたものを示す図である。図１０の撮像装置の変形例であって、各絞り部を通過した光が複数の画素に入射させられる場合を示す図である。図１０の撮像装置の他の変形例であって、通常絞り部を通過した光を受光する画素が、符号化絞り部を通過した光を受光する画素よりも多い場合を示す図である。図２の絞り部材の変形例を示す図である。

本発明の一実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、被写体Ａを撮像して画像情報を取得する撮像部２と、該撮像部２により取得された画像情報を処理する画像処理部３とを備えている。

撮像部２は、図１に示されるように、被写体Ａからの光を集光する撮像レンズ４と、該撮像レンズ４に隣接して配置された絞り部材５と、該絞り部材５を通過し実像Ｂを結像した後の光を入射させるマイクロレンズアレイ６と、該マイクロレンズアレイ６の各マイクロレンズ６ａの結像位置に配置される撮像素子７とを備えている。

絞り部材５は、図２に示されるように、撮像レンズ４によって集光された被写体Ａからの光の一部を通過させる略円形の開口を有する通常絞り部５ａと、該通常絞り部５ａを挟んで２カ所に配置された符号化絞り部５ｂとを備えている。
２つの符号化絞り部５ｂは同一形状の開口を有するものであり、その開口の形状は、例えば、図２に示されるように単一の円形以外の任意の所定パターンを有している。

マイクロレンズアレイ６は、実像Ｂの位置から撮像素子７の方向に向かって光軸方向に離れた位置に、相互に交差する２方向に２次元状に配列された複数のマイクロレンズ６ａを備えている。これによりマイクロレンズアレイ６の各マイクロレンズ６ａは、実像Ｂを撮像素子７の撮像面７ａに結像させるようになっている。
撮像素子７は、例えば、ＲＧＢ原色系のＣＣＤである。

画像処理部３は、撮像素子７により取得された画像情報をディジタル信号に変換するＡ／Ｄ変換器８と、ディジタル信号に変換された画像情報を一時記憶するバッファ９と、該バッファ９に記憶された画像情報のうち、通常絞り部５ａを通過した光の画像情報と符号化絞り部５ｂを通過した光の画像情報とを区別して出力する選択部１０と、該選択部１０により選択された通常絞り部５ａを通過した光の画像情報が入力される信号処理部１１と、選択部１０により選択された符号化絞り部５ｂを通過した光の画像情報が入力される距離情報算出部１２と、信号処理部１１から出力される画像信号と距離情報算出部１２から出力される距離情報とを対応づける合成部１３とを備えている。

図中、符号１４は、バッファ９に記憶された画像情報に基づいて、撮像レンズ４、絞り部材５および撮像素子７を制御する撮像制御部、符号１５は、画像処理部３を制御する制御部、符号１６は、制御部１５に対して外部信号を入力するＩ／Ｆ部である。

図３に示されるように、絞り部材５の中央の通常絞り部５ａを通過した光線（斜線部）は、中央のマイクロレンズ６ａを通過して撮像素子７の撮像面７ａに結像させられるようになっている。一方、通常絞り部５ａを挟んで配置される２カ所の符号化絞り部５ｂを通過した光線は、中央のマイクロレンズ６ａを挟む位置に配置されているマイクロレンズ６ａをそれぞれ通過して撮像素子７の撮像面７ａの異なる位置に結像させられるようになっている。

撮像素子７における結像位置により、絞り部材５のどの部分を通過した画像情報であるかが予め分かっているので、選択部１０は撮像素子７上に結像した光の画像情報をその撮像素子７上の位置情報を用いて信号処理部１１か距離情報算出部１２のいずれかに転送するようになっている。

信号処理部１１は、選択部１０から転送されてきた通常絞り部５ａを通過した光の画像情報に対して、公知のデモザイキング処理およびホワイトバランス処理を行い、各画素についてＲＧＢの三板状態の画像信号を生成するようになっている。
一方、距離情報算出部１２は、図４に示されるように、選択部１０から転送されてきた符号化絞り部５ｂを通過した光の画像情報を記憶するバッファ１７と、該バッファ１７に記憶された画像情報から視差情報を算出する視差情報算出部１８と、該視差情報算出部１８により算出された視差情報に基づいて被写体Ａまでの距離を算出する距離算出部１９とを備えている。

視差情報算出部１８は、図２に示される２つの符号化絞り部５ｂを通過した光の２つの画像情報に対して公知のマッチング処理を行い、視差情報を算出するようになっている。
バッファ１７に記憶された画像情報は単板の信号であるため、マッチング処理を行う際には事前に各画素の輝度信号を抽出しておく。
例えば、単板状態の画像情報に対してＧ信号のみを抜き出したり、公知のデモザイキング処理を行って三板状態の信号に変換した後に、Ｇ信号を抜き出したりすればよい。

距離算出部１９は、マイクロレンズ６ａの焦点距離をｆ_μ、マイクロレンズ６ａの径をφとすると、マッチング処理における基線長は２φとなるので、マイクロレンズアレイ６と実像Ｂとの距離ｚは下式（１）により算出される。
ｚ＝ｆ_μ×２φ／ｄ（１）
ここで、ｄはマッチング処理により算出された視差量を示す。

撮像レンズ４の結像倍率をＭとすると、撮像レンズ４と被写体Ａとの距離Ｚは、下式（２）の通りとなる。
Ｚ＝ｚ／Ｍ（２）

合成部１３は、信号処理部１１において算出された画像信号と、距離情報算出部１２において算出された距離情報とを対応づけるようになっている。合成部１３における対応付けは以下のようにして行われるようになっている。
すなわち、画像信号と距離情報との空間解像度が異なる場合には、画像信号の空間解像度に合わせて、公知のバイキュービック補間により距離情報の空間解像度を変換する。これにより、画像信号の１画素毎に距離情報を対応づけることができるようになっている。

このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて、被写体Ａと撮像レンズ４との間の距離Ｚを計測するには、Ｉ／Ｆ部１６を介してＩＳＯ感度、露出などの撮像条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮像モードに入る。被写体Ａからの光は撮像レンズ４を介して撮像部２内に入り、実像Ｂを結像した後にマイクロレンズアレイ６によって集光され撮像素子７により撮像される。

撮像素子７により取得された画像情報は、画像処理部３に送られる。
画像処理部３に送られてきた画像情報は、まずＡ／Ｄ変換器８においてディジタル信号に変換された後、バッファ９に一時記憶され、この後に、撮像制御部１４に送られる。撮像制御部１４は、送られてきた画像信号中の輝度レベルを用いて絞り部材５の開度調節モータ５ｃを制御し、撮像素子７における電子シャッタ速度を制御する。また、撮像制御部１４は、撮像レンズ４のＡＦモータ４ａを制御して、画像信号から所定領域におけるコントラスト値を算出し、該コントラスト値が最大となるように撮像レンズ４を所定の焦点距離に設定する。

この状態で、シャッタボタンを全押しすることにより、本撮像が行われる。本撮像は、撮像制御部１４において求められた焦点距離および露光条件に基づいて行われ、取得された画像情報は、Ａ／Ｄ変換器８においてディジタル信号に変換され、バッファ９に格納された後、選択部１０に送られて、画素毎に信号処理部１１か距離情報算出部１２のいずれかに送られる。

絞り部材５のうち、通常絞り部５ａを通過した光が結像された画素からの画像情報は、選択部１０から信号処理部１１に送られて２次元画像信号が生成される。
一方、絞り部材５のうち、符号化絞り部５ｂを通過した光が結像された画素からの画像情報は、選択部１０から距離情報算出部１２に送られて距離情報が算出される。

そして、信号処理部１１から出力された２次元画像信号と、距離情報算出部１２から出力された距離情報とは合成部１３に送られて、距離情報が画素毎に対応づけられた２次元画像信号が生成される。
この場合において、本実施形態に係る撮像装置１によれば、符号化絞り部５ｂを通過した光を用いて距離情報を算出しているので、以下の利点がある。

すなわち、撮像レンズ４がテレセントリック光学系であると仮定すると、ボケの形状は絞り部５ａ，５ｂの開口形状に比例することが分かっている。
図５（ａ）より図５（ｂ）の方がよりボケており、図５（ｃ）より図５（ｄ）のほうがよりボケていることが示されている。

このボケの形状をフーリエ変換すると図６に示される通りである。図６の横軸は周波数を示し、縦軸は規格化された画素値を示している。
図６によれば、図５（ａ）および図５（ｂ）の周波数特性は、図５（ｃ）および図５（ｄ）の周波数特性に比べて、高周波成分に高い画素値が存在していることが分かる。

マッチング処理においては、画像信号にテクスチャ情報、すなわち、高周波成分の信号が少ない場合に、マッチング処理の精度が低下し、距離情報の精度が低下する。図５（ａ），（ｂ）のように符号化絞り部５ｂを通過した画像情報は、通常絞り部５ａを通過した画像情報に比べて高周波成分が高いため、マッチング処理の精度が向上し、距離情報を精度よく算出することができるという利点がある。

また、図５（ｂ），（ｄ）のようにボケた画像情報であっても、図５（ｂ）の符号化絞り部５ｂを通過した画像情報には高周波成分が存在するため、マッチング処理の精度を維持することができる。すなわち、距離情報を測定できる奥行き方向の範囲が通常絞り部５ａを通過した光に基づく画像情報に比べて広くなるという利点がある。
テレセントリック光学系を例示して説明したが、他の光学系においても同様である。

このように、本実施形態に係る撮像装置１によれば、通常絞り部５ａを通過した光を撮像して得られた画像情報によって、高画質な画像信号を取得することができるとともに、符号化絞り部５ｂを通過した光を撮像して得られた画像情報によって被写体Ａまでの距離Ｚを精度よく取得することができるという利点がある。

なお、本実施形態に係る撮像装置１においては、図２に示されるような符号化絞り部５ｂを有する絞り部材５を採用したが、これに代えて、図７（ａ），（ｂ）に示されるような符号化絞り部５ｂを有していてもよい。また、通常絞り部５ａと符号化絞り部５ｂのそれぞれに単一のマイクロレンズ６ａが対応している場合を例示したが、これに代えて、図８に示されるように、通常絞り部５ａと符号化絞り部５ｂのそれぞれに複数（例えば、２個）のマイクロレンズ６ａが対応するマイクロレンズアレイ６を採用してもよい。

図３および図８のように、マイクロレンズの数は絞り部の数の倍数になっており、これらの場合、絞り部の数は３であるので、マイクロレンズ６ａの個数は３の倍数となっている。２次元の場合も同様に、一方向の絞り部５ａ，５ｂの数をｘ個、他方向の絞り部５ａ，５ｂの数をｙ個とすると、マイクロレンズ６ａの一方向の個数Ｎｘおよび他方向の個数Ｎｙは下式（３）の通りとなる。

Ｎｘ＝ｉ×ｘ，Ｎｙ＝ｊ×ｙ（３）
ここで、ｉ，ｊは１以上の整数である。

また、絞り部５ａ，５ｂの面積は全て同じではなくてもよい。図９に示されるように絞り部５ａ，５ｂの面積を異ならせてもよい。
この場合、中央の大きな通常絞り部５ａを通過した光は中央の大きな径のマイクロレンズ６ａを通過し、撮像素子７の結像面７ａに結像する。一方、通常絞り部５ａを挟んで両側に配置されている通常絞り部５ａより面積の狭い符号化絞り部５ｂを通過した光は、中央のマイクロレンズ６ａを挟んで配置されている小さいマイクロレンズ６ａを通過して撮像素子７の撮像面７ａに結像するようになっている。

このようにすることで、通常絞り部５ａを通過した光を撮像して得られた画像情報については、符号化絞り部５ｂを通過した光を撮像して得られた画像情報よりも、その空間解像度を高くすることができるという利点がある。

また、撮像部２としては、図１０に示されるように、撮像レンズ４により集光された光がマイクロレンズアレイ６上で結像しているものも考えることができる。この場合、図１０に示されるように、中央の通常絞り部５ａを通過した光は、撮像素子７の撮像面７ａの中央の画素に実像が結像している。

すなわち、各絞り部５ａ，５ｂを通過した光をマイクロレンズアレイ６において結像させる。この場合、マイクロレンズ６ａ毎に３画素の中央の画素において取得された画像情報を抜き出すことにより、通常絞り部５ａを通過した光の画像情報を取得でき、３画素の両側の画素において取得された画像情報を抜き出すことにより、２つの符号化絞り部５ｂを通過した光の画像情報を取得することができる。

１個のマイクロレンズ６ａに対応する画素数は３画素でなくてもよい。例えば、図１１に示されるように、６画素が対応していてもよい。
このような撮像部２の場合、１個のマイクロレンズ６ａに対応する画素数は絞り部５ａ，５ｂの数の倍数になっている。この場合、絞り部５ａ，５ｂが３つであるので、画素数は３の倍数である。

２次元の場合も同様に、一方向の絞り部５ａ，５ｂの数をｘ個、他方向の絞り部５ａ，５ｂの数をｙ個とすると、１個のマイクロレンズ６ａに対応する一方向の画素数Ｐｘおよび他方向の画素数Ｐｙは下式（４）の通りとなる。

Ｐｘ＝ｋ×ｘ，Ｐｙ＝ｍ×ｙ（４）
ここで、ｋ，ｍは１以上の整数である。

また、絞り部５ａ，５ｂの面積は全て同じではなくてもよい。図１２に示されるように絞り部５ａ，５ｂの面積を異ならせてもよい。
この場合、中央の大きな通常絞り部５ａを通過した光はマイクロレンズ６ａに結像し、撮像素子７の撮像面７ａの４画素に入射する。一方、通常絞り部５ａを挟んで両側に配置されている通常絞り部５ａより面積の狭い符号化絞り部５ｂを通過した光は、同じマイクロレンズ６ａに結像した後、撮像素子７の撮像面７ａの周辺の１画素に入射する。

このようにすることで、通常絞り部５ａを通過した光を撮像して得られた画像情報については、符号化絞り部５ｂを通過した光を撮像して得られた画像情報よりも、その空間解像度を高くすることができるという利点がある。
絞り部５ａ，５ｂの配置は、３つでなくてもよく、図１３に示されるように４つあるいはそれ以上でもよい。

Ａ被写体
１撮像装置
４撮像レンズ
５絞り部材
５ａ通常絞り部
５ｂ符号化絞り部
６マイクロレンズアレイ
６ａマイクロレンズ
７撮像素子
１１信号処理部（画像生成部）
１２距離情報算出部
１３合成部

Claims

被写体からの光を集光する撮像レンズと、
該撮像レンズに隣接して配置された絞り部材と、
前記撮像レンズにより集光され、前記絞り部材を通過した光を撮像する撮像素子と、
該撮像素子と前記撮像レンズとの間に、光軸方向に間隔をあけて配置されたマイクロレンズアレイとを備え、
前記絞り部材が、略円形の開口を有する少なくとも１つの通常絞り部と、所定パターンの開口を有する少なくとも２つの符号化絞り部とを備える撮像装置。
前記符号化絞り部を通過した光を前記撮像素子によって撮像することにより取得された画像情報に基づいて距離情報を算出する距離情報算出部と、
前記通常絞り部を通過した光を前記撮像素子によって撮像することにより取得された画像情報を用いて画像を生成する画像生成部と、
該画像生成部により生成された画像の各画素に前記距離情報算出部により算出された距離情報を対応づける合成部とを備える請求項１に記載の撮像装置。
前記距離情報算出部が、異なる位置に配置されている前記符号化絞り部を通過して前記撮像素子により取得された２以上の画像情報を用いてマッチング処理を行うことにより算出された視差情報を用いて距離情報を算出する請求項２に記載の撮像装置。
前記通常絞り部および前記符号化絞り部が互いに交差する２方向に沿って配列され、
前記通常絞り部および前記符号化絞り部の一方向の合計配列数がｘ個、他方向の合計配列数がｙ個であるとき、
前記マイクロレンズアレイのマイクロレンズの前記一方向の配列数が、ｉ×ｘ個、前記他方向の配列数がｊ×ｙ個である請求項１から請求項３のいずれか１項に記載の撮像装置。
ここで、ｉおよびｊは、１以上の整数である。
前記通常絞り部および前記符号化絞り部が互いに交差する２方向に沿って配列され、
前記通常絞り部および前記符号化絞り部の一方向の合計配列数がｘ個、他方向の合計配列数がｙ個であるとき、
前記マイクロレンズアレイの各マイクロレンズに対応する前記撮像素子の前記一方向の画素数が、ｋ×ｘ個、前記他方向の画素数がｍ×ｙ個である請求項１から請求項３のいずれか１項に記載の撮像装置。
ここで、ｋおよびｍは、１以上の整数である。