JP5394814B2 - 光検出素子及び撮像装置 - Google Patents

Description

本発明は、光検出素子及び撮像装置に関する。

従来の一般的なデジタルスチルカメラは、フォーカスレンズで集光した光をＣＣＤイメージセンサやＣＭＯＳイメージセンサその他の撮像素子に照射することでカラー画像信号を生成している。しかし最近では、レンズと撮像素子の間に単一平面上に配列されたマイクロレンズ群からなるレンズアレイを備える光学系を有する撮像装置が提案されている（例えば非特許文献１参照）。かかる撮像装置はプレノプティック（Ｐｌｅｎｏｐｔｉｃ）型の撮像装置と称されている。

非特許文献１には、かかる光学系により得られた画像を再構成することで、被写界深度を自在に決定する事例が紹介されており、視差を利用した測距や、３Ｄ画像への応用、解像度の向上等の展開が考えられている。また、かかる光学系を用いた技術としては、例えば特許文献１〜３が挙げられる。

特開２００３−１６３９３８号公報 特開２００４−１４６６１９号公報 特開２００７−３１７９５１号公報

(Ren Ng)、他5名 "Light Field Photograph with a Hand-heldPlenoptic Camera"、Stanford Tech Report CTSR 2005-02、p.1-11

このようなマイクロレンズ群からなるレンズアレイを備える光学系を備えるデジタルスチルカメラは、マイクロレンズごとに分離された複数の光束情報を入手することができるので、被写界深度のコントロール、解像度の向上、視差を利用した距離測定等へ利用できることが期待されている。一方、デジタルスチルカメラにこのようなマイクロレンズ群からなるレンズアレイを備える光学系を備えた場合においては、画像データのカラー化が必須となる。

一般的な撮像装置は、単板の２次元撮像素子からカラー画像を生成する場合には、ベイヤー配列に代表されるように、位置毎に異なる分光特性を与えることで色情報を入手した後に、補間処理によって画素ごとに色を決定することでフルカラー画像データを生成している。

しかし、プレノプティック型の撮像装置では、マイクロレンズごとに分離された複数の光束情報に対してベイヤー化すると、光束情報の欠落に繋がるという問題があった。また、ベイヤー配列により分離された光束情報を増やそうとすると、マイクロレンズの微細化が要求され、マイクロレンズの微細化要求に伴ってマイクロレンズ加工の微細化や撮像素子の微細化が必要となり、技術的困難性やコスト増加を伴うという問題もあった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、マイクロレンズ群からなるレンズアレイを備える光学系であっても、当該レンズアレイを備えることによる効果を損なわずにカラー画像を得ることが可能な、新規かつ改良された光検出素子及び撮像装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、前記レンズアレイの各レンズの透過光の照射範囲に対応して単一平面上に設けられる複数の光電変換素子を備える光電変換部と、を備え、前記光電変換素子は、前記レンズの光軸を中心に設けられる第１領域と、前記第１領域の周辺に設けられる第２領域とで、異なる分光感度特性を有することを特徴とする、光検出素子が提供される。この結果、画像の再構成処理で用いる第１領域に主信号成分を受光させて、分離光束の欠損分が原画像から間引かれるのを未然に回避できるとともに、残りの第２領域に従信号成分を受光させて多チャンネル化を実現できる。

前記第１領域は輝度信号に相当する分光感度特性を有し、前記第２領域は色信号に相当する分光感度特性を有するようにした。この結果、画像の再構成処理で用いる第１領域に輝度成分を受光させて、分離光束の欠損分が原画像から間引かれるのを未然に回避できるとともに、残りの第２領域に色成分を受光させてカラー化を実現できる。

各前記光電変換領域は、前記画素の分光特性の配列パターンが全て同一であるようにした。この結果、マイクロレンズの微細化にあたって設計及び加工も、配列パターンが不規則な場合と比較して格段と容易にすることができる。

前記第２領域は、前記レンズアレイの各レンズからの透過光の照射範囲に含まれるように設けられることができる。この結果、各レンズごとに分離された光束情報に欠落が生じるのを回避することができる。

以上説明したように本発明によれば、マイクロレンズ群からなるレンズアレイを備える光学系であっても、当該レンズアレイを備えることによる効果を損なわずにカラー画像を得ることが可能な光検出素子及び撮像装置を提供することができる。

マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。 マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。 レンズアレイを備える光学系で撮像した画像をカラー化する場合について示す説明図である。 レンズアレイを備える光学系で撮像した画像をカラー化する場合について示す説明図である。 本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。 本発明の一実施形態にかかる撮像装置１００に用いられる撮像センサ１０６の構成について示す説明図である。 図６に示した撮像センサ１０６を拡大したものを示す説明図である。 色の三原色であるＲ，Ｇ，Ｂの各色の波長とスペクトラム強度との関係を示す説明図である。 シアン、マゼンタ、イエローの各色の波長とスペクトラム強度との関係を示す説明図である。 図１０は輝度信号の波長とスペクトラム強度との関係を示す説明図である。 本発明の一実施形態にかかる撮像装置１００を用いた撮像方法について示す流れ図である。 本発明の一実施形態にかかる撮像装置１００におけるカラー画像の生成方法について示す流れ図である。 撮像センサ１０６の構成の変形例を示す説明図である。 マイクロレンズアレイ１０４´の構成を示す説明図である。 赤、緑、青の情報を得るための原色フィルタが貼付された撮像センサの構成例について示す説明図である。 赤、緑、青の情報を得るための原色フィルタが貼付された撮像センサの構成例について示す説明図である。 マイクロレンズアレイ１０４´´の構成を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まず、本発明の好適な実施の形態について説明する前に、従来のマイクロレンズ群からなるレンズアレイを備える光学系について説明し、続いて、かかる光学系を用いた場合におけるカラー化の問題点について説明する。

図１及び図２は、マイクロレンズ群からなるレンズアレイを備える光学系について説明する説明図である。図１は、被写体からの光を集光するレンズと撮像素子との間にレンズアレイを備えたものを側面方向から見た場合について示す説明図であり、図２は、レンズアレイの配置状態を概念的に示す説明図である。

図１に示したように、マイクロレンズ群からなるレンズアレイを備える光学系においては、主レンズ１１を通過した被写体からの光がレンズアレイ１２の各マイクロレンズ１２ａに合焦するように投影される。そして、撮像センサ１３には、マイクロレンズ１２ａを透過した光が照射される。

撮像センサ１３には、隣接するマイクロレンズ１２ａからの光が重ならないように、主レンズ１１の絞り１４を設定することが上記非特許文献１に記載されている。そして、上記非特許文献１には、図１に示したような光学系で得られた画像を再構成することで、被写界深度を自在に決定する事例が紹介されている。従って、このようなマイクロレンズ群からなるレンズアレイを備える光学系は、視差を利用した測距や三次元画像への応用、解像度の向上処理への展開が考えられている。

かかる光学系を汎用的なデジタルスチルカメラに利用する場合には、撮影画像のカラー化をどのように行うかが課題となる。ダイクロイックミラー（ｄｉｃｈｒｏｉｃ ｍｉｒｒｏｒ）等を用いて分光し、複数の撮像センサを用いてカラー化する手法が考えられるが、これは撮像センサの設置スペースやコスト面から不利となるため、単板の撮像センサを用いてカラー化する手法が一般的である。そして、単板の撮像センサを用いてカラー化する際には、分光フィルタを受光素子の前面に特定のパターン配列で貼って撮像し、後に補間処理により全ての画素ごとに色情報を揃える手法が知られている。しかし、当該手法をマイクロレンズ群からなるレンズアレイを備える光学系にそのまま適用すると問題が生じてしまう。

図３は、デジタルスチルカメラで広く用いられているベイヤー配列を有する分光フィルタによって、レンズアレイを備える光学系で撮像した画像をカラー化する場合について示す説明図である。図３では、縦８画素×横８画素のブロックを１つのマイクロレンズに対応させた場合について示しており、図３に示したそれぞれの円は１つのマイクロレンズの投影範囲を表している。

所定の光学経路を通って撮像されるデータは特定の色情報として得ることとなるので、再構成処理にあたって同色同士で行うのが適当である。しかし、図３に示した分光フィルタのパターンは、最も多い緑色（Ｇ）成分であっても市松模様状のパターンでしか情報を持ち得ないので欠損状態となる。

情報を増やすために、マイクロレンズ単位で分光特性を変えて画像のカラー化を試みる方法も考えられる。図４は、マイクロレンズ単位で特性が異なる分光フィルタによって、レンズアレイを備える光学系で撮像した画像をカラー化する場合について示す説明図である。図４では、図３と同様に、縦８画素×横８画素のブロックを１つのマイクロレンズに対応させた場合について示しており、図４に示したそれぞれの円は１つのマイクロレンズの投影範囲を表している。

図４に示したような、マイクロレンズ単位で分光特性が異なる分光フィルタを用いた場合には、注目するマイクロレンズ単位で考えると、撮影画像に対する再構成処理は、図３に示したようなベイヤー配列を有する分光フィルタを用いた場合よるも有利である。しかし、レンズアレイを備える光学系は、１画素の情報をさらに分割して撮像するため、再構成後の画素数はマイクロレンズの数に減少する。さらに、この減少した画素から補間処理を実行することになるので、レンズアレイを備えるデジタルスチルカメラは、同じ撮像センサを用いた通常の光学系を有するデジタルスチルカメラに比べて少ない画素数となることを余儀なくされる。図４に示したような分光フィルタを用いる場合には、１つのマイクロレンズあたり６４個の画素が割り当てられている。従って、記録画素数は撮像センサの画素数の１／６４となる。補間処理は、記録されていない高周波成分を予測した作成や、色情報の位相のずれに起因する境界部の着色などの課題もあり、少ない画素数で実施すると画質の劣化が目立ちやすくなってしまう。

そこで、以下で説明する本発明の一実施形態においては、各マイクロレンズが照射する範囲において、画像の再構成に使用する領域で撮像される画素は輝度信号を受光し、それ以外の領域では補色フィルタを貼付してカラー信号を得る撮像センサを構成する。ここで、画像の再構成に使用する領域は、各マイクロレンズの光軸を中心とした所定の領域であることを特徴としている。

図５は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図５を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。

図５に示したように、本発明の一実施形態にかかる撮像装置１００は、主レンズ１０２と、マイクロレンズアレイ１０４と、撮像センサ１０６と、ＣＰＵ１０８と、メモリ１１０と、アナログフロントエンド（ＡＦＥ）部及びＡ／Ｄ変換部１１２と、画像入力部１１４と、カラー画素生成部１１６と、画像再構成部１１８と、デジタルバックエンド（ＤＢＥ）部１２０と、画像圧縮部１２２と、メモリカードドライバ１２４と、表示画像生成部１２６と、表示ドライバ１２８と、タイミングジェネレータ（ＴＧ）１３０と、モータドライバ１３２と、フォーカスレンズモータ１３４と、を含んで構成される。

主レンズ１０２は、被写体へ焦点を合わせるためのレンズであるフォーカスレンズや、焦点距離を変化させるズームレンズ等を含んで構成される。フォーカスレンズモータ１３４の駆動により主レンズ１０２に含まれるフォーカスレンズの位置を移動させることで、撮像装置１００は被写体に焦点を合わせることができる。

マイクロレンズアレイ１０４は、複数のマイクロレンズ群から構成されるレンズアレイである。マイクロレンズアレイ１０４は、マイクロレンズ１０４ａが単一平面上に規則的に配列することで構成される。主レンズ１０２を通過した光はマイクロレンズアレイ１０４の各マイクロレンズを通過して撮像センサ１０６へ照射されることになる。

撮像センサ１０６は、マイクロレンズアレイ１０４を構成する各マイクロレンズ１０４ａを通過した光から画像信号を生成するものである。撮像センサ１０６は、各マイクロレンズ１０４ａに対応した所定の受光パターンを有しており、上述したように、各マイクロレンズ１０４ａが照射する範囲において、画像の再構成に使用する領域で撮像される画素は輝度信号を受光し、それ以外の領域では補色フィルタが貼付されており、カラー信号を得るように構成されている。撮像センサ１０６の構成については後に詳述する。

ＣＰＵ１０８は、撮像装置１００の各部の動作を制御するものである。ＣＰＵ１０８は、撮像装置１００の内部に格納されたコンピュータプログラムを順次実行することで、撮像装置１００の各部の動作を制御することができる。またメモリ１１０は、撮像装置１００の動作の際に必要となる情報やデータが格納されるものである。

アナログフロントエンド部及びＡ／Ｄ変換部１１２は、撮像センサ１０６で光電変換されたアナログの信号を受け取り、デジタル信号に変換して出力するものである。アナログフロントエンド部及びＡ／Ｄ変換部１１２でデジタル信号に変換された信号は画像入力部１１４に送られる。

画像入力部１１４は、アナログフロントエンド部及びＡ／Ｄ変換部１１２で生成されたデジタル信号を受け取って、メモリ１１０に格納するものである。アナログフロントエンド部及びＡ／Ｄ変換部１１２で生成されたデジタル信号がメモリ１１０に格納されることで、撮像装置１００はデジタル信号に対する各種信号処理を実行することができる。

カラー画素生成部１１６は、撮像センサ１０６が受光した光から生成された画像信号に対して色データを生成する信号処理を実行するものである。具体的には、カラー画素生成部１１６は、撮像センサ１０６で生成された画像信号のうち、色情報が存在していない画素に対して色データを生成するものである。カラー画素生成部１１６における色データの生成処理については、後に詳述する。

画像再構成部１１８は、マイクロレンズアレイ１０４を通して撮像された画像を再構成するものである。画像再構成部１１８は、例えばマイクロレンズアレイ１０４を通して撮像された画像の再構成により被写界深度を変更して、合焦させる被写体を変化させることができる。また画像再構成部１１８は、ノイズの除去や色の補正等による解像度向上処理を実行してもよい。

デジタルバックエンド部１２０は、マイクロレンズアレイ１０４を通して撮像され、カラー画素生成部１１６でカラー化された画像に対する画像処理を実行するものであり、例えば彩度を強調する処理を実行したり、画像サイズを変換する処理を実行したりするものである。

画像圧縮部１２２は、画像データを適切な形式に圧縮するものである。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。メモリカードドライバ１２４は、画像圧縮部１２２で圧縮された後の画像データの、メモリカード（図示せず）への記録、及びメモリカードに記録された画像データのメモリカードからの読み出しを実行するものである。

表示画像生成部１２６は、撮影画像や、撮像装置１００の各種設定画面を表示する表示部（図示せず）に表示する画像（表示画像）を生成するものである。例えば、撮影画像を表示部に表示させる場合には、表示画像生成部１２６は、表示部の解像度や画面サイズに合わせて画像データを圧縮して、表示画像を生成する。表示ドライバ１２８は、表示画像生成部１２６が生成した表示画像を表示部に表示させる処理を実行するものである。

タイミングジェネレータ１３０は、撮像センサ１０６にタイミング信号を入力する。タイミングジェネレータ１３０からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１３０からのタイミング信号により撮像センサ１０６の駆動が制御され、撮像センサ１０６が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。

モータドライバ１３２は、ＣＰＵ１０８の制御に基づいて、フォーカスレンズモータ１３４を駆動させるものである。フォーカスレンズモータ１３４は、モータによって主レンズ１０２の位置を制御するものである。モータドライバ１３２及びフォーカスレンズモータ１３４を介して主レンズ１０２の位置を制御することで、被写体のピントを調節することができる。

なお、図５には図示していないが、撮像装置１００には、絞り、当該絞りを調節するためのモータ、及び当該モータを駆動させるためのモータドライバを備えていても良い。さらに、図５には図示していないが、撮像装置１００には、撮影動作を開始するためのシャッタボタン、絞りやシャッタ速度、感度等の撮影情報を設定するための操作ボタン等を備えていてもよい。

以上、本発明の一実施形態にかかる撮像装置１００の構成について説明した。次に、本発明の一実施形態にかかる撮像装置１００に用いられる撮像センサ１０６の構成について説明する。

図６は、本発明の一実施形態にかかる撮像装置１００に用いられる撮像センサ１０６の構成について示す説明図であり、図７は、図６に示した撮像センサ１０６を拡大したものを示す説明図である。

図６に示した円は、図３に示した円と同様に、マイクロレンズアレイ１０４を構成する１つのマイクロレンズ１０４ａを透過する光が照射される範囲を示したものである。図６に示したように、撮像センサ１０６には、１つのマイクロレンズ１０４ａを透過する光が照射される範囲に対応して複数の画素が割り当てられている。図６及び図７に示した例では、１つのマイクロレンズ１０４ａに対して縦８画素、横８画素の計６４画素が割り当てられており、１つのマイクロレンズ１０４ａを透過した光は当該６４個の画素によって光電変換が行われる。

図６及び図７に示した撮像センサ１０６では、１つのマイクロレンズ１０４ａに対して割り当てられる６４個の画素が、輝度信号を得る画素が含まれる領域と、補色信号を得る画素が含まれる領域とに分けられる。そして、画像再構成部１１８における再構成処理に用いる領域、すなわち各マイクロレンズの光軸付近で撮像される画素が含まれる領域は輝度信号を得る領域とし、その周囲の画素が含まれる領域は補色信号を得る領域とする。図６に示した撮像センサ１０６では、Ｙで示した画素からなる領域が輝度信号を得る領域であり、Ｃｙ、Ｍｇ、Ｙｅで示した画素からなる領域が補色信号を得る領域となる。Ｃｙ、Ｍｇ、Ｙｅで示した画素は、それぞれシアン、マゼンタ、イエローの情報を得る画素である。

図７は、１つのマイクロレンズ１０４ａに対して割り当てられている６４個の画素について拡大して示す説明図である。図７を用いてより詳細に撮像センサ１０６の構成を説明する。

画像の再構成に用いられる領域は、図７に示した画素の内、Ｙ０からＹ５１で示した画素からなる領域にあたる。その他の領域の画素にはそれぞれ補色フィルタが貼付され、シアン、マゼンタ、イエローの情報が得られるように構成されている。シアンの情報を得る画素は、図７のＣｙ０〜Ｃｙ３で示した画素であり、マゼンタの情報を得る画素は、図７のＭｇ０〜Ｍｇ３で示した画素であり、イエローの情報を得る画素は、図７のＹｅ０〜Ｙｅ３で示した画素である。Ｙ０からＹ５１の画素に光が照射されることで得られる輝度信号からは、シアン、マゼンタ、イエローの情報を参照することでＲＧＢ信号を得ることができる。

補色信号を受光した画素では、輝度信号を受光する領域とは異なる光束の情報になるが、補色信号は輝度信号に比べて人の感度が低いことが知られている。そこで本実施形態では、撮像センサ１０６の輝度信号が受光した位置と、複数の補色信号の各受光位置との距離差に応じて重みをつけて算出し、輝度信号を受光した位置におけるＲＧＢ信号を生成する。

図８は、色の三原色であるＲ，Ｇ，Ｂの各色の波長とスペクトラム強度との関係を示す説明図であり、図９は、シアン、マゼンタ、イエローの各色の波長とスペクトラム強度との関係を示す説明図であり、図１０は輝度信号の波長とスペクトラム強度との関係を示す説明図である。図８〜図１０に示したように、輝度信号の波長とスペクトラム強度との関係は、図９に示したシアン、マゼンタ、イエローの各色の波長とスペクトラム強度との関係を含むような特性を有している。従って、複数の補色信号の各受光位置との距離差に応じて重みを付けて算出することで、輝度信号を受光した位置におけるＲＧＢ信号を生成することが可能となる。

以上、撮像装置１００に用いられる撮像センサ１０６の構成について説明した。次に、本発明の一実施形態にかかる撮像装置１００を用いた撮像方法、及びカラー画像の生成方法について説明する。

図１１は、本発明の一実施形態にかかる撮像装置１００を用いた撮像方法について示す流れ図であり、図１２は、本発明の一実施形態にかかる撮像装置１００におけるカラー画像の生成方法について示す流れ図である。以下、図１１及び図１２を用いて本発明の一実施形態にかかる撮像装置１００を用いた撮像方法、及びカラー画像の生成方法について説明する。

本発明の一実施形態にかかる撮像装置１００を用いて被写体を撮影する際には、まず被写体の測光結果を用いて自動的に、または撮影者の手によって最適な絞り値が設定され（ステップＳ１０１）、続いて、被写体の測光結果を用いて自動的に、または撮影者の手によって被写体の撮影に最適なシャッタ速度が設定され、また画像を撮影する際のゲインが決定される（ステップＳ１０２）。そして、モータドライバ１３２及びフォーカスレンズモータ１３４がフォーカスレンズの位置を移動させることでマイクロレンズアレイ１０４に主被写体が合焦される（ステップＳ１０３）。

マイクロレンズアレイ１０４に主被写体が合焦されると、シャッタボタンの押下によって撮像装置１００での撮影処理が実行される（ステップＳ１０４）。撮像装置１００での撮影処理は、被写体からの映像光を撮像センサ１０６に照射させることによって実行される。そして、撮像センサ１０６への光の照射は、上記ステップＳ１０２で設定したシャッタ速度の期間のみ照射されるように、タイミングジェネレータ１３０によって制御される。

被写体からの映像光が主レンズ１０２、マイクロレンズアレイ１０４を透過して撮像センサ１０６に照射されると、撮像センサ１０６で光電変換されて電気信号が生成される。撮像センサ１０６で生成された電気信号は、アナログフロントエンド部及びＡ／Ｄ変換部１１２によってデジタル信号に変換され、変換されたデジタル信号は、画像入力部１１４によって画像データとしてメモリ１１０に格納される（ステップＳ１０５）。

画像データがメモリ１１０に格納されると、カラー画素生成部１１６は、メモリ１１０に格納された画像データを読み出して、マイクロレンズ１０４ａで区分けされた領域毎にＲＧＢ画像を生成する（ステップＳ１０６）。このステップＳ１０６における、カラー画素生成部１１６によるＲＧＢ画像の生成処理については、後に詳述する。

上記ステップＳ１０６における、カラー画素生成部１１６によるＲＧＢ画像の生成処理が完了すると、続いて、画像再構成部１１８が、画像の再構成処理に用いる再構成用のパラメータを取得する（ステップＳ１０７）。画像の再構成処理に用いる再構成用のパラメータには、例えば撮像装置１００から被写体までの距離情報、マイクロレンズアレイ１０４を構成するマイクロレンズ１０４ａのレンズ間のピッチ等の情報が含まれていてもよい。

上記ステップＳ１０７における、画像再構成部１１８による再構成用のパラメータの取得が完了すると、続いてその取得したパラメータを用いて、画像再構成部１１８で画像データの再構成処理を実行する（ステップＳ１０８）。画像再構成部１１８で画像データを再構成することで、撮影時とは異なる被写体に焦点が合った画像を生成することができる。なお、画像データの再構成処理については、例えば非特許文献１に開示されているので、ここでは詳細な説明は省略する。

上記ステップＳ１０８における、画像再構成部１１８による画像データの再構成処理が完了すると、続いて再構成後の画像データに対して、デジタルバックエンド部１２０が各種画像処理を実行する（ステップＳ１０９）。ここでの各種画像処理とは、例えばノイズ除去処理、彩度強調処理、画像サイズ変換処理等が含まれていてもよい。画像処理が施された画像データはメモリ１１０に格納される。

上記ステップＳ１０９における、デジタルバックエンド部１２０による各種画像処理が完了すると、続いて、画像処理が施された画像データに対する圧縮処理を画像圧縮部１２２が実行する（ステップＳ１１０）。画像データに対する圧縮処理が完了すると、メモリカードドライバ１２４は、圧縮後の画像データを記録媒体へ保存する（ステップＳ１１１）。

以上、本発明の一実施形態にかかる撮像装置１００を用いた撮像方法について説明した。続いて、図１１のステップＳ１０６で示した、カラー画素生成部１１６によるＲＧＢ画像の生成処理について詳細に説明する。

図１２は、図１１のステップＳ１０６で示した、カラー画素生成部１１６によるＲＧＢ画像の生成処理について説明する流れ図である。ここでは、図６及び図７に示したように、１つのマイクロレンズ１０４ａに対応するのが縦８画素×横８画素の計６４画素の領域である場合を例にして説明する。

まず、カラー画素生成部１１６は、マイクロレンズアレイ１０４を構成するマイクロレンズ１０４ａの数を表す作業用の変数ｋを０に設定する（ステップＳ１２１）。ステップＳ１２１で変数ｋを０に設定すると、続いてカラー画素生成部１１６は、上述した縦８画素×横８画素の計６４画素の領域を８行×８列の行列に置き換えた場合における行の要素を表す変数ｎを０に設定し（ステップＳ１２２）、続いて当該行列の列の要素を表す変数ｍを０に設定する（ステップＳ１２３）。

各変数を０に設定すると、続いて、カラー画素生成部１１６は、上述した６４画素の領域で区分けされた領域内の、シアン（Ｃｙ［ｎ］［ｍ］）、マゼンタ（Ｍｇ［ｎ］［ｍ］）、イエロー（Ｙｅ［ｎ］［ｍ］）の値を算出する（ステップＳ１２４）。Ｃｙ［ｎ］［ｍ］、Ｍｇ［ｎ］［ｍ］、Ｙｅ［ｎ］［ｍ］は、それぞれ、６４画素の領域の四隅の画素からの距離に応じた加重平均で算出される。まずは算出対象の画素と、四隅のそれぞれの画素との距離を算出する。四隅の画素から算出対象の画素までの距離ｄ０、ｄ１、ｄ２、ｄ３は、それぞれ下記の数式１〜数式４で表すことができる。なお、図７に示したように、四隅のＣｙ、Ｍｇ、Ｙｅの各画素の位置は異なっているので、四隅のシアン、マゼンタ、イエローの各画素の位置から算出対象の画素までの距離ｄ０、ｄ１、ｄ２、ｄ３は、シアン、マゼンタ、イエローでそれぞれ異なることになる。従って、下記の数式１〜数式４は、シアン、マゼンタ、イエローでそれぞれ異なる式で表すのが適切であるが、ここでは概念を示すに留め、以下においては説明を簡略化するため、シアン、マゼンタ、イエローの各画素に対するｄ０、ｄ１、ｄ２、ｄ３の区別は省略する。

カラー画素生成部１１６が四隅の画素から算出対象の画素までの距離ｄ０、ｄ１、ｄ２、ｄ３を算出すると、続いてカラー画素生成部１１６は、上記数式１〜数式４で求めた四隅の画素から算出対象の画素までの距離ｄ０、ｄ１、ｄ２、ｄ３の和ｄを下記の数式５で求める。

四隅の画素から算出対象の画素までの距離の和を算出すると、当該画素におけるＣｙ［ｎ］［ｍ］、Ｍｇ［ｎ］［ｍ］、Ｙｅ［ｎ］［ｍ］を求めることができる。Ｃｙ［ｎ］［ｍ］、Ｍｇ［ｎ］［ｍ］、Ｙｅ［ｎ］［ｍ］は、上記数式５で求めた四隅の画素から算出対象の画素までの距離ｄ０、ｄ１、ｄ２、ｄ３の和ｄを用いて、下記の数式６〜数式８で求めることが出来る。なお、下記の数式６〜８において、Ｃｙ０、Ｃｙ１、Ｃｙ２、Ｃｙ３は、図７に示したＣｙ０、Ｃｙ１、Ｃｙ２、Ｃｙ３の画素におけるシアンの値であり、Ｍｇ０、Ｍｇ１、Ｍｇ２、Ｍｇ３は、図７に示したＭｇ０、Ｍｇ１、Ｍｇ２、Ｍｇ３の画素におけるマゼンタの値であり、Ｙｅ０、Ｙｅ１、Ｙｅ２、Ｙｅ３は、図７に示したＹｅ０、Ｙｅ１、Ｙｅ２、Ｙｅ３の画素におけるイエローの値である。

このようにシアン（Ｃｙ［ｎ］［ｍ］）、マゼンタ（Ｍｇ［ｎ］［ｍ］）、イエロー（Ｙｅ［ｎ］［ｍ］）を算出すると、続いてカラー画素生成部１１６は、上述した６４画素の領域で区分けされた領域内の輝度信号Ｙ［ｋ］［ｎ］［ｍ］を用いて、この区分けされた領域の画素におけるＲ［ｎ］［ｍ］、Ｇ［ｎ］［ｍ］、Ｂ［ｎ］［ｍ］の値を求める（ステップＳ１２５）。Ｒ、Ｇ、Ｂは、Ｃｙ、Ｍｇ、Ｙｅの補色の関係であるので、各画素の輝度信号Ｙ（Ｙ［ｎ］［ｍ］）から減算することで当該画素のＲ、Ｇ、Ｂの値を導出できる。Ｒ［ｎ］［ｍ］、Ｇ［ｎ］［ｍ］、Ｂ［ｎ］［ｍ］は、下記の数式９〜数式１１で求めることが出来る。

上記ステップＳ１２５でＲ［ｎ］［ｍ］、Ｇ［ｎ］［ｍ］、Ｂ［ｎ］［ｍ］を算出すると、カラー画素生成部１１６は続いてｍの値を１つインクリメントする（ステップＳ１２６）。ｍの値を１つインクリメントすると、カラー画素生成部１１６は続いてｍの値が８未満であるかどうかを判定する（ステップＳ１２７）。ｍの値が８未満であれば上記ステップＳ１２４に戻る。一方、ｍの値が８以上であれば、カラー画素生成部１１６は続いてｎの値を１つインクリメントする（ステップＳ１２８）。ｎの値を１つインクリメントすると、カラー画素生成部１１６は続いてｎの値が８未満であるかどうかを判定する（ステップＳ１２９）。ｎの値が８未満であれば上記ステップＳ１２３に戻り、ｍの値をリセットする。一方、ｎの値が８以上であれば、これは１つのマイクロレンズ１０４ａに割り当てられた６４個の画素の全てに対してＲ、Ｇ、Ｂの値の算出が完了したことを意味するので、カラー画素生成部１１６は続いてｋの値を１つインクリメントする（ステップＳ１３０）。ｋの値を１つインクリメントすると、カラー画素生成部１１６は続いてｋの値がマイクロレンズアレイ１０４を構成するマイクロレンズ１０４ａの数未満であるかどうかを判定する（ステップＳ１３１）。ｋの値がマイクロレンズ１０４ａの数未満であれば上記ステップＳ１２２に戻り、ｎの値をリセットする。一方、ｋの値がマイクロレンズ１０４ａの数以上であれば、これは全てのマイクロレンズ１０４ａに対するＲ、Ｇ、Ｂの値の算出が完了したことを意味するので、一連の処理を終了する。

なお、上記数式６〜数式８では、Ｃｙ［ｎ］［ｍ］、Ｍｇ［ｎ］［ｍ］、Ｙｅ［ｎ］［ｍ］は単純に四隅からの距離に応じた加重平均によって算出したが、本発明はかかる例に限定されない。図６及び図７に示した例では、シアン、マゼンタ、イエローの情報を取得する補色部は、円の外側に位置しているため、マイクロレンズ１０４ａを通過した光がこれらの補色部に十分照射されない場合が考えられる。従って、補色部の光量が不足しているときは、上記数式６〜数式８では、平均化している右辺部分を実光量に則して変更しても良い。例えば、下記の数式１２〜数式１４に示したように、所定の係数αを乗じてＣｙ［ｎ］［ｍ］、Ｍｇ［ｎ］［ｍ］、Ｙｅ［ｎ］［ｍ］を算出してもよい。

なお、この数式１２〜１４では、Ｃｙ［ｎ］［ｍ］、Ｍｇ［ｎ］［ｍ］、Ｙｅ［ｎ］［ｍ］について全て同じ係数αを用いているが、本発明はかかる例に限定されないことは言うまでも無い。シアン、マゼンタ、イエローで別々の係数を用いても良く、シアン、マゼンタ、イエローの内のいずれか２つは、他の１つと異なる係数を用いても良い。

また、補色部の光量不足を補うために、例えば図１３に示したように、マイクロレンズ１０４ａを透過した光が照射される領域の内側に補色部が位置するように撮像センサ１０６を構成してもよい。図１３に示した例では、シアンの情報を得る画素はＣｙ０〜Ｃｙ３で示した画素であり、マゼンタの情報を得る画素はＭｇ０〜Ｍｇ３で示した画素であり、イエローの情報を得る画素はＹｅ０〜Ｙｅ３で示した画素である。また、図１３のＹ０からＹ３９の画素からなる領域にマイクロレンズ１０４ａを透過した光が照射されることで得られる輝度信号からは、画素Ｃｙ０〜Ｃｙ３、Ｍｇ０〜Ｍｇ３、Ｙｅ０〜Ｙｅ３にマイクロレンズ１０４ａを透過した光が照射されることで得られるシアン、マゼンタ、イエローの情報を参照することでＲＧＢ信号を得ることができる。

また、補色部の光量不足を補うために、マイクロレンズアレイ１０４に替えて、例えば図１４に示したような、矩形型のマイクロレンズ１０４ａ´が規則的に配列されたマイクロレンズアレイ１０４´を用いてもよい。矩形型のマイクロレンズ１０４ａ´を用いることで透過光の照射範囲が広くなり、補色部の光量不足を補うことができる。

以上、カラー画素生成部１１６によるＲＧＢ画像の生成処理について説明した。

なお、ここまではシアン、マゼンタ、イエローの情報を得るための補色フィルタが貼付された撮像センサ１０６を用いた場合について説明したが、本発明はかかる例に限定されない。本発明は、赤、緑、青の情報を得るための原色フィルタが貼付された撮像センサを適用してもよい。図１５及び図１６は、赤、緑、青の情報を得るための原色フィルタが貼付された撮像センサの構成例について示す説明図である。図１５に示した例は、図７に示した補色フィルタが貼付された撮像センサと同様の構成を有する場合のものである。画像の再構成に用いられる画素は、図１５に示した画素の内、Ｙ０からＹ５１で示したものにあたる。その他の領域の画素にはそれぞれ原色フィルタが貼付され、赤、緑、青の情報を得るように構成されている。図１５における各画素のＲ［ｎ］［ｍ］、Ｇ［ｎ］［ｍ］、Ｂ［ｎ］［ｍ］の値は、それぞれ下記の数式で算出することができる。なお、四隅の画素から算出対象の画素までの距離ｄ０、ｄ１、ｄ２、ｄ３、及びｄ０、ｄ１、ｄ２、ｄ３の和ｄの算出式は上記数式１〜数式５と同一のものを用いる。

一方、図１６は、図１３に示した、マイクロレンズ１０４ａを透過した光が照射される領域の内側に補色部が位置するように構成された撮像センサ１０６と同様の構成を有するものである。図１６に示したように、マイクロレンズ１０４ａを透過した光が照射される領域の内側に赤、緑、青の情報を取得する原色部が位置するように、撮像センサ１０６を構成してもよい。

以上説明したように本発明の一実施形態によれば、マイクロレンズアレイ１０４の透過光からカラー画像信号を生成する場合において、１つのマイクロレンズ１０４ａに対して撮像センサ１０６の複数の画素が割り当てられた領域を設ける。当該領域は、マイクロレンズ１０４ａの光軸を中心とした領域は輝度信号を、当該領域の周辺領域は補色信号または原色信号を、それぞれ得るような構成とする。そして、カラー画像信号を生成する際には、当該領域の四隅の画素からの距離に応じた加重平均によって領域内の各画素の補色データまたは原色データを算出し、算出された各画素の補色データまたは原色データ、及び当該画素の輝度データを用いて、各画素の色情報を算出する。

その結果、本発明の一実施形態によれば、周辺の画素を使って輝度補間処理を行わないので、解像度の低下や周辺部に不自然なエラーパターンが発生することは無く、広い範囲から加重平均化処理値を参照するために、従来のデジタルスチルカメラで用いられているベイヤー補間を用いた場合に比べ、位相ずれによる偽色の発生を低減させることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、撮像センサ１０６は、マイクロレンズ１０４ａの光軸を中心とした領域は輝度信号を、当該領域の周辺領域は補色信号または原色信号を、それぞれ得るような構成としたが、本発明はかかる例に限定されない。撮像センサは、上記実施形態とは逆に、例えばマイクロレンズ１０４ａの光軸を中心とした領域は補色信号または原色信号を、当該領域の周辺領域は輝度信号を、それぞれ得るような構成としてもよい。

また例えば、上記実施形態では、マイクロレンズアレイ１０４はマイクロレンズ１０４ａが格子状に配列された構成を有していたが、本発明はかかる例に限定されない。マイクロレンズアレイを構成するマイクロレンズは、格子状以外に、例えばハニカム状に配列されていてもよい。図１７は、マイクロレンズ１０４ａ´´がハニカム状に規則的に配列されたマイクロレンズアレイ１０４´´について示す説明図である。なお、図１７では、ハニカム構造を有するマイクロレンズアレイ１０４´´を構成する１つのマイクロレンズ１０４ａ´の形状は円状であるが、本発明ではハニカム構造を有するマイクロレンズアレイ構成する１つのマイクロレンズの形状はかかる例に限定されない。

本発明は、光検出素子及び撮像装置に適用可能であり、特に複数のレンズを備えるレンズアレイの透過光を検出する光検出素子及び当該光検出素子を用いた撮像装置に適用可能である。

１００ 撮像装置
１０２ 主レンズ
１０４、１０４´、１０４´´ マイクロレンズアレイ
１０４ａ、１０４ａ´、１０４ａ´´ マイクロレンズ
１０６ 撮像センサ
１０８ ＣＰＵ
１１０ メモリ
１１２アナログフロントエンド部及びＡ／Ｄ変換部
１１４ 画像入力部
１１６ カラー画素生成部
１１８ 画像再構成部
１２０ デジタルバックエンド部
１２２ 画像圧縮部
１２４ メモリカードドライバ
１２６ 表示画像生成部
１２８ 表示ドライバ
１３０ タイミングジェネレータ
１３２ モータドライバ
１３４ フォーカスレンズモータ

Claims (4)

1. 単一平面上に設けられる複数のレンズが規則的に配列されたレンズアレイと、
   前記レンズアレイの各レンズからの透過光の照射範囲に対応して単一平面上に設けられる複数の画素からなる光電変換領域を複数備える光電変換部と、
   を備え、
   各前記光電変換領域は、前記レンズの光軸を中心に設けられる第１領域と、前記第１領域の周辺に設けられる第２領域とで、異なる分光感度特性を有することを特徴とする、光検出素子。
2. 前記第１領域は輝度信号に相当する分光感度特性を有し、前記第２領域は色信号に相当する分光感度特性を有することを特徴とする、請求項１に記載の光検出素子。
3. 各前記光電変換領域は、前記画素の分光特性の配列パターンが全て同一であることを特徴とする、請求項１又は２に記載の光検出素子。
4. 前記第２領域は、前記レンズアレイの各レンズからの透過光の照射範囲に含まれるように設けられることを特徴とする、請求項１〜３に記載の光検出素子。
   

Images