JP4968527B2

JP4968527B2 - 撮像装置

Info

Publication number: JP4968527B2
Application number: JP2007181076A
Authority: JP
Inventors: 功市村; 健二山本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-07-10
Filing date: 2007-07-10
Publication date: 2012-07-04
Anticipated expiration: 2027-07-10
Also published as: JP2009021683A

Description

本発明は、マイクロレンズアレイを用いた撮像装置に関する。

従来より、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズと、マイクロレンズアレイと、受光素子と、画像処理部とから構成され、受光素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、リフォーカス動作による画像や、任意視点画像または３次元画像などを再構築できるようになっている。

また、撮像装置においてカラー画像を取得する場合、一般に、撮像素子上に画素単位でカラーフィルタが付加されるようになっている。このようなカラーフィルタとしては、例えば特許文献２に示されたように、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタが用いられることが多い。

国際公開第０６／０３９４８６号パンフレット米国特許第３９７１０６５号明細書 Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ところで、各色のカラーフィルタを通過して撮像素子により受光された光線により得られる撮像データでは、各色ごとにみると、画素データが空間的に間引かれた状態となっている。したがって、いわゆるデモザイク処理等の補間処理を各色ごとに実行し、画素データが空間的に満たされた状態の撮像データを全ての色について取得する必要がある。

ここで、上記した「Light Field Photography」と呼ばれる手法では、撮像データが、光の強度分布に加えてその光の進行方向の情報をも含んでいるため、各光線を分離して検出することが重要である。ところが、この「Light Field Photography」と呼ばれる手法において、上記のようにカラーフィルタを用いてカラー画像を取得しようとした場合、取得した撮像データに対して補間処理を施すと、その時点で隣接画素の画素データ間でクロストークが生じてしまう。そしてそのようなクロストークが生じると、撮像データに含まれる光線の進行方向の情報が失われてしまい、適切な画像の再構築が困難となってしまう。

本発明はかかる問題点に鑑みてなされたもので、その目的は、光の進行方向の情報を含むようにして撮像データを取得する場合において、カラー画像を取得する際にも適切な再構築画像を生成することが可能な撮像装置を提供することにある。

本発明の撮像装置は、以下の要件（Ａ）〜（Ｅ）を備えたものである。
（Ａ）撮像レンズ
（Ｂ）受光面上に画素単位でカラーフィルタを有し、受光した光に基づいて複数色の画素データからなる撮像データを生成する撮像素子
（Ｃ）撮像素子により生成された撮像データに対して画像処理を施す画像処理部
（Ｄ）撮像レンズと撮像素子との間で撮像レンズの結像面上に配置されると共に、撮像素子の複数の画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部
（Ｅ）上記画像処理部は、撮像データに対して画素データの並び替え処理を含む画像処理を施す際に、並び替え処理を行ったのちに、画素データの補間処理と、各マイクロレンズに対応する複数の画素により構成される積分領域単位で画素データの積分を実行する積分処理とを行う

本発明の撮像装置では、撮像レンズによる撮像対象物の像は、マイクロレンズアレイ部上に結像する。そしてマイクロレンズアレイ部への入射光線がこのマイクロレンズアレイ部を介して撮像素子へ到達し、光の進行方向の情報を含んだ撮像データが得られる。この際、撮像素子の受光面上には画素単位でカラーフィルタが設けられているため、撮像素子により得られた撮像データは、複数の色の画素データとなる。また、このようにして撮像素子により得られた撮像データは、画像処理部において画像処理が施される。ここで、上記画像処理部では、撮像データに対して画素データの並び替え処理を含む画像処理を施す際に、そのような並び替え処理を行ったのちに補間処理および積分処理がなされるため、これら補間処理や積分処理を実行する際における隣接画素の画素データ間でのクロストークの発生が回避される。

本発明の撮像装置によれば、撮像素子の受光面上に画素単位でカラーフィルタを設けるようにしたので、撮像素子により得られる光の進行方向の情報を含んだ撮像データを、複数の色の画素データとすることができる。また、画像処理部において撮像データに対して画素データの並び替え処理を含む画像処理を施す際に、そのような並び替え処理を行ったのちに補間処理および積分処理を行うようにしたので、これら補間処理や積分処理を実行する際における隣接画素の画素データ間でのクロストークの発生を回避し、撮像データに含まれる光線の進行方向の情報を維持することができる。よって、光の進行方向の情報を含むようにして撮像データを取得する場合において、カラー画像を取得する際にも適切な再構築画像を生成することが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。この撮像装置１は、撮像対象物２を撮像して撮像データＤoutを出力するものであり、撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１６と、制御部１７とから構成されている。

撮像レンズ１１は、撮像対象物を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。

マイクロレンズアレイ１２は、複数のマイクロレンズがマトリクス状に配列してなり、撮像レンズ１１の結像面上（図中の符号ｆ１は、撮像レンズ１１の焦点距離を表している）に配置されている。各マイクロレンズは、固体レンズや液晶レンズ、回折レンズなどにより構成される。

撮像素子１３は、マイクロレンズアレイ１２からの光を受光して撮像データＤ０を生成するものであり、マイクロレンズアレイ１２の結像面（図中の符号ｆ２は、マイクロレンズアレイ１２の焦点距離を表している）に配置されている。この撮像素子１３は、例えば、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元撮像素子により構成される。撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（後述する撮像画素１０）がマトリクス状に配置され、複数の撮像画素（例えば、ｍ×ｎ＝１２×１２＝１４４個の撮像画素）に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。この受光面上の撮像画素の個数は、例えば、Ｍ×Ｎ＝３７２０×２５２０＝９３７４４００個である。ここで、各マイクロレンズに対する撮像画素の割り当て個数ｍ，ｎは、後述する再構築画像の分解能（リフォーカス演算処理により再構築画像における奥行き方向の分解能）と関連しているため、これらｍ，ｎの値が大きくなるに従って、再構築画像の分解能が高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。したがって、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。

撮像素子１３の受光面上には、例えば図２に示したようなカラーフィルタ１５が撮像画素１０単位で配置されている（図１中には図示せず）。このカラーフィルタ１５は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタ（赤色カラーフィルタ１５Ｒ、緑色カラーフィルタ１５Ｇおよび青色カラーフィルタ１５Ｂ）がＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）である。このようなカラーフィルタ１５が撮像素子１３の受光面上に設けられていることにより、撮像素子１３により得られた撮像データＤ０が、カラーフィルタ１５の色に対応した複数の色（この場合、３原色）の画素データ（カラーの画素データ）となる。

撮像素子駆動部１６は、撮像素子１３を駆動してその受光動作の制御を行うものである。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して後述する所定の画像処理（並び替え処理を含む画像処理）を施し、画像処理後の撮像データＤoutを出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス（Refocusing）演算処理を行い、これにより任意の焦点に設定した画像（撮像データＤoutに基づく再構築画像）を合成できるようになっている。なお、この画像処理部１４の詳細構成およびリフォーカス演算処理動作の詳細については、後述する。

制御部１７は、撮像素子駆動部１６の駆動動作を制御すると共に、画像処理部１４の画像処理動作を制御信号Ｓoutにより制御するものである。なお、この制御部１７は、例えばマイクロコンピュータなどにより構成される。

次に、図３を参照して画像処理部１４の詳細構成について説明する。図３は、画像処理部１４の機能ブロック構成を表したものである。

画像処理部１４は、欠陥補正部１４１と、クランプ処理部１４２と、並び替え処理部１４３と、補間処理部１４４と、ノイズ低減部１４５と、輪郭強調部１４６と、ホワイトバランス調整部１４７と、ガンマ補正部１４８とから構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４２による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。

並び替え処理部１４３は、クランプ処理部１４２により供給される撮像データＤ１に対して所定の並び替え処理（各画素データの並び替え処理）を施すことにより、撮像データＤ２を生成するものである。このような並び替え処理を行うことにより、前述した任意焦点に設定された再構築画像の合成が可能となっている。なお、並び替え処理部１４３による並び替え処理動作の詳細については、後述する。

補間処理部１４４は、並び替え処理部１４３により供給される撮像データＤ２に対し、例えばデモザイク処理などの補間処理と、所定の積分処理とを施すことにより、撮像データＤ３を生成するものである。具体的には、各マイクロレンズに対応する複数の撮像画素により構成される各積分領域内で、赤色カラーフィルタ１５Ｒを通過して得られる赤色画素データの個数と、緑色カラーフィルタ１５Ｇを通過して得られる緑色画素データの個数と、青色カラーフィルタ１５Ｂを通過して得られる赤色画素データの個数とがそれぞれ等しくなるように、赤色画素データ、緑色画素データおよび青色画素データごとに補間処理を行う。これは、並び替え処理部１４３において撮像データ内の各画素データが並び替えられることにより、赤色画素データ、緑色画素データおよび青色画素データの配置がもとのＢａｙｅｒ配列のものとは変わってしまっているため、そのままの配列で以下説明する積分処理を行うと、誤った色情報となってしまう（色バランスが崩れてしまう）おそれがあるからである。なお、補間処理部１４４は、このような補間処理後の撮像データに対し、上記撮像領域単位で画素データの積分処理を実行する（積分処理を行う）ことにより、上記撮像データＤ３を生成するようになっている。補間処理部１４４による補間処理動作および積分処理動作の詳細については、後述する。

ノイズ低減部１４５は、補間処理部１４４により供給される撮像データＤ３に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される撮像データＤ３（赤色画素データ、緑色画素データおよび青色画素データの個数がそれぞれ等しくなるように設定された撮像データ）に対し、カラーフィルタ１５の通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。

ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。

次に、図１〜図１４を参照して、本実施の形態の撮像装置１の動作について詳細に説明する。

まず、図１〜図１１を参照して、撮像装置１の基本動作について説明する。

この撮像装置１では、撮像レンズ１１による撮像対象物２の像は、マイクロレンズアレイ１２上に結像する。そしてマイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、撮像素子駆動部１６による駆動動作に従って、撮像素子１３により撮像データＤ０が得られる。

次に、撮像素子１３で得られた撮像データは、画像処理部１４へ入力する。そして画像処理部１４では、制御部１７の制御に応じて、撮像データＤ０に対して所定の画像処理（例えば、前述のリフォーカス演算処理）が施され、これにより画像処理後の撮像データＤoutが、撮像装置１の出力データとして出力される。

ここで、図４〜図１１を参照して、画像処理部１４による画像処理動作（リフォーカス演算処理動作）の基本部分について説明する。

まず、図４に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で表される。

そしてこの場合、図５に示したように、撮像レンズ面１１０、撮像面１３０およびリフォーカス面１２０間の位置関係を設定（Ｆ’＝αＦとなるようにリフォーカス面１２０を設定）した場合、リフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_Ｆ’は、以下の（１）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_Ｆ’（ｓ，ｔ）は、上記検出強度Ｌ_Ｆ’をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。したがって、この（２）式からリフォーカス演算を行うことにより、画像処理後の撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

具体的には、画像処理部１４では、図３に示したように、撮像素子１３により供給される撮像データＤ０が、欠陥補正部１４１により欠陥補正され、クランプ処理部１４２によりクランプ処理が施されたのち、並び替え処理部１４３により画素データの並び替え処理がなされることより、撮像信号Ｄ１から撮像信号Ｄ２が生成される。

ここで、画像処理部１４によるリフォーカス演算処理により、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも奥側（遠く）に存在する撮像対象物（被写体）に対して焦点が設定された再構築画像を生成する際には、例えば図６に示したような光線が選択的に抽出されるような並び替え処理がなされる。すなわち、撮影時の設定焦点位置よりも奥側に存在する被写体は、撮像レンズ１１とマイクロレンズアレイ１２との間で結像することから、一旦集光した光線は再び離散し、その進行方向ごとに異なるマイクロレンズアレイを通過して撮像素子１３上に到達する。したがって、例えば図８に示したように、互いに異なる複数の積分領域１８からそのような光線に対応する画素データ１０が選択的に抽出されるように、各画素データの並び替え処理がなされる。

一方、画像処理部１４によるリフォーカス演算処理により、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも手前側（近く）に存在する撮像対象物（被写体）に対して焦点が設定された再構築画像を生成する際には、例えば図７に示したような光線が選択的に抽出されるような並び替え処理がなされる。すなわち、撮影時の設定焦点位置よりも手前側に存在する被写体は、マイクロレンズアレイ１２よりも後方で結像することから、撮像装置１内で結像することなく、進行方向ごとに異なるマイクロレンズアレイを通過して撮像素子１３上に到達する。したがって、例えば図９に示したように、互いに異なる複数の積分領域１８からそのような光線に対応する画素データ１０が選択的に抽出されるように、各画素データの並び替え処理がなされる。

次に、このような並び替え処理後の撮像データＤ２は、後述する補間処理部１４４により補間処理および所定の積分処理がなされることにより撮像データＤ３となり、この撮像データＤ３がさらにノイズ低減部１４５によりノイズ低減処理がなされ、輪郭強調部１４６により輪郭強調処理がなされ、ホワイトバランス調整部１４７へ供給される。これにより、色バランス調整がなされた撮像データが得られる。そしてホワイトバランス調整部１４７から供給された撮像データは、ガンマ補正部１４８によりガンマ補正がなされることにより、撮像データＤoutとして画像処理部１４から出力される。これにより、この撮像データＤoutに基づいて、任意の焦点（リフォーカス面１２０）に設定した画像が再構築される。

例えば、図１０は、撮影時の設定焦点位置（マイクロレンズアレイ１２の位置）よりも奥側（遠く）に存在する撮像対象物（被写体）に対して焦点が設定された再構築画像の一例を表したものであり、図１１は、撮影時の設定焦点位置よりも手前側（近く）に存在する撮像対象物（被写体）に対して焦点が設定された再構築画像の一例を表したものである。具体的には、図１０（Ａ）は、撮影時には中央の被写体２０に対して焦点設定した場合において、この焦点位置よりも奥側（遠く）に存在する被写体２Ａに対して焦点を設定した再構築画像であり、図１０（Ｂ）は、撮影時には中央の被写体２０に対して焦点設定した場合において、この焦点位置よりも手前側（近く）に存在する被写体２Ｂに対して焦点を設定した再構築画像である。図１０（Ａ），図１０（Ｂ）の再構築画像ではそれぞれ、実際に、焦点が奥側または手前側に再設定されていることが分かる。

次に、図１２〜図１４を参照して、本実施の形態の画像処理部１４による画像処理動作（リフォーカス演算処理動作）の特徴的部分について、比較例と比較しつつ詳細に説明する。ここで、図１２は、比較例に係る画像処理部１０４の機能ブロック構成を表したものであり、図１３は、この画像処理部１０４による画像処理動作（リフォーカス演算処理動作）を模式図で表したものである。また、図１４は、本実施の形態の画像処理部１４による画像処理動作（リフォーカス演算処理動作）を模式図で表したものである。

まず、図１２に示した比較例に係る画像処理部１０４では、クランプ処理部１４２と並び替え処理部１４３との間、すなわち、並び替え処理部１４３よりも前段に補間処理部（補間処理部１０６）が配置されている。言い換えると、クランプ処理部１４２から供給される撮像データ（撮像データＤ１０１）に対して画素データの補間処理が行われたのちに、撮像データ（撮像データＤ１０２）の並び替え処理が行われ、これにより並び替え処理後の撮像データＤ１０３が生成される。具体的には、この画像処理部１０４では、例えば図１３（Ａ）に示したような撮像データＤ１０１が補間処理部１０６へ供給されると、赤色画素データＤ１０１Ｒ、緑色画素データＤ１０１Ｇおよび青色画素データＤ１０１Ｂごとに、図中に示したような補間処理（例えば、デモザイク処理）がなされ、例えば図１３（Ｂ）に示したような撮像データ（図１３（Ｂ）は、補間処理後の赤色撮像データＤ１０２Ｒの例）が得られる。より具体的には、図１３（Ｃ）に示したように、色ごとの補間処理後の撮像データＤ１０２（赤色撮像データＤ１０２Ｒ、緑色撮像データＤ１０２Ｇおよび青色撮像データＤ１０２Ｂ）がそれぞれ生成される。そしてこの撮像データＤ１０２に対して前述の並び替え処理がなされ、撮像データＤ１０３が生成される。

ここで、撮像素子１３により得られる撮像データＤ０は、光の強度分布に加えてその光の進行方向の情報をも含んでいるため、各光線を分離して検出することが重要である。ところが、この比較例１０４に係る画像処理部１０６のように、撮像データの並び替え処理を行う前に補間処理を行うと、その時点で隣接する撮像画素１０の画素データ間でクロストークが生じてしまう。そしてそのようなクロストークが生じると、撮像データＤ０に含まれていた光線の進行方向の情報が失われてしまい、適切な画像の再構築が困難となってしまう。

これに対し、図３に示した本実施の形態の画像処理部１４では、並び替え処理部１４３とノイズ低減１４５との間、すなわち、並び替え処理部１４３よりも後段に補間処理部（補間処理部１４４）が配置されている。言い換えると、クランプ処理部１４２から供給される撮像データ（撮像データＤ１）に対して画素データの並び替え処理が行われたのちに、画素データの補間処理（および積分領域１８単位での画素データの積分処理）が行われ、これにより補間処理後の撮像データＤ３が生成される。具体的には、例えば図１４（Ａ）に示したような撮像データＤ１（赤色画素データＤ１Ｒ、緑色画素データＤ１Ｇおよび青色画素データＤ１Ｂから構成される）が並び替え処理部１４３へ供給されると、例えば図１４（Ｂ）に示したような並び替え処理後の撮像データＤ２（赤色画素データＤ２Ｒ、緑色画素データＤ２Ｇおよび青色画素データＤ２Ｂから構成される）が生成される。そしてこのような並び替え処理がなされた後の撮像データ（撮像データＤ２）に対して補間処理（例えば、デモザイク処理）がなされることにより、例えば図１４（Ｃ）に示したように、色ごとの補間処理後の撮像データＤ３（赤色撮像データＤ３Ｒ、緑色撮像データＤ３Ｇおよび青色撮像データＤ３Ｂ）がそれぞれ生成される。したがって、補間処理（デモザイク処理）や積分処理を実行する際に、隣接する撮像画素１０の画素データ間でのクロストークの発生が回避される。

このようにして本実施の形態では、撮像レンズ１１による撮像対象物２の像は、マイクロレンズアレイ１２上に結像する。そしてマイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３へ到達し、光の進行方向の情報を含んだ撮像データＤ０が得られる。この際、撮像素子１３の受光面上には撮像画素１０単位でカラーフィルタ１５が設けられているため、撮像素子１３により得られた撮像データＤ０は、複数の色の画素データとなる。また、このようにして撮像素子１３により得られた撮像データはＤ０、画像処理部１４において画像処理（リフォーカス演算処理）が施される。ここで、この画像処理部１４では、撮像データＤ０に対して画素データの並び替え処理を含む画像処理を施す際に、そのような並び替え処理を行ったのちに補間処理および積分処理がなされるため、これら補間処理や積分処理を実行する際に、隣接する撮像画素１０の画素データ間でのクロストークの発生が回避される。

以上のように本実施の形態では、撮像素子１３の受光面上に撮像画素１０単位でカラーフィルタ１５を設けるようにしたので、撮像素子１３により得られる光の進行方向の情報を含んだ撮像データＤ０を、複数の色の画素データとすることができる。また、画像処理部１４において撮像データＤ０に対して画素データの並び替え処理を含む画像処理（リフォーカス演算処理）を施す際に、そのような並び替え処理を行ったのちに補間処理および積分処理を行うようにしたので、これら補間処理や積分処理を実行する際に、隣接する撮像画素１０の画素データ間でのクロストークの発生を回避し、撮像データＤ０に含まれる光線の進行方向の情報を維持することができる。よって、光の進行方向の情報を含むようにして撮像データを取得する場合において、カラー画像を取得する際にも適切な再構築画像を生成することが可能となる。

なお、本実施の形態の画像処理部１４では、補間処理部１４４が並び替え処理部１４３とノイズ低減部１４５との間に配置されている場合について説明したが、この補間処理部１４４は、並び替え処理部１４３の後段からホワイトバランス調整部１４７の前段までの間のどの位置に設けてもよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

図１５は、本実施の形態に係る撮像装置に用いられる画像処理部（画像処理部１４Ａ）の機能ブロック構成を表すものである。この画像処理部１４Ａは、第１の実施の形態で説明した画像処理部１４において、補間処理部１４４およびホワイトバランス処理部１４７の代わりに、積分処理部１４４Ａおよびホワイトバランス処理部１４７Ａを設けるようにしたものである。

積分処理部１４４Ａは、並び替え処理部１４３から供給される撮像データＤ２に対し、積分領域１８内の各色の画素データ（赤色画素データＤ２Ｒ、緑色画素データＤ２Ｇおよび青色画素データＤ２Ｂ）の個数の比率に応じた色バランス調整を施した後、積分処理を行うことにより、撮像データＤ４を生成するものである。

具体的には、撮像データＤ２に対して第１の実施の形態で説明したような補間処理（例えば、デモザイク処理）は行わず、積分演算を実行する時点で、積分領域１８内の各色の画素データ（赤色画素データＤ２Ｒ、緑色画素データＤ２Ｇおよび青色画素データＤ２Ｂ）の個数の比率に応じた重み付けを行って係数に反映させ、色情報を復元するようにする。この際、並び替え処理後における積分領域１８内の各色の画素データの個数の比率は容易に把握できるため、この比率に応じて係数を調整し、再構築画像のホワイトバランス調整を行うようにする。

ホワイトバランス処理部１４７Ａは、その後、輪郭強調部１４６から供給される撮像データに対してホワイトバランス調整を行うことにより、撮像データＤ５を生成するものである。

以上のように本実施の形態においても、画像処理部１４Ａにおいて撮像データＤ０に対して画素データの並び替え処理を含む画像処理（リフォーカス演算処理）を施す際に、並び替え処理を行ったのちに補間処理および積分処理を行うようにしたので、第１の実施の形態と同様の作用により同様の効果を得ることができる。すなわち、光の進行方向の情報を含むようにして撮像データを取得する場合において、カラー画像を取得する際にも適切な再構築画像を生成することが可能となる。

具体的には、並び替え処理部１４３において並び替え処理を行ったのちに、積分処理部１４４Ａにおいて、積分領域１８内の各色の画素データ（赤色画素データＤ２Ｒ、緑色画素データＤ２Ｇおよび青色画素データＤ２Ｂ）の個数の比率に応じた積分を実行して色バランス調整を行うことにより、補間処理および積分処理を行うようにしたので、補間処理や積分処理を実行する際に隣接する撮像画素１０の画素データ間でのクロストークの発生を回避することができ、上記のような効果を得ることが可能となる。

以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、画像処理部１４，１４Ａにおいて、並び替え処理部１４３により並び替え処理を行ったのちに、ホワイトバランス調整部１４７，１４７Ａによりホワイトバランス調整を行う場合について説明したが、場合によっては並び替え処理を行う前に、所定のテスト画像を用いて撮像データのホワイトバランス調整を行うようにしてもよい。具体的には、テスト画像を用いたマニュアルによるホワイトバランス調整を行う場合に対応するものである。このようなホワイトバランス調整を行うようにした場合、撮像データＤ０における画素データの配列はＲ：Ｇ：Ｂ＝１：２：１の比率により整然と並んでいることから、ホワイトバランス調整を容易に行うことができる。また、リフォーカス演算処理(並べ替え処理)には多少の時間を要するため、マニュアルによるホワイトバランス調整完了までの時間を短縮することも可能となる。

また、上記実施の形態では、撮像素子１３内の各撮像画素１０により得られる撮像データＤ０のうちの全ての受光領域内の画素データを用いて画像処理を行う場合について説明したが、撮像データの画像処理（特に、ホワイトバランス調整）を行う際に、撮像データＤ０のうち、撮像レンズ１１の開口絞り（図示せず）の形状に対応した受光領域内の画素データのみを用いるようにするのが好ましい。これは、通常、撮像レンズ１１の開口絞りの形状が円形状であることから、撮像素子１３により得られる撮像データＤ０は、例えば図１６に示したように、実際に受光に寄与するデータであり、各撮像画素１０の中心付近に位置する円形状の受光領域データ（有効受光領域データ）Ｄ０Ａと、実際には受光に寄与しないデータであり、各撮像画素１０の周辺部に位置する非受光領域データ（無効受光領域データ）Ｄ０Ｂとに分けることができるからである。具体的には、画像処理部１４，１４Ａにおいて、欠陥補正部１４１とクランプ処理部１４２との間に、撮像データＤ０のうちから受光領域データＤ０Ａのみを抽出すると共に非受光領域データＤ０Ｂを取り除く処理を行う領域抽出部（図示せず）を設けるようにすればよい。このように構成した場合、実際に受光に寄与するデータ（受光領域データＤ０Ａ）のみを用いてその後の画像処理（特にホワイトバランス調整）を行うことができるため、より自然なホワイトバランス調整等を行うことができ、より適切な再構築画像を生成することが可能となる。

また、上記実施の形態では、カラーフィルタの一例として、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を挙げて説明したが、例えば図１７に示したカラーフィルタ１５０のように、他の配列のカラーフィルタを用いるようにしてもよい。なお、このカラーフィルタ１５０は、黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）の４補色のカラーフィルタ（黄色カラーフィルタ１５Ｙ、マゼンダカラーフィルタ１５Ｍ、シアンカラーフィルタ１５Ｃおよび緑色カラーフィルタ１５Ｇ）がＹ：Ｍ：Ｃ：Ｇ＝１：１：１：１の比率で市松状に配置されたカラーフィルタ（補色フィルタ）である。

また、上記実施の形態では、撮像データ内の画素データの補間処理の一例としてデモザイク処理を挙げて説明したが、他の補間処理を行うようにしてもよい。

さらに、上記実施の形態では、画像処理部１４において行われる並び替え処理を含む画像処理の一例として、「Light Field Photography」を利用したリフォーカス演算処理について説明したが、そのような並び替え処理を含む画像処理としてはこれには限られず、例えば、焦点ぼかし処理や被写体深度調整処理などに対して適用するようにしてもよい。

本発明の第１の実施の形態に係る撮像装置の構成を表すブロック図である。図１に示したマイクロレンズアレイに適用されるカラーフィルタの構成例を表す平面図である。図１に示した画像処理部の詳細構成例を表す機能ブロック図である。画像処理部による画像処理の一例を説明するための模式斜視図である。画像処理部によるリフォーカス演算処理を説明するための模式断面図である。リフォーカス演算処理におけるリフォーカス面の設定位置の一例を表す模式断面図である。リフォーカス演算処理におけるリフォーカス面の設定位置の他の例を表す模式断面図である。図６に示したリフォーカス演算処理の際の並び替え処理の一例を表す模式平面図である。図７に示したリフォーカス演算処理の際の並び替え処理の他の例を表す模式平面図である。図６および図８に示したリフォーカス演算処理による得られる再合成画像の一例を表す写真である。図７および図９に示したリフォーカス演算処理による得られる再合成画像の一例を表す写真である。比較例に係る画像処理部の構成を表す機能ブロック図である。比較例に係る画像処理部によるリフォーカス演算処理について説明するための模式図である。図３に示した画像処理部によるリフォーカス演算処理の一例について説明するための模式図である。第２の実施の形態に係る撮像装置に用いられる画像処理部の構成例を表すブロック図である。撮像データにおける受光領域データおよび非受光領域データについて説明するための模式平面図である。本発明の変形例に係るカラーフィルタの構成を表す平面図である。

符号の説明

１…撮像装置、１０…撮像画素、１１…撮像レンズ、１１０…撮像レンズ面、１２…マイクロレンズアレイ、１２０，１２０Ａ，１２０Ｂ…リフォーカス面、１３…撮像素子、１３０…撮像面、１４，１４Ａ…画像処理部、１４１…欠陥補正部、１４２…クランプ処理部、１４３…並び替え処理部、１４４…補間処理部、１４４Ａ…積分処理部、１４５…ノイズ低減部、１４６…輪郭強調部、１４７，１４７Ａ…ホワイトバランス調整部、１４８…ガンマ補正部、１５，１５０，１５Ｒ，１５Ｇ，１５Ｂ，１５Ｃ，１５Ｍ…カラーフィルタ、１６…撮像素子駆動部、１７…制御部、１８…積分領域、２，２０，２Ａ，２Ｂ…撮像対象物（被写体）、ｆ１，ｆ２…焦点距離、Ｄ０，Ｄ１，Ｄ１Ｒ，Ｄ１Ｇ，Ｄ１Ｂ，Ｄ１０，Ｄ２，Ｄ２Ｒ，Ｄ２Ｇ，Ｄ２Ｂ，Ｄ３，Ｄ３Ｒ，Ｄ３Ｇ，Ｄ３Ｂ，Ｄ４，Ｄ５Ｄout…撮像データ、Ｄ０Ａ…受光領域データ、Ｄ０Ｂ…非受光領域データ、Ｓout…制御信号、Ｌ０…光軸、Ｌ１…光線。

Claims

撮像レンズと、
受光面上に画素単位でカラーフィルタを有し、受光した光に基づいて複数色の画素データからなる撮像データを生成する撮像素子と、
前記撮像素子により生成された撮像データに対して画像処理を施す画像処理部と、
前記撮像レンズと前記撮像素子との間で撮像レンズの結像面上に配置されると共に、前記撮像素子の複数の画素に対して１つのマイクロレンズを有するマイクロレンズアレイ部と
を備え、
前記画像処理部は、前記撮像データに対して前記画素データの並び替え処理を含む画像処理を施す際に、前記並び替え処理を行ったのちに、前記画素データの補間処理と、各マイクロレンズに対応する複数の画素により構成される積分領域単位で前記画素データの積分を実行する積分処理とを行う
ことを特徴とする撮像装置。
前記画像処理部は、前記並び替え処理を行ったのちに、前記補間処理であるデモザイク処理と、前記積分処理とを行う
ことを特徴とする請求項１に記載の撮像装置。
前記画像処理部は、前記並び替え処理を行ったのちに、前記積分領域内の各色の画素データの個数の比率に応じた積分を実行して色バランス調整を行うことにより、前記補間処理および前記積分処理を行う
ことを特徴とする請求項１に記載の撮像装置。
前記画像処理部は、前記並び替え処理を行う前に、所定のテスト画像を用いて前記撮像データのホワイトバランス調整を行う
ことを特徴とする請求項１に記載の撮像装置。
前記画像処理部は、前記撮像データのホワイトバランス調整を行う際に、撮像データのうちの前記撮像レンズの開口絞りの形状に対応した受光領域内の画素データのみを用いる
ことを特徴とする請求項１に記載の撮像装置。
前記カラーフィルタは、前記複数色として赤（Ｒ）、緑（Ｇ）および青（Ｂ）を有する原色フィルタである
ことを特徴とする請求項１に記載の撮像装置。
前記カラーフィルタは、前記複数色として黄（Ｙ）、マゼンダ（Ｍ）、シアン（Ｃ）および緑（Ｇ）を有する補色フィルタである
ことを特徴とする請求項１に記載の撮像装置。