JP6491539B2 - 撮像装置及びその制御方法、システムならびにプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法、システムならびにプログラムに関する。

従来、１つのマイクロレンズに対して複数の光電変換領域を有する撮像素子を用いて瞳分割を行い、得られた視差画像のずれ量をもとにデフォーカスの量とずれの方向を検出する位相差検出方式の焦点検出方法が知られている。撮像素子が１つのマイクロレンズに対して複数の光電変換領域を配置した構成を有する場合、それらの光電変換領域の出力信号を加算することにより撮像信号を得ることができる。このため、焦点検出用の用途に用いられる焦点検出画素が撮像信号を出力する撮像画素の機能を兼ねることができる。

このような技術は、一眼レフカメラに採用された場合、瞳距離の異なる様々なレンズ（撮像光学系）がカメラボディに装着されることが想定されるので、様々な瞳距離の撮影光学系に対応できる必要がある。撮像光学系の光軸中心に配置された光電変換領域では、瞳距離が長い撮像光学系と短い撮像光学系で大きな特性の違いは生じない。しかし、像高が高い位置に対応する光電変換領域では、瞳距離が長い撮像光学系と短い撮像光学系との使用において主光線が入射する入射角が異なる。即ち、入射角に依存して主光線が光電変換部に照射される位置が変化する。このような問題に対処するために、特許文献１では、１つのマイクロレンズについて２つの光電変換領域の境界部の位置が異なる、複数種類の画素を配置して、装着した撮像光学系に適した画素のみを用いて焦点検出を行う。

ところで、特許文献２には、１つのマイクロレンズに対して複数の光電変換領域を配置して得られた複数の視差画像を用いて、所定の被写界深度を有する画像を再構成する技術が開示されている。

特許第４９３５５４４号公報 特開２０１４−６４２１３号公報

特許文献２に開示された画像を再構成する技術では、特許文献１のようにマイクロレンズに対する光電変換領域の境界部の位置が異なる撮像素子を用いることは考慮されていなかった。

本発明は、上述のような状況に鑑みてなされたものである。その目的は、マイクロレンズについて光電変換領域の分割態様を異ならせた撮像素子を用いる場合に、被写界深度を変更した画像を再構成することが可能な撮像装置及びその制御装置、システムならびにプログラムを提供することである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、１つのマイクロレンズについて所定の分割方法で分割された複数の光電変換領域が配置された単位画素を複数配列して構成された撮像素子であって、撮像光学系の異なる瞳領域を通過する光束を複数の光電変換領域のそれぞれが受光して、入射した光束の角度と強度の情報を有する信号を出力するように構成された撮像素子と、入射した光束の角度と強度の情報を有する信号に基づいて、仮想的な焦点面における画像を再構成する再構成手段と、を有し、撮像素子は、互いに異なる複数の分割方法で分割された複数の光電変換領域を有する複数の単位画素を備え、再構成手段は、それぞれ分割方法の異なる単位画素のグループごとに、受光して得られた信号に基づいてそれぞれ画像を再構成し、再構成された画像を合成して、出力するための画像を再構成する、ことを特徴とする。

本発明によれば、マイクロレンズについて光電変換領域の分割態様を異ならせた撮像素子を用いる場合に、被写界深度を変更した画像を再構成することが可能な撮像装置及びその制御装置、システムならびにプログラムを提供できる。

リフォーカス処理の一連の動作を示すフローチャート 本実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態に係る撮像素子の画素構造を示す断面図及び正面図 本実施形態に係る撮像素子に入射する光線の向きと光電変換部の境界位置を説明する図 本実施形態に係る光電変換部の瞳強度分布を模式的に示す図 本実施形態に係る主光線の入射角と瞳の形状の関係を説明する図 実施形態１に係る撮像素子における画素の配置を説明する図 本実施形態に係る光電変換部の境界位置と瞳の関係を説明する図 実施形態２に係るリフォーカス処理を行う画像処理装置の一例としてのディスプレイの機能構成例を示すブロック図 実施形態３に係る撮像素子における画素の配置を説明する図 像高が高い位置にある場合において主光線が光電変換部に入射する様子を説明する図 リフォーカス処理を説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、１つのマイクロレンズに複数の光電変換領域を対応させた撮像素子によって視差画像を取得可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、このような撮像素子を用いて視差画像を取得可能な任意の電子機器にも適用可能である。これらの電子機器には、パーソナルコンピュータや携帯電話機等の情報端末のほか、車載機器、医療用機器又は監視用撮像装置などが含まれてよい。

（デジタルカメラ２の構成）
図２は、本実施形態の撮像装置の一例としてのデジタルカメラ２の機能構成例を示すブロック図である。なお、図２に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現され得る。

撮像光学系２００は、フォーカシングレンズを含むレンズ群を含む。撮像素子２０１は、例えばＣＭＯＳイメージセンサを含み、図３を参照して後述する画素構成を有する。１つのマイクロレンズについて例えば２つの光電変換部（副画素或いは光電変換部ともいう場合がある）が配置された単位画素を複数配列した構成を有する。この複数の単位画素において、一方の光電変換部の出力で構成される像（Ａ像）と、他方の光電変換部の出力から構成される像（Ｂ像）とは視差を有する。

画素内副画素加算部２０２は、共通するマイクロレンズの光電変換部から出力される信号（即ちＡ像用の信号とＢ像用の信号）を加算してマイクロレンズの個数を画素数とする画素信号を生成する。なお、撮像素子２０１から出力された信号を各マイクロレンズごとに取り出して加算して生成した画素信号は、マイクロレンズを用いない撮像素子で撮像された撮像信号と同様の画素信号となる。画素内副画素加算部２０２は、生成した画素信号を信号処理部２０３に出力する。

信号処理部２０３は、マイクロレンズの個数を画素数とする画素信号に、例えばガンマ補正や空間フィルタ等の所定の画像処理を適用して画像データとして生成する。

画像記録部２０４は、メモリカード等の不揮発性の記録媒体に、信号処理部２０３の出力を画像ファイルとして記録する。また、ＲＡＷ画像記録部２０５は、メモリカード等の不揮発性の記録媒体に、撮像素子２０１から出力された信号をＲＡＷ画像として記録する。このとき、ＲＡＷ画像記録部２０５は、撮像素子２０１から出力された信号に加え、撮像光学系２００の絞りやフォーカシングレンズなどの状態を示す情報を同時に記録する。これらの情報はリフォーカス処理に用いられる。

焦点検出部２０６は、撮像素子２０１から出力された信号に基づいてデフォーカス量を算出して焦点検出処理を行う。撮像素子２０１から出力された信号は焦点検出部２０６に全て入力されるが、焦点検出部２０６は、撮像光学系の瞳距離に応じて、後述する境界線の異なる光電変換部の組（グループ）のうち、どの光電変換部の組の信号を用いるかを選択もしくは両方使用する。なお、視差を有する画像を用いて焦点検出を行う方法には、例えば像面位相差検出方式などの公知の方法を用いることができる。

制御部２０７は、例えばＣＰＵあるいはＭＰＵを含み、不図示のＲＯＭに格納されたプログラムを不図示のＲＡＭの作業エリアに展開し、実行することによりデジタルカメラ２の全体を制御する。

なお、本実施形態では説明を簡単にするために白黒の撮像素子を一例として説明するが、本実施形態は、ベイヤ配列を有する撮像素子や、１画素を３層に積層したカラーフィルタごとに信号を出力する撮像素子に対しても適用可能である。

（撮像素子２０１の構成）
本実施形態に用いる撮像素子２０１の画素構造を、図３を参照して説明する。図３（ａ）は画素の断面図、図３（ｂ）は正面図である。３０１はマイクロレンズ、３０２は配線層、３０３〜３０６は光電変換部である。

光電変換部３０３と３０４とがマイクロレンズ３０１に対して配置されて１つの単位画素を構成し、光電変換部３０５と３０６とがマイクロレンズ３０２に対して配置されて別の単位画素を構成する。このような構造により、光電変換部３０３と３０４は、撮像光学系２００の異なる瞳領域を通過した光束を光電変換する。従って、光電変換部３０３と３０４の出力する信号は視差を有する。光電変換部３０３と３０４から出力された信号に基づいてそれぞれＡ像とＢ像を作成して、その像の位相差からデフォーカス量とデフォーカス方向を検出することができる。

光電変換部３０３と３０４の組に対して、光電変換部３０５と３０６の組は光電変換部の境界線の位置が異なる。即ち、図３（ａ）では一点鎖線は光電変換部の中心の位置を表わし、光電変換部３０３と３０４の境界と一致する。一方、光電変換部３０５と３０６の境界の位置（波線で表わす）は光電変換部の中心の位置からずれた位置になるように構成されている。このように、本実施形態に係る撮像素子２０１は、光電変換部３０３と３０４の組と光電変換部３０５と３０６の組の２種類の画素構造が混在する構成を有する。

撮像素子の中央の光軸中心付近では、例えば光電変換部３０３と３０４の組で示すように、マイクロレンズの中心が光電変換部の中心と一致するように構成されている。しかし、像高が高くなるにつれて、撮像素子の内側（光軸中心側）に少しずれるように、画素ピッチに対してわずかに小さいピッチとなっている。このようにすることにより、像高が高くなっても主光線を画素中心に入射させることができるようになる。光電変換部３０３と３０４の組では、瞳距離が長い撮像光学系を使用した場合に主光線の入射位置のバランスがよくなるようにマイクロレンズ中心が偏心している。

これに対して、光電変換部３０５と３０６の組では、瞳距離が短い撮像光学系を使用した場合に主光線の入射位置のバランスがとれるように構成されている。光電変換部３０５と３０６の組は、撮像素子の中心部においては境界が中央であり、像高が高くなるにつれて境界が外側に（光軸から離れる方向に）ずれていくように構成されている。

本実施形態では、瞳距離が短い撮像光学系用と長い撮像光学系用の２種類の単位画素を有する例を説明するが、例えば右側に偏心したもの、偏心していないもの、逆（左側）に偏心したものの３種類を有するようにして、焦点検出に適した画素を像高ごとに選択してもよい。また、単位画素の種類は３種類より多くても良い。

（撮像素子２０１の画素配列と画素の感度）
また、図７には、撮像素子２０１の２次元的な画素配列において、上述した光電変換部の組（即ち単位画素）がグループを形成して配列される例を模式的に示している。光電変換部３０３と３０４の組（図７の例ではグループ１と表記）が配置された行と、光電変換部３０５と３０６の組（図７の例ではグループ２と表記）が配置された行が予め定めた数ごと（ここでは交互）に配置される。

なお、構造の異なる画素が交互に配置されているが、一対の組の光電変換部の信号を加算した場合の出力の特性は同じ特性になるため、撮像信号として見ると同じ特性の画素が配置されていることになる。

さらに、図５は本実施形態の光電変換部の瞳強度分布を模式的に示している。図５の縦軸は撮像素子の感度を、横軸は光線の入射角度をそれぞれ示しており、入射角が大きくなるほど感度が低下する。

曲線５０１は光電変換部３０３の特性、曲線５０２は光電変換部３０４の特性を示し、曲線５０３は光電変換部３０３と３０４の信号を加算した場合の特性を示す。光電変換部３０３と３０４では最も感度の良い入射角がそれぞれ左右にずれている。また、中央付近はクロストーク特性を示しており、両方の画素に感度が存在する部分がある。曲線５０４は、光電変換部３０５の特性、曲線５０５は光電変換部３０６の特性を示している。光電変換部３０５と３０６の組はクロストーク位置が中心からずれており、感度の中心の高さも異なる。しかし、光電変換部３０５と３０６を加算した信号は５０３の曲線となる。

（瞳距離の異なる撮像光学系と光電変換部の境界の位置の関係）
まず、主光線の入射角と瞳の形状の関係を、図６を参照して説明する。図６（ａ）は撮像光学系及び撮像素子上に入射する光線を示す断面図である。６０１は被写体側レンズ、６０２は絞り、６０３は像面側レンズを示している。６０５は撮像面である。また、ｘの位置は光軸中心であり、ｙの位置は像高が高い位置を表わす。図６（ａ）で一点鎖線で表す主光線６０４は、ｙの位置における主光線を示している。通過する光束は、被写体側レンズ６０１と像面側レンズ６０３の枠の部分により制限され、像高が高い場合にその影響が表れる。図６（ａ）から理解されるように、撮像光学系と撮像素子の間の距離が短いほど、主光線６０４の入射角の傾きが大きくなる。

図６（ｂ）の下側のｘの部分は光軸中心ｘから見た各レンズ及び絞りの枠の形状を示している。即ち、ｘの部分では、被写体側レンズ６０１による枠、絞り６０２による枠、像面側レンズ６０３による枠が同心円状にならぶ。このように、絞り６０２による枠が支配的となり瞳の形状が決定される。

一方、図６（ｂ）の上側における、像高が高い位置ｙから見た枠の形状では、被写体側レンズ６０１による枠、絞り６０２による枠、像面側レンズ６０３による枠がそれぞれ光束を部分的に遮って図６（ｂ）のハッチング部分のような形状となる。

さらに、主光線の入射角及びケラレ形状の影響を、図４と図８を参照して説明する。図４（ａ）の４０１と（ｂ）の４０２はともに同じ像高位置における主光線の入射角を示しており、入射角が主光線４０１となる撮像光学系と比較すると、入射角が主光線４０２となる撮像光学系では、瞳距離が短く入射角の傾きが大きくなる。

マイクロレンズ３０７から光電変換部３０５及び３０６までの距離があるため、入射角の影響で主光線が光電変換部にあたる位置が異なる。また、上線及び下線が光電変換部にあたる位置も異なる。

光電変換部３０５及び３０６の組では、瞳距離の長い撮像光学系を使用する場合は主光線４０１のあたる位置が光電変換部の中心付近となって境界線からずれている。しかし、瞳距離の短い撮像光学系を使用する場合は、主光線４０２に対して光束をバランス良く分離することができる。

また、図８（ａ）は光電変換部３０３と３０４に対して瞳のケラレ形状を投影したものである。光電変換部３０３は十分に光束を受光しているのに対して、光電変換部３０４は十分に光束を受光できていない。それに対して図８（ｂ）は同じケラレ形状だが光電変換部３０５と３０６はバランスよく光束を受光することができる。

（入射光と、光電変換部の境界の位置の異なるマイクロレンズの関係）
図１１を参照して、像高が高い位置にある場合に光電変換部３０３、３０４及び光電変換部３０５、３０６に対して主光線が入射する様子を説明する。

図１１（ａ）の１１０１及び１１０２はそれぞれ光電変換部３０５及び３０６に入射する主光線を示しており、同様に図１１（ｂ）の１１０３及び１１０４は光電変換部３０３及び３０４に入射する主光線を示している。図１１（ａ）と図１１（ｂ）は入射する光線は同じ角度であり、画素の境界線のみが異なる。即ち、光電変換部３０５と光電変換部３０６との境界線は、光電変換部３０３と光電変換部３０４との境界線より外側（光軸から離れる方向）になるように構成されている。特に光電変換部３０４に入射する光が少ないため、主光線１１０４の入射角が主光線１１０２より傾いている。このように光電変換部の境界位置が異なることにより画素に入射する主光線の角度が異なる。

後述するリフォーカス処理では、光線の入射角の情報を利用するため、光電変換部３０３、３０４の組と光電変換部３０５、３０６の組から出力された信号は、別々に（即ちグループごとに区別して）計算される。また、リフォーカス処理の結果、画素値として再構成して加算したときに瞳の形状が再構成前の加算と同等にならないとボケ形状が不自然になるため、光線の計算及び再構成は同じグループの光電変換部の組から出力された信号を用いて行う。

（リフォーカス処理）
次に、図１２を参照して、本実施形態に係るリフォーカス処理について説明する。

図１２には、光電変換部３０５、３０６の組に入射する主光線と、リフォーカス処理によって再構成される仮想的な焦点面の仮想的なマイクロレンズを示している。

主光線１１０１、１１０２はマイクロレンズ１２０５に入射した光線を示し、同様に主光線１２０１、１２０２はマイクロレンズ１２０６に入射する光線を示している。また、仮想焦点面距離１２０９はリフォーカス量として設定された、実際の焦点面から仮想的な焦点面までの距離を示す。リフォーカス処理は、マイクロレンズ１２０５、１２０６等で実際に得られた信号をもとに、仮想的な焦点面上に想定されるマイクロレンズ(例えばマイクロレンズ１２０７、１２０８）から出力される信号を再構成する処理である。

仮想焦点面距離１２０９を離れた仮想的な焦点面上において、主光線１１０１と１２０２が入射する仮想的なマイクロレンズが１２０７である。実焦点面では、主光線１１０１と１２０２は異なるマイクロレンズに入射している光線であり、仮想的なマイクロレンズ１２０７の位置も実焦点面の位置と異なる。換言すれば、仮想的なマイクロレンズ１２０７の位置は、主光線１１０１が実焦点面上で入射するマイクロレンズ１２０５の位置からシフトした位置になる）。同様に仮想的なマイクロレンズ１２０８に入射するのは主光線１２０１と１２０４である。このように、実焦点面上のそれぞれの光電変換部に入射する光線の角度情報（およびその光線の強度）を撮像光学系の特性を示す情報と絞りの状態から演算することにより、焦点位置をずらした像を再構成することができる。

図１２では、撮像素子２０１における光電変換部３０５、３０６の組を配置した行を例に説明したが、同様に光電変換部３０３、３０４の組についてもリフォーカス再構成を行う。本実施形態では、光電変換部３０５、３０６の組と光電変換部３０３、３０４の組をグループごとにリフォーカス処理して仮想的な焦点面の像を再構成し、得られた像を超解像合成して最終画像を作成する。なお、本実施形態の超解像合成は例えば超解像技術などの公知の方法を用いることができるため、処理の詳細は省略する。光電変換部３０５、３０６の組と光電変換部３０３、３０４の組では、同一のリフォーカス量にした結果、仮想画素の位置が微妙にずれるため超解像技術により等間隔ピッチの像を作成することができる。

なお、本実施形態では制御部２０７がリフォーカス処理を行うものとして説明する。しかし、ＲＡＷ画像記録部２０５に記録されたＲＡＷ画像データを外部に読み出してデジタルカメラ２とは別の画像処理装置（例えばパーソナルコンピュータ）の制御部によってリフォーカス処理を行うものであってもよい。

（リフォーカス処理に係る一連の動作）
本実施形態に係るリフォーカス処理について、図１に示すフローチャートを参照して説明する。なお、例えば不図示の表示部に撮影した画像を表示する指示があった場合に本処理が開始される。本リフォーカス処理に係る一連の動作は、制御部２０７が不図示のＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開して実行することにより実現され、制御部２０７以外の各部によって実行される場合は、制御部２０７の指示に応じて実行される。

Ｓ１０１において、制御部２０７は、リフォーカス量の設定を行う。より具体的には、制御部２０７は、ＧＵＩ（グラフィカルユーザーインターフェース）等でユーザが指定したリフォーカス量を取得する。なお、リフォーカスした画像が不自然にならない範囲は１つのマイクロレンズ内の光電変換部の個数すなわち撮像光学系の瞳に対する光電変換部の瞳の大きさに依存する。本実施形態のように１つのマイクロレンズに２つの光電変換部を有する構成においても、境界線と主光線がずれると一方の瞳が大きくなってしまい、リフォーカス可能範囲が狭くなってしまう。このような場合、本実施形態では２種類の画素構成のうちリフォーカス可能範囲が狭いほうに合わせてリフォーカス量（即ち再構成で得られる被写界深度）を制限する。但し、リフォーカス量の制限はＳ１０２において算出する瞳ケラレ等に基づき、Ｓ１０２において別途設定されてよい。

Ｓ１０２において、制御部２０７は、ＲＡＷ画像記録部２０５からＲＡＷ画像を読み込んで、撮像素子２０１の全光電変換部の出力に加え、装着されている撮像光学系の特性を示す情報、及び、絞りやフォーカシングステートなどの状態情報を取得する。制御部２０７は、取得した情報に基づいて、像高ごとの瞳ケラレや光線の入射角度を算出する。

Ｓ１０３において、制御部２０７は、第一のグループの単位画素の信号を用いてリフォーカス再構成を行う。第一のグループに対する処理は光電変換部３０３、３０４の組について図１２で説明した光線の計算を行い、画素位置と画素値を計算する。また、Ｓ１０４において、制御部２０７は、第二のグループの単位画素の信号を用いてリフォーカス再構成を行う。第二のグループに対するリフォーカス再構成は光電変換部３０５、３０６についてＳ１０３と同様の処理を行う。

Ｓ１０５において、制御部２０７は、Ｓ１０３とＳ１０４で得られた画像を超解像合成して、いわゆる解像度補間を行った１枚の画像を生成する。即ち、図７の例では、Ｓ１０３及びＳ１０４で生成される再構成画像の垂直方向の画素数はマイクロレンズ数に対して半分となるが、本処理では垂直方向の画素数を補った再構成画像を生成する。Ｓ１０６において、制御部２０７は、１０５において生成した画像を不図示の表示部に表示する。

Ｓ１０７において、制御部２０７は処理を終了するか、再度リフォーカス処理を行うかを判定し、再びリフォーカス処理を行うと判定した場合は処理をＳ１０１に戻し、処理を終了すると判定した場合は本一連の動作を終了する。

なお、本実施形態では１つのマイクロレンズに対して２つの光電変換部を持つ構成を例に説明したが、より多くの光電変換部を備える場合にも同様にリフォーカス処理を行うことができる。即ち、光電変換部の構成が２種類より多い場合であっても、単位画素のグループごとにＳ１０３に示した再構成を行えば、より多くの光電変換部を備えた構成を有する撮像素子に本発明を適用できる。

さらに、１つのマイクロレンズに対応する光電変換部の境界の位置は、動的に変更できるものであってもよい。例えば、１つのマイクロレンズに６×６の光電変換部を有する場合、２つの列と４つの列で構成する２つの光電変換部や、３列同士で構成する光電変換部に動的に制御して、上述した光線の角度情報の取得及びリフォーカス処理を行ってもよい。

以上説明したように、本実施形態では１つのマイクロレンズに対して２つの光電変換部（副画素）を持たせ、かつ当該光電変換部の境界線の位置が異なる２種類の組ごとに入射する光線を記録するようにした。そして、記録した光線に対して２種類の画素構成ごとにリフォーカス合成を行い、２つのリフォーカス画像を合成するようにした。このようにすることにより、マイクロレンズについて光電変換部の分割態様を異ならせた撮像素子を用いる場合に、被写界深度を変更した画像を再構成することが可能になる。

（実施形態２）
次に、図９を参照して、本発明に係る第２の実施形態について説明する。実施形態１では、撮像装置の制御部２０７によってリフォーカス処理を行う場合を例に説明した。これに対して、本実施形態では、デジタルカメラ２とは異なる外部の画像処理装置（例えばディスプレイ９）のハードウェアを用いる場合について説明する。なお、本実施形態の画像処理装置は実施形態１に係るデジタルカメラ２と構成は異なるが、実行するリフォーカス処理に係る一連のステップは実施形態１で説明したステップと同様である。

図９は、ディスプレイ９の機能構成例を模式的に示すブロック図である。ＲＡＷメモリ９００は、挿抜可能なメモリカード等の不揮発性メモリを含み、デジタルカメラ２で記録したＲＡＷ画像を格納する。メモリ読取部９０１は、ＲＡＷメモリ９００に格納されたＲＡＷ画像を読み取る。

撮像光学系情報取得部９０２は、ＲＡＷ画像から読み取った情報に基づいて撮像光学系の特性を示す情報と状態情報を取得する。即ち、撮像光学系情報取得部９０２は、像高ごとの瞳ケラレや光線の入射角度を計算する。

画素種別分離部９０４は、ＲＡＷ画像から読み取った画素の信号について、単位画素のグループ別に分離する。第１リフォーカス再構成部９０５は、画素種別分離部９０４で分離された第１のグループの単位画素から出力された信号に基づいてリフォーカス再構成を行う。また、第２リフォーカス再構成部９０６は、画素種別分離部９０４で分離された第２のグループの単位画素から出力された信号に基づいてリフォーカス処理を行う。即ち、第１リフォーカス再構成部９０５、及び第２リフォーカス再構成部９０６は、それぞれのグループに対して、それぞれ光電変換部に入射した主光線の入射角を求め、リフォーカス量に応じた仮想的な焦点面にマッピングする。

超解像合成部９０７は、第１リフォーカス再構成部９０５と第２リフォーカス再構成部９０６の出力に基づいて解像度補間を伴う合成を行う。信号処理部９０８は、合成された画像に対して所定の信号処理を行い、表示部９０９に処理後の画像を表示させる。制御部９０３はＣＰＵやＭＰＵを含み、ディスプレイ９の全体を制御する。操作部９１０はディスプレイ９に対するユーザ操作を取得して制御部９０３に送信する。

以上説明したように、本実施形態ではＲＡＷ画像を取得したハードウェアによってリフォーカス処理を実現するようにした。このようにすることにより、マイクロレンズについて光電変換部の分割態様を異ならせた撮像素子を用いる場合に、被写界深度を変更した画像を再構成することが可能であり、かつ、より高速に処理することが可能になる。

（実施形態３）
次に、本発明に係る実施形態３について説明する。実施形態１では、撮像素子２０１には、光電変換部の境界の異なる２種類の組を行ごとに配置する例に説明した。本実施形態では、実施形態１とは異なる画素構造及び画素配列を有する撮像素子を用いて本発明に係るリフォーカス処理を実行する場合について説明する。本実施形態に係る撮像装置は、撮像素子の画素構造及び画素配列以外は実施形態１と同一の構成であり、また、リフォーカス処理に係る一連の動作も特定の画素構造に係る処理以外は実施形態１で説明した処理と同様である。このため、実施形態１と共通する記載について説明を省略し、相違点について説明する。

図１０は、本実施形態に係る撮像素子の画素構造及び画素配列を示したものである。光電変換部３０３、３０４は実施形態１と同様に水平方向に光電変換部が２つ配置される構造であるが、光電変換部１００１、１００２は垂直方向に２つ配置された構造である。即ち、電変換部３０３、３０４の光電変換部を分割する境界の向きと、光電変換部１００１、１００２の光電変換部を分割する境界の向きとは直交する関係にある。

このような画素配列においても実施形態１と同様にリフォーカス処理が可能である。即ち、制御部２０７は、光電変換部３０３、３０４のグループと光電変換部１００１、１００２のグループの出力を用いてリフォーカス処理をそれぞれ行って仮想的な焦点面の像を再構成し、得られた像を超解像合成して最終画像を作成する。より具体的には、リフォーカス処理における一連の動作において、制御部２０７は、Ｓ１０１〜Ｓ１０７の処理を行うが、Ｓ１０４では光電変換部１００１、１００２について図１２で説明した光線の計算を行って画素位置と画素値を計算する。

なお、上述した例では、電変換部３０３、３０４の光電変換部を分割する境界の向きと、光電変換部１００１、１００２の光電変換部を分割する境界の向きとは直交するものとして説明したがこれに限らない。即ち、電変換部３０３、３０４の光電変換部を分割する境界の向きと、光電変換部１００１、１００２の光電変換部を分割する境界の向きとが互いに交差する関係にあってもよい。このようにしても、視差を有する方向が増加することに変わりがない。なお、光電変換部１００１、１００２は、光電変換部３０３、３０４に対して画素密度が異なる配列となっているが、同様の割合で配列されるように構成されてもよい。

以上説明したように本実施形態では、光電変換領域を分割する方向を異ならせた複数の画素の種別で撮像素子の画素配列を構成するようにした。このように光電変換領域を分割する方向を異ならせることにより、撮像素子の構成において１つのマイクロレンズについて光電変換部の分割数を増加させることなく、再構成画像を生成するうえでの視差数を増加させることができる。また、光電変換部を分割する方向を異ならせることにより特定の被写体においての焦点検出能力を向上させることもできる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００…撮像光学系、２０１…撮像素子、２０７…制御部、９０４…画素種別分離部、９０５…第１リフォーカス再構成部、９０６…第２リフォーカス再構成部

Claims (9)

1. １つのマイクロレンズについて所定の分割方法で分割された複数の光電変換領域が配置された単位画素を複数配列して構成された撮像素子であって、撮像光学系の異なる瞳領域を通過する光束を前記複数の光電変換領域のそれぞれが受光して、入射した光束の角度と強度の情報を有する信号を出力するように構成された撮像素子と、
   前記入射した光束の角度と強度の情報を有する信号に基づいて、仮想的な焦点面における画像を再構成する再構成手段と、を有し、
   前記撮像素子は、互いに異なる複数の分割方法で分割された複数の光電変換領域を有する複数の単位画素を備え、
   前記再構成手段は、それぞれ分割方法の異なる単位画素のグループごとに、受光して得られた信号に基づいてそれぞれ画像を再構成し、前記再構成された画像を合成して、出力するための画像を再構成する
   ことを特徴とする撮像装置。
2. 前記撮像素子は、互いに異なる第１の分割方法又は第２の分割方法のいずれかで分割された２つの光電変換領域を有する前記複数の単位画素を備え、
   前記再構成手段は、前記第１の分割方法で分割された２つの光電変換領域を有する単位画素のグループと、前記第２の分割方法で分割された２つの光電変換領域を有する単位画素のグループのそれぞれについて画像を再構成し、前記再構成された画像を合成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記第１の分割方法で分割された２つの光電変換領域の境界が前記マイクロレンズの中央に対して偏心し、前記第２の分割方法で分割された２つの光電変換領域の境界が前記マイクロレンズの中央に対して偏心していないように構成される
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像素子は、前記第１の分割方法で分割された２つの光電変換領域の境界の向きと、前記第２の分割方法において分割された２つの光電変換領域の境界の向きとは、交差する関係にあるように構成される
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記撮像素子は、前記第１の分割方法で分割された２つの光電変換領域を有する単位画素と前記第２の分割方法で分割された２つの光電変換領域を有する単位画素とが、予め定められた数ごとに交互に配列されるように構成される
   ことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
6. 前記再構成手段は、前記分割された２つの光電変換領域にそれぞれ入射する光束の瞳の大きさに基づいて、再構成する深度の範囲を制限する
   ことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
7. １つのマイクロレンズについて所定の分割方法で分割された複数の光電変換領域が配置された単位画素を複数配列して構成された撮像素子であって、撮像光学系の異なる瞳領域を通過する光束を前記複数の光電変換領域のそれぞれが受光して、入射した光束の角度と強度の情報を有する信号を出力するように構成された撮像素子を有する撮像装置と、
   前記撮像装置の撮像素子から出力された前記入射した光束の角度と強度の情報を有する信号に基づいて、仮想的な焦点面における画像を再構成する再構成手段を有する画像処理装置と、を有するシステムであって、
   前記撮像素子は、互いに異なる複数の分割方法で分割された複数の光電変換領域を有する複数の単位画素を備え、
   前記再構成手段は、それぞれ分割方法の異なる単位画素のグループごとに、受光して得られた信号に基づいてそれぞれ画像を再構成し、前記再構成された画像を合成して、出力するための画像を再構成する
   ことを特徴とするシステム。
8. １つのマイクロレンズについて所定の分割方法で分割された複数の光電変換領域が配置された単位画素を複数配列して構成された撮像素子であって、撮像光学系の異なる瞳領域を通過する光束を前記複数の光電変換領域のそれぞれが受光して、入射した光束の角度と強度の情報を有する信号を出力するように構成された撮像素子を有する撮像装置の制御方法であって、
   再構成手段が、前記入射した光束の角度と強度の情報を有する信号に基づいて、仮想的な焦点面における画像を再構成する再構成工程を有し、
   前記撮像素子は、互いに異なる複数の分割方法で分割された複数の光電変換領域を有する複数の単位画素を備え、
   前記再構成工程では、それぞれ分割方法の異なる単位画素のグループごとに、受光して得られた信号に基づいてそれぞれ画像を再構成し、前記再構成された画像を合成して、出力するための画像を再構成する
   ことを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１から６のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images