JP6478520B2 - 画像処理装置及びその制御方法、撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は撮像装置において、被写体の光学像を撮像してライトフィールドデータを取得する技術に関するものである。

例えば、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることが可能である。このような被写体空間の３次元的な情報を得ることが可能なカメラ（撮像装置）はライトフィールドカメラと呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータ（ＬＦデータ）と呼ばれ、ＬＦデータの取得と撮影後の画像再構成処理によって、画像のピント位置変更や、撮影視点の変更、被写界深度の調節などのリフォーカスと呼ばれる画像処理が可能となる。

このようなライトフィールドカメラの分野においては、プレノプティク方式が広く知られている。プレノプティク方式とは、マイクロレンズアレイの下に、分割された撮像用光電変換素子（ＰＤ）が二次元状に配置されており、光学系の有するフォーカスレンズは、各マイクロレンズの射出瞳の役割を有する。このような構成の撮像装置において、各マイクロレンズの下に存在するＰＤでは被写体からの複数の光線情報を得られることが知られている。その光線情報を利用して、マイクロレンズの下に存在する画素群の同一画素位置のみで形成した二次元画像は、異なる画素位置のみで形成した二次元画像と視差を有している。このような視差を有した二次元画像同士の合成によって記録画像のフォーカス面を仮想的に移動させることができる。

上述したプレノプティクカメラによって撮像されたデータであるＬＦデータは、撮像素子のマイクロレンズの数をＮ、一つのマイクロレンズにて分割される画像の分割数をＭとすると、
（ＬＦデータの画素数）＝Ｎ×Ｍ
となる。なお、このようなＬＦデータに基づいて合成される最終出力画素データの数はマイクロレンズの数であるＮと同一の数となる。

このように、ＬＦデータはマイクロレンズ下の分割されたＰＤの数に応じて増加し、リフォーカス機能を有する撮像装置では、最終出力である出力画素データの数に対して、各種信号処理を行う際のデータ量が多くなり、処理負荷が増大する。更に撮像画素データを各種画像信号処理手段に取り込む際、大容量のデータ格納手段が必要となる。その結果、データ処理負荷増大に伴う消費電力増加、更に処理データ量増加に伴うデータ格納手段の容量増加によるコストアップが生じる。なお、データ量を削減する方法として、撮像素子において画素出力を１つのマイクロレンズに対応する光電変換素子で加算して読み出すことにより、処理するＬＦデータを削減する方法が考えられている。

このような課題に対して、特許文献１では被写体の存在する距離に応じて、リフォーカスを行う可能性があるかどうかを判定し、リフォーカスする可能性がある場合にはマイクロレンズ下の全画素の記録を行い、ない場合には加算記録を行う技術が開示されている。

特開２０１３−２４７５９０号公報

しかしながら、特許文献１のように特定の領域だけ全画素記録と加算記録を切り換えた場合、全画素記録している領域ではリフォーカスを行うことが可能ではあるが、加算記録している領域ではリフォーカスを行うことが出来ない。

このような状況において、全画素記録領域に対してリフォーカス処理を行った場合、全画素記録領域については適切にリフォーカスを行うことが可能であるが、加算記録領域に対しては適切にリフォーカスすることは難しい。つまり、加算記録された画像からは、より合焦に近い画像が得られたとしてもシャープな像を生成することは困難であるし、合焦から離れたとしても自然なボケを生成することも困難である。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、データ量の削減を図りつつも、画像全体に対して適切に仮想焦点面の移動が可能なデータを取得できる撮像装置を提供することである。

本発明に係わる画像処理装置は、複数の視差画像からなるデータ及び被写体の奥行き情報を取得する取得手段と、前記奥行き情報に基づいて、画像全体にわたって、前記データを構成する前記複数の視差画像の少なくとも一部を加算し、異なる視差画像の数を減らした新たなデータを生成する生成手段と、を備えることを特徴とする。

本発明によれば、データ量の削減を図りつつも、画像全体に対して適切に仮想焦点面の移動が可能なデータを取得できる撮像装置を提供できる。

本発明の第１の実施形態における撮像装置の構成を示すブロック図。 固体撮像素子の単位画素セルの分割画素を示した図。 単位画素セルにおける分割画素の加算単位を示した図。 画素の加算に応じて決定されるリフォーカス可能範囲を示す図。 分割画素を使用した測距方法について説明する図。 合焦面に対する各被写体のデフォーカス量を説明する図。 本発明の第２の実施形態における撮像装置の構成を示すブロック図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態における撮像装置１００の構成を示すブロック図である。図１において、１０１はフォーカスを調整するためのフォーカシングレンズを含む光学レンズ群、シャッター、絞り、レンズ制御部等で構成される光学系ユニットであり、不図示の駆動制御部の出力に基づいて駆動される。

固体撮像素子１０２は単位画素セルが２次元のマトリクス状に配列された固体撮像素子であり、光学系ユニット１０１に含まれるシャッターによって露光量の制御が行われる。光学系ユニット１０１によって結像された被写体像は光電変換され、読み出し制御時に、単位画素セル中に構成される分割ＰＤ（フォトダイオード、光電変換部）に蓄積された電荷をそれぞれ順次Ａ／Ｄ変換部１０３に出力する。このとき、固体撮像素子１０２は加算読み出し制御部１０８の出力に応じて撮像素子内の画素加算を切り替え、読み出しを行う。

ここで図２を用いて単位画素セルについて説明する。図２において、単位画素セルはマイクロレンズアレイに含まれる１つのマイクロレンズあたりに６×６の分割画素を有している。このような単位画素セルが二次元状にベイヤー配列で固体撮像素子上に配置されている。

各マイクロレンズの同一位置の分割画素のみで構成された二次元画像は、他の同一位置の分割画素のみで構成された二次元画像に対して視差を有する。つまり、図２の１Ａに対応する分割画素のみで構成された画像と２Ａに対応する分割画素のみで構成された画像は異なる視差を有する。つまり、６×６の分割画素からは合計３６（視差数）の異なる視差の画像を得ることができる。

一般的にライトフィールドカメラでは、これらの分割画素数に応じた異なる視差の画素を合成してリフォーカス画像を得ることとなる。簡単なリフォーカス画像を得るための原理として、図２の花の位置に視差を有さないように合成した場合には、花位置には合焦しており、葉の位置には視差を有している画像同士を加算して合成するためにボケた画像を得ることができる。また葉の位置に視差を有さないように合成した場合には、葉の位置に合焦しており、花の位置はボケた画像を得ることができる。

次に画素加算読み出しについて図３を用いて説明する。図３（ａ）、図３（ｂ）、図３（ｃ）は図２で説明を行った単位画素セルを示しており、太線は読み出しを行う単位である。図３（ａ）は、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆと１，２，３，４，５，６で表される各行列の座標について全ての分割画素を読みだす場合を示している。図３（ｂ）は、１Ａ，２Ａ，１Ｂ，２Ｂを１単位として、他の位置の画素も同様にし、単位画素セルを９分割するように加算して読み出す場合を示している。図３（ｃ）では１Ａ，２Ａ，３Ａ，１Ｂ，２Ｂ，３Ｂ，１Ｃ，２Ｃ，３Ｃを１単位として、他の位置の画素も同様にし、単位画素セルを４分割するように加算して読み出す場合を示している。このように読みだされた画素は、各マイクロレンズ下の同一の分割画素の位置で画像を形成し、図３（ａ）では３６個、図３（ｂ）では９個、図３（ｃ）では４個の視差画像を得ることができる。

このような加算読み出しを行う場合は、マイクロレンズの下に構成される分割画素の個数を水平画素Ｎ個×垂直画素Ｍ個とした場合に、ＮおよびＭが加算数の整数倍であることが望ましい。例えば、ＮおよびＭが１６の分割数である場合、水平および垂直の加算分割画素数は１，２，４，８の４種類に加え、全画素読み出しの１６画素であることが望ましい。このように構成することで、後段での処理が容易となる。なお、本実施形態は水平及び垂直の加算画素数を同一とするものではなく、例えば水平加算画素数と垂直加算画素数は個別に設定してもよい。

加算読み出しされた画素で得られた画像の被写界深度について図４を用いて説明する。図４（ａ）、図４（ｂ）、図４（ｃ） は、それぞれ図３（ａ）、図３（ｂ）、図３（ｃ）に対応している。図４（ａ）では、許容錯乱円径をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、図３（ａ）のように６×６に分割されて狭くなった瞳部分領域５０１の水平方向及び垂直方向の実行絞り値Ｆ０１はＦ０１＝６Ｆ（６は分割数）と暗くなる。各視差画像の実効的な被写界深度は±６Ｆδと６倍深くなり、合焦範囲が６倍に広がる。実効的な被写界深度±６Ｆδの範囲内では、各視差画像に合焦した被写体像が取得されている。ライトフィールドにおけるリフォーカス画像は各画素の合成によって得られる像であるため、各画素で構成される像は少なくとも合焦していることが望ましい。よってリフォーカス処理により、撮影後のデフォーカス量ｄは式（１）の範囲で仮想的に移動することが可能となる。

|ｄ|≦６Ｆδ …式（１）
許容錯乱円径δは、δ＝２ΔＸ（画素周期ΔＸ）のナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。

同様に図４（ｂ）では、６×６の分割画素を２×２の単位で画素加算することで、瞳部分領域は５０２となり、デフォーカス量ｄは式（２）の範囲で仮想的に移動することが可能となる。

|ｄ|≦３Ｆδ …式（２）
図４（ｃ）では、６×６の分割画素を３×３の単位で画素加算することで、瞳部分領域は５０３となり、デフォーカス量ｄは式（３）の範囲で仮想的に移動することが可能となる。

|ｄ|≦２Ｆδ …式（３）
このように視差画像を使用したリフォーカスのリフォーカス可能範囲は射出瞳を共有する分割画素数に応じて決定される。これは、固体撮像素子から加算読み出しを行うと、加算読み出しされた画素で得られた画像はデータ量の削減には有効であるが、加算後の被写界深度が加算前の被写界深度よりも浅くなっているためにリフォーカス可能な範囲が狭くなることを表している。

ここで、図１に戻って説明を続けると、Ａ／Ｄ変換部１０３は不図示のアナログ信号処理部でアナログ信号処理を行った上で固体撮像素子１０２から出力されるアナログ電気信号をデジタル電気信号（画素信号）に変換してキャプチャー部１０４に出力する。このアナログ信号処理部は、伝送路上のノイズを除去するＣＤＳ（相関二重サンプリング）回路や非線形増幅回路等である。キャプチャー部１０４は画素信号の有効期間および種別を判定し、１Ａ〜６Ｆの画素群もしくは１Ａ〜６Ｆの加算読み出しを行った画素群をＬＦデータ（ライトフィールドデータ）として被写体検出部１０５、表示用画素加算部１１０、外部記録装置１１３に所定のフォーマットで圧縮するなどして出力する。

被写体検出部１０５は、撮像された画素信号（ライトフィールドデータ内）に含まれる被写体を検出する回路であり、例えば顔が検出された場合に、リフォーカスを行う可能性がある被写体として座標情報を被写体測距部１０６に出力する。例えば、画素信号に被写体として３人の人物が存在していた場合は３つの被写体の座標情報を出力する。被写体の検出方法についてはパターンマッチングなど周知の方法が適用可能であり、検出方法は本実施形態に直接的な関係が無いため、説明を省略する。

なお、被写体検出部１０５には１つのマイクロレンズの下に存在する分割画素全てを加算して生成された画像を入力しても良いし、マイクロレンズの下の同一の位置の分割画素群、もしくは一部加算した分割画素群から得られた画像を入力しても良い。加算して生成された画像に基づいて検出を行う場合、明るくＳ／Ｎ比の優れた像を得ることが可能となるため低照度時の認識が可能となる。また分割画素群から得られた画像に基づいて検出を行うと、被写界深度が深い像を得ることが可能となるため、本来であればボケているはずの領域に存在する被写体の認識が可能となる。これら２つの方法は照度や加算して生成された像の被写界深度に基づいて切り替えてもよい。

被写体測距部１０６は、被写体検出部から出力される複数の被写体座標に基づいて、被写体までのデフォーカス量を算出し、加算画素数算出部１０７に出力する。デフォーカス量の算出方法について図５を用いて説明する。

図５で構成される撮像素子はひとつのＭＬの下に分割画素を有しており、ａ，ｂは図２で説明を行った単位画素の１Ａ、６Ｆとする。測距時には、ａおよびｂによって構成されるＡ像用およびＢ像用画素出力を、各々列方向（もしくは行方向）に組み合わせ、同色単位画素セル群の出力として、Ａ像及びＢ像を生成及びデータ化し、各々の対応点のずれをＳＡＤ演算によって求める。ＳＡＤ演算の結果は下記式（４）によって求められる。

Ｃ＝Σ|ＹＡn−ＹＢn| …式（４）
ＹＡｎ、ＹＢｎはＡ、Ｂ像用の画素セル群から得られる信号に基づいて算出された輝度信号であり、ｎはどの列のマイクロレンズかを示す。また、ＹＢnに対して対応画素をずらした際の値をプロットし、最も値の小さいずれ量Ｎが合焦位置である。

合焦のときには、撮影光学系が結像する位置がＰ７のＭＬ下のＰＤになるため、Ａ像用画素群とＢ像用画素群はほぼ一致する。この時、相関演算で求められるＡ像用画素群とＢ像用画素群の像ずれ量Ｎ（ａ）は０に近似できる。

後ピンのときには、撮影光学系が結像する位置として、Ａ像用画素がＰ５、Ｂ像用画素がＰ９のＭＬ下の画素になる。この時、相関演算により、Ａ像用画素群とＢ像用画素群の像ずれ量Ｎ（ｂ）が求められる。

前ピンのときには、撮影光学系が結像する位置として、Ａ像用画素がＰ９、Ｂ像用画素がＰ５のＭＬ下の画素になる。この時、相関演算により、Ａ像用画素群とＢ像用画素群の像ずれ量が、（ｂ）の後ピンの場合とは逆方向の像ずれ量Ｎ（ｃ）として求められる。

これは、合焦時にはＡ像用およびＢ像用画素群は同一の被写体を見ているが、後ピンおよび前ピン時にはＡ像用およびＢ像用画素群は像ずれ量Ｎだけずれた被写体を見ているということである。

この時、デフォーカス量ｄは公知の技術で求めることが可能であり、例えば像ずれ量ｄと撮像素子上の各画素間の距離ｐとレンズの絞り値によって一意に決まるＫの関係より、式（５）によって求めることが可能である。

ｄ＝Ｎ×ｐ×Ｋ …式（５）
再び図１で、加算画素数算出部１０７は、被写体別に入力されたデフォーカス量ｄに基づいて、リフォーカス可能範囲を決定し、加算画素数を算出し加算読み出し制御部１０８に出力する。

具体的に図６を用いて説明する。６００は撮像面であって、被写体６０２，６０３，６０４が被写界に存在し、撮像光学系６０５を介して被写体の結像面６０６，６０７，６０８に結像する。被写体６０２は撮像面と結像面が略一致（合焦）している。結像面６０７，６０８は撮像面に対してそれぞれデフォーカス量ｄ１、ｄ２を有している。

加算画素算出部１０７は被写体６０２，６０３，６０４をリフォーカス可能な被写界範囲とし、ｄ１とｄ２のうちの、よりデフォーカス量の大きいｄ２をリフォーカス限界に収めるよう画素加算数を算出する。画素加算数の算出は式（１）、式（２）、式（３）で求められた６Ｆδ、３Ｆδ、２Ｆδの値とｄ２の比較を行い、ｄ２よりも大きい前記値の中で最小値を選択し、この最小値の画素加算数を選択し、加算読み出し制御部１０８に出力する。

加算読み出し制御部１０８は撮影動作前のライブビュー動作時には全画素加算読み出しを行い、不図示の撮影動作をユーザーが指示するＳＷ１の設定を行うと、前述の加算読み出し方法である図３（ａ）、図３（ｂ）、図３（ｃ）を選択し、固体撮像素子１０２の読み出しを制御する。このように処理を行うことで、ライブビュー動作時には処理画素数を減らし、電力を削減することが可能となる。

なお、最もデフォーカス量の大きいｄ２に基づいて加算読み出し方法を選択したが、本発明はこれに限ったものではない。例えば、近端の被写体と遠端の被写体の中間位置に合焦するまでフォーカスレンズを駆動させた上で物理的な合焦面から最も離れた被写体のデフォーカス量を求め、加算画素数を求めても良い。図６に適用した場合、６００と６０８の中間位置であるデフォーカス量ｄ２／２の位置までフォーカスレンズを駆動させ、最も遠端に存在する６００と６０８のデフォーカス量ｄ２／２と前述した６Ｆδ、３Ｆδ、２Ｆδを比較して加算画素数を求める。このような処理を行うことで、よりリフォーカス可能な範囲を狭めることができ、データ量の削減を行うことが可能となる。また、被写体の奥行き方向の位置や範囲に対応する奥行き情報としては、デフォーカス限らない。例えば被写体距離の距離情報であってもよく、距離情報の取得方法としては視差画像を利用する方法の他に赤外線センサなどを用いてもよいし、これらの結果を組み合わせてもよい。

再び図１に戻って、表示用画素加算部１１０は光学系ユニット１０１のフォーカスレンズの存在する位置の画像を生成するため、入力された単位画素セル内の画素を全加算して、デジタル信号処理部１１１に出力する。このように単位画素セル内の分割画素を加算することで、被写界深度が浅く、実際のフォーカスレンズ位置による焦点面の画像を得ることが可能である。

次にデジタル信号処理部１１０ではベイヤー配列で入力された画像に対して同時化処理、ガンマ処理やノイズリダクション処理に代表されるデジタル信号処理を行い、画像表示部１１２、外部記録装置１１３に出力する。同時化処理、ガンマ処理、ノイズリダクション等のデジタル信号処理については周知であり、本実施形態とは直接的に関係が無いため、ここでは説明を省略する。

画像表示部１１２はＬＣＤに代表される表示装置に、デジタル信号処理部１１０で作成された二次元画像を出力し、ユーザに対して表示させる。外部記録装置１１３は、ＳＤカードに代表されるメモリカードにキャプチャー部１０４から出力されたＬＦデータを記録する。また、再生時においては記録されたＬＦデータを読み出す。またライトフィールドデータの表示用画像として、画像表示部１１２に出力してもよい。

このように被写体距離と加算読み出し時のリフォーカス可能範囲に応じて加算読み出し方法を選択することで、被写体の存在する奥行き方向の距離範囲をリフォーカス可能範囲に収めつつも、効率良くＬＦデータのデータ量削減が可能となる。

なお、本実施形態では顔検出によって被写体検出を行ったが、リフォーカスを行う被写体部を推定する手段であれば他の方法でもよい。例えば、ポートレート写真を撮影する際には、鼻から耳の範囲でリフォーカスが可能であれば良いとし、鼻と耳の位置を指定し各々のデフォーカス量を求め、加算読み出しを切り替えればよい。また静物を撮影する際には撮影する静物を選択し、画像を分割し最もデフォーカス量が大きい領域がリフォーカス可能な範囲に含まれるように加算読み出しを切り替えればよい。

（第２の実施形態）
第１の実施形態では、撮像動作時の固体撮像素子１０２の加算読み出しを切り替えることでＬＦデータを削減する方法について説明した。第２の実施形態では、撮影後のデータに対してＬＦデータの削減を行う方法について説明する。

図７を用いて第２の実施形態を適用した画像処理装置７００について説明する。画像処理装置７００は外部記録装置１１３、被写体検出部１０５、被写体測距部１０６、加算画素数算出部１０７、画素加算部７０１を備えて構成されている。第１の実施形態で説明した構成要素については同一の符号を付している。

具体的な動作について説明する。外部記録装置１１３は、不図示のユーザーインターフェースによって指示されたＬＦデータを選択して読み出しを行い、被写体検出部１０５に出力する。被写体検出部１０５、被写体測距部１０６、加算画素数算出部１０７は第１の実施形態で説明した処理を行い、加算画素数を算出して画素加算部７０１に出力する。画素加算部７０１は、加算画素数算出部１０７の出力に応じて加算画素数を選択し、図３で説明したような画素加算を行い、ＬＦデータ量を削減した上で外部記録装置１１３に出力する。外部記録装置１１３はデータ量の削減されたＬＦデータを記録する。

このように、第１の実施形態で説明したような固体撮像素子１０２に対する加算読み出しを指示しなくても、記録されたＬＦデータに対して画素加算を行うことで、記録されたデータの容量削減を後から行うことが可能となる。

なお、撮影後のＬＦデータのリフォーカス可能範囲の設定について、本実施形態では不図示のユーザーインターフェースによって指示する方法について説明したが、他の方法でリフォーカス可能範囲を設定しても良い。例えば撮像画像に存在する遠端と近端に基づいてリフォーカス可能となるように画素加算数を設定しても良い。また、個人認証により登録されている顔を検出し、登録された人にのみリフォーカス可能となるように画素加算数を設定しても良い。また、通信によってＬＦデータを他の撮像装置に転送する際に、転送先に登録された人にのみリフォーカス可能となるように画素加算数を設定し、データ量を削減しても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：光学系ユニット、１０２：固体撮像素子、１０５：被写体検出部、１０６：被写体測距部、１０７：加算画素数算出部、１０８：加算読み出し制御部

Claims (20)

1. 複数の視差画像からなるデータ及び被写体の奥行き情報を取得する取得手段と、
   前記奥行き情報に基づいて、画像全体にわたって、前記データを構成する前記複数の視差画像の少なくとも一部を加算し、異なる視差画像の数を減らした新たなデータを生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記データ内の被写体を指定する指定手段を備え、
   前記生成手段は、前記指定手段により指定された被写体の奥行き情報に基づいて前記複数の視差画像の加算数を決定し、前記新たなデータを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、物理的な合焦面に対して最も離れている被写体までの奥行き情報に応じて前記複数の視差画像の加算数を決定し、前記複数の視差画像の加算を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、物理的な合焦面に対して最も離れている被写体がリフォーカス可能な範囲に含まれるように前記複数の視差画像の加算数を決定し、前記複数の視差画像の加算を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、加算後の視差画像の被写界深度が加算前の視差画像の被写界深度よりも浅くなるように加算することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、前記複数の視差画像の加算数を、前記複数の視差画像の水平方向の視差数と、垂直方向の視差数を整数で割りきった数に設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段は、前記指定手段によって指定された複数の被写体の中で遠端と近端の被写体の中間位置に合焦させて得られた画像に基づいて前記奥行き情報を取得することを特徴とする請求項２に記載の画像処理装置。
8. 前記生成手段は、ライブビュー動作の際には全ての視差画像の加算を行い、撮像動作の際には前記被写体までの距離に応じた加算を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、他の装置に合わせた加算数で前記視差画像を加算することを特徴とする請求項１に記載の画像処理装置。
10. 前記取得手段は、１つのマイクロレンズに対して複数の光電変換部が配置された単位画素セルが二次元状に配置された撮像素子を有する撮像手段であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 複数の視差画像から成るデータから被写体を指定する指定工程と、
    前記被写体の奥行き情報を取得する取得工程と、
    前記奥行き情報に基づいて、画像全体にわたって、前記データを構成する前記複数の視差画像の少なくとも一部を加算し、異なる視差画像の数を減らした新たなデータを生成する生成工程と、
    を有することを特徴とする画像処理装置の制御方法。
12. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
14. １つのマイクロレンズに対して複数の光電変換部が配置された単位画素セルが二次元状に配置された撮像素子と、
    前記撮像素子から出力される画像における被写体を指定する指定手段と、
    前記画像全体にわたって、前記撮像素子の前記複数の光電変換部から得られる視差画像の少なくとも一部を合成してリフォーカス画像を生成する場合に、前記指定手段により指定された被写体が被写界深度に収まるように、前記単位画素セルにおける、信号を加算する複数の光電変換部の加算数を設定する設定手段と、
    を備えることを特徴とする撮像装置。
15. 前記設定手段は、前記複数の光電変換部から得られる視差画像の加算数を、加算後の視差画像の被写界深度が加算前の視差画像の被写界深度に対して浅くなるように設定することを特徴とする請求項１４に記載の撮像装置。
16. 前記設定手段は、前記指定手段によって指定された複数の被写体の中で、遠端と近端の被写体の中間の位置に合焦するように光学系の焦点を合わせた場合に、前記遠端と近端の被写体が被写界深度に収まるように、前記単位画素セルにおける、信号を加算する複数の光電変換部の加算数を設定することを特徴とする請求項１４または１５に記載の撮像装置。
17. 前記撮像素子は、前記単位画素セルにおける複数の光電変換部からの信号を加算する加算手段を有することを特徴とする請求項１４乃至１６のいずれか１項に記載の撮像装置。
18. １つのマイクロレンズに対して複数の光電変換部が配置された単位画素セルが二次元状に配置された撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子から出力される画像における被写体を指定する指定工程と、
    前記画像全体にわたって、前記撮像素子の前記複数の光電変換部から得られる視差画像の少なくとも一部を合成してリフォーカス画像を生成する場合に、前記指定工程において指定された被写体が被写界深度に収まるように、前記単位画素セルにおける、信号を加算する複数の光電変換部の加算数を設定する設定工程と、
    を有することを特徴とする撮像装置の制御方法。
19. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
20. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。