JP6608194B2 - 画像処理装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、画像処理装置およびその制御方法ならびにプログラムに関し、特に撮像した画像を合成する技術に関する。

デジタルカメラなどの撮像装置は、被写体からの光学像を撮影レンズなどで構成される撮像光学系によってイメージセンサに導いて、被写体画像に対応した電気信号を取得する。そして、取得した電気信号をアナログ-デジタル（ＡＤ）変換して、現像処理を行うことで被写体に対する撮像画像が得られる。

撮影者は、撮像光学系に備えられた機械絞りのＦ値（開口比）の大小を調整することで撮像画像の被写界深度を調整する。このＦ値を調整して撮像画像の合焦範囲を調整することで、被写界深度を浅くして被写体を背景から浮かび上がらせて強調したり、被写界深度を深くしてパンフォーカスの画像を得たりすることができる。撮像画像の被写界深度を深くするためには、Ｆ値を大きくする必要があり、適正な露出を維持するにはシャッタ速度を遅くしたり、感度を上げたりする必要がある。しかし、シャッタ速度を遅くすると手ぶれや被写体ぶれの原因となり、感度を上げると撮像画像のノイズを増幅してしまう。

一方、F値を大きくすることなく、撮像画像の被写界深度を深くするための技術が提案されている（特許文献１）。特許文献１には、合焦位置を変化させて撮影した複数の画像の画像領域を合成することで、画像全体が合焦した合成画像を出力する技術が開示されている。

特開平６−３１１４１１号公報

特許文献１に開示された技術では、画像全体で合焦した画像を得ることを目的としているため、撮影者が被写界深度を調整して表現を工夫することができない。また、合焦位置を変えながら撮影を繰り返すため、複数の撮像画像に手振れや被写体ぶれのある画像が含まれると、合成結果に影響を与えてしまう。

本発明は、上述の従来技術の問題点に鑑みてなされ、設定された撮影条件で得られる被写界深度より大きな被写界深度を有する撮像画像を、一度の撮影で得ることが可能な画像処理装置およびその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、視点の異なる複数の視差画像と、視差画像を合成して得た合成画像とを取得可能な画像処理装置であって、ユーザ操作に従って第１の絞り値を設定する設定手段と、設定手段により設定された第１の絞り値と撮像手段の光学特性に基づいて、撮像手段が複数の視差画像を撮像する撮像条件として第１の絞り値よりも小さな第２の絞り値を決定する決定手段と、撮像手段により第２の絞り値で撮像された複数の視差画像を合成して第１の絞り値で撮像して得られる画像と同等の被写界深度を有する合成画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、設定された撮影条件で得られる被写界深度より大きな被写界深度を有する撮像画像を、一度の撮影で得ることが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態に係る画像処理部に係る機能構成例を示すブロック図（ａ）および撮像系制御部の機能構成例を示すブロック図（ｂ） 本実施形態に係る撮影処理の一連の動作を示すフローチャート 本実施形態に係る画像処理の一連の動作を示すフローチャート 本実施形態に係る被写界深度の深度範囲を模式的に示す図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、多視点画像を取得可能な撮像素子を備えるデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう撮像装置は、デジタルカメラに限らず、このような撮像素子を備える任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（１ デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮影レンズ２３０は、複数のレンズ群からなる撮像光学系を構成し、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備える。撮影レンズ２３０は、被写体光学像を撮像デバイス１１０に結像させる。

絞り２４０は、撮影レンズ２３０に含まれており、撮像系制御部２００の指示に応じて絞りの大きさを制御する。

撮像デバイス１１０は、結像した被写体光学像による光信号を電気信号に変換して出力する撮像素子を含む。撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子は、二次元状に配置された画素のそれぞれが複数の光電変換領域を有し、各画素で同じ位置に存在する光電変換領域群の出力から、視点の異なる複数の視差画像を取得することができる。複数の視差画像については、画素ごとに複数の光電変換領域の出力を加算することで、各画素が１つの光電変換領域を有する通常の撮像素子で得られる撮像画像を取得することができる。本実施形態では、各画素を独立した２つの光電変換領域（フォトダイオード）Ａ，Ｂで構成している。光電変換領域Ａの出力と、光電変換領域Ｂの出力とをそれぞれ独立した画像として取得することで、２つの視差画像Ａ，Ｂを取得することができる。また、光電変換領域ＡとＢの出力を画素ごとに加算することで、通常の撮像画像を取得することができる。なお、撮像画像は、例えば後述する画像処理部１３０で複数の視差画像を加算合成して得られる例を説明するが、撮像デバイス１１０で加算合成を行って取得してもよい。このように、視差画像Ａ，Ｂと撮像画像とは一度の撮影（露光）で取得できる。なお、本実施形態の説明においては２つの視差画像を同時に取得する場合について説明するが、撮像面近傍に入射する光束をより多数の画素（例えば３×３画素）で受光してより多くの視差画像を同時に取得する構成であってもよい。

Ａ／Ｄ変換器１２０は、撮像デバイス１１０から出力されたアナログ信号出力をＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画像データ）を出力する。

画像処理部１３０は、Ａ／Ｄ変換器１２０から出力された画像データ、或いはＲＡＭ１９０に記録された画像データに対して所定の色変換処理や階調補正等の現像処理を行う。また、画像処理部１３０は、撮影された２つの視差画像と生成した撮像画像を用いてリフォーカス画像を生成する画像処理を行う。なお、リフォーカスは、撮影後の画像処理によって画像の焦点位置の変更や被写界深度の調整が可能な処理であり、リフォーカスにより生成された所定の焦点位置や被写界深度を有する画像をリフォーカス画像という。図２（ａ）には、画像処理部１３０の機能構成例を示している。各機能ブロックの動作は後述するが、入力部１３１は撮像された２つの視差画像を入力するとともに視差画像を加算合成して撮像画像を生成する。そして、これらの画像を距離マップ生成部１３２およびリフォーカス処理部１３３のそれぞれに供給する。距離マップ生成部１３２は入力した２つの視差画像から奥行方向の情報である距離マップを生成する。リフォーカス処理部１３３は、撮像画像を用いて後述するリフォーカス範囲に対応する被写界深度を有する画像を生成する。合成処理部１３４は、リフォーカス処理部１３３において生成された画像と撮像画像とを合成して、ユーザの意図した被写界深度を有する合成画像を生成する。出力部１３５は当該合成画像を後段の機能ブロックであるメディアＩ／Ｆ１５０に出力する。

カメラ信号処理部１４０は、画像処理部１３０から出力された画像に対して、記録用の圧縮処理や表示部２２０に表示するために必要な処理を行なう。

Ａ／Ｄ変換器１２０から出力された画像データは、画像処理部１３０、カメラ信号処理部１４０を介して、或いはＡ／Ｄ変換器１２０のデータが直接カメラ信号処理部１４０を介して、ＲＡＭ１９０に格納される。

制御部１７０は、例えばＣＰＵあるいはＭＰＵを有し、例えばＣＰＵがＲＯＭ１８０に格納されたプログラムをＲＡＭ１９０の作業エリアに展開し、実行することにより、後述する撮像処理および画像処理を含むデジタルカメラ１００の処理全体を制御する。

ＲＯＭ１８０は、プログラムやデジタルカメラ１００に対する設定値を記録するための記録媒体であり、半導体メモリ等から構成される。

ＲＡＭ１９０は、制御部１７０のデータを一時記憶する揮発性の記憶媒体である。また、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをＲＡＭ１９０に対して行うことが可能となる。また、制御部１７０はＲＡＭ１９０を作業エリアとしても使用することも可能である。

撮像系制御部２００は、制御部１７０の指示および入力した画像データの処理結果に応じて、撮影レンズ２３０や絞り２４０を制御する。図２（ｂ）には、撮像系制御部２００の内部の機能構成例を示している。入力部２０１は、後述する撮影設定情報をＲＡＭ１９０から取得する。被写界深度算出部２０３は、撮影設定情報に基づいてユーザの意図する被写界深度を算出する算出部である。またリフォーカス範囲算出部２０２および絞り値算出部２０４は、後述するリフォーカス範囲と撮影レンズ２３０に設定する絞り値とをそれぞれ決定する。出力部２０５は絞り２４０を制御するために、決定した絞り値を出力する。

操作部２１０は、シャッターボタン等のボタンやタッチパネルからなる操作部材を備え、ユーザの操作を検出すると制御部１７０に通知する。シャッターボタンの操作途中の状態（半押しの状態）が検出されると制御部１７０に通知され、制御部１７０は、撮像系制御部２００を介して撮影のための各処理を制御する。例えば、撮影レンズ２３０の機械絞り駆動処理、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理、被写体距離の計測処理等の各動作が開始される。シャッターボタンの十分な押下状態（全押しの状態）が検出されると、撮像デバイス１１０から読み出された信号は、画像処理部１３０およびカメラ信号処理部１４０による処理が施され、ＲＡＭ１９０に画像データが格納される。さらにメディアＩ／Ｆ１５０は画像データを、メモリカードその他で構成される記録媒体であるメディア１６０に書き込む。

表示部２２０は、ＴＦＴ ＬＣＤ等のディスプレイを備え、制御部１７０の指示に応じて、ＲＡＭ１９０に格納されている表示用の画像データを表示する。表示部２２０を用いて撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。

（撮像処理に係る一連の動作）
次に、図３を参照して、撮像処理に係る一連の動作を説明する。なお、デジタルカメラ１００においてライブビュー表示が行われている状態で、例えば操作部２１０のシャッターボタンの全押しの状態が検出された場合に本処理が開始される。

Ｓ３０１において入力部２０１は、デジタルカメラ１００に設定されている撮影設定情報を入力する。この撮影設定情報には、デジタルカメラ１００の撮像素子の大きさ、絞り値、撮影レンズから被写体までの距離である被写体距離、撮影レンズから撮像素子までの距離である焦点距離が含まれる。これらの撮影設定情報のうち固定値であるものは予めＲＯＭ１８０に記録されており、入力部２０１はＲＯＭ１８０から当該情報を入力する。固定値である情報は例えば撮像素子の大きさがある。また、絞り値や焦点距離は、ユーザが意図する値を、操作部２１０を介して設定した動的な値であり、例えば制御部１７０がＲＡＭ１９０に記憶させた情報である。また、被写体距離は、例えばライブビュー表示が行われている状態で得られる各視差画像から求められた距離マップのうち、画像上の所定の位置（例えば画像の中心）の距離を被写体距離としてＲＡＭ１９０に記録した情報であってよい。入力部２０１は、入力した撮影設定情報をリフォーカス範囲算出部２０２および被写界深度算出部２０３に出力する。

Ｓ３０３において被写界深度算出部２０３は、入力部２０１から出力された撮影設定情報に基づいて、撮影によって得られる被写界深度を算出する。即ち、ユーザが操作部２１０により設定した絞り値（Ｆ値）に対応した、ユーザが意図する被写界深度（目標被写界深度）を算出する。具体的には、被写体からデジタルカメラ１００寄りの合焦範囲を前方被写界深度Ｄｎ、被写体から無限遠寄りの合焦範囲を後方被写界深度Ｄｆとすると、被写界深度ＤＯＦは以下の数１のように表すことができる。なお、前方被写界深度Ｄｎは数２、後方被写界深度Ｄｆは数３のように表すことができ、これらの式で用いられる過焦点距離Ｈ（無限遠が被写界深度に収まるような焦点距離）は数４のように表すことができる。以下の式において、ｆはレンズの焦点距離、ｓは被写体距離、Nは絞り値、ｃは錯乱円径である。

Ｓ３０５においてリフォーカス範囲算出部２０２は、入力部２０１から出力された撮影設定情報を入力する。例えば焦点距離、撮像素子の大きさから得られる画素ピッチ等から、現在の絞り値より小さい絞り値で撮影した場合のリフォーカスが可能な範囲を、１つ以上の絞り値について算出する。なお、リフォーカスが可能な範囲、即ちリフォーカスによって変更可能な被写界深度の範囲をリフォーカス範囲という。撮影レンズ２３０および絞り２４０による開口径や撮像デバイス１１０における画素ピッチ等によって撮像素子に入射する光線の角度分布、即ち視差画像の視差量（画像間のずれ）が制限されるため、リフォーカスが可能な範囲にも制限が生じる。このため、リフォーカス範囲を予め算出し、リフォーカス範囲を考慮して撮像処理を行う。ここで、リフォーカス範囲は公知の方法、例えば特開２０１３−２５８４５３号公報の段落００２７〜００３２、００４６に開示された方法を用いて求めることができる。このように、リフォーカス範囲算出部２０２は、撮影レンズ２３０や撮像デバイス１１０の構成や撮影条件に応じてリフォーカス範囲を算出する。なお、上述のように、とりうる１以上の絞り値とこれに対応するリフォーカス範囲の対応関係を得ることが可能なため、以降の処理において目標被写界深度を実現するための条件を満たす絞り値とリフォーカス範囲の組を選択的に決定できるものとしてもよい。

Ｓ３０７において絞り値算出部２０４は、Ｓ３０３で算出した目標被写界深度とＳ３０５で算出したリフォーカス範囲を用いて、後の撮像処理で用いる絞り値（撮像用絞り値）を決定する。

具体的には、絞り値算出部２０４は、撮像用絞り値で得られる撮像画像の被写界深度と、撮像用絞り値で撮影した視差画像に対応するリフォーカス範囲とによって、ユーザの設定した絞り値で得られる目標被写界深度が実現できるように撮像用絞り値を決定する。この際、必要であれば被写界深度算出部２０３によって撮像用絞り値に対応する撮像画像の被写界深度を算出してもよい。従って、ユーザの設定した絞り値よりも小さい値を撮像用絞り値として決定でき、目標被写界深度を有する画像を、被写体ぶれおよび手振れの発生や、画像ノイズの増加という観点において有利な撮影条件で得ることができる。

上述のような絞り値の候補が複数存在する場合、絞り値算出部２０４は、以下のような方法で絞り値の優先付けを行って、優先順に従って１つの絞り値を選択してもよい。例えば、レンズの光学特性を応じてコントラストが良好となる絞り値の順序付けを行って予め記録しておき、複数の絞り値の候補のうち、コントラストが最も良好となる絞り値を選択する。また、複数の絞り値の候補について、例えば回折が生じ得るような特定の絞り値を除外したうえで、回折が生じない絞り値のなかから優先して選択するようにしてもよい。同様に、デジタルカメラ１００に設定可能な感度域に応じてＳ／Ｎが良好となる絞り値を予め順序付けて記録しておき、設定された感度域に応じて優先させる絞り値を選択してもよい。このようにすれば、より明るい目標被写界深度を有する画像を取得できることに加えて、よりコントラストが良好な画像やＳ／Ｎが良好となる画像を取得できるようになる。また、このような画像を得る際に回折の生じる絞り値を用いることなく、より高品質な画像の画像取得ができるようになる。

Ｓ３０９において制御部１７０は、Ｓ３０７で決定した絞り値に基づいて絞り２４０を制御して撮像を行う。撮像デバイス１１０は、制御部１７０の指示に応じて２つの視差画像を読み出す。制御部１７０は、これらの画像に対して画像処理部１３０等による所定の処理を行わせると、処理後の各画像をＲＡＭ１９０に格納する。制御部１７０は、その後撮像処理に係る一連の動作を終了する。

（画像処理に係る一連の動作）
次に、図４を参照して、本実施形態に係るデジタルカメラ１００における画像処理の一連の動作を説明する。なお、Ｓ３０９における撮像処理が行われて、撮像された各画像がＲＡＭ１９０に格納された場合に本処理が開始される。

Ｓ４０１において画像処理部１３０の入力部１３１は、撮像時にＲＡＭ１９０に格納された２つの視差画像を入力する。また、Ｓ４０３において入力部１３１は、撮像時にＲＡＭ１９０に格納された２つの視差画像を加算合成して得た画像を撮像画像として生成する。

Ｓ４０５において距離マップ生成部１３２は、Ｓ４０１において入力部１３１が取得した視差画像から、撮像画像の深度情報となる距離マップを生成する。なお、左右方向に視差を有する視差画像から距離マップを生成する処理は、例えばＳＳＤＡ法（残差逐次検定法）や面積相関法などの公知の技術を用いることができるため、本実施形態ではこれらの技術を用いることとし、詳細の説明は省略する。距離マップ生成部１３２は、生成した距離マップの情報をＲＡＭ１９０に格納する。

Ｓ４０７においてリフォーカス処理部１３３は、リフォーカス画像によって実現可能な被写界深度の範囲を決定する。この被写界深度は、Ｓ３０７において決定した絞り値で得られる被写界深度を、Ｓ３０３で算出した目標被写界深度に拡大するための被写界深度である。

図５を参照して、上述した各被写界深度の関係を説明する。デジタルカメラ１００のユーザである撮影者５００から無限遠方向に離れるように被写体５０１〜５０３が並べられている。目標被写界深度５０４は、デジタルカメラ１００にユーザが設定した絞り値で得られる深度範囲と同等の深度範囲、即ちＳ３０３で算出された目標被写界深度を表す。被写界深度５０６は、Ｓ３０７において決定した撮影レンズ２３０の絞り値で得られる深度範囲、即ち撮像処理によって得られる画像が有する被写界深度を表す。上述のように、Ｓ３０７において決定された絞り値は、ユーザが設定した絞り値よりも小さいため、撮像処理で得られる画像の被写界深度５０６は目標被写界深度５０４より浅くなる。目標被写界深度５０４と被写界深度５０６は既知であるため、リフォーカス処理部１３３は、目標被写界深度５０４と被写界深度５０６の差分である被写界深度５０５および被写界深度５０７を、リフォーカス画像で実現すべき被写界深度として決定する。

Ｓ４０９においてリフォーカス処理部１３３は、Ｓ４０７で決定した被写界深度を実現するリフォーカス画像を生成する。例えば、リフォーカス処理部１３３は、被写界深度５０５の至近端を被写体距離（あるいは焦点位置）とした第１のリフォーカス画像と、被写界深度５０７の遠位端を被写体距離（あるいは焦点位置）とした第２のリフォーカス画像とを生成する。第１のリフォーカス画像で被写界深度５０５が実現できない場合、被写体距離を被写界深度５０５内で無限遠方向に変化させてさらにリフォーカス画像を生成してもよい。被写界深度５０７についても、必要に応じて被写体距離を被写界深度５０７内で至近方向に変化させてさらにリフォーカス画像を生成してもよい。視差画像から被写体距離（あるいは焦点位置）を変更した画像を生成する手法は公知の方法を用いることができるため、本実施形態では詳細の説明は省略する。

Ｓ４１１において合成処理部１３４は、Ｓ４０３で生成した撮像画像（即ち被写界深度５０６を有する画像）と、Ｓ４０９において生成した２つのリフォーカス画像とを合成して、目標被写界深度５０４を有する画像を生成する。画像の合成では、例えば画像の所定の矩形領域ごとに最もコントラストの高い画像を選択して、当該矩形領域の画素として用いるようにすればよい。また、いずれの画像のコントラストも所定の閾値以下である場合、即ちユーザの意図する被写界深度の範囲外となるぼかした領域については、撮像画像の画素をそのまま用いるようにすればよい。合成処理部１３４は、生成した完成画像をＲＡＭ１９０に記録し、画像処理の一連の動作を終了する。

なお、本実施形態では、Ｓ４０９において第１のリフォーカス画像と第２のリフォーカス画像を生成して撮像画像との合成を行ったが、得られた視差画像を用いて被写界深度５０５〜５０７を有する１つのリフォーカス画像を生成するようにしてもよい。このリフォーカス画像と撮像画像とを合成する処理では、撮像画像とリフォーカス画像のいずれもがコントラストが高い矩形領域については、撮像画像の画素を活かすため、当該画素を優先的に選択すればよい。

以上説明したように本実施形態では、ユーザが希望する被写界深度を、撮像画像が有する被写界深度と、撮像画像を構成する視差画像から得られるリフォーカス画像で実現できる被写界深度とを用いて実現するようにした。そのため、ユーザが希望する被写界深度を撮像画像だけで実現するための絞り値よりも小さい絞り値を用いて撮影を行うことができる。換言すれば、設定された撮影条件で得られる被写界深度より大きな被写界深度を有する撮像画像を、一度の撮影で得ることが可能になる。そのため、被写界深度を得るためにシャッタースピードが低速になったり、感度を上げたりすることによる撮像画像の画質低下を抑制しつつ、ユーザの希望する被写界深度を有する撮像画像を得ることが可能になる。また、撮像画像と視差画像は一度の撮像処理で得られるため、異なるタイミングで撮影された画像を合成する構成で発生しうる、被写体の移動に起因する問題が発生しない。

また、撮影を行うための絞り値を決定する際に、選択可能な絞り値の候補が複数存在する場合、予め記録した情報に基づいて絞り値の優先付けを行って１つの絞り値を選択するようにした。このようにすることで、よりレンズの光学特性や設定した感度域に適した画像を生成可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０…撮像デバイス、１３０…画像処理部、１７０…制御部、２００…撮像系制御部、２４０…絞り

Claims (15)

1. 視点の異なる複数の視差画像と、前記視差画像を合成して得た合成画像とを取得可能な画像処理装置であって、
   ユーザ操作に従って第１の絞り値を設定する設定手段と、
   前記設定手段により設定された前記第１の絞り値と撮像手段の光学特性に基づいて、前記撮像手段が前記複数の視差画像を撮像する撮像条件として前記第１の絞り値よりも小さな第２の絞り値を決定する決定手段と、
   前記撮像手段により前記第２の絞り値で撮像された前記複数の視差画像を合成して前記第１の絞り値で撮像して得られる画像と同等の被写界深度を有する合成画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記第２の絞り値で撮像された前記複数の視差画像から前記設定手段により設定された前記第１の絞り値で撮像して得られる画像と同等の被写界深度を有する画像を生成可能なように、前記第２の絞り値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、対象となる絞り値で撮像されたときの前記複数の視差画像におけるリフォーカス可能範囲に基づいて、前記第２の絞り値で撮像された前記複数の視差画像から前記設定手段により設定された前記第１の絞り値で撮像して得られる画像と同等の被写界深度を有する画像を生成可能かどうかを判定し、前記第２の絞り値を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、
   前記視差画像を加算合成した画像を生成する第１の生成手段と、
   前記加算合成した画像と、前記複数の視差画像を用いたリフォーカス処理により生成された画像とを用いて前記合成画像を生成する第２の生成手段と、を有することを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の生成手段は、前記第２の絞り値に対応する被写界深度と前記第１の絞り値を用いたときと同等の被写界深度の差を補う被写界深度を有する画像を生成するためのリフォーカス処理を行う、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記撮像手段は、各画素が独立した複数の光電変換領域を有する撮像素子を用いて、前記複数の視差画像を撮像する、
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、前記第１の絞り値を用いたときと同等の被写界深度を実現できる絞り値が複数ある場合、予め定められた順序に従って前記第２の絞り値を決定する、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記予め定められた順序は、前記撮像手段の有する光学特性、または前記撮像手段に設定可能な感度域に応じて定まる、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の絞り値を用いたときと同等の被写界深度を実現できる複数の絞り値のうち、回折が生じる絞り値を除外して前記第２の絞り値を決定する、
   ことを特徴とする請求項７または８に記載の画像処理装置。
10. 前記生成手段は、前記第２の絞り値に対応する被写界深度と前記第１の絞り値を用いたときと同等の被写界深度の差を補う被写界深度を有する複数の画像を生成し、前記複数の視差画像と、前記生成手段が生成した前記複数の画像とを合成する、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記撮像手段は、各画素が独立した複数の光電変換領域を有する撮像素子を用いて、前記複数の視差画像を取得する、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
12. 前記生成手段は、前記複数の光電変換領域の出力を画素ごとに加算することにより前記合成画像を取得する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 視点の異なる複数の視差画像と、前記視差画像を合成して得た合成画像とを取得可能な画像処理装置の制御方法であって、
    設定手段が、ユーザ操作に従って第１の絞り値を設定する設定工程と、
    決定手段が、前記設定工程において設定された前記第１の絞り値と撮像手段の光学特性に基づいて、前記撮像手段が前記複数の視差画像を撮像する撮像条件として前記第１の絞り値よりも小さな第２の絞り値を決定する決定工程と、
    生成手段が、前記撮像手段により前記第２の絞り値で撮像された前記複数の視差画像を合成して前記第１の絞り値で撮像して得られる画像と同等の被写界深度を有する合成画像を生成する生成工程と、
    を有することを特徴とする画像処理装置の制御方法。
14. コンピュータに、請求項１３に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
15. コンピュータに請求項１３に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムを格納した、コンピュータが読み取り可能な記憶媒体。