JP6720037B2 - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、撮像を経て生成された入力画像に対して画像処理を行う画像処理装置および撮像装置に関する。

撮像を経て生成される画像には、撮像自体によって生成される撮像画像だけでなく、特許文献１にて開示されているように撮像画像を用いたリフォーカス処理によって生成されるリフォーカス画像がある。リフォーカス処理は、撮像素子において撮像光学系の射出瞳のうち互いに異なる領域を通過した光を光電変換する複数の画素からの出力信号を用いて、ピントを合わせる被写体（合焦被写体）を撮像後に擬似的に変更したリフォーカス画像を生成する処理である。このようなリフォーカス処理では、良好な画質を有する最終的な出力画像を生成するためのホワイトバランス処理等の画像処理も併せて行われる。

特開２０１６−０２４４８９号公報

しかしながら、リフォーカス処理を行う際に、変更前の合焦被写体と変更後の合焦被写体とで明るさ等の被写体条件が異なる場合がある。この場合に、変更前の合焦被写体の被写体条件で画像処理を行っても、変更後の合焦被写体の色が不自然になる等、全体として良好な画質の出力画像が得られなくなるおそれがある。

本発明は、撮像後に選択された被写体を含む領域だけでなく他の被写体を含む領域に対しても良好な画像処理が行われるようにした画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う。該画像処理装置は、入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定するパラメータ設定手段と、第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて入力画像に対する画像処理を行う処理手段と、入力画像のうち第２の被写体領域を選択する選択手段とを有する。処理手段は、第２の被写体領域に含まれる被写体と第１の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、第１の画像処理パラメータと上記位置関係に関する情報とを用いて第２の画像処理パラメータを設定することを特徴とする。

なお、被写体からの光により形成された光学像を撮像する撮像素子と、撮像素子からの出力信号を用いて生成された撮像画像を入力画像として又は撮像画像を用いて生成された入力画像に対して画像処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像処理方法は、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う方法であり、入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定するステップと、第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて入力画像に対する画像処理を行う処理ステップと、入力画像のうち第２の被写体領域を選択するステップとを有する。処理ステップにおいて、第２の被写体領域に含まれる被写体と第１の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、第１の画像処理パラメータと上記位置関係に関する情報とを用いて第２の画像処理パラメータを設定することを特徴とする。

なお、コンピュータに上記画像処理方法に従う処理を実行させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、撮像後に選択された第２の被写体領域だけでなく他の第１の被写体領域に対しても良好な画像処理が行われ、全体として良好な画質を有する画像を生成することができる。

本発明の実施例である撮像装置の構成を示すブロック図。 実施例の撮像装置における撮像部の構成を示す図。 実施例における撮像素子の画素と射出瞳との関係を示す図。 実施例の撮像装置における撮像光学系と瞳分割を示す図。 上記撮像素子の出力信号から得られる像ずれ量とデフォーカス量との関係を示す図。 実施例におけるリフォーカス処理を説明する図。 実施例における撮像処理を示すフローチャート。 実施例におけるリフォーカス処理を示すフローチャート。 実施例におけるリフォーカス処理後の被写体の位置関係を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例である撮像装置（以下、カメラという）１００の構成を示す。
１０は撮像光学系としての撮像レンズである。１２は絞り機能を備えたシャッタである。１４は撮像レンズにより形成された被写体の光学像を電気信号に変換する撮像素子であり、本実施例ではＣＭＯＳセンサにより構成されている。１６はＡ／Ｄ変換器であり、撮像素子１４の各画素からのアナログ出力信号をデジタル信号としての画素信号に変換する。

１８はタイミング発生部であり、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。タイミング発生部１８は、メモリ制御部２２およびシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６からの画素信号やメモリ制御部２２からの画像データに対して画素補間処理や色変換処理等の画像処理を行う。また、画像処理部２０は、撮像により生成された画像データを用いて所定の演算処理を行い、その演算結果をシステム制御部５０に供給する。システム制御部５０は、画像処理部２０からの演算結果に基づいて露光制御部４０にＡＥ（自動露出）処理およびＥＦ（フラッシュプリ発光）処理を行わせ、フォーカス制御部４２にＡＦ（オートフォーカス）処理を行わせる。さらに、画像処理部２０は、撮像により生成された画像データ（入力画像）に対して、後述するリフォーカス処理およびＡＷＢ（オートホワイトバランス）処理も行う。画像処理部２０とシステム制御部５０とにより画像処理装置が構成される。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画素データは、画像処理部２０を介して又は直接、メモリ制御部２２に供給され、画像表示メモリ２４またはメモリ３０に書き込まれる。

２８はＴＦＴ−ＬＣＤ等により構成される画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８に供給され、これにより画像表示部２８に画像が表示される。ライブビュー撮像（ファインダ用撮像）により順次生成される画像データを画像表示部２８に表示することにより、電子ファインダ機能を実現することができる。また、画像表示部２８を用いて、再生表示機能等、各種表示機能を実現することができる。

メモリ３０は、本撮像（記録用撮像）により取得された静止画像や動画像の画像データを格納する。メモリ３０は、また、メモリ３０はシステム制御部５０の作業領域としても利用され得る。

圧縮・伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮または伸長する。圧縮・伸長部３２は、メモリ３０に格納された画像データを読み込んで圧縮処または伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

露光制御部４０は、シャッタ１２を制御したり、フラッシュ（照明ユニット）４８を制御してフラッシュ調光を行ったりする。フォーカス制御部４２は、撮像レンズ１０に含まれるフォーカスレンズの駆動を制御することでフォーカシングを行う。４４は撮像レンズ１０に含まれる変倍レンズの駆動を制御するズーム制御部である。４６は撮像レンズ１０を保護するバリア１０２の動作を制御するバリア制御部である。

システム制御部５０は、カメラ１００全体の動作を制御する。５２はメモリであり、システム制御部５０の動作用の定数、変数、プログラム等を記憶する。また、メモリ５２は、ＡＥで用いるプログラム線図も格納している。

５４は液晶表示素子やスピーカ等が設けられた表示部であり、カメラ１００の上部や光学ファインダ１０４内に設けられている。表示部５４は、システム制御部５０からの表示信号に応じて文字、画像および音声等により各種情報をユーザに与える。ユーザは、光学ファインダ１０４を通して被写体を確認しながら光学ファインダ１０４内の表示部５４に表示された情報を見ることができる。

５６は電気的に消去・記録可能な不揮発性メモリであり、ＥＥＰＲＯＭ等で構成される。 ６０、６２、６４および６６は、ユーザにより操作されることでシステム制御部５０に各種指示を入力する操作部であり、スイッチ、ダイヤル、タッチパネル、視線検知センサ、音声認識部を有する。６０はモードダイヤルスイッチであり、そのダイヤル位置に応じた撮像モードの設定を指示する。６２は第１シャッタスイッチ（ＳＷ１）であり、不図示のシャッターボタンの半押し操作でオンとなることで、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の開始を指示する。６４は第２シャッタスイッチ（ＳＷ２）であり、シャッターボタンの全押し操作によりオンとなることで、本撮像の開始を指示する。６６はその他の操作指示を行うための操作部である。

８０は電源制御部であり、電源（バッテリ）８６からの電圧を上記各部に必要な電圧に変換して供給する。８２および８４はコネクタである。９０はメモリカードやハードディスク等の記録媒体１２００とのインタフェースである。９８は記録媒体１２００がカメラ１００装着されていることを検知する記録媒体着脱検知部である。

１１０は通信部であり、不図示のケーブルを介した有線通信またはアンテナ１１２を介した無線通信により他の機器との通信を行う。

図２には、本実施例における撮像素子１４の画素配列を示す。図２は、ＣＭＯＳセンサのうち４列×４行の範囲の撮像画素の配列を示している。このうち２行×２列の撮像画素からなる画素群２００は、左上に配置されたＲ（赤）の分光感度を有する画素２００Ｒと、右上と左下に配置されたＧ（緑）の分光感度を有する画素２００Ｇと、右下に配置されたＢ（青）の分光感度を有する画素２００Ｂとを含む。さらに、各撮像画素２００ａは２列×１行（すなわち対をなす）の第１サブ画素２０１と第２サブ画素２０２とにより構成されている。つまり、第１および第２サブ画素２０１，２０２はそれぞれ焦点検出画素を構成し、図２では８列×４行の範囲の焦点検出画素の配列を示している。撮像素子１４は、このような撮像画素および対のサブ画素を撮像面上に多数配置することで、撮像画像を生成するための撮像信号と焦点検出のための焦点検出信号の取得を可能としている。

なお、図２には、対のサブ画素２０１，２０２が水平方向に並べられて射出瞳を水平方向に２つに分割（瞳分割）する場合を示しているが、垂直方向に瞳分割してもよい。また、水平および垂直方向の両方に瞳分割するために、サブ画素を複数列×複数行に配置してもよい。後述するように本実施例ではこれらのサブ画素から出力された信号を用いて、焦点位置を疑似的に動かした画像（リフォーカス画像）を再構成（生成）する。この際、基本的には、瞳分割数が多いほどより良好なリフォーカス画像を生成することができる。

なお、本実施例では各撮像画素が対のサブ画素を含む場合について説明するが、撮像画素と対のサブ画素とを別々の画素として構成し、複数の撮像画素の配列内に対のサブ画素としての焦点検出画素を部分的（離散的）に配置してもよい。

図３の下部には、撮像レンズ１０の光軸に沿った方向をｚ方向とした場合における図２に示した撮像素子１４の１つの撮像画素２００ａのｘｚ断面を示している。また、図３の上部には、撮像レンズ１０の射出瞳４１０が形成される面（射出瞳面）を示している。図３では、射出瞳面をｚ方向が図の紙面に垂直な方向となるように撮像画素２００ａとは向きを変えて示している。さらに図３およびｚ方向に沿った射出瞳４１０と撮像素子１４の断面を示す図４には、後述するマイクロレンズ３０５による瞳分割を示している。図４において、６００は被写体面である。

撮像画素２００ａの光入射側には入射した光を集光するためのマイクロレンズ３０５が設けられている。また、撮像画素２００ａ内には、ｘ方向に２分割された光電変換部３０１および光電変換部３０２，３０２が設けられている。これら光電変換部３０１および光電変換部３０２はそれぞれ、図２に示した第１サブ画素２０１および第２サブ焦点検出画素２０２に対応する。なお、図示はしていないが、撮像画素２００ａにおけるマイクロレンズ３０５と光電変換部３０１，３０２との間にはＲ、ＧまたはＢ光のみを透過させる（分光する）カラーフィルタが設けられている。撮像画素２００ａに入射した光は、マイクロレンズ３０５により集光されてカラーフィルタ３０６で分光された後、光電変換部３０１，３０２で受光される。光電変換部３０１，３０２はそれぞれ、その光電変換作用により電荷を蓄積する。各光電変換部において蓄積された電荷は電圧信号に変換されてサブ画素信号として出力される。

また、図３に示すように撮像画素２００ａにおいて重心が−ｘ方向に偏っている光電変換部３０１と射出瞳面のうち＋ｘ側の第１の瞳領域４０１はマイクロレンズ３０５によって概ね共役関係となっている。このため、光電変換部３０１は、第１の瞳領域４０１を通過した光を受光する。また、撮像画素２００ａにおいて重心が＋ｘ方向に偏っている光電変換部３０２と射出瞳面のうち−ｘ側の第２の瞳領域４０２もマイクロレンズ３０５によって概ね共役関係となっている。このため、光電変換部３０２は、第２の瞳領域４０２を通過した光を受光する。光電変換部３０１，３０２を含む撮像画素２００Ｇ全体では、射出瞳面のうち第１および第２の瞳領域４０１，４０２を含む全瞳領域４００を通過した光を受光可能である。

射出瞳４１０における互いに異なる瞳領域である第１の瞳領域４０１と第２の瞳領域４０２を通過した光線はそれぞれ、各撮像画素に対して互いに異なる角度で入射して互いに異なる光電変換部３０１，３０２で受光される。これにより、瞳分割が行われる。なお、本実施例では、水平方向（ｘ方向）に瞳分割を行う場合を示しているが、垂直方向（ｙ方向）に瞳分割を行ってもよい。

このように撮像画素２００ａごとに瞳分割を行う撮像素子１４は、複数の撮像画素２００ａにおける光電変換部３０１（第１サブ画素２０１）からのサブ画素信号を集めて第１の焦点検出信号を生成する。また、複数の撮像画素２００ａにおける光電変換部３０２（第２サブ画素２０２）からのサブ画素信号を集めて第２の焦点検出信号を生成する。さらに、撮像画素２００ａごとに第１および第２サブ画素２０１，２０２の出力信号を加算して該加算信号を集めることで、有効画素数Ｎの解像度を有する画像を生成するための撮像信号が生成される。

次に、上記のように撮像素子１４から取得される第１および第２の焦点検出信号のずれ量と撮像レンズ１０のデフォーカス量との関係について、図５を用いて説明する。５００は撮像素子１４の受光面としての撮像面を示している。図３および図４で説明した瞳分割により、撮像レンズ１０の射出瞳４１０は第１の瞳領域４０１と第２の瞳領域４０２に２分割されている。

デフォーカス量ｄは、被写体からの光の結像位置から撮像面５００までの距離を｜ｄ｜とするとき、結像位置が撮像面５００より被写体側にある前ピン状態を負（ｄ＜０）とし、撮像面５００より被写体側とは反対側にある後ピン状態を正（ｄ＞０）として定義される。被写体からの光の結像位置が撮像面５００にある合焦状態では、デフォーカス量ｄ＝０である。図５は、被写体面６０１に対して撮像レンズ１０が合焦状態である場合を示しており、この場合、被写体面６０２に対しては前ピン状態である。前ピン状態と後ピン状態を併せて、デフォーカス状態という。

前ピン状態では、被写体面６０２からの光のうち第１の瞳領域４０１を通過した第１の光束は、一旦集光された後に該光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面５００でぼけた被写体像を形成する。また、被写体面６０２からの光のうち第２の瞳領域４０２を通過した第２の光束は、一旦集光された後に重心位置Ｇ２を中心として幅Γ２に広がり、撮像面５００でぼけた被写体像を形成する。これらぼけた被写体像はそれぞれ複数の第１のサブ画素２０１および複数の第２のサブ画素２０２により受光される。こうして複数の第１のサブ画素２０１および複数の第２のサブ画素２０２から出力されたサブ画素信号により第１の焦点検出信号および第２の焦点検出信号が生成される。

このため、第１の焦点検出信号および第２の焦点検出信号はそれぞれ、撮像面５００上の重心位置Ｇ１，Ｇ２に被写体面６０２からの光がぼけ幅Γ１，Γ２だけぼけて形成した被写体像を示す信号となる。ぼけ幅Γ１，Γ２は、デフォーカス量ｄ（絶対値）の増加に対して概ね比例して増加する。また、第１の焦点検出信号と第２の焦点検出信号との間のずれ量（第１および第２の光束の重心位置の差Ｇ１−Ｇ２であり、以下、像ずれ量という）ｐも、デフォーカス量ｄの増加に対し概ね比例して増加する。後ピン状態（ｄ＞０）でも、第１および第２の焦点検出信号間の像ずれ量が増加する方向（正方向）が前ピン状態において像ずれ量が増加する方向（負方向）とは反対であるが、同様にデフォーカス量ｄ（絶対値）の増加に伴って像ずれ量が増加する。したがって、第１および第２の焦点検出信号間の像ずれ量（位相差）から撮像レンズ１０のデフォーカス量を算出することができる。

次に、図６を用いて、画像処理部２０が行うリフォーカス処理について説明する。画像処理部２０は、リフォーカス処理を、撮像素子１４を用いて取得された撮像画像のうち互いに異なる視点からの撮像を行う第１および第２サブ画素２０１，２０２のそれぞれに対応するサブ画素信号を用いて行う。具体的には、画像処理部２０は、これらサブ画像信号を、生成するリフォーカス画像に対応する焦点位置にある焦点面（再構成面）での画素配置に従って相対的にシフトして加算する。言い換えれば、互いに異なる視点からの撮像により得られた互いに視差を有する複数の視差画像をピントを合わせたい被写体領域が重なるようにシフト合成する。これにより、任意の焦点位置で合焦度が高いリフォーカス画像を得ることができる。

図６では、ｉを整数として、撮像素子１４の撮像面５００に配置された列方向ｉ番目の撮像画素における第１サブ画素２０１からのサブ画素信号を第１サブ画素信号Ａｉとして示している。また、同撮像画素における第２サブ画素２０１からのサブ画素信号を第２サブ画素信号Ｂｉとして示している。第１サブ画素信号Ａｉは、図４および図５に示した瞳領域４０１を通過して主光線角度θａでｉ番目の第１サブ画素２０１に入射した光を光電変換して得られる信号である。第２サブ画素信号Ｂｉは、図４および図５に示した瞳領域４０２を通過して主光線角度θｂでｉ番目の第２サブ画素２０２に入射した光を光電変換して得られる信号である。

第１サブ画素信号Ａｉと第２サブ画素信号Ｂｉはそれぞれ、光（主光線）の強度の情報だけでなく入射角度（θａ，θｂ）の情報も有する。このため、第１サブ画素信号Ａｉを入射角度θａの方向に仮想結像面７１０まで平行移動させるとともに、第２サブ画素信号Ｂｉを入射角度θｂの方向に仮想結像面７１０まで平行移動させてこれらを加算する。これにより、仮想結像面７１０での画素信号としてのリフォーカス画素信号を生成することができる。

第１サブ画素信号Ａｉを入射角度θａの方向に仮想結像面７１０まで平行移動させることは、第１サブ画素信号Ａｉを列方向に＋０．５画素分シフトすることに相当する。一方、第２サブ画素信号Ｂｉを入射角度θｂの方向に仮想結像面７１０まで平行移動させることは、第２サブ画素信号Ｂｉを列方向に−０．５画素分シフトすることに相当する。このため、第１サブ画素信号Ａｉと第２サブ画素信号Ｂｉとを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１とを加算することで仮想結像面７１０でのリフォーカス画素信号を生成することができる。同様に、第１サブ画素信号Ａｉと第２サブ画素信号Ｂｉとを整数画素分シフトさせて加算することで、整数シフト量に応じた仮想結像面でのリフォーカス画素信号を生成することができる。

なお、リフォーカス処理においては、撮像素子１４で得られる視差の大きさによってリフォーカス効果が得られるシフト量の最大値、つまりはリフォーカス処理が可能な範囲（リフォーカス可能範囲）が変化する。このため、リフォーカス処理を行う場合には、まずリフォーカス可能範囲を確認して、そのリフォーカス可能範囲内に収まるようにシフト量を制御することが望ましい。

また、リフォーカス処理によりシフト合成する複数の視差画像を、互いに異なる位置（視点）に配置した複数の撮像装置を用いて取得してもよい。

次に、図７のフローチャートを用いて、システム制御部５０が行う撮像処理について説明する。システム制御部５０は、コンピュータプログラムとしての撮像処理プログラムに従って本処理を実行する。

ステップＳ８０１では、システム制御部５０は、第１シャッタスイッチ（ＳＷ１）６２がオンになるまで待機し、ＳＷ１がオンになるとステップＳ８０２に進む。なお、システム制御部５０は、撮像素子１４にライブビュー撮像を行わせ、画像処理部２０に撮像素子１４からの撮像信号を用いてライブビュー画像を順次生成させて画像表示部２８に順次表示させる。

ステップＳ８０２では、システム制御部５０は、露光制御部４０にＡＥ処理を行わせるとともに、フォーカス制御部４２にＡＦ処理を行わせる。そして、ステップＳ８０３に進む。

ステップＳ８０３では、システム制御部５０は、第２シャッタスイッチ（ＳＷ２）６２がオンになるとステップＳ８０４に進み、ＳＷ２がオンにならなければステップＳ８０１に戻る。

ステップＳ８０４では、システム制御部５０は、撮像素子１４およびシャッタ１２を制御して本撮像を行わせ、画像処理部２０に撮像画像データ（以下、単に撮像画像という）を生成させる。ここで生成される撮像画像は、撮像素子１４の第１および第２サブ画素２０１，２０２のそれぞれに対応するサブ画素信号を含む画素信号として含む画像であり、リフォーカス画像を再構成可能な（リフォーカス処理が可能な）画像である。言い換えれば、リフォーカス画像を生成するためにシフト合成される複数の視差画像を取得可能な画像である。

次にステップＳ８０５では、システム制御部５０は、本撮像により取得された撮像画像のリフォーカス可能範囲を算出する。リフォーカス可能範囲は、撮像素子１４で得られる視差に基づいて算出してもよいし、後に再構成するリフォーカス画像の出力サイズに基づいて算出してもよい。

次にステップＳ８０６では、システム制御部５０は、本撮像により取得された撮像画像内の被写体を検出し、検出した被写体を含む画像領域を被写体領域（第１の被写体領域）として設定する。被写体の検出は、撮像画像全体において行ってもよいが、本実施例では撮像画像のうちリフォーカス可能範囲内でのみ行う。ここにいう被写体は、人物の顔や胴体、建物、動物等である。一般的な撮像においては、被写体は複数検出されるため、ここでも複数の被写体領域が設定されるものとして説明を続ける。また、被写体の検出を行わず、ユーザが選択した複数の被写体のそれぞれを含む画像領域を複数の被写体領域として設定してよい。

次にステップＳ８０７では、システム制御部（パラメータ設定手段）５０は、ステップＳ８０６で設定した被写体領域ごとに、その被写体領域に対する第１の画像処理パラメータとしての画質パラメータを設定する。画質パラメータは、ホワイトバランス処理（以下、ＷＢ処理という）、色変換処理および輝度処理のうち少なくとも１つの画像処理で用いるパラメータである。本実施例では、ＷＢ処理のためのパラメータとする。また、被写体領域に対する画質パラメータとは、これを用いて該被写体領域の画像処理を行った場合に、その被写体領域の画質が良好となるパラメータである。例えば、被写体領域に含まれる被写体が人物の顔である場合に、その顔を含む被写体領域のＷＢが良好となる画質パラメータとしてのＷＢ係数である。

次にステップＳ８０８では、システム制御部５０は、ステップＳ８０６で設定した被写体領域ごとに、それら被写体領域に含まれる被写体間の位置関係に関する情報を算出（取得）する。また、位置関係に関する情報とは、例えば奥行き方向（カメラ１００の撮像光軸方向）における被写体間の距離や相対位置を示す情報である。この際、距離や相対位置の基準となる被写体を適宜設定してもよい。例えば、撮像時にＡＥ処理によりピントが合った被写体を基準となる被写体として設定してもよい。奥行き方向での距離や相対位置は、それぞれ被写体ごとの焦点状態に関する情報であるデフォーカス量や像ずれ量から算出してもよいし、デフォーカス量や像ずれ量を奥行き方向での距離や相対位置の情報として代用してもよい。

最後にステップＳ８０９では、システム制御部５０は、画像処理部２０に、リフォーカス処理が可能な撮像画像を出力させ、記録媒体１２００またはメモリ３０に格納させる。この際、撮像画像に、ステップＳ８０７で設定した被写体領域ごとの画質パラメータやステップＳ８０８で算出した位置関係に関する情報を関連付けて記録媒体１２００に記録する（記憶させる）。

次に、図９のフローチャートを用いて、画像処理部２０が行うリフォーカス処理について説明する。画像処理用コンピュータとしての画像処理部２０は、コンピュータプログラムである画像処理プログラムに従って本処理を実行する。

ステップＳ９０１では、画像処理部２０は、ステップＳ８０９で記録媒体１２００またはメモリ３０に格納されたリフォーカス可能な撮像画像を取得する。

次にステップＳ９０２では、画像処理部２０は、ステップＳ８０４での本撮像において撮像画像とともに生成して該撮像画像に関連付けて保存した表示画像を画像表示部２８に出力してこれを表示させる。

次にステップＳ９０３では、画像処理部（選択手段）２０は、撮像画像において後に行うリフォーカス処理により新たにピントを合わせる領域としての特定被写体領域（第２の被写体領域）をユーザによる選択操作に応じて選択する。具体的には、ユーザにステップＳ９０２から画像表示部２８に表示された表示画像を見ながら操作部６６のタッチパネル等を通じて特定被写体領域の選択操作を行わせ、この選択操作に応じて画像処理部２０が特定被写体領域を設定（選択）する。画像処理部２０は、選択された特定被写体領域を、次のリフォーカス処理における目標リフォーカス領域として設定する。

なお、特定被写体領域は、撮像処理におけるステップＳ８０６で検出（設定）された複数の被写体領域に含まれていてもよいし、含まれていなくてもよい。ここでは、特定被写体領域が撮像処理において検出された複数の被写体領域のうちの１つであるものとして説明を続ける。

次にステップＳ９０４では、画像処理部（処理手段）２０は、後に行うリフォーカス処理によって生成するリフォーカス画像全体に対して行うＷＢ処理で用いる第２の画像処理パラメータとしての画質パラメータを算出（設定）する。以下の説明において、第２の画像処理パラメータとしての画質パラメータを、リフォーカス画質パラメータという。

この後、画像処理部２０は、ステップＳ９０５において目標リフォーカス領域の距離にピントを合わせたリフォーカス画像を生成し、ステップＳ９０４で設定したリフォーカス画質パラメータを用いてリフォーカス画像に対してＷＢ処理を行う。

ここで、ステップＳ９０４におけるリフォーカス画質パラメータの算出方法の例を、図９（ａ），（ｂ）を用いて説明する。リフォーカス画質パラメータの算出には、ステップＳ８０９で撮像画像データに関連付けて記憶された被写体領域ごとの画質パラメータ（第１の画像処理パラメータ）と、被写体間の位置関係に関する情報（ここでは距離の情報とする）とを用いる。なお、ここでの説明では、位置関係は上述したように奥行き方向での位置関係のみを意味し、画像面内（画面内）での位置関係は含まないものとする。ただし、画像面内での被写体間の位置関係を用いてリフォーカス画質パラメータを設定してもよい。

図９（ａ）は、撮像画像データを用いたリフォーカス処理により生成され、複数の被写体１０００，１００１，１００２のうち目標リフォーカス領域（特定被写体領域）に含まれる特定被写体１０００にピントが合わせられたリフォーカス画像を示している。図９（ｂ）は、特定被写体１０００，１００１，１００２間の位置関係を示している。被写体１００１は特定被写体１０００、すなわちピント位置から距離Ｄ１だけ遠側に離れて位置し、被写体１００２はピント位置から距離Ｄ２だけ近側に離れて位置する。このとき、リフォーカス画質パラメータは、ステップＳ８０９で記憶された被写体領域（１０００，１００１，１００２）ごとの画質パラメータを、ピント位置からの距離（つまりは特定被写体と他の被写体との位置関係）に応じて加重平均することにより算出する。具体的には、図９（ｂ）および次式に示すように、ピント位置での重みを最大である１とし、ピント位置から遠側および近側に遠ざかるほど重みを１に対してより小さくして加重平均を行う。

このように、リフォーカス画像全体に対するリフォーカス画質パラメータを、特定被写体領域に最も重きを置きながらもリフォーカス画像全体の画質バランスを考慮した画質パラメータに設定することができる。なお、画面内の被写体間の位置関係に応じたリフォーカス画質パラメータを算出する場合も、奥行き方向での位置関係に応じたリフォーカス画質パラメータの算出と同様にして算出すればよい。例えば、画面内での複数の被写体領域の重心間の距離を算出し、該距離に応じた重みを用いた加重平均により算出すればよい。

また、リフォーカス画像における被写界深度範囲を算出し、該被写界深度範囲に含まれる被写体を含む被写体領域に対する画質パラメータのみを用いてリフォーカス画質パラメータを算出してもよい。これにより、よりユーザにとって好適な画質のリフォーカス画像を生成することができる。

次にステップＳ９０６では、画像処理部２０は、ステップＳ９０５において記録用のリフォーカス画像とともに生成した表示用のリフォーカス画像を画像表示部２８に出力してこれを表示させる。

次にステップＳ９０７では、画像処理部２０は、目標リフォーカス領域の変更指示（リフォーカス画像の再生成指示）があったか否かを判定し、変更指示があればステップＳ９０４に戻り、変更指示がなければステップＳ９０８に進む。

ステップＳ９０８では、画像処理部２０は、ユーザによるリフォーカス画像の出力指示があったか否かを判定し、出力指示がなければステップＳ９０７に戻り、出力指示があればステップＳ９０９に進む。

ステップＳ９０９では、画像処理部２０は、出力画像としてのＷＢ処理後のリフォーカス画像を記録媒体１２００に出力して記録させる。

本実施例では、図９のリフォーカス処理を行う前の図８の撮像処理においてリフォーカス処理で用いる被写体領域ごとの画質パラメータや被写体間の位置関係に関する情報を予め算出して撮像画像データに関連付けて記憶しておく場合について説明した。これにより、リフォーカス処理において目標リフォーカス領域が変更されるごとの再計算量を減らすことができる。しかし、画質パラメータや位置関係に関する情報をリフォーカス処理内で算出するようにしてもよい。

また、本実施例では、被写体間の奥行き方向での位置関係をデフォーカス量や像ずれ量から算出する場合について説明したが、フォーカス量や像ずれ量を用いない他の方法で位置関係を取得してもよい。例えば、撮像画像全体に対する各被写体の割合から簡易的に距離情報を算出して位置関係を取得してもよい。具体的には、被写体領域が顔の領域である場合には、単純にその顔の領域の大きさの割合から距離を推測してもよい。

また、前述したように、特定被写体領域は、撮像処理にて検出された複数の被写体領域に含まれていなくてもよい。この場合には、上記加重平均において、複数の特定被写体領域のうち特定被写体領域の特定被写体と所定の位置関係を有する被写体を含む被写体領域に対する画質パラメータを用いて設定した画質パラメータに対する重みを最大とすればよい。特定被写体と所定の位置関係を有する被写体とは、特定被写体に最も近い被写体や、特定被写体を間に挟んで位置する被写体等である。特定被写体に最も近い被写体を含む被写体領域の画質パラメータをそのまま又は補正して特定被写体領域の画質パラメータとして用いてもよい。また、特定被写体を間に挟んで位置する被写体を含む２つの被写体領域の画質パラメータを用いた補間処理により特定被写体領域の画質パラメータを設定してもよい。
（変形例）
上記実施例では、リフォーカス画像に対する画像処理を行う場合に被写体領域ごとに画質パラメータを設定する場合について説明した。しかし、リフォーカス画像ではない撮像画像（入力画像）に対する画像処理を行う場合に被写体領域ごとに画質パラメータを設定してもよい。この場合、特定被写体領域は、ユーザが注目する被写体として選択した特定被写体を含む領域とすればよい。本変形例によれば、ユーザが注目する被写体に重きを置きつつ他の被写体の画質も良好とする画像処理を行うことで、ユーザの意思を反映した全体として高画質の撮像画像（出力画像）を生成することができる。

また、上記実施例では、画像処理装置を構成するシステム制御部５０と画像処理部２０がカメラ１００に内蔵されている場合について説明したが、画像処理装置は撮像装置と別の装置として構成されていてもよい。この場合、パーソナルコンピュータ等により構成される画像処理装置は、撮像画像のデータを通信または記録媒体を介して撮像装置から受け取ればよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する部（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２０ 画像処理部
５０ システム制御部

Claims (20)

1. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理装置であって、
   前記入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定するパラメータ設定手段と、
   前記第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理手段と、
   前記入力画像のうち第２の被写体領域を選択する選択手段とを有し、
   前記処理手段は、
   前記第２の被写体領域に含まれる被写体と前記第１の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、
   前記第１の画像処理パラメータと前記位置関係に関する情報とを用いて前記第２の画像処理パラメータを設定することを特徴とする画像処理装置。
2. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理装置であって、
   前記入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定するパラメータ設定手段と、
   前記第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理手段と、
   前記入力画像のうち第２の被写体領域を選択する選択手段とを有し、
   前記処理手段は、
   前記第２の被写体領域に含まれる被写体と前記第１の被写体領域に含まれる被写体との位置関係に関する情報を取得し、
   前記第１の画像処理パラメータと前記位置関係に関する情報とを用いて前記第２の画像処理パラメータを設定し、
   前記選択手段は、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第２の被写体領域を選択することを特徴とする画像処理装置。
3. 前記第２の被写体領域が前記複数の第１の被写体領域に含まれており、
   前記処理手段は、前記第２の被写体領域に対する前記第１の画像処理パラメータに最大の重みを付け、他の前記第１の被写体領域に対する前記第１の画像処理パラメータに前記最大の重みに対して前記位置関係に応じて異なる重みを付けて前記複数の第１の被写体領域のそれぞれに対する前記第１の画像処理パラメータを加重平均することにより、前記第２の画像処理パラメータを設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記入力画像において被写体領域を検出する検出手段を有し、
   前記パラメータ設定手段は、検出された前記第１の被写体領域ごとに前記第１の画像処理パラメータを設定することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記入力画像は、前記ピントの合うあるいは合わない領域を変更する処理として、該入力画像から取得した互いに視差を有する複数の視差画像をシフトして合成することで仮想的にデフォーカス状態を変更する処理が可能な画像であり、
   前記選択手段は、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第２の被写体領域を選択することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記入力画像は、該入力画像から互いに視差を有する複数の視差画像を取得可能な画像であることを特徴とする請求項５に記載の画像処理装置。
7. 前記入力画像は、撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子を用いて生成された画像であることを特徴とする請求項５または６に記載の画像処理装置。
8. 前記位置関係は、奥行き方向での位置関係であることを特徴とする請求項２から７のいずれか一項に記載の画像処理装置。
9. 前記位置関係は、画像面内での位置関係を含むことを特徴とする請求項８に記載の画像処理装置。
10. 前記処理手段は、前記位置関係に関する情報を、前記撮像における焦点状態に関する情報に基づいて取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記処理手段は、前記位置関係に関する情報を、前記入力画像に対する前記第１および第２の被写体領域のそれぞれの大きさの割合に基づいて取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
12. 前記処理手段は、
    前記入力画像における被写界深度範囲を取得し、
    該被写界深度範囲に含まれる前記第１の被写体領域に対して設定された前記第１の画像処理パラメータを用いて前記第２の画像処理パラメータを設定することを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記画像処理は、ホワイトバランス処理、色変換処理および輝度処理のうち少なくとも１つであることを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記入力画像は、該入力画像から互いに視差を有する複数の視差画像を取得可能な画像であり、
    前記処理手段は、前記ピントの合うあるいは合わない領域を変更する処理において、該変更後の被写体領域が重なるように前記複数の視差画像をシフト合成することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 被写体からの光により形成された光学像を撮像する撮像素子と、
    該撮像素子からの出力信号を用いて生成された撮像画像を入力画像として又は前記撮像画像を用いて生成された入力画像に対して画像処理を行う請求項１から１４のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
16. 前記パラメータ設定手段が前記撮像画像を用いて設定した前記第１の画像処理パラメータと、該処理手段が前記撮像時に取得した前記位置関係に関する情報とが記憶されており、
    前記処理手段は、記憶された前記第１の画像処理パラメータと前記位置関係に関する情報とを用いて前記画像処理を行うことを特徴とする請求項１５に記載の撮像装置。
17. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理方法であって、
    前記入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定するステップと、
    前記第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理ステップと、
    前記入力画像のうち第２の被写体領域を選択するステップとを有し、
    前記処理ステップにおいて、
    前記第２の被写体領域に含まれる被写体と前記第１の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得し、
    前記第１の画像処理パラメータと前記位置関係に関する情報とを用いて前記第２の画像処理パラメータを設定することを特徴とする画像処理方法。
18. 撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を行う画像処理方法であって、
    前記入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定するステップと、
    前記第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理ステップと、
    前記入力画像のうち第２の被写体領域を選択するステップとを有し、
    前記処理ステップにおいて、
    前記第２の被写体領域に含まれる被写体と前記第１の被写体領域に含まれる被写体との位置関係に関する情報を取得し、
    前記第１の画像処理パラメータと前記位置関係に関する情報とを用いて前記第２の画像処理パラメータを設定し、
    前記選択するステップは、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第２の被写体領域を選択することを特徴とする画像処理方法。
19. コンピュータに、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を実行させるコンピュータプログラムであって、
    前記コンピュータに、
    前記入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定する処理を行わせ、
    前記第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行わせ、
    前記入力画像のうち第２の被写体領域を選択する処理を行わせ、
    さらに前記コンピュータに、
    前記第２の被写体領域に含まれる被写体と前記第１の被写体領域に含まれる被写体との奥行方向での位置関係に関する情報を取得させ、
    前記第１の画像処理パラメータと前記位置関係に関する情報とを用いて前記第２の画像処理パラメータを設定させることを特徴とする画像処理プログラム。
20. コンピュータに、撮像を経て生成され、ピントの合うあるいは合わない領域を変更する処理が可能な入力画像に対して画像処理を実行させるコンピュータプログラムであって、
    前記コンピュータに、
    前記入力画像に含まれる複数の第１の被写体領域に対して、該第１の被写体領域ごとに第１の画像処理パラメータを設定する処理を行わせ、
    前記第１の画像処理パラメータを用いて設定した第２の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行わせ、
    前記入力画像のうち第２の被写体領域を選択する処理を行わせ、
    さらに前記コンピュータに、
    前記第２の被写体領域に含まれる被写体と前記第１の被写体領域に含まれる被写体との位置関係に関する情報を取得させ、
    前記第１の画像処理パラメータと前記位置関係に関する情報とを用いて前記第２の画像処理パラメータを設定させ、
    前記選択する処理は、前記ピントの合うあるいは合わない領域を変更する処理においてピントを合わせる被写体領域として前記第２の被写体領域を選択することを特徴とする画像処理プログラム。