JP7564635B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関し、特に撮像により得られた画像に対して、撮像後に所定の効果を付加する画像処理を適用する技術。

撮像して得られた画像について、該画像に表れる被写体像の領域を分類し、特定の領域に、あるいは領域ごとに所定の効果を付加する画像処理を適用することがある。例えば、特許文献１には、撮像画像に含まれる画素群を、該画素の像のデフォーカス量で分類し、特定のデフォーカス範囲に属する画素に対して画像処理を適用することで、異なる被写界深度の表現を示す画像を生成する技術が開示されている。

特開２００８－０１５７５４号公報

ところで、特許文献１に記載の記述では、デフォーカス量の導出は画像に基づいて行われるため、低コントラスト環境下や高いＩＳＯ感度設定で撮像を行った場合、撮像画像に生じるノイズによってデフォーカス量の導出精度は低下する。結果、所望の被写体が含まれるデフォーカス範囲を好適に特定することができず、画像処理を適用した場合に、好適な効果が表れた画像を出力できない可能性がある。

本発明は、上述の問題点に鑑みてなされたものであり、好適に被写体領域を特定し、例えば該被写体領域への所望の効果付加を実現する画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、撮像画像について、各画素に係る被写体を分類した分類情報を取得する取得手段と、撮像画像に基準領域を設定する設定手段と、分類情報に基づいて、撮像画像中の基準領域に係る被写体の像が表れる領域を示す第１の被写体マップを構成する第１の構成手段と、分類情報に基づかずに、撮像画像中の基準領域に係る被写体の像が表れる領域を示す第２の被写体マップを構成する第２の構成手段と、第１の被写体マップが示す情報に基づき、有効性を評価する評価手段と、評価手段による評価に基づき、第１の被写体マップ及び第２の被写体マップの少なくともいずれかに基づいて被写体領域を決定する決定手段と、撮像画像の被写体領域と該被写体領域以外の領域とに、それぞれ異なる画像処理を実行する実行手段と、を有し、決定手段は、被写体領域の決定に係り、第１の被写体マップの寄与率を評価手段による評価に基づいて変更することを特徴とする。

このような構成により本発明によれば、好適に被写体領域を特定し、例えば該被写体領域への所望の効果付加を実現することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を例示したブロック図 本発明の実施形態に係る撮像部１０５の詳細構成を説明するための図 本発明の実施形態に係る画像処理部１０７の機能構成を例示したブロック図 本発明の実施形態に係るデフォーカス量の導出方法を説明するための図 本発明の実施形態に係るデフォーカス量の導出方法を説明するための別の図 本発明の実施形態に係る画像処理部１０７が実行する画像効果処理を説明するための図 本発明の実施形態に係る画像効果処理で生成されるデフォーカスマップを例示した図 本発明の実施形態に係る画像効果処理で構成されるデフォーカス量のヒストグラムを例示した図 本発明の実施形態に係る画像効果処理で構成される第１の被写体マップを例示した図 本発明の実施形態に係る画像効果処理における第１の被写体マップの有効性と第２の被写体マップの寄与率とを説明するための図 本発明の実施形態に係る画像効果処理における被写体領域の決定の流れを説明するための図 本発明の実施形態に係る画像処理部１０７が実行する画像効果処理を例示したフローチャート

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、撮像範囲の被写体の奥行き方向（深度方向）の距離分布と対応する情報（デフォーカスマップ）を取得可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像と、該撮像画像の各画素に係る被写体の像を分類した分類情報を取得することが可能な任意の機器に適用可能である。

《デジタルカメラの構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図である。

システム制御部１０１は、例えばＣＰＵ等の、デジタルカメラ１００が備える各ブロックを制御する制御装置である。システム制御部１０１は、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２から読み出して、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、例えばフラッシュＲＯＭ等の書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。一方、ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が備える各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データの一時的な記憶領域としても用いられる。本実施形態では、システム制御部１０１と後述の画像処理部１０７が、ＲＡＭ１０３をワークメモリとして使用するものとする。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。

撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。撮像部１０５は、光学系１０４により撮像素子の撮像面に結像された光学像を光電変換してアナログ画像信号を得る。撮像部１０５は、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用することで、デジタル画像データ（以下では簡単に画像データとして言及）を得る。Ａ／Ｄ変換部１０６は、得られた画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、各種の画像処理を行い、画像処理後の画像データを記録媒体１０８に記録する。画像処理部１０７が行う画像処理は、例えば、ホワイトバランス調整、色補間、縮小／拡大に係る処理等を含むものであってよい。また画像処理部１０７は、画像データに現れる被写体像に対して所定の効果を付加する画像処理（画像効果処理）を適用する。

記録媒体１０８は、例えば、メモリカード等の、デジタルカメラ１００に着脱可能に構成されていてよい記録装置である。記録媒体１０８には、画像処理部１０７により画像処理が適用された画像データ（撮像画像）やＡ／Ｄ変換部１０６によりＡ／Ｄ変換された画像信号（ＲＡＷ画像）等が、記録画像として記録される。

表示部１０９は、例えばＬＣＤ等の表示装置であり、デジタルカメラ１００における各種の情報提示を行う。表示部１０９は、撮像部１０５により撮像が行われている際、Ａ／Ｄ変換された画像データを表示（スルー表示）することで、デジタルビューファインダとして機能する。

操作入力部１１０は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のユーザ入力インタフェースを含み、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号をシステム制御部１０１に出力する。また表示部１０９がタッチパネルセンサを備えている態様においては、操作入力部１１０は、表示部１０９に対してなされたタッチ操作を検出するインタフェースとしても機能する。

デジタルカメラ１００が備えるこれらの機能ブロックは、基本的にはバス１１１によって接続され、バス１１１を介してブロック間の信号のやり取りが可能に構成される。

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《撮像部の構成》
次に、本実施形態の撮像部１０５が備える撮像素子の詳細構成について、図２を参照して説明する。

撮像素子は、図２（ａ）に示されるように、複数の画素２００が２次元に規則的に配列されている。具体的には、複数の画素２００は、例えば二次元格子状に配列されている。なお、画素２００の配列構成は、格子状の配列構成に限定されるものではなく、他の配列構成が採用されるものであってもよい。

撮像面位相差測距方式の測距機能を実現すべく、各画素２００は、図２（ｂ）に示されるようにマイクロレンズ２０１と、一対の光電変換部２０２ａ及びｂ（以下、それぞれ瞳分割画素２０２ａ及びｂとして言及）を有している。瞳分割画素２０２ａ及びｂは、撮像面がｙ軸方向を長手方向とする長方形状を有する、同形同大に構成された光電変換部である。各画素２００において、瞳分割画素２０２ａ及びｂは、マイクロレンズ２０１のｙ軸方向に沿った垂直二等分線を対称軸として、線対称に配置されている。なお、瞳分割画素２０２ａ及びｂの撮像面形状は、これに限定されるものではなく、形状であってもよい。また、瞳分割画素２０２ａ及びｂの配置態様も、ｘ方向に並列に配置されるものに限られれるものではなく、他の配置態様が採用されるものであってよい。

このような構成により、本実施形態の撮像部１０５は、撮像素子の全ての画素が有する瞳分割画素２０２ａから出力された画像信号に係るＡ像と、同様に瞳分割画素２０２ｂから出力された画像信号に係るＢ像とを出力する。Ａ像とＢ像とは、合焦している位置との距離に応じた視差を有する関係にある。

より詳しくは、各画素２００において、瞳分割画素２０２ａとｂは、マイクロレンズ２０１を介して入光した光束のうちの異なる光束を受光するよう構成されているため、光学系１０４の射出瞳の異なる領域を通過した光束に係る光学像を光電変換する。即ち、この射出瞳の異なる領域（瞳分割領域）を通過した光束について、Ａ像とＢ像は生成されるものであるため、被写体を瞳分割領域の重心位置の差の分ずれた撮影位置で撮像された関係になっており、視差が生じることになる。換言すれば、Ａ像とＢ像とは、異なる視点について撮像範囲を撮像して得られた画像群に相当する。

なお、本実施形態では、撮像部１０５の撮像素子を図２のように構成することで、撮像範囲の被写体の距離分布の導出に用いられるＡ像とＢ像とを取得するものとして説明するが、Ａ像とＢ像の取得方法はこれに限られるものではない。例えば、基線長離間させて設置した複数台の撮像装置により撮像された画像群をＡ像、Ｂ像とするものでもよいし、複数の光学系と撮像部を有する１台の撮像装置（所謂、両眼カメラ等）により取得された画像群をそれぞれＡ像、Ｂ像とするものでもよい。

《画像処理部の機能構成》
次に、上述の画像効果処理を実現する画像処理部１０７の機能構成について、図３を参照して説明する。本実施形態の画像処理部１０７が行う画像効果処理は、撮像された画像（撮像画像）に含まれる人物の像の領域を被写体領域として特定し、該被写体領域を撮像時とは異なる明るさに変更する効果を付す処理であるものとして説明する。しかしながら、本発明の実施はこのような画像効果処理に限られるものではない。本発明は、所定の種類の被写体を検出し、該検出結果に基づいて被写体領域を特定するものであればよく、該被写体領域及びそれ以外の領域の少なくともいずれかに対して適用される効果はいずれであってもよい。ここで、撮像画像とは、瞳分割画素２０２ａに係り撮像されたＡ像及び瞳分割画素２０２ｂに係り撮像されたＢ像とを加算することで構成された画像（瞳分割していない状態に対応する画像）であるものとする。

生成部３００は、撮像により得られたＡ像及びＢ像に基づいて、撮像範囲の奥行き方向における被写体の距離分布を示す情報を生成する。本実施形態では生成部３００は、被写体の距離分布を示す情報として、撮像画像と対応する画素構造を有し、各画素について撮像画像の同位置に表れる被写体の像のデフォーカス量の情報を格納したデフォーカスマップを生成する。

〈デフォーカス量の導出〉
ここで、生成部３００によって生成されるデフォーカスマップに係るデフォーカス量の導出について、図を参照して説明する。本実施形態ではデフォーカス量は、撮像により得られた視差を有する画像群（Ａ像及びＢ像）に基づいて導出されるものとして説明する。

デフォーカス量の導出は、例えば図４に示されるように画像（Ａ像とＢ像）４００を、破線で示される微小ブロック４０１に分割する処理を含む。微小ブロック４０１は、例えば対象であるＡ像の各画素を着目画素とした場合に、該画素を中心とする予め定められたサイズの領域に対して設定されるものであってよい。なお、以下の説明では微小ブロック４０１は、着目画素を中心とするｍ×ｍ画素の正方領域として設定されるものとして説明するが、微小ブロック４０１の形状やサイズはいずれであってもよい。また微小ブロック４０１は着目画素ごとに設定されるものであり、異なる着目画素間で微小ブロック４０１の重複が生じてもよい。また、生成部３００は、位相差を検出するＡ像とＢ像に対して、予めバンドパスフィルタをかける処理を適用した後に、デフォーカス量の導出を行うものとしてもよい。

例えばＡ像及びＢ像の各画素について微小ブロック４０１が設定されると、両画像間で画素（着目画素）ごとに相関演算処理を行い、該画素に対応する微小ブロック４０１に含まれる像のずれ量（像ずれ量）を導出する。Ａ像及びＢ像とで同一位置の着目画素について定められた（一対の）微小ブロック４０１のデータ数（画素数）がｍである場合、該一対の微小ブロック４０１の画素データをそれぞれＥ（１）～Ｅ（ｍ）、Ｆ（１）～Ｆ（ｍ）として表現する。この場合、相関演算は、（データの）ずらし量をｋ（整数）[pixel]とすると、相関量Ｃ（ｋ）は
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）－Ｆ（ｎ＋ｋ）｜
で導出できる。ここで、Σ演算はｎについて行われ、ｎ及びｎ＋ｋは１～ｍの範囲に限定されるものとする。また、ずらし量ｋは、一対の画像データの検出ピッチを単位とした相対的シフト量である。

このように、１つの着目画素に係る一対の瞳分割画像（一対の微小ブロック４０１）について相関量を導出すると、ずらし量ｋと相関量Ｃ（ｋ）は、例えば図５のグラフに離散的に示されるような関係となる。このとき、相関が最も高い像ずれ量において相関量Ｃ（ｋ）が最小になるため、下記の３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与えるずらし量ｘを導出する。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ
Ｃ（ｘ）＝Ｃ（ｋｊ）－｜Ｄ｜
Ｄ＝{Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）}／２
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）}

ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるずらし量ｋである。このようにして求めたずらし量ｘが、１つの着目画素における像ずれ量として、距離情報に含められる。なお、像ずれ量ｘの単位も[pixel]であるものとする。

従って、各着目画素におけるデフォーカス量ＤＥＦは、像ずれ量ｘを用いて、
ＤＥＦ＝ＫＸ・ＰＹ・ｘ
で導出することができる。ここで、ＰＹは、撮像素子の画素ピッチ（撮像素子を構成する画素間距離。単位[mm/pixel]）であり、ＫＸは、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化するため、撮像時の設定の情報に応じて決定されるものとする。

このように、生成部３００は、着目画素位置を１画素ずつずらしながら繰り返し計算することで、撮像画像の各画素における被写体のデフォーカス量を導出することができる。生成部３００は、各画素のデフォーカス量を導出すると、これを画素値とする、撮像画像と同一の構造の２次元情報であるデフォーカスマップを、距離情報として生成する。即ち、デフォーカス量は、撮像画像において合焦している被写体距離からの奥行き方向の位置のずれ量に応じて変化する値であるため、デフォーカスマップは、撮像時の被写体の奥行き方向の距離分布と等価な情報である。

検出部３０１は、撮像画像中に含まれる所定の種類の被写体を検出する。本実施形態では撮像画像中の人物の領域を被写体領域として抽出すべく、検出部３０１は撮像画像中に含まれる人物の顔領域を検出する。顔領域の検出は、パターンマッチング等、従来の手法で行われるものであってよく、検出部３０１は、検出された顔領域について、該顔領域の撮像画像中の位置及びサイズの情報を検出結果として出力する。本実施形態の画像処理部１０７で行われる画像効果処理では、このように検出された顔領域が、被写体領域設定のための基準領域として設定される。

構成部３０２は、生成部３００により生成されたデフォーカスマップについて、デフォーカス量の分布を示すヒストグラム（頻度分布）を構成する。上述したように、デフォーカス量は撮像範囲に含まれる被写体の距離に対応しており、構成部３０２により構成されるヒストグラムは、撮像画像中の各画素の被写体を、その被写体距離で分類した際の各距離の頻度を示す。

抽出部３０３は、構成部３０２により構成されたヒストグラムに基づいて、被写体領域の候補となる領域の抽出を行う。本実施形態では被写体領域の候補を抽出する１つのアプローチとして、ヒストグラムに基づいて基準領域に含まれる被写体（人物の顔）が属する所定の距離範囲を特定し、該距離範囲の被写体が表れている領域を被写体領域の候補として抽出する。詳細は後述するが、抽出部３０３は、デフォーカスマップに基づいて基準領域のデフォーカス量の平均値ｄｒを導出する。そして抽出部３０３は、ヒストグラムのうちから該平均値ｄｒを含み、かつ、予め定めた閾値を上回る頻度を示すデフォーカス量の範囲（最小（下限）デフォーカス量ｄ１及び最大（上限）デフォーカス量ｄ２）を特定する。さらに抽出部３０３は、デフォーカスマップのうち、該デフォーカス量の範囲に属するデフォーカス量を示す画素を抽出することで、撮像画像中の人物の像が表れていると想定される被写体領域（候補）を特定する。

当該被写体領域の候補は、例えば、デフォーカスマップと同様に撮像画像と対応する画素構造を有し、各画素について該デフォーカス量の範囲に属するか否かの論理型の情報を格納することで構成されるものであってよい。以下、抽出部３０３により抽出される被写体領域の候補の情報を、第１の被写体マップとして言及する。

推定部３０４は、検出部３０１による顔検出結果に基づいて、被写体領域の候補となる領域を推定する。本実施形態では検出部３０１による検出対象が人物の顔領域であり、該顔領域のサイズを考慮することで、人体のその他の部位が撮像画像中にどのように分布しているかを推定することができる。即ち、人物の顔領域に対する、該人物の頭部の他のパーツ及び胴体の配置関係にはある程度の拘束条件が存在するため、顔領域が特定されれば、撮像画像中に人物の像がどのように分布しているかは推定することができる。従って、本実施形態では被写体領域の候補を抽出するもう１つのアプローチとして、検出された顔領域に対して相対的に位置及びサイズが定まる、予め定められた形状（人物外形）の領域を被写体領域の候補として抽出する。換言すれば、推定部３０４が推定して抽出する被写体領域の候補は、抽出部３０３と同様に基準領域に基づいて抽出されるものではあるが、被写体距離に基づいて抽出されていない点で異なる。

当該被写体領域の候補は、例えば撮像画像と対応する画素構造を有し、各画素について顔領域に基づいて定まる人物外形の領域に属するか否かの論理型の情報を格納することで構成されるものであってよい。以下、推定部３０４により抽出される被写体領域の候補の情報を、第２の被写体マップとして言及する。

評価部３０５は、被写体の距離分布に基づいて構成された第１の被写体マップについて、その有効性を評価する。本実施形態のデジタルカメラ１００では、第１の被写体マップは基準領域のデフォーカス量に基づいて撮像画像の全体から領域抽出を行うため、評価部３０５は、デフォーカスマップのうちの基準領域に係る情報に基づいて評価を行う。

〈第１の被写体マップの有効性〉
以下、本実施形態の画像処理部１０７において被写体領域の決定に際して行われる第１の被写体マップの有効性の評価方法について、図面を参照してさらに詳細を説明する。当該説明では、撮像範囲における被写体の分布が図６のようである態様を例にしながら説明する。図６では撮像範囲には、本実施形態において主被写体とされるべき人物被写体６０１、デジタルカメラ１００からの距離が該人物被写体６０１よりも遠い位置に木６０２、及び人物被写体６０１よりも手前から木６０２よりも奥まで延びる地面６０３が含まれる。

このような撮像範囲について、好適な条件で撮像が行われた場合、デフォーカスマップは例えば図７（ａ）に示されるように得られる。発明の理解を容易にさせるべく、図７（ａ）に例示されるデフォーカスマップは、画素値であるデフォーカス量をグレースケールに変換して可視化されている。図７（ａ）の例では、被写体距離が近い画素ほど白に近い色（画素値が高い）を示し、遠離するほど黒に近い色（画素値が低い）に示されているものとする。

このときデフォーカス量のヒストグラムは図８（ａ）のようになり、抽出部３０３は、基準領域７０１中のデフォーカス量の平均値ｄｒに基づいて、当該平均値ｄｒを含み、連続して閾値８０１を超える頻度を示す値範囲を特定する。即ち、抽出部３０３は、最小デフォーカス量ｄ１及び最大デフォーカス量ｄ２を、当該ヒストグラムに基づいて図示される値として特定する。そして、抽出部３０３は、これらの値で示されるデフォーカス量を示す画素を抽出することで、図９（ａ）のように人物被写体６０１の像を好適に該当領域とした第１の被写体マップを得ることができる。

一方、例えば撮影シーンが夕暮れのような逆光シーンではＩＳＯ感度を高くして撮像する必要がある等、上記のような好適な条件とは異なる撮像条件で撮像が行われ得る。当該撮像により得られた撮像画像（Ａ像及びＢ像を含む）では、例えば人物被写体６０１の頬や額、単色の服や空といった領域において、コントラストの低下が生じ得、結果、被写体像における特徴的な要素が表れにくくなる。また、高感度設定での撮像により、撮像画像にはノイズが含まれ得る。故に、生成部３００がこのような撮像画像に基づいてデフォーカス量を導出したとしても、その導出精度は低下し得るため、生成されるデフォーカスマップは、例えば図７（ｂ）に示されるような態様となる。図の例では、低コントラストである（所定のコントラストを示さない）ことに起因した、信頼度の低いデフォーカス量が導出されている画素が斜線を付した画素７１２で示されている。また低コントラストとは判定されないが、撮像画像に含まれるノイズの影響で周辺画素とは異なるデフォーカス量を示す（そのデフォーカス量差が急峻である）画素が、画素７１３として示されている。以下の説明では、前者を低信頼画素、後者をエラー画素として言及する。なお、デフォーカスマップの画素が、低信頼画素またはエラー画素であるか否かの情報は、例えば生成部３００がデフォーカス量の導出の際に判定され、該デフォーカスマップに関連付けて格納されるものであってよい。

従って、このようにして得られたデフォーカスマップについて、基準領域７１１中のデフォーカス量から導出される平均値ｄｒは、低信頼画素やエラー画素のデフォーカス量によって、好適な撮像条件で得られるものとは異なる。またデフォーカス量のヒストグラムも図８（ｂ）のように異なるため、抽出部３０３により特定される閾値８０１を超える頻度を示す値範囲も変化する。結果として、図８（ｂ）の最小デフォーカス量ｄ１と最大デフォーカス量ｄ２で規定される値範囲の画素を抽出すると、図９（ｂ）に示されるような第１の被写体マップが得られることになる。図示される第１の被写体マップでは、人物被写体６０１の像が該当領域として示されておらず、被写体領域の抽出結果は好適でないといえる。

このように、デフォーカスマップに基づいて構成された第１の被写体マップは、撮像条件によっては所望の被写体領域を特定できない構成となり得るため、本実施形態では評価部３０５がその有効性を評価する。有効性は、例えばデフォーカスマップの基準領域中における、信頼に足るデフォーカス量を示す画素（有効画素）が占める割合、即ち、低信頼画素とエラー画素を除外した画素の割合として定量的に示されるものであってよい。図７（ｂ）の例では、基準領域７１１は横５画素×縦４画素＝２０画素であり、このうち低信頼画素７１２の数が１０、エラー画素７１３の数が２であるため、有効画素の数は９となる。従って、有効性は９／２０＝０．４５となる。なお、本実施形態では低信頼画素及びエラー画素を除外した画素を有効画素として扱うものとして説明するが、例えば撮像条件に応じて、このうちの少なくともいずれかを除外して有効画素を設定するものとしてもよい。

決定部３０６は、第１の被写体マップと第２の被写体マップとを合成して構成されたマップに基づいて、画像効果処理の対象とする被写体領域を決定する。本実施形態の画像処理部１０７では、第１の被写体マップと第２の被写体マップの合成は、第１の被写体マップの有効性に基づいてこれらのマップを重み付け加算することで行われる。当該重みは、例えば図１０に示されるようなグラフに基づいて設定されるものであってよい。図の例では、第１の被写体マップの有効性に対する、第２の被写体マップの寄与率を百分率で示している。デフォーカスマップが図７（ｂ）のようになる態様では、第１の被写体マップの有効性は０．４５であるため、当該グラフによれば、決定部３０６は第２の被写体マップのみに基づいて被写体領域を決定する。即ち、第１の被写体マップが図１１（ａ）のような態様で、第２の被写体マップが図１１（ｂ）のような態様である場合、被写体マップの合成結果（重みによっては必ずしも合成する必要はない）は図１１（ｃ）のようになる。この場合、決定部３０６は、基準領域の位置及びサイズに基づいて特定される領域を、最終的な被写体領域として決定する。

効果処理部３０７は、処理対象である撮像画像中の決定部３０６により決定された被写体領域について、明るさを変更する処理を行う。上述したように本実施形態の画像処理部１０７では、効果処理部３０７は被写体領域の明るさを変更する処理を行うものとして説明するが、効果処理部３０７の処理内容はいずれであってもよい。

《画像効果処理》
このような構成をもつ本実施形態の画像処理部１０７の画像効果処理について、図１２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、画像処理部１０７を動作制御することで実現できる。本画像効果処理は、例えば記録媒体１０８に格納されている撮像画像に対して、人物被写体の明るさ（照明）状態を変更する指示がなされた際に開始されるものとして説明する。

Ｓ１２０１で、生成部３００は、対象画像に係るＡ像及びＢ像に基づいて、対象画像と対応するデフォーカスマップを生成する。本実施形態では記録媒体１０８に格納されている撮像画像には、撮像時に取得されたＡ像及びＢ像も関連付けて格納されているものとする。生成部３００は、生成した生成部３００を、例えばＲＡＭ１０３に格納する。またこのとき生成部３００は、各画素について導出したデフォーカス量に基づいて、該画素が低信頼画素またはエラー画素に該当するか否かの判定も行う。

Ｓ１２０２で、構成部３０２は、Ｓ１２０２において生成されたデフォーカスマップに基づいてデフォーカス量のヒストグラムを構成する。構成されたヒストグラムは、例えばＲＡＭ１０３に格納されればよい。

Ｓ１２０３で、検出部３０１は、対象の撮像画像（対象画像）について人物の顔領域の検出を行う。より詳しくは検出部３０１は、対象画像に含まれる顔領域を検出し、検出した顔領域について対象画像中の位置（座標）及びサイズの情報を出力する。また画像処理部１０７は、検出部３０１による顔検出結果に基づいて、対象画像についての基準領域を設定し、本画像効果処理の間保持するよう制御する。

Ｓ１２０４で、抽出部３０３は、基準領域の被写体についてデフォーカス量の平均値ｄｒを導出する。より詳しくは抽出部３０３は、デフォーカスマップの基準領域中の画素を参照し、デフォーカス量の平均値ｄｒを導出する。また抽出部３０３は、導出した平均値ｄｒとＳ１２０３において構成されたヒストグラムとに基づいて抽出するデフォーカス量の値範囲を特定する。そして抽出部３０３は、特定した値範囲の情報とヒストグラムとに基づいて当該値範囲に含まれる画素の配置を示した第１の被写体マップを構成し、例えばＲＡＭ１０３に格納する。

Ｓ１２０５で、評価部３０５は、Ｓ１２０４において生成された第１の被写体マップの有効性を評価する。より詳しくは、評価部３０５は、デフォーカスマップの基準領域に含まれる低信頼画素及びエラー画素の数に基づいて有効画素の数を特定し、基準領域における該有効画素の割合を導出し、有効性の情報として例えばＲＡＭ１０３に格納する。

Ｓ１２０６で、推定部３０４は、Ｓ１２０３における顔検出結果に基づいて、対象画像の人物の像が表れるであろう領域を推定する。より詳しくは推定部３０４は、予め設けられた人物外形の情報を、検出された顔領域のサイズに応じて拡縮し、さらに該顔領域に応じた位置に配置することで、対象画像中のいずれの画素に人物の像が表れるかを推定する。即ち、推定部３０４は、当該外形に内包される画素群を人物の像が表れるであろう領域として推定する。そして推定部３０４は、推定した領域の情報に基づいて第２の被写体マップを構成し、例えばＲＡＭ１０３に格納する。

Ｓ１２０７で、決定部３０６は、第１の被写体マップと第２の被写体マップとを、Ｓ１２０５において導出された有効性の情報に基づいて合成し、本画像効果処理の対象とする被写体領域を決定する。より詳しくは決定部３０６は、図１１（ａ）のグラフに基づいて有効性に対応した第１の被写体マップの合成比率（寄与率）を設定し、第１の被写体マップと第２の被写体マップを合成し、該合成後のマップにより示される情報に基づいて被写体領域を決定する。

Ｓ１２０８で、効果処理部３０７は、Ｓ１２０７において決定された被写体領域に対して、明るさ補正を行う処理を行う。当該明るさ補正は、例えば対象画像の各画素の画素値をＸ、被写体領域を示す合成後のマップの該画素の画素値をＧとすると、補正後の該画素の画素値Ｙは
Ｙ ＝ Ｘ・（１＋Ｇ／２５５）
で導出することができる。当該明るさ補正により、主被写体である人物を照明したようなライティング補正効果が付加される効果処理部３０７は、画像効果処理を適用した画像を記録媒体１０８に記録させ、本画像効果処理を完了する。

以上説明したように、本実施形態の画像処理装置によれば、好適に被写体領域を特定し、例えば該被写体領域への所望の効果付加を実現する。より詳しくは、画像処理装置は、対象画像について人物の顔領域を検出し、デフォーカスマップと該顔領域とに基づいて被写体領域を特定した第１の被写体マップと、被写体が人物であることと該顔領域とに基づいて特定した第２の被写体マップを構成する。そして画像処理装置は、前者のマップの有効性を評価した上で、これらのマップを合成することで被写体の人物の像が表れている被写体領域を決定する。これにより、対象画像が低コントラストであったりノイズを含む状況であったりしても、被写体の像に好適な画像効果を付加することができる。

なお、本実施形態では主被写体として人物の顔領域を基準領域として検出するものとして説明したが、本発明の実施はこれに限られるものではない。当該検出は、例えば人物の他の部位を検出するものであってもよいし、乗用車、ペット、植物等他の種類の被写体を、その少なくとも一部の特徴に基づいて主被写体として検出するものであってもよい。また、主被写体とする被写体の選択は、このような画像解析によるものに限られるものではなく、例えばユーザの選択操作に基づくものであってもよい。

また本実施形態では第１の被写体マップの構成に際し、デフォーカス量のヒストグラムにおいて所定の閾値８０１を超える頻度を示す値範囲を抽出対象とする態様について説明したが、当該閾値は固定値である必要はない。例えば、基準領域のデフォーカス量の平均値ｄｒ近傍のデフォーカス量のうち、頻度が最大となるデフォーカス量（ｄｍａｘ）を探索し、その頻度のＭ％（Ｍは任意の数）を閾値として設定するものであってもよい。このように構成することで、デフォーカス量がｄｍａｘに集中しているような被写体を抽出する際に閾値が相対的に厳しくなるため、他の被写体が混入してしまう可能性を低減させることができる。また、奥行き方向に延びているような被写体が存在する場合はヒストグラムの形状がブロードになるが、閾値は緩くなるので、当該被写体を漏れなく抽出でき、シーンに対する抽出精度のロバスト性を向上させることができる。

ここで、ｄｍａｘを探索するデフォーカス量の範囲は、基準領域のサイズに応じて定める方法が好適である。即ち、基準領域が大きい場合には、被写体領域のデフォーカス量が広範囲に広がる可能性があるため、ｄｍａｘの探索範囲を拡くすればよい。また逆に、基準領域が小さい場合には、異なる被写体の像が表れる領域を混入することを防ぐべく、ｄｍａｘを探索する範囲を狭くすればよい。また、ｄｍａｘを起点にデフォーカス量の範囲を特定した結果、基準領域のデフォーカス量の平均値ｄｒが含まれない場合には、該平均値ｄｒを含むように抽出する値範囲を拡げればよい。

また本実施形態では第１の被写体マップの構成に際し、基準領域のデフォーカス量の平均値ｄｒを基準として、ヒストグラムから所定の閾値を上回る頻度のデフォーカス量の値範囲を抽出するものとして説明したが、本発明の実施はこれに限られるものではない。例えば処理負荷を低減すべく、顔領域と胴体の領域を基準領域として設定し、該基準領域に分布するデフォーカス量に基づいて、その最小デフォーカス量ｄ１と最大デフォーカス量ｄ２を定めるものとしてもよい。

また本実施形態では有効性の評価を、基準領域として設定された顔領域の有効画素に基づいて導出するものとして説明したが、本発明の実施はこれに限られるものではない。人物の像は、特に額や首の周辺でコントラストが低くなり低信頼画素となる傾向にあるため、これらの存在を考慮すべく、有効性の評価の際には、対象とする基準領域を顔領域のサイズから縦方向に拡張して行ってもよい。即ち、有効性の判断については、検出された被写体の種類に応じて、基準領域を拡張して行うものとしてもよい。

また本実施形態では、人物外形を示す予め定められた形状の情報を、検出された顔領域の位置及びサイズに基づいて調整した上で第２の被写体マップを構成するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、被写体の個体差を吸収すべく、人物被写体６０１の顔器官位置、関節位置や姿勢情報等を検出して、該人物被写体に合わせた形状に変形させるようにしてもよい。

また本実施形態では、主被写体として検出する被写体の種類を人物としていたため、第２の被写体マップは人物の外形の形状に基づいて構成されるものとして説明したが、本発明の実施はこれに限られるものではない。即ち、基準領域用に検出される被写体の種類に応じて、第２の被写体マップを構成するために用いる形状を異ならせるものであってもよいことは言うまでもない。またこの他、機械学習に基づいた意味的領域分割等の手法を採用して、人物、乗用車、ペット、植物等の形状を特定して第２の被写体マップを構成するものとしてもよい。

また、本実施形態では第１の被写体マップの有効性を基準として最終的な被写体領域を決定する方式について説明したが、本発明の実施はこれに限られるものではない。例えば、主被写体が画角において占める割合が小さいような撮像条件（主被写体までの距離が遠い、広角レンズを使用している等）、つまり被写界深度が深い撮像条件ではデフォーカスマップの分解能が低減し得る。このような条件では、デフォーカス量に基づく主被写体の像の抽出精度が低下し得る。また、例えば撮像画像における基準領域の画素数が小さい場合、有効性の導出に用いられるサンプル数が少なくなり、結果として、適切な有効性の導出がなされない可能性もある。従って、基準領域のサイズが所定のサイズよりも小さい場合には、被写体領域の決定に係るマップの合成において、第２の被写体マップの重みを高くするよう決定部３０６を制御してもよい。あるいは、基準領域のサイズが所定のサイズよりも小さい場合には、被写体領域の決定に係るマップの合成において、第１の被写体マップの重みを低くするよう評価部３０５を制御してもよい。

また本実施形態では画像効果処理として、第１の被写体マップと第２の被写体マップとに基づいて決定した被写体領域に対し、明るさ補正を行う画像処理を適用する態様について説明したが、本発明の実施はこれに限られるものではない。本発明の実施において、適用される画像処理の内容はシャープネス調整やコントラスト調整等いずれであってもよく、また画像処理が適用される領域も被写体領域ではなく、被写体領域以外の領域であってもよい。本発明は、被写体領域を特定し、該領域と該領域外とで異なる種類の画像処理を実行する（いずれか一方には画像処理を実行しないことも含む）ものであれば、適用可能である。

また、本実施形態ではデジタルカメラ１００が撮像面位相差測距方式の測距機能を有する撮像素子を有し、撮像画像とともに視差を有する関係の画像群を取得することで、デフォーカスマップを生成するものとして説明したが、本発明の実施はこれに限られない。撮像範囲に係る距離情報は、撮像画像と同時に取得されるものでなく、予め記録媒体１０８等に記録されているものであってもよい。

また、本実施形態ではデフォーカスマップは視差を有する関係にある画像群に基づいて生成されるものとして説明したが、撮像画像に対応し、撮像範囲における被写体の距離分布を取得可能であれば、この方式に限られるものではない。デフォーカスマップの生成方式は、例えばピントや絞り値が異なる２枚の画像の相関からデフォーカス量を導出するＤＦＤ（Depth From Defocus）方式であってもよい。あるいは、被写体の距離分布は、ＴＯＦ（Time of Flight）方式等の測距センサモジュールから得た距離分布に関連する情報を用いて導出されるものであってもよい。または、コントラスト測距方式によるものでもよい。いずれの方式で得た距離分布であっても、距離分布における注目被写体領域の有効性に応じて、代替シルエットと合成する態様とすることで、同様に本発明を実現することができる。

また、本実施形態では第１の被写体マップの構成に係り、撮像範囲に含まれる被写体の距離分布を示したデフォーカスマップを参照する態様について説明したが、本発明の実施はこれに限られるものではない。被写体の距離分布を示す情報は、デフォーカス量ではなく、例えば撮像画像の各画素の像について、デフォーカス量の導出過程で得られたずらし量（像ずれ量）や、デフォーカス量に基づく被写体距離を値を格納して構成された二次元情報であってもよい。前者の場合、撮像素子の画素ピッチＰＹや一対の測距瞳を通過する光束の重心の開き角で定まる変換係数ＫＸを保持しておく必要がなく、情報量を減らすことができる。また後者の場合は、ユーザが把握しやすい数値となっているため、例えば表示部１０９を介して処理の過程で提示することで、どのような表現の画像が生成されるかをユーザに提示することができる。この他、デフォーカス量を焦点深度（例えば、１Ｆδ。Ｆは絞り値、δは許容錯乱円径）で正規化した値を格納した二次元情報を参照する態様としてもよい。ここで、絞り値Ｆは像高中央付近の絞り値を代表値として全面固定値としてもよいし、光学系のケラレで周辺像高の絞り値が暗くなるのを加味した絞り値分布を適用するようにしてもよい。

また、本実施形態では第１の被写体マップの構成に係りデフォーカスマップを参照する態様について説明したが、本発明の実施はこれに限られるものではない。第１の被写体マップの構成に係り参照される情報は、対象画像の各画素に対応する被写体を、所定の基準で分類した情報（分類情報）であればよく、対象画像または対象画像と対応して撮像された画像（Ａ像及びＢ像等）に基づいて構成される。分類情報は、好適には撮像画像と同様の画素構造を有する二次元情報であり、対象画像の各画素の被写体についての分類結果を同位置の画素に格納して構成されるものであればよい。ここで、分類は複数存在し、これらの分類について、例えば大きさや画素値等、分類に係る所定の基準に応じて序列が定められているものとする。従って、分類情報は、被写体距離を示す情報に限らず、連続して撮像された撮像画像に基づいて得られた、被写体の像の経時変化に基づく動きベクトルの分布を示した動きベクトル情報（オプティカルフロー）であってもよい。あるいは、分類情報は、対象画像の色情報を基に被写体の像の色をラベリングした色ラベリング情報（色分布、色ラベルマップ）等であってもよい。この他、参照される二次元情報は、機械学習に基づいた意味的領域分割等に基づく被写体マップであってもよい。意味的領域分割を利用する場合は、第２の被写体マップの構成にはそれ以外の方式を用いる必要があるが、人型の固定形状マップを用いる等、シーン変化によりロバストな方式を選択するようにすればよい。

また本実施形態では、撮像機能を備えた撮像装置であるデジタルカメラ１００に、被写体領域の決定及び画像効果処理を行う機能が実装されている例について説明したが、本発明の実施がこれに限られるものではないことは容易に理解されよう。本発明は、撮像画像と、該撮像画像の各画素に係る被写体の像を分類した分類情報を取得可能に構成された装置であれば実施可能であるし、撮像装置と画像処理装置を有する撮像システムを用いても実施可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：システム制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録媒体、１０９：表示部、１１０：操作入力部、１１１：バス、２００：画素、２０１：マイクロレンズ、２０２：瞳分割画素、３００：生成部、３０１：検出部、３０２：構成部、３０３：抽出部、３０４：推定部、３０５：評価部、３０６：決定部、３０７：効果処理部

Claims (13)

1. 撮像画像について、各画素に係る被写体を分類した分類情報を取得する取得手段と、
   前記撮像画像に基準領域を設定する設定手段と、
   前記分類情報に基づいて、前記撮像画像中の前記基準領域に係る被写体の像が表れる領域を示す第１の被写体マップを構成する第１の構成手段と、
   前記分類情報に基づかずに、前記撮像画像中の前記基準領域に係る被写体の像が表れる領域を示す第２の被写体マップを構成する第２の構成手段と、
   前記第１の被写体マップが示す情報に基づき、有効性を評価する評価手段と、
   前記評価手段による評価に基づき、前記第１の被写体マップ及び前記第２の被写体マップの少なくともいずれかに基づいて被写体領域を決定する決定手段と、
   前記撮像画像の前記被写体領域と該被写体領域以外の領域とに、それぞれ異なる画像処理を実行する実行手段と、
   を有し、
   前記決定手段は、前記被写体領域の決定に係り、前記第１の被写体マップの寄与率を前記評価手段による評価に基づいて変更することを特徴とする画像処理装置。
2. 前記分類情報は、前記撮像画像または該撮像画像と対応して撮像された画像を参照することで、各画素に係る被写体を分類した情報であり、
   前記評価手段は、前記各画素に係る被写体の分類に参照された画像に基づいて、前記第１の被写体マップの有効性を評価する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記各画素に係る被写体の分類に参照された画像の、前記基準領域中に含まれる有効画素の割合に基づいて、前記第１の被写体マップの有効性を評価する請求項２に記載の画像処理装置。
4. 前記評価手段は、前記第１の被写体マップの有効性の評価に際して、前記基準領域に係る被写体の種類に応じて、前記基準領域を拡張する請求項３に記載の画像処理装置。
5. 前記有効画素は、前記各画素に係る被写体の分類に参照された画像のうちの、所定のコントラストを示さない画素及びノイズを示す画素の少なくともいずれかを除外した画素であることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記分類情報は、深度方向の被写体距離の分布を示した距離情報、被写体の像の経時変化に基づく動きベクトルの分布を示した動きベクトル情報、被写体の像の色分布を示した色ラベリング情報、及び機械学習により意味的領域分割された情報のいずれかであることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記分類情報には、序列が定められた複数の分類が含まれ、
   前記第１の構成手段は、前記分類情報の各分類についての頻度分布のうち、前記基準領域が該当する分類を含み、かつ、所定の閾値を超える頻度を示す連続した分類の範囲に含まれる画素を、前記基準領域に係る被写体の像が表れる領域とするように前記第１の被写体マップを構成することを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記評価手段は、前記基準領域のサイズが小さいほど、低い有効性を示すよう評価することを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
9. 前記第２の構成手段は、前記基準領域に係る被写体の種類について予め定められた形状の領域を、前記基準領域に係る被写体の像が表れる領域とするように前記第２の被写体マップを構成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記基準領域に係る被写体は、人物であり、
    前記設定手段は、前記撮像画像に含まれる人物の顔領域を検出する検出手段を含み、
    前記第２の構成手段は、前記基準領域を含む人物外形の形状の領域を、前記基準領域に係る被写体の像が表れる領域とするように前記第２の被写体マップを構成する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記撮像画像を撮像する撮像手段と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
12. 画像処理装置が撮像画像に対して実行する画像処理方法であって、
    前記撮像画像について、各画素に係る被写体を分類した分類情報を取得する取得工程と、
    前記撮像画像に含まれる所定の種類の被写体の像の一部が表れる領域を基準領域として設定する設定工程と、
    前記分類情報に基づいて、前記撮像画像中の前記基準領域に係る被写体の像が表れる領域を示す第１の被写体マップを構成する第１の構成工程と、
    前記分類情報に基づかずに、前記撮像画像中の前記基準領域に係る被写体の像が表れる領域を示す第２の被写体マップを構成する第２の構成工程と、
    前記第１の被写体マップが示す情報に基づき、有効性を評価する評価工程と、
    前記評価工程における評価に基づき、前記第１の被写体マップ及び前記第２の被写体マップの少なくともいずれかに基づいて被写体領域を決定する決定工程と、
    前記撮像画像の前記被写体領域と該被写体領域以外の領域とに、それぞれ異なる画像処理を実行する実行工程と、
    を有し、
    前記決定工程において、前記被写体領域の決定に係り、前記第１の被写体マップの寄与率を前記評価工程における評価に基づいて変更することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images