JP6556033B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、画像内に存在する被写体像のうち、人間の視覚的に目立ち易い被写体像を主被写体像として検出する主被写体領域検出技術が開示されている（特許文献１）。
特許文献１では、撮像画像を複数のブロックに分割し、撮像画像の画像周辺部（撮像画像端部）の輝度平均値と画像中央部の各ブロックの輝度との差、及び、画像周辺部の色平均値と画像中央部の各ブロックの色との差に基づき、主被写体領域を検出している。ここで、画像周辺部の輝度平均値及び色平均値と画像中央部の各ブロックの輝度及び色との差は、画像周辺部すなわち背景領域に対して、画像中央部のブロックの領域がどの程度前景になっているかを示す評価値と考えられる。このため、以下の説明では、その評価値を前景度と呼ぶことにする。

特開２００７−１５８９４１号公報

ところで、光学系による周辺光量落ちが発生した場合、画像中央部と比較して、画像周辺部は暗く撮像される。この場合、前景度を求める際に使用される、画像周辺部の輝度及び色の信号値のレベルは、画像中央部の信号レベルと比較して低くなる。したがって、意図しない領域の前景度が大きな値として算出されてしまうことがあり、この場合、主被写体領域を誤検出してしまう虞がある。
また、主被写体領域検出技術を採用したカメラは、撮影の際、撮像デバイスによる撮像画像から前述のように主被写体領域を検出し、その主被写体領域に対応した被写体に合焦させるようなＡＦ（オートフォーカス）制御が行われる。このことから、主被写体領域の検出処理には即時性が求められることになり、例えば前述のような周辺光量落ちが発生している場合には、その周辺光量落ちによる影響を速やかに低減する必要がある。

本発明はこのような問題点に鑑みてなされたものであり、周辺光量落ちによる影響を速やかに低減して主被写体領域の誤検出を少なくすることを可能にする画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の画像処理装置は、撮像画像を複数のブロックに分割した各ブロック領域の特徴量と、前記撮像画像の画像枠に接した所定の領域の特徴量とを求め、周辺光量落ちの補正が行われる際に用いられる補正情報に基づいて、前記所定の領域の前記特徴量を補正する補正手段と、前記各ブロック領域の特徴量と前記所定の領域の前記補正が行われた後の特徴量とに基づいて、前記各ブロック領域と前記所定の領域との差異を表す評価値を求め、前記評価値に基づいて、前記撮像画像の中から主被写体領域を検出する検出手段と、を有することを特徴とする。

本発明によれば、周辺光量落ちによる影響を速やかに低減して主被写体領域の誤検出を少なくすることができる。

実施形態の撮像装置の概略構成を示す図である。 第１の実施形態の主被写体領域検出部の構成例を示す図である。 周辺光量落ち補正ゲインの特性例の説明図である。 第１の実施形態の主被写体領域検出部のフローチャートである。 分割ブロック領域及び背景領域の説明図である。 背景分割領域の説明図である。 第２の実施形態の主被写体領域検出部の構成例を示す図である。 第２の実施形態の主被写体領域検出部のフローチャートである。 頻度分布と二値化閾値の説明図である。 周辺光量落ちと分割ブロック領域の説明図である。 第３の実施形態の主被写体領域検出部の構成例を示す図である。 第３の実施形態の主被写体領域検出部のフローチャートである。

以下、図面を参照しながら本発明の好適な実施の形態について説明する。
＜第１の実施形態＞
図１は、本実施形態の画像処理装置の一例である撮像装置１００の概略構成を示す図である。
図１において、レンズ１０１は、ズームレンズ、フォーカスレンズを含むレンズ光学系である。シャッタ１０２は、絞り機能を備えたメカニカルシャッタである。撮像部１０３は、ＣＣＤやＣＭＯＳ素子等により構成され、レンズ１０１により撮像面上に形成された光学像を電気信号（撮像信号）に変換する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されたアナログ撮像信号をデジタル撮像信号（撮像画像データ）に変換する。ＡＦセンサ１０５は、ＣＣＤやＣＭＯＳ素子等からなる複数のラインセンサにより構成されたＡＦ（オートフォーカス）制御のためのセンサである。ＡＦ用Ａ／Ｄ変換器１０６は、ＡＦセンサ１０５から出力されたアナログ信号をデジタル信号に変換する。画像処理部１０７は、Ａ／Ｄ変換器１０４から出力された撮像画像データに対し、ホワイトバランス処理やγ処理などの各種画像処理を行う。メモリ部１０８は、画像及び種々の補正量を記憶する。メモリ制御部１０９は、メモリ部１０８に対するデータの書き込みと読み出しを制御する。Ｄ／Ａ変換器１１０は、メモリ制御部１０９を介して供給されたデジタル信号をアナログ信号に変換する。表示部１１１は、ＬＣＤ（液晶ディスプレイ）等である。コーデック部１１２は、画像データを圧縮符号化・復号化する。記録媒体１１３は、画像データ等を記録するメモリカードやハードディスク等である。記録Ｉ／Ｆ１１４は、記録媒体１１３とのインタフェースである。主被写体領域検出部１１５は、撮像画像から主被写体の画像領域（以下、主被写体領域と表記する。）を検出する。システム制御部５０は、撮像装置１００のシステム全体を制御する。操作部１２０は、ユーザからの各種の操作指示を入力するための操作デバイスである。電源スイッチ１２１は電源をオン／オフするためのスイッチである。電源部１２２は、撮像装置１００の各部に電力を供給する。不揮発性メモリ１２３は、電気的に消去・記録可能な例えばＥＥＰＲＯＭ等である。システムタイマ１２４は、各種制御に用いる時間や内蔵された時計の時間等を計測する。システムメモリ１２５は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２３から読み出したプログラム等が展開されるメモリである。

以下、図１に示した構成の撮像装置１００における撮影時の基本的な処理の流れについて説明する。
撮像部１０３は、レンズ１０１及びシャッタ１０２を介して撮像面に入射した光を光電変換し、撮像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されたアナログ撮像信号をデジタル撮像信号に変換して画像処理部１０７に出力する。ＡＦセンサ１０５は、レンズ１０１及びシャッタ１０２を介して入射した光を、それぞれが一対となされた複数のラインセンサにより分割受光して光電変換し、その受光信号をＡＦ用Ａ／Ｄ変換器１０６へ出力する。ＡＦ用Ａ／Ｄ変換器１０６はＡＦセンサ１０５から出力されたアナログ信号をデジタル信号に変換して、システム制御部５０に出力する。システム制御部５０は、一対のラインセンサから出力された受光信号に基づいて、被写体からの光束の分割方向における相対的位置ずれ量を検出し、相対的な位置ずれ量に基づいてフォーカスレンズを駆動するＡＦの制御を行う、いわゆる位相差ＡＦ制御を行う。

画像処理部１０７は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０９がメモリ部１０８から読み出した画像データに対し、ホワイトバランス処理やγ処理などの各種画像処理を行う。画像処理部１０７から出力された画像データは、メモリ制御部１０９を介してメモリ部１０８に書き込まれる。また、画像処理部１０７では、撮像部１０３の撮像による画像データを用いて所定の演算処理を行って、その演算結果をシステム制御部５０に出力する。システム制御部５０は、画像処理部１０７から得られた演算結果に基づいて、絞りやシャッタースピードを制御して露光量を制御する露光制御や、測距制御を行う。これにより、ＡＥ（自動露出）処理、ＡＦ処理などが実現される。

メモリ部１０８は、撮像部１０３の撮像による画像データや、表示部１１１に表示するための画像データ、後述する周辺光量落ちの補正情報である補正ゲインデータ等を格納する。Ｄ／Ａ変換器１１０は、メモリ部１０８に格納されている画像表示用の画像データをアナログ信号に変換して表示部１１１に供給する。表示部１１１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１０からのアナログ信号に応じた表示を行う。コーデック部１１２は、メモリ部１０８に記録された画像データを、ＪＰＥＧやＭＰＥＧなどの規格に基づき圧縮符号化し、また、圧縮符号化されている画像データについては復号化する。

主被写体領域検出部１１５は、撮像画像データから主被写体領域を検出し、その主被写体領域の情報をシステム制御部５０に出力する。主被写体領域検出部１１５の詳細については後述する。システム制御部５０は、主被写体領域の情報に基づき、所定の処理を優先する領域を決定する。ここで、所定の処理とは、例えば、撮像画像データ内に複数の被写体領域が存在する場合に、主被写体領域に対応した被写体に合焦するようにＡＦ制御する処理が挙げられる。また、所定の処理は、撮像画像データ内に複数の被写体領域が存在する場合に、主被写体領域に対応した被写体が適正な明るさで撮像されるようにＡＥ制御する処理も含まれる。

上述したような基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２３に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２３から読み出したプログラム等がシステムメモリ１２５に展開される。

以下、本実施形態において特徴的な処理を行う主被写体領域検出部１１５に関して、詳しく説明する。
図２は、主被写体領域検出部１１５の概略的な構成を示す図である。
主被写体領域検出部１１５は、背景領域設定部２０１、背景領域特徴量算出部２０２、特徴量補正量算出部２０３、背景領域特徴量補正部２０４、分割ブロック領域特徴量算出部２０５、前景度算出部２０６、主被写体領域抽出部２０７等を有して構成されている。主被写体領域検出部１１５は、メモリ部１０８から読み出された撮像画像データ及び周辺光量落ちの補正情報である補正ゲインデータが入力され、後述するようにして主被写体領域を検出する。

ここで、周辺光量落ちとは、撮影条件及び撮影レンズに固有の特性であり、撮像画像の画像中央部に比べて画像周辺部の明るさが低下（暗く）なってしまう状態のことである。このように、周辺光量落ちが生じている場合、撮像画像内の明るさは不均一になる。周辺光量落ち補正ゲインデータは、撮像画像内で不均一になっている明るさを略々均一にするような所定の補正を行うための補正情報であり、画像周辺部の明るさに対するゲインを上げるようなデータとなされている。より具体的には、周辺光量落ち補正ゲインデータは、図３に示すように、撮像画像の像高ｒに対する補正ゲイン量のデータとして用意されている。なお、像高とは、撮像面における光軸から各像点までの距離である。周辺光量落ち補正ゲインデータは、定性的な特性としては、像高ｒが大きくなるほど、つまり画像の周辺部になるほど補正ゲイン量が大きくなり、像高ｒが１００％のところで補正ゲイン量が最大値Ｇ＿ｍａｘとなるようなデータとなされている。

図２に示した主被写体領域検出部１１５で行われる処理について、図４のフローチャートを用いて説明する。なお以下の説明では、図４の各処理のステップＳ４０１〜ステップＳ４０８を、Ｓ４０１〜Ｓ４０８と略記する。図４のフローチャートの処理は、例えばＣＰＵが本実施形態のプログラムを実行することで実現されてもよい。
図４のフローチャートの処理は、例えば撮像装置１００において撮像が開始されたときにスタートする。図４のフローチャートの処理がスタートすると、先ずＳ４０１の処理として、背景領域設定部２０１により背景領域の設定処理が行われる。背景領域とは、撮像画像内で背景とみなすことができる所定の領域、つまり、主被写体が存在しない可能性が高い画像領域のことである。本実施形態の場合、背景領域設定部２０１は、撮像画像内で背景とみなすことができる所定の背景領域を、撮像画像の画像枠の下端辺を除いた、上端辺と右端辺と左端辺の３辺に隣接した画像領域に設定する。

具体的には、背景領域設定部２０１は、撮影画角を図５（ａ）に示すような所定サイズの矩形領域（以下、分割ブロック領域と表記する。）に分割する。そして、背景領域設定部２０１は、横撮影の場合には、図５（ａ）のような撮影画角内の各分割ブロック領域５０１のうち、図５（ｂ）の網掛け線で示した各分割ブロック領域５０２からなる門状の画像領域を、背景領域とする。なお、横撮影とは、撮影画角に対応した長方形の撮影フレームの長尺辺を略々水平方向に合わせた状態で行われる撮影のことである。また、背景領域設定部２０１は、縦撮影の場合には、図５（ａ）のような撮影画角内の各分割ブロック領域５０１のうち、図５（ｃ）の網掛け線で示した各分割ブロック領域５０３からなる門状の画像領域を、背景領域とする。なお、縦撮影とは、撮影画角に対応した長方形の撮影フレームの長尺辺を略々垂直方向に合わせた状態で行われる撮影のことである。ここで、画像枠の下端辺に隣接した画像領域を背景領域に含めない理由は、ポートレート撮影等では主被写体である人物の画像領域が、画像枠の下端辺に接していることが多いからである。このように主被写体である人物の画像領域の一部が背景領域に含まれてしまう状態になるのを防ぐために、画像枠の下端辺の隣接画像領域を背景領域に含めないようにしている。背景領域設定部２０１は、前述のようにして設定した背景領域に属する各分割ブロック領域の位置情報を、背景領域情報として背景領域特徴量算出部２０２及び特徴量補正量算出部２０３へ出力する。Ｓ４０１の後、主被写体領域検出部１１５の処理は、背景領域特徴量算出部２０２にて行われるＳ４０２に進む。

Ｓ４０２では、背景領域特徴量算出部２０２は、撮像画像内の背景領域に属する分割ブロック領域ごとに、画像データの特徴量を算出する。本実施形態において、特徴量は、分割ブロック領域の輝度値Ｙの平均値と色差値Ｕの平均値と色差値Ｖの平均値とからなる。以下の説明では、分割ブロック領域ｉにおける輝度値Ｙの平均値を輝度平均値Ｙｂ＿ａｖｅ［ｉ］と表記し、分割ブロック領域ｉにおける色差値Ｕ，Ｖの平均値をそれぞれ色差平均値Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］と表記する。また以下、特徴量の輝度と色差を区別せずに説明する場合には、「特徴量Ｙｂ＿ａｖｅ［ｉ］，Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］」、又は、単に「特徴量」と表記する。背景領域特徴量算出部２０２は、Ｓ４０２で背景領域に属する分割ブロック領域から算出した特徴量の情報を、背景領域特徴量補正部２０４へ出力する。Ｓ４０２の後、主被写体領域検出部１１５の処理は、特徴量補正量算出部２０３にて行われるＳ４０３に進む。

Ｓ４０３では、特徴量補正量算出部２０３は、背景領域に属する分割ブロック領域から算出した特徴量に対する補正量を算出する。ここで、本実施形態における特徴量の補正は、ゲイン補正となされている。したがって、特徴量補正量算出部２０３が算出する補正量は、背景領域に属する分割ブロック領域の輝度平均値Ｙｂ＿ａｖｅ［ｉ］及び色差平均値，Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］に対する補正ゲインを示す値である。特徴量補正量算出部２０３は、図３に示した周辺光量落ち補正ゲインデータと、背景領域設定部２０１にて設定された背景領域情報とに基づいて、補正ゲインを算出する。具体的には、像高ｒに対する周辺光量落ち補正ゲインデータをＧ（ｒ）、着目する分割ブロック領域ｉの代表像高値をｒ［ｉ］とした場合、特徴量補正量算出部２０３は、式（１）により分割ブロック領域ｉに対する補正ゲインＧ＿ｓｈｄ［ｉ］を算出する。

Ｇ＿ｓｈｄ［ｉ］＝Ｇ（ｒ［ｉ］） 式（１）

ここで、代表像高値ｒ［ｉ］は、例えば着目する分割ブロック領域ｉの重心位置における像高値として算出される。式（１）のＧ（ｒ［ｉ］）は、分割ブロック領域ｉの代表像高値ｒ［ｉ］に対する周辺光量落ち補正ゲインデータである。特徴量補正量算出部２０３は、背景領域に属する各分割ブロック領域ｉについてそれぞれ算出した各補正ゲインＧ＿ｓｈｄ［ｉ］の情報を、背景領域特徴量補正部２０４へ出力する。Ｓ４０３の後、主被写体領域検出部１１５の処理は、背景領域特徴量補正部２０４にて行われるＳ４０４に進む。

Ｓ４０４では、背景領域特徴量補正部２０４は、背景領域に属する分割ブロック領域ｉの特徴量Ｙｂ＿ａｖｅ［ｉ］，Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］を、分割ブロック領域ｉの補正ゲインＧ＿ｓｈｄ［ｉ］により補正する。具体的には、背景領域特徴量補正部２０４は、特徴量Ｙｂ＿ａｖｅ［ｉ］，Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］と補正ゲインＧ＿ｓｈｄ［ｉ］とを用い、式（２）により、補正後の特徴量Ｙｂ＿ａｖｅ'，Ｕｂ＿ａｖｅ'，Ｖｂ＿ａｖｅ'を算出する。

ここで、式（２）の「Σ」は、背景領域に属している全ての分割ブロック領域ｉにおいてそれぞれ特徴量Ｙｂ＿ａｖｅ［ｉ］，Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］が補正ゲインＧ＿ｓｈｄ［ｉ］により補正された値を、加算することを意味している。すなわち、式（２）により算出される特徴量Ｙｂ＿ａｖｅ'，Ｕｂ＿ａｖｅ'，Ｖｂ＿ａｖｅ'は、前述したような分割ブロック領域ごとの特徴量ではなく、背景領域の全ての分割ブロック領域について加算がなされた、背景領域における特徴量である。このため、以下の説明では、背景領域の全ての分割ブロック領域について加算がなされた特徴量を、「補正後の背景領域特徴量Ｙｂ＿ａｖｅ'，Ｕｂ＿ａｖｅ'，Ｖｂ＿ａｖｅ'」、又は、単に「補正後の背景領域特徴量」と呼ぶことにする。背景領域特徴量補正部２０４は、式（２）で算出した補正後の背景領域特徴量を、前景度算出部２０６へ出力する。Ｓ４０４の後、主被写体領域検出部１１５の処理は、分割ブロック領域特徴量算出部２０５にて行われるＳ４０５に進む。

Ｓ４０５では、分割ブロック領域特徴量算出部２０５は、前述した図５（ａ）の撮像画像の中の全ての分割ブロック領域５０１について、それぞれ分割ブロック領域５０１ごとの特徴量を算出する。Ｓ４０５及びその後のＳ４０６の処理は、撮像画像の中の全分割ブロック領域５０１について特徴量が算出されるまで繰り返される。具体的には、撮像画像内の、ある分割ブロック領域５０１の番号をｉ（ｉ＝１，２，３，・・・，Ｎ）とした場合、分割ブロック領域特徴量算出部２０５は、その分割ブロック領域ｉの特徴量Ｙ＿ａｖｅ［ｉ］，Ｕ＿ａｖｅ［ｉ］，Ｖ＿ａｖｅ［ｉ］を算出する。ここで、Ｎは、図５（ａ）に示したような撮像画像内の分割ブロック領域５０１の個数に対応している。分割ブロック領域特徴量算出部２０５は、Ｓ４０５において算出した分割ブロック領域ｉの特徴量を、前景度算出部２０６へ出力する。Ｓ４０５の後、主被写体領域検出部１１５の処理は、前景度算出部２０６にて行われるＳ４０６に進む。

Ｓ４０６では、前景度算出部２０６は、撮像画像の中の各分割ブロック領域ｉについて前景度Ｆ［ｉ］の算出を行う。本実施形態において、前景度とは、撮像画像の中の各分割ブロック領域ｉが、画像周辺部（画像端部）の背景領域に対して、どの程度の差異を有するかを評価するための評価値である。前景度算出部２０６は、分割ブロック領域ｉの特徴量Ｙ＿ａｖｅ［ｉ］，Ｕ＿ａｖｅ［ｉ］，Ｖ＿ａｖｅ［ｉ］と、前述した補正後の背景領域特徴量Ｙｂ＿ａｖｅ'，Ｕｂ＿ａｖｅ'，Ｖｂ＿ａｖｅ'とを用いた式（３）により、前景度Ｆ［ｉ］を算出する。

Ｆ［ｉ］＝｜Ｙ＿ａｖｅ［ｉ］−Ｙｂ＿ａｖｅ'｜＋｜Ｕ＿ａｖｅ［ｉ］−Ｕｂ＿ａｖｅ'｜＋｜Ｖ＿ａｖｅ［ｉ］−Ｖｂ＿ａｖｅ'｜ 式（３）

式（３）で算出される前景度Ｆ［ｉ］は、背景領域特徴量と、着目する分割ブロック領域ｉの特徴量との、差分絶対値の和である。したがって、前景度Ｆ［ｉ］の値が大きいほど、そのときの分割ブロック領域ｉは、背景領域に対して相違度（差異）が大きく、背景ではない被写体つまり前景被写体に属する分割ブロック領域である可能性が高いと考えられる。このように、前景度Ｆ［ｉ］の値の大きさは、着目する分割ブロック領域ｉの前景度合いに相当する。Ｓ４０６の後、前景度算出部２０６の処理はＳ４０７に進む。

Ｓ４０７では、前景度算出部２０６は、前述した前景度Ｆ［ｉ］の算出処理を、撮像画像内の全ての分割ブロック領域ｉに対して行ったか否かを判断する。Ｓ４０７において、前景度算出部２０６により、前景度Ｆ［ｉ］の算出が行われていない分割ブロック領域ｉが残存していると判断された場合、主被写体領域検出部１１５の処理は、Ｓ４０５に戻る。これにより、前景度Ｆ［ｉ］の算出が行われていない分割ブロック領域ｉに対して、Ｓ４０５による特徴量の算出処理が行われ、その後のＳ４０６による前景度Ｆ［ｉ］の算出処理が行われる。一方、前景度算出部２０６は、Ｓ４０７において、撮像画像内の全ての分割ブロック領域に対して前景度算出処理が行われたと判断した場合には、それら全分割ブロック領域について算出した前景度Ｆ［ｉ］の情報を、主被写体領域抽出部２０７に出力する。Ｓ４０７の後、主被写体領域検出部１１５の処理は、主被写体領域抽出部２０７にて行われるＳ４０８に進む。

Ｓ４０８では、主被写体領域抽出部２０７は、撮像画像内の全ての分割ブロック領域から算出された前景度Ｆ［ｉ］に基づいて、撮像画像から主被写体領域を抽出する。具体的には、主被写体領域抽出部２０７は、前景度Ｆ［ｉ］が所定閾値よりも大きな値を持つ分割ブロック領域ｉの集合を、主被写体領域として抽出する。このＳ４０８の後、主被写体領域抽出部２０７は、図４のフローチャートの処理を終了する。

以上が、第１の実施形態における主被写体領域検出部１１５の処理であり、第１の実施形態によれば、前述したようにして主被写体領域を検出することにより、以下の効果が得られることになる。
例えば、周辺光量落ちが発生している場合、画像周辺部の背景領域の各分割ブロック領域の特徴量は、周辺光量落ちがない場合と比較して小さくなる。一方で、画像中央付近の各分割ブロック領域の特徴量は、周辺光量落ちの影響をほとんど受けない。したがって、周辺光量落ちが発生している場合、例えば主被写体領域以外の他の被写体領域（背景被写体領域）に属する分割ブロック領域についても式（３）の差分値が大きくなって、その分割ブロック領域の前景度Ｆ［ｉ］は大きな値となる。また、主被写体領域を検出する際には、前景度Ｆ［ｉ］が大きい領域を主被写体領域として優先的に検出するようになされている。このため、周辺光量落ちにより例えば背景被写体領域の前景度Ｆ［ｉ］が大きな値になっているような場合には、その背景被写体領域を主被写体領域として誤って検出してしまう可能性がある。このようなことから、本実施形態では、前述したように、背景領域特徴量補正部２０４において、背景領域に属する分割ブロック領域の特徴量に対して、周辺光量落ちを補正するゲイン量を乗じるようにしている。したがって、本実施形態によれば、主被写体領域の誤検出を少なくすることが可能になる。

また、本実施形態においては、撮像画像データに対して周辺光量落ちを補正するゲインを乗じるのではなく、特徴量に対して周辺光量落ち補正ゲインをかけるようにしている。このように、特徴量に対して周辺光量落ち補正ゲインをかける理由は、撮像画像データに周辺光量落ちの補正ゲインを乗じる場合と比較して演算量を圧倒的に少なくすることが可能になるからである。例えば、画像データのサイズがＱＶＧＡサイズである仮定すると、画像全体に対して周辺光量落ちに対する補正を行う場合の演算回数は、ゲイン処理だけで３２０×２４０＝７６８００回の演算が必要となる。これに対し、本実施形態の場合、特徴量に対するゲイン処理は、一つの分割ブロック領域当たりＹ，Ｕ，Ｖの平均値に対して行うだけ、つまり計３回行うだけでよい。また、前述したように、撮像装置１００での画像撮像の際の主被写体領域検出結果は、ＡＦ制御やＡＥ制御等に利用されるため処理の即時性が非常に重要となるが、本実施形態の場合は、少ない演算回数による高速処理が可能となる。このように、本実施形態の撮像装置１００によれば、演算量及び演算回数の少ない軽量な処理で、周辺光量落ちの影響を速やかに低減でき、主被写体領域の誤検出を少なくすることができる。

＜第２の実施形態＞
第２の実施形態について、前述した第１の実施形態との差異を中心に説明する。なお、第２の実施形態の撮像装置１００の構成は図１と同様である。
第１の実施形態では、画像周辺部の背景領域として、図５（ｂ）や図５（ｃ）に示したように、撮像画像の画像枠に接する門状の領域を定義したが、実際の撮影シーンでは、多くの場合、背景領域内には複数の被写体が存在している。図６には、主被写体６０２の他、背景領域６０１のなかに、例えば空６０５、地面６０６、木６０３、木の幹６０４の４種類の被写体が存在している画像例を示す。この図６の画像例の場合、空６０５、地面６０６、木６０３等の各被写体領域の一部が、背景領域に含まれている。ここで、第１の実施形態のように、前景度算出の際に、背景領域に対する周辺光量落ちの補正が行われた場合、各被写体領域のうち、背景領域に含まれている部分に対しては補正がなされるが、背景領域に含まれてない部分には補正がなされないことになる。このような場合、それら各被写体領域については、正確な前景度の評価ができなくなる。したがって、前景度算出において周辺光量落ちに対する補正を行う際には、背景領域に含まれる被写体領域ごとに特徴量を算出することが、より望ましいと考えられる。

このようなことから、第２の実施形態では、背景領域に含まれている各被写体領域を区別し、背景領域に含まれる被写体領域ごとに特徴量を算出し、それら被写体領域ごとに算出した特徴量を用いて、前述した前景度の算出処理を行う。図６の画像例の場合、第２の実施形態では、背景領域６０１は、空６０５、地面６０６、木６０３、木の幹６０４の４種類の被写体領域に各々対応した背景分割領域６１１〜６１４に分割される。なお、図６の画像例では、四つの背景分割領域６１１〜６１４を視認可能にするために、それぞれを模様分けして表している。

図７は、第２の実施形態における主被写体領域検出部１１５の構成例を示す図である。主被写体領域検出部１１５は、背景領域設定部７０１、背景領域特徴量算出部７０３、特徴量補正量算出部７０４、背景領域特徴量補正部７０５、分割ブロック領域特徴量算出部７０６、前景度算出部７０７、主被写体領域抽出部７０８等を有する。これら背景領域設定部７０１〜主被写体領域抽出部７０８は、概ね図２に示した背景領域設定部２０１〜主被写体領域抽出部２０７と同様の処理を行う。第１の実施形態の図２の構成と比較した場合、第２の実施形態における図７の主被写体領域検出部１１５で異なる箇所は、背景領域分割部７０２である。以下、第２の実施形態の主被写体領域検出部１１５における処理について、背景領域分割部７０２を中心に、図８のフローチャートを用いて説明する。なお、以下の説明では、図８の各処理のステップＳ８０１〜ステップＳ８０９を、Ｓ８０１〜Ｓ８０９と略記する。図８のフローチャートの処理は、例えばＣＰＵが本実施形態のプログラムを実行することで実現されてもよい。

図８のフローチャートの処理がスタートすると、先ずＳ８０１の処理として、背景領域設定部７０１により、前述の背景領域設定部２０１の場合と同様にして背景領域の設定処理が行われる。背景領域設定部７０１は、設定した背景領域の各分割ブロック領域の位置情報を、背景領域情報として背景領域分割部７０２へ出力する。Ｓ８０１の後、主被写体領域検出部１１５の処理は、背景領域分割部７０２にて行われるＳ８０２に進む。

Ｓ８０２では、背景領域分割部７０２は、Ｓ８０１で設定された背景領域を、その背景領域に含まれる各被写体領域に対応させるように分割する。背景領域の分割手法としては、種々の方法が考えられるが、本実施形態では、一例として、いわゆる大津の二値化と呼ばれる判別分析法のアルゴリズムを用いている。大津の二値化アルゴリズムにより背景領域を分割する例について、図９（ａ）〜図９（ｃ）を用いて説明する。図９（ａ）は、輝度信号の各輝度値Ｙの頻度分布と、輝度値Ｙの頻度分布を二分する際の閾値（以下、二値化閾値Ｙ＿ｔｈと表記する。）を示す図である。図９（ｂ）は、色差信号の各色差値Ｕの頻度分布と、色差値Ｕの頻度分布を二分する際の閾値（以下、二値化閾値Ｕ＿ｔｈと表記する。）を示す図である。図９（ｃ）は、色差信号の各色差値Ｖの頻度分布と、色差値Ｖの頻度分布を二分する際の閾値（以下、二値化閾値Ｖ＿ｔｈと表記する。）を示す図である。

背景領域分割部７０２は、図９（ａ）に示すように、背景領域に属する各分割ブロック領域ｉの輝度平均値Ｙｂ＿ａｖｅ［ｉ］の頻度分布のパターンを基にクラス分け行い、それらクラス間の分離度が最も高くなるときの輝度値を、二値化閾値Ｙ＿ｔｈとする。そして、背景領域分割部７０２は、背景領域に属する各分割ブロック領域ｉの輝度平均値Ｙｂ＿ａｖｅ［ｉ］と、二値化閾値Ｖ＿ｔｈとの大小関係に基づき、背景領域を二分する。また、背景領域分割部７０２は、図９（ｂ）に示すように、背景領域に属する各分割ブロック領域ｉの色差平均値Ｕｂ＿ａｖｅ［ｉ］の頻度分布のパターンを基にクラス分けし、それらクラス間の分離度が最も高くなるときの色差値Ｕを二値化閾値Ｕ＿ｔｈとする。そして、背景領域分割部７０２は、背景領域に属する各分割ブロック領域ｉの色差平均値Ｕｂ＿ａｖｅ［ｉ］と、二値化閾値Ｕ＿ｔｈとの大小関係に基づき、背景領域を二分する。また、背景領域分割部７０２は、図９（ｃ）に示すように、背景領域に属する各分割ブロック領域ｉの色差平均値Ｖｂ＿ａｖｅ［ｉ］の頻度分布のパターンを基にクラス分けし、それらクラス間の分離度が最も高くなるときの色差値Ｖを二値化閾値Ｖ＿ｔｈとする。そして、背景領域分割部７０２は、背景領域に属する各分割ブロック領域ｉの色差平均値Ｖｂ＿ａｖｅ［ｉ］と、二値化閾値Ｖ＿ｔｈとの大小関係に基づき、背景領域を二分する。

このように、背景領域分割部７０２は、輝度値Ｙの頻度分布を用いた背景領域の二分割と、色差値Ｕの頻度分布を用いた背景領域の二分割と、色差値Ｖの頻度分布を用いた背景領域の二分割とにより、背景領域を最大八つの領域（２×２×２＝８領域）に分割する。以下の説明では、背景領域を分割した領域を「背景分割領域」と表記する。なお、背景領域の分割手法は、前述した大津の二値化アルゴリズムに限定されず、例えば、撮像画像の左右端辺及び上端辺の三つの領域で背景領域を静的分割するなどの方法を用いてもよい。背景領域分割部７０２は、前述したように背景領域を分割した背景分割領域ごとに、それぞれ背景分割領域に属する各分割ブロック領域の位置情報を、背景領域特徴量算出部７０３及び特徴量補正量算出部７０４に出力する。Ｓ８０２の後、主被写体領域検出部１１５の処理は、背景領域特徴量算出部７０３にて行われるＳ８０３に進む。

Ｓ８０３では、背景領域特徴量算出部７０３は、前述の図２の背景領域特徴量算出部２０２と同様に、背景領域に属する各分割ブロック領域の特徴量を算出する。背景領域特徴量算出部７０３は、Ｓ８０３で算出した特徴量の情報を、背景領域特徴量補正部７０５へ出力する。Ｓ８０３の後、主被写体領域検出部１１５の処理は、特徴量補正量算出部７０４にて行われるＳ８０４に進む。

ステップＳ８０４では、特徴量補正量算出部７０４は、前述の図２の特徴量補正量算出部２０３と同様に、背景領域に属する各分割ブロック領域の特徴量に対する補正量を算出する。ただし、第２の実施形態の場合、背景分割領域ごとの特徴量に対する補正量を算出する。具体的には、特徴量補正量算出部７０４は、背景分割領域に属する各ブロック領域ｉの代表像高値ｒ［ｉ］に基づき、前述の式（１）により、背景分割領域ごとの特徴量に対する各補正ゲインＧ＿ｓｈｄ［ｉ］（＝Ｇ（ｒ［ｉ］））を算出する。そして、特徴量補正量算出部７０４は、背景分割領域ごとに算出した各補正ゲインＧ＿ｓｈｄ［ｉ］の情報を、背景領域特徴量補正部７０５へ出力する。Ｓ８０４の後、主被写体領域検出部１１５の処理は、背景領域特徴量補正部７０５にて行われるＳ８０５に進む。

Ｓ８０５では、背景領域特徴量補正部７０５は、背景分割領域ごとに、分割ブロック領域ｉの特徴量Ｙｂ＿ａｖｅ［ｉ］，Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］を補正ゲインＧ＿ｓｈｄ［ｉ］により補正して、背景分割領域ごとの特徴量を算出する。第２の実施形態の場合、背景領域特徴量補正部７０５は、式（４）の演算を行うことにより、背景分割領域ｊごとの特徴量Ｙｂ＿ａｖｅ'［ｊ］，Ｕｂ＿ａｖｅ'［ｊ］，Ｖｂ＿ａｖｅ'［ｊ］を算出する。

ここで、式（４）の「Σ」は、背景領域の背景分割領域ｊに属している全ての分割ブロック領域ｉにおいて特徴量Ｙｂ＿ａｖｅ［ｉ］，Ｕｂ＿ａｖｅ［ｉ］，Ｖｂ＿ａｖｅ［ｉ］が補正ゲインＧ＿ｓｈｄ［ｉ］で補正された値を、加算することを意味している。すなわち、第２の実施形態において、式（４）により算出される特徴量Ｙｂ＿ａｖｅ'［ｊ］，Ｕｂ＿ａｖｅ'［ｊ］，Ｖｂ＿ａｖｅ'［ｊ］は、前述した分割ブロック領域ごとの特徴量や背景領域特徴量ではなく、背景分割領域ごとの特徴量である。このため、以下の説明では、背景分割領域ごとの特徴量を、「補正後の背景分割領域特徴量Ｙｂ＿ａｖｅ'［ｊ］，Ｕｂ＿ａｖｅ'［ｊ］，Ｖｂ＿ａｖｅ'［ｊ］」、又は、単に「補正後の背景分割領域特徴量」と呼ぶことにする。背景領域特徴量補正部７０５は、式（４）にて算出した補正後の背景分割領域特徴量を、前景度算出部７０７へ出力する。Ｓ８０５の後、主被写体領域検出部１１５の処理は、分割ブロック領域特徴量算出部７０６にて行われるＳ８０６に進む。

Ｓ８０６では、分割ブロック領域特徴量算出部７０６は、前述の図２の分割ブロック領域特徴量算出部２０５と同様に、撮像画像の中の全ての分割ブロック領域について特徴量を算出する。Ｓ８０６及びその後のＳ８０７の処理は、撮像画像の中の全分割ブロック領域について特徴量が算出されるまで繰り返される。分割ブロック領域特徴量算出部７０６は、算出した分割ブロック領域の特徴量を、前景度算出部７０７へ出力する。Ｓ８０６の後、分割ブロック領域主被写体領域検出部１１５の処理は、前景度算出部７０７にて行われるＳ８０７に進む。

Ｓ８０７では、前景度算出部７０７は、撮像画像の中の各分割ブロック領域ｉの特徴量と、前述の式（４）で求めた補正後の背景分割領域特徴量とを用い、以下の式（５）により、背景分割領域ｊごとに前景度Ｆ［ｉ］［ｊ］を算出する。すなわち、前景度算出部７０７は、補正後の背景分割領域特徴量Ｙｂ＿ａｖｅ'［ｊ］，Ｕｂ＿ａｖｅ'［ｊ］，Ｖｂ＿ａｖｅ'［ｊ］を用い、式（５）により前景度Ｆ［ｉ］［ｊ］を算出する。

Ｆ［ｉ］［ｊ］＝｜Ｙｂ＿ａｖｅ［ｉ］−Ｙｂ＿ａｖｅ'［ｊ］｜＋｜Ｕ＿ａｖｅ［ｉ］−Ｕｂ＿ａｖｅ'［ｊ］｜＋｜Ｖ＿ａｖｅ［ｉ］−Ｖｂ＿ａｖｅ'［ｊ］｜ 式（５）

ここで、前景度Ｆ［ｉ］［ｊ］は、着目する分割ブロックｉに対する背景分割領域ｊとの前景度であり、着目する分割ブロックｉに対する前景度は、背景分割領域ｊの数だけ算出される。前景度算出部７０７は、式（５）で算出した背景分割領域ｊの前景度Ｆ［ｉ］［ｊ］を基に、着目する分割ブロックｊに対する最終的な前景度Ｆ［ｉ］を算出する。Ｓ８０７の後、前景度算出部７０７の処理はＳ８０８に進む。

Ｓ８０８では、前景度算出部７０７は、前述の図４のＳ４０７と同様に、前景度算出処理を撮像画像内の全ての分割ブロック領域に対して行ったか否かを判断する。Ｓ８０８において、前景度算出部７０７により、前景度算出処理が行われていない分割ブロック領域が残存していると判断された場合、主被写体領域検出部１１５の処理は、Ｓ８０６に戻る。これにより、前景度算出処理が行われていない分割ブロック領域に対して、Ｓ８０６による特徴量の算出処理が行われ、その後のＳ８０７による前景度算出処理が行われる。一方、前景度算出部７０７は、Ｓ８０８において、撮像画像内の全ての分割ブロック領域に対して前景度算出処理が行われたと判断した場合には、それら全分割ブロック領域について算出した前景度Ｆ［ｉ］の情報を、主被写体領域抽出部２０７に出力する。Ｓ８０８の後、主被写体領域検出部１１５の処理は、主被写体領域抽出部７０８にて行われるＳ８０９に進む。

Ｓ８０９では、主被写体領域抽出部７０８は、前述の図４のＳ４０８と同様に、撮像画像内の全ての分割ブロック領域から算出された前景度に基づいて、撮像画像から主被写体領域を抽出する。このＳ８０９の後、主被写体領域抽出部７０８は、図８のフローチャートの処理を終了する。

以上が、第２の実施形態における主被写体領域検出部１１５の処理であり、前述のようにして背景領域を分割した背景分割領域ごとに前景度を求めてから主被写体領域を検出するようにしている。これにより、第２の実施形態によれば、背景領域内に複数の被写体が存在する場合でも、より正確な主被写体領域の検出が可能となる。また、第２の実施形態では、背景分割領域のそれぞれに対して周辺光量落ちの補正ゲインを算出するため、検出精度も向上する。なお、第２の実施形態のように背景分割領域ごとに演算を行った場合には、演算量が多少増加することになる。第２の実施形態において、このような演算量の増加に対しては、例えば代表像高を算出する際に、平均値を算出する画素数を間引いたり、像高の算出方法を簡易的な近似式にしたりするなどにより、演算量の増加を抑えることができる。

＜第３の実施形態＞
第３の実施形態について、前述した第１の実施形態及び第２の実施形態との差異を中心に説明する。なお、第３の実施形態の撮像装置１００の構成は図１と同様である。
第１，第２の実施形態では、背景領域に属する分割ブロック領域に対して周辺光量落ちの補正ゲインによる補正を行った後の背景領域特徴量を用いて、撮像画像の全ての分割ブロック領域について前景度算出を行っている。ここで、図１０に示すように、着目する分割ブロック領域が、撮像画像の中心付近の分割ブロック領域Ａである場合と、例えば画像周辺部の分割ブロック領域Ｂである場合ついて考えてみる。撮像画像の中心付近の分割ブロック領域Ａは、周辺光量落ちの影響を略々受けていないため、第１，第２の実施形態で説明したような補正後の背景領域特徴量を用いた前述の前景度算出処理は有効である。一方、例えば画像周辺部の分割ブロック領域Ｂは元々周辺光量落ちの影響を受けており、この分割ブロック領域Ｂについて、第１，第２の実施形態のような補正後の背景領域特徴量を用いた前述の前景度算出処理を行うと、正しい前景度が得られないことになる。つまり、元々周辺光量落ちの影響を受けている画像周辺部の分割ブロック領域Ｂについては、前景度算出の際には、第１，第２の実施形態のような背景領域特徴量の補正は不要であると考えられる。このようなことから、第３の実施形態では、前景度算出の際には、着目する分割ブロック領域の位置すなわち像高に応じて、補正後の背景領域特徴量を用いるか否かを制御して、より正確な前景度を算出可能にする。

図１１は、第３の実施形態における主被写体領域検出部１１５の概略構成を示す図である。主被写体領域検出部１１５は、背景領域設定部１１０１、背景領域特徴量算出部１１０２、特徴量補正量算出部１１０３、背景領域特徴量補正部１１０４、分割ブロック領域特徴量算出部１１０５、前景度算出部１１０６、主被写体領域抽出部１１０７を有する。これら背景領域設定部１１０１〜主被写体領域抽出部１１０７は、概ね図２に示した背景領域設定部２０１〜主被写体領域抽出部２０７と同様の処理を行う。第１の実施形態の図２と比較した場合、第３の実施形態における図１１の主被写体領域検出部１１５で異なる箇所は、周辺光量落ちの補正ゲインを用いた補正が行われていない背景領域特徴量の情報が、前景度算出部１１０６に入力されていることである。以下、第３の実施形態の主被写体領域検出部１１５における処理について、図１２のフローチャートを用いて説明する。なお、以下の説明では、図１２の各処理のステップＳ１２０１〜ステップＳ１２１１を、Ｓ１２０１〜Ｓ１２１１と略記する。図１２のフローチャートの処理は、例えばＣＰＵが本実施形態のプログラムを実行することで実現されてもよい。

図１２のフローチャートにおいて、第１の実施形態の図４のフローチャートと異なる処理は、Ｓ１２０６〜Ｓ１２０９の各処理である。一方、Ｓ１２０１〜Ｓ１２０５の処理は、前述したＳ４０１〜Ｓ４０５と同じ処理であり、また、Ｓ１２１０，Ｓ１２１１の処理は、前述したＳ４０７，Ｓ４０８と同じ処理であるため、それらの説明は省略する。なお、ここでは第１の実施形態の処理との差異のみを例に挙げて説明しており、前述した第２の実施形態の処理との差異についての説明は省略する。

図１２のフローチャートにおいて、Ｓ１２０５の後、主被写体領域検出部１１５の処理は、前景度算出部１１０６にて行われるＳ１２０６に進む。Ｓ１２０６では、前景度算出部１１０６は、前景度算出の際の着目する分割ブロック領域ｉの代表像高ｒ［ｉ］を求める。ここでは、前景度算出部１１０６は、分割ブロック領域ｉの中心座標からの代表像高ｒ［ｉ］を算出するものとする。Ｓ１２０６の後、前景度算出部１１０６の処理はＳ１２０７に進む。

Ｓ１２０７では、前景度算出部１１０６は、代表像高ｒ［ｉ］を所定の像高と比較する。所定の像高は、一例として、背景領域に属する各分割ブロック領域の各代表像高値のうち最小の像高値となされる。前景度算出部１１０６は、Ｓ１２０７において、着目する分割ブロック領域ｉの代表像高ｒ［ｉ］が所定の像高値以下である場合にはＳ１２０８に処理を進め、一方、代表像高ｒ［ｉ］が所定の像高値より大きい場合にはＳ１２０９に処理を進める。

代表像高ｒ［ｉ］が所定の像高値以下である場合、着目する分割ブロック領域ｉは撮像画像の中心側に存在しており、周辺光量落ちの影響を略々受けていないことになる。このため、前景度算出の際に使用される背景領域特徴量は、周辺光量落ちに対応した補正後の背景領域特徴量でなければならない。したがって、前景度算出部１１０６は、Ｓ１２０８において、前述の図４のＳ４０６の場合と同様に、補正後の背景領域特徴量を用いて前景度Ｆ［ｉ］を算出する。

一方、代表像高ｒ［ｉ］が所定の像高値よりも大きい場合、着目する分割ブロック領域ｉは撮像画像周辺側に存在しており、周辺光量落ちの影響を受けていると考えられる。このため、前景度算出の際に使用される背景領域特徴量は、周辺光量落ちに対応した補正を行っていない背景領域特徴量であることが望ましい。したがって、前景度算出部１１０６は、例えば式（６）により、周辺光量落ちに対応した補正を行っていない背景領域特徴量Ｙｂ＿ａｖｅ，Ｕｂ＿ａｖｅ，Ｖｂ＿ａｖｅを算出する。

また、前景度算出部１１０６は、Ｓ１２０９において、周辺光量落ちの補正ゲインによる補正がなされていない背景領域特徴量Ｙｂ＿ａｖｅ，Ｕｂ＿ａｖｅ，Ｖｂ＿ａｖｅを用いて、前景度Ｆ［ｉ］'を算出する。具体的には、前景度算出部１１０６は、式（７）により、前景度Ｆ［ｉ］'を算出する。

Ｆ［ｉ］'＝｜Ｙｂ＿ａｖｅ［ｉ］−Ｙｂ＿ａｖｅ｜＋｜Ｕ＿ａｖｅ［ｉ］−Ｕｂ＿ａｖｅ｜＋｜Ｖ＿ａｖｅ［ｉ］−Ｖｂ＿ａｖｅ｜ 式（７）

Ｓ１２０８、Ｓ１２０９の後、主被写体領域検出部１１５の処理は、Ｓ１２１０に進む。第３の実施形態の主被写体領域検出部１１５は、上述した処理により撮像画像の全分割ブロック領域ｉの前景度Ｆ［ｉ］又はＦ［ｉ］'を算出し、そして全分割ブロック領域ｉの前景度Ｆ［ｉ］又はＦ［ｉ］'に基づいて前述したように主被写体領域を検出する。

以上が、第３の実施形態の主被写体領域検出部１１５の処理である。第３の実施形態では、前景度算出の際の着目する分割ブロック領域が、図１０の画像中央部の分割ブロック領域Ａである場合には、前述の第１，第２の実施形態の例のように背景領域特徴量に対するゲイン補正を行う。一方、前景度算出の際の着目する分割ブロック領域が、図１０の画像周辺部の分割ブロック領域Ｂである場合には、前述の第１，第２の実施形態の例のような背景領域特徴量に対するゲイン補正を行わない。このように、第３の実施形態によれば、分割ブロック領域の位置（像高）に基づいて、各分割ブロック領域のそれぞれに対して、背景領域特徴量に対する周辺光量落ちのゲイン補正が必要か否かを判断し、その判断結果に応じた適応的な前景度算出処理を行う。これにより、第３の実施形態の場合は、第１の実施形態と比較すると、特に、主被写体領域が画角周辺部に存在する場合の検出精度を向上させることができる。

前述の第１〜第３の実施形態では、前景度算出の際に、周辺光量落ちが生ずる撮影条件でゲイン補正を行う例を挙げているが、本実施形態は、周辺光量落ちに限定されず、撮像画像内の明るさが不均一になるような各種撮影条件についても適用可能である。

また、第１〜第３の実施形態では、撮像画像のなかで周辺光量落ちが発生する領域が略々決まっていて変化しないことを前提に説明している。これに対し、例えばレンズ光学系がズームレンズを有し、ズーム倍率の違いで周辺光量落ちによる明るさの低下量が異なるような場合、背景領域特徴量に対する補正は、ズーム倍率で異なる周辺光量落ちの補正ゲインデータに対応した補正処理となされる。一例として、広角端（ワイド端）では周辺光量落ちが発生するが、望遠端（テレ端）で周辺光量落ちが略々発生しなくなるような場合、望遠端の撮影条件のときには、背景領域特徴量に対して周辺光量落ちに基づく補正を行わないようにする。なお、撮影条件によって、背景領域特徴量に対して周辺光量落ちに基づくゲイン補正を行わないようにする場合には、前述の図１２のＳ１２０９の処理と同様に、補正されていない背景領域特徴量を用いて前景度を算出する。このように、本実施形態では、周辺光量落ちが変化するような撮影条件の場合には、周辺光量落ちによる明るさ低下量の変化に応じて、背景領域の特徴量に対するゲイン補正を制御することも可能である。

その他にも、撮像画像には周辺光量落ちが発生していても、主被写体領域検出部１１５に入力する前の段階で、撮影画像の周辺光量落ちが事前に補正される構成が用いられる場合も考えられる。このように、撮影画像の周辺光量落ちが事前に補正される構成が用いられた場合、前景度は、周辺光量落ちが事前に補正された撮影画像の背景領域特徴量を用いて算出される。なお、周辺光量落ちが事前に補正された撮影画像の背景領域特徴量を用いた前景度の算出は、前述の図１２のＳ１２０９の処理と同様にして行うことができる。また例えば、周辺光量落ちを事前に補正する構成と、事前に補正しない構成との切り替えがなされるような場合には、その切り替えに応じて、背景領域特徴量に対する、周辺光量落ちに基づく補正を行うか否かを切り替え制御してもよい。

なお、第１〜第３の実施形態では、前景度の算出の際に、背景領域特徴量に対して、周辺光量落ちに基づいてゲインを上げるような補正を行っている。逆に、前景度の算出の際には、例えば画像中央部（周辺光量落ちが発生していない画像領域）に対して、周辺光量落ちに基づいてゲインを下げるような補正が行われてもよい。ただし、周辺光量落ちが発生していない画像領域に対して周辺光量落ちに応じたゲイン補正を行う場合、演算量が増加する可能性があるため、例えば画素数の間引きや簡易的な近似式などにより、演算量の増加を抑えることが望ましい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処7理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１０１ レンズ、１０３ 撮像部、１０８ メモリ部、１１３ 記録媒体、１１５ 主被写体領域検出部、５０ システム制御部、１２３ 不揮発性メモリ、２０１，７０１，１１０１ 背景領域設定部、２０２，７０３，１１０２ 背景領域特徴量算出部、２０３，７０４，１１０３ 特徴量補正量算出部、２０４，７０５，１１０４ 背景領域特徴量補正部、２０５，７０６，１１０５ 分割ブロック領域特徴量算出部、２０６，７０７，１１０６ 前景度算出部、２０７，７０８，１１０７ 主被写体領域検出部、７０２ 背景領域分割部

Claims (13)

1. 撮像画像を複数のブロックに分割した各ブロック領域の特徴量と、前記撮像画像の画像枠に接した所定の領域の特徴量とを求め、周辺光量落ちの補正が行われる際に用いられる補正情報に基づいて、前記所定の領域の前記特徴量を補正する補正手段と、
   前記各ブロック領域の特徴量と前記所定の領域の前記補正が行われた後の特徴量とに基づいて、前記各ブロック領域と前記所定の領域との差異を表す評価値を求め、前記評価値に基づいて、前記撮像画像の中から主被写体領域を検出する検出手段と、
   を有することを特徴とする画像処理装置。
2. 前記補正情報は、撮像の際の光学系による周辺光量落ちに対応した補正が前記撮像画像に対して行われる際に用いられる補正ゲインの情報であり、
   前記補正手段は、前記所定の領域の特徴量に対する前記補正として、前記補正ゲインを前記所定の領域の特徴量に乗ずることを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記評価値が所定閾値よりも大きな値となる前記各ブロック領域の集合を前記主被写体領域として検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記撮像画像を複数のブロックに分割した各ブロック領域のうち、前記所定の領域に属するブロック領域ごとに求めた特徴量に対して、前記補正情報に基づく補正を行い、前記所定の領域に属する各ブロック領域の前記補正が行われた後の特徴量を加算して得られた特徴量を、前記所定の領域の前記補正が行われた後の特徴量とすることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記補正手段は、前記ブロック領域の特徴量として、前記ブロック領域の輝度値の平均値と色差値の平均値とを求めることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記補正手段は、前記撮像画像の各ブロック領域のうち前記所定の領域に属する各ブロック領域の特徴量に基づいて前記所定の領域を複数の分割領域に分けて、前記分割領域ごとに特徴量を求め、前記補正情報に基づいて、前記分割領域ごとの特徴量に対して補正を行い、
   前記検出手段は、前記各ブロック領域の特徴量と、前記分割領域ごとの前記補正が行われた後の特徴量とに基づいて、前記評価値を求めることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記補正手段は、前記分割領域に属する各ブロック領域の、撮像画像内における像高値に基づいて、前記補正情報から、前記分割領域ごとの補正量を求め、前記分割領域ごとの補正量を用いて、前記分割領域ごとの特徴量に対する補正を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記検出手段は、
   前記評価値を求める際、前記ブロック領域の撮像画像内における像高値が、所定の像高値以下である場合には、前記所定の像高値以下の各ブロック領域の特徴量と前記所定の領域の前記補正が行なわれた後の特徴量とに基づいて、前記評価値を求め、
   前記評価値を求める際、前記ブロック領域の撮像画像内における像高値が、前記所定の像高値より大きい場合には、前記所定の像高値より大きい各ブロック領域の特徴量と前記所定の領域の前記補正がなされる前の特徴量とに基づいて、前記評価値を求めることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記撮像画像に対して前記補正情報を用いた前記周辺光量落ちの補正が事前に行われている場合には、
   前記補正手段は、前記補正情報に基づいた前記所定の領域の特徴量に対する補正を行わず、
   前記検出手段は、前記各ブロック領域の特徴量と前記所定の領域の前記補正が行なわれていない特徴量とに基づいて、前記評価値を求めることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記補正手段は、前記撮像画像の撮像が行われているときの撮影条件に応じて、前記所定の領域の特徴量に対して前記補正を行う場合と、前記所定の領域の特徴量に対して前記補正を行わない場合とを切り替え、
    前記検出手段は、
    前記所定の領域の特徴量の補正が行われた場合には、前記各ブロック領域の特徴量と前記所定の領域の前記補正が行われた後の特徴量とに基づいて前記評価値を求め、
    前記所定の領域の特徴量の補正が行われていない場合には、前記各ブロック領域の特徴量と前記所定の領域の前記補正が行われていない特徴量とに基づいて前記評価値を求めることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記補正手段は、
    前記撮影条件が、前記撮像画像に対して周辺光量落ちの補正が必要になる撮影条件である場合には、前記所定の領域の特徴量に対して前記補正を行い、
    前記撮影条件が、前記撮像画像に対して周辺光量落ちの補正が必要ない撮影条件である場合には、前記所定の領域の特徴量に対して前記補正を行わないことを特徴とする請求項１０に記載の画像処理装置。
12. 補正手段が、撮像画像を複数のブロックに分割した各ブロック領域の特徴量と、前記撮像画像の画像枠に接した所定の領域の特徴量とを求め、周辺光量落ちの補正が行われる際に用いられる補正情報に基づいて、前記所定の領域の前記特徴量を補正するステップと、
    検出手段が、前記各ブロック領域の特徴量と前記所定の領域の前記補正が行われた後の特徴量とに基づいて、前記各ブロック領域と前記所定の領域との差異を表す評価値を求め、前記評価値に基づいて、前記撮像画像の中から主被写体領域を検出するステップと、
    を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images