JP6558978B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特に、人間の視覚的な目立ちやすさを示す顕著度を算出するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、人間の視覚的な目立ちやすさを示す値（以下、顕著度と呼ぶ）を算出し、この算出した顕著度を基に種々の画像処理を行う技術が提案されている。特許文献１では、顕著度を用いて、複数の撮影画像の中からいずれか１枚の画像を選択する技術が開示されている。この技術では、輝度顕著度、色顕著度、およびエッジ顕著度をそれぞれ算出し、各々の値を合成することにより評価用の顕著度を取得している。

特開２０１３−１２１２４号公報

前述の特許文献１に記載の技術では、顕著度を算出する際に、エッジ量の値を線形結合しており、この技術では、視覚的に顕著な被写体はエッジを比較的豊富に有するという考えに基づいている。しかしながら、実際に撮影される画像は多岐に渡っており、必ずしもエッジ量を使用することが適切とは言えないシーンも存在する。

例えば、図１３に示した画像の例では、赤くて大きな球体である被写体Ａが視覚的に顕著であるが、被写体Ａはエッジを多く持たず、かつ背景の各領域は様々な被写体が雑多に存在している。このように背景の各領域はそれぞれ、被写体Ａと比較して相対的に大きなエッジ量を有する。このような場合、顕著度を算出する際にエッジ量を単純に加算すると、加算前と比較して、視覚的に顕著である被写体Ａの顕著度が相対的に小さくなってしまい、顕著度を用いた画像処理を行う際に所望しない動作を招く恐れがある。例えば、主被写体検出に応用する場合には、別の被写体を検出してしまう可能性がある。

本発明は前述の問題点に鑑み、主被写体及び背景のエッジ量によらず、より高精度に顕著度を得ることができるようにすることを目的としている。

本発明に係る画像処理装置は、入力画像から主被写体の候補領域を検出する検出手段と、前記検出手段によって検出された主被写体の候補領域と、前記候補領域の周辺領域とから、それぞれエッジ量を抽出する抽出手段と、前記抽出手段によって抽出された前記候補領域および前記周辺領域のエッジ量を基に、前記入力画像における視覚的な目立ちやすさを示す顕著度を算出する際の前記エッジ量の寄与度を算出する寄与度算出手段と、前記入力画像に含まれる複数の領域のそれぞれに対して、前記寄与度算出手段によって算出されたエッジ量の寄与度に基づいて前記顕著度を算出する顕著度算出手段とを備えることを特徴とする。

本発明によれば、主被写体及び背景のエッジ量によらず、より高精度に顕著度を得ることができる。

実施形態に係るデジタルカメラの構成例を示すブロック図である。 実施形態において、顕著度を算出して主被写体を決定する処理手順の一例を示すフローチャートである。 主被写体候補領域を算出する動作を説明するための図である。 エッジ量寄与度を算出する詳細な処理手順の一例を示すフローチャートである。 エッジ積分値からエッジ量寄与度を算出する際の概念を説明するための図である。 エッジ量寄与度の算出方法を説明するための図である。 着目領域における内側ウインドウ及び外側ウインドウを説明するための図である。 エッジ重み係数の算出方法を説明するための図である。 顕著度マップから被写体を抽出する動作を説明するための図である。 エッジ量が大きく異なる被写体を含む場合の例を示す図である。 画像処理部の機能構成例を示すブロック図である。 主被写体候補領域ごとの顕著度マップのテーブルの一例を示す図である。 エッジ量が少ない主被写体を含む画像の一例を示す図である。

（第１の実施形態）
以下、図面を参照して、本発明の第１の実施形態について詳細に説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、システム制御部１０１は例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。例えば、焦点検出などで必要なレンズ情報として、射出瞳距離もＲＯＭ１０２に記憶されている。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には絞りも含まれており、光学系の開口径を調節することにより撮影時の光量調節を行う。また、光学系１０４はＡＦセンサ部１０６から取得した情報を基に、いわゆる位相差ＡＦを行ってピント位置の調整を行う。このとき、位相差ＡＦによって得られたＡＦ情報がＲＡＭ１０３に格納される。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０７に出力する。Ａ／Ｄ変換部１０７は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０８は、ＲＡＭ１０３に記憶されている画像データに対して所定の画像処理を行う。所定の画像処理には、ホワイトバランス処理などの現像処理や圧縮処理などが含まれる。また、本実施形態では、人間の視覚的な目立ちやすさを示す値として顕著度を算出し、この顕著度に基づいて主被写体を決定する処理も行う。記録媒体１０９は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０８で処理された画像データやＡ／Ｄ変換部１０７でＡ／Ｄ変換された画像データなどが記録される。バス１１０は、各ブロックの間で信号のやり取りを行うために用いられる。

図２は、本実施形態における画像処理部１０８による、画像データに対して顕著度を算出して前記顕著度から主被写体を決定する処理手順の一例を示すフローチャートである。また、図１１は、画像処理部１０８の詳細な機能構成例を示すブロック図である。以下、画像処理部１０８の各処理について、図面を参照しながら詳細に説明する。
まず、ステップＳ２０１において、画像取得部１１０１は、撮像部１０５において被写体が撮像されてＲＡＭ１０３に格納された画像データをＲＡＭ１０３から取得する。以下、ステップＳ２０１で取得した画像データを入力画像と呼ぶ。

＜Ｓ２０２：主被写体候補領域算出＞
次に、ステップＳ２０２において、合焦領域情報取得部１１０２は、撮像時のＡＦ情報（合焦領域情報）を取得し、主被写体候補領域検出部１１０３は、取得したＡＦ情報を用いて主被写体候補領域を検出する。ここで、主被写体候補領域とは、入力画像内において主被写体が存在する可能性がある領域を意味する。本実施形態では、撮像時のＡＦ情報を利用して主被写体候補領域を検出する。

図３は、ステップＳ２０２の動作を説明するための図である。図３（ａ）は、入力画像の一例を示しており、図３（ｂ）は、ＲＡＭ１０３より取得される合焦領域情報の一例を示している。図３（ｂ）において、白点及び黒点のそれぞれがＡＦセンサ部１０６における位相差取得領域を示し、白点は合焦領域、黒点は非合焦領域を示す。このように合焦領域情報は、位相差取得領域のそれぞれに対する合焦／非合焦の判定情報と、位置情報とからなる。図３に示す例では、入力画像内の２匹の鳥に対して合焦しており、ｐ１００〜ｐ１０９は左の鳥に対応した合焦領域であり、ｐ１１０〜ｐ１１９は右の鳥に対応した合焦領域である。

また、図３（ｃ）は、図３（ｂ）の合焦領域情報から算出された主被写体候補領域の一例を示している。合焦領域情報から主被写体候補領域を検出する方法としては、例えば隣接する合焦領域をグルーピングし、グルーピングされた複数の合焦領域を包含する矩形を設定する方法が挙げられる。図３（ｃ）に示す例では、２つの主被写体候補領域ａ３１０、ａ３１１が算出されており、ｐ１００〜ｐ１０９のグループに対する主被写体候補領域ａ３１０と、ｐ１１０〜ｐ１１９のグループに対する主被写体候補領域ａ３１１とが算出されている。また、主被写体候補領域を検出する他の方法としては、各合焦領域を中心に所定の大きさの矩形を設定し、この矩形の集合体である領域を主被写体候補領域とする方法を用いてもよく、その他様々な方法を適用可能なものとする。

なお、主被写体候補領域は正確に主被写体を指しておらず、主被写体でない被写体も少なからず含まれている可能性があるため、主被写体候補領域は主被写体が存在する可能性がある領域を指している。以上がステップＳ２０２の動作であり、本ステップにより、入力画像における主被写体候補領域が検出される。

＜Ｓ２０３：エッジ量寄与度算出＞
次に、ステップＳ２０３において、エッジ量寄与度算出部１１０４は、顕著度を算出する際のエッジ量寄与度を算出する。ここで、エッジ量寄与度とは、顕著度に対してエッジ量が寄与する度合いを示す値である。エッジ量寄与度が大きい場合は、着目領域のエッジ量によって顕著度の値が敏感に変化し、エッジ量寄与度が小さい場合は、着目領域のエッジ量による顕著度の変化が小さくなる。

図４は、ステップＳ２０３においてエッジ量寄与度算出部１１０４によりエッジ量寄与度を算出する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、入力画像においてエッジを抽出してエッジ情報を取得する。本実施形態では、エッジ情報は輝度エッジの値とし、抽出方法としては所定の周波数特性を有するバンドパスフィルタを用いるものとする。なお、エッジ情報の元信号の種類や、前記バンドパスフィルタの周波数特性に関しては特に限定されるものではない。

次に、ステップＳ４０２において、主被写体候補領域のエッジ積分値を算出する。例えば図３（ａ）に示す入力画像に関しては、図３（ｃ）における主被写体候補領域ａ３１０、ａ３１１の和集合となる領域のエッジ情報を積分する。以下、主被写体候補領域から算出したエッジ積分値をEdge＿Aと呼ぶ。

次に、ステップＳ４０３において、主被写体候補領域外（以下、周辺領域）のエッジ積分値を算出する。例えば図３（ａ）に示す入力画像に関しては、図３（ｃ）における黒塗りの領域が周辺領域と定義される。以下、周辺領域から算出したエッジ積分値をEdge＿Bと呼ぶ。エッジ積分値Edge＿Bは、画面全体のエッジ積分値をEdge＿wholeとすると、以下の（１）式で表される。
Edge＿B＝Edge＿whole−Edge＿A ・・・（１）

また、エッジ積分値Edge＿A、Edge＿Bの値は領域の面積に依存するので、あらかじめ正規化を行う。正規化の方法については特に限定されないが、本実施形態では、主被写体候補領域と周辺領域との面積比よりエッジ積分値Edge＿Bの値を正規化する。主被写体候補領域の面積をS＿main，周辺領域の面積をS＿aroundとすると、正規化後の周辺領域のエッジ積分値Edge＿B'は以下の（２）式で表される。
Edge＿B'＝（S＿main／S＿around）＊Edge＿B ・・・（２）

次に、ステップＳ４０４の処理について説明する。図５は、エッジ積分値Edge＿A、Edge＿B'からエッジ量寄与度を算出する際の概念を説明するための図である。図５は、横軸をエッジ積分値Edge＿A、縦軸をエッジ積分値Edge＿B'とした座標系で示されている。

図５の右下の領域Ｘは、エッジ積分値Edge＿Aの値が大きく、エッジ積分値Edge＿B'の値が小さい領域であり、主被写体候補領域は豊富にエッジが存在し、周辺領域はエッジが少ない入力画像を表している。したがって、このような入力画像の場合は、顕著度を算出する際にエッジ量寄与度を大きくすることが非常に有効であると考えられる。

逆に、図５の左上の領域Ｚは、主被写体候補領域ではエッジが少なく、周辺領域は豊富にエッジが存在するような入力画像を表している。この場合は、顕著度を算出する際にエッジ量寄与度を小さくすることが非常に有効であると考えられる。

また、中央部の中間領域Ｙは、主被写体候補領域と周辺領域とにおいてエッジ量の差が小さいような入力画像を表している。この場合もエッジ量の信頼性には乏しいので基本的にはエッジ量寄与度は小さいが、処理の連続性の観点から、図５の座標系の右下に向かうにつれて、エッジ量寄与度は少しずつ大きくなっていくような変化が好ましい。

以上は概念的な説明であり、次に、エッジ量寄与度の具体的な算出方法の一例について説明する。図６は、本実施形態におけるエッジ量寄与度の算出方法を説明するための図である。なお、図６に示す例は一例であり、図５に示した概念を反映させた算出方法であればその他の算出方法を用いてもよい。

図６に示すように、本実施形態では、主被写体候補領域のエッジ積分値Edge＿Aからエッジ量寄与度ｋ_Aを算出し、周辺領域のエッジ積分値Edge＿B'からエッジ量寄与度ｋ_Bを算出する。そして、エッジ量寄与度ｋ_A、ｋ_Bの積として最終的なエッジ量寄与度ｋを算出する。図６に示すように、エッジ量寄与度ｋ_A、ｋ_Bは、以下の（３）式及び（４）式によって表される。
ｋ_A＝ｆ（Edge＿A） ・・・（３）
ｋ_B＝ｆ（Edge＿B'） ・・・（４）

ここで、ｆ（Edge＿A）、ｆ（Edge＿B'）は例えば図６に示すような閾値を有する関数である。図６に示すように、周辺領域のエッジ量が比較的大きいような場合には、エッジ量寄与度ｋ_A、ｋ_Bの少なくとも何れかが０となるため、最終的なエッジ量寄与度ｋは０となる。また、主被写体候補領域のエッジ量が大きく、周辺領域のエッジ量が小さいような場合は、エッジ量寄与度ｋ_A、ｋ_Bはいずれも１となるため、最終的なエッジ寄与度は１となる。ここで、図６に示す関数は一例であり、主被写体候補領域のエッジ量が大きいほどエッジ量寄与度ｋ_Aが大きくなり、周辺領域のエッジ量が小さいほどエッジ量寄与度ｋ_Bが大きくなるような変化であれば、どのような関数を用いてもよい。

以上がステップＳ２０３の動作であり、本ステップによりエッジ量寄与度ｋが算出される。

＜Ｓ２０４：顕著度マップ取得＞
図２の説明に戻り、次に、ステップＳ２０４において、顕著度算出部１１０５は、入力画像の顕著度を算出する。顕著度の算出方法は種々の手法が提案されているが、本実施形態では、図７に示すように、まず、着目領域に対し内側ウインドウと外側ウインドウとを定義する。そして、内側ウインドウ内においてエッジ積分値Edgeを算出し、内側ウインドウとその周辺部の輝度情報及び色情報の差分値と、内側ウインドウのエッジ積分値Edgeから算出されるエッジ重み係数との積を顕著度と定義する。

ここで、内側ウインドウの周辺部とは、図７に実線で示されている内側ウインドウよりも外部で、かつ破線で示されている外側ウインドウよりも内部であるドーナツ状の領域のことである。さらに、輝度情報及び色情報とは、本実施形態では輝度信号及び色差信号のヒストグラムからなる特徴量である。特徴量が輝度信号のヒストグラムについては、内側ウインドウの輝度信号のヒストグラムと外側ウインドウの輝度信号のヒストグラムとで、ビン毎の差分絶対値を算出し、その積算値を輝度信号の差分値とする。特徴量が色差信号のヒストグラムについては、内側ウインドウの色差信号のヒストグラムと外側ウインドウの色差信号のヒストグラムとで、ビン毎の差分絶対値を算出し、その積算値を色差信号の差分値とする。なお、輝度信号の差分値と色差信号の差分値のどちらか一方のみの差分値を用いて、顕著度を求めるようにしてもよい。

また、エッジ重み係数の算出方法を図８に示す。図８には、エッジ重み係数をＷ_Eとした場合の、内側ウインドウのエッジ積分値Edgeとの関係を示している。エッジ重み係数Ｗ_Eの導出式は以下の（５）式に示すものである。
Ｗ_E＝ｍ＊Edge＋（１−ｋ） ・・・（５）

ここで、（５）式のｋはステップＳ２０３で算出したエッジ量寄与度であり、ｍはエッジ積分値Edgeに対する傾きを表すパラメータである。エッジ重み係数Ｗ_Eは１以下の値であり、（５）式で求めた値が１を超える場合には、エッジ重み係数Ｗ_E＝１とする。ｋ＝１の場合は、図８の実線で示すように、エッジ重み係数Ｗ_Eはエッジ積分値Edgeの値に大きく依存し、ｋ＝０の場合は、図８の短破線で示すように、エッジ重み係数Ｗ_Eはエッジ積分値Edgeの値に依らず一定である。これにより、エッジ量寄与度に対応した特性のエッジ重み係数Ｗ_Eを算出することができる。

次に、前記特徴量の差分値と前記エッジ重み係数Ｗ_Eとを乗算して、ある着目領域に対する顕著度を算出する。そして、着目領域をずらして同様の手順により顕著度を算出して、入力画像に対する顕著度の分布（以下、顕著度マップ）を得る。また、本実施形態では、内側ウインドウ及び外側ウインドウのサイズや顕著度算出位置（着目領域の位置）の設定に関しては特に限定しないものとする。一例としては、着目領域のウインドウをラスタ状に走査し、各点で顕著度を算出することにより顕著度マップを得る方法が挙げられる。さらに、本実施形態ではエッジ積分値を算出する範囲を内側ウインドウとしたが、エッジ積分値取得用として異なるサイズのウインドウを使用してもよい。

以上が、ステップＳ２０４の動作であり、本ステップの出力として顕著度マップが算出される。

＜Ｓ２０５：主被写体領域決定＞
最後に、ステップＳ２０５において、主被写体領域決定部１１０６は、顕著度マップに基づいて入力画像における主被写体を決定する。図９は、ステップＳ２０５の動作を説明するための図である。例えば図９（ａ）に示す入力画像に対し、ステップＳ２０４までの処理により図９（ｂ）に示す顕著度マップが得られたものとする。顕著度は階調を持っており、図９（ｂ）に示す例では入力画像内で相対的に目立つ鳥や太陽では顕著度が高くなる。さらに、エッジを多く含まない太陽よりも、鳥の顕著度が高くなっている。

図９（ｃ）は、図９（ｂ）の顕著度マップを所定の閾値で２値化した結果を示しており、２値化の結果、ある個数の被写体領域が抽出される。図９に示す例では２つの領域（第１の被写体及び第２の被写体）が抽出される。そして、最終的に、これらの第１及び第２の被写体から主被写体を判断する。主被写体の判断方法としては、例えば顕著度の値や領域のサイズ、位置などから主被写体を判断するが、他の方法により主被写体を判断してもよい。以上が本実施形態における処理の全体的な流れであり、本処理の出力として、入力画像内の顕著度に基づいた主被写体領域が算出される。

以上説明したように本実施形態によれば、従来の手法と比較して、より入力画像の絵柄に適した算出方法で顕著度を得ることができる。具体的には予め入力画像を大まかに主被写体候補領域とそれ以外の領域とに分け、それぞれの領域のエッジ量の関係から顕著度算出時のエッジ量寄与度を制御するようにした。これにより、主被写体にエッジを多く含まないシーンの場合はエッジ量寄与度を下げ、エッジ量による顕著度への悪影響を防ぐことができる。また、主被写体にエッジ量を多く含むシーンの場合は、顕著度算出時のエッジ量寄与度を上げ、より主被写体が際立つような顕著度を得ることができる。

なお、本実施形態では、主被写体候補領域を算出する際にＡＦ情報を利用したが、そのほかの手法で主被写体候補領域を算出してもよい。例えば、本撮影前にライブビュー画像上で特定の被写体を追尾する追尾情報を有している場合は、本撮影直前の追尾対象領域を主被写体候補領域としてもよい。その他、変形例として種々の方法が考えられるが、本発明ではその手法に対し、特に限定しないものとする。

（第２の実施形態）
以下、図面を参照して、本発明の第２の実施形態について詳細に説明する。
第１の実施形態では、主被写体候補領域として複数の領域を検出した場合には、これらの領域を区別せずに１つの領域として主被写体候補領域のエッジ積分値を算出し、エッジ量寄与度を算出した。一方、図１０（ａ）に示す入力画像のように、シーンによっては、主被写体候補領域が複数存在し、さらにそれぞれに含まれるエッジ量の値が極端に異なる場合がある。この場合、第１の実施形態のように、これらの領域を区別せずに顕著度を算出すると、結果としていずれの主被写体候補領域にも適さないエッジ量寄与度が算出されてしまう可能性がある。このような場合は、図１０（ｂ）に示すように、それぞれの領域を区別し、領域毎にエッジ量寄与度を算出し、顕著度を複数算出することが好ましい。そこで本実施形態では、主被写体候補領域毎に顕著度マップを算出する例について説明する。

なお、本実施形態に係るデジタルカメラの構成及び画像処理部の構成については、それぞれ図１、図１１と同様であり、詳細な説明は省略する。以下、第１の実施形態と異なる点について説明する。

図１２は、本実施形態において、主被写体候補領域が２つ検出された場合におけるテーブルの例を示す図である。例えば図１０（ｂ）に示すように、ステップＳ２０２において、主被写体候補領域area1，area2の２領域が検出された場合、それぞれの領域に着目して後段の処理を行う。つまり、ステップＳ２０３においては、主被写体候補領域area1のみとした時のエッジ量寄与度ｋ［１］と、主被写体候補領域area2のみとした時のエッジ量寄与度ｋ［２］とをそれぞれ算出する。さらに、ステップＳ２０４においては、エッジ量寄与度ｋ［１］を用いて得られる顕著度マップＭＡＰ［１］と、エッジ量寄与度ｋ［２］を用いて得られる顕著度マップＭＡＰ［２］とをそれぞれ算出する。ここで、エッジ量寄与度や顕著度の各算出方法に関しては、第１の実施形態と同様の手順とする。

最後に、ステップＳ２０５において、例えば図１２に示すような複数の顕著度マップを含むテーブルから、最終的な主被写体領域を判断する。

以上説明したように本実施形態によれば、入力画像内にエッジ量が大きく異なる複数の主被写体候補領域が存在した場合でも、それぞれの領域を区別して取り扱うようにしたので、それぞれの領域に最適な顕著度マップを得ることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０３ 主被写体候補領域検出部
１１０４ エッジ量寄与度算出部
１１０５ 顕著度算出部

Claims (10)

1. 入力画像から主被写体の候補領域を検出する検出手段と、
   前記検出手段によって検出された主被写体の候補領域と、前記候補領域の周辺領域とから、それぞれエッジ量を抽出する抽出手段と、
   前記抽出手段によって抽出された前記候補領域および前記周辺領域のエッジ量を基に、前記入力画像における視覚的な目立ちやすさを示す顕著度を算出する際の前記エッジ量の寄与度を算出する寄与度算出手段と、
   前記入力画像に含まれる複数の領域のそれぞれに対して、前記寄与度算出手段によって算出されたエッジ量の寄与度に基づいて前記顕著度を算出する顕著度算出手段とを備えることを特徴とする画像処理装置。
2. 前記寄与度算出手段は、前記主被写体の候補領域におけるエッジ量が第１の閾値より小さく、かつ前記周辺領域におけるエッジ量が第２の閾値より大きい場合における前記寄与度を、前記主被写体の候補領域におけるエッジ量が前記第１の閾値より大きく、かつ前記周辺領域におけるエッジ量が前記第２の閾値より小さい場合における前記寄与度よりも、小さくなるように算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記顕著度算出手段は、着目領域とその外側の領域とにおける輝度情報及び色情報の少なくとも一方の差分値に、前記寄与度を基づいた重み係数を乗算することによって前記顕著度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記重み係数は、前記寄与度が大きいほど、エッジ量に対する変化の度合いが大きくなる係数であることを特徴とする請求項３に記載の画像処理装置。
5. 前記検出手段は、前記入力画像に対する合焦領域情報に基づいて前記主被写体の候補領域を検出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記検出手段は、前記入力画像における被写体の追尾情報に基づいて前記主被写体の候補領域を検出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
7. 前記抽出手段は、前記主被写体の候補領域と、前記入力画像から前記候補領域を除いた周辺領域とから、それぞれエッジ量を抽出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記検出手段によって複数の候補領域が検出された場合に、前記抽出手段は、前記検出された候補領域ごとに該候補領域とその周辺領域とから、それぞれエッジ量を抽出し、
   前記寄与度算出手段は、前記検出された候補領域ごとに前記エッジ量の寄与度を算出し、
   前記顕著度算出手段は、前記検出された候補領域ごとに算出されたエッジ量の寄与度に基づいて、それぞれ前記顕著度を算出することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 入力画像から主被写体の候補領域を検出する検出工程と、
   前記検出工程において検出された主被写体の候補領域と、前記候補領域の周辺領域とから、それぞれエッジ量を抽出する抽出工程と、
   前記抽出工程において抽出された前記候補領域および前記周辺領域のエッジ量を基に、前記入力画像における視覚的な目立ちやすさを示す顕著度を算出する際の前記エッジ量の寄与度を算出する寄与度算出工程と、
   前記入力画像に含まれる複数の領域のそれぞれに対して、前記寄与度算出工程において算出されたエッジ量の寄与度に基づいて前記顕著度を算出する顕著度算出工程とを備えることを特徴とする画像処理方法。
10. 入力画像から主被写体の候補領域を検出する検出工程と、
    前記検出工程において検出された主被写体の候補領域と、前記候補領域の周辺領域とから、それぞれエッジ量を抽出する抽出工程と、
    前記抽出工程において抽出された前記候補領域および前記周辺領域のエッジ量を基に、前記入力画像における視覚的な目立ちやすさを示す顕著度を算出する際の前記エッジ量の寄与度を算出する寄与度算出工程と、
    前記入力画像に含まれる複数の領域のそれぞれに対して、前記寄与度算出工程において算出されたエッジ量の寄与度に基づいて前記顕著度を算出する顕著度算出工程とをコンピュータに実行させることを特徴とするプログラム。