WO2010143549A1

WO2010143549A1 - 画像処理装置および方法、並びにプログラム

Info

Publication number: WO2010143549A1
Application number: PCT/JP2010/059177
Authority: WO
Inventors: 昌俊横川; 一樹相坂; 村山　淳
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-06-09
Filing date: 2010-05-31
Publication date: 2010-12-16
Anticipated expiration: 2011-12-09
Also published as: TW201104624A; US8611615B2; EP2323418A1; US20120070102A1; JP2010287948A; KR20120023591A; BRPI1004219A2; JP5544764B2; RU2011104483A; CN102113335B; CN102113335A; TWI431549B; RU2494460C2

Abstract

　本発明は、画像の撮れ具合をより適切に評価できるようにする画像処理装置および方法、並びにプログラムに関する。　ぼけ度スコア算出部２３乃至彩度スコア算出部２７は、入力画像から予め定められた特徴の特徴量を抽出し、その特徴に基づく、入力画像に対する評価を示す特徴別のスコアを算出する。例えば、輝度スコア算出部２４は、特徴量として、入力画像から輝度値を抽出し、入力画像の被写体部分における、輝度値の分布に基づく評価を示す輝度スコアを算出する。総合スコア算出部２８は、各特徴別のスコアから、入力画像の撮れ具合の評価を示す総合スコアを算出する。このように、各特徴別のスコアの算出時に、その特徴に適した入力画像の領域から、各特徴量を抽出してスコアを求めることで、より適切に入力画像を評価できるようになる。本発明は、画像処理装置に適用することができる。

Description

画像処理装置および方法、並びにプログラム

　本発明は画像処理装置および方法、並びにプログラムに関し、特に、撮像された画像の撮れ具合をより適切に評価することができるようにした画像処理装置および方法、並びにプログラムに関する。

　従来、撮像装置により撮像して得られた画像が、上手く撮れているか否かの評価、つまり画像の撮れ具合の評価を示す評価値を算出する技術が知られている。

　例えば、撮れ具合の評価値を算出する技術には、画像全体から各特徴の特徴量を抽出し、特徴ごとに画像に対する評価を求めて、それらの特徴ごとの評価を合計することで総合的な評価を算出するものがある（例えば、非特許文献１参照）。具体的には、非特許文献１に記載の技術では、特徴ごとの評価として、エッジの複雑さ、バウンディングボックスの大きさ、ぼけの度合いなどに基づく評価が算出されている。

Yan Ke, Xiaoou Tang, Feng Jing「The Design of High-Level Features for Photo Quality Assessment」、[online]、[平成２１年６月３日検索]、インターネット〈URL:http://www.cs.cmu.edu/~yke/photoqual/cvpr06photo.pdf#search='The Design of HighLevel Features for Photo Quality Assessment'〉

　しかしながら、上述した技術では、画像の撮れ具合を適切に評価することは困難であった。すなわち、非特許文献１に記載の技術では、画像全体から各特徴の特徴量を抽出して評価値の算出を行っているため、画像の評価に用いる特徴によっては、適切な評価値を算出することができなくなってしまう。

　例えば、一般的に背景部分がシンプルである画像、つまり背景部分においてエッジが複雑でない画像は上手く撮れているとされ、評価の高い画像とされる。ここで、画像上における被写体部分の領域が大きく、被写体部分はエッジが複雑であるが、背景部分はエッジが複雑ではない、一般的な評価の高い画像があるとする。この場合、１つの特徴として、画像からエッジ強度を抽出し、エッジの複雑さに基づく評価を求めると、画像全体ではエッジが複雑であるとされるため、求められた評価値が、本来得られるはずの評価よりも低い評価となってしまう。

　本発明は、このような状況に鑑みてなされたものであり、画像の撮れ具合をより適切に評価することができるようにするものである。

　本発明の一側面の画像処理装置は、入力画像の全体から第１の特徴の特徴量を抽出し、前記第１の特徴の特徴量に基づいて、前記第１の特徴に基づく前記入力画像に対する評価を示す第１の部分評価値を算出する第１の評価値算出手段と、前記入力画像の所定の領域から第２の特徴の特徴量を抽出し、前記第２の特徴の特徴量に基づいて、前記第２の特徴に基づく前記入力画像に対する評価を示す第２の部分評価値を算出する第２の評価値算出手段と、前記第１の部分評価値および前記第２の部分評価値に基づいて、前記入力画像の撮れ具合の評価を示す総合評価値を算出する総合評価値算出手段とを備える。

　前記第２の部分評価値算出手段には、前記入力画像上の被写体の領域が有する第３の特徴の特徴量を、前記入力画像の各領域から抽出することで前記入力画像上の前記被写体の領域を特定する被写体領域特定手段と、前記入力画像上の前記被写体の含まれる被写体領域、または前記入力画像上の前記被写体の含まれない背景領域の何れかの領域から、前記第２の特徴の特徴量を抽出して、前記第２の部分評価値を算出する算出手段とを設けることができる。

　前記算出手段には、前記第２の特徴の特徴量として、前記入力画像上の前記被写体領域内の各領域における輝度値を抽出させ、前記被写体領域における前記輝度値の分布に基づく前記第２の部分評価値を算出させることができる。

　前記算出手段には、前記第２の特徴の特徴量として、前記入力画像上の前記背景領域内の各領域におけるエッジ強度を抽出させ、前記背景領域における前記エッジの複雑さに基づく前記第２の部分評価値を算出させることができる。

　前記第１の評価値算出手段には、前記入力画像の全体における、ぼけの度合い、色の分布、彩度の平均、または彩度の分散の少なくとも何れかに基づく前記第１の部分評価値を算出させることができる。

　前記総合評価値算出手段には、前記第１の部分評価値の値に対して予め定められた値と、前記第２の部分評価値の値に対して予め定められた値とを加算することにより、前記総合評価値を算出させることができる。

　前記第１の部分評価値の値に対して予め定められた値は、予め得られている、撮れ具合の評価の異なる複数の画像の前記第１の部分評価値に基づいて定められるようにし、前記第２の部分評価値の値に対して予め定められた値は、予め得られている、撮れ具合の評価の異なる複数の画像の前記第２の部分評価値に基づいて定められるようにすることができる。

　本発明の一側面の画像処理方法またはプログラムは、入力画像の全体から第１の特徴の特徴量を抽出し、前記第１の特徴の特徴量に基づいて、前記第１の特徴に基づく前記入力画像に対する評価を示す第１の部分評価値を算出し、前記入力画像の所定の領域から第２の特徴の特徴量を抽出し、前記第２の特徴の特徴量に基づいて、前記第２の特徴に基づく前記入力画像に対する評価を示す第２の部分評価値を算出し、前記第１の部分評価値および前記第２の部分評価値に基づいて、前記入力画像の撮れ具合の評価を示す総合評価値を算出するステップを含む。

　本発明の一側面においては、入力画像の全体から第１の特徴の特徴量が抽出され、前記第１の特徴の特徴量に基づいて、前記第１の特徴に基づく前記入力画像に対する評価を示す第１の部分評価値が算出され、前記入力画像の所定の領域から第２の特徴の特徴量が抽出され、前記第２の特徴の特徴量に基づいて、前記第２の特徴に基づく前記入力画像に対する評価を示す第２の部分評価値が算出され、前記第１の部分評価値および前記第２の部分評価値に基づいて、前記入力画像の撮れ具合の評価を示す総合評価値が算出される。

　本発明の一側面によれば、画像の撮れ具合をより適切に評価することができる。

本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。ぼけ度スコア算出部の構成例を示す図である。輝度スコア算出部の構成例を示す図である。被写体抽出部の構成例を示す図である。輝度情報抽出部の構成例を示す図である。色情報抽出部の構成例を示す図である。エッジ情報抽出部の構成例を示す図である。顔情報抽出部の構成例を示す図である。エッジスコア算出部の構成例を示す図である。色分布スコア算出部の構成例を示す図である。彩度スコア算出部の構成例を示す図である。スライドショー表示処理を説明するフローチャートである。ぼけ度スコアの変換テーブルの例を示す図である。ぼけ度スコアに対する得点の定め方を説明する図である。ぼけ度スコア算出処理を説明するフローチャートである。エッジマップの生成について説明する図である。ローカルマックスの生成について説明する図である。エッジの構造の例を示す図である。輝度スコア算出処理を説明するフローチャートである。被写体マップ生成処理を説明するフローチャートである。輝度情報抽出処理を説明するフローチャートである。色情報抽出処理を説明するフローチャートである。エッジ情報抽出処理を説明するフローチャートである。顔情報抽出処理を説明するフローチャートである。エッジスコア算出処理を説明するフローチャートである。色分布スコア算出処理を説明するフローチャートである。彩度スコア算出処理を説明するフローチャートである。コンピュータの構成例を示す図である。

　以下、図面を参照して、本発明を適用した実施の形態について説明する。

［画像処理装置の構成］
　図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

　この画像処理装置１１は、例えばカメラなどの撮像装置により撮像して得られた入力画像について、その入力画像が上手く撮れているか否か、つまり入力画像の撮れ具合（入力画像の見映え）の評価を示す評価値（以下、総合スコアと呼ぶこととする）を算出する。入力画像の評価は、その入力画像が、より写真の専門家により撮像された画像に近いほど高くなり、入力画像の総合スコアの値は小さくなるものとされる。すなわち、総合スコアの値が小さい入力画像ほど、より上手く撮れた画像であるとされる。

　画像処理装置１１は、記録部２１、取得部２２、ぼけ度スコア算出部２３、輝度スコア算出部２４、エッジスコア算出部２５、色分布スコア算出部２６、彩度スコア算出部２７、総合スコア算出部２８、表示制御部２９、および表示部３０から構成される。

　記録部２１は、ハードディスクなどからなり、ユーザによって撮像装置で撮像された入力画像を複数記録している。例えば、入力画像は、各画素が画素値としてＲ（赤），Ｇ（緑），およびＢ（青）の成分の値を有する画像とされる。取得部２２は、記録部２１から入力画像を取得して、ぼけ度スコア算出部２３乃至彩度スコア算出部２７および表示制御部２９に供給する。

　ぼけ度スコア算出部２３乃至彩度スコア算出部２７は、取得部２２から供給された入力画像から、予め定められた特徴の特徴量を抽出し、その特徴に基づく、入力画像に対する評価を示す特徴別のスコアを算出する。

　すなわち、ぼけ度スコア算出部２３は、予め定められた特徴の特徴量として、入力画像からエッジ強度を抽出し、そのエッジ強度に基づいて、入力画像のぼけ具合を示すぼけ度スコアを算出する。輝度スコア算出部２４は、予め定められた特徴の特徴量として、入力画像から輝度値を抽出し、その輝度値に基づいて、入力画像の被写体部分（前景部分）における輝度値の分布に基づく評価を示す輝度スコアを算出する。

　エッジスコア算出部２５は、予め定められた特徴の特徴量として、入力画像からエッジ強度を抽出し、そのエッジ強度に基づいて、入力画像の背景部分におけるエッジの複雑さに基づく評価を示すエッジスコアを算出する。色分布スコア算出部２６は、予め定められた特徴の特徴量として、入力画像から各色の成分を抽出し、その色の成分に基づいて、入力画像における色の分布に基づく評価を示す色分布スコアを算出する。

　彩度スコア算出部２７は、予め定められた特徴の特徴量として、入力画像から彩度を抽出し、その彩度に基づいて、入力画像における彩度の分布の平均および分散に基づく評価を示す彩度スコアを算出する。ぼけ度スコア算出部２３乃至彩度スコア算出部２７は、算出したぼけ度スコア、輝度スコア、エッジスコア、色分布スコア、および彩度スコアを総合スコア算出部２８に供給する。

　なお、以下、ぼけ度スコア、輝度スコア、エッジスコア、色分布スコア、および彩度スコアのそれぞれを特に区別する必要のない場合、単に特徴別スコアとも称する。

　総合スコア算出部２８は、ぼけ度スコア算出部２３乃至彩度スコア算出部２７から供給された特徴別スコアに基づいて総合スコアを算出し、表示制御部２９に供給する。表示制御部２９は、総合スコア算出部２８からの総合スコアに基づいて、取得部２２から供給された入力画像のうち、評価の高いいくつかの入力画像を選択する。また、表示制御部２９は、選択した入力画像を表示部３０に供給して、入力画像の表示を制御する。表示部３０は、例えば液晶ディスプレイなどからなり、表示制御部２９の制御に従って入力画像を表示する。

［ぼけ度スコア算出部の構成］
　また、図１のぼけ度スコア算出部２３は、より詳細には、図２に示すように構成される。

　すなわち、ぼけ度スコア算出部２３は、エッジマップ生成部６１、ダイナミックレンジ検出部６２、演算パラメータ調整部６３、ローカルマックス生成部６４、エッジポイント抽出部６５、抽出量判定部６６、エッジ分析部６７、およびぼけ度検出部６８から構成される。

　エッジマップ生成部６１は、取得部２２から供給された入力画像に基づいて、互いに大きさが異なる３種類のブロック単位で入力画像のエッジの強度（エッジ強度）を検出し、検出したエッジ強度を画素値とするエッジマップを生成する。このエッジマップは、ブロックの大きさごとに生成され、ブロックの小さいものから順番に、スケールＳＣ１乃至スケールＳＣ３のエッジマップとされる。エッジマップ生成部６１は、生成したこれらの３つのエッジマップを、ダイナミックレンジ検出部６２およびローカルマックス生成部６４に供給する。

　ダイナミックレンジ検出部６２は、エッジマップ生成部６１からのエッジマップを用いて、入力画像のエッジ強度の最大値と最小値の差であるダイナミックレンジを検出し、その検出結果を演算パラメータ調整部６３に供給する。

　演算パラメータ調整部６３は、ダイナミックレンジ検出部６２から供給された検出結果に基づいて、入力画像のぼけ具合の検出に用いるエッジポイントの抽出量（以下、エッジポイント抽出量とも称する）が適切な値になるように、エッジポイントの抽出に用いる演算パラメータを調整する。ここで、エッジポイントとは、画像内のエッジを構成する画素をいう。

　また、演算パラメータには、エッジポイントであるか否かの判定に用いるエッジ基準値、およびエッジポイント抽出量が適切であるか否かの判定に用いる抽出基準値が含まれる。演算パラメータ調整部６３は、エッジ基準値をエッジポイント抽出部６５および抽出量判定部６６に供給し、抽出基準値を抽出量判定部６６に供給する。

　ローカルマックス生成部６４は、エッジマップ生成部６１から供給されたエッジマップを、それぞれ所定の大きさのブロックに分割し、各ブロックの画素値の最大値を抽出することによりローカルマックスを生成する。ローカルマックスは、エッジマップのスケールごとに生成され、ローカルマックス生成部６４からエッジポイント抽出部６５およびエッジ分析部６７に供給される。以下、スケールＳＣ１乃至スケールＳＣ３のエッジマップから生成されたローカルマックスを、それぞれローカルマックスＬＭ１乃至ローカルマックスＬＭ３と称する。

　エッジポイント抽出部６５は、演算パラメータ調整部６３からのエッジ基準値、およびローカルマックス生成部６４からのローカルマックスに基づいて、入力画像からエッジポイントを抽出する。また、エッジポイント抽出部６５は、抽出したエッジポイントの情報を示すエッジポイントテーブルを生成し、抽出量判定部６６に供給する。なお、以下、ローカルマックスＬＭ１乃至ローカルマックスＬＭ３のそれぞれから得られたエッジポイントテーブルを、エッジポイントテーブルＥＴ１乃至エッジポイントテーブルＥＴ３と称する。

　抽出量判定部６６は、エッジポイント抽出部６５からのエッジポイントテーブル、および演算パラメータ調整部６３からの抽出基準値に基づいて、エッジポイント抽出量が適切であるか否かを判定する。抽出量判定部６６は、エッジポイント抽出量が適切でない場合、エッジポイント抽出量が適切でない旨を演算パラメータ調整部６３に通知し、エッジポイント抽出量が適切である場合、そのときのエッジ基準値およびエッジポイントテーブルをエッジ分析部６７に供給する。

　エッジ分析部６７は、抽出量判定部６６からのエッジポイントテーブルに基づいて、入力画像のエッジポイントの分析を行い、その分析結果をぼけ度検出部６８に供給する。ぼけ度検出部６８は、エッジポイントの分析結果に基づいて、入力画像のぼけ具合を示す指標であるぼけ度を検出し、そのぼけ度をぼけ度スコアとして総合スコア算出部２８に供給する。

［輝度スコア算出部の構成］
　また、図１の輝度スコア算出部２４は、より詳細には図３に示すように構成される。

　すなわち、輝度スコア算出部２４は、被写体抽出部９１、乗算部９２、ヒストグラム生成部９３、正規化部９４、およびスコア算出部９５から構成され、取得部２２からの入力画像は、被写体抽出部９１および乗算部９２に供給される。

　被写体抽出部９１は、取得部２２から供給された入力画像に基づいて、入力画像における被写体の含まれる領域を抽出するための被写体マップを生成し、乗算部９２に供給する。

　例えば、被写体マップの画素の画素値は、その画素と同じ位置にある入力画像の領域が、被写体を含む領域であると推定される場合には「１」とされ、その画素と同じ位置にある入力画像の領域が、被写体を含まない領域であると推定される場合には「０」とされる。また、ここでいう被写体は、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推定される入力画像上の物体、つまりユーザが目を向けると推定される物体とされる。したがって、被写体は必ずしも人に限られる訳ではない。

　乗算部９２は、取得部２２からの入力画像の画素の画素値に、被写体抽出部９１からの被写体マップの画素の画素値を乗算することにより、入力画像における被写体の領域の画像である被写体画像を生成し、ヒストグラム生成部９３に供給する。被写体画像において、被写体部分の画素の画素値は、その画素と同じ位置の入力画像の画素の画素値と同じ値となり、被写体画像において、被写体を含まない背景部分の画素の画素値は０とされる。つまり、乗算部９２における乗算処理によって、入力画像における被写体の領域が特定（抽出）され、その被写体の部分からなる被写体画像が生成される。

　ヒストグラム生成部９３は、乗算部９２からの被写体画像に基づいて、被写体画像の輝度値のヒストグラムを生成し、正規化部９４に供給する。正規化部９４は、ヒストグラム生成部９３からのヒストグラムを正規化し、スコア算出部９５に供給する。また、スコア算出部９５は、正規化部９４から供給されたヒストグラムに基づいて輝度スコアを算出し、総合スコア算出部２８に供給する。

［被写体抽出部の構成］
　ここで、図３の被写体抽出部９１は、より詳細には図４に示すように構成される。

　すなわち、被写体抽出部９１は、輝度情報抽出部１２１、色情報抽出部１２２、エッジ情報抽出部１２３、顔情報抽出部１２４、および被写体マップ生成部１２５から構成される。また、取得部２２からの入力画像は、被写体抽出部９１の輝度情報抽出部１２１乃至顔情報抽出部１２４に供給される。

　輝度情報抽出部１２１乃至顔情報抽出部１２４は、取得部２２から供給された入力画像から被写体の領域がより多く有する特徴の特徴量を抽出して、入力画像の各領域における被写体の領域らしさを示す情報マップを生成する。

　具体的には、輝度情報抽出部１２１は、入力画像から輝度値を抽出して、入力画像の各領域における、輝度に関する情報を示す輝度情報マップを生成し、被写体マップ生成部１２５に供給する。色情報抽出部１２２は、入力画像から所定の色の成分を抽出して、入力画像の各領域における、色に関する情報を示す色情報マップを生成し、被写体マップ生成部１２５に供給する。

　エッジ情報抽出部１２３は、入力画像からエッジ強度を抽出して、入力画像の各領域における、エッジに関する情報を示すエッジ情報マップを生成し、被写体マップ生成部１２５に供給する。顔情報抽出部１２４は、入力画像から人の顔の有する特徴の特徴量を抽出して、入力画像の各領域における、被写体としての人の顔に関する情報を示す顔情報マップを生成し、被写体マップ生成部１２５に供給する。

　なお、以下、輝度情報抽出部１２１乃至顔情報抽出部１２４から出力される、輝度情報マップ乃至顔情報マップのそれぞれを個々に区別する必要のない場合、単に情報マップとも称する。これらの情報マップに含まれる情報は、被写体の含まれる領域により多く含まれる特徴の特徴量を示す情報とされ、その情報が入力画像の各領域に対応させて並べられたものが情報マップとされる。つまり、情報マップは、入力画像の各領域における特徴量を示す情報であるといえる。

　したがって、各情報マップにおける、より情報量の多い領域、つまり特徴量の多い領域に対応する入力画像上の領域は、より被写体が含まれる可能性の高い領域となり、各情報マップにより入力画像における被写体の含まれる領域を特定することができる。

　被写体マップ生成部１２５は、輝度情報抽出部１２１乃至顔情報抽出部１２４から供給された情報マップを線形結合し、被写体マップを生成する。すなわち、輝度情報マップ乃至顔情報マップの各領域の情報（特徴量）が、同じ位置にある領域ごとに重み付き加算されて被写体マップが生成される。被写体マップ生成部１２５は、生成した被写体マップを乗算部９２に供給する。

［輝度情報抽出部の構成］
　次に、図５乃至図８を参照して、図４の輝度情報抽出部１２１乃至顔情報抽出部１２４のより詳細な構成について説明する。

　図５は、輝度情報抽出部１２１のより詳細な構成例を示す図である。

　輝度情報抽出部１２１は、輝度画像生成部１５１、ピラミッド画像生成部１５２、差分算出部１５３、および輝度情報マップ生成部１５４から構成される。

　輝度画像生成部１５１は、取得部２２から供給された入力画像を用いて、入力画像の画素の輝度値を、画素の画素値とする輝度画像を生成し、ピラミッド画像生成部１５２に供給する。ここで、輝度画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素の輝度値を示している。

　ピラミッド画像生成部１５２は、輝度画像生成部１５１から供給された輝度画像を用いて、互いに解像度の異なる複数の輝度画像を生成し、それらの輝度画像を輝度のピラミッド画像として差分算出部１５３に供給する。

　例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。

　この場合、輝度画像生成部１５１により生成された輝度画像が、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の大きさの画像となる。

　差分算出部１５３は、ピラミッド画像生成部１５２から供給された複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて輝度の差分画像を生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。

　差分算出部１５３は、予め定められた数だけ輝度の差分画像を生成すると、生成したそれらの差分画像を正規化し、輝度情報マップ生成部１５４に供給する。輝度情報マップ生成部１５４は、差分算出部１５３から供給された差分画像に基づいて輝度情報マップを生成し、被写体マップ生成部１２５に供給する。

［色情報抽出部の構成］
　図６は、図４の色情報抽出部１２２のより詳細な構成例を示す図である。

　色情報抽出部１２２は、ＲＧ差分画像生成部１８１、ＢＹ差分画像生成部１８２、ピラミッド画像生成部１８３、ピラミッド画像生成部１８４、差分算出部１８５、差分算出部１８６、色情報マップ生成部１８７、および色情報マップ生成部１８８から構成される。

　ＲＧ差分画像生成部１８１は、取得部２２から供給された入力画像を用いて、入力画像の画素のＲ（赤）成分とＧ（緑）成分との差分を、画素の画素値とするＲＧ差分画像を生成し、ピラミッド画像生成部１８３に供給する。ＲＧ差分画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素のＲの成分と、Ｇの成分との差分の値を示している。

　ＢＹ差分画像生成部１８２は、取得部２２から供給された入力画像を用いて、入力画像の画素のＢ（青）成分とＹ（黄）成分との差分を、画素の画素値とするＢＹ差分画像を生成し、ピラミッド画像生成部１８４に供給する。ＢＹ差分画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素のＢ（青）成分と、Ｙ（黄）成分との差分の値を示している。

　ピラミッド画像生成部１８３およびピラミッド画像生成部１８４は、ＲＧ差分画像生成部１８１およびＢＹ差分画像生成部１８２から供給されたＲＧ差分画像およびＢＹ差分画像を用いて、互いに解像度の異なる複数のＲＧ差分画像およびＢＹ差分画像を生成する。そして、ピラミッド画像生成部１８３およびピラミッド画像生成部１８４は、生成したそれらのＲＧ差分画像およびＢＹ差分画像を、ＲＧの差分のピラミッド画像、およびＢＹの差分のピラミッド画像として差分算出部１８５および差分算出部１８６に供給する。

　例えば、ＲＧの差分のピラミッド画像、およびＢＹの差分のピラミッド画像として、輝度のピラミッド画像の場合と同様に、それぞれレベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成される。

　差分算出部１８５および差分算出部１８６は、ピラミッド画像生成部１８３およびピラミッド画像生成部１８４から供給された複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めてＲＧの差分の差分画像、およびＢＹの差分の差分画像を生成する。なお、各階層のピラミッド画像は、それぞれ大きさが異なるので、差分画像の生成時には、より小さい方のピラミッド画像がアップコンバートされて、より大きい方のピラミッド画像と同じ大きさとされる。

　差分算出部１８５および差分算出部１８６は、予め定められた数だけＲＧの差分の差分画像、およびＢＹの差分の差分画像を生成すると、生成したそれらの差分画像を正規化し、色情報マップ生成部１８７および色情報マップ生成部１８８に供給する。色情報マップ生成部１８７および色情報マップ生成部１８８は、差分算出部１８５および差分算出部１８６から供給された差分画像に基づいて色情報マップを生成し、被写体マップ生成部１２５に供給する。色情報マップ生成部１８７ではＲＧの差分の色情報マップが生成され、色情報マップ生成部１８８ではＢＹの差分の色情報マップが生成される。

［エッジ情報抽出部の構成］
　図７は、図４のエッジ情報抽出部１２３のより詳細な構成例を示す図である。

　エッジ情報抽出部１２３は、エッジ画像生成部２１１乃至エッジ画像生成部２１４、ピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８、差分算出部２１９乃至差分算出部２２２、およびエッジ情報マップ生成部２２３乃至エッジ情報マップ生成部２２６から構成される。

　エッジ画像生成部２１１乃至エッジ画像生成部２１４は、取得部２２から供給された入力画像に対して、ガボアフィルタを用いたフィルタ処理を施し、例えば０度、４５度、９０度、および１３５度の方向のエッジ強度を画素の画素値とするエッジ画像を生成し、ピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８に供給する。

　例えば、エッジ画像生成部２１１により生成されるエッジ画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素における０度の方向のエッジ強度を示している。なお、各エッジの方向とは、ガボアフィルタを構成するガボア関数における角度成分により示される方向をいう。

　ピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８は、エッジ画像生成部２１１乃至エッジ画像生成部２１４から供給された各方向のエッジ画像を用いて、互いに解像度の異なる複数のエッジ画像を生成する。そして、ピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８は、生成したそれらの各方向のエッジ画像を、エッジの各方向のピラミッド画像として差分算出部２１９乃至差分算出部２２２に供給する。

　例えば、エッジの各方向のピラミッド画像として、輝度のピラミッド画像の場合と同様に、それぞれレベルＬ１乃至レベルＬ８までの８つの階層のピラミッド画像が生成される。

　差分算出部２１９乃至差分算出部２２２は、ピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８から供給された、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めてエッジの各方向の差分画像を生成する。なお、各階層のピラミッド画像は、それぞれ大きさが異なるので、差分画像の生成時には、より小さい方のピラミッド画像がアップコンバートされる。

　差分算出部２１９乃至差分算出部２２２は、予め定められた数だけエッジの各方向の差分画像を生成すると、生成したそれらの差分画像を正規化し、エッジ情報マップ生成部２２３乃至エッジ情報マップ生成部２２６に供給する。エッジ情報マップ生成部２２３乃至エッジ情報マップ生成部２２６は、差分算出部２１９乃至差分算出部２２２から供給された差分画像に基づいて、各方向のエッジ情報マップを生成し、被写体マップ生成部１２５に供給する。

［顔情報抽出部の構成］
　図８は、図４の顔情報抽出部１２４のより詳細な構成例を示す図である。

　顔情報抽出部１２４は、顔検出部２５１および顔情報マップ生成部２５２から構成される。

　顔検出部２５１は、取得部２２から供給された入力画像から被写体としての人の顔の領域を検出し、その検出結果を顔情報マップ生成部２５２に供給する。顔情報マップ生成部２５２は、顔検出部２５１からの検出結果に基づいて顔情報マップを生成し、被写体マップ生成部１２５に供給する。

［エッジスコア算出部の構成］
　さらに、図１のエッジスコア算出部２５は、より詳細には図９に示すように構成される。

　すなわち、エッジスコア算出部２５は、被写体抽出部２８１、反転部２８２、フィルタ処理部２８３、正規化部２８４、乗算部２８５、ヒストグラム生成部２８６、およびスコア算出部２８７から構成される。

　被写体抽出部２８１は、取得部２２から供給された入力画像に基づいて被写体マップを生成し、反転部２８２に供給する。なお、この被写体抽出部２８１は、図４の被写体抽出部９１と同様の構成とされるため、その説明は省略する。

　反転部２８２は、被写体抽出部２８１から供給された被写体マップの画素の画素値を反転させて乗算部２８５に供給する。すなわち、被写体マップにおいて、画素値が１である画素は、その画素の画素値が０とされ、反対に、画素値が０である画素は、その画素の画素値が１とされる。したがって、反転後の被写体マップの画素の画素値は、その画素と同じ位置にある入力画像の領域が、被写体が含まれると推定される領域である場合には「０」とされ、その画素と同じ位置にある入力画像の領域が、被写体が含まれないと推定される領域である場合には「１」とされる。つまり、反転後の被写体マップは、入力画像における被写体が含まれない背景領域を特定するためのマップとなる。

　フィルタ処理部２８３は、取得部２２から供給された入力画像に、ラプラシアンフィルタを用いたフィルタ処理を施すことにより、入力画像の各領域におけるエッジ強度を画素の画素値とするラプラシアン画像を生成し、正規化部２８４に供給する。正規化部２８４は、フィルタ処理部２８３からのラプラシアン画像を正規化し、乗算部２８５に供給する。

　乗算部２８５は、正規化部２８４からのラプラシアン画像の画素の画素値に、反転部２８２からの反転された被写体マップの画素の画素値を乗算することにより、入力画像における背景の領域の画像である背景画像を生成し、ヒストグラム生成部２８６に供給する。背景画像において、被写体を含まない背景部分の画素の画素値は、その画素と同じ位置のラプラシアン画像の画素の画素値と同じ値となり、背景画像において、被写体部分の画素の画素値は０となる。つまり、乗算部２８５における乗算処理によって、入力画像における背景の領域が特定（抽出）され、その背景部分におけるエッジ強度からなる背景画像が生成される。

　ヒストグラム生成部２８６は、乗算部２８５からの背景画像に基づいて、背景画像のエッジ強度のヒストグラムを生成し、スコア算出部２８７に供給する。スコア算出部２８７は、ヒストグラム生成部２８６からのヒストグラムに基づいてエッジスコアを算出し、総合スコア算出部２８に供給する。

［色分布スコア算出部の構成］
　また、図１の色分布スコア算出部２６は、より詳細には図１０に示すように構成される。

　すなわち、色分布スコア算出部２６は、Ｒ成分ヒストグラム生成部３１１、Ｇ成分ヒストグラム生成部３１２、Ｂ成分ヒストグラム生成部３１３、正規化部３１４乃至正規化部３１６、ヒストグラム生成部３１７、およびスコア算出部３１８から構成される。

　Ｒ成分ヒストグラム生成部３１１乃至Ｂ成分ヒストグラム生成部３１３は、取得部２２から供給された入力画像から、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の各成分のヒストグラムを生成し、正規化部３１４乃至正規化部３１６に供給する。正規化部３１４乃至正規化部３１６は、Ｒ成分ヒストグラム生成部３１１乃至Ｂ成分ヒストグラム生成部３１３からの成分ごとのヒストグラムを正規化し、ヒストグラム生成部３１７に供給する。

　ヒストグラム生成部３１７は、正規化部３１４乃至正規化部３１６から供給された色成分ごとのヒストグラムを用いて、Ｒ，Ｇ，Ｂの各成分からなる１つの色の値の範囲をビンとした１つのヒストグラムを生成し、スコア算出部３１８に供給する。スコア算出部３１８は、ヒストグラム生成部３１７から供給されたヒストグラムに基づいて色分布スコアを算出し、総合スコア算出部２８に供給する。

［彩度スコア算出部の構成］
　さらに、図１の彩度スコア算出部２７は、より詳細には図１１に示すように構成される。

　すなわち、彩度スコア算出部２７は、変換部３４１、ヒストグラム生成部３４２、およびスコア算出部３４３から構成される。

　変換部３４１は、取得部２２から供給された、Ｒ，Ｇ，Ｂの各成分からなる入力画像を、Ｈ（色相），Ｓ（彩度），Ｖ（明度）の各成分の値からなる入力画像に変換し、ヒストグラム生成部３４２に供給する。

　ヒストグラム生成部３４２は、変換部３４１から供給された入力画像の画素のうち、特定の条件を満たす画素の彩度の成分のヒストグラムを生成し、スコア算出部３４３に供給する。スコア算出部３４３は、ヒストグラム生成部３４２からのヒストグラムに基づいて彩度スコアを算出し、総合スコア算出部２８に供給する。

［スライドショー表示処理の説明］
　ところで、ユーザが図１の画像処理装置１１を操作し、記録部２１に記録されている複数の入力画像を指定して、それらの入力画像のスライドショー表示を指示すると、画像処理装置１１は、ユーザの指示に応じてスライドショー表示処理を開始する。

　以下、図１２のフローチャートを参照して、画像処理装置１１によるスライドショー表示処理について説明する。

　ステップＳ１１において、取得部２２は、ユーザにより指定された入力画像の１つを記録部２１から取得して、ぼけ度スコア算出部２３乃至彩度スコア算出部２７、および表示制御部２９に供給する。

　例えば、ユーザが記録部２１に記録されているフォルダを指定して、そのフォルダに格納されている入力画像のスライドショー表示を指示したとすると、取得部２２は、ユーザにより指定されたフォルダ内の１つの入力画像を取得する。なお、入力画像のスライドショー表示とは、複数の入力画像を順番に表示していく処理をいう。

　ステップＳ１２において、ぼけ度スコア算出部２３は、ぼけ度スコア算出処理を行って、入力画像に対するぼけ度スコアを算出し、総合スコア算出部２８に供給する。また、ステップＳ１３において、輝度スコア算出部２４は、輝度スコア算出処理を行って、入力画像に対する輝度スコアを算出し、総合スコア算出部２８に供給する。

　ステップＳ１４において、エッジスコア算出部２５は、エッジスコア算出処理を行って、入力画像に対するエッジスコアを算出し、総合スコア算出部２８に供給する。ステップＳ１５において、色分布スコア算出部２６は、色分布スコア算出処理を行って、入力画像に対する色分布スコアを算出し、総合スコア算出部２８に供給する。

　さらに、ステップＳ１６において、彩度スコア算出部２７は、彩度スコア算出処理を行って、入力画像に対する彩度スコアを算出し、総合スコア算出部２８に供給する。

　なお、ステップＳ１２乃至ステップＳ１６において行われる、ぼけ度スコア算出処理乃至彩度スコア算出処理の詳細は後述する。

　ステップＳ１７において、総合スコア算出部２８は、ぼけ度スコア算出部２３乃至彩度スコア算出部２７から供給された特徴別スコアに基づいて、入力画像に対する総合スコアを算出する。

　すなわち、総合スコア算出部２８は、特徴別スコアごとに予め保持している変換テーブルを用いて、特徴別スコアを、その特徴別スコアの値に対して予め定められた得点に変換し、各特徴別スコアについて得られた得点の合計（総和）を総合スコアとする。

　例えば、特徴別スコアとしてのぼけ度スコアのとり得る値が０乃至１であり、ぼけ度スコアの値が、より大きいほど入力画像全体がぼけているものとすると、総合スコア算出部２８は、図１３に示すぼけ度スコアの変換テーブルにより、ぼけ度スコアの得点を得る。

　すなわち、ぼけ度スコアが0.2未満である場合、ぼけ度スコアの得点は０とされ、ぼけ度スコアが0.2以上0.3未満である場合、ぼけ度スコアの得点は１とされ、ぼけ度スコアが0.3以上0.5未満である場合、ぼけ度スコアの得点は２とされる。

　また、ぼけ度スコアが0.5以上0.7未満である場合、ぼけ度スコアの得点は３とされ、ぼけ度スコアが0.7以上0.9未満である場合、ぼけ度スコアの得点は５とされ、ぼけ度スコアが0.9以上である場合、ぼけ度スコアの得点は１０とされる。

　ここで、ぼけ度スコアの値の各範囲に対して定まる得点は、予め用意されたプロ画像およびアマ画像から得られたぼけ度スコアに基づいて定められる。なお、プロ画像とは、写真の専門家により撮像された、一般的な評価が高い（撮れ具合のよい）画像をいい、アマ画像とは、素人により撮像された、一般的な評価が低い（撮れ具合の悪い）画像をいう。

　例えば、複数のプロ画像およびアマ画像についてぼけ度スコアを求め、図１４に示す結果が得られたとする。なお、図中、縦軸はサンプルとされたプロ画像またはアマ画像の数を示しており、横軸はぼけ度スコアの値を示している。

　図１４では、図中、上側はプロ画像のぼけ度スコアの分布を示しており、図中、下側はアマ画像のぼけ度スコアの分布を示している。

　プロ画像のぼけ度スコアは、殆どのサンプルが0.3未満となっており、ぼけ度スコアが0.8以上となるサンプルはない。つまり、画像のぼけ具合が小さいほど、ぼけ度スコアも小さくなるので、プロ画像には、ぼけた画像が殆どないことになる。

　これに対して、アマ画像のぼけ度スコアは、殆どのサンプルが0.4未満であるが、0.4以上のものもいくつか存在する。つまり、アマ画像には、全体がぼけた画像もいくつか含まれている。

　プロ画像のぼけ度スコアと、アマ画像のぼけ度スコアとを比較すると、プロ画像の分布における矢印Ａ１１により示される範囲、つまりぼけ度スコアが0.8以上であるプロ画像は１つもない。これに対し、アマ画像の分布における矢印Ａ１２により示される範囲、つまりぼけ度スコアが0.8以上であるアマ画像はいくつか存在する。

　したがって、入力画像について求めたぼけ度スコアが、0.8以上である場合には、その入力画像はアマ画像、つまり撮れ具合のよくない画像である可能性が高い。また、各特徴別スコアについての得点の合計値が総合スコアとされ、総合スコアは、より小さいほど撮れ具合がよいことを示している。

　そこで、ぼけ度スコアが0.8以上である場合、つまり入力画像がアマ画像である可能性が高い場合には、総合スコアが大きくなるように、ぼけ度スコアについての得点が大きい値に定められる。また、一般的に、ぼけのない画像ほど撮れ具合のよい画像とされるため、ぼけ度スコアが小さいほど、ぼけ度スコアについての得点も小さい値となるようにされる。

　同様に、他の特徴別スコアについても、予め用意されたプロ画像およびアマ画像の特徴別スコアを比較することで、各特徴別スコアの値の範囲に対する得点が定められ、特徴別スコアごとの変換テーブルが予め求められる。

　このとき、プロ画像とアマ画像とで特徴別スコアの分布の違いが顕著な値の範囲に対しては、その違いに応じて、より大きい得点またはより小さい得点を定めることで、より適切（正確）に入力画像の撮れ具合を評価できるようになる。つまり、評価の精度を向上させることができる。

　また、１つの特徴スコアを用いても、入力画像の撮れ具合を適切に評価することは困難であるが、総合スコアは、複数の特徴別スコアから求めるため、入力画像の撮れ具合をより適切に評価できるようになる。

　例えば、図１４の例では、ぼけ度スコアが0.2未満である画像は、プロ画像もアマ画像も多数存在する。そのため、入力画像のぼけ度スコアが0.2未満である場合には、ぼけ度スコアだけからは、入力画像がプロ画像に近いか、またはアマ画像に近いかを正確に評価することは難しい。

　しかしながら、各特徴スコアには、入力画像がプロ画像に近いか、またはアマ画像に近いかをより正確に特定できる値の範囲が存在する。したがって、各特徴別スコアの値の範囲に対して得点を定めておき、特徴別スコアごとの得点を合計して総合スコアとすれば、より適切に入力画像の撮れ具合を評価することができるようになる。

　以上のように、変換テーブルを用いて各特徴別スコアを得点に変換し、それらの得点の総和を求めることで総合スコアとすることは、各特徴別スコアを重み付き加算して総合スコアとすることに相当する。

　図１２のフローチャートの説明に戻り、総合スコアが求められると、総合スコア算出部２８は、求めた総合スコアを表示制御部２９に供給する。そして、処理はステップＳ１７からステップＳ１８に進む。

　ステップＳ１８において、画像処理装置１１は、全ての入力画像について、総合スコアを求めたか否かを判定する。例えば、ユーザにより指定された、スライドショー表示の対象となる全ての入力画像の総合スコアが求められた場合、全ての入力画像について、総合スコアを求めたと判定される。

　ステップＳ１８において、まだ全ての入力画像について、総合スコアを求めていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、取得部２２により、次の入力画像が取得され、その入力画像に対する総合スコアが求められる。

　これに対して、ステップＳ１８において、全ての入力画像について、総合スコアを求めたと判定された場合、ステップＳ１９において、表示制御部２９は、スライドショー表示する入力画像を選択する。

　例えば、表示制御部２９は、総合スコア算出部２８から供給された各入力画像の総合スコアに基づいて、取得部２２から供給された入力画像のうち、総合スコアが所定の閾値以下のものを表示する入力画像として選択する。なお、総合スコアは、その値が低いほど、入力画像の撮れ具合の評価が高いことを示している。

　このように、総合スコアが閾値以下である入力画像を選択すれば、撮れ具合の評価がある程度高い入力画像、つまりある程度プロ画像に近い入力画像だけをスライドショー表示させることが可能となる。なお、表示させる入力画像は、例えば、総合スコアの低い順に、予め定められた枚数だけ選択されるようにしてもよい。

　ステップＳ２０において、表示制御部２９は、ステップＳ１９において選択した入力画像を、順次、表示部３０に供給して表示させることで、入力画像をスライドショー表示させる。そして、入力画像がスライドショー表示されると、スライドショー表示処理は終了する。このようにして、選択された入力画像がスライドショー表示されると、ユーザは、評価の高い入力画像だけを鑑賞することができる。

　以上のように、画像処理装置１１は、各入力画像について、特徴別スコアを求め、それらの特徴別スコアに基づいて、総合スコアを算出する。このように、複数の特徴別スコアに基づいて総合スコアを算出することにより、より適切に入力画像の撮れ具合を評価することができる。

［ぼけ度スコア算出処理の説明］
　次に、図１５のフローチャートを参照して、図１２のステップＳ１２の処理に対応するぼけ度スコア算出処理について説明する。

　ステップＳ５１において、エッジマップ生成部６１は、取得部２２から供給された入力画像を用いてエッジマップを生成する。

　具体的には、エッジマップ生成部６１は、入力画像を２×２画素の大きさのブロックに分割して、次式（１）乃至式（６）により、各ブロック内の画素間の画素値の差分の絶対値Ｍ_TL-TR乃至絶対値Ｍ_BL-BRを算出する。

　なお、式（１）乃至式（６）において、ａ，ｂ，ｃ，ｄのそれぞれは、入力画像の２×２画素の大きさのブロック内の画素の画素値を示している。例えば、図１６に示すように、画素値ａはブロック内の図中、左上の画素の画素値を示している。また、画素値ｂは、図中、ブロック内の右上の画素の画素値を示しており、画素値ｃはブロック内の左下の画素の画素値を示しており、画素値ｄはブロック内の右下の画素の画素値を示している。

　したがって、絶対値Ｍ_TL-TR乃至絶対値Ｍ_BL-BRのそれぞれは、ブロック内の各方向に隣接する画素同士の画素値の差分の絶対値、つまり各方向のエッジ強度を示している。

　次に、エッジマップ生成部６１は、次式（７）により、絶対値Ｍ_TL-TR乃至絶対値Ｍ_BL-BRの平均値Ｍ_Aveを算出する。この平均値Ｍ_Aveは、ブロック内の上下、左右および斜め方向のエッジ強度の平均値を示している。

　エッジマップ生成部６１は、算出した各ブロックの平均値Ｍ_Aveを、入力画像の対応するブロックと同じ順序に並べることにより、スケールＳＣ１のエッジマップを生成する。

　さらに、エッジマップ生成部６１は、スケールＳＣ２およびスケールＳＣ３のエッジマップを生成するために、次式（８）により、スケールＳＣ２およびスケールＳＣ３の平均化画像を生成する。

　なお、式（８）において、Ｐⁱ（ｘ，ｙ）は、スケールＳＣｉ（但し、ｉ＝１，２）の平均化画像における座標（ｘ，ｙ）に位置する画素の画素値を示している。また、Ｐⁱ⁺¹（ｘ，ｙ）は、スケールＳＣｉ＋１の平均化画像における座標（ｘ，ｙ）に位置する画素の画素値を示している。なお、スケールＳＣ１の平均化画像は入力画像であるとする。

　したがって、スケールＳＣ２の平均化画像は、入力画像を２×２画素の大きさのブロックに分割した各ブロック内の画素の画素値の平均値を、１つの画素の画素値とした画像である。また、スケールＳＣ３の平均化画像は、スケールＳＣ２の平均化画像を２×２画素の大きさのブロックに分割した各ブロック内の画素の画素値の平均値を、１つの画素の画素値とした画像である。

　エッジマップ生成部６１は、スケールＳＣ２およびスケールＳＣ３の平均化画像に対して、それぞれ式（１）乃至式（７）を用いて入力画像に対して行ったのと同様の処理を行い、スケールＳＣ２およびスケールＳＣ３のエッジマップを生成する。

　したがって、スケールＳＣ１乃至スケールＳＣ３のエッジマップは、それぞれ異なる周波数帯域のエッジ成分を入力画像から抽出して得られた画像となる。なお、スケールＳＣ１のエッジマップの画素数は入力画像の１／４（縦1/2×横1/2）となり、スケールＳＣ２のエッジマップの画素数は入力画像の１／１６（縦1/4×横1/4）となり、スケールＳＣ３のエッジマップの画素数は入力画像の１／６４（縦1/8×横1/8）となる。

　エッジマップ生成部６１は、生成したスケールＳＣ１乃至スケールＳＣ３のエッジマップをダイナミックレンジ検出部６２およびローカルマックス生成部６４に供給する。このように、異なる大きさのブロック単位で、異なるスケールのエッジマップを生成することにより、エッジ強度のばらつきを抑えることができる。

　ステップＳ５２において、ダイナミックレンジ検出部６２は、エッジマップ生成部６１から供給されたエッジマップを用いて、入力画像のダイナミックレンジを検出し、その検出結果を演算パラメータ調整部６３に供給する。

　具体的には、ダイナミックレンジ検出部６２は、スケールＳＣ１乃至スケールＳＣ３のエッジマップのなかから画素値の最大値と最小値を検出し、検出した画素値の最大値から最小値を引いた値を入力画像のエッジ強度のダイナミックレンジとする。すなわち、入力画像のエッジ強度の最大値と最小値の差がダイナミックレンジとして検出される。

　なお、上述した方法以外にも、例えば、エッジマップごとにダイナミックレンジを検出し、検出したダイナミックレンジの最大値や平均値などを実際に使用するダイナミックレンジとして採用することも考えられる。

　ステップＳ５３において、演算パラメータ調整部６３は、ダイナミックレンジ検出部６２から供給されたダイナミックレンジに応じて、演算パラメータの初期値を設定する。

　すなわち、演算パラメータ調整部６３は、ダイナミックレンジが所定の閾値未満である場合、入力画像をローダイナミックレンジの画像とし、ダイナミックレンジが閾値以上である場合、入力画像をハイダイナミックレンジの画像とする。

　そして、演算パラメータ調整部６３は、入力画像がローダイナミックレンジの画像である場合、演算パラメータにローダイナミックレンジの画像用の初期値を設定する。また、演算パラメータ調整部６３は、入力画像がハイダイナミックレンジの画像である場合、演算パラメータにハイダイナミックレンジの画像用の初期値を設定する。

　ここで、ローダイナミックレンジの画像は、ハイダイナミックレンジの画像と比較してエッジが少なく、抽出されるエッジポイントの量が少ないと推定される。したがって、入力画像のぼけ度の検出精度を一定のレベル以上とするのに充分な量のエッジポイントを抽出できるように、ローダイナミックレンジの画像用のエッジ基準値の初期値は、ハイダイナミックレンジの画像用のエッジ基準値の初期値と比較して小さい値とされる。また、ローダイナミックレンジの画像用の抽出基準値の初期値は、ハイダイナミックレンジの画像用の抽出基準値の初期値と比較して小さい値とされる。

　演算パラメータ調整部６３は、ダイナミックレンジに応じて設定したエッジ基準値をエッジポイント抽出部６５に供給し、エッジ基準値および抽出基準値を抽出量判定部６６に供給する。

　ステップＳ５４において、ローカルマックス生成部６４は、エッジマップ生成部６１から供給されたエッジマップを用いてローカルマックスを生成し、エッジポイント抽出部６５およびエッジ分析部６７に供給する。

　例えば、ローカルマックス生成部６４は、図１７の左側に示すように、スケールＳＣ１のエッジマップを２×２画素のブロックに分割する。そして、ローカルマックス生成部６４は、エッジマップの各ブロックの最大値を抽出して、抽出した最大値を対応するブロックと同じ順序に並べることにより、スケールＳＣ１のローカルマックスＬＭ１を生成する。つまり、各ブロック内の画素の画素値の最大値が抽出される。

　また、ローカルマックス生成部６４は、図中、中央に示すように、スケールＳＣ２のエッジマップを４×４画素のブロックに分割する。そして、ローカルマックス生成部６４は、エッジマップの各ブロックの最大値を抽出して、抽出した最大値を対応するブロックと同じ順序に並べることにより、スケールＳＣ２のローカルマックスＬＭ２を生成する。

　さらにローカルマックス生成部６４は、図中、右側に示すように、スケールＳＣ３のエッジマップを８×８画素のブロックに分割する。そして、ローカルマックス生成部６４は、エッジマップの各ブロックの最大値を抽出して、抽出した最大値を対応するブロックと同じ順序に並べることにより、スケールＳＣ３のローカルマックスＬＭ３を生成する。

　ステップＳ５５において、エッジポイント抽出部６５は、演算パラメータ調整部６３からのエッジ基準値、およびローカルマックス生成部６４から供給されたローカルマックスを用いて、入力画像からエッジポイントを抽出する。

　具体的には、エッジポイント抽出部６５は、入力画像の画素を１つ選択し、注目画素とする。また、エッジポイント抽出部６５は、選択した注目画素の入力画像上におけるｘｙ座標系の座標を（ｘ，ｙ）として、次式（９）により、注目画素に対応するローカルマックスＬＭ１の画素の座標（ｘ１，ｙ１）を求める。

　（ｘ１，ｙ１）＝（ｘ／４，ｙ／４）　　　　　　　　・・・（９）

　なお、式（９）において、ｘ／４およびｙ／４の値の小数点以下は切り捨てられるものとする。

　ローカルマックスＬＭ１の１つの画素は、入力画像の４×４画素のブロックから生成されるため、入力画像の注目画素に対応するローカルマックスＬＭ１の画素の座標は、注目画素のｘ座標およびｙ座標をそれぞれ１／４にした値となる。

　同様に、エッジポイント抽出部６５は、次式（１０）および式（１１）により、注目画素に対応するローカルマックスＬＭ２の画素の座標（ｘ２，ｙ２）、および注目画素に対応するローカルマックスＬＭ３の画素の座標（ｘ３，ｙ３）を求める。

　（ｘ２，ｙ２）＝（ｘ／１６，ｙ／１６）　　　　　・・・（１０）

　（ｘ３，ｙ３）＝（ｘ／６４，ｙ／６４）　　　　　・・・（１１）

　なお、式（１０）および式（１１）において、ｘ／１６、ｙ／１６、ｘ／６４、およびｙ／６４の値の小数点以下は切り捨てられるものとする。

　さらに、エッジポイント抽出部６５は、ローカルマックスＬＭ１の座標（ｘ１，ｙ１）の画素の画素値がエッジ基準値以上である場合、注目画素をローカルマックスＬＭ１におけるエッジポイントとして抽出する。そして、エッジポイント抽出部６５は、注目画素の座標（ｘ，ｙ）とローカルマックスＬＭ１の座標（ｘ１，ｙ１）の画素値を対応づけて記憶する。

　同様に、エッジポイント抽出部６５は、ローカルマックスＬＭ２の座標（ｘ２，ｙ２）の画素の画素値がエッジ基準値以上である場合、注目画素をローカルマックスＬＭ２におけるエッジポイントとして抽出し、注目画素の座標（ｘ，ｙ）とローカルマックスＬＭ２の座標（ｘ２，ｙ２）の画素値を対応づけて記憶する。また、エッジポイント抽出部６５は、ローカルマックスＬＭ３の座標（ｘ３，ｙ３）の画素の画素値がエッジ基準値以上である場合、注目画素をローカルマックスＬＭ３におけるエッジポイントとして抽出し、注目画素の座標（ｘ，ｙ）とローカルマックスＬＭ３の座標（ｘ３，ｙ３）の画素値を対応づけて記憶する。

　エッジポイント抽出部６５は、入力画像上の全ての画素が注目画素とされるまで以上の処理を繰り返す。

　これにより、ローカルマックスＬＭ１に基づいて、入力画像上の４×４画素のブロックのうち、エッジ強度がエッジ基準値以上となるブロックに含まれる画素がエッジポイントとして抽出される。

　同様に、ローカルマックスＬＭ２に基づいて、入力画像上の１６×１６画素のブロックのうち、ブロック内のエッジ強度がエッジ基準値以上となるブロックに含まれる画素がエッジポイントとして抽出される。また、ローカルマックスＬＭ３に基づいて、入力画像上の６４×６４画素のブロックのうち、ブロック内のエッジ強度がエッジ基準値以上となるブロックに含まれる画素がエッジポイントとして抽出される。

　したがって、エッジ強度がエッジ基準値以上となる入力画像の４×４画素、１６×１６画素、または６４×６４画素のブロックの少なくとも１つに含まれる画素がエッジポイントとして抽出される。

　エッジポイント抽出部６５は、ローカルマックスＬＭ１に基づいて抽出したエッジポイントの座標（ｘ，ｙ）と、そのエッジポイントに対応するローカルマックスＬＭ１の画素の画素値とが対応づけられたテーブルであるエッジポイントテーブルＥＴ１を生成する。

　同様に、エッジポイント抽出部６５は、ローカルマックスＬＭ２に基づいて抽出したエッジポイントの座標（ｘ，ｙ）と、そのエッジポイントに対応するローカルマックスＬＭ２の画素の画素値とが対応づけられたエッジポイントテーブルＥＴ２を生成する。また、エッジポイント抽出部６５は、ローカルマックスＬＭ３に基づいて抽出したエッジポイントの座標（ｘ，ｙ）と、そのエッジポイントに対応するローカルマックスＬＭ３の画素の画素値とが対応づけられたエッジポイントテーブルＥＴ３も生成する。

　そして、エッジポイント抽出部６５は、生成したそれらのエッジポイントテーブルを、抽出量判定部６６に供給する。

　ステップＳ５６において、抽出量判定部６６は、エッジポイント抽出部６５から供給されたエッジポイントテーブルを用いて、エッジポイント抽出量が適切であるか否かを判定する。例えば、抽出量判定部６６は、抽出されたエッジポイントの合計数、すなわちエッジポイントテーブルＥＴ１乃至エッジポイントテーブルＥＴ３のデータ数の合計が、演算パラメータ調整部６３から供給された抽出基準値未満である場合、エッジポイント抽出量が適切でないと判定する。

　ステップＳ５６において、エッジポイント抽出量が適切でないと判定された場合、抽出量判定部６６は、エッジポイント抽出量が適切でない旨を演算パラメータ調整部６３に通知し、処理はステップＳ５７に進む。

　ステップＳ５７において、演算パラメータ調整部６３は、抽出量判定部６６からの通知に応じて演算パラメータを調整する。

　例えば、演算パラメータ調整部６３は、現時点よりも、より多くのエッジポイントが抽出されるように、エッジ基準値を、現時点において設定されている値から所定の値だけ小さくする。演算パラメータ調整部６３は、調整したエッジ基準値をエッジポイント抽出部６５および抽出量判定部６６に供給する。

　演算パラメータが調整されると、その後、処理は、ステップＳ５５に戻り、エッジポイント抽出量が適切であると判定されるまで、上述した処理が繰り返される。

　また、ステップＳ５６において、エッジポイント抽出量が適切であると判定された場合、抽出量判定部６６は、演算パラメータ調整部６３からのエッジ基準値と、エッジポイントテーブルとをエッジ分析部６７に供給し、処理はステップＳ５８に進む。

　以上の処理により、ぼけ度の検出精度を向上させるために、ローダイナミックレンジの入力画像については、ぼけ度の検出精度を一定のレベル以上とするのに充分な量のエッジポイントを確保できるよう、エッジ強度の弱いブロックからもエッジポイントが抽出される。一方、ハイダイナミックレンジの入力画像については、より強いエッジを構成するエッジポイントが抽出されるように、できるだけエッジ強度の強いブロックからエッジポイントが抽出されるようになる。

　ステップＳ５８において、エッジ分析部６７は、抽出量判定部６６から供給されたエッジ基準値およびエッジポイントテーブルと、ローカルマックス生成部６４から供給されたローカルマックスとを用いて、エッジ分析を行う。

　具体的には、エッジ分析部６７は、エッジポイントテーブルＥＴ１乃至エッジポイントテーブルＥＴ３に基づいて、入力画像から抽出されたエッジポイントのうちの１つを注目画素とする。そして、エッジ分析部６７は、注目画素のｘｙ座標系の座標を（ｘ，ｙ）とし、上述した式（９）乃至（１１）により、注目画素に対応するローカルマックスＬＭ１乃至ローカルマックスＬＭ３の画素の座標（ｘ１，ｙ１）乃至座標（ｘ３，ｙ３）を求める。

　エッジ分析部６７は、ローカルマックスＬＭ１の座標（ｘ１，ｙ１）の画素を左上隅の画素とするｍ×ｍ画素（例えば、４×４画素）のローカルマックスＬＭ１上のブロック内の画素の画素値の最大値をLocal Max1(x1,y1)に設定する。また、エッジ分析部６７は、ローカルマックスＬＭ２の座標（ｘ２，ｙ２）の画素を左上隅の画素とするｎ×ｎ画素（例えば、２×２画素）のブロック内の画素値の最大値をLocal Max2(x2,y2)に設定し、ローカルマックスＬＭ３の座標（ｘ３，ｙ３）の画素値をLocal Max3(x3,y3)に設定する。

　なお、Local Max1(x1,y1)の設定に用いるｍ×ｍ、および、Local Max2(x2,y2)の設定に用いるｎ×ｎのパラメータは、ローカルマックスＬＭ１乃至ローカルマックスＬＭ３の１画素に対応する入力画像のブロックの大きさの差を調整するためのパラメータである。

　エッジ分析部６７は、Local Max1(x1,y1)、Local Max2(x2,y2)およびLocal Max3(x3,y3)が以下の条件式（１２）を満足するか否かを判定する。Local Max1(x1,y1)、Local Max2(x2,y2)およびLocal Max3(x3,y3)が条件式（１２）を満足する場合、エッジ分析部６７は、変数Nedgeの値を１つインクリメントする。

　なお、条件式（１２）を満足するエッジポイントは、図１８のＡ乃至図１８のＤに示すエッジなど、その構造に関わらず、一定以上の強度を有するエッジを構成するエッジポイントであると推定される。

　ここで、図１８のＡに示すエッジは、急峻なインパルス状のエッジとされ、図１８のＢに示すエッジは、図１８のＡのエッジよりは傾きが緩やかなパルス状のエッジとされ、図１８のＣに示すエッジは、傾きがほぼ垂直な階段状のエッジとされている。また、図１８のＤに示すエッジは、図１８のＣのエッジよりは傾きが緩やかな、階段状のエッジとされている。

　エッジ分析部６７は、Local Max1(x1,y1)、Local Max2(x2,y2)およびLocal Max3(x3,y3)が条件式（１２）を満足する場合、さらに、以下の条件式（１３）または条件式（１４）を満足するか否かを判定する。Local Max1(x1,y1)、Local Max2(x2,y2)およびLocal Max3(x3,y3)が条件式（１３）または条件式（１４）を満足する場合、エッジ分析部６７は、変数Nsmallblurの値を１つインクリメントする。

　なお、条件式（１２）を満足し、かつ条件式（１３）または条件式（１４）を満足するエッジポイントは、一定以上の強度を有するが、図１８のＡまたは図１８のＣのエッジと比較して強度の弱い、図１８のＢまたは図１８のＤの構造を有するエッジを構成するエッジポイントであると推定される。

　さらに、エッジ分析部６７は、Local Max1(x1,y1)、Local Max2(x2,y2)およびLocal Max3(x3,y3)が条件式（１２）を満足し、かつ条件式（１３）または条件式（１４）を満足する場合、Local Max1(x1,y1)が、以下の条件式（１５）を満足するか否かを判定する。Local Max1(x1,y1)が条件式（１５）を満足する場合、エッジ分析部６７は、変数Nlargeblurの値を１つインクリメントする。

　なお、条件式（１２）を満足し、かつ条件式（１３）または条件式（１４）を満足し、かつ条件式（１５）を満足するエッジポイントは、一定以上の強度の図１８のＢまたは図１８のＤの構造を有するエッジのうち、ぼけが発生し、鮮明さを失ったエッジを構成するエッジポイントであると推定される。換言すれば、そのエッジポイントにおいてぼけが発生していると推定される。

　エッジ分析部６７は、入力画像から抽出された全てのエッジポイントが注目画素とされるまで、以上の処理を繰り返す。これにより、抽出されたエッジポイントのうち、エッジポイントの数Nedge、エッジポイントの数Nsmallblur、およびエッジポイントの数Nlargeblurが求められる。

　ここで、数Nedgeは、条件式（１２）を満足するエッジポイントの数であり、数Nsmallblurは、条件式（１２）を満足し、かつ、条件式（１３）または条件式（１４）を満足するエッジポイントの数である。また、数Nlargeblurは、条件式（１２）を満足し、かつ、条件式（１３）または条件式（１４）を満足し、かつ、条件式（１５）を満足するエッジポイントの数である。

　エッジ分析部６７は、算出した数Nsmallblurおよび数Nlargeblurをぼけ度検出部６８に供給する。

　ステップＳ５９において、ぼけ度検出部６８は、エッジ分析部６７からの数Nsmallblurおよび数Nlargeblurを用いて次式（１６）を計算し、入力画像のぼけ具合の指標となるぼけ度BlurEstimationを、ぼけ度スコアとして求める。

　すなわち、ぼけ度BlurEstimationは、一定以上の強度の図１８のＢまたは図１８のＤの構造を有するエッジを構成すると推定されるエッジポイントのうち、ぼけが発生しているエッジを構成すると推定されるエッジポイントが占める比率である。したがって、ぼけ度BlurEstimationが大きいほど、入力画像のぼけ具合は大きいと推定される。

　ぼけ度検出部６８は、ぼけ度スコアを求めると、求められたぼけ度スコアを総合スコア算出部２８に供給して、ぼけ度スコア算出処理は終了し、処理は、図１２のステップＳ１３に進む。

　以上のようにして、ぼけ度スコア算出部２３は、入力画像から、入力画像全体のぼけ具合を示すぼけ度スコアを算出する。ぼけ度スコアの算出時には、入力画像に応じて、エッジポイントを抽出する条件、およびエッジポイントの抽出量が適切に制御されるので、より高い精度で入力画像のぼけ具合を検出することができる。

　なお、以上においては、入力画像の全体のぼけ具合をぼけ度スコアとして求めると説明したが、入力画像における被写体部分のみを対象として、被写体部分のぼけ具合をぼけ度スコアとして求めてもよい。

［輝度スコア算出処理の説明］
　次に、図１９のフローチャートを参照して、図１２のステップＳ１３の処理に対応する輝度スコア算出処理について説明する。

　ステップＳ８１において、被写体抽出部９１は、被写体マップ生成処理を行って、取得部２２から供給された入力画像から被写体マップを生成し、乗算部９２に供給する。なお、被写体マップ生成処理の詳細は後述する。

　ステップＳ８２において、乗算部９２は、取得部２２から供給された入力画像に、被写体抽出部９１から供給された被写体マップを乗算して、被写体画像を生成し、ヒストグラム生成部９３に供給する。すなわち、被写体画像の注目する画素を注目画素とすると、注目画素と同じ位置にある、被写体マップの画素の画素値と入力画像の画素の画素値との積が注目画素の画素値とされる。この被写体画像は、入力画像における被写体部分だけが表示される画像である。

　ステップＳ８３において、ヒストグラム生成部９３は、乗算部９２から供給された被写体画像に基づいて、被写体画像の画素の輝度値の範囲をビンとした輝度のヒストグラムを生成し、正規化部９４に供給する。また、正規化部９４は、ヒストグラム生成部９３からのヒストグラムを正規化して、スコア算出部９５に供給する。

　ステップＳ８４において、スコア算出部９５は、正規化部９４から供給されたヒストグラムに基づいて、K-NN（K-Nearest Neighbor）法などにより輝度スコアを算出し、総合スコア算出部２８に供給する。

　例えば、スコア算出部９５は、予め用意されたプロ画像およびアマ画像について、ステップＳ８１乃至ステップＳ８３の処理と同様の処理により生成された輝度のヒストグラムを複数保持している。スコア算出部９５は、予め保持している複数のプロ画像およびアマ画像のそれぞれのヒストグラムと、正規化部９４からのヒストグラムとの距離を算出する。

　すなわち、スコア算出部９５は、入力画像の輝度のヒストグラムと、予め保持している１つのヒストグラムとの各ビンの頻度値の差分の合計値を、それらのヒストグラム同士の距離とする。つまり、同じ代表値のビン同士の頻度値の差分が求められ、各ビンについて求めた差分の総和がヒストグラム同士の距離とされる。

　そして、スコア算出部９５は、被写体画像のヒストグラムと、予め保持しているヒストグラムとの距離のなかから、その距離の値の小さい順にＫ個の距離を選択する。

　さらに、スコア算出部９５は、選択したＫ個の距離のうち、被写体画像とプロ画像のヒストグラムの距離の数から、被写体画像とアマ画像のヒストグラムの距離の数を減算し、その結果得られた値を輝度スコアとする。

　ここで、被写体画像のヒストグラムと、プロ画像またはアマ画像のヒストグラムとの距離は、各ビンの頻度値の差分の総和であるので、それらの画像同士の輝度の分布が似ているほど、距離の値は小さくなる。つまり、距離が小さいほど、被写体画像は、処理対象となっているプロ画像またはアマ画像に近いことになる。

　そして、プロ画像のヒストグラムとの距離の数と、アマ画像のヒストグラムとの距離の数との差分が輝度スコアとされるため、被写体画像に輝度の分布が類似するプロ画像がより多いほど、輝度スコアの値は大きくなる。すなわち、この輝度スコアは、被写体画像のプロ画像に対する輝度分布の類似の度合いを示しており、輝度スコアの値が大きい入力画像ほど、より撮れ具合の評価の高い画像となる。

　このように、輝度スコアが算出されると、スコア算出部９５は、算出した輝度スコアを総合スコア算出部２８に供給し、輝度スコア算出処理は終了する。そして、その後、処理は図１２のステップＳ１４に進む。

　以上のようにして、輝度スコア算出部２４は、入力画像から被写体の領域を抽出し、その被写体の領域における輝度の分布と、予め用意されたプロ画像およびアマ画像の被写体の領域における輝度分布とを比較して、輝度スコアを算出する。このように、入力画像の被写体の領域のみを対象として輝度分布を比較し、輝度スコアを算出することで、より適切に入力画像の撮れ具合を評価することができるようになる。

　例えば、一般に、画像における被写体の部分の輝度が明るい画像は、背景部分が暗くても上手く撮れた評価の高い画像とされる。この場合に、画像全体を処理の対象とし、輝度分布を指標として画像の撮れ具合を評価すると、被写体の部分の輝度分布は、プロ画像の被写体部分の輝度分布に近いにも関わらず、背景部分の輝度分布が異なると、その画像の評価は低いものとなってしまう。

　このように、輝度分布を指標として画像の撮れ具合を評価する場合、画像のうちの被写体の領域の輝度分布が重要であり、背景部分の輝度分布は必ずしも評価に必要とされない。つまり、被写体部分の輝度分布から充分に入力画像の評価は可能であり、背景部分の輝度分布を考慮すると、逆に、評価方法が複雑になってしまったり、誤った評価がされてしまったりする恐れもある。

　そこで、輝度スコア算出部２４において、入力画像の被写体の領域のみを処理対象として輝度スコアを算出することで、より簡単かつより適切に入力画像の撮れ具合を評価することができるようになる。

［被写体マップ生成処理の説明］
　さらに、図２０のフローチャートを参照して、図１９のステップＳ８１の処理に対応する被写体マップ生成処理について説明する。

　ステップＳ１１において、輝度情報抽出部１２１は、輝度情報抽出処理を行って、取得部２２から供給された入力画像に基づいて輝度情報マップを生成し、被写体マップ生成部１２５に供給する。そして、ステップＳ１１２において、色情報抽出部１２２は、色情報抽出処理を行って、取得部２２から供給された入力画像に基づいて色情報マップを生成し、被写体マップ生成部１２５に供給する。

　ステップＳ１１３において、エッジ情報抽出部１２３は、エッジ情報抽出処理を行って、取得部２２から供給された入力画像に基づいてエッジ情報マップを生成し、被写体マップ生成部１２５に供給する。また、ステップＳ１１４において、顔情報抽出部１２４は、顔情報抽出処理を行って、取得部２２から供給された入力画像に基づいて顔情報マップを生成し、被写体マップ生成部１２５に供給する。

　なお、これらの輝度情報抽出処理、色情報抽出処理、エッジ情報抽出処理、および顔情報抽出処理の詳細は後述する。

　ステップＳ１１５において、被写体マップ生成部１２５は、輝度情報抽出部１２１乃至顔情報抽出部１２４から供給された輝度情報マップ乃至顔情報マップを用いて、被写体マップを生成し、図３の乗算部９２に供給する。

　例えば、被写体マップ生成部１２５は、情報マップごとに予め求められている重みである、情報重みＷｂを用いて各情報マップを線形結合し、さらに、その結果得られたマップの画素値に、予め求められた重みである、被写体重みＷｃを乗算して正規化し、被写体マップとする。

　つまり、これから求めようとする被写体マップ上の注目する画素を注目画素とすると、注目画素と同じ位置の各情報マップの画素の画素値に、情報マップごとの情報重みＷｂが乗算され、情報重みＷｂの乗算された画素値の総和が、注目画素の画素値とされる。さらに、このようにして求められた被写体マップの各画素の画素値に、被写体マップに対して予め求められた被写体重みＷｃが乗算されて正規化され、最終的な被写体マップとされる。

　なお、より詳細には、色情報マップとして、ＲＧの差分の色情報マップと、ＢＹの差分の色情報マップとが用いられ、エッジ情報マップとして、０度、４５度、９０度、１３５度のそれぞれの方向のエッジ情報マップが用いられて、被写体マップが生成される。また、被写体重みＷｃは予め学習により求められており、正規化は、被写体マップの各画素の画素値が、０または１の何れかの値となるようになされる。すなわち、正規化では、所定の閾値を用いた閾値処理により、各画素の画素値が２値化される。

　このようにして被写体マップが生成されて乗算部９２に供給されると、被写体マップ生成処理は終了し、その後、処理は図１９のステップＳ８２に進む。

　以上のようにして、被写体抽出部９１は、入力画像の領域から各情報を抽出し、被写体マップを生成する。

［輝度情報抽出処理の説明］
　次に、図２１乃至図２４のフローチャートを参照して、図２０のステップＳ１１１乃至ステップＳ１１４の処理のそれぞれに対応する処理について説明する。

　まず、図２１のフローチャートを参照して、図２０のステップＳ１１１の処理に対応する輝度情報抽出処理について説明する。

　ステップＳ１５１において、輝度画像生成部１５１は、取得部２２から供給された入力画像を用いて輝度画像を生成し、ピラミッド画像生成部１５２に供給する。例えば、輝度画像生成部１５１は、入力画像の画素のＲ、Ｇ、およびＢの各成分の値に、成分ごとに予め定められた係数を乗算し、係数の乗算された各成分の値の和を、入力画像の画素と同じ位置にある輝度画像の画素の画素値とする。つまり、輝度成分（Ｙ）および色差成分（Ｃｂ，Ｃｒ）からなるコンポーネント信号の輝度成分が求められる。なお、画素のＲ、Ｇ、およびＢの各成分の値の平均値が、輝度画像の画素の画素値とされてもよい。

　ステップＳ１５２において、ピラミッド画像生成部１５２は、輝度画像生成部１５１から供給された輝度画像に基づいて、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部１５３に供給する。

　ステップＳ１５３において、差分算出部１５３は、ピラミッド画像生成部１５２から供給されたピラミッド画像を用いて差分画像を生成して正規化し、輝度情報マップ生成部１５４に供給する。正規化は、差分画像の画素の画素値が、例えば０乃至２５５の間の値となるように行われる。

　具体的には、差分算出部１５３は、各階層の輝度のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの輝度の差分画像が得られる。

　例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。

　これらの差分画像を生成する処理は、輝度画像にバンドパスフィルタを用いたフィルタ処理を施して、輝度画像から所定の周波数成分を抽出することと等価である。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の輝度値の差、つまり入力画像における所定の画素における輝度と、その画素の周囲の平均的な輝度との差分を示している。

　一般的に、画像において周囲との輝度の差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。

　ステップＳ１５４において、輝度情報マップ生成部１５４は、差分算出部１５３から供給された差分画像に基づいて輝度情報マップを生成し、被写体マップ生成部１２５に供給する。輝度情報マップが輝度情報マップ生成部１５４から被写体マップ生成部１２５に供給されると、輝度情報抽出処理は終了し、処理は図２０のステップＳ１１２に進む。

　例えば、輝度情報マップ生成部１５４は、供給された５つの差分画像を、予め求められた差分画像ごとの重みである差分重みＷａにより重み付き加算し、１つの画像を求める。すなわち、各差分画像の同じ位置にある画素の画素値のそれぞれに差分重みＷａが乗算されて、差分重みＷａが乗算された画素値の総和が求められる。

　なお、輝度情報マップの生成時において、各差分画像が同じ大きさとなるように、差分画像のアップコンバートが行われる。

　このようにして、輝度情報抽出部１２１は、入力画像から輝度画像を求め、その輝度画像から輝度情報マップを生成する。輝度情報抽出部１２１では、入力画像の各領域の輝度と、その領域の周囲の領域の平均的な輝度との差分が特徴量として抽出されて、その特徴量を示す輝度情報マップが生成される。このようにして得られた輝度情報マップによれば、入力画像において、輝度の差の大きい領域、つまり入力画像を一瞥した観察者の目に付きやすい領域を簡単に検出することができる。

［色情報抽出処理の説明］
　次に、図２２のフローチャートを参照して、図２０のステップＳ１１２の処理に対応する色情報抽出処理について説明する。

　ステップＳ１８１において、ＲＧ差分画像生成部１８１は、取得部２２から供給された入力画像を用いて、ＲＧ差分画像を生成し、ピラミッド画像生成部１８３に供給する。

　ステップＳ１８２において、ＢＹ差分画像生成部１８２は、取得部２２から供給された入力画像を用いてＢＹ差分画像を生成し、ピラミッド画像生成部１８４に供給する。

　ステップＳ１８３において、ピラミッド画像生成部１８３およびピラミッド画像生成部１８４は、ＲＧ差分画像生成部１８１からのＲＧ差分画像、およびＢＹ差分画像生成部１８２からのＢＹ差分画像を用いて、ピラミッド画像を生成する。

　例えば、ピラミッド画像生成部１８３は、解像度の異なる複数のＲＧ差分画像を生成することにより、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部１８５に供給する。同様に、ピラミッド画像生成部１８４は、解像度の異なる複数のＢＹ差分画像を生成することにより、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部１８６に供給する。

　ステップＳ１８４において、差分算出部１８５および差分算出部１８６は、ピラミッド画像生成部１８３およびピラミッド画像生成部１８４から供給されたピラミッド画像に基づいて差分画像を生成して正規化し、色情報マップ生成部１８７および色情報マップ生成部１８８に供給する。差分画像の正規化では、例えば、画素の画素値が０乃至２５５の間の値となるようにされる。

　例えば、差分算出部１８５は、各階層のＲＧの差分のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つのＲＧの差分の差分画像が得られる。

　同様に、差分算出部１８６は、各階層のＢＹの差分のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つのＢＹの差分の差分画像が得られる。

　これらの差分画像を生成する処理は、ＲＧ差分画像またはＢＹ差分画像にバンドパスフィルタを用いたフィルタ処理を施して、ＲＧ差分画像またはＢＹ差分画像から所定の周波数成分を抽出することと等価である。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の特定の色成分の差、つまり入力画像の画素における特定の色の成分と、その画素の周囲の平均的な特定の色の成分との差分を示している。

　一般的に、画像において周囲と比べて目立つ色の領域、つまり特定の色成分の周囲との差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。

　ステップＳ１８５において、色情報マップ生成部１８７および色情報マップ生成部１８８は、差分算出部１８５および差分算出部１８６からの差分画像を用いて色情報マップを生成し、被写体マップ生成部１２５に供給する。

　例えば、色情報マップ生成部１８７は、差分算出部１８５から供給されたＲＧの差分の差分画像を、予め求められた差分画像ごとの差分重みＷａにより重み付き加算して、１つのＲＧの差分の色情報マップとする。

　同様に、色情報マップ生成部１８８は、差分算出部１８６から供給されたＢＹの差分の差分画像を、予め求められた差分重みＷａにより重み付き加算して、１つのＢＹの差分の色情報マップとする。なお、色情報マップの生成時において、各差分画像が同じ大きさとなるように、差分画像のアップコンバートが行われる。

　色情報マップ生成部１８７および色情報マップ生成部１８８が、このようにして得られたＲＧの差分の色情報マップ、およびＢＹの差分の色情報マップを被写体マップ生成部１２５に供給すると、色情報抽出処理は終了し、処理は図２０のステップＳ１１３に進む。

　このようにして、色情報抽出部１２２は、入力画像から特定の色の成分の差分の画像を求め、その画像から色情報マップを生成する。すなわち、色情報抽出部１２２では、入力画像の各領域の特定の色成分と、その領域の周囲の領域の平均的な特定の色成分との差分が特徴量として抽出されて、その特徴量を示す色情報マップが生成される。このようにして得られた色情報マップによれば、入力画像において、特定の色成分の差の大きい領域、つまり入力画像を一瞥した観察者の目に付きやすい領域を簡単に検出することができる。

　なお、色情報抽出部１２２では、入力画像から抽出される色の情報として、Ｒ（赤）の成分と、Ｇ（緑）の成分の差分、およびＢ（青）の成分と、Ｙ（黄）の成分との差分が抽出されると説明したが、色差成分Ｃｒと色差成分Ｃｂなどが抽出されるようにしてもよい。ここで、色差成分Ｃｒは、Ｒ成分と輝度成分との差分であり、色差成分Ｃｂは、Ｂ成分と輝度成分との差分である。

［エッジ情報抽出処理の説明］
　図２３は、図２０のステップＳ１１３の処理に対応するエッジ情報抽出処理を説明するフローチャートである。以下、このエッジ情報抽出処理について説明する。

　ステップＳ２１１において、エッジ画像生成部２１１乃至エッジ画像生成部２１４は、取得部２２から供給された入力画像に対して、ガボアフィルタを用いたフィルタ処理を施し、０度、４５度、９０度、および１３５度の方向のエッジ強度を画素の画素値とするエッジ画像を生成する。そして、エッジ画像生成部２１１乃至エッジ画像生成部２１４は、生成されたエッジ画像をピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８に供給する。

　ステップＳ２１２において、ピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８は、エッジ画像生成部２１１乃至エッジ画像生成部２１４からのエッジ画像を用いて、ピラミッド画像を生成し、差分算出部２１９乃至差分算出部２２２に供給する。

　例えば、ピラミッド画像生成部２１５は、解像度の異なる複数の０度方向のエッジ画像を生成することにより、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部２１９に供給する。同様に、ピラミッド画像生成部２１６乃至ピラミッド画像生成部２１８は、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成して差分算出部２２０乃至差分算出部２２２に供給する。

　ステップＳ２１３において、差分算出部２１９乃至差分算出部２２２は、ピラミッド画像生成部２１５乃至ピラミッド画像生成部２１８からのピラミッド画像を用いて差分画像を生成して正規化し、エッジ情報マップ生成部２２３乃至エッジ情報マップ生成部２２６に供給する。差分画像の正規化では、例えば、画素の画素値が０乃至２５５の間の値となるようにされる。

　例えば、差分算出部２１９は、ピラミッド画像生成部２１５から供給された、各階層の０度方向のエッジのピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の組み合わせのピラミッド画像の差分を求める。これにより、合計５つのエッジの差分画像が得られる。

　同様に、差分算出部２２０乃至差分算出部２２２は、各階層のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、各方向のエッジについて、それぞれ合計５つの差分画像が得られる。

　これらの差分画像を生成する処理は、エッジ画像にバンドパスフィルタを用いたフィルタ処理を施して、エッジ画像から所定の周波数成分を抽出することと等価である。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像のエッジ強度の差、つまり入力画像の所定の位置のエッジ強度と、その位置の周囲の平均的なエッジ強度との差を示している。

　一般的に、画像において周囲と比べてエッジ強度の強い領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。

　ステップＳ２１４において、エッジ情報マップ生成部２２３乃至エッジ情報マップ生成部２２６は、差分算出部２１９乃至差分算出部２２２からの差分画像を用いて各方向のエッジ情報マップを生成し、被写体マップ生成部１２５に供給する。

　例えば、エッジ情報マップ生成部２２３は、差分算出部２１９から供給された差分画像を、予め求められた差分重みＷａにより重み付き加算して０度方向のエッジ情報マップとする。

　同様に、エッジ情報マップ生成部２２４乃至エッジ情報マップ生成部２２６は、差分算出部２２０乃至差分算出部２２２からの差分画像を差分重みＷａにより重み付き加算して、４５度、９０度、および１３５度の各方向のエッジ情報マップを生成する。なお、エッジ情報マップの生成時において、各差分画像が同じ大きさとなるように、差分画像のアップコンバートが行われる。

　エッジ情報マップ生成部２２３乃至エッジ情報マップ生成部２２６が、このようにして得られた各方向の合計４つのエッジ情報マップを被写体マップ生成部１２５に供給すると、エッジ情報抽出処理は終了し、処理は図２０のステップＳ１１４に進む。

　このようにして、エッジ情報抽出部１２３は、入力画像から特定の方向のエッジの差分画像を求め、その差分画像からエッジ情報マップを生成する。すなわち、エッジ情報抽出部１２３では、入力画像の各領域における特定方向のエッジ強度と、その領域の周囲の領域の平均的な特定方向のエッジ強度との差分が特徴量として抽出されて、その特徴量を示すエッジ情報マップが生成される。このようにして得られた方向ごとのエッジ情報マップによれば、入力画像において、周囲の領域と比べて、特定の方向へのエッジ強度の大きい領域、つまり入力画像を一瞥した観察者の目に付きやすい領域を簡単に検出することができる。

　なお、エッジ情報抽出処理では、エッジの抽出にガボアフィルタが用いられると説明したが、その他、Sobelフィルタや、Robertsフィルタなどのエッジ抽出フィルタが用いられるようにしてもよい。

［顔情報抽出処理の説明］
　次に、図２４のフローチャートを参照して、図２０のステップＳ１１４の処理に対応する顔情報抽出処理について説明する。

　ステップＳ２４１において、顔検出部２５１は、取得部２２から供給された入力画像から、人の顔の領域を検出し、その検出結果を顔情報マップ生成部２５２に供給する。例えば、顔検出部２５１は、入力画像に対してガボアフィルタを用いたフィルタ処理を施し、入力画像から人の目、口、鼻などの特徴的な領域を抽出することにより、入力画像における顔の領域を検出する。

　ステップＳ２４２において、顔情報マップ生成部２５２は、顔検出部２５１からの検出結果を用いて顔情報マップを生成し、被写体マップ生成部１２５に供給する。

　例えば、入力画像からの顔の検出結果として、顔が含まれると推定される入力画像上の矩形の領域（以下、候補領域と称する）が複数検出されたとする。ここで、入力画像上の所定の位置近傍に複数の候補領域が検出され、それらの候補領域の一部が互いに重なることもあることとする。すなわち、例えば、入力画像上の１つの顔の領域に対して、その顔を含む複数の領域が候補領域として得られた場合には、それらの候補領域の一部が互いに重なることになる。

　顔情報マップ生成部２５２は、顔の検出により得られた候補領域に対して、候補領域ごとに、入力画像と同じ大きさの検出画像を生成する。この検出画像は、検出画像上における処理対象の候補領域と同じ領域内の画素の画素値が、候補領域とは異なる領域内の画素の画素値よりも大きい値とされる。

　また、検出画像上の画素の画素値は、より人の顔が含まれる可能性が高いと推定された候補領域の画素と同じ位置の画素ほど、画素値が大きくなる。顔情報マップ生成部２５２は、このようにして得られた検出画像を足し合わせて、１つの画像を生成して正規化し、顔情報マップとする。したがって、顔情報マップ上において、入力画像上の複数の候補領域の一部が重なる領域と同じの領域の画素の画素値は大きくなり、より顔が含まれる可能性が高いことになる。なお、正規化は、顔情報マップの画素の画素値が、例えば０乃至２５５の間の値となるようにされる。

　顔情報マップが生成されると、顔情報抽出処理は終了し、処理は図２０のステップＳ１５に進む。

　このようにして、顔情報抽出部１２４は、入力画像から顔を検出し、その検出結果から顔情報マップを生成する。このようにして得られた顔情報マップによれば、入力画像において、被写体としての人の顔の領域を簡単に検出することができる。

　図４の被写体抽出部９１では、以上のようにして各情報マップが生成され、それらの情報マップから被写体マップが生成される。

［エッジスコア算出処理の説明］
　また、以下、図２５乃至図２７を参照して、図１２のステップＳ１４乃至ステップＳ１６の処理に対応する、エッジスコア算出処理、色分布スコア算出処理、および彩度スコア算出処理について説明する。

　まず、図２５のフローチャートを参照して、図１２のステップＳ１４の処理に対応するエッジスコア算出処理について説明する。この処理は、図９のエッジスコア算出部２５により行われる。

　ステップＳ２７１において、被写体抽出部２８１は、被写体マップ生成処理を行って、取得部２２から供給された入力画像から被写体マップを生成し、反転部２８２に供給する。なお、この被写体マップ生成処理は、図２０を参照して説明した被写体マップ生成処理と同様の処理であるため、その説明は省略する。

　ステップＳ２７２において、反転部２８２は、被写体抽出部２８１から供給された被写体マップに反転処理を施して、乗算部２８５に供給する。すなわち、被写体マップの各画素の画素値が、１から０に、または０から１に反転される。これにより、反転後の被写体マップを用いれば、入力画像における背景部分の抽出が可能となる。

　ステップＳ２７３において、フィルタ処理部２８３は、取得部２２から供給された入力画像に、ラプラシアンフィルタを用いたフィルタ処理を施してラプラシアン画像を生成し、正規化部２８４に供給する。また、正規化部２８４は、フィルタ処理部２８３からのラプラシアン画像を正規化し、乗算部２８５に供給する。

　ステップＳ２７４において、乗算部２８５は、正規化部２８４からのラプラシアン画像に、反転部２８２からの反転された被写体マップを乗算して背景画像を生成し、ヒストグラム生成部２８６に供給する。すなわち、同じ位置にあるラプラシアン画像および被写体マップの画素の画素値の積が求められ、その積が背景画像の画素の画素値とされる。このようにして得られる背景画像は、入力画像における被写体の領域ではない部分、つまり背景部分のエッジ強度を示す画像である。

　ステップＳ２７５において、ヒストグラム生成部２８６は、乗算部２８５から供給された背景画像を用いて、入力画像の背景部分におけるエッジの複雑さを示すヒストグラムを生成する。

　すなわち、まずヒストグラム生成部２８６は、背景画像に対して閾値処理を施す。具体的には、背景画像の画素のうち、画素値が閾値以上の画素は、画素値をそのままの値とし、画素値が閾値未満の画素は、その画素の画素値を０とする。

　次に、ヒストグラム生成部２８６は、閾値処理を施した背景画像について、背景画像の画素の画素値の範囲、つまりエッジ強度の値の範囲をビンとしたエッジのヒストグラムを生成する。そして、ヒストグラム生成部２８６は、生成したエッジのヒストグラムをスコア算出部２８７に供給する。

　ステップＳ２７６において、スコア算出部２８７は、ヒストグラム生成部２８６から供給されたヒストグラムを用いてエッジスコアを算出し、総合スコア算出部２８に供給する。

　例えば、閾値処理後の背景画像の画素値の取り得る値の範囲が０から１までであるとする。このとき、スコア算出部２８７は、ヒストグラムのうち、画素値（エッジ強度）「０」乃至「０．１」の範囲に含まれる１または複数のビンのうち、最も頻度値が高いビンの頻度値を、最大頻度値Maとして抽出する。つまり、ビンの代表値が０から０．１の間であるビンのうち、最も頻度値が大きいビンが選択され、そのビンの頻度値が最大頻度値Maとされる。

　また、スコア算出部２８７は、ヒストグラムのうち、画素値（エッジ強度）「０．８」乃至「０．９」の範囲に含まれる１または複数のビンのうち、最も頻度値が低いビンの頻度値を、最小頻度値Mbとして抽出する。つまり、ビンの代表値が０．８から０．９の間であるビンのうち、最も頻度値が小さいビンが選択され、そのビンの頻度値が最小頻度値Mbとされる。

　そして、スコア算出部２８７は、最大頻度値Maから最小頻度値Mbを減算し、その結果得られた値をエッジスコアとする。このようにして得られるエッジスコアは、入力画像の背景部分における、エッジ強度の小さい画素の数と、エッジ強度の大きい画素の数との差、つまり背景部分におけるエッジの複雑さを示している。

　一般に、アマ画像では、背景部分のエッジが複雑であり、最大頻度値Maが大きくなり最小頻度値Mbは小さくなることが多い。つまり、アマ画像に近い画像のエッジスコアは、大きい値となる可能性が高い。一方、プロ画像では、背景部分のエッジが簡素、すなわちエッジ強度の大きい画素が少なく、最大頻度値Maと最小頻度値Mbは小さくなることが多い。つまり、プロ画像に近い画像のエッジスコアは、小さい値となる可能性が高い。したがって、エッジスコアは、その値が小さいほど、入力画像の撮れ具合の評価が高いことを示している。

　算出されたエッジスコアが、スコア算出部２８７から総合スコア算出部２８に供給されると、エッジスコア算出処理は終了し、その後、処理は図１２のステップＳ１５に進む。

　このようにして、エッジスコア算出部２５は、入力画像から背景部分を抽出し、背景部分のエッジ強度に基づいて、背景部分のエッジ強度の複雑さを示すエッジスコアを算出する。このように、背景部分のみを処理対象として、エッジスコアを算出することで、より適切に入力画像の撮れ具合を評価することができるようになる。

　すなわち、アマ画像は背景部分のエッジが複雑となり、プロ画像は背景部分のエッジが簡素となる傾向がある。そこで、そのような傾向を利用し、背景部分のみのエッジの複雑さを示すエッジスコアを求めることで、被写体部分におけるエッジが複雑か否かに関わらず、より簡単かつ適切に入力画像の撮れ具合を評価することができるようになる。

［色分布スコア算出処理の説明］
　次に、図２６のフローチャートを参照して、図１２のステップＳ１５の処理に対応する色分布スコア算出処理について説明する。

　ステップＳ３０１において、Ｒ成分ヒストグラム生成部３１１乃至Ｂ成分ヒストグラム生成部３１３は、取得部２２から供給された入力画像から、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の各成分のヒストグラムを生成し、正規化部３１４乃至正規化部３１６に供給する。例えば、Ｒ成分のヒストグラムとして、入力画像のＲ成分の値の範囲をビンとしたヒストグラムが生成される。

　また、正規化部３１４乃至正規化部３１６は、Ｒ成分ヒストグラム生成部３１１乃至Ｂ成分ヒストグラム生成部３１３からの成分ごとのヒストグラムを正規化し、ヒストグラム生成部３１７に供給する。

　ステップＳ３０２において、ヒストグラム生成部３１７は、正規化部３１４乃至正規化部３１６から供給された色成分ごとのヒストグラムを用いて、Ｒ，Ｇ，Ｂの各成分からなる色のヒストグラムを生成し、スコア算出部３１８に供給する。

　例えば、Ｒ，Ｇ，Ｂの各成分のヒストグラムが、１６のビンからなる場合、Ｒ，Ｇ，およびＢの成分からなる色についての１６^３のビンからなる１つのヒストグラムが生成される。このヒストグラムは、入力画像全体における色の分布を示している。

　ステップＳ３０３において、スコア算出部３１８は、ヒストグラム生成部３１７から供給されたヒストグラムに基づいて、K-NN法などにより色分布スコアを算出し、総合スコア算出部２８に供給する。

　例えば、スコア算出部３１８は、予め用意されたプロ画像およびアマ画像について、ステップＳ３０１およびステップＳ３０２の処理と同様の処理により生成された、色のヒストグラムを複数保持している。スコア算出部３１８は、予め保持している複数のプロ画像およびアマ画像のそれぞれのヒストグラムと、ヒストグラム生成部３１７からのヒストグラムとの距離を算出する。

　ここで、ヒストグラム同士の距離は、入力画像の色のヒストグラムと、予め保持している１つのヒストグラムとの各ビンの頻度値の差分の合計値とされる。

　さらに、スコア算出部３１８は、求めた複数の距離のなかから、その距離の値の小さい順にＫ個の距離を選択し、選択した距離のうち、入力画像とプロ画像のヒストグラムの距離の数から、入力画像とアマ画像のヒストグラムの距離の数を減算する。そして、スコア算出部３１８は、その減算の結果得られた値を色分布スコアとする。

　このようにして得られた色分布スコアは、上述した輝度スコアと同様に、入力画像に色の分布が類似するプロ画像がより多いほど、その値が大きくなる。すなわち、色分布スコアは、入力画像のプロ画像に対する色分布の類似の度合いを示しており、色分布スコアの値が大きい入力画像ほど、より撮れ具合の評価の高い画像となる。

　色分布スコアが算出されると、スコア算出部３１８は、算出した色分布スコアを総合スコア算出部２８に供給し、色分布スコア算出処理は終了する。そして、その後、処理は図１２のステップＳ１６に進む。

　以上のようにして、色分布スコア算出部２６は、入力画像における色分布と、予め用意されたプロ画像およびアマ画像の色分布とを比較して、色分布スコアを算出する。このように入力画像全体の色分布を比較して、色分布スコアを算出することで、より適切に入力画像の撮れ具合を評価することができるようになる。

　すなわち、色分布を指標として画像の撮れ具合を評価する場合、画像全体を見る必要があるため、入力画像全体を対象とし、入力画像と他の画像の色分布を比較することで、より適切に入力画像の撮れ具合を評価することができるようになる。

［彩度スコア算出処理の説明］
　次に、図２７のフローチャートを参照して、図１２のステップＳ１６の処理に対応する彩度スコア算出処理について説明する。

　ステップＳ３３１において、変換部３４１は、取得部２２から供給された入力画像を、Ｈ（色相），Ｓ（彩度），Ｖ（明度）の各成分の値からなる入力画像に変換し、ヒストグラム生成部３４２に供給する。

　ステップＳ３３２において、ヒストグラム生成部３４２は、変換部３４１から供給された入力画像を用いて、彩度の成分のヒストグラムを生成し、スコア算出部３４３に供給する。例えば、ヒストグラム生成部３４２は、入力画像の画素のうち、Ｈ（色相）成分が所定の閾値ｔｈ１以上であり、かつＶ（明度）成分が所定の閾値ｔｈ２以上である画素を抽出し、抽出した画素を用いて、画素のＳ（彩度）成分の値の範囲をビンとするヒストグラムを生成する。

　ステップＳ３３３において、スコア算出部３４３は、ヒストグラム生成部３４２から供給された彩度のヒストグラムを用いて彩度スコアを算出し、総合スコア算出部２８に供給する。

　例えば、スコア算出部３４３は、彩度のヒストグラムに対してＧＭＭ（Gaussian Mixture Model）による近似を行い、１または複数の分布について、各分布の重要度、平均値、および分散を求める。なお、ここでいう分布とは、近似により得られた全体の分布曲線における１つのピークを有する部分をいう。

　スコア算出部３４３は各分布のうち、最も重要度の高い分布の分散および平均値のそれぞれを、彩度スコアとする。したがって、図１２のステップＳ１７の処理においては、彩度スコアとしての彩度の分散および平均値のそれぞれが、変換テーブルにより得点に変換される。

　このようにして得られた彩度スコアは、入力画像全体の彩度成分の平均値および分散を示しており、これらの平均値および分散の値によって、入力画像が、よりプロ画像に近いか、またはよりアマ画像に近いかを特定することができる。したがって、彩度スコアにより、入力画像の撮れ具合を評価することができる。

　彩度スコアが算出されると、スコア算出部３４３は、算出した彩度スコアを総合スコア算出部２８に供給し、彩度スコア算出処理は終了する。そして、その後、処理は図１２のステップＳ１７に進む。

　以上のようにして、彩度スコア算出部２７は、入力画像における彩度の平均値および分散を彩度スコアとして算出する。このように入力画像全体を対象として、彩度の平均値および分散を求めて彩度スコアとすることにより、より適切に入力画像の撮れ具合を評価することができるようになる。

　すなわち、彩度を指標として画像の撮れ具合を評価する場合、画像全体を見る必要があるため、入力画像全体を対象として、彩度の平均値および分散を算出することで、より適切に入力画像の撮れ具合を評価することができるようになる。

　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

　図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

　バス６０４には、さらに、入出力インターフェース６０５が接続されている。入出力インターフェース６０５には、キーボード、マウス、マイクロホンなどよりなる入力部６０６、ディスプレイ、スピーカなどよりなる出力部６０７、ハードディスクや不揮発性のメモリなどよりなる記録部６０８、ネットワークインターフェースなどよりなる通信部６０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６１１を駆動するドライブ６１０が接続されている。

　以上のように構成されるコンピュータでは、CPU６０１が、例えば、記録部６０８に記録されているプログラムを、入出力インターフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU６０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア６１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

　そして、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インターフェース６０５を介して、記録部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記録部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記録部６０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

　２３　ぼけ度スコア算出部，　２４　輝度スコア算出部，　２５　エッジスコア算出部，　２６　色分布スコア算出部，　２７　彩度スコア算出部，　２８　総合スコア算出部，　２９　表示制御部，　９１　被写体抽出部

Claims

　入力画像の全体から第１の特徴の特徴量を抽出し、前記第１の特徴の特徴量に基づいて、前記第１の特徴に基づく前記入力画像に対する評価を示す第１の部分評価値を算出する第１の評価値算出手段と、
　前記入力画像の所定の領域から第２の特徴の特徴量を抽出し、前記第２の特徴の特徴量に基づいて、前記第２の特徴に基づく前記入力画像に対する評価を示す第２の部分評価値を算出する第２の評価値算出手段と、
　前記第１の部分評価値および前記第２の部分評価値に基づいて、前記入力画像の撮れ具合の評価を示す総合評価値を算出する総合評価値算出手段と
　を備える画像処理装置。
　前記第２の部分評価値算出手段は、
　前記入力画像上の被写体の領域が有する第３の特徴の特徴量を、前記入力画像の各領域から抽出することで前記入力画像上の前記被写体の領域を特定する被写体領域特定手段と、
　前記入力画像上の前記被写体の含まれる被写体領域、または前記入力画像上の前記被写体の含まれない背景領域の何れかの領域から、前記第２の特徴の特徴量を抽出して、前記第２の部分評価値を算出する算出手段と
　を備える請求項１に記載の画像処理装置。
　前記算出手段は、前記第２の特徴の特徴量として、前記入力画像上の前記被写体領域内の各領域における輝度値を抽出し、前記被写体領域における前記輝度値の分布に基づく前記第２の部分評価値を算出する
　請求項２に記載の画像処理装置。
　前記算出手段は、前記第２の特徴の特徴量として、前記入力画像上の前記背景領域内の各領域におけるエッジ強度を抽出し、前記背景領域における前記エッジの複雑さに基づく前記第２の部分評価値を算出する
　請求項２に記載の画像処理装置。
　前記第１の評価値算出手段は、前記入力画像の全体における、ぼけの度合い、色の分布、彩度の平均、または彩度の分散の少なくとも何れかに基づく前記第１の部分評価値を算出する
　請求項１に記載の画像処理装置。
　前記総合評価値算出手段は、前記第１の部分評価値の値に対して予め定められた値と、前記第２の部分評価値の値に対して予め定められた値とを加算することにより、前記総合評価値を算出する
　請求項１に記載の画像処理装置。
　前記第１の部分評価値の値に対して予め定められた値は、予め得られている、撮れ具合の評価の異なる複数の画像の前記第１の部分評価値に基づいて定められ、
　前記第２の部分評価値の値に対して予め定められた値は、予め得られている、撮れ具合の評価の異なる複数の画像の前記第２の部分評価値に基づいて定められる
　請求項６に記載の画像処理装置。
　入力画像の全体から第１の特徴の特徴量を抽出し、前記第１の特徴の特徴量に基づいて、前記第１の特徴に基づく前記入力画像に対する評価を示す第１の部分評価値を算出する第１の評価値算出手段と、
　前記入力画像の所定の領域から第２の特徴の特徴量を抽出し、前記第２の特徴の特徴量に基づいて、前記第２の特徴に基づく前記入力画像に対する評価を示す第２の部分評価値を算出する第２の評価値算出手段と、
　前記第１の部分評価値および前記第２の部分評価値に基づいて、前記入力画像の撮れ具合の評価を示す総合評価値を算出する総合評価値算出手段と
　を備える画像処理装置の画像処理方法であって、
　前記第１の評価値算出手段が前記入力画像に基づいて前記第１の部分評価値を算出し、
　前記第２の評価値算出手段が前記入力画像に基づいて前記第２の部分評価値を算出し、
　前記総合評価値算出手段が、前記第１の部分評価値および前記第２の部分評価値に基づいて前記総合評価値を算出する
　ステップを含む画像処理方法。
　入力画像の全体から第１の特徴の特徴量を抽出し、前記第１の特徴の特徴量に基づいて、前記第１の特徴に基づく前記入力画像に対する評価を示す第１の部分評価値を算出し、
　前記入力画像の所定の領域から第２の特徴の特徴量を抽出し、前記第２の特徴の特徴量に基づいて、前記第２の特徴に基づく前記入力画像に対する評価を示す第２の部分評価値を算出し、
　前記第１の部分評価値および前記第２の部分評価値に基づいて、前記入力画像の撮れ具合の評価を示す総合評価値を算出する
　ステップを含む処理をコンピュータに実行させるプログラム。