JP4966167B2 - 画像評価装置及びこの画像評価装置を有するカメラ - Google Patents

Description

本発明は、画像評価装置及びこの画像評価装置を有するカメラに関する。

デジタルカメラ等で撮影されたデジタル画像をビデオ出力し、それをテレビモニタ等の表示再生装置で表示するという使い方がされており、それらは一般的に「スライドショー」と呼ばれる形態で実現されている。メモリカード等に記録保存されているデジタル画像からスライドショーを生成する際に、これらのデジタル画像に設定された優先値（そのデジタル画像に対するユーザのお気に入り度合いを表す値）に応じて画像の表示順序を決定するように構成された画像再生装置及びプログラムが知られている（例えば、特許文献１参照）。また、スライドショーで表示されるデジタル画像の優先値に基づき、当該表示対象画像の表示時間を変化させるように構成された画像再生装置及びプログラムも知られている（例えば、特許文献２参照）。更に、画像解析により被写体の顔を検出し、顔が大きく表示されている画像や顔の表示数が多い画像に対し、優先値を高く設定する画像出力装置及び画像出力方法も提案されている（例えば、特許文献３参照）。
特開２００６−２７９１１８号公報 特開２００６−１５７３２４号公報 特開２００７−３６５８４号公報

しかしながら、このような特許文献１〜２に記載されている従来方法では、スライドショーを表示する際には、主要被写体の写っている画像をユーザが手動で一枚一枚ピックアップし、優先値（お気に入り）を登録することが前提であり、非常に手間がかかるという課題があった。これに対して、特許文献３に記載の従来方法では、ユーザが手動で優先値を入力する手間は省くことができるものの、単に画像から検出された顔の大きさや数によって優先値を決定してしまうため、ユーザにとって優先値が低い画像に対しても、高い優先値が付与される可能性がある。その結果、優先値がユーザの意図と異なってしまう可能性があり、ユーザの満足度が得られないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、評価対象画像及びその属性情報に基づいて評価対象画像を評価し、当該評価の結果に基づいて、表示の優先値を設定することにより、撮影に失敗した画像や類似写真等、ユーザが画像表示を好まないであろう画像の優先値を低くして、ユーザの優先値入力の負荷を低減しつつ、ユーザの意図に合致した優先値を設定することが可能な画像評価装置及びこの画像評価装置を有するカメラを提供することを目的とする。

前記課題を解決するために、本発明に係る画像評価装置は、評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、画像情報記憶部から評価対象画像を選択し、当該評価対象画像に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部と、評価値を評価対象画像の属性情報に優先値として設定する優先値設定部と、から構成され、画像評価部は、各々の評価方法により算出される評価値に、当該評価方法毎に設定された重み係数を乗算した積のうち、最も大きい値を当該評価対象画像の評価値とするように構成される。

また、画像評価部は、１以上の評価方法の一つとして、画像記憶部に記憶されている評価対象画像から、当該評価対象画像間の類似度を算出し、当該類似度に基づいて類似する画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い評価対象画像を中心に、残りの評価対象画像の評価値を類似度に反比例して算出するように構成されることが好ましい。

また、本発明に係る画像評価装置は、評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、画像情報記憶部から評価対象画像を選択し、当該評価対象画像に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部と、評価値を評価対象画像の属性情報に優先値として設定する優先値設定部と、から構成され、画像評価部は、１以上の評価方法の一つとして、画像記憶部に記憶されている評価対象画像から、当該評価対象画像間の類似度を算出し、当該類似度に基づいて類似する画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い評価対象画像を中心に、残りの評価対象画像の評価値を類似度に反比例して算出するように構成される。

また、このような画像評価装置において、画像評価部は、各々の評価方法により算出される評価値に、当該評価方法毎に設定された重み係数を乗算して得た値の総和を当該評価対象画像の評価値とするように構成されることが好ましい。

さらに、本発明に係る画像評価装置は、評価対象画像毎に、画像情報記憶部の属性情報に優先値を設定する設定部と、優先値設定部により設定された優先値と設定部で設定された優先値との差を算出し、当該差から重み係数を修正する係数修正部とを有するよう構成されることが好ましい。

また、この場合、画像評価部は、１以上の評価方法の一つとして、評価対象画像を小領域に分割し、小領域毎にエッジ画像を求め、当該エッジ画像から算出されるエッジ成分の最も高い小領域を処理対象領域に選定し、当該処理対象領域の各画素において、赤成分の強度をＲ（ｉ，ｊ）とし、緑成分の強度をＧ（ｉ，ｊ）とし、青成分の強度をＢ（ｉ，ｊ）とし、各画素において最も大きい成分の値Ｖmax（ｉ，ｊ）、最も小さい成分の値Ｖmin（ｉ，ｊ）及びその差分Ｓ（ｉ，ｊ）を次式
但し、ｉ，ｊは評価対象画像のｘ，ｙ座標値を表す
で定義し、当該Ｖmax（ｉ，ｊ）、Ｖmin（ｉ，ｊ）及びＳ（ｉ，ｊ）に基づいて露出不良判定処理を行って評価値を算出するように構成されることが好ましい。

また、本発明の画像評価装置は、画像情報記憶部から評価対象画像及び属性情報の優先値を取り出し、当該優先値に基づいてスライドショーを生成し、再生するスライドショー生成部を有することが好ましい。

また、本発明に係るカメラは、上述の画像評価装置のいずれかと、光学系及び当該光学系で結像された像を検出する撮像素子を備え、当該撮像素子で検出された画像を評価対象画像として記憶部に記憶させる撮像部とを有し、撮像部により画像情報記憶部に評価対象画像が記憶されたときに、前記優先値設定部により前記評価対象画像に対する前記優先値が設定されるように構成される。

本発明に係る画像評価装置及びこの画像評価装置を有するカメラを以上のように構成すると、画像を登録しておくだけで、各評価対象画像に対して自動的に優先値（ユーザのその画像に対する「お気に入り」の度合いを示すポイント）が設定可能となり、ユーザによる優先値の入力の負担を低減し、かつユーザの意図に合致した優先値を設定することが可能となる。

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１〜図３を用いて本実施例に係る画像評価装置（画像評価システム１２）の構成について説明する。なお、本実施例においては、この画像評価システム１２を、撮像部１１を有するデジタルカメラ１０に適用した場合について説明する。図１に示すように、このデジタルカメラ１０は、表示再生装置であるディスプレイ２０とビデオ出力線３０を介して接続されている。このデジタルカメラ１０は、記録されているデジタル画像を、予め決められたレイアウトや順序により、若しくは、ランダムにディスプレイ２０に出力して表示するスライドショー機能が設けられている。

図２に示すように、デジタルカメラ１０は、撮像部１１と、この撮像部１１で撮像されたデジタル画像を評価し、評価の結果に基づいて優先値を設定する画像評価システム１２と、後述するスライドショー生成部１８で生成されたスライドショーをディスプレイ２０に出力するビデオ出力部１９とから構成される。また、画像評価システム１２は、撮像部１１で撮影されたデジタル画像（後述する評価対象画像１００）及びその属性情報が対応付けられて記憶される画像情報記憶部１３と、この画像情報記憶部１３から評価対象画像１００を選択し、当該評価対象画像１００に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部１４と、この画像評価部１４で算出された評価値を評価対象画像１００の優先値として設定する優先値設定部１５と、ユーザの入力にしたがって画像情報記憶部１３の属性情報に、評価対象画像１００の優先値を設定する設定部１６と、優先値設定部１５により設定された優先値と設定部１６で設定された優先値との差を算出し、当該差から重み係数を修正する係数修正部１７と、画像情報記憶部１３に記憶されているデジタル画像を用いて、優先値に基づいてスライドショーを生成するスライドショー生成部１８とから構成される。なお、このデジタルカメラ１０において、撮像部１１は光学系と撮像素子とを有して構成され、光学系により撮像素子の撮像面に結像された像を検出してデジタル画像とし、このデジタル画像と撮影日時等の属性情報を、画像情報記憶部１３に保存記録するように構成されている。

画像記憶部１３に記憶されるデジタル画像は、ユーザの指定やデジタルカメラの機能により、人物、風景等の種別毎や撮影日時毎に分類され所定のフォルダに記憶されている。また、デジタル画像は、図３に示すデータ構造５０を有しており、ヘッダ領域５１、属性情報領域５２及び画像情報領域５３から構成されている。ここで、属性情報領域５２は、デジタル画像の属性情報が記憶される部分であり、優先値が記憶される優先値領域５２ａ、撮影日時が記憶される撮影日時領域５２ｂ及びＡＦエリア情報が記憶されるＡＦエリア情報領域５２ｃなどから構成される。また、画像情報領域５３は、撮像部１１で撮影されたデジタル画像そのものが記憶される部分である。なお、以降の説明では優先値を数値（ポイント）で表現した場合を例にして説明する。また、このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等が知られている。

（画像の評価及び優先値の設定）
それでは、図１及び図４に示すデジタルカメラの使用例の説明図、並びに図５〜図７に示すフローチャート、図９〜図１２に示す模式図を用いて、画像評価部１４による画像の評価処理及び優先値設定部１５による優先値の設定処理について説明する。これらの処理は、例えば、撮像部１１により撮影が行われ、画像情報記憶部１３にデジタル画像が登録されたタイミングで起動され、この登録されたデジタル画像に対して処理が実行される。または、図示はしないが、ディスプレイ２０等に表示された適宜の設定画面に優先値設定ボタンを設け、このボタンをクリックすることで画像の評価処理及び優先値の設定処理が実行されるように構成してもよい。なお、以降の説明では、撮像部１１により登録されたこのデジタル画像を「評価対象画像１００」と呼ぶ。

上記のシステムの起動が行われると、図５に示されるように、画像評価部１４が、まず、画像情報記憶部１３から評価対象画像１００をすべて読み出す（ステップＳ１０）。そして、読み出されたすべての評価対象画像１００に対して、画像評価処理（ステップＳ２０）を行い、この評価の結果に基づいて、優先値設定部１５による優先値設定処理（ステップＳ３０）を行う。この処理により、画像の評価及び優先値の設定の処理が終了する。

なお、本実施例では、後述するように、複数の類似画像を抽出し、その類似度に基づいて画像を評価する評価方法を用いているので、すべての評価対象画像１００を読み込んだ後に（ステップＳ１０）、画像評価処理（ステップＳ２０）及び優先値設定処理（ステップＳ３０）を行っているが、類似度に基づく評価方法を用いない場合などでは、評価対象画像１００を１枚ずつ読み込み、当該評価対象画像１００毎に、画像評価処理（ステップＳ２０）及び優先値設定処理（ステップＳ３０）を行うよう構成してもよい。

次に、画像評価処理（ステップＳ２０）を詳しく説明する。まず、画像評価部１４において、上述のステップＳ１０で読み出された評価対象画像１００に対して、後述の少なくとも１以上の評価方法を用いて、画像の評価を行う。この評価方法としては、特に制限はなく、種々の評価手法を用いることができるが、本実施例では、手ぶれの検出による評価方法、被写体ぶれの検出による評価方法、類似画像の抽出による評価方法、及び、露出不良判定による評価方法を用いている。なお、本実施例では、これらの評価方法をすべて用いて評価対象画像１００を評価しているが、これらの中から選択した１つの評価方法のみを用いて評価してもよいし、複数の評価方法を選択して評価してもよい。以下、各評価方法で行われる処理手順について詳細に説明する。

〔手ぶれの検出による評価方法〕
まず、評価方法の一つである、手ぶれの検出による評価方法での処理手順について図９の模式図を用いて説明する。「手ぶれ」とは、露光時に撮影者の手が動いてしまい、画像全体がぶれてしまった状態を示す。このような手ぶれを生じたデジタル画像は、下記式（１）によりモデル化される。

ただし、上記式（１）中、Ｂ（ｘ，ｙ）は手ぶれを生じた画像（以下、劣化画像と呼ぶ）を表す関数、ｆ（ｘ，ｙ）は理想画像を表す関数、＊はコンボリュージョンを意味し、ｋ（ｘ，ｙ）は手ぶれの軌跡に相当するぶれ関数：ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を意味する。このような手ぶれを検出するアプローチの一つとして、劣化画像ＢからＢａｙｅｓ推定の枠組みを用いて、ＰＳＦ（ｋ（ｘ，ｙ））を推定する手法が、例えば「Ｆｅｒｇｕｓ ｅｔ ａｌ． ＳＩＧＧＲＡＰＨ ２００６」等で提案されている。これらＰＳＦを推定する手法を用いることにより、図９（ａ）で示される劣化画像の手ぶれの形状を、図９（ｂ）で示されるような２次元の濃淡画像として得ることができる。本実施例では、このようなＰＳＦを推定する手法を用いて得られたＰＳＦに基づいて、下記式（２）により、ミスショットの強度として以下に定義する「ぶれ幅σ」を用いて、手ぶれを検出する。

但し、上記式（２）中、μはＰＳＦの重心座標を表す。この「ぶれ幅σ」により、手ぶれの強弱を、数値で明確に判定することができる。なお、手ぶれの検出による画像の評価値Ｖ_blurは、このσに基づいて、下記式（３）を用いて算出される。

ただし、上記式（３）中、ａ_blurは、マイナスの値をとるパラメータであり、［］は括弧内の演算結果に対しその値を超えない最大の整数値を返すことを意味するガウス記号である。例えば、括弧内の演算結果が、−６．７の場合は、評価値Ｖ_blurとして−７が返される。

〔被写体ぶれの検出による評価方法〕
次に、被写体ぶれの検出による評価方法での処理手順について説明する。「被写体ぶれ」とは露光時に主要被写体が動いてしまい、最終的に出来上がった画像において、主要被写体がぶれてしまっているものである。前述の「手ぶれ」は画像全体がぶれてしまっている状態なのに対し、「被写体ぶれ」は画像の一部、特に主要被写体のみがぶれてしまっている点が異なる。被写体ぶれは、主要被写体が画像中に存在する領域がわかれば、前述の式（１）で表される手ぶれの検出の際と同じ数理モデルにより表現することができる。また、「ぶれ幅σ」の検出も、前述の式（２）で表される手ぶれと同じ手法を用いて行うことができる。したがって、被写体ぶれの検出には、まず、この被写体ぶれの検出を行う主要被写体領域を特定する必要がある。本実施例では、撮影時の情報として合焦に使用されたＡＦエリア情報（オートフォーカスエリア情報）を用いることで主要被写体領域の特定を実現している。このＡＦエリア情報を、画像撮影時に、撮影時の情報として画像情報記憶部１３の属性情報（ＡＦエリア情報領域５２ｃ）に記憶しておく。そして、被写体ぶれ検出時には、画像情報記憶部１３から読み出されたＡＦエリア情報をもとに、評価対象画像１００の該当する領域のみを切り出して、前述の手ぶれ検出と同様の手法を用いて、被写体ぶれを検出し、ミスショットの強度を示す「ぶれ幅σ」を定義する。そして、このぶれ幅に基づいて、手ぶれ検出時の手法と同様に、前述の式（３）と同様の計算方法を用いて、評価値Ｖ_sblurを算出する。

〔類似画像の抽出による評価方法〕
次に、類似画像の抽出による評価方法での処理手順を説明する。ここで言う「類似画像」とは、スライドショーの対象となるデジタル画像群のうち、同一シーンを連続撮影している画像等、互いに似通っている画像のグループを意味する。このような類似画像の検出は、ＩＳＯ／ＩＥＣ １５９３８−３（ｍｐｅｇ７ ｖｉｓｕａｌ ｄｉｓｃｒｉｐｔｉｏｎ）で定義されている各種画像統計量を特徴量として各画像を特徴付け、各特徴量を成分とする特徴ベクトルを画像毎に定義し、この特徴ベクトルの定義された線形空間を特徴空間として定義した上で、各画像に対応する特徴ベクトルの「距離」に応じてグルーピングすることにより行うことができる。

より具体的には、特徴量として画像のテクスチャと関連したエッジヒストグラムと呼ばれる画像統計量や、色分布に関する統計量であるカラーヒストグラムやカラーレイアウトを用い、特徴空間上でのユークリッド距離に応じて類似度を判定した上で、階層的クラスタリングをはじめとする各種クラスタリング手法により、画像をグルーピングすることができる。本実施例においては、クラスタリング手法として、階層的クラスタリングを行ったとして説明を行う。なお、この手法に関する詳細は、例えば、「Ｒｉｃｈａｒｄ Ｏ．Ｄｕｄａ ｅｔ ａｌ．， “Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ”， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ（邦題：パターン識別、監訳：尾上守夫、出版社：新技術コミュニケーションズ）」等の画像処理の教科書に記載されている。階層的クラスタリングによりグルーピングを行うと、その類似度（距離Ｄ）に応じて、何れの画像と何れの画像とが同じグループに属するかを表す系統図が生成される。この系統図の例として、８枚の画像（０００１．ｊｐｇ〜０００８．ｊｐｇ）について系統図を生成したものを図１０に示す。図１０では、各画像におけるＮ次元の特徴ベクトルをもとに各画像間のユークリッド距離を求め、この距離に基づく類似度(距離Ｄ)に応じて、系統図を生成している。図１０中のミスショット強度は、画像間の距離Ｄに基づいたものであり、距離Ｄが短いほど、画像間又はグループ間の類似度が高く、距離Ｄが長いほど画像間又はグループ間の類似度が低い。この系統図を予め決められた閾値Ｔ_Dで切断する事により、図１１に示すような３つの類似画像のグループを生成することができる。このように類似画像のグルーピングを行った後、各グループにおいて撮影日時が一番遅いもの（最新の画像）を基準画像として選択し、同一グループ（同一類似画像群）の類似画像に対し、下記式（４）を用いて評価値Ｖ_simを算出する。

但し、上記式（４）中、Ｄは、類似度を表し、ａ_simは、マイナスの値をとるパラメータであり、ｂ_simは、正負を問わないパラメータである。［］は、括弧内の演算結果に対しその値を超えない最大の整数値を返すことを意味するガウス記号を示す。なお、本実施例では、上述のように、画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い評価対象画像を中心に、上記式（４）に基づいて、残りの評価対象画像の評価値Ｖ_simを、類似度Ｄに比例して算出しているが、この式（４）を用いずに、最新の画像の評価値のみにプラスの値を設定し、最新以外の画像の評価値にその類似度に応じてマイナス値を設定するよう構成してもよい。

〔露出不良判定による評価方法〕
次に、露出不良判定による評価方法での処理手順について、図６のフローチャート及び図１２に示す模式図を用いて説明する。まず、図６に示すように、評価対象画像から処理対象領域の抽出を行う（ステップＳ７０１）。それには、図１２（ａ）に示される、与えられた評価対象画像Ｉに対し、下記式（５）で定義するｓｏｂｅｌ ｆｉｌｔｅｒ（ソーベルフィルター）Ｓｈ、ＳＶを適用し、その後に相対強度（以下単に強度と呼ぶ）Ｔ_bを閾値として２値化処理を実行し、図１２（ｂ）に示されるエッジ画像集合Ｉ_edgeを求める。

ただし、上記式（５）中、＊は、コンボリュージョンを表し、ｔｈｒｅｓｈｏｌｄ（）は、閾値Ｔ_bでの２値化処理を表す。また、ｉ，ｊは、各画像のｘ，ｙ座標値を表す。

エッジ画像集合Ｉ_edgeを求めた後、図１２（ｂ）に示されるように、このエッジ画像集合Ｉ_edgeを縦横３等分、計９個の小領域集合｛Ｉ_{sub_n}｜ｎ＝１，２，．．．９｝に分割し、各領域において強度１の画素の個数をカウントする。その結果、最もカウント数が多い領域を求め、この領域に該当する部分を、評価対象画像Ｉから切り出し、図１２（ｃ）の模式図に示されるＩ_subを得る。このＩ_subを求める処理を、数式で表したものを下記式（６）に示す。

ただし、上記式（６）中、ｎ及びｋは、小領域を示すインデックスで、１〜９の整数を表し、ｓｕｍ（）は、与えられた２値画像の白色画素の総和を求める関数であり、ｍａｘ（）は、ｓｕｍ（Ｉ_{sub_k}）のうち最大値を返す関数であり、ａｒｇは、ｍａｘ（ｓｕｍ（Ｉ_{sub_k}））のうち、最大値となる画像領域のインデックスを返す関数である。その結果得られるインデックスｎに対応するＩ_{sub_n}を、Ｉ_subとする

次に、露出不足候補の画素数のカウンタｎ、当該画素の座標カウンタｉ及びｊ（ｉ，ｊは、各々ｘ，ｙ座標値を表す）に初期値０を設定する。（ステップＳ７０２）。その後、Ｉ_ｓｕｂの各画素に対し、後述の式（７）に定義するＳ、Ｖ_max、Ｖ_minを計算し、予め設定された閾値Ｔ_s、Ｔ_max、Ｔ_minを用いて、後述の式（８）で表される判定式を満たす画素の個数ｎ及び露出不良判定値ｅｘｐｖを求める（ステップＳ７０３〜Ｓ７１０）。この露出不良判定値ｅｘｐｖをもとに、露出が良好か不足かを判定して、露出不良判定に基づく評価値Ｖ_expを設定する。以下、図６のフローチャートを用いて各処理の詳細を説明する。

まず、Ｉ_subの各画素の縦幅（ｈｅｉｇｈｔ）まで処理を行ったか判定するが、これは、画素のｙ座標を示すｊが、ｊ＜ｈｅｉｇｈｔを満たすか否かで判定する（ステップＳ７０３）。縦幅ｈｅｉｇｈｔまで達していなければ（即ち、ｊ＜ｈｅｉｇｈｔを満たす）、下記のステップＳ７０４〜Ｓ７０７を行う。

ステップＳ７０４では、Ｊｐｅｇデコード後のＹＣＣ画像を、ＲＧＢ画像に変換し、このＲＧＢ画像から下記式（７）により、Ｉ_subの各画素（ｉ，ｊ）において、赤成分の強度をＲ（ｉ，ｊ）とし、緑成分の強度をＧ（ｉ，ｊ）とし、青成分の強度をＢ（ｉ，ｊ）とし、各画素において最も大きい成分の値Ｖ_max（ｉ，ｊ）、最も小さい成分の値Ｖ_min（ｉ，ｊ）及びその差分Ｓ（ｉ，ｊ）を求める。

ただし、上記式（７）中、ｉ及びｊは正の整数であり、画素のｘ及びｙ座標値を表す。ｍａｘ（）は、与えられた要素の最大値を返す関数を表し、ｍｉｎ（）は、与えられた要素の最小値を返す関数を表す。

次に、ステップＳ７０５では、上記式（７）で算出された数値が、下記式（８）で表される条件を満たすか判定する。

ただし、上記式（８）中、Ｔ_s、Ｔ_min、及びＴ_maxは、閾値を表す。

ここで、上記式（８）を満たすときに、当該画素を露出不足と判定し、露出不足候補の画素数のカウンタｎをカウントアップする（ステップＳ７０６）。次に、画素のｘ座標値ｉをカウントアップし（ステップＳ７０７）、このｉが画素の横幅（ｗｉｄｔｈ）に達したかを判定する（ステップＳ７０８）。

ステップＳ７０８で、ｉ＜ｗｉｄｔｈを満たすと判定された場合、即ち、横幅ｗｉｄｔｈに達していないと判定された場合は、上記のステップＳ７０４〜Ｓ７０７を繰り返し、ｙ座標ｊに対するすべてのｘ方向の画素について処理を行う。

一方、ステップＳ７０８で、ｉ＜ｗｉｄｔｈを満たさないと判定された場合、即ち、横幅の最後まで処理が終わったと判定された場合は、次のｙ座標におけるｘ方向の画素について処理を行うため、ｉをゼロクリアし、ｊをカウントアップした後(ステップＳ７０９)、ステップＳ７０３〜Ｓ７０８の処理を繰り返す。

なお、ステップＳ７０３で、ｊ＜ｈｅｉｇｈｔを満たさないと判定された場合、即ち、すべての画素についての処理が終わったら、次に、露出不足の画素数ｎを用いて、下記式（９）により露出不足判定値ｅｘｐｖを求める（ステップＳ７１０）。

但し、上記式（９）中、ｗｉｄｔｈ，ｈｅｉｇｈｔは小領域Ｉ_subの横幅及び縦幅を表し、＊は、コンボリュージョンを表す。

上記で求めたｅｘｐｖに対し、ステップＳ７１１では、予め設定した閾値Ｔ_expvを用いて閾値判定を行い、評価対象画像１００に対して露出（ｅｘｐｏｓｕｒｅ）の不足判定を行う。ｅｘｐｖが閾値Ｔ_expvより大きい場合は、露出不足（ｂａｄ）と判定し（ステップＳ７１２）、ｅｘｐｖが閾値Ｔ_expv以下である場合は、露出良好（ｇｏｏｄ）と判定する（ステップＳ７１３）。

上記の通り、露出不足判定を行った後、露出不足（ｂａｄ）と判定された評価対象画像１００について、露出不足判定値ｅｘｐｖに基づき、下記式（１０）を用いて、露出不足に基づく評価値Ｖ_expを決定する。露出良好（ｇｏｏｄ）と判定された評価対象画像１００については、評価値Ｖ_expに０（初期値）を設定する。

ただし、上記式（１０）中、ａ_expは、負の値をとる実数である。

次に、優先値設定部１５による優先値設定処理（ステップＳ３０）について説明する。ここでは、前述した評価処理（ステップＳ２０）において、手ぶれの検出、被写体ぶれの検出、類似画像の抽出、露出不良判定による評価方法を用いて求めた各評価値に基づいて、優先値設定部１５が、当該評価対象画像１００を総合的に評価し、優先値として決定する。まず、評価対象画像１００に対して、前述の手ぶれ検出による評価方法、被写体ぶれ検出による評価方法、類似画像の抽出による評価方法、及び、露出不良判定による評価方法で求めた評価値は、それぞれＶ_blur、Ｖ_sblur、Ｖ_sim、Ｖ_expと定義される。当該評価対象に対する総合評価値Ｖ_totalは、下記式（１１）を用いて算出する。

但し、上記式（１１）中、ｗ_blur，ｗ_sblur，ｗ_sim，ｗ_expは、各判定値に対する重み係数を表し（以下、｛ｗ_false｝と呼ぶ）、正の実数値を表す。この重み係数は、ユーザが任意に設定し、システムまたは適宜の記憶部に記憶するものであってもよいし、システムや記憶部に予め初期値として設定されているものであってもよい。重み係数の詳細については、後述する。

上記式（１１）によれば、｛ｗ_false｝が正の実数値で、各評価値Ｖ_blur等（以下｛Ｖ_false｝と呼ぶ）が負の値であることから、Ｖ_totalは負の値となる。このＶ_totalが、当該評価対象画像の１００優先値となり、画像情報記憶部１３の当該評価対象画像１００に対応する属性情報領域の優先値領域５２ａに記憶される。

また、優先値設定部１５では、上記のようにして設定された優先値を、評価対象画像１００毎に、ディスプレイ２０に表示できるよう構成してもよい。この場合、図４に示すように、ディスプレイ２０の設定画面Ｇ１において、優先値の初期値として、上述の処理により算出されたＶ_totalに相当する記号（本実施例では、プラスは白星☆、マイナスは黒星★）が画面上に表示される。ここで、式（１１）における重み係数｛ｗ_false｝は、１を含む同じ値が設定されているものとして、Ｖ_totalを｛Ｖ_false｝の単純平均の定数倍として求めてもよい。または、｛ｗ_false｝は、事前にシステムに設定した０を含む任意の固定値としても良い。さらに、図示はしないが、重み係数設定画面などにより、ユーザが重み係数｛ｗ_false｝の値を任意に変更できるようにし、失敗画像に対するユーザの好みを反映できるようにしてもよい。例えば、あるユーザとって、手ぶれに対しての評価は低いが、被写体ぶれに対しての評価が比較的緩い場合には、ｗ_blurの値を大きく（例えば１０等）、ｗ_sblurの値を小さく（例えば０）設定できるように構成してもよい。または、下記式（１２）に基づき、最も影響の大きい優先値の効果のみを、総合的評価値として反映させて画面上に表示してもよい。

このようにすべての評価対象画像１００について、Ｖ_totalを算出して優先値を決定し、画像情報記憶部１３に記憶する処理を行うことにより、優先値設定処理（ステップ３０）が終了する。

（重み係数の更新）
ここまでの説明において、重み係数ｗ_blur等はシステムに予め設定された固定値またはユーザにより初期値として手動入力された値を用いることを前提としていたが、他の異なる実施例として、重み係数を、係数修正部１７により、ユーザの好みに応じて半自動的に更新し、画像評価におけるユーザの手間を削減するよう構成してもよい。この重み係数の更新とは、すなわち、優先値設定部１５により設定された評価対象画像１００の優先値を、ユーザが自分の好みに応じて変更可能にシステムを構成し、そのユーザの好みを重み係数に反映するものである。その手法を、図７のフローチャートを用いて以下に説明する。なお、以下の説明において、Ｖ_totalの算出方法が、前述したように最も影響の大きい優先値の効果のみを、総合的評価値として反映させる方法、すなわち、前記式（１２）を用いるものではないことを前提とする。

まず、図７のステップＳ８０１では、｛ｎ_false｝を求める。それには、手ぶれ、被写体ぶれ、露出不良判定に基づく評価方法において、それぞれ手ぶれ、被写体ぶれ、露出不良と判定された評価対象画像の枚数ｎ_blur、ｎ_sblur、ｎ_expを求める。また、類似画像の検出の結果、複数画像によるグループにグルーピングされた画像の枚数、言い換えるならば評価対象とした複数の画像の枚数から、単一画像からなるグループ（ｓｉｎｇｌｅｔｏｎ）の個数を差し引いた画像枚数ｎ_simを求める。以下、この｛ｎ_blur，ｎ_sblur，ｎ_exp，ｎ_sim｝を｛ｎ_false｝と呼ぶ。

次に、図４に示したインターフェースにより、設定画面Ｇ１上に表示している画像に対応して優先値設定部１５が設定した優先値１０１を、当該画面上に表示し、優先値の変更をユーザに促す（ステップＳ８０２）。図４に示されるように、設定画面Ｇ１には、評価対象画像１００と、この画像１００に設定されている優先値１０１に基づく記号と、この優先値１０１を修正するための優先値設定ボタン（ポイントアップボタン１０２、ポイントダウンボタン１０３）とが表示されている。この優先値設定ボタンをマウスやキーボードを操作することにより、優先値１０１を増減することができる。なお、優先値１０１は、白星又は黒星の記号で表示され、白星がプラスの優先値を意味し、黒星がマイナスの優先値を意味する。図４のように、手ぶれを生じ、マイナスの評価値が設定された評価対象画像１００に対しては、黒星が表示される。このユーザの変更した優先値１０１は、設定部１６により画像情報記憶部１３の属性情報領域５２（優先値領域５２ａ）に新たな優先値として記憶される。

また、係数修正部１７は、上記操作により、ユーザが評価値を変更した画像が、Ｖ_totalに基づいて予めマイナスの評価が付与されていた画像であった場合、ユーザの変更した優先値Ｖと優先値設定部１５で設定した優先値Ｖ_totalとの差分、Ｖ−Ｖ_totalを計算し、Ｖ_changeと定義する（ステップＳ８０３）。なお、前述のＶ_totalの算出において、｛Ｖ_false｝のうち、０でない項に対応する重み係数｛ｗ_sig｝を抽出する。例えば、Ｖ_sblur（被写体ぶれの評価値） ＝ Ｖ_exp（露出不足の評価値） ＝ ０の場合、｛ｗ_sig｝ ＝ ｛ｗ_blur，ｗ_sim｝となる（すなわち、手ぶれと類似画像についての重み係数が抽出される）。

また、｛ｎ_false｝において、｛ｗ_sig｝に対応するものを｛ｎ_sig｝と定義する。上記の上述した例においては、｛ｎ_sig｝ ＝ ｛ｎ_blur，ｎ_sim｝となる（ステップＳ８０４）。次に、｛ｗ_sig｝を、下記式（１３）を用いて更新する（ステップＳ８０５）。

ここで、集合｛・｝に対する演算は、和差においては各要素の和差演算を意味し、例えば｛ｘ１，ｘ２｝＋｛ｙ１，ｙ２｝ ＝ ｛ｘ１＋ｙ１，ｘ２＋ｙ２｝を意味し、スカラーを集合｛・｝で割る演算は集合を返す演算で、例えばｘ／｛ｙ１，ｙ２｝ ＝ ｛ｘ／ｙ１，ｘ／ｙ２｝を意味する。

すべての評価対象画像１００について、ユーザによる評価値の変更を促し、ユーザによる優先値の変更処理が終了したか判定し（ステップＳ８０６）、すべての処理が終了するまで、上記ステップＳ８０２〜Ｓ８０５の処理を繰り返す。

以上の処理により、｛ｗ_false｝の更新を行い、次回以降に画像評価システム１２が実行され、画像の評価処理（ステップＳ２０）、優先値設定処理（ステップＳ３０）が行われた際には、この更新した｛ｗ_false｝を利用して優先値の設定が行われる。

このように、本実施例では、優先値設定部１５により設定された優先値をユーザが変更可能とし、この変更に基づいて、重み係数を更新し、次回の画像評価に用いている。これに対して、他の異なる実施例として、ユーザが予め評価対象画像１００に対して優先値を手動入力可能とし、この入力値を設定部１６が画像情報記憶部１３の属性情報領域５２に優先値として設定し、その後の処理で、この設定部１６により設定された優先値と、優先値設定部１５により設定された優先値との差に基づいて、前述の手法と同じ手法を用いて、当該評価対象画像に対する優先値の設定と、重み係数の修正を行うよう構成してもよい。

具体的には、画像記憶部１３に記憶されたデジタル画像（評価対象画像１００）を一枚ずつ読み出してディスプレイ２０等に表示する。この場合、設定画面上のお気に入りポイント１０１には、白星も黒星も表示されない。そして、撮影不良などがなく、ユーザが表示を希望する場合は、ユーザがアップボタン１０２を押下することにより、図１に示すように、お気に入りポイント１０１には白星が表示される。一方、図４のように、手ぶれを生じた評価対象画像１００に対しては、ユーザがダウンボタン１０３を押下することにより、お気に入りポイント１０１には黒星が表示される。この優先値が増減された結果は、設定部１６により画像情報記憶部１３の対応する評価対象画像の属性情報領域５２に記憶される。その後、画像の評価処理及び優先値の設定処理が起動されることにより、優先値設定部１５が画像情報記憶部１３からユーザが設定した優先値を読み出し、この優先値と、各評価方法により算出された評価値との差に基づいて、評価対象画像に対する優先値を再設定し、画像情報記憶部１３の優先値を更新するとともに、この優先値の差に基づいて、前述のような手法で重み係数を変更する。

（スライドショーの実行）
それでは、以上のようにして設定された優先値に基づいて、デジタルカメラ１０において、上述の評価が行われたデジタル画像によるスライドショーを生成及び表示するためのスライドショー生成部１８の処理について、図８に示すフローチャートを用いて説明する。ユーザの操作によりスライドショー生成部１８を実行すると、まず、画像記憶部１３に記憶されているデジタル画像のうち、スライドショー実行の対象となるデジタル画像が記憶されたフォルダを選択する（ステップＳ９０１）。そして、スライドショーのテンプレート（デジタル画像とともに表示される背景や装飾又は音楽等の演出若しくはデザイン）を選択する（ステップＳ９０２）。このとき、テンプレートの選択は、利用者に対して登録されているテンプレートをディスプレイ２０等に表示して選択させても良いし、このスライドショー生成部１８で自動的に選択するように構成しても良い。

次に、画像情報記憶部１３の当該フォルダから、デジタル画像データ５０を１件読み出す（ステップＳ９０３）。そして、この読み出されたデジタル画像の属性情報領域５２に設定されている優先値と、所定の閾値（本実施例では、０とする）とを比較し（ステップＳ９０４）、優先値が閾値以上のデジタル画像を、表示画像候補として抽出する（ステップＳ９０５）。一方、ステップＳ９０４で、優先値が閾値より小さいと判断した場合は、そのデジタル画像は表示候補とせず、読み飛ばす。なお、ここで閾値として、本実施例では０を設定しているが、他の異なる実施例として、０以外の数値を設定してもよいし、画像情報記憶部１３に記憶されているデジタル画像に設定されている優先値の平均値を閾値としてもよい。そして、優先値が設定されているデジタル画像をすべて画像記憶部１３から読み出したか否かを判断し（ステップＳ９０６）、表示対象フォルダに記憶されているすべてのデジタル画像に対して、上述のステップＳ９０３〜Ｓ９０６を繰り返す。以上のようにして、優先値が閾値以上のデジタル画像が画像情報記憶部１３から抽出されると、ステップＳ９０２で選択されたスライドショーのテンプレートとともにスライドショーが生成され(ステップＳ９０８)、ビデオ出力部１９を介してスライドショーがディスプレイ２０に出力される（ステップＳ９０９）。

なお、スライドショー生成部１８は、画像情報記憶部１３に記憶されているデジタル画像のうち、閾値以上の優先値が設定されているデジタル画像のファイル名と、その優先値をリストにしたスライドショーリストを生成し、そのリストに基づいてデジタル画像を画像情報記憶部１３から読み出してスライドショーを出力するように構成することも可能である。

デジタルカメラ１０に、以上のような画像評価システム１２を設けると、画像情報記憶部１３に記憶されたデジタル画像（評価対象画像１００）に対する優先値の設定を自動的に行うことができる。また、優先値をユーザの好みに応じて変更することもできる。そのため、同一シーンを連続撮影して冗長的に記憶されたデジタル画像、露出不足のデジタル画像、手ぶれや被写体ぶれを生じたデジタル画像等、ユーザが表示を好まないようなデジタル画像を排除して、ユーザの意図に合致したスライドショーの生成及び表示を容易に行うことができる。

なお、以上の実施例においては、画像評価システム１２をデジタルカメラ１０に設けた場合について説明したが、本発明がこの実施例に限定されることはなく、例えば、この画像評価システム１２を備える専用の画像表示装置として構成する場合や、ネットワークに接続されたサーバにこの画像評価システム１２を実装し、ネットワークに接続された端末（デジタルカメラ、携帯電話、ＰＤＡ又はパーソナルコンピュータ）からこのサーバにデジタル画像を転送して評価するように構成しても同様の効果を得ることができる。

本発明に係る画像評価システムが設けられたデジタルカメラの使用方法を説明する説明図である。 上記デジタルカメラの構成を示すブロック図である。 デジタル画像のデータ構造を説明するための説明図である。 ユーザが優先値を変更する際の画面の構成を説明するための説明図である。 画像の評価及び優先値の設定の処理を示すフローチャートである。 露出不足の判定による画像評価の処理を示すフローチャートである。 重み係数の更新処理の示すフローチャートである。 スライドショーの生成及び表示処理を示すフローチャートである。 手ぶれの検出による画像評価を説明するための説明図である。 類似画像の抽出による画像評価を説明するための説明図である。 類似画像のグルーピングにより得られたグループを説明するための説明図である。 露出不良判定による画像評価を説明するための説明図である。

符号の説明

１０ デジタルカメラ １１ 撮像部 １２ 画像評価システム（画像評価装置）
１３ 画像情報記憶部 １４ 画像評価部 １５ 優先値設定部
１６ 設定部 １７ 係数修正部 １８スライドショー生成部
５２ 属性情報（属性情報領域）
５２ａ 優先値領域 ５２ｂ 撮影日時領域 ５２ｃ ＡＦエリア情報領域
１００ 評価対象画像

Claims (8)

1. 評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、
   前記画像情報記憶部から前記評価対象画像を選択し、当該評価対象画像に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部と、
   前記評価値を前記評価対象画像の前記属性情報に優先値として設定する優先値設定部と、から構成され、
   前記画像評価部は、前記評価方法により算出される前記評価値に、当該評価方法毎に設定された重み係数を乗算した積のうち、最も大きい値を当該評価対象画像の前記評価値とするように構成された画像評価装置。
2. 前記画像評価部は、前記１以上の評価方法の一つとして、前記画像記憶部に記憶されている前記評価対象画像から、当該評価対象画像間の類似度を算出し、当該類似度に基づいて類似する画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い前記評価対象画像を中心に、残りの前記評価対象画像の前記評価値を前記類似度に反比例して算出するように構成された請求項１に記載の画像評価装置。
3. 評価対象画像及び当該評価対象画像の属性情報を対応付けて記憶する画像情報記憶部と、
   前記画像情報記憶部から前記評価対象画像を選択し、当該評価対象画像に対して少なくとも１以上の評価方法を用いて評価値を算出する画像評価部と、
   前記評価値を前記評価対象画像の前記属性情報に優先値として設定する優先値設定部と、から構成され、
   前記画像評価部は、前記１以上の評価方法の一つとして、前記画像記憶部に記憶されている前記評価対象画像から、当該評価対象画像間の類似度を算出し、当該類似度に基づいて類似する画像を類似画像群に分類し、当該分類毎に撮影時刻が一番遅い前記評価対象画像を中心に、残りの前記評価対象画像の前記評価値を前記類似度に反比例して算出するように構成された画像評価装置。
4. 前記画像評価部は、前記評価方法により算出される前記評価値に、当該評価方法毎に設定された重み係数を乗算して得た値の総和を当該評価対象画像の前記評価値とするように構成された請求項３に記載の画像評価装置。
5. 前記評価対象画像毎に、前記画像情報記憶部の前記属性情報に前記優先値を設定する設定部と、
   前記優先値設定部により設定された前記優先値と前記設定部で設定された前記優先値との差を算出し、当該差から前記重み係数を修正する係数修正部とを有する請求項３または４に記載の画像評価装置。
6. 前記画像評価部は、前記１以上の評価方法の一つとして、前記評価対象画像を小領域に分割し、前記小領域毎にエッジ画像を求め、当該エッジ画像から算出されるエッジ成分の最も高い前記小領域を処理対象領域に選定し、当該処理対象領域の各画素において、赤成分の強度をＲ（ｉ，ｊ）とし、緑成分の強度をＧ（ｉ，ｊ）とし、青成分の強度をＢ（ｉ，ｊ）とし、各画素において最も大きい成分の値Ｖmax（ｉ，ｊ）、最も小さい成分の値Ｖmin（ｉ，ｊ）及びその差分Ｓ（ｉ，ｊ）を次式
   但し、ｉ，ｊは評価対象画像のｘ，ｙ座標値を表す
   で定義し、当該Ｖmax（ｉ，ｊ）、Ｖmin（ｉ，ｊ）及びＳ（ｉ，ｊ）に基づいて露出不良判定処理を行って前記評価値を算出するように構成された請求項１〜５のいずれか一項に記載の画像評価装置。
7. 前記画像情報記憶部から前記評価対象画像及び前記属性情報の前記優先値を取り出し、当該優先値に基づいてスライドショーを生成し、再生するスライドショー生成部を有する請求項１〜６のいずれか一項に記載の画像評価装置。
8. 請求項１〜７のいずれか一項に記載の画像評価装置と、
   光学系及び当該光学系で結像された像を検出する撮像素子を備え、当該撮像素子で検出された画像を評価対象画像として記憶部に記憶させる撮像部とを有し、
   前記撮像部により前記画像情報記憶部に前記評価対象画像が記憶されたときに、前記優先値設定部により当該評価対象画像に対する前記優先値が設定されるように構成されるカメラ。