JP4680161B2 - 画像評価装置および方法並びにプログラム - Google Patents

Description

本発明は、画像に含まれる顔を用いて画像の評価を行う画像評価装置および方法並びに画像評価方法をコンピュータに実行させるためのプログラムに関するものである。

近年、デジタルカメラの普及と画像を保存しておくための記録媒体の容量が飛躍的に大きくなったことにより、ユーザは多くの画像を１つの記録媒体内に保持することが可能になってきている。その一方で、プリント等の処理をすべき画像を膨大な画像の中から目視により選択するという手間が生じており、効率的に画像を選択するために、画像を評価することにより、最終的にユーザがプリントする画像として判断する前にある程度の条件で画像を絞り込む機能や、ユーザの嗜好に合わせてプリントに適した画像を選択する機能が求められている。

例えば、特許文献１には、画像の明るさ、加速度センサの出力値、ＡＦ評価のいずれかを基準に画像を評価し、評価結果を用いてプリントに不適切な写真を自動的に省く手法が開示されている。

また、特許文献２には、画像に含まれる人物の顔の向きを判定し、判定結果に基づいて画像の評価値を算出し、算出した評価値に基づいて複数の画像から所望の画像を選択する手法が開示されている。

また、特許文献３には、画像において顔が占める割合、目の開き具合、顔の向き、ピント、ブレおよび明るさ等の複数の評価項目を総合した評価結果を用いて画像を評価する手法が開示されている。

また、特許文献４には、画像に含まれる顔領域について、画質を表す特徴ベクトルを算出し、この特徴ベクトルを用いて顔領域の画質を評価する手法が提案されている。
特開２００２−１０１７９号公報 特開２００４−３６１９８９号公報 特開２００２−３５８５２２号公報 特開２００５−１２９０７０号公報

上述したように画像に含まれる顔に基づいて画像の評価を行う手法は各種提案されている。しかしながら、上記特許文献１〜４に記載された手法は、評価項目毎の評価値を単純に算出することにより画像の評価を行っているため、実際に画像を見た者の主観的な評価を必ずしも反映したものとはならず、算出した評価と画像を見た者の評価とが異なるものとなってしまう場合がある。

本発明は上記事情に鑑みなされたものであり、画像に含まれる顔の情報を用いて、より精度良く画像の評価を行うことを目的とする。

本発明による画像評価装置は、少なくとも１つの顔を含む画像から、該顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度、該顔が複数含まれる場合の顔の位置関係、および該顔の検出スコアのうちの少なくとも１つの情報を取得する情報取得手段と、
該取得した情報に基づいて統計的に前記画像の評価結果を表す評価値を算出する評価値算出手段とを備えたことを特徴とするものである。

「評価値」とは、画像の特徴ベクトル、Ｓ／Ｎ比、および解像度等の画像から定量的に算出することが可能な値ではなく、画像の評価を欲するユーザの可能評価レベルと相関を持つように算出された予測値を意味する。

ここで、「統計的」とは、評価値を算出するに際し、いくつかの仮説に基づいて演繹的に求めるのではなく、多数のサンプル画像の中から選択された好ましいとされる画像の評価値を正解データとして、帰納的に求めることを意味する。なお、正解データは被験者が実際に採点することにより得られた評価値を用いることが好ましい。また、評価値を求めるためのサンプル画像数は、３００以上、好ましくは１０００以上あることが好ましい。

また、「顔が複数含まれる場合の顔の位置関係」としては、複数の顔のうちの評価の対象となる顔の中心と他の顔の中心とを結ぶ線分が画像の水平線となす角度を用いることができる。

なお、本発明による画像評価装置においては、前記情報取得手段を、前記顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度、該顔が複数含まれる場合の顔の位置関係、および該顔の検出スコアのうちの、複数の互いに関連する情報を取得する手段とし、
前記評価値算出手段を、該互いに関連する情報に基づく統計的な評価結果を前記評価値として算出する手段としてもよい。

また、本発明による画像評価装置においては、前記情報取得手段を、前記顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度、該顔が複数含まれる場合の顔の位置関係、および該顔の検出スコアのうちの少なくとも１つの情報、並びにこれらの情報のうちの複数の互いに関連する情報を取得する手段とし、
前記評価値算出手段を、前記少なくとも１つの情報に基づく統計的な評価結果、および前記互いに関連する情報に基づく統計的な評価結果から得られる総合的な評価結果を前記評価値として算出する手段としてもよい。

本発明による画像評価方法は、少なくとも１つの顔を含む画像から、該顔のサイズ、該顔の前記画像上における位置、該顔の向き、該顔の回転角度、該顔が複数含まれる場合の顔の位置関係、および該顔の検出スコアのうちの少なくとも１つの情報を取得し、
該取得した情報に基づいて統計的に前記画像の評価結果を表す評価値を算出することを特徴とするものである。

なお、本発明による画像評価方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、少なくとも１つの顔を含む画像から、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの少なくとも１つの情報が取得され、取得した情報に基づいて統計的に画像の評価結果を表す評価値が算出される。このため、評価値に画像を見る者の趣向を反映させることができ、これにより、より精度良く画像を評価することができる。

また、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの、複数の互いに関連する情報を取得し、この互いに関連する情報に基づく統計的な評価結果を評価値として算出することにより、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアの情報単独では判断できない、詳細な条件での評価を行うことができる。

また、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、該顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの少なくとも１つの情報、並びにこれらの情報のうち複数の互いに関連する情報を取得し、少なくとも１つの情報に基づく統計的な評価結果、および互いに関連する情報に基づく統計的な評価結果から得られる総合的な評価結果を評価値として算出することにより、より精度良く画像を評価することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像評価装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像評価装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、各種表示を行う液晶モニタ等からなる表示部１６と、表示部１６を制御する表示制御部１８と、種々の指示を装置１に対して行うためのキーボード、マウスおよびタッチパネル等からなる入力部２０と、入力部２０を制御する入力制御部２２とを備える。

また、画像評価装置１は、画像を表す画像データを記録したメモリカード等のメディアから画像データを読み出したり画像データをメディアに記録したりするための画像読込部２４と、画像読込部２４を制御する画像読込制御部２６と、画像データを含む各種情報および後述する評価値テーブル等を保存するハードディスク２８とを備える。

また、画像評価装置１は、画像から顔を検出する顔検出部３０と、顔の特徴を表す情報を取得する情報取得部３２と、情報取得部３２が取得した情報に基づいて画像の評価結果を表す評価値を算出する評価値算出部３４とを備える。

以下、顔検出部３０、情報取得部３２および評価値算出部３４の機能について、本実施形態において行われる処理と併せて説明する。

図２は本発明の第１の実施形態において行われる画像評価処理のフローチャートである。ここで、第１の実施形態においては、顔の特徴を表す情報、すなわち、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちのいずれか１つの情報に基づいて評価値を算出するものである。なお、以下の説明においては、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのそれぞれからの評価値の算出について説明する。ここで、評価を行うための画像は画像読込部２４に読み込まれてハードディスク２８に保存されているものとする。

ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２８から処理の対象となる画像を読み出し（ステップＳＴ１）、顔検出部３０が画像から人物の顔領域を検出する（ステップＳＴ２）。具体的には、基準となる矩形領域により囲まれる平均顔パターンと処理対象の画像とのパターンマッチングを行い、マッチング度が最も大きい画像上の位置において、平均顔パターンが囲まれる矩形領域に対応する位置を顔領域とする手法を用いる。ここで、パターンマッチングとは、平均顔パターンを、そのサイズおよび画像平面上における回転角度をあらかじめ定められた所定量ずつ変更しながら、画像上を少しずつ移動させて、平均顔パターンと画像とのマッチング度を算出する手法である。

なお、顔を検出する手法はこれに限定されるものではなく、例えば画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔領域として検出する手法、顔の輪郭形状をなす領域を顔領域として検出する手法等、任意の手法を用いることができる。なお、処理対象の画像に顔が複数含まれている場合にはすべての顔領域を検出する。

次いで情報取得部３２が、検出した顔領域から画像に含まれる顔の特徴を表す情報を取得する（ステップＳＴ３）。具体的には、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちのいずれか１つの情報を取得する。

ここで、顔のサイズの情報としては、顔領域内の画素数、顔領域の画像全体に対する割合、顔領域の画像の幅に対する割合等を用いることができる。本実施形態においては、顔領域の画像の幅に対する割合を顔のサイズの情報として取得する。

顔の位置の情報としては、顔領域の中心の位置（例えば顔領域が矩形の場合、対角線の交点）の座標値の画像の横および縦方向の長さに対する割合を百分率にて表した値を使用する。なお、座標は画像を横長となるように配置した場合の左下隅を原点とし、横方向をｘ軸、縦方向をｙ軸とする。ここで、画像のｘ方向の長さが１００、ｙ方向の長さが５０であり、顔領域の中心の位置の座標が（４５，１５）であったとすると、顔の位置の情報は（４５，３０）となる。

顔の向きの情報としては、顔領域に含まれる顔の向きが正面または横であることを表す情報を用いることができる。なお、顔の向きは顔領域からさらに目を検出し、検出した目が２つある場合には正面、１つの場合には横向きであるとすればよい。また、顔領域から顔の向きを表す特徴量を求め、その特徴量を用いて顔の向きが正面か横かを決定するようにしてもよい。

顔の回転角度は、顔領域に含まれる顔の画像平面上における回転角度である。ここで、顔の回転角度は、顔検出部３０において顔を検出した際の平均顔パターンの回転角度を用いればよい。なお、回転角度の情報は、３６０度を４５度刻みで表した情報を用いるものとする。これにより、顔の回転角度の情報は、０，４５，９０，１３５，１８０，２２５，２７０，３１５度のいずれかとなる。なお、顔検出部３０が検出した顔の実際の回転角度がこれらの値の間の値となる場合は、近い方の角度に合わせるものとする。例えば、顔検出部３０が検出した顔の実際の回転角度が３０度である場合には、顔の回転角度は４５度であるものとする。

顔が複数含まれる場合の顔の位置関係は、複数の顔のうちの評価の対象となる顔の中心と他の顔の中心とを結ぶ線分が、画像の水平線となす角度を用いることができる。例えば、図３（ａ）に示すように画像に２つの顔Ｆ１，Ｆ２が含まれる場合には２つの顔Ｆ１，Ｆ２のいずれについても、顔の中心Ｏ１，Ｏ２を結ぶ線分と画像の水平線とがなす角度θ０を用いることができる。また、図３（ｂ）に示すように画像に３つの顔Ｆ３〜Ｆ５が含まれる場合には、顔Ｆ３，Ｆ４の中心Ｏ３，Ｏ４を結ぶ線分と水平線とがなす角度θ１、顔Ｆ３，Ｆ５の中心Ｏ３，Ｏ５を結ぶ線分と水平線とがなす角度θ２、顔Ｆ４，Ｆ５の中心Ｏ４，Ｏ５を結ぶ線分と水平線とがなす角度θ３が求められる。そして、顔Ｆ３を評価の対象とした場合には角度θ１，θ２を、顔Ｆ４を評価の対象とした場合には角度θ１，θ３を、顔Ｆ５を評価の対象とした場合には角度θ２，θ３を用いることができる。

顔の検出スコアとしては、顔検出部３０が算出したマッチング度の値をそのまま用いるものとする。

以上より、情報取得部３２は、例えば顔のサイズとして３０％、顔の画像上における位置として（４５，３０）、顔の向きとして「正面」、顔の回転角度として０度、顔が複数含まれる場合の顔の位置関係として３０度、および顔の検出スコアとして５００という情報を取得することができる。

ここで、第１の実施形態においては、顔の特徴を表す情報に応じて統計的にあらかじめ決定された、評価値を算出するための評価値テーブルがハードディスク２８に保存されている。図４は顔のサイズについての評価値テーブルＬＵＴ１を示す図、図５は顔のｘ方向の位置についての評価値テーブルＬＵＴ２を示す図、図６は顔のｙ方向の位置についての評価値テーブルＬＵＴ３を示す図、図７は顔の向きについての評価値テーブルＬＵＴ４を示す図、図８は顔の回転角度についての評価値テーブルＬＵＴ５を示す図、図９は顔の位置関係についての評価値テーブルＬＵＴ６を示す図、図１０は顔の検出スコアについての評価値テーブルＬＵＴ７を示す図である。

なお、評価値テーブルは、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアが異なる多数のサンプル画像の評価値を、複数の被験者に採点させた場合において、採点したサンプル画像の顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアを横軸に、複数の被験者が採点することにより得られた評価値の平均値を縦軸にプロットすることにより得られるものである。なお、顔のサイズ、顔の画像上における位置、顔の向き、および顔の回転角度については満点を０．５点、顔が複数含まれる場合の顔の位置関係については満点を０．６点、顔の検出スコアについては満点を０．７点としている。

次いで、評価値算出部３４は、顔の特徴に応じた評価値テーブルをハードディスク２８から読み出し（ステップＳＴ４）、読み出した評価値テーブルおよび顔の特徴に基づいて、画像の評価結果を表す評価値を算出する（ステップＳＴ５）。

すなわち、顔の特徴が顔のサイズである場合には評価値テーブルＬＵＴ１を読み出して評価値Ｅ１を算出する。また、顔の特徴が顔の画像上における位置である場合には評価値テーブルＬＵＴ２，ＬＵＴ３を読み出して評価値Ｅ２，Ｅ３を算出する。なお、顔の位置の評価値については、評価値Ｅ２と評価値Ｅ３とを加算した値を最終的な評価値とすればよい。また、顔の特徴が顔の向きである場合には評価値テーブルＬＵＴ４を読み出して評価値Ｅ４を算出する。また、顔の特徴が顔の回転角度である場合には評価値テーブルＬＵＴ５を読み出して評価値Ｅ５を算出する。また、顔の特徴量が顔が複数含まれる場合の顔の位置関係である場合には評価値テーブルＬＵＴ６を読み出して評価値Ｅ６を算出する。

さらに、顔の特徴が顔の検出スコアである場合には評価値テーブルＬＵＴ７を読み出して評価値Ｅ７を算出する。

次いで、評価値算出部３４は、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ６）、ステップＳＴ６が否定されると処理を終了する。ステップＳＴ６が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ７）、ステップＳＴ３に戻り、ステップＳＴ３以降の処理を繰り返す。

これにより、画像に顔領域が１つのみ含まれる場合には、ステップＳＴ５において算出した評価値Ｅ１，Ｅ２＋Ｅ３，Ｅ４，Ｅ５，Ｅ７がその画像の評価値として算出される。また、画像に複数の顔領域が含まれる場合には、各顔領域について算出した評価値Ｅ１，Ｅ２＋Ｅ３，Ｅ４〜Ｅ７を加算、重み付け加算、または平均をとることにより最終的な評価値が算出される。なお、顔の位置の評価値については、評価値Ｅ２と評価値Ｅ３とを加算した値を最終的な評価値とすればよい。

また、顔が複数含まれる場合の顔の位置関係の評価値Ｅ６については、評価の対象となる顔領域と他の顔領域との位置関係の評価値を算出し、算出した評価値の平均値を評価の対象となる顔領域の評価値として算出すればよい。例えば、図３（ａ）に示す画像の場合、顔Ｆ１から見た顔Ｆ２の位置関係は４５度であるため、顔Ｆ１についての顔の位置関係の評価値Ｅ６は０．４５となる。また、顔Ｆ２から見た顔Ｆ１の位置関係は−４５度であるため、顔Ｆ２についての顔の位置関係の評価値Ｅ６は０．４５となる。

一方、図３（ｂ）に示す画像の場合、顔Ｆ３から見た顔Ｆ４の位置関係は８５度であるため評価値は０．３５となる。また、顔Ｆ３から見た顔Ｆ５の位置関係は６０度であるため評価値は０．５１となる。したがって、顔Ｆ３についての顔の位置関係の評価値Ｅ６は、０．３５と０．５１の平均値である０．４３となる。また、顔Ｆ４から見た顔Ｆ３の位置関係は−８５度であるため評価値は０．３５となる。また、顔Ｆ４から見た顔Ｆ５の位置関係は２５度であるため評価値は０．３２となる。したがって、顔Ｆ４についての顔の位置関係の評価値Ｅ６は、０．３５と０．３２の平均値である０．３３５となる。さらに、顔Ｆ５から見た顔Ｆ３の位置関係は−６０度であるため評価値は０．５１となる。また、顔Ｆ５から見た顔Ｆ４の位置関係は−２５度であるため評価値は０．３２となる。したがって、顔Ｆ５についての顔の位置関係の評価値Ｅ６は、０．５１と０．３２の平均値である０．４１５となる。

このように第１の実施形態によれば、画像から、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちのいずれか１つの情報を取得し、取得した情報に基づいて統計的に画像の評価結果を表す評価値を算出するようにしたため、評価値に画像を見る者の趣向を反映させることができ、これにより、より精度良く画像を評価することができる。

なお、上記第１の実施形態においては、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちのいずれか１つの情報を用いて評価値Ｅ１〜Ｅ７のいずれか１つを算出しているが、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの複数の情報を用いて評価値を算出してもよい。この場合、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうち、算出した情報に応じた評価値を加算または重み付け加算することにより最終的な評価値を算出すればよい。

例えば、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのすべてについて評価値Ｅ１〜Ｅ７を算出した場合には、最終的な評価値Ｅｆ０を下記の式（１）により算出すればよい。

Ｅｆ０＝α１Ｅ１＋α２Ｅ２＋α３Ｅ３＋α４Ｅ４＋α５Ｅ５＋α６Ｅ６＋α７Ｅ７ （１）
但しα１〜α７は重み係数である。

また、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの複数の互いに関連する情報を取得し、互いに関連する情報に基づく評価結果を評価値として算出してもよい。以下、これを第２の実施形態について説明する。なお、第２の実施形態による画像評価装置の構成は、第１の実施形態による画像評価装置１と同一であるため、ここでは詳細な説明は省略する。図１１は第２の実施形態において行われる処理を示すフローチャートである。なお、ここでは、顔のサイズおよび位置を互いに関連する情報とし、顔のサイズおよび位置に基づく評価値を算出する場合について説明する。

ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２８から処理の対象となる画像を読み出し（ステップＳＴ１１）、顔検出部３０が画像から人物の顔領域を検出する（ステップＳＴ１２）。

次いで情報取得部３２が、検出した顔領域から画像に含まれる顔の特徴を表す情報を取得する（ステップＳＴ３）。具体的には、第２の実施形態においては、顔のサイズおよび顔の画像上における位置の情報を取得する。

ここで、第２の実施形態においては、ハードディスク２８に、顔のサイズおよび位置に応じて統計的にあらかじめ決定された、評価値を算出するための評価値テーブルが保存されている。図１２は顔のサイズおよび顔のｘ方向の位置についての評価値テーブルＬＵＴ８−１〜ＬＵＴ８−６を示す図、図１３は顔のサイズおよび顔のｙ方向の位置についての評価値テーブルＬＵＴ９−１〜ＬＵＴ９−６を示す図である。図１２に示すように評価値テーブルＬＵＴ８−１〜ＬＵＴ８−６は、顔のサイズが１３．３％、２６．７％、５３．３％、６６．７％、７３．３％および８６．７％のそれぞれについて、横軸にｘ方向の位置の情報を、縦軸に複数の被験者が採点することにより得られた評価値の平均値をプロットしたものである。また、図１３に示すように評価値テーブルＬＵＴ９−１〜ＬＵＴ９−６は、顔のサイズが１３％、２５％、５０％、６３％、７５％および８８％のそれぞれについて、横軸にｙ方向の位置の情報を、縦軸に複数の被験者が採点することにより得られた評価値の平均値をプロットしたものである。

なお、顔のサイズが評価値テーブルＬＵＴ８−１〜ＬＵＴ８−６，ＬＵＴ９−１〜ＬＵＴ９−６に示したサイズの中間の値となる場合には、最も近い値を有する２つのテーブルを用いた補間演算により評価値を算出すればよい。例えば、顔のサイズが評価値テーブルＬＵＴ８−１とＬＵＴ８−２との間にある場合には、評価値テーブルＬＵＴ８−１とＬＵＴ８−２とを用いた補間演算により評価値を算出すればよい。

次いで、評価値算出部３４は、評価値テーブルＬＵＴ８−１〜ＬＵＴ８−６，ＬＵＴ９−１〜ＬＵＴ９−６をハードディスク２８から読み出し（ステップＳＴ１４）、読み出した評価値テーブルＬＵＴ８−１〜ＬＵＴ８−６，ＬＵＴ９−１〜ＬＵＴ９−６並びに顔のサイズおよび位置の情報に基づいて、画像の評価結果を表す評価値Ｅ８，Ｅ９を算出する（ステップＳＴ１５）。なお、第２の実施形態においては、評価値Ｅ８と評価値Ｅ９とを加算または重み付け加算した値を最終的な評価値とすればよい。

次いで、評価値算出部３４は、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ１６）、ステップＳＴ１６が否定されると処理を終了する。ステップＳＴ１６が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ１７）、ステップＳＴ１３に戻り、ステップＳＴ１３以降の処理を繰り返す。

このように、第２の実施形態においては、互いに関連する複数の情報である顔のサイズおよび位置の情報に基づく統計的な評価結果を評価値として算出するようにしたため、顔のサイズおよび位置の単独では判断できない、詳細な条件での評価を行うことができる。

なお、上記第２の実施形態においては、互いに関連する情報として顔のサイズおよび位置の情報を用いているが、これに限定されるものではなく、顔の回転角度および位置の情報、あるいは顔のサイズ、位置および回転角度の情報等、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの互いに関連する任意の複数の情報に基づいて評価値を算出してもよい。この場合、使用する情報に応じて評価値テーブルをあらかじめ作成してハードディスク２８に保存しておけばよい。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態による画像評価装置の構成は、第１の実施形態による画像評価装置１と同一であるため、ここでは詳細な説明は省略する。第３の実施形態においては、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアの情報、並びにこれらの情報のうちの複数の互いに関連する情報を取得し、個々の情報についての評価値を個別評価値として算出し、個別評価値を重み付け加算することにより最終的な評価値である総合評価値を算出するようにしたものである。なお、複数の互いに関連する情報としては、第２の実施形態と同様に顔のサイズおよび位置の情報を用いるものとする。

図１４は第３の実施形態において行われる処理を示すフローチャートである。ユーザが入力部１６から画像の評価開始の指示を行うことによりＣＰＵ１２が処理を開始し、まずハードディスク２８から処理対象の画像を読み出し（ステップＳＴ２１）、顔検出部３０が画像から人物の顔領域を検出する（ステップＳＴ２２）。

次いで情報取得部３２が、検出した顔領域から画像に含まれる顔の特徴を表す情報を取得する（ステップＳＴ２３）。具体的には、第３実施形態においては、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのすべての情報を取得する。なお、第３の実施形態においては、ハードディスク２８に、上述した評価値テーブルＬＵＴ１〜ＬＵＴ９−６が記録されている。

次いで、評価値算出部３４は、評価値テーブルＬＵＴ１〜ＬＵＴ９−６をハードディスク２８から読み出し（ステップＳＴ２４）、読み出した評価値テーブルＬＵＴ１〜ＬＵＴ９−６並びに顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアの情報、並びに顔のサイズおよび位置の情報に基づいて、画像の評価結果を表す個別評価値Ｅ１〜Ｅ９を算出する（ステップＳＴ２５）。なお、個別評価値Ｅ１〜Ｅ９の算出は上記第１および第２の実施形態と同様である。そして、算出した個別評価値Ｅ１〜Ｅ９を重み付け加算して総合評価値を算出する（ステップＳＴ２６）。具体的には下記の式（２）により、総合評価値Ｅｆ１を算出する。

Ｅｆ１＝α１Ｅ１＋α２Ｅ２＋α３Ｅ３＋α４Ｅ４
＋α５Ｅ５＋α６Ｅ６＋α７Ｅ７＋α８Ｅ８＋α９Ｅ９ （２）
但しα１〜α９は重み係数である。

図１５は総合評価値Ｅｆ１の算出の具体例を示す図である。個別評価値および重みが図１５に示す値を有する場合、総合評価値は０．３３６５５と求められる。

次いで、評価値算出部３４は、処理対象の画像に他の顔領域が含まれるか否かを判定し（ステップＳＴ２７）、ステップＳＴ２７が否定されると処理を終了する。ステップＳＴ２７が肯定されると、処理の対象を次の顔領域に設定して（ステップＳＴ２８）、ステップＳＴ２３に戻り、ステップＳＴ２３以降の処理を繰り返す。

このように第３の実施形態においては、個別評価値から得られる総合的な評価値を算出するようにしたため、より精度良く画像を評価することができる。

なお、上記第３の実施形態においては、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、顔の検出スコア、およびこれらの情報のうち複数の互いに関連する情報のすべてから個別評価値を算出しているが、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアの情報のうちの少なくとも１つの情報、並びに複数の互いに関連する情報を用いて個別評価値を算出し、算出した個別評価値を重み付け加算することにより総合評価値を算出するようにしてもよい。

なお、上記第２および第３の実施形態において、顔のサイズおよび位置の情報に基づく評価値を算出する場合において、画像が縦長の画像である場合には、画像の評価が異なるものとなる。このため、画像が縦長の画像である場合には、図１６に示すように各種顔のサイズにおける顔のｘ方向の位置と評価値との関係を規定した評価値テーブルＬＵＴ１０−１〜ＬＵＴ１０−４を用いることが好ましい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の顔検出部３０、情報取得部３２および評価値算出部３４に対応する手段として機能させ、図２，１１，１４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。これらの場合において、評価値テーブルは、プログラム内あるいは同一の記録媒体内に含まれているものであってもよいし、外部の装置や別個の媒体から提供されるものであってもよい。

本発明の第１の実施形態による画像評価装置の構成を示す概略ブロック図 本発明の第１の実施形態において行われる画像評価処理のフローチャート 顔が複数含まれる場合の顔の位置関係を示す図 顔のサイズについての評価値テーブルＬＵＴ１を示す図 顔のｘ方向の位置についての評価値テーブルＬＵＴ２を示す図 顔のｙ方向の位置についての評価値テーブルＬＵＴ３を示す図 顔の向きについての評価値テーブルＬＵＴ４を示す図 顔の回転角度についての評価値テーブルＬＵＴ５を示す図 顔が複数含まれる場合の顔の位置関係についての評価値テーブルＬＵＴ６を示す図 顔の検出スコアについての評価値テーブルＬＵＴ７を示す図 本発明の第２の実施形態において行われる画像評価処理のフローチャート 顔のサイズおよび位置についての評価値テーブルを示す図（ｘ方向） 顔のサイズおよび位置についての評価値テーブルを示す図（ｙ方向） 本発明の第３の実施形態において行われる画像評価処理のフローチャート 総合評価値Ｅｆ１の算出の具体例を示す図 画像が縦長の場合の顔のサイズおよび位置についての評価値テーブルを示す図（ｘ方向）

符号の説明

１ 画像評価装置
１２ ＣＰＵ
１４ システムメモリ
１６ 表示部
１８ 表示制御部
２０ 入力部
２２ 入力制御部
２４ 画像読込部
２６ 画像読込制御部
２８ ハードディスク
３０ 顔検出部
３２ 情報取得部
３４ 評価値算出部

Claims (5)

1. 複数の顔を含む画像から、該各顔と他の顔との位置関係の情報であって、該位置関係の情報を取得する対象となる顔の中心と前記他の顔の中心とを結ぶ線分が、前記画像の水平線となす角度である位置関係の情報、並びに該各顔のサイズ、該各顔の前記画像上における位置、該各顔の向き、該各顔の回転角度および該各顔の検出スコアのうちの少なくとも１つの情報を取得する情報取得手段と、
   該取得した情報に基づいて統計的に前記画像の評価結果を表す評価値を算出する評価値算出手段とを備えたことを特徴とする画像評価装置。
2. 前記情報取得手段は、前記各顔と他の顔との位置関係の情報、並びに該各顔のサイズ、該各顔の前記画像上における位置、該各顔の向き、該各顔の回転角度および該各顔の検出スコアのうちの、複数の互いに関連する情報を取得する手段であり、
   前記評価値算出手段は、該互いに関連する情報に基づく統計的な評価結果を前記評価値として算出する手段であることを特徴とする請求項１記載の画像評価装置。
3. 前記情報取得手段は、前記各顔と他の顔との位置関係の情報、並びに該各顔のサイズ、該各顔の前記画像上における位置、該各顔の向き、該各顔の回転角度および該各顔の検出スコアのうちの少なくとも１つの情報とともに、これらの情報のうちの複数の互いに関連する情報を取得する手段であり、
   前記評価値算出手段は、前記各顔と他の顔との位置関係の情報および前記少なくとも１つの情報に基づく統計的な評価結果、並びに前記互いに関連する情報に基づく統計的な評価結果から得られる総合的な評価結果を前記評価値として算出する手段であることを特徴とする請求項１記載の画像評価装置。
4. 複数の顔を含む画像から、該各顔と他の顔との位置関係の情報であって、該位置関係の情報を取得する対象となる顔の中心と前記他の顔の中心とを結ぶ線分が、前記画像の水平線となす角度である位置関係の情報、並びに該各顔のサイズ、該各顔の前記画像上における位置、該各顔の向き、該各顔の回転角度および該各顔の検出スコアのうちの少なくとも１つの情報を取得し、
   該取得した情報に基づいて統計的に前記画像の評価結果を表す評価値を算出することを特徴とする画像評価方法。
5. 複数の顔を含む画像から、該各顔と他の顔との位置関係の情報であって、該位置関係の情報を取得する対象となる顔の中心と前記他の顔の中心とを結ぶ線分が、前記画像の水平線となす角度である位置関係の情報、並びに該各顔のサイズ、該各顔の前記画像上における位置、該各顔の向き、該各顔の回転角度および該各顔の検出スコアのうちの少なくとも１つの情報を取得する手順と、
   該取得した情報に基づいて統計的に前記画像の評価結果を表す評価値を算出する手順とを有することを特徴とする画像評価方法をコンピュータに実行させるためのプログラム。

Images