JP5246363B2 - 画像処理装置、および画像評価プログラム - Google Patents

Description

本発明は、画像処理装置、および画像評価プログラムに関する。

複数の画像の中からベストショットを選ぶカメラが知られている（特許文献１参照）。従来技術では、像ブレがない画像を選び、該像ブレがない画像のヒストグラムに基づいて最適露出の画像が選ばれる。

特開２００６−３１１３４０号公報

従来技術では、全ての画像を対象に像ブレがないか否かの判定を行ってベストショット候補画像を選んでいたので、処理に時間がかかるという問題があった。すなわち、最適因子（像ブレがない）による判定を全画像を対象に施していた。

請求項１に記載の画像処理装置は、入力された画像群に含まれる複数の画像各々に対し、複数の第１の因子に基づく評価値をそれぞれ演算する第１演算部と、前記第１演算部の演算結果に基づいて、当該演算結果が所定条件を満たす画像を前記画像群から除外処理する除外部と、前記除外処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む複数の第２の因子に基づく評価値をそれぞれ演算する第２演算部と、前記第２演算部の演算結果に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理部と、を備え、前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、前記第１演算部は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第１の因子において前記評価値を演算すべき複数の因子を異ならせ、前記第２演算部は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第２の因子において前記評価値を演算すべき複数の因子を異ならせることを特徴とする。
請求項１６に記載の画像評価プログラムは、複数の画像を含む画像群を入力する第１処理と、前記画像群に含まれる各画像に対し、複数の第１の因子に基づく評価値をそれぞれ演算する第２処理と、前記第２処理の演算結果に基づいて、当該演算結果が所定条件を満たす画像を前記画像群から除外する第３処理と、前記第３処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む複数の第２の因子に基づく評価値をそれぞれ演算する第４処理と、前記第４処理の演算結果に基づいて、前記第３処理後の前記画像群の中の各画像に対して序列をつける第５処理と、をコンピュータに実行させ、前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、前記第２処理は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第１の因子において前記評価値を演算すべき複数の因子を異ならせ、前記第４処理は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第２の因子において前記評価値を演算すべき複数の因子を異ならせることを特徴とする。
請求項３０に記載の画像処理装置は、第１の因子と第２の因子を記憶する記憶部と、画像群に含まれる各画像に対して、主要被写体を判別する判別部と、前記判別部で主要被写体が検出された各画像に対して、前記第１の因子に基づく評価値をそれぞれ演算する第１演算部と、前記第１演算部で演算した前記評価値に基づいて、前記画像群から不要画像を除外処理する除外部と、前記除外処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む第２の因子に基づく評価値をそれぞれ演算する第２演算部と、前記第２演算部で演算した前記評価値に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理部とを備え、前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、前記第１の因子は、前記判別部により判別された主要被写体の領域がフレームから外れていることを示すフレームアウト因子を含み、前記第２の因子は、前記判別部により判別された主要被写体の画像内における位置に基づく構図の最適度を示す構図因子を含むことを特徴とする。
請求項３１に記載の画像評価プログラムは、第１の因子と第２の因子を記憶する記憶処理と、画像群に含まれる各画像に対して、主要被写体を判別する判別処理と、前記判別処理で主要被写体が検出された各画像に対して、前記第１の因子に基づく評価値をそれぞれ演算する第１演算処理と、前記第１演算処理で演算した前記評価値に基づいて、前記画像群から不要画像を除外処理する除外処理と、前記除外処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む第２の因子に基づく評価値をそれぞれ演算する第２演算処理と、前記第２演算処理で演算した前記評価値に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理とをコンピュータに実行させる画像評価プログラムであって、前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、前記第１の因子は、前記判別処理により判別された主要被写体の領域がフレームから外れていることを示すフレームアウト因子を含み、前記第２の因子は、前記判別処理により判別された主要被写体の画像内における位置に基づく構図の最適度を示す構図因子を含むことを特徴とする。

本発明によれば、迅速にベストショット候補画像を選ぶことができる。

本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。 プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。 メインＣＰＵが実行する画像評価処理の流れを説明するフローチャートである。 フラグCase_PFおよびフラグCase_MVと対応する評価処理項目との関係を説明する図である。 (a)は横位置の場合のフレームアウトエリアを例示する図、(b)は縦位置の場合のフレームアウトエリアを例示する図である。 AFエリアおよび中心微小領域を例示する図である。 評価対象エリアを例示する図である。 構図最適度を示す評価値の算出を説明する図である。 コンピュータ装置を例示する図である。 液晶モニタの表示画面を例示する図である。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラ１の要部構成を説明するブロック図である。電子カメラ１は、メインＣＰＵ１１によって制御される。

撮影レンズ２１は、撮像素子２２の撮像面上に被写体像を結像させる。撮像素子２２はＣＣＤイメージセンサまたはＣＭＯＳイメージセンサによって構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路２３へ出力する。撮像回路２３は、撮像素子２２から出力される光電変換信号に対するアナログ処理（ゲインコントロールなど）を行う他、内蔵するＡ／Ｄ変換回路でアナログ撮像信号をディジタルデータに変換する。

メインＣＰＵ１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路１２は、たとえばＡＳＩＣとして構成され、撮像回路２３から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理が含まれる。

画像圧縮回路１３は、画像処理回路１２による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路１４は、撮像画像を液晶モニタ１９に表示させるための表示用信号を生成する。

液晶モニタ１９は液晶パネルによって構成され、表示画像作成回路１４から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路２０は、表示画像作成回路１４から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。

バッファメモリ１５は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、記録媒体３０へ記録する前の画像ファイルを記憶したり、記録媒体３０から読み出した画像ファイルを記憶したりするために使用される。本実施形態では、撮影指示前（レリーズボタンの全押し操作前）に撮像素子２２によって所定のフレームレートで取得するプリキャプチャー画像を一時的に記憶する場合にも使用される。プリキャプチャー画像については後述する。

フラッシュメモリ１６は、メインＣＰＵ１１が実行するプログラムや、メインＣＰＵ１１が行う処理に必要なデータなどが格納される。フラッシュメモリ１６が格納するプログラムやデータの内容は、メインＣＰＵ１１からの指示によって追加、変更が可能に構成されている。

カードインターフェース(I/F)１７はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記録媒体３０が接続される。カードインターフェース１７は、メインＣＰＵ１１からの指示により、接続された記録媒体３０に対するデータの書き込みや、記録媒体３０からのデータの読み込みを行う。記録媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。

操作部材１８は、電子カメラ１の各種ボタンやスイッチ類を含み、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインＣＰＵ１１へ出力する。半押しスイッチ１８ａおよび全押しスイッチ１８ｂは、レリーズボタン（不図示）の押下操作に連動して、それぞれがオン信号をメインＣＰＵ１１へ出力する。半押しスイッチ１８ａからのオン信号（半押し操作信号）は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除さ
れる。全押しスイッチ１８ｂからのオン信号（全押し操作信号）は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。半押し操作信号は、メインＣＰＵ１１に対して撮影準備の開始を指示する。全押し操作信号は、メインＣＰＵ１１に対して記録用画像の取得開始を指示する。

＜撮影モード＞
電子カメラ１は、上記全押し操作信号に応じて１コマずつ撮影画像を取得して記録媒体３０へ記録する通常の撮影モードと、上記半押し操作信号を受けると高速シャッタ秒時（たとえば１２５分の１秒より高速）の静止画像を１２０フレーム／毎秒（120fps）で連写撮影して複数コマの連写撮影画像を取得し、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体３０へ記録するプリキャプチャー撮影モードとを有する。各撮影モードは、操作部材１８からの操作信号に応じて切替え可能に構成されている。

＜再生モード＞
再生モードの電子カメラ１は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ１９に再生表示する。

本実施形態は、上記プリキャプチャー撮影モードに特徴を有するので、以下の説明はプリキャプチャー撮影モードを中心に行う。図２は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。

＜プリキャプチャー撮影＞
図２において、時刻ｔ０に半押し操作信号が入力されると、メインＣＰＵ１１はレリーズ待機処理を開始させる。レリーズ待機処理では、たとえば、１２０フレーム／毎秒(120fps)のフレームレートで被写体像を撮像して露出演算やフォーカス調節を行うとともに、取得した画像データを逐次バッファメモリ１５へ記憶する。

プリキャプチャー撮影のために使用するバッファメモリ１５のメモリ容量は、あらかじめ十分な容量が確保されている。メインＣＰＵ１１は、時刻ｔ０以降にバッファメモリ１５内に記憶したフレーム画像のフレーム枚数が所定枚数（たとえばＡ枚）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、プリキャプチャー撮影のために使用するバッファメモリ１５のメモリ容量を制限できる。

時刻ｔ１に全押し操作信号が入力されると、メインＣＰＵ１１はレリーズ処理を開始させる。レリーズ処理では、時刻ｔ１以前に撮像したＡ枚のフレーム画像と、時刻ｔ１以降に撮像されるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像を記録媒体３０への記録候補画像とする。

メインＣＰＵ１１は、（Ａ＋Ｂ）枚のフレーム画像のうち、あらかじめメニュー操作によって指示されているＣ枚のフレーム画像（Ｃ＜(Ａ＋Ｂ)）を選び、該Ｃ枚のフレーム画像を関連づけて、記録媒体３０へそれぞれ記録させる。図２における黒い帯は、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像が取得される区間を表す。斜線の帯は、バッファメモリ１５に一旦は記憶されたものの、上書き消去されたフレーム画像が取得された区間を表す。

本実施形態では、記録方式として、（Ａ＋Ｂ）枚のフレーム画像のうちＣ枚のフレーム画像を記録媒体３０へ記録する第１記録方式と、（Ａ＋Ｂ）枚のフレーム画像を全て記録媒体３０へ記録する第２記録方式とが操作部材１８からの操作信号に応じて切替え可能に構成されている。本実施形態では、第１記録方式が選択されているものとして説明する。

メインＣＰＵ１１は、以下のように（Ａ＋Ｂ）枚のフレーム画像からＣ枚のフレーム画像を選ぶ。図３は、メインＣＰＵ１１が実行する画像評価処理の流れを説明するフローチャートである。メインＣＰＵ１１は、（Ａ＋Ｂ）枚のフレーム画像がバッファメモリ１５に入力されると、図３による処理を起動する。

図３のステップＳ１０において、メインＣＰＵ１１は、フレーム画像に人物の「顔」が含まれているか否かを判定する。メインＣＰＵ１１は、（Ａ＋Ｂ）＝Ｎ枚のフレーム画像について順番に「顔」検出処理を施す。「顔」検出処理は公知であるため説明を省略する。メインＣＰＵ１１は、フレーム画像に「顔」が含まれると判定した場合はステップＳ１０を肯定判定してステップＳ２０へ進む。メインＣＰＵ１１は、フレーム画像に「顔」が含まれていないと判定した場合は、ステップＳ１０を否定判定してステップＳ９０へ進む。

ステップＳ２０において、メインＣＰＵ１１は、人物が主要被写体か否かを判定する。たとえば、n（ただし、１≦n≦Ｎ）番目のフレーム画像において検出された「顔」を構成する画素数が所定数以上の場合にカウンターｈ（n）に１をセットし、n番目のフレーム画像において「顔」が検出されない場合や、検出された「顔」を構成する画素数が所定数に満たない場合にはカウンターｈ（n）に０をセットする。メインＣＰＵ１１は、Ｎ枚のフレーム画像についてＰＦ＝Σｈ（n）を計数した結果、ＰＦ＞th_pf（ただし、th_pfは所定の判定閾値）が成立する場合にステップＳ２０を肯定判定してステップＳ３０へ進む。この場合は人物が主要な被写体であると判断する。メインＣＰＵ１１は、ＰＦ＜th_pfが成立する場合にはステップＳ２０を否定判定し、ステップＳ９０へ進む。この場合は人物が主要な被写体でないと判断する。

ステップＳ３０において、メインＣＰＵ１１は、人物が主要被写体であると判断した場合を「Case_A」とする。この場合のメインＣＰＵ１１は、フラグCase_PFを１に、フラグCase_MVを１に、それぞれセットしてステップＳ４０へ進む。フラグCase_PFは、人物が主
要被写体である場合を１、人物が主要被写体でない場合を０、とするフラグである。フラグCase_MVは、フレーム画像間に差分が生じているか否かを示すフラグであるが、人物が主要被写体である場合は便宜上１とする。

ステップＳ９０において、メインＣＰＵ１１は、被写体に動きがあるか否かを判定する。一般に、被写体が動いている場合、ズーム操作されて画角変動が生じた場合、および電子カメラ１がパンニングされた場合には、それぞれフレーム画像間で差分が生じる。本実施形態では、１番目とＮ番目のフレーム間で対応する画像データの差分を画素順次に算出して総和を求める（次式（１））。
Del_FR＝Σｘｙ｜l(x,y,1)−l(x,y,N)｜ （１）
ただし、１フレーム目の画像データ(x,y)をl(x,y,1)とし、Ｎフレーム目の画像データ(x,y)をl(x,y,N)とする。

メインＣＰＵ１１は、上式（１）による演算の結果、Del_FR＞th_fr（ただし、th_frは所定の判定閾値）が成立する場合にステップＳ９０を肯定判定してステップＳ１００へ進む。この場合は、被写体の動き、画角変動、およびパンニングの少なくとも１つが生じることにより、フレーム間で動きがあると判断する。メインＣＰＵ１１は、Del_FR＜th_frが成立する場合にはステップＳ９０を否定判定し、ステップＳ１１０へ進む。この場合はフレーム間で動きがなく、略静止状態と判断する。

ステップＳ１００において、メインＣＰＵ１１は、人物が主要被写体でなく、かつフレーム画像間で動きがあると判断した場合を「Case_B」とする。この場合のメインＣＰＵ１１は、フラグCase_PFを０に、フラグCase_MVを１に、それぞれセットしてステップＳ４０へ進む。フラグCase_MVは、フレーム画像間に差分が生じているか否かを示すフラグであ
る。なお、「Case_B」の場合には、たとえば、最至近距離に存在する被写体や、あるいは合焦すべき領域としてユーザーまたはカメラに選択されているエリアに存在する被写体を「主要被写体」として判断して以降の処理を行う。

ステップＳ１１０において、メインＣＰＵ１１は、人物が主要被写体でなく、かつフレーム画像間で動きがないと判断する場合を「Case_C」とする。この場合のメインＣＰＵ１１は、フラグCase_PFを０に、フラグCase_MVを０に、それぞれセットしてステップＳ４０へ進む。

ステップＳ４０において、メインＣＰＵ１１は、フラグCase_PFおよびフラグCase_MVの値に応じて（すなわち、「Case_A」か「Case_B」か「Case_A」かに応じて）評価処理項目を決定し、ステップＳ５０へ進む。図４は、フラグCase_PFおよびフラグCase_MVと、対応する評価処理項目との関係を説明するテーブルである。本実施形態では、テーブル中「ON」と記載の評価処理項目についての評価値を算出し、「OFF」と記載の評価処理項目については評価値の算出を省略する。

本実施形態では、評価処理項目４１〜評価処理項目４６が、Ｎ枚のフレーム画像からＣ枚のフレーム画像を残すためにＸ枚を排除するための評価値算出に用いる評価因子であるため、不要因子と呼ぶ。Ｘは、Ｎ／２より大きくすると、後述の序列付与処理が軽くなって好適である。また、評価処理項目４５〜評価処理項目５０は、Ｃ枚のフレーム画像に優劣を示す序列を付与するための評価値算出に用いる評価因子であるため、必要因子（または最適評価因子）と呼ぶ。評価処理項目４５および４６は、不要因子および必要因子間で重複する。各評価因子については後述する。

ステップＳ５０において、メインＣＰＵ１１は、ステップＳ４０において決定した評価処理項目に対応する評価因子を用いて評価値算出を行ってステップＳ６０へ進む。ステップＳ６０において、メインＣＰＵ１１は、評価値の低い（不要度が高い）方から順番にＸ枚のフレーム画像（不要画像）を選出するとともに、Ｎ枚のフレーム画像から除外してＣ枚のフレーム画像を残してステップＳ７０へ進む。

ステップＳ７０において、メインＣＰＵ１１は、ステップＳ４０において決定した評価処理項目に対応する評価因子を用いて評価値算出を行ってステップＳ８０へ進む。ステップＳ８０において、メインＣＰＵ１１は、Ｃ枚のフレーム画像のフレーム画像について、評価値の高い方から順番に序列をつけて図３による処理を終了する。

上述した評価因子について、以下に詳細に説明する。
＜複数人物間接近度検出＞
評価処理項目４１では、評価対象画像における複数人物間の接近度を示す評価値H1(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦ｎ≦Ｎ）について検出された「顔」領域の面積Sが、あらかじめ設定されている所定面積を超える場合において、以下の値を取得する。面積は、たとえば「顔」領域を構成する画素数で表す。

メインＣＰＵ１１は、フレーム画像nにおいて検出した「顔」であって、該「顔」の面積Sが所定面積を超えるものを計数し、計数した「顔」の数（すなわち人数）をKS(n)とする。そして、フレーム画像nにおいて検出した「顔」領域の面積をSk(n)とする。また、フレーム画像nにおいて「顔」領域の中心に相当する座標を（x_k(n),y_k(n)）とする。さら
に、当該「顔」領域の水平方向の辺をLx_k(n)とし、当該「顔」領域の垂直方向の辺をLy_k(n）と表す。ここで、nはＮ枚の連写画像を構成するフレーム画像を示すフレーム番号であり、kはフレーム画像nにおいて上記所定面積を超えた「顔」領域を示す「顔」番号である。

メインＣＰＵ１１は、KS(n)≦１の場合は、人物間の接近について考慮しないので、複数人物間接近度を示す評価値H1(n)＝１とする。一方、KS(n)＞１の場合は、以下のループ処理をm回繰り返す。ただし、m＝Combination(KS(n),2)である。
たとえば、KS(n)＝２の場合を例に説明すると、
R1x＝|x_1(n)−x_2(n)|により、「顔」領域の中心間の水平方向の長さxを算出し、
R1y＝|y_1(n)＋y_2(n)|により、「顔」領域の中心間の垂直方向の長さyを算出し、
R2x＝(Lx_1(n)＋Lx_2(n))/2により、「顔」領域の水平方向の辺の1/2を加算し、
R2y＝(Ly_1(n)＋Ly_2(n))/2により、「顔」領域の垂直方向の辺の1/2を加算する。
そして、R1x＜R2xまたはR1y＜R2yが成立する場合にhm(n)＝１とし、上記以外の場合にはhm(n)＝０とする。さらに、「顔」の数（すなわち人数）分の全組み合わせをm回繰り返す。

以上により、上記hm(n)の総和についてΣhm(n)＞０が成立する場合にフレーム画像nでの接近評価値H1(n)＝０とする。一方、上記hm(n)の総和についてΣhm(n)＝０が成立する場合には接近評価値H1(n)＝１とする。

＜顔部不要物検出＞
評価処理項目４２では、評価対象画像における「顔」検出の信頼度を示す評価値H2(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域について、当該「顔」検出処理時に得られている信頼度情報（最小値０〜最大値を１とする）を取得する。信頼度情報は、「顔」らしさや「顔」曲率の指数を用いてもよい。ここで、「顔」らしさの場合は、顔検出されている「顔」領域の画像から種々の特徴量（色情報、顔の各パーツ（目、鼻、口など）の配置関係の情報など）を抽出し、それらを総合的に判断して「顔」検出の信頼度としての「顔らしさ」を測る。「顔」曲率の場合は、エッジ検出等の手法で抽出された顔の輪郭の曲率が不自然に変化しているか否かを調べることで、「顔」検出の信頼度を算出する。たとえば、抽出したエッジ（輪郭）に対して曲線（または楕円）を当てはめ、急激なエッジの変化（輪郭が滑らかにつながらない）があれば、髪の毛や手などが顔を覆っている等の事情が生じていると推定し、信頼度（評価値H2(n)）を
下げる処理をする。メインＣＰＵ１１は、フレーム画像nでの顔不要部評価値H2(n)＝信頼度情報とする。

＜目瞑り検出＞
評価処理項目４３では、評価対象画像における目瞑りの有無を示す評価値H3(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域について、目瞑り検出を行う。目瞑り検出処理は公知であるため説明を省略する。メインＣＰＵ１１は、目瞑り検出結果を用いて、目瞑りありの場合にフレーム画像nでの目瞑り評価値H3(n)＝０とする。一方、目瞑りなしの場合には、目瞑り評価値H3(n)＝１とする。

＜フレームアウト検出＞
評価処理項目４４では、「Case_A」の場合は、評価対象画像における「顔」領域が、「Case_B」の場合は、人物以外の主要被写体と推定される「主要被写体」の領域が、フレームから外れているか否かを示す評価値H4(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフ
レーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域（「主要被写体」領域）であって、該「顔」（「主要被写体」）の面積Sが所定面積を超えるもののうち、画面中心から最も遠い「顔」（「主要被写体」）領域についての中心座標(FO_x,FO_y)を取得する。そして、図５(a)および図５(b)に例示するフレームアウトエリアを設定し、取得した(FO_x,FO_y)がフレームアウトエリアに含まれるか否かに応じてフレームアウト評価値H4(n)を以下のように定める。

図５(a)は、フレーム画像nが横位置の場合のフレームアウトエリアを例示する図である。メインＣＰＵ１１は、上記中心座標(FO_x,FO_y)が斜線部５１に含まれる場合はフレームアウトに該当し、フレーム画像nでのフレームアウト評価値H4(n)＝０とする。一方、上記中心(FO_x,FO_y)が斜線部５１に含まれない場合はフレームアウトなしに該当し、フレームアウト評価値H4(n)＝１とする。図５(b)は、フレーム画像nが縦位置の場合のフレームアウトエリアを例示する図である。メインＣＰＵ１１は、横位置の場合と同様に、上記中心座標(FO_x,FO_y)が斜線部５２に含まれるか否かに応じてフレームアウト評価値H4(n)を定める。フレーム画像における斜線部５１および５２の範囲は、たとえば、水平辺の長さに対して左右１／８ずつ、垂直辺の長さに対して下から１／８とする。

なお、画面中心から最も遠い「顔」（「主要被写体」）領域についての中心座標(FO_x,FO_y)を用いてフレームアウトか否かを判定する代わりに、ピント合わせに用いられたフォーカスポイント（フォーカスエリア(AFエリア)の中心）のうち画面中心から最も遠いものに対応する座標(FP_x,FP_y)を用いて、当該座標(FP_x,FP_y)が図５(a),図５(b)の斜線部５１，５２に含まれるか否かに応じてフレームアウトか否かを判定するように構成してもよい。

＜AF・顔エリアブレ検出/鮮鋭度＞
評価処理項目４５では、評価対象画像におけるブレの程度を示す評価値H50(n)、および評価対象画像における鮮鋭度を示す評価値H51(n)をそれぞれ算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域（「Case_A」の場合）について、HPF（ハイパスフィルタ）の出力値の平均値HPF_av(n)を取得する。平均値HPF_av(n)は、「顔」領域に含まれる画素データから高周波数成分を抽出して平均した値であるので、コントラストが高いか低いかを判定するのに好適である。

メインＣＰＵ１１は、HPF_av(n)＜HPF_kが成立する場合にフレーム画像nでのブレ評価値H50(n)＝HPF_av(n)/ HPF_kとする。一方、HPF_av(n)≧HPF_kが成立する場合にはブレ評価値H50(n)＝１とする。ただし、HPF_kは所定値であり、たとえば、あらかじめ合焦した
際に算出したHPF出力値の平均値HPF_av(n)を用いる。

また、メインＣＰＵ１１は、フレーム画像nでの鮮鋭度評価値H51(n)＝HPF_av(n)/ HPF_kとする。ただし、HPF_kは上記所定値である。

なお、上述した説明では、面積Sが最大の「顔」領域に含まれる画素データついてのHPF（ハイパスフィルタ）の出力平均値HPF_av(n)を取得することにより、「顔」についてのブレ評価値H50(n)、および「顔」についての鮮鋭度評価値H51(n)を得るようにした。この代わりに、ピント合わせに用いられたフォーカスエリア(AFエリア)に含まれる画素データついてのHPF（ハイパスフィルタ）の出力値平均値HPF_av(n)を取得するように構成してもよい（「Case_B」,「Case_C」はこちらの手法を用いる）。AFエリアに含まれる画素データついてHPF（ハイパスフィルタ）の出力平均値を取得することにより、ピント合わせに用いた被写体についてのブレ評価値H50(n)、およびピント合わせに用いた被写体についての鮮鋭度評価値H51(n)が得られる。

＜全体輝度ヒストグラム＞
評価処理項目４６では、評価対象画像における白飛びや黒潰れの頻度を示す評価値H6(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について、画像全体（画像を構成する全画素データを用いて）の輝度ヒストグラムを算出する。最大階調値（８ビットデータの場合は255）の頻度をHLとし、最小階調値（0）の頻度をLLとする。メインＣＰＵ１１は、白飛び・潰れの規格化頻度割合である評価値H6(n)＝（HL+LL）/（全画素数）とする。

なお、最大階調値の頻度を所定の第１判定閾値以上となるデータの頻度とし、最小階調値の頻度を所定の第２判定閾値以下となるデータの頻度としてもよい。

＜顔面積検出＞
評価処理項目４７では、評価対象画像における「顔」の最大面積を示す評価値H7(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」領域の面積Sが最大となる「顔」領域についての面積S(n)を算出する。上述したように、面積は「顔」領域を構成する画素数で表す。メインＣＰＵ１１は、顔面積評価値H7(n)＝S(n)とする。

＜笑顔度検出＞
評価処理項目４８では、評価対象画像における「顔」の笑顔度合いを示す評価値H8(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について検出された「顔」についての笑顔レベルを取得する。笑顔レベルの判定は上記「顔」検出時に行われる。笑顔レベルは、たとえば、レベル３（大笑い）と、レベル２（中笑い）と、レベル１（微笑み）との３段階に分けられる。メインＣＰＵ１１は、笑顔度評価値H8(n)＝笑顔レベルとする。

＜被写体の大きさ検出＞
評価処理項目４９では、評価対象画像における被写体の大きさを示す評価値H9(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について、ピント合わせに用いられたフォーカスエリア(AFエリア)より、中心微小領域（例えば3×3画素）の平均輝度Y0、および平均色（Cr0,Cb0）を求める。図６は、AFエリア６１および中心微小領域６２を例示する図である。中心微小領域６２は、以下に説明する領域解析のための基準エリアである。

メインＣＰＵ１１は、各フレーム画像nにおける平均輝度Y0および平均色（Cr0,Cb0）を用いて、以下の手順で被写体の大きさ評価値H9(n)を算出する。

(i)中心微小領域に、１のフラグを立てる。
(ii)周囲の画素値が、所定の許容値rn(ただし、n=1:Y,2:Cr,3:Cb)以内であればFlagを立てる。具体的には、
(|Y(x,y)−Y0|＞r1)が成立する場合はFlag1＝0をセットし、成立しない場合はFlag1＝1をセットする。
(|Cr(x,y)−Cr0|＞r2)が成立する場合はFlag2＝0をセットし、成立しない場合はFlag2＝1をセットする。
(|Cb(x,y)−Cb0|＞r3)が成立する場合はFlag3＝0をセットし、成立しない場合はFlag3＝1をセットする。
上記Flag1〜Flag3について、(Flag1*Flag2*Flag3＝1)が成立する場合はFlag＝1をセットし、成立しない場合はFlag＝0をセットする。

(iii)評価対象エリアを基準エリアである微小領域６２を囲む辺からスタートし、その周囲辺を段階的に増加させ（第１評価エリア７１→第２評価エリア７２→第３評価エリア７３…）、Flagがすべて０となった時点で処理を終了する。図７は、増加させる評価対象エリア７１〜７３を例示する図である。
(iv)Flagが１となっている面積Dを算出する。メインＣＰＵ１１は、第n画像での被写体の大きさ評価値H9(n)=Dとする。

＜構図最適度検出＞
評価処理項目５０では、評価対象画像における構図の最適度を示す評価値H10(n)を算出する。メインＣＰＵ１１は、Ｎ枚のフレーム画像を構成する各フレーム画像n（ただし、１≦n≦Ｎ）について、ピント合わせに用いられたフォーカスエリア(AFエリア)、または、検出されている「顔」領域についての中心座標(Qx,Qy)を取得する。

メインＣＰＵ１１はさらに、図８に例示するように、画面内に５点の構図評価座標点P1〜P5をそれぞれ設け、その５点と上記中心座標(Qx,Qy)との距離KS(m)（ただし、m=1,2,…5）を次式（２）によりそれぞれ算出する。

メインＣＰＵ１１は、５つの距離KS(m)のうち、最小値Min(KS(m))を第n画像での構図評価値H10(n)とする。

ここで、上述したステップＳ６０におけるＸ枚の除外処理（すなわち、Ｃ枚の最適候補画像の選出処理）の詳細を説明する。メインＣＰＵ１１は、以下のように不用画像評価値RMVを算出し、最適候補画像を選出する。ただし、arn,brn,crnは、それぞれ所定係数である。
「Case_A」の場合は、
RMV(n)=ar1*H1(n)+ar2*H2(n)+ar3*H3(n)+ar4*H4(n)+ar5*H50(n)+ar6*H6(n)
とする。
「Case_B」の場合は、
RMV(n)= br4*H4(n)+br5*H50(n)+br6*H6(n)
とする。
「Case_C」の場合は、不要画像評価値RMVの算出は省略する。

不要に関する評価値RMVは、０に近づくにつれて不用度が高い。メインＣＰＵ１１は、入力された全画像（Ｎ枚）に対して、各ケース(Case)においてRMV(n)を求め、不要度の高い順にＸ枚をカウントし、Ｎ枚からＸ枚を除外した残りＣが所定画像数（たとえば、５〜１０枚のうちいずれかの値）となるようにＸを可変させる。上記Ｃは、最適候補画像数である。

上述したステップＳ８０における序列付与処理（すなわちランキング設定処理）の詳細を説明する。メインＣＰＵ１１は、Ｃ枚の最適候補画像について、以下のように最適画像評価値OPTを算出し、ランキング表示または代表（最適）画像を選出する。ただし、aon,bon,conは、それぞれ所定係数である。
「Case_A」の場合は、
OPT(n)=ao5*H51(n)+ao6*H6(n)+ao7*H7(n)+ao8*H8(n)+ao10*H10(n)
とする。
「Case_B」の場合は、
OPT(n)=bo5*H51(n)+bo6*H6(n)+bo9*H9(n)+bo10*H10(n)
とする。
「Case_C」の場合は、
OPT(n)=co5*H51(n)+co6*H6(n)

メインＣＰＵ１１は、選出されたＣ枚（本例では５〜１０枚のうちいずれかの値）の画像に対して、各ケース(Case)においてOPT(n)を求め、この値が高い順にランキングを付けるとともに、この値が最も高い画像を最適候補画像を代表する（最適）画像とする。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、入力された画像群に含まれる複数の画像各々に対し、不要因子に基づく評価値をそれぞれ演算するメインＣＰＵ１１と、該メインＣＰＵ１１の演算結果に基づいて、当該演算結果が所定条件を満たす画像を画像群から除外処理するメインＣＰＵ１１と、該除外処理後の画像群に含まれる各画像に対し、不要因子とは異なる因子を含む必要因子に基づく評価値をそれぞれ演算するメインＣＰＵ１１と、該メインＣＰＵ１１の演算結果に基づいて、上記除外処理後の画像群の中の各画像に対して序列をつけるメインＣＰＵ１１と、を含むようにしたので、画像群から迅速にベストショット候補画像を選ぶことができる。

（２）上記画像群は、連写撮影された複数の画像を含むようにしたので、連写された画像群から迅速にベストショット候補画像を選ぶことができる。

（３）メインＣＰＵ１１は、画像群を撮影する際の撮影シーンに応じて、不要因子の内容を異ならせるようにしたので、シーンに応じた評価値を算出することができるから、常に同じ不要因子に基づいて評価値を算出する場合に比べて、適切にベストショット候補画像を選ぶことができる。

（４）上記（３）のメインＣＰＵ１１は、画像群に含まれる被写体像の動きの有無、および該被写体像における人物の有無の少なくとも一方に応じて、不要因子の内容を異ならせるようにしたので、被写体の動きや人物の有無を考慮して、適切にベストショット候補画像を選ぶことができる。

（５）メインＣＰＵ１１は、不要因子に基づく演算結果に基づいて、画像群から半数以上の画像を除外するので、除外後の処理負担が軽くなり、除外しない場合に比べて、より迅速にベストショット候補画像を選ぶことができる。

（６）不要因子の一部と必要因子の一部とが共通するので、処理の一部を共用しない場合に比べて、全体の処理時間を短縮できる。

（７）必要因子は、画像群に含まれる被写体像における人物の表情に関する因子、当該人物の顔面積に関する因子、および当該被写体像のブレに関する因子の少なくとも１つを含むので、適切なベストショット候補画像を選ぶことができる。

（変形例１）
上述したステップＳ５０において実行する評価処理項目の数は、不要因子を用いるものであれば、上述した４１〜４６を全て行わなくても、これらの評価処理項目中から適宜選んで行う構成にしてもよい。また、ステップＳ７０において実行する評価処理項目の数は、必要因子を用いるものであれば、上述した４５〜５０を全て行わなくても、これらの評価処理項目中から適宜選んで行う構成にしてよい。

（変形例２）
上記第１記録方式によって記録媒体３０に記録されているＣ枚の画像を液晶モニタ１９に再生表示する場合、メインＣＰＵ１１は、Ｃ枚のうち代表（最適）画像のみを再生表示するように指示されている場合には、代表（最適）画像のみを再生表示させる。一方、Ｃ枚の画像を全てを再生表示するように指示されている場合は、ランキング順に１枚ずつ再生表示させたり、複数の画像をランキング情報とともにリスト表示させたりする。

また、上記第２記録方式によって記録媒体３０に記録されている（Ａ＋Ｂ）枚の画像を液晶モニタ１９に再生表示する場合、メインＣＰＵ１１は、（Ａ＋Ｂ）枚のうち代表（最適）画像のみを再生表示するように指示されている場合には、代表（最適）画像のみを再生表示させる。一方、（Ａ＋Ｂ）枚のうちＣ枚の画像を再生表示するように指示されている場合は、ランキング順に１枚ずつ再生表示させたり、複数の画像をランキング情報とともにリスト表示させたりする。

（変形例３）
図３による処理を行う画像評価処理プログラムを図９に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。画像評価処理プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。

パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像評価処理プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

（変形例４）
上述した図３に例示したフローチャートにおいて、ステップＳ８０の次に、評価値が低い（不要度が高い）Ｘ枚のフレーム画像（不要画像）を液晶モニタ１９に表示させるように構成してもよい。変形例４では、上記記録方式として（Ａ＋Ｂ）枚のフレーム画像のうちＣ枚のフレーム画像を記録媒体３０へ記録する第１記録方式が選択されているものとし、たとえば、Ｎ＝（Ａ＋Ｂ）＝２０枚であって、Ｃ＝５枚の場合を例に説明する。すなわち、２０枚のフレーム画像のうち５枚の画像を記録媒体３０へ記録する場合に、評価値が低い（不要度が高い）１５（＝２０−５）枚のフレーム画像（不要画像）をユーザーが確認できるように、液晶モニタ１９に表示させる。

変形例４のメインＣＰＵ１１は表示画像作成回路１４へ指示を送り、液晶モニタ１９に図１０に例示する表示を行わせる。図１０は、液晶モニタ１９の表示画面を例示する図である。図１０において、領域Ｐ１１には、除外候補として１５枚のフレーム画像（不要画像）がサムネイル表示されている。一方、領域Ｑ１１には、保存候補として５枚のフレーム画像がサムネイル表示されている。５枚のフレーム画像の上部に付されている１〜５の数値は、ステップＳ８０において付与された序列を表す。

変形例４のメインＣＰＵ１１は、領域Ｐ１１内に表示しているフレーム画像のうち、いずれか１つ（たとえば、領域Ｐ１１内で左上に表示しているもの）のフレーム画像上にカーソルＰ１２を表示させる。メインＣＰＵ１１は、たとえば、操作部材１８を構成する十字スイッチ（不図示）が押下操作された場合に、十字スイッチの操作方向に位置するフレーム画像上へカーソルＰ１２を移動させる。メインＣＰＵ１１は、操作部材１８の押下操作によって「保存候補として選択」を指示する操作がなされると、その時点でカーソルＰ１２によって特定されているフレーム画像を領域Ｑ１１内に移動させて保存候補に含める。メインＣＰＵ１１はさらに、領域Ｑ１１内に表示しているフレーム画像のうち序列が最下位のフレーム画像を領域Ｐ１１内に移動させて除外候補に含める。

なお、領域Ｑ１１内に表示しているフレーム画像（保存候補）のうち、領域Ｐ１１内に移動させる（すなわち除外候補に含める）フレーム画像を、操作部材１８の押下操作に応じて決定するように構成してもよい。また、「保存候補として選択」を指示する操作がなされると、既に領域Ｑ１１内に表示しているフレーム画像（保存候補）の数を減らすことなく、領域Ｑ１１内で保存候補にする画像数を増やしてもよい。

変形例４のメインＣＰＵ１１は、操作部材１８を構成するＯＫスイッチ（不図示）が押下操作された場合に、図３に例示したフローチャートによる処理を終了する。メインＣＰＵ１１は、終了時点において領域Ｑ１１内に表示しているフレーム画像を記録媒体３０へ記録する。変形例４によれば、一旦除外候補に含まれたフレーム画像でも、ユーザーが保存を希望する場合にはその保存が可能になる。また、除外候補画像と保存候補画像とを異なる領域に区別して表示したので、ユーザーにとってわかりやすく表示できる。

（変形例５）
上述した説明では、Ｎ枚の画像のうち記録媒体３０に保存する画像数Ｃの値をメニュー操作によって設定（たとえば、Ｃ＝５枚）しておく例を説明した。変形例５においては、Ｃの値だけでなくＮの値（ただし、Ｎ＞Ｃ）、または、Ｃの値だけでなくＡの値およびＢの値（ただし、(Ａ＋Ｂ)＞Ｃ）をメニュー操作によって設定可能にしてもよい。これにより、保存候補とする画像数を５枚でなく１０枚にしたり、時刻ｔ１（全押し操作信号（すなわち撮影指示）が入力されたタイミング）以前に撮像するフレーム画像の数と、時刻ｔ１以降に撮像されるフレーム画像の数とをユーザー好みの値にすることができる。

（変形例６）
変形例６では、不要因子を用いて算出した評価値RMVに差が生じておらず、優劣がつかない場合を説明する。上述したＮ＝２０枚のフレーム画像から除外候補として１５枚のフレーム画像を選ぶ場合において、たとえば、フレーム画像の評価値RMVを低い（不要度が高い）方から数えた場合に１４番目から１８番目までの評価値RMVが同じ値であったと仮定する。この場合は、不要因子による評価値RMVのみを比較していたのでは、除外候補の１５枚を選ぶことは困難である。しかしながら、何とかして１５枚を選ぶためには、不要因子による評価値RMVが低い方から数えて１４番目から１８番目までの５つのフレーム画像から２枚を選ぶ必要がある。

そこで、変形例６のメインＣＰＵ１１は、上記１４番目から１８番目のフレーム画像について、たとえば、不要因子のうち複数人物間の接近度を示す評価値H1(n)の値が小さい方から順に２つのフレーム画像を選び、これら２画像を１４番目と１５番目のフレーム画像とする。このように、不要因子による評価値RMVが同値であって１５枚のフレーム画像を選ぶのが困難な場合には、あらかじめ定めた不要因子による評価値（たとえば上記H1(n)）の値が小さい方から選ぶことで、確実に除外候補として１５枚のフレーム画像を選ぶことができる。なお、評価値H1(n)も同値で優劣がつかない場合は、さらに別の不要因子による評価値、たとえば「顔」検出の信頼度を示す評価値H2(n)の値が小さい方から順に選ぶようにすればよい。

（変形例７）
変形例７では、不要因子を用いて算出した評価値RMVに差が生じておらず、優劣がつかない場合の他の例を説明する。上述したＮ＝２０枚のフレーム画像から除外候補として１５枚のフレーム画像を選ぶ場合において、たとえば、フレーム画像の評価値RMVを低い（不要度が高い）方から数えた場合に１４番目から１８番目までの評価値RMVが同じ値であったと仮定する。変形例７のメインＣＰＵ１１は、１５番目付近で優劣がつかないフレーム画像を除外候補から外し、除外候補とするフレーム画像を１３枚とする。すなわち、不要因子による評価値RMVのみの比較で優劣がつかない１４番目から１８番目を保存候補へ含め、１４番目から２０番目までの７枚の画像を保存候補とする。

このように、不要因子による評価値RMVが同値であって１５枚のフレーム画像を選ぶのが困難な場合には、除外候補とする画像数を減らす（換言すれば、保存候補とする画像数を増やす）。ただし、メインＣＰＵ１１は、増やした保存候補画像のうち、ステップＳ８０で決めた序列にしたがって上位からＣ枚（本例では５枚）のフレーム画像を記録媒体３０へ記録する。

（変形例８）
変形例８では、不要因子を用いて算出した評価値RMVに差が生じておらず、優劣がつかない場合の他の例を説明する。上述したＮ＝２０枚のフレーム画像から除外候補として１５枚のフレーム画像を選ぶ場合において、たとえば、フレーム画像の評価値RMVを低い（不要度が高い）方から数えた場合に１４番目から１８番目までの評価値RMVが同じ値であったと仮定する。変形例８のメインＣＰＵ１１は、除外候補としてのフレーム画像を選ぶことを止めて、Ｎ＝２０枚のフレーム画像の全てを保存候補とする。なお、不要因子による評価値RMVのみの比較で優劣がつかない場合に限らず、Ｎ＝２０枚のフレーム画像の全ての評価値RMVがあらかじめ定めた基準値を下回ってしまう場合にも、除外候補を選ぶことなくＮ＝２０枚のフレーム画像を全て保存候補としてもよい。

変形例８のメインＣＰＵ１１は、２０枚の保存候補画像のうち、ステップＳ８０で決めた序列にしたがって上位からＣ枚（本例では５枚）のフレーム画像を記録媒体３０へ記録する。

（変形例９）
上述した変形例７または変形例８のように、記録媒体３０へ保存する画像数Ｃ（本例では５枚）より数多くのフレーム画像に序列を付与する場合がある。この場合のメインＣＰＵ１１は、ステップＳ８０で決めた序列にしたがって上位からＣ枚（本例では５枚）のフレーム画像を記録媒体３０へ記録する。しかしながら、必要因子を用いて算出した最適画像評価値OPTに差が生じておらず、優劣がつかない場合もありえる。

たとえば、フレーム画像の最適画像評価値OPTを高い方から数えた場合に３番目から７番目までの最適画像評価値OPTが同じ値であったと仮定する。この場合は、最適画像評価値OPTのみを比較していたのでは５枚を選ぶことは困難である。しかしながら、何とかして５枚を選ぶためには、必要因子による最適画像評価値OPTが高い方から数えて３番目から７番目までの５つのフレーム画像から３枚を選ぶ必要がある。

そこで、変形例９のメインＣＰＵ１１は、上記３番目から７番目までのフレーム画像について、たとえば、必要因子のうち「顔」の最大面積を示す評価値H7(n)の値が大きい方から順に２つのフレーム画像を選び、これら２画像を４番目と５番目のフレーム画像とする。このように、必要因子による最適画像評価値OPTが同値であって５枚のフレーム画像を選ぶのが困難な場合には、あらかじめ定めた必要因子による評価値（たとえば上記H7(n)）の値が大きな方から選ぶことで、確実に記録候補として５枚のフレーム画像を選ぶことができる。なお、評価値H7(n)も同値で優劣がつかない場合は、さらに別の必要因子による評価値、たとえば「顔」の笑顔度合いを示す評価値H8(n)の値が大きい方から順に選ぶようにすればよい。それでも優劣がつかない場合は、さらに別の必要因子による評価値であって、被写体の大きさを示す評価値H9(n)の値が大きい方から順に選ぶ。同様に、それでも優劣がつかない場合は、さらに別の必要因子による評価値であって、構図の最適度を示す評価値H10(n)の値が大きい方から順に選ぶ。変形例９によれば、記録媒体３０へ保存する５枚のフレーム画像を適切に選ぶことができる。

（変形例１０）
変形例１０では、必要因子を用いて算出した最適画像評価値OPTに差が生じておらず、優劣がつかない場合の他の例を説明する。上述した個々の評価値H7(n)〜H10(n)をそれぞれ用いても優劣がつかない場合のメインＣＰＵ１１は、以下のように記録候補として５枚のフレーム画像を選ぶ。すなわち、メインＣＰＵ１１は、記録候補とする複数のフレーム画像のうち、必要因子による評価値H7(n)〜H10(n)のそれぞれで各評価値の序列が１位となるフレーム画像を４つ選ぶ。メインＣＰＵ１１はさらに、全押し操作信号（すなわち撮影指示）が入力されたタイミング（時刻ｔ１）から最も近いタイミングで取得（撮像）されたフレーム画像を加えた計５画像を記録候補とする。変形例１０によれば、記録媒体３０へ保存する５枚のフレーム画像を適切に選ぶことができる。

（変形例１１）
以上説明した不要因子、必要因子を後から追加可能に構成してもよい。たとえば、当初フラッシュメモリ１６に格納されていたプログラムに代えて、不要因子および必要因子の少なくとも一方について、新しく追加したり、算出式を変更したりしたバージョンアッププログラムをフラッシュメモリ１６に更新記録させる。

具体的には、図９に例示したパーソナルコンピュータ１００のデータストレージ装置にバージョンアッププログラムを取込んだ上で、該パーソナルコンピュータと電子カメラ１とを不図示の通信ケーブル（たとえばＵＳＢケーブル）を介して接続する。パーソナルコンピュータ１００に対するバージョンアッププログラムのローディングは、バージョンアッププログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。

パーソナルコンピュータ１００から電子カメラ１へのバージョンアッププログラムの転送は、上記通信ケーブルを介して供給することができる。メインＣＰＵ１１は、供給されたバージョンアッププログラムをフラッシュメモリ１６に更新記録する。あるいは、パーソナルコンピュータ１００によってバージョンアッププログラムを記録媒体３０に記録した上で、該記録媒体３０を電子カメラ１のカードインターフェース(I/F)１７に装着し、メインＣＰＵ１１が記録媒体３０に記録されているバージョンアッププログラムを読み出してフラッシュメモリ１６に更新記録するように構成してもよい。変形例１１によれば、バージョンアッププログラムに含まれる最新の評価手法に基づく不要因子、必要因子を用いた評価処理を行うことができる。また、ユーザーの好みに合った不要因子、必要因子をバージョンアッププログラムに含めておけば、ユーザー好みの評価処理を行わせることができる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１…電子カメラ
１１…メインＣＰＵ
１４…表示画像作成回路
１５…バッファメモリ
１８…操作部材
１９…液晶モニタ
２２…撮像素子

Claims (31)

1. 入力された画像群に含まれる複数の画像各々に対し、複数の第１の因子に基づく評価値をそれぞれ演算する第１演算部と、
   前記第１演算部の演算結果に基づいて、当該演算結果が所定条件を満たす画像を前記画像群から除外処理する除外部と、
   前記除外処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む複数の第２の因子に基づく評価値をそれぞれ演算する第２演算部と、
   前記第２演算部の演算結果に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理部と、を備え、
   前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、
   前記第１演算部は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第１の因子において前記評価値を演算すべき複数の因子を異ならせ、
   前記第２演算部は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第２の因子において前記評価値を演算すべき複数の因子を異ならせることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像群は、連写撮影された複数の画像を含むことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記第１演算部は、前記画像群に含まれる被写体像の動きの有無、および該被写体像における人物の有無の少なくとも一方に応じて、前記複数の第１の因子において前記評価値を演算すべき複数の因子を異ならせることを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記除外部は、前記第１演算部の演算結果に基づいて、前記画像群から半数以上の画像を除外することを特徴とすることを特徴とする画像処理装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記第１の因子は、前記画像群に含まれる被写体像における複数人物間の接近度に関する因子、前記被写体像における顔の信頼度が低いことを示す顔部不要物に関する因子、前記被写体像における顔の目瞑り検出に関する因子、および前記被写体像の領域がフレームから外れているフレームアウトに関する因子の少なくとも１つを含むことを特徴とする画像処理装置。
6. 請求項１〜５のいずれか一項に記載の画像処理装置において、
   前記第２の因子は、前記画像群に含まれる被写体像における人物の表情に関する因子、当該人物の顔面積に関する因子、および当該被写体像のブレに関する因子、構図の最適度に関する因子の少なくとも１つを含むことを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置において、
   前記第１の因子の一部と前記第２の因子の一部は共通する因子を有し、前記共通する因子は、前記画像群を構成する各画像の所定エリアにおける鮮鋭度情報、および前記各画像の全域に亘る輝度分布情報の少なくとも一方を含むことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記除外部によって除外される画像を表示装置に表示させる表示制御部をさらに備えることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記表示制御部によって前記表示装置に表示された画像のうち所定画像を除外しないように前記除外部を制御する制御部をさらに備えることを特徴とする画像処理装置。
10. 請求項１に記載の画像処理装置において、
    前記第１の因子および前記第２の因子の少なくとも一方の因子を追加するための因子追加部をさらに備えることを特徴とする画像処理装置。
11. 請求項４に記載の画像処理装置において、
    前記除外部は、前記画像群から所定数の画像を除外し、
    前記所定数は変更可能に構成されることを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置において、
    前記除外部は、前記第１演算部の演算結果に基づいて前記所定数の画像を除外できない場合は前記除外を行わず、
    前記第２演算部は、前記除外部が前記除外を行わないとき、前記入力された全ての画像群に対して前記第２の因子に基づく評価値をそれぞれ演算し、
    前記評価処理部は、前記第２演算部の演算結果に基づいて、前記入力された全ての画像群の中の各画像に対して序列をつけることを特徴とする画像処理装置。
13. 請求項１１に記載の画像処理装置において、
    前記除外部は、前記第１演算部の演算結果に基づいて前記所定数の画像を除外できない場合に前記画像群から前記所定数より少ない第２所定数の画像を除外し、
    前記第２演算部は、前記除外部が前記２所定数の画像を除外したとき、前記除外処理後の画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む第２の因子に基づく評価値をそれぞれ演算し、
    前記評価処理部は、前記第２演算部の演算結果に基づいて、前記除外処理後の画像群の中の各画像に対して序列をつけることを特徴とする画像処理装置。
14. 請求項１２または１３に記載の画像処理装置において、
    前記評価処理部で付与された前記序列に基づいて、保存対象の画像を選ぶ選択部をさらに備えることを特徴とする画像処理装置。
15. 請求項１４に記載の画像処理装置において、
    前記選択部は、前記序列に差がない場合は、撮影指示タイミングから最も近くで取得された画像と前記第２の因子に基づく評価値が最も高い画像とを選ぶことを特徴とする画像処理装置。
16. 複数の画像を含む画像群を入力する第１処理と、
    前記画像群に含まれる各画像に対し、複数の第１の因子に基づく評価値をそれぞれ演算する第２処理と、
    前記第２処理の演算結果に基づいて、当該演算結果が所定条件を満たす画像を前記画像群から除外する第３処理と、
    前記第３処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む複数の第２の因子に基づく評価値をそれぞれ演算する第４処理と、
    前記第４処理の演算結果に基づいて、前記第３処理後の前記画像群の中の各画像に対して序列をつける第５処理と、
    をコンピュータに実行させ、前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、
    前記第２処理は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第１の因子において前記評価値を演算すべき複数の因子を異ならせ、
    前記第４処理は、前記画像群を撮影する際の撮影シーンに応じて、前記複数の第２の因子において前記評価値を演算すべき複数の因子を異ならせることを特徴とする画像評価プログラム。
17. 請求項１６に記載の画像評価プログラムにおいて、
    前記画像群は、連写撮影された複数の画像を含むことを特徴とすることを特徴とする画像評価プログラム。
18. 請求項１７に記載の画像評価プログラムにおいて、
    前記第２処理は、前記画像群に含まれる被写体像の動きの有無、および該被写体像における人物の有無の少なくとも一方に応じて、前記複数の第１の因子において前記評価値を演算すべき複数の因子を異ならせることを特徴とする画像評価プログラム。
19. 請求項１６〜１８のいずれか一項に記載の画像評価プログラムにおいて、
    前記第１の因子は、前記画像群に含まれる被写体像における複数人物間の接近度に関する因子、前記被写体像における顔の信頼度が低いことを示す顔部不要物に関する因子、前記被写体像における顔の目瞑り検出に関する因子、および前記被写体像の領域がフレームから外れているフレームアウトに関する因子の少なくとも１つを含むことを特徴とする画像評価プログラム。
20. 請求項１６〜１９のいずれか一項に記載の画像評価プログラムにおいて、
    前記第２の因子は、前記画像群に含まれる被写体像における人物の表情に関する因子、当該人物の顔面積に関する因子、および当該被写体像のブレに関する因子、構図の最適度に関する因子の少なくとも１つを含むことを特徴とする画像評価プログラム。
21. 請求項１６〜２０のいずれか一項に記載の画像評価プログラムにおいて、
    前記第１の因子の一部と前記第２の因子の一部は共通する因子を有し、前記共通する因子は、前記画像群を構成する各画像の所定エリアにおける鮮鋭度情報、および前記各画像の全域に亘る輝度分布情報の少なくとも一方を含むことを特徴とする画像評価プログラム。
22. 請求項１６に記載の画像評価プログラムにおいて、
    前記第３処理によって除外される画像を表示装置に表示させる第６処理をさらに実行させることを特徴とする画像評価プログラム。
23. 請求項２２に記載の画像評価プログラムにおいて、
    前記第３処理は、前記第６処理によって前記表示装置に表示された画像のうち所定画像を除外しないことを特徴とする画像評価プログラム。
24. 請求項１６に記載の画像評価プログラムにおいて、
    前記第３処理は、前記第２処理の演算結果に基づいて、前記画像群から所定数の画像を除外し、
    前記所定数は変更可能に構成されることを特徴とする画像評価プログラム。
25. 請求項２４に記載の画像評価プログラムにおいて、
    前記第３処理は、前記第２処理の演算結果に基づいて前記所定数の画像を除外できない場合は前記除外を行わず、
    前記第４処理は、前記第３処理が前記除外を行わないとき、前記第１処理で入力された全ての画像群に対して前記第２の因子に基づく評価値をそれぞれ演算し、
    前記第５処理は、前記第４処理の演算結果に基づいて、前記入力された全ての画像群の中の各画像に対して序列をつけることを特徴とする画像評価プログラム。
26. 請求項２４に記載の画像評価プログラムにおいて、
    前記第３処理は、前記第２処理の演算結果に基づいて前記所定数の画像を除外できない場合に前記画像群から前記所定数より少ない第２所定数の画像を除外し、
    前記第４処理は、前記第３処理が前記２所定数の画像を除外したとき、前記除外処理後の画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む第２の因子に基づく評価値をそれぞれ演算し、
    前記第５処理は、前記第４処理の演算結果に基づいて、前記第３処理後の画像群の中の各画像に対して序列をつけることを特徴とする画像評価プログラム。
27. 請求項２５または２６に記載の画像評価プログラムにおいて、
    前記第５処理で付与された前記序列に基づいて、保存対象の画像を選ぶ第７処理をさらに実行させることを特徴とする画像評価プログラム。
28. 請求項２７に記載の画像評価プログラムにおいて、
    前記第７処理は、前記序列に差がない場合は、撮影指示タイミングから最も近くで取得された画像と前記第２の因子に基づく評価値が最も高い画像とを選ぶことを特徴とする画像評価プログラム。
29. 請求項１６〜２８のいずれか一項に記載の前記画像評価プログラムを実行可能なコンピュータを備え、
    複数の画像が記録された記録媒体から前記画像群を入力して、前記処理を行うことを特徴とする画像処理装置。
30. 第１の因子と第２の因子を記憶する記憶部と、
    画像群に含まれる各画像に対して、主要被写体を判別する判別部と、
    前記判別部で主要被写体が検出された各画像に対して、前記第１の因子に基づく評価値をそれぞれ演算する第１演算部と、
    前記第１演算部で演算した前記評価値に基づいて、前記画像群から不要画像を除外処理する除外部と、
    前記除外処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む第２の因子に基づく評価値をそれぞれ演算する第２演算部と、
    前記第２演算部で演算した前記評価値に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理部とを備え、
    前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、
    前記第１の因子は、前記判別部により判別された主要被写体の領域がフレームから外れていることを示すフレームアウト因子を含み、
    前記第２の因子は、前記判別部により判別された主要被写体の画像内における位置に基づく構図の最適度を示す構図因子を含むことを特徴とする画像処理装置。
31. 第１の因子と第２の因子を記憶する記憶処理と、
    画像群に含まれる各画像に対して、主要被写体を判別する判別処理と、
    前記判別処理で主要被写体が検出された各画像に対して、前記第１の因子に基づく評価値をそれぞれ演算する第１演算処理と、
    前記第１演算処理で演算した前記評価値に基づいて、前記画像群から不要画像を除外処理する除外処理と、
    前記除外処理後の前記画像群に含まれる各画像に対し、前記第１の因子とは異なる因子を含む第２の因子に基づく評価値をそれぞれ演算する第２演算処理と、
    前記第２演算処理で演算した前記評価値に基づいて、前記除外処理後の前記画像群の中の各画像に対して序列をつける評価処理とをコンピュータに実行させる画像評価プログラムであって、
    前記第１の因子は前記第２の因子にはない因子、前記第２の因子は前記第１の因子にはない因子をそれぞれ含み、
    前記第１の因子は、前記判別処理により判別された主要被写体の領域がフレームから外れていることを示すフレームアウト因子を含み、
    前記第２の因子は、前記判別処理により判別された主要被写体の画像内における位置に基づく構図の最適度を示す構図因子を含むことを特徴とする画像評価プログラム。