以下、図面を参照して、第1の実施の形態に係る画像評価装置としての電子カメラについて説明する。図1は第1の実施の形態に係る電子カメラ2のシステム構成を示すブロック図である。図1に示すように、電子カメラ2は、マイクロプロセッサ等により構成され電子カメラ2の各部を統括的に制御する制御部10を備えている。制御部10には、撮像素子12、LCD表示部14、バッファメモリ16、情報記憶部18、データ記憶部20、プログラムメモリ22、メモリカード24、及び操作部30が接続されている。
撮像素子12は、CMOSイメージセンサ等により構成され、撮影レンズ(図示せず)を介した被写体からの光を撮像し、制御部10に対して撮像信号を出力する。LCD表示部14は、電子カメラ2の背面部に配置され、撮像素子12からの撮像信号に基づくスルー画像等を表示する。バッファメモリ16は、撮像素子12から出力された撮像信号に基づく複数フレームの画像データを一時的に記録する。情報記憶部18は、画像データにおいて主要被写体がフレームアウトしているか否かの判定(以下、フレームアウト判定という。)を行うために必要な情報を記憶する。データ記憶部20は、画像データのファイル名ごとに評価値を記憶する所定のファイル(以下、評価ファイルという。)を記憶する。プログラムメモリ22は、制御部10が電子カメラ2の各部を統括的に制御し、撮像処理、再生処理、画像選択処理などの各処理を実施するためのプログラムを記憶する。メモリカード24は、電子カメラ2に設けられたカードスロット(図示せず)に着脱可能に装着される可搬性を有する記憶媒体であり、例えば、CFカード、SDカード、スマートメディア等である。
操作部30は、電子カメラ2の電源をオン/オフする電源スイッチ(図示せず)、シャッタボタンを半押し位置まで押下することによりオンする半押しスイッチSW1、シャッタボタンの全押しによりオンする全押しスイッチSW2を備えている。
次に、図2を参照して、第1の実施の形態に係る電子カメラ2における処理について説明する。まず、操作者は、電子カメラ2の図示しないボタンを操作することにより、電子カメラ2の操作モードとして時系列で連続取得した複数の画像データの中から、最適な画像データの選択を行う最適画像選択モードを設定する(ステップS1)。次に、制御部10は、撮像素子12による撮像を開始し、撮像素子12から所定のフレームレート(例えば30fps)で読み出した撮像信号に基づきLCD表示部14にスルー画像の表示を行う。
次に、シャッタボタンが半押し位置まで押下され、半押しスイッチSW1がオン(S1)されると(ステップS2)、制御部10は、露出制御動作(AE)及び焦点調整動作(AF)を開始する(ステップS3)。即ち、撮像素子12から出力される撮像信号に基づいて露出制御動作(AE)を行い、適正露出が得られるようにシャッター速度および絞り値を確定する。例えば、平均測光方式によって被写体の明るさ(輝度)情報を検出する場合には、スルー画像を構成する信号値を平均して得た値を被写体の輝度情報とし、この被写体の輝度情報に基づいて最適露出値を確定してシャッター速度および絞り値を確定する。また、制御部10は、撮像素子12から読出された焦点検出信号を用いて瞳分割による焦点検出処理によりデフォーカス量を求め、図示しない撮影レンズの合焦を行なう。ここで、撮像素子12を構成するCMOSイメージセンサには、瞳分割位相差方式による焦点検出画素が組み込まれているものとする。
露出制御動作(AE)及び焦点調整動作(AF)が完了すると、制御部10は、画像データのプリキャプチャーを開始する(ステップS4)。即ち、制御部10は、撮像素子12から出力される撮像信号に基づいて複数フレームの画像データをプリキャプチャーの画像データとして連続取得し、取得した複数フレームの画像データをバファメモリ16に記録する。ここで、バファメモリ16に記録する複数フレームの画像データの数は、図3に示すように、プリキャプチャー設定数として、例えば10フレームと定められている。従って、制御部10は、バファメモリ16に記録された画像データの数が10フレームに達した場合には、古い画像データから順に消去する。これにより、プリキャプチャーのために使用するバファメモリ16の容量を節約することができる。
次に、制御部10は、レリーズボタンが全押し位置まで押下されて全押しスイッチSW2がオン(S2)されたか否かの判定を行う(ステップS5)。全押しスイッチSW2がオンされなかった場合(ステップS5:No)、画像データのプリキャプチャーを継続する(ステップS4)。
全押しスイッチSW2がオン(S2)された場合(ステップS5:Yes)、制御部10は、画像データのポストキャプチャーを開始する(ステップS6)。即ち、制御部10は、撮像素子12から出力される撮像信号に基づいて全押しスイッチSW2がオンされた時点に撮像された画像データ(以下、基準画像データという。)を含む複数フレームの画像データをポストキャプチャーの画像データとして連続取得し、取得した複数フレームの画像データをバファメモリ16に記録する。ここで、バファメモリ16に記録する複数フレームの画像データの数は、ポストキャプチャー設定数として、例えば、スイッチSW2がオン(S2)された時点に撮像された画像データを含めて10フレームと定められている(図3参照)。
ポストキャプチャーが完了すると、制御部10は、バファメモリ16に記録された画像データ(即ち、プリキャプチャーにより取得した10フレームの画像データ及びポストキャプチャーにより取得した基準画像データを含む10フレームの画像データから成る20フレームの画像データ)について評価を行う(ステップS7)。
以下、図4を参照して、第1の実施の形態の電子カメラ2における画像データの評価処理(ステップS7)について説明する。まず、制御部10は、バファメモリ16から基準画像データ51(図3参照)を読み出し(ステップS11)、基準画像データ51に基づく画像に含まれる主要被写体(例えば、自動車)を検出する(ステップS12)。ここで、主要被写体の検出は、一般的に知られている被写体認識技術により行われる。
次に、制御部10は、基準画像データ51に基づく画像から主要被写体の特徴に関する情報(以下、主要被写体情報という。)を抽出する(ステップS13)。例えば、自動車が主要被写体として検出された場合、自動車の大きさや形状などを主要被写体情報として抽出する。次に、制御部10は、主要被写体情報を情報記憶部18に記憶する。なお、情報記憶部18に記憶された主要被写体情報は、他の画像データに基づく画像において主要被写体を検出する場合に用いられる。
次に、制御部10は、基準画像データ51に基づく画像において主要被写体を含む領域(以下、主要被写体領域という。)を決定する(ステップS14)。例えば、図5に示すように、主要被写体である自動車を含む矩形の領域を主要被写体領域70として決定する。次に、制御部10は、主要被写体領域70の位置や大きさ等の主要被写体領域に関する情報を情報記憶部18に記憶する。なお、主要被写体領域70は、主要被写体の移動方向を判定するために用いられる。
次に、制御部10は、基準画像データ51の評価値として主要被写体がフレームアウトしていない場合の評価値(以下、基準評価値という。)をデータ記憶部20の評価ファイルに記憶する(ステップS15)。ここで、基準評価値は、基準画像データ51のファイル名に対応させて評価ファイルに記憶される。なお、図5に示すように、基準画像データ51に基づく画像においては、主要被写体領域70が画像の縁部と接しておらず、主要被写体はフレームアウトしていない。
次に、制御部10は、バファメモリ16から基準画像データ51の次に取得された画像データ52(図3参照)を読み出し(ステップS16)、また、情報記憶部18から主要被写体情報を読み出す。そして、主要被写体情報を用いて、画像データ52に基づく画像からステップS12において検出した主要被写体に対応する主要被写体を検出する(ステップS17)。次に、制御部10は、画像データ52に基づく画像において主要被写体領域を決定する(ステップS18)。
次に、制御部10は、ステップS16において読み出した画像データが基準画像データ51の次に取得された画像データであるか否かの判定を行う(ステップS19)。ここで、画像データ52は基準画像データ51の次に取得された画像データであるため(ステップS19:Yes)、制御部10は、主要被写体の移動方向の判定を行う(ステップS20)。即ち、制御部10は、情報記憶部18から基準画像データ51の主要被写体領域に関する情報を読み出し、ステップS18において決定した主要被写体領域が基準画像データ51に基づく画像の主要被写体領域のいずれの側に位置するかを判定することにより主要被写体の移動方向を判定する。例えば、図6に示すように、画像データ52の主要被写体領域72が基準画像データ51の主要被写体領域70の左下側に位置する場合、左下側の方向を主要被写体の移動方向であると判定する。次に、制御部10は、主要被写体の移動方向に関する情報を情報記憶部18に記憶する。
一方、ステップS16において読み出した画像データが基準画像データ51の次に取得された画像データでない場合(ステップS19:No)、主要被写体の移動方向は既に判定されているため、制御部10は新たに移動方向の判定を行わない。
次に、制御部10は、画像データ52においてフレームアウト判定を行う(ステップS21)。ここで、フレームアウト判定は、主要被写体領域72の移動方向側の縁部の少なくとも一部が画像の縁部と接しているか否かを判定することにより行う。例えば、主要被写体の移動方向が左下側の方向である場合、図7に示すように、主要被写体領域72の左側の縁部及び下側の縁部が画像の縁部と接している場合、主要被写体がフレームアウトしていると判定する。また、図8に示すように、主要被写体領域72の左側の縁部のみが画像の縁部と接している場合や、主要被写体領域72の下側の縁部のみが画像の縁部と接している場合(図示せず)においても、主要被写体がフレームアウトしていると判定する。一方、主要被写体領域72の左側の縁部及び下側の縁部が共に画像の縁部と接していない場合、主要被写体がフレームアウトしていないと判定する。
主要被写体がフレームアウトしていない場合(ステップS21:No)、制御部10は、評価値の変更を行わず、基準評価値を画像データ52のファイル名に対応させて評価ファイルに記憶した後(ステップS22)、バファメモリ16に記録されている画像データの全てについて評価を行ったか否かを判定する(ステップS24)。なお、ポストキャプチャーにより取得した画像データ52について評価を行った場合、プリキャプチャーにより取得した画像データについては評価を行っていないため(ステップS24:No)、ステップS16の処理に戻る。そして、画像データ52の次に取得された画像データ53(図3参照)についてステップS16以降の処理を行う。画像データ53の主要被写体がフレームアウトしていない場合(ステップS21:No)、制御部10は、評価値の変更を行わず、基準評価値を画像データ53のファイル名に対応させて評価ファイルに記憶した後(ステップS22)再びステップS16の処理に戻り(ステップS24:No)、ポストキャプチャーにより取得した画像データについて同様の処理を繰り返す。
一方、主要被写体がフレームアウトしている場合(ステップS21:Yes)、制御部10は、基準評価値よりも低い評価値を画像データ52のファイル名に対応させて評価ファイルに記憶する(ステップS23)。
本実施の形態のフレームアウト判定において、制御部10は、主要被写体の移動方向を判定し、主要被写体領域の移動方向側の縁部が画像の縁部と接している画像データよりも後に取得された画像データについては、フレームアウト判定を行わず、基準評価値よりも低い評価値を評価ファイルに記憶する。
また、制御部10は、主要被写体の移動方向を判定し、主要被写体領域の移動方向と反対側の縁部が画像の縁部と接している画像データよりも前に取得された画像データについては、フレームアウト判定を行わず、基準評価値よりも低い評価値を評価ファイルに記憶する。
次に、制御部10は、バファメモリ16に記録されている画像データの全てについて評価を行ったか否かを判定する(ステップS24)。プリキャプチャーにより取得した画像データ等について評価を行っていない場合(ステップS24:No)、ステップS16の処理に戻り、プリキャプチャーにより取得した、例えば、画像データ50(図3参照)についてについてステップS16以降の処理を行う。なお、プリキャプチャーにより取得した画像データについてのフレームアウト判定は、ステップS20により判定した主要被写体領域の移動方向側と反対側の縁部の少なくとも一部(例えば、主要被写体の移動方向が左下側である場合、主要被写体領域の右側及び上側の少なくとも一つ)が画像の縁部と接しているか否かを判定することにより行う。そして、画像データ50の主要被写体がフレームアウトしていない場合(ステップS21:No)、制御部10は、評価値の変更を行わず、基準評価値を画像データ50のファイル名に対応させて評価ファイルに記憶した後(ステップS22)、再びステップS16の処理に戻り(ステップS24:No)、画像データ50以前に取得されたプリキャプチャーの画像データについて同様の処理を繰り返す。
バファメモリ16に記録された画像データの全てについて評価を行った場合(ステップS24:Yes)、制御部10は、データ記憶部20から評価ファイルを読み出し、画像データの評価処理(図2、ステップS7)を完了する。そして、評価ファイルに基準評価値が記憶されている画像データ(以下、基準評価値の画像データという。)を記録画像として選択してメモリカード24に記録する(図2、ステップS8)。
なお、上述の実施形態では、SW2がオンされた時点に撮像された画像データを基準画像データとしているが、プリキャプチャーの先頭画像を基準画像データとしてもよい。また、記録された画像から主要被写体の画面内の位置を検出し、その位置が画面の中央部に位置する画像を基準画像データとし、この基準画像データにより主要被写体を検出するようにしてもよい。このように構成すれば、確実にフレームアウトしていない主要被写体を基準画像データに設定することができ、フレームアウトの判定制度が向上する。
この第1の実施の形態に係る電子カメラ2によれば、時系列で取得された複数の画像データについて、主要被写体がフレームアウトしているか否かを画像評価の対象とすることができる。また、主要被写体の移動方向を判定し、主要被写体領域の移動方向側の縁部が画像の縁部と接している画像データよりも後(前)に取得された画像データについては、フレームアウト判定を行わず、基準評価値よりも低い評価値を評価ファイルに記憶する。このため、例えば、電子カメラ2を三脚等に固定した状態で移動方向が明確な主要被写体を撮像した場合等において、主要被写体がフレームアウトしていない画像データを効率よく選択することができる。
また、上述の実施形態において、主要被写体がフレームアウトしていない状態からフレームアウトしている状態、または主要被写体がフレームアウトしている状態からフレームアウトしていない状態に切り替わる時点の前後でのフレーム画像について、検出された主要被写体の移動方向と主要被写体のフレームアウト位置とに基づいて、画像の後(前)に取得された画像データの判定を行うようにすれば、主要被写体のフレームアウト判定をさらに効率よく行うことができる。
次に、第2の実施の形態に係る電子カメラの処理について説明する。この第2の実施の形態に係る電子カメラは、第1の実施の形態において、主要被写体の移動方向の判定を行わず、バファメモリ16に記録された全ての画像データについてフレームアウト判定を行うようにしたものである。従って、第2の実施の形態では、第1の実施の形態と異なる部分である画像データの評価処理に関する部分について詳細に説明し、重複する部分については適宜説明を省略する。
図9は、第2の実施の形態に係る電子カメラにおける画像データの評価処理を示すフローチャートである。まず、制御部10は、バファメモリ16から基準画像データ51(図3参照)を読み出し(ステップS31)、基準画像データ51に基づく画像に含まれる主要被写体を検出する(ステップS32)。
次に、制御部10は、基準画像データ51に基づく画像から主要被写体情報を抽出し(ステップS33)、情報記憶部18に記憶する。次に、制御部10は、基準画像データ51に基づく画像において主要被写体領域を決定し(ステップS34)、画像の縁部と接する主要被写体領域の接辺の数を判定し(ステップS35)、接辺の数に関する情報を情報記憶部18に記憶する。例えば、図10に示すように、基準画像データ51に基づく画像における主要被写体領域80が画像の縁部と接している場合、接辺の数を「1」と判定する。また、図11に示すように、主要被写体領域80が画像の縁部と接していない場合、接辺の数を「0」と判定する。次に、制御部10は、基準評価値を基準画像データ51のファイル名に対応させてデータ記憶部20の評価ファイルに記憶する(ステップS36)。
次に、制御部10は、バファメモリ16から基準画像データ51の次に取得された画像データ52(図3参照)を読み出し(ステップS37)、また、情報記憶部18から主要被写体情報を読み出す。次に、制御部10は、主要被写体情報を用いて、画像データ52に基づく画像からステップS32において検出した主要被写体に対応する主要被写体を検出する(ステップS38)。次に、制御部10は、画像データ52に基づく画像において主要被写体領域を決定し(ステップS39)、画像の縁部と接する主要被写体領域の接辺の数を判定する(ステップS40)。
次に、制御部10は、情報記憶部18から基準画像データ51の接辺の数に関する情報を読み出し、基準画像データ51における接辺の数と画像データ52における接辺の数とを比較することにより、画像データ52においてフレームアウト判定を行う(ステップS41)。例えば、図12に示すように、画像データ52における接辺の数が基準画像データ51における接辺の数よりも多い場合、画像データ52において主要被写体がフレームアウトしていると判定する。また、図13(a)に示すように、画像データ52における接辺の数が基準画像データ51における接辺の数よりも少ない場合や、図13(b)に示すように、画像データ52における接辺の数と基準画像データ51における接辺の数とが同一である場合、画像データ52において主要被写体がフレームアウトしていないと判定する。
主要被写体がフレームアウトしていない場合(ステップS41:No)、制御部10は、評価値の変更を行わず、基準評価値を画像データ52のファイル名に対応させて評価ファイルに記憶する(ステップS42)。一方、主要被写体がフレームアウトしている場合(ステップS41:Yes)、制御部10は、基準評価値よりも低い評価値を画像データ52のファイル名に対応させて評価ファイルに記憶する(ステップS43)。
次に、制御部10は、バファメモリ16に記録されている画像データの全てについて評価を行ったか否かを判定する(ステップS44)。バファメモリ16に記録された画像データの全てについて評価を行っていない場合(ステップS44:No)、ステップS37の処理に戻り、画像データ52の次に取得された画像データ53(図3参照)についてステップS37〜44の処理を行う。以後、制御部10は、ポストキャプチャーにより取得した画像データについてステップS37〜44の処理を繰り返す。ポストキャプチャーにより取得した画像データの全てについて評価が完了すると、制御部10は、プリキャプチャーにより取得した、例えば、画像データ50(図3参照)についてステップS37〜44の処理を行う。以後、画像データ50よりも前に取得されたプリキャプチャーの画像データについてステップS37〜44の処理を繰り返す。
バファメモリ16に記録された画像データの全てについて評価を行った場合(ステップS24:Yes)、制御部10は、データ記憶部20から評価ファイルを読み出し、画像データの評価処理(図2、ステップS7)を完了し、基準評価値の画像データを記録画像として選択してメモリカード24に記録する(図2、ステップS8)。
この第2の実施の形態に係る電子カメラによれば、バファメモリ16に記録された画像データの全てについて評価を行うため、例えば、動被写体を流し撮りし、画像のみからでは主要被写体の傾向的な移動方向が特定できない場合等においても、主要被写体がフレームアウトしていない画像データを的確に選択することができる。
次に、第3の実施の形態に係る電子カメラの処理について説明する。この第3の実施の形態に係る電子カメラは、第2の実施の形態において、主要被写体領域の接辺の数を判定することに代えて、主要被写体領域の少なくとも一部が他の被写体の陰に隠れているか否かを判定するようにしたものである。そして、この判定結果に基づいてフレームアウト判定を行うようにしてものである。従って、第3の実施の形態では、第2の実施の形態と異なる処理について詳細に説明し、重複する部分については適宜説明を省略する。
図14は、第3の実施の形態に係る電子カメラにおける画像データの評価処理を示すフローチャートである。まず、制御部10は、バファメモリ16から基準画像データ51(図3参照)を読み出し(ステップS51)、基準画像データ51に基づく画像に含まれる主要被写体を検出する(ステップS52)。
次に、制御部10は、基準画像データに基づく画像から主要被写体情報を抽出し(ステップS53)、情報記憶部18に記憶する。次に、制御部10は、基準評価値を基準画像データ51のファイル名に対応させてデータ記憶部20の評価ファイルに記憶する(ステップS54)。
次に、制御部10は、バファメモリ16から基準画像データ51の次に取得された画像データ52(図3参照)を読み出し(ステップS55)、また、情報記憶部18から主要被写体情報を読み出す。次に、制御部10は、主要被写体情報を用いて、画像データ52に基づく画像からステップS52において検出した主要被写体に対応する主要被写体を検出する(ステップS56)。次に、制御部10は、画像データ52に基づく画像において主要被写体領域を決定する(ステップS57)。
次に、制御部10は、画像データ52に基づく画像において主要被写体と異なる他の被写体を検出し(ステップS58)、検出結果に基づいて画像データ52においてフレームアウト判定を行う(ステップS59)。例えば、画像データ52に基づく画像において主要被写体と異なる他の被写体を検出した場合、制御部10は、主要被写体領域の少なくとも一部が他の被写体の陰に隠れるか否かの判定を行う。即ち、図15に示すように、画像データ52に基づく画像における主要被写体領域84の一部が他の被写体86の陰に隠れる場合、制御部10は、画像データ52について主要被写体がフレームアウトしていると判定する。一方、主要被写体領域が他の被写体の陰に隠れていない場合や、画像データ52に基づく画像において他の被写体を検出しなかった場合、制御部10は、画像データ52について主要被写体がフレームアウトしていないと判定する。
ステップS60〜62の処理については、第2の実施の形態におけるステップS42〜44の処理と同様であるため説明を省略する。
この第3の実施の形態に係る電子カメラによれば、主要被写体と異なる他の被写体を検出し、主要被写体領域の少なくとも一部が他の被写体の陰に隠れる画像の画像データについて主要被写体がフレームアウトしていると判定するため、主要被写体が明確に表示されている良好な画像の画像データを的確に選択することができる。
次に、第4の実施の形態に係る電子カメラの処理について説明する。この第4の実施の形態に係る電子カメラは、第2の実施の形態において、主要被写体領域の接辺の数を判定することに代えて、一の主要被写体領域の少なくとも一部が他の主要被写体領域と重なるか否かを判定するようにしたものである。そして、この判定結果に基づいてフレームアウト判定を行うようにしたものである。従って、第4の実施の形態では、第2の実施の形態と異なる処理について詳細に説明し、重複する部分については適宜説明を省略する。
図16は、第4の実施の形態に係る電子カメラにおける画像データの評価処理を示すフローチャートである。まず、制御部10は、バファメモリ16から基準画像データ51(図3参照)を読み出し(ステップS71)、基準画像データ51に基づく画像に含まれる複数の主要被写体を検出する(ステップS72)。例えば、図17に示すように、複数の人物が画像に含まれる場合、人物の顔の部分をそれぞれ主要被写体94及び主要被写体96として検出する。
次に、制御部10は、基準画像データ51に基づく画像から主要被写体94の主要被写体情報及び主要被写体96の主要被写体情報を抽出し(ステップS73)、情報記憶部18に記憶する。次に、制御部10は、基準評価値を基準画像データ51のファイル名に対応させてデータ記憶部20の評価ファイルに記憶する(ステップS74)。
次に、制御部10は、バファメモリ16から基準画像データ51の次に取得された画像データ52(図3参照)を読み出し(ステップS75)、また、情報記憶部18から主要被写体94の主要被写体情報、及び主要被写体96の主要被写体情報を読み出す。次に、制御部10は、情報記憶部18から読み出した主要被写体情報を用いて、画像データ52に基づく画像から複数の主要被写体を検出する(ステップS76)。即ち、図18に示すように、主要被写体94に対応する主要被写体97、及び主要被写体96に対応する主要被写体98を検出する。次に、制御部10は、画像データ52に基づく画像において主要被写体97を含む主要被写体領域99、及び主要被写体98を含む主要被写体領域100(図18参照)を決定する(ステップS77)。
次に、制御部10は、画像データ52に基づく画像において一の主要被写体領域の少なくとも一部が他の主要被写体領域と重なるか否かを判定することによりフレームアウト判定を行う(ステップS78)。例えば、図19に示すように、主要被写体領域99の一部が主要被写体領域100と重なる場合、主要被写体がフレームアウトしていると判定する。一方、図18に示すように、主要被写体領域99と主要被写体領域100とが重ならない場合、主要被写体がフレームアウトしていないと判定する。
ステップS79〜81の処理については、第2の実施の形態におけるステップS42〜44の処理と同様であるため説明を省略する。
この第4の実施の形態に係る電子カメラによれば、主要被写体が複数存在する場合においても良好な画像の画像データを的確に選択することができる。
次に、第5の実施の形態に係る画像データの評価処理について説明する。この第5の実施の形態に係る電子カメラは、第1乃至4の実施の形態において、画像にフレームアウト判定を行うための領域(以下、フレームアウト領域という。)を設定したものである。従って、第1乃至4の実施と異なる部分である、フレームアウト領域の設定に関する部分について詳細に説明し、重複する部分については適宜説明を省略する。
図20は、第5の実施の形態に係る電子カメラにおける画像データの評価処理を示すフローチャートである。まず、制御部10は、バファメモリ16から基準画像データ51(図3参照)を読み出し(ステップS95)、基準画像データ51に基づく画像に含まれる主要被写体(例えば、人の顔)を検出する(ステップS96)。次に、基準画像データ51に基づく画像から主要被写体情報を抽出し(ステップS97)、情報記憶部18に記憶する。ここで、主要被写体情報は、他の画像データに基づく画像において主要被写体を検出する場合に用いられる。
次に、制御部10は、基準画像データ51に基づく画像において主要被写体領域を決定する(ステップS98)。例えば、図21に示すように、主要被写体である人の顔60を含む正方形の領域を主要被写体領域62として決定する。
次に、制御部10は、検出した主要被写体の大きさに基づいて、フレームアウト領域の幅を決定する(ステップS99)。例えば、制御部10は、基準画像データ51に基づく画像に表示された人の顔60(図21参照)の面積を計測し、人の顔60の面積が大きいほどフレームアウト領域の幅を広く、人の顔60の面積が小さいほどフレームアウト領域の幅を狭く決定する。
次に、制御部10は、基準画像データ51に基づく画像において、ステップS99で決定した幅のフレームアウト領域を設定する(ステップS100)。例えば、ステップS99で決定したフレームアウト領域の幅が幅Aである場合、図21に示すように、画像の両側の縁部及び下側の縁部に沿った幅Aのコの字型の領域をフレームアウト領域64として設定する。なお、フレームアウト領域64の位置及び形状(幅を除く)は、予め操作者により設定されている。
次に、制御部10は、主要被写体領域62の少なくとも一部がフレームアウト領域64と重なっているか否かを判定することにより、基準画像データ51においてフレームアウト判定を行う(ステップS101)。例えば、図22に示すように、主要被写体領域62の一部がフレームアウト領域64と重なる場合、制御部10は、主要被写体がフレームアウトしていると判定する。一方、図21に示すように、主要被写体領域62がフレームアウト領域64と重ならない場合、制御部10は、主要被写体がフレームアウトしていないと判定する。
なお、ステップS102〜S104の処理については、第1の実施の形態におけるステップS22〜24の処理と同様であるため説明を省略する。
この第5の実施の形態に係る電子カメラ2によれば、時系列で取得された複数の画像データについて、主要被写体がフレームアウトしているか否かを画像評価の対象とすることができる。また、主要被写体の面積が大きいほどフレームアウト領域の幅を広くするため、例えば、画像に人の顔が大きく表示されている場合には、顔の位置が画像の中央から離れていれば、主要被写体がフレームアウトしていると判定され易くなる。一方、主要被写体の面積が小さいほどフレームアウト領域の幅を狭くするため、例えば、人の顔が小さく表示されている画像の画像データは、主要被写体がフレームアウトしていると判定され難くなる。これにより、バランスの良い構図の画像データを的確に選択することができる。
次に、第6の実施の形態に係る電子カメラの処理について説明する。この第6の実施の形態に係る電子カメラは、第5の実施の形態において、さらに主要被写体の位置を検出し、主要被写体の位置及び大きさに基づいてフレームアウト領域の幅を決定するようにしたものである。そして、主要被写体の少なくとも一つがフレームアウト領域と重なる場合に主要被写体がフレームアウトしていると判定するようにしたものである。従って、第6の実施の形態では、第5の実施の形態と異なる部分である画像データの評価処理に関する部分を、図20を参照して詳細に説明し、重複する部分については適宜説明を省略する。
まず、制御部10は、バファメモリ16から基準画像データ51(図3参照)を読み出し(ステップS95)、基準画像データ51に基づく画像に含まれる複数の主要被写体を検出する(ステップS96)。例えば、図23に示すように、複数の人物が画像に含まれる場合、人物の顔の部分をそれぞれ主要被写体72、主要被写体74、及び主要被写体76として検出する。次に、基準画像データ51に基づく画像から主要被写体情報を抽出し(ステップS97)、情報記憶部18に記憶する。
次に、制御部10は、基準画像データ51に基づく画像において、それぞれの主要被写体に対応する主要被写体領域を決定する(ステップS98)。即ち、図23に示すように、主要被写体72に対応する主要被写体領域80、主要被写体74に対応する主要被写体領域82、及び主要被写体76に対応する主要被写体領域84を決定する。
次に、制御部10は、主要被写体の位置及び大きさに基づいて、フレームアウト領域の幅を決定する(ステップS99)。即ち、制御部10は、まず、画像における主要被写体の位置を検出する。次に、画像のそれぞれの縁部に最も近い主要被写体を判定する。例えば、図23において、画像の左側の縁部に最も近い主要被写体を主要被写体72であると判定する。同様にして、画像の下側の縁部に最も近い主要被写体を主要被写体74であると判定し、画像の右側の縁部に最も近い主要被写体を主要被写体76であると判定する。
次に、制御部10は、主要被写体の面積を計測し、フレームアウト領域を設定する側の縁部に最も近い主要被写体の面積に基づいて、フレームアウト領域の幅を決定する。例えば、画像の左側の縁部に沿って長方形状のフレームアウト領域86(図23参照)を設定する場合、フレームアウト領域86に最も近い主要被写体72の面積に基づいてフレームアウト領域86の幅Bを決定する。同様にして、画像の下側の縁部に最も近い主要被写体74の面積に基づいてフレームアウト領域88の幅Cを決定し、画像の右側の縁部に最も近い主要被写体76の面積に基づいてフレームアウト領域90の幅Dを決定する。なお、フレームアウト領域の幅は、主要被写体の面積が大きいほど広く、小さいほど狭くなるように決定される。このため、図23に示すように、主要被写体の面積が、主要被写体72、主要被写体76、主要被写体74の順に小さくなる場合、フレームアウト領域の幅は、フレームアウト領域86の幅B、フレームアウト領域90の幅D、フレームアウト領域88の幅Cの順に狭くなる。
次に、制御部10は、基準画像データ51に基づく画像において、ステップS99で決定した幅のフレームアウト領域を設定する(ステップS100)。即ち、図23に示すように、画像の左側の縁部に沿って幅Bのフレームアウト領域86、画像の下側の縁部に沿って幅Cのフレームアウト領域88、及び画像の右側の縁部に沿って幅Dのフレームアウト領域90を設定する。
次に、制御部10は、主要被写体領域80、主要被写体領域82、及び主要被写体領域84の中の少なくとも一つがフレームアウト領域と重なっているか否かを判定することにより、基準画像データ51においてフレームアウト判定を行う(ステップS101)。例えば、図24に示すように、主要被写体領域80の一部がフレームアウト領域86と重なっている場合、制御部10は、主要被写体がフレームアウトしていると判定する。一方、図23に示すように、いずれの主要被写体領域もフレームアウト領域と重なっていない場合、制御部10は、主要被写体がフレームアウトしていないと判定する。
この第6の実施の形態に係る電子カメラによれば、主要被写体が複数存在する場合においてもバランスの良い構図の画像データを的確に選択することができる。
なお、第5の実施の形態において、主要被写体の向きを判定し、主要被写体の向きに基づいてフレームアウト領域の幅を決定するようにしてもよい。例えば、主要被写体の向いている方向のフレームアウト領域の幅を広く、主要被写体の向いていない反対方向のフレームアウト領域の幅を狭くするようにしてもよい。これにより、図25に示すように、右側を向いている人の顔94が画像の左端に位置する場合、画像の左側のフレームアウト領域96の幅Xが狭く決定されるため、主要被写体がフレームアウトしていると判定され難くなる。また、画像の右側のフレームアウト領域97の幅Yが広く決定されるため(図25参照)、右側を向いている人の顔94が画像の右端に位置していれば(図示せず)、主要被写体がフレームアウトしていると判定され易くなる。このため、バランスの良い構図の画像データを的確に選択することができる。
また、第5及び第6の実施の形態において、さらに主要被写体の少なくとも一部がフレームアウト領域と重なっているか否かを判定し、主要被写体の少なくとも一部がフレームアウト領域と重なっている場合においても主要被写体がフレームアウトしていると判定するようにしてもよい。まず、制御部10は、主要被写体領域がフレームアウト領域と重なっているか否かを判定し、図26に示すように、主要被写体領域100の一部がフレームアウト領域102と重なっている場合、主要被写体がフレームアウトしていると判定する。一方、主要被写体領域100がフレームアウト領域102と重なっていない場合、制御部10は、主要被写体98の少なくとも一部がフレームアウト領域と重なっているか否かを判定する。そして、図27に示すように、主要被写体98の一部がフレームアウト領域と重なっている場合、主要被写体がフレームアウトしていると判定する。これにより、主要被写体全体の大きさに対して主要被写体領域の大きさが小さい場合などにおいても、バランスの良い構図の画像データを的確に選択することができる。
また、第5及び第6の実施の形態において、主要被写体の個数に基づいてフレームアウト領域の幅を決定するようにしてもよい。まず、制御部10は、画像から検出した主要被写体の個数を判定する。主要被写体の個数が単数である場合、制御部10は、図28に示すように、主要被写体が単数である場合のフレームアウト領域の幅(以下、基準幅という。)をフレームアウト領域106の幅Fとして決定する。一方、主要被写体の個数が複数である場合、制御部10は、例えば、基準幅の値を主要被写体の個数で除算した値をフレームアウト領域の幅として決定する。即ち、図29に示すように、主要被写体が3個である場合、基準幅(即ち、幅F)の1/3の幅をフレームアウト領域108の幅F´として決定する。これにより、主要被写体の個数が多いほどフレームアウト領域の幅が狭くなるようにフレームアウト領域の幅が決定されることから、主要被写体が複数存在する場合においてもバランスの良い構図の画像データを的確に選択することができる。
次に、第7の実施の形態に係る画像データの評価処理(図2、ステップS7)について説明する。この第7の実施の形態に係る電子カメラは、第1乃至6の実施の形態においてフレームアウト判定を行った結果、選択される画像データの枚数が所定の枚数になるように構成したものである。従って、第7の実施の形態では、第1乃至6の実施の形態と異なる処理について詳細に説明し、重複する部分については適宜説明を省略する。
図30は、第7の実施の形態に係る電子カメラにおける画像データの評価処理を示すフローチャートである。ここで、図30では、第1の実施の形態に係る電子カメラ2の処理の例を示しているが、第2〜6の実施の形態に係る電子カメラについても本実施の形態を適用できる。
ステップS111〜123の処理が完了し、バファメモリ16に記録された画像データの全てについて評価が行われると(ステップS124:Yes)、制御部10は、データ記憶部20から評価ファイルを読み出す。そして、基準評価値の画像データが所定の枚数(例えば5フレーム)以下であるか否かの判定を行う(ステップS125)。
基準評価値の画像データが所定の枚数以下である場合(ステップS125:Yes)、制御部10は、画像データの評価処理(図2、ステップS7)を完了し、基準評価値の画像データを記録画像として選択してメモリカード24に記録する(図2、ステップS8)。
一方、基準評価値の画像データが所定の枚数以下でない場合(ステップS125:No)、制御部10は、基準評価値の画像データについて再度評価を行う(ステップS126)。例えば、画像データに基づく画像の鮮鋭度を評価し、鮮鋭度に基づいて新たな評価値を決定する。そして、制御部10は、新たな評価値を基準評価値の画像データのファイル名ごとに評価ファイルに記憶し、画像データの評価処理(図2、ステップS7)を完了する。次に、制御部10は、新たな評価値が高い順に所定枚数(例えば5フレーム)の基準評価値の画像データを記録画像として選択してメモリカード24に記録する(図2、ステップS8)。
この第7の実施の形態に係る電子カメラ2によれば、時系列で取得された複数の画像データについて、主要被写体がフレームアウトしているか否かを画像データの評価対象とすることができるとともに、それ以外の評価項目も考慮して画像データを評価し、選択することができる。このため、フレームアウト判定に基づく評価を含む複数の評価項目に基づいて良好な画像の画像データを的確に選択することができる。また、フレームアウト判定に基づく評価以外の評価項目も考慮して画像データの選択を行うので、画像データの枚数を所望の枚数まで絞って選択することができる。
なお、第7の実施の形態では、フレームアウト判定に基づく評価以外の評価として鮮鋭度評価を行う場合を例に説明しているが、これに限らず、ブレ評価、合焦度評価等、画像データを評価することができる評価であれば、いかなる評価項目、また評価項目の組合せに基づいて評価を行ってもよい。また、これらの評価項目または評価項目の組合せが、電子カメラに操作者が予め設定するシーンモードごとに自動設定される構成としてもよいし、電子カメラで認識された主要被写体の種類等、撮影された画像の特徴に基づいて設定されるようにしてもよい。さらには、操作者が評価項目を選択できるように構成してもよい。
このように、撮影される画像に合わせて最適な評価項目を設定することによって、フレームアウト判定に基づく評価を含む複数の評価項目に基づいて画像データを評価し、シーンごとに最適な記録画像を選択することができる。
次に、第8の実施の形態に係る画像データの評価処理(図2、ステップS7)について説明する。この第8の実施の形態に係る電子カメラは、第7の実施の形態において、フレームアウト判定に基づく評価と並行して、先鋭度判定、ブレ判定、及び合焦度判定に基づく評価を行い、複数の評価項目に基づく総合的な評価により画像データを選択するように構成したものである。従って、第8の実施の形態では、第7の実施の形態と異なる処理について詳細に説明し、重複する部分については適宜説明を省略する。
図31は、第8の実施の形態に係る電子カメラにおける画像データの評価処理を示すフローチャートである。ここで、図31では、第1の実施の形態に係る電子カメラ2の処理の例を示しているが、第2〜6の実施の形態に係る電子カメラについても本実施の形態を適用できる。
まず、制御部10は、時系列で取得された画像データ(図3参照)について、フレームアウト判定に基づく評価と並行して、先鋭度判定、ブレ判定、及び合焦度判定に基づく評価を行う。
次に、バファメモリ16に記録された画像データの全てについて評価が行われると(ステップS144:Yes)、制御部10は、データ記憶部20から評価ファイルを読み出し、フレームアウト判定に基づく評価、先鋭度評価、ブレ評価、及び合焦度評価の4つの評価項目に基づいて総合的に画像データの評価値を決定する(ステップS145)。
次に、制御部10は、決定された評価値を画像データのファイル名ごとに評価ファイルに記憶し、画像データの評価処理(図2、ステップ7)を完了する。次に、制御部10は、評価値が高い順に(たとえば5フレーム)の画像データを記録画像として選択して、メモリカード24に記録する(図2、ステップS8)。
この第8の実施の形態に係る電子カメラ2によれば、時系列で取得された複数の画像データについて、主要被写体がフレームアウトしているか否かを画像データの評価対象とすることができるとともに、それ以外の評価項目も考慮して画像データを評価し、選択することができる。このため、フレームアウト判定に基づく評価を含む複数の評価項目に基づいて、目的に応じた画像を的確に選択することができる。また、フレームアウト判定に基づく評価以外の評価項目も考慮して画像データの選択を行うので、画像データの枚数を所望の枚数まで絞って選択することができる。
なお、第8の実施の形態では、フレームアウト判定に基づく評価以外の評価として鮮鋭度評価、ブレ評価、合焦度評価を行う場合を例に説明しているが、これらに限らず、画像データを評価することができる評価であれば、いかなる評価項目、また評価項目の組合せに基づいて評価を行ってもよい。また、これらの評価項目または評価項目の組合せは、電子カメラに操作者が予め設定するシーンモードごとに自動設定される構成としてもよいし、電子カメラで認識された主要被写体の種類等、撮影された画像の特徴に基づいて設定されるように構成してもよい。さらには、操作者が評価項目や評価項目の組合せを選択できるように構成してもよい。
このように、撮影される画像に合わせて最適な評価項目を設定することによって、複数の評価項目に基づいて画像データを評価し、シーンごとに最適な記録画像を選択することができる。
なお、上述の実施の形態においては、主要被写体領域を矩形の領域とする場合を例に説明しているが、フレームアウト判定や主要被写体の移動方向を判定するために用いることができれば、主要被写体領域の形状は問わない。
また、上述の実施の形態において、電子カメラにおいて画像評価を行う場合を例に説明したが、他の外部機器(例えば、パソコン等)において画像データを評価してもよい。例えば、制御部10は、バファメモリ16に記録されている複数フレームの画像データについてプリキャプチャー及びポストキャプチャーが完了(図2、ステップS6)した後、画像データをメモリカード24に記録する。操作者は、このメモリカード24を電子カメラから抜き取り、パソコンに装着する。そして、パソコンの制御部は、装着されたメモリカード24から画像データを読み出し、上述の実施の形態において説明した方法を用いて画像データの評価及び選択を行うようにしてもよい。