JP5499856B2 - 画像評価装置 - Google Patents

Description

本発明は、画像評価装置に関する。

次のような画像撮影装置が知られている。この画像撮影装置は、露出、コントラスト、ボケなどの画像評価を行い、評価値が所定の閾値以下の画像を記録媒体から削除する（例えば、特許文献１）。

特開２００６−５０４９４号公報

しかしながら、従来の画像撮影装置における技術を時系列で撮影される画像に適用して画像を評価した場合には、被写体または撮影装置が移動したことにより、被写体がフレームアウトした画像を特定し、特定結果に基づいて画像を評価することができなかった。

本発明による画像評価装置は、時系列で撮影された画像内から主要被写体を含む主要被写体領域を抽出する抽出手段と、抽出手段によって抽出された主要被写体の少なくとも一部が画像からフレームアウトしたか否かを判定する判定手段と、判定手段によってフレームアウトしたと判定された画像をフレームアウト画像として特定する特定手段と、特定手段によって特定されたフレームアウト画像の評価を時系列で取得される画像内において相対的に下げる評価手段と、を備え、抽出手段は、ある時刻に撮影された画像を基準画像とし、基準画像内から主要被写体領域を抽出し、判定手段は、基準画像から抽出した主要被写体領域内の複数の特徴点と基準画像とは異なる時刻に撮影された対象画像から抽出した主要被写体領域内の複数の特徴点との位置対応に基づいて、対象画像における主要被写体の少なくとも一部が当該対象画像からフレームアウトしたか否かを判定することを特徴とする。
判定手段は、主要被写体領域内の複数の特徴点のうち、対象画像の複数の特徴点と対応付けができない特徴点の主要被写体領域内における位置、または対象画像の特徴点と対応付けができる特徴点の主要被写体領域内における位置に基づいて、対象画像における主要被写体の少なくとも一部が当該対象画像からフレームアウトしたか否かを判定するようにしてもよい。
判定手段は、対象画像における主要被写体領域の位置が所定の条件を満足したときに、対象画像の特徴点と対応付けができない特徴点の主要被写体領域内における位置、または対象画像の特徴点と対応付けができる特徴点の主要被写体領域内における位置に基づいて、当該対象画像の主要被写体にオクルージョンが発生したと判定するようにしてもよい。

本発明によれば、被写体または撮影装置が移動したことにより、被写体がフレームアウトした画像を特定して、その画像の評価を低くすることができる。

カメラ１００の一実施の形態の構成を示すブロック図である。 カメラ１００の形態における失敗画像の特定処理の流れを示すフローチャート図である。 カメラ１００の形態における撮影画面に設定されるデフォーカス情報取得エリアの具体例を模式的に示した図である。 カメラ１００の形態における基準画像から抽出された特徴点の具体例を模式的に示した図である。 第１の実施の形態における差分演算処理結果の具体例を模式的に示した図である。 第２の実施の形態における差分演算処理結果の具体例を模式的に示した第１の図である。 第２の実施の形態における差分演算処理結果の具体例を模式的に示した第２の図である。 第３の実施の形態における特徴点の抽出例を模式的に示した図である。 第３の実施の形態における動きベクトルの算出例を模式的に示した図である。 第１の実施の形態の変形例における差分演算処理結果の具体例を模式的に示した図である。 第２の実施の形態における具体例を模式的に示した図である。

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６と、振れ検出センサ１０７とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。レンズ１０２を構成するレンズには、ズーム倍率を変更するためのズームレンズや、焦点調節を行うための焦点調節用レンズ（ＡＦレンズ）等が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。なお、ヘッダ情報は、例えばＥｘｉｆ情報であり、画像の撮影日時に関する情報や、撮影時に使用された機能に関する情報等が記録される。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルは、制御装置１０４からの指示に基づいて、メモリカードスロット１０５に装着されたメモリカードに記録される。また、制御装置１０４からの指示に基づいて、メモリカードスロット１０５に装着されたメモリカード内に記憶されている画像ファイルが読み込まれる。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。カメラ１００は、さらに、カメラ１００の振れを検出する振れ検出センサ１０７を具備する。振れ検出センサ１０７の出力は、制御装置１０４に入力され、各種制御に用いられる。

本実施の形態におけるカメラ１００は、複数の画像を時系列で撮影可能であり、例えば動画撮影、連写撮影、またはインターバル撮影を行うことができる。このように時系列で複数の画像を撮影する場合には、被写体の移動に伴って、被写体がフレーム内からはみ出してしまう可能性がある。例えば、撮影者が、被写体の動きに合わせて、カメラの撮影方向を変更しながら撮影を行う際に、被写体の動きに対するカメラの動きが適切でない場合には、本来撮影したい被写体の一部または全部が、フレームからはみ出した画像が撮影されてしまう可能性がある。また、被写体の動きに対するカメラの動きが適切でない場合には、本来撮影したい被写体がフレームからはみ出してはいないものの、撮影したい被写体が極端にフレーム端に近い位置に存在するような、所謂好ましくない構図の画像が撮影されてしまう可能性がある。

本実施の形態では、制御装置１０４は、このように被写体の一部または全部がフレーム内からはみ出した画像、すなわち被写体がフレームアウトした画像を特定し、特定した画像の評価を他の画像の評価よりも相対的に低くする。例えば、被写体がフレームアウトした画像を撮影に失敗した画像（失敗画像）と評価する。そして、このような失敗画像をメモリカードに記録しないようにする。以下、本実施の形態における失敗画像の特定処理について、図２に示すフローチャートを用いて説明する。なお、図２に示す処理は、使用者からの指示に基づいて動画撮影、連写撮影、またはインターバル撮影等の開始が指示されると起動するプログラムとして、制御装置１０４によって実行される。まず、カメラ１００を三脚等で固定して撮影を行う場合を想定し、図２に示すフローチャートを説明する。カメラ１００がこのように固定された状態で撮影が行われていることは、制御装置１０４により、振れ検出センサ１０７の出力をモニタリングすることで検出することができる。すなわち、制御装置１０４は、撮影中の振れ検出センサ１０７の出力が所定値以下の場合には、カメラ１００が固定されて撮影されていると判断する。

ステップＳ１０において、制御装置１０４は、フレームアウトしたか否かを判定するための主要被写体領域を特定する。本実施の形態では、撮影者は、注目している主要被写体にピントが合うように焦点調節を行って撮影するため、画像内の合焦領域を主要被写体領域として特定する。具体的には、制御装置１０４は、例えば、時系列で入力される複数の画像の内の一番最初に撮影された画像を基準画像とし、この基準画像内の合焦領域を主要被写体領域として特定する。例えば、制御装置１０４は、撮影画面に対応付けて設定されている複数の位相差ＡＦのデフォーカス情報取得エリアから、複数のデフォーカス情報を撮影に同期して取得し、当該デフォーカス量が所定値未満の領域を合焦領域と判断し、主要被写体の粗領域を特定する。ここで、粗領域と表現したのは以下の理由からである。本実施形態で使用する位相差ＡＦは、通常の一眼レフカメラに使用されているような撮影画面に対して相対的に中央部分に粗に分布（配置）している位相差ＡＦセンサを想定している。そのため、位相差ＡＦセンサの出力だけでは、主要被写体の画面端での検出や密の検出が出来ないものを想定しているからである。

図３に示す例では、撮影画面内に○×で示される３１点のデフォーカス情報取得エリアが設定されており、このうち○で表されるデフォーカス情報取得エリアはデフォーカス量が所定値未満であり、×で表されるデフォーカス情報取得エリアはデフォーカス量が所定値以上であることを示している。よって、図３においては、領域３ａが合焦領域、すなわち主要被写体領域として抽出されることになる。

その後、ステップＳ２０へ進み、制御装置１０４は、時系列で入力される画像の各々から特徴点を抽出する。ここで抽出する特徴点としては、例えば公知のＳＩＦＴ特徴量（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いて抽出された特徴点等を用いれば良いため、特徴点の抽出方法についての詳細な説明は省略する。図４は、上述した基準画像から抽出された特徴点の一例を示す図である。この図４においては、抽出された特徴点を△で示している。なお、抽出された各特徴点は、特徴点ごとに画像特徴量が算出されており、当該特徴量を画像間で比較することで、異なる時刻に撮影された画像中の特徴点と対応付けが可能な構成とされている。

その後、ステップＳ３０へ進み、制御装置１０４は、ステップＳ２０で抽出した特徴点の内、基準画像の主要被写体領域外の領域で抽出された特徴点と、基準画像とは異なる時刻に撮影された画像から抽出された特徴点との対応付けを行い、基準画像と、当該基準画像とは異なる時刻に撮影された画像とを、主要被写体領域以外の背景領域中の複数の特徴点を基準にして位置合わせを行う。その後、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０４は、図５に示すように基準画像ｔ０と、これとは異なる時刻に撮影された画像ｔ１〜ｔ３のそれぞれとの間で差分演算処理（減算処理）を行い、その絶対値を算出する。なお、画像ｔ０〜ｔ３は、自動露出制御により明るさが相互に異なる可能性がある。このため、制御装置１０４は、各画像内の各画素値の最小値、最大値が所定値になるように正規化を行なった後に、上記の差分演算処理を行うことが好ましい。また、この正規化に当たっては、対応付けされた特徴点のＲＧＢ値が、差分演算処理を行う複数フレーム間で揃うように行われる構成としてもよい。

図５に示す例においては、差分演算処理の結果として、差分画像｜ｔ０−ｔ１｜と、差分画像｜ｔ０−ｔ２｜と、差分画像｜ｔ０−ｔ３｜とが算出される。なお、これらの差分演算処理においては、差分演算対象が上述した主要被写体領域以外の背景領域同士である場合には、その差分演算結果は０に近い値となる。また、差分演算対象が主要被写体領域である場合も、主要被写体領域が一様である場合には、差分演算結果は０に近い値となる。これに対して、差分演算対象の一方が主要被写体領域で、他方が背景領域の場合には、差分演算結果は大きな値となる。

制御装置１０４は、上記各差分画像において、差分演算結果が所定の閾値より大きい領域を差分領域として抽出し、この差分領域に基づいて主要被写体がフレームアウトしたか否かを判定する。なお、図５に示す例では、差分画像｜ｔ０−ｔ１｜においては、差分領域Ａ１と差分領域Ｂ１とが抽出され、差分画像｜ｔ０−ｔ２｜においては、差分領域Ａ２と差分領域Ｂ２とが抽出され、差分画像｜ｔ０−ｔ３｜においては、差分領域Ａ３と差分領域Ｂ３とが抽出されている。

その後、ステップＳ５０へ進み、制御装置１０４は、ステップＳ４０で抽出した差分領域が撮影画面の端に到達したか否かを判定することにより、主要被写体の一部または全部がフレームアウトしたか否かを判定する。例えば、図５に示す例では、差分画像｜ｔ０−ｔ１｜と差分画像｜ｔ０−ｔ２｜とにおいては、いずれの差分領域も撮影画面の端に達していないが、差分画像｜ｔ０−ｔ３｜において差分領域Ｂ３が撮影画面の端に到達していることから、画像ｔ３において主要被写体はフレームアウトしたと判定する。その後、処理を終了する。

なお、図５に示す例では、差分画像｜ｔ０−ｔ１｜と差分画像｜ｔ０−ｔ２｜とを比較すると領域Ｂ１が領域Ｂ２に移動しているため、主要被写体は撮影画面内で右に移動していることがわかる。また、差分画像｜ｔ０−ｔ２｜と差分画像｜ｔ０−ｔ３｜とを比較すると領域Ｂ２が領域Ｂ３に移動しており、領域Ｂ３の面積が、領域Ｂ２の面積より小さくなっているため、主要被写体は撮影画面内でさらに右に移動した結果、フレームアウトしたことがわかる。このように、差分画像間における差分領域の位置変化に基づいて、画像間での画像内における主要被写体領域の位置変化を検出することもできる。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、時系列で取得される複数の画像内から主要被写体を含む主要被写体領域を抽出し、主要被写体がフレームアウトしたか否かを判定し、主要被写体がフレームアウトした画像を失敗画像として評価するようにした。これによって、被写体またはカメラが移動したことにより、主要被写体がフレームアウトした画像を失敗画像として特定することができる。

（２）制御装置１０４は、差分画像における差分領域が撮影画面の端に到達しているときに、主要被写体はフレームアウトしたと判定するようにした。これによって、主要被写体がフレームアウトしたか否かを精度高く判定することができる。

（３）制御装置１０４は、ある時刻に取得された画像を基準画像とし、該基準画像と、その基準画像の取得時刻とは異なる時刻（例えば上述の「ある時刻」の後）に取得される画像との差分を演算することによって、時系列で取得される複数の画像間での画像内における主要被写体領域の位置変化を検出するようにした。これによって、画像内における主要被写体領域の位置変化を精度高く検出することができる。

（４）制御装置１０４は、基準画像内の特徴点と他の画像内の特徴点とを用いて、基準画像と各画像との位置合わせを行い、位置合わせ後に差分演算処理を行なうようにした。これによって、基準画像と各画像において、対応する画素同士の差分を演算することができる。

（５）制御装置１０４は、基準画像の明るさと他の画像の明るさを正規化した後に、差分演算処理を行なうようにした。これによって、各画像の明るさが異なる場合でも、精度高く差分演算を行なうことができる。

―第２の実施の形態―
上述した第１の実施の形態では、カメラ１００を三脚等で固定して撮影を行う場合を想定して図２に示す処理を実行する例について説明した。一方、第２の実施の形態では、使用者が被写体の動きに合わせてカメラ１００を移動させる場合、または手振れによって使用者の意思に反してカメラ１００が動いてしまう場合の処理について説明する。なお、第２の実施の形態においては、図１〜図４の各図については、第１の実施の形態と同様のため、説明を省略する。

まず、被写体がカメラ１００の振れ方向と撮影画面上で逆方向に移動する場合の処理について説明する。被写体が、カメラ１００の振れ方向と逆方向に移動しているか否かは、振れ検出センサ１０７の出力を用いて検出されたカメラ１００の振れ方向と、撮影画像から求められた主要被写体の動きベクトルの方向とを比較することによって判断することができる。例えば、図６は、破線で示される主要被写体が撮影画面上で右方向に移動し、カメラ１００の撮影範囲が左方向に移動している例を示している。なお、図６、及び後述する図７においては、理解を容易にするために、異なる時刻に撮影された２つのフレームの画像、即ち基準画像と差分演算の対象となる対象画像とを、垂直方向にずらして示している。この場合、制御装置１０４は、第１の実施の形態で上述した手法により、基準画像とそれ以外の画像とを対象として主要被写体領域を抽出し、主要被写体領域以外の背景領域から抽出された複数の特徴点の対応付けを行なって位置合わせを行う。図６に示す例では、×印が各画像における背景領域から抽出された複数の特徴点を示している。

そして、制御装置１０４は、例えば、図６に示すように、基準画像ｔ０と時系列で取得された画像ｔ４との差分演算を行なって差分画像｜ｔ０−ｔ４｜を算出する。この場合、画像ｔ０と画像ｔ４における差分演算が可能な領域は、特徴点による位置合わせを行った後の２つの画像間で重複する領域に限定され、例えば、図６において斜線で示す領域６ａについては差分演算を行うことができない。ここで、図６のように被写体がカメラ１００の振れ方向と撮影画面上で逆方向に移動する場合の処理においては、主要被写体の一部がフレームアウトした画像ｔ４の右端領域は、画像ｔ０との差分演算を行うことが可能な重複する領域に含まれ、差分画像を算出することができる。従って、フレームアウトが発生していない画像、例えば画像ｔ４の１フレーム前の画像ｔ３における差分領域と比較して、差分画像｜ｔ０−ｔ４｜における差分領域Ｂ４の面積が小さくなっている場合には、制御装置１０４は、画像ｔ４において主要被写体の一部または全部がフレームアウトしたと判定することができる。

次に、主要被写体がカメラの振れ方向と撮影画面上で同方向に移動する場合の処理について説明する。被写体が、カメラ１００の振れ方向と同方向に移動しているか否かは、振れ検出センサ１０７の出力を用いて検出されたカメラ１００の振れ方向と、撮影画像から求められた主要被写体の動きベクトルの方向とを比較することによって判断することができる。例えば、図７は、主要被写体が撮影画面上で右方向に移動し、撮影範囲も右方向に移動している例を示している。この場合、制御装置１０４は、第１の実施の形態で上述した手法により、基準画像とそれ以外の画像とを対象として主要被写体領域を抽出し、主要被写体領域以外の背景領域から抽出された複数の特徴点の対応付けを行なって位置合わせを行う。図７に示す例では、×印が各画像における背景領域から抽出された複数の特徴点を示している。

そして、制御装置１０４は、例えば、図７に示すように、基準画像ｔ０と時系列で取得された画像ｔ４との差分演算を行なって差分画像｜ｔ０−ｔ４｜を算出する。この場合も画像ｔ０と画像ｔ４における差分演算が可能な領域は、特徴点による位置合わせを行った後の２つの画像間で重複する領域に限定され、例えば、図７において斜線で示す領域７ａについては差分演算を行うことができない。しかしながら、特に、差分領域Ｂ４の大きさに比較して、動きベクトルから算出した、背景領域の動き量、即ちカメラ１００の振れ量が小さい場合には、２画像の重複領域のみでフレームアウト判断を行ったとしても、判断結果を誤る可能性は小さいと考えられる。よって、制御装置１０４は、図７の差分領域Ｂ４が重複領域端に接しており、その面積が１フレーム前の画像ｔ３における差分領域と比較して小さくなっている場合には、画像ｔ４において主要被写体の一部または全部がフレームアウトしたと判定する。さらには、上述のように主要被写体の移動方向の先端と、その移動方向に対応する画面端との距離が近い場合（例えば、所定の閾値より小さい場合）は、好ましい構図とは言えない。

図１１は、特徴点による位置合わせ後の画像ｔ０、画像ｔ４の撮影画面右端を、垂直方向にずらして示したもので、黒丸で示される主要被写体が画像ｔ４にのみ存在する２つの例（Ａ）（Ｂ）について示したものである。ここで、図１１（Ａ）（Ｂ）は、画像ｔ４において主要被写体が撮影画面右端に達しており、（Ｂ）は主要被写体がフレームアウトしている様子、（Ａ）は主要被写体がフレームアウトしていない様子を示した図である。この場合、画像ｔ４において主要被写体の存在する領域Ｐに対応する、画像ｔ０の差分演算の対象領域が存在しないため、差分演算を行えない。しかしながら、この場合、仮に、図１１（Ａ）のように、画像ｔ４において主要被写体がフレームアウトしていなかったとしても、重複領域のみで差分演算を行うことで、上記のような好ましくない構図の画像（主要被写体の移動方向のすぐ近くが画面端である（Ａ）のような構図の画像）を、撮影失敗画像として抽出することができる。

以上説明した第２の実施の形態によれば、以下のような作用効果を得ることができる。すなわち、制御装置１０４は、差分画像における差分領域が撮影画面の端に到達し、かつ差分領域の面積が前フレームと比較して減少している場合に、主要被写体はフレームアウトしたと判定するようにした。これによって、被写体やカメラが移動した場合でも主要被写体がフレームアウトしたか否かを判定することができると共に、好ましくない構図の画像を抽出することができる。

―第３の実施の形態―
第３の実施の形態では、主要被写体領域内に含まれる特徴点の分布に基づいて、主要被写体がフレームアウトしたか否かを判断する方法について説明する。なお、第３２の実施の形態においては、図１〜図４の各図については、第１の実施の形態と同様のため、説明を省略する。

制御装置１０４は、上述した第１および第２の実施の形態と同様に、時系列で撮影される各画像内から主要被写体領域を特定し、主要被写体領域内の複数の特徴点を抽出する。そして、異なる時間に撮影された画像間で特徴点の対応付けを行い、主要被写体領域内における対応のとれない特徴点の分布状況に基づいて、主要被写体がフレームアウトしたか否かを判断する。

例えば、制御装置１０４は、図８（ａ）に示すように、ある画像、例えば基準画像ｔ０の主要被写体領域８ａ内から×で示す特徴点を抽出する。また、制御装置１０４は、異なる時刻に撮影された画像、例えば画像ｔ４についても同様に主要被写体領域内から特徴点を抽出する。そして、制御装置１０４は、異なる２つの画像間で主要被写体領域内の特徴点の対応付けを行い、その中から対応がとれない特徴点を抽出する。例えば、図８（ｂ）は、基準画像ｔ０と画像ｔ４とを対象とする主要被写体領域内の特徴点の対応付け結果を示している。この図８（ｂ）では、対応がとれた特徴点を×で示し、対応がとれない特徴点を○で示している。

制御装置１０４は、このように抽出された対応がとれない特徴点が主要被写体領域の端点に近い位置に分布している場合には、画像ｔ４において、主要被写体はフレームアウトしたと判定する。例えば、図８（ｂ）に示す例では、対応がとれない特徴点８ｂおよび８ｃは、主要被写体領域の右端に分布しているため、制御装置１０４は、画像ｔ４において、主要被写体はフレームアウトしたと判定する。なお、このように対応がとれない特徴点８ｂおよび８ｃが、主要被写体領域の右端に分布している場合には、主要被写体は撮影画面内で右方向に移動した結果、フレームアウトしたと判断できる。

また、図８（ｃ）に示す例では、対応がとれない特徴点８ｅおよび８ｆは、主要被写体領域の右下端に分布しているため、制御装置１０４は、画像ｔ４において、主要被写体はフレームアウトしたと判定する。なお、このように対応がとれない特徴点８ｅおよび８ｆが、主要被写体領域の右下端に分布している場合には、主要被写体は撮影画面内で右下方向に移動した結果、フレームアウトしたと判断できる。

一方で、図８（ｄ）に示すように、対応がとれない特徴点８ｇが主要被写体領域の中央付近に分布している場合には、制御装置１０４は、画像ｔ４において、主要被写体はフレームアウトしていないと判定する。

以上説明した第３実施の形態によれば、以下のような作用効果を得ることができる。すなわち、制御装置１０４は、基準画像内から抽出した主要被写体領域内に設定した特徴点の中に、時系列で取得された他の画像内の特徴点と対応付けができないものが生じた場合に、対応がとれない特徴点が主要被写体領域の端点に近い位置に分布している場合には、主要被写体はフレームアウトしたと判定するようにした。これによって、画像間での特徴点の対応状況に応じて、精度高くフレームアウトの判定を行なうことができる。この判定の際に、主要被写体の領域が、画面端より所定距離内にあるか否かを判断し、所定距離内にある場合に、フレームアウトと判断することで、主要被写体がフレームアウトした画像、あるいは構図の好ましくない画像を、さらに精度よく抽出することができる。

さらには、本構成によれば、主要被写体が、他の被写体の背後に隠れるオクルージョンが発生している画像を検出し、撮影失敗画像として抽出することができる。この際に、制御装置１０４は、主要被写体の領域が画面端より所定距離内にあるか否かを判断し、所定距離内にない場合で、例えば図８（ｂ）（ｃ）に示されるように、対応のとれない特徴点が主要被写体領域とそれ以外の領域の境界部に近い位置に分布している場合には、オクルージョンが発生していると判断する構成としてもよい。また、主要被写体領域内の複数の特徴点を用いて、基準画像と、これとは異なる時刻に撮影された画像間で位置合わせを行った上で、主要被写体領域間で差分画像を算出し、差分画像の面積が所定値以上の場合に、フレームアウトが発生したと制御装置１０４が判断する構成としてもよい。

―第４の実施の形態―
第４の実施の形態では、制御装置１０４は、時系列画像の各フレームにおいて、第１〜第３の実施の形態と同様に特徴点を抽出した上で、各フレームにおける各特徴点の対応付けを行い、フレーム間の動きベクトルを算出し、動きベクトルの算出結果に基づいて主要被写体がフレームアウトしたか否かを判定する方法について説明する。特に、上述のＳＩＦＴ特徴量は、回転、大きさの変化、明るさの変化などに対してロバスト（頑健）であり、この特徴量によって対応付けされた特徴点は、動きベクトルの算出に適している。なお、図１〜図４の各図については、第１の実施の形態と同様のため、説明を省略する。

制御装置１０４は、上述したように算出した動きベクトルの方向、大きさ、画面内位置の隣接性に基づいて、各フレーム内の動きベクトルの始点（または終点）をクラスタリングすることによって、主要被写体領域を抽出する。例えば、図９に示すような動きベクトルが得られたとする。制御装置１０４は、当該動きベクトルを、その方向と大きさとをもとにクラスタリングした上で、動きベクトルの方向、大きさの類似する動きベクトルの始点（または終点）が連続（隣接）して存在している領域を評価・抽出して、この動きベクトル始点（または終点）の画面内位置の連続（隣接）性評価結果をもとに、各画像における主要被写体領域９ａ〜９ｃを抽出する。なお、図９（ａ）は、時刻ｔ０における基準画像ｔ０における主要被写体領域９ａの抽出結果を示しており、図９（ｂ）は、時刻ｔ１における画像ｔ１における主要被写体領域９ｂの抽出結果を示しており、図９（ｃ）は、時刻ｔ２における画像ｔ２における主要被写体領域９ｃの抽出結果を示している。

制御装置１０４は、このようにして抽出した主要被写体領域が画面端と接するとき、あるいは主要被写体領域の面積が前フレームと比較して減少したときに、そのフレームにおいて主要被写体領域はフレームアウトしたと判定する。例えば、図９に示す例では、図９（ｂ）において主要被写体領域９ｂが画面端と接しており、図９（ｃ）において主要被写体領域の面積が減少しているため、これらのフレームでは主要被写体がフレームアウトしたと判定される。

以上説明した第４実施の形態によれば、以下のような作用効果を得ることができる。すなわち、制御装置１０４は、各画像間で算出した動きベクトルに基づいて主要被写体領域を抽出して、フレームアウト判定を行なうようにした。これによって、簡易な構成によりフレームアウト判定を行なうことができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、制御装置１０４は、デフォーカス情報に基づいて主要被写体領域を抽出する例について説明したが、色、テクスチャなどの画像特徴量を併用して、主要被写体領域を抽出するようにしてもよい。例えば、制御装置１０４は、各デフォーカス情報取得エリアから色、テクスチャが類似する領域を抽出し、抽出した領域を併合して主要被写体領域を特定して抽出するようにしてもよい。また、主要被写体領域は、顔認識などの特定被写体の認識結果に基づくものであってもよい。

（２）上述した第１〜第４の実施の形態では、時系列で入力される複数の画像の内の一番最初に撮影された画像を基準画像とする例について説明した。しかしながら、これ以外の方法によって基準画像を決定するようにしてもよい。例えば、使用者によってレリーズボタンが半押しされている間は、取得した画像をバッファメモリに記録しておき、全押しされたタイミングで、全押し前後に撮影された画像をメモリカードに記録するモードにおいては、全押しされたタイミングで取得された画像を基準画像とするようにしてもよい。

また、基準画像は、一連の撮影において固定である必要はなく、時間経過とともに順次変更するものであってもよい。例えば、制御装置１０４は、所定数のフレーム毎に基準画像を変更するようにしてもよい。あるいは、主要被写体がフレームインした時点の画像を基準画像とするようにしてもよい。例えば、フォーカス位置を予め固定して撮影を行うピント位置固定撮影の場合などは、各撮影フレームにおいて画面中央部において、デフォーカス量を検出し、所定量以下のデフォーカス量が検出されたフレームを、基準画像としてもよい。

（３）上述した第１の実施の形態では、カメラ１００を三脚等で固定した場合を想定して図２に示す処理を実行する例について説明したが、カメラ１００を固定した場合には、フレーム間での位置ズレが生じる可能性が低いため、図２のステップＳ１０〜ステップＳ３０の処理を省略するようにしてもよい。

（４）上述した第１の実施の形態では、基準画像ｔ０と、基準画像ｔ０が撮影された時刻とは異なる時刻に撮影された画像ｔ１〜ｔ３との間で差分演算処理を行い、その絶対値を算出する手法について説明した。しかしながら、この方法に代えて、時間的に最も近いフレーム間で差分演算処理を行い、その絶対値を算出するようにしてもよい。このような手法によれば、各フレームの差分演算処理により、図１０に示すような差分画像｜ｔ０−ｔ１｜と差分画像｜ｔ１−ｔ２｜と差分画像｜ｔ２−ｔ３｜とが随時得られることとなる。この図１０に示す例では、差分画像｜ｔ２−ｔ３｜における差分領域Ｂ３´の面積が差分画像｜ｔ１−ｔ２｜における差分領域Ｂ２´から減少しているため、画像ｔ３において主要被写体領域がフレームアウトしたと判定することができる。また上述の実施の形態では、画像ｔ１〜ｔ３の取得（撮影）タイミングの例として、基準画像ｔ０が撮影された時刻より後として説明したが、基準画像ｔ０が撮影された時刻よりも前であっても構わない。

（５）上述した第２の実施の形態では、図７において斜線で示す領域７ａについては差分演算を行うことができないことを説明した。しかしながら、例えば背景を空として、飛行中の飛行機などを撮影する場合などのように、テクスチャが類似する領域、あるいはエッジの少ない領域が、背景の大部分を占めるような場合には、基準画像ｔ０の画像端の画像データ（図７の例では画像ｔ０の画面右端の１列の画像データ）を領域Ｑに相当する分だけ複写して、それを基準画像ｔ０の画像端に貼り付けて（いわゆるコピーをして）、基準画像ｔ０の画像端を画像ｔ４の画面右端まで延長した上で、差分演算を行うようにしてもよい。また、基準画像ｔ０の右端から領域Ｑと同じ面積の領域を抽出し、抽出された領域に対応する画像データを基準画像ｔ０の右端に付加した上で、画像ｔ４との差分演算を行うようにしてもよい。

また、差分演算を行うことのできない領域Ｑは、差分演算を行う対象フレームとは別のフレームの画像データを用いて差分演算を行えるようにしてもよい。例えば、差分演算を行う基準画像ｔ０と画像ｔ４以外のフレーム、例えばｔ１〜ｔ３のフレーム、あるいは画像ｔ５以降のいずれかのフレームを用い、基準画像ｔ０と、これらいずれかのフレームとの各々で特徴点を抽出し、対応する特徴点を用いて２つのフレームの位置合わせを行って、基準画像ｔ０の右端に付加する背景領域を生成するようにしてもよい。これによって、差分演算を行うことのできない領域が生じた場合にも差分演算を行うことが可能となる。

（６）特に、上述した第２の実施の形態における被写体がカメラの振れ方向と同方向に移動する場合の処理において、時系列画像の取得時間間隔が長い、あるいはカメラの移動速度が速いような場合には、差分演算をする２画像の重複領域が小さくなってしまう可能性がある。このような場合には、基準画像ｔ０の更新頻度を多くすることが好ましい。例えば、時系列画像の更新時間間隔を、カメラの撮像時間間隔の設定情報、カメラの移動速度（動き情報）は、カメラに具備された振れ検出センサ出力、あるいは画像データから求めた動きベクトル情報等の少なくとも１つを用いて決定し、決定した更新頻度で基準画像ｔ０を更新するようにしてもよい。これによって、時系列画像の取得時間間隔が長い場合やカメラの移動速度が速いような場合でも差分演算をする２画像の重複領域が小さくなることを防ぐことができる。上記の処理は、第２の実施の形態における被写体がカメラの振れ方向と同方向に移動する場合だけでなく、第２の実施の形態における被写体がカメラの振れ方向と逆方向に移動する場合、あるいは第１の実施の形態におけるカメラが固定されている場合に適用してもよい。

また、被写体がカメラの振れ方向と同方向に移動する場合であって、時系列画像の取得時間間隔が長い場合、あるいはカメラの移動速度が早い場合には、上述した第３または第４の実施の形態の手法を用いてフレームアウトの判定を行い、そうでない場合には上述した第１の実施の形態、あるいは第２の実施の形態の中で説明した一手法を用いてフレームアウトの判定を行うようにしても良い。このように、時系列画像の取得時間間隔、カメラの移動速度に応じて、フレームアウト判定のための処理を変更するようにしてもよい。

（７）上述した第１〜第４の実施の形態において抽出した主要被写体領域をテンプレートマッチング等の手法を用いて時系列で撮影される画像間で追尾するようにしてもよい。

（８）上述した第１から第３の実施の形態では、異なる画像間で特徴点の対応付けを行う例について説明した。この場合、各画像の取得時におけるズーム状態や、主要被写体の大きさに変化がある、あるいはカメラ１００が回転している場合には、複数の特徴点座標をもとに、画像の拡大縮小変換、あるいはアフィン変換を施して、２フレームの画像の位置関係について対応付けを行うことが望ましい。

（９）上述した第１〜第４の実施の形態では、被写体がフレームアウトした画像を撮影失敗画像として特定し、このような失敗画像をメモリカードに記録しないようにする例について説明した。これに対して、失敗画像はメモリカードに記録した上で、ヘッダ情報に失敗画像であることを示す情報を記録するようにしてもよい。また、例えば、時系列で撮影した複数の画像の中から代表画像を選択する場合に、失敗画像を代表画像として選択しないようにしてもよい。

（１０）上述した実施の形態においては、主要被写体がフレームアウトしたかを判断する例について説明したが、上述の処理は、構図の良くない画像を抽出する際の判定に用いることもできる。主要被写体と、主要被写体移動方向の撮影画面端との距離が短い画像は、構図の観点から好ましくないと判断する。このような判断を行うためには、撮影画面より狭い領域（例えば、図６，図７で示した重複領域、あるいはこの重複領域よりさらに狭い領域）を設定して、上述のフレームアウト判定処理と同様の処理を行う構成とすればよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ、１０７ 振れ検出センサ

Claims (3)

1. 時系列で撮影された画像内から主要被写体を含む主要被写体領域を抽出する抽出手段と、
   前記抽出手段によって抽出された前記主要被写体の少なくとも一部が前記画像からフレームアウトしたか否かを判定する判定手段と、
   前記判定手段によってフレームアウトしたと判定された前記画像をフレームアウト画像として特定する特定手段と、
   前記特定手段によって特定された前記フレームアウト画像の評価を前記時系列で取得される画像内において相対的に下げる評価手段と、を備え、
   前記抽出手段は、ある時刻に撮影された画像を基準画像とし、前記基準画像内から前記主要被写体領域を抽出し、
   前記判定手段は、前記基準画像から抽出した前記主要被写体領域内の複数の特徴点と前記基準画像とは異なる時刻に撮影された対象画像から抽出した前記主要被写体領域内の複数の特徴点との位置対応に基づいて、前記対象画像における前記主要被写体の少なくとも一部が当該対象画像からフレームアウトしたか否かを判定することを特徴とする画像評価装置。
2. 請求項１に記載の画像評価装置において、
   前記判定手段は、前記主要被写体領域内の複数の特徴点のうち、前記対象画像の複数の特徴点と対応付けができない特徴点の前記主要被写体領域内における位置、または前記対象画像の特徴点と対応付けができる特徴点の前記主要被写体領域内における位置に基づいて、前記対象画像における前記主要被写体の少なくとも一部が当該対象画像からフレームアウトしたか否かを判定することを特徴とする画像評価装置。
3. 請求項２に記載の画像評価装置において、
   前記判定手段は、前記対象画像における前記主要被写体領域の位置が所定の条件を満足したときに、前記対象画像の特徴点と対応付けができない特徴点の前記主要被写体領域内における位置、または前記対象画像の特徴点と対応付けができる特徴点の前記主要被写体領域内における位置に基づいて、当該対象画像の主要被写体にオクルージョンが発生したと判定することを特徴とする画像評価装置。
   

Images