JP5740934B2 - 被写体検出装置、被写体検出方法及びプログラム - Google Patents

Description

本発明は、被写体検出装置、被写体検出方法及びプログラムに関する。

従来の技術として、顔検出対象となるフレームに対して、縮小処理を行いながら顔検出処理を施して、それぞれの顔検出の結果から顔の確度値の高いデータの平均値をとることにより、顔検出をより正確に行う技術が知られている（例えば、特許文献１参照）。

特開２００９−１１０４８６号公報

しかしながら、上記特許文献１の技術を動きのある被写体の検出に適用すると、顔の確度値の高い領域が複数検出されてしまい、その結果、顔検出枠が複数設定されたり当該顔検出枠が本来の顔の位置からずれてしまうといった問題が生じる虞があった。

そこで、本願発明の課題は、動きのある被写体であってもフレーム画像から被写体画像を精度良く検出することができる被写体検出装置、被写体検出方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の被写体検出装置は、
フレーム画像を逐次取得する取得手段と、前記取得手段により逐次取得された複数のフレーム画像に対し複数種の識別情報の各々を照合することで、複数の被写体画像を検出する検出手段と、前記検出手段により検出された複数の被写体画像の中から、前記複数種の識別情報による照合対象の複数のフレーム数の前記被写体画像の位置、及び／又は、サイズの情報を統合する統合手段と、前記統合手段による統合結果の位置、及び／又は、サイズの情報と当該統合結果の位置、及び／又は、サイズの情報とは異なる時点で前記統合手段により統合された位置、及び／又は、サイズの情報との間の変化の度合いを算出する算出手段と、前記算出手段により算出された前記変化の度合いに基づいて、前記統合手段による統合対象の前記複数のフレーム数を制御する制御手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の被写体検出装置において、
前記算出手段により算出された前記変化の度合いが所定の閾値以上であるか否かを判定する判定手段を更に備え、前記制御手段は、更に、前記判定手段により前記変化の度合いが所定の閾値以上であると判定された場合に、前記統合手段による統合対象の前記複数のフレーム数を減少させるよう制御することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の被写体検出装置において、
前記統合手段は、前記所定フレーム数毎に被写体画像のデータを統合し、前記算出手段は、前記統合手段により前記複数のフレーム数毎の統合結果どうしにおける被写体画像の変化度合いを逐次算出することを特徴としている。
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の被写体検出装置において、
前記取得手段により逐次取得されたフレーム画像に対応するライブビュー画像を表示手段に表示させる第１の表示制御手段と、前記第１の表示制御手段により前記表示手段に表示されたライブビュー画像における前記統合手段による統合結果の位置、及び／又は、サイズの情報に対応する位置に前記被写体の識別情報を表示させる第２の表示制御手段と、を更に備えたことを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の被写体検出装置において、
前記被写体画像を識別表示するための前記識別情報を設定する設定手段を更に備えることを特徴としている。

請求項６に記載の発明は、請求項５に記載の被写体検出装置において、
前記設定手段は、前記識別情報として、前記被写体画像に重畳して表示される所定の検出枠を設定することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の被写体検出装置において、
前記フレーム画像は、撮像画像から生成された画像であることを特徴としている。

請求項８に記載の発明の被写体検出方法は、
被写体検出装置を用いた被写体検出方法であって、フレーム画像を逐次取得するステップと、逐次取得された複数のフレーム画像に対し複数種の識別情報の各々を照合することで、複数の被写体画像を検出するステップと、検出された複数の被写体画像の中から、前記複数種の識別情報による照合対象の複数のフレーム数の前記被写体画像の位置、及び／又は、サイズの情報を統合する統合ステップと、統合結果の位置、及び／又は、サイズの情報と当該統合結果の位置、及び／又は、サイズの情報とは異なる時点で統合された位置、及び／又は、サイズの情報との間の変化の度合いを算出するステップと、算出された前記変化の度合いに基づいて、前記統合ステップによる統合対象の前記複数のフレーム数を制御するステップと、を含むことを特徴としている。

請求項９に記載の発明のプログラムは、
コンピュータを、フレーム画像を逐次取得する取得手段、前記取得手段により逐次取得された複数のフレーム画像に対し複数種の識別情報の各々を照合することで、複数の被写体画像を検出する検出手段、前記検出手段により検出された複数の被写体画像の中から、前記複数種の識別情報による照合対象の複数のフレーム数の前記被写体画像の位置、及び／又は、サイズの情報を統合する統合手段、前記統合手段による統合結果の位置、及び／又は、サイズの情報と当該統合結果の位置、及び／又は、サイズの情報とは異なる時点で前記統合手段により統合された位置、及び／又は、サイズの情報との間の変化の度合いを算出する算出手段、前記算出手段により算出された前記変化の度合いに基づいて、前記統合手段による統合対象の前記複数のフレーム数を制御する制御手段、として機能させることを特徴としている。

本発明によれば、動きのある被写体であってもフレーム画像から被写体画像を精度良く検出することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体検出処理に係る動作の一例を示すフローチャートである。 図２の被写体検出処理の続きを示すフローチャートである。 図２の被写体検出処理に係る検出結果情報及び統合結果情報の一例を模式的に示す図である。 図２の被写体検出処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、所定数のフレーム画像の各々から検出された所定フレーム数の被写体画像のデータをまとめることにより、当該所定フレーム数の被写体画像を代表する代表画像データを生成し、この代表画像データの生成に用いられた一の被写体画像のデータの当該代表画像データに対する変化の度合いを算出する。そして、撮像装置１００は、算出された変化の度合いに基づいて、代表画像データの生成に用いられる被写体画像のデータのフレーム数を制御する。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、識別情報設定部６と、記録媒体制御部７と、表示制御部８と、表示部９と、操作入力部１０と、中央制御部１１とを備えている。

撮像部１は、撮像手段として、被写体を撮像してフレーム画像Ｆを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂとを備えている。

レンズ部１ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部１は、レンズ部１ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、所定周期毎に光学像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像Ｆを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像Ｆのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、画像データ生成部３は、生成したフレーム画像ＦのＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度（例えば、ＶＧＡやＱＶＧＡサイズ等）の画像データを生成する。具体的には、画像データ生成部３は、表示部９によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像ＦのＹＵＶデータからライブビュー表示用の低解像度の画像データを生成する。
カラープロセス回路から出力されるＹＵＶデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像データ生成部３、画像処理部５、識別情報設定部６、中央制御部１１等によって処理されるデータ等を一時記憶する。具体的には、メモリ４は、画像データ生成部３により生成された所定フレーム数分のフレーム画像Ｆのライブビュー表示用の画像データを一時記憶する。
また、メモリ４は、第１結果格納部４ａと、第２結果格納部４ｂとを具備している。

第１結果格納部４ａは、検出結果情報Ｌ１（図４（ａ）参照）を一時的に格納する。
検出結果情報Ｌ１は、例えば、図４（ａ）に示すように、画像処理部５の被写体検出部５ｂ（後述）により検出された被写体画像Ｓ（例えば、顔画像）の画像データがフレーム毎に対応付けられた情報である。具体的には、検出結果情報Ｌ１は、被写体検出部５ｂによる処理対象となるフレーム画像Ｆの処理順に、各フレームに対応するカラムに被写体画像Ｓの画像データをリスト形式で記憶している。
例えば、図４（ａ）に示す検出結果情報Ｌ１にあっては、被写体検出部５ｂによる処理対象が一番目〜三番目のフレーム画像Ｆ１〜Ｆ３では、被写体画像Ｓが検出されず、処理対象が四番目のフレーム画像Ｆ４で初めて被写体画像Ｓが検出されたことを表している。また、処理対象が四番目のフレーム画像Ｆ４からは、被写体画像Ｓとして正面から見た顔画像が検出され、処理対象が五番目及び六番目のフレーム画像Ｆ５、Ｆ６からは、被写体画像Ｓとして横向きの顔画像が検出されたことを表している。そして、処理対象が七番目のフレーム画像Ｆ７では、被写体画像Ｓが検出されなくなった（見失った）ことを表している。処理対象が八番目以降のフレーム画像Ｆについても同様であり、その図示は省略している。

なお、図４（ａ）には、被写体画像Ｓとして顔画像を模式的に表しているが、被写体画像Ｓの画像データの具体的なデータとしては、例えば、被写体検出部５ｂにより生成された各検出候補領域の画像データが記憶される。
また、被写体画像Ｓの数を一つとしているが、一例であってこれに限られるものではなく、処理対象のフレーム画像Ｆ内から複数の被写体画像Ｓ、…が検出された場合には、全ての被写体画像Ｓの画像データが記憶される。

第２結果格納部４ｂは、統合結果情報Ｌ２（図４（ｂ）参照）を一時的に格納する。
統合結果情報Ｌ２は、例えば、図４（ｂ）に示すように、画像処理部５の代表画像生成部５ｃ（後述）により生成された代表画像データＤがフレーム毎に対応付けられた情報である。具体的には、統合結果情報Ｌ２は、代表画像生成部５ｃによる代表画像データＤの生成順に、各カラムに代表画像データＤをリスト形式で記憶している。
例えば、図４（ｂ）に示す統合結果情報Ｌ２にあっては、時系列に沿って四番目のカラムに、被写体検出部５ｂによる処理対象が一番目〜四番目のフレーム画像Ｆ１〜Ｆ４から検出された被写体画像Ｓを統合した代表画像データＤ４、即ち、四番目のフレーム画像Ｆ４で初めて検出された被写体画像Ｓの画像データから生成された代表画像データＤ４が記憶されている。また、五番目のカラムに、被写体検出部５ｂによる処理対象がニ番目〜五番目のフレーム画像Ｆ２〜Ｆ５から検出された被写体画像Ｓを統合した代表画像データＤ５、即ち、四番目と五番目のフレーム画像Ｆ４、Ｆ５で検出された二つの被写体画像Ｓの画像データから生成された代表画像データＤ５が記憶されている。また、六番目のカラムには、フレーム数制御部５ｇによる代表画像データＤの生成に用いられるフレーム数の変更後、被写体検出部５ｂによる処理対象が五番目と六番目のフレーム画像Ｆ５、Ｆ６から検出された被写体画像Ｓを統合した代表画像データＤが記憶されている。七番目以降のカラムについても同様であり、その図示は省略している。

なお、図４（ｂ）には、代表画像データＤの生成に係る被写体画像Ｓとして顔画像を模式的に表しているが、代表画像データＤの具体的なデータとしては、例えば、代表画像生成部５ｃにより生成された各フレーム毎の統合データＣをまとめた形態のデータが記憶される。

画像処理部５は、画像取得部５ａと、被写体検出部５ｂと、代表画像生成部５ｃと、類似画像特定部５ｄと、変化度合算出部５ｅと、判定部５ｆと、フレーム数制御部５ｇとを具備している。

画像取得部５ａは、フレーム画像Ｆを逐次取得する。
即ち、画像取得部５ａは、画像データ生成部３により表示フレームレートに応じた所定のタイミングで生成されたフレーム画像Ｆ（例えば、フレーム画像Ｆ１〜Ｆ７等）のライブビュー表示用の画像データをメモリ４から逐次取得する。
ここで、画像取得部５ａは、フレーム画像Ｆを逐次取得する取得手段を構成している。

被写体検出部５ｂは、フレーム画像Ｆから被写体画像Ｓを検出する。
即ち、被写体検出部５ｂは、画像取得部５ａにより逐次取得された各フレーム画像Ｆのライブビュー表示用の画像データの各々に対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を施して、所定の被写体が含まれる被写体画像Ｓを検出する（図４（ａ）参照）。具体的には、被写体検出部５ｂは、例えば、画像取得部５ａにより所定のタイミングで取得された一のフレーム画像Ｆのライブビュー表示用の画像データから、特定の被写体画像Ｓの候補領域として、所定サイズ（例えば、24×24画素）の検出候補領域を複数生成する。そして、被写体検出部５ｂは、例えば、各検出候補領域の画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出し、算出された類似度が所定の閾値以上である検出候補領域の画像データを被写体画像Ｓの画像データとして検出する。
このとき、被写体検出部５ｂは、代表画像データＤを用いて被写体の検出を行う。即ち、被写体検出部５ｂは、代表画像生成部５ｃにより生成された代表画像データＤを基準として、処理対象のフレーム画像Ｆよりも前のフレーム画像Ｆから検出された被写体画像Ｓの位置やサイズ等を考慮して被写体画像Ｓの検出を行う。

また、被写体検出部５ｂは、画像取得部５ａにより逐次取得される各フレーム画像Ｆのライブビュー表示用の画像データの各々に対する、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理の基準をフレーム毎に変更して、当該各種画像処理を施す。具体的には、被写体検出部５ｂは、例えば、顔検出処理を行う場合、フレーム毎に所定の基準画像の角度、検出領域の位置やサイズ、顔の表情、人種、性別、年齢等の基準を異ならせる。
そして、被写体検出部５ｂは、検出した被写体画像Ｓの画像データをメモリ４に転送して、第１結果格納部４ａに検出結果情報Ｌ１として格納させる。

なお、被写体検出部５ｂによる被写体画像Ｓの検出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、所定の基準画像の画像データは、例えば、画像処理部５の一時記憶手段（図示略）に記憶された情報であり、検出候補領域について被写体画像Ｓであるか否かを判定するための各種の識別用情報である。識別用情報としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするもの等が挙げられる。
また、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
このように、被写体検出部５ｂは、画像取得部５ａにより逐次取得されたフレーム画像Ｆから被写体画像Ｓをそれぞれ検出する検出手段を構成している。

代表画像生成部５ｃは、所定フレーム数の被写体画像Ｓの画像データから代表画像データＤを生成する。
即ち、代表画像生成部５ｃは、所定数のフレーム画像Ｆから検出された所定フレーム数の被写体画像Ｓの画像データを統合して、当該画像データを代表する代表画像データＤを生成する。具体的には、代表画像生成部５ｃは、フレーム数制御部５ｇにより決定されたフレーム数に従って、最も新しいフレーム画像Ｆ（被写体検出部５ｂによる被写体検出の処理対象のフレーム画像Ｆ）を含む当該フレーム数分のフレーム画像Ｆの各々から被写体検出部５ｂにより検出された所定フレーム数の被写体画像Ｓの画像データを所定の統合方法に従って統合する。
ここで、被写体画像Ｓの画像データの統合方法としては、例えば、各フレーム毎に被写体検出部５ｂにより検出された検出候補領域（被写体画像Ｓ）の画像データに基づいて所定の演算を行って、各フレーム内の被写体画像Ｓの位置やサイズを規定する統合データＣを生成し、当該統合データＣを所定フレーム数分（例えば、４フレームや２フレーム等）まとめることで代表画像データＤ（例えば、代表画像データＤ４〜Ｄ６等）を生成する方法が挙げられる。なお、当該方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
そして、代表画像生成部５ｃは、生成した代表画像データＤをメモリ４に転送して、第２結果格納部４ｂに統合結果情報Ｌ２として格納させる。
ここで、代表画像生成部５ｃは、被写体検出部５ｂにより夫々検出された被写体画像Ｓの中から、所定フレーム数の被写体画像Ｓの画像データをまとめることにより、所定フレーム数の被写体画像Ｓを代表する代表画像データＤを生成する生成手段を構成している。

類似画像特定部５ｄは、被写体画像Ｓの画像データに類似する類似画像Ｒの画像データを特定する。
即ち、類似画像特定部５ｄは、代表画像生成部５ｃによる各代表画像データＤの生成に用いられた所定フレーム数の被写体画像Ｓの画像データの中で、処理対象となる一の被写体画像Ｓ（最も新しいフレーム画像Ｆから検出された被写体画像Ｓ）の画像データと類似する類似画像Ｒの画像データを所定の特定方法に従って特定する。具体的には、類似画像特定部５ｄは、各代表画像データＤの生成に用いられた処理対象の被写体画像Ｓの画像データを含む所定フレーム数の被写体画像Ｓの画像データの中で、当該処理対象の被写体画像Ｓの画像データに係るフレーム画像Ｆ（例えば、フレーム画像Ｆｎ＋１；図５（ｂ）参照）よりも所定フレーム（例えば、一フレーム等）前に生成された他のフレーム画像Ｆ（例えば、フレーム画像Ｆｎ；図５（ａ）参照）から検出された他の被写体画像Ｓの画像データに対応する統合データＣを類似画像Ｒの画像データとして検索する。例えば、類似画像特定部５ｄは、メモリ４の第２結果格納部４ｂに格納されている統合結果情報Ｌ２を参照して、他のフレーム画像Ｆ（例えば、フレーム画像Ｆｎ等）から検出された他の被写体画像Ｓの画像データに対応する統合データＣの中で、処理対象の被写体画像Ｓの統合データＣと類似する類似画像Ｒの画像データを特定する。
ここで、類似画像Ｒの画像データの特定方法としては、例えば、処理対象の被写体画像Ｓの統合データＣをテンプレートとするテンプレートマッチングや、当該処理対象の被写体画像Ｓの統合データＣと重複する面積が最も大きい被写体画像Ｓの統合データＣを特定する方法や、当該処理対象の被写体画像Ｓの統合データＣの所定位置から最も近距離にある被写体画像Ｓの統合データＣを特定する方法や、当該処理対象の被写体画像Ｓの統合データＣのサイズと最も近いサイズの被写体画像Ｓの統合データＣを特定する方法等が挙げられる。
なお、類似画像Ｒの画像データを、例えば、処理対象の被写体画像Ｓの画像データに係るフレーム画像Ｆ（例えば、フレーム画像Ｆｎ＋１等）よりも一フレーム前に生成された他のフレーム画像Ｆｎから検出された他の被写体画像Ｓの画像データの中から特定するようにしたが、一例であってこれに限られるものではなく、当該処理対象の被写体画像Ｓの画像データを含む所定フレーム数の被写体画像Ｓの画像データの中から特定すれば良い。

このように、類似画像特定部５ｄは、代表画像データＤの生成に用いられた所定フレーム数の被写体画像Ｓのデータの中で、当該代表画像データＤの生成に用いられた一の被写体画像Ｓのデータと類似する類似画像Ｒのデータを特定する特定手段を構成している。

変化度合算出部５ｅは、処理対象の被写体画像Ｓの画像データの当該代表画像データＤに対する変化の度合いを算出する。
即ち、変化度合算出部５ｅは、代表画像生成部５ｃによる各代表画像データＤの生成に用いられた処理対象の被写体画像Ｓの画像データの当該代表画像データＤに対する変化の度合いを算出する。具体的には、変化度合算出部５ｅは、処理対象の被写体画像Ｓの画像データの類似画像特定部５ｄにより特定された類似画像Ｒの画像データに対する変化の度合いを算出する。
例えば、変化度合算出部５ｅは、処理対象の被写体画像Ｓの画像データに対応する統合データＣと、類似画像Ｒの画像データとして特定された被写体画像Ｓの統合データＣとを比較して、処理対象の被写体画像Ｓの統合データＣにより規定される被写体画像Ｓの位置やサイズ等の類似画像Ｒの画像データに対する変化の度合い（ブレ度合い）を所定の演算式に従って算出する。ここで、変化度合算出部５ｅによる変化の度合いの算出は、統合結果情報Ｌ２の処理対象である各代表画像データＤに規定されている複数の被写体画像Ｓの各々に対して行われる。そして、変化度合算出部５ｅは、複数の被写体画像Ｓに各々に対して算出された変化の度合いの中で、最も大きい値を当該処理対象の代表画像データＤにおける変化の度合いとして特定する。
ここで、変化度合算出部５ｅは、代表画像生成部５ｃにより代表画像データＤの生成に用いられた一の被写体画像Ｓのデータの当該代表画像データＤに対する変化の度合いを算出する算出手段を構成している。

判定部５ｆは、変化度合算出部５ｅにより算出された変化の度合いが所定の閾値以上であるか否かを判定する。
即ち、判定部５ｆは、変化度合算出部５ｅにより算出された処理対象である代表画像データＤにおける一の被写体画像Ｓの画像データの当該代表画像データＤに対する変化の度合いが所定の閾値以上であるか否かを判定する。具体的には、判定部５ｆは、処理対象の被写体画像Ｓの画像データの類似画像特定部５ｄにより特定された類似画像Ｒの画像データに対する変化の度合いが所定の閾値以上であるか否かを判定する。
ここで、判定部５ｆは、変化度合算出部５ｅにより算出された変化の度合いが所定の閾値以上であるか否かを判定する判定手段を構成している。

フレーム数制御部５ｇは、代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を制御する。
即ち、フレーム数制御部５ｇは、変化度合算出部５ｅにより算出された処理対象の被写体画像Ｓの画像データの当該代表画像データＤに対する変化の度合いに基づいて、代表画像生成部５ｃによる代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を制御する。つまり、フレーム数制御部５ｇは、処理対象の代表画像データＤよりも後に代表画像生成部５ｃにより生成される代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を制御する。具体的には、フレーム数制御部５ｇは、判定部５ｆにより処理対象の被写体画像Ｓの画像データの代表画像データＤに対する変化の度合いが所定の閾値以上であると判定された場合に、当該代表画像データＤよりも後に代表画像生成部５ｃにより生成される代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を所定の基準フレーム数（例えば、４フレーム等）から減少させるように制御する。例えば、フレーム数制御部５ｇは、処理対象の代表画像データＤ（例えば、代表画像データＤ５等）よりも後の代表画像データＤ（例えば、代表画像データＤ６等）の生成にて、統合される被写体画像Ｓの画像データのフレーム数を所定の基準フレーム数（例えば、４フレーム等）から減少させたフレーム数（例えば、２フレーム等）とする。

なお、代表画像データＤの生成に係る基準フレーム数として、例えば、４フレームを例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、基準フレーム数から減少させたフレーム数として、例えば、２フレームを例示したが、同様に、一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、フレーム数制御部５ｇは、変化度合算出部５ｅにより算出された変化の度合いに基づいて、代表画像生成部５ｃによる代表画像データＤの生成に用いられる被写体画像Ｓのデータのフレーム数を制御する制御手段を構成している。

識別情報設定部６は、被写体画像Ｓを識別表示するための識別情報を設定する。
即ち、識別情報設定部６は、被写体検出部５ｂにより検出された被写体画像Ｓを識別表示するための識別情報を設定する。具体的には、識別情報設定部６は、被写体検出部５ｂにより代表画像データＤを基準として検出された被写体画像Ｓを識別表示する識別情報として、当該被写体画像Ｓの画像領域の縁部に重畳して表示部９に表示される検出枠Ｗ（図５（ｃ）参照）を設定する。
なお、被写体画像Ｓの識別情報として、被写体画像Ｓの画像領域の縁部に重畳して表示される検出枠Ｗを例示したが、一例であってこれに限られるものではなく、所定の識別標識など当該被写体画像Ｓを識別表示するものであれば適宜任意に変更可能である。
ここで、識別情報設定部６は、代表画像生成部５ｃにより生成された代表画像データＤに対応する被写体画像Ｓを識別表示するための識別情報を設定する設定手段を構成している。

記録媒体制御部７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部７は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示制御部８は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部９に表示させる制御を行う。
具体的には、表示制御部８は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。

表示部９は、例えば、液晶表示パネルであり、表示制御部８からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部９は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像Ｆを所定の表示フレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部９は、静止画として記録される画像のレックビュー画像を表示したり、動画として記録中の画像を表示する。

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮像指示に係るシャッタボタン１０ａ（図５（ｃ）参照）、撮像モードや機能等の選択指示に係る選択決定ボタン１０ｂ（図５（ｃ）参照）、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。

中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による被写体検出処理について、図２〜図５を参照して説明する。
図２及び図３は、被写体検出処理に係る動作の一例を示すフローチャートである。また、図４は、検出結果情報Ｌ１及び統合結果情報Ｌ２の一例を模式的に示す図である。また、図５は、被写体検出処理に係る画像の一例を模式的に示す図である。
なお、以下に説明する被写体検出処理は、ユーザによる操作入力部１０の所定操作に基づいて被写体検出モードが設定されている場合に、中央制御部１１の制御下にて実行される処理である。また、以下の説明にあっては、フレーム画像Ｆ（例えば、フレーム画像Ｆｎ、フレーム画像Ｆｎ＋１等）内に顔画像（被写体画像）が含まれているフレーム画像Ｆを用いるものとする。

図２に示すように、先ず、画像処理部５のフレーム数制御部５ｇは、代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を基準フレーム数（例えば、４フレーム等）に設定する（ステップＳ１）。
次に、中央制御部１１は、メモリ４の第１結果格納部４ａ及び第２結果格納部４ｂに格納されている各種の情報、即ち、以前の被写体検出処理にて格納されている検出結果情報Ｌ１や統合結果情報Ｌ２等をクリアして初期化する（ステップＳ２）。

続けて、中央制御部１１は、撮像部１による被写体の撮像により画像データ生成部３により逐次生成されたフレーム画像Ｆのライブビュー表示用の画像データをメモリ４に逐次格納して一時記憶させる（ステップＳ３）。
次に、画像処理部５の画像取得部５ａは、表示部９による表示フレームレートに応じた所定のタイミングで、処理対象となる一のフレーム画像Ｆのライブビュー表示用の画像データをメモリ４から取得する（ステップＳ４）。

次に、被写体検出部５ｂは、画像取得部５ａにより逐次取得された処理対象のフレーム画像Ｆのライブビュー表示用の画像データの各々に対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を施して、所定の被写体が含まれる被写体画像Ｓを検出する（ステップＳ５）。
具体的には、被写体検出部５ｂは、例えば、処理対象の一のフレーム画像Ｆのライブビュー表示用の画像データから、特定の被写体画像Ｓの候補領域として、所定サイズ（例えば、24×24画素）の検出候補領域を複数生成する。そして、被写体検出部５ｂは、例えば、各検出候補領域の画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出し、算出された類似度が所定の閾値以上である検出候補領域の画像データを被写体画像Ｓの画像データとして検出する。
そして、被写体検出部５ｂは、検出した被写体画像Ｓの画像データをメモリ４に転送して、第１結果格納部４ａに検出結果情報Ｌ１として格納させる。

次に、被写体検出部５ｂは、所定フレーム数（例えば、基準フレーム数）分のフレーム画像Ｆのライブビュー表示用の画像データに対して各種画像処理を施して被写体画像Ｓの検出を行ったか否かを判定する（ステップＳ６）。
ここで、所定フレーム数分のフレーム画像Ｆに対して被写体画像Ｓの検出を行っていないと判定されると（ステップＳ６；ＮＯ）、中央制御部１１は、処理をステップＳ４に移行して、画像取得部５ａは、処理対象となる次のフレーム画像Ｆのライブビュー表示用の画像データをメモリ４から取得する（ステップＳ４）。その後、中央制御部１１は、ステップＳ５以降の各処理を上記と同様にして実行する。

一方、ステップＳ６にて、所定フレーム数分のフレーム画像Ｆに対して被写体画像Ｓの検出を行ったと判定されると（ステップＳ６；ＹＥＳ）、代表画像生成部５ｃは、所定数のフレーム画像Ｆから検出された所定フレーム数の被写体画像Ｓの画像データを統合して、当該画像データを代表する代表画像データＤ（例えば、代表画像データＤ４、Ｄ５等）を生成する（ステップＳ７）。
具体的には、代表画像生成部５ｃは、基準フレーム数分のフレーム画像Ｆ（例えば、フレーム画像Ｆ１〜Ｆ４等）の各々から被写体検出部５ｂにより検出された所定フレーム数の被写体画像Ｓ（検出候補領域）の画像データに基づいて、各フレーム毎に所定の演算を行って各フレーム内の被写体画像Ｓの位置やサイズを規定する統合データＣを生成し、当該統合データＣを所定フレーム数分（例えば、４フレーム等）まとめることで代表画像データＤ（例えば、代表画像データＤ４等）を生成する。
その後、識別情報設定部６は、被写体検出部５ｂにより検出された被写体画像Ｓの画像領域の縁部に重畳表示される検出枠Ｗを設定して、当該検出枠Ｗの表示制御に係る指示信号を表示制御部８に出力する。

続けて、類似画像特定部５ｄは、代表画像データＤの生成に用いられた所定フレーム数の被写体画像Ｓの画像データの中で、処理対象である最も新しく検出された被写体画像Ｓの画像データと類似する類似画像Ｒの画像データを検索する（ステップＳ８）。
具体的には、類似画像特定部５ｄは、メモリ４の第２結果格納部４ｂに格納されている統合結果情報Ｌ２を参照して、処理対象の被写体画像Ｓの画像データに係るフレーム画像Ｆ（例えば、フレーム画像Ｆｎ＋１）よりも所定フレーム（例えば、一フレーム等）前に生成された他のフレーム画像Ｆ（例えば、フレーム画像Ｆｎ）から検出された他の被写体画像Ｓの画像データに対応する統合データＣの中で、処理対象の被写体画像Ｓの統合データＣと類似する類似画像Ｒの画像データを検索する。
次に、類似画像特定部５ｄは、類似画像Ｒの画像データの検索結果に基づいて、当該類似画像Ｒの画像データが特定されたか否かを判定する（ステップＳ９）。

図３に示すように、ステップＳ９にて、類似画像Ｒの画像データが特定されたと判定されると（ステップＳ９；ＹＥＳ）、変化度合算出部５ｅは、処理対象の代表画像データＤに係る被写体画像Ｓの画像データの類似画像特定部５ｄにより特定された類似画像Ｒの画像データに対する変化の度合いを算出する（ステップＳ１０）。具体的には、変化度合算出部５ｅは、被写体画像Ｓの画像データに対応する統合データＣと、類似画像Ｒの画像データとして特定された被写体画像Ｓの統合データＣとを比較して、被写体画像Ｓの統合データＣにより規定される被写体画像Ｓの位置やサイズ等の類似画像Ｒの画像データに対する変化の度合い（ブレ度合い）を所定の演算式に従って算出する。
一方、ステップＳ９にて、類似画像Ｒの画像データが特定されていないと判定されると（ステップＳ９；ＮＯ）、中央制御部１１は、処理をステップＳ４に移行して、それ以降の各処理を上記と同様にして実行する。

続けて、判定部５ｆは、処理対象の代表画像データＤに係る被写体画像Ｓの画像データの類似画像Ｒの画像データに対する変化の度合いが所定の閾値以上であるか否かを判定する（ステップＳ１１）。
ここで、変化の度合いが所定の閾値以上であると判定されると（ステップＳ１１；ＹＥＳ）、フレーム数制御部５ｇは、処理対象の代表画像データＤよりも後の代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を所定の基準フレーム数（例えば、４フレーム等）から減少させるように制御する（ステップＳ１２）。例えば、フレーム数制御部５ｇは、処理対象の代表画像データＤ（例えば、代表画像データＤ５等）よりも後の代表画像データＤ（例えば、代表画像データＤ６等）の生成にて、統合される被写体画像Ｓの画像データのフレーム数を所定の基準フレーム数から減少させたフレーム数（例えば、２フレーム等）とする。
一方、ステップＳ１１にて、変化の度合いが所定の閾値以上でないと判定されると（ステップＳ１１；ＮＯ）、中央制御部１１は、ステップＳ１２の処理をスキップする。

その後、中央制御部１１は、被写体検出処理の終了指示が入力されたか否かを判定する（ステップＳ１３）。具体的には、中央制御部１１は、例えば、ユーザによる操作入力部１０のシャッタボタン１０ａの所定操作（例えば、全押し操作等）に基づいて被写体の撮像指示が入力されたか否かや、選択決定ボタン１０ｂの所定操作に基づいて被写体検出モードとは異なるモードが設定されたか否か等に応じて、被写体検出処理の終了指示が入力されたか否かを判定する。
ここで、被写体検出処理の終了指示が入力されていないと判定されると（ステップＳ１３；ＮＯ）、中央制御部１１は、処理をステップＳ４に移行して、それ以降の各処理を上記と同様にして実行する。
一方、ステップＳ１３にて、被写体検出処理の終了指示が入力されたと判定されると（ステップＳ１３；ＹＥＳ）、中央制御部１１は、被写体検出処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、撮像された画像から生成された所定数のフレーム画像Ｆの各々から検出された所定フレーム数の被写体画像Ｓの画像データをまとめることにより、所定フレーム数の被写体画像を代表する代表画像データＤを生成し、この代表画像データＤの生成に用いられた一の被写体画像Ｓの画像データの当該代表画像データＤに対する変化の度合いを算出する。具体的には、撮像装置１００は、代表画像データＤの生成に用いられた所定フレーム数の被写体画像Ｓの画像データの中で、当該代表画像データＤの生成に用いられた一の被写体画像Ｓの画像データと類似する類似画像Ｒの画像データを特定し、一の被写体画像Ｓの画像データの類似画像Ｒの画像データに対する変化の度合いを算出する。
そして、撮像装置１００は、算出された一の被写体画像Ｓの画像データの当該代表画像データＤに対する変化の度合いに基づいて、代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を制御するので、動きのある被写体であっても処理対象の被写体画像Ｓの画像データの代表画像データＤに対する変化の度合いに基づいて、代表画像データＤの生成に係る被写体画像Ｓの画像データのフレーム数を制御することで、被写体画像である確率の高い領域が複数検出されることを防止することができる。具体的には、撮像装置１００は、算出された変化の度合いが所定の閾値以上であると判定されると、今後の代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を所定の基準フレーム数から減少させるので、代表画像データＤの生成に係る被写体画像Ｓの画像データの検出対象のフレーム画像Ｆとして、最も新しいフレーム画像Ｆに対してより古い所定数のフレーム画像Ｆを除外して、より新しい所定数のフレーム画像Ｆのみ（最も新しいフレームＦ近傍の所定数のフレーム画像Ｆ）から検出された被写体画像Ｓの画像データを用いて代表画像データＤを生成することができる。
つまり、動きのある被写体の場合、最も新しいフレーム画像Ｆから検出された被写体画像Ｓの位置やサイズと、所定フレーム前のフレーム画像Ｆから検出された被写体画像Ｓの位置やサイズが大きく変化してしまう場合があり、このような場合に、代表画像データＤの生成に係る被写体画像Ｓの画像データのフレーム数を制御することで、所定フレーム前のフレーム画像Ｆから検出された被写体画像Ｓの画像データに基づいて被写体画像である確率の高い領域が検出されることを防止することができる。
従って、動きのある被写体であってもフレーム画像Ｆから被写体画像Ｓを精度良く検出することができる。

さらに、代表画像データＤに対応する被写体画像Ｓを識別表示するための識別情報、即ち、例えば、被写体画像Ｓの画像領域の縁部に重畳表示される検出枠Ｗ等を設定する場合に、識別情報が複数設定されたりずれてしまうことを防止することができ、検出された被写体画像Ｓをユーザに対して適正に認識させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、被写体検出処理（図２参照）にて、フレーム画像Ｆ内の特定の被写体画像Ｓとして人の顔画像を検出するようにしたが、一例であってこれに限られるものではなく、特定の被写体画像Ｓは適宜任意に変更可能である。

また、上記実施形態にあっては、識別情報設定部６を備え、検出された被写体画像Ｓを識別表示するための識別情報（例えば、検出枠Ｗ等）を設定するようにしたが、識別情報設定部６を備えるか否か、即ち、被写体検出部５ｂにより検出された被写体画像Ｓを識別表示するための識別情報を設定するか否かは適宜任意に変更可能である。

さらに、上記実施形態にあっては、被写体画像Ｓの画像データの代表画像データＤに対する変化の度合いを算出する上で、被写体画像Ｓの画像データに類似する類似画像Ｒの画像データを特定するようにしたが、当該変化の度合いの算出方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、必ずしも処理対象の被写体画像Ｓの画像データの類似画像Ｒの画像データに対する変化の度合いを、被写体画像Ｓの画像データの代表画像データＤに対する変化の度合いとして算出する必要はない。
加えて、当該撮像装置１００の動きを検出する検出手段（例えば、加速度センサ等）を具備し、上記の変化の度合いの算出の際に、検出手段により検出された当該撮像装置１００の動きを基準として変化の度合いを算出しても良い。

また、上記実施形態にあっては、判定部５ｆを具備し、被写体画像Ｓの画像データの代表画像データＤに対する変化の度合いが所定の閾値以上であると判定された場合に、代表画像データＤの生成に用いられる被写体画像Ｓの画像データのフレーム数を制御するようにしたが、当該制御の手法は一例であってこれに限られるものではなく、適宜任意に変更可能である。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体検出装置として、撮像装置１００を例示したが、これに限られるものではない。即ち、処理対象となるフレーム画像Ｆとして、撮像画像から生成された画像を例示したが、撮像装置１００とは異なる装置から被写体検出装置を構成する場合、所定の取得手段により逐次取得されるフレーム画像Ｆであれば良い。

加えて、上記実施形態にあっては、取得手段、検出手段、生成手段、算出手段、制御手段としての機能を、中央制御部１１の制御下にて、画像処理部５の画像取得部５ａ、被写体検出部５ｂ、代表画像生成部５ｃ、変化度合算出部５ｅ、フレーム数制御部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、検出処理ルーチン、生成処理ルーチン、算出処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１１のＣＰＵを、フレーム画像Ｆを逐次取得する取得手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１１のＣＰＵを、取得手段により逐次取得されたフレーム画像から被写体画像Ｓを夫々検出する検出手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部１１のＣＰＵを、検出手段により夫々検出された被写体画像Ｓの中から、所定フレーム数の被写体画像Ｓのデータをまとめることにより、所定フレーム数の被写体画像Ｓを代表する代表画像データを生成する生成手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部１１のＣＰＵを、生成手段により代表画像データＤの生成に用いられた一の被写体画像Ｓのデータの当該代表画像データＤに対する変化の度合いを算出する算出手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１１のＣＰＵを、算出手段により算出された変化の度合いに基づいて、生成手段による代表画像データＤの生成に用いられる被写体画像Ｓのデータのフレーム数を制御する制御手段として機能させるようにしても良い。

同様に、特定手段、判定手段についても、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００ 撮像装置
４ メモリ
４ａ 検出結果格納部
４ｂ 統合結果格納部
５ 画像処理部
５ａ 画像取得部
５ｂ 被写体検出部
５ｃ 代表画像生成部
５ｄ 類似画像特定部
５ｅ 変化度合算出部
５ｆ 判定部
５ｇ フレーム数制御部
６ 識別情報設定部
１１ 中央制御部

Claims (9)

1. フレーム画像を逐次取得する取得手段と、
   前記取得手段により逐次取得された複数のフレーム画像に対し複数種の識別情報の各々を照合することで、複数の被写体画像を検出する検出手段と、
   前記検出手段により検出された複数の被写体画像の中から、前記複数種の識別情報による照合対象の複数のフレーム数の前記被写体画像の位置、及び／又は、サイズの情報を統合する統合手段と、
   前記統合手段による統合結果の位置、及び／又は、サイズの情報と当該統合結果の位置、及び／又は、サイズの情報とは異なる時点で前記統合手段により統合された位置、及び／又は、サイズの情報との間の変化の度合いを算出する算出手段と、
   前記算出手段により算出された前記変化の度合いに基づいて、前記統合手段による統合対象の前記複数のフレーム数を制御する制御手段と、
   を備えたことを特徴とする被写体検出装置。
2. 前記算出手段により算出された前記変化の度合いが所定の閾値以上であるか否かを判定する判定手段を更に備え、
   前記制御手段は、更に、
   前記判定手段により前記変化の度合いが所定の閾値以上であると判定された場合に、前記統合手段による統合対象の前記複数のフレーム数を減少させるよう制御することを特徴とする請求項１に記載の被写体検出装置。
3. 前記統合手段は、前記所定フレーム数毎に被写体画像のデータを統合し、
   前記算出手段は、前記統合手段により前記複数のフレーム数毎の統合結果どうしにおける被写体画像の変化度合いを逐次算出することを特徴とする請求項１又は２に記載の被写体検出装置。
4. 前記取得手段により逐次取得されたフレーム画像に対応するライブビュー画像を表示手段に表示させる第１の表示制御手段と、
   前記第１の表示制御手段により前記表示手段に表示されたライブビュー画像における前記統合手段による統合結果の位置、及び／又は、サイズの情報に対応する位置に前記被写体の識別情報を表示させる第２の表示制御手段と、
   を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の被写体検出装置。
5. 前記被写体画像を識別表示するための前記識別情報を設定する設定手段を更に備えることを特徴とする請求項１〜４の何れか一項に記載の被写体検出装置。
6. 前記設定手段は、前記識別情報として、前記被写体画像に重畳して表示される所定の検出枠を設定することを特徴とする請求項５に記載の被写体検出装置。
7. 前記フレーム画像は、撮像画像から生成された画像であることを特徴とする請求項１〜６の何れか一項に記載の被写体検出装置。
8. 被写体検出装置を用いた被写体検出方法であって、
   フレーム画像を逐次取得するステップと、
   逐次取得された複数のフレーム画像に対し複数種の識別情報の各々を照合することで、複数の被写体画像を検出するステップと、
   検出された複数の被写体画像の中から、前記複数種の識別情報による照合対象の複数のフレーム数の前記被写体画像の位置、及び／又は、サイズの情報を統合する統合ステップと、
   統合結果の位置、及び／又は、サイズの情報と当該統合結果の位置、及び／又は、サイズの情報とは異なる時点で統合された位置、及び／又は、サイズの情報との間の変化の度合いを算出するステップと、
   算出された前記変化の度合いに基づいて、前記統合ステップによる統合対象の前記複数のフレーム数を制御するステップと、
   を含むことを特徴とする被写体検出方法。
9. コンピュータを、
   フレーム画像を逐次取得する取得手段、
   前記取得手段により逐次取得された複数のフレーム画像に対し複数種の識別情報の各々を照合することで、複数の被写体画像を検出する検出手段、
   前記検出手段により検出された複数の被写体画像の中から、前記複数種の識別情報による照合対象の複数のフレーム数の前記被写体画像の位置、及び／又は、サイズの情報を統合する統合手段、
   前記統合手段による統合結果の位置、及び／又は、サイズの情報と当該統合結果の位置、及び／又は、サイズの情報とは異なる時点で前記統合手段により統合された位置、及び／又は、サイズの情報との間の変化の度合いを算出する算出手段、
   前記算出手段により算出された前記変化の度合いに基づいて、前記統合手段による統合対象の前記複数のフレーム数を制御する制御手段、
   として機能させることを特徴とするプログラム。

Images