JP5939705B2 - 被写体判定装置、被写体判定方法及びプログラム - Google Patents

Description

本発明は、被写体判定装置、被写体判定方法及びプログラムに関する。

従来、撮像に基づいて逐次取得されたフレーム画像から顔検出を行う技術が知られている（例えば、特許文献１参照）。

特開２００５−３１８５１５号公報

しかしながら、上記特許文献１の場合、特定の被写体であるか否かの判定値を厳しくすることで当該特定の被写体の誤検出の低減を図ることができるものの、当該特定の被写体の検出率も低下してしまうといった問題がある。

そこで、本願発明の課題は、特定の被写体の検出率を低下させることなく、当該特定の被写体の誤検出の低減を図ることができる被写体判定装置、被写体判定方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る被写体判定装置は、
フレーム画像を逐次取得する第１の取得手段と、前記第１の取得手段により取得された第１のフレーム画像における所定の被写体の画像の候補領域と当該所定の被写体との第１の類似度が第１の閾値以上であるか前記第１の閾値未満かを判定する第１閾値判定手段と、前記第１閾値判定手段により前記第１の類似度が前記第１の閾値以上であると判定された場合、前記候補領域を、前記所定の被写体の画像であると判定する第１の被写体判定手段と、前記第１閾値判定手段により前記第１の類似度が前記第１の閾値未満であると判定された場合、前記第１の取得手段により取得された複数のフレーム画像のうち、前記第１のフレーム画像よりも所定フレーム数前に取得された第２のフレーム画像における前記候補領域に対応する領域の情報を取得する第２の取得手段と、前記第２の取得手段により取得された前記候補領域に対応する領域の情報から、前記候補領域が前記所定の被写体の画像であると判定する第２の被写体判定手段と、を備えたことを特徴としている。

また、本発明に係る被写体判定方法は、
フレーム画像を逐次取得する処理と、取得された第１のフレーム画像における所定の被写体の画像の候補領域と当該所定の被写体との第１の類似度が第１の閾値以上であるか前記第１の閾値未満かを判定する処理と、前記第１の類似度が前記第１の閾値以上であると判定された場合、前記候補領域を、前記所定の被写体の画像であると判定する処理と、前記第１閾値判定手段により前記第１の類似度が前記第１の閾値未満であると判定された場合、前記第１のフレーム画像よりも所定フレーム数前に取得された第２のフレーム画像における前記候補領域に対応する領域の情報を取得する処理と、取得された前記候補領域に対応する領域の情報から、前記候補領域が前記所定の被写体の画像であると判定する処理と、を含むことを特徴とする。

また、本発明に係るプログラムは、
コンピュータを、フレーム画像を逐次取得する第１の取得手段、前記第１の取得手段により取得された第１のフレーム画像における所定の被写体の画像の候補領域と当該所定の被写体との第１の類似度が第１の閾値以上であるか前記第１の閾値未満かを判定する第１閾値判定手段、前記第１閾値判定手段により前記第１の類似度が前記第１の閾値以上であると判定された場合、前記候補領域を、前記所定の被写体の画像であると判定する第１の被写体判定手段、前記第１閾値判定手段により前記第１の類似度が前記第１の閾値未満であると判定された場合、前記第１の取得手段により取得された複数のフレーム画像のうち、前記第１のフレーム画像よりも所定フレーム数前に取得された第２のフレーム画像における前記候補領域に対応する領域の情報を取得する第２の取得手段、前記第２の取得手段により取得された前記候補領域に対応する領域の情報から、前記候補領域が前記所定の被写体の画像であると判定する第２の被写体判定手段、として機能させることを特徴としている。

本発明によれば、特定の被写体の検出率を低下させることなく、当該特定の被写体の誤検出の低減を図ることができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体検出処理に係る動作の一例を示すフローチャートである。 図２の被写体検出処理に係るフレーム画像の一例を模式的に示す図である。 図３のフレーム画像の縮小画像を模式的に示す図である。 図３のフレーム画像に係る識別対象領域の一例を模式的に示す図である。 図２の被写体検出処理に係る類似評価値算出部のサブ識別器の構成の一例を模式的に示す図である。 図２の被写体検出処理に係る特定の被写体画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、特定の被写体画像の候補領域Ａの類似度が第１の閾値未満であると判定された場合に、当該類似度が第２の閾値以上であるか否かを判定し、特定の被写体画像の候補領域Ａの類似度が第２の閾値以上であると判定された場合に、一のフレーム画像よりも所定フレーム数前に取得された他のフレーム画像における当該特定の被写体画像の候補領域Ａに対応する領域Ｂの画像と所定の基準画像との類似度合に関連する類似度合情報を取得する。そして、撮像装置１００は、取得された類似度合情報を基準として、一のフレーム画像における領域Ｂに対応する特定の被写体画像の候補領域Ａが特定の被写体画像の画像領域Ｄとして特定されるべきであるか否かを判定する。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、識別情報設定部６と、記録媒体制御部７と、表示制御部８と、表示部９と、操作入力部１０と、中央制御部１１とを備えている。

撮像部１は、撮像手段として、被写体を撮像してフレーム画像Ｆを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂとを備えている。

レンズ部１ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部１は、レンズ部１ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、所定周期毎に光学像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像Ｆを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。

画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像Ｆのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。このように、画像データ生成部３は、撮像画像からフレーム画像Ｆの画像データを生成する。
また、画像データ生成部３は、生成したフレーム画像ＦのＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度（例えば、ＶＧＡやＱＶＧＡサイズ等）の画像データを生成する。具体的には、画像データ生成部３は、表示部９によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像ＦのＹＵＶデータからライブビュー表示用の低解像度の画像データを生成する。
なお、生成された画像データ（ＹＵＶデータ）は、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像データ生成部３、画像処理部５、識別情報設定部６、中央制御部１１等によって処理されるデータ等を一時記憶する。具体的には、メモリ４は、画像データ生成部３により生成された所定フレーム数分のフレーム画像Ｆのライブビュー表示用の画像データを一時記憶する。

また、メモリ４は、後述する被写体検出処理に係る類似度合情報を一時的に格納するための関連情報格納部４ａを具備している。
関連情報格納部４ａは、例えば、リングバッファから構成され、画像処理部５の類似評価値算出部５ｃにより算出された所定フレーム数分のフレーム画像Ｆにおける特定の被写体画像の候補領域Ａ（図７（ａ）参照）の画像と所定の基準画像との類似度合に関連する類似度合情報をデータ履歴として順次格納する。ここで、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム）前に画像データ生成部３により生成された他のフレーム画像Ｆｍにおける複数の候補領域Ａ、…のうち、一のフレーム画像Ｆｎにおける候補領域Ａの座標（例えば、中心や矩形領域の四隅等の座標）に対応する座標を有する領域は、特定の被写体画像の候補領域Ａに対応する領域Ｂ（図７（ｂ）参照）となる。
また、類似度合情報としては、他のフレーム画像Ｆｍにおける特定の被写体画像の候補領域Ａ（領域Ｂを含む）の画像と所定の基準画像との類似度に係る評価値、当該候補領域ＡのＸＹ平面空間での座標位置、当該候補領域Ａを構成する画素数等により規定された大きさ、特定の被写体画像のＸＹ平面空間に対する向き、当該候補領域Ａの特定に用いられた各フレーム画像Ｆの複数の縮小画像データＲ、…の略等しい位置で検出された仮候補領域（後述）の個数等が挙げられる。
なお、特定の被写体画像の向きは、例えば、特定の被写体画像として顔画像の検出に用いられるサブ検出器（後述）が顔の向きに応じて設けられている場合には、当該サブ検出器の種類に応じて規定されても良い。

このように、関連情報格納部４ａは、他のフレーム画像Ｆｍにおける予め算出された特定の被写体画像の候補領域Ａに対応する領域Ｂの画像と所定の基準画像との類似度を記憶する第１記憶手段を構成している。また、関連情報格納部４ａは、略等しい位置で複数の縮小画像から検出された特定の被写体画像の仮候補領域の個数を記憶する第２記憶手段を構成している。

画像処理部５は、画像取得部５ａと、縮小画像生成部５ｂと、類似評価値算出部５ｃと、第１類似度判定部５ｄと、第２類似度判定部５ｅと、関連情報取得部５ｆと、被写体判定部５ｇと、画像領域特定部５ｈとを具備している。

画像取得部５ａは、フレーム画像Ｆを逐次取得する。
即ち、画像取得部５ａは、画像データ生成部３により所定のタイミングで生成されたフレーム画像Ｆのライブビュー表示用の画像データ（例えば、輝度信号Ｙのデータ等）をメモリ４から逐次取得する。
ここで、画像取得部５ａは、フレーム画像Ｆを逐次取得する取得手段を構成している。

縮小画像生成部５ｂは、フレーム画像Ｆの画像データから縮小画像データＲを生成する。
即ち、縮小画像生成部５ｂは、画像縮小手段として、画像取得部５ａにより逐次取得された各フレーム画像Ｆを所定の比率で順次縮小して縮小画像を順次生成する。具体的には、縮小画像生成部５ｂは、各フレーム画像Ｆの画像データに基づいて、当該画像データの水平（ｘ軸）及び垂直（ｙ軸）の各方向の画素を所定の比率（例えば、０．９倍）ずつ縮小することで解像度を段階的に低減させた縮小画像データＲを順次生成する（図４（ａ）〜図４（ｆ）参照）。
なお、縮小画像データＲの生成数（縮小回数）は、入力される輝度データのサイズや特定の被写体画像の画像領域Ｄ（図７（ｃ）参照）の識別精度等を考慮して適宜任意に変更可能である。

類似評価値算出部５ｃは、フレーム画像Ｆの特定の被写体画像の候補領域Ａの画像と所定の基準画像との類似度に係る評価値を算出する。
即ち、類似評価値算出部５ｃは、画像取得部５ａにより逐次取得された各フレーム画像Ｆの画像データや縮小画像生成部５ｂにより生成された縮小画像データＲの各々に対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を施して、特定の被写体画像の候補領域Ａ（図７（ｃ）中の検出枠Ｗｂに対応する領域）を複数抽出する。そして、類似評価値算出部５ｃは、例えば、各候補領域Ａの画像データと所定の基準画像の画像データとの類似度に係る評価値を算出する。
具体的には、類似評価値算出部５ｃは、仮候補検出部ｃ１と、候補領域特定部ｃ２とを具備している。

仮候補検出部ｃ１は、検出手段として、縮小画像生成部５ｂにより順次生成された複数の縮小画像データＲ、…の各々から特定の被写体画像の仮候補領域を検出する。
即ち、仮候補検出部ｃ１は、例えば、一のフレーム画像Ｆｎの解像度を所定段階低減させた縮小画像データＲから、所定サイズ（例えば、24×24画素）の識別対象領域Ｃを複数生成する（図５参照）。そして、仮候補検出部ｃ１は、例えば、各識別対象領域Ｃの画像データと所定の基準画像の画像データとの類似度に係る評価値をadaboost（アダブースト）出力計算を用いて算出する。

具体的には、仮候補検出部ｃ１は、識別対象領域Ｃと所定の基準画像との類似度を算出して顔であるか否かを判断するための複数のサブ識別器を具備している。これらのサブ識別器は、例えば、顔の向き（角度）毎（例えば、正面顔や左右横顔等）に設けられている。
また、これらのサブ識別器が複数（例えば、２０）のステージに分けて規定されている。例えば、サブ識別器部は、第１ステージに２つ、第２ステージに５つ、第３ステージに１０、第４ステージに２０といったように、各ステージに所定個数のサブ識別器が規定されている。なお、より低い（数値の小さい）ステージに規定されているサブ識別器ほど、顔であるか否かの判断の信頼度がより高く設定されても良い。
そして、仮候補検出部ｃ１は、識別対象領域Ｃの画像データを、ステージ順に各ステージのサブ識別器に入力していく。仮候補検出部ｃ１は、一のステージの全てのサブ識別器にて顔であると判断された画像データ（図６における「Ｔ」）を次のステージのサブ識別器に入力する一方で、顔でないと判断された画像データ（図６における「Ｆ」）のそれ以降の識別を中止する。仮候補検出部ｃ１は、各識別対象領域Ｃについて、サブ識別器の識別結果に従って評価値を算出する。具体的には、仮候補検出部ｃ１は、各識別対象領域Ｃについて、複数のサブ識別器を規定する複数のステージの通過数、即ち、各ステージに規定されている全てのサブ識別器にて顔であると判断された場合には、当該ステージを通過して次のステージに受け渡されるが、通過した全てのステージに規定されているサブ識別器の個数を加算した値を評価値として算出する。一方、ステージの通過数が「０」の場合（第１ステージを通過できずに第２ステージに受け渡されなかった場合）、仮候補検出部ｃ１は、例えば、負の値など所定の最低値を評価値として算出する。
そして、仮候補検出部ｃ１は、評価値が所定の値（例えば、０「ゼロ」）よりも大きい識別対象領域Ｃや、当該識別対象領域Ｃを含む所定範囲の領域を特定の被写体画像の仮候補領域（図７（ａ）における各仮検出枠Ｗａに対応する領域）として検出する。

例えば、図６に示すように、仮候補検出部ｃ１は、第１ステージの２つのサブ識別器に所定の順序で識別対象領域Ｃの画像データを入力し、これら２つのサブ識別器の両方にて顔であると判断された識別対象領域Ｃの画像データを、次のステージである第２ステージのサブ識別器に入力する。一方、第１ステージの２つ目のサブ識別器までに仮候補検出部ｃ１により算出された類似度が予め設定された閾値未満と判断されると、仮候補検出部ｃ１は、当該画像データのそれ以降の識別を中止して、所定の負の値を評価値として算出する。具体的には、例えば、第１ステージのサブ識別器は、青空や無地の背景部分といった輝度変化の少ない画像領域を判断するものであり、当該第１ステージにて、青空や無地の背景部分といった輝度変化の少ない画像領域であると判断されると、それ以降の顔であるか否かの識別が中止される。
また、仮候補検出部ｃ１は、第１ステージにて顔であると判断された識別対象領域Ｃの画像データについて、第１ステージと同様に、第２ステージの５つのサブ識別器に所定の順序で入力し、１つ目のサブ識別器から５つ目のサブ識別器までに算出された類似度が予め設定された閾値以上と判断された画像データを、次のステージである第３ステージのサブ識別器に入力する。一方、第２ステージの１つ目のサブ識別器から５つ目のサブ識別器までに仮候補検出部ｃ１により算出された類似度が予め設定された閾値未満と判断されると、仮候補検出部ｃ１は、当該画像データのそれ以降の識別を中止して、通過済みの一つ前のステージ（第１ステージ）までのサブ識別器の総数（第１ステージのみ通過している場合、「２」）を評価値として算出する。
仮候補検出部ｃ１は、第３ステージ以降についても上記と同様にして類似度を算出していく。つまり、より顔であると判断される可能性の高い画像領域ほど、より先のステージのサブ識別器に入力される。

なお、類似評価値算出部５ｃによる類似度の算出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、顔の向きに応じて評価値の算出に係るサブ識別器の個数等を異ならせるようにしても良い（例えば、正面顔の評価値が高く、顔が横を向いたり下を向いた場合には、評価値が低くなる等）。

また、所定の基準画像の画像データは、例えば、画像処理部５の一時記憶手段（図示略）に記憶された情報であり、識別対象領域Ｃについて特定の被写体であるか否かを判定するための各種の識別用情報である。識別用情報は、例えば、ニューラルネット、アダブースト、サポートベクターマシン等の所定のサブ識別器に入力される識別対象領域Ｃについて、特定の被写体画像（例えば、顔等）であるか否かを判定するための各種の情報である。
なお、識別用情報としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするもの等であっても良い。
また、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

候補領域特定部ｃ２は、候補特定手段として、仮候補検出部ｃ１により各フレーム画像Ｆの略等しい位置で複数の縮小画像データＲ、…から検出された特定の被写体画像の仮候補領域に基づいて、当該フレーム画像Ｆにおける特定の被写体画像の候補領域Ａを特定する。
即ち、候補領域特定部ｃ２は、各フレーム画像Ｆの複数の縮小画像データＲ、…から特定の被写体画像の仮候補領域が検出された場合に、検出された所定数の特定の被写体画像の仮候補領域のＸＹ平面空間での座標位置、大きさ（構成画素数）等に基づいて、これらの仮候補領域を統合して各フレーム画像Ｆにおける特定の被写体画像の候補領域Ａ（図７（ｃ）中の検出枠Ｗｂに対応する領域）を特定する。具体的には、候補領域特定部ｃ２は、ＸＹ平面空間の略等しい位置（例えば、複数の縮小画像の垂直及び水平の各方向のサイズを揃えた状態で、中心座標のずれ量が所定画素数以内等）で複数の縮小画像データＲ、…から検出された複数の仮候補領域の大きさを基準として所定の演算（例えば、重み付け平均等）を行って、当該複数の仮候補領域の大きさを代表する特定の被写体画像の候補領域Ａの大きさを特定する。また、候補領域特定部ｃ２は、統合に用いられた複数の仮候補領域の評価値を基準として所定の演算を行って、当該複数の仮候補領域の評価値を代表する特定の被写体画像の候補領域Ａの評価値を算出する。また、候補領域特定部ｃ２は、統合に用いられた複数の仮候補領域の座標位置を基準として所定の演算を行って、当該複数の仮候補領域の位置を代表する特定の被写体画像の候補領域Ａの位置（例えば、中心座標等）を特定する。
なお、候補領域特定部ｃ２により特定された特定の被写体画像の候補領域Ａの評価値、位置、大きさ等は、類似度合情報としてメモリの４の関連情報格納部４ａに格納される。

また、候補領域特定部ｃ２は、複数の仮候補領域の評価値に基づいて当該特定の被写体画像の候補領域Ａの評価値を算出するようにしたが、例えば、ＸＹ平面空間の略等しい位置の複数の仮候補領域を代表する特定の被写体画像の候補領域Ａの画像データと所定の基準画像の画像データとの類似度に係る評価値をadaboost（アダブースト）出力計算を用いて算出するようにしても良い。
また、候補領域特定部ｃ２は、仮候補検出部ｃ１により検出された複数の仮候補領域に基づいて特定の被写体画像の候補領域Ａを特定するのではなく、画像取得部５ａにより取得された各フレーム画像Ｆから直接特定の被写体画像の候補領域Ａを特定するようにしても良い。

第１類似度判定部５ｄは、一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域Ａの評価値が第１の閾値以上であるか否かを判定する。
即ち、第１類似度判定部５ｄは、第１類似度判定手段として、画像取得部５ａにより取得された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域Ａの画像と当該特定の被写体画像の判定基準となる所定の基準画像との類似度に係る評価値が、第１の閾値以上であるか否かを判定する。具体的には、第１類似度判定部５ｄは、類似評価値算出部５ｃにより算出された一のフレーム画像Ｆｎの特定の被写体画像の候補領域Ａの各々の評価値が第１の閾値以上であるか否かを判定する。
なお、第１の閾値や後述する第２の閾値は、例えば、ユーザによる操作入力部１０の所定操作に基づいて入力された所定の値であっても良いし、予めデフォルトとして設定されている所定の値等であっても良い。

第２類似度判定部５ｅは、一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域Ａの評価値が第１の閾値よりも小さい第２の閾値以上であるか否かを判定する。
即ち、第２類似度判定部５ｅは、第２類似度判定手段として、第１類似度判定部５ｄにより特定の被写体画像の候補領域Ａの評価値が第１の閾値未満であると判定された場合に、当該評価値が第１の閾値よりも小さい第２の閾値以上であるか否かを判定する。

関連情報取得部５ｆは、他のフレーム画像Ｆｍにおける領域Ｂの画像と所定の基準画像との類似度合に関連する類似度合情報を取得する。
即ち、関連情報取得部５ｆは、情報取得手段として、第２類似度判定部５ｅにより特定の被写体画像の候補領域Ａの画像の評価値が第２の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム数前に取得された他のフレーム画像Ｆｍにおける当該特定の被写体画像の候補領域Ａに対応する領域Ｂの画像と所定の基準画像との類似度合に関連する類似度合情報を取得する。
具体的には、関連情報取得部５ｆは、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム等）前に生成された他のフレーム画像Ｆｍ内で、第２類似度判定部５ｅにより評価値が第２の閾値以上であると判定された特定の被写体画像の候補領域Ａの座標に対応する座標を有する領域（領域Ｂ）を特定する（図７（ｂ）参照）。そして、関連情報取得部５ｆは、特定した領域Ｂの類似度合情報をメモリ４の関連情報格納部４ａから取得する。例えば、関連情報取得部５ｆは、類似度合情報として、領域Ｂの画像データと所定の基準画像の画像データとの類似度に係る評価値や、当該領域Ｂに対応する特定の被写体画像の候補領域Ａの特定に用いられた仮候補領域の個数等を関連情報格納部４ａから取得する。

なお、他のフレーム画像Ｆｍは、１フレームであっても良いし、複数フレームであっても良い。例えば、複数フレームの場合には、関連情報取得部は、１フレーム前のフレーム画像Ｆにおける領域Ｂの類似度合情報を取得して、後述する被写体判定部５ｇによる判定の結果、特定の被写体画像の候補領域Ａが特定の被写体画像の画像領域Ｄとして特定されるべきでないと判定された場合に、２フレーム前のフレーム画像Ｆにおける領域Ｂの類似度合情報を取得するといったように、順次１つ前のフレーム画像Ｆを処理対象とするようにしても良い。
或いは、関連情報取得部は、所定数のフレーム画像Ｆを処理対象として、各フレーム画像Ｆにおける領域Ｂの類似度合情報を取得して、後述する被写体判定部５ｇによって判定されるようにしても良い。

被写体判定部５ｇは、一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域Ａが、特定の被写体画像の画像領域Ｄとして特定されるべきであるか否かを判定する。
即ち、被写体判定部５ｇは、被写体判定手段として、関連情報取得部５ｆにより取得された類似度合情報に基づいて、候補領域Ａが特定の被写体画像の画像領域Ｄとして特定されるべきであるか否かを判定する。具体的には、被写体判定部５ｇは、関連情報取得部５ｆにより取得された類似度合情報としての領域Ｂの評価値が所定の判定値（例えば、少なくとも第２の閾値よりも大きい所定値等）以上であるか否かを判定する。また、被写体判定部５ｇは、関連情報取得部５ｆにより取得された類似度合情報としての仮候補領域の個数が所定の判定値（例えば、２個）以上であるか否かを判定する。
ここで、所定の判定値の例として２個としたが、顔検出に使用する識別器の個数や閾値等の条件により所定の判定値は任意の値に変更して良い。
そして、領域Ｂの評価値が所定の判定値以上であると判定され、且つ、仮候補領域の個数が所定の判定値以上であると判定された場合に、被写体判定部５ｇは、一のフレーム画像Ｆｎにおける領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定されるべきであると判定する。

なお、領域Ｂの評価値及び仮候補領域の個数のうち、何れか一方が所定の判定値以上であると判定された場合に、被写体判定部５ｇは、一のフレーム画像Ｆｎにおける領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定されるべきであると判定するようにしても良い。

画像領域特定部５ｈは、一のフレーム画像Ｆｎ内で特定の被写体画像の画像領域Ｄを特定する。
即ち、画像領域特定部５ｈは、被写体特定手段として、第１類似度判定部５ｄにより評価値が第１の閾値以上であると判定された特定の被写体画像の候補領域Ａ（例えば、候補領域Ａ１〜Ａ４等）を、特定の被写体画像の画像領域Ｄとして特定する（図７（ａ）及び図７（ｃ）参照）。
また、画像領域特定部５ｈは、被写体判定部５ｇにより評価値が所定の判定値以上であると判定された領域Ｂに対応する特定の被写体画像の候補領域Ａを、特定の被写体画像の画像領域Ｄとして特定する。また、画像領域特定部５ｈは、被写体判定部５ｇにより特定の被写体画像の仮候補領域の個数が所定の判定値以上であると判定された領域Ｂに対応する特定の被写体画像の候補領域Ａを、特定の被写体画像の画像領域Ｄとして特定する。
例えば、画像領域特定部５ｈは、被写体判定部５ｇにより評価値が所定の判定値以上であり、且つ、特定の被写体画像の仮候補領域の個数が所定の判定値以上であると判定された領域Ｂに対応する特定の被写体画像の候補領域Ａ（例えば、候補領域Ａ５等）を、特定の被写体画像の画像領域Ｄとして特定する（図７（ｂ）及び図７（ｃ）参照）。

なお、画像領域特定部５ｈによる特定の被写体画像の画像領域Ｄの特定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、画像領域特定部５ｈは、被写体判定部５ｇにより評価値が所定の判定値以上であると判定された領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定しても良いし、被写体判定部５ｇにより特定の被写体画像の仮候補領域の個数が所定の判定値以上であると判定された領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定しても良い。

識別情報設定部６は、特定の被写体画像を識別表示するための識別情報を設定する。
即ち、識別情報設定部６は、画像領域特定部５ｈにより特定の被写体画像の画像領域Ｄが特定されると、当該特定の被写体画像を識別表示する識別情報として、特定の被写体画像の画像領域Ｄの縁部に重畳して表示部９に表示される検出枠Ｗｂを設定する。
なお、特定の被写体画像の識別情報として、当該特定の被写体画像の画像領域Ｄの縁部に重畳して表示される検出枠Ｗｂを例示したが、一例であってこれに限られるものではなく、所定の識別標識など当該特定の被写体画像を識別表示するものであれば適宜任意に変更可能である。

記録媒体制御部７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部７は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示制御部８は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部９に表示させる制御を行う。
具体的には、表示制御部８は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。

表示部９は、例えば、液晶表示パネルであり、表示制御部８からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部９は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２により撮像され画像データ生成部３により生成された複数のフレーム画像Ｆ、…を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部９は、静止画として記録される画像のレックビュー画像を表示したり、動画として記録中の画像を表示する。

操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮像指示を入力するためのシャッタボタン、撮像モードや機能等の選択指示を入力するための選択決定用ボタン、ズーム量の調整指示を入力するためのズームボタン（何れも図示略）等を備え、これらのボタンのユーザによる操作に応じて所定の操作信号を中央制御部１１に出力する。

中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による被写体検出処理について、図２〜図７を参照して説明する。
図２は、被写体検出処理に係る動作の一例を示すフローチャートである。また、図３は、被写体検出処理に係る画像の一例を模式的に示す図である。図４は、フレーム画像Ｆの縮小画像を模式的に示す図である。図５は、フレーム画像Ｆに係る識別対象領域Ｃの一例を模式的に示す図である。図６は、被写体検出処理に係る類似評価値算出部５ｃのサブ識別器の構成の一例を模式的に示す図である。図７（ａ）〜図７（ｃ）は、被写体検出処理に係る特定の被写体画像（顔画像）の一例を模式的に示す図である。

なお、以下に説明する被写体検出処理は、ユーザによる操作入力部１０の所定操作に基づいて被写体検出モードが設定されている場合に、中央制御部１１の制御下にて実行される処理である。
また、以下の説明にあっては、フレーム画像Ｆ内に特定の被写体画像としての顔画像が含まれているフレーム画像Ｆを用いるものとする。

図２に示すように、先ず、中央制御部１１は、撮像部１による被写体の撮像により画像データ生成部３により逐次生成されたフレーム画像Ｆのライブビュー表示用の画像データをメモリ４に逐次格納して一時記憶させる（ステップＳ１）。
続けて、画像処理部５の画像取得部５ａは、表示部９による表示フレームレートに応じた所定のタイミングで、処理対象となる一のフレーム画像Ｆｎのライブビュー表示用の画像データをメモリ４から取得する（ステップＳ２）。

次に、縮小画像生成部５ｂは、画像取得部５ａにより取得された一のフレーム画像Ｆｎの画像データの水平及び垂直の各方向の画素を所定の比率（例えば、０．９倍）ずつ縮小することで解像度を段階的に低減させた縮小画像データＲ（Ｒ１〜Ｒ５、…）を順次生成する（ステップＳ３；図４（ａ）〜図４（ｆ）参照）。
続けて、類似評価値算出部５ｃの仮候補検出部ｃ１は、複数の縮小画像データＲ、…の各々から、所定サイズ（例えば、24×24画素）の識別対象領域Ｃを複数生成した後（ステップＳ４）、各識別対象領域Ｃの画像データと所定の基準画像の画像データとの類似度に係る評価値を算出する（ステップＳ５）。具体的には、仮候補検出部ｃ１は、例えば、adaboost出力計算を用いて、各識別対象領域Ｃの画像データについてのサブ識別器の識別結果に従って評価値を算出する（図５及び図６参照）。
そして、仮候補検出部ｃ１は、算出された評価値が所定の値（例えば、０「ゼロ」）よりも大きい識別対象領域Ｃを特定の被写体画像の仮候補領域として検出する（ステップＳ６）。ここで、図７（ａ）に示すように、各縮小画像データＲ内で識別された複数の特定の被写体画像の仮候補領域（例えば、顔領域）の各々に仮検出枠Ｗａが重畳された状態を模式的に示す。例えば、集合写真にて手前側にいる人など画像全体に対してより大きな面積の顔を有していたり、正面を向いている人は、縮小画像データＲを順次生成していった場合に、より小さい縮小画像データＲ内でも顔領域を識別可能となる。即ち、画像全体に対してより大きな面積の顔を有していたり、正面を向いている人は、より小さな面積の顔を有していたり、横を向いている人に比べて相対的に顔領域を識別し易くなって、より多くの仮検出枠Ｗａが重畳された状態となる。
なお、仮候補領域として検出された各識別対象領域Ｃの評価値は、メモリ４の関連情報格納部４ａに一時的に格納される。

次に、類似評価値算出部５ｃの候補領域特定部ｃ２は、各フレーム画像Ｆの複数の縮小画像データＲ、…から検出された特定の被写体画像の仮候補領域のＸＹ平面空間での座標位置、大きさ等に基づいて、これらの仮候補領域を統合して各フレーム画像Ｆにおける特定の被写体画像の候補領域Ａを特定する（ステップＳ７；図７（ａ）参照）。続けて、候補領域特定部ｃ２は、複数の仮候補領域の評価値を基準として所定の演算を行って特定の被写体画像の候補領域Ａの評価値を算出する（ステップＳ８）。
なお、算出された特定の被写体画像の候補領域Ａの評価値は、メモリ４の関連情報格納部４ａに一時的に格納される。

そして、第１類似度判定部５ｄは、類似評価値算出部５ｃにより算出された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域Ａの評価値が、第１の閾値以上であるか否かを判定する（ステップＳ９）。
ここで、特定の被写体画像の候補領域Ａの評価値が第１の閾値以上であると判定されると（ステップＳ９；ＹＥＳ）、画像領域特定部５ｈは、当該特定の被写体画像の候補領域Ａ（例えば、候補領域Ａ１〜Ａ４等）を特定の被写体画像の画像領域Ｄとして特定する（ステップＳ１０；図７（ａ）及び図７（ｃ）参照）。

一方、ステップＳ９にて、 特定の被写体画像の候補領域Ａ（例えば、候補領域Ａ５等）の評価値が第１の閾値未満であると判定されると（ステップＳ９；ＮＯ）、第２類似度判定部５ｅは、当該特定の被写体画像の候補領域Ａの評価値が第２の閾値以上であるか否かを判定する（ステップＳ１１）。
ここで、特定の被写体画像の候補領域Ａの評価値が第２の閾値以上であると判定されると（ステップＳ１１；ＹＥＳ）、関連情報取得部５ｆは、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム等）前に生成された他のフレーム画像Ｆｍ内で、評価値が第２の閾値以上であると判定された特定の被写体画像の候補領域Ａに対応する領域Ｂを特定して（ステップＳ１２；図７（ｂ）参照）、当該領域Ｂの類似度合情報をメモリ４の関連情報格納部４ａから取得する（ステップＳ１３）。具体的には、関連情報取得部５ｆは、類似度合情報として、領域Ｂの評価値や、当該領域Ｂに対応する被写体画像の候補領域Ａの特定に用いられた仮候補領域の個数等を関連情報格納部４ａから取得する。

そして、被写体判定部５ｇは、関連情報取得部５ｆにより取得された類似度合情報としての領域Ｂの評価値が所定の判定値以上であるか否か、及び、関連情報取得部５ｆにより取得された類似度合情報としての仮候補領域の個数が所定の判定値以上であるか否かを判定する（ステップＳ１４）。
ここで、領域Ｂの評価値が所定の判定値以上であり、且つ、仮候補領域の個数が所定の判定値以上であると判定されると（ステップＳ１４；ＹＥＳ）、画像領域特定部５ｈは、当該領域Ｂに対応する特定の被写体画像の候補領域Ａ、即ち、評価値が第２の閾値以上である特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定する（ステップＳ１５；図７（ｃ）参照）。

そして、ステップＳ１０及びステップＳ１５の後、識別情報設定部６は、一のフレーム画像Ｆｎにて画像領域特定部５ｈにより特定された特定の被写体画像の画像領域Ｄの縁部に重畳して検出枠Ｗｂを設定し、表示制御部８は、当該一のフレーム画像Ｆｎを表示部９にライブビュー表示させる。

その後、中央制御部１１は、被写体検出処理の終了指示が入力されたか否かを判定する（ステップＳ１６）。具体的には、中央制御部１１は、例えば、ユーザによる操作入力部１０のシャッタボタンの所定操作（例えば、全押し操作等）に基づいて被写体の撮像指示が入力されたか否かや、選択決定ボタンの所定操作に基づいて被写体検出モードとは異なるモードが設定されたか否か等に応じて、被写体検出処理の終了指示が入力されたか否かを判定する。
また、ステップＳ１１にて、特定の被写体画像の候補領域Ａの評価値が第２の閾値未満であると判定されるか（ステップＳ１１；ＮＯ）、又は、ステップＳ１４にて、領域Ｂの評価値が所定の判定値未満であると判定されるか、或いは、仮候補領域の個数が所定の判定値未満であると判定された場合にも（ステップＳ１４；ＮＯ）、中央制御部１１は、処理をステップＳ１６に移行して、被写体検出処理の終了指示が入力されたか否かを判定する（ステップＳ１６）。

ステップＳ１６にて、被写体検出処理の終了指示が入力されていないと判定されると（ステップＳ１６；ＮＯ）、中央制御部１１は、処理をステップＳ２に移行して、画像取得部５ａは、処理対象となる新たな一のフレーム画像のライブビュー表示用の画像データをメモリ４から取得する（ステップＳ２）。その後、中央制御部１１は、ステップＳ３以降の各処理を上記と同様にして実行する。
一方、被写体検出処理の終了指示が入力されたと判定されると（ステップＳ１６；ＹＥＳ）、中央制御部１１は、被写体検出処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、取得された一のフレーム画像Ｆｎ（例えば、撮像画像から生成されたライブビュー表示用の画像等）における特定の被写体画像（例えば、顔画像等）の候補領域Ａの画像と当該特定の被写体画像の判定基準となる所定の基準画像との評価値（類似度）が第１の閾値以上であると判定されると、当該特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定するので、より厳しい第１の閾値を設定して一のフレーム画像Ｆｎにて特定の被写体画像の候補領域Ａが特定の被写体画像の画像領域Ｄであるか否かを判定することができ、当該特定の被写体の誤検出を低減させることができる。
一方、特定の被写体画像の候補領域Ａの評価値が第１の閾値未満であると判定された場合には、当該評価値が第１の閾値よりも小さい第２の閾値以上であるか否かを判定し、特定の被写体画像の候補領域Ａの評価値が第２の閾値以上であると判定されると、一のフレーム画像Ｆｎよりも所定フレーム数前に取得された他のフレーム画像Ｆｍにおける当該特定の被写体画像の候補領域Ａに対応する領域Ｂの画像と所定の基準画像との類似度合に関連する類似度合情報を取得する。そして、取得された類似度合情報に基づいて、一のフレーム画像Ｆｎにおける領域Ｂに対応する特定の被写体画像の候補領域Ａが特定の被写体画像の画像領域Ｄとして特定されるべきであるか否かを判定するので、特定の被写体画像の候補領域Ａの評価値が第１の閾値未満であっても第２の閾値以上であれば、他のフレーム画像Ｆｍにおける当該特定の被写体画像の候補領域Ａに対応する領域Ｂの類似度合情報に基づいて、特定の被写体画像であるか否かを特定することができ、特定の被写体の検出率の低下を抑制することができる。
このように、より厳しい第１の閾値を設定することで当該閾値を用いて検出される特定の被写体の検出率が低下したとしても、特定の被写体画像の候補領域Ａの評価値が第２の閾値以上であれば、特定の被写体画像の画像領域Ｄとして特定される余地があるので、特定の被写体の検出率を低下させることなく、当該特定の被写体の誤検出の低減を図ることができる。

また、画像領域特定部５ｈは、領域Ｂの画像と所定の基準画像との評価値が所定の判定値以上であると判定された場合に、当該領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定するので、他のフレーム画像Ｆｍにおける評価値が所定の判定値以上である領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定することができ、特定の被写体の検出率の低下を適正に抑制することができる。
また、画像領域特定部５ｈは、領域Ｂに対応し、略等しい位置で複数の縮小画像から検出された特定の被写体画像の仮候補領域の個数が所定の判定値以上であると判定された場合に、当該領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定するので、他のフレーム画像Ｆｍにおける特定の被写体画像の仮候補領域の個数が所定の判定値以上である領域Ｂに対応する特定の被写体画像の候補領域Ａを特定の被写体画像の画像領域Ｄとして特定することができ、特定の被写体の検出率の低下を適正に抑制することができる。

また、略等しい位置で複数の縮小画像データＲ、…から検出された特定の被写体画像の仮候補領域に基づいて、当該フレーム画像Ｆにおける特定の被写体画像の候補領域Ａを特定するので、生成される縮小画像データＲの数を増減させることにより識別される仮候補領域の数の増減を調整することができ、画像内での特定の被写体画像の候補領域Ａの識別精度の変更や特定の被写体画像の画像領域Ｄの検出処理に係る時間の高速化等を図ることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、被写体検出処理（図２参照）にて、フレーム画像Ｆ内の特定の被写体画像として人の顔画像を検出するようにしたが、一例であってこれに限られるものではなく、特定の被写体画像は適宜任意に変更可能である。

また、上記実施形態にあっては、類似度合情報として、領域Ｂの画像と所定の基準画像との類似度に係る評価値や、略等しい位置で複数の縮小画像から検出された特定の被写体画像の仮候補領域の個数等を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

さらに、上記実施形態にあっては、識別情報設定部６を備え、特定された特定の被写体画像の画像領域Ｄを識別表示するための識別情報（例えば、検出枠Ｗｂ等）を設定するようにしたが、識別情報設定部６を備えるか否か、即ち、画像領域特定部５ｈにより特定された特定の被写体画像を識別表示するための識別情報を設定するか否かは適宜任意に変更可能である。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体特定装置として、撮像装置１００を例示したが、これに限られるものではない。即ち、処理対象となるフレーム画像Ｆとして、撮像画像から生成された画像を例示したが、撮像装置１００とは異なる装置から被写体特定装置を構成する場合、所定の取得手段により逐次取得されるフレーム画像Ｆであれば良い。
また、類似評価値算出部５ｃを備えるようにしたが、必ずしも当該類似評価値算出部５ｃを備える必要はなく、例えば、所定の取得手段がフレーム画像Ｆとともに特定の被写体画像の各候補領域の評価値を取得するようにしても良い。

加えて、上記実施形態にあっては、取得手段、第１類似度判定手段、被写体特定手段、第２類似度判定手段、情報取得手段、被写体判定手段としての機能を、中央制御部１１の制御下にて、画像処理部５の画像取得部５ａ、第１類似度判定部５ｄ、画像領域特定部５ｈ、第２類似度判定部５ｅ、関連情報取得部５ｆ、被写体判定部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１類似度判定処理ルーチン、被写体特定処理ルーチン、第２類似度判定処理ルーチン、情報取得処理ルーチン、被写体判定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１１のＣＰＵを、フレーム画像Ｆを逐次取得する取得手段として機能させるようにしても良い。また、第１類似度判定処理ルーチンにより中央制御部１１のＣＰＵを、取得手段により取得された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域Ａの画像と所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する第１類似度判定手段として機能させるようにしても良い。また、被写体特定処理ルーチンにより中央制御部１１のＣＰＵを、第１類似度判定手段により類似度が第１の閾値以上であると判定された候補領域Ａを、特定の被写体画像の画像領域Ｄとして特定する被写体特定手段として機能させるようにしても良い。また、第２類似度判定処理ルーチンにより中央制御部１１のＣＰＵを、第１類似度判定手段により類似度が第１の閾値未満であると判定された場合に、当該類似度が第１の閾値よりも小さい第２の閾値以上であるか否かを判定する第２類似度判定手段として機能させるようにしても良い。また、情報取得処理ルーチンにより中央制御部１１のＣＰＵを、第２類似度判定手段により候補領域Ａの類似度が第２の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム数前に取得された他のフレーム画像Ｆｍにおける候補領域Ａに対応する領域Ｂの画像と所定の基準画像との類似度合に関連する情報を取得する情報取得手段として機能させるようにしても良い。また、被写体判定処理ルーチンにより中央制御部１１のＣＰＵを、情報取得手段により取得された情報に基づいて、候補領域Ａが特定の被写体画像の画像領域Ｄとして特定されるべきであるか否かを判定する被写体判定手段として機能させるようにしても良い。

同様に、第１記憶制御手段、画像縮小手段、検出手段、第２記憶制御手段、候補特定手段についても、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
フレーム画像を逐次取得する取得手段と、
この取得手段により取得された一のフレーム画像における特定の被写体画像の候補領域の画像と所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する第１類似度判定手段と、
前記第１類似度判定手段により類似度が第１の閾値以上であると判定された候補領域を、前記特定の被写体画像の画像領域として特定する被写体特定手段と、
前記第１類似度判定手段により類似度が第１の閾値未満であると判定された場合に、当該類似度が前記第１の閾値よりも小さい第２の閾値以上であるか否かを判定する第２類似度判定手段と、
前記第２類似度判定手段により前記候補領域の類似度が第２の閾値以上であると判定された場合に、前記一のフレーム画像よりも所定フレーム数前に取得された他のフレーム画像における前記候補領域に対応する領域の画像と前記所定の基準画像との類似度合に関連する情報を取得する情報取得手段と、
前記情報取得手段により取得された情報に基づいて、前記候補領域が前記特定の被写体画像の画像領域として特定されるべきであるか否かを判定する被写体判定手段と、
を備えたことを特徴とする被写体特定装置。
＜請求項２＞
予め算出された前記候補領域に対応する領域の画像と前記所定の基準画像との類似度を記憶させる第１記憶制御手段を更に備え、
前記情報取得手段は、前記類似度合に関連する情報として、前記第１記憶制御手段により記憶された前記候補領域に対応する領域の類似度を取得し、
前記被写体判定手段は、前記候補領域に対応する領域の類似度が所定の判定値以上であるか否かを判定することで、前記候補領域が前記特定の被写体画像の画像領域として特定されるべきであるか否かを判定することを特徴とする請求項１に記載の被写体特定装置。
＜請求項３＞
前記取得手段により逐次取得された各フレーム画像を所定の比率で順次縮小して縮小画像を順次生成する画像縮小手段と、
前記画像縮小手段により順次生成された複数の縮小画像の各々から特定の被写体画像の仮候補領域を検出する検出手段と、
前記検出手段により略等しい位置で前記複数の縮小画像から検出された前記特定の被写体画像の仮候補領域の個数を記憶させる第２記憶制御手段とを更に備え、
前記情報取得手段は、前記類似度合に関連する情報として、前記第２記憶制御手段により記憶された前記領域に対応する仮候補領域の個数を取得し、
前記被写体判定手段は、前記領域に対応する被写体画像の仮候補領域の個数が所定の判定値以上であるか否かを判定することで、前記候補領域が前記特定の被写体画像の画像領域として特定されるべきであるか否かを判定することを特徴とする請求項１に記載の被写体特定装置。
＜請求項４＞
前記検出手段により略等しい位置で前記複数の縮小画像から検出された前記被写体画像の仮候補領域に基づいて、当該フレーム画像における被写体画像の候補領域を特定する候補特定手段を更に備えることを特徴とする請求項３に記載の被写体特定装置。
＜請求項５＞
前記特定の被写体画像は、顔が含まれる顔画像であることを特徴とする請求項１〜４の何れか一項に記載の被写体特定装置。
＜請求項６＞
前記フレーム画像は、撮像画像から生成された画像であることを特徴とする請求項１〜５の何れか一項に記載の被写体特定装置。
＜請求項７＞
被写体特定装置を用いた被写体特定方法であって、
フレーム画像を逐次取得する処理と、
取得された一のフレーム画像における特定の被写体画像の候補領域の画像と所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する処理と、
類似度が第１の閾値以上であると判定された候補領域を、前記特定の被写体画像の画像領域として特定する処理と、
前記候補領域の画像と前記所定の基準画像との類似度が第１の閾値未満であると判定された場合に、当該類似度が前記第１の閾値よりも小さい第２の閾値以上であるか否かを判定する処理と、
前記候補領域の画像と前記所定の基準画像との類似度が第２の閾値以上であると判定された場合に、前記一のフレーム画像よりも所定フレーム数前に取得された他のフレーム画像における前記候補領域に対応する領域の画像と前記所定の基準画像との類似度合に関連する情報を取得する処理と、
取得された類似度合に関連する情報に基づいて、前記候補領域が前記特定の被写体画像の画像領域として特定されるべきであるか否かを判定する処理と、
を含むことを特徴とする被写体特定方法。
＜請求項８＞
コンピュータを、
逐次取得された一のフレーム画像における特定の被写体画像の候補領域の画像と所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する第１類似度判定手段、
前記第１類似度判定手段により類似度が第１の閾値以上であると判定された候補領域を、前記特定の被写体画像の画像領域として特定する被写体特定手段、
前記第１類似度判定手段により類似度が第１の閾値未満であると判定された場合に、当該類似度が前記第１の閾値よりも小さい第２の閾値以上であるか否かを判定する第２類似度判定手段、
前記第２類似度判定手段により前記候補領域の類似度が第２の閾値以上であると判定された場合に、前記一のフレーム画像よりも所定フレーム数前に取得された他のフレーム画像における前記候補領域に対応する領域の画像と前記所定の基準画像との類似度合に関連する情報を取得する情報取得手段、
前記情報取得手段により取得された情報に基づいて、前記候補領域が前記特定の被写体画像の画像領域として特定されるべきであるか否かを判定する被写体判定手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
４ メモリ
４ａ 関連情報格納部
５ 画像処理部
５ａ 画像取得部
５ｂ 縮小画像生成部
５ｃ 類似評価値算出部
ｃ１ 仮候補検出部
ｃ２ 候補領域特定部
５ｄ 第１類似度判定部
５ｅ 第２類似度判定部
５ｆ 関連情報取得部
５ｇ 被写体判定部
５ｈ 画像領域特定部
１１ 中央制御部

Claims (10)

1. フレーム画像を逐次取得する第１の取得手段と、
   前記第１の取得手段により取得された第１のフレーム画像における所定の被写体の画像の候補領域と当該所定の被写体との第１の類似度が第１の閾値以上であるか前記第１の閾値未満かを判定する第１閾値判定手段と、
   前記第１閾値判定手段により前記第１の類似度が前記第１の閾値以上であると判定された場合、前記候補領域を、前記所定の被写体の画像であると判定する第１の被写体判定手段と、
   前記第１閾値判定手段により前記第１の類似度が前記第１の閾値未満であると判定された場合、前記第１の取得手段により取得された複数のフレーム画像のうち、前記第１のフレーム画像よりも所定フレーム数前に取得された第２のフレーム画像における前記候補領域に対応する領域の情報を取得する第２の取得手段と、
   前記第２の取得手段により取得された前記候補領域に対応する領域の情報から、前記候補領域が前記所定の被写体の画像であると判定する第２の被写体判定手段と、
   を備えたことを特徴とする被写体判定装置。
2. 前記第１の取得手段により取得された前記第１のフレーム画像における前記第１の類似度が前記第１閾値判定手段により前記第１の閾値未満であると判定された場合、更に、前記第１の類似度が前記第１の閾値より小さい第２の閾値以上であるか否かを判定する第２閾値判定手段を更に備え、
   前記第２の取得手段は、前記第１の類似度が第２閾値判定手段により前記第１の類似度が第２の閾値以上であると判定された場合に、前記第１のフレーム画像よりも所定フレーム数前に取得された第２のフレーム画像における前記候補領域に対応する領域の情報を取得することを特徴とする請求項１に記載の被写体判定装置。
3. 前記第２の取得手段は、前記候補領域に対応する領域の情報として、当該候補領域に対応する領域と前記所定の被写体との第２の類似度を取得することを特徴とする請求項１又は２に記載の被写体判定装置。
4. 予め算出された前記候補領域に対応する領域と前記所定の被写体との類似度を記憶させる第１記憶制御手段を更に備え、
   前記第２の取得手段は、前記第２の類似度として、前記第１記憶制御手段により記憶された前記候補領域に対応する領域と前記所定の被写体との類似度を取得し、
   前記第２の被写体判定手段は、前記候補領域に対応する領域と前記所定の被写体らしさとの類似度が前記第２の閾値以上であると判定することで、前記候補領域が前記所定の被写体の画像であると判定することを特徴とする請求項３に記載の被写体判定装置。
5. 前記第１の取得手段により逐次取得された各フレーム画像を所定の比率で順次縮小して縮小画像を順次生成する画像縮小手段と、
   前記画像縮小手段により順次生成された複数の縮小画像の各々から前記所定の被写体の画像の仮候補領域を検出する検出手段と、
   前記検出手段により略等しい位置で前記複数の縮小画像から検出された前記所定の被写体の画像の仮候補領域の個数を記憶させる第２記憶制御手段とを更に備え、
   前記第２の取得手段は、更に、前記第２記憶制御手段により記憶された前記領域に対応する仮候補領域の個数を前記候補領域に対応する領域の情報として取得し、
   前記第２の被写体判定手段は、更に、前記領域に対応する被写体の画像の仮候補領域の個数が所定の判定値以上であると判定することで、前記候補領域が前記所定の被写体の画像であると判定することを特徴とする請求項１から４の何れか一項に記載の被写体判定装置。
6. 前記検出手段により略等しい位置で前記複数の縮小画像から検出された前記被写体の画像の仮候補領域に基づいて、当該フレーム画像における被写体の画像の候補領域を特定する候補特定手段を更に備えることを特徴とする請求項５に記載の被写体判定装置。
7. 前記所定の被写体の画像は、顔が含まれる画像であることを特徴とする請求項１から６の何れか一項に記載の被写体判定装置。
8. 前記フレーム画像は、撮像画像から生成された画像であることを特徴とする請求項１から７の何れか一項に記載の被写体判定装置。
9. 被写体判定装置を用いた被写体判定方法であって、
   フレーム画像を逐次取得する処理と、
   取得された第１のフレーム画像における所定の被写体の画像の候補領域と当該所定の被写体との第１の類似度が第１の閾値以上であるか前記第１の閾値未満かを判定する処理と、
   前記第１の類似度が前記第１の閾値以上であると判定された場合、前記候補領域を、前記所定の被写体の画像であると判定する処理と、
   前記第１閾値判定手段により前記第１の類似度が前記第１の閾値未満であると判定された場合、前記第１のフレーム画像よりも所定フレーム数前に取得された第２のフレーム画像における前記候補領域に対応する領域の情報を取得する処理と、
   取得された前記候補領域に対応する領域の情報から、前記候補領域が前記所定の被写体の画像であると判定する処理と、
   を含むことを特徴とする被写体判定方法。
10. コンピュータを、
    フレーム画像を逐次取得する第１の取得手段、
    前記第１の取得手段により取得された第１のフレーム画像における所定の被写体の画像の候補領域と当該所定の被写体との第１の類似度が第１の閾値以上であるか前記第１の閾値未満かを判定する第１閾値判定手段、
    前記第１閾値判定手段により前記第１の類似度が前記第１の閾値以上であると判定された場合、前記候補領域を、前記所定の被写体の画像であると判定する第１の被写体判定手段、
    前記第１閾値判定手段により前記第１の類似度が前記第１の閾値未満であると判定された場合、前記第１の取得手段により取得された複数のフレーム画像のうち、前記第１のフレーム画像よりも所定フレーム数前に取得された第２のフレーム画像における前記候補領域に対応する領域の情報を取得する第２の取得手段、
    前記第２の取得手段により取得された前記候補領域に対応する領域の情報から、前記候補領域が前記所定の被写体の画像であると判定する第２の被写体判定手段、
    として機能させることを特徴とするプログラム。

Images