JP5510287B2 - 被写体検出装置、被写体検出方法及びプログラム - Google Patents
被写体検出装置、被写体検出方法及びプログラム Download PDFInfo
- Publication number
- JP5510287B2 JP5510287B2 JP2010260028A JP2010260028A JP5510287B2 JP 5510287 B2 JP5510287 B2 JP 5510287B2 JP 2010260028 A JP2010260028 A JP 2010260028A JP 2010260028 A JP2010260028 A JP 2010260028A JP 5510287 B2 JP5510287 B2 JP 5510287B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- frame
- equal
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本発明は、被写体検出装置、被写体検出方法及びプログラムに関する。
従来、撮像に基づいて逐次取得されたフレーム画像から顔検出を行う技術が知られている（例えば、特許文献１参照）。
しかしながら、上記特許文献１の技術では、一度顔ではない領域を検出してしまうと、その後のフレーム画像でも誤検出を継続してしまう虞があった。
そこで、本願発明の課題は、特定の被写体の誤検出を低減することができるので、特定の被写体の検出精度の向上を図ることができる被写体検出装置、被写体検出方法及びプログラムを提供することである。
上記課題を解決するため、請求項１に記載の発明の被写体検出装置は、
フレーム画像を逐次取得する取得手段と、この取得手段により取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段と、前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段と、この第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記第１の画像領域を、被写体画像として検出する検出手段と、を備え、前記第１の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、前記第２の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を被写体画像として検出することを特徴としている。
フレーム画像を逐次取得する取得手段と、この取得手段により取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段と、前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段と、この第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記第１の画像領域を、被写体画像として検出する検出手段と、を備え、前記第１の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、前記第２の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を被写体画像として検出することを特徴としている。
請求項２に記載の発明は、請求項１に記載の被写体検出装置において、
前記第２の画像領域と前記基準画像との類似度を記憶する記憶手段と、前記記憶手段に記憶された前記類似度を消去する消去手段と、を更に備え、前記第２の判定手段は、更に、前記記憶手段に記憶された前記類似度が第２の閾値以上であるか否かを判定し、
前記消去手段は、前記類似度が前記第２の閾値未満であると判定されると、前記記憶手段に記憶された前記類似度を消去することを特徴としている。
請求項３に記載の発明は、請求項１又は２に記載の被写体検出装置において、
前記第２の判定手段は、前記第１の判定手段により前記第１の画像領域と前記基準画像との類似度が第１の閾値以上であると判定された場合に、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であるか否かを判定することを特徴としている。
前記第２の画像領域と前記基準画像との類似度を記憶する記憶手段と、前記記憶手段に記憶された前記類似度を消去する消去手段と、を更に備え、前記第２の判定手段は、更に、前記記憶手段に記憶された前記類似度が第２の閾値以上であるか否かを判定し、
前記消去手段は、前記類似度が前記第２の閾値未満であると判定されると、前記記憶手段に記憶された前記類似度を消去することを特徴としている。
請求項３に記載の発明は、請求項１又は２に記載の被写体検出装置において、
前記第２の判定手段は、前記第１の判定手段により前記第１の画像領域と前記基準画像との類似度が第１の閾値以上であると判定された場合に、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であるか否かを判定することを特徴としている。
請求項４に記載の発明は、請求項１から３の何れか一項に記載の被写体検出装置において、前記第１の画像領域は、顔が含まれる画像であることを特徴としている。
請求項５に記載の発明は、請求項１から４の何れか一項に記載の被写体検出装置において、前記検出手段により検出された被写体画像を識別表示するための指標を設定する設定手段を更に備えることを特徴としている。
請求項６に記載の発明は、請求項１から５の何れか一項に記載の被写体検出装置において、前記フレーム画像は、撮像画像から生成された画像であることを特徴としている。
請求項７に記載の発明の被写体検出方法は、
被写体検出装置を用いた被写体検出方法であって、フレーム画像を逐次取得するステップと、取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定するステップと、前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定するステップと、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であると判定された前記以前に取得されたフレーム画像の領域に対応する第１の画像領域を、被写体画像として検出するステップと、を含み、前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、更に、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を新たな被写体画像として検出することを特徴としている。
被写体検出装置を用いた被写体検出方法であって、フレーム画像を逐次取得するステップと、取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定するステップと、前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定するステップと、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であると判定された前記以前に取得されたフレーム画像の領域に対応する第１の画像領域を、被写体画像として検出するステップと、を含み、前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、更に、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を新たな被写体画像として検出することを特徴としている。
請求項８に記載の発明のプログラムは、
コンピュータを、フレーム画像を逐次取得する取得手段、この取得手段により取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段、前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段、この第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記第１の画像領域を、被写体画像として検出する検出手段、として機能させ、前記第１の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、前記第２の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第２の判定手段により前記類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を新たな被写体画像として検出することを特徴としている。
コンピュータを、フレーム画像を逐次取得する取得手段、この取得手段により取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段、前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段、この第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記第１の画像領域を、被写体画像として検出する検出手段、として機能させ、前記第１の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、前記第２の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第２の判定手段により前記類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を新たな被写体画像として検出することを特徴としている。
本発明によれば、特定の被写体の誤検出を低減することができるので、当該特定の被写体の検出精度の向上を図ることができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、一のフレーム画像における特定の被写体画像の検出候補領域の画像と、当該特定の被写体画像の判定基準となる所定の基準画像との類似度が第１の閾値以上であるか否かを判定し、当該判定処理にて、検出候補領域Ａの画像の類似度が第１の閾値以上であると判定された場合に、一のフレーム画像よりも所定フレーム前の他のフレーム画像における当該検出候補領域に対応する対応領域の画像と、所定の基準画像との類似度が第２の閾値以上であるか否かを判定する。そして、撮像装置１００は、類似度が第２の閾値以上であると判定された一のフレーム画像における対応領域に対応する検出候補領域を、特定の被写体画像の画像領域として特定する。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、識別情報設定部６と、記録媒体制御部７と、表示制御部８と、表示部９と、操作入力部１０と、中央制御部１１とを備えている。
図１に示すように、撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、識別情報設定部６と、記録媒体制御部７と、表示制御部８と、表示部９と、操作入力部１０と、中央制御部１１とを備えている。
撮像部１は、撮像手段として、被写体を撮像してフレーム画像Ｆを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂとを備えている。
レンズ部１ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部１は、レンズ部１ａを通過する光の量を調整する絞りを備えていても良い。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部１は、レンズ部１ａを通過する光の量を調整する絞りを備えていても良い。
撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、所定周期毎に光学像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像Ｆを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。
画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像Ｆのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、画像データ生成部３は、生成したフレーム画像ＦのＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度（例えば、ＶＧＡやＱＶＧＡサイズ等）の画像データを生成する。具体的には、画像データ生成部３は、表示部９によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像ＦのＹＵＶデータからライブビュー表示用の低解像度の画像データを生成する。
カラープロセス回路から出力されるＹＵＶデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
また、画像データ生成部３は、生成したフレーム画像ＦのＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度（例えば、ＶＧＡやＱＶＧＡサイズ等）の画像データを生成する。具体的には、画像データ生成部３は、表示部９によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像ＦのＹＵＶデータからライブビュー表示用の低解像度の画像データを生成する。
カラープロセス回路から出力されるＹＵＶデータは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像データ生成部３、画像処理部５、識別情報設定部６、中央制御部１１等によって処理されるデータ等を一時記憶する。具体的には、メモリ４は、画像データ生成部３により生成された所定フレーム数分のフレーム画像Ｆのライブビュー表示用の画像データを一時記憶する。
また、メモリ４は、後述する被写体検出処理に係る各種の情報を一時的に格納するための検出結果格納部４ａを具備している。
検出結果格納部４ａは、例えば、リングバッファから構成され、画像処理部５の類似度算出部５ｂにより算出された所定フレーム数分のフレーム画像Ｆにおける特定の被写体画像の候補領域（検出候補領域Ａ；図３（ａ）参照）の画像と所定の基準画像との類似度をデータ履歴として順次格納する。ここで、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム）前に画像データ生成部３により生成された他のフレーム画像Ｆｍにおける複数の検出候補領域Ａのうち、一のフレーム画像Ｆｎにおける検出候補領域Ａの座標（例えば、中心や矩形領域の四隅等の座標）に対応する座標を有する領域は、特定の被写体画像の候補領域（検出候補領域Ａ）に対応する対応領域Ｂ（図３（ｂ）参照）となる。
即ち、検出結果格納部４ａは、記憶手段として、類似度算出部５ｂにより予め算出された他のフレーム画像Ｆｍにおける、一のフレーム画像Ｆｎの検出候補領域Ａに対応する対応領域Ｂの画像と所定の基準画像との類似度を記憶する。
検出結果格納部４ａは、例えば、リングバッファから構成され、画像処理部５の類似度算出部５ｂにより算出された所定フレーム数分のフレーム画像Ｆにおける特定の被写体画像の候補領域（検出候補領域Ａ；図３（ａ）参照）の画像と所定の基準画像との類似度をデータ履歴として順次格納する。ここで、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム）前に画像データ生成部３により生成された他のフレーム画像Ｆｍにおける複数の検出候補領域Ａのうち、一のフレーム画像Ｆｎにおける検出候補領域Ａの座標（例えば、中心や矩形領域の四隅等の座標）に対応する座標を有する領域は、特定の被写体画像の候補領域（検出候補領域Ａ）に対応する対応領域Ｂ（図３（ｂ）参照）となる。
即ち、検出結果格納部４ａは、記憶手段として、類似度算出部５ｂにより予め算出された他のフレーム画像Ｆｍにおける、一のフレーム画像Ｆｎの検出候補領域Ａに対応する対応領域Ｂの画像と所定の基準画像との類似度を記憶する。
画像処理部５は、画像取得部５ａと、類似度算出部５ｂと、第１判定部５ｃと、第２判定部５ｄと、閾値設定部５ｅと、画像領域特定部５ｆとを具備している。
画像取得部５ａは、フレーム画像Ｆを逐次取得する。
即ち、画像取得部５ａは、画像データ生成部３により表示フレームレートに応じた所定のタイミングで生成されたフレーム画像Ｆのライブビュー表示用の画像データをメモリ４から逐次取得する。
ここで、画像取得部５ａは、フレーム画像Ｆを逐次取得する取得手段を構成している。
即ち、画像取得部５ａは、画像データ生成部３により表示フレームレートに応じた所定のタイミングで生成されたフレーム画像Ｆのライブビュー表示用の画像データをメモリ４から逐次取得する。
ここで、画像取得部５ａは、フレーム画像Ｆを逐次取得する取得手段を構成している。
類似度算出部５ｂは、フレーム画像Ｆの特定の被写体画像の候補領域の画像と所定の基準画像との類似度を算出する。
即ち、類似度算出部５ｂは、画像取得部５ａにより逐次取得された各フレーム画像Ｆのライブビュー表示用の画像データの各々に対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を施して、特定の被写体画像の候補となる画像領域（検出候補領域Ａ）を複数抽出する（図３（ａ）参照）。具体的には、類似度算出部５ｂは、例えば、画像取得部５ａにより所定のタイミングで取得された一のフレーム画像Ｆｎのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ（例えば、24×24画素）の検出候補領域Ａ（例えば、検出候補領域Ａ１〜Ａ３等）を複数生成する。そして、類似度算出部５ｂは、例えば、各検出候補領域Ａの画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出する。
即ち、類似度算出部５ｂは、画像取得部５ａにより逐次取得された各フレーム画像Ｆのライブビュー表示用の画像データの各々に対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を施して、特定の被写体画像の候補となる画像領域（検出候補領域Ａ）を複数抽出する（図３（ａ）参照）。具体的には、類似度算出部５ｂは、例えば、画像取得部５ａにより所定のタイミングで取得された一のフレーム画像Ｆｎのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ（例えば、24×24画素）の検出候補領域Ａ（例えば、検出候補領域Ａ１〜Ａ３等）を複数生成する。そして、類似度算出部５ｂは、例えば、各検出候補領域Ａの画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出する。
なお、類似度算出部５ｂによる類似度の算出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、所定の基準画像の画像データは、例えば、画像処理部５の一時記憶手段（図示略）に記憶された情報であり、検出候補領域Ａについて特定の被写体であるか否かを判定するための各種の識別用情報である。識別用情報としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするもの等が挙げられる。
また、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
また、所定の基準画像の画像データは、例えば、画像処理部５の一時記憶手段（図示略）に記憶された情報であり、検出候補領域Ａについて特定の被写体であるか否かを判定するための各種の識別用情報である。識別用情報としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするもの等が挙げられる。
また、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
第１判定部５ｃは、一のフレーム画像Ｆｎにおける検出候補領域Ａの画像データと所定の基準画像の画像データとの類似度が第１の閾値以上であるか否かを判定する。
即ち、第１判定部５ｃは、類似度算出部５ｂにより算出された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域としての各検出候補領域Ａの画像データと所定の基準画像の画像データとの類似度が、閾値設定部５ｅにより設定された第１の閾値以上であるか否かを判定する。また、第１判定部５ｃは、類似度が第１の閾値以上であると判定された各検出候補領域Ａ（特定の被写体画像の候補領域）の所定位置（例えば、中心等）の座標に基づいて、一のフレーム画像Ｆｎのライブビュー表示用の画像データ内で、当該検出候補領域Ａの位置を示す類似度マップを生成しても良い。
ここで、第１判定部５ｃは、画像取得部５ａにより取得された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域（検出候補領域Ａ）の画像と、当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段を構成している。
即ち、第１判定部５ｃは、類似度算出部５ｂにより算出された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域としての各検出候補領域Ａの画像データと所定の基準画像の画像データとの類似度が、閾値設定部５ｅにより設定された第１の閾値以上であるか否かを判定する。また、第１判定部５ｃは、類似度が第１の閾値以上であると判定された各検出候補領域Ａ（特定の被写体画像の候補領域）の所定位置（例えば、中心等）の座標に基づいて、一のフレーム画像Ｆｎのライブビュー表示用の画像データ内で、当該検出候補領域Ａの位置を示す類似度マップを生成しても良い。
ここで、第１判定部５ｃは、画像取得部５ａにより取得された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域（検出候補領域Ａ）の画像と、当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段を構成している。
第２判定部５ｄは、他のフレーム画像Ｆｍにおける対応領域Ｂの画像データと所定の基準画像の画像データとの類似度が第２の閾値以上であるか否かを判定する。
即ち、第２判定部５ｄは、第１判定部５ｃにより検出候補領域Ａ（特定の被写体画像の候補領域）の類似度が第１の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム）前に生成された他のフレーム画像Ｆｍにおける対応領域Ｂの画像データと所定の基準画像の画像データとの類似度が、閾値設定部５ｅにより設定された第１の閾値よりも大きい第２の閾値以上であるか否かを判定する。具体的には、第２判定部５ｄは、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍに係る類似度マップに基づいて、当該他のフレーム画像Ｆｍにおける複数の検出候補領域Ａのうち、一のフレーム画像Ｆｎにおける類似度が第１の閾値以上である検出候補領域Ａの座標に対応する座標を有する領域（対応領域Ｂ）を特定する。そして、第２判定部５ｄは、特定した対応領域Ｂの画像データと所定の基準画像の画像データとの類似度をメモリ４の検出結果格納部４ａから取得する。そして、第２判定部５ｄは、取得した類似度が第２の閾値以上であるか否かを判定する。
このように、第２判定部５ｄは、第１判定部５ｃにより特定の被写体画像の候補領域の画像の類似度が第１の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍにおける当該特定の被写体画像の候補領域に対応する対応領域Ｂの画像と、所定の基準画像との類似度が、第２の閾値以上であるか否かを判定する第２の判定手段を構成している。
即ち、第２判定部５ｄは、第１判定部５ｃにより検出候補領域Ａ（特定の被写体画像の候補領域）の類似度が第１の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム）前に生成された他のフレーム画像Ｆｍにおける対応領域Ｂの画像データと所定の基準画像の画像データとの類似度が、閾値設定部５ｅにより設定された第１の閾値よりも大きい第２の閾値以上であるか否かを判定する。具体的には、第２判定部５ｄは、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍに係る類似度マップに基づいて、当該他のフレーム画像Ｆｍにおける複数の検出候補領域Ａのうち、一のフレーム画像Ｆｎにおける類似度が第１の閾値以上である検出候補領域Ａの座標に対応する座標を有する領域（対応領域Ｂ）を特定する。そして、第２判定部５ｄは、特定した対応領域Ｂの画像データと所定の基準画像の画像データとの類似度をメモリ４の検出結果格納部４ａから取得する。そして、第２判定部５ｄは、取得した類似度が第２の閾値以上であるか否かを判定する。
このように、第２判定部５ｄは、第１判定部５ｃにより特定の被写体画像の候補領域の画像の類似度が第１の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍにおける当該特定の被写体画像の候補領域に対応する対応領域Ｂの画像と、所定の基準画像との類似度が、第２の閾値以上であるか否かを判定する第２の判定手段を構成している。
閾値設定部５ｅは、第１判定部５ｃ及び第２判定部５ｄによる判定基準に係る第１の閾値及び第２の閾値を設定する。
即ち、閾値設定部５ｅは、第１判定部５ｃによる特定の被写体画像の候補領域（検出候補領域Ａ）の画像と所定の基準画像との類似度の判定基準となる第１の閾値を設定する。また、閾値設定部５ｅは、第２判定部５ｄによる検出候補領域Ａ（特定の被写体画像の候補領域）に対応する対応領域Ｂの画像と所定の基準画像との類似度の判定基準となる第２の閾値を設定する。
具体的には、閾値設定部５ｅは、第１の閾値や第２の閾値として、ユーザによる操作入力部１０の所定操作に基づいて入力された所定の値、或いは、予めデフォルトとして設定されている所定の値等を設定する。
即ち、閾値設定部５ｅは、第１判定部５ｃによる特定の被写体画像の候補領域（検出候補領域Ａ）の画像と所定の基準画像との類似度の判定基準となる第１の閾値を設定する。また、閾値設定部５ｅは、第２判定部５ｄによる検出候補領域Ａ（特定の被写体画像の候補領域）に対応する対応領域Ｂの画像と所定の基準画像との類似度の判定基準となる第２の閾値を設定する。
具体的には、閾値設定部５ｅは、第１の閾値や第２の閾値として、ユーザによる操作入力部１０の所定操作に基づいて入力された所定の値、或いは、予めデフォルトとして設定されている所定の値等を設定する。
画像領域特定部５ｆは、一のフレーム画像Ｆｎ内で特定の被写体画像の画像領域Ｃを特定する。
即ち、画像領域特定部５ｆは、第２判定部５ｄにより他のフレーム画像Ｆｍのライブビュー表示用の画像データにおける対応領域Ｂの画像データと所定の基準画像の画像データとの類似度が第２の閾値以上であると判定された場合に、一のフレーム画像Ｆｎにおける対応領域Ｂ（例えば、対応領域Ｂ１、Ｂ２等）に対応する検出候補領域Ａ（例えば、検出候補領域Ａ１、Ａ２等）を、特定の被写体画像の画像領域Ｃとして特定する。
ここで、画像領域特定部５ｆは、第２判定部５ｄにより類似度が第２の閾値以上であると判定された一のフレーム画像Ｆｎにおける対応領域Ｂに対応する特定の被写体画像の候補領域（検出候補領域Ａ）を、特定の被写体画像の画像領域Ｃとして特定する特定手段を構成している。
即ち、画像領域特定部５ｆは、第２判定部５ｄにより他のフレーム画像Ｆｍのライブビュー表示用の画像データにおける対応領域Ｂの画像データと所定の基準画像の画像データとの類似度が第２の閾値以上であると判定された場合に、一のフレーム画像Ｆｎにおける対応領域Ｂ（例えば、対応領域Ｂ１、Ｂ２等）に対応する検出候補領域Ａ（例えば、検出候補領域Ａ１、Ａ２等）を、特定の被写体画像の画像領域Ｃとして特定する。
ここで、画像領域特定部５ｆは、第２判定部５ｄにより類似度が第２の閾値以上であると判定された一のフレーム画像Ｆｎにおける対応領域Ｂに対応する特定の被写体画像の候補領域（検出候補領域Ａ）を、特定の被写体画像の画像領域Ｃとして特定する特定手段を構成している。
識別情報設定部６は、特定の被写体画像を識別表示するための識別情報を設定する。
即ち、識別情報設定部６は、画像領域特定部５ｆにより特定の被写体画像の画像領域Ｃが特定されると、当該特定の被写体画像を識別表示する識別情報として、特定の被写体画像の画像領域Ｃの縁部に重畳して表示部９に表示される検出枠Ｗを設定する。
なお、特定の被写体画像の識別情報として、当該特定の被写体画像の画像領域Ｃの縁部に重畳して表示される検出枠Ｗを例示したが、一例であってこれに限られるものではなく、所定の識別標識など当該特定の被写体画像を識別表示するものであれば適宜任意に変更可能である。
ここで、識別情報設定部６は、画像領域特定部５ｆにより特定された特定の被写体画像を識別表示するための識別情報を設定する設定手段を構成している。
即ち、識別情報設定部６は、画像領域特定部５ｆにより特定の被写体画像の画像領域Ｃが特定されると、当該特定の被写体画像を識別表示する識別情報として、特定の被写体画像の画像領域Ｃの縁部に重畳して表示部９に表示される検出枠Ｗを設定する。
なお、特定の被写体画像の識別情報として、当該特定の被写体画像の画像領域Ｃの縁部に重畳して表示される検出枠Ｗを例示したが、一例であってこれに限られるものではなく、所定の識別標識など当該特定の被写体画像を識別表示するものであれば適宜任意に変更可能である。
ここで、識別情報設定部６は、画像領域特定部５ｆにより特定された特定の被写体画像を識別表示するための識別情報を設定する設定手段を構成している。
記録媒体制御部７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部７は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、記録媒体制御部７は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
表示制御部８は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部９に表示させる制御を行う。
具体的には、表示制御部８は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。
具体的には、表示制御部８は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１１の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。
表示部９は、例えば、液晶表示パネルであり、表示制御部８からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部９は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像Ｆを所定の表示フレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部９は、静止画として記録される画像のレックビュー画像を表示したり、動画として記録中の画像を表示する。
操作入力部１０は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１０は、被写体の撮像指示に係るシャッタボタン１０ａ（図３（ｃ）参照）、撮像モードや機能等の選択指示に係る選択決定ボタン１０ｂ（図３（ｃ）参照）、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１１に出力する。
中央制御部１１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
次に、撮像装置１００による被写体検出処理について、図２及び図３を参照して説明する。
図２は、被写体検出処理に係る動作の一例を示すフローチャートである。また、図３は、被写体検出処理に係る画像の一例を模式的に示す図である。
なお、以下に説明する被写体検出処理は、ユーザによる操作入力部１０の所定操作に基づいて被写体検出モードが設定されている場合に、中央制御部１１の制御下にて実行される処理である。また、以下の説明にあっては、フレーム画像Ｆ内に特定の被写体画像としての顔画像が含まれているフレーム画像Ｆを用いるものとする。
図２は、被写体検出処理に係る動作の一例を示すフローチャートである。また、図３は、被写体検出処理に係る画像の一例を模式的に示す図である。
なお、以下に説明する被写体検出処理は、ユーザによる操作入力部１０の所定操作に基づいて被写体検出モードが設定されている場合に、中央制御部１１の制御下にて実行される処理である。また、以下の説明にあっては、フレーム画像Ｆ内に特定の被写体画像としての顔画像が含まれているフレーム画像Ｆを用いるものとする。
図２に示すように、先ず、中央制御部１１は、撮像部１による被写体の撮像により画像データ生成部３により逐次生成されたフレーム画像Ｆのライブビュー表示用の画像データをメモリ４に逐次格納して一時記憶させる（ステップＳ１）。
続けて、画像処理部５の画像取得部５ａは、表示部９による表示フレームレートに応じた所定のタイミングで、処理対象となる一のフレーム画像Ｆｎのライブビュー表示用の画像データをメモリ４から取得する（ステップＳ２）。
続けて、画像処理部５の画像取得部５ａは、表示部９による表示フレームレートに応じた所定のタイミングで、処理対象となる一のフレーム画像Ｆｎのライブビュー表示用の画像データをメモリ４から取得する（ステップＳ２）。
次に、類似度算出部５ｂは、画像取得部５ａにより取得された一のフレーム画像Ｆｎにおける特定の被写体画像の検出候補領域Ａと所定の基準画像との類似度を算出する（ステップＳ３）。
具体的には、類似度算出部５ｂは、一のフレーム画像Ｆｎのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ（例えば、24×24画素）の検出候補領域Ａ１〜Ａ３（図３（ａ）参照）を複数生成し、各検出候補領域Ａ１〜Ａ３の画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出する。
なお、算出された各検出候補領域Ａ１〜Ａ３の類似度は、メモリ４の検出結果格納部４ａに一時的に格納される。
具体的には、類似度算出部５ｂは、一のフレーム画像Ｆｎのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ（例えば、24×24画素）の検出候補領域Ａ１〜Ａ３（図３（ａ）参照）を複数生成し、各検出候補領域Ａ１〜Ａ３の画像データと所定の基準画像の画像データとの類似度をadaboost（アダブースト）出力計算を用いて算出する。
なお、算出された各検出候補領域Ａ１〜Ａ３の類似度は、メモリ４の検出結果格納部４ａに一時的に格納される。
続けて、第１判定部５ｃは、各検出候補領域Ａ１〜Ａ３について類似度算出部５ｂにより算出された類似度、即ち、一のフレーム画像Ｆｎのライブビュー表示用の画像データにおける検出候補領域Ａ１〜Ａ３の画像データと所定の基準画像の画像データとの類似度が第１の閾値以上であるか否かを判定する（ステップＳ４）。
ここで、検出候補領域Ａ１〜Ａ３の類似度が第１の閾値以上であると判定されると（ステップＳ４；ＹＥＳ）、第１判定部５ｃは、一のフレーム画像Ｆｎのライブビュー表示用の画像データ内で、類似度が第１の閾値以上であると判定された各検出候補領域Ａ１〜Ａ３の位置を示す類似度マップを生成して、メモリ４の検出結果格納部４ａに一時的に格納する（ステップＳ５）。一方、ステップＳ４にて、検出候補領域Ａの類似度が第１の閾値以上でないと判定されると（ステップＳ４；ＮＯ）、中央制御部１１は、メモリ４の検出結果格納部４ａに一時的に格納されている当該検出候補領域Ａの類似度、即ち、類似度が第１の閾値以上でないと判定された検出候補領域Ａの類似度のデータ履歴を消去する（ステップＳ６）。
ここで、検出候補領域Ａ１〜Ａ３の類似度が第１の閾値以上であると判定されると（ステップＳ４；ＹＥＳ）、第１判定部５ｃは、一のフレーム画像Ｆｎのライブビュー表示用の画像データ内で、類似度が第１の閾値以上であると判定された各検出候補領域Ａ１〜Ａ３の位置を示す類似度マップを生成して、メモリ４の検出結果格納部４ａに一時的に格納する（ステップＳ５）。一方、ステップＳ４にて、検出候補領域Ａの類似度が第１の閾値以上でないと判定されると（ステップＳ４；ＮＯ）、中央制御部１１は、メモリ４の検出結果格納部４ａに一時的に格納されている当該検出候補領域Ａの類似度、即ち、類似度が第１の閾値以上でないと判定された検出候補領域Ａの類似度のデータ履歴を消去する（ステップＳ６）。
ステップＳ５における類似度マップの生成後、第２判定部５ｄは、一のフレーム画像Ｆｎよりも所定フレーム（例えば、一フレーム）前の他のフレーム画像Ｆｍにおける複数の検出候補領域Ａ、…のうち、一のフレーム画像Ｆｎにおける類似度が第１の閾値以上である検出候補領域Ａ１〜Ａ３の座標に対応する座標を有する領域を対応領域Ｂ１〜Ｂ３として特定する（ステップＳ７）。続けて、第２判定部５ｄは、特定した対応領域Ｂ１〜Ｂ３の画像データと所定の基準画像の画像データとの類似度をメモリ４の検出結果格納部４ａから取得する（ステップＳ８）。
そして、第２判定部５ｄは、各対応領域Ｂ１〜Ｂ３に係る類似度、即ち、他のフレーム画像Ｆｍのライブビュー表示用の画像データにおける各検出候補領域Ａ１〜Ａ３に対応する対応領域Ｂ１〜Ｂ３の各々の画像データと所定の基準画像の画像データとの類似度が第２の閾値以上であるか否かを判定する（ステップＳ９）。
ここで、対応領域Ｂの類似度が第２の閾値以上であると判定されると（ステップＳ９；ＹＥＳ）、画像領域特定部５ｆは、類似度が第２の閾値以上であると第２判定部５ｄにより判定された対応領域Ｂ（例えば、対応領域Ｂ１、Ｂ２等）について、一のフレーム画像Ｆｎにおける当該対応領域Ｂに対応する検出候補領域Ａ（例えば、検出候補領域Ａ１、Ａ２等）を、特定の被写体画像の画像領域Ｃとして特定する（ステップＳ１０）。その後、識別情報設定部６は、特定された特定の被写体画像の画像領域Ｃの縁部に重畳表示される検出枠Ｗを設定して、当該検出枠Ｗの表示制御に係る指示信号を表示制御部８に出力する（図３（ｃ）参照）。
一方、ステップＳ９にて、対応領域Ｂの類似度が第２の閾値以上でないと判定されると（ステップＳ９；ＮＯ）、中央制御部１１は、処理をステップＳ６に移行して、メモリ４の検出結果格納部４ａに一時的に格納されている当該対応領域Ｂ（例えば、対応領域Ｂ３等）に対応する検出候補領域Ａ（例えば、検出候補領域Ａ３等）の類似度、即ち、類似度が第２の閾値以上でないと判定された対応領域Ｂに対応する検出候補領域Ａの類似度のデータ履歴を消去する（ステップＳ６）。
ここで、対応領域Ｂの類似度が第２の閾値以上であると判定されると（ステップＳ９；ＹＥＳ）、画像領域特定部５ｆは、類似度が第２の閾値以上であると第２判定部５ｄにより判定された対応領域Ｂ（例えば、対応領域Ｂ１、Ｂ２等）について、一のフレーム画像Ｆｎにおける当該対応領域Ｂに対応する検出候補領域Ａ（例えば、検出候補領域Ａ１、Ａ２等）を、特定の被写体画像の画像領域Ｃとして特定する（ステップＳ１０）。その後、識別情報設定部６は、特定された特定の被写体画像の画像領域Ｃの縁部に重畳表示される検出枠Ｗを設定して、当該検出枠Ｗの表示制御に係る指示信号を表示制御部８に出力する（図３（ｃ）参照）。
一方、ステップＳ９にて、対応領域Ｂの類似度が第２の閾値以上でないと判定されると（ステップＳ９；ＮＯ）、中央制御部１１は、処理をステップＳ６に移行して、メモリ４の検出結果格納部４ａに一時的に格納されている当該対応領域Ｂ（例えば、対応領域Ｂ３等）に対応する検出候補領域Ａ（例えば、検出候補領域Ａ３等）の類似度、即ち、類似度が第２の閾値以上でないと判定された対応領域Ｂに対応する検出候補領域Ａの類似度のデータ履歴を消去する（ステップＳ６）。
その後、中央制御部１１は、被写体検出処理の終了指示が入力されたか否かを判定する（ステップＳ１１）。具体的には、中央制御部１１は、例えば、ユーザによる操作入力部１０のシャッタボタン１０ａの所定操作（例えば、全押し操作等）に基づいて被写体の撮像指示が入力されたか否かや、選択決定ボタン１０ｂの所定操作に基づいて被写体検出モードとは異なるモードが設定されたか否か等に応じて、被写体検出処理の終了指示が入力されたか否かを判定する。
ここで、被写体検出処理の終了指示が入力されていないと判定されると（ステップＳ１１；ＮＯ）、中央制御部１１は、処理をステップＳ２に移行して、画像取得部５ａは、処理対象となる新たな一のフレーム画像Ｆのライブビュー表示用の画像データをメモリ４から取得する（ステップＳ２）。その後、中央制御部１１は、ステップＳ３以降の各処理を上記と同様にして実行する。
一方、ステップＳ１１にて、被写体検出処理の終了指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、中央制御部１１は、被写体検出処理を終了する。
ここで、被写体検出処理の終了指示が入力されていないと判定されると（ステップＳ１１；ＮＯ）、中央制御部１１は、処理をステップＳ２に移行して、画像取得部５ａは、処理対象となる新たな一のフレーム画像Ｆのライブビュー表示用の画像データをメモリ４から取得する（ステップＳ２）。その後、中央制御部１１は、ステップＳ３以降の各処理を上記と同様にして実行する。
一方、ステップＳ１１にて、被写体検出処理の終了指示が入力されたと判定されると（ステップＳ１１；ＹＥＳ）、中央制御部１１は、被写体検出処理を終了する。
以上のように、本実施形態の撮像装置１００によれば、撮像された画像から生成された一のフレーム画像Ｆｎにおける特定の被写体画像（例えば、顔画像）の検出候補領域Ａの画像と所定の基準画像との類似度が第１の閾値以上であると判定されると、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍにおける当該検出候補領域Ａに対応する対応領域Ｂの類似度が第１の閾値よりも大きい第２の閾値以上であるか否かを判定するので、特定の被写体画像である可能性のある検出候補領域Ａについて、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍにて、より厳しい判定値を用いて特定の被写体画像であるか否かを判定することができる。
そして、類似度が第２の閾値以上であると判定された一のフレーム画像Ｆｎにおける対応領域Ｂに対応する検出候補領域Ａを、特定の被写体画像の画像領域Ｃとして特定するので、特定の被写体の誤検出を低減することができ、当該特定の被写体の検出精度の向上を図ることができる。
そして、類似度が第２の閾値以上であると判定された一のフレーム画像Ｆｎにおける対応領域Ｂに対応する検出候補領域Ａを、特定の被写体画像の画像領域Ｃとして特定するので、特定の被写体の誤検出を低減することができ、当該特定の被写体の検出精度の向上を図ることができる。
また、第２判定部５ｄは、予め算出されてメモリ４に記憶された他のフレーム画像Ｆｍにおける対応領域Ｂの画像と所定の基準画像との類似度を取得して、当該類似度が第２の閾値以上であるか否かを判定するので、類似度が第１の閾値以上であると判定された検出候補領域Ａに対応する対応領域Ｂについて所定の基準画像との類似度を改めて算出する必要がなくなって当該被写体検出処理の高速化を図ることができる。
さらに、特定の被写体画像の画像領域Ｃを識別表示するための識別情報（例えば、検出枠Ｗ等）を設定するので、検出された特定の被写体を識別情報によってユーザに容易に認識させることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、被写体検出処理（図２参照）にて、フレーム画像Ｆ内の特定の被写体画像として人の顔画像を検出するようにしたが、一例であってこれに限られるものではなく、特定の被写体画像は適宜任意に変更可能である。
例えば、被写体検出処理（図２参照）にて、フレーム画像Ｆ内の特定の被写体画像として人の顔画像を検出するようにしたが、一例であってこれに限られるものではなく、特定の被写体画像は適宜任意に変更可能である。
また、上記実施形態にあっては、識別情報設定部６を備え、特定された特定の被写体画像の画像領域Ｃを識別表示するための識別情報（例えば、検出枠Ｗ等）を設定するようにしたが、識別情報設定部６を備えるか否か、即ち、画像領域特定部５ｆにより特定された特定の被写体画像を識別表示するための識別情報を設定するか否かは適宜任意に変更可能である。
さらに、上記実施形態にあっては、予め算出された他のフレーム画像Ｆｍにおける対応領域Ｂの画像と所定の基準画像との類似度をメモリ４に記憶しておき、第２判定部５ｄが、所定の判定タイミングにて、メモリ４から類似度を取得するようにしたが、類似度の判定方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、例えば、所定の判定タイミングにて、他のフレーム画像Ｆｍにおける対応領域Ｂの画像と所定の基準画像との類似度を新たに算出するようにしても良い。
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体検出装置として、撮像装置１００を例示したが、これに限られるものではない。即ち、処理対象となるフレーム画像Ｆとして、撮像画像から生成された画像を例示したが、撮像装置１００とは異なる装置から被写体検出装置を構成する場合、所定の取得手段により逐次取得されるフレーム画像であれば良い。
加えて、上記実施形態にあっては、取得手段、第１の判定手段、第２の判定手段、特定手段としての機能を、中央制御部１１の制御下にて、画像処理部５の画像取得部５ａ、第１判定部５ｃ、第２判定部５ｄ、画像領域特定部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１の判定処理ルーチン、第２の判定処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１１のＣＰＵを、フレーム画像Ｆを逐次取得する取得手段として機能させるようにしても良い。また、第１の判定処理ルーチンにより中央制御部１１のＣＰＵを、取得手段により取得された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域の画像と当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段として機能させるようにしても良い。また、第２の判定処理ルーチンにより中央制御部１１のＣＰＵを、第１の判定手段により特定の被写体画像の候補領域の画像の類似度が第１の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍにおける当該特定の被写体画像の候補領域に対応する対応領域Ｂの画像と所定の基準画像との類似度が、第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１１のＣＰＵを、第２の判定手段により類似度が第２の閾値以上であると判定された一のフレーム画像Ｆｎにおける対応領域Ｂに対応する特定の被写体画像の候補領域を、特定の被写体画像の画像領域Ｃとして特定する特定手段として機能させるようにしても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、第１の判定処理ルーチン、第２の判定処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１１のＣＰＵを、フレーム画像Ｆを逐次取得する取得手段として機能させるようにしても良い。また、第１の判定処理ルーチンにより中央制御部１１のＣＰＵを、取得手段により取得された一のフレーム画像Ｆｎにおける特定の被写体画像の候補領域の画像と当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段として機能させるようにしても良い。また、第２の判定処理ルーチンにより中央制御部１１のＣＰＵを、第１の判定手段により特定の被写体画像の候補領域の画像の類似度が第１の閾値以上であると判定された場合に、一のフレーム画像Ｆｎよりも所定フレーム前の他のフレーム画像Ｆｍにおける当該特定の被写体画像の候補領域に対応する対応領域Ｂの画像と所定の基準画像との類似度が、第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１１のＣＰＵを、第２の判定手段により類似度が第２の閾値以上であると判定された一のフレーム画像Ｆｎにおける対応領域Ｂに対応する特定の被写体画像の候補領域を、特定の被写体画像の画像領域Ｃとして特定する特定手段として機能させるようにしても良い。
同様に、設定手段についても、中央制御部１１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
１００ 撮像装置
４ メモリ
４ａ 検出結果格納部
５ 画像処理部
５ａ 画像取得部
５ｂ 類似度算出部
５ｃ 第１判定部
５ｄ 第２判定部
５ｅ 閾値設定部
５ｆ 画像領域特定部
６ 識別情報設定部
１１ 中央制御部
４ メモリ
４ａ 検出結果格納部
５ 画像処理部
５ａ 画像取得部
５ｂ 類似度算出部
５ｃ 第１判定部
５ｄ 第２判定部
５ｅ 閾値設定部
５ｆ 画像領域特定部
６ 識別情報設定部
１１ 中央制御部
Claims (8)
- フレーム画像を逐次取得する取得手段と、
この取得手段により取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段と、
前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段と、
この第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記第１の画像領域を、被写体画像として検出する検出手段と、
を備え、
前記第１の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、
前記第２の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、
前記検出手段は、更に、前記第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を被写体画像として検出する
ことを特徴とする被写体検出装置。 - 前記第２の画像領域と前記基準画像との類似度を記憶する記憶手段と、
前記記憶手段に記憶された前記類似度を消去する消去手段と、
を更に備え、
前記第２の判定手段は、更に、
前記記憶手段に記憶された前記類似度が第２の閾値以上であるか否かを判定し、
前記消去手段は、前記類似度が前記第２の閾値未満であると判定されると、前記記憶手段に記憶された前記類似度を消去することを特徴とする請求項１に記載の被写体検出装置。 - 前記第２の判定手段は、前記第１の判定手段により前記第１の画像領域と前記基準画像との類似度が第１の閾値以上であると判定された場合に、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であるか否かを判定することを特徴とする請求項１又は２に記載の被写体検出装置。
- 前記第１の画像領域は、顔が含まれる画像であることを特徴とする請求項１から３の何れか一項に記載の被写体検出装置。
- 前記検出手段により検出された被写体画像を識別表示するための指標を設定する設定手段を更に備えることを特徴とする請求項１から４の何れか一項に記載の被写体検出装置。
- 前記フレーム画像は、撮像画像から生成された画像であることを特徴とする請求項１から５の何れか一項に記載の被写体検出装置。
- 被写体検出装置を用いた被写体検出方法であって、
フレーム画像を逐次取得するステップと、
取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定するステップと、
前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定するステップと、
前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であると判定された前記以前に取得されたフレーム画像の領域に対応する第１の画像領域を、被写体画像として検出するステップと、
を含み、
前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、
更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、
更に、前記第２の画像領域の画像と前記基準画像との類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を新たな被写体画像として検出する
ことを特徴とする被写体検出方法。 - コンピュータを、
フレーム画像を逐次取得する取得手段、
この取得手段により取得された一のフレーム画像における第１の画像領域と基準画像との類似度が、第１の閾値以上であるか否かを判定する第１の判定手段、
前記一のフレーム画像より以前に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第１の閾値よりも大きい第２の閾値以上であるか否かを判定する第２の判定手段、
この第２の判定手段により類似度が前記第２の閾値以上であると判定されると、前記第１の画像領域を、被写体画像として検出する検出手段、
として機能させ、
前記第１の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第１の画像領域と前記基準画像との類似度が、第１の閾値以上であるか否かを判定し、
前記第２の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第１の画像領域に対応する第２の画像領域の画像と前記基準画像との類似度が、前記第２の閾値以上であるか否かを判定し、
前記検出手段は、更に、前記第２の判定手段により前記類似度が前記第２の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第１の画像領域を新たな被写体画像として検出する
ことを特徴とするプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010260028A JP5510287B2 (ja) | 2010-11-22 | 2010-11-22 | 被写体検出装置、被写体検出方法及びプログラム |
| US13/295,322 US8582813B2 (en) | 2010-11-22 | 2011-11-14 | Object detection device which detects object based on similarities in different frame images, and object detection method and computer-readable medium recording program |
| CN201110363283.2A CN102542251B (zh) | 2010-11-22 | 2011-11-16 | 被摄体检测装置以及被摄体检测方法 |
| KR1020110121432A KR101375988B1 (ko) | 2010-11-22 | 2011-11-21 | 피사체 검출 장치, 피사체 검출 방법 및 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010260028A JP5510287B2 (ja) | 2010-11-22 | 2010-11-22 | 被写体検出装置、被写体検出方法及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014057828A Division JP5807695B2 (ja) | 2014-03-20 | 2014-03-20 | 被写体検出装置、被写体検出方法及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012114561A JP2012114561A (ja) | 2012-06-14 |
| JP2012114561A5 JP2012114561A5 (ja) | 2013-12-26 |
| JP5510287B2 true JP5510287B2 (ja) | 2014-06-04 |
Family
ID=46064417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010260028A Active JP5510287B2 (ja) | 2010-11-22 | 2010-11-22 | 被写体検出装置、被写体検出方法及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8582813B2 (ja) |
| JP (1) | JP5510287B2 (ja) |
| KR (1) | KR101375988B1 (ja) |
| CN (1) | CN102542251B (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870798B (zh) * | 2012-12-18 | 2017-05-24 | 佳能株式会社 | 对象检测方法、对象检测设备以及图像拾取设备 |
| JP6136504B2 (ja) * | 2013-04-15 | 2017-05-31 | オムロン株式会社 | 対象画像検出デバイス、その制御方法および制御プログラム、記録媒体、並びにデジタルカメラ |
| CN105335683A (zh) * | 2014-05-26 | 2016-02-17 | 富士通株式会社 | 对象检测方法和对象检测装置 |
| US9445151B2 (en) * | 2014-11-25 | 2016-09-13 | Echostar Technologies L.L.C. | Systems and methods for video scene processing |
| CN107590802B (zh) * | 2017-09-11 | 2021-09-14 | 康佳集团股份有限公司 | 一种电视机显示一致性检测方法、存储介质及检测设备 |
| CN111488776B (zh) * | 2019-01-25 | 2023-08-08 | 北京地平线机器人技术研发有限公司 | 对象检测方法、对象检测装置和电子设备 |
| CN113468918B (zh) * | 2020-03-31 | 2024-07-05 | 顺丰科技有限公司 | 包裹检测方法、装置、设备及存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001331804A (ja) * | 2000-05-18 | 2001-11-30 | Victor Co Of Japan Ltd | 画像領域検出装置及び方法 |
| JP4253498B2 (ja) * | 2002-12-09 | 2009-04-15 | オリンパス株式会社 | 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 |
| JP4489608B2 (ja) | 2004-03-31 | 2010-06-23 | 富士フイルム株式会社 | ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法 |
| JP2007058763A (ja) * | 2005-08-26 | 2007-03-08 | Toshiba Corp | 入場管理システムおよび入場管理方法 |
| JP4577252B2 (ja) | 2006-03-31 | 2010-11-10 | カシオ計算機株式会社 | カメラ、ベストショット撮影方法、プログラム |
| JP5058002B2 (ja) * | 2008-01-21 | 2012-10-24 | 株式会社豊田中央研究所 | 物体検出装置 |
| JP4577410B2 (ja) * | 2008-06-18 | 2010-11-10 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP4702418B2 (ja) * | 2008-09-09 | 2011-06-15 | カシオ計算機株式会社 | 撮影装置、画像領域の存否判定方法及びプログラム |
| JP4947216B2 (ja) * | 2008-09-17 | 2012-06-06 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| US8001115B2 (en) * | 2008-10-16 | 2011-08-16 | The Curators Of The University Of Missouri | Identifying geographic-areas based on change patterns detected from high-resolution, remotely sensed imagery |
| JP5265337B2 (ja) * | 2008-12-26 | 2013-08-14 | オリンパスイメージング株式会社 | 撮像装置 |
| JP5370170B2 (ja) * | 2009-01-15 | 2013-12-18 | 株式会社Ｊｖｃケンウッド | 要約映像生成装置および要約映像生成方法 |
-
2010
- 2010-11-22 JP JP2010260028A patent/JP5510287B2/ja active Active
-
2011
- 2011-11-14 US US13/295,322 patent/US8582813B2/en active Active
- 2011-11-16 CN CN201110363283.2A patent/CN102542251B/zh active Active
- 2011-11-21 KR KR1020110121432A patent/KR101375988B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| CN102542251A (zh) | 2012-07-04 |
| US20120128206A1 (en) | 2012-05-24 |
| CN102542251B (zh) | 2015-09-30 |
| KR20120056212A (ko) | 2012-06-01 |
| US8582813B2 (en) | 2013-11-12 |
| JP2012114561A (ja) | 2012-06-14 |
| KR101375988B1 (ko) | 2014-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5939705B2 (ja) | 被写体判定装置、被写体判定方法及びプログラム | |
| JP5510287B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
| JP4862930B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US8441554B2 (en) | Image capturing apparatus capable of extracting subject region from captured image | |
| KR101457813B1 (ko) | 인쇄대상 데이터 처리장치, 인쇄대상 데이터 처리방법 및 기억매체 | |
| JP5625995B2 (ja) | 被写体追跡装置、被写体追跡方法及びプログラム | |
| JP4947136B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4868046B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2018093376A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP4894708B2 (ja) | 撮像装置 | |
| JP5807695B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
| JP5740934B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
| JP5131399B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2017092544A (ja) | 出力制御装置、出力制御方法及びプログラム | |
| JP5565227B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2012060292A (ja) | 画像処理装置、画像選択方法、及び、プログラム | |
| JP5644180B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| JP6601062B2 (ja) | 撮像制御装置、撮像制御方法及びプログラム | |
| JP5732773B2 (ja) | 画像識別装置、画像識別方法及びプログラム | |
| JP2012033193A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2012009980A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2017130134A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2011248156A (ja) | 撮像装置、撮像方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131112 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131112 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20131115 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20131126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140310 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5510287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |