JP6768537B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像の認識処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

近年、ビデオカメラ等の撮像装置には、撮像素子により被写体像を光電変換して得られた映像信号中より周期的に被写体領域（例えば顔領域）を検出し、予め用意された顔の特徴情報と比較して、特定の人物の顔かどうかを判断する個人認識技術が搭載されている。個人認識技術により、特定の人物の顔に対してオートフォーカス（ＡＦ）制御や自動露出（ＡＥ）制御を実行することができるため、よりユーザの意図を反映した撮影が可能となっている。

しかしながら、検出した顔が個人認識をする上で最適な顔の状態となっているとは限らない。例えば、表情、顔の向きなどの変動により顔の特徴情報が影響を受け、予め保持している顔の特徴情報と異なる特徴情報となってしまうことにより、信頼度の高い個人認識結果が得られない可能性がある。

また、特許文献１には、複数の人物の顔画像が登録され、所定枚数の監視画像で検出した顔領域の中で、認識候補人物と特定された顔領域の割合を登録人物の検出率として算出し、検出率に応じて登録人物か否か判定する閾値を変更する方法が開示されている。具体的には、検出率が高い場合には閾値が低く設定され、検出率が低い場合には閾値が高く設定される。この方法により、表情や顔の向きなどの変動によって、登録している顔画像との類似度が低くても、登録人物以外を誤って登録人物として誤認識する可能性を抑えつつ、登録人物であることを判定することができるようになる。

特開２０１３−１０１５５１号公報

しかしながら、特許文献１に記載の方法の場合、類似度が低くなるような状況で登録人物であることを判定するためには、より多くの監視画像で認識候補人物であると判定される必要があり、認識候補人物であると判定されるまでに時間がかかる可能性がある。したがって、例えば、登録人物を認識できている状態から登録人物を見失い、再度検出するようなシーンにおいて、再度検出した人物が登録人物であると判定されるまでの間、別の顔や別の被写体に対してＡＦ制御やＡＥ制御などを実行してしまう。

そこで、本発明は、顔等の被写体領域をより早く認識可能にすることを目的とする。

本発明の画像処理装置は、映像信号から所定の被写体領域を検出する検出手段と、前記検出された被写体領域から抽出した特徴情報と登録されている特徴情報との類似度と、所定の閾値との比較に基づいて、前記被写体領域に対する認識処理を行う認識手段と、前記認識手段により認識された認識済み被写体領域を追尾する追尾手段と、前記追尾手段が前記追尾している前記認識済み被写体領域の情報を保持する保持手段と、前記所定の閾値を設定する設定手段と、を有し、前記設定手段は、前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段が前記認識済み被写体領域の情報を保持していないときには、前記所定の閾値として第一の閾値を設定し、前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段が前記認識済み被写体領域の情報を保持しているときには、前記所定の閾値として前記第一の閾値よりも低い第二の閾値を設定することを特徴とする。

本発明によれば、顔等の被写体領域をより早く認識可能となる。

ビデオカメラの概略構成例を示すブロック図である。 個人認識動作の流れを示すフローチャートである。 第二の認識閾値算出処理の流れを示すフローチャートである。 顔データテーブルの一例を示す図である。 第二の認識閾値テーブルの一例を示す図である。 第二の認識閾値設定の動作に関する概念を説明するための図である。 第二の認識閾値設定の画面の位置に応じた設定例を示す図である。 第二の認識閾値設定の時間的変化に応じた設定例を示す図である。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどの各種撮像装置に適用可能である。本実施形態では、撮像画像から所定の被写体領域として人物の顔領域を検出して、その検出した顔領域を用いて個人認識を行う個人認識機能を有するビデオカメラを例に挙げて説明する。なお、本実施形態では、ビデオカメラを例に挙げているが、デジタルスチルカメラ等の他の撮像装置であってもよい。

図１は、本実施形態の画像処理装置の一適用例であるビデオカメラ１０の概略構成を示す図である。
図１のビデオカメラ１０は、撮像光学系として、第１固定レンズ１０１、ズームレンズ１０２、絞り１０３、第２固定レンズ１０４、フォーカスレンズ１０５を有する。ズームレンズ１０２は、光軸方向に移動して変倍を行う変倍レンズである。このズームレンズ１０２を光軸方向へ移動させること、すなわちいわゆるテレ方向やワイド方向等へ移動させることにより、ズーム倍率の変更が可能となる。フォーカスレンズ１０５は、いわゆるフォーカシング機能だけでなく、変倍に伴う焦点面の移動を補正する機能をも兼ね備えた、撮像光学系の焦点調節のためのレンズ（フォーカスコンペンセータレンズや焦点調節部材とも呼ばれる。）である。

ズーミング駆動源１１５は、ズームレンズ１０２を光軸方向へ移動させるためのアクチュエータ及びその駆動回路を含む。フォーカシング駆動源１１６は、フォーカスレンズ１０５を光軸方向へ移動させるためのアクチュエータ及びその駆動回路を含む。ズーミング駆動源１１５及びフォーカシング駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータ、又はボイスコイルモータ等のアクチュエータにより構成される。

撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子である。コンバータ１０７は、撮像素子１０６の出力をサンプリング、ゲイン調整、デジタル化するＣＤＳ／ＡＧＣ／ＡＤコンバータである。カメラ信号処理部１０８は、コンバータ１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。表示装置１０９は、カメラ信号処理部１０８からの映像信号に基づく映像を表示する。記録装置１１０は、カメラ信号処理部１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

ＡＦゲート１１１は、コンバータ１０７からの全画素の出力信号のうち焦点検出に用いられる領域、具体的には後述するカメラマイコン１１４で設定された領域（オートフォーカス枠：ＡＦ枠）の信号のみを通して、焦点信号生成部１１２へ出力する。焦点信号生成部１１２は、ＡＦゲート１１１を通過した信号から焦点信号を生成する。焦点信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表す値でもよいし、焦点検出用の画像信号の位相差に基づく被写体までの距離またはデフォーカス量を表す値でもよい。

顔検出部１１３は、カメラ信号処理部１０８から供給された映像信号に対して公知の顔検出処理を行い、撮影画面内における人物の顔領域の位置及び大きさ、角度（ロール、ピッチ、ヨー）を検出する。顔検出処理としては、例えば、撮像画像の各画素の階調色を基に肌色領域を抽出し、その肌色領域の輪郭と、予め用意された顔の輪郭プレートとのマッチング度を算出して、そのマッチング度を基に顔を検出する方法を用いることができる。その他にも、顔検出処理としては、撮像画像から抽出した目、鼻、口等の顔の特徴点からパターン認識を行う方法等を用いることができる。顔検出部１１３は、映像信号のフレーム毎に行った顔検出処理の結果を、後述するカメラマイコン１１４及び後述する個人認識部１１７に送る。

個人認識部１１７は、カメラマイコン１１４内の不図示のＲＡＭに記憶されている認識対象の人物の顔画像（登録人物の登録顔画像とする。）と、顔検出部１１３で検出された顔画像とを比較し、登録人物と類似した人物が撮影画面内に存在するか否かを判定する。具体的には、個人認識部１１７は、先ず、顔検出部１１３により検出された顔画像と、カメラマイコン１１４内のＲＡＭに記憶されている登録顔画像との類似度を算出する。次に、個人認識部１１７は、算出した類似度が所定の認識閾値を超えているか否かを判定し、認識閾値を超えている場合は顔検出部１１３にて検出された顔画像が、登録人物の顔の画像であると判断（つまり認識できたと判断）する。類似度の算出方法としては、例えば、顔画像の大きさ、角度、輝度などを正規化した後、フーリエスペクトルのＫＬ展開法により算出された成分を顔画像の特徴情報とし、その顔画像の特徴情報と登録顔画像の特徴情報との一致度を求めるような方法がある。その他にも、類似度の算出方法としては、検出された顔画像のデータを顔の大きさで正規化した情報を特徴情報とし、その顔画像の特徴情報と登録顔画像の特徴情報とのマッチング度を求めるような方法がある。なお、本実施形態の説明において、カメラマイコン１１４内のＲＡＭに記憶されている登録顔画像は、圧縮されて保存されている顔画像データそのものであってもよいし、目、鼻、口、眉毛など、顔に関する特徴量を示す情報であってもよい。

カメラマイコン１１４は、顔検出部１１３による顔検出結果及び個人認識部１１７による個人認識結果に基づき、撮影画面内の被写体人物の顔に対応した位置にＡＦ枠を設定するようにＡＦゲート１１１を制御する。そして、カメラマイコン１１４は、ＡＦゲート１１１の出力信号から焦点信号生成部１１２が生成した焦点信号に基づいて、フォーカシング駆動源１１６を制御してフォーカスレンズ１０５を駆動することによりＡＦ制御を行う。なお、カメラマイコン１１４は、ズームレンズ１０２の駆動による変倍に伴う焦点面の移動がある場合には、その変倍に伴う焦点面の移動を補正するようにフォーカシング駆動源１１６を制御してフォーカスレンズ１０５を駆動させることも行う。

また、カメラマイコン１１４は、前述したように、ズーミング駆動源１１５の制御を通じてズームレンズ１０２を駆動している。このため、カメラマイコン１１４は、例えば、ズーム動作の開始検知、ズーム動作におけるズーム量の検知、ズーム動作がテレ方向であることを検知するテレ検知、ズーム動作がワイド方向であることを検知するワイド検知などを行える。

また、カメラマイコン１１４は、ビデオカメラ１０におけるパンニング動作やチルティング動作を検知するような、パンチルト動作検知処理も可能となされている。パンチルト動作検知処理には、例えば、パンニング動作やチルティング動作が開始されたことの検知、パンニング方向やチルティング方向の検知、パンニング量やチルティング量の検知が含まれる。これらのパンチルト動作検知処理は、一例として、カメラ信号処理部１０８からの映像信号の動きベクトルに基づく検出処理、図示しない方位センサや傾きセンサ等の出力に基づく検出処理など、公知の技術を用いて行うことができる。

カメラマイコン１１４は、前述したようなＡＦ枠の設定処理、ズーム動作の検知処理、パンチルト動作検知処理等を、所定のタイミング毎（例えば映像信号の垂直同期信号の発生周期）に繰り返し実行している。このような垂直同期信号の発生周期はＶ周期、タイミングはＶタイミングとも呼ばれている。その他にも、カメラマイコン１１４は、記録装置１１０へ画像記録命令を出力することなども行っている。

さらに、カメラマイコン１１４は、前述した処理だけでなく、顔検出部１１３による顔検出結果及び個人認識部１１７による個人認識結果に基づいて、撮影画面内で主となる被写体人物の顔領域（主顔領域）を追尾（追従）するような追尾処理をも行う。顔領域に対する具体的な追尾処理自体については公知の技術を使用できるが、詳細については後述する。また詳細は後述するが、カメラマイコン１１４は、顔領域に対する追尾処理の際には、前述したズーム動作の検知処理に係る情報、パンチルト動作検知処理に係る情報をも用いることができる。

＜顔検出処理、個人認識処理、及び追尾処理＞
次に、図２と図３（ａ）〜図３（ｄ）のフローチャートを参照し、顔検出部１１３、個人認識部１１７、カメラマイコン１１４により行われる、本実施形態にかかる顔検出処理、個人認識処理及び追尾処理について説明する。これらのフローチャートの処理は、ハードウェア構成により実行されてもよいし、ＣＰＵ等がプログラムを実行することにより実現されてもよい。また、以下のフローチャートのステップＳ２０１〜ステップＳ２２０、ステップＳ３０１〜ステップＳ３０６は、それぞれＳ２０１〜Ｓ２２０、Ｓ３０１〜Ｓ３０６と略記する。図３（ａ）〜図３（ｄ）は図２のＳ２１５の第二の認識閾値算出処理の詳細を示すフローチャートである。

図２のフローチャートの個人認識処理が開始されると、先ず、Ｓ２０１において、顔検出部１１３は、カメラ信号処理部１０８から映像信号を取得する。次に、Ｓ２０２において、顔検出部１１３は、Ｓ２０１で取得した映像信号から顔領域を抽出する顔検出処理を実行する。そして、顔検出部１１３は、顔領域が抽出できた場合にはカメラマイコン１１４に対して顔領域の数、及び、それぞれの顔領域の位置、大きさ、角度に関する顔情報を出力する。これにより、カメラマイコン１１４は顔情報を取得する。

次に、Ｓ２０３において、カメラマイコン１１４は、Ｓ２０２にて取得した顔情報に基づいて顔データテーブルを更新する。
ここで、顔データテーブルの例について図４を用いて詳しく説明する。
図４に示す顔データテーブル４０１は、カメラマイコン１１４が識別している人物一人について一つの系列データを管理するテーブルとなされている。系列データは、顔データテーブル４０１の各行に表されるデータの組であり、顔ＩＤ４０２、顔位置４０３、顔サイズ４０４、顔角度４０５、更新フラグ４０６、認識フラグ４０７からなる。カメラマイコン１１４は、この顔データテーブル４０１を管理し、また、内部の図示しないＲＡＭに保持している。顔ＩＤ４０２は、カメラマイコン１１４が識別している人物をそれぞれ区別するための識別番号であり、カメラマイコン１１４によって所定の人物に対する追尾処理が行われている間、同一の識別番号が割り当て続けられる。

カメラマイコン１１４は、例えば、Ｓ２０２にて取得した顔情報を各系列データの顔位置４０３及び顔サイズ４０４と比較し、位置及びサイズの差分が所定範囲以内である場合は人物（顔）を追尾していると判断する。また、カメラマイコン１１４は、追尾していると判断した人物の系列データについて、顔位置４０３、顔サイズ４０４、顔角度４０５を、Ｓ２０２にて取得した顔情報で更新し、さらに更新フラグ４０６を「更新」に変更する。また、カメラマイコン１１４は、追尾しているか否かの判断の際、Ｓ２０２にて取得した顔情報の中に系列データに該当する顔情報がない場合でも、各顔の色情報や輝度情報に基づいて推定した顔領域を顔情報として比較してもよい。

顔位置４０３、顔サイズ４０４、顔角度４０５は、それぞれ、映像信号から抽出した顔領域の位置座標情報、サイズ情報、角度情報を示している。なお、図４に示した例の場合、顔サイズ４０４は、大／中／小の３段階で示されているが、映像信号のピクセル数を記録するなど別の形式により顔サイズが示されてもよい。また、図４に示した例の場合、顔角度４０５は、０°／４５°／９０°の３段階で示されているが、例えば１°刻みの情報を−１８０°から＋１８０°の情報で記録するなど別の形式により顔角度が示されてもよい。

更新フラグ４０６は、顔位置４０３、顔サイズ４０４、顔角度４０５が、Ｓ２０２で取得した最新の顔情報で更新されたかどうかを表すフラグである。カメラマイコン１１４は、Ｓ２０２で取得した顔情報を顔データテーブル４０１の各系列データと比較し、同一人物であると判断できたか否かに応じて、更新フラグ４０６を「更新」にするかどうかを決定する。したがって、顔データテーブル４０１の各系列データから同一人物であると判断できた顔情報がない場合、更新フラグ４０６は「未更新」のままとなる。カメラマイコン１１４は、顔データテーブル４０１の更新フラグが所定の期間「未更新」となり続けている場合は、その更新フラグに対応した系列データの人物が撮像画面内から外れてしまったと判断して、顔データテーブル４０１から系列データを削除する。また、顔データテーブル４０１内の更新フラグ４０６は、Ｓ２０３の処理を開始する前には全て「未更新」に変更（初期化）される。

認識フラグ４０７は、後述するＳ２１０〜Ｓ２１２及びＳ２１８〜Ｓ２２０において個人認識部１１７により個人認識処理が実行された結果、個人認識が成功したと判断した場合に「ＯＮ」に設定されるフラグである。認識フラグ４０７が一度ＯＮとなされた顔は、カメラマイコン１１４が追尾していると判断している間は認識済みの顔であると判断することができるため、その後認識処理を実施しなくても認識フラグは「ＯＮ」のままとなされる。したがって、認識済みの顔が横を向くなどして登録顔画像との類似度が低くなったとしても、その認識済みの状態が継続されることになる。

図２のフローチャートの説明に戻る。Ｓ２０３の後、カメラマイコン１１４は、Ｓ２０４に処理を進める。
Ｓ２０４において、カメラマイコン１１４は、Ｓ２０３で更新済みの顔データテーブル４０１に系列データが一つ以上存在するかどうかを判定する。カメラマイコン１１４は、Ｓ２０４において系列データが存在すると判定した場合（ＹＥＳ）にはＳ２０５に処理を進め、系列データが存在しないと判定した場合（ＮＯ）には映像内の顔（人物）が全ていなくなったと判断してＳ２２１に処理を進める。

Ｓ２０５に進むと、カメラマイコン１１４は、Ｓ２０３による更新済みの顔データテーブル４０１に認識フラグ４０７が「ＯＮ」となっている系列データが存在するかどうかを判定する。カメラマイコン１１４は、Ｓ２０５において、認識フラグ４０７が「ＯＮ」となっている系列データが存在すると判定した場合（ＹＥＳ）にはＳ２０６に処理を進める。一方、カメラマイコン１１４は、Ｓ２０５において、認識フラグ４０７が「ＯＮ」となっている系列データが存在しないと判定した場合（ＮＯ）にはＳ２１６に処理を進める。

Ｓ２０６に進むと、カメラマイコン１１４は、顔データテーブル４０１のうち、認識フラグ４０７が「ＯＮ」となっている系列データに対応する認識済みの顔を、ロストした（つまり追尾できなくなって見失った）かどうかを判断する。つまり、カメラマイコン１１４は、認識済みの顔に関する系列データの更新フラグ４０６が「未更新」になっているか否かを判断する。カメラマイコン１１４は、Ｓ２０６において、ロストしていると判断した場合（ＹＥＳ）はＳ２０７に処理を進め、ロストしていないと判断した場合（ＮＯ）にはＳ２１４に処理を進める。

Ｓ２０７に進むと、カメラマイコン１１４は、内部のＲＡＭに確保されているロストカウンタ値をカウントアップする。ロストカウンタ値は、後述するＳ２０８にて第二の認識閾値を設定するときに、時間に基づいて第二の認識閾値を変化させる場合に使用される。

次に、Ｓ２０８において、カメラマイコン１１４は、後述する第二の認識閾値を設定する。第二の認識閾値は後述するＳ２１５の第二の認識閾値算出処理により求められる値であり、第二の認識閾値算出処理の詳細は後述する。本実施形態の場合、第二の認識閾値は、後述する第一の認識閾値よりも低い値となされている。また、Ｓ２０８において、カメラマイコン１１４は、前述したロストカウンタ値に基づいて、第二の認識閾値を変更する処理を行う。第二の認識閾値を変更する処理の詳細については、図８を用いて後述する。

次に、Ｓ２０９において、カメラマイコン１１４は、更新フラグ４０６が「更新」となっている系列データに対応する顔のうち、個人認識部１１７による個人認識処理が実行されていない顔に対応する系列データがあるかどうかを確認する。Ｓ２０９において、カメラマイコン１１４は、個人認識処理を実行していない顔に対応する系列データがあると判定した場合（ＹＥＳ）にはＳ２１０に処理を進める。Ｓ２１０の処理は、個人認識部１１７にて行われる。一方、カメラマイコン１１４は、Ｓ２０９において、個人認識処理を実行していない顔に対応する系列データがないと判定した場合（ＮＯ）、図２のフローチャートの処理を終了する。なお、個人認識処理を実行していない顔に対応する系列データがない場合とは、つまり、更新フラグ４０６が「更新」となっている全ての系列データに対応する顔の個人認識処理が実行済みになっている場合である。

Ｓ２１０に進んだ場合、個人認識部１１７は、カメラマイコン１１４から、個人認識処理を実行していない系列データに対応する顔の個人認識処理を実行する旨の指示が入力されるのを待つ状態となる。個人認識部１１７は、個人認識処理の実行指示を受けると、顔検出部１１３により検出された顔領域のうち、カメラマイコン１１４から指定された系列データに対応する顔領域と、カメラマイコン１１４のＲＡＭに記憶されている登録顔画像との類似度を算出する。そして、個人認識部１１７は、算出した類似度をカメラマイコン１１４に通知した後、Ｓ２１１に処理を進める。Ｓ２１１の処理は、カメラマイコン１１４にて行われる。

Ｓ２１１に進んだ場合、カメラマイコン１１４は、Ｓ２１０で算出された類似度とＳ２０８で設定された第二の認識閾値とを比較し、第二の認識閾値よりも類似度の方が大きいか否か判定する。そして、カメラマイコンは、Ｓ２１１において、類似度の方が大きいと判定した場合（ＹＥＳ）にはＳ２１２に処理を進め、一方、類似度が第二の認識閾値以下であると判定した場合（ＮＯ）にはＳ２０９に処理を戻す。

ここで、Ｓ２１１において、類似度が第二の認識閾値よりも大きいと判定された場合、ロストしていた認識済みの顔が再度見つかったと判断できる。つまり、Ｓ２１０で個人認識処理の対象となった系列データは、本来、認識フラグ４０７が「ＯＮ」となっている系列データであるべきデータであったと判断できる。したがって、Ｓ２１２に進んだ場合、カメラマイコン１１４は、その認識フラグ４０７が「ＯＮ」となっている系列データに対して、Ｓ２１０で個人認識処理の対象となった系列データの顔情報（顔位置４０３、顔サイズ４０４、顔角度４０５）を上書きする。さらに、カメラマイコン１１４は、更新フラグ４０６を「更新」に変更し、認識処理の対象となった元の系列データを削除する。
その後、Ｓ２１３において、カメラマイコン１１４は、ロストカウンタ値をクリアした後、図２のフローチャートの処理を終了する。

また、Ｓ２１４に進んだ場合、カメラマイコン１１４は、類似度と比較するための閾値として第一の認識閾値を設定する。すなわち、Ｓ２１４の処理は、認識フラグ４０７が「ＯＮ」になっている顔データテーブル４０１中の系列データに対応する顔がロストしていない場合の処理であり、この場合、類似度と比較するための閾値として第一の認識閾値が設定される。詳細は後述するが、第一の認識閾値は、第二の認識閾値よりも高い値となされている。Ｓ２１４の後、カメラマイコン１１４は、Ｓ２１５に処理を進める。

Ｓ２１５に進むと、カメラマイコン１１４は、認識済みの顔がロストしてしまった時に使用する第二の認識閾値を算出する処理を実行した後、Ｓ２１３に処理を進める。Ｓ２１５における第二の認識閾値算出処理の詳細については後述する。

また、Ｓ２１６に進んだ場合、カメラマイコン１１４は、認識閾値として第一の認識閾値を設定する。すなわち、Ｓ２１６の処理は、顔データテーブル４０１中に認識フラグ４０７が「ＯＮ」になっている系列データが存在しない場合の処理である。ここで、顔データテーブル４０１中に認識フラグ４０７が「ＯＮ」の系列データが存在しない場合とは、未だ一度も登録人物と同じ人物の顔が出現していないか、その人物が一度いなくなった後に所定期間以上継続して出現しなかった場合であると考えられる。なお、登録人物がいなくなった後に所定期間継続して出現しない場合には、認識できる顔がなかった場合も含まれる。そして、このような状態になるのは、例えば、撮影者が撮影している近くに登録人物がいないか、撮影者が主被写体を切り替えてしまったためであると考えられる。したがって、この場合、カメラマイコン１１４は、認識閾値を第一の認識閾値に設定することにより、別の被写体を誤認識してしまうことを防ぐ。Ｓ２１６の後、カメラマイコン１１４は、Ｓ２１７に処理を進める。

Ｓ２１７において、カメラマイコン１１４は、Ｓ２０９の処理と同様に、更新フラグ４０６が「更新」となっている系列データに対応する顔のうち、個人認識処理を実行していない顔に対応する系列データがあるかどうかを確認する。カメラマイコン１１４は、Ｓ１２７において、個人認識処理を実行していない顔に対応する系列データがあると判定した場合（ＹＥＳ）にはＳ２１８に処理を進める。Ｓ２１８の処理は、個人認識部１１７にて行われる。一方、カメラマイコン１１４は、Ｓ２１７にて個人認識処理未実施の顔に対する系列データがないと判定した場合（ＮＯ）、つまり、更新フラグ４０６が「更新」となっている全系列データに対応する個人認識処理が実行済みの場合にはＳ２１３に処理を進める。

Ｓ２１８に進んだ場合、個人認識部１１７は、Ｓ２１０と同様に、カメラマイコン１１４から個人認識処理を実行していない系列データに対応する顔に対する個人認識処理を実行する旨の指示が入力されるのを待つ。個人認識部１１７は、個人認識処理の実行指示を受けると、顔検出部１１３にて検出された顔領域のうち、カメラマイコン１１４から指定された系列データに対応する顔領域と、カメラマイコン１１４のＲＡＭに記憶されている登録顔画像との類似度を算出する。そして、個人認識部１１７は、算出した類似度をカメラマイコン１１４に通知した後、Ｓ２１９に処理を進める。Ｓ２１９の処理は、カメラマイコン１１４にて行われる。

Ｓ２１９に進んだ場合、カメラマイコン１１４は、Ｓ２１８で算出された類似度とＳ２１６で設定された第一の認識閾値とを比較して、第一の認識閾値よりも類似度の方が大きいか否か判定する。そして、カメラマイコン１１４は、第一の認識閾値より類似度の方が大きいと判定した場合（ＹＥＳ）にはＳ２２０に処理を進め、一方、類似度が第一の認識閾値以下の場合（ＮＯ）にはＳ２１７に処理を戻す。

ここで、Ｓ２１９において、類似度が第一の認識閾値よりも大きいと判定された場合、登録人物と同じ人物の顔が初めて出現したか、一度いなくなった後に所定期間以上継続して登録人物が出現しなかった後に、再度登録人物が出現したと判断できる。したがって、Ｓ２２０に進むと、カメラマイコン１１４は、Ｓ２１８で個人認識を実行した顔に対応する系列データの認識フラグ４０７を「ＯＮ」にした後、Ｓ２１３に処理を進める。

Ｓ２２１に進んだ場合の処理は、Ｓ２０４で顔データテーブル４０１にデータがない場合の処理なので、カメラマイコン１１４は、個人認識閾値を第一の認識閾値に設定した後、Ｓ２１３に処理を進める。

＜第二の認識閾値算出処理の説明＞
次に、図３（ａ）〜図３（ｄ）、図５及び図６を用いて、前述したＳ２１５において行われる第二の認識閾値算出処理について説明する。
図３（ａ）〜図３（ｄ）は、図２のＳ２１５で行われる四つのパターン（第一のパターン〜第四のパターン）の第二の認識閾値算出処理のフローチャートである。図３（ａ）が第一のパターン、図３（ｂ）が第二のパターン、図３（ｃ）が第三のパターン、図３（ｄ）が第四のパターンの、第二の認識閾値算出処理のフローチャートである。また、図５は、図３（ｄ）で後述する第二の認識閾値テーブルを示す図である。また、図６（ａ）〜図６（ｄ）は、図３（ａ）〜図３（ｄ）に示した各フローチャートの第二の認識閾値算出処理を実行した時のそれぞれの動作例を示した図である。図６（ａ）〜図６（ｄ）の縦軸は前述した類似度を「０」〜「１０」の１１段階で示しており、類似度が高い場合には大きい値、類似度が小さい場合には小さい値となされている。また、図６（ａ）〜図６（ｄ）の横軸は、或る時刻を０としたときの当該時刻０からの時間を表している。図６（ａ）〜図６（ｄ）の横軸において、時刻０〜ｔlostまでの期間は登録人物を認識できている期間であり、時刻ｔlostは認識していた顔を見失った時刻（追尾できなくなってロストした時刻）、時刻ｔfindは人物の顔が再度検出された時刻とする。但し、時刻ｔfindでは、未だ登録人物であることを認識できていないとする。さらに、時刻ｔrecogは、時刻ｔlostでロストした登録人物を再度認識できたタイミングとする。なお、図６（ａ）では、時刻ｔfind＝時刻ｔrecogとしているが、これは時刻ｔfindで再度検出された人物が直ぐに登録人物であると再度認識できた場合の例である。また、本実施形態では、第一の認識閾値は「９」に設定していると定義するが、この数値は本実施形態の説明をするための便宜的な設定値であり、この数値に限定されるものではない。また、図６（ａ）〜図６（ｄ）において、同じ値やグラフを表しているものについては同じ参照番号を付してそれらの説明は省略する。

先ず、図３（ａ）及び図６（ａ）を用い、第二の認識閾値として、予め決められた固定値を設定する第一のパターンについて説明する。
前述したＳ２１５における第二の認識閾値算出処理が開始されると、図３（ａ）のＳ３０１において、カメラマイコン１１４は、内部のＲＡＭに保持してある固定値を読み出して第二の認識閾値に設定し、図３（ａ）の処理を終了する。固定値は、第一の認識閾値よりも小さい値となされ、誤認識を所定の割合に抑制するような値が既存の知見に基づいて設定されてもよいし、予備実験結果に基づいて経験的に求められた値でもよい。

図６（ａ）は、第一のパターンにおいて、前述の固定値を「５」に設定した場合の動作例について説明する図である。
図６（ａ）の例において、時刻０のタイミングでは、顔検出部１１３にて検出されている顔領域が、個人認識部１１７により登録人物の顔であると認識されているとする。ここでは、既に認識済みの顔があったとしてもよいし、時刻０で図２のＳ２１８〜Ｓ２２０の処理によって算出した類似度が第一の認識閾値６０１の「９」を超えて、初めて顔が認識できたタイミングとしてもよい。

時刻０〜ｔlostの間は、認識済みの顔を追尾している状態であり、図２のＳ２１４〜Ｓ２１５のシーケンスが実行される期間である。図６（ａ）の曲線６０２は、時刻０〜ｔlostの間の類似度の変化をグラフに表した線である。但し、曲線６０２は、連続的に算出された類似度の変化ではなく、個人認識部１１７が所定のタイミング毎に算出した離散的な類似度を仮想的に繋いだ類似度の変化を表している。このことは後述する他の曲線６０４、６０７についても同様とする。前述したように、認識済みの顔は、カメラマイコン１１４が追尾していると判断している間には個人認識処理が実施されていなくても認識済みの顔であると判断されるとする。

そして、時刻ｔlostにおいてカメラマイコン１１４が認識済みの顔を見失った（ロストした）時には、図２のＳ２０７〜Ｓ２１２のシーケンスが実行される。すなわちこの場合、Ｓ２０８において、カメラマイコン１１４は、Ｓ３０１で設定した第二の認識閾値を、類似度に対する比較用の認識閾値として設定する。図６（ａ）の例では、時刻ｔlostのタイミングで認識閾値６０３として「５」の値が設定される。

時刻ｔlost〜ｔfindの期間は、前述したように、時刻ｔlostで認識済みの顔がロストした後の経過時間である。すなわち、図６（ａ）の例において、時刻ｔlost〜ｔfindの期間は、ロストした認識済みの顔が撮像画面内で検出されていない（個人認識部１１７が認識できていない）期間である。したがって、時刻ｔlost以降の時間に例えば新規に顔が検出された場合、その新規に検出された顔に対しては、図２のＳ２０９〜Ｓ２１１の処理が実行されることになる。

そして、時刻ｔfindのタイミングで人物が再度検出されると、Ｓ２１０において、個人認識部１１７は認識処理を実行する。但し、このとき検出された人物の顔は、登録人物と異なる顔、若しくは、登場人物の顔であったとしても、登録人物の顔が横を向いていたり、顔のサイズが小さくなっていたりするなど、類似度が低くなるような状態である可能性がある。すなわち、このときの類似度は、第二の認識閾値を下回る可能性が高いと考えられる。一方で、時刻ｔlostのタイミングでは認識閾値が第一の認識閾値６０１（「９」）よりも低い第二の認識閾値６０３（「５」）に設定されているため、類似度が「５」以上であれば、ロストしていた認識済みの顔と同一人物であると判断できる。したがって、時刻ｔfindにおいて類似度が「５」以上であった場合には、時刻ｔfind＝時刻ｔrecogとなり、ロストしていた登録人物が再度認識される。これにより、カメラマイコン１１４は、登録人物の被写体に対してピントや明るさを合わせる処理を直ちに実行可能となる。なお、時刻ｔrecogで認識された後、カメラマイコン１１４は、認識閾値を第一の認識閾値に戻してもよく、その後、再度ロストしたり消失したりしたときまで第一の認識閾値を維持してもよい。

次に、図３（ｂ）及び図６（ｂ）を用い、時刻０〜ｔlostの間で所定のタイミング毎に類似度算出処理を行い、時刻ｔlostで登録人物をロストする直前の最後のタイミングで算出した類似度を、第二の認識閾値に設定する第二のパターンについて説明する。
Ｓ２１５の第二の認識閾値算出処理が開始されると、カメラマイコン１１４は、図３（ｂ）のＳ３０２として、個人認識部１１７に対し類似度を算出させる。このときの個人認識部１１７は、顔データテーブル４０１内で認識フラグが「ＯＮ」の系列データに対応する認識済みの顔に対し、登録顔画像を用いた認識処理を実行して類似度を算出する。このときの類似度の算出処理は前述した所定のタイミング毎に実行される。

次に、Ｓ３０３において、カメラマイコン１１４は、Ｓ３０２において所定のタイミング毎に算出された類似度の値を第二の認識閾値として設定（代入）する。ここで、本実施形態の場合、第二の認識閾値は第一の認識閾値よりも小さい値として設定されるため、カメラマイコン１１４は、Ｓ３０２で算出された類似度が第一の認識閾値よりも高い値である場合には、算出された類似度を第二の認識閾値に代入しない。なお、カメラマイコン１１４は、Ｓ３０２で算出された類似度が、第一の認識閾値に対して所定の値以下の値である場合にのみ第二の認識閾値に代入するようにしてもよい。また、第二の認識閾値の代入処理についても類似度の算出処理の場合と同様に、所定のタイミング毎に実行される。そして、図３（ｂ）の処理は、図２のＳ２０６においてロストしたと判定された場合には行われないため、登場人物をロストした場合、登録人物のロスト直前の最後のタイミングで算出された類似度の値が、第二の認識閾値として設定されることになる。

図６（ｂ）は、時刻０〜ｔlostまでで所定のタイミング毎（ｔ1，ｔ2，・・・，ｔn-1，ｔn）に算出された類似度のうち、時刻ｔlost直前の最後のタイミングで算出された類似度（時刻ｔnにおける類似度）が「５．５」の場合の動作例の図である。なお、時刻０のタイミングにおける処理は、図６（ａ）の場合と同様であるため説明を省略する。

図６（ｂ）の例において、時刻０〜ｔlostの間は認識済みの顔が追尾されている期間であり、当該期間では所定のタイミング毎に第二の認識閾値算出処理が実行される。すなわち、図６（ｂ）に示した所定のタイミング（ｔ1〜ｔn）のような固定の時間間隔毎に実行される類似度算出処理で得られた最新の類似度が、第二の認識閾値算出処理により第二の認識閾値として設定される。なお、時刻ｔlostのタイミングにおける処理は図６（ａ）の場合と同等であるため説明を省略する。時刻ｔlost〜ｔfindの期間についても、図６（ａ）の場合と同等であるため説明を省略する。

そして、時刻ｔlostで登場人物をロストした後、時刻ｔfindのタイミングで人物を再度検出した場合、Ｓ２１０において、個人認識部１１７による認識処理が実行される。但し、このとき検出された人物の顔は、登録人物と異なる顔、又は、登場人物の顔であったとしても顔が横を向いていたり、顔サイズが小さくなっていたりするなど、類似度が低くなるような状態である可能性がある。しかしながら、第二のパターンにおける第二の認識閾値算出処理の場合、前述の時刻ｔlostの直前の最後のタイミングで算出された類似度（図６（ｂ）の例では「５．５」の値）が、第二の認識閾値６０５として設定されている。したがって、時刻ｔfindのタイミングで実行した認識処理により得られた類似度が第二の認識閾値６０５（「５．５」）より大きければ、検出された顔はロストしていた認識済みの顔と同一人物の顔であると判断できる。

ここで例えば、時刻ｔlostと時刻ｔfindとの間が比較的短い期間である場合には、ロストした時の顔の状態（顔の向きや大きさ等）と似たような状態で出現する可能性が高い。したがって、時刻ｔlostの直前の時刻ｔnで実行した個人認識処理により算出された類似度を第二の認識閾値６０５として設定しておいた場合、再度検出した顔を認識し易くなるとともに、登録人物以外の顔が誤認識されてしまうことを抑制できると考えられる。

前述したように、第二のパターンによる第二の認識閾値算出処理によれば、時刻ｔfindと略々同じ時刻ｔrecogでロストしていた登録人物の再度認識が可能となる。これにより、カメラマイコン１１４は、登録人物の被写体に対してピントや明るさを合わせる処理を直ちに実行可能となる。なお、時刻ｔrecogで認識された後、カメラマイコン１１４は、認識閾値を第一の認識閾値に戻してもよく、その後、再度ロストしたり消失したりしたときまで第一の認識閾値を維持してもよい。

次に、図３（ｃ）及び図６（ｃ）を用い、時刻０〜ｔlostまでの間で所定のタイミング毎に類似度算出処理を実行し、認識済みの顔を追尾中に実行された認識処理で算出された類似度のうち、最小の値を第二の認識閾値に設定する第三のパターンを説明する。図３（ｃ）のフローチャートでは、図３（ｂ）のフローチャートと異なる部分についてのみ説明する。

図３（ｃ）のＳ３０４において、カメラマイコン１１４は、Ｓ３０２で実行した個人認識処理により算出された類似度と現在の第二の認識閾値として設定されている値とを比較し、現在の第二の認識閾値よりも、今回算出した類似度が小さいか否か判定する。Ｓ３０４の比較の結果、カメラマイコン１１４は、今回算出した類似度の方が現在の第二の認識閾値よりも小さいと判定（ＹＥＳ）した場合には、Ｓ３０３に処理を進め、今回算出した類似度を第二の認識閾値に代入する。一方、カメラマイコン１１４は、Ｓ３０４において、現在の第二の認識閾値が、今回算出した類似度以下であると判定（ＮＯ）した場合には、今回算出した類似度を第二の認識閾値に代入せずに、図３（ｃ）の処理を終了する。但し、カメラマイコン１１４は、第二の認識閾値は第一の認識閾値よりも小さい値を設定するため、今回算出した類似度が第一の認識閾値（「９」）よりも大きい場合には、その類似度を第二の認識閾値に代入しない。また、第三のパターンの場合も前述の第二のパターンの場合と同様に、類似度の算出処理と第二の認識閾値の代入処理は所定のタイミング毎に実行される。

図６（ｃ）は、時刻０〜ｔlostまでで所定のタイミング毎（ｔ1，ｔ2，・・・，ｔn-1，ｔn）に算出された類似度のうち、最小の値の類似度が時刻ｔn-1のタイミングで算出され、その類似度が「４」だった場合の動作例について説明する図である。なお、時刻０のタイミングにおける処理は、図６（ａ）の場合と同様であるため説明を省略する。また、時刻０〜ｔlostの間は図６（ｂ）の場合と同様であるため説明を省略する。さらに、時刻ｔlostにおける処理は図６（ａ）及び図６（ｂ）の場合と同等であるためその説明も省略する。時刻ｔlost〜ｔfindの期間についても、図６（ａ）及び図６（ｂ）の場合と同等であるためその説明も省略する。

図６（ｃ）の例において、時刻ｔfindのタイミングで人物が再度検出された時、Ｓ２１０において、個人認識部１１７による認識処理が実行される。但し、このとき検出された人物の顔は、前述同様に、登録人物と異なる顔、又は、登場人物の顔であっても顔が横を向いていたり、顔サイズが小さくなっていたりして類似度が低くなる状態である可能性がある。しかしながら、第三のパターンにおける第二の認識閾値算出処理の場合、時刻０〜ｔlostまでに算出された類似度のうち、最小の値の類似度（「４」）が第二の認識閾値６０６として設定されている。したがって、時刻ｔfindのタイミングで実行した認識処理により得られた類似度が第二の認識閾値６０６（「４」）より大きければ、検出された顔はロストしていた認識済みの顔と同一人物の顔であると判断できる。

ここで、ロストした顔は、顔の向きや大きさ等の状態によっては、追尾中に算出された最小の類似度まで下がる可能性があることが、時刻ｔ1〜ｔn-1までに実行された認識処理によって分かっている。したがって、時刻ｔ1〜ｔn-1までに実行された個人認識処理で算出された類似度のうち最小の値を第二の認識閾値に設定しておくことで、再度検出した顔の状態（顔の向きや大きさ等）が、ロストした時よりも良くない場合であっても認識し易くなると考えられる。

前述したようなことから、第三のパターンによる第二の認識閾値算出処理によれば、時刻ｔfindと略々同じ時刻ｔrecogでロストしていた登録人物の再度認識が可能となる。これにより、カメラマイコン１１４は、登録人物の被写体に対してピントや明るさを合わせる処理を直ちに実行可能となる。なお、時刻ｔrecogで認識された後、カメラマイコン１１４は、認識閾値を第一の認識閾値に戻してもよく、その後、再度ロストしたり消失したりしたときまで第一の認識閾値を維持してもよい。

次に、図３（ｄ）、図６（ｄ）を用い、時刻０〜ｔlostまでの間で所定のタイミングにて認識処理を実行し、認識済みの顔を追尾中に実行した認識処理で得られた類似度をテーブルデータとして記憶し、第二の認識閾値に設定する第四のパターンを説明する。

図３（ｄ）のＳ３０５において、カメラマイコン１１４は、顔検出部１１３が出力する顔情報のうち、顔のサイズ情報及び角度情報が前回出力した顔情報から変化があるか否かを判別する。本実施形態では、例えば、顔サイズが「大」／「中」／「小」の状態から変化したかどうか、または、顔の角度が「０°」／「４５°」／「９０°」から変化したかどうかにより、顔情報の変化があるか否かの判定が行われる。カメラマイコン１１４は、図５に示したように、顔のサイズと顔の角度の組み合わせに対応した類似度のテーブルデータを、第二の認識閾値のテーブルデータとして作成して内部のＲＡＭに記憶する。変化があるかどうかの判定の基準となるサイズ情報や角度情報は、上述した各サイズや各角度に限らず、個人認識の類似度が大きく変化するサイズや角度でもよく、それらを予備検討にて抽出して設定しておいてもよい。そして、カメラマイコン１１４は、Ｓ３０５において、顔情報が前回の顔情報から変化したと判定（ＹＥＳ）した場合にはＳ３０２に処理を進め、一方、変化していないと判定（ＮＯ）した場合には図３（ｄ)の処理を終了する。なお、Ｓ３０２は図３（ｂ）での処理と同様であるため、その説明は省略する。図３（ｄ）の場合、Ｓ３０２の後には後述するＳ３０６の処理に進む。

ここで、Ｓ３０５の処理は、前述した所定のタイミング毎（固定の時間間隔）で第二の認識閾値算出処理を実行する処理でもよいが、第四のパターンでは、顔情報に変化があったタイミングでのみ処理を実行するようことにより、処理負荷の軽減を可能にしている。したがって、後述する図６（ｄ）を用いた説明では、顔情報に変化があった場合にのみ処理を実行するような場合を例として説明する。

Ｓ３０６に進むと、カメラマイコン１１４は、Ｓ３０５の処理で取得された顔のサイズ情報と顔の角度情報の組み合わせについて、図５の第二の認識閾値テーブルの該当するセルの第二の認識閾値をＳ３０２の認識処理で算出された類似度により更新する。そして、Ｓ３０６の後、カメラマイコン１１４は、図３（ｄ）の処理を終了する。但し、カメラマイコン１１４は、第二の認識閾値として第一の認識閾値よりも小さい値を設定するため、算出された類似度が第一の認識閾値よりも大きい場合には、算出した類似度で第二の認識閾値を更新しない。なお、カメラマイコン１１４は、算出された類似度が、第一の認識閾値に対して所定の値以下の値である場合にのみ第二の認識閾値を更新するようにしてもよい。また、カメラマイコン１１４は、図５の第二の認識閾値テーブルに関し、認識処理が実行されなかったサイズと角度の組み合わせのセルに該当する閾値については、予備検討により予め固定の値を設定してもよい。この場合、認識処理が実行された顔のサイズと角度の組み合わせに係るセルの値のみが、算出された類似度により更新される。また、カメラマイコン１１４は、予め各セル同士のオフセット値のみを持っていて、認識処理にて算出された類似度とオフセット値とに基づいて随時値を更新してもよい。

図６（ｄ）は、顔情報が変化したタイミングで認識処理が実行されて得られた類似度が、第二の認識閾値テーブルとして設定される、第四のパターンの動作例について説明する図である。時刻０のタイミングにおける処理は図６（ａ）の場合と同様であるため説明を省略する。
図６（ｄ）において、時刻０〜ｔlostの間は認識済みの顔を追尾している状態であるが、当該期間では顔検出部１１３からの顔情報に変化があったタイミングで第二の認識閾値算出処理が実行される。図６（ｄ）の例の場合、時刻ｔ4〜ｔ7のタイミングで顔情報に変化が検出され、それらのタイミングで第二の認識閾値算出処理が実行され、それぞれ得られた類似度が第二の認識閾値として図５に示す認識閾値テーブルに代入される。

以下、図５の認識閾値テーブルの状態が時刻ｔlostのタイミングでのテーブルの状態であると仮定して、図６（ｄ）の時刻ｔ4〜ｔ7のタイミングにおける動作を説明する。
ここで、時刻０では顔サイズが「中」、顔角度が「０°」であったとする。また、図６（ｄ）に示すように、顔サイズが「中」で、顔角度が「０°」となっている時刻０における顔の類似度は例えば「１０」であったとする。このときの類似度「１０」は、前述した第一の認識閾値６０１の「９」を上回っているため、認識閾値テーブルの該当セルの値は更新されない。

次に、時刻ｔ4において、顔サイズは「中」のまま変わらず、一方、顔角度が「０°」から「４５°」に変化したとする。この場合、顔情報が変化したため、個人認識部１１７は、その顔に対して認識処理を実行し、さらに類似度「７」を算出してカメラマイコン１１４に通知する。これにより、カメラマイコン１１４は、認識閾値テーブルの中の該当するセル（顔サイズ「中」で顔角度「４５°」のセル）に対し、取得した類似度「７」を第二の認識閾値として代入する。

次に、時刻ｔ5において、顔サイズが「中」から「大」に変化し、顔角度は「４５°」から変化していないとする。この場合、顔情報が変化したため、個人認識部１１７は、その顔に対して認識処理を実行し、さらに類似度を算出してカメラマイコン１１４に通知する。次に、カメラマイコン１１４は、認識閾値テーブルの中の該当するセル（顔サイズ「大」で顔角度「４５°」のセル）に対し、取得した類似度「８」を第二の認識閾値として代入する。

次に、時刻ｔ6において、顔サイズは「大」のまま変わらず、顔角度が「４５°」から「９０°」に変化したとする。この場合、顔情報が変化したため、個人認識部１１７は、その顔に対して認識処理を実行し、さらに類似度「５」を算出してカメラマイコン１１４に通知する。これにより、カメラマイコン１１４は、認識閾値テーブルの中の該当するセル（顔サイズ「大」で顔角度「９０°」のセル）に対し、取得した類似度「５」を第二の認識閾値として代入する。

次に、時刻ｔ7において、顔サイズが「大」から「中」に変化し、顔角度は「９０°」から変化がなかったとする。この場合、顔情報が変化したため、個人認識部１１７は、その顔に対して認識処理を実行し、さらに類似度「４」を算出してカメラマイコン１１４に通知する。これにより、カメラマイコン１１４は、認識閾値テーブルの中の該当するセル（顔サイズ「中」で顔角度「９０°」のセル）に対し、取得した類似度「４」を第二の認識閾値として代入する。

以上が、時刻０〜ｔlostまでに実行する第二の認識閾値算出処理である。なお、前述したように、上記の動作例で更新されなかったセルの値は予め所定の値が代入されているものとする。
次に、時刻ｔlost及び時刻ｔlost〜ｔfindの期間は、ロストした認識済みの顔が撮像画面内に出現していない期間であるが、この期間に新規に検出された顔に対する処理は、後述する時刻ｔfind以降の処理と同等であるためその説明は省略する。

次に、時刻ｔfindのタイミングで人物が再度検出されたとき、Ｓ２１０において、個人認識部１１７は認識処理を実行して類似度を算出する。なお、このとき検出された人物の顔は、前述同様に、登録人物と異なる顔、又は、登場人物の顔であっても顔が横を向いていたり、顔サイズが小さくなっていたりして類似度が低くなる状態である可能性がある。ここで、第四のパターンの場合、カメラマイコン１１４は、新規に検出された顔の顔情報（顔のサイズと角度）に基づいて、前述した認識閾値テーブルから、その顔情報に該当するセルに設定されている第二の認識閾値を取得する。そして、カメラマイコン１１４は、個人認識部１１７で算出された類似度と、認識閾値テーブルの該当セルから取得した第二の認識閾値とを比較する。

図６（ｄ）の時刻ｔfindにおいて取得された顔情報は、顔サイズが「大」、顔角度が「９０°」であったとする。この場合、カメラマイコン１１４は、認識閾値テーブルから顔サイズが「大」、顔角度が「９０°」の組み合わせのセルに設定されている値「５」を第二の認識閾値６０８として設定する。但し、図６（ｄ）の場合、例えば時刻ｔfindでは顔サイズ及び顔角以外の顔の状態がよくないなどの理由で、算出された類似度が第二の認識閾値「５」を下回っているとする。なお、顔の状態がよくない理由としては、例えば、顔の明るさや表情が著しく違った場合などが想定される。このため、図６（ｄ）の場合、時刻ｔfindにおいて、カメラマイコン１１４は、ロストしていた顔が再度出現したと判断できなかったとする。

次に、時刻ｔfind以降の類似度が、例えば図６（ｄ）の曲線６０７に示すような類似度変化であったとする。なお、カメラマイコン１１４は、曲線６０７が第二の認識閾値６０８を下回っている状態ではロストしていた顔が再度出現したと判断できない。

ここで、時刻ｔfrontにおいて、顔サイズが「大」から「中」へ変化し、顔角度が「９０°」から「４５°」に変化し、その顔情報が個人認識部１１７からカメラマイコン１１４に入力されたとする。このときのカメラマイコン１１４は、認識閾値テーブルから顔サイズが「中」、顔角度が「４５°」の組み合わせのセルに設定されている値「７」を第二の認識閾値６０９として設定する。さらに、カメラマイコン１１４は、時刻ｔfrontからｔrecogまでの期間も、個人認識部１１７に対して、認識できていない顔に対して認識処理を実行する指示を通知する。

そして時刻ｔrecogのタイミングで個人認識部１１７の認識処理による類似度が第二の認識閾値６０９の「７」を超えると、カメラマイコン１１４は、時刻ｔrecogの認識処理で類似度が算出された顔を、ロストした認識済みの人物の顔と判断する。

前述したように、第四のパターンによる第二の認識閾値算出処理によれば、顔情報が変化した時刻ｔ4〜ｔ7のタイミングで実行した個人認識処理により算出された類似度が第二の認識閾値として認識閾値テーブルに保持されている。そして、認識処理時には、認識閾値テーブルから、顔情報に応じた第二の認識閾値が設定される。これにより、第四のパターンの第二の認識閾値算出処理によれば、再度検出した顔を認識し易くなるとともに、登録人物以外の顔を誤認識してしまうことを抑制できる。したがって、カメラマイコン１１４は、登録人物の被写体に対してピントや明るさを合わせる処理を直ちに実行可能となる。なお、時刻ｔrecogで認識された後、カメラマイコン１１４は、認識閾値を第一の認識閾値に戻してもよく、その後、再度ロストしたり消失したりしたときまで第一の認識閾値を維持してもよい。

＜第二の認識閾値設定の例示（位置に応じて変更する場合）＞
次に、前述した時刻ｔlost〜ｔrecogの期間で設定される第二の認識閾値に関して、撮影画面内の各位置における閾値設定の例について図７（ａ）〜図７（ｄ）を用いて説明する。
図７（ａ）〜図７（ｄ）の横軸では、軸の中央を画面の中央部と定義し、軸の左端を画面左端、軸の右端を画面右端と定義する。また、図７（ａ）〜図７（ｄ）の縦軸は、前述した第二の認識閾値を示し、図７（ａ）〜図７（ｄ）の例では図６（ａ）で説明した固定値「５」を設定する第一のパターンを前提として説明する。図７（ａ）〜図７（ｄ）中の一点鎖線の折れ線で示される値が、本実施形態で説明する画面の位置に応じて設定した第二の認識閾値を示している。なお、図７（ａ）〜図７（ｄ）の説明では、画面の水平方向の例を示しているが、画面の垂直方向やその他の方向についても適用することが可能である。

図７（ａ）は、カメラマイコン１１４が画面左方向へのパンニング動作（撮影者がビデオカメラ１０を水平方向に振る動作）を検知しているときの第二の認識閾値設定の例を示した図である。図７（ａ）では、第二の認識閾値として、画面左から位置ｐpan1までは固定値「５」が設定され、位置ｐpan1からｐpan2にかけては固定値「５」から第一の認識閾値相当の値「９」までを線形に結ぶ値が設定される。さらに、位置ｐpan2から画面右までは、第二の認識閾値として、第一の認識閾値相当の値「９」が設定される。図７（ａ）の例では、パンニングによりビデオカメラ１０が振られている場合、折れ線７１０で示すように、パンニング方向の位置では低く、一方、パンニング方向の反対方向の位置では高い値に、第二の認識閾値が設定される。

ここで、撮影者（ユーザ）がビデオカメラ１０をパンニングさせている場合、パンニング方向に主被写体がいる可能性が高く、パンニング方向から主被写体つまり、ロストしていた認識済みの顔が検出される可能性が高いと考えられる。一方で、パンニング方向の反対方向である画面右から検出された被写体は撮影者が探している主被写体ではない可能性が高いと考えられる。このため、図７（ａ）の例では、パンニング方向で検出された顔に対しては第二の認識閾値を低く設定し、パンニング方向の反対方向で検出された顔に対しては第二の認識閾値を高く設定している。したがって、図７（ａ）の例の場合、時刻ｔlostで見失った登録被写体を再度検出した時に、認識するタイミング（時刻ｔrecog）を早めることができる。また、登録被写体以外を検出した場合には誤認識してしまうことを防ぐことができる。

また、図７（ａ）の例において、画面左端の第二の認識閾値を固定値「５」とし、一方、第二の認識閾値が固定値「５」から変更される位置ｐpan1を、画面左から所定距離だけ離れている位置としたのは、以下の第一、第二の理由のためである。
第一の理由は、検出する顔領域の大きさを考慮し、顔領域の中心位置は必ず顔領域の水平サイズの半分の位置になると考えられるためである。したがって、カメラマイコン１１４は、検出された顔領域のサイズが大きくなることに応じて、位置ｐpan1を、より画面右側に設定するようにしてもよい。
第二の理由は、パンニング量が大きくなった場合、顔領域が検出される位置が、より中心方向にずれるようになると考えられるためである。したがって、カメラマイコン１１４は、検出されたパンニング量が大きくなることに応じて、位置ｐpan1を、より画面右側に設定するようにしてもよい。

さらに、図７（ａ）の例の場合、位置ｐpan1〜ｐpan2の間の位置では第二の認識閾値を線形に連続的に変化させるようにしているが、第二の認識閾値を単調に増加させるのであれば非線形であってもよいし、離散的であってもよい。
図７（ａ）では、パンニング方向の位置に応じた第二の認識閾値設定例を説明したが、撮影者がビデオカメラ１０を垂直方向に振る動作であるチルティング動作についても前述同様の考えに基づいて第二の認識閾値設定を行ってもよい。また、第二の認識閾値設定は、これらパンニングとチルティングの何れか一方に基づいて行ってもよいし、それら両方に基づいて行われてもよい。

図７（ｂ）は、ズームレンズ１０２がワイド方向に駆動されていることをカメラマイコン１１４が検知したワイド検知時における第二の閾値設定の例を示した図である。図７（ｂ）では、第二の認識閾値として、画面左から位置ｐwide1までは固定値「５」が設定され、位置ｐwide1からｐwide2にかけては固定値「５」から第一の認識閾値相当の値「９」までを線形に結ぶ値が設定される。さらに、位置ｐwide2からｐwide3にかけては第一の認識閾値相当の値「９」が、位置ｐwide3からｐwide4にかけては第一の認識閾値相当の値「９」から固定値「５」までを線形に結ぶ値が、第二の認識閾値として設定される。さらに、位置ｐwide4から画面右までは固定値「５」が、第二の認識閾値として設定される。図７（ｂ）の例では、ズームレンズ１０２がワイド方向に駆動されている場合、折れ線７０２で示すように、画面端部付近の位置では低く、画面中央部付近の位置では高い値に、第二の認識閾値が設定される。

ここで、撮影者がビデオカメラ１０のズームレンズ１０２をワイド方向に操作している場合には、画面の外周部から主被写体が検出される可能性が高いと考えられる。一方で、ズームレンズ１０２をワイド方向に操作している場合において、画面の中心付近で検出された被写体は撮影者が探している主被写体ではない可能性が高いと考えられる。このため、図７（ｂ）の例では、ズームレンズ１０２がワイド方向に操作されている場合、画面の外周部で検出された顔には第二の認識閾値を低く設定し、画面の中央部付近に検出された顔には第二の認識閾値を高く設定する。これにより、時刻ｔlostで見失った登録被写体を再度検出した時に、認識するタイミング（時刻ｔrecog）を早めることができる。また、登録被写体以外を検出した場合には誤認識してしまうことを防ぐことができる。

また、図７（ｂ）において、画面両端の第二の認識閾値を固定値「５」とし、一方、第二の認識閾値が固定値「５」から変更される位置ｐwide1やｐwide4を、画面端から各々所定距離だけ離れた位置としたのは、以下の第三、第四の理由のためである。
第三の理由は、図７（ａ）と同様に、検出する顔領域の大きさを考慮し、顔領域の中心位置は必ず顔領域の水平サイズの半分の位置になるためである。したがって、カメラマイコン１１４は、検出された顔領域のサイズが大きくなることに応じて、位置ｐwide1やｐwide4をより画面右側に設定するようにしてもよい。
第四の理由は、ズーミング駆動源１１５によるズーム駆動速度が大きくなることによって、検出され位置が、より中心方向にずれるためである。したがって、カメラマイコン１１４は、ズーム駆動速度が大きくなることに応じて、位置ｐwide1やｐwide4をより画面中央部に設定するようにしてもよい。

さらに、図７（ｂ）の例の場合、位置ｐwide1〜ｐwide2及び位置ｐwide3〜ｐwide4の間では、第二の認識閾値を線形に連続的に変化させているが、第二の認識閾値を単調で増加させるのであれば非線形でもよいし、離散的でもよい。

図７（ｃ）は、認識済みの顔をロストした位置が、位置ｐlost3であった場合の第二の閾値設定の例を示した図であり、図中の折れ線７０３上の値が、顔のロスト位置に応じて設定される第二の認識閾値を表している。図７（ｃ）では、第二の認識閾値として、画面左から位置ｐlost1までは第一の認識閾値相当の値「９」が設定され、位置ｐlost1からｐlost2にかけては第一の認識閾値相当の値「９」から固定値「５」までを線形に結ぶ値が設定される。また、位置ｐlost2からｐlost4にかけては固定値「５」が、位置ｐlost4からｐlost5にかけては固定値「５」から第一の認識閾値相当の値「９」までを線形に結ぶ値が、第二の認識閾値として設定される。さらに、位置ｐlost5から画面右までは第一の認識閾値相当の値「９」が第二の認識閾値として設定される。図７（ｃ）の例では、折れ線７０３で示すように、認識済みの顔をロストした位置が位置ｐlost3であった場合、その位置ｐlost3の近傍の位置では低く、一方、位置ｐlost3から離れた位置では高い値に、第二の認識閾値が設定される。

ここで、撮影者がビデオカメラ１０のパンニングやズーミングを行っていない場合、主被写体、つまりロストした認識済みの顔の人物は見失った付近に未だ居る可能性が高く、そのロスト位置に、認識していた人物の顔が再度出現する可能性が高いと考えられる。一方で、認識済みの顔をロストした位置から離れた位置で検出された被写体は、認識済みの顔ではない可能性が高いと考えられる。このため、図７（ｃ）では、認識済みの顔をロストした位置付近で検出された顔には第二の認識閾値を低く設定し、認識済みの顔をロストした位置から遠い位置で検出された顔には第二の認識閾値を高く設定する。これにより、時刻ｔlostでロストした認識済みの顔を再度検出した時に、認識するタイミング（時刻ｔrecog）を早めることができる。また、登録人物以外を検出した場合には誤認識してしまうことを防ぐことができる。

また、図７（ｃ）において、位置ｐlost2やｐlost4が位置ｐlost3から所定距離だけ離れた位置となされているのは、以下の第五、第六の理由のためである。
第五の理由は、図７（ａ）及び図７（ｂ）と同様に、検出する顔領域の大きさを考慮しており、顔領域の中心位置は必ず顔領域の水平サイズの半分の位置であるためである。したがって、検出された顔領域のサイズが大きくなることに応じて、位置ｐlost2や位置ｐlost4を、より位置ｐlost3から離したところに設定するようにしてもよい。
第６の理由は、認識済みの顔をロストする直前の人物の動き量が大きくなることによって、検出する位置が位置ｐlost3から移動していた方向にずれる可能性があるためである。したがって、ロストする直前の顔の人物の動き量が大きくなることに応じて、位置ｐlost2や位置ｐlost4を、よりロスト直前の顔の人物の動き方向に設定するようにしてもよい。つまり、位置ｐlost1〜ｐlost4は位置ｐlost3に対して必ずしも対称でなくてもよい。さらに、位置ｐlost1〜ｐlost2及び位置ｐlost4〜ｐlost5の間の位置では、第二の認識閾値を線形に連続的に変化させるようにしているが、第二の認識閾値を単調で増加させるのであれば非線形でもあってもよいし、離散的であってもよい。

図７（ｄ）は、ズームレンズ１０２がテレ方向に駆動されていることをカメラマイコン１１４が検知したテレ検知時における第二の閾値設定の例を示した図である。図７（ｄ）では、第二の認識閾値として、画面左から位置ｐtele1までは第一の認識閾値相当の値「９」が設定され、位置ｐtele1からｐtele2にかけては第一の認識閾値相当の値「９」から固定値「５」までを線形に結ぶ値が設定される。また、位置ｐtele2からｐtele3にかけては固定値「５」が設定され、位置ｐtele3からｐtele4にかけては固定値「５」から第一の認識閾値相当の値「９」までを線形に結ぶ値が、第二の認識閾値として設定される。さらに、位置ｐtele4から画面右までは第一の認識閾値相当の値「９」が第二の認識閾値として設定される。図７（ｄ）の例では、ズームレンズ１０２がテレ方向に駆動されている場合、折れ線７０４で示すように、画面中央部付近の位置では低く、画面端部付近の位置では高い値に、第二の認識閾値が設定される。

ここで、撮影者がビデオカメラ１０のズームレンズ１０２をテレ方向に操作している場合、画面中央部において主被写体、つまり認識済みの顔が検出される可能性が高いと考えられる。一方で、画面の外周部で検出された被写体はテレ方向へのズーミングにより画面外に抜けて行くため、撮影者が探している主被写体ではない可能性が高いと考えられる。したがって、図７（ｄ）に示すように、画面中央部付近で検出された顔には認識閾値を低く設定し、画面の外周部で検出された顔には認識閾値を高く設定する。これにより、時刻ｔlostで見失った認識済みの顔を再度検出した時に、認識するタイミング（時刻ｔrecog）を早めることができる。また、登録被写体以外を検出した場合には誤認識してしまうことを防ぐことができる。

また、図７（ｄ）において、画面の外周部付近の第二の認識閾値が第一の認識閾値相当の値「９」から変更される位置ｐtele1やｐtele4を、画面端から各々所定距離だけ離れた位置としたのは、以下の第七、第八の理由のためである。
第七の理由は、図７（ａ）、図７（ｂ）及び図７（ｃ）と同様に、検出する顔領域の大きさを考慮しており、顔領域の中心位置は必ず顔領域の水平サイズの半分の位置であるためである。したがって、認識済みの顔をロストしたときの大きさとズーム倍率を基準（１倍）としたときに、例えばズーム倍率２倍だった場合には、ロストしたときの顔サイズに対して２倍した値をｐtele2〜ｐtele3の位置としてもよい。
第八の理由は、ビデオカメラ１０のズーム駆動速度が大きくなることによって、画面外周部にある顔が画面の外に抜ける速さが増すためである。したがって、ズーム駆動速度が大きくなることに応じて、位置ｐtele1〜ｐtele4をより画面中央部に設定するようにしてもよい。

また、位置ｐtele1〜ｐtele2及び位置ｐtele3〜ｐtele4の間の位置では、第二の認識閾値を線形に連続的に変化させるようにしているが、第二の認識閾値を単調で増加させるのであれば非線形でもあってもよいし、離散的であってもよい。

＜第二の認識閾値設定の例示（時間に応じて変更する場合）＞
次に、前述した時刻ｔlost〜ｔrecogの期間で設定される第二の認識閾値の時間的な変化の例について図８（ａ）〜図８（ｄ）を用いて説明する。
図８（ａ）〜図８（ｄ）は認識済みの顔をロストした時刻ｔlostから再度認識が出来る時刻ｔrecogの前までの期間における第二の認識閾値変化の例を示した図である。図８（ａ）〜図８（ｄ）の横軸は、時間を示しており、認識していた被写体（顔）を見失った時刻ｔlostを原点とする。また、図８（ａ）〜図８（ｄ）の縦軸は、前述した第二の認識閾値を示しており、図８（ａ）〜図８（ｄ）の例では図６（ａ）で説明した固定値「５」を設定する第一のパターンを前提として説明する。図８（ａ）〜図８（ｄ）中の一点鎖線８０１〜８０４上の値は、本実施形態で説明する時間に応じて設定した第二の認識閾値を示している。

図８（ａ）は、時刻ｔlostで第二の認識閾値を固定値「５」に設定した後、時刻ｔaのタイミングで第一の認識閾値相当の値「９」に設定される例を示した図である。図８（ａ）中の一点鎖線８０１が第二の認識閾値を表している。
図８（ｂ）は、時刻ｔlostで第二の認識閾値を固定値「５」に設定した後、時刻ｔb1のタイミングで値「６」に設定し、以降、時刻ｔbnのタイミングで第一の認識閾値相当の値「９」になるように段階的に第二の認識閾値を設定する例を示した図である。図８（ｂ）中の一点鎖線８０２上の値が時刻に応じて設定される第二の認識閾値を表している。なお、図８（ｂ）では第二の認識閾値が４段階に変化する例を示しているが、何段階の変化であってもよい。
図８（ｃ）は、時刻ｔlostで第二の認識閾値を固定値「５」に設定した後、時刻ｔc1から時刻ｔc2にかけて、第二の認識閾値を線形に増加させる例を示した図である。図８（ｃ）中の一点鎖線８０３上の値が時刻に応じて設定される第二の認識閾値を表している。
図８（ｄ）は、時刻ｔlostで第二の認識閾値を固定値「５」に設定した後、時刻ｔd1から時刻ｔd2にかけて、第二の認識閾値を非線形に増加させて設定する例を示した図である。図８（ｄ）中の一点鎖線８０４上の値が時刻に応じて設定される第二の認識閾値を表している。
なお、上述した各時刻ｔa、ｔb1〜ｔbn、ｔc1、ｔc2、ｔd1、ｔd2は、前述したロストカウンタ値で表される経過時間と比較される値（時刻）である。

また、本実施形態において、前述した図７（ａ）〜図７（ｄ）に示す位置に応じた閾値設定と、図８（ａ）〜図８（ｄ）に示す時間に応じた閾値設定とを合わせて、第二の認識閾値設定が行われてもよい。
一例として、図７（ａ）と図８（ｃ）で説明した第二の認識閾値設定を合わせて実施した場合について説明する。この例の場合、図７（ａ）の画面左から位置ｐpan2の間の各位置の第二の認識閾値は時刻ｔc1から単調増加を開始し、時刻ｔc2で単調増加を終了して第一の認識閾値相当の値「９」に設定してもよい。この例では、時刻ｔlostの時点で設定した閾値が低い位置ほど単位時間当たりの閾値の増加量が大きくなるようにしているが、単位時間当たりの閾値の増加量が画面の位置によらず一定となるようにしてもよい。

以上説明した画面の位置に応じた認識閾値は、顔検出部１１３で検出した顔の中心位置に基づいて決めてもよいし、顔の中心位置と顔のサイズに基づいて、顔領域内に最も多く占める認識閾値として、また顔領域内に設定されている認識閾値の平均値としてもよい。

以上説明したように、本実施形態では、個人認識制御において、個人認識処理の結果、ビデオカメラに登録されている人物と同一人物であるか否かを判定する閾値を撮影状況に応じて変更することで、登録人物であると判定するまでの時間を短縮化可能としている。すなわち、本実施形態によれば、表情、顔の向きの変動等により所望の人物を認識し難い状況であっても、より早いタイミングで登録人物であると認識することができる。したがって、本実施形態によれば、所望の人物に対するＡＦ制御やＡＥ制御が早いタイミングで実行できるため、よりユーザの意図を反映した映像を撮影することが可能になる。

＜その他の実施形態＞

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０５‥フォーカスレンズ、１０６‥撮像素子、１１１‥ＡＦゲート、１１２‥焦点信号生成部、１１３‥顔検出部、１１４‥カメラマイコン、１１７‥個人認識部

Claims (20)

1. 映像信号から所定の被写体領域を検出する検出手段と、
   前記検出された被写体領域から抽出した特徴情報と登録されている特徴情報との類似度と、所定の閾値との比較に基づいて、前記被写体領域に対する認識処理を行う認識手段と、
   前記認識手段により認識された認識済み被写体領域を追尾する追尾手段と、
   前記追尾手段が前記追尾している前記認識済み被写体領域の情報を保持する保持手段と、
   前記所定の閾値を設定する設定手段と、を有し、
   前記設定手段は、
   前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段が前記認識済み被写体領域の情報を保持していないときには、前記所定の閾値として第一の閾値を設定し、
   前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段が前記認識済み被写体領域の情報を保持しているときには、前記所定の閾値として前記第一の閾値よりも低い第二の閾値を設定する
   ことを特徴とする画像処理装置。
2. 前記認識手段は、
   前記検出された被写体領域から抽出した特徴情報と、前記登録されている特徴情報との間の類似度を算出する算出手段を有し、
   前記類似度が前記所定の閾値より大きい場合に、前記所定の被写体領域を認識できたと判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記追尾手段が前記認識済み被写体領域を追尾できなくなってから、前記認識済み被写体領域を再度認識できない期間が所定期間以上継続した場合に、前記保持手段は、前記認識済み被写体領域の情報を削除することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記設定手段は、前記追尾手段が前記認識済み被写体領域を追尾できなくなってから経過した時間に応じて、前記所定の閾値を前記第二の閾値よりも大きい値に設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記設定手段は、前記追尾手段が前記認識済み被写体領域を追尾できなくなってから所定の時間が経過したときに、前記所定の閾値を前記第二の閾値から前記第一の閾値に切り替えることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記設定手段は、前記追尾手段が前記認識済み被写体領域を追尾できなくなってから所定の時間が経過するまでの間で、前記所定の閾値を前記第二の閾値から段階的に増加させることを特徴とする請求項４に記載の画像処理装置。
7. 前記設定手段は、前記追尾手段が前記認識済み被写体領域を追尾できなくなってから所定の時間が経過するまでの間で、前記所定の閾値を前記第二の閾値から線形に増加させることを特徴とする請求項４に記載の画像処理装置。
8. 前記設定手段は、前記追尾手段が前記認識済み被写体領域を追尾できなくなってから所定の時間が経過するまでの間で、前記所定の閾値を前記第二の閾値から非線形に増加させることを特徴とする請求項４に記載の画像処理装置。
9. 前記認識手段は、前記追尾手段が前記認識済み被写体領域を追尾している場合には、前記類似度を所定のタイミング毎に求め、
   前記設定手段は、前記所定のタイミング毎の類似度のうち、最後のタイミングで求められた類似度の値を前記第二の閾値として設定することを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
10. 前記認識手段は、前記追尾手段が前記認識済み被写体領域を追尾している場合には、前記類似度を所定のタイミング毎に求め、
    前記設定手段は、前記所定のタイミング毎の類似度のうち、最も低い類似度の値を前記第二の閾値として設定することを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
11. 前記認識手段は、前記追尾手段が前記認識済み被写体領域を追尾している場合には、前記類似度を所定のタイミング毎に求め、
    前記検出手段は、前記検出した被写体領域の大きさ及び角度に関する情報の少なくとも一方の情報を検出し、
    前記保持手段は、前記所定のタイミング毎の類似度を、前記検出された被写体領域の大きさ及び角度に関する情報の少なくとも一方の情報に結び付けて記憶するテーブルを保持し、
    前記設定手段は、前記検出された被写体領域の大きさ及び角度に関する情報の少なくとも一方の情報に基づいて前記テーブルから読み出された類似度の値を、前記第二の閾値として設定することを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
12. 前記保持手段は、前記所定のタイミング毎に、最新の前記類似度および前記検出された被写体領域の大きさ及び角度に関する情報の少なくとも一方を用いて前記テーブルを更新することを特徴とする請求項１１に記載の画像処理装置。
13. 前記検出手段は、前記検出した被写体領域の大きさ及び角度に関する情報の少なくとも一方が変化したか否かを判定し、
    前記所定のタイミングは、前記検出した被写体領域の大きさ及び角度に関する情報の少なくとも一方が変化したと判断したタイミングであることを特徴とする請求項９から１２の何れか１項に記載の画像処理装置。
14. 前記設定手段は、
    前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段に前記認識済み被写体領域の情報が保持されている場合、
    パンニング動作とチルティング動作の少なくとも何れかの動作をした方向で、前記検出された前記被写体領域に対しては、前記第二の閾値を設定し、
    前記パンニング動作とチルティング動作の少なくとも何れかの動作をした方向とは反対方向で、前記検出された前記被写体領域に対しては、前記第二の閾値よりも大きい閾値を設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
15. 前記設定手段は、
    前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段に前記認識済み被写体領域の情報が保持され、ズームがワイド方向になされた場合、
    前記映像信号の画像の外周部で、前記検出された被写体領域に対しては、前記第二の閾値を設定し、
    前記映像信号の画像の中央部で、前記検出された被写体領域に対しては、前記第二の閾値よりも大きい閾値を設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
16. 前記設定手段は、
    前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段に前記認識済み被写体領域の情報が保持され、ズームがテレ方向になされた場合、
    前記映像信号の画像の中央部で、前記検出された被写体領域に対しては、前記第二の閾値を設定し、
    前記映像信号の画像の外周部で、前記検出された被写体領域に対しては、前記第二の閾値よりも大きい閾値を設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
17. 前記設定手段は、
    前記追尾手段が前記認識済み被写体領域を追尾しておらず、かつ、前記保持手段に前記認識済み被写体領域の情報が保持されている場合、
    前記追尾手段が前記認識済み被写体領域を追尾できなくなった前記映像信号の画面内の位置で、前記検出された前記被写体領域に対しては、前記第二の閾値を設定し、
    別の位置で前記検出された前記被写体領域に対しては、前記追尾できなくなった際の前記位置からの距離に応じて前記第二の閾値よりも大きい閾値を設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
18. 前記検出手段は、前記所定の被写体領域として前記映像信号から人物の顔領域を検出することを特徴とする請求項１から１７の何れか１項に記載の画像処理装置。
19. 映像信号から所定の被写体領域を検出する検出工程と、
    前記所定の閾値を設定する設定工程と、
    前記検出された被写体領域から抽出した特徴情報と登録されている特徴情報との類似度と、所定の閾値との比較に基づいて、前記被写体領域に対する認識処理を行う認識工程と、
    前記認識工程により認識された認識済み被写体領域を追尾する追尾工程と、
    前記追尾工程にて前記追尾している前記認識済み被写体領域の情報を保持する保持工程と、を有し、
    前記設定工程では、
    前記追尾工程にて前記認識済み被写体領域を追尾しておらず、かつ、前記保持工程で前記認識済み被写体領域の情報を保持していないときには、前記所定の閾値として第一の閾値を設定し、
    前記追尾工程にて前記認識済み被写体領域を追尾しておらず、かつ、前記保持工程で前記認識済み被写体領域の情報を保持しているときには、前記所定の閾値として前記第一の閾値よりも低い第二の閾値を設定する
    ことを特徴とする画像処理装置の画像処理方法。
20. コンピュータを、請求項１から１８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images