JP5329940B2 - 画像処理装置、その制御方法、及び撮像装置 - Google Patents

Description

本発明は、撮像装置および撮像装置の制御方法に関し、特には、画像中に含まれる特定の被写体を検出し追跡する画像処理装置および画像処理方法、ならびに、撮像装置に関する。

画像から特定の被写体を自動的に検出する画像処理方法は非常に有用であり、例えば動画像における人間の顔領域の特定に利用することができる。このような画像処理方法は、通信会議、マンマシンインタフェース、セキュリティシステム、人間の顔を追跡するためのモニタシステム、画像圧縮などの多くの分野で使用することができる。デジタルカメラやデジタルビデオカメラでは、撮影画像から顔を検出し、その検出結果を制御対象として焦点や露出を最適化させている。特許文献１には、画像中の顔の位置を検出して顔に焦点を合わせると共に、顔に最適な露出で撮影する装置が開示されている。

このとき、検出された顔を追跡することにより、時系列に対して安定的な制御が可能になる。特許文献２には、テンプレートマッチングの手法を利用して自動で特定の被写体を追跡するようにした記述が開示されている。テンプレートマッチングは、追跡対象の画像領域を切り出した部分画像を基準画像（テンプレート画像）として登録し、画像内で基準画像と最も相関度が高い領域を推定し、特定の被写体を追跡する手法である。

図１は、従来技術による、テンプレートマッチングを用いて被写体追跡を行う一例の処理のフローチャートを示す。また、図２は、図１のフローチャートの処理に従った被写体追跡の例をより具体的に示す。

図１のフローチャートにおいて、先ず、ビデオカメラなどの撮像装置において、フレームｔ＝０における入力画像２０１を読み込む（ステップＳ１０１）。次に、入力画像２０１に対して、例えば顔検出処理といった被写体検出処理を行って被写体領域を抽出し、画像２０２に枠２１０で示されるような被写体検出結果を得る（ステップＳ１０２）。次のステップＳ１０３で、この被写体検出結果から初期の基準画像２０３を登録する。

続いて、ステップＳ１０４で、次のフレームｔ＝１における入力画像２０４を読み込む。そして、次のステップＳ１０５で、入力画像２０４の部分領域と、フレームｔ＝０の入力画像２０１において登録された基準画像２０３とのマッチング処理を行なう。マッチング処理は、例えば入力画像２０４の部分画像をずらしながら、当該部分画像と基準画像２０３とを比較してこれらの画像の相関度を求める。入力画像２０４の全域に対して基準画像２０３との比較が終了したら（ステップＳ１０６）、相関度が最も高い領域をフレームｔ＝１での被写体領域であると推定し、画像２０５に枠２１１で示されるようなマッチング結果を得る（ステップＳ１０７）。そして、推定された被写体領域に基づき、前のフレームｔ＝０で得られた基準画像２０３を更新し、新たな基準画像２０６を得る（ステップＳ１０８）。

処理をステップＳ１０４に戻し、次のフレームｔ＝２における入力画像２０７を読み込む。そして、次のステップＳ１０５で、入力画像２０７の部分領域と、フレームｔ＝１の入力画像２０４において更新された基準画像２０６とのマッチング処理を行なう。マッチング処理が完了したら（ステップＳ１０６）、相関度が最も高い領域をフレームｔ＝２での被写体領域であると推定し、画像２０８に枠２１２で示されるようなマッチング結果を得る（ステップＳ１０７）。そして、推定された被写体領域に基づき、前のフレームｔ＝１で得られた基準画像２０６を更新し、新たな基準画像２０９を得る（ステップＳ１０８）。

以上のように、連続して入力される画像と、前フレームにおけるマッチング結果によって得られる基準画像との相関をとることにより、目的とする被写体を追跡する。

特開２００５−３１８５５４号公報 特開２００１−６０２６９号公報

上述したような被写体追跡方法では、現在フレームの画像と基準画像とのパターンの類似性に基づいて、フレーム間で対応する被写体を検出して、被写体の追跡を行っている。そのため、被写体が障害物に隠れた場合や被写体が撮像範囲から外れた場合などに、被写体とは異なる領域を被写体領域として抽出する可能性があるという問題点があった。

例えば、被写体の一部が障害物に隠れている場合であっても、マッチング処理により、当該被写体が信頼度の低い状態で検出されることが考えられる。この検出結果に基づき基準画像を更新すると、更新された基準画像は、本来の被写体に対して障害物の形状を部分的に含む画像となる。そして、次のフレームからは、この障害物の形状を含む基準画像に基づきマッチング処理が行われることになる。この場合、本来追跡を行いたい被写体とは別の被写体を追跡することになってしまう。

したがって、本発明の目的は、特定の被写体を適切に追跡することができる画像処理装置、その制御方法、及び撮像装置を提供することにある。

本発明は、上述した課題を解決するために、画像を順次取得する取得手段と、取得手段により取得された画像について所定の被写体を検出する検出手段と、検出手段により検出された所定の被写体を含む領域の画像を抽出し、基準画像として設定する設定手段と、設定手段により基準画像が設定された場合に、基準画像が抽出された画像より後に取得手段により取得された画像について、基準画像に含まれる被写体と同一の被写体と認識した被写体を検出する追跡処理を行う追跡手段と、追跡処理において検出された被写体の信頼度を算出する算出手段と、を有し、設定手段は、追跡処理において検出された被写体について、該被写体を含む領域の画像を抽出して新たな基準画像として設定し、追跡手段は、算出手段により算出された信頼度が第１のレベルで得られた場合、追跡処理を継続し、信頼度が第１のレベルより低い第２のレベルで得られた場合、追跡処理を終了する条件を設定し、該条件が満たされるまでは追跡処理を継続することを特徴とする。

また、本発明は、上述した課題を解決するために、画像を順次取得する取得手段と、取得手段により取得された画像について所定の被写体を検出する検出手段と、検出手段により検出された所定の被写体を含む領域の画像を抽出し、基準画像として設定する設定手段と、設定手段により基準画像が設定された場合に、基準画像が抽出された画像より後に取得手段により取得された画像について、基準画像に含まれる被写体と同一の被写体と認識した被写体を検出する追跡処理を行う追跡手段と、追跡処理において検出された被写体の信頼度を算出する算出手段と、を有する画像処理装置の制御方法であって、設定手段が、追跡処理において検出された被写体について、該被写体を含む領域の画像を抽出して新たな基準画像として設定する工程と、追跡手段が、算出手段により算出された信頼度が第１のレベルで得られた場合、追跡処理を継続する工程と、追跡手段が、信頼度が第１のレベルより低い第２のレベルで得られた場合、追跡処理を終了する条件を設定し、該条件が満たされるまでは追跡処理を継続する工程と、を有することを特徴とする。

本発明によれば、特定の被写体を適切に追跡することができる。

以下、本発明の実施形態について図面を参照しながら詳述する。図３は、本発明の各実施形態に共通して適用可能な撮像装置３００の一例の構成を示す。撮像手段としての撮像部３０２は、撮像光学系と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによる撮像素子と、撮像素子を駆動する駆動回路とを有する。撮像光学系に設けられる撮像レンズ３０１によって被写体からの光線が集光され、撮像部３０２の撮像素子に照射される。撮像部３０２において、入射した光線が撮像素子において光電変換により画素単位で電荷に変換される。撮像部３０２は、この光が変換された電荷を画素毎に読み出して、画像信号として出力する。

なお、撮像部３０２において、撮像素子からの電荷の読み出しを所定時間間隔、例えばフレーム周期で連続的に行うことで、動画像信号を得ることができる。

撮像部３０２から出力された画像信号は、アナログ信号処理部３０３において相関二重サンプリング（ＣＤＳ）やゲイン調整などのアナログ信号処理が行われる。アナログ信号処理部３０３から出力された画像信号は、Ａ／Ｄ変換部３０４でデジタル信号に変換され、画像データとされる。

Ａ／Ｄ変換部３０４から出力された画像データは、撮影制御部３０５および画像処理部３０６にそれぞれ供給される。画像処理部３０６は、供給された画像データに対してガンマ補正、ホワイトバランス処理など所定の画像処理を施す。画像処理部３０６は、通常の画像処理に加え、後述する顔検出部３０９または顔追跡部３１０から供給される画像中の顔の領域に関する情報を用いた画像処理を行う機能を有する。

画像処理部３０６から出力された画像データは、表示部３０７および記録部３０８に供給されると共に、顔検出部３０９および顔追跡部３１０に供給される。

表示部３０７は、例えばＬＣＤや有機ＥＬディスプレイによる表示デバイスと、画像データに基づき表示デバイスを駆動する駆動回路とを有する。表示部３０７は、供給された画像データを表示デバイスに対して表示させる。時系列的に連続撮影した画像を逐次的に表示部３０７で表示することで、表示部３０７を、撮像画像をモニタする電子ビューファインダ（ＥＶＦ）として機能させることができる。

記録部３０８は、画像処理部３０６から供給された画像データを記録媒体３２１に記録する。記録媒体３２１は、例えば撮像装置３００に対して着脱可能な不揮発性の半導体メモリである。これに限らず、記録媒体３２１が撮像装置３００に内蔵される図示されない内蔵メモリや内蔵ハードディスクであってもよいし、図示されない通信部により通信可能に接続された外部装置であってもよい。勿論、記録媒体３２１が光ディスクや磁気テープであってもよい。

抽出手段としての顔検出部３０９は、画像処理部３０６から供給された画像データから画像中の人物の顔を検出し、被写体となる人物の人数と顔領域とを特定する。顔検出部３０９は、公知の顔検出方法を用いて顔検出を行うことができる。

顔検出の公知技術としては、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法や、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。顔の認識率向上のために、これらを組み合わせて顔認識を行なうのが一般的である。具体的な例としては、特開２００２−２５１３８０号広報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

顔検出部３０９から、顔領域の情報として、例えば検出した人数分の顔のそれぞれについて、位置、大きさ、傾きおよび信頼度などが出力される。ここで、信頼度とは、検出結果の確からしさを示す値であり、顔検出の処理過程の中で決定される。

信頼度の算出方法の例として、予め記憶された被写体の画像の特徴と、顔検出部３０９により検出した顔領域の画像の特徴とを比較して、検出した顔領域の画像が被写体の画像である確率を求め、この確率から算出する方法がある。予め記憶された被写体の画像としては、例えば典型的な顔による顔画像や、顔の特徴を抽出して図式化した画像を用いることが考えられる。また、信頼度の算出方法の他の例として、予め記憶された被写体の画像の特徴と、顔検出部３０９によって検出した顔領域の画像の特徴との差を算出し、その差の大きさから算出する方法がある。顔検出の信頼度は、さらに他の方法を用いて算出してもよい。出力された信頼度のレベルが高ければ、誤検出の可能性が少なく、低ければ誤検出の可能性が高い。

顔検出部３０９で検出された顔領域の情報は、撮影制御部３０５、画像処理部３０６および顔追跡部３１０にそれぞれ供給される。

顔追跡部３１０は、基準画像登録部３１１、マッチング処理部３１２、継続判定部３１３、信頼度算出部３１４および継続条件設定部３１５を有する。顔追跡部３１０は、画像処理部３０６から出力される時刻の異なる画像データから、画像データのパターンの類似性に基づき特定の顔を追跡する。顔追跡部３１０は、処理結果として、追跡された顔による顔領域の情報を出力する。

更新手段としての基準画像登録部３１１は、顔検出部３０９または顔追跡部３１０における顔領域の検出結果に基づき、画像処理部３０６から出力される画像データの部分領域を基準画像として登録する。既に基準画像が登録されている場合には、登録済みの基準画像が更新される。

ここで、基準画像登録部３１１は、顔追跡部３１０の初期動作時には、顔追跡部３１０により検出された顔領域が存在しないため、顔検出部３０９で検出された顔領域を基準画像として登録することが必要となる。一方、顔追跡部３１０の初期動作以降は、顔追跡部３１０により検出された顔領域を、基準画像として登録することが可能となる。顔検出部３０９の検出結果と顔追跡部３１０の検出結果とにおいて、より信頼性の高い検出結果に基づき基準画像を登録することにより、顔追跡部３１０の精度を向上させることができる。

追跡手段としてのマッチング処理部３１２では、現在フレームにおける画像データの画像と、基準画像登録部３１１により登録されている基準画像とのマッチング処理を行う。マッチング処理では、背景技術において既に説明したように、現在フレームにおける画像データの画像に対して基準画像をずらしながら相関を求める。そして、現在フレームによる画像データの画像において基準画像と最も相関度が高い領域を、目的とする特定の領域として抽出する。

ここで、マッチング処理部３１２は、現在フレームの画像データと時刻の異なる基準画像が登録されている場合のみ、マッチング処理を行うものとする。換言すれば、マッチング処理部３１２は、基準画像が現在フレームの画像データから抽出されたものである場合は、マッチング処理を行わない。

判定手段としての継続判定部３１３は、画像処理部３０６から時系列上で連続的に出力される画像データに基づき動作する、顔追跡部３１０による顔追跡処理を継続するか否かを、所定の判定条件（以下、継続判定条件）に基づき判定する。この継続判定条件は、後述する継続条件設定部３１５により設定される。

すなわち、上述したマッチング処理部３１２では、追跡対象の顔が障害物に隠れた場合など、所期の目的とする画像とは異なる画像の領域を、追跡対象の顔領域として抽出する可能性がある。また、基準画像登録部３１１において、基準画像をマッチング処理部３１２の結果に基づき順次更新していく場合は、一旦、目的とする顔領域とは異なる領域を抽出すると、それ以降で所期の目的の領域を抽出することが困難となる。そのため、マッチング処理部３１２が誤った結果を出力した場合などは、顔追跡部３１０の動作を中断させる必要がある。

算出手段としての信頼度算出部３１４は、マッチング処理部３１２によるマッチング処理結果の信頼度を算出する。信頼度の算出方法については、後述する。信頼度算出部３１４で算出された信頼度が閾値未満の場合に、継続条件設定部３１５により、継続判定部３１３に対して上述の継続判定条件が設定される。換言すれば、継続判定部３１３における継続判定条件は、信頼度算出部３１４で算出された信頼度が閾値未満にならない限り設定されない。

ここで、継続条件設定部３１５により設定された継続判定条件は、顔追跡部３１０が継続的に動作している期間は、維持される。継続判定部３１３の判定結果に応じて顔追跡部３１０の動作が中断された場合は、継続条件設定部３１５に設定された継続判定条件が解除される。また、顔検出部３０９の顔検出結果に基づき基準画像登録部３１１により基準画像が登録された場合、継続条件設定部３１５に設定された継続判定条件が解除される。

顔追跡部３１０で検出された顔領域の情報は、継続判定部３１３において継続判定条件を満たしていると判定された場合は、撮影制御部３０５および画像処理部３０６にそれぞれ供給される。一方、継続判定部３１３において継続判定条件を満たしていないと判定された場合は、顔追跡部３１０の動作は中断され、顔追跡部３１０から撮影制御部３０５および画像処理部３０６に対する顔領域の情報の供給が行われない。顔追跡部３１０は、一旦動作が中断されると、顔検出部３０９により顔が検出され、基準画像の登録または更新が行われない限り、動作が再開されないものとする。

撮影制御部３０５は、Ａ／Ｄ変換部３０４から出力された画像データに基づいて、撮像レンズ３０１の図示されない焦点制御機構や露出制御機構を制御する。撮影制御部３０５は、この焦点制御機構や露出制御機構の制御に、顔検出部３０９または顔追跡部３１０により検出された顔領域の情報を用いることができる。したがって、本実施形態の撮像装置３００は、撮像画像中の顔領域の情報を考慮した撮影処理を行なう機能を有する。撮影制御部３０５は、撮像部３０２の出力タイミングや出力画素などの制御も行なう。

制御手段としての制御部３２０は、撮像装置３００の全体の動作を制御する。制御部３２０は、例えばＣＰＵ、ＲＯＭおよびＲＡＭを有し、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて動作し、撮像装置３００の各部を制御する。ここで、上述した顔追跡部３１０は、制御部３２０におけるプログラムによりその機能が実現されるようにできる。プログラムにより、さらに顔検出部３０９の機能を実現してもよい。勿論、これらの機能を、制御部３２０に制御されるハードウェアで実現してもよい。

＜第１の実施形態＞
次に、本発明の第１の実施形態について説明する。図４は、本第１の実施形態による顔追跡処理を示す一例のフローチャートである。このフローチャートの各処理は、制御部３２０がプログラムに従い、顔検出部３０９および顔追跡部３１０を制御することで実行される。顔追跡部３１０においては、制御部３２０は、フローチャートに従い基準画像登録部３１１、マッチング処理部３１２、継続判定部３１３、信頼度算出部３１４および継続条件設定部３１５を制御する。これに限らず、顔検出部３０９および顔追跡部３１０、ならびに、顔追跡部３１０が有する各部がそれぞれ自律的および互いに協働して図４のフローチャートの処理を実行するようにしてもよい。

図４において、ステップＳ４０１およびステップＳ４０２は、主に顔検出部３０９による処理、ステップＳ４０３からステップＳ４１１は、主に顔追跡部３１０による処理を示す。ここで、顔検出処理とは、１フレームの画像から目的とする特定の領域を抽出する処理を示す。また、顔追跡処理とは、時刻の異なる２つ以上の画像から特定の領域を抽出する処理を示す。以下では、顔検出処理や顔追跡処理で抽出される特定の領域の例として、顔領域を適用する。

先ず、ビデオカメラなどの撮像装置により、最初のフレームｔ＝０における撮像画像を入力画像として読み込む（ステップＳ４０１）。そして、読み込んだ入力画像に対して、次のステップＳ４０２において顔検出部３０９で顔検出を行い、顔領域を抽出する。抽出された顔領域の画像は、基準画像登録部３１１により、初期の基準画像として登録される。基準画像による画像データは、例えば顔追跡部３１０が有するメモリに記憶される。フレームｔ＝０の画像データにおける基準画像の位置を示す情報を、フレームｔ＝０の画像データと共にメモリに記憶しておいてもよい。

なお、ステップＳ４０２で、入力画像から顔が検出されなかった場合、処理がステップＳ４０１に戻され、次のフレームにおける撮像画像が入力画像として読み込まれる。そして、ステップＳ４０２で当該入力画像に対して顔検出が行われる。

次のステップＳ４０３で、基準画像登録部３１１により、登録された基準画像が更新される。ここで、処理がステップＳ４０２から直接的にステップＳ４０３に移行された場合には、実質的には、基準画像の更新は行われない。後述するステップＳ４１０の判定により処理がステップＳ４０３に戻された場合に、後述するステップＳ４０５によるマッチング処理で得られた部分画像で基準画像の更新が行われる。

処理はステップＳ４０４に移行され、次のフレームにおける撮像画像を入力画像として読み込む。そして、ステップＳ４０５で、マッチング処理部３１２は、この読み込んだ入力画像に対して、ステップＳ４０３で登録された基準画像によりマッチング処理を行う。マッチング処理は、例えば入力画像の部分画像をずらしながら、当該部分画像と基準画像とを比較してこれらの画像の相関度を求める。入力画像の全域に対して基準画像２０３との比較が終了したら、相関度が最も高い領域をマッチング処理結果の部分画像とする。

マッチング処理が終了すると、処理がステップＳ４０６に移行され、顔追跡部３１０による顔追跡処理の継続の可否を判定するための継続判定条件が継続判定部３１３に対して設定されているか否かが判定される。なお、継続判定部３１３に対して設定する継続判定条件については、後述する。

若し、ステップＳ４０６で、継続判定部３１３に対して継続判定条件が設定されていると判定されたら、処理はステップＳ４１０に移行される。ステップＳ４１０の処理については、後述する。

一方、ステップＳ４０６で、継続判定部３１３に対して継続判定条件が設定されていないと判定されたら、処理はステップＳ４０７に移行される。ステップＳ４０７では、信頼度算出部３１４により、ステップＳ４０５によるマッチング処理の結果に基づき、当該マッチング処理で抽出される部分画像の信頼度が算出される。なお、信頼度の算出は、ステップＳ４０５におけるマッチング処理の際に行ってもよい。

信頼度算出部３１４による信頼度の算出の例に関して説明する。例えば、マッチング処理では、現在フレームの画像における基準画像と同じサイズの部分領域の各画素と、基準画像の各画素との差分絶対値和を算出する。そして、算出された差分絶対値和が最小となる現在フレーム画像における部分領域の位置が、基準画像との相関度が最も高い領域とする。この場合、差分絶対値和の最小値が小さいほど信頼度が高く、差分絶対値和の最小値が大きいほど信頼度が低いとすることができる。

また、差分絶対値和の最小値を、現在フレーム画像における各部分領域の差分絶対値和の平均値で除した値が小さいほど、信頼度が高く、この値が大きいほど信頼度が低いとすることができる。この方法によれば、信頼度の算出に各部分領域による差分絶対値和の最小値を用いることにより、マッチング処理を行なう画像中に基準画像と類似するパターンが複数箇所ある場合などは、信頼度が低く算出されるようになる。一方で、マッチング処理を行なう画像中に基準画像と類似するパターンが、結果として出力する領域以外に無い場合は、信頼度が高く算出されるようになる。

ステップＳ４０７でマッチング処理結果の信頼度が算出されると、処理は次のステップＳ４０８に移行される。ステップＳ４０８では、ステップＳ４０７で算出された信頼度と閾値とが、例えば比較手段としての信頼度算出部３１４で比較される。比較の結果、若し、信頼度が閾値以上であると判定されたら、処理はステップＳ４０３に戻され、マッチング処理の結果検出された部分画像で、基準画像が更新される。そして、ステップＳ４０４以降で次のフレームの処理が行われる。

一方、ステップＳ４０８の比較の結果、信頼度が閾値未満であると判定されたら、処理はステップＳ４０９に移行される。ステップＳ４０９では、継続条件設定部３１５により、継続判定部３１３に対して継続判定条件が設定される。そして、次のステップＳ４１０で、継続判定部３１３により、顔追跡部３１０における処理が設定された継続判定条件を満たしているか否かが判定される。若し、満たしていると判定されたら、処理がステップＳ４０３に戻され、ステップＳ４０５のマッチング処理の結果検出された部分画像で基準画像が更新され、ステップＳ４０４以降、次のフレームの処理が行われる。

一方、ステップＳ４１０で、顔追跡部３１０における処理が、設定された継続判定条件を満たしていないと判定されたら、処理はステップＳ４１１に移行され、顔追跡部３１０による顔追跡処理が中断される。そして、処理がステップＳ４０１に戻され、次のフレームに対する処理が行われる。このとき、基準画像が初期化される。

図５を用いて、上述の図４のフローチャートによる処理をより具体的に説明する。図４のステップＳ４０１で、最初のフレームｔ＝０が入力画像５０１として読み込まれ、入力画像５０１に対してステップＳ４０２で顔検出が行われる。図５の例では、入力画像５０１から顔領域５１０が検出されたので、処理がステップＳ４０３に移行され、この顔領域５１０の画像が基準画像として登録される。

続いて、ステップＳ４０４で次のフレームｔ＝１が入力画像５０２として読み込まれ、フレームｔ＝１の画像に対して、ステップＳ４０３で登録された基準画像によりマッチング処理が行われる。マッチング処理の結果、画像５０２における領域５１１が、顔領域５１０と画像の相関度が高い領域として検出されたものとする。

フレームｔ＝１の処理の時点では、継続判定部３１３に対して継続判定条件が設定されていないので、ステップＳ４０６の判定により処理がステップＳ４０７に移行される。ステップＳ４０７でマッチング処理結果の信頼度が算出され、次のステップＳ４０８で、算出された信頼度が閾値以上か否かが判定される。この例では、信頼度が閾値未満であると判定され、処理がステップＳ４０９に移行されて継続判定部３１３に対して継続判定条件が設定される。

次のステップＳ４１０で、継続判定部３１３により、顔追跡部３１０における処理が設定された継続判定条件を満たしていると判定されたものとする。処理はステップＳ４０３に戻され、マッチング処理により検出されたフレームｔ＝１による画像５０２の領域５１１の画像で基準画像が更新される。そして、ステップＳ４０４で次のフレームｔ＝２が入力画像として読み込まれる。

ここで、フレームｔ＝ｎより前までは、信頼度が閾値以上であり、ステップＳ４０３〜ステップＳ４０８の処理が繰り返されたものとする。また、フレームｔ＝ｎによる画像５０３において、追跡対象の顔領域５１２における顔の一部が障害物５１３に隠れてしまい、ステップＳ４０８で信頼度が閾値未満と判定されたものとする。この場合、ステップＳ４０９の処理により、継続判定部３１３に対して継続判定条件が設定され、次のステップＳ４１０で、継続判定条件を満たしているか否かが判定される。

この例では、フレームｔ＝ｎでは継続判定条件を満たしているものとし、処理がステップＳ４０２に戻され、次のフレームｔ＝ｎ＋１が読み込まれる。以降、フレームｔ＝ｎ＋ｋより前までは、この継続判定条件が満たされているものとする（ステップＳ４１０で「ＹＥＳ」）。そして、ステップＳ４０３〜ステップＳ４０６およびステップＳ４１０による処理が連続的に繰り返され、ステップＳ４０３において基準画像が順次更新される。

フレームｔ＝ｎ＋ｋによる画像５０４において、追跡対象の大部分が障害物５１３に隠れてしまい、ステップＳ４０５によるマッチング処理結果の信頼度が閾値未満であったものとする。この場合、ステップＳ４０９で設定された継続判定条件が満たされなかったとされ（ステップＳ４１０で「ＮＯ」）、ステップＳ４１１で顔領域の追跡処理が中断され、継続判定条件が解除される。

なお、上述では、ステップＳ４０６による判定が、継続判定条件が継続判定部３１３に対して設定されているか否かで行っている。ここで、継続判定条件は、ステップＳ４０８における信頼度と閾値との比較結果に基づき、信頼度が閾値よりも低いと判定された場合にのみ、継続判定部３１３に対して設定される。したがって、ステップＳ４０６における判定は、前回の信頼度と閾値との比較結果による判定と等価であるといえる。

＜継続判定条件について＞
次に、顔追跡を継続するか否かを判定する継続判定条件について説明する。本第１の実施形態では、判定処理が開始された時点からの所定の期間を、継続判定条件として設定する。具体的には、下記の３種類の条件のうち何れか、あるいは、当該３種類の条件のうち２または３種類を組み合わせて継続判定条件として用いる。
（１）処理の継続回数または継続時間
（２）顔追跡結果の位置が設定された範囲を出るまでの期間
（３）連続するフレーム間での顔追跡結果の移動量が上限を超えるまでの期間

（１）の、「処理の継続回数または継続時間」について説明する。この場合、継続判定条件として、継続判定条件の設定時以降において、顔追跡が継続的に行われた回数または時間の上限を設定する。そして、顔追跡が継続的に行われた回数または時間が設定された上限を超えない場合に、ステップＳ４１０において継続判定条件を満たしていると判定する。なお、以下では、顔追跡が継続的に行われた回数または時間を、それぞれ継続回数および継続時間と呼ぶ。

より具体的には、顔追跡結果で得られた顔領域（以下、適宜、顔追跡結果と記述する）の信頼度が閾値以上のまま維持できていれば、その顔追跡を継続する時間に制限を設けない。一方、途中で一度でも顔追跡結果の信頼度が低くなったと判定された場合には、それ以降に得られた顔追跡結果の信頼度が再び閾値以上になったとしても、所定のフレーム数または所定時間だけしか、同一の顔領域に対して追跡を継続しない。

顔追跡結果の信頼度が閾値未満と判定された場合にのみ、継続判定条件として設定時以降の継続回数または継続時間の上限を設けるため、信頼度が継続して閾値以上になる場合は、継続回数または継続時間に依存せず動作することができる。また、顔追跡結果の信頼度が閾値未満と判定された場合に、それ以降の継続回数または継続時間に制限を設けることにより、誤った領域を追跡する可能性を軽減できる。

なお、継続回数は、ステップＳ４０３〜ステップＳ４０６およびステップＳ４１０による繰り返しの回数であり、例えば制御部３２０などによりステップＳ４１０からステップＳ４０３に処理が戻される回数を計測することで得られる。換言すれば、継続回数は、ステップＳ４０３で基準画像が更新された回数に相当する。継続時間は、例えば、制御部３２０などにより、ステップＳ４０９で継続判定条件が設定された時点からの経過時間を計測することで得られる。継続回数および継続時間は、処理がステップＳ４１１に移行すると初期化される。

また、継続回数または継続時間の上限は、追跡継続判定の条件設定時における信頼度の値に応じて適応的に決定してもよい。この場合、信頼度が低いほど、継続回数または継続時間の上限を低くする。

（２）の「顔追跡結果の位置が設定された範囲を出るまでの期間」について説明する。この場合、継続判定条件として、継続判定条件の設定時における顔追跡結果すなわち顔領域の中心を基準とし、画像中に顔追跡を許容する範囲を設ける。そして、顔追跡結果が当該範囲内にあれば、継続判定条件を満たしていると判定する。すなわち、継続判定条件の設定時以降に、顔追跡結果が当該範囲外に出た場合は、継続判定条件を満たしてないと判定され（ステップＳ４１０の「ＮＯ」）、顔追跡を中断する。

図６を用いて、より具体的に説明する。図６のフレームｔ＝ｎによる画像６０１では、信頼度が閾値以上になったものとする。この場合、顔追跡を許容する範囲は設定されておらず、顔領域６１０が画像中のどの位置に移動しても顔追跡が継続される。

次のフレームｔ＝ｎ＋１の画像６０２において、信頼度が閾値未満となったものとする。この場合、顔追跡結果（顔領域６１０）の中心位置を基準として、顔追跡を許容する範囲６１１が設定される。範囲６１１は、顔領域６１０よりも大きい範囲が設定される。フレームｔ＝ｎ＋１による画像６０２で顔追跡結果の信頼度が閾値未満となったため、それ以降のフレームでは、顔追跡結果の信頼度が再び閾値以上になったとしても、この範囲６１１内でしか追跡を継続しない。

次のフレームｔ＝ｎ＋２による画像６０３では、顔追跡結果が顔追跡を許容する範囲６１１内に存在するため、顔追跡が継続される。一方、次のフレームｔ＝ｎ＋３による画像６０４では、顔追跡結果が顔追跡を許容する範囲６１１外に出たため、継続判定条件を満たしてないと判定され（ステップＳ４１０の「ＮＯ」）、顔追跡を中断する。

顔追跡を許容する範囲６１１は、継続判定条件の設定時の顔追跡結果の大きさに基づいて、適応的に決定しても良い。この場合、顔追跡結果の大きさが小さいほど、許容する領域の範囲６１１を小さくする。

（３）の「連続するフレーム間での顔追跡結果の移動量が上限を超えるまでの期間」について説明する。この場合、継続判定条件として、連続するフレームの画像間における顔追跡結果の移動量の累積値に対して上限を設定する。そして、当該移動量の累積値が設定された上限以下で、継続判定条件を満たしているものとする。すなわち、当該移動量の累積値が設定された上限を超えたら、継続判定条件を満たしていないと判定され、顔追跡を中断する。

移動量の累積値に対する上限は、顔追跡結果の大きさに応じて決定される。被写体の動き量が同じであれば、被写体領域の大きさが大きいほど、連続するフレーム間の画像中の移動量は大きく、小さければ連続するフレーム間の画像中の移動量は小さいためである。したがって、顔追跡結果が大きいほど、移動量の累積値に対する上限を大きく設定する。

顔追跡結果の信頼度が継続して閾値以上であれば、連続するフレーム間の顔追跡結果の移動量の累積値に依存せず顔追跡を継続することができる。つまり、画像中の動き量の大きい被写体であっても、顔追跡の対応が可能である。また、顔追跡結果の信頼度が閾値未満の場合に、連続するフレーム間の顔追跡結果の移動量の累積値に顔追跡結果の大きさに応じた閾値を設けるため、誤った領域を追跡する可能性を軽減できる。

このように、本発明の第１の実施形態によれば、顔追跡部３１０による顔追跡結果の信頼度が閾値以上の状態が維持されている期間は、継続して顔追跡部３１０による顔追跡処理を行うことができる。また、顔追跡部３１０による顔追跡結果の信頼度が閾値未満となった場合に、それ以降の継続判定部３１３に対して、上述の（１）〜（３）の各項で説明したように継続判定条件を設定する。これにより、顔追跡部３１０が誤った領域を追跡結果として動作する可能性を軽減できる。

＜顔追跡の継続判定を行うタイミングについて＞
ここで、顔追跡結果の信頼度が閾値未満のフレームにおいて顔追跡の継続判定を行なうのではなく、信頼度が閾値未満となったフレーム以降で顔追跡の継続判定を行なう理由について、図７を用いて説明する。

上述したように、本第１の実施形態による顔追跡結果の信頼度は、基準画像と現在フレームの画像とのマッチング処理結果の相関度に基づき算出される。図７において、フレームｔ＝０による画像７０１を初期画像とし、以降、フレームｔ＝１（画像７０３）、フレームｔ＝２（画像７０５）およびフレームｔ＝３（画像７０７）と、フレーム毎に順次処理が進んでいくものとする。なお、画像７０２、７０４、７０６および７０８は、それぞれ画像７０１、７０３、７０５および７０７で登録される基準画像の例を示す。

図７において、フレームｔ＝０による画像７０１では、顔検出部３０９により検出された顔領域７１０の画像が基準画像７０２として登録される（ステップＳ４０２）ため、顔追跡結果の信頼度は算出されない。次のフレームｔ＝１による画像７０３では、追跡対象とする顔領域７１０の、画像７０１に対する見えの変化が少なく、基準画像７０２と当該顔領域７１０との相関度が高いため、高い信頼度が算出される。

一方、次のフレームｔ＝２による画像７０５では、追跡対象とする顔領域７１０が障害物７１１により隠れたとする。この場合、当該顔領域７１０に対して障害物７１１の一部が含まれ、フレームｔ＝１において登録された基準画像７０４と、当該顔領域７１０との相関度が低くなり、低い信頼度が算出される。障害物７１１の一部を含んだ顔領域７１０の画像が、フレームｔ＝１における基準画像７０６として登録される。

次のフレームｔ＝３では、追跡対象とする顔領域７１０は、依然として障害物７１１に隠れた状態である。しかしながら、フレームｔ＝１において登録された基準画像７０６と、当該顔領域７１０との相関度が高いため、高い信頼度が算出される。障害物７１１の一部を含んだ顔領域７１０の画像が、フレームｔ＝２における基準画像７０８として登録される。この基準画像７０８は、障害物７１１の占める割合が大きく、当初に目的としていた追跡対象の顔領域の画像（例えば基準画像７０２）とは異なる画像である。

つまり、時系列で連続的に供給される画像に対して行う顔追跡処理では、一旦信頼度の低い顔追跡結果が得られると、それ以降のフレームにおいて顔追跡結果の信頼度が高く算出された場合に、所期の領域と異なった領域を追跡している可能性が高くなる。本第１の実施形態では、継続判定条件として、判定処理が開始された時点からの所定の期間を設定し、継続判定条件が満たされている間は、信頼性の評価を行わないようにしている。そのため、一旦信頼性の低い顔追跡結果が得られた直後に当該信頼性が高く算出された場合であっても、所期の領域と異なった領域を追跡する可能性が低く抑えられる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述の第１の実施形態では、初期フレームに関しては顔検出部３０９による結果に基づき基準画像を登録する。そして、その後は、継続判定部３１３の判定により顔追跡部３１０の動作が中断されない限り、マッチング処理部３１２の結果に基づき基準画像を順次更新するように説明した。本第２の実施形態では、フレーム画像毎において顔検出部３０９による顔検出処理と、顔追跡部３１０による顔追跡処理とを行い、顔検出処理および顔追跡処理の結果のうち信頼性の高い結果に基づき基準画像を更新する。

図８は、本第２の実施形態による顔追跡処理を示す一例のフローチャートである。このフローチャートの各処理は、制御部３２０がプログラムに従い、顔検出部３０９および顔追跡部３１０を制御することで実行される。顔追跡部３１０においては、制御部３２０は、フローチャートに従い基準画像登録部３１１、マッチング処理部３１２、継続判定部３１３、信頼度算出部３１４および継続条件設定部３１５を制御する。これに限らず、顔検出部３０９および顔追跡部３１０、ならびに、顔追跡部３１０が有する各部がそれぞれ自律的および互いに協働して図８のフローチャートの処理を実行するようにしてもよい。

先ず、ビデオカメラなどの撮像装置により、撮像画像を入力画像として読み込む（ステップＳ８０１）。次に、前フレームに対する処理の際に基準画像が登録または更新されているか否かを判定する（ステップＳ８０２）。若し、登録または更新がなされていないと判定されたら、処理は後述するステップＳ８０４に移行される。例えば、現在の処理対象が初期フレームである場合や、前フレームに対する処理において、後述する処理により顔検出および顔追跡の結果が得られなかった場合は、基準画像が登録もしくは更新されていないと判定される。

一方、ステップＳ８０２で、前フレームにおいて基準画像が登録または更新されていると判定されたら、処理はステップＳ８０３に移行される。ステップＳ８０３では、基準画像登録部３１１に登録された基準画像を用いて、顔追跡部３１０による顔追跡処理が行われる。

図９は、このステップＳ８０３での顔追跡処理を示す一例のフローチャートである。先ず、ステップＳ９０１で、マッチング処理部３１２により入力画像に対する基準画像によるマッチング処理を行い、入力画像中でマッチング処理において最も相関度の高い部分画像を抽出する。次のステップＳ９０２で、顔追跡処理を継続するか否かを判定するための継続判定条件が継続判定部３１３に対して設定されているか否かが判定される。若し、設定されていると判定されたら、処理は後述するステップＳ９０６に移行される。

一方、ステップＳ９０２で、継続判定条件が継続判定部３１３に対して設定されていないと判定されたら、処理はステップＳ９０３に移行され、マッチング処理で得られた結果の信頼度が信頼度算出部３１４で算出される。そして、次のステップＳ９０４で、算出された信頼度と閾値とが比較される。若し、信頼度が閾値以上であると判定されたら、処理は後述するステップＳ９０７に移行される。

一方、ステップＳ９０４での比較の結果、信頼度が閾値未満であると判定されたら、処理はステップＳ９０５に移行され、継続条件設定部３１５により、顔追跡処理の継続判定条件が継続判定部３１３に対して設定される。ここで設定される継続判定条件は、上述の第１の実施形態において、「（１）処理の継続回数または継続時間」、「（２）顔追跡結果の位置」、「（３）連続するフレーム間での顔追跡結果の移動量」として説明した条件と同様とする。継続判定条件が継続判定部３１３に設定されると、処理はステップＳ９０６に移行される。

ステップＳ９０６では、継続判定部３１３により、顔追跡部３１０における処理が設定された顔追跡処理の継続判定条件を満たしているか否かが判定される。若し、満たしていないと判定されたら、処理はステップＳ９０８に移行され、顔追跡処理による追跡結果が得られなかったとされる。そして、図９のフローチャートによる一連の処理を抜け、処理が図８のステップＳ８０４に移行される。

一方、ステップＳ９０６で、顔追跡部３１０における処理が設定された顔追跡処理の継続判定条件を満たしていると判定された場合、処理はステップＳ９０７に移行される。ステップＳ９０７では、ステップＳ９０１で行われたマッチング処理の結果で得られた部分画像を、追跡結果とする。そして、図９のフローチャートによる一連の処理を抜け、処理が図８のステップＳ８０４に移行される。

ステップＳ８０４では、顔検出部３０９により現在フレームの画像に対して顔検出処理が行われる。すなわち、前フレームにおいて基準画像が登録されている場合は（ステップＳ８０２で「ＹＥＳ」）、顔追跡の結果による顔領域と、顔検出の結果による顔領域の２つの顔領域が得られることになる。

次のステップＳ８０５では、顔検出による結果と、顔追跡による結果の何れかの結果があるか否かが判定される。若し、何れの結果も存在しないと判定されたら、一連の処理は終了される。この後、例えば処理がステップＳ８０１に戻され、次のフレームに対する処理が開始される。

一方、ステップＳ８０５で、顔検出による結果と顔追跡による結果とのうち少なくとも何れか一方の結果が存在すると判定されたら、処理はステップＳ８０６に移行される。ステップＳ８０６では、顔追跡による結果すなわち顔追跡により検出された顔領域よりも、顔検出による結果すなわち顔検出により検出された顔領域の方が信頼性が高いか否かが判定される。

若し、顔追跡結果よりも顔検出結果の方が信頼性が高いと判定されたら、処理はステップＳ８０７に移行され、顔検出結果による顔領域が現在フレームの顔領域の抽出結果として用いるように決定される。そして、次のステップＳ８０８で、設定されている継続判定条件を解除する。これにより、顔検出結果による顔領域を基準画像として用いることにより、時系列で連続的に供給される画像に対して顔追跡処理を行った場合に誤った領域が追跡されてしまうことが抑制される。

一方、顔検出結果よりも顔追跡結果の方が信頼性が高いと判定されたら、処理はステップＳ８０９に移行され、顔追跡結果による顔領域が現在フレームの顔領域の抽出結果として用いるように決定される。例えば、被写体の顔が横を向いており検出されなかった時や、顔検出結果の信頼性が低い時などは、顔検出結果よりも顔追跡結果の方が信頼性が高いと判定される。

なお、ステップＳ８０２において前フレームの基準画像が登録されていないと判定され、ステップＳ８０３の顔追跡処理を行わずにステップＳ８０６に処理が移行した場合は、現在フレームにおける顔追跡結果が存在しないことになる。この場合には、顔追跡結果よりも顔検出処理の方が信頼性が高いと判定する。

ステップＳ８０８またはステップＳ８０９の処理が終了すると、処理はステップＳ８１０に移行される。ステップＳ８１０では、基準画像登録部３１１により、上述のステップＳ８０７またはステップＳ８０８で用いるように決定された顔領域の画像で基準画像が更新される。そして、処理がステップＳ８０１に戻され、次のフレームの処理が開始される。

上述のように、本第２の実施形態では、各フレームにおいて顔検出部３０９による顔検出処理と、顔追跡部３１０による顔追跡処理とを行うことで、画像中の顔領域の抽出をより安定的に行うことができる。また、顔検出部３０９で検出された顔領域を基準画像として用いる場合、継続判定部３１３で設定された継続判定条件を解除することにより、画像中の顔領域の抽出を安定的に継続することができる。

上述した第２の実施形態では、各フレームにおいて顔検出結果による顔領域または顔追跡結果による顔領域が存在する場合は、基準画像の更新または登録を行うように説明したが、これはこの例に限定されない。

例えば、顔検出結果が存在しないか、顔検出結果の信頼性が低いため顔追跡結果が利用され、且つ、顔追跡結果の信頼度も低い場合が考えられる。このような場合、基準画像を更新せず、前フレームの基準画像を維持するようにできる。また、基準画像だけでなく、画像中の顔領域の情報についても、前フレームの状態を維持するようにできる。これにより、瞬間的に現れるノイズや障害物などによる誤追跡の可能性を軽減できる。

上述した各実施形態では、初期の基準画像登録時において、顔検出により検出された顔領域の画像を基準画像として登録すると説明したが、これはこの例に限定されない。すなわち、初期の基準画像登録における画像中の部分領域は、任意に指定することができる。例えば、撮像装置３００の図示されない操作部に対する操作や、外部装置から図示されない通信部を介して送られた指示に基づき、画像中の任意の領域を指定し、当該領域の画像を基準画像として登録可能である。また、焦点制御機構や露出制御機構に利用される画像中の領域を、初期の基準画像として登録することもできる。

上述の各実施形態では、被写体として顔を検出する場合について説明したが、これはこの例に限られない。すなわち、人物、動物、自動車など目的とする被写体を抽出するために、特定の形状の被写体を検出するものであれば、本発明を適用可能である。

また、上述した各実施形態では、本発明が撮像装置に適用されるように説明したが、これはこの例に限定されない。すなわち、本発明は、動画像を再生する再生装置に対して適用することができる。再生装置では、動画像を再生する再生データに対して被写体検出を行う。

＜他の実施形態＞
本発明の目的は、以下のようにして達成することも可能である。まず、上述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶または記録媒体を、本発明が適用されるシステムあるいは装置に接続する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、本発明は、上述の方法に限らず、以下のようにして達成することも可能である。すなわち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上述した各実施形態の機能を実現させることができる。

ここで、プログラムコードが格納される記憶または記録媒体としては、例えば、ＲＯＭ、ＲＡＭおよび不揮発性のメモリカードといった半導体メモリ、ＣＤおよびＤＶＤといった光ディスク、さらには、光磁気ディスクやハードディスクなどが考えられる。また、ＬＡＮ(Local Area Network)やＷＡＮ(Wide Area Network)などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

従来技術の問題点を説明するための図である。 従来技術の問題点を説明するための図である。 本発明の各実施形態に共通して適用可能な撮像装置の一例の構成を示すブロック図である。 本発明の第１の実施形態による顔追跡処理を示す一例のフローチャートである。 本発明の第１の実施形態による処理を説明するための図である。 本発明の第１の実施形態による処理を説明するための図である。 本発明の第１の実施形態による処理を説明するための図である。 発明の本第２の実施形態による顔追跡処理を示す一例のフローチャートである。 本発明の第２の実施形態による顔追跡処理を示す一例のフローチャートである。

符号の説明

３００ 撮像装置
３０９ 顔検出部
３１０ 顔追跡部
３１１ 基準画像登録部
３１２ マッチング処理部
３１３ 継続判定部
３１４ 信頼度算出部
３１５ 継続条件設定部

Claims (11)

1. 画像を順次取得する取得手段と、
   前記取得手段により取得された画像について所定の被写体を検出する検出手段と、
   前記検出手段により検出された所定の被写体を含む領域の画像を抽出し、基準画像として設定する設定手段と、
   前記設定手段により前記基準画像が設定された場合に、前記基準画像が抽出された画像より後に前記取得手段により取得された画像について、前記基準画像に含まれる被写体と同一の被写体と認識した被写体を検出する追跡処理を行う追跡手段と、
   前記追跡処理において検出された被写体の信頼度を算出する算出手段と、
   を有し、
   前記設定手段は、前記追跡処理において検出された被写体について、該被写体を含む領域の画像を抽出して新たな前記基準画像として設定し、
   前記追跡手段は、
   前記算出手段により算出された前記信頼度が第１のレベルで得られた場合、前記追跡処理を継続し、
   前記信頼度が前記第１のレベルより低い第２のレベルで得られた場合、前記追跡処理を終了する条件を設定し、該条件が満たされるまでは前記追跡処理を継続する
   ことを特徴とする画像処理装置。
2. 前記追跡処理を終了する条件は、該条件が設定された後に前記取得手段により取得された画像について、前記追跡処理を行う回数を規定する条件であり、
   前記追跡手段は、前記追跡処理を終了する条件が設定された後に前記取得手段により取得された画像について前記追跡処理を行なった回数が該条件で規定された回数を超えた場合に、前記追跡処理を終了する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記追跡処理を終了する条件は、該条件が設定された時点からの経過時間を規定する条件であり、
   前記追跡手段は、前記追跡処理を終了する条件が設定された時点からの経過時間が該条件で規定された時間を超えた場合に、前記追跡処理を終了する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記追跡手段は、前記追跡処理を終了する条件を設定した画像から抽出された前記基準画像の中心を基準として、該基準画像よりも大きい領域を規定し、
   前記追跡処理を終了する条件は、該条件が設定された後に前記取得手段により取得された画像について前記追跡手段により検出された被写体の位置と、前記基準画像よりも大きい領域との位置関係を規定する条件であり、
   前記追跡手段は、前記追跡処理を終了する条件が設定された後に前記取得手段により取得された画像について検出した被写体の位置が、前記基準画像よりも大きい領域の外に出た場合に、前記追跡処理を終了する
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記基準画像よりも大きい領域は、前記追跡処理を終了する条件が設定された画像から抽出された前記基準画像の大きさが小さいほど小さく設定される
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記追跡処理を終了する条件は、該条件が設定された後に前記取得手段により取得された画像における、前記追跡手段により検出された被写体の画像間での移動量の累積値の上限を規定する条件であり、
   前記追跡手段は、前記追跡処理を終了する条件が設定された後に前記取得手段により取得された画像における、検出した被写体の画像間での移動量の累積値が該条件で規定された上限を超えた場合に、前記追跡処理を終了する
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記移動量の累積値の上限は、前記追跡処理を終了する条件が設定された画像から抽出された前記基準画像の大きさが大きいほど大きく設定される
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記設定手段は、前記検出手段による前記所定の被写体の検出結果の方が、前記追跡手段による同一の被写体と認識された被写体の検出結果よりも信頼性が高いと判断した場合に、前記所定の被写体を含む領域の画像を抽出して、前記基準画像として設定する
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記追跡手段は、前記信頼度が閾値以上である場合に前記第１のレベルであると判断し、前記信頼度が閾値未満である場合に前記第２のレベルであると判断する
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 画像を順次取得する取得手段と、
    前記取得手段により取得された画像について所定の被写体を検出する検出手段と、
    前記検出手段により検出された所定の被写体を含む領域の画像を抽出し、基準画像として設定する設定手段と、
    前記設定手段により前記基準画像が設定された場合に、前記基準画像が抽出された画像より後に前記取得手段により取得された画像について、前記基準画像に含まれる被写体と同一の被写体と認識した被写体を検出する追跡処理を行う追跡手段と、
    前記追跡処理において検出された被写体の信頼度を算出する算出手段と、
    を有する画像処理装置の制御方法であって、
    前記設定手段が、前記追跡処理において検出された被写体について、該被写体を含む領域の画像を抽出して新たな前記基準画像として設定する工程と、
    前記追跡手段が、前記算出手段により算出された前記信頼度が第１のレベルで得られた場合、前記追跡処理を継続する工程と、
    前記追跡手段が、前記信頼度が前記第１のレベルより低い第２のレベルで得られた場合、前記追跡処理を終了する条件を設定し、該条件が満たされるまでは前記追跡処理を継続する工程と、
    を有することを特徴とする画像処理装置の制御方法。
11. 請求項１乃至９の何れか１項に記載の画像処理装置を有する撮像装置であって、
    撮像光学系を介して入射された光に基づく画像を所定時間間隔で連続的に出力する撮像手段を有し、
    前記画像処理装置の取得手段は、前記撮像手段により出力された画像を取得する
    ことを特徴とする撮像装置。

Images