JP5222429B2 - 被写体追跡装置及びその制御方法 - Google Patents

Description

本発明は、被写体追跡装置及びその制御方法に関する。

時系列的に逐次供給される画像の１フレームにおいて特定の被写体を検出し、検出した被写体を後続するフレームで追跡する画像処理技術は非常に有用である。例えば動画像中の人体領域（例えば顔領域）を検出、追跡する技術は、電話会議、マン・マシン・インタフェース、セキュリティ、特定の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。この画像処理技術を搭載したデジタルカメラやデジタルビデオカメラでは、電子ビューファインダに表示された画像で指定された被写体が適切に撮影されるよう、露出制御や合焦制御を実行するものが知られている。

例えば、特許文献１では、撮影画像から顔を検出し、顔に焦点を合わせ、かつ顔に最適な露出で撮影する撮影装置を開示している。また、特許文献２は、あるフレームで検出された顔を、後続するフレームで検出する追跡処理を行うことを開示している。

特定の被写体を後続するフレームで追跡する方法としては、特許文献２に開示されるような、テンプレートマッチングの手法を利用する方法が知られている。テンプレートマッチングは、追跡すべき被写体の画像（テンプレート画像又は基準画像）を、動画像のあるフレーム（基準フレームとよぶ）から抽出し、後続するフレームにおいてテンプレート画像と相関度が最も高い領域を探索する技術である。探索された領域を、後続フレームにおけるテンプレート画像の位置と推定することで、テンプレート画像に対応する被写体の追跡が可能である。

特開２００５−３１８５５４号公報 特開２００１−６０２６９号公報

テンプレートマッチングを用いた被写体追跡方法では、追跡の対象となるフレーム画像と、基準画像（テンプレート画像）との相関度に基づいて被写体を追跡する。そのため、追跡を行うフレーム画像において被写体が基準画像と同じように撮影されていれば、高い精度で追跡することができる。

しかし、被写体が例えばある人物の顔であり、顔の向きが変わったり、顔が物体で遮られる状況が生じる場合などでは、同一の基準画像を用いることによる追跡精度の低下が起こりうる。このような、被写体の画像中の見えの変化に対して頑健な追跡を実現するには、被写体の見えの変化に応じて基準画像を更新することが望ましい。

例えば、追跡を行うフレーム画像中、基準画像と最も相関度の高い領域を新たな基準画像として用いるように更新することが考えられる。しかし、この方法では、被写体が一時的に物体で隠された場合において、被写体とは異なる領域が次の追跡処理における基準画像として用いられることになり、以降のフレームにおいて被写体を正しく追跡できなくなるという問題がある。

本発明はこのような従来技術の課題に鑑みてなされたものであり、基準画像と入力画像との相関度に基づく被写体追跡を行う被写体追跡装置及びその制御方法において、被写体の見えが変化する状況における被写体追跡の精度を向上させることを目的とする。

上述の目的は、画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、登録手段に登録された第１の基準画像および第２の基準画像の各々について、入力画像との最大相関度と、当最大相関度を有する入力画像中の領域とを求める算出手段と、算出手段により求められた領域の中から、入力画像における特定の被写体の領域を判定する第１の判定手段とを有し、第１の判定手段は、第１の基準画像について算出手段が求めた最大相関度が予め定めた閾値以上であれば、第２の基準画像と最大相関度を有する領域によらずに第１の基準画像と最大相関度を有する領域を入力画像における特定の被写体の領域と判定し、第１の基準画像について算出手段が求めた最大相関度が予め定めた閾値未満であれば、第１の基準画像についての最大相関度と第２の基準画像についての最大相関度とに基づいて、第１の基準画像と最大相関度を有する領域と第２の基準画像と最大相関度を有する領域のいずれかを、入力画像における特定の被写体の領域を判定するものであり、第１の判定手段は、特定の被写体の領域を判定すると、判定した特定の被写体の領域に基づいて第２の基準画像を更新する一方、第１の基準画像は更新しないことを特徴とする被写体追跡装置によって達成される。

このような構成により、本発明によれば、基準画像と入力画像との相関度に基づく被写体追跡を行う被写体追跡装置及びその制御方法において、被写体の見えが変化する状況における被写体追跡の精度を向上させることができる。

第１の実施形態に係る被写体追跡装置の一例としての撮像装置の機能構成例を示すブロック図。 第１の実施形態に係る被写体追跡の処理を示すフローチャート。 第１の実施形態に係る被写体追跡の説明図。 第２の実施形態に係る被写体追跡装置の一例としての撮像装置の機能構成例を示すブロック図。 第２の実施形態に係る被写体追跡の処理を示すフローチャート。 第２の実施形態に係る被写体追跡の説明図。

以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態の説明は、本発明の理解を助けることを目的としたものであり、本発明の範囲を限定するものではなく、本発明の範囲内で様々な変更が可能である。また、以下の実施形態では、本発明を撮像装置に適用した構成について説明するが、本発明において撮像機能は必須でなく、被写体追跡を行う対象となる画像の供給元はいかなるものであってもよい。従って、本発明は、記録された画像を読み出して再生、表示したり、外部から画像を受信して処理する画像処理装置に対して広く適用可能である。このような画像処理装置には、パーソナルコンピュータや携帯情報端末、携帯電話機、メディアプレーヤなど、様々な機器が含まれる。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る被写体追跡装置の一例としての撮像装置１００の機能構成例を示すブロック図である。レンズユニット１０１は結像光学系であり、一般にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット１０１は被写体の光学像を撮像素子１０２の撮像面上に結像する。撮像素子１０２はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。撮像素子１０２は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、１フレームの映像信号と同義である。

撮像素子１０２から出力された画像は、アナログ信号処理部１０３で相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が適用された後、Ａ／Ｄ変換部１０４でデジタルデータの形式に変換され、制御部１０５及び画像処理部１０６に入力される。

制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラなどであり、撮像装置１００全体の動作を制御する。具体的には、制御部１０５は、ＲＯＭ（Read Only Memory）に記憶されたプログラムコードをＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。なお、制御部１０５を構成するＣＰＵ等は単数であっても複数であってもよく、制御部１０５が実現する機能を複数のＣＰＵで分散して処理してもよい。

画像処理部１０６は、入力されたデジタル形式の画像に対して、ガンマ補正、ホワイトバランス処理などの画像処理（いわゆる現像処理）を適用する。なお、画像処理部１０６は、これらの画像処理に加え、後述する被写体追跡部１１０から供給される、画像中の特定の被写体領域に関する情報を用いた画像処理も実行する。

画像処理部１０６から出力された画像は、例えばＬＣＤや有機ＥＬディスプレイである表示部１０７で表示される。撮像装置１００は、撮像素子１０２で撮像した動画像をリアルタイムに表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７は、電子ビューファインダとして機能している際、後述する被写体追跡部１１０により追跡している被写体領域の位置を示す情報を撮像画像とともに表示することができる。

また、画像処理部１０６から出力された画像は、記録部１０８により、例えば着脱可能なメモリーカードに記録される。なお、画像の記録先は、撮像装置１００の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。なお、画像処理部１０６は、表示部１０７に出力する画像と、記録部１０８に出力する画像とを、それぞれ表示と記録に最適化して出力することができる。画像処理部１０６は、画像の、例えば解像度（画素数）や信号形式（ＲＧＢ形式、ＹＣｒＣｂ形式）や、データ形式を、用途に応じて最適化することができる。また、画像処理部１０６は、必要に応じて画像の符号化処理や復号化処理も実行する。

被写体指定部１０９は、例えば表示部１０７に設けられたタッチパネルや、撮像装置１００の筐体に設けられたキーやボタン等の入力インターフェイスである。ユーザは、例えば表示部１０７に表示されている画像中から所望の被写体の領域を指定することにより、追跡すべき被写体を指定することができる。タッチパネルやキー、ボタン等を用いて画像中から任意の領域を指定する方法に特に制限はなく、周知の方法を採用できる。また、例えば撮像装置１００が被写体検出機能を有し、検出されている被写体の領域を示す枠などの指標を撮像画像に重畳表示する場合には、所望の被写体の枠を選択することによっても被写体の領域を指定することができる。

被写体追跡部１１０は、画像処理部１０６から出力される画像と、被写体指定部１０９で指定された被写体の画像（基準画像）とのテンプレートマッチングにより、画像中の被写体画像位置を検出する。被写体追跡部１１０は、この検出処理を画像処理部１０６から時系列的に出力される、撮像時刻の異なる複数の画像に対して適用することにより、被写体追跡機能を実現する。

被写体追跡部１１０は、基準画像登録部１１１、相関度算出部１１２、被写体抽出部１１３を有する。基準画像登録部１１１は、画像処理部１０６により供給される画像から時刻の異なる複数の画像の部分画像を基準画像として登録する。登録された基準画像は、相関度算出部１１２によって利用される。基準画像登録部１１１によって登録される基準画像の例としては、
（１）被写体追跡の開始時に被写体指定部１０９によって指定される領域に基づき登録される基準画像（第１の基準画像）と、
（２）被写体追跡中に被写体抽出部１１３が抽出した領域によって順次更新されて登録される基準画像（第２の基準画像）とが挙げられる。

相関度算出部１１２では、基準画像登録部１１１によって登録された複数の基準画像と、画像処理部１０６により時系列的に逐次供給される入力画像との相関度を算出することにより、入力画像と基準画像とのテンプレートマッチングを行う。相関度は、入力画像に、基準画像との相関度を算出するための参照領域を設定して算出する。入力画像内で参照領域の位置を順次ずらしながら基準画像との相関度を算出することにより、入力画像中において、基準画像との最も相関度の大きい領域を推定することができる。入力画像に設定する参照領域は、入力画像全体であっても、部分領域であっても良い。相関度算出を複数の基準画像の各々に対して実施することにより、各基準画像に対し、入力画像中における最大相関度と、最大相関度を有する領域を求めることができる。

第１の判定手段としての被写体抽出部１１３では、相関度算出部１１２で求めた各基準画像の相関度に基づいて、１つの参照領域を被写体領域として判定し、抽出する。被写体抽出部１１３は、例えば基準画像登録部１１１による登録時刻が最も早い基準画像に対する最大相関度が所定の閾値以上であれば、当該基準画像と最大相関度を有する参照領域を入力画像中の被写体領域として選択、抽出する。一方、当該基準画像との最大相関度が所定の閾値よりも低ければ、被写体抽出部１１３は、残りの基準画像についての最大相関度のうち最も大きい相関度を有する参照領域を入力画像中の被写体領域として選択、抽出する。

制御部１０５は、撮像装置１００における自動焦点検出（ＡＦ）制御や、自動露出（ＡＥ）制御を行う。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された画像に基づいて、レンズユニット１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構はレンズユニット１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタ（メカニカルシャッタがある場合）を駆動させるアクチュエータなどである。

制御部１０５は、このＡＦ制御やＡＥ制御による撮像条件の決定において、被写体追跡部１１０から供給される被写体領域の抽出結果を用いることができる。具体的には、制御部１０５は、被写体領域として抽出された領域に合焦するように焦点検出条件を制御してＡＦ制御を行ったり、当該領域の露出が適正になるように露出条件を制御してＡＥ制御することができる。また、制御部１０５は、撮像素子１０２の出力タイミングの制御や、読み出す画素の選択制御など、撮像素子１０２の読み出し制御も行う。

なお、撮像装置１００が例えば顔検出部といった、特定の被写体を検出する機能を実現する構成を有する場合、検出された被写体領域（例えば顔領域）を自動的に基準画像として登録することができる。また、ＡＦ制御やＡＥ制御に利用される、画像中の所定の領域（焦点検出領域や測光領域など）を、初期の被写体領域として基準画像に登録してもよい。これらの場合、撮像装置１００は被写体指定部１０９を有さなくてもよい。

（被写体追跡部１１０の動作）
次に、被写体追跡部１１０の処理の詳細について、図２及び図３を参照して説明する。なお、以下の説明では、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部１１１に登録される基準画像は、次の２つとする。（１）被写体追跡の開始時に被写体指定部１０９によって指定される領域に基づき登録される基準画像（以下、初期基準画像）。（２）相関度算出部１１２が求めた相関度に応じて被写体抽出部１１３が抽出した被写体領域に基づき逐次更新される基準画像（以下、更新基準画像とする）。

基準画像登録部１１１は、Ｓ２０１において、撮像素子１０２で逐次撮像された撮像画像を入力画像として読み込む。なお、Ｓ２０１における入力画像の読み込みは、撮像された全てのフレームについて行ってもよいし、間欠的に行ってもよい。

次いで、基準画像登録部１１１はＳ２０２において、被写体指定部１０９から指定された部分領域に基づき、入力画像から初期基準画像を登録する。図３（ａ）に、被写体指定部１０９から指定された部分領域３０１と、初期基準画像３０２の例を示す。また、被写体追跡開始時は、被写体指定部１０９により指定される部分領域３０１が、被写体抽出部１１３の被写体抽出結果となる。

Ｓ２０３で次の入力画像を読み込むと、基準画像登録部１１１は、入力画像と初期基準画像とを相関度算出部１１２へ与える。相関度算出部１１２は、入力画像と初期基準画像との相関度を算出する（図２のＳ２０４〜Ｓ２０７）。まず、相関度算出部１１２は、Ｓ２０４で、初期基準画像３０２と同サイズの部分領域を参照領域として入力画像に設定する。Ｓ２０５において相関度算出部１１２は、参照領域と初期基準画像３０２との、対応する位置の画素の差分和を算出する。算出される差分和が小さければ相関度（類似性）が大きいことを意味する。Ｓ２０６において相関度算出部１１２は、入力画像にもれなく参照領域を設定して相関度を算出したかを判定する。相関度の算出が終わっていない領域があれば（Ｓ２０６：ＮＯ）、Ｓ２０４において相関度算出部１１２は、参照領域の位置を所定方向に所定画素数ずらして設定し、以降の処理を繰り返す。

一方、入力画像に対して設定すべき全ての参照領域に対して相関度の算出が終了していれば（Ｓ２０６：ＹＥＳ）、Ｓ２０７において、最大相関度および最大相関度を有する領域を算出する。つまり、入力画像の部分領域の各画素と初期基準画像３０２の各画素との差分和が最小となる領域が算出される。なお、２つの画像の相関度算出方法は、さまざまな方法があり、本実施形態の処理例はあくまで利用可能な方法の一例である。

次いで、被写体抽出部１１３はＳ２０８で、基準画像登録部１１１に更新基準画像が登録済みか判定する。更新基準画像が登録されていなければ（Ｓ２０８：ＮＯ）、被写体抽出部１１３はＳ２１１において、初期基準画像３０２による相関度が最も大きい領域を被写体領域として抽出する。その結果が、図３（ｂ）に示す被写体抽出結果３０３である。次いで、基準画像登録部１１１はＳ２１３において、被写体抽出結果３０３に基づき更新基準画像３０４を登録する。この時点で、基準画像登録部１１１には２つの基準画像が登録される。

ここまで、追跡開始直後の被写体追跡部１１０の処理の流れについて説明した。次いで、それ以降の時刻での被写体追跡部１１０の処理の流れについて説明する。
相関度算出部１１２は、入力画像と初期基準画像３０２との相関度に加え、入力画像と更新基準画像３０４との相関度についても算出し、各基準画像について、最大相関度および最大相関度を有する領域を算出する（図２のＳ２０３〜Ｓ２０７）。

基準画像登録部１１１に更新基準画像が登録済みなので、被写体抽出部１１３は、Ｓ２０９において、初期基準画像３０２に対して得られた最大相関度が所定の閾値以上かを判定する。初期基準画像３０２に対して得られた最大相関度が所定の閾値以上であれば（Ｓ２０９：ＹＥＳ）、被写体抽出部１１３はＳ２１１において、入力画像中、初期基準画像３０２に対して相関度が最も大きい領域を被写体領域として抽出する。一方、初期基準画像３０２の最大相関度が所定の閾値未満であれば（Ｓ２０９：ＮＯ）、被写体抽出部１１３はＳ２１０において、初期基準画像３０２に対して得られた最大相関度が更新基準画像３０４に対して得られた最大相関度以上か判別する。初期基準画像３０２に対して得られた最大相関度が更新基準画像３０４に対して得られた最大相関度以上であれば（Ｓ２１０：ＹＥＳ）、被写体抽出部１１３はＳ２１１へ処理を進める。Ｓ２１１において、被写体抽出部１１３は、入力画像中、初期基準画像３０２に対して最大相関度を有する領域を被写体領域として抽出する。一方で、初期基準画像の最大相関度が更新基準画像の最大相関度未満であれば（Ｓ２１０：ＮＯ）、被写体抽出部１１３はＳ２１２において、入力画像中、更新基準画像３０４に対して得られた相関度が最も大きい領域を被写体領域として抽出する。

基準画像登録部１１１はＳ２１３において、被写体抽出結果に基づき更新基準画像を更新する。上述した処理を、撮像素子１０２で連続的に撮像され、時系列的に入力される複数の入力画像に対して順次適用することにより、複数の入力画像に亘って特定の被写体を追跡することができる。

例えば、図３（ｃ）のように被写体の見えが追跡開始時と大きく変わっている場合には、初期基準画像３０２に対して得られる最大相関度は閾値未満となる。そして、更新基準画像３０４に対して得られる最大相関度の方が初期基準画像３０２に対して得られる最大相関度より大きくなる。この場合、更新基準画像３０４に対して得られた相関度が最大となる領域３０５が、被写体抽出部１１３によって被写体領域として抽出される。そして、抽出された被写体領域３０５が、新たな更新基準画像３０６として基準画像登録部１１１に登録される。

引き続き処理が継続し、被写体の見えが追跡開始時と似た状態となると（図３（ｄ））、図３（ｃ）の状態とは異なり、初期基準画像３０２に対して得られる最大相関度は閾値以上となる。この場合、初期基準画像３０２に対して得られた相関度が最大となる領域３０７が、被写体抽出部１１３によって被写体領域として抽出される。そして、抽出された被写体領域３０７が、新たな更新基準画像３０８として基準画像登録部１１１に登録される。

ここで、本実施形態において、被写体抽出部１１３が初期基準画像に対して得られる最大相関度と、更新基準画像に対して得られる最大相関度の比較結果ではなく、前者が所定の閾値以上か否かに応じて被写体領域を抽出している理由について説明する。

初期基準画像と入力画像との撮像時刻の差は、追従を開始してから増加していくので、追従開始時の最大相関度と比較すると、一般には時間の経過に連れて最大相関度は小さな値となっていく可能性が高い。一方、更新基準画像は随時更新されるため、更新基準画像と入力画像の撮像時刻の差はほぼ一定かつ小さい値であり、最大相関度も比較的高い値が算出される可能性が高い。単純に最大相関度を比較すると、追従を開始してから時間が経過すればするほど、更新基準画像に対して得られる最大相関度の方が大きくなる可能性が高い。

この傾向は、更新基準画像が正しく被写体領域を表しているか否かとは無関係である。被写体が部分的に遮蔽物の陰に隠れた場合など、被写体抽出領域内に被写体とは異なる領域が含まれる場合には、更新基準画像にも同様に被写体とは異なる領域が含まれる。しかし、そのような更新基準画像であっても、入力画像との撮像時刻の差が小さいため、最大相関度は大きくなる可能性が高い。そのため、単に最大相関度が大きい基準画像に対応した領域を被写体領域として抽出すると、被写体でない領域を追従し続けることになる。

一方、初期基準画像はユーザが被写体として指定した領域もしくは被写体検出機能により検出された被写体の領域に基づいているため、相関度が大きい領域は被写体領域である可能性が高い。このような、基準画像の特性の相違を考慮して被写体の追従を適切に実行するため、被写体抽出部１１３では、初期基準画像の最大相関度が所定の閾値以上か否かに応じて、初期基準画像か更新基準画像のいずれに基づく被写体領域を抽出するかを決定している。

なお、本実施形態では、基準画像登録部１１１に登録される基準画像は、初期基準画像と更新基準画像の２つである場合について説明した。しかし、被写体追跡部１１０への入力時刻の異なる入力画像から抽出された被写体領域に基づく複数の基準画像を登録し、第１の入力画像に基づく第１の基準画像と、第１の入力画像よりも後に入力された第２の入力画像に基づく第２の基準画像とを用いてもよい。また、初期基準画像は被写体追跡の開始時に登録されるものとして説明したが、被写体追跡の開始から所定時間後に登録してもよいし、被写体指定部１０９によって指定された領域が合焦した後に登録してもよい。また、更新基準画像は被写体抽出結果に基づき逐次更新すると説明したが、相関度が予め定めた更新用の閾値以上である場合のみ更新するなどの条件を設けてもよい。また、被写体抽出結果と直近の更新基準画像との平均画像を生成し、新たな更新基準画像として登録してもよい。

以上のように、本実施形態によれば、例えば追跡開始時に指定された被写体領域に対応する初期基準画像と、被写体抽出結果により逐次更新される更新基準画像のように、異なる時刻に入力された画像から抽出した被写体領域に基づく複数の基準画像を登録する。そして、複数の基準画像の各々について入力画像との相関度を求める。そして、古い入力画像に基づく基準画像に対して得られた最大相関度が閾値未満である場合に、新しい入力画像に基づく基準画像に基づき被写体領域を抽出し、抽出した被写体領域で新しい入力画像に基づく基準画像を更新する。これにより、順次更新される更新基準画像を用いることによる被写体の見えの変化に対する追従性の改善と、更新基準画像が誤った内容で更新されることによる誤った追従を抑止することができる。また、古い入力画像に基づいて被写体領域を抽出した場合には、新しい入力画像に基づく基準画像の内容が古い入力画像に基づく基準画像と相関の大きな画像に置き換わる。そのため、新しい入力画像に基づく基準画像が更新の過程で仮に被写体とは異なる領域を含んでしまっても、適切な内容に自動的に復帰することができる。このように、被写体の見えに変化がある場合でも、安定した被写体の追従が可能である。

（第２の実施形態）
次に、本発明の第２の実施形態に係る被写体追跡装置の一例としての撮像装置について第１の実施形態との差異を中心に、図４〜図６を参照して説明する。なお、図４〜図６において、第１の実施形態に係る図１〜図３と同一の構成及び動作については同一の符号を付し、重複する説明は省略する。

本実施形態の撮像装置４００は、被写体追跡部４０１の構成が第１の実施形態と異なる。具体的には、被写体追跡部４０１の構成要素として、特徴量抽出部４０２、特徴一致度判定部４０３、判定閾値設定部４０４が追加されている点で、第１の実施形態と異なる。

特徴量抽出部４０２は、基準画像登録部１１１に登録されている基準画像から特徴量を抽出する。特徴量抽出を行う基準画像としては、例えば被写体追跡の開始時に被写体指定部１０９によって指定される領域に基づき登録される初期基準画像、すなわち、登録されている基準画像のうち、最も古い撮像画像（最も古い入力画像）に基づく基準画像とする。特徴量抽出部４０２は、例えば、基準画像の所定領域に含まれる画素の、予め定めた成分の値についてヒストグラムを生成し、頻度が所定の閾値以上となる値を特徴量として抽出する。ヒストグラムを生成する画素の成分としては、例えば相関度算出部１１２によって相関度を算出するための画素の成分と同様とする。画素の成分の具体例としては、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ表現で表されたＨＳＶ画像における色相（Ｈ）などが挙げられる。なお、特徴量の抽出方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。

第２の判定手段としての特徴一致度判定部４０３は、撮像素子１０２で逐次撮像された撮像画像を入力画像とし、入力画像が特徴量抽出部４０２により抽出された特徴量と一致する度合いを判定する。特徴量と一致する度合いとは、入力画像全体の画素数に対する、特徴量抽出部４０２により抽出された特徴量に一致すると判定される画素数の割合とする。なお、特徴一致度判定の方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。

判定閾値設定部４０４では、特徴一致度判定部４０３による特徴量と一致する度合いに応じて、被写体抽出部１１３における被写体領域の判定処理における閾値、具体的には、第１の実施形態のＳ２０９における判定処理における閾値を変更する。この閾値は、基準画像登録部１１１に登録されている複数の基準画像のうち、最も古い入力画像に基づく基準画像（例えば初期基準画像）に対して得られた最大相関度と比較する閾値である。判定閾値設定部４０４は、入力画像が特徴量と一致する度合いが高いほど閾値を大きく、低いほど閾値を小さく設定する。閾値が大きいほど、Ｓ２０９の判定はＮＯとなりやすくなるため、更新基準画像に基づいて被写体領域が抽出されやすくなる。一方、閾値が小さいほど、初期基準画像に基づいて被写体領域が抽出されやすくなる。これは、入力画像が特徴量と一致する度合いが低いほど、初期基準画像と同様の特徴を有する領域が少なく、初期基準画像との相関度の大きい領域が被写体領域である可能性が高くなるからである。逆に、入力画像が特徴量と一致する度合いが高いほど、初期基準画像と同様の特徴を有する領域が多く、相関度が大きい領域が被写体領域である可能性も低下するからである。

このように、本実施形態では、
「基準画像登録部１１１に登録されている複数の基準画像のうち最も古い入力画像に基づく基準画像との相関度が最大となる入力画像中の領域が被写体領域として抽出される確率」を、
「最も古い入力画像に基づく基準画像の特徴量と入力画像の一致度合い」が高いほど低く、低いほど高くなるように動的に調整することを特徴とする。

（被写体追跡部４０１の動作）
次に、被写体追跡部４０１の処理の詳細について、第１の実施形態との差異を中心に、図５、図６を参照して説明する。なお、以下の説明では、第１の実施形態と同様、図５は、第２の実施形態に係る被写体追跡の処理を示すフローチャートである。図６は、被写体追跡における説明図である。なお、以下の説明では、第１の実施形態の説明と同様、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部１１１に登録される基準画像も、初期基準画像と更新基準画像との２つであるものとする。

なお、図５において、図２と同様の処理については同じ参照数字を付し、重複する説明は省略する。なお、Ｓ５０５は図２のＳ２０４〜Ｓ２０７の処理を、Ｓ５０８は図２のＳ２０８〜Ｓ２１２の処理をそれぞれまとめて示している。

被写体追跡部４０１ではＳ２０１〜Ｓ２０２の処理により、被写体指定部１０９から指定された部分領域に基づき、入力画像から初期基準画像を登録する。図６（ａ）に初期基準画像６０１の例を示す。Ｓ５０３において特徴量抽出部４０２は、初期基準画像の所定領域、ここでは全体から、予め定められた特徴量を抽出する。ここでは、特徴量として、初期基準画像をＨＳＶ色空間で表した際の、画素の色相（Ｈ）の値を用いるものとする。特徴量抽出部４０２は、図６（ａ）に示すように、初期基準画像６０１の各画素の色相ヒストグラム６０２を生成する。そして、特徴量抽出部４０２は、色相ヒストグラム６０２において、所定の閾値以上の度数を示す色相値の範囲を特徴量として抽出する。抽出された特徴量は、初期基準画像と同様、被写体追跡を継続している期間保持される。ここでは、特徴量は特徴量抽出部４０２が保持するものとする。

次の入力画像がＳ２０３で読み込まれると、図２のＳ２０４〜Ｓ２０７と同様にして、相関度算出部１１２は、基準画像の各々に対し、入力画像（被探索画像）との相関度を参照領域毎に算出する。なお、更新基準画像が登録されていない期間、相関度算出部１１２は入力画像と初期基準画像との相関度のみ算出する。

Ｓ５０６において、特徴一致度判定部４０３は、入力画像に含まれる画素のうち、特徴量抽出部４０２が保持する初期基準画像の特徴量と一致する（色相の値が特徴量の範囲に含まれる）画素を計数し、全画素に対する割合を算出する。例えば特徴一致度判定部４０３は、特徴量と一致する画素を白画素、一致しない画素を黒画素とする２値化画像を入力画像から生成し、全体の画素数に対する白画素数の割合を、入力画像が特徴量と一致する度合いとして算出する。図６（ｂ）は、時刻ｎにおける入力画像６０３と、入力画像６０３を図６（ａ）の色相ヒストグラム６０２から得られた特徴量によって２値化した画像６０４の例を示す。また、図６（ｃ）は、時刻ｍ（ｍ＞ｎ）における入力画像６０５と、入力画像６０５を図６（ａ）の色相ヒストグラム６０２から得られた特徴量によって２値化した画像６０６の例を示す。

Ｓ５０７において判定閾値設定部４０４は、図２のＳ２０９において被写体抽出部１１３が、初期基準画像に対して得られた最大の相関度を示す領域を被写体領域とするかどうかの判定に用いる閾値を、入力画像が特徴量と一致する度合いに応じて設定する。判定閾値設定部４０４は、図６（ｂ）の入力画像６０３のように、特徴量と一致する度合いが小さければ、閾値を小さく設定し、被写体領域が初期基準画像に対する相関度に基づいて抽出されやすくなるようにする。これは、初期基準画像の特徴量によって被写体と被写体以外との領域を分離できているため、初期基準画像に対して最大の相関度を示す領域が追跡対象の領域である信頼性が高いためである。一方で、判定閾値設定部４０４は、図６（ｃ）の入力画像６０５のように、特徴量と一致する度合いが高ければ、閾値を大きく設定し、被写体領域が初期基準画像に対する相関度に基づいて抽出されにくくする。これは、初期基準画像の特徴量によって被写体と被写体以外との領域を分離できていないため、初期基準画像に対して最大の相関度を示す領域が追跡対象の領域とは異なる領域を示す可能性が高いためである。

次いで、Ｓ５０８において、被写体抽出部１１３は、図２のＳ２０８〜Ｓ２１２と同様にして被写体領域を抽出する。また、Ｓ２１３において基準画像登録部１１１は、Ｓ５０８の被写体抽出結果に基づき更新基準画像を登録（更新）する。
上述した処理を、撮像素子１０２で連続的に撮像され、時系列的に入力される複数の入力画像に対して順次適用することにより、複数の入力画像に亘って特定の被写体を追跡することができる。

このように、本実施形態によれば、入力画像が、複数の基準画像のうち最も古い入力画像に基づく基準画像の特徴量に一致する度合いを求める。そして、一致する度合いが高い場合には、最も古い入力画像に基づく基準画像に対する相関度に基づいて被写体領域が抽出されにくくなるようにする。また、一致する度合いが低い場合には、最も古い入力画像に基づく基準画像に対する相関度に基づいて被写体領域が抽出やすくなるようにする。これにより、第１の実施形態の効果に加え、さらに被写体追跡の精度を向上させることができる。

（他の実施形態）
なお、上述の実施形態では、被写体追跡装置の一例としての撮像装置を説明した。しかし、上述の通り、本発明は撮像装置以外にも多様な機器に適用可能である。例えば画像データの再生表示装置に適用した場合、画像データ中の被写体領域の情報（画像中の被写体の位置、大きさなど）を用いて画像データの再生条件や表示条件を設定するといった応用が可能である。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じて、被写体部分が適切に表示されるように輝度や色合いなどの表示条件を制御することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
なお、図中の機能ブロックは、ハードウェア、ソフトウェア又はそれらの組み合わせによって実現可能であるが、機能ブロックとそれを実現する構成とは１対１に対応する必要はない。複数の機能ブロックを１つのソフトウェア又はハードウェアモジュールで実現してもよい。

Claims (6)

1. 画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、
   登録手段に登録された第１の基準画像および第２の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出手段と、
   前記算出手段により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第１の判定手段とを有し、
   前記第１の判定手段は、前記第１の基準画像について前記算出手段が求めた最大相関度が予め定めた閾値以上であれば、前記第２の基準画像と最大相関度を有する領域によらずに前記第１の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第１の基準画像について前記算出手段が求めた最大相関度が前記予め定めた閾値未満であれば、前記第１の基準画像についての最大相関度と前記第２の基準画像についての最大相関度とに基づいて、前記第１の基準画像と最大相関度を有する領域と前記第２の基準画像と最大相関度を有する領域のいずれかを、前記入力画像における前記特定の被写体の領域と判定するものであり、
   前記第１の判定手段は、前記特定の被写体の領域を判定すると、判定した前記特定の被写体の領域に基づいて前記第２の基準画像を更新する一方、前記第１の基準画像は更新しないことを特徴とする被写体追跡装置。
2. 前記第１の基準画像は、前記複数の入力画像のうち第１の入力画像において前記特定の被写体の領域として指定された領域における画像であることを特徴とする請求項１に記載の被写体追跡装置。
3. 前記入力画像中の領域を指定するための指定手段をさらに有し、
   前記第１の入力画像における前記特定の被写体の領域の指定が、前記指定手段を通じてユーザによってなされることを特徴とする請求項２に記載の被写体追跡装置。
4. 前記第２の基準画像は、前記第１の入力画像よりも後に入力される第２の入力画像において、前記第１の判定手段によって前記特定の被写体の領域と判定された領域に基づく画像であることを特徴とする請求項２または３に記載の被写体追跡装置。
5. 画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置の制御方法であって、
   算出手段が、登録手段に登録された第１の基準画像および第２の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出工程と、
   判定手段が、前記算出工程により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第１の判定工程とを有し、
   前記第１の判定工程は、前記第１の基準画像について前記算出工程で求められた最大相関度が予め定めた閾値以上であれば、前記第２の基準画像と最大相関度を有する領域によらずに前記第１の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第１の基準画像について前記算出工程で求められた最大相関度が前記予め定めた閾値未満であれば、前記第１の基準画像についての最大相関度と前記第２の基準画像についての最大相関度とに基づいて、前記第１の基準画像と最大相関度を有する領域と前記第２の基準画像と最大相関度を有する領域のいずれかを、前記入力画像における前記特定の被写体の領域と判定するものであり、
   前記第１の判定工程において前記第１の判定手段は、前記特定の被写体の領域を判定すると、判定した前記特定の被写体の領域に基づいて前記第２の基準画像を更新する一方、前記第１の基準画像は更新しないことを特徴とする被写体追跡装置の制御方法。
6. 請求項５に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images