JP5395651B2 - 被写体追跡装置、被写体追跡装置の制御方法及びプログラム - Google Patents

Description

本発明は、被写体追跡装置、被写体追跡装置の制御方法及びプログラムに関する。

時系列的に供給される画像から特定の被写体を抽出し、その抽出した被写体を追跡する技術は非常に有用であり、例えば、動画像における人間の顔領域や人体領域の特定に利用されている。このような技術は、例えば、通信会議、マン・マシン・インターフェース、セキュリティ、任意の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。

また、デジタルスチルカメラやデジタルビデオカメラでは、タッチパネルなどを用いて指定された撮像画像に含まれる任意の被写体を抽出及び追跡して、かかる被写体に対する焦点状態や露出状態を最適化する技術が提案されている（特許文献１及び２参照）。例えば、特許文献１には、撮像画像に含まれる顔の位置を検出（抽出）及び追跡し、かかる顔に対して、焦点を合わせると共に最適な露出で撮像する撮像装置が開示されている。特許文献２には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する技術が開示されている。ここで、テンプレートマッチングとは、特定の被写体（追跡対象）を含む画像領域を切り出した部分画像を基準画像（テンプレート画像）として登録し、基準画像と最も相関度が高い領域を画像内において推定し、特定の被写体を追跡する手法である。なお、テンプレートマッチングでは、タッチパネルなどの入力インタフェースを用いて画像に含まれる任意の領域を指定し、かかる領域を基準として基準画像が登録される。

特開２００５−３１８５５４号公報 特開２００１−６０２６９号公報

しかしながら、テンプレートマッチングでは、基準画像の登録の際に指定された領域が追跡対象の中心（重心）からずれていた場合に、背景などの追跡対象とは異なる画素が基準画像に含まれてしまう。このような基準画像を用いた場合、追跡対象とは異なる画素の影響によって、追跡対象ではなく、誤った領域を追跡してしまうことがある。

また、基準画像の登録の際に指定された領域が追跡対象の中心からずれていない場合であっても、追跡対象の時系列的な見え方が大きく変化していると、追跡対象の中心からずれた位置の領域を被写体領域として抽出してしまうことがある。特に、抽出される被写体領域に基づいて基準画像を逐次更新する場合には、追跡対象の中心からずれた位置の領域を被写体領域として抽出すると、追跡対象とは異なる画素が基準画像に含まれてしまうため、誤った領域を追跡してしまう可能性が高くなる。

そこで、本発明は、このような従来技術の課題に鑑みてなされ、被写体領域の追跡精度を向上させることができる新たな技術を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての被写体追跡装置は、時系列的に順次供給される画像に含まれる被写体を追跡する被写体追跡装置であって、前記画像のうちｎ番目（ｎは自然数）に供給される画像から、当該画像に含まれる被写体を指定する指定手段と、前記被写体に対応する被写体領域を前記画像から抽出するための基準画像を登録する登録手段と、前記画像の、前記基準画像との相関度が最も高い領域を前記被写体領域として抽出する領域抽出手段と、前記ｎ番目に供給される画像については前記指定手段によって指定された被写体を含む被写体領域に含まれる特徴画素を抽出し、前記画像のうちｎ＋１番目以降に供給される画像については前記領域抽出手段によって抽出された前記被写体領域に含まれる特徴画素を抽出して、前記被写体領域における前記特徴画素の分布の偏りを検出する偏り検出手段と、前記偏り検出手段によって検出された前記被写体領域における前記特徴画素の分布の偏りが小さくなるように、前記被写体領域の位置を補正する補正手段と、を有し、前記偏り検出手段は、前記ｎ番目に供給される画像における前記特徴画素の分布の偏りを検出する際よりも、前記ｎ＋１番目以降に供給される画像における前記特徴画素の分布の偏りを検出する際において、前記特徴画素の分布の偏りを判定する基準を緩く設定することを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、被写体領域の追跡精度を向上させる新たな技術を提供することができる。

本発明の一側面としての被写体追跡装置として機能する撮像装置の構成を示す概略ブロック図である。 図１に示す撮像装置の偏り検出部の構成を示す概略ブロック図である。 図２に示す被写体追跡部の設定部で設定される分類条件を説明するための図である。 図１に示す撮像装置における被写体追跡処理を説明するためのフローチャートである。 図１に示す撮像装置における被写体追跡処理を説明するための図である。 図５に示すＳ４０６及びＳ４１８の処理を詳細に説明するためのフローチャートである。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、本実施形態では、被写体の画像を撮像するデジタルカメラとして具現化される。また、撮像装置１００は、時系列的に順次供給される画像に含まれる被写体を追跡する被写体追跡装置としても機能する。撮像光学系１０１と、撮像素子１０２と、アナログ信号処理部１０３と、Ａ／Ｄ変換部１０４と、制御部１０５と、画像処理部１０６と、表示部１０７と、記録部１０８と、被写体指定部１０９と、被写体追跡部１１０とを有する。

図１を参照するに、被写体の像を表す光は、撮像光学系１０１によって集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成された撮像素子１０２に入射する。撮像素子１０２は、入射する光の強度に応じた電気信号を画素単位で出力する（即ち、撮像光学系１０１によって形成された被写体の像を光電変換する）。ここで、撮像素子１０２から出力される電気信号は、撮像素子１０２で撮像された被写体の像を示すアナログの画像信号である。

撮像素子１０２から出力された画像信号は、アナログ信号処理部１０３において、相関二重サンプリング（ＣＤＳ）などのアナログ信号処理が施される。アナログ信号処理部１０３から出力された画像信号は、Ａ／Ｄ変換部１０４において、デジタル形式に変換され、制御部１０５及び画像処理部１０６に入力される。

制御部１０５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマイクロコントローラなどで構成され、撮像装置１００の動作を制御する。具体的には、制御部１０５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたプログラムコードをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の作業領域に展開して順次実行することで、撮像装置１００の各部を制御する。

制御部１０５は、例えば、画像を撮像する際の焦点状態や露出状態などを含む撮像条件を制御する。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力される画像信号に基づいて、焦点調整機構や露出調整機構を制御する。なお、焦点調整機構は、撮像光学系１０１に含まれるレンズを光軸方向に駆動するアクチュエータなどを含み、露出調整機構は、撮像光学系１０１に含まれる絞りやシャッタなどを駆動するアクチュエータなどを含む。なお、制御部１０５は、焦点調整機構や露出調整機構を制御する際に、後述する被写体追跡部１１０による被写体の追跡の結果（被写体領域の情報）を用いることができる。具体的には、制御部１０５は、被写体領域のコントラスト値を用いた焦点制御や被写体領域の輝度値を用いた露出制御を行う。これにより、撮像装置１００は、画像に含まれる特定の被写体（被写体領域）を考慮した撮像処理を行うことができる。また、制御部１０５は、撮像素子１０２の読み出し制御（撮像素子１０２の出力タイミングや出力画素などの制御）も行う。

画像処理部１０６は、Ａ／Ｄ変換部１０４から入力されたデジタル形式の画像信号に対して、ガンマ補正やホワイトバランス処理などの画像処理を施す。なお、画像処理部１０６は、通常の画像処理に加えて、後述する被写体追跡部１１０から供給される被写体領域に関する情報を用いた画像処理を施す機能も有する。

画像処理部１０６から出力された画像信号は、表示部１０７に入力される。表示部１０７は、例えば、ＬＣＤや有機ＥＬディスプレイで構成され、画像処理部１０６から入力される画像信号に対応する画像を表示する。撮像装置１００においては、撮像素子１０２で時系列的に順次撮像される画像（画像信号に対応する画像）を表示部１０７に順次表示させることによって、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７は、被写体追跡部１１０によって追跡している被写体を含む被写体領域の位置なども表示する。

画像処理部１０６から出力された画像信号は、記録部１０８にも入力される。記録部１０８は、画像処理部１０６からの画像信号を、例えば、磁気テープ、光ディスク、メモリカードなどの記録媒体に記録する。なお、画像信号を記録する記録媒体は、撮像装置１００に内蔵された記録媒体であってもよいし、通信インタフェースを介して通信可能に接続された外部の記録媒体であってもよい。

被写体指定部１０９は、例えば、タッチパネルやボタンなどを含む入力インタフェースである。ユーザ（撮像者）は、被写体指定部１０９を介して、画像に含まれる任意の被写体を追跡対象に指定することが可能である。

被写体追跡部１１０は、画像処理部１０６から時系列的に順次供給される（即ち、撮像された時刻の異なる）画像（画像信号）に含まれる被写体を追跡する。被写体追跡部１１０は、テンプレートマッチングを用いて、被写体指定部１０９によって指定された被写体を追跡する。被写体追跡部１１０は、本実施形態では、登録部１１１と、取得部１１２と、領域抽出部１１３と、偏り検出部１１４と、補正部１１５とを含む。

登録部１１１は、画像処理部１０６から時系列的に順次供給される画像から追跡対象の被写体に対応する被写体領域を抽出するための部分領域を基準画像として登録する。具体的には、登録部１１１は、被写体追跡の開始時では、被写体指定部１０９によって指定された被写体に対応する領域（又は、補正部１１５によって位置が補正された領域）を基準画像として登録する。また、登録部１１１は、被写体追跡の継続時では、領域抽出部１１３で抽出された領域に基づいて、基準画像を順次更新する。但し、登録部１１１は、時系列的に順次供給される画像に含まれる被写体の見え方の変化を考慮しない場合には、基準画像を更新せずに、被写体追跡の開始時に登録した基準画像を維持してもよい。

取得部１１２は、画像処理部１０６から時系列的に順次供給される画像から、かかる画像に含まれる画素の画素値の情報を取得する。取得部１１２は、例えば、画素を特徴づける画素値の情報として、色相（Ｈ）、彩度（Ｓ）及び明度（Ｖ）のＨＳＶ表現で表されるＨＳＶ画像における色相、彩度及び明度の少なくともいずれか１つを取得し、本実施形態では、色相及び彩度を取得する。このように、画素値の情報として、被写体を照明する光の影響を受けやすい明度を除いた色情報を取得することによって、かかる画素値の情報は、被写体の見え方の変化に対して頑健となる。

具体的には、取得部１１２は、被写体追跡の開始時では、被写体指定部１０９によって指定された被写体に対応する領域（被写体領域）に含まれる画素のそれぞれの彩度及び色相を取得する。また、取得部１１２は、被写体追跡の継続時では、領域抽出部１１３によって抽出された被写体領域に含まれる画素のそれぞれの彩度及び色相を取得する。

領域抽出部１１３は、画像処理部１０６から時系列的に順次供給される画像において、登録部１１１によって登録された基準画像との相関度が最も高い領域を被写体領域として抽出する。具体的には、領域抽出部１１３は、画像処理部１０６から時系列的に順次供給される画像において、基準画像に対応する大きさの部分領域を設定し、かかる部分領域の画像と基準画像との相関度を求める。相関度としては、例えば、部分領域の画像の各画素と基準画像の各画素との差分和を用いることが可能であり、差分和の値が小さいほど相関度が高いことを表す。領域抽出部１１３は、相関度を求める部分領域の位置を２次元空間的に順次画素単位でずらしながら相関度を求めることによって、相関度が最も高い領域を抽出することができる。但し、２つの画像の相関度を求める方法は、上述した方法に限定するもではなく、当業界で周知の様々な方法を適用することができる。なお、被写体追跡の開始時には、被写体指定部１０９によって指定された被写体に対応する領域が基準画像として登録されているため、領域抽出部１１３は、被写体指定部１０９によって指定された被写体に対応する領域を被写体領域として抽出する。

偏り検出部１１４は、領域抽出部１１３によって抽出された被写体領域に含まれる被写体の偏りを検出する。具体的には、偏り検出部１１４は、領域抽出部１１３によって抽出された被写体領域に含まれる画素をそれぞれの彩度及び色相で複数の種類に分類し、かかる種類ごとのヒストグラムを生成する。そして、偏り検出部１１４は、生成したヒストグラムにおいて頻度が最も高い種類に分類された画素を特徴画素として抽出して、被写体領域における特徴画素の分布の偏りを被写体の偏りとして検出する。

補正部１１５は、偏り検出部１１４によって検出された被写体領域における被写体の偏り（即ち、被写体領域における特徴画素の分布の偏り）が小さくなるように、被写体領域の位置を補正する。

図２を参照して、偏り検出部１１４の詳細な構成及び動作を説明する。図２は、偏り検出部１１４の構成を示す概略ブロック図である。偏り検出部１１４は、図２に示すように、分割部２０１と、画素検出部２０２と、偏り判定部２０３と、設定部２０４とを含む。

分割部２０１は、領域抽出部１１３によって抽出された被写体領域を分割（等分）する。分割部２０１は、被写体領域を２つの領域に等分する１つ以上の直線を設定して、被写体領域を少なくとも２つの分割領域に分割する。分割部２０１は、本実施形態では、被写体領域に対して、被写体領域の中心を通過する対称軸を垂直方向及び水平方向のそれぞれに設定して、被写体領域を４つの分割領域に分割する。

画素検出部２０２は、被写体領域に含まれる画素を、その画素の彩度及び色相で複数の種類に分類してヒストグラムを生成し、頻度が最も高い種類に分類された画素を特徴画素として抽出する。そして、画素検出部２０２は、分割部２０１によって分割された被写体領域の分割領域のそれぞれに含まれる特徴画素の数を検出する。なお、被写体領域に含まれる画素を複数の種類に分類する際の種類の数は、設定部２０４によって設定される。

偏り判定部２０３は、分割部２０１によって分割された被写体領域の分割領域のそれぞれに含まれる特徴画素の数の差が閾値以上である場合に、被写体領域に含まれる特徴画素の分布が偏っていると判定する。なお、被写体領域に含まれる特徴画素の分布が偏っているかどうかを判定する際の閾値（特徴画素の数の差）は、設定部２０４によって設定される。

また、偏り判定部２０３は、被写体領域に含まれる特徴画素の分布が偏っていると判定した場合に、被写体領域に含まれる特徴画素の分布の偏り方向及び偏り量を求める。具体的には、偏り判定部２０３は、分割部２０１によって分割された被写体領域の分割領域のうち特徴画素の数が多い領域の方向を、特徴画素の分布の偏り方向とする。また、偏り判定部２０３は、分割部２０１によって分割された被写体領域の分割領域のそれぞれに含まれる特徴画素の数の差に対応する量を、特徴画素の分布の偏り量とする。従って、特徴画素の分布の水平方向の偏り量は、垂直方向の対称軸によって分割された２つの分割領域のそれぞれに含まれる特徴画素の差に対応して求められる。同様に、特徴画素の垂直方向の偏り量は、水平方向の対称軸によって分割された２つの分割領域のそれぞれに含まれる特徴画素の差に対応して求められる。

設定部２０４は、被写体領域に含まれる画素を複数の種類に分類する際の種類の数（分類条件）、及び、被写体領域に含まれる特徴画素の分布が偏っているかどうかを判定する際の閾値（判定条件）を設定する。但し、設定部２０４は、登録部１１１が被写体指定部１０９によって指定された被写体に対応する被写体領域を基準画像として登録する場合と、領域抽出部１１３により抽出された領域を基準画像として登録する場合とで、分類条件及び判定条件を変更する。換言すれば、分類条件及び判定条件は、被写体追跡の開始時（被写体追跡部１１０にｎ番目（ｎは自然数）に供給される画像）と継続時（被写体追跡部１１０にｎ＋１番目以降に供給される画像）とで、変更される。

図３は、設定部２０４で設定される分類条件を説明するための図であって、図３（ａ）は、被写体追跡の開始時に設定される分類条件を示し、図３（ｂ）は、被写体追跡の継続時に設定される分類条件を示している。図３（ａ）及び図３（ｂ）に示すように、分類条件は、本実施形態では、色相及び彩度によって定義される特徴空間である。図３（ａ）に示す分類条件では、彩度及び色相に応じて、被写体領域に含まれる画素が１５種類に分類され、図３（ｂ）に示す分類条件では、彩度及び色相に応じて、被写体領域に含まれる画素が７種類に分類される。なお、図３（ａ）及び図３（ｂ）では、頻度が最も高い種類（即ち、画素が最も多く分類された種類）が斜線で示されており、かかる種類に分類された画素が特徴画素として抽出される。

上述したように、画像における追跡対象の被写体の見え方は、被写体の動きや環境などによって時系列的に変化する。従って、被写体追跡の継続時（登録部１１１が領域抽出部１１３により抽出された領域を基準画像として登録する場合）には、追跡対象の被写体の見え方の変化を考慮する必要がある。一方、被写体追跡の開始時（登録部１１１が被写体指定部１０９によって指定された被写体に対応する被写体領域を基準画像として登録する場合）には、追跡対象の被写体の見え方は同じであるため、追跡対象の被写体の見え方の変化を考慮する必要がない。

そこで、本実施形態では、図３（ａ）及び図３（ｂ）に示したように、被写体追跡の開始時での被写体領域に含まれる画素を分類する種類の数よりも、被写体追跡の継続時での被写体領域に含まれる画素を分類する種類の数が少なくなるように分類条件を設定する。これにより、被写体追跡の継続時は、被写体を照明する光の強度の変化に起因して被写体の色相及び彩度の見え方が若干変化したとしても、その被写体の色相及び彩度の分類の種類が変わったとみなしてしまうことを抑制することができる。

また、被写体追跡の開始時では、被写体領域に含まれる特徴画素の分布が偏っているかどうかの判定がされる画像と、基準画像として登録された部分領域を含む画像とは、同じ画像である。一方、被写体追跡の継続時では、被写体領域に含まれる特徴画素の分布が偏っているかどうかの判定がされる画像と、基準画像として登録された部分領域を含む画像とは、異なる画像である。従って、被写体追跡の開始時と継続時では、基準画像との相関度が最も高い被写体領域から抽出される特徴画素の信頼性が異なる。具体的には、被写体追跡の継続時において被写体領域から抽出される特徴画素の信頼性は、被写体追跡の開始時において被写体領域から抽出される特徴画素の信頼性よりも低い。

そこで、本実施形態では、被写体追跡の開始時における特徴画素の分布が偏っているかどうかを判定する際の閾値よりも、被写体追跡の継続時における特徴画素の分布が偏っているかどうかを判定する際の閾値が大きくなるように判定条件を設定する。このように、被写体追跡の継続時は、被写体追跡の開始時よりも特徴画素の信頼性が低いため、特徴画素の分布が偏っていると判定されにくくすることで、特徴画素の分布が偏っていると誤って判定してしまう可能性を抑えるようにしている。

ここで、図４及び図５を参照して、撮像装置１００における被写体追跡処理を説明する。被写体追跡処理は、時系列的に順次供給される画像に含まれる被写体を追跡する処理である。図４に示すＳ４０２乃至Ｓ４２０の処理は、被写体追跡部１１０で行われる。例えば、Ｓ４０４及びＳ４１６は取得部１１２による処理、Ｓ４０６及びＳ４１８は偏り検出部１１４による処理、Ｓ４０８及びＳ４２０は補正部１１５による処理、Ｓ４１０は登録部１１１による処理、Ｓ４１４は領域抽出部１１３による処理である。

また、図５において、５０１、５０５及び５０９は、被写体追跡部１１０（取得部１１２）に入力される画像（被写体領域の位置を補正する前の画像）である。画像５０１の点線で囲まれた領域は、被写体指定部１０９によって指定された被写体に対応する被写体領域であり、画像５０５及び５０９の点線で囲まれた領域は、領域抽出部１１３によって抽出された被写体領域である。５０２、５０６及び５１０は、被写体領域に含まれる画素のうち、特徴画素を白色、特徴画素ではない画素を黒色で表現した２値化画像である。５０３、５０７及び５１１は、補正部１１５によって被写体領域の位置が補正された画像（被写体領域の位置を補正した後の画像）である。画像５０３、５０７及び５１１の点線で囲まれた領域は、補正部１１５によって位置が補正された被写体領域（即ち、被写体追跡部１１０の被写体の追跡結果）である。５０４、５０８及び５１２は、被写体領域の位置を補正した後の画像５０３、５０７及び５１１に基づいて、登録部１１１によって登録される基準画像である。

図４を参照するに、Ｓ４０２では、被写体追跡部１１０は、撮像素子１０２から１番目に出力される画像（画像信号）を入力画像（図５の画像５０１）として読み込む。ここで、撮像素子１０２から１番目に出力される画像とは、撮像装置１００における被写体追跡処理が開始されてから１番目に出力される画像であって、撮像装置１００における撮像処理が開始されてから１番目に出力される画像ではない。

次いで、Ｓ４０４では、取得部１１２は、Ｓ４０２において読み込んだ画像の、被写体指定部１０９によって指定された被写体に対応する被写体領域（例えば、図５の画像５０１の点線で囲まれた領域）に含まれる画素のそれぞれの彩度及び色相を取得する。

次に、Ｓ４０６では、偏り検出部１１４は、被写体指定部１０９によって指定された被写体に対応する被写体領域における特徴画素の分布の偏りを検出する。具体的には、上述したように、図３（ａ）に示すような分類条件を用いて、被写体領域に含まれる画素をそれぞれの彩度及び色相で複数の種類に分類して種類ごとのヒストグラムを生成し、頻度が最も高い種類に分類された画素を特徴画素として抽出する。これにより、例えば、図５の２値化画像５０２が得られる。そして、被写体領域、即ち、２値化画像５０２を水平方向及び垂直方向のそれぞれに等分した４つの分割領域のそれぞれに含まれる特徴画素の数を求め、２つの分割領域に含まれる特徴画素の数の差と閾値とを比較して、特徴画素の分布の偏りを検出する。図５の２値化画像５０２では、被写体指定部１０９によって指定された被写体に対応する被写体領域における特徴画素の分布は、紙面右下方向（即ち、垂直方向に関しては下方向、水平方向に関しては右方向）に偏っていると検出される。

次いで、Ｓ４０８では、補正部１１５は、Ｓ４０６において検出された特徴画素の分布の偏りが小さくなるように、被写体領域の位置を補正する。これにより、図５の画像５０３の点線で囲まれた領域が示すように、被写体領域の位置は紙面右下方向に補正される。なお、図５の画像５０３の点線で囲まれた領域（被写体領域）は、被写体追跡部１１０による被写体の追跡の結果であるとも言える。また、Ｓ４０６において被写体領域における特徴画素の分布の偏りが検出されなかった場合には、被写体領域の位置を補正しないことは言うまでもない。

次に、Ｓ４１０では、登録部１１１は、Ｓ４０８において位置が補正された被写体領域に含まれる画像を、基準画像として登録する。これにより、図５の基準画像５０４が登録される。

次いで、Ｓ４１２では、被写体追跡部１１０は、撮像素子１０２から２番目に出力される画像を入力画像（図５の画像５０５）として読み込む。

次に、Ｓ４１４では、領域抽出部１１３は、Ｓ４１２において読み込まれた画像の、Ｓ４１０において登録された基準画像との相関度が最も高い領域を被写体領域として抽出する。具体的には、上述したように、Ｓ４１２において読み込んだ入力画像において、Ｓ４１０において登録された基準画像に対応する大きさの部分領域を２次元空間的に画素単位でずらしながら設定して、かかる部分領域の画像と基準画像との相関度を求める。これにより、基準画像との相関度が最も高い領域を抽出することが可能となり、例えば、図５の画像５０５の点線で囲まれた領域に示すように、被写体領域が抽出される。

次いで、Ｓ４１６では、取得部１１２は、Ｓ４１２において読み込んだ画像の、Ｓ４１４において抽出された被写体領域（図５の画像５０５の点線で囲まれた領域）に含まれる画素のそれぞれの彩度及び色相を取得する。

次に、Ｓ４１８では、偏り検出部１１４は、Ｓ４１４において抽出された被写体領域における特徴画素の分布の偏りを検出する。具体的には、上述したように、図３（ｂ）に示すような分類条件を用いて、被写体領域に含まれる画素をそれぞれの彩度及び色相で複数の種類に分類して種類ごとのヒストグラムを生成し、頻度が最も高い種類に分類された画素を特徴画素として抽出する。これにより、例えば、図５の２値化画像５０６が得られる。そして、被写体領域、即ち、２値化画像５０６を水平方向及び垂直方向のそれぞれに等分した４つの分割領域のそれぞれに含まれる特徴画素の数を求め、２つの分割領域に含まれる特徴画素の数の差と閾値とを比較して、特徴画素の分布の偏りを検出する。図５の２値化画像５０６では、Ｓ４１４において抽出された被写体領域における特徴画素の分布は、偏っていないと検出される。

次いで、Ｓ４２０では、補正部１１５は、Ｓ４１８において検出された特徴画素の分布の偏りが小さくなるように、被写体領域の位置を補正する。なお、図５の画像５０７の点線で囲まれた領域が示すように、Ｓ４１８において被写体領域における特徴画素の分布の偏りが検出されなかった場合には、被写体領域の位置を補正しないことは言うまでもない。

Ｓ４２０において被写体領域の位置が補正されたら、被写体追跡処理はＳ４１０に移行し、Ｓ４１０以降の処理が繰り返される。具体的には、図５の画像５０７の点線で囲まれた領域に含まれる画像を基準画像５０８として登録し（Ｓ４１０）、撮像素子１０２から３番目に出力される画像を入力画像（図５の画像５０９）として読み込む（Ｓ４１２）。そして、図５の画像５０９の、基準画像５０８との相関度が最も高い領域を被写体領域（図５の画像５０９の点線で囲まれた領域）として抽出し（Ｓ４１４）、かかる被写体領域に含まれる画素のそれぞれの彩度及び色相を取得する（Ｓ４１６）。また、図５の画像５０９の点線で囲まれた被写体領域に含まれる特徴画素を抽出し（図５の２値化画像５１０）、かかる被写体領域における特徴画素の分布の偏りを検出する（Ｓ４１８）。図５の２値化画像５１０では、被写体領域における特徴画素の分布は、紙面左方向（即ち、垂直方向に関しては偏りがなく、水平方向に関しては左方向）に偏っていると検出される。そして、図５の画像５１１の点線で囲まれた領域に示すように、被写体領域の位置を紙面左方向に補正し（Ｓ４２０）、図５の画像５１１の点線で囲まれた領域に含まれる画像を基準画像５１２として登録する（Ｓ４１０）。

ここで、図６を参照して、Ｓ４０６及びＳ４１８の処理を詳細に説明する。Ｓ６０２では、設定部２０４は、被写体領域に含まれる画素を複数の種類に分類する際の種類の数（分類条件）、及び、被写体領域に含まれる特徴画素の分布が偏っているかどうかを判定する際の閾値（判定条件）を設定する。上述したように、被写体追跡の開始時と継続時では、分類条件及び判定条件を変更する必要がある。従って、設定部２０４は、被写体領域に含まれる画素を複数の種類に分類する際の種類の数に関しては、Ｓ４０６の処理においては第１の数を設定し（図３（ａ））、Ｓ４１８の処理においては、第１の数よりも少ない第２の数を設定する（図３（ｂ））。また、設定部２０４は、被写体領域に含まれる特徴画素の分布が偏っているかどうかを判定する際の閾値に関しては、Ｓ４０６の処理においては第１の閾値を設定し、Ｓ４１８の処理においては第１の閾値よりも大きい第２の閾値を設定する。

次いで、Ｓ６０４では、分割部２０１は、被写体領域を分割する。例えば、分割部２０１は、被写体領域に対して、被写体領域を２つの領域に等分する直線を垂直方向及び水平方向のそれぞれに設定して、被写体領域を４つの分割領域に分割する。

次に、Ｓ６０６では、画素検出部２０２は、被写体領域に含まれる画素を、その画素の彩度及び色相で複数の種類に分類してヒストグラムを生成し、頻度が最も高い種類に分類された画素を特徴画素として抽出する。ここで、被写体領域に含まれる画素を複数の種類に分類する際の種類の数（分類条件）は、Ｓ６０２において設定されている。被写体追跡の開始時には、画像に含まれる追跡対象の被写体とその他（背景など）との分離精度を向上させるために、画素を複数の種類に分類する際の種類の数が多く設定されている（図３（ａ））。一方、被写体追跡の継続時には、追跡対象の被写体の見え方の変化に対して頑健にするために、画素を複数の種類に分類する際の種類の数が少なく設定されている（図３（ｂ））。

次いで、Ｓ６０８では、画素検出部２０２は、Ｓ６０６で抽出した特徴画素に基づいて、Ｓ６０４において分割された被写体領域の分割領域のそれぞれに含まれる特徴画素の数を検出する。

次に、Ｓ６１０では、偏り判定部２０３は、Ｓ６０４において分割された被写体領域の分割領域のうち、水平方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差が閾値以上であるかどうかを判定する。

水平方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差が閾値以上である場合には、Ｓ６１２において、偏り判定部２０３は、被写体領域における特徴画素の分布が垂直方向に偏っていると判定する。この際、偏り判定部２０３は、水平方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差に基づいて、その偏り方向（上方向に偏っているのか下方向に偏っているのか）及び偏り量を求める。一方、水平方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差が閾値以上でない場合には、Ｓ６１４において、偏り判定部２０３は、被写体領域における特徴画素の分布が垂直方向に偏っていないと判定する。例えば、図５に示す２値化画像５０２では、特徴画素の分布が垂直方向に偏っていると判定され、図５に示す２値化画像５０６及び５１０では、特徴画素の分布が垂直方向に偏っていないと判定される。

なお、被写体領域に含まれる特徴画素の分布が偏っているかどうかを判定する際の閾値は、Ｓ６０２において設定されている。被写体追跡の開始時には、特徴画素の分布が偏っていると判定されやすくするために、閾値が低く設定されている。一方、被写体追跡の継続時には、特徴画素の分布が偏っていると判定されにくくするために、閾値が高く設定されている。

Ｓ６１６では、偏り判定部２０３は、Ｓ６０４において分割された被写体領域の分割領域のうち、垂直方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差が閾値以上であるかどうかを判定する。

垂直方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差が閾値以上である場合には、Ｓ６１８において、偏り判定部２０３は、被写体領域における特徴画素の分布が水平方向に偏っていると判定する。この際、偏り判定部２０３は、垂直方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差に基づいて、その偏り方向（左方向に偏っているのか右方向に偏っているのか）及び偏り量を求める。一方、垂直方向の直線により分割された２つの分割領域のそれぞれに含まれる特徴画素の数の差が閾値以上でない場合には、Ｓ６１８において、偏り判定部２０３は、被写体領域における特徴画素の分布が水平方向に偏っていないと判定する。例えば、図５に示す２値化画像５０２及び５１０では、特徴画素の分布が水平方向に偏っていると判定され、図５に示す２値化画像５０６では、特徴画素の分布が水平方向に偏っていないと判定される。

なお、上述した被写体追跡処理では、被写体領域における特徴画素の分布の偏りが検出された場合に、被写体領域の位置を１度だけ補正している。但し、補正部１１５によって位置が補正された被写体領域における特徴画素の分布の偏りを更に検出し、特徴画素の分布の偏りが検出された場合には、被写体領域の位置を更に補正してもよい。換言すれば、被写体領域における特徴画素の分布の偏りが検出されなくなるまで、偏り検出部１１４による処理及び補正部１１５による処理を繰り返してもよい。また、補正部１１５によって位置が補正された被写体領域に含まれる特徴画素の数が、位置が補正される前の被写体領域に含まれる特徴画素の数より小さい場合には、被写体領域の位置を補正しないようにしてもよい。更に、このような２つの処理は、被写体追跡の開始時と継続時とで切り替えてもよい。具体的には、被写体追跡の開始時には、被写体領域から抽出される特徴画素の信頼性が高いため、特徴画素の分布の偏りがなくなるまで、偏り検出部１１４による処理及び補正部１１５による処理を繰り返す。一方、被写体追跡の継続時には、被写体領域から抽出される特徴画素の信頼性が低いため、位置が補正された被写体領域に含まれる特徴画素の数が、位置が補正される前の被写体領域に含まれる特徴画素の数より小さい場合には、被写体領域の位置を補正しない。

このように、本実施形態の撮像装置１００では、被写体指定部１０９によって指定された被写体領域又は領域抽出部１１３によって抽出された被写体領域に含まれる画素をそれぞれの彩度及び色相で複数の種類に分類してヒストグラムを生成する。そして、頻度が最も高い種類に分類された画素を特徴画素として抽出し、被写体領域における特徴画素の分布の偏りが小さくなるように、被写体領域の位置を補正する。この際、被写体追跡の開始時では、被写体領域に含まれる画素を複数の種類に分類する際の種類の数を多くすると共に、特徴画素の分布が偏っているかどうかを判定する際の閾値を低くしている。また、被写体追跡の継続時では、被写体領域に含まれる画素を複数の種類に分類する際の種類の数を少なくすると共に、特徴画素の分布が偏っているかどうかを判定する際の閾値を高くしている。これにより、被写体追跡の開始時では、追跡対象の中心からずれた領域を指定した場合であっても、追跡対象が中心となるように（特徴画素の分布の偏りが小さくなるように）被写体領域の位置を補正して、追跡対象を良好に追跡することができる。また、被写体追跡の継続時では、追跡対象の見え方が変化した場合であっても、かかる変化に頑健な条件で特徴画素の抽出及び特徴画素の分布に偏りがあるかどうかの判定を行っているため、追跡対象を良好に追跡することができる。

なお、本実施形態では、設定部２０４は、被写体領域に含まれる画素を複数の種類に分類する際の種類の数及び被写体領域に含まれる特徴画素の分布が偏っているかどうかを判定する際の閾値について、被写体追跡の開始時と継続時とで異なる値を設定している。但し、設定部２０４は、これらのいずれか一方のみを、被写体追跡の開始時と継続時とで異なる値に設定するようにしてもよい。設定部２０４は、被写体追跡の開始時よりも、被写体追跡の継続時の方が、特徴画素の分布の偏りを判定する基準が緩くなるような条件を設定するのであれば、上述した条件以外について被写体追跡の開始時と継続時とで別々の設定を行うようにしてもよい。

また、偏り判定部２０３は、被写体領域を水平方向及び垂直方向にそれぞれ２つの領域に分割していたが、被写体領域における特徴画素の分布の偏りが検出できるように対称な複数の領域に分割するのであれば、どのように分割してもよい。また、被写体追跡の開始時は８分割、被写体追跡の継続時には４分割というように、被写体追跡の継続時よりも開始時において、より細かな偏り判定を行うようにしてもよい。

また、取得部１１２は、画像における色相及び彩度を取得し、偏り検出部１１４は、この色相及び彩度を分類することで特徴画素を抽出していたが、色相又は彩度だけを用いて特徴画素を抽出してもよい。また、色相又は彩度の代わりに明度を用いて特徴画素を抽出してもよいし、色相、彩度及び明度の全てを用いて特徴画素を抽出してもよい。

また、画素検出部２０２は、取得部１１２で取得された色相及び彩度のヒストグラムを生成し、頻度が最も高い種類に分類された画素を特徴画素として抽出しているが、頻度が高い複数の種類に分類された画素を特徴画素としてもよい。また、取得部１１２で取得された色相及び彩度のうち、被写体領域外において抽出される画素数に対して、被写体領域内で抽出される画素数の割合が閾値以上となる色相及び彩度の種類に分類された画素を特徴画素としてもよい。

また、本実施形態では、被写体追跡装置（被写体追跡部１１０）を撮像装置に適用しているが、被写体追跡装置を適用する装置は撮像装置に限定されるものではない。例えば、外部装置や記録媒体などから時系列的に順次供給される画像（再生データ）を表示する表示装置に被写体追跡装置（被写体追跡部１１０）を適用してもよい。かかる表示装置では、再生データを被写体追跡処理の対象データとして被写体追跡処理が行われ、追跡対象の被写体の情報（被写体の位置や大きさなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像の被写体の位置に被写体の情報を重畳して表示する制御や被写体の輝度や色情報に応じた画像の輝度や色合いなどの制御を行う。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、撮像装置１００は、画像に含まれる被写体を指定する被写体指定部１０９を有していなくてもよい。このような場合、撮像装置１００は、画像から特定の被写体を検出する被写体検出部を有し、かかる被写体検出部で検出された被写体に対応する被写体領域を、被写体追跡の開始時の基準画像として登録する。また、焦点調整機構や露出調整機構に利用される画像の所定領域（ＡＦ枠や測光枠など）を、被写体追跡の開始時の基準画像として登録してもよい。また、補正部１１５は、被写体領域の位置を補正するだけはなく、被写体領域のサイズや形状を補正してもよい。被写体領域のサイズを補正する場合は、例えば、位置が補正された被写体領域の外周方向の各辺において、特徴画素の存在する割合を検出し、特徴画素の存在する割合が大きければ、その辺の領域を含めた領域を被写体領域として抽出する。また、位置が補正された被写体領域の内周方向の各辺において、特徴画素の存在する割合を判定し、特徴画素の存在する割合が小さければ、その辺の領域を除いた領域を被写体領域として抽出する。

Claims (9)

1. 時系列的に順次供給される画像に含まれる被写体を追跡する被写体追跡装置であって、
   前記画像のうちｎ番目（ｎは自然数）に供給される画像から、当該画像に含まれる被写体を指定する指定手段と、
   前記被写体に対応する被写体領域を前記画像から抽出するための基準画像を登録する登録手段と、
   前記画像の、前記基準画像との相関度が最も高い領域を前記被写体領域として抽出する領域抽出手段と、
   前記ｎ番目に供給される画像については前記指定手段によって指定された被写体を含む被写体領域に含まれる特徴画素を抽出し、前記画像のうちｎ＋１番目以降に供給される画像については前記領域抽出手段によって抽出された前記被写体領域に含まれる特徴画素を抽出して、前記被写体領域における前記特徴画素の分布の偏りを検出する偏り検出手段と、
   前記偏り検出手段によって検出された前記被写体領域における前記特徴画素の分布の偏りが小さくなるように、前記被写体領域の位置を補正する補正手段と、
   を有し、
   前記偏り検出手段は、
   前記ｎ番目に供給される画像における前記特徴画素の分布の偏りを検出する際よりも、前記ｎ＋１番目以降に供給される画像における前記特徴画素の分布の偏りを検出する際において、前記特徴画素の分布の偏りを判定する基準を緩く設定することを特徴とする被写体追跡装置。
2. 前記偏り検出手段は、前記被写体領域に含まれる画素を複数の種類に分類し、いずれかの種類に含まれる画素を特徴画素とするものであって、前記ｎ番目に供給される画像の前記被写体領域に含まれる画素を分類する種類の数よりも、前記ｎ＋１番目以降に供給される画像を分類する種類の数を少なくすることを特徴とする請求項１に記載の被写体追跡装置。
3. 前記偏り検出手段は、前記被写体領域に含まれる画素を複数の種類に分類し、いずれかの種類に含まれる画素を特徴画素とするとともに、前記被写体領域を複数の領域に分割し、それぞれの領域に含まれる前記特徴画素の数を求め、前記複数の領域に含まれる前記特徴画素の数の差が閾値以上である場合に、前記特徴画素の分布が偏っていると判定するものであって、前記ｎ番目に供給される画像における前記閾値よりも、前記ｎ＋１番目以降に供給される画像における前記閾値を低く設定することを特徴とする請求項１又は２に記載の被写体追跡装置。
4. 前記偏り検出手段は、前記被写体領域に含まれる画素を彩度、色相及び明度の少なくともいずれか１つに基づいて複数の種類に分類して前記種類ごとのヒストグラムを生成し、前記ヒストグラムにおいて最も頻度の高い種類に分類された画素を特徴画素として抽出することを特徴とする請求項１乃至３のうちいずれか１項に記載の被写体追跡装置。
5. 前記偏り検出手段は、前記補正手段によって位置が補正された被写体領域における前記特徴画素の分布の偏りを更に検出し、
   前記補正手段は、前記補正手段によって位置が補正された被写体領域における前記特徴画素の分布の偏りが前記偏り検出手段によって検出された場合に、前記被写体領域の位置を更に補正することを特徴とする請求項１乃至４のうちいずれか１項に記載の被写体追跡装置。
6. 前記補正手段は、前記補正手段によって位置が補正された被写体領域に含まれる前記特徴画素の数が、位置が補正される前の被写体領域に含まれる前記特徴画素の数より小さい場合は、前記ｎ＋１番目以降に供給される画像については、前記被写体領域の位置を補正しないことを特徴とする請求項１乃至５のうちいずれか１項に記載の被写体追跡装置。
7. 前記登録手段は、前記補正手段によって位置が補正された被写体領域を、次に供給される画像に用いる基準画像として登録することを特徴とする請求項１乃至６のうちいずれか１項に記載の被写体追跡装置。
8. 時系列的に順次供給される画像に含まれる被写体を追跡する被写体追跡装置の制御方法であって、
   指定手段が、前記画像のうちｎ番目（ｎは自然数）に供給される画像から、当該画像に含まれる被写体を指定する指定ステップと、
   登録手段が、前記被写体に対応する被写体領域を前記画像から抽出するための基準画像を登録する登録ステップと、
   領域抽出手段が、前記画像の、前記基準画像との相関度が最も高い領域を前記被写体領域として抽出する領域抽出ステップと、
   偏り検出手段が、前記ｎ番目に供給される画像については前記指定ステップで指定された被写体を含む被写体領域に含まれる特徴画素を抽出し、前記画像のうちｎ＋１番目以降に供給される画像については前記領域抽出ステップで抽出された前記被写体領域に含まれる特徴画素を抽出して、前記被写体領域における前記特徴画素の分布の偏りを検出する偏り検出ステップと、
   補正手段が、前記偏り検出ステップで検出された前記被写体領域における前記特徴画素の分布の偏りが小さくなるように、前記被写体領域の位置を補正する補正ステップと、
   を有し、
   前記偏り検出ステップでは、
   前記ｎ番目に供給される画像における前記特徴画素の分布の偏りを検出する際よりも、前記ｎ＋１番目以降に供給される画像における前記特徴画素の分布の偏りを検出する際において、前記特徴画素の分布の偏りを判定する基準を緩く設定することを特徴とする制御方法。
9. 請求項８に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。

Images