JP5219795B2 - 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム - Google Patents

Description

本発明は、被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラムに関する。

時系列的に逐次供給される画像から特定の被写体を検出し、その検出した被写体を追跡する画像処理方法は非常に有用であり、例えば動画像における人間の顔領域の特定に利用されている。この画像処理方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。

特許文献１には、画像中の顔の位置を検出し、検出した顔に焦点を合わせるとともに、その顔に最適な露出で撮像する撮像装置が開示されている。特許文献２には、テンプレートマッチングの手法を利用して特定の被写体を追跡する物体追跡方法及び物体追跡装置が開示されている。テンプレートマッチングは、追跡対象の画像領域を切り出した部分画像を基準画像として登録し、画像内で基準画像と最も形状の相関度が高い領域を推定し、特定の被写体を追跡する手法である。

図１０にテンプレートマッチングを用いた被写体追跡の一例のフローチャートを示す。また、図１１にテンプレートマッチングを用いた被写体追跡の一例を示す。図１１では、人物の顔を被写体として追跡する例を示す。

図１１において、１１０１はフレームｔ＝０での入力画像、１１０２はフレームｔ＝０の入力画像における被写体検出結果、１１０３はフレームｔ＝０の入力画像において登録される基準画像を示す。また、１１０４はフレームｔ＝１での入力画像、１１０５はフレームｔ＝１の入力画像におけるマッチング結果、１１０６はフレームｔ＝１の入力画像において更新される基準画像を示す。また、１１０７はフレームｔ＝２での入力画像、１１０８はフレームｔ＝２の入力画像におけるマッチング結果、１１０９はフレームｔ＝２の入力画像において更新される基準画像を示す。

図１０、図１１に示すように、撮像装置では、フレームｔ＝０における入力画像１１０１を読み込む（Ｓ１００１）。次に、入力画像１１０１に対して被写体検出処理を行って、人間の顔としての形状条件を満たしている被写体領域を抽出し、被写体検出結果１１０２を得る（Ｓ１００２）。

次いで、撮像装置は、被写体検出結果１１０２から初期の基準画像１１０３を登録する（Ｓ１００３）。次いで、撮像装置は、フレームｔ＝１における入力画像１１０４を読み込む（Ｓ１００４）。次いで、撮像装置は、入力画像１１０４とフレームｔ＝０の入力画像１１０１において登録された基準画像１１０３とのマッチング処理を行い、入力画像１１０４を領域毎に切り出して基準画像１１０３に対する形状の相関値を求める（Ｓ１００５）。

入力画像の全領域にかかるマッチングエリアにおいてマッチング処理が完了していなければ（Ｓ１００６：ＮＯ）、撮像装置は、入力画像１１０５の別の領域を切り出して続けてマッチング処理を行なう（Ｓ１００５）。完了していれば（Ｓ１００６：ＹＥＳ）、相関度が最も高い領域をフレームｔ＝１での被写体領域とするマッチング結果１１０５を得る（Ｓ１００７）。

次いで、撮像装置は、マッチング結果１１０５で推定された被写体領域に基づき基準画像１１０６を更新する（Ｓ１００８）。次いで、撮像装置は、フレームｔ＝２における入力画像１１０７を読み込む（Ｓ１００４）。次いで、撮像装置は、入力画像１１０７とフレームｔ＝１の入力画像１１０５において更新された基準画像１１０６とのマッチング処理を行なう（Ｓ１００５）。

所定のマッチングエリアにおいてマッチング処理が完了していなければ（Ｓ１００６：ＮＯ）、撮像装置は続けてマッチング処理を行なう（Ｓ１００５）。完了していれば（Ｓ１００６：ＹＥＳ）、撮像装置は、相関度が最も高い領域をフレームｔ＝２での被写体領域とするマッチング結果１１０８を得る（Ｓ１００７）。

次いで、撮像装置は、マッチング結果１１０８で推定された被写体領域に基づき基準画像１１０９を更新する（Ｓ１００８）。以上のように、連続して入力される画像と前フレームにおけるマッチング結果によって得られる基準画像との相関をとることにより、目的とする被写体を追跡する。
特開２００５−３１８５５４号公報 特開２００１−６０２６９号公報

しかしながら、上記従来の追跡方法では、マッチング処理に用いる基準画像内に追跡対象である被写体とは異なる背景などの被写体が含まれている場合や、追跡対象の被写体の向きが変化する場合等において、誤った被写体追跡が発生することがある。

例えば、基準画像内に追跡対象の被写体とは異なる被写体が含まれる場合は、マッチング処理により異なる被写体の影響を受けた被写体領域が得られることとなる。さらに、追跡対象の被写体の向きが変化する場合には、その被写体の見え方の変化により被写体領域がずれて得られることがあり、異なる被写体の影響をより受けやすくなる。その結果、追跡対象の被写体からずれた被写体領域が被写体追跡により抽出されることとなり、誤った被写体追跡が発生してしまう。そして、この被写体領域のずれは補正されないため、ずれた状態で被写体追跡が継続されることとなる。

本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明は、時系列的に供給される画像から所定の被写体を追跡する際に、誤った被写体追跡の発生を低減することを可能とする技術を提供することを目的とする。

上記目的は、時系列的に供給される画像中の被写体を追跡する被写体追跡装置であって、供給された画像から前記被写体に対応した領域を検出する被写体検出手段と、前記被写体検出手段が検出した、前記被写体に対応した領域を、前記被写体の追跡に用いる基準画像として登録する基準画像登録手段と、前記供給された画像と前記登録された基準画像との相関度に基づいて、前記画像から前記基準画像と類似する被写体領域を抽出する抽出手段と、前記被写体領域に含まれる、前記被写体を示す特徴画素の分布に基づいて、当該被写体領域における前記被写体の位置を検出する検出手段と、前記被写体領域における前記被写体の位置の偏りが小さくなるように前記被写体領域を補正する補正手段とを備え、前記補正された被写体領域を、前記供給された画像における前記被写体の追跡結果とするとともに、前記基準画像登録手段が、前記補正された被写体領域を、次に供給される画像において前記被写体の追跡に用いる基準画像として登録し、前記基準画像登録手段は、前記被写体検出手段が検出した前記被写体に対応した領域の前記被写体の検出精度を示す第１の精度と、前記補正された被写体領域の前記被写体の検出精度を示す第２の精度とを比較し、前記第１の精度が前記第２の精度よりも高い場合には前記被写体検出手段が検出した前記被写体に対応した領域を、前記第２の精度が前記第１の精度よりも高い場合には前記補正された被写体領域を、前記次に供給される画像に用いる基準画像として登録することを特徴とする被写体追跡装置によって達成される。

また、上記目的は、時系列的に供給される画像中の被写体を追跡する被写体追跡装置の制御方法であって、供給された画像から前記被写体に対応した領域を検出する被写体検出工程と、前記被写体検出工程で検出された、前記被写体に対応した領域を、前記被写体の追跡に用いる基準画像として登録する基準画像登録工程と、前記供給された画像と、前記登録された基準画像との相関度に基づいて、前記画像から前記基準画像と類似する被写体領域を抽出する抽出工程と、前記被写体領域に含まれる、前記被写体を示す特徴画素の分布に基づいて、当該被写体領域における前記被写体の位置を検出する検出工程と、前記被写体領域における前記被写体の位置の偏りが小さくなるように前記被写体領域を補正する補正工程とを備え、前記補正された被写体領域を、前記供給された画像における前記被写体の追跡結果とするとともに、前記基準画像登録工程が、前記補正された被写体領域を、次に供給される画像において前記被写体の追跡に用いる基準画像として登録し、前記基準画像登録工程は、前記被写体検出工程で検出された前記被写体に対応した領域の前記被写体の検出精度を示す第１の精度と、前記補正された被写体領域の前記被写体の検出精度を示す第２の精度とを比較し、前記第１の精度が前記第２の精度よりも高い場合には前記被写体検出工程で検出された前記被写体に対応した領域を、前記第２の精度が前記第１の精度よりも高い場合には前記補正された被写体領域を、前記次に供給される画像に用いる基準画像として登録することを特徴とする被写体追跡装置の制御方法によっても達成される。

本発明によれば、時系列的に供給される画像から所定の被写体を追跡する際に、誤った被写体追跡の発生を低減することができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

［第１の実施形態］
以下には第１の実施形態に係る被写体追跡装置である撮像装置の構成及び動作を図を参照して説明する。図１は、第１の実施形態に係る撮像装置１の構成を示すブロック図である。

図１に示すように、撮像装置１では、撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどである撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。

撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、制御部１０５及び画像処理部１０６に入力される。

制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラなどであり、撮像装置１の動作を中央制御する。具体的には、制御部１０５は、ＲＯＭ（Read Only Memory）に記憶されたプログラムコードをＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１の各部を制御する。

画像処理部１０６においては、入力されたデジタル形式の映像信号に対して、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。なお、画像処理部１０６は、通常の画像処理に加え、後述する被写体検出部１０９、被写体追跡部１１０から供給される画像中の特定の被写体領域に関する情報を用いた画像処理を行う機能も有する。

画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。撮像装置１は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に逐次表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。

また、画像処理部１０６から出力された映像信号は、記録媒体１０８、例えば着脱可能なメモリーカードに記録される。なお、映像信号の記録先は、撮像装置１の内蔵メモリであっても、通信インターフェイスにより通信可能に接続された外部装置（いずれも図示しない）であってもよい。

画像処理部１０６から出力された映像信号は、被写体検出部１０９にも供給される。被写体検出部１０９は、画像中の目的とする所定の被写体を検出し、被写体領域を特定するためのものであり、被写体が人物である場合はその人数分の被写体領域を特定する。目的とする被写体としては、人物の顔などが代表的である。この場合、被写体検出部１０９は、被写体領域として人物の顔領域を特定する。

被写体検出部１０９における被写体の検出方法では、例えば検出対象が人物の顔である場合、公知の顔検出方法を用いる。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、顔検出では、認識率向上のためにこれらを組み合わせて顔認識を行なうのが一般的である。具体的には特開２００２−２５１３８０号広報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。なお、顔以外の被写体（動植物や文字など）の検出は、上述した顔検出と同様に、色や形状等の被写体の特徴部分を識別して検出を行う。

被写体追跡部１１０では、画像処理部１０６から出力される時刻の異なる映像信号から、映像信号のパターンの類似性に基づき所定の被写体（被写体領域）を追跡する。例えば、被写体追跡部１１０では、撮像素子１０２で時系列的に逐次撮像した画像を時系列順に並べて類似する部分領域を追跡することで、特定のパターンの被写体領域を追跡する。被写体追跡部１１０は、基準画像登録部１１１、マッチング処理部１１２、特徴画素判定部１１３、位置ずれ判定部１１４、位置補正部１１５により構成される。

基準画像登録部１１１では、被写体検出部１０９の検出結果、もしくは被写体追跡部１１０の追跡結果に基づき、画像処理部１０６から出力される画像信号における画像の部分領域を基準画像として登録する。例えば、被写体追跡部１１０の初期動作時には被写体追跡部１１０の追跡結果が存在しないため、基準画像登録部１１１は、被写体検出部１０９の検出結果に基づく被写体領域を基準画像として登録する。被写体追跡部１１０の初期動作以降、基準画像登録部１１１は、被写体追跡部１１０の結果を基準画像に登録することが可能となる。

また、基準画像登録部１１１は、被写体検出部１０９の検出結果と被写体追跡部１１０の追跡結果において、より信頼性の高い結果に基づき基準画像を登録することにより、被写体追跡部１１０の精度を向上させることができる。例えば、被写体追跡部１１０が人物の顔を追跡する場合は、被写体検出部１０９の検出結果である人物の顔領域において、顔に関する知識など利用して人物の顔としての信頼度（第１の精度）を算出する。被写体追跡部１１０の追跡結果である追跡された顔領域においても、マッチング処理により抽出された被写体領域と基準画像の相関度を利用して同一被写体としての信頼度（第２の精度）を算出する。次いで、基準画像登録部１１１は、算出した２つの信頼度を比較し、より信頼度が高い方を検出精度が高いものと判断し、次に供給される画像とのマッチング処理に用いる基準画像とする。これにより、被写体追跡部１１０が人物の顔を追跡する際の精度を向上させる。

マッチング処理部１１２では、逐次撮像して取得した現在のフレームにおける映像信号の画像と、基準画像登録部１１１に登録されている基準画像とのマッチング処理を行う。マッチング処理により、現在のフレームにおける映像信号の画像において基準画像と最も相関度が高い領域を、追跡対象の被写体領域として抽出する。ここで、マッチング処理部１１２は、現在のフレームの映像信号と時刻が異なる基準画像が登録されている場合、すなわち、基準画像登録部１１１により過去に基準画像が登録されている場合のみ動作するものとする。

特徴画素判定部１１３は、マッチング処理部１１２により抽出された被写体領域内において、各画素の有する色情報が追跡を目的とする所定の被写体の特徴を示す所定の色モデルに含まれる場合に、特徴画素として判定する。すなわち、特徴画素判定部１１３は、所定の被写体を示す色モデルに含まれる色の画素を特徴画素としている。本実施形態では、追跡を目的とする被写体を顔としているため、所定の色モデルは人物の肌の色を示す肌色モデルとする。なお、所定の色モデルは、予めメモリなどで設定された固定の色モデルであっても、被写体検出部１０９により検出された被写体領域や、マッチング処理部１１２により抽出された被写体領域に応じて動的に変化しても構わない。

以下の実施形態では、特徴画素判定部１１３は各画素の色情報を元に特徴画素を判定するものとする。

位置ずれ判定部１１４は、特徴画素判定部１１３の結果に基づき、マッチング処理部１１２により抽出された被写体領域の位置の補正を行うため、特徴画素の分布状況に基づいて補正方向と補正量とを算出する。具体的には、マッチング処理部１１２により抽出された被写体領域内において、その領域の中心を通る対称軸を設定する。すなわち、対称軸は、被写体領域を二等分する直線である。

次いで、その対称軸を境に分割された領域で、特徴画素判定部１１３により判定された特徴画素数をカウントする。次いで、その特徴画素の偏りに応じて補正方向と補正量とを算出する。なお、補正方向は、対称軸と直交し、対称軸を境に分割された二つの領域における特徴画素数の多い領域の方向とする。

また、補正量は、被写体領域の位置を補正した際に、対称軸を中心とした特徴画素の分布状況の偏りが小さくなるように、分割された二つの領域の特徴画素数の差に応じた値とする。例えば、差が大きければ補正量を大きな値とし、差が小さければ補正量を小さな値とする。なお、補正量は、被写体領域内で特徴画素の分布状況の偏りが小さくなるように算出すればよく、例えば対称軸と各特徴画素との距離の平均に応じた値としてもよい。

位置補正部１１５では、位置ずれ判定部１１４の結果に基づいた補正量、補正方向で、マッチング処理部１１２により抽出された被写体領域の位置を補正する。被写体追跡部１１０では、位置補正部１１５により位置を補正した後の被写体領域を被写体追跡部１１０の結果とする。この被写体追跡部１１０の結果は、制御部１０５、画像処理部１０６に供給される。

制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況などの撮像条件を制御する。具体的には、制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズ１０１の焦点制御機構や露出制御機構（いずれも図示しない）を制御する。例えば、焦点制御機構は撮像レンズ１０１を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッタを駆動させるアクチュエータなどである。

制御部１０５は、この焦点制御機構や露出制御機構の制御に、被写体検出部１０９や被写体追跡部１１０から供給された被写体領域の抽出結果の情報を用いることができる。具体的には、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行う。したがって、撮像装置１では、撮像画像における特定の被写体領域を考慮した撮像処理を行うことができる。また、制御部１０５は、撮像素子１０２の出力タイミングや出力画素など、撮像素子１０２の読み出し制御も行う。

なお、本実施形態では、時系列的に逐次撮像した画像から被写体領域を検出する被写体検出部１０９及びその被写体領域を追跡する被写体追跡部１１０を有する撮像装置１を例示した。しかしながら、撮像装置１は被写体検出部１０９を備えなくてもよい。この場合、初期時における基準画像登録部１１１は、例えば通信インターフェイスにより通信可能に接続された外部装置により指定された領域を基準画像として登録する。また、焦点制御機構や露出制御機構に利用される画像中の所定の領域（ＡＦ枠や測光枠など）を初期の基準画像として登録してもよい。

ここで、第１の実施形態に係る処理であり、被写体追跡部１１０が行う処理について、図２、図３を参照して説明する。図２は、第１の実施形態に係る被写体追跡の処理を示すフローチャートである。図３は、被写体追跡の説明図である。なお、以下の説明では、人物の顔を被写体として追跡する例を示す。

図２に示すように、被写体追跡部１１０は、Ｓ２０１〜Ｓ２０６の処理を行う。Ｓ２０２はマッチング処理部１１２、Ｓ２０３は特徴画素判定部１１３、Ｓ２０４は位置ずれ判定部１１４、Ｓ２０５は位置補正部１１５、Ｓ２０６は基準画像登録部１１１による処理である。

また、図３において、基準画像３０１は基準画像登録部１１１により登録された画像である。入力画像３０２は被写体追跡部１１０に入力された画像である。被写体抽出結果３０３は、入力画像３０２と基準画像３０１とによりマッチング処理部１１２が被写体領域の検出を行った結果である。判定結果３０４は、被写体抽出結果３０３から特徴画素判定部１１３が特徴画素を判定した結果である。補正結果３０５は、判定結果３０４から位置ずれ判定部１１４が被写体抽出結果３０３における被写体領域の位置を補正した結果である。基準画像３０６は、補正結果３０５に応じて基準画像登録部１１１が登録する画像である。

まず、図２に示すように、被写体追跡部１１０では、Ｓ２０１において、撮像素子１０２で逐次撮像された撮像画像を入力画像３０２として読み込む。なお、Ｓ２０１における入力画像３０２の読み込みは、逐次撮像された撮像画像毎に、すなわちフレーム毎に行ってもよいし、間欠的なフレーム毎に行ってもよい。次いで、マッチング処理部１１２は、入力画像３０２と基準画像登録部１１１に予め登録されている基準画像３０１とのマッチング処理を行う。

マッチング処理では、入力画像３０２における基準画像３０１と同じサイズの部分領域の各画素と基準画像３０１の各画素との差分和を算出する。次いで、入力画像３０２における基準画像３０１と同じサイズの部分領域の位置を変化させ、算出される差分和が最小となる分領域の位置が相関度（類似性）の最も高い領域とする処理を行う（図１０のＳ１００５〜Ｓ１００７）。なお、２つの画像のマッチング方法は、さまざまな方法があり、本実施形態の処理例はあくまで一例である。

ここで、マッチング処理では、基準画像３０１と入力画像３０２との類似性に基づくため、必ずしも正しい被写体領域をマッチング処理結果とするとは限らない。被写体抽出結果３０３に示すマッチング処理結果では、正しい被写体領域とは一部ずれた領域を結果として抽出している。これは、基準画像３０１に示すように基準画像内において、被写体領域に含めるべき被写体Ｈ１とは異なる背景Ｈ２が含まれていることに起因する。また、基準画像３０１と、入力画像３０２とにおいて、被写体Ｈ１の向きが正面から横へ変化しており、被写体Ｈ１の見えに変化があることに起因する。よって、基準画像３０１内の背景Ｈ２と入力画像３０２内の背景Ｈ２との相関度が高く、被写体Ｈ１の見えが変化しているため、本来被写体Ｈ１が中心となるべきところ、被写体抽出結果３０３のようにずれた結果が得られる。

次いで、マッチング処理に得られた被写体領域について、特徴画素判定部１１３は被写体の特徴を示す特徴画素を判定する（Ｓ２０３）。図４は、特徴画素の判定処理のフローチャートである。

図４に示すように、判定処理が開始されると、特徴画素判定部１１３は、マッチング処理により得られた被写体領域において、所定位置の画素の有する色情報を取得する（Ｓ４０１）。次いで、特徴画素判定部１１３は、Ｓ４０２において、取得された色情報が所定の色モデルに含まれる情報か否かを判定する。

色情報が所定の色モデルに含まれる情報であった場合（Ｓ４０２：ＹＥＳ）、その画素は特徴画素として判定される（Ｓ４０３）。なお、色情報が所定の色モデルに含まれる情報でない場合（Ｓ４０２：ＮＯ）、その画素は特徴画素とは判定されない。

次いで、特徴画素判定部１１３は、マッチング処理により得られた被写体領域における全ての画素に関して、処理を行ったか否かを判定する（Ｓ４０４）。全ての画素に関して処理を行っていない場合（Ｓ４０４：ＮＯ）、処理を行っていない画素の色情報を取得するため、特徴画素判定部１１３はＳ４０１へ処理を戻す。また、全ての画素に関して処理を行った場合（Ｓ４０４：ＹＥＳ）、特徴画素判定部１１３は処理を終了する。

上述した特徴画素の判定により、判定結果３０４が得られる。判定結果３０４では、特徴画素を白で、特徴画素以外の画素を黒で塗りつぶしている。ここで、所定の色モデルとは、被写体の特徴を示す色モデルであり、被写体が人物の顔である場合は肌色モデルとする。この肌色モデルの例は図５に示すとおりである。

なお、画素から取得される色情報はＹＣｂＣｒデータの色差ＣｂＣｒとし、図５における横軸はＣｂ、縦軸はＣｒとする。図５に示すように、色領域５０１は肌色モデルを示す領域であり、特徴画素判定部１１３では、取得されるＣｂＣｒ成分が色領域５０１内に含まれるか否かを判定する。この図５に示すような色モデルに関する情報は、特徴画素判定部１１３内のメモリ（図示しない）に予め設定されているものとする。

なお、取得される色情報や色モデルの形式は様々な形式が考えられる。本実施形態の例はその中の一例であって、例示した形式に限定するものではない。例えば、取得される色情報の形式は、ＲＧＢデータであっても、ＨＳＶ表色系のデータに変換した色相（Ｈ）のデータとしてもよい。

また、色モデルと画素の色情報に基づく特徴画素の判定方法に関しても、様々な方法が考えられる。本実施形態の例はその中の一例であって、例示した判定方法に限定するものではない。また、特徴画素の判定を実施する領域は、マッチング処理結果により検出される領域と同一の領域であっても、抽出された領域の重心を中心とした所定の領域であってもよい。

次いで、図２に示すように、位置ずれ判定部１１４は、特徴画素の判定結果に基づいて、マッチング処理結果の被写体領域についての位置ずれを判定する（Ｓ２０４）。図６は、位置ずれ判定のフローチャートである。

図６に示すように、位置ずれ判定の処理が開始されると、位置ずれ判定部１１４は、マッチング処理結果の被写体領域において、その領域の中心を通る対称軸を設定する（Ｓ６０１）。次いで、位置ずれ判定部１１４は、対称軸を境に分割された領域毎に、特徴画素の判定結果による特徴画素数をカウントする（Ｓ６０２）。次いで、位置ずれ判定部１１４は、分割された領域の特徴画素数の差を算出する（Ｓ６０３）。

次いで、位置ずれ判定部１１４は、分割された領域の特徴画素数の差が、予めメモリなどに設定された所定の閾値（第１の閾値）以上であるか否かを判定する（Ｓ６０４）。特徴画素数の差が第１の閾値以上である場合（Ｓ６０４：ＹＥＳ）、位置ずれ判定部１１４は、特徴画素数の差に応じた位置補正量を算出する（Ｓ６０５）。具体的には、特徴画素数の差が大きいほど、位置補正量を大きく算出する。これにより、特徴画素が対称軸で分割された領域の一方に偏って分布している場合の偏り具合に応じた位置補正量を算出できる。また、位置補正量は、マッチング処理結果の被写体領域の大きさを基準に正規化（例えば被写体領域の大きさを１とした割合で位置補正量を算出）してもよい。

Ｓ６０５に次いで、位置ずれ判定部１１４は、位置補正方向を算出し（Ｓ６０６）、処理を終了する。位置補正方向は、設定された対称軸と垂直に交わり、対称軸を境に分割された領域における特徴画素数の数が大きい方向とする。なお、特徴画素数の差が閾値未満である場合（Ｓ６０４：ＮＯ）、位置ずれ判定部１１４は、位置補正量を０と設定し（Ｓ６０７）、処理を終了する。

ここで、位置ずれ判定における対称軸は、少なくとも１つ以上であり、互いに異なる方向に複数設定され、対処軸ごと（直線ごと）に位置補正量及び位置補正方向を算出する。図７は、対称軸の設定例を示す図である。図７に示すように、設定例７０１では、被写体領域を示す画像に対して垂直方向及び水平方向に対称軸を設定している。このように、垂直方向及び水平方向に対称軸を設定し、それぞれの位置補正量及び位置補正方向を算出することにより、垂直方向及び水平方向の位置ずれを判定することができる。また、対称軸ごと（直線ごと）に算出された位置補正量及び位置補正方向に基づいて被写体領域の位置の補正を行うことができる。

なお、対称軸の設定方法は、様々な方法が考えられ、位置ずれ判定を行う被写体領域を対称に分割する軸であればどの様な方法であってもよい。例えば、設定例７０２のように斜め方向に対称軸を設定しても、設定例７０３のように設定例７０１と設定例７０２の対称軸の設定を組み合わせてもよい。

次いで、図２に示すように、位置補正部１１５は、位置ずれ判定の結果である位置補正量及び位置補正方向に応じて、マッチング処理結果の被写体領域の位置を補正する（Ｓ２０５）。具体的には、図３に示すように、特徴画素の判定結果３０４では、垂直方向の対称軸に対して、右領域の特徴画素数が少なく、左領域の特徴画素数が多くなる。なお、水平方向の対称軸に対して、上領域と下領域との特徴画素数の差は少ない。そのため、補正結果３０５に示すように、マッチング処理結果の被写体領域を右方向へずらした領域を位置補正結果としている。撮像装置１では、この位置補正結果を被写体追跡処理による被写体領域の追跡結果とする。

次いで、基準画像登録部１１１は、位置補正結果に基づき追跡された被写体領域を基準画像３０６として登録する（Ｓ２０６）。基準画像登録部１１１により登録された基準画像３０６は、次フレームのマッチング処理において利用される。撮像装置１では、上述した処理によって基準画像を順次更新していくことで、被写体の向きが変化するなど時系列的に被写体の見えが変化する場合においても、適切に被写体追跡を行うことができる。

また、被写体検出部１０９及び被写体追跡部１１０が共に動作する場合、基準画像登録部１１１は、互いの信頼度を比較することで、信頼性のより高い結果に基づき基準画像を登録してもよい。一方、時系列的な被写体の見えの変化を考慮しない場合などは、基準画像を更新せず、初期に登録された基準画像を維持してもよい。

また、上述した処理において基準画像登録部１１１が登録する基準画像３０６の形状は様々な形状が考えられる。本実施形態の例はその中の一例であって、例示した矩形状に限定するものではない。例えば、基準画像３０６の形状は円形や多角形であってもよい。

また、被写体追跡部１１０は、特徴画素判定部１１３により得られる特徴画素の数が予め設定された所定の閾値（第２の閾値）よりも少なければ、被写体追跡を中断してもよい。例えば、被写体追跡部１１０の追跡対象である被写体が障害物に隠れた場合などは、マッチング処理結果の被写体領域中の特徴画素の数が少なくなり、第２の閾値を下回ったところで被写体追跡が中断される。これにより、被写体領域に含まれる背景を追って追跡する可能性を軽減することができる。

以上のように、第１の実施形態における被写体追跡処理では、マッチング処理で追跡する被写体とは異なる背景を含んだ被写体領域を抽出した場合であっても、被写体を示す特徴画素に応じて抽出された被写体領域の位置を補正する。これにより、被写体を適正に追跡した被写体領域を抽出することができる。つまり、被写体追跡処理の精度を向上させ、被写体領域に含まれる背景などを誤って追跡する可能性を軽減できる。

［第２の実施形態］
次に、第２の実施形態に係る撮像装置の構成及び動作を、第１の実施形態との差異を中心に、図を参照して説明する。なお、第１の実施形態と同一の構成及び動作については同一の符号を付し、その説明は省略する。図８は、第２の実施形態に係る撮像装置１ａの構成を示すブロック図である。

図８に示すように、撮像装置１ａと撮像装置１との差異は、撮像装置１ａが色モデル決定部８０１を有することである。色モデル決定部８０１は、被写体検出部１０９の結果に基づいて画像から抽出された被写体領域中の色情報を用いて色モデルを決定する。色モデル決定部８０１において決定された色モデルは、被写体追跡部１１０の特徴画素判定部１１３において利用される。

色モデル決定部８０１が行う色モデルの決定方法としては、色ヒストグラムを生成し、生成した色ヒストグラムを混合正規分布モデルで近似する方法が挙げられる。なお、本実施形態においては色モデルの決定方法が主目的ではないため、詳細な色モデル決定方法に関する説明は省略する。

なお、本実施形態では、被写体検出部１０９を有する撮像装置１ａを例示したが、被写体検出部１０９を備えなくてもよい。この場合、初期時に基準画像登録部１１１が登録する基準画像及び色モデル決定部８０１が色モデルの決定に用いる領域は、接続された外部装置の指定に応じたものとなる。また、焦点制御機構や露出制御機構に利用される画像中の所定の領域（ＡＦ枠や測光枠など）に基づき、基準画像の登録や、色モデルの決定が行われてもよい。

ここで、第２の実施形態に係る処理であり、被写体検出部１０９、被写体追跡部１１０、色モデル決定部８０１が行う処理について、図９を参照して説明する。図９は、第２の実施形態に係る被写体追跡の処理を示すフローチャートである。

図９に示すように、処理が開始されると被写体追跡部１１０は、撮像素子１０２で逐次撮像された撮像画像を入力画像として読み込む（Ｓ９０１）。次いで、被写体検出部１０９では、入力画像を用いた被写体検出処理を行う（Ｓ９０２）。なお、Ｓ９０２において、被写体検出部１０９が検出する被写体は人物の顔とする。

次いで、被写体追跡部１１０は、被写体検出処理により被写体領域の抽出結果が得られたか否かを判定する（Ｓ９０３）。例えば、入力画像に人物の顔が含まれておらず、被写体領域が検出できなかった場合は、抽出結果が得られなかったものと判定されることとなる。また、入力画像に人物の顔が含まれており、その顔に応じた被写体領域が検出できた場合は、抽出結果が得られたものと判定されることとなる。

被写体検出処理により被写体領域の抽出結果が得られなかった場合は（Ｓ９０３：ＮＯ）、Ｓ９０１へ処理が戻ることとなる。また、被写体検出処理により被写体領域の抽出結果が得られた場合（Ｓ９０３：ＹＥＳ）、色モデル決定部８０１は、抽出された被写体領域の色情報を用いて色モデルを検定する（Ｓ９０４）。また、基準画像登録部１１１は、抽出された被写体領域を基準画像として登録する（Ｓ９０５）。

次いで、被写体追跡部１１０は、次フレームの撮像画像を入力画像として読み込み（Ｓ９０６）、読み込んだ入力画像を用いた被写体追跡処理を行う（Ｓ９０７）。なお、Ｓ９０７における被写体追跡処理は、第１の実施形態で説明したＳ２０２〜Ｓ２０６と同様の処理である。

上述した第２の実施形態では、被写体追跡部１１０における特徴画素判定部１１３の色モデルを被写体検出部１０９で検出された被写体領域から動的に決定することにより、多種多様な被写体に対応することができる。具体的には、特定の被写体毎に動的に色モデルを決定するため、特定の被写体と、その被写体とは異なる背景などとを分離するための色モデルが得られる。そして、得られた色モデルを用いた被写体追跡処理が行われることとなるため、より精度の高い被写体追跡処理が実現できる。

なお、上述した実施形態では被写体として人物の顔を検出する場合について説明したが、検出する被写体は人物の顔に限らず、動物や自動車などを検出してもよい。また、上述した実施形態では撮像装置に被写体追跡処理を行う被写体追跡装置を適用した場合を例示したが、被写体追跡装置を適用する機器は撮像装置に限定しない。

例えば、外部機器や記録媒体などから逐次供給される画像（再生データ）を表示する表示装置に被写体追跡処理を行う被写体追跡装置を適用してもよい。この表示装置では、再生データを被写体検出処理のデータとし、被写体追跡処理が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体追跡処理により追跡された被写体の情報（画像中の被写体の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

例えば、位置補正部１１５は、被写体領域の位置の補正だけでなく、被写体領域のサイズや形状を補正してもよい。被写体領域のサイズを補正する場合は、例えば、位置補正方向とは逆方向の辺の位置を固定し、位置補正量に応じてサイズを大きくする。また、被写体領域の形状を補正する場合は、例えば、位置補正方向にある辺を、位置補正量に応じて位置補正方向にシフトさせる。これにより、被写体領域のサイズや形状を補正する場合であっても、所定の被写体の位置の偏りを小さくすることができる。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

第１の実施形態に係る撮像装置の構成を示すブロック図である。 第１の実施形態に係る被写体追跡の処理を示すフローチャートである。 第１の実施形態に係る被写体追跡の説明図である。 第１の実施形態に係る特徴画素の判定処理を示すフローチャートである。 第１の実施形態に係る色モデルを例示する図である。 第１の実施形態に係る位置ずれ判定を示すフローチャートである。 第１の実施形態に係る位置ずれ判定における対称軸の設定例を示す図である。 第２の実施形態に係る撮像装置の構成を示すブロック図である。 第２の実施形態に係る被写体追跡の処理を示すフローチャートである。 従来のテンプレートマッチングによる被写体追跡のフローチャートである。 従来のテンプレートマッチングによる被写体追跡の一例を説明する図である。

符号の説明

１、１ａ 撮像装置
１０１ 撮像レンズ
１０２ 撮像素子
１０３ アナログ信号処理部
１０４ Ａ／Ｄ変換部
１０５ 制御部
１０６ 画像処理部
１０７ 表示部
１０８ 記録媒体
１０９ 被写体検出部
１１０ 被写体追跡部
１１１ 基準画像登録部
１１２ マッチング処理部
１１３ 特徴画素判定部
１１４ 位置ずれ判定部
１１５ 位置補正部
８０１ 色モデル決定部

Claims (12)

1. 時系列的に供給される画像中の被写体を追跡する被写体追跡装置であって、
   供給された画像から前記被写体に対応した領域を検出する被写体検出手段と、
   前記被写体検出手段が検出した、前記被写体に対応した領域を、前記被写体の追跡に用いる基準画像として登録する基準画像登録手段と、
   前記供給された画像と前記登録された基準画像との相関度に基づいて、前記画像から前記基準画像と類似する被写体領域を抽出する抽出手段と、
   前記被写体領域に含まれる、前記被写体を示す特徴画素の分布に基づいて、当該被写体領域における前記被写体の位置を検出する検出手段と、
   前記被写体領域における前記被写体の位置の偏りが小さくなるように前記被写体領域を補正する補正手段とを備え、
   前記補正された被写体領域を、前記供給された画像における前記被写体の追跡結果とするとともに、前記基準画像登録手段が、前記補正された被写体領域を、次に供給される画像において前記被写体の追跡に用いる基準画像として登録し、
   前記基準画像登録手段は、前記被写体検出手段が検出した前記被写体に対応した領域の前記被写体の検出精度を示す第１の精度と、前記補正された被写体領域の前記被写体の検出精度を示す第２の精度とを比較し、前記第１の精度が前記第２の精度よりも高い場合には前記被写体検出手段が検出した前記被写体に対応した領域を、前記第２の精度が前記第１の精度よりも高い場合には前記補正された被写体領域を、前記次に供給される画像に用いる基準画像として登録することを特徴とする被写体追跡装置。
2. 前記被写体検出手段が検出した前記被写体に対応した領域に含まれる画素の色情報に基づいて前記被写体を示す色モデルを決定する色モデル決定手段を更に備え、
   前記検出手段は、前記被写体検出手段が検出した前記被写体に対応した領域に含まれる画素のうち、色情報が前記決定された色モデルに含まれる画素を前記特徴画素として用いることを特徴とする請求項１に記載の被写体追跡装置。
3. 前記検出手段は、前記被写体検出手段が検出した前記被写体に対応した領域に含まれる画素のうち、色情報が、予め設定された、前記被写体を示す色モデルに含まれる画素を前記特徴画素として用いることを特徴とする請求項１に記載の被写体追跡装置。
4. 前記被写体が人物の顔であり、
   前記色モデルが人物の肌の色を示す肌色モデルであることを特徴とする請求項３に記載の被写体追跡装置。
5. 時系列的に供給される画像中の被写体を追跡する被写体追跡装置であって、
   前記被写体の追跡に用いる基準画像を登録する基準画像登録手段と、
   供給された画像と前記登録された基準画像との相関度に基づいて、前記画像から前記基準画像と類似する被写体領域を抽出する抽出手段と、
   前記被写体領域に含まれる、前記被写体を示す特徴画素の分布に基づいて、当該被写体領域における前記被写体の位置を検出する検出手段と、
   前記被写体領域における前記被写体の位置の偏りが小さくなるように前記被写体領域を補正する補正手段とを備え、
   前記補正された被写体領域を、前記供給された画像における前記被写体の追跡結果とするとともに、前記基準画像登録手段が、前記補正された被写体領域を、次に供給される画像において前記被写体の追跡に用いる基準画像として登録し、
   前記検出手段は、前記被写体領域を直線で二等分した二つのサブ領域中に含まれる前記特徴画素の数の差を検出し、
   前記補正手段は、前記差が所定の閾値以上である場合に、前記補正を行うことを特徴とする被写体追跡装置。
6. 前記補正手段は、前記直線と直交し、前記直線から前記特徴画素の数が多いサブ領域への方向で、且つ前記差の大きさに応じた量、前記被写体領域の位置を補正することを特徴とする請求項５に記載の被写体追跡装置。
7. 前記検出手段は、前記直線を互いに異なる方向に複数設定し、前記サブ領域に含まれる特徴画素の数の差を、前記複数の直線の各々について検出し、
   前記補正手段は、前記直線ごとに前記被写体領域の位置の補正を行うことを特徴とする請求項６に記載の被写体追跡装置。
8. 逐次撮像した画像を時系列的に供給する撮像手段と、
   前記画像中の被写体を追跡する請求項１乃至７のいずれか１項に記載の被写体追跡装置と、
   前記撮像手段が画像を撮像する際の撮像条件を、前記被写体追跡装置の追跡結果である補正された被写体領域に含まれる画素の情報に応じて制御する制御手段と、
   を備えることを特徴とする撮像装置。
9. 時系列的に供給される画像を表示する表示手段と、
   前記画像中の被写体を追跡する請求項１乃至７のいずれか１項に記載の被写体追跡装置と、
   前記表示手段が前記画像を表示する表示条件を、前記被写体追跡装置の追跡結果である補正された被写体領域に含まれる画素の情報に応じて制御する制御手段と、
   を備えることを特徴とする表示装置。
10. 時系列的に供給される画像中の被写体を追跡する被写体追跡装置の制御方法であって、
    供給された画像から前記被写体に対応した領域を検出する被写体検出工程と、
    前記被写体検出工程で検出された、前記被写体に対応した領域を、前記被写体の追跡に用いる基準画像として登録する基準画像登録工程と、
    前記供給された画像と、前記登録された基準画像との相関度に基づいて、前記画像から前記基準画像と類似する被写体領域を抽出する抽出工程と、
    前記被写体領域に含まれる、前記被写体を示す特徴画素の分布に基づいて、当該被写体領域における前記被写体の位置を検出する検出工程と、
    前記被写体領域における前記被写体の位置の偏りが小さくなるように前記被写体領域を補正する補正工程とを備え、
    前記補正された被写体領域を、前記供給された画像における前記被写体の追跡結果とするとともに、前記基準画像登録工程が、前記補正された被写体領域を、次に供給される画像において前記被写体の追跡に用いる基準画像として登録し、
    前記基準画像登録工程は、前記被写体検出工程で検出された前記被写体に対応した領域の前記被写体の検出精度を示す第１の精度と、前記補正された被写体領域の前記被写体の検出精度を示す第２の精度とを比較し、前記第１の精度が前記第２の精度よりも高い場合には前記被写体検出工程で検出された前記被写体に対応した領域を、前記第２の精度が前記第１の精度よりも高い場合には前記補正された被写体領域を、前記次に供給される画像に用いる基準画像として登録することを特徴とする被写体追跡装置の制御方法。
11. 時系列的に供給される画像中の被写体を追跡する被写体追跡装置の制御方法であって、
    前記被写体の追跡に用いる基準画像を登録する基準画像登録工程と、
    供給された画像と、前記登録された基準画像との相関度に基づいて、前記画像から前記基準画像と類似する被写体領域を抽出する抽出工程と、
    前記被写体領域に含まれる、前記被写体を示す特徴画素の分布に基づいて、当該被写体領域における前記被写体の位置を検出する検出工程と、
    前記被写体領域における前記被写体の位置の偏りが小さくなるように前記被写体領域を補正する補正工程とを備え、
    前記補正された被写体領域を、前記供給された画像における前記被写体の追跡結果とするとともに、前記基準画像登録工程が、前記補正された被写体領域を、次に供給される画像において前記被写体の追跡に用いる基準画像として登録し、
    前記検出工程は、前記被写体領域を直線で二等分した二つのサブ領域中に含まれる前記特徴画素の数の差を検出し、
    前記補正工程は、前記差が所定の閾値以上である場合に、前記補正を行うことを特徴とする被写体追跡装置の制御方法。
12. 請求項１０または１１に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images