JP6099973B2

JP6099973B2 - 被写体領域追跡装置、その制御方法及びプログラム

Info

Publication number: JP6099973B2
Application number: JP2012285636A
Authority: JP
Inventors: 良介辻
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-27
Filing date: 2012-12-27
Publication date: 2017-03-22
Anticipated expiration: 2032-12-27
Also published as: JP2014127154A

Description

本発明は、被写体領域追跡装置、その制御方法及びプログラムに関する。

時系列的に逐次供給される画像から特定の被写体を抽出し、その抽出した被写体を追跡する技術は有用であり、例えば、動画像における人間の顔領域や人体領域の特定に利用されている。このような技術は、例えば、通信会議システム、マン・マシン・インターフェース、セキュリティシステム、任意の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。

また、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、ユーザーが指定した、撮像画像に含まれる任意の被写体を抽出及び追跡して、被写体に対する焦点状態や露出状態を最適化する技術が提案されている（特許文献１及び２参照）。例えば、特許文献１には、撮像画像に含まれる人物の顔の位置を検出（抽出）及び追跡し、その顔に対して焦点を合わせるとともに最適な露出で撮像する撮像装置が開示されている。また、特許文献２には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する技術が開示されている。テンプレートマッチングは、特定の被写体（追跡対象）を含むように切り出した部分画像をテンプレート画像として登録し、テンプレート画像と最も相関度が高い領域を画像内において推定することで特定の被写体を追跡する手法である。なお、テンプレートマッチングでは、タッチパネル等の入力インターフェイスを用いて画像に含まれる任意の領域を指定し、かかる領域を基準としてテンプレート画像が登録される。

特開２００５−３１８５５４号公報特開２００１−６０２６９号公報

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、撮像画像上での追跡対象の被写体の大きさは、ズーム制御や撮像装置と被写体との距離変化によって変化する。被写体の大きさが変化するシーンにおける被写体追跡の精度を向上させるために、被写体の大きさを推定する技術が求められる。被写体の大きさを推定する方法として、被写体の大きさを推定する画像の各画素の値が、被写体を表現する特徴量と一致するかを判定し、一致すると判定された画素を示す特徴画素の割合に応じて被写体の大きさを推定する方法がある。特徴画素として判定しやすい特徴量を用いた場合には、被写体とは異なる領域の画素を誤って特徴画素と判定してしまうことが多くなり、被写体の大きさ推定において不要に大きく推定してしまう。一方で、特徴画素として判定しにくい特徴量を用いた場合には、被写体領域の画素を誤って特徴画素ではないと判定してしまうことが多くなり、被写体の大きさ推定において不要に小さく推定してしまう。

本発明は、前述した課題に鑑みてなされたものであり、被写体追跡における被写体の大きさ推定の精度を向上させることを目的とする。

本発明に係る被写体領域追跡装置は、供給される画像から被写体領域を検出して追跡する被写体領域追跡装置であって、前記画像から追跡対象の被写体に係る第１の特徴量及び第２の特徴量を抽出する特徴量抽出手段と、直前の画像から推定された被写体領域を基準として、前記特徴量抽出手段により抽出された特徴量と一致する画素の割合に応じて前記追跡対象の被写体が含まれる被写体領域を推定する大きさ推定手段とを有し、前記特徴量抽出手段は、前記追跡対象の被写体内と推定される領域の画素値のヒストグラムと前記追跡対象の被写体外と推定される領域の画素値のヒストグラムとの差分を示す差分ヒストグラムにおいて、頻度が所定の閾値以上となる画素値の階調を前記第１の特徴量とし、前記第１の特徴量として判定された画素値の階調と隣接する階調を前記第２の特徴量とし、前記大きさ推定手段は、前記第２の特徴量と一致する画素の割合に係わらずに、前記第１の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを拡大する方向に変化させるか否かを判定し、前記第１の特徴量及び前記第２の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを縮小する方向に変化させるか否かを判定することを特徴とする。

本発明によれば、被写体領域の大きさを変化させる方向に応じて用いる特徴量を変えることにより、大きさ推定における不要な変動を抑制し、被写体領域の大きさ推定の精度を向上させることができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。本実施形態に係る撮像装置の処理の一例を示すフローチャートである。本実施形態における特徴量抽出の例を説明するための図である。本実施形態における大きさ推定の処理を示すフローチャートである。本実施形態における特徴画素の分布状況の例を示す図である。本発明の実施形態に係る被写体領域追跡装置を実現可能なコンピュータ機能を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、例えば被写体の画像を撮像するデジタルカメラとして具現化される。また、撮像装置１００は、時系列的に逐次供給される画像に含まれる被写体を追跡する被写体領域追跡装置としても機能する。撮像装置１００は、撮像光学系１０１、撮像素子１０２、アナログ信号処理部１０３、Ａ／Ｄ（アナログ／デジタル）変換部１０４、制御部１０５、画像処理部１０６、表示部１０７、被写体指定部１０９、及び被写体追跡部１１０を有する。

撮像装置１００において、被写体像を表す光は、撮像レンズを含む撮像光学系１０１によって集光され、撮像素子１０２に入射する。撮像素子１０２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１０２は、光電変換素子をそれぞれ有する複数の画素を有し、入射する光の強度に応じた電気信号を画素単位で出力する。つまり、撮像素子１０２から出力される電気信号は、撮像素子１０２が入射される被写体像を表す光を光電変換したものであり、撮像素子１０２で撮像された被写体像を含む画像を示すアナログの画像信号である。

アナログ信号処理部１０３は、撮像素子１０２から出力された画像信号に対して相関二重サンプリング（ＣＤＳ）等のアナログ信号処理を施す。Ａ／Ｄ変換部１０４は、アナログ信号処理部１０３から出力されたアナログの画像信号をデジタルデータの形式に変換する。Ａ／Ｄ変換部１０４によって変換されたデジタル形式の画像信号は、制御部１０５及び画像処理部１０６に入力される。

制御部１０５は、ＣＰＵ（Central Processing Unit）やマイクロコントローラ等であり、撮像装置１００の動作を中央制御する。制御部１０５は、図示しないＲＯＭ（Read Only Memory）に記憶されたプログラムコードを図示しないＲＡＭ（Random Access Memory）の作業領域に展開して順次実行することで、撮像装置１００の各機能部を制御する。

画像処理部１０６は、入力されたデジタル形式の画像信号に対して、ガンマ補正やホワイトバランス処理等の画像処理を施す。なお、画像処理部１０６は、通常の画像処理に加え、後述する被写体追跡部１１０から供給される画像中の被写体領域に関する情報を用いた画像処理を行う機能を有する。

表示部１０７は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイであり、画像処理部１０６から供給される画像信号に基づいて画像を表示する。撮像装置１００は、撮像素子１０２で時系列的に逐次撮像した画像を表示部１０７に表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７は、被写体追跡部１１０によって追跡している被写体を含む被写体領域の位置等も表示可能とする。また、画像処理部１０６から出力された画像信号は、記録媒体１０８に記録可能である。記録媒体１０８は、例えば撮像装置１００に着脱可能なメモリカードである。なお、画像信号の記録先は、撮像装置１００に内蔵されたメモリであっても良いし、撮像装置１００と通信可能に接続された外部装置であっても良い。

被写体指定部１０９は、画像に含まれる、追跡対象とする被写体を指定する。被写体指定部１０９は、例えばタッチパネルやボタン等を含む入力インターフェイスである。ユーザ（撮像者）は、被写体指定部１０９を介して、画像に含まれる任意の被写体を追跡対象に指定することが可能である。被写体追跡部１１０は、画像処理部１０６から時系列的に画像信号が順次供給され、撮像された時刻の異なる画像に含まれる被写体を追跡する。被写体追跡部１１０は、画像における被写体の画素パターンや特徴量に基づき、被写体指定部１０９によって指定された被写体を検出して追跡する。被写体追跡部１１０は、テンプレート登録部１１１、特徴量抽出部１１２、テンプレートマッチング部１１３、及び大きさ推定部１１４を含む。

テンプレート登録部１１１は、画像処理部１０６から時系列的に画像信号が順次供給され、被写体指定部１０９によって指定された追跡対象の被写体に対応する部分領域を画像から抽出してテンプレート画像として登録する。なお、登録されたテンプレート画像は、後述する大きさ推定部１１４での処理結果に応じて拡大処理や縮小処理が施される。また、時系列的に順次供給される画像に含まれる被写体の見え方の変化を考慮して、テンプレート画像を被写体追跡による被写体領域の推定毎に更新するようにしても良い。この場合には、テンプレート画像として登録する部分領域の範囲を、後述する大きさ推定部１１４での処理結果に応じて変化させれば良い。

特徴量抽出部１１２は、画像処理部１０６から時系列的に順次供給される画像から追跡対象の被写体の特徴量を抽出して保持する。特徴量抽出部１１２は、被写体指定部１０９によって指定された被写体に対応する領域のヒストグラム及び被写体とは異なる領域のヒストグラムのそれぞれから特徴的な画素値情報を抽出する。特徴量抽出部１１２は、主要な特徴である第１の特徴量と、補助的に利用する第２の特徴量を画像から抽出する。特徴量抽出部１１２による特徴量抽出についての詳細は後述する。

テンプレートマッチング部１１３は、画像処理部１０６から時系列的に順次供給される画像において、テンプレート登録部１１１によって登録されたテンプレート画像との相関度が最も高い領域を被写体領域として抽出する。テンプレートマッチング部１１３は、供給される画像においてテンプレート画像に対応する大きさの部分領域を設定し、かかる部分領域の画像とテンプレート画像との相関度を求める。相関度としては、例えば、部分領域の画像の各画素とテンプレート画像の各画素との画素値の差分和を用いることが可能であり、求められた差分和の値が小さいほど相関度が高いことを表す。テンプレートマッチング部１１３は、相関度を求める部分領域の位置を２次元空間的に順次画素単位でずらしながらテンプレート画像との相関度を求めることによって、相関度が最も高い領域を抽出する。なお、２つの画像の相関度を求める方法は、前述した方法に限定されるものではなく、正規化相互相関など他の方法でも良い。

大きさ推定部１１４は、画像処理部１０６から時系列的に順次供給される画像から、テンプレートマッチング部１１３によって抽出された被写体領域を基準として、特徴量抽出部１１２により抽出された特徴量を利用して被写体の大きさを推定する。大きさ推定部１１４は、供給される画像の各画素において、特徴量抽出部１１２により抽出された特徴量と一致する画素であるか否かを判定し、特徴量と一致すると判定した画素を特徴画素とする。そして、大きさ推定部１１４は、テンプレートマッチング部１１３によって直前の画像から抽出された被写体領域を基準として、特徴画素の分布状況に応じて被写体の大きさを拡大するか否か、縮小するか否かを判定する。ここで、被写体の大きさを拡大するか否かの判定処理では、大きさ推定部１１４は、特徴画素として判定するための特徴量のうち、主要な特徴量である第１の特徴量のみを利用する。また、被写体の大きさを縮小するか否かの判定処理では、大きさ推定部１１４は、特徴画素として判定するための特徴量として、主要な特徴量である第１の特徴量及び補助的な特徴量である第２の特徴量を利用する。推定された被写体の大きさに基づき被写体領域は更新され、制御部１０５や画像処理部１０６に供給される。また、テンプレート登録部１１１のテンプレート画像の大きさに反映される。大きさ推定部１１４の処理の詳細は後述する。

制御部１０５は、例えば撮像素子１０２で撮像する際の焦点状況や露出状況等の撮像条件を制御可能である。例えば、制御部１０５は、Ａ／Ｄ変換部１０４から出力された画像信号に基づいて、撮像光学系１０１の図示しない焦点制御機構や露出制御機構を制御する。例えば、焦点制御機構は撮像光学系１０１に含まれる撮像レンズを光軸方向へ駆動させるアクチュエータ等であり、露出制御機構は撮像光学系１０１に含まれる絞りやシャッタを駆動させるアクチュエータ等である。

なお、制御部１０５は、この焦点制御機構や露出制御機構の制御に、被写体追跡部１１０から供給された被写体領域の情報を用いることが可能である。例えば、制御部１０５は、被写体領域のコントラスト値を用いた焦点制御や、被写体領域の輝度値を用いた露出制御を行うことができる。したがって、撮像装置１００は、撮像画像における特定の被写体領域を考慮した撮像条件で撮像処理を行う機能を有する。また、制御部１０５は、撮像素子１０２の出力タイミングや出力画素など、撮像素子１０２の読み出し制御も行う。ここで、図１に示した構成において、例えば画像処理部１０６、被写体指定部１０９、及び被写体追跡部１１０により、本実施形態に係る被写体領域追跡装置としての機能が実現される。

本実施形態に係る撮像装置１００での被写体追跡の処理の流れについて図２を参照して説明する。画像処理部１０６は、撮像素子１０２を介して得られた撮像画像をＡ／Ｄ変換部１０４によりデジタル化して得られた画像を入力画像として読み込む（Ｓ２０１）。画像処理部１０６が読み込んだ画像は、被写体追跡部１１０に入力画像として供給される。次に、被写体追跡部１１０のテンプレート登録部１１１は、入力画像から被写体指定部１０９によって指定された被写体に対応する部分領域を抽出してテンプレート画像として登録する（Ｓ２０２）。また、被写体追跡部１１０の特徴量抽出部１１２は、入力画像から被写体指定部１０９によって指定された被写体に対応する領域の情報と、被写体とは異なる領域の情報とから特徴量を抽出する（Ｓ２０３）。なお、図２に示すステップＳ２０２及びステップＳ２０３の処理は順不同である。

ここで、図３を参照して、特徴量抽出部１１２による特徴量抽出の処理について説明する。本実施形態では、画像処理部１０６から供給される画像をＨＳＶ色空間で表現し、色相（Ｈｕｅ）を画素値情報として扱うこととする。特徴量抽出部１１２は、まず被写体内であると推定される領域及び被写体外であると推定される領域のそれぞれの色相ヒストグラムを生成する。図３（ａ）に、被写体内と推定される領域の色相のヒストグラムの例を示し、図３（ｂ）に、被写体外と推定される領域の色相のヒストグラムの例を示す。ヒストグラムは、０から３５９で表現される色相情報を１２階調に分け、頻度については要素数で正規化している。正規化とはヒストグラムを取得する領域の面積（画素数）で割っていることを示す。

特徴量抽出部１１２は、被写体としての特徴的な色相を判定するために、要素数で正規化した被写体内領域のヒストグラムと、要素数で正規化した被写体外領域のヒストグラムとの差分を求める。図３（ｃ）は、図３（ａ）に示したヒストグラムから図３（ｂ）に示したヒストグラムを減じて得られた差分ヒストグラムである。特徴量抽出部１１２は、差分を示すヒストグラムにおいて、値が所定の閾値以上になる色相の階調を第１の特徴量とする。例えば、所定の閾値を１０％とすると、図３（ｃ）に示す例では、６０−８９、１８０−２０９の範囲にある色相値が第１の特徴量として抽出される。また、特徴量抽出部１１２は、第１の特徴量と隣接した階調を第２の特徴量として扱う。但し、隣接した階調の内、被写体外領域のヒストグラムの値が所定の閾値以上の場合には、第２の特徴量から除外する。例えば、第２の特徴量から除外する所定の閾値を５％とすると、図３（ｃ）に示す例では、３０−５９、１５０−１７９の範囲にある色相値が第２の特徴量として抽出される。

前述した説明では、ＨＳＶ色空間の色相（Ｈｕｅ）のヒストグラムを用いた特徴量抽出に関して説明したが、本発明はこれに限らない。色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の２次元ヒストグラムでも、ＲＧＢ色空間におけるＲＧＢの３次元ヒストグラムであってもよい。

図２に戻り、次のステップＳ２０４からステップＳ２０７の処理は、時系列的に順次供給される画像毎に繰り返し実行される。まず、ステップＳ２０１と同様に、時系列的に順次供給される画像を画像処理部１０６が入力画像として読み込み（Ｓ２０４）、その画像が、被写体追跡部１１０に供給される。次に、被写体追跡部１１０のテンプレートマッチング部１１３は、ステップＳ２０４において読み込んだ入力画像とテンプレート画像との相関度を求め、相関度が最も高い領域を被写体領域として抽出する（Ｓ２０５）。

次に、被写体追跡部１１０の大きさ推定部１１４は、直前の画像から抽出された被写体領域を基準として、抽出した特徴量に基づき被写体の大きさを推定し、推定結果に基づき被写体領域を決定する（Ｓ２０６）。被写体の大きさの推定結果は、テンプレート画像に反映される（Ｓ２０７）。同一の被写体の追跡処理において、ステップＳ２０２において登録されたテンプレート画像を保持する手法であれば、現在時刻の大きさ推定による被写体の大きさと、登録時の被写体の大きさとに基づいてテンプレート画像の拡大又は縮小を行う。また、被写体の見えの変動に頑健化するため、テンプレート画像を被写体領域の推定の度に更新する手法であれば、テンプレート画像を取得する部分領域の範囲が、推定された被写体の大きさに基づいて決定される。テンプレート画像の大きさ又は部分領域の範囲を、大きさ推定の結果に基づき逐次更新することによって、被写体の画像上の大きさの変化に頑健な被写体追跡が実現できる。

ここで、図４を参照して、大きさ推定部１１４の処理の流れについて説明する。図４におけるステップＳ４０１からステップＳ４０５の処理が拡大方向の処理を示し、ステップＳ４０６からステップＳ４１０の処理が縮小方向の処理を示す。なお、以下の説明において、被写体領域の形状は矩形であるとする。

まず、大きさ推定部１１４は、供給された画像の各画素値が特徴量抽出部１１２により抽出された第１の特徴量と一致する画素であるかを判定する（Ｓ４０１）。特徴量と一致すると判定された画素を特徴画素と呼称する。次に、大きさ推定部１１４は、テンプレートマッチングにより抽出された被写体領域を基準として、外周領域の各辺において特徴画素の占める割合を算出する（Ｓ４０２）。その結果、特徴画素の占める割合が所定の閾値（第１の閾値）以上であれば（Ｓ４０３でＹＥＳと判定）、大きさ推定部１１４は、当辺の方向に領域を拡大する（Ｓ４０４）。一方、特徴画素の占める割合が所定の閾値以上でなければ（Ｓ４０３でＮＯと判定）、大きさ推定部１１４は、当辺に関しては変化させない。すべての辺において、特徴画素の占める割合に関する確認が完了すれば（Ｓ４０５でＹＥＳと判定）、大きさ推定部１１４による拡大方向の大きさ推定処理は完了する。

続いて、大きさ推定部１１４は、供給された画像の各画素値が特徴量抽出部１１２により抽出された第１の特徴量及び第２の特徴量と一致する画素であるかを判定する（Ｓ４０６）。次に、大きさ推定部１１４は、テンプレートマッチングにより抽出された被写体領域を基準として、内周領域の各辺において特徴画素の占める割合を算出する（Ｓ４０７）。その結果、特徴画素の占める割合が所定の閾値（第２の閾値）未満であれば（Ｓ４０８でＹＥＳと判定）、大きさ推定部１１４は、当辺の方向に領域を縮小する（Ｓ４０９）。一方、特徴画素の占める割合が所定の閾値未満でなければ（Ｓ４０８でＮＯと判定）、大きさ推定部１１４は、当辺に関しては変化させない。すべての辺において、特徴画素の占める割合に関する確認が完了すれば（Ｓ４１０でＹＥＳと判定）、大きさ推定部１１４による縮小方向の大きさ推定処理は完了する。なお、拡大方向の処理において、拡大した辺に関しては、縮小方向の処理対象から除外するようにしてもよい。

図５に、特徴画素の分布状況の例を示す。図５は、画像の各画素値が特徴画素であるか否かで２値化した画像を示しており、黒部分が特徴画素として判定された画素を示し、白部分が特徴画素と判定されなかった画素を示す。図５（ａ）に理想とする特徴画素の分布状況の例を示す。図５（ａ）に示す例では、被写体領域内の画素はすべて特徴画素と判定され、被写体領域外の画素はすべて特徴画素ではないと判定されている。

図５（ｂ）に第１の特徴量に基づく特徴画素の分布状況の例を示す。図５（ｂ）に示す例では、被写体領域内であるにも関わらず特徴画素として判定されない画素が多い一方で、被写体領域外で誤って特徴画素として判定された画素は少ない状況となっている。したがって、第１の特徴量を利用すると、誤って被写体外領域を特徴画素として判定しにくいことにより、不要に拡大処理してしまう誤りを軽減させることができる。

図５（ｃ）に第１の特徴量及び第２の特徴量に基づく特徴画素の分布状況の例を示す。図５（ｃ）に示す例では、被写体領域外であるにも関わらず特徴画素として判定する画素が多い一方で、被写体領域内で誤って特徴画素ではないと判定された画素は少ない状況となっている。したがって、第１の特徴量及び第２の特徴量を利用すると、誤って被写体内領域を特徴画素ではないと判定しにくいことにより、不要に縮小処理してしまう誤りを軽減させることができる。

以上のように、被写体の大きさを変化させる方向に応じて利用する特徴量を変えることで、時間軸方向での大きさ推定の不要な変動を抑えることができ、大きさ推定のロバスト化が達成される。したがって、被写体追跡における被写体領域の大きさ推定の精度を向上させることができる。

（本発明の他の実施形態）
前述した実施形態では、被写体領域追跡装置を撮像装置に適用した場合を例示したが、被写体領域追跡装置を適用する機器は撮像装置に限定しない。例えば、外部機器や記録媒体などから供給される画像（再生データ）を表示する表示装置に被写体領域追跡を行う被写体領域追跡装置を適用しても良い。この表示装置では、再生データを被写体領域追跡処理のデータとして被写体領域追跡処理が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体領域追跡処理により抽出された被写体の情報（画像中の被写体の位置、大きさなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠などの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。

また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

例えば、前述の実施形態に示した被写体領域追跡装置は、図６に示すようなコンピュータ機能６００を有し、そのＣＰＵ６０１により前述した実施形態での動作が実施される。
コンピュータ機能６００は、図６に示すように、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３とを備える。また、操作部（ＣＯＮＳ）６０９のコントローラ（ＣＯＮＳＣ）６０５と、ＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）６１０のディスプレイコントローラ（ＤＩＳＰＣ）６０６とを備える。さらに、ハードディスク（ＨＤ）６１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）６１２のコントローラ（ＤＣＯＮＴ）６０７と、ネットワークインタフェースカード（ＮＩＣ）６０８とを備える。それら機能部６０１、６０２、６０３、６０５、６０６、６０７、６０８は、システムバス６０４を介して互いに通信可能に接続された構成としている。
ＣＰＵ６０１は、ＲＯＭ６０２又はＨＤ６１１に記憶されたソフトウェア、又はＳＴＤ６１２より供給されるソフトウェアを実行することで、システムバス６０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ６０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ６０２、ＨＤ６１１、又はＳＴＤ６１２から読み出して実行することで、前述した実施形態での動作を実現するための制御を行う。ＲＡＭ６０３は、ＣＰＵ６０１の主メモリ又はワークエリア等として機能する。
ＣＯＮＳＣ６０５は、ＣＯＮＳ６０９からの指示入力を制御する。ＤＩＳＰＣ６０６は、ＤＩＳＰ６１０の表示を制御する。ＤＣＯＮＴ６０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び前述した実施形態における前記処理プログラム等を記憶するＨＤ６１１及びＳＴＤ６１２とのアクセスを制御する。ＮＩＣ６０８はネットワーク６１３上の他の装置と双方向にデータをやりとりする。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像光学系１０２：撮像素子１０３：アナログ信号処理部１０４：Ａ／Ｄ変換部１０５：制御部１０６：画像処理部１０９：被写体指定部１１０：被写体追跡部１１１：テンプレート登録部１１２：特徴量抽出部１１３：テンプレートマッチング部１１４：大きさ推定部

Claims

供給される画像から被写体領域を検出して追跡する被写体領域追跡装置であって、
前記画像から追跡対象の被写体に係る第１の特徴量及び第２の特徴量を抽出する特徴量抽出手段と、
直前の画像から推定された被写体領域を基準として、前記特徴量抽出手段により抽出された特徴量と一致する画素の割合に応じて前記追跡対象の被写体が含まれる被写体領域を推定する大きさ推定手段とを有し、
前記特徴量抽出手段は、前記追跡対象の被写体内と推定される領域の画素値のヒストグラムと前記追跡対象の被写体外と推定される領域の画素値のヒストグラムとの差分を示す差分ヒストグラムにおいて、頻度が所定の閾値以上となる画素値の階調を前記第１の特徴量とし、前記第１の特徴量として判定された画素値の階調と隣接する階調を前記第２の特徴量とし、
前記大きさ推定手段は、前記第２の特徴量と一致する画素の割合に係わらずに、前記第１の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを拡大する方向に変化させるか否かを判定し、前記第１の特徴量及び前記第２の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを縮小する方向に変化させるか否かを判定することを特徴とする被写体領域追跡装置。
前記第１の特徴量として判定された画素値の階調と隣接する階調のうち、前記追跡対象の被写体外と推定される領域のヒストグラムにおいて頻度が所定の閾値未満となる画素値の階調を前記第２の特徴量とすることを特徴とする請求項１に記載の被写体領域追跡装置。
前記特徴量抽出手段は、前記追跡対象の被写体内と推定される領域の画素値のヒストグラムと前記追跡対象の被写体外と推定される領域の画素値のヒストグラムとのそれぞれを画素数に基づいて正規化して前記差分ヒストグラムを生成することを特徴とする請求項１または２に記載の被写体領域追跡装置。
撮像した画像を供給する撮像手段と、
請求項１〜３の何れか１項に記載の前記被写体領域追跡装置と、
前記撮像手段での撮像条件を、前記被写体領域追跡装置が出力する被写体の情報に応じて制御する制御手段とを備えることを特徴とする撮像装置。
供給される画像を表示する表示手段と、
請求項１〜３の何れか１項に記載の前記被写体領域追跡装置と、
前記表示手段での画像の表示条件を、前記被写体領域追跡装置が出力する被写体の情報に応じて制御する制御手段とを備えることを特徴とする表示装置。
供給される画像から被写体領域を検出して追跡する被写体領域追跡装置の制御方法であって、
前記画像から追跡対象の被写体に係る第１の特徴量及び第２の特徴量を抽出する特徴量抽出工程と、
直前の画像から推定された被写体領域を基準として、前記特徴量抽出工程にて抽出された特徴量と一致する画素の割合に応じて前記追跡対象の被写体が含まれる被写体領域を推定する大きさ推定工程とを有し、
前記特徴量抽出工程では、前記追跡対象の被写体内と推定される領域の画素値のヒストグラムと前記追跡対象の被写体外と推定される領域の画素値のヒストグラムとの差分を示す差分ヒストグラムにおいて、頻度が所定の閾値以上となる画素値の階調を前記第１の特徴量とし、前記第１の特徴量として判定された画素値の階調と隣接する階調を前記第２の特徴量とし、
前記大きさ推定工程では、前記第２の特徴量と一致する画素の割合に係わらずに、前記第１の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを拡大する方向に変化させるか否かを判定し、前記第１の特徴量及び前記第２の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを縮小する方向に変化させるか否かを判定することを特徴とする被写体領域追跡装置の制御方法。
供給される画像から被写体領域を検出して追跡する被写体領域追跡装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記画像から追跡対象の被写体に係る第１の特徴量及び第２の特徴量を抽出する特徴量抽出ステップと、
直前の画像から推定された被写体領域を基準として、前記特徴量抽出ステップにて抽出された特徴量と一致する画素の割合に応じて前記追跡対象の被写体が含まれる被写体領域を推定する大きさ推定ステップとをコンピュータに実行させ、
前記特徴量抽出ステップでは、前記追跡対象の被写体内と推定される領域の画素値のヒストグラムと前記追跡対象の被写体外と推定される領域の画素値のヒストグラムとの差分を示す差分ヒストグラムにおいて、頻度が所定の閾値以上となる画素値の階調を前記第１の特徴量とし、前記第１の特徴量として判定された画素値の階調と隣接する階調を前記第２の特徴量とし、
前記大きさ推定ステップでは、前記第２の特徴量と一致する画素の割合に係わらずに、前記第１の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを拡大する方向に変化させるか否かを判定し、前記第１の特徴量及び前記第２の特徴量と一致する画素の割合に応じて、前記被写体領域の大きさを縮小する方向に変化させるか否かを判定することを特徴とするプログラム。