JP4787424B2 - 映像オブジェクト検出・追跡装置 - Google Patents
映像オブジェクト検出・追跡装置 Download PDFInfo
- Publication number
- JP4787424B2 JP4787424B2 JP2001166525A JP2001166525A JP4787424B2 JP 4787424 B2 JP4787424 B2 JP 4787424B2 JP 2001166525 A JP2001166525 A JP 2001166525A JP 2001166525 A JP2001166525 A JP 2001166525A JP 4787424 B2 JP4787424 B2 JP 4787424B2
- Authority
- JP
- Japan
- Prior art keywords
- video object
- image feature
- video
- shape
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像コンテンツの制作支援、防犯用途・交通用途の画像監視に係わり、特に映像内におけるオブジェクトの存在領域を推定し、各オブジェクトを一貫した識別番号で管理する映像オブジェクト検出・追跡装置に関する。
【０００２】
【従来の技術】
従来、映像オブジェクトを追跡する手法として、拡張Kalmanフィルタに基づく手法（参考文献１：Francois G. Meyer等, Region-Based Tracking Using Affine Motion Models in Long Image Sequences, CVGIP Image Understanding, Vol.60, No.2, pp.119-140, 1994）、Monte Carlo法の一種であるCondensationアルゴリズムによる手法（参考文献２：Michael Isard等, Condensation-Conditional Density Propagation for Visual Tracking, International Journal of Computer Vision, Vol.29, No.1, pp.5-28, 1998）が提案されている。また、Condensation法を改良した手法（参考文献３：John Maccormick等, International Journal of Computer vision, Vol.39, No.1, pp.51-71, 2000）も提案されている。
前記のいずれの手法も観測情報の信頼性に応じた適応フィルタ処理を映像オブジェクト追跡に適用したものであり、映像オブジェクトの掩蔽や変形、雑音に対して頑健な手法である。
【０００３】
【発明が解決しようとする課題】
しかし、従来の技術は、いずれも映像オブジェクトを追跡するためのフィルタ自身の技術であった。つまり、映像オブジェクトの出現・消滅、オブジェクト間の掩蔽が存在する状況下で、一貫した映像オブジェクトの検出・追跡ならびに映像オブジェクト毎の識別管理を扱うものはなかった。また、特に映像雑音が多い場合、映像オブジェクトが大きく変形する場合あるいは複数の映像オブジェクトが互いに交差する場合には、従来の自動追跡手法では映像オブジェクトを見失ってしまうことがあるという問題があった。
【０００４】
本発明は、以上のような従来の映像オブジェクト追跡手法における問題点に鑑みてなされたものであり、映像における雑音、オブジェクトの変形、オブジェクト間の掩蔽、オブジェクトの出現・消滅が生じ得る映像入力に対して頑健な映像オブジェクト検出・追跡装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明では前記の課題を解決するために以下の構成に係るものとした。
請求項１に記載の映像オブジェクト検出・追跡装置は、映像信号から、少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出する画像特徴抽出手段と、前記映像オブジェクト毎に、映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベースと、前記画像特徴量信号に含まれる画像特徴量と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成する画像特徴照合手段と、前記オブジェクト存在領域情報である観測ベクトルと前記信頼度が低いほど成分の絶対値を大きく設定した観測共分散行列とに基づいて、現時点での映像オブジェクトの位置及び形状を示す推定位置・形状情報である状態ベクトルを拡張Ｋａｌｍａｎフィルタにより推定する位置・形状推定手段と、を有する構成とした。
【０００６】
このように構成されることにより、映像オブジェクト検出・追跡装置は、画像特徴抽出手段により、映像信号から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出することができる。また、画像特徴照合手段により、前記画像特徴量信号に含まれる画像特徴量と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成することができる。また、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を拡張Ｋａｌｍａｎフィルタにより推定し、推定位置・形状情報を生成することができる。
【０００７】
また、請求項２に記載の映像オブジェクト検出・追跡装置は、映像信号を前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号を生成する前景形状抽出手段と、前記映像信号と前記前景形状信号との少なくとも一方から、映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出する画像特徴抽出手段と、前記映像オブジェクト毎に、映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベースと、前記画像特徴量信号と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成する画像特徴照合手段と、前記オブジェクト存在領域情報である観測ベクトルと前記信頼度が低いほど成分の絶対値を大きく設定した観測共分散行列とに基づいて、現時点での映像オブジェクトの位置及び形状を示す推定位置・形状情報である状態ベクトルを拡張Ｋａｌｍａｎフィルタにより推定する位置・形状推定手段と、を有する構成とした。
【０００８】
このように構成されることにより、映像オブジェクト検出・追跡装置は、前景形状抽出手段により、映像信号を前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号を生成することができる。また、画像特徴抽出手段により、前記映像信号と前記前景形状信号との少なくとも一方から、映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出することができる。また、画像特徴照合手段により、前記画像特徴量信号と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成することができる。また、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を拡張Ｋａｌｍａｎフィルタにより推定し、推定位置・形状情報を生成することができる。
【０００９】
さらに、請求項３に記載の映像オブジェクト検出・追跡装置は、請求項２に記載の映像オブジェクト検出・追跡装置において、前記推定位置・形状情報と前記前景形状信号とから前記映像信号に出現した新規映像オブジェクトを検出し、新規に識別番号を付与する新規識別番号付与手段と、前記新規映像オブジェクトが出現したときに前記オブジェクト特徴データベースに新規画像特徴量を追加し、前記推定位置・形状情報から映像オブジェクトが消滅したときに前記オブジェクト特徴データベースの該当画像特徴量を削除し、前記推定位置・形状情報から映像オブジェクトの位置・形状の変化に基づいて前記オブジェクト特徴データベースの画像特徴量を更新するデータベース更新手段と、を有する構成とした。
【００１０】
このように構成されることにより、映像オブジェクト検出・追跡装置は、新規識別番号付与手段により、前記推定位置・形状情報と前記前景形状信号とに基づいて、前記映像信号に出現した新規映像オブジェクトを検出し、新規に識別番号を付与することができる。また、データベース更新手段により、新規に映像オブジェクトが出現したときに前記オブジェクト特徴データベースに新規画像特徴量を追加し、前記推定位置・形状情報から映像オブジェクトの消滅を検出したときに前記オブジェクト特徴データベースの該当画像特徴量を削除し、前記推定位置・形状情報の映像オブジェクトの位置・形状の変化に基づいて前記オブジェクト特徴データベースの画像特徴量を更新することができる。
【００１１】
また、請求項４に記載の映像オブジェクト検出・追跡装置は、請求項３に記載の映像オブジェクト検出・追跡装置におけるデータベース更新手段が、前記信頼度が予め定められた数値範囲に至ったときに、前記オブジェクト特徴データベースの画像特徴量を更新する構成とした。
【００１２】
このように構成されることにより、例えば照明の変化や、映像オブジェクトの変形時にも前記オブジェクト特徴データベースの画像特徴量を更新することで映像オブジェクトを抽出することが可能となる。
【００１３】
さらに、請求項５に記載の映像オブジェクト検出・追跡装置は、請求項１乃至請求項４のいずれか一項に記載の映像オブジェクト検出・追跡装置における画像特徴照合手段が、前時点の前記推定位置・形状情報を参照して画像特徴照合領域を絞り込む構成とした。
【００１４】
このように構成されることにより、前記画像特徴照合手段は、照合の探索領域を絞り込むことができるので、照合のための処理時間を短縮することができる。
【００１５】
そして、請求項６に記載の映像オブジェクト検出・追跡装置は、請求項１乃至請求項５のいずれか一項に記載の映像オブジェクト検出・追跡装置における画像特徴照合手段が、着目する映像オブジェクトと、それ以外の映像オブジェクトとの位置及び形状情報から、前記着目した映像オブジェクトに掩蔽が起きている度合いを第２の信頼度として算出する構成とした。
【００１６】
このように構成されることにより、オブジェクト間の掩蔽が存在する状況下でも、映像オブジェクトの検出・追跡を行なうことができる。
【００１７】
また、請求項７に記載の映像オブジェクト検出・追跡装置は、請求項１乃至請求項６のいずれか一項に記載の映像オブジェクト検出・追跡装置におけるオブジェクト特徴データベースが、前記映像オブジェクトの色、テクスチャ、形状、動きの少なくとも１以上を画像特徴量として蓄積する構成とした。
【００１８】
このように構成されることにより、映像オブジェクトの特徴に最適な画像特徴量を蓄積することができる。
【００１９】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて詳細に説明する。
図１は、本発明における実施の形態に係る映像オブジェクト検出・追跡装置の全体構成を示すブロック図である。
【００２０】
本実施の形態に係る映像オブジェクト検出・追跡装置は、映像信号ａを前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号ｂを生成する前景形状抽出手段１と、映像信号ａと前景形状信号ｂの少なくとも１以上から映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号ｃを抽出する画像特徴抽出手段２と、前記映像オブジェクト毎に映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベース３と、画像特徴量信号ｃに含まれる画像特徴量とオブジェクト特徴データベース３内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報ｇと前記オブジェクト存在領域情報の信頼の度合いを示す信頼度ｈとを生成する画像特徴照合手段４と、オブジェクト存在領域情報ｇと信頼度ｈとに基づいて、現時点での映像オブジェクトの位置及び形状を推定し、推定位置・形状情報ｄを生成する位置・形状推定手段５と、前景形状信号ｂと推定位置・形状情報ｄとに基づいて、映像信号ａに出現した新規映像オブジェクトを検出し、新規に識別番号を付与する新規識別番号付与手段６と、新規映像オブジェクトが出現したときにオブジェクト特徴データベース３に新規画像特徴量を追加し、推定位置・形状情報ｄから映像オブジェクトの消滅を検出したときにオブジェクト特徴データベース３の該当画像特徴量を削除し、推定位置・形状情報ｄの映像オブジェクトの位置・形状の変化に基づいてオブジェクト特徴データベース３の画像特徴量を更新するデータベース更新手段７とを含む構成とした。
【００２１】
以下、図１を参照して、本実施の形態に係る映像オブジェクト検出・追跡装置の構成を説明する。
なお、本実施の形態において、標本化された有限の画素からなる１枚の画像をフレームと称する。前記フレームを構成する各画素は、輝度または色、もしくはその両者などスカラー乃至ベクトルの画素値をとる。また、映像信号ａは、フレームの有限乃至無限の時系列である。以下、映像信号ａの時刻ｔにおける画像座標（ｒ）＝［ｘ，ｙ］Tの画素値をａ（ｔ；ｒ）とする。
【００２２】
前景形状抽出手段１は、映像信号ａの現時刻ｔのフレームａ（ｔ；ｒ）を前景領域と背景領域とに領域分割し、前景形状信号ｂ（ｔ；ｒ）を生成する。前景形状信号ｂ（ｔ；ｒ）は画像座標（ｒ）が前景であれば画素値１、前景でなければ画素値０をとる。なお、前景領域は、０乃至複数の映像オブジェクト形状の和集合である。
【００２３】
ここで、背景画像の色情報の統計分布が既知である場合、前景形状抽出手段１は前景画像と背景画像の色情報の差分によって、前景領域と背景領域とに分割することができる。ここで既知の背景画像の画素値をａ0（ｔ；ｒ）、判定の閾値をθとすると、前景形状信号ｂは（１）式で与えられる。
【００２４】
【数１】
【００２５】
また、例えば背景色がほぼ一定で既知の場合には、（１）式のａ0（ｔ；ｒ）を定数として、その値を背景色とすればよい。
【００２６】
また、例えば背景画像が静止しており前景画像のみが移動する場合、時間方向に相前後する２フレーム間の色情報の差分によって前景領域と背景領域を分割することができる。ここで現時刻をｔ、前時刻をｔ−１、判定の閾値をθとすると、前景形状信号ｂは（２）式で与えられる。
【００２７】
【数２】
【００２８】
その他、前景形状抽出手段１としてさまざまな既存の領域分割手法を使用することができるが、その手法は問わない。
【００２９】
画像特徴抽出手段２は、映像信号ａと前景形状信号ｂとから、少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号ｃを抽出する。
【００３０】
例えば、画像特徴抽出手段２は、画像特徴量信号ｃとして映像信号ａと前景形状信号ｂをベクトルとして結合した信号を用いることができる。この場合、画像特徴量信号ｃは、（３）式で与えられる。
【００３１】
【数３】
【００３２】
また、例えば画像特徴抽出手段２は、画像特徴量信号ｃとして映像信号ａを用いることができる。映像信号ａには、輝度、色、テクスチャ等の空間的な分布情報が含まれているため、自ずと映像オブジェクトを特徴づける情報及び座標情報が含まれている。この場合、画像特徴抽出手段２は単に映像信号ａをそのまま画像特徴量信号ｃへ出力する。
【００３３】
また、例えば画像特徴抽出手段２は、画像特徴量信号ｃとして前景形状信号ｂを用いることができる。前景形状信号ｂは、映像信号ａに含まれる映像オブジェクト形状の和集合であるため、自ずと映像オブジェクトを特徴づける情報及び座標情報が含まれている。この場合、画像特徴抽出手段２は単に前景形状信号ｂをそのまま画像特徴量信号ｃへ出力する。
【００３４】
また、例えば画像特徴抽出手段２は、画像特徴量信号ｃとして、８近傍ラプラシアンによるエッジ抽出により映像オブジェクトの特徴を抽出した信号を用いることができる。この場合、画像特徴量信号ｃは（４）式で与えられる。
【００３５】
【数４】
【００３６】
なお、前記８近傍ラプラシアンによるエッジ抽出を用いる以外に、平滑化処理、離散フーリエ変換、離散コサイン変換、色空間変換、２値化処理、モルフォロジ処理をはじめとする各種変換処理や、それらを組み合わせた形態で、映像オブジェクトの特徴を抽出することも可能である。
【００３７】
また、例えば画像特徴抽出手段２は、映像信号ａの現時点ｔのフレームａ（ｔ；ｒ）と前時点ｔ−１のフレームａ（ｔ−１；ｒ）とから動きベクトル場を求め、前記動きベクトル場を画像特徴量信号ｃとして用いることができる。
【００３８】
オブジェクト特徴データベース３は、画像特徴量信号ｃのフレーム内のある領域が識別番号ｆの映像オブジェクトであるか否かの度合いを表わす評価関数を定義して、前記評価関数で使用するパラメータ値を各映像オブジェクト固有のデータとして蓄積する。
【００３９】
ここで、前記評価関数について説明を行なう。画像特徴量信号ｃが観測されたときにフレーム内の領域Ｄ（ｓ）が識別番号ｆの映像オブジェクトであるか否かの度合いを表わす評価関数をｐ（ｆ，ｓ｜ｃ）とする。ｓは領域情報や位置を表わすパラメータベクトルとして、映像オブジェクト領域の重心座標、多角形近似の頂点座標、スプライン曲線の制御点座標、外接矩形のパラメータなどを用いることができる。
【００４０】
例えば、局所的なテクスチャの類似性をもって映像オブジェクトの識別と位置検出を行なう場合、画像特徴量信号ｃとして映像信号ａそのものを用い、パラメータベクトルｓとして映像オブジェクト領域の重心位置を表わす２次元ベクトルを用い、ｃf及びＤfをそれぞれ識別番号ｆの映像オブジェクトの画像及び領域形状とすると、評価関数として領域形状Ｄfを用いる絶対値和最小化のブロックマッチング評価関数となる（５）式を用いることができる。
【００４１】
【数５】
【００４２】
また、例えば映像オブジェクト内外の色分布に基づいて映像オブジェクトの識別と位置検出を行なう場合、画像特徴量信号ｃとして映像信号ａそのものを用い、パラメータベクトルｓとして映像オブジェクト領域の重心位置を表わす２次元ベクトルを用い、Ｆf、Ｐfを識別番号ｆの映像オブジェクト内の色ベクトルの平均及び共分散、Ｂf、Ｑfを識別番号ｆの映像オブジェクト外の色ベクトルの平均及び共分散、Ｗを適当な大きさの窓とすると、映像オブジェクト内で値が大きく、映像オブジェクト外で値が小さくなるような評価関数として（６）式を用いることができる。
【００４３】
【数６】
【００４４】
また、例えば画像特徴量信号ｃとして前景形状信号ｂを用いる場合は、評価関数として（７）式の如く画像特徴量信号ｃそのものを用いることができる。
【００４５】
【数７】
【００４６】
また、例えば画像特徴量信号ｃとして動きベクトル場を用いれば、映像オブジェクトの運動と画像特徴量信号ｃの動き場との整合性を評価関数とすることもできる。
【００４７】
さらに、複数の種類の評価関数をまとめて一つの評価関数とすることもできる。例えば（５）式、（６）式、（７）式を一つにまとめて、（８）式のようなベクトル量として評価関数を定義して用いることもできる。
【００４８】
【数８】
【００４９】
以上、説明したような（５）式乃至（８）式の評価関数で映像オブジェクトの識別番号ｆに依存する部分は、（５）式では映像オブジェクトの画像ｃf及び領域形状Ｄf、（３）式では映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfである。そこで前記ｆ、ｃf、Ｄf、Ｆf、Ｐf、Ｂf、Ｑfを一組の画像特徴量ｅとして、存在する映像オブジェクト数分オブジェクト特徴データベース３に蓄積する。オブジェクト特徴データベース３の内容例を図２に示す。
【００５０】
なお、図２の例では、オブジェクト特徴データベース３の内容として識別番号ｆ毎の映像オブジェクトの画像ｃf及び領域形状Ｄf、映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfを蓄積しているが、本実施の形態における一例であり、別の評価関数を定義することで、蓄積内容を変更することもできる。
【００５１】
画像特徴照合手段４は、画像特徴抽出手段２から生成される画像特徴量信号ｃとオブジェクト特徴データベース３の画像特徴量ｅとから、前記評価関数に基づいて、識別番号ｆと、識別番号ｆの映像オブジェクトのオブジェクト存在領域情報ｇと、その照合の信頼の度合いを表わす信頼度ｈを生成する。前記照合時に位置・形状推定手段５から生成される推定位置・形状情報ｄを参考にして特徴照合領域を絞り込むこともできる。
【００５２】
例えば、オブジェクト特徴データベース３の画像特徴量ｅの評価関数として（５）式を用いる場合、映像オブジェクトのオブジェクト存在領域情報ｇと信頼度ｈは画像特徴照合手段４において（９）式により生成される。
【００５３】
【数９】
【００５４】
ここで、Ａ（ｄ）は前時点の推定位置・形状情報ｄに基づき設定された特徴照合領域で、例えば、前時点の推定位置・形状情報ｄの形状を膨張させた領域を用いることで特徴照合領域を絞り込むことができる。
【００５５】
また、例えば、オブジェクト特徴データベース３の画像特徴量ｅの評価関数として（６）式を用いる場合、映像オブジェクトのオブジェクト存在領域情報ｇと信頼度ｈは画像特徴照合手段４において（１０）式により生成される。
【００５６】
【数１０】
【００５７】
ここで、前時点の推定位置・形状情報ｄは、映像オブジェクトの重心位置を表わす２次元ベクトルを用いている。また、Ｗは適当な大きさの窓とする。
【００５８】
また、例えば、オブジェクト特徴データベース３の画像特徴量ｅの評価関数として（７）式を用いる場合、画像特徴照合手段４は、識別番号ｆの前時点の推定位置・形状情報ｄから前時点におけるオブジェクトの重心Ｇを求める。次に（７）式からｐ(s)（ｆ，ｓ｜ｃ）＝１となる領域を、連結領域毎に分割する。ここで、オブジェクト存在領域情報ｇは、前記重心Ｇから最も距離の近い連結領域の位置・形状情報とする。また、信頼度ｈは、推定位置・形状情報ｄとオブジェクト存在領域情報ｇの類似性によって予め定義しておけばよい。
【００５９】
ここまでの説明で画像特徴照合手段４では、照合の信頼度ｈを映像オブジェクト毎に独立して算出しているが、異なる識別番号を持つ映像オブジェクトとの位置・形状関係から照合の信頼度ｈを算出することもできる。例えば、着目したい識別番号ｆの映像オブジェクトと、それ以外の識別番号を持つ映像オブジェクト間の前時点の推定位置・形状情報ｄにおける最小距離を（１１）式の如く求め、この値が大きいほど着目したい識別番号の映像オブジェクト掩蔽の可能性が低くなり照合の信頼度ｈが高くなることを表わしている。
【００６０】
【数１１】
【００６１】
位置・形状推定手段５は、画像特徴照合手段４から生成される映像オブジェクトのオブジェクト存在領域情報ｇとその照合の信頼度ｈから、現時点における各映像オブジェクトの存在位置及び形状を推定し、推定位置・形状情報ｄとして出力する。
【００６２】
例えば、識別番号ｆの映像オブジェクトに関し、オブジェクト存在領域情報ｇ及び照合の信頼度ｈが入力されたとき、照合の信頼度ｈが高い場合にはオブジェクト存在領域情報ｇをそのまま推定位置・形状情報ｄとして出力し、照合の信頼度ｈが低い場合には前時点の推定位置・形状情報ｄを出力する。
【００６３】
また、位置・形状推定手段５として拡張Ｋａｌｍａｎフィルタを用いることができる。この場合、オブジェクト存在領域情報ｇを観測ベクトル、推定位置・形状情報ｄを状態ベクトルとする。ここで、ｇ及びｄは（１２）式の如く各識別番号ｆの映像オブジェクトに関するｇ（ｆ）及びｄ（ｆ）を列ベクトルとして多重化したものとする。
【００６４】
【数１２】
【００６５】
観測共分散行列Σは、照合の信頼度ｈに応じて設定する。例えば、（１３）式の如く各識別番号ｆに対応する部分行列Σfにより観測共分散行列Σを表現する。
【００６６】
【数１３】
【００６７】
（１３）式において、識別番号ｆの映像オブジェクトに関する照合の信頼度ｈが低い場合には、部分行列Σfの各成分の絶対値を大きくとる。一方、照合の信頼度ｈが高い場合には各成分を全て０付近にとる。なお、いずれの場合も部分行列Σfは対称行列とし、その対角成分は非負とする。
【００６８】
次に状態遷移方程式は、位置や形状の時々刻々の変化を適当なダイナミクスモデルで表現したものである。例えば、各映像オブジェクトの位置・形状を外接矩形の中心画像座標及び幅・高さの４パラメータで表現し、４パラメータの運動を等速運動、等加速度運動、その他のダイナミクスモデルでモデル化することができる。この他、例えば、各映像オブジェクトの位置・形状を多角形あるいはスプライン曲線で表わし、その各頂点あるいは制御点が等速運動等に従うというモデル化も可能である。
【００６９】
新規識別番号付与手段６は、推定位置・形状情報ｄで示される各映像オブジェクトの存在領域と前景形状信号ｂとを比較して、新規映像オブジェクトが存在する場合は、新たな固有の識別番号を付与し、新規映像オブジェクトを特徴づける情報及び座標情報、新規映像オブジェクト情報ｉとしてオブジェクト特徴データベース３に登録する旨をデータベース更新手段７へ伝える。
【００７０】
例えば、新規識別番号付与手段６は、前景形状信号ｂがｂ（ｔ；ｒ）＝１となる前景領域を連結領域毎に分割し、映像オブジェクトを抽出する。この抽出された映像オブジェクトと推定位置・形状情報ｄで示される映像オブジェクトの存在領域とを比較し、新規の映像オブジェクトに対して固有の識別番号を付与し、新規映像オブジェクトを特徴づける情報及び座標情報を、新規映像オブジェクト情報ｉとしてオブジェクト特徴データベース３に登録する旨をデータベース更新手段７へ伝える。
【００７１】
データベース更新手段７は、データベース操作信号ｊによりオブジェクト特徴データベース３の管理を行なう。ここで行なわれる管理機能には、新規映像オブジェクトに関するレコードの追加、消滅またはフレームアウトした映像オブジェクトに関するレコードの削除、レコード内容の更新の機能が含まれる。
【００７２】
例えば、データベース更新手段７は、新規映像オブジェクト情報ｉを受信した場合、新規映像オブジェクト情報ｉ及び画像特徴量信号ｃに基づいて新たなレコードを作成する。例えば、まず、新規映像オブジェクト情報ｉに含まれる位置・形状に関する情報に基づき、（５）式における映像オブジェクトの画像ｃf及び領域形状Ｄfを作成する。なお、画像ｃfは画像特徴量信号ｃに含まれるテクスチャ情報を位置・形状情報に従って切り出すことで作成される。次に、（６）式における映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfを、（１４）式により求める。
【００７３】
【数１４】
【００７４】
ここで、Ｅfは識別番号ｆのオブジェクトの内部を表わす領域、ｃ(C)は画像特徴信号のうち画素の色を表わす部分ベクトルである。例えば、映像信号ａ自身はｃ(C)となり得る。こうして得られたｃf、Ｄf、Ｆf、Ｐf、Ｂf、Ｑfの値と識別番号ｆを一組とする画像特徴量ｅを作成し、データベース操作信号ｊを通じてオブジェクト特徴データベース３に登録する。
【００７５】
また、データベース更新手段７は、推定位置・形状情報ｄにより各識別番号ｆの映像オブジェクトのフレームアウトあるいは消滅を監視する。識別番号ｆの映像オブジェクトがフレームアウトしたか消滅したことを検出した場合、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを削除する。
【００７６】
さらに、データベース更新手段７は画像特徴照合手段４から生成される照合の信頼度ｈを監視する。識別番号ｆの映像オブジェクトに関する照合の信頼度ｈが予め定められた数値範囲に至ったことを検出した場合、（１４）式を再計算しｃf、Ｄf、Ｆf、Ｐf、Ｂf、Ｑfを更新し、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを更新する。例えば、照明の変化や映像オブジェクトの変形が生ずると（９）式の照合が失敗する可能性が増加する。これは、（５）式のｃf、Ｄfがもはや実際の映像オブジェクトのテクスチャや形状を反映しなくなってしまったことに起因する。そこで例えば、照合の信頼度ｈが予め定められた数値範囲に至った場合には、直前の推定位置・形状情報ｄと直前の画像特徴量信号ｃとに基づきｃf、Ｄfを再計算し、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを更新する。また同様に、色の統計分布に関するＦf、Ｐf、Ｂf、Ｑfについても照合の信頼度ｈが予め定められた数値範囲に至った場合には、直前の推定位置・形状情報ｄと直前の画像特徴量信号ｃとに基づいてＦf、Ｐf、Ｂf、Ｑfを再計算し、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを更新することができる。
【００７７】
次に、図３のフローチャートを参照して、本実施の形態に係る映像オブジェクト検出・追跡装置の動作を説明する。
【００７８】
本実施の形態に係る映像オブジェクト検出・追跡装置は、まず前景形状抽出手段１が、映像信号ａを前景領域と背景領域とに領域分割し前景形状信号ｂを生成する（Ｓ１）。
【００７９】
次に、画像特徴抽出手段２が、映像信号ａと前景形状信号ｂの１以上から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号ｃを抽出する（Ｓ２）。
【００８０】
次に、画像特徴照合手段４が、映像信号ａと推定位置・形状情報ｄとから特徴照合領域を絞り込み（Ｓ３）、前記特徴照合領域と、画像特徴量信号ｃとオブジェクト特徴データベース３内の各映像オブジェクト毎の画像特徴量ｅとの照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報ｇとオブジェクト存在領域情報ｇの信頼の度合いを示す信頼度ｈとを生成する（Ｓ４）。
【００８１】
次に、位置・形状推定手段５が、オブジェクト存在領域情報ｇと信頼度ｈとに基づいて、現時点での映像オブジェクトの位置及び形状を推定し、推定位置・形状情報ｄを生成する（Ｓ５）。
【００８２】
次に、データベース更新手段７が推定位置・形状情報ｄを監視して（Ｓ６）、映像オブジェクトのフレームアウトまたは消滅を検出したときは、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の画像特徴量ｅからフレームアウトまたは消滅した映像オブジェクトの識別番号ｆに対応するレコードを削除する（Ｓ７）。
【００８３】
次に、データベース更新手段７は、識別番号ｆの映像オブジェクトに関する照合の信頼度ｈを監視して（Ｓ８）、信頼度ｈが予め定められた数値範囲に至ったことを検出した場合、オブジェクト特徴データベース３内の画像特徴量ｅの要素である識別番号ｆの映像オブジェクトの画像ｃf及び領域形状Ｄf、映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfを再計算して更新する（Ｓ９）。
【００８４】
以上のステップ３（Ｓ３）からステップ９（Ｓ９）までの動作をオブジェクト特徴データベース３に蓄積されている映像オブジェクト数分繰り返し実行する（Ｓ１０）。
【００８５】
次に、新規識別番号付与手段６が、推定位置・形状情報ｄで示される各映像オブジェクトの存在領域と前景形状信号ｂとを比較して（Ｓ１１）、新規映像オブジェクトを検出したときは、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の画像特徴量ｅに新たな固有の識別番号を持つ新たなレコードを追加する（Ｓ１２）。
【００８６】
以上のステップ１（Ｓ１）からステップ１２（Ｓ１２）までの動作は、１フレームの映像オブジェクト検出動作であり、連続したフレームで動作する映像信号においては、ステップ１（Ｓ１）からステップ１２（Ｓ１２）までの動作をフレーム数分繰り返し実行する（Ｓ１３）ことにより、映像オブジェクトの変形や、出現・消滅が生じ得る映像入力に対して頑健な映像検出・追跡装置を提供することができる。
【００８７】
次に、図４〜図７を参照して、本実施の形態に係る映像オブジェクト検出・追跡装置における映像オブジェクト形状信号を視覚的に説明する。
【００８８】
前景形状抽出手段１は、図１の映像信号ａが入力されると、フレームａを前景領域と背景領域とに領域分割し、前景であれば画素値１、前景でなければ画素値０となるような図２の前景形状信号ｂを生成する。
【００８９】
画像特徴抽出手段２は、画像特徴量信号ｃとして図４の映像信号ａか、図５の前景形状信号ｂか、あるいは映像信号ａと前景形状信号ｂの合成信号（図は省略）を生成する。
【００９０】
画像特徴照合手段４は、画像特徴量信号ｃと推定位置・形状情報ｄから図６のオブジェクト存在領域情報ｇを生成する。図６では、画像特徴照合手段４の各評価関数の内、（９）式で生成された位置・形状情報６０１を大きい四角で、（１０）式で生成された重心情報６０２を小さい四角で視覚化している。
【００９１】
位置・形状推定手段５は、オブジェクト存在領域情報ｇとその照合の信頼度ｈから図７の推定位置・形状信号ｄを生成する。なお、図７では推定位置・形状信号ｄ以外に識別番号ｆも同時に表示させている。ここで、推定位置・形状信号ｄ及び識別番号ｆは数値情報であるが、それぞれ推定位置・形状情報７０１及び識別番号情報７０２としてオブジェクト毎の存在範囲を可視化している。
【００９２】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
【００９３】
【発明の効果】
以上説明したとおり、本発明に係る映像オブジェクト検出・追跡装置では、以下に示す優れた効果を奏する。
【００９４】
請求項１に記載の発明によれば、画像特徴抽出手段により、映像信号から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号が抽出され、画像特徴照合手段により、前記画像特徴量信号に含まれる画像特徴量とオブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とが生成され、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を推定することができるので、映像オブジェクトの追跡の精度を上げることができる。
【００９５】
請求項２に記載の発明によれば、前景形状抽出手段により、映像信号が前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号が生成され、画像特徴抽出手段により、前記映像信号と前記前景形状信号の少なくとも一方から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号が抽出され、画像特徴照合手段により、前記画像特徴量信号と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とが生成され、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を推定することができるので、映像オブジェクトの追跡の精度を上げることができる。
【００９６】
請求項３に記載の発明によれば、新規識別番号付与手段により、前記推定位置・形状情報と前記前景形状信号とから前記映像信号に出現した新規映像オブジェクトを検出し、新規に識別番号が付与され、データベース更新手段により、新規に映像オブジェクトが出現したときに前記オブジェクト特徴データベースに新規画像特徴量を追加し、前記推定位置・形状情報から映像オブジェクトの消滅を検出したときに前記オブジェクト特徴データベースの該当画像特徴量を削除し、前記推定位置・形状情報の映像オブジェクトの位置・形状の変化に基づいて前記オブジェクト特徴データベースの画像特徴量が更新されるので、映像オブジェクトの出現・消滅、位置・形状の変化が発生する状況下において、一貫した映像オブジェクトの識別管理を行なうことができる。
【００９７】
請求項４に記載の発明によれば、データベース更新手段が、前記信頼度が予め定められた数値範囲に至ったときに、前記オブジェクト特徴データベースの画像特徴量を更新する構成とした。このように構成されることにより、照明の変化や、映像オブジェクトの変形時にも前記オブジェクト特徴データベースの画像特徴量を更新することで映像オブジェクトを抽出することができるので、映像オブジェクトの検出・追跡の精度を上げることができる。
【００９８】
請求項５に記載の発明によれば、画像特徴照合手段が、前時点の前記推定位置・形状情報を参照して画像特徴照合領域を絞り込む構成とした。このように構成されることにより、前記画像特徴照合手段は、前時点の推定位置・形状情報を参照することで照合の探索領域を絞り込むことができるので、照合のための処理時間を短縮することができる。
【００９９】
請求項６に記載の発明によれば、画像特徴照合手段が、着目する映像オブジェクトと、それ以外の映像オブジェクトとの位置及び形状情報から、前記着目した映像オブジェクトに掩蔽が起きている度合いを第２の信頼度として算出する構成とした。このように構成されることにより、前記位置・形状推定手段は前記着目した映像オブジェクトの掩蔽の可能性を第２の信頼度として用いることができるので、オブジェクト間の掩蔽が存在する状況下でも、映像オブジェクトの検出・追跡を行なうことができる。
【０１００】
請求項７に記載の発明によれば、オブジェクト特徴データベースが、前記映像オブジェクトの色、テクスチャ、形状、動きの少なくとも１以上を画像特徴量として蓄積する構成とした。このように構成されることにより、映像オブジェクトの特徴に最適な画像特徴量を蓄積することができるので、映像オブジェクトの検出・追跡の精度を上げることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る映像オブジェクト検出・追跡装置の全体構成を示すブロック図である。
【図２】オブジェクト特徴データベースの内容を示した図である。
【図３】本発明の実施の形態に係る映像オブジェクト検出・追跡装置の動作を説明したフローチャートである。
【図４】映像信号の一例を視覚的に示した図である。
【図５】前景形状信号の一例を視覚的に示した図である。
【図６】オブジェクト存在領域情報の一例を視覚的に示した図である。
【図７】推定位置・形状情報の一例を視覚的に示した図である。
【符号の説明】
１……前景形状抽出手段
２……画像特徴抽出手段
３……オブジェクト特徴データベース
４……画像特徴照合手段
５……位置・形状推定手段
６……新規識別番号付与手段
７……データベース更新手段
ａ……映像信号
ｂ……前景形状信号
ｃ……画像特徴量信号
ｄ……推定位置・形状情報
ｅ……画像特徴量
ｆ……識別番号
ｇ……オブジェクト存在領域情報
ｈ……信頼度
ｉ……新規映像オブジェクト情報
ｊ……データベース操作信号
６０１……位置・形状情報
６０２……重心情報
７０１……推定位置・形状情報
７０２……識別番号情報
【発明の属する技術分野】
本発明は、映像コンテンツの制作支援、防犯用途・交通用途の画像監視に係わり、特に映像内におけるオブジェクトの存在領域を推定し、各オブジェクトを一貫した識別番号で管理する映像オブジェクト検出・追跡装置に関する。
【０００２】
【従来の技術】
従来、映像オブジェクトを追跡する手法として、拡張Kalmanフィルタに基づく手法（参考文献１：Francois G. Meyer等, Region-Based Tracking Using Affine Motion Models in Long Image Sequences, CVGIP Image Understanding, Vol.60, No.2, pp.119-140, 1994）、Monte Carlo法の一種であるCondensationアルゴリズムによる手法（参考文献２：Michael Isard等, Condensation-Conditional Density Propagation for Visual Tracking, International Journal of Computer Vision, Vol.29, No.1, pp.5-28, 1998）が提案されている。また、Condensation法を改良した手法（参考文献３：John Maccormick等, International Journal of Computer vision, Vol.39, No.1, pp.51-71, 2000）も提案されている。
前記のいずれの手法も観測情報の信頼性に応じた適応フィルタ処理を映像オブジェクト追跡に適用したものであり、映像オブジェクトの掩蔽や変形、雑音に対して頑健な手法である。
【０００３】
【発明が解決しようとする課題】
しかし、従来の技術は、いずれも映像オブジェクトを追跡するためのフィルタ自身の技術であった。つまり、映像オブジェクトの出現・消滅、オブジェクト間の掩蔽が存在する状況下で、一貫した映像オブジェクトの検出・追跡ならびに映像オブジェクト毎の識別管理を扱うものはなかった。また、特に映像雑音が多い場合、映像オブジェクトが大きく変形する場合あるいは複数の映像オブジェクトが互いに交差する場合には、従来の自動追跡手法では映像オブジェクトを見失ってしまうことがあるという問題があった。
【０００４】
本発明は、以上のような従来の映像オブジェクト追跡手法における問題点に鑑みてなされたものであり、映像における雑音、オブジェクトの変形、オブジェクト間の掩蔽、オブジェクトの出現・消滅が生じ得る映像入力に対して頑健な映像オブジェクト検出・追跡装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明では前記の課題を解決するために以下の構成に係るものとした。
請求項１に記載の映像オブジェクト検出・追跡装置は、映像信号から、少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出する画像特徴抽出手段と、前記映像オブジェクト毎に、映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベースと、前記画像特徴量信号に含まれる画像特徴量と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成する画像特徴照合手段と、前記オブジェクト存在領域情報である観測ベクトルと前記信頼度が低いほど成分の絶対値を大きく設定した観測共分散行列とに基づいて、現時点での映像オブジェクトの位置及び形状を示す推定位置・形状情報である状態ベクトルを拡張Ｋａｌｍａｎフィルタにより推定する位置・形状推定手段と、を有する構成とした。
【０００６】
このように構成されることにより、映像オブジェクト検出・追跡装置は、画像特徴抽出手段により、映像信号から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出することができる。また、画像特徴照合手段により、前記画像特徴量信号に含まれる画像特徴量と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成することができる。また、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を拡張Ｋａｌｍａｎフィルタにより推定し、推定位置・形状情報を生成することができる。
【０００７】
また、請求項２に記載の映像オブジェクト検出・追跡装置は、映像信号を前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号を生成する前景形状抽出手段と、前記映像信号と前記前景形状信号との少なくとも一方から、映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出する画像特徴抽出手段と、前記映像オブジェクト毎に、映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベースと、前記画像特徴量信号と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成する画像特徴照合手段と、前記オブジェクト存在領域情報である観測ベクトルと前記信頼度が低いほど成分の絶対値を大きく設定した観測共分散行列とに基づいて、現時点での映像オブジェクトの位置及び形状を示す推定位置・形状情報である状態ベクトルを拡張Ｋａｌｍａｎフィルタにより推定する位置・形状推定手段と、を有する構成とした。
【０００８】
このように構成されることにより、映像オブジェクト検出・追跡装置は、前景形状抽出手段により、映像信号を前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号を生成することができる。また、画像特徴抽出手段により、前記映像信号と前記前景形状信号との少なくとも一方から、映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出することができる。また、画像特徴照合手段により、前記画像特徴量信号と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成することができる。また、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を拡張Ｋａｌｍａｎフィルタにより推定し、推定位置・形状情報を生成することができる。
【０００９】
さらに、請求項３に記載の映像オブジェクト検出・追跡装置は、請求項２に記載の映像オブジェクト検出・追跡装置において、前記推定位置・形状情報と前記前景形状信号とから前記映像信号に出現した新規映像オブジェクトを検出し、新規に識別番号を付与する新規識別番号付与手段と、前記新規映像オブジェクトが出現したときに前記オブジェクト特徴データベースに新規画像特徴量を追加し、前記推定位置・形状情報から映像オブジェクトが消滅したときに前記オブジェクト特徴データベースの該当画像特徴量を削除し、前記推定位置・形状情報から映像オブジェクトの位置・形状の変化に基づいて前記オブジェクト特徴データベースの画像特徴量を更新するデータベース更新手段と、を有する構成とした。
【００１０】
このように構成されることにより、映像オブジェクト検出・追跡装置は、新規識別番号付与手段により、前記推定位置・形状情報と前記前景形状信号とに基づいて、前記映像信号に出現した新規映像オブジェクトを検出し、新規に識別番号を付与することができる。また、データベース更新手段により、新規に映像オブジェクトが出現したときに前記オブジェクト特徴データベースに新規画像特徴量を追加し、前記推定位置・形状情報から映像オブジェクトの消滅を検出したときに前記オブジェクト特徴データベースの該当画像特徴量を削除し、前記推定位置・形状情報の映像オブジェクトの位置・形状の変化に基づいて前記オブジェクト特徴データベースの画像特徴量を更新することができる。
【００１１】
また、請求項４に記載の映像オブジェクト検出・追跡装置は、請求項３に記載の映像オブジェクト検出・追跡装置におけるデータベース更新手段が、前記信頼度が予め定められた数値範囲に至ったときに、前記オブジェクト特徴データベースの画像特徴量を更新する構成とした。
【００１２】
このように構成されることにより、例えば照明の変化や、映像オブジェクトの変形時にも前記オブジェクト特徴データベースの画像特徴量を更新することで映像オブジェクトを抽出することが可能となる。
【００１３】
さらに、請求項５に記載の映像オブジェクト検出・追跡装置は、請求項１乃至請求項４のいずれか一項に記載の映像オブジェクト検出・追跡装置における画像特徴照合手段が、前時点の前記推定位置・形状情報を参照して画像特徴照合領域を絞り込む構成とした。
【００１４】
このように構成されることにより、前記画像特徴照合手段は、照合の探索領域を絞り込むことができるので、照合のための処理時間を短縮することができる。
【００１５】
そして、請求項６に記載の映像オブジェクト検出・追跡装置は、請求項１乃至請求項５のいずれか一項に記載の映像オブジェクト検出・追跡装置における画像特徴照合手段が、着目する映像オブジェクトと、それ以外の映像オブジェクトとの位置及び形状情報から、前記着目した映像オブジェクトに掩蔽が起きている度合いを第２の信頼度として算出する構成とした。
【００１６】
このように構成されることにより、オブジェクト間の掩蔽が存在する状況下でも、映像オブジェクトの検出・追跡を行なうことができる。
【００１７】
また、請求項７に記載の映像オブジェクト検出・追跡装置は、請求項１乃至請求項６のいずれか一項に記載の映像オブジェクト検出・追跡装置におけるオブジェクト特徴データベースが、前記映像オブジェクトの色、テクスチャ、形状、動きの少なくとも１以上を画像特徴量として蓄積する構成とした。
【００１８】
このように構成されることにより、映像オブジェクトの特徴に最適な画像特徴量を蓄積することができる。
【００１９】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて詳細に説明する。
図１は、本発明における実施の形態に係る映像オブジェクト検出・追跡装置の全体構成を示すブロック図である。
【００２０】
本実施の形態に係る映像オブジェクト検出・追跡装置は、映像信号ａを前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号ｂを生成する前景形状抽出手段１と、映像信号ａと前景形状信号ｂの少なくとも１以上から映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号ｃを抽出する画像特徴抽出手段２と、前記映像オブジェクト毎に映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベース３と、画像特徴量信号ｃに含まれる画像特徴量とオブジェクト特徴データベース３内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報ｇと前記オブジェクト存在領域情報の信頼の度合いを示す信頼度ｈとを生成する画像特徴照合手段４と、オブジェクト存在領域情報ｇと信頼度ｈとに基づいて、現時点での映像オブジェクトの位置及び形状を推定し、推定位置・形状情報ｄを生成する位置・形状推定手段５と、前景形状信号ｂと推定位置・形状情報ｄとに基づいて、映像信号ａに出現した新規映像オブジェクトを検出し、新規に識別番号を付与する新規識別番号付与手段６と、新規映像オブジェクトが出現したときにオブジェクト特徴データベース３に新規画像特徴量を追加し、推定位置・形状情報ｄから映像オブジェクトの消滅を検出したときにオブジェクト特徴データベース３の該当画像特徴量を削除し、推定位置・形状情報ｄの映像オブジェクトの位置・形状の変化に基づいてオブジェクト特徴データベース３の画像特徴量を更新するデータベース更新手段７とを含む構成とした。
【００２１】
以下、図１を参照して、本実施の形態に係る映像オブジェクト検出・追跡装置の構成を説明する。
なお、本実施の形態において、標本化された有限の画素からなる１枚の画像をフレームと称する。前記フレームを構成する各画素は、輝度または色、もしくはその両者などスカラー乃至ベクトルの画素値をとる。また、映像信号ａは、フレームの有限乃至無限の時系列である。以下、映像信号ａの時刻ｔにおける画像座標（ｒ）＝［ｘ，ｙ］Tの画素値をａ（ｔ；ｒ）とする。
【００２２】
前景形状抽出手段１は、映像信号ａの現時刻ｔのフレームａ（ｔ；ｒ）を前景領域と背景領域とに領域分割し、前景形状信号ｂ（ｔ；ｒ）を生成する。前景形状信号ｂ（ｔ；ｒ）は画像座標（ｒ）が前景であれば画素値１、前景でなければ画素値０をとる。なお、前景領域は、０乃至複数の映像オブジェクト形状の和集合である。
【００２３】
ここで、背景画像の色情報の統計分布が既知である場合、前景形状抽出手段１は前景画像と背景画像の色情報の差分によって、前景領域と背景領域とに分割することができる。ここで既知の背景画像の画素値をａ0（ｔ；ｒ）、判定の閾値をθとすると、前景形状信号ｂは（１）式で与えられる。
【００２４】
【数１】
また、例えば背景色がほぼ一定で既知の場合には、（１）式のａ0（ｔ；ｒ）を定数として、その値を背景色とすればよい。
【００２６】
また、例えば背景画像が静止しており前景画像のみが移動する場合、時間方向に相前後する２フレーム間の色情報の差分によって前景領域と背景領域を分割することができる。ここで現時刻をｔ、前時刻をｔ−１、判定の閾値をθとすると、前景形状信号ｂは（２）式で与えられる。
【００２７】
【数２】
その他、前景形状抽出手段１としてさまざまな既存の領域分割手法を使用することができるが、その手法は問わない。
【００２９】
画像特徴抽出手段２は、映像信号ａと前景形状信号ｂとから、少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号ｃを抽出する。
【００３０】
例えば、画像特徴抽出手段２は、画像特徴量信号ｃとして映像信号ａと前景形状信号ｂをベクトルとして結合した信号を用いることができる。この場合、画像特徴量信号ｃは、（３）式で与えられる。
【００３１】
【数３】
また、例えば画像特徴抽出手段２は、画像特徴量信号ｃとして映像信号ａを用いることができる。映像信号ａには、輝度、色、テクスチャ等の空間的な分布情報が含まれているため、自ずと映像オブジェクトを特徴づける情報及び座標情報が含まれている。この場合、画像特徴抽出手段２は単に映像信号ａをそのまま画像特徴量信号ｃへ出力する。
【００３３】
また、例えば画像特徴抽出手段２は、画像特徴量信号ｃとして前景形状信号ｂを用いることができる。前景形状信号ｂは、映像信号ａに含まれる映像オブジェクト形状の和集合であるため、自ずと映像オブジェクトを特徴づける情報及び座標情報が含まれている。この場合、画像特徴抽出手段２は単に前景形状信号ｂをそのまま画像特徴量信号ｃへ出力する。
【００３４】
また、例えば画像特徴抽出手段２は、画像特徴量信号ｃとして、８近傍ラプラシアンによるエッジ抽出により映像オブジェクトの特徴を抽出した信号を用いることができる。この場合、画像特徴量信号ｃは（４）式で与えられる。
【００３５】
【数４】
なお、前記８近傍ラプラシアンによるエッジ抽出を用いる以外に、平滑化処理、離散フーリエ変換、離散コサイン変換、色空間変換、２値化処理、モルフォロジ処理をはじめとする各種変換処理や、それらを組み合わせた形態で、映像オブジェクトの特徴を抽出することも可能である。
【００３７】
また、例えば画像特徴抽出手段２は、映像信号ａの現時点ｔのフレームａ（ｔ；ｒ）と前時点ｔ−１のフレームａ（ｔ−１；ｒ）とから動きベクトル場を求め、前記動きベクトル場を画像特徴量信号ｃとして用いることができる。
【００３８】
オブジェクト特徴データベース３は、画像特徴量信号ｃのフレーム内のある領域が識別番号ｆの映像オブジェクトであるか否かの度合いを表わす評価関数を定義して、前記評価関数で使用するパラメータ値を各映像オブジェクト固有のデータとして蓄積する。
【００３９】
ここで、前記評価関数について説明を行なう。画像特徴量信号ｃが観測されたときにフレーム内の領域Ｄ（ｓ）が識別番号ｆの映像オブジェクトであるか否かの度合いを表わす評価関数をｐ（ｆ，ｓ｜ｃ）とする。ｓは領域情報や位置を表わすパラメータベクトルとして、映像オブジェクト領域の重心座標、多角形近似の頂点座標、スプライン曲線の制御点座標、外接矩形のパラメータなどを用いることができる。
【００４０】
例えば、局所的なテクスチャの類似性をもって映像オブジェクトの識別と位置検出を行なう場合、画像特徴量信号ｃとして映像信号ａそのものを用い、パラメータベクトルｓとして映像オブジェクト領域の重心位置を表わす２次元ベクトルを用い、ｃf及びＤfをそれぞれ識別番号ｆの映像オブジェクトの画像及び領域形状とすると、評価関数として領域形状Ｄfを用いる絶対値和最小化のブロックマッチング評価関数となる（５）式を用いることができる。
【００４１】
【数５】
また、例えば映像オブジェクト内外の色分布に基づいて映像オブジェクトの識別と位置検出を行なう場合、画像特徴量信号ｃとして映像信号ａそのものを用い、パラメータベクトルｓとして映像オブジェクト領域の重心位置を表わす２次元ベクトルを用い、Ｆf、Ｐfを識別番号ｆの映像オブジェクト内の色ベクトルの平均及び共分散、Ｂf、Ｑfを識別番号ｆの映像オブジェクト外の色ベクトルの平均及び共分散、Ｗを適当な大きさの窓とすると、映像オブジェクト内で値が大きく、映像オブジェクト外で値が小さくなるような評価関数として（６）式を用いることができる。
【００４３】
【数６】
また、例えば画像特徴量信号ｃとして前景形状信号ｂを用いる場合は、評価関数として（７）式の如く画像特徴量信号ｃそのものを用いることができる。
【００４５】
【数７】
また、例えば画像特徴量信号ｃとして動きベクトル場を用いれば、映像オブジェクトの運動と画像特徴量信号ｃの動き場との整合性を評価関数とすることもできる。
【００４７】
さらに、複数の種類の評価関数をまとめて一つの評価関数とすることもできる。例えば（５）式、（６）式、（７）式を一つにまとめて、（８）式のようなベクトル量として評価関数を定義して用いることもできる。
【００４８】
【数８】
以上、説明したような（５）式乃至（８）式の評価関数で映像オブジェクトの識別番号ｆに依存する部分は、（５）式では映像オブジェクトの画像ｃf及び領域形状Ｄf、（３）式では映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfである。そこで前記ｆ、ｃf、Ｄf、Ｆf、Ｐf、Ｂf、Ｑfを一組の画像特徴量ｅとして、存在する映像オブジェクト数分オブジェクト特徴データベース３に蓄積する。オブジェクト特徴データベース３の内容例を図２に示す。
【００５０】
なお、図２の例では、オブジェクト特徴データベース３の内容として識別番号ｆ毎の映像オブジェクトの画像ｃf及び領域形状Ｄf、映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfを蓄積しているが、本実施の形態における一例であり、別の評価関数を定義することで、蓄積内容を変更することもできる。
【００５１】
画像特徴照合手段４は、画像特徴抽出手段２から生成される画像特徴量信号ｃとオブジェクト特徴データベース３の画像特徴量ｅとから、前記評価関数に基づいて、識別番号ｆと、識別番号ｆの映像オブジェクトのオブジェクト存在領域情報ｇと、その照合の信頼の度合いを表わす信頼度ｈを生成する。前記照合時に位置・形状推定手段５から生成される推定位置・形状情報ｄを参考にして特徴照合領域を絞り込むこともできる。
【００５２】
例えば、オブジェクト特徴データベース３の画像特徴量ｅの評価関数として（５）式を用いる場合、映像オブジェクトのオブジェクト存在領域情報ｇと信頼度ｈは画像特徴照合手段４において（９）式により生成される。
【００５３】
【数９】
ここで、Ａ（ｄ）は前時点の推定位置・形状情報ｄに基づき設定された特徴照合領域で、例えば、前時点の推定位置・形状情報ｄの形状を膨張させた領域を用いることで特徴照合領域を絞り込むことができる。
【００５５】
また、例えば、オブジェクト特徴データベース３の画像特徴量ｅの評価関数として（６）式を用いる場合、映像オブジェクトのオブジェクト存在領域情報ｇと信頼度ｈは画像特徴照合手段４において（１０）式により生成される。
【００５６】
【数１０】
ここで、前時点の推定位置・形状情報ｄは、映像オブジェクトの重心位置を表わす２次元ベクトルを用いている。また、Ｗは適当な大きさの窓とする。
【００５８】
また、例えば、オブジェクト特徴データベース３の画像特徴量ｅの評価関数として（７）式を用いる場合、画像特徴照合手段４は、識別番号ｆの前時点の推定位置・形状情報ｄから前時点におけるオブジェクトの重心Ｇを求める。次に（７）式からｐ(s)（ｆ，ｓ｜ｃ）＝１となる領域を、連結領域毎に分割する。ここで、オブジェクト存在領域情報ｇは、前記重心Ｇから最も距離の近い連結領域の位置・形状情報とする。また、信頼度ｈは、推定位置・形状情報ｄとオブジェクト存在領域情報ｇの類似性によって予め定義しておけばよい。
【００５９】
ここまでの説明で画像特徴照合手段４では、照合の信頼度ｈを映像オブジェクト毎に独立して算出しているが、異なる識別番号を持つ映像オブジェクトとの位置・形状関係から照合の信頼度ｈを算出することもできる。例えば、着目したい識別番号ｆの映像オブジェクトと、それ以外の識別番号を持つ映像オブジェクト間の前時点の推定位置・形状情報ｄにおける最小距離を（１１）式の如く求め、この値が大きいほど着目したい識別番号の映像オブジェクト掩蔽の可能性が低くなり照合の信頼度ｈが高くなることを表わしている。
【００６０】
【数１１】
位置・形状推定手段５は、画像特徴照合手段４から生成される映像オブジェクトのオブジェクト存在領域情報ｇとその照合の信頼度ｈから、現時点における各映像オブジェクトの存在位置及び形状を推定し、推定位置・形状情報ｄとして出力する。
【００６２】
例えば、識別番号ｆの映像オブジェクトに関し、オブジェクト存在領域情報ｇ及び照合の信頼度ｈが入力されたとき、照合の信頼度ｈが高い場合にはオブジェクト存在領域情報ｇをそのまま推定位置・形状情報ｄとして出力し、照合の信頼度ｈが低い場合には前時点の推定位置・形状情報ｄを出力する。
【００６３】
また、位置・形状推定手段５として拡張Ｋａｌｍａｎフィルタを用いることができる。この場合、オブジェクト存在領域情報ｇを観測ベクトル、推定位置・形状情報ｄを状態ベクトルとする。ここで、ｇ及びｄは（１２）式の如く各識別番号ｆの映像オブジェクトに関するｇ（ｆ）及びｄ（ｆ）を列ベクトルとして多重化したものとする。
【００６４】
【数１２】
観測共分散行列Σは、照合の信頼度ｈに応じて設定する。例えば、（１３）式の如く各識別番号ｆに対応する部分行列Σfにより観測共分散行列Σを表現する。
【００６６】
【数１３】
（１３）式において、識別番号ｆの映像オブジェクトに関する照合の信頼度ｈが低い場合には、部分行列Σfの各成分の絶対値を大きくとる。一方、照合の信頼度ｈが高い場合には各成分を全て０付近にとる。なお、いずれの場合も部分行列Σfは対称行列とし、その対角成分は非負とする。
【００６８】
次に状態遷移方程式は、位置や形状の時々刻々の変化を適当なダイナミクスモデルで表現したものである。例えば、各映像オブジェクトの位置・形状を外接矩形の中心画像座標及び幅・高さの４パラメータで表現し、４パラメータの運動を等速運動、等加速度運動、その他のダイナミクスモデルでモデル化することができる。この他、例えば、各映像オブジェクトの位置・形状を多角形あるいはスプライン曲線で表わし、その各頂点あるいは制御点が等速運動等に従うというモデル化も可能である。
【００６９】
新規識別番号付与手段６は、推定位置・形状情報ｄで示される各映像オブジェクトの存在領域と前景形状信号ｂとを比較して、新規映像オブジェクトが存在する場合は、新たな固有の識別番号を付与し、新規映像オブジェクトを特徴づける情報及び座標情報、新規映像オブジェクト情報ｉとしてオブジェクト特徴データベース３に登録する旨をデータベース更新手段７へ伝える。
【００７０】
例えば、新規識別番号付与手段６は、前景形状信号ｂがｂ（ｔ；ｒ）＝１となる前景領域を連結領域毎に分割し、映像オブジェクトを抽出する。この抽出された映像オブジェクトと推定位置・形状情報ｄで示される映像オブジェクトの存在領域とを比較し、新規の映像オブジェクトに対して固有の識別番号を付与し、新規映像オブジェクトを特徴づける情報及び座標情報を、新規映像オブジェクト情報ｉとしてオブジェクト特徴データベース３に登録する旨をデータベース更新手段７へ伝える。
【００７１】
データベース更新手段７は、データベース操作信号ｊによりオブジェクト特徴データベース３の管理を行なう。ここで行なわれる管理機能には、新規映像オブジェクトに関するレコードの追加、消滅またはフレームアウトした映像オブジェクトに関するレコードの削除、レコード内容の更新の機能が含まれる。
【００７２】
例えば、データベース更新手段７は、新規映像オブジェクト情報ｉを受信した場合、新規映像オブジェクト情報ｉ及び画像特徴量信号ｃに基づいて新たなレコードを作成する。例えば、まず、新規映像オブジェクト情報ｉに含まれる位置・形状に関する情報に基づき、（５）式における映像オブジェクトの画像ｃf及び領域形状Ｄfを作成する。なお、画像ｃfは画像特徴量信号ｃに含まれるテクスチャ情報を位置・形状情報に従って切り出すことで作成される。次に、（６）式における映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfを、（１４）式により求める。
【００７３】
【数１４】
ここで、Ｅfは識別番号ｆのオブジェクトの内部を表わす領域、ｃ(C)は画像特徴信号のうち画素の色を表わす部分ベクトルである。例えば、映像信号ａ自身はｃ(C)となり得る。こうして得られたｃf、Ｄf、Ｆf、Ｐf、Ｂf、Ｑfの値と識別番号ｆを一組とする画像特徴量ｅを作成し、データベース操作信号ｊを通じてオブジェクト特徴データベース３に登録する。
【００７５】
また、データベース更新手段７は、推定位置・形状情報ｄにより各識別番号ｆの映像オブジェクトのフレームアウトあるいは消滅を監視する。識別番号ｆの映像オブジェクトがフレームアウトしたか消滅したことを検出した場合、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを削除する。
【００７６】
さらに、データベース更新手段７は画像特徴照合手段４から生成される照合の信頼度ｈを監視する。識別番号ｆの映像オブジェクトに関する照合の信頼度ｈが予め定められた数値範囲に至ったことを検出した場合、（１４）式を再計算しｃf、Ｄf、Ｆf、Ｐf、Ｂf、Ｑfを更新し、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを更新する。例えば、照明の変化や映像オブジェクトの変形が生ずると（９）式の照合が失敗する可能性が増加する。これは、（５）式のｃf、Ｄfがもはや実際の映像オブジェクトのテクスチャや形状を反映しなくなってしまったことに起因する。そこで例えば、照合の信頼度ｈが予め定められた数値範囲に至った場合には、直前の推定位置・形状情報ｄと直前の画像特徴量信号ｃとに基づきｃf、Ｄfを再計算し、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを更新する。また同様に、色の統計分布に関するＦf、Ｐf、Ｂf、Ｑfについても照合の信頼度ｈが予め定められた数値範囲に至った場合には、直前の推定位置・形状情報ｄと直前の画像特徴量信号ｃとに基づいてＦf、Ｐf、Ｂf、Ｑfを再計算し、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の識別番号ｆの画像特徴量ｅを更新することができる。
【００７７】
次に、図３のフローチャートを参照して、本実施の形態に係る映像オブジェクト検出・追跡装置の動作を説明する。
【００７８】
本実施の形態に係る映像オブジェクト検出・追跡装置は、まず前景形状抽出手段１が、映像信号ａを前景領域と背景領域とに領域分割し前景形状信号ｂを生成する（Ｓ１）。
【００７９】
次に、画像特徴抽出手段２が、映像信号ａと前景形状信号ｂの１以上から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号ｃを抽出する（Ｓ２）。
【００８０】
次に、画像特徴照合手段４が、映像信号ａと推定位置・形状情報ｄとから特徴照合領域を絞り込み（Ｓ３）、前記特徴照合領域と、画像特徴量信号ｃとオブジェクト特徴データベース３内の各映像オブジェクト毎の画像特徴量ｅとの照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報ｇとオブジェクト存在領域情報ｇの信頼の度合いを示す信頼度ｈとを生成する（Ｓ４）。
【００８１】
次に、位置・形状推定手段５が、オブジェクト存在領域情報ｇと信頼度ｈとに基づいて、現時点での映像オブジェクトの位置及び形状を推定し、推定位置・形状情報ｄを生成する（Ｓ５）。
【００８２】
次に、データベース更新手段７が推定位置・形状情報ｄを監視して（Ｓ６）、映像オブジェクトのフレームアウトまたは消滅を検出したときは、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の画像特徴量ｅからフレームアウトまたは消滅した映像オブジェクトの識別番号ｆに対応するレコードを削除する（Ｓ７）。
【００８３】
次に、データベース更新手段７は、識別番号ｆの映像オブジェクトに関する照合の信頼度ｈを監視して（Ｓ８）、信頼度ｈが予め定められた数値範囲に至ったことを検出した場合、オブジェクト特徴データベース３内の画像特徴量ｅの要素である識別番号ｆの映像オブジェクトの画像ｃf及び領域形状Ｄf、映像オブジェクト内の色ベクトルの平均Ｆf及び共分散Ｐf、映像オブジェクト外の色ベクトルの平均Ｂf及び共分散Ｑfを再計算して更新する（Ｓ９）。
【００８４】
以上のステップ３（Ｓ３）からステップ９（Ｓ９）までの動作をオブジェクト特徴データベース３に蓄積されている映像オブジェクト数分繰り返し実行する（Ｓ１０）。
【００８５】
次に、新規識別番号付与手段６が、推定位置・形状情報ｄで示される各映像オブジェクトの存在領域と前景形状信号ｂとを比較して（Ｓ１１）、新規映像オブジェクトを検出したときは、データベース操作信号ｊを通じてオブジェクト特徴データベース３内の画像特徴量ｅに新たな固有の識別番号を持つ新たなレコードを追加する（Ｓ１２）。
【００８６】
以上のステップ１（Ｓ１）からステップ１２（Ｓ１２）までの動作は、１フレームの映像オブジェクト検出動作であり、連続したフレームで動作する映像信号においては、ステップ１（Ｓ１）からステップ１２（Ｓ１２）までの動作をフレーム数分繰り返し実行する（Ｓ１３）ことにより、映像オブジェクトの変形や、出現・消滅が生じ得る映像入力に対して頑健な映像検出・追跡装置を提供することができる。
【００８７】
次に、図４〜図７を参照して、本実施の形態に係る映像オブジェクト検出・追跡装置における映像オブジェクト形状信号を視覚的に説明する。
【００８８】
前景形状抽出手段１は、図１の映像信号ａが入力されると、フレームａを前景領域と背景領域とに領域分割し、前景であれば画素値１、前景でなければ画素値０となるような図２の前景形状信号ｂを生成する。
【００８９】
画像特徴抽出手段２は、画像特徴量信号ｃとして図４の映像信号ａか、図５の前景形状信号ｂか、あるいは映像信号ａと前景形状信号ｂの合成信号（図は省略）を生成する。
【００９０】
画像特徴照合手段４は、画像特徴量信号ｃと推定位置・形状情報ｄから図６のオブジェクト存在領域情報ｇを生成する。図６では、画像特徴照合手段４の各評価関数の内、（９）式で生成された位置・形状情報６０１を大きい四角で、（１０）式で生成された重心情報６０２を小さい四角で視覚化している。
【００９１】
位置・形状推定手段５は、オブジェクト存在領域情報ｇとその照合の信頼度ｈから図７の推定位置・形状信号ｄを生成する。なお、図７では推定位置・形状信号ｄ以外に識別番号ｆも同時に表示させている。ここで、推定位置・形状信号ｄ及び識別番号ｆは数値情報であるが、それぞれ推定位置・形状情報７０１及び識別番号情報７０２としてオブジェクト毎の存在範囲を可視化している。
【００９２】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
【００９３】
【発明の効果】
以上説明したとおり、本発明に係る映像オブジェクト検出・追跡装置では、以下に示す優れた効果を奏する。
【００９４】
請求項１に記載の発明によれば、画像特徴抽出手段により、映像信号から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号が抽出され、画像特徴照合手段により、前記画像特徴量信号に含まれる画像特徴量とオブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とが生成され、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を推定することができるので、映像オブジェクトの追跡の精度を上げることができる。
【００９５】
請求項２に記載の発明によれば、前景形状抽出手段により、映像信号が前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号が生成され、画像特徴抽出手段により、前記映像信号と前記前景形状信号の少なくとも一方から少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号が抽出され、画像特徴照合手段により、前記画像特徴量信号と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とが生成され、位置・形状推定手段により、前記オブジェクト存在領域情報と前記信頼度とに基づいて、現時点での映像オブジェクトの位置及び形状を推定することができるので、映像オブジェクトの追跡の精度を上げることができる。
【００９６】
請求項３に記載の発明によれば、新規識別番号付与手段により、前記推定位置・形状情報と前記前景形状信号とから前記映像信号に出現した新規映像オブジェクトを検出し、新規に識別番号が付与され、データベース更新手段により、新規に映像オブジェクトが出現したときに前記オブジェクト特徴データベースに新規画像特徴量を追加し、前記推定位置・形状情報から映像オブジェクトの消滅を検出したときに前記オブジェクト特徴データベースの該当画像特徴量を削除し、前記推定位置・形状情報の映像オブジェクトの位置・形状の変化に基づいて前記オブジェクト特徴データベースの画像特徴量が更新されるので、映像オブジェクトの出現・消滅、位置・形状の変化が発生する状況下において、一貫した映像オブジェクトの識別管理を行なうことができる。
【００９７】
請求項４に記載の発明によれば、データベース更新手段が、前記信頼度が予め定められた数値範囲に至ったときに、前記オブジェクト特徴データベースの画像特徴量を更新する構成とした。このように構成されることにより、照明の変化や、映像オブジェクトの変形時にも前記オブジェクト特徴データベースの画像特徴量を更新することで映像オブジェクトを抽出することができるので、映像オブジェクトの検出・追跡の精度を上げることができる。
【００９８】
請求項５に記載の発明によれば、画像特徴照合手段が、前時点の前記推定位置・形状情報を参照して画像特徴照合領域を絞り込む構成とした。このように構成されることにより、前記画像特徴照合手段は、前時点の推定位置・形状情報を参照することで照合の探索領域を絞り込むことができるので、照合のための処理時間を短縮することができる。
【００９９】
請求項６に記載の発明によれば、画像特徴照合手段が、着目する映像オブジェクトと、それ以外の映像オブジェクトとの位置及び形状情報から、前記着目した映像オブジェクトに掩蔽が起きている度合いを第２の信頼度として算出する構成とした。このように構成されることにより、前記位置・形状推定手段は前記着目した映像オブジェクトの掩蔽の可能性を第２の信頼度として用いることができるので、オブジェクト間の掩蔽が存在する状況下でも、映像オブジェクトの検出・追跡を行なうことができる。
【０１００】
請求項７に記載の発明によれば、オブジェクト特徴データベースが、前記映像オブジェクトの色、テクスチャ、形状、動きの少なくとも１以上を画像特徴量として蓄積する構成とした。このように構成されることにより、映像オブジェクトの特徴に最適な画像特徴量を蓄積することができるので、映像オブジェクトの検出・追跡の精度を上げることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る映像オブジェクト検出・追跡装置の全体構成を示すブロック図である。
【図２】オブジェクト特徴データベースの内容を示した図である。
【図３】本発明の実施の形態に係る映像オブジェクト検出・追跡装置の動作を説明したフローチャートである。
【図４】映像信号の一例を視覚的に示した図である。
【図５】前景形状信号の一例を視覚的に示した図である。
【図６】オブジェクト存在領域情報の一例を視覚的に示した図である。
【図７】推定位置・形状情報の一例を視覚的に示した図である。
【符号の説明】
１……前景形状抽出手段
２……画像特徴抽出手段
３……オブジェクト特徴データベース
４……画像特徴照合手段
５……位置・形状推定手段
６……新規識別番号付与手段
７……データベース更新手段
ａ……映像信号
ｂ……前景形状信号
ｃ……画像特徴量信号
ｄ……推定位置・形状情報
ｅ……画像特徴量
ｆ……識別番号
ｇ……オブジェクト存在領域情報
ｈ……信頼度
ｉ……新規映像オブジェクト情報
ｊ……データベース操作信号
６０１……位置・形状情報
６０２……重心情報
７０１……推定位置・形状情報
７０２……識別番号情報
Claims (7)
- 映像信号から映像オブジェクトを検出・追跡する映像オブジェクト検出・追跡装置において、
前記映像信号から、少なくとも映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出する画像特徴抽出手段と、
前記映像オブジェクト毎に、映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベースと、
前記画像特徴量信号に含まれる画像特徴量と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成する画像特徴照合手段と、
前記オブジェクト存在領域情報である観測ベクトルと前記信頼度が低いほど成分の絶対値を大きく設定した観測共分散行列とに基づいて、現時点での映像オブジェクトの位置及び形状を示す推定位置・形状情報である状態ベクトルを拡張Ｋａｌｍａｎフィルタにより推定する位置・形状推定手段と、
を備えたことを特徴とする映像オブジェクト検出・追跡装置。 - 映像信号から映像オブジェクトを検出・追跡する映像オブジェクト検出・追跡装置において、
前記映像信号を前景領域と背景領域とに領域分割を行ない、前景領域と背景領域とに二値化された前景形状信号を生成する前景形状抽出手段と、
前記映像信号と前記前景形状信号との少なくとも一方から、映像オブジェクトを特徴づける情報及び座標情報を含んだ画像特徴量信号を抽出する画像特徴抽出手段と、
前記映像オブジェクト毎に、映像オブジェクト固有の画像特徴量を蓄積するオブジェクト特徴データベースと、
前記画像特徴量信号に含まれる画像特徴量と前記オブジェクト特徴データベース内の各映像オブジェクト毎の画像特徴量との照合を行ない、前記映像オブジェクト毎の位置・形状情報を示すオブジェクト存在領域情報と前記オブジェクト存在領域情報の信頼の度合いを示す信頼度とを生成する画像特徴照合手段と、
前記オブジェクト存在領域情報である観測ベクトルと前記信頼度が低いほど成分の絶対値を大きく設定した観測共分散行列とに基づいて、現時点での映像オブジェクトの位置及び形状を示す推定位置・形状情報である状態ベクトルを拡張Ｋａｌｍａｎフィルタにより推定する位置・形状推定手段と、
を備えたことを特徴とする映像オブジェクト検出・追跡装置。 - 前記推定位置・形状情報と前記前景形状信号とに基づいて、前記映像信号に出現した新規映像オブジェクトを検出し、新規に識別番号を付与する新規識別番号付与手段と、
前記新規映像オブジェクトが出現したときに前記オブジェクト特徴データベースに新規画像特徴情報を追加し、前記推定位置・形状情報から映像オブジェクトの消滅を検出したときに前記オブジェクト特徴データベースの該当画像特徴情報を削除し、前記推定位置・形状情報の映像オブジェクトの位置・形状の変化に基づいて前記オブジェクト特徴データベースの画像特徴情報を更新するデータベース更新手段と、
を備えたことを特徴とする請求項２に記載の映像オブジェクト検出・追跡装置。 - 前記データベース更新手段は、前記信頼度が予め定められた数値範囲に至ったときに、前記オブジェクト特徴データベースの画像特徴情報を更新することを特徴とする請求項３に記載の映像オブジェクト検出・追跡装置。
- 前記画像特徴照合手段は、前時点の前記推定位置・形状情報を参照して画像特徴照合領域を絞り込むことを特徴とする請求項１乃至請求項４のいずれか一項に記載の映像オブジェクト検出・追跡装置。
- 前記画像特徴照合手段は、着目する映像オブジェクトと、それ以外の映像オブジェクトとの位置及び形状情報から、前記着目した映像オブジェクトに掩蔽が起きている度合いを第２の信頼度として算出することを特徴とする請求項１乃至請求項５のいずれか一項に記載の映像オブジェクト検出・追跡装置。
- 前記オブジェクト特徴データベースは、前記映像オブジェクトの色、テクスチャ、形状、動きの少なくとも１以上を画像特徴情報として蓄積することを特徴とする請求項１乃至請求項６のいずれか一項に記載の映像オブジェクト検出・追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001166525A JP4787424B2 (ja) | 2001-06-01 | 2001-06-01 | 映像オブジェクト検出・追跡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001166525A JP4787424B2 (ja) | 2001-06-01 | 2001-06-01 | 映像オブジェクト検出・追跡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002358526A JP2002358526A (ja) | 2002-12-13 |
| JP4787424B2 true JP4787424B2 (ja) | 2011-10-05 |
Family
ID=19009053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001166525A Expired - Fee Related JP4787424B2 (ja) | 2001-06-01 | 2001-06-01 | 映像オブジェクト検出・追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4787424B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7072494B2 (en) * | 2004-02-20 | 2006-07-04 | Siemens Corporate Research, Inc. | Method and system for multi-modal component-based tracking of an object using robust information fusion |
| US20070124762A1 (en) * | 2005-11-30 | 2007-05-31 | Microsoft Corporation | Selective advertisement display for multimedia content |
| US7620204B2 (en) * | 2006-02-09 | 2009-11-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for tracking objects in videos using covariance matrices |
| EP2132682B1 (en) * | 2007-03-26 | 2012-03-14 | Thomson Licensing | Method and apparatus for detecting objects of interest in soccer video by color segmentation and shape anaylsis |
| GB2452510A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | System For Communicating A Three Dimensional Representation Of A Sporting Event |
| JP6289027B2 (ja) * | 2013-10-24 | 2018-03-07 | 日本放送協会 | 人物検出装置及びプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05205052A (ja) * | 1992-01-23 | 1993-08-13 | Matsushita Electric Ind Co Ltd | 自動追尾装置 |
| JPH06231252A (ja) * | 1993-02-04 | 1994-08-19 | Toshiba Corp | 監視画像の移動物体追跡方法 |
| JP3288566B2 (ja) * | 1994-11-10 | 2002-06-04 | 株式会社豊田中央研究所 | 走行レーン認識装置 |
| JP3576734B2 (ja) * | 1997-01-22 | 2004-10-13 | 松下電器産業株式会社 | 移動物体抽出装置 |
| JP3552456B2 (ja) * | 1997-05-01 | 2004-08-11 | セイコーエプソン株式会社 | 動物体追跡方法 |
| JP2000331170A (ja) * | 1999-05-21 | 2000-11-30 | Atr Media Integration & Communications Res Lab | 手振り認識装置 |
| JP2001094975A (ja) * | 1999-09-20 | 2001-04-06 | Hitachi Ltd | 移動物体追跡方法および装置 |
-
2001
- 2001-06-01 JP JP2001166525A patent/JP4787424B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002358526A (ja) | 2002-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2858008B1 (en) | Target detecting method and system | |
| Senior et al. | Appearance models for occlusion handling | |
| Remagnino et al. | An Integrated Traffic and Pedestrian Model-Based Vision System. | |
| Kim et al. | Efficient region-based motion segmentation for a video monitoring system | |
| US6738066B1 (en) | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display | |
| JP4741650B2 (ja) | ビデオシーケンスにおけるオブジェクト追跡の方法 | |
| JP6650657B2 (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
| US9672634B2 (en) | System and a method for tracking objects | |
| JP2016099941A (ja) | オブジェクト位置推定システム、及びそのプログラム | |
| JP6474126B2 (ja) | オブジェクト追跡方法、装置およびプログラム | |
| JP5106302B2 (ja) | 移動物体追跡装置 | |
| JP2014071902A5 (ja) | ||
| JP5756709B2 (ja) | 身長推定装置、身長推定方法、及び身長推定プログラム | |
| KR101681104B1 (ko) | 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법 | |
| JP2009157821A (ja) | 距離画像生成装置、環境認識装置、及びプログラム | |
| JP2010057105A (ja) | オブジェクトの３次元追跡方法およびシステム | |
| JP2013030183A (ja) | 環境認識装置及びプログラム | |
| JP4787424B2 (ja) | 映像オブジェクト検出・追跡装置 | |
| JP6659095B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4020982B2 (ja) | 動画像処理装置 | |
| JP4836065B2 (ja) | エッジトラッキング方法及びそのコンピュータプログラム | |
| Stumper et al. | Offline object extraction from dynamic occupancy grid map sequences | |
| Wang et al. | Efficient visual tracking by probabilistic fusion of multiple cues | |
| JP5253101B2 (ja) | オブジェクト追尾方法および画像処理装置 | |
| JP6851246B2 (ja) | 物体検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070420 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110715 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |