JP3576734B2 - 移動物体抽出装置 - Google Patents
移動物体抽出装置 Download PDFInfo
- Publication number
- JP3576734B2 JP3576734B2 JP914997A JP914997A JP3576734B2 JP 3576734 B2 JP3576734 B2 JP 3576734B2 JP 914997 A JP914997 A JP 914997A JP 914997 A JP914997 A JP 914997A JP 3576734 B2 JP3576734 B2 JP 3576734B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- yend
- moving
- moving object
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視装置等において動画像から動領域を検出して正確に移動物体を抽出するための装置に関する。
【０００２】
【従来の技術】
動画像処理の分野において、動物体の抽出や追跡は重要な問題であり、この技術を確立すると多くの応用が期待される。しかし、動物体抽出は他の物体による遮蔽、光源や画面の輝度の変化など多くの困難な問題点を含んでいる。なかでも、人等の生物などの非剛体物体の抽出・追跡は難しい問題であり、多くの研究が行われている。これらの課題は、対象物体の形状特徴に基づいた対象物体の追跡を行っていないために発生する問題である。そこで、形状特徴を用いてより正確な対象物体の計数を行う方法として、本発明の説明しているテンプレートマッチングに代表される形状パターンの同定法が挙げられる。このテンプレートマッチング法は、動領域のテンプレートを作成し、このテンプレートと入力画像とのマッチングをとる手法として一般的に用いられているものである。特に、高速性も兼ね備えた後述する最短距離法やＳＳＤＡ（ＳｅｑｕｅｎｔｉａｌＳｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍｎ） がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、抽出結果のずれが蓄積されると、テンプレートの位置が探索すべきパターンから外れてくることが課題としてある。また、テンプレートマッチング法のもう一つの課題として、最短距離法やＳＳＤＡ法では、テンプレートの生成や登録をどのようにするかが大きな課題として残されている。
【０００４】
以上で説明した具体的な「テンプレートマッチング法」の課題を整理すると、 （１） テンプレートのマッチングのみで動物体を追跡すると、テンプレートがずれを修正できない。
（２） テンプレートの生成方法が確立されていない。
が挙げられる。
【０００５】
本発明は、上記従来の問題点に鑑みてなされたもので、その第一の目的は、テンプレートの自動生成方法により、容易に移動物体の抽出がができる移動物体抽出装置を提供することである。
【０００６】
本発明の第二の目的は、テンプレートのマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくする方法により、正確な移動物体の抽出ができる移動物体抽出装置を提供することである。
【０００７】
【課題を解決するための手段】
そこで、本発明では、上記の課題を動画像処理の特徴を生かすような処理手順で解決した移動物体抽出装置を提供する。
【０００８】
まず、テンプレートの自動生成については、動画像から動領域を検出し、その動領域が対象とする人や車である類似度を２値のパターンの形状特徴から検出する。その類似度が高い場合には、その動領域の周辺のテンプレートの有無を確認し、無い場合に新しいテンプレートを作成するテンプレート登録法を用いている。
【０００９】
また、テンプレートのずれ対策としては、動領域から求められる類似度が人や車を示す場合には、その動領域のテンプレートの位置を動領域の位置情報に合わせて修正を行う。テンプレートがずれが大きくなったテンプレートは消去して、新しく対象の領域にテンプレートを生成する。
【００１０】
以上の処理は、形状特徴を抽出する形状特徴抽出手段と、テンプレートの操作を行うテンプレート処理手段の２つの手段の組み合わせにより実現される。
【００１１】
【発明の実施の形態】
本発明の請求項１に記載の発明は、映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に、少なくとも領域のサイズまたは画素数を含む動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段により検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状特徴抽出手段と、前記入力手段から得られた映像データから２次元フィルタ処理を行い、エッジ映像データを抽出するエッジ情報抽出手段と、前記エッジ情報抽出手段から得られたエッジ映像データと前記形状特徴抽出手段から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段と、前記テンプレート処理手段から得られたテンプレートの位置及び分類情報を出力する出力手段とを備えた移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１２】
本発明の請求項２に記載の発明は、形状特徴抽出手段は、ラベリング処理手段から抽出された各動領域別の画素数または領域のサイズに基づき対象とする物体の類似度を計算し、その類似度に基づいて、対象物体を示すテンプレートを生成する位置情報を抽出することを特徴とする請求項１記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１３】
本発明の請求項３に記載の発明は、形状特徴抽出手段から抽出される類似度は、ラベリング処理手段から抽出された各動領域に外接する矩形領域の位置を示す座標（Xstart、Ystart）、（Xend、Yend）（ただし、Yend≧ Ystart,Xend≧Xstart）および矩形領域の中で動領域が占める画素数またはこの画素数の平方根Gasoを用いて、類似度を算出することを特徴とする請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１４】
本発明の請求項４に記載の発明は、形状特徴抽出手段では、ラベリング処理手段から抽出された各動領域を外挿する矩形領域の位置を示す座標（Xstart、Ystart）、（Xend、Yend）（ただし、Yend≧Ystart,Xend ≧Xstart）からXsize=Xend-Xstart およびYsize=Yend-Ystart を算出し、各動領域のサイズとすることを特徴とする請求項３記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１５】
本発明の請求項５に記載の発明は、形状特徴抽出手段から抽出される類似度は、Xsize 、Ysize およびGasoの値とYendの値との関係を用いて算出することを特徴とする請求項３または４記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１６】
本発明の請求項６に記載の発明は、形状特徴抽出手段から抽出される類似度は、多数の動領域から抽出されたXsize 、Ysize およびGasoの値とYendの値を２次元グラフにプロットし、対象となる物体を示す線形の直線式Xsize=Ｆxsize （Yend）、Ysize=Ｆysize （Yend）およびGaso= Ｆgaso（Yend）を事前に求めておき、ラベリング処理手段から求められた各動領域別に求められるYendをこれらの式に代入し、その値Ｆysize(Yend) 、Ｆxsize(Yend) およびＦgaso(Yend)の値と各動領域から求められるXsize 、Ysize およびGasoとの割合を累積して類似度の算出することを特徴とする請求項５記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１７】
本発明の請求項７に記載の発明は、形状特徴抽出手段から抽出される類似度は、多数の動領域から抽出されたXsize 、Ysize およびGasoの値の結合関数Size=f(Xsize,Ysize,Gaso)とYendの値とを２次元グラフにプロットし、対象となる物体を示す線形の直線式Size=Fsize(Yend)を事前に求めておき、ラベリング処理手段から各動領域別に求められるYendをこの式に代入し、その値Fsize(Yend) と各動領域から求められるSize=f(Xsize,Ysize,Gaso)との割合であることを特徴とする請求項５記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１８】
本発明の請求項８に記載の発明は、結合関数f(Xsize,Ysize,Gaso) は、値Xsize 、Ysize およびGasoに関する線形結合αXSize+βYsize+γGasoであることを特徴とする請求項７記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１９】
本発明の請求項９に記載の発明は、線形結合αXSize+βYsize+γGasoの係数α、β、γを、多数の動領域から抽出されたXsize 、Ysize およびGasoの値の分布に関する主成分分析によって決定することを特徴とする請求項８記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２０】
本発明の請求項１０に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部を、最小二乗法による近似によって決定することを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２１】
本発明の請求項１１に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部を、主成分分析による近似によって決定することを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２２】
本発明の請求項１２に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず最小二乗法による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度最小二乗法による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２３】
本発明の請求項１３に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず最小二乗法による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度主成分分析による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２４】
本発明の請求項１４に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず主成分分析による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度最小二乗法による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２５】
本発明の請求項１５に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず主成分分析による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度主成分分析による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２６】
本発明の請求項１６に記載の発明は、形状特徴抽出手段から抽出される類似度は、人間と車などの複数の対象物体の類似度を算出することを特徴とする請求項１または請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２７】
本発明の請求項１７に記載の発明は、テンプレート処理手段では、テンプレートの生成、マッチング、位置移動、テンプレートの更新および消去することを実行することを特徴とする請求項１または請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２８】
本発明の請求項１８に記載の発明は、テンプレート処理手段では、テンプレートの生成時にテンプレートの属性を示すために、テンプレートの番号、テンプレートの生成時に対象物体が何であったかを示す対象物体、テンプレートの現在の位置、位置更新をした場合の元の位置、更新した回数を示す更新回数、テンプレートが消滅対象となった場合に消滅を示す消滅フラグおよびテンプレートの内容を示すＴＸＳ＊ＴＹＳの画素値（ＴＸＳ，ＴＹＳはテンプレートのサイズを示す）を持つように設定することを特徴とする請求項１または請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２９】
本発明の請求項１９に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、テンプレートの属性を設定したテンプレートを生成させることを特徴とする請求項１７または請求項１８記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３０】
本発明の請求項２０に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、テンプレートの生成する位置を形状特徴抽出手段から抽出されたテンプレート設定位置にテンプレートを生成させることを特徴とする請求項１７から請求項１９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３１】
本発明の請求項２１に記載の発明は、テンプレート処理手段では、抽出された動領域において形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、その動領域の周辺を探索して、対象となる物体と同一のテンプレートが存在する場合には、そのテンプレートの位置を更新し、テンプレートの内容を移動した位置の画素値に入れ替えることを特徴とする請求項１７から請求項２０までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３２】
本発明の請求項２２に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、テンプレートの位置更新がされないテンプレートについては、テンプレートの現在の位置を中心にテンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動し、テンプレートの属性を示す更新回数を増加し、移動前の位置を元の位置に設定することを特徴とする請求項１７から請求項２１までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３３】
本発明の請求項２３に記載の発明は、テンプレート処理手段では、テンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動した場合に、テンプレートの内容を現在の画素値と移動した位置の画素値とを事前に設定した割合で変更することを特徴とする請求項１７から請求項２２までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３４】
本発明の請求項２４に記載の発明は、テンプレート処理手段では、テンプレートマッチング処理として最短距離法またはＳＳＤＡ（Sequential Similarity Detection Algorithm）を行うことを特徴とする請求項１７から請求項２３までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３５】
本発明の請求項２５に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、全てのテンプレートに対して位置更新の処理を行った後、テンプレートの動きベクトルを求めて、同一動きベクトルが持つテンプレートが複数存在した場合には、その複数のテンプレートの中から位置や更新回数に応じて一つのテンプレートに消滅フラグを立てて消滅対象となったことを示し、この消滅フラグが立っているテンプレートが連続して消滅対象となった場合には、このテンプレートを消滅させることを特徴とする請求項１７から請求項２４までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３６】
本発明の請求項２６に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、位置更新を含む一連の処理を行った後、全てのテンプレートに対してテンプレートの更新回数を確認し、所定の閾値以上の更新回数を持つテンプレートについては、テンプレートに消滅フラグを立てて消滅させることを特徴とする請求項１７から請求項２５までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３７】
（実施の形態）
以下、本発明の実施の形態を図１に基づいて説明する。図１において、１は映像を入力する入力手段、２は入力手段１から得られた映像データから動領域を検出する動領域抽出手段、３は入力手段１から得られた映像データから２次元フィルタ処理を行い、エッジ映像データを抽出するエッジ情報抽出手段、４は動領域抽出手段２から得られた動領域から各動領域別に領域の大きさや画素数等の動領域の情報を検出するラベリング処理手段、５はラベリング処理手段４により検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状特徴抽出手段、６はエッジ情報抽出手段３から得られたエッジ映像データと形状特徴抽出手段５から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段、７はテンプレート処理手段６から得られたテンプレートの位置や分類情報をディスプレイ等に表示する出力手段である。
【００３８】
入力手段１は、一般的には可視カメラであるが、暗視カメラや赤外線カメラ等の特殊な入力装置で置き換えることができる。入力手段１からの映像信号ａ、ｂは、動領域抽出手段２とエッジ情報抽出手段３に転送される。動領域抽出手段２では、映像信号間の差分や背景映像との差分または映像信号間の差分の累積（累積差分と呼ばれる）により動領域を検出する。この検出した動領域の信号ｃは、ラベリング処理手段４に転送される。動領域の信号ｃは、一般的には動きの有る部分と無い部分を区別できるような２値化映像信号の場合が多い。ラベリング処理手段４では、各動領域毎に分割処理を行ったり、分離はしているが一つのブロックとしてまとめることが可能な場合には、一つの動領域としてまとめる処理を施し、各動領域が区別できるラベリング信号ｅとして形状特徴抽出手段５に転送する。形状特徴抽出手段５では、映像内の各動領域から形状特徴を用いて人や車の類似度ｆやテンプレートの作成候補位置ｇを算出し、これらをテンプレート処理手段６に転送する。テンプレート処理手段６では、形状特徴抽出手段５から出力される類似度ｆが、適切な閾値よりも高い場合には、テンプレートの作成候補位置ｇを用いて、テンプレートの生成および位置修正を行う。また、類似度ｆが閾値よりも低い場合には，後述するＳＳＤＡを用いたマッチング処理を実施し、テンプレートの位置を変更する。変更されたテンプレートは、形状特徴抽出部５で検出された類似度ｆにより決められたルールに基づいて更新される。テンプレートのマッチング処理は、映像信号ｂからエッジ情報抽出手段３によりゾーベルフィルタ処理を行いエッジ画像ｄを抽出し、そのエッジ画像ｄに対してマッチング処理を行う。このため、テンプレートに保存される画像値は、エッジ画像ｄから抽出された値が格納されている。このエッジ情報抽出手段３では、ゾーベルフィルタを実施例として挙げているが、エッジ情報を抽出する処理であればゾーベルフィルタ処理に置き換えることが可能であるし、映像信号ｂを加工せずにテンプレート処理手段６に入力することも可能である。エッジ処理抽出を行う理由としては、マッチング処理を行った場合にパターンが明確に抽出できる利点がある。テンプレート処理手段６の結果は、テンプレートの属性情報ｈ（ 位置、対象物体の種類等）として出力手段７に転送され、移動物体の抽出結果を人間に示す。一般的には、出力手段７はディスプレイ等である。
【００３９】
次に、テンプレート処理の各処理部の詳細について説明する。前述したテンプレートマッチング法において、テンプレートに似たパターンを探索する手法としては、（１） 最短距離法、（２） ＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ） 、（３） 相関法、（４） 類似度法がある。以下に（１） 〜（４） の手法を簡単に説明する。
【００４０】
（１） 最短距離法
パターンを探索する最も直接的な方法は、既知のパターンに関するテンプレートと入力パターン間の距離を求め、最小の距離を示す入力パターンの位置を決定する方法である。ｔフレーム目の特定の領域をテンプレートＴ（ｉ，ｊ） とし、ｔ＋１フレームでテンプレートの領域を少しだけ広げた探索領域内の候補領域をＷ（ｉ，ｊ）とする。テンプレートは、最も整合のとれるパターン位置を探すために、探索領域内を移動する。探索領域の左上から（ｘ，ｙ） だけ移動した候補領域とテンプレート間の距離の２乗Ｄ（ｘ，ｙ） は、次式で与えられる。
【数１】
候補領域を探索領域内で移動させ、この距離の２乗Ｄ（ｘ，ｙ）が最小の領域を抽出すべき領域とする。抽出した領域をテンプレートとし、フレーム毎にテンプレートを更新する。
【００４１】
（２） ＳＳＤＡ
ＳＳＤＡは、テンプレートマッチング を高速に行う手法として開発されたものである。最短距離法のＤ（ｘ，ｙ）に対応する類似度Ｓ（ｘ，ｙ）は、次式で与えられる。
【数２】
【００４２】
（３） 相関法
横Ｍ 、縦Ｎ の大きさのテンプレートＴ（ｉ，ｊ）と候補領域Ｗ（ｉ，ｊ）の相関値は次式で与えられる。
【数３】
候補領域を探索領域内で移動させ、最大となるＲ（ｘ，ｙ）の位置を抽出領域として抽出する。もし、Ｗ（ｘ，ｙ）が大きくなればＲ（ｘ，ｙ）も大きくなる。このことから、相関法では対応するパターンの輝度が変化しないという条件が必要となる。
【００４３】
（４） 類似度法
類似度法は、２つのパターンのベクトルがなす角度を利用し、角度が小さいほどパターンが似ていることを表す。実際は、角度を直接用いるのではなく、次式で表される２つのベクトルのなす余弦を用いる。
（ａ，ｂ） ＝ ‖ａ ‖・ ‖ｂ ‖ｃｏｓ θ ・・・（４）
テンプレートＴ（ｉ，ｊ）と探索領域内の候補領域Ｗ（ｉ，ｊ）との類似度は、次式で与えられる。
Ｓ（ｘ，ｙ） ＝ （Ｔ（ｉ，ｊ），Ｗ（ｉ＋ｘ，ｊ＋ｙ）） ／‖Ｔ（ｉ，ｊ）‖・ ‖Ｗ（ｉ＋ｘ，ｊ＋ｙ）‖・・・（５）
類似度は、各々のベクトルの大きさで正規化するため、絶対輝度およびコントラストの影響を受けることがない。
【００４４】
以上のように、テンプレートのマッチング法の代表的な例を示したが、それ以外にも映像内でテンプレートとなる対象のパターンを事前に多数集めた学習データがある場合には、学習データの相関行列から固有ベクトルを求めて正規直交基底を算出してから相関をとるような統計手法がある。このような統計手法の難しさは、人を対象とした場合に、映像内で必要となるパターンが全て学習データとして採取できるかどうかであり、実用的な観点からはかなり困難と言える。
【００４５】
本発明でも、当然ながら上記した（１） 〜（４） や統計手法をどれでも選択が可能であるが、動領域のテンプレートを作成し、このテンプレートと入力画像とのマッチングをとる手法として一般的に用いられているものとしては、（３） の相関法がある。しかし、この手法には、前述したように相関法の特性として明るい領域へ引き込まれるという問題がある。このため、背景の輝度情報に影響を受け易い。そこで、本発明ではテンプレートの相関ではなく類似度を計算する手法を用いている。具体的には、（１） または（２） であり、高速性も兼ね備えた（２） のＳＳＤＡが特に有効である。この手法では、相関法のように明るい領域に引き込まれることなく、特定の領域を追跡することができる。しかし、この手法のデメリットは、抽出結果のずれが蓄積されると、テンプレートの位置が探索すべきパターンから外れてくることである。また、もう一つの課題としては、類似度法を用いたテンプレートマッチングによる対象物体の追跡の際には、存在する対象物体の数だけマッチングさせるテンプレートが用意されていなければならない。しかし、初期テンプレートを全て用意するのは困難であることは統計手法の説明で述べた通りである。このため、初期テンプレートの登録をどのようにするかが大きな課題として残されていた。
【００４６】
そこで本発明では、上記の課題を動画像処理の特徴を生かすような処理手順で解決する移動物体の追跡装置を提供している。すなわち、初期テンプレートについては動画像から動領域を検出し、その動領域が対象とする人や車である類似度を２値のパターンの形状特徴から検出する。その類似度が高い場合には、その動領域のテンプレートの有無を確認し、無い場合に新しいテンプレートを作成する自動テンプレート登録法を用いている。
【００４７】
また、テンプレートのずれ対策として動領域から求められる類似度が人や車を示す場合には、その動領域のテンプレートの位置を動領域の位置情報に合わせて修正を行う。テンプレートがずれが大きくなったテンプレートは消去して、新しく対象の領域にテンプレートを生成する。
【００４８】
次に、テンプレートの構成を図２に示す。テンプレートは、前述したように生成／消滅型のテンプレートである。テンプレートは、対象物体の数に合わせて発生する。ただし、図２の場合では、最大ｎ個までとする。各テンプレートは、テンプレートの生成時にテンプレートの番号が与えられる。この番号は、現在存在するテンプレートについては重複する番号を持たないようにしている。また、テンプレートの生成時に、テンプレートが生成させた対象物体の種類を示す対象物体識別の値が、対象物体情報に格納される。例えば、人間であると０、車であると１と言った情報である。各テンプレートには、現在のテンプレートの２次元画像上の座標（ｘ，ｙ） と前回の２次元画像上の座標（ｘ’，ｙ’） を持っている。前回の座標ｂ（ｘ’，ｙ’）を保持するのは、前回の位置から現在の位置への変化ベクトルｖ（ｎ）＝ａ（ｎ）−ｂ（ｎ）を求めるためである。ここで、ａ（ｎ）はテンプレートｎの現在の座標、ｂ（ｎ）はテンプレートｎの前回の座標、ｖ（ｎ）はテンプレートの変化ベクトルである。
【００４９】
この変化ベクトルｖ（ｎ）は、同一方向に動くテンプレートを見付けるためで、同一方向に連続して動くテンプレートは消滅対象となる。
【００５０】
更新回数は、生成時点で０ が設定されて、更新される度に１ずつ増える。更新回数は、テンプレートの強度に示す値でもあり、この値が低いものは消滅対象に成り易い。
【００５１】
減点ｆｌａｇは、変化ベクトルｖ（ｎ）が同一方向に動くテンプレートが２枚以上あった場合にｏｎ（１） となる。このｆｌａｇが立つと後述する処理で変更回数が減少されるとか、消滅する処理が発生する。
【００５２】
また、テンプレートの画素値は、テンプレートの生成時のテンプレートが重ねられるエッジ映像の位置の画素値が入る。その後、テンプレートマッチング毎に画素値が後述方法で更新される。ただし、テンプレートが形状特徴抽出手段５からの類似度ｆが適切な閾値以上の場合に位置更新された時には、生成時と同様にテンプレートが重ねられるエッジ映像の位置の画素値が入る。
【００５３】
次に、テンプレートの更新方法を示す。テンプレートの更新は、基本的には前回のテンプレート値および新しいマッチングしたパターンの画素値と重み係数αとの積和演算により求められる。変更式を次式に示す。
ＮＰ（ｘ，ｙ） ＝ α・ ＯＰ（ｘ，ｙ） ＋ （１− α）・ＴＰ（ｘ，ｙ） ・・・（６）
【００５４】
ここで、ＮＰ（ｘ，ｙ） は、テンプレート内座標（ｘ，ｙ） の新しい画素値、ＯＰ（ｘ，ｙ） は、前回までのテンプレート画素値、ＴＰ（ｘ，ｙ） はテンプレートがマッチングしたパターンのプレート内画素値である。本実施の形態では、αは０．８を用いている。ただし、αは処理の内部で動的に変化させることも可能である。つまり、対象物体が静止状態に近いときには、更新量を増やす方法を用いることもできる。なお、変更を行うと変更回数が＋１される。
【００５５】
次に、テンプレートの生成について説明する。テンプレートの生成は、後述する形状特徴抽手段５からの出力において対象領域の類似度が適切な閾値（本実施の形態では８０とする。）以上である場合に、指示された位置情報（人の場合には頭部）を中心にテンプレートを探索し、その範囲にテンプレートが無い場合に新しくテンプレートを発生させる方法を用いている。図３にその一例を示す。図３に示しように、テンプレートの生成時には、前述したように形状特徴抽出手段５からの出力において対象物体の領域１１の類似度が８０以上である場合に、形状特徴抽出手段５から指示された位置情報（人の場合には頭部）１２を中心に、ある範囲１３内においてテンプレートを探索する。その探索した結果、テンプレートが１つのみ存在する場合には、テンプレートの位置と形状特徴抽出部５で指示された位置とが異なる場合には変更処理を実施する。この処理が実施されるとテンプレートの画素値は、変更した位置でのプレートが重なったパターンの画素値に全て入れ替える。
【００５６】
次に、テンプレートの消滅について説明する。複数のテンプレートが存在する場合に、前述したテンプレートの位置変更ベクトルｖ（ｎ）が同一のテンプレートが存在する場合には、以下の処理を実施する。消滅ｆｌａｇをＯＮとする。このｆｌａｇがＯＮとなると変更時に変更回数を＋１にせずに以下の処理を実施する。
変更回数 ＞ Ｔ１ の場合・・・・ 変更回数 ＝ Ｔ２
Ｔ１ ＞ 変更回数 ＞ Ｔ２ の場合・・・・ 変更回数 ＝ Ｔ３
変更回数 ＜＝ Ｔ３ の場合・・・・ 消滅
【００５７】
ここで、Ｔ１＞＝Ｔ２＞＝３の関係がある閾値を示す。
この処理は、３ 回連続して消滅ｆｌａｇが立つ場合には消滅することを意味する。
【００５８】
なお、テンプレートの消滅は、上記の方法以外にも更新回数が適切な閾値以上になった場合にも消滅ｆｌａｇを立てて消滅させる場合がある。この時に、対象物体によって閾値を変える方法もある。
【００５９】
次に、形状特徴抽出手段５における処理について説明する。形状特徴には各種の特徴があるが、本発明で用いた動領域の形状特徴を説明する。本発明では、動領域別にラベリングされた矩形領域のサイズと矩形領域内の動領域の画素数の３つを形状を用いた形状特徴をしている。つまり、ラベリング処理手段４から抽出された各動領域を外挿する矩形領域の位置を示す２点の座標（Ｘｓｔａｒｔ 、Ｙｓｔａｒｔ） 、（Ｘｅｎｄ、Ｙｅｎｄ）（ただし、Ｙｅｎｄ≧ Ｙｓｔａｒｔ，Ｘｅｎｄ≧Ｘｓｔａｒｔ）からＸｓｉｚｅ＝Ｘｅｎｄ−Ｘｓｔａｒｔ およびＹｓｉｚｅ＝Ｙｅｎｄ−Ｙｓｔａｒを動領域のサイズとする。そして、この３つの形状を用いて対象物体の動領域別に次の３つの形状特徴を求める。
【００６０】
（１）対象物体の動領域のＸｓｉｚｅ とＹｅｎｄの直線近似
Ｘｓｉｚｅ とラベリング矩形下限座標値（画面の垂直方向座標）Ｙｅｎｄとの相関を近似した相関直線Ｆｘｓｉｚｅ（Ｙｅｎｄ）
（２）対象物体の動領域のＹｓｉｚｅ とＹｅｎｄの直線近似
Ｙｓｉｚｅとラベリング矩形下限座標値（画面の垂直方向座標）Ｙｅｎｄとの相関を近似した相関直線Ｆｙｓｉｚｅ（Ｙｅｎｄ）
（３）対象物体の動領域の画素数の平方根ＧａｓｏとＹｅｎｄの直線近似
画素数の平方根Ｇａｓｏとラベリング矩形下限座標値（画面の垂直方向座標）Ｙｅｎｄとの相関を近似した相関直線Ｆｇａｓｏ（Ｙｅｎｄ）
【００６１】
（１）〜（３）の形状特徴の直線近似は、実際に使用する入力手段１から対象物体が単数の場合の観測データを多数集めて、その分布を求め、その分布の中から最適な直線近似関数を求める。直線近似は、主成分分析法や最小２乗法を用いることによっても算出できるが、観測者の主観評価にて求めても良い。図４に対象物体の動領域の画素数の平方根ＧａｓｏとＹｅｎｄ空間における分布から直線近似を求めた例を示す。
【００６２】
なお、直線近似に際して主成分分析（第一主成分軸による近似）または最小二乗法（最小二乗近似直線による近似）を用いる場合、動きの少ない物体やカメラ視野から一部はみ出した物体、或いは影や床面・壁面による鏡面反射などが動領域データとして混入し、Ｘｓｉｚｅ ・Ｙｓｉｚｅ ・Ｇａｓｏそれぞれの分布にノイズとなって表れる場合がある。一般にこのようなノイズはＸｓｉｚｅ ・Ｙｓｉｚｅ ・Ｇａｓｏの値が異常に小さく出るため、ノイズデータを多く含む分布から近似直線を求めた場合、ノイズが負のバイアスとして表れてしまい、最適な近似直線よりも著しく下方にずれてしまう。このため、より適切な近似直線を求めるため、主成分分析ないし最小二乗法によって一次近似直線を求めた後、この一次近似直線よりも下方に分布するデータをノイズと考えて除去し、一次近似直線よりも上方に分布するデータのみを用いて再度近似直線を求めることにより最適な近似直線を決定することができる。このような方法によれば、観測者の主観評価を交えることなくシステマティックに最適な直線近似を行うことができる。
【００６３】
そして、観測された動領域から求められたラベリング矩形下限座標値Ｙ１ｅ と矩形サイズＸ１ｓｉｚｅ，Ｙ１ｓｉｚｅ および動領域の画素数の平方根Ｇａｓｏ１ を使用して、以下の評価値を求める。
（１）垂直フェレ長評価値Ｋ１
Ｘ１ｓｉｚｅ ＜＝ Ｆｘｓｉｚｅ（Ｙ１ｅ） ならば Ｋ１ ＝ Ｘ１ｓｉｚｅ／ Ｆｘｓｉｚｅ（Ｙ１ｅ ）
Ｘ１ｓｉｚｅ ＞ Ｆｘｓｉｚｅ（Ｙ１ｅ） ならば Ｋ１ ＝ Ｆｘｓｉｚｅ（Ｙ１ｅ）／Ｘ１ｓｉｚｅ
（２）水平フェレ長評価値Ｋ２
Ｙ１ｓｉｚｅ ＜＝ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ２ ＝ Ｙ１ｓｉｚｅ／ Ｆｙｓｉｚｅ（Ｙ１ｅ ）
Ｙ１ｓｉｚｅ ＞ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ２ ＝ Ｆｙｓｉｚｅ（Ｙ１ｅ）／Ｙ１ｓｉｚｅ
（３）動物体領域面積評価値Ｋ３ ＝ Ｇａｓｏ１ ／ Ｆｇａｓｏ（Ｙ１ｅ）
Ｇａｓｏ１ ＜＝ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ３ ＝ Ｇａｓｏ１／Ｆｇａｓｏ（Ｙ１ｅ）
Ｇａｓｏ１ ＞ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ３ ＝ Ｆｇａｓｏ（Ｙ１ｅ）／Ｇａｓｏ１
【００６４】
次に、上記の形状特徴から形状特徴抽出手段５で求められる類似度Ｒ２ について説明する。類似度とは、抽出された動領域の”対象物体らしさ”を示すスコアであり、例えば、対象物体を人間とすると、一人の人間の体がほぼ完全に動物体領域として正しく抽出された場合に高い値を示すものとする。したがって、影等のノイズ領域が抽出されたり、人間が停止、複数人間の画面上の重なり、障害物による一部隠蔽等によって完全な形で動物体領域抽出できなかった場合、低い値となる。この類似度を求めるためには、用いる形状特徴量およびその算出方法が問題であるが、ここでは以下に示す手法について説明する。
【００６５】
（１） 類似度算出の考え方
類似度の基本的な考え方は、”対象物体の大きさ”の情報を抽出しスコア化するというものである。本実施の形態では対象物体を人間とする。但し、画像上の大きさそのものでは対象物体の位置変化に伴う値の変化が発生するため、この影響を考慮して、前述したラベリング矩形下限座標値と矩形サイズの直線近似、および動領域画素数の平方根の直線近似の３特徴量を用いることにする。
【００６６】
（２） 類似度算出
前述した３特徴量別に抽出された評価値から類似度を算出する。算出式は以下の通り。動物体領域面積および水平フェレ長よりも垂直フェレ長の方が人間の形状変化の影響を受け難いので、垂直フェレ長の重みを他のλ倍に大きくした（λ＝２とした）。
Ｒ２ ＝（Ｋ１＋ λ・ Ｋ２＋Ｋ３） ／（λ＋２） ・・・（７）
但し、 Ｋ１ ：動物体領域面積評価値
Ｋ２ ：垂直フェレ長評価値
Ｋ３ ：水平フェレ長評価値
【００６７】
なお、入力手段１の設置現場の状況に合わせて、類似度の調整を行うことが可能であるので、類似度Ｒ２ 計算にはＫ１ 〜Ｋ３ に固定または状況に応じて変化する動的なパラメータを付けて行うことができる。
【００６８】
なお、上記のように３つの形状特徴Ｋ１ 、Ｋ２ 、Ｋ３ を別々に求めるのではなく、Ｘｓｉｚｅ 、Ｙｓｉｚｅ 、Ｇａｓｏの３つが“対象物体の大きさ”という同じ次元を持ち、また対象物体がほぼ一定した形状を保つ場合にはこれらの相関が非常に高いことから、これらの線形結合Ｓｉｚｅ＝ αＸｓｉｚｅ＋βＹｓｉｚｅ＋γＧａｓｏを用いて単一の形状特徴Ｋを求める方法も可能である。この線形結合の係数α・β・γは任意に定めることができるが、Ｘｓｉｚｅ ・Ｙｓｉｚｅ ・Ｇａｓｏの相関の高さを積極的に利用して、（Ｘｓｉｚｅ，Ｙｓｉｚｅ，Ｇａｓｏ）の３次元空間での分布を主成分分析して第１主成分軸を求め、この軸に射影するように係数を定めるのが妥当である。前記Ｒ２ の算出式（７） でＫ１ 、Ｋ２ 、Ｋ３ の加重平均を求める際に重みをそれぞれ１／４ 、１／２ 、１／４ としているが、この値は経験的に決定されたものであり、上記のように主成分分析を用いることでより適切な係数を選択することができる。
【００６９】
次に、形状特徴抽出手段５から求められるテンプレートの生成位置について説明する。人間等を対象物体としてテンプレートを作成しテンプレートマッチング処理を行う場合、運動時における形状の変化の影響を最小限に留めるために、頭部を抽出してテンプレートとする方法が有効と考えている。また、処理時間の面においてもテンプレートとする領域の面積は小さい方が有利であり、この点においても頭部領域抽出には意味がある。
【００７０】
そこで本発明では、対象物体が人間の際に動物体領域の中から頭部領域を抽出する方法について図５に基づいて説明する。
（１）頭部抽出領域の設定
ラベリング外接長方形において動物体領域２１の上部Ｋ％の領域１５を頭部抽出領域２２として設定する。
（２）水平プロファイルデータ作成
頭部抽出領域２２内の動物体領域画素数を垂直方向に加算して、プロファイルデータ２３を作成する。次にこのプロファイルデータ２３の最大値となるＸ座標Ｘｍａｘ１６を検索する。
（３）頭部領域の抽出
Ｘｍａｘ１６から左右にプロファイルデータを検索し、最大値に対してＮ％以下となるＸ座標を２点１７、１８抽出する。この２点１７、１８を両端とし、この２点間距離を一辺としてラベリング外接長方形の上辺に接する正方形を頭部領域１９として決定する。
【００７１】
【発明の効果】
以上説明したように、本発明による動物物体抽出装置は、映像を入力する入力手段と、この入力手段から得られた映像データから動領域を検出する動領域抽出手段と、この動領域抽出手段から得られた動領域から各動領域別に領域の大きさや画素数等の動領域の情報を検出するラベリング処理手段と、ラベリング処理手段により検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状特徴抽出手段と、入力手段から得られた映像データから２次元フィルタ処理を行い、エッジ映像データを抽出するエッジ情報抽出手段と、エッジ情報抽出手段から得られたエッジ映像データと形状特徴抽出手段から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段と、テンプレート処理手段から得られたテンプレートの位置や分類情報を表示する出力手段とを備えたものであり、第一に、テンプレートの自動生成方法により移動物体の抽出を容易に行うことができ、第二に、テンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくするできるので、正しい対象物体像を正確に抽出できるという優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態における移動物体抽出装置の基本構成を示すブロック図
【図２】本発明の実施の形態におけるテンプレートの構成を示す模式図
【図３】本発明の実施の形態におけるテンプレート生成時や位置変更時におけるテンプレートの探索例を示す模式図
【図４】本発明の実施の形態における形状特徴を示す直線近似例を示す模式図
【図５】本発明の形状特徴抽出手段におけるテンプレート生成位置の抽出例を示す模式図
【符号の説明】
１ 入力手段
２ 動領域抽出手段
３ エッジ情報抽出手段
４ ラベリング処理手段
５ 形状特徴抽出手段
６ テンプレート処理手段
７ 出力手段
【発明の属する技術分野】
本発明は、監視装置等において動画像から動領域を検出して正確に移動物体を抽出するための装置に関する。
【０００２】
【従来の技術】
動画像処理の分野において、動物体の抽出や追跡は重要な問題であり、この技術を確立すると多くの応用が期待される。しかし、動物体抽出は他の物体による遮蔽、光源や画面の輝度の変化など多くの困難な問題点を含んでいる。なかでも、人等の生物などの非剛体物体の抽出・追跡は難しい問題であり、多くの研究が行われている。これらの課題は、対象物体の形状特徴に基づいた対象物体の追跡を行っていないために発生する問題である。そこで、形状特徴を用いてより正確な対象物体の計数を行う方法として、本発明の説明しているテンプレートマッチングに代表される形状パターンの同定法が挙げられる。このテンプレートマッチング法は、動領域のテンプレートを作成し、このテンプレートと入力画像とのマッチングをとる手法として一般的に用いられているものである。特に、高速性も兼ね備えた後述する最短距離法やＳＳＤＡ（ＳｅｑｕｅｎｔｉａｌＳｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍｎ） がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、抽出結果のずれが蓄積されると、テンプレートの位置が探索すべきパターンから外れてくることが課題としてある。また、テンプレートマッチング法のもう一つの課題として、最短距離法やＳＳＤＡ法では、テンプレートの生成や登録をどのようにするかが大きな課題として残されている。
【０００４】
以上で説明した具体的な「テンプレートマッチング法」の課題を整理すると、 （１） テンプレートのマッチングのみで動物体を追跡すると、テンプレートがずれを修正できない。
（２） テンプレートの生成方法が確立されていない。
が挙げられる。
【０００５】
本発明は、上記従来の問題点に鑑みてなされたもので、その第一の目的は、テンプレートの自動生成方法により、容易に移動物体の抽出がができる移動物体抽出装置を提供することである。
【０００６】
本発明の第二の目的は、テンプレートのマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくする方法により、正確な移動物体の抽出ができる移動物体抽出装置を提供することである。
【０００７】
【課題を解決するための手段】
そこで、本発明では、上記の課題を動画像処理の特徴を生かすような処理手順で解決した移動物体抽出装置を提供する。
【０００８】
まず、テンプレートの自動生成については、動画像から動領域を検出し、その動領域が対象とする人や車である類似度を２値のパターンの形状特徴から検出する。その類似度が高い場合には、その動領域の周辺のテンプレートの有無を確認し、無い場合に新しいテンプレートを作成するテンプレート登録法を用いている。
【０００９】
また、テンプレートのずれ対策としては、動領域から求められる類似度が人や車を示す場合には、その動領域のテンプレートの位置を動領域の位置情報に合わせて修正を行う。テンプレートがずれが大きくなったテンプレートは消去して、新しく対象の領域にテンプレートを生成する。
【００１０】
以上の処理は、形状特徴を抽出する形状特徴抽出手段と、テンプレートの操作を行うテンプレート処理手段の２つの手段の組み合わせにより実現される。
【００１１】
【発明の実施の形態】
本発明の請求項１に記載の発明は、映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に、少なくとも領域のサイズまたは画素数を含む動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段により検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状特徴抽出手段と、前記入力手段から得られた映像データから２次元フィルタ処理を行い、エッジ映像データを抽出するエッジ情報抽出手段と、前記エッジ情報抽出手段から得られたエッジ映像データと前記形状特徴抽出手段から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段と、前記テンプレート処理手段から得られたテンプレートの位置及び分類情報を出力する出力手段とを備えた移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１２】
本発明の請求項２に記載の発明は、形状特徴抽出手段は、ラベリング処理手段から抽出された各動領域別の画素数または領域のサイズに基づき対象とする物体の類似度を計算し、その類似度に基づいて、対象物体を示すテンプレートを生成する位置情報を抽出することを特徴とする請求項１記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１３】
本発明の請求項３に記載の発明は、形状特徴抽出手段から抽出される類似度は、ラベリング処理手段から抽出された各動領域に外接する矩形領域の位置を示す座標（Xstart、Ystart）、（Xend、Yend）（ただし、Yend≧ Ystart,Xend≧Xstart）および矩形領域の中で動領域が占める画素数またはこの画素数の平方根Gasoを用いて、類似度を算出することを特徴とする請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１４】
本発明の請求項４に記載の発明は、形状特徴抽出手段では、ラベリング処理手段から抽出された各動領域を外挿する矩形領域の位置を示す座標（Xstart、Ystart）、（Xend、Yend）（ただし、Yend≧Ystart,Xend ≧Xstart）からXsize=Xend-Xstart およびYsize=Yend-Ystart を算出し、各動領域のサイズとすることを特徴とする請求項３記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１５】
本発明の請求項５に記載の発明は、形状特徴抽出手段から抽出される類似度は、Xsize 、Ysize およびGasoの値とYendの値との関係を用いて算出することを特徴とする請求項３または４記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１６】
本発明の請求項６に記載の発明は、形状特徴抽出手段から抽出される類似度は、多数の動領域から抽出されたXsize 、Ysize およびGasoの値とYendの値を２次元グラフにプロットし、対象となる物体を示す線形の直線式Xsize=Ｆxsize （Yend）、Ysize=Ｆysize （Yend）およびGaso= Ｆgaso（Yend）を事前に求めておき、ラベリング処理手段から求められた各動領域別に求められるYendをこれらの式に代入し、その値Ｆysize(Yend) 、Ｆxsize(Yend) およびＦgaso(Yend)の値と各動領域から求められるXsize 、Ysize およびGasoとの割合を累積して類似度の算出することを特徴とする請求項５記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１７】
本発明の請求項７に記載の発明は、形状特徴抽出手段から抽出される類似度は、多数の動領域から抽出されたXsize 、Ysize およびGasoの値の結合関数Size=f(Xsize,Ysize,Gaso)とYendの値とを２次元グラフにプロットし、対象となる物体を示す線形の直線式Size=Fsize(Yend)を事前に求めておき、ラベリング処理手段から各動領域別に求められるYendをこの式に代入し、その値Fsize(Yend) と各動領域から求められるSize=f(Xsize,Ysize,Gaso)との割合であることを特徴とする請求項５記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１８】
本発明の請求項８に記載の発明は、結合関数f(Xsize,Ysize,Gaso) は、値Xsize 、Ysize およびGasoに関する線形結合αXSize+βYsize+γGasoであることを特徴とする請求項７記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００１９】
本発明の請求項９に記載の発明は、線形結合αXSize+βYsize+γGasoの係数α、β、γを、多数の動領域から抽出されたXsize 、Ysize およびGasoの値の分布に関する主成分分析によって決定することを特徴とする請求項８記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２０】
本発明の請求項１０に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部を、最小二乗法による近似によって決定することを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２１】
本発明の請求項１１に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部を、主成分分析による近似によって決定することを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２２】
本発明の請求項１２に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず最小二乗法による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度最小二乗法による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２３】
本発明の請求項１３に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず最小二乗法による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度主成分分析による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２４】
本発明の請求項１４に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず主成分分析による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度最小二乗法による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２５】
本発明の請求項１５に記載の発明は、線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず主成分分析による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度主成分分析による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２６】
本発明の請求項１６に記載の発明は、形状特徴抽出手段から抽出される類似度は、人間と車などの複数の対象物体の類似度を算出することを特徴とする請求項１または請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２７】
本発明の請求項１７に記載の発明は、テンプレート処理手段では、テンプレートの生成、マッチング、位置移動、テンプレートの更新および消去することを実行することを特徴とする請求項１または請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２８】
本発明の請求項１８に記載の発明は、テンプレート処理手段では、テンプレートの生成時にテンプレートの属性を示すために、テンプレートの番号、テンプレートの生成時に対象物体が何であったかを示す対象物体、テンプレートの現在の位置、位置更新をした場合の元の位置、更新した回数を示す更新回数、テンプレートが消滅対象となった場合に消滅を示す消滅フラグおよびテンプレートの内容を示すＴＸＳ＊ＴＹＳの画素値（ＴＸＳ，ＴＹＳはテンプレートのサイズを示す）を持つように設定することを特徴とする請求項１または請求項２記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００２９】
本発明の請求項１９に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、テンプレートの属性を設定したテンプレートを生成させることを特徴とする請求項１７または請求項１８記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３０】
本発明の請求項２０に記載の発明は、テンプレート処理手段では、テンプレートの生成は、形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、テンプレートの生成する位置を形状特徴抽出手段から抽出されたテンプレート設定位置にテンプレートを生成させることを特徴とする請求項１７から請求項１９までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３１】
本発明の請求項２１に記載の発明は、テンプレート処理手段では、抽出された動領域において形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、その動領域の周辺を探索して、対象となる物体と同一のテンプレートが存在する場合には、そのテンプレートの位置を更新し、テンプレートの内容を移動した位置の画素値に入れ替えることを特徴とする請求項１７から請求項２０までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３２】
本発明の請求項２２に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、テンプレートの位置更新がされないテンプレートについては、テンプレートの現在の位置を中心にテンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動し、テンプレートの属性を示す更新回数を増加し、移動前の位置を元の位置に設定することを特徴とする請求項１７から請求項２１までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３３】
本発明の請求項２３に記載の発明は、テンプレート処理手段では、テンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動した場合に、テンプレートの内容を現在の画素値と移動した位置の画素値とを事前に設定した割合で変更することを特徴とする請求項１７から請求項２２までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３４】
本発明の請求項２４に記載の発明は、テンプレート処理手段では、テンプレートマッチング処理として最短距離法またはＳＳＤＡ（Sequential Similarity Detection Algorithm）を行うことを特徴とする請求項１７から請求項２３までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３５】
本発明の請求項２５に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、全てのテンプレートに対して位置更新の処理を行った後、テンプレートの動きベクトルを求めて、同一動きベクトルが持つテンプレートが複数存在した場合には、その複数のテンプレートの中から位置や更新回数に応じて一つのテンプレートに消滅フラグを立てて消滅対象となったことを示し、この消滅フラグが立っているテンプレートが連続して消滅対象となった場合には、このテンプレートを消滅させることを特徴とする請求項１７から請求項２４までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３６】
本発明の請求項２６に記載の発明は、テンプレート処理手段では、入力手段から映像信号が転送される毎に、位置更新を含む一連の処理を行った後、全てのテンプレートに対してテンプレートの更新回数を確認し、所定の閾値以上の更新回数を持つテンプレートについては、テンプレートに消滅フラグを立てて消滅させることを特徴とする請求項１７から請求項２５までのいずれかに記載の移動物体抽出装置であり、テンプレートを自動生成することにより移動物体の抽出を容易に行うことができ、またテンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくすることにより、正しい対象物体像を正確に抽出できるという作用を有する。
【００３７】
（実施の形態）
以下、本発明の実施の形態を図１に基づいて説明する。図１において、１は映像を入力する入力手段、２は入力手段１から得られた映像データから動領域を検出する動領域抽出手段、３は入力手段１から得られた映像データから２次元フィルタ処理を行い、エッジ映像データを抽出するエッジ情報抽出手段、４は動領域抽出手段２から得られた動領域から各動領域別に領域の大きさや画素数等の動領域の情報を検出するラベリング処理手段、５はラベリング処理手段４により検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状特徴抽出手段、６はエッジ情報抽出手段３から得られたエッジ映像データと形状特徴抽出手段５から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段、７はテンプレート処理手段６から得られたテンプレートの位置や分類情報をディスプレイ等に表示する出力手段である。
【００３８】
入力手段１は、一般的には可視カメラであるが、暗視カメラや赤外線カメラ等の特殊な入力装置で置き換えることができる。入力手段１からの映像信号ａ、ｂは、動領域抽出手段２とエッジ情報抽出手段３に転送される。動領域抽出手段２では、映像信号間の差分や背景映像との差分または映像信号間の差分の累積（累積差分と呼ばれる）により動領域を検出する。この検出した動領域の信号ｃは、ラベリング処理手段４に転送される。動領域の信号ｃは、一般的には動きの有る部分と無い部分を区別できるような２値化映像信号の場合が多い。ラベリング処理手段４では、各動領域毎に分割処理を行ったり、分離はしているが一つのブロックとしてまとめることが可能な場合には、一つの動領域としてまとめる処理を施し、各動領域が区別できるラベリング信号ｅとして形状特徴抽出手段５に転送する。形状特徴抽出手段５では、映像内の各動領域から形状特徴を用いて人や車の類似度ｆやテンプレートの作成候補位置ｇを算出し、これらをテンプレート処理手段６に転送する。テンプレート処理手段６では、形状特徴抽出手段５から出力される類似度ｆが、適切な閾値よりも高い場合には、テンプレートの作成候補位置ｇを用いて、テンプレートの生成および位置修正を行う。また、類似度ｆが閾値よりも低い場合には，後述するＳＳＤＡを用いたマッチング処理を実施し、テンプレートの位置を変更する。変更されたテンプレートは、形状特徴抽出部５で検出された類似度ｆにより決められたルールに基づいて更新される。テンプレートのマッチング処理は、映像信号ｂからエッジ情報抽出手段３によりゾーベルフィルタ処理を行いエッジ画像ｄを抽出し、そのエッジ画像ｄに対してマッチング処理を行う。このため、テンプレートに保存される画像値は、エッジ画像ｄから抽出された値が格納されている。このエッジ情報抽出手段３では、ゾーベルフィルタを実施例として挙げているが、エッジ情報を抽出する処理であればゾーベルフィルタ処理に置き換えることが可能であるし、映像信号ｂを加工せずにテンプレート処理手段６に入力することも可能である。エッジ処理抽出を行う理由としては、マッチング処理を行った場合にパターンが明確に抽出できる利点がある。テンプレート処理手段６の結果は、テンプレートの属性情報ｈ（ 位置、対象物体の種類等）として出力手段７に転送され、移動物体の抽出結果を人間に示す。一般的には、出力手段７はディスプレイ等である。
【００３９】
次に、テンプレート処理の各処理部の詳細について説明する。前述したテンプレートマッチング法において、テンプレートに似たパターンを探索する手法としては、（１） 最短距離法、（２） ＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ） 、（３） 相関法、（４） 類似度法がある。以下に（１） 〜（４） の手法を簡単に説明する。
【００４０】
（１） 最短距離法
パターンを探索する最も直接的な方法は、既知のパターンに関するテンプレートと入力パターン間の距離を求め、最小の距離を示す入力パターンの位置を決定する方法である。ｔフレーム目の特定の領域をテンプレートＴ（ｉ，ｊ） とし、ｔ＋１フレームでテンプレートの領域を少しだけ広げた探索領域内の候補領域をＷ（ｉ，ｊ）とする。テンプレートは、最も整合のとれるパターン位置を探すために、探索領域内を移動する。探索領域の左上から（ｘ，ｙ） だけ移動した候補領域とテンプレート間の距離の２乗Ｄ（ｘ，ｙ） は、次式で与えられる。
【数１】
【００４１】
（２） ＳＳＤＡ
ＳＳＤＡは、テンプレートマッチング を高速に行う手法として開発されたものである。最短距離法のＤ（ｘ，ｙ）に対応する類似度Ｓ（ｘ，ｙ）は、次式で与えられる。
【数２】
（３） 相関法
横Ｍ 、縦Ｎ の大きさのテンプレートＴ（ｉ，ｊ）と候補領域Ｗ（ｉ，ｊ）の相関値は次式で与えられる。
【数３】
【００４３】
（４） 類似度法
類似度法は、２つのパターンのベクトルがなす角度を利用し、角度が小さいほどパターンが似ていることを表す。実際は、角度を直接用いるのではなく、次式で表される２つのベクトルのなす余弦を用いる。
（ａ，ｂ） ＝ ‖ａ ‖・ ‖ｂ ‖ｃｏｓ θ ・・・（４）
テンプレートＴ（ｉ，ｊ）と探索領域内の候補領域Ｗ（ｉ，ｊ）との類似度は、次式で与えられる。
Ｓ（ｘ，ｙ） ＝ （Ｔ（ｉ，ｊ），Ｗ（ｉ＋ｘ，ｊ＋ｙ）） ／‖Ｔ（ｉ，ｊ）‖・ ‖Ｗ（ｉ＋ｘ，ｊ＋ｙ）‖・・・（５）
類似度は、各々のベクトルの大きさで正規化するため、絶対輝度およびコントラストの影響を受けることがない。
【００４４】
以上のように、テンプレートのマッチング法の代表的な例を示したが、それ以外にも映像内でテンプレートとなる対象のパターンを事前に多数集めた学習データがある場合には、学習データの相関行列から固有ベクトルを求めて正規直交基底を算出してから相関をとるような統計手法がある。このような統計手法の難しさは、人を対象とした場合に、映像内で必要となるパターンが全て学習データとして採取できるかどうかであり、実用的な観点からはかなり困難と言える。
【００４５】
本発明でも、当然ながら上記した（１） 〜（４） や統計手法をどれでも選択が可能であるが、動領域のテンプレートを作成し、このテンプレートと入力画像とのマッチングをとる手法として一般的に用いられているものとしては、（３） の相関法がある。しかし、この手法には、前述したように相関法の特性として明るい領域へ引き込まれるという問題がある。このため、背景の輝度情報に影響を受け易い。そこで、本発明ではテンプレートの相関ではなく類似度を計算する手法を用いている。具体的には、（１） または（２） であり、高速性も兼ね備えた（２） のＳＳＤＡが特に有効である。この手法では、相関法のように明るい領域に引き込まれることなく、特定の領域を追跡することができる。しかし、この手法のデメリットは、抽出結果のずれが蓄積されると、テンプレートの位置が探索すべきパターンから外れてくることである。また、もう一つの課題としては、類似度法を用いたテンプレートマッチングによる対象物体の追跡の際には、存在する対象物体の数だけマッチングさせるテンプレートが用意されていなければならない。しかし、初期テンプレートを全て用意するのは困難であることは統計手法の説明で述べた通りである。このため、初期テンプレートの登録をどのようにするかが大きな課題として残されていた。
【００４６】
そこで本発明では、上記の課題を動画像処理の特徴を生かすような処理手順で解決する移動物体の追跡装置を提供している。すなわち、初期テンプレートについては動画像から動領域を検出し、その動領域が対象とする人や車である類似度を２値のパターンの形状特徴から検出する。その類似度が高い場合には、その動領域のテンプレートの有無を確認し、無い場合に新しいテンプレートを作成する自動テンプレート登録法を用いている。
【００４７】
また、テンプレートのずれ対策として動領域から求められる類似度が人や車を示す場合には、その動領域のテンプレートの位置を動領域の位置情報に合わせて修正を行う。テンプレートがずれが大きくなったテンプレートは消去して、新しく対象の領域にテンプレートを生成する。
【００４８】
次に、テンプレートの構成を図２に示す。テンプレートは、前述したように生成／消滅型のテンプレートである。テンプレートは、対象物体の数に合わせて発生する。ただし、図２の場合では、最大ｎ個までとする。各テンプレートは、テンプレートの生成時にテンプレートの番号が与えられる。この番号は、現在存在するテンプレートについては重複する番号を持たないようにしている。また、テンプレートの生成時に、テンプレートが生成させた対象物体の種類を示す対象物体識別の値が、対象物体情報に格納される。例えば、人間であると０、車であると１と言った情報である。各テンプレートには、現在のテンプレートの２次元画像上の座標（ｘ，ｙ） と前回の２次元画像上の座標（ｘ’，ｙ’） を持っている。前回の座標ｂ（ｘ’，ｙ’）を保持するのは、前回の位置から現在の位置への変化ベクトルｖ（ｎ）＝ａ（ｎ）−ｂ（ｎ）を求めるためである。ここで、ａ（ｎ）はテンプレートｎの現在の座標、ｂ（ｎ）はテンプレートｎの前回の座標、ｖ（ｎ）はテンプレートの変化ベクトルである。
【００４９】
この変化ベクトルｖ（ｎ）は、同一方向に動くテンプレートを見付けるためで、同一方向に連続して動くテンプレートは消滅対象となる。
【００５０】
更新回数は、生成時点で０ が設定されて、更新される度に１ずつ増える。更新回数は、テンプレートの強度に示す値でもあり、この値が低いものは消滅対象に成り易い。
【００５１】
減点ｆｌａｇは、変化ベクトルｖ（ｎ）が同一方向に動くテンプレートが２枚以上あった場合にｏｎ（１） となる。このｆｌａｇが立つと後述する処理で変更回数が減少されるとか、消滅する処理が発生する。
【００５２】
また、テンプレートの画素値は、テンプレートの生成時のテンプレートが重ねられるエッジ映像の位置の画素値が入る。その後、テンプレートマッチング毎に画素値が後述方法で更新される。ただし、テンプレートが形状特徴抽出手段５からの類似度ｆが適切な閾値以上の場合に位置更新された時には、生成時と同様にテンプレートが重ねられるエッジ映像の位置の画素値が入る。
【００５３】
次に、テンプレートの更新方法を示す。テンプレートの更新は、基本的には前回のテンプレート値および新しいマッチングしたパターンの画素値と重み係数αとの積和演算により求められる。変更式を次式に示す。
ＮＰ（ｘ，ｙ） ＝ α・ ＯＰ（ｘ，ｙ） ＋ （１− α）・ＴＰ（ｘ，ｙ） ・・・（６）
【００５４】
ここで、ＮＰ（ｘ，ｙ） は、テンプレート内座標（ｘ，ｙ） の新しい画素値、ＯＰ（ｘ，ｙ） は、前回までのテンプレート画素値、ＴＰ（ｘ，ｙ） はテンプレートがマッチングしたパターンのプレート内画素値である。本実施の形態では、αは０．８を用いている。ただし、αは処理の内部で動的に変化させることも可能である。つまり、対象物体が静止状態に近いときには、更新量を増やす方法を用いることもできる。なお、変更を行うと変更回数が＋１される。
【００５５】
次に、テンプレートの生成について説明する。テンプレートの生成は、後述する形状特徴抽手段５からの出力において対象領域の類似度が適切な閾値（本実施の形態では８０とする。）以上である場合に、指示された位置情報（人の場合には頭部）を中心にテンプレートを探索し、その範囲にテンプレートが無い場合に新しくテンプレートを発生させる方法を用いている。図３にその一例を示す。図３に示しように、テンプレートの生成時には、前述したように形状特徴抽出手段５からの出力において対象物体の領域１１の類似度が８０以上である場合に、形状特徴抽出手段５から指示された位置情報（人の場合には頭部）１２を中心に、ある範囲１３内においてテンプレートを探索する。その探索した結果、テンプレートが１つのみ存在する場合には、テンプレートの位置と形状特徴抽出部５で指示された位置とが異なる場合には変更処理を実施する。この処理が実施されるとテンプレートの画素値は、変更した位置でのプレートが重なったパターンの画素値に全て入れ替える。
【００５６】
次に、テンプレートの消滅について説明する。複数のテンプレートが存在する場合に、前述したテンプレートの位置変更ベクトルｖ（ｎ）が同一のテンプレートが存在する場合には、以下の処理を実施する。消滅ｆｌａｇをＯＮとする。このｆｌａｇがＯＮとなると変更時に変更回数を＋１にせずに以下の処理を実施する。
変更回数 ＞ Ｔ１ の場合・・・・ 変更回数 ＝ Ｔ２
Ｔ１ ＞ 変更回数 ＞ Ｔ２ の場合・・・・ 変更回数 ＝ Ｔ３
変更回数 ＜＝ Ｔ３ の場合・・・・ 消滅
【００５７】
ここで、Ｔ１＞＝Ｔ２＞＝３の関係がある閾値を示す。
この処理は、３ 回連続して消滅ｆｌａｇが立つ場合には消滅することを意味する。
【００５８】
なお、テンプレートの消滅は、上記の方法以外にも更新回数が適切な閾値以上になった場合にも消滅ｆｌａｇを立てて消滅させる場合がある。この時に、対象物体によって閾値を変える方法もある。
【００５９】
次に、形状特徴抽出手段５における処理について説明する。形状特徴には各種の特徴があるが、本発明で用いた動領域の形状特徴を説明する。本発明では、動領域別にラベリングされた矩形領域のサイズと矩形領域内の動領域の画素数の３つを形状を用いた形状特徴をしている。つまり、ラベリング処理手段４から抽出された各動領域を外挿する矩形領域の位置を示す２点の座標（Ｘｓｔａｒｔ 、Ｙｓｔａｒｔ） 、（Ｘｅｎｄ、Ｙｅｎｄ）（ただし、Ｙｅｎｄ≧ Ｙｓｔａｒｔ，Ｘｅｎｄ≧Ｘｓｔａｒｔ）からＸｓｉｚｅ＝Ｘｅｎｄ−Ｘｓｔａｒｔ およびＹｓｉｚｅ＝Ｙｅｎｄ−Ｙｓｔａｒを動領域のサイズとする。そして、この３つの形状を用いて対象物体の動領域別に次の３つの形状特徴を求める。
【００６０】
（１）対象物体の動領域のＸｓｉｚｅ とＹｅｎｄの直線近似
Ｘｓｉｚｅ とラベリング矩形下限座標値（画面の垂直方向座標）Ｙｅｎｄとの相関を近似した相関直線Ｆｘｓｉｚｅ（Ｙｅｎｄ）
（２）対象物体の動領域のＹｓｉｚｅ とＹｅｎｄの直線近似
Ｙｓｉｚｅとラベリング矩形下限座標値（画面の垂直方向座標）Ｙｅｎｄとの相関を近似した相関直線Ｆｙｓｉｚｅ（Ｙｅｎｄ）
（３）対象物体の動領域の画素数の平方根ＧａｓｏとＹｅｎｄの直線近似
画素数の平方根Ｇａｓｏとラベリング矩形下限座標値（画面の垂直方向座標）Ｙｅｎｄとの相関を近似した相関直線Ｆｇａｓｏ（Ｙｅｎｄ）
【００６１】
（１）〜（３）の形状特徴の直線近似は、実際に使用する入力手段１から対象物体が単数の場合の観測データを多数集めて、その分布を求め、その分布の中から最適な直線近似関数を求める。直線近似は、主成分分析法や最小２乗法を用いることによっても算出できるが、観測者の主観評価にて求めても良い。図４に対象物体の動領域の画素数の平方根ＧａｓｏとＹｅｎｄ空間における分布から直線近似を求めた例を示す。
【００６２】
なお、直線近似に際して主成分分析（第一主成分軸による近似）または最小二乗法（最小二乗近似直線による近似）を用いる場合、動きの少ない物体やカメラ視野から一部はみ出した物体、或いは影や床面・壁面による鏡面反射などが動領域データとして混入し、Ｘｓｉｚｅ ・Ｙｓｉｚｅ ・Ｇａｓｏそれぞれの分布にノイズとなって表れる場合がある。一般にこのようなノイズはＸｓｉｚｅ ・Ｙｓｉｚｅ ・Ｇａｓｏの値が異常に小さく出るため、ノイズデータを多く含む分布から近似直線を求めた場合、ノイズが負のバイアスとして表れてしまい、最適な近似直線よりも著しく下方にずれてしまう。このため、より適切な近似直線を求めるため、主成分分析ないし最小二乗法によって一次近似直線を求めた後、この一次近似直線よりも下方に分布するデータをノイズと考えて除去し、一次近似直線よりも上方に分布するデータのみを用いて再度近似直線を求めることにより最適な近似直線を決定することができる。このような方法によれば、観測者の主観評価を交えることなくシステマティックに最適な直線近似を行うことができる。
【００６３】
そして、観測された動領域から求められたラベリング矩形下限座標値Ｙ１ｅ と矩形サイズＸ１ｓｉｚｅ，Ｙ１ｓｉｚｅ および動領域の画素数の平方根Ｇａｓｏ１ を使用して、以下の評価値を求める。
（１）垂直フェレ長評価値Ｋ１
Ｘ１ｓｉｚｅ ＜＝ Ｆｘｓｉｚｅ（Ｙ１ｅ） ならば Ｋ１ ＝ Ｘ１ｓｉｚｅ／ Ｆｘｓｉｚｅ（Ｙ１ｅ ）
Ｘ１ｓｉｚｅ ＞ Ｆｘｓｉｚｅ（Ｙ１ｅ） ならば Ｋ１ ＝ Ｆｘｓｉｚｅ（Ｙ１ｅ）／Ｘ１ｓｉｚｅ
（２）水平フェレ長評価値Ｋ２
Ｙ１ｓｉｚｅ ＜＝ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ２ ＝ Ｙ１ｓｉｚｅ／ Ｆｙｓｉｚｅ（Ｙ１ｅ ）
Ｙ１ｓｉｚｅ ＞ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ２ ＝ Ｆｙｓｉｚｅ（Ｙ１ｅ）／Ｙ１ｓｉｚｅ
（３）動物体領域面積評価値Ｋ３ ＝ Ｇａｓｏ１ ／ Ｆｇａｓｏ（Ｙ１ｅ）
Ｇａｓｏ１ ＜＝ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ３ ＝ Ｇａｓｏ１／Ｆｇａｓｏ（Ｙ１ｅ）
Ｇａｓｏ１ ＞ Ｆｙｓｉｚｅ（Ｙ１ｅ） ならば Ｋ３ ＝ Ｆｇａｓｏ（Ｙ１ｅ）／Ｇａｓｏ１
【００６４】
次に、上記の形状特徴から形状特徴抽出手段５で求められる類似度Ｒ２ について説明する。類似度とは、抽出された動領域の”対象物体らしさ”を示すスコアであり、例えば、対象物体を人間とすると、一人の人間の体がほぼ完全に動物体領域として正しく抽出された場合に高い値を示すものとする。したがって、影等のノイズ領域が抽出されたり、人間が停止、複数人間の画面上の重なり、障害物による一部隠蔽等によって完全な形で動物体領域抽出できなかった場合、低い値となる。この類似度を求めるためには、用いる形状特徴量およびその算出方法が問題であるが、ここでは以下に示す手法について説明する。
【００６５】
（１） 類似度算出の考え方
類似度の基本的な考え方は、”対象物体の大きさ”の情報を抽出しスコア化するというものである。本実施の形態では対象物体を人間とする。但し、画像上の大きさそのものでは対象物体の位置変化に伴う値の変化が発生するため、この影響を考慮して、前述したラベリング矩形下限座標値と矩形サイズの直線近似、および動領域画素数の平方根の直線近似の３特徴量を用いることにする。
【００６６】
（２） 類似度算出
前述した３特徴量別に抽出された評価値から類似度を算出する。算出式は以下の通り。動物体領域面積および水平フェレ長よりも垂直フェレ長の方が人間の形状変化の影響を受け難いので、垂直フェレ長の重みを他のλ倍に大きくした（λ＝２とした）。
Ｒ２ ＝（Ｋ１＋ λ・ Ｋ２＋Ｋ３） ／（λ＋２） ・・・（７）
但し、 Ｋ１ ：動物体領域面積評価値
Ｋ２ ：垂直フェレ長評価値
Ｋ３ ：水平フェレ長評価値
【００６７】
なお、入力手段１の設置現場の状況に合わせて、類似度の調整を行うことが可能であるので、類似度Ｒ２ 計算にはＫ１ 〜Ｋ３ に固定または状況に応じて変化する動的なパラメータを付けて行うことができる。
【００６８】
なお、上記のように３つの形状特徴Ｋ１ 、Ｋ２ 、Ｋ３ を別々に求めるのではなく、Ｘｓｉｚｅ 、Ｙｓｉｚｅ 、Ｇａｓｏの３つが“対象物体の大きさ”という同じ次元を持ち、また対象物体がほぼ一定した形状を保つ場合にはこれらの相関が非常に高いことから、これらの線形結合Ｓｉｚｅ＝ αＸｓｉｚｅ＋βＹｓｉｚｅ＋γＧａｓｏを用いて単一の形状特徴Ｋを求める方法も可能である。この線形結合の係数α・β・γは任意に定めることができるが、Ｘｓｉｚｅ ・Ｙｓｉｚｅ ・Ｇａｓｏの相関の高さを積極的に利用して、（Ｘｓｉｚｅ，Ｙｓｉｚｅ，Ｇａｓｏ）の３次元空間での分布を主成分分析して第１主成分軸を求め、この軸に射影するように係数を定めるのが妥当である。前記Ｒ２ の算出式（７） でＫ１ 、Ｋ２ 、Ｋ３ の加重平均を求める際に重みをそれぞれ１／４ 、１／２ 、１／４ としているが、この値は経験的に決定されたものであり、上記のように主成分分析を用いることでより適切な係数を選択することができる。
【００６９】
次に、形状特徴抽出手段５から求められるテンプレートの生成位置について説明する。人間等を対象物体としてテンプレートを作成しテンプレートマッチング処理を行う場合、運動時における形状の変化の影響を最小限に留めるために、頭部を抽出してテンプレートとする方法が有効と考えている。また、処理時間の面においてもテンプレートとする領域の面積は小さい方が有利であり、この点においても頭部領域抽出には意味がある。
【００７０】
そこで本発明では、対象物体が人間の際に動物体領域の中から頭部領域を抽出する方法について図５に基づいて説明する。
（１）頭部抽出領域の設定
ラベリング外接長方形において動物体領域２１の上部Ｋ％の領域１５を頭部抽出領域２２として設定する。
（２）水平プロファイルデータ作成
頭部抽出領域２２内の動物体領域画素数を垂直方向に加算して、プロファイルデータ２３を作成する。次にこのプロファイルデータ２３の最大値となるＸ座標Ｘｍａｘ１６を検索する。
（３）頭部領域の抽出
Ｘｍａｘ１６から左右にプロファイルデータを検索し、最大値に対してＮ％以下となるＸ座標を２点１７、１８抽出する。この２点１７、１８を両端とし、この２点間距離を一辺としてラベリング外接長方形の上辺に接する正方形を頭部領域１９として決定する。
【００７１】
【発明の効果】
以上説明したように、本発明による動物物体抽出装置は、映像を入力する入力手段と、この入力手段から得られた映像データから動領域を検出する動領域抽出手段と、この動領域抽出手段から得られた動領域から各動領域別に領域の大きさや画素数等の動領域の情報を検出するラベリング処理手段と、ラベリング処理手段により検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状特徴抽出手段と、入力手段から得られた映像データから２次元フィルタ処理を行い、エッジ映像データを抽出するエッジ情報抽出手段と、エッジ情報抽出手段から得られたエッジ映像データと形状特徴抽出手段から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段と、テンプレート処理手段から得られたテンプレートの位置や分類情報を表示する出力手段とを備えたものであり、第一に、テンプレートの自動生成方法により移動物体の抽出を容易に行うことができ、第二に、テンプレートマッチングのみで動物体を追跡した場合のテンプレートのずれを少なくするできるので、正しい対象物体像を正確に抽出できるという優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態における移動物体抽出装置の基本構成を示すブロック図
【図２】本発明の実施の形態におけるテンプレートの構成を示す模式図
【図３】本発明の実施の形態におけるテンプレート生成時や位置変更時におけるテンプレートの探索例を示す模式図
【図４】本発明の実施の形態における形状特徴を示す直線近似例を示す模式図
【図５】本発明の形状特徴抽出手段におけるテンプレート生成位置の抽出例を示す模式図
【符号の説明】
１ 入力手段
２ 動領域抽出手段
３ エッジ情報抽出手段
４ ラベリング処理手段
５ 形状特徴抽出手段
６ テンプレート処理手段
７ 出力手段
Claims (32)
- 映像を入力する入力手段と、前記の入力手段から得られた映像データから動領域を検出する動領域抽出手段と、前記の動領域抽出手段から得られた動領域から各動領域別に、少なくとも領域のサイズまたは画素数を含む動領域の情報を検出するラベリング処理手段と、前記ラベリング処理手段により検出された各動領域の情報を用いて、その動領域が対象とする物体にどの程度似ているかを示す情報を抽出する形状特徴抽出手段と、前記入力手段から得られた映像データから２次元フィルタ処理を行い、エッジ映像データを抽出するエッジ情報抽出手段と、前記エッジ情報抽出手段から得られたエッジ映像データと前記形状特徴抽出手段から得られた動領域の情報に基づいてテンプレートの操作を行うテンプレート処理手段と、前記テンプレート処理手段から得られたテンプレートの位置及び分類情報を出力する出力手段とを備えた移動物体抽出装置。
- 形状特徴抽出手段は、ラベリング処理手段から抽出された各動領域別の画素数または領域のサイズに基づき対象とする物体の類似度を計算し、その類似度に基づいて、対象物体を示すテンプレートを生成する位置情報を抽出することを特徴とする請求項１記載の移動物体抽出装置。
- 形状特徴抽出手段から抽出される類似度は、ラベリング処理手段から抽出された各動領域に外接する矩形領域の位置を示す座標（Xstart、Ystart）、（Xend、Yend）（ただし、Yend≧ Ystart,Xend≧Xstart）および矩形領域の中で動領域が占める画素数またはこの画素数の平方根Gasoを用いて、類似度を算出することを特徴とする請求項２記載の移動物体抽出装置。
- 形状特徴抽出手段では、ラベリング処理手段から抽出された各動領域を外挿する矩形領域の位置を示す座標（Xstart、Ystart）、（Xend、Yend）（ただし、Yend≧Ystart,Xend ≧Xstart）からXsize=Xend-Xstart およびYsize=Yend-Ystart を算出し、各動領域のサイズとすることを特徴とする請求項３記載の移動物体抽出装置。
- 形状特徴抽出手段から抽出される類似度は、Xsize 、Ysize およびGasoの値とYendの値との関係を用いて算出することを特徴とする請求項３または４記載の移動物体抽出装置。
- 形状特徴抽出手段から抽出される類似度は、多数の動領域から抽出されたXsize 、Ysize およびGasoの値とYendの値を２次元グラフにプロットし、対象となる物体を示す線形の直線式Xsize=Ｆxsize （Yend）、Ysize=Ｆysize （Yend）およびGaso= Ｆgaso（Yend）を事前に求めておき、ラベリング処理手段から求められた各動領域別に求められるYendをこれらの式に代入し、その値Ｆysize(Yend) 、Ｆxsize(Yend) およびＦgaso(Yend)の値と各動領域から求められるXsize 、Ysize およびGasoとの割合を累積して類似度の算出することを特徴とする請求項５記載の移動物体抽出装置。
- 形状特徴抽出手段から抽出される類似度は、多数の動領域から抽出されたXsize 、Ysize およびGasoの値の結合関数Size=f(Xsize,Ysize,Gaso)とYendの値とを２次元グラフにプロットし、対象となる物体を示す線形の直線式Size=Fsize(Yend)を事前に求めておき、ラベリング処理手段から各動領域別に求められるYendをこの式に代入し、その値Fsize(Yend) と各動領域から求められるSize=f(Xsize,Ysize,Gaso)との割合であることを特徴とする請求項５記載の移動物体抽出装置。
- 結合関数f(Xsize,Ysize,Gaso) は、値Xsize 、Ysize およびGasoに関する線形結合αXSize+βYsize+γGasoであることを特徴とする請求項７記載の移動物体抽出装置。
- 線形結合αXSize+βYsize+γGasoの係数α、β、γを、多数の動領域から抽出されたXsize 、Ysize およびGasoの値の分布に関する主成分分析によって決定することを特徴とする請求項８記載の移動物体抽出装置。
- 線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部を、最小二乗法による近似によって決定することを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置。
- 線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部を、主成分分析による近似によって決定することを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置。
- 線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず最小二乗法による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度最小二乗法による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置。
- 線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず最小二乗法による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度主成分分析による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置。
- 線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず主成分分析による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度最小二乗法による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置。
- 線形の直線式Xsize=Fxsize(Yend)、Ysize=Fysize(Yend)、Gaso=Fgaso(Yend)およびSize=Fsize(Yend)の全てまたは一部として、まず主成分分析による近似によって一次近似直線を決定し、次に前記一次近似直線の上側にある点のみを用いて再度主成分分析による近似によって決定される二次近似直線を用いることを特徴とする請求項６から請求項９までのいずれかに記載の移動物体抽出装置。
- 形状特徴抽出手段から抽出される類似度は、人間と車などの複数の対象物体の類似度を算出することを特徴とする請求項１または請求項２記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートの生成、マッチング、位置移動、テンプレートの更新および消去することを実行することを特徴とする請求項１または請求項２記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートの生成時にテンプレートの属性を示すために、テンプレートの番号、テンプレートの生成時に対象物体が何であったかを示す対象物体、テンプレートの現在の位置、位置更新をした場合の元の位置、更新した回数を示す更新回数、テンプレートが消滅対象となった場合に消滅を示す消滅フラグおよびテンプレートの内容を示すＴＸＳ＊ＴＹＳの画素値（ＴＸＳ，ＴＹＳはテンプレートのサイズを示す）を持つように設定することを特徴とする請求項１または請求項２記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートの生成は、形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、テンプレートの属性を設定したテンプレートを生成させることを特徴とする請求項１７または請求項１８記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートの生成は、形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、テンプレートの生成する位置を形状特徴抽出手段から抽出されたテンプレート設定位置にテンプレートを生成させることを特徴とする請求項１７から請求項１９までのいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、抽出された動領域において形状特徴抽出手段から抽出された類似度が所定の閾値以上の場合に、その動領域の周辺を探索して、対象となる物体と同一のテンプレートが存在する場合には、そのテンプレートの位置を更新し、テンプレートの内容を移動した位置の画素値に入れ替えることを特徴とする請求項１７から請求項２０までのいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、入力手段から映像信号が転送される毎に、テンプレートの位置更新がされないテンプレートについては、テンプレートの現在の位置を中心にテンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動し、テンプレートの属性を示す更新回数を増加し、移動前の位置を元の位置に設定することを特徴とする請求項１７から請求項２１までのいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートマッチング処理を実行し、誤差が最も少ない位置にテンプレートを移動した場合に、テンプレートの内容を現在の画素値と移動した位置の画素値とを事前に設定した割合で変更することを特徴とする請求項１７から請求項２２までのいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、テンプレートマッチング処理として最短距離法またはＳＳＤＡ（Sequential Similarity Detection Algorithm）を行うことを特徴とする請求項１７から請求項２３までのいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、入力手段から映像信号が転送される毎に、全てのテンプレートに対して位置更新の処理を行った後、テンプレートの動きベクトルを求めて、同一動きベクトルが持つテンプレートが複数存在した場合には、その複数のテンプレートの中から位置や更新回数に応じて一つのテンプレートに消滅フラグを立てて消滅対象となったことを示し、この消滅フラグが立っているテンプレートが連続して消滅対象となった場合には、このテンプレートを消滅させることを特徴とする請求項１７から請求項２４までのいずれかに記載の移動物体抽出装置。
- テンプレート処理手段では、入力手段から映像信号が転送される毎に、位置更新を含む一連の処理を行った後、全てのテンプレートに対してテンプレートの更新回数を確認し、所定の閾値以上の更新回数を持つテンプレートについては、テンプレートに消滅フラグを立てて消滅させることを特徴とする請求項１７から請求項２５までのいずれかに記載の移動物体抽出装置。
- 映像データを入力する入力手段と、前記映像データから動領域を検出する動領域抽出手段と、前記動領域毎に、少なくとも画素数またはサイズを含む動領域の情報を検出するラベリング処理手段と、前記動領域の情報に基づき、前記動領域と対象物体との類似度を種別毎に算出するとともに、前記対象物体の種別毎に動領域からテンプレートの生成候補位置を算出する形状特徴抽出手段と、前記対象物体の種別毎の前記類似度に基づいて、前記映像データと前記テンプレート生成候補位置からテンプレートの生成または更新を行うテンプレート処理手段と、前記テンプレート処理手段において生成または更新されたテンプレートに基づき得られた移動対象物体の種別及び位置情報を出力する出力手段とを備えた移動物体抽出装置。
- さらに、前記テンプレート処理手段は、入力手段から得られた映像データに対してエッジ抽出処理を行い、得られたエッジ映像データをテンプレートとすることを特徴とする請求項２７記載の移動物体抽出装置。
- 前記テンプレートの構成は、テンプレートの番号、対象物体の種別、テンプレートの現在の位置、位置更新をした場合の元の位置、更新した回数を示す更新回数、テンプレートが消滅対象となった場合に消滅を示す消滅フラグおよびテンプレートの内容を示す画素値を含むことを特徴とする請求項２７または請求項２８に記載の移動物体抽出装置。
- 前記テンプレート処理手段は、前記類似度が所定の閾値以上の場合に、前記テンプレート生成候補位置に基づいた探索範囲にテンプレートが存在するか探索し、前記テンプレートが存在しない場合は、前記エッジ映像データと前記テンプレート生成候補位置から新たにテンプレートを生成し、前記テンプレートが存在する場合は、前記エッジ映像データと前記テンプレート生成候補位置から前記テンプレートを更新することを特徴とする請求項２７から請求項２９までのいずれかに記載の移動物体抽出装置。
- 前記テンプレート処理手段は、前記類似度が所定の閾値以上の場合に、前記テンプレート生成候補位置に基づいた探索範囲にテンプレートが存在するか探索し、前記テンプレートが存在しない場合は、前記エッジ映像データと前記テンプレート生成候補位置から新たにテンプレートを生成し、前記テンプレートが存在する場合は、前記エ ッジ映像データと前記テンプレート生成候補位置から前記テンプレートを更新し、前記類似度が所定の閾値未満の場合に、テンプレートマッチング処理を行い、結果得られた前記テンプレートを更新することを特徴とする請求項２７から請求項２９までのいずれかに記載の移動物体抽出装置。
- 前記テンプレートの画素値の更新は、前記テンプレートの画素値を現在の画素値と移動した位置の画素値とを設定した割合で生成することを特徴とする請求項３０または請求項３１に記載の移動物体抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP914997A JP3576734B2 (ja) | 1997-01-22 | 1997-01-22 | 移動物体抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP914997A JP3576734B2 (ja) | 1997-01-22 | 1997-01-22 | 移動物体抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10208059A JPH10208059A (ja) | 1998-08-07 |
| JP3576734B2 true JP3576734B2 (ja) | 2004-10-13 |
Family
ID=11712571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP914997A Expired - Fee Related JP3576734B2 (ja) | 1997-01-22 | 1997-01-22 | 移動物体抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3576734B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002024835A (ja) * | 2000-07-11 | 2002-01-25 | Namco Ltd | 動作検出装置、動作検出方法および情報記憶媒体 |
| JP4787424B2 (ja) * | 2001-06-01 | 2011-10-05 | 財団法人エヌエイチケイエンジニアリングサービス | 映像オブジェクト検出・追跡装置 |
| JP2003044859A (ja) * | 2001-07-30 | 2003-02-14 | Matsushita Electric Ind Co Ltd | 動き追跡装置及び人物追跡方法 |
| JP4597543B2 (ja) * | 2004-02-18 | 2010-12-15 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
| JP2010063001A (ja) * | 2008-09-05 | 2010-03-18 | Mitsubishi Electric Corp | 人物追跡装置および人物追跡プログラム |
| JP5128454B2 (ja) * | 2008-12-17 | 2013-01-23 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
-
1997
- 1997-01-22 JP JP914997A patent/JP3576734B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10208059A (ja) | 1998-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sochor et al. | Traffic surveillance camera calibration by 3d model bounding box alignment for accurate vehicle speed measurement | |
| Mei et al. | A constant-time efficient stereo slam system | |
| CN102612704B (zh) | 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法 | |
| US6205242B1 (en) | Image monitor apparatus and a method | |
| CN109523551B (zh) | 一种获取机器人行走姿态的方法及系统 | |
| JP2009055139A (ja) | 人物追跡システム、人物追跡装置および人物追跡プログラム | |
| CN101167086A (zh) | 用于安全应用的人体检测和跟踪 | |
| CN108961286B (zh) | 一种顾及建筑物三维及边缘形状特征的无人机影像分割方法 | |
| JP2007234019A (ja) | 車両画像領域特定装置およびその方法 | |
| EP3549094A1 (en) | Method and system for creating images | |
| CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
| Stevens et al. | Precise matching of 3-D target models to multisensor data | |
| CN110263662B (zh) | 一种基于分级的人体轮廓关键点和关键部位识别方法 | |
| CN109460764A (zh) | 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法 | |
| JP3577875B2 (ja) | 移動物体抽出装置 | |
| Batista et al. | Lane detection and estimation using perspective image | |
| WO2011039977A1 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
| JP3576734B2 (ja) | 移動物体抽出装置 | |
| Kröhnert et al. | Segmentation of environmental time lapse image sequences for the determination of shore lines captured by hand-held smartphone cameras | |
| CN103778625A (zh) | 基于遥感图像变化检测算法的地物智能搜索技术 | |
| Shi et al. | A method for detecting pedestrian height and distance based on monocular vision technology | |
| Kaske et al. | Chi-square fitting of deformable templates for lane boundary detection | |
| JP2010136207A (ja) | 歩行者検出表示システム | |
| Teal et al. | Spatial-Temporal Reasoning Based on Object Motion. | |
| Dederscheck et al. | Illumination invariance for driving scene optical flow using comparagram preselection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040706 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |