JP3929819B2 - 監視装置及び方法並びにプログラム - Google Patents
監視装置及び方法並びにプログラム Download PDFInfo
- Publication number
- JP3929819B2 JP3929819B2 JP2002124748A JP2002124748A JP3929819B2 JP 3929819 B2 JP3929819 B2 JP 3929819B2 JP 2002124748 A JP2002124748 A JP 2002124748A JP 2002124748 A JP2002124748 A JP 2002124748A JP 3929819 B2 JP3929819 B2 JP 3929819B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- area
- correlation
- foreground
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は人などの移動物体を監視する動画像処理技術を用いた監視装置及び方法並びにプログラムに関するものである。
【０００２】
【従来の技術】
一般に、動画像処理技術を用いた監視装置として、例えば森田俊彦：局所相関演算による動きの検知と追跡（電子情報学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ Ｎｏ．２，ｐｐ．２９９〜３０９，２００１年２月）に掲載された監視装置が知られている。
【０００３】
図１２は上述した従来の監視装置の構成を示すブロック図である。図において、１は監視カメラ（カメラ）、２は画像入力部、３は画像記憶部、１４は画像全体相関ブロック設定部、１５は相関演算実行部、１６は背景動きベクトル検出部、１７は移動（前景）ブロック選択部、１８は前景動きベクトル検出部、１９は移動（前景）ブロック重心検出部、２０は追尾中心決定部、そして、２１はカメラ制御部である。カメラ１は連続的にカメラ視野内を撮像して映像を得ている。また、カメラ１は、所謂首振り（３軸方向への移動制御）及びズーム機能を有しており、カメラ制御部２１によってカメラ１が首振り及びズーム制御されてカメラ視野内に侵入した侵入者等の移動物体を追尾する。そして、カメラ１で移動物体を追尾する際には、カメラ１から得られた映像に応じて移動物体像を認識して、カメラ制御部２１がカメラ１を追尾制御する。
【０００４】
次に動作について説明する。
この監視装置では、カメラ１で連続的に撮像された映像（動画像：以下、カメラ画像と称する）が順次画像入力部２に与えられる。この画像入力部２からカメラ画像が画像記憶部３に一旦記憶されるとともに、相関演算実行部１５に与えられる。一方、画像記憶部３に記憶されたカメラ画像は、画像全体相関ブロック設定部１４に与えられる。
【０００５】
図１３は図１２中の監視装置における監視カメラの制御を説明する図である。この図を参照すると、画像全体相関ブロック設定部１４では、カメラ画像の画像フレームを予め規定された数の検知領域ＤＡＲに分割する（図１３（ａ））。さらに、画像全体相関ブロック設定部１４では、各検知領域ＤＡを予め定められた数の小ブロック（相関演算ブロック）に分割する。このようにして、小ブロックに分割された画像フレーム（以下分割画像フレームと呼ぶ）は相関演算実行部１５に渡される。
【０００６】
いま、時刻ｔにおいて、画像入力部２から画像フレームがテンプレート画像フレームとして相関演算実行部１５に与えられるとすると、１つ前の画像フレーム（分割画像フレーム）、つまり、時刻（ｔ−１）における画像フレームが探索画像フレームとして画像全体相関ブロック設定部１４から相関演算実行部１５に与えられることになる。言い換えると、時刻（ｔ−１）における画像フレームと時刻ｔにおける画像フレームとが同一のタイミングで相関演算実行部１５に与えられる。そして、相関演算実行部１５では、テンプレート画像フレームと探索画像フレームとの相関関係を求める。
【０００７】
このとき、相関演算実行部１５は、テンプレート画像フレームを複数の画像ブロックに分割する。つまり、テンプレート画像フレームを複数の画像ブロックの集合とする。ここでは、この画像ブロックをブロックテンプレートと称し、各ブロックテンプレートは、例えば（ｗｘ×ｗｙ）のサイズを有するものとする。ここで、ｗｘ及びｗｙは、それぞれ直交座標のｘ軸方向長さ及びｙ軸方向長さを表す。一方、前述のように、探索画像フレームは、複数の検知領域ＤＡに分割されており、各検知領域ＤＡがサーチ領域として用いられる。このサーチ領域は、例えば｛（ｗｘ＋２ｒｘ）×（ｗｙ＋２ｒｙ）｝（ｒは１以上の整数）のサイズを有している。また、前述の各ブロックテンプレートを用いて各サーチ領域に対して前述の小ブロック毎に相関演算を行って、各ブロックテンプレートについて各サーチ領域毎に小ブロック毎のスコア値（相関結果値）を求め、スコアマップとする。つまり、各サーチ領域において小ブロック毎にスコアマップが生成されることになる。
【０００８】
このようにして求められたスコアマップは、順次（時々刻々）相関演算実行部１５から背景動きベクトル検出部１６に与えられる。背景動きベクトル検出部１６では、スコアマップに基づいて背景動きベクトルを求める。例えば、スコアマップ内のピーク値とスコアマップの中心位置におけるスコア値とを比較して予め定められた閾値を越えると、動きが顕著であると判定する。そして、このように動きが顕著であると判定されたスコアマップを順次累積して累積スコアマップとする。次に、累積スコアマップにおいて、極小ピークを示す位置（ｘｍ，ｙｍ）を求める。そして、この極小ピーク位置（ｘｍ，ｙｍ）を背景動きベクトルとする。
【０００９】
上述の背景動きベクトルは、移動（前景）ブロック選択部１７に与えられる。さらに、移動ブロック選択部１７には、追尾中心決定部２０から追尾中心の位置（ｘ−ｙ座標値）を示す追尾中心情報が与えられるとともに、相関演算実行部１５からスコアマップが与えられる。
図１４は画像全体における背景領域と追尾領域との関係を示す図である。図に示すように、移動ブロック選択部１７では追尾中心情報に応じて、追尾中心位置（ｘ，ｙ）を中心とする追尾領域Ｒ（例えば、長方形領域であり、検知領域に対応する）を設定する。
【００１０】
なお、図において、ＦＧは追尾領域Ｒの内側に存在する小ブロックを表し、ＢＧは追尾領域Ｒの外側（つまり、背景領域）に存在する小ブロックを表す。次に、上記の追尾領域Ｒ内に存在する全ての小ブロックＦＧに関するスコア値から背景動きベクトル（絶対値）を減算して、背景の動きに対する相対的な動きを示すスコアマップを得る（以下、このスコアマップを相対スコアマップと称する）。
【００１１】
さらに、この相対スコアマップについて、相対スコアマップ内のピーク値と相対スコアマップの中心位置におけるスコア値とを比較して所定の閾値を越えると、動きが顕著であると判定する。そして、動きが顕著であると判定された小ブロックを移動ブロックとして選択して、そのスコアマップを前景動きベクトル検出部１８に与える。これによって、例えば図１３（ｂ）に太枠で示す検知領域が選択領域（追尾領域）Ｒとして選択される。
【００１２】
前景動きベクトル検出部１８では、上述のようにして選択された選択領域についてスコアマップ（相関スコアマップ）を累積加算して、累積相関スコアマップとする。この累積加算によって、選択領域においてピーク値付近の累積値は相対的に高くなり、それ以外の部分では相対的に累積値は低くなる。そして、この累積相関スコアマップから極小値を求めて前景動きベクトルとし、この前景動きベクトルを追尾中心決定部２０に与える。
【００１３】
また、前述の選択領域におけるスコアマップは、移動（前景）ブロック重心検出部１９にも与えられている。この移動（前景）ブロック重心検出部１９では、取得したスコアマップに応じて選択領域の重心を検出する。
【００１４】
図１５は図１２中の移動ブロック重心検出部の動作を説明する図である。図に示すように、選択領域が７×５のサイズ（７×５ブロック）であるとする。ここで、図中の■部分は選択小ブロック＝ｆ（ｘ，ｙ）＝１、□部分は非選択小ブロック＝ｆ（ｘ，ｙ）＝０であるものとする。
【００１５】
選択小ブロック数は１３個であるので、その累積値Ｍ００＝１３、ｘ座標値の累積値Ｍ０１＝３９、ｙ座標値の累積値Ｍ１０＝２６となる。そして、重心のｘ座標値＝Ｍ０１／Ｍ００＝３９／１３＝３、重心のｙ座標値＝Ｍ１０／Ｍ００＝２６／１３＝２となる。つまり、図１５に示す選択領域では、（３，２）が重心となる（モーメント計算と呼ぶ）。そして、この重心は移動（前景）ブロック重心として追尾中心決定部２０に与えられる。
【００１６】
追尾中心決定部２０では、前景動きベクトル及び前景ブロック重心に応じて追尾中心を決定する。例えば、前景動きベクトルが（Ｖｘ，Ｖｙ）、重心が（Ｇｘ，Ｇｙ）であるとすると、追尾中心は（Ｇｘ＋Ｖｘ，Ｇｙ＋Ｖｙ）となる。そして、この追尾中心は追尾中心情報として移動ブロック選択部１７に与えられるとともに、カメラ制御部２１に与えられる。
【００１７】
カメラ制御部２１では、追尾中心情報に基づいてカメラ１を駆動制御する。つまり、カメラ制御部２１は、追尾中心を画像フレームの中心に位置づけるようにカメラ１を首振り制御することになる。この際、時々刻々入力される追尾中心情報に応じて、カメラ制御部２１は、追尾対象（移動物体）の移動速度を得て、移動速度も考慮して首振り制御を行う。
【００１８】
上述のようにして、動きが顕著であると判定された検知領域（図１３（ｂ）に太枠で示す）を追尾領域Ｒとして、追尾モードに切り替わることになる。そして、追尾領域Ｒを移動物体（図示せず）の移動に合わせて追尾させることになる（図１３（ｃ））。この際、図１３（ｄ）に示すように、カメラ１が首振り制御されて、移動物体の中心が常に画像フレームの中心にくるようにすることになる。
【００１９】
図１６は移動物体が人である際の追尾の一例を示す図である。図において、移動物体が人（Ｐ）であるとすると（図１６（ａ））、前述のようにして、各小ブロック毎に背景動きベクトル（移動ベクトル）が求められる（図１６（ｂ））。これら移動ベクトルに応じて追尾領域内で、全小ブロックに関する相関結果から得られる背景の動きベクトルと異なる移動ベクトルを有するブロック群（移動ブロック群）Ｂを得る（図１６（ｃ））。
【００２０】
そして、移動ブロック群Ｂに関する相関結果から移動物体（人）の代表ベクトルｍ、移動ブロック群の中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベクトル）を得る（図１６（ｄ））。そして、次回の追尾中心は現在の追尾中心を（ｍ＋ｅ）シフトさせて追尾を行う。このように、ずれｅを加えることで、常に追尾領域の中心と移動物体像の中心とが一致し、長時間にわたり安定して追尾を行うことができることになる。
【００２１】
【発明が解決しようとする課題】
従来の監視装置は上記のように構成されているので、画像フレーム全体について相関演算を行い、その結果に基づいて背景の動きベクトルを求めることから、移動物体像が画像中で大きな領域を占めている際には、移動物体自体の動きを無視することができない。一方、追尾領域で背景の動きベクトルと異なる動きベクトルを有する移動ブロック群を選択して、移動ブロック群の中心と追尾領域の中心とのずれを移動量に加算して移動物体を追尾している。このため、人間のようにその状態を変化させつつ移動する物体の場合には（特に、周期的に振られる四肢部に関する移動ブロックは出現と消滅を繰り返すため）、移動ブロック群の中心が安定しないことになる。
【００２２】
図１７は移動物体が人である際の追尾の他の例を示す図である。この図を参照して具体的に説明すると、例えば図１７（ａ）に示す人（Ｐ）を追尾しようとする際、周期的に振られる四肢部に関する移動ブロックは、出現と消滅を繰り返す。このとき、図１７（ｂ）に示すように各小ブロック毎に移動ベクトルが求められると、このうちの背景の動きベクトルと異なる動きベクトルを有するブロック群（移動ブロック）Ｂが占める領域は、極端に小さくなってしまう（図１７（ｃ））。この結果に基づいて、移動ブロックに関する相関結果から移動物体（人）の代表ベクトルｍ、移動ブロック群の中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅを得ることになる（図１７（ｄ））。
【００２３】
このように、移動ブロック群自体が極めて小さく、しかも、周期的に振られる四肢部に関する移動ブロックは出現と消滅を繰り返すことから、人等の移動物体を安定して追尾することが難しいという課題があった。つまり、不安定な移動ブロックから、移動物体の大きさを判定することは難しく、的確にしかも安定して移動物体を追尾制御することが難しいという課題があった。
【００２４】
この発明は上記のような課題を解決するためになされたもので、映像の画像フレーム内の追尾領域に応じて規定される規定領域内外で求めた相関結果に基づいて、規定領域内の相関演算ブロックのうちから前景ブロックを選択して、前景ブロックに応じて次フレームにおける追尾領域を決定することで、人等の移動物体を的確にしかも安定して追尾制御することができる監視装置及び方法並びにプログラムを得ることを目的とする。
【００２５】
【課題を解決するための手段】
この発明に係る監視装置は、監視カメラで得られた映像中の移動物体像に応じて監視カメラを駆動制御して映像中の移動物体を追尾する監視装置において、映像の画像フレーム中に規定領域を設定して、該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定手段と、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めると共に、規定領域内の相関結果を第２の相関結果として求める相関演算手段と、第１及び第２の相関結果に基づいて、規定領域内の相関演算ブロックのうちから移動体像を規定する前景ブロックを選択する選択手段と、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する決定手段とを備え、決定手段が、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得る前景ブロック累積手段と、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出する重心・サイズ検出手段と、重心及びサイズに基づいて追尾領域を決定する追尾領域決定手段を備えるものである。
【００２６】
この発明に係る監視装置は、選択手段が第１の相関結果に応じて背景部分における動きを示す背景動きベクトルを検出する背景動きベクトル検出手段と、第２の相関結果に応じて背景動きベクトルとその動きベクトルが異なる相関演算ブロックを規定領域中から前景ブロックとして選択する前景ブロック選択手段とを備えるものである。
【００２７】
この発明に係る監視装置は、決定手段が前景ブロックの分布状態に応じて移動物体像の重心及びサイズを推定し、該重心及びサイズに応じて次画像フレームにおける追尾領域を予測するものである。
【００２９】
この発明に係る監視装置は、決定手段が前景ブロックについて第２の相関結果が累積された累積相関結果のピーク値が示す座標を前景動きベクトルとする前景動きベクトル検出手段を備え、追尾領域決定手段が前景動きベクトルで示される動きに応じて追尾領域を決定するものである。
【００３０】
この発明に係る監視装置は、設定手段が追尾領域に応じて規定領域を設定するものである。
【００３１】
この発明に係る監視方法は、監視カメラで得られた映像中の移動物体像に応じて監視カメラを駆動制御して監視カメラで映像中の移動物体を追尾する監視方法において、映像の画像フレーム中に規定領域を設定して該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定ステップと、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めると共に、規定領域内の相関結果を第２の相関結果として求める相関演算ステップと、第１及び第２の相関結果に基づいて規定領域内の相関演算ブロックのうちから移動物体像を規定する前景ブロックを選択する選択ステップと、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する決定ステップとを備え、決定ステップが、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得る前景ブロック累積ステップと、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出する重心・サイズ検出ステップと、重心及びサイズに基づいて追尾領域を決定する追尾領域決定ステップと備えるものである。
【００３２】
この発明に係るプログラムは、監視カメラで得られた映像の画像フレーム中に規定領域を設定して、該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定手段、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めると共に、規定領域内の相関結果を第２の相関結果として求める相関演算手段、第１及び第２の相関結果に基づいて、規定領域内の相関演算ブロックのうちから移動体像を規定する前景ブロックを選択する選択手段、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する手段であって、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得る前景ブロック累積手段と、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出する重心・サイズ検出手段と、重心及びサイズに基づいて追尾領域を決定する追尾領域決定手段とを有する決定手段としてコンピュータを機能させるものである。
【００３３】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による監視装置の構成を示すブロック図である。図において、４は背景領域相関ブロック設定部、５は追尾領域相関ブロック設定部、６ａ，６ｂは相関演算実行部、７は背景動きベクトル検出部、８は前景ブロック選択部、９は前景動きベクトル検出部、１０は前景ブロック時間累積部、１１は重心・サイズ検出部、１２は追尾領域決定部、そして、１３はカメラ制御部である。そして、背景領域相関ブロック設定部４、追尾領域相関ブロック設定部５、相関演算実行部６ａ，６ｂ、背景動きベクトル検出部７、前景ブロック選択部８、前景動きベクトル検出部９、前景ブロック時間累積部１０、重心・サイズ検出部１１、及び追尾領域決定部１２は、例えば監視装置として機能するコンピュータ装置が実行するプログラムにて具現化される。なお、図１２と同一の構成要素には同一符号を付して重複する説明を省略する。
【００３４】
次に動作について説明する。
図１２で説明したように、カメラ１で連続的に撮像されたカメラ画像は、画像入力部２に順次与えられる。そして、このカメラ画像は、画像記憶部３に一旦記憶されるとともに相関演算実行部６ａ，６ｂに与えられる。一方、画像記憶部３に記憶されたカメラ画像は、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５に与えられる。
【００３５】
背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５には、別に追尾領域決定部１２から追尾対象の中心座標（Ｇｘ，Ｇｙ）、幅（ｗ）、及び高さ（ｈ）を示す追尾対象情報が与えられる。この追尾対象情報に応じて、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５は、追尾領域Ｒを規定する規定領域を設定する。
【００３６】
ここで、背景領域相関ブロック設定部４は、画像記憶部３から与えられる時刻（ｔ−１）の画像フレーム中の追尾領域Ｒの外部に属する小ブロック（相関演算ブロック）群を設定して、背景動きベクトル検出用小ブロック群とする。つまり、背景領域相関ブロック設定部４では、追尾領域に応じて画像フレーム中に規定領域を設定して、規定領域の外側に小ブロック群を設定する。
【００３７】
ここで、追尾領域Ｒの外部に小ブロック群を設定する方法としては、例えば追尾領域Ｒの外部の領域に所定のブロック数だけランダムに配置しても良い。
また例えば追尾領域Ｒから所定の距離だけ離れた（追尾領域Ｒから距離的に遠い）地点から追尾領域Ｒを取り囲むように、順に外側に至るまで、所定のブロック数だけ詰めて配置しても良い。
【００３８】
あるいは、追尾領域Ｒの外部の領域でエッジ抽出を行い、局所領域毎にエッジの集中度を求め、それらをエッジの集中度の大きい順にソートしておいてから、エッジ成分が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
あるいは、追尾領域Ｒの外部の領域で前フレームとの輝度差抽出を行い、局所領域毎に前フレームとの輝度差の集中度を求め、それらを輝度差の集中度の大きい順にソートしておいてから、前フレームとの輝度差が高い点が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
【００３９】
あるいは、これらを組み合わせて、エッジ成分の集中度があるしきい値を越える領域、あるいはフレーム間の輝度差分の集中度があるしきい値を越える領域を選択しておき、それらの選択領域の中から、追尾領域Ｒから所定の距離だけ離れた（追尾領域Ｒから距離的に遠い）地点から追尾領域Ｒを取り囲むように、順に外側に至るまで詰めて、所定のブロック数だけ詰めて配置しても良い。
【００４０】
一方、追尾領域相関ブロック設定部５は、追尾領域Ｒの内部に属する小ブロック群を設定して、追尾対象動きベクトル検出用小ブロック群とする。つまり、追尾領域相関ブロック設定部５では、追尾領域に応じて画像フレーム中に規定領域を設定して、規定領域の内側に小ブロック群を設定する。ここまでの処理が設定ステップに相当する。
【００４１】
ここで、追尾領域Ｒの内部に小ブロック群を設定する方法としては、例えば追尾領域Ｒの内部の領域に所定のブロック数だけランダムに配置しても良い。また、例えば追尾領域Ｒの中心から外側に向い、追尾領域Ｒの中心を取り囲むように、順に外側に至るまで、所定のブロック数だけ詰めて配置しても良い。
【００４２】
あるいは、追尾領域Ｒの内部の領域でエッジ抽出を行い、局所領域毎にエッジの集中度を求め、それらをエッジの集中度の大きい順にソートしておいてから、エッジ成分が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
【００４３】
あるいは、追尾領域Ｒの内部の領域で前フレームとの輝度差抽出を行い、局所領域毎に前フレームとの輝度差の集中度を求め、それらを輝度差の集中度の大きい順にソートしておいてから、前フレームとの輝度差が高い点が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
【００４４】
あるいは、これらを組み合わせて、エッジ成分の集中度があるしきい値を越える領域、あるいはフレーム間の輝度差分の集中度があるしきい値を越える領域を選択しておき、それらの選択領域の中から、追尾領域Ｒの中心から追尾領域Ｒの中心を取り囲むように、順に外側に至るまで、所定のブロック数だけ詰めて配置しても良い。
【００４５】
時刻ｔにおいて、画像入力部２から画像フレームが相関演算実行部６ａ，６ｂに与えられる。一方、１つ前の画像フレーム、つまり、時刻（ｔ−１）における背景動きベクトル検出用小ブロック群に対応する画像フレーム（以下、背景ベクトル用画像フレームと称する）が背景領域相関ブロック設定部４から相関演算実行部６ａに与えられる。同様にして、時刻（ｔ−１）における追尾対象動きベクトル検出用小ブロック群に対応する画像フレーム（以下、追尾ベクトル用画像フレームと称する）が追尾領域相関ブロック設定部５から相関演算実行部６ｂに与えられる。
【００４６】
図２は図１中の相関演算実行部の動作を説明する図である。この図を参照すると、上記背景ベクトル用画像フレームは、ブロックテンプレート：Ｉｔ（ｉ，ｊ）に相当し、前述の画像入力部２から与えられる画像フレームはサーチエリア：Ｉｓ（ｉ，ｊ）に相当する。テンプレートブロックは、（ｗｘ×ｗｙ）のサイズを有している。また、サーチエリアは、｛（ｗｘ＋２ｒｘ）×（ｗｙ＋２ｒｙ）｝のサイズを有している。相関演算実行部６ａでは、ブロックテンプレートをサーチエリアに対して前述の小ブロック毎に相関演算を行って、ブロックテンプレートについてサーチエリアの小ブロック毎のスコア値（相関結果値）を求めて、スコアマップ（第１の相関結果）を得る（以下、このスコアマップを背景スコアマップと称する）。
【００４７】
例えば、ブロックテンプレートの位置をｘ方向、ｙ方向にずらしつつ、画像フレーム間で一致度を計算する。ブロック内の画素値の差分絶対値和を計算する際には、ｘ方向、ｙ方向のずらし量がそれぞれｄｘ，ｄｙのときの残差ｓｃｏｒｅ（ｄｘ，ｄｙ）は、下記式（１）で求められる。
【数１】
【００４８】
図３は図１中の相関演算実行部で求められるスコアマップの一例を示す図である。上記式（１）により求めたスコアマップは、図に示すような形状となる。この図では、スコア値は下方向がプラスとなっている。また、差分絶対値の総和が極小となるずらし量（Ｘｍ，Ｙｍ）は上向きのピークとなる。このとき、動きベクトルは（Ｘｍ，Ｙｍ）である。
【００４９】
同様にして、上記の追尾ベクトル用画像はブロックテンプレート：Ｉｔ（ｉ，ｊ）に相当する。相関演算実行部６ｂでは、ブロックテンプレートを用いてサーチエリアに対して前述の小ブロック毎に相関演算を行って、ブロックテンプレートについてサーチエリアの小ブロック毎のスコア値（ｓｃｏｒｅ（ｄｘ，ｄｙ））を上記式（１）に応じて求める。これにより、｛（２ｒｘ＋１）×（２ｒｙ＋１）｝で規定されるスコアマップ（第２の相関結果）を得る（以下、このスコアマップを追尾スコアマップと称する）。ここまでの処理が相関演算ステップに相当する。
【００５０】
前述の背景スコアマップ及び追尾スコアマップは、それぞれ背景動きベクトル検出部７及び前景ブロック選択部８に与えられる。背景動きベクトル検出部７では、背景スコアマップに基づいて、背景動きベクトルを検出する。
【００５１】
図４は図１中の背景動きベクトル検出部及び前景ブロック選択部の動作を説明する図である。この図を参照すると、（ａ）において、ＢＧは背景領域に属する小ブロック（ａ１〜ａ１２、・・・）を示しており、追尾領域Ｒの一回り外側の長方形Ｒ２よりも外側に位置している。小ブロックＢＧから得られる相関スコアマップ（背景スコアマップ）の系列が（ｂ）に示されている。そして、これら相関スコアマップを累積してその高さを正規化すると、累積相関スコアマップ（累積背景スコアマップ）ａｚが得られる。そして、累積背景スコアマップのピーク座標を検出して、このピーク座標を（ｘｍ，ｙｍ）とし、点（０，０）から点（ｘｍ，ｙｍ）に向かうベクトルを背景動きベクトルとする。
【００５２】
この背景動きベクトルは前景ブロック選択部８に与えられる。（ａ）において、ＦＧは追尾領域Ｒに属する小ブロック（Ａ〜Ｄ、・・・）を示しており、小ブロックＦＧから得られる相関スコアマップ（追尾スコアマップ）の系列が（ｃ）に示されている。（ｃ）では、図５に示すように、あるブロックの相関スコアマップに関して、スコアマップの極小ピーク値と背景動きベクトルのずらし量に相当するずらし位置におけるスコア値との差ＰＳが予め設定されたしきい値を越えた際、そのブロックの動きベクトルは背景の動きベクトルと明らかに異なっており、前景ブロックであるものとして選択する。図では選択されたスコアマップは着色されている。そして、前景ブロック選択部８は、この動きベクトルが異なる追尾スコアマップのみを累積してその高さを正規化し、累積相関スコアマップ（累積追尾スコアマップ）ＡＺを得る。
【００５３】
図５は図１中の前景ブロック選択部の動作を説明する図である。前景ブロック選択部８は、図に示すように、あるブロックの相関スコアマップの極小ピーク値と背景動きベクトルのずらし量に相当するずらし位置におけるスコア値との差ＰＳが予め設定されたしきい値を越えた際、前景ブロックとして採用する。ここまでの処理が選択ステップに相当する。
【００５４】
上述のようにして選択された前景ブロックは前景動きベクトル検出部９及び前景ブロック時間累積部１０に与えられる。そして、前景動きベクトル検出部９では、前景ブロックに関して、そのスコアマップを累積する。この累積スコアマップのピークを検出して、このピーク値を与えるずらし位置を（ｘｍ，ｙｍ）とし、点（０，０）から点（ｘｍ，ｙｍ）に向かうベクトルを前景動きベクトルとする。そして、この前景動きベクトルは追尾領域決定部１２に与えられる。
【００５５】
図６は図１中の前景ブロック時間累積部の動作を説明する図である。図に示すように、例えば前景ブロックが時間的に遷移したとする。図において、前景ブロックは■で示し、（ａ）は時刻（ｔ−３）の前景ブロックの位置、（ｂ）は時刻（ｔ−２）の前景ブロックの位置、（ｃ）は時刻（ｔ−１）の前景ブロックの位置、（ｄ）は時刻ｔの前景ブロックの位置を示している。また、各ブロックは４×４画素で構成されているものとする。
【００５６】
図７は図６中の前景ブロックに画素ごとの論理値を対応させた図である。前景ブロック時間累積部１０では、（ａ）〜（ｄ）に示す状態をそれぞれ図７（ａ）乃至図７（ｄ）で示すように、各画素単位で論理値“１”又は“０”を割り当てる（前景ブロックの画素が数値“１”となる）。
【００５７】
図８は図７中の前景ブロックの時間累積結果を示す図である。図７（ａ）乃至７（ｄ）に示す数値表を画素単位で累積すると、この図に示す累積表を得る。この累積表は重心・サイズ検出部１１に与えられる。
【００５８】
重心・サイズ検出部１１では、累積表に応じて図１５で説明したモーメント計算を行って、前景ブロックの重心を求める。さらに、重心・サイズ検出部１１では、予め定められた閾値（例えば、累積表中のピーク値（図８に示す例では“４”）に対する割合（例えば、２０％））よりも大きい値を有する画素中のｘ座標値の最小値及びｙ座標値の最小値を左上の点、ｘ座標値の最大値及びｙ座標値の最大値を右下の点とする四角形（長方形）領域の幅及び高さをサイズとする。
【００５９】
なお、サイズを求める際には、累積表において、以下の（２）〜（１０）の式を計算することによりｘ方向、ｙ方向それぞれの標準偏差σｘ、σｙを求める。
Ｍ００＝ΣΣ｛ｆ（ｘ，ｙ）｝・・・・・・・・・（２）
Ｍ０１＝ΣΣ｛ｘ×ｆ（ｘ，ｙ）｝・・・・・・・（３）
Ｍ１０＝ΣΣ｛ｙ×ｆ（ｘ，ｙ）｝・・・・・・・（４）
Ｍ２０＝ΣΣ｛ｘ×ｘ×ｆ（ｘ，ｙ）｝・・・・・（５）
Ｍ０２＝ΣΣ｛ｙ×ｙ×ｆ（ｘ，ｙ）｝・・・・・（６）
ｇｘ＝Ｍ０１／Ｍ００・・・・・・・・・・・・・（７）
ｇｙ＝Ｍ１０／Ｍ００・・・・・・・・・・・・・（８）
σｘ＝√（Ｍ０２／Ｍ００−ｇｘ×ｇｘ）・・・・（９）
σｙ＝√（Ｍ２０／Ｍ００−ｇｙ×ｇｙ）・・・・（１０）
ここで、（ｇｘ，ｇｙ）は選択された前景ブロック分布の中心位置を示しており、図８に示す例ではスコア値は‘４’となっている位置である。
【００６０】
また、標準偏差を予め規定された分だけ倍数（例えば、１．０倍）した値で規定される領域の幅及び高さをサイズとするようにしてもよい。例えば、ｘ方向及びｙ方向の標準偏差をσｘ及びσｙとすると、幅は２．０σｘ、高さは、２．０σｙとする。このようにして求められた重心・サイズは、追尾領域決定部１２に与えられる。
【００６１】
追尾領域決定部１２では、前述の前景動きベクトル及び重心・サイズに基づいて追尾領域を示す追尾領域情報を生成する（決定ステップ）。なお、追尾領域情報とは、重心の予測値、サイズの予測、値動きベクトルの３つの情報よりなる。この追尾領域情報は、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５に与えられるとともに、カメラ制御部１３に与えられる。
【００６２】
カメラ制御部１３では、追尾領域情報に基づいてカメラ１を駆動制御する。つまり、カメラ制御部１３は、追尾領域を画像の中心に位置づけるようにカメラ１を首振り制御することになる。この際、時々刻々入力される追尾領域域情報に応じて追尾対象の移動速度を得て、移動速度も考慮して首振り制御を行う。
【００６３】
図９は図１中の監視装置における監視カメラの制御を説明する図である。上述のようにして、（ａ）に示す画像フレームにおいて、監視装置は、（ｂ）に示すように追尾領域情報に基づいて追尾領域Ｒに応じて規定領域を設定して、つまり、画像全体について背景部分との差分処理を行って追尾領域Ｒを得て、追尾モードに切り替わることになる。そして、（ｃ）に示すように、追尾領域Ｒを移動物体（図示せず）の移動とサイズの変動に合わせて追尾させることになる。このとき、（ｄ）に示すように、カメラ１が首振り制御されて、追尾領域Ｒが常に画像の中心にくるようにすると同時に、追尾領域Ｒの大きさが画像中で予め設定した範囲に収まるようにズームの制御を行うことになる。追尾領域Ｒの大きさの設定範囲は、例えば追尾領域Ｒの縦のサイズが画像の縦サイズの２５±５％になるようにといった形で設定すればよい。つまり、移動物体の移動・サイズに合わせて追尾領域を追従させることになる。
【００６４】
このように、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５は設定手段として機能し、相関演算実行部６ａ，６ｂは相関演算手段として機能する。そして、背景動きベクトル検出部７及び前景ブロック選択部８は、選択手段として機能し、前景動きベクトル検出部９、前景ブロック時間累積部１０、重心・サイズ検出部１１、及び追尾領域決定部１２は決定手段として機能することになる。
【００６５】
図１０は図１中の監視装置において移動物体が人である際の追尾の一例を示す図である。移動物体が人（Ｐ）であるとすると（図１０（ａ））、前述のようにして、各小ブロック毎に動きベクトル（移動ベクトル）が求められる（図１０（ｂ））。これら動きベクトルに基づいて、追尾領域Ｒに応じて規定された規定領域内で、全小ブロックに関する相関結果から得られる背景の動きベクトルと異なる動きベクトルを有するブロック群（前景ブロック群）Ｂを得る（図１０（ｃ））。そして、過去数フレーム分の前景ブロック群Ｂを追尾領域の中心を基準として位置合わせして累積して累積シルエットＨを得る（図１０（ｄ））。累積シルエットＨでは前景ブロックの存在確率が高い部分は、累積値が大きくなる分布をしている。そして、累積シルエットＨに応じて移動物体（人）の代表ベクトルｍ、前景ブロックの中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベクトル）を得る（図１０（ｅ））。
【００６６】
図１１は図１中の監視装置において移動物体が人である際の追尾の他の例を示す図である。例えば、（ａ）に示す人（Ｐ）を追尾しようとする際、周期的に振られる四肢部に関する動きブロックは出現と消滅を繰り返すことを考慮すると、（ｂ）に示すように、各小ブロック毎に移動ベクトルを求める。この結果を利用すると、（ｃ）に示すように、背景の動きベクトルと異なる動きベクトルを有するブロック群（前景ブロック群）Ｂが極端に小さくなってしまう。そこで、この実施の形態１では、過去数フレーム分の前景ブロックＢを追尾領域の中心を基準として位置合わせして累積して累積シルエットＨを得る。これにより、（ｄ）に示すように、前景ブロック群Ｂに比べて累積シルエットＨが大きくなり、（ｅ）に示すように、安定して追尾領域の代表ベクトルｍ、前景ブロックの中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベクトル）を得ることができる。この結果、人等の移動物体についても、長時間にわたり安定した追尾が可能になる。
【００６７】
以上のように、この実施の形態１によれば、映像の画像フレーム内の追尾領域に応じて規定される規定領域内外にそれぞれ相関演算ブロックを設定して、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を求めるとともに規定領域内の相関結果を求めて、これら相関結果に基づいて規定領域内の相関演算ブロックのうちから前景ブロックを選択して、前景ブロックに応じて次フレームにおける追尾領域を決定するので、人等の移動物体についても長時間にわたり安定して追尾することができる。
【００６８】
【発明の効果】
以上のように、この発明によれば、映像の画像フレームに規定領域を設定して、規定領域の内外にそれぞれ規定領域よりも小さい相関演算ブロックを設定し、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めるとともに規定領域内の相関結果を第２の相関結果として求め、第１及び第２の相関結果に基づいて規定領域内の相関演算ブロックのうちから移動物体像を規定する前景ブロックを選択して、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定するにあたり、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得て、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出して、重心及びサイズに基づいて追尾領域を決定するので、移動物体像の画像中での見掛けの大きさかかわらず、精度よく移動物体像と背景部分の動きを分けることができ、追尾領域を高精度に予測して移動物体を安定に追尾することができるという効果がある。また、重心及びサイズに基づいて追尾領域を決定するので、前景ブロックが過去数フレームにわたって累積されることになって、安定して追尾領域を推定することができるという効果がある。
【００６９】
この発明によれば、第１の相関結果に応じて背景部分における動きを示す背景動きベクトルを検出して、第２の相関結果に応じて背景動きベクトルとその動きベクトルが異なる相関演算ブロックを規定領域中から前景ブロックとして選択するので、移動物体自体の動きをキャンセルして、精度よく背景動きベクトルを検出することができ、精度よく前景ブロックを選択することができるという効果がある。
【００７０】
この発明によれば、前景ブロックの分布状態に応じて移動物体像の重心及びサイズを推定し、重心及びサイズに応じて次画像フレームにおける追尾領域を予測するので、監視カメラを精度よく追尾制御することができるという効果がある。
【００７２】
この発明によれば、前景ブロックについて第２の相関結果が累積された積相関結果のピーク値が示す座標を前景動きベクトルとして、前景動きベクトルで示される動きに応じて追尾領域を決定するので、移動物体の動き方向を加味して追尾領域を決定することができるという効果がある。
【００７３】
この発明によれば、追尾領域に応じて規定領域を設定するので、次画像フレームにおける追尾領域を高精度に予測して、移動物体を安定して追尾することができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による監視装置の構成を示すブロック図である。
【図２】 図１中の相関演算実行部の動作を説明する図である。
【図３】 図１中の相関演算実行部で求められるスコアマップの一例を示す図である。
【図４】 図１中の背景動きベクトル検出部及び前景ブロック選択部の動作を説明する図である。
【図５】 図１中の前景ブロック選択部の動作を説明する図である。
【図６】 図１中の前景ブロック時間累積部の動作を説明する図である。
【図７】 図６中の前景ブロックに画素ごとの論理値を当てはめた図である。
【図８】 図７中の前景ブロックの時間累積結果を示す図である。
【図９】 図１中の監視装置における監視カメラの制御を説明する図である。
【図１０】 図１中の監視装置において移動物体が人である際の追尾の一例を示す図である。
【図１１】 図１中の監視装置において移動物体が人である際の追尾の他の例を示す図である。
【図１２】 従来の監視装置の構成を示すブロック図である。
【図１３】 図１２中の監視装置における監視カメラの制御を説明する図である。
【図１４】 画像全体における背景領域と追尾領域との関係を示す図である。
【図１５】 図１２中の移動ブロック重心検出部の動作を説明する図である。
【図１６】 移動物体が人である際の追尾の一例を示す図である。
【図１７】 移動物体が人である際の追尾の他の例を示す図である。
【符号の説明】
１ 監視カメラ（カメラ）、２ 画像入力部、３ 画像記憶部、４ 背景領域相関ブロック設定部、５ 追尾領域相関ブロック設定部、６ａ，６ｂ 相関演算実行部、７ 背景動きベクトル検出部、８ 前景ブロック選択部、９ 前景動きベクトル検出部、１０ 前景ブロック時間累積部、１１ 重心・サイズ検出部、１２ 追尾領域決定部、１３ カメラ制御部。
【発明の属する技術分野】
この発明は人などの移動物体を監視する動画像処理技術を用いた監視装置及び方法並びにプログラムに関するものである。
【０００２】
【従来の技術】
一般に、動画像処理技術を用いた監視装置として、例えば森田俊彦：局所相関演算による動きの検知と追跡（電子情報学会論文誌 Ｄ−ＩＩ Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ Ｎｏ．２，ｐｐ．２９９〜３０９，２００１年２月）に掲載された監視装置が知られている。
【０００３】
図１２は上述した従来の監視装置の構成を示すブロック図である。図において、１は監視カメラ（カメラ）、２は画像入力部、３は画像記憶部、１４は画像全体相関ブロック設定部、１５は相関演算実行部、１６は背景動きベクトル検出部、１７は移動（前景）ブロック選択部、１８は前景動きベクトル検出部、１９は移動（前景）ブロック重心検出部、２０は追尾中心決定部、そして、２１はカメラ制御部である。カメラ１は連続的にカメラ視野内を撮像して映像を得ている。また、カメラ１は、所謂首振り（３軸方向への移動制御）及びズーム機能を有しており、カメラ制御部２１によってカメラ１が首振り及びズーム制御されてカメラ視野内に侵入した侵入者等の移動物体を追尾する。そして、カメラ１で移動物体を追尾する際には、カメラ１から得られた映像に応じて移動物体像を認識して、カメラ制御部２１がカメラ１を追尾制御する。
【０００４】
次に動作について説明する。
この監視装置では、カメラ１で連続的に撮像された映像（動画像：以下、カメラ画像と称する）が順次画像入力部２に与えられる。この画像入力部２からカメラ画像が画像記憶部３に一旦記憶されるとともに、相関演算実行部１５に与えられる。一方、画像記憶部３に記憶されたカメラ画像は、画像全体相関ブロック設定部１４に与えられる。
【０００５】
図１３は図１２中の監視装置における監視カメラの制御を説明する図である。この図を参照すると、画像全体相関ブロック設定部１４では、カメラ画像の画像フレームを予め規定された数の検知領域ＤＡＲに分割する（図１３（ａ））。さらに、画像全体相関ブロック設定部１４では、各検知領域ＤＡを予め定められた数の小ブロック（相関演算ブロック）に分割する。このようにして、小ブロックに分割された画像フレーム（以下分割画像フレームと呼ぶ）は相関演算実行部１５に渡される。
【０００６】
いま、時刻ｔにおいて、画像入力部２から画像フレームがテンプレート画像フレームとして相関演算実行部１５に与えられるとすると、１つ前の画像フレーム（分割画像フレーム）、つまり、時刻（ｔ−１）における画像フレームが探索画像フレームとして画像全体相関ブロック設定部１４から相関演算実行部１５に与えられることになる。言い換えると、時刻（ｔ−１）における画像フレームと時刻ｔにおける画像フレームとが同一のタイミングで相関演算実行部１５に与えられる。そして、相関演算実行部１５では、テンプレート画像フレームと探索画像フレームとの相関関係を求める。
【０００７】
このとき、相関演算実行部１５は、テンプレート画像フレームを複数の画像ブロックに分割する。つまり、テンプレート画像フレームを複数の画像ブロックの集合とする。ここでは、この画像ブロックをブロックテンプレートと称し、各ブロックテンプレートは、例えば（ｗｘ×ｗｙ）のサイズを有するものとする。ここで、ｗｘ及びｗｙは、それぞれ直交座標のｘ軸方向長さ及びｙ軸方向長さを表す。一方、前述のように、探索画像フレームは、複数の検知領域ＤＡに分割されており、各検知領域ＤＡがサーチ領域として用いられる。このサーチ領域は、例えば｛（ｗｘ＋２ｒｘ）×（ｗｙ＋２ｒｙ）｝（ｒは１以上の整数）のサイズを有している。また、前述の各ブロックテンプレートを用いて各サーチ領域に対して前述の小ブロック毎に相関演算を行って、各ブロックテンプレートについて各サーチ領域毎に小ブロック毎のスコア値（相関結果値）を求め、スコアマップとする。つまり、各サーチ領域において小ブロック毎にスコアマップが生成されることになる。
【０００８】
このようにして求められたスコアマップは、順次（時々刻々）相関演算実行部１５から背景動きベクトル検出部１６に与えられる。背景動きベクトル検出部１６では、スコアマップに基づいて背景動きベクトルを求める。例えば、スコアマップ内のピーク値とスコアマップの中心位置におけるスコア値とを比較して予め定められた閾値を越えると、動きが顕著であると判定する。そして、このように動きが顕著であると判定されたスコアマップを順次累積して累積スコアマップとする。次に、累積スコアマップにおいて、極小ピークを示す位置（ｘｍ，ｙｍ）を求める。そして、この極小ピーク位置（ｘｍ，ｙｍ）を背景動きベクトルとする。
【０００９】
上述の背景動きベクトルは、移動（前景）ブロック選択部１７に与えられる。さらに、移動ブロック選択部１７には、追尾中心決定部２０から追尾中心の位置（ｘ−ｙ座標値）を示す追尾中心情報が与えられるとともに、相関演算実行部１５からスコアマップが与えられる。
図１４は画像全体における背景領域と追尾領域との関係を示す図である。図に示すように、移動ブロック選択部１７では追尾中心情報に応じて、追尾中心位置（ｘ，ｙ）を中心とする追尾領域Ｒ（例えば、長方形領域であり、検知領域に対応する）を設定する。
【００１０】
なお、図において、ＦＧは追尾領域Ｒの内側に存在する小ブロックを表し、ＢＧは追尾領域Ｒの外側（つまり、背景領域）に存在する小ブロックを表す。次に、上記の追尾領域Ｒ内に存在する全ての小ブロックＦＧに関するスコア値から背景動きベクトル（絶対値）を減算して、背景の動きに対する相対的な動きを示すスコアマップを得る（以下、このスコアマップを相対スコアマップと称する）。
【００１１】
さらに、この相対スコアマップについて、相対スコアマップ内のピーク値と相対スコアマップの中心位置におけるスコア値とを比較して所定の閾値を越えると、動きが顕著であると判定する。そして、動きが顕著であると判定された小ブロックを移動ブロックとして選択して、そのスコアマップを前景動きベクトル検出部１８に与える。これによって、例えば図１３（ｂ）に太枠で示す検知領域が選択領域（追尾領域）Ｒとして選択される。
【００１２】
前景動きベクトル検出部１８では、上述のようにして選択された選択領域についてスコアマップ（相関スコアマップ）を累積加算して、累積相関スコアマップとする。この累積加算によって、選択領域においてピーク値付近の累積値は相対的に高くなり、それ以外の部分では相対的に累積値は低くなる。そして、この累積相関スコアマップから極小値を求めて前景動きベクトルとし、この前景動きベクトルを追尾中心決定部２０に与える。
【００１３】
また、前述の選択領域におけるスコアマップは、移動（前景）ブロック重心検出部１９にも与えられている。この移動（前景）ブロック重心検出部１９では、取得したスコアマップに応じて選択領域の重心を検出する。
【００１４】
図１５は図１２中の移動ブロック重心検出部の動作を説明する図である。図に示すように、選択領域が７×５のサイズ（７×５ブロック）であるとする。ここで、図中の■部分は選択小ブロック＝ｆ（ｘ，ｙ）＝１、□部分は非選択小ブロック＝ｆ（ｘ，ｙ）＝０であるものとする。
【００１５】
選択小ブロック数は１３個であるので、その累積値Ｍ００＝１３、ｘ座標値の累積値Ｍ０１＝３９、ｙ座標値の累積値Ｍ１０＝２６となる。そして、重心のｘ座標値＝Ｍ０１／Ｍ００＝３９／１３＝３、重心のｙ座標値＝Ｍ１０／Ｍ００＝２６／１３＝２となる。つまり、図１５に示す選択領域では、（３，２）が重心となる（モーメント計算と呼ぶ）。そして、この重心は移動（前景）ブロック重心として追尾中心決定部２０に与えられる。
【００１６】
追尾中心決定部２０では、前景動きベクトル及び前景ブロック重心に応じて追尾中心を決定する。例えば、前景動きベクトルが（Ｖｘ，Ｖｙ）、重心が（Ｇｘ，Ｇｙ）であるとすると、追尾中心は（Ｇｘ＋Ｖｘ，Ｇｙ＋Ｖｙ）となる。そして、この追尾中心は追尾中心情報として移動ブロック選択部１７に与えられるとともに、カメラ制御部２１に与えられる。
【００１７】
カメラ制御部２１では、追尾中心情報に基づいてカメラ１を駆動制御する。つまり、カメラ制御部２１は、追尾中心を画像フレームの中心に位置づけるようにカメラ１を首振り制御することになる。この際、時々刻々入力される追尾中心情報に応じて、カメラ制御部２１は、追尾対象（移動物体）の移動速度を得て、移動速度も考慮して首振り制御を行う。
【００１８】
上述のようにして、動きが顕著であると判定された検知領域（図１３（ｂ）に太枠で示す）を追尾領域Ｒとして、追尾モードに切り替わることになる。そして、追尾領域Ｒを移動物体（図示せず）の移動に合わせて追尾させることになる（図１３（ｃ））。この際、図１３（ｄ）に示すように、カメラ１が首振り制御されて、移動物体の中心が常に画像フレームの中心にくるようにすることになる。
【００１９】
図１６は移動物体が人である際の追尾の一例を示す図である。図において、移動物体が人（Ｐ）であるとすると（図１６（ａ））、前述のようにして、各小ブロック毎に背景動きベクトル（移動ベクトル）が求められる（図１６（ｂ））。これら移動ベクトルに応じて追尾領域内で、全小ブロックに関する相関結果から得られる背景の動きベクトルと異なる移動ベクトルを有するブロック群（移動ブロック群）Ｂを得る（図１６（ｃ））。
【００２０】
そして、移動ブロック群Ｂに関する相関結果から移動物体（人）の代表ベクトルｍ、移動ブロック群の中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベクトル）を得る（図１６（ｄ））。そして、次回の追尾中心は現在の追尾中心を（ｍ＋ｅ）シフトさせて追尾を行う。このように、ずれｅを加えることで、常に追尾領域の中心と移動物体像の中心とが一致し、長時間にわたり安定して追尾を行うことができることになる。
【００２１】
【発明が解決しようとする課題】
従来の監視装置は上記のように構成されているので、画像フレーム全体について相関演算を行い、その結果に基づいて背景の動きベクトルを求めることから、移動物体像が画像中で大きな領域を占めている際には、移動物体自体の動きを無視することができない。一方、追尾領域で背景の動きベクトルと異なる動きベクトルを有する移動ブロック群を選択して、移動ブロック群の中心と追尾領域の中心とのずれを移動量に加算して移動物体を追尾している。このため、人間のようにその状態を変化させつつ移動する物体の場合には（特に、周期的に振られる四肢部に関する移動ブロックは出現と消滅を繰り返すため）、移動ブロック群の中心が安定しないことになる。
【００２２】
図１７は移動物体が人である際の追尾の他の例を示す図である。この図を参照して具体的に説明すると、例えば図１７（ａ）に示す人（Ｐ）を追尾しようとする際、周期的に振られる四肢部に関する移動ブロックは、出現と消滅を繰り返す。このとき、図１７（ｂ）に示すように各小ブロック毎に移動ベクトルが求められると、このうちの背景の動きベクトルと異なる動きベクトルを有するブロック群（移動ブロック）Ｂが占める領域は、極端に小さくなってしまう（図１７（ｃ））。この結果に基づいて、移動ブロックに関する相関結果から移動物体（人）の代表ベクトルｍ、移動ブロック群の中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅを得ることになる（図１７（ｄ））。
【００２３】
このように、移動ブロック群自体が極めて小さく、しかも、周期的に振られる四肢部に関する移動ブロックは出現と消滅を繰り返すことから、人等の移動物体を安定して追尾することが難しいという課題があった。つまり、不安定な移動ブロックから、移動物体の大きさを判定することは難しく、的確にしかも安定して移動物体を追尾制御することが難しいという課題があった。
【００２４】
この発明は上記のような課題を解決するためになされたもので、映像の画像フレーム内の追尾領域に応じて規定される規定領域内外で求めた相関結果に基づいて、規定領域内の相関演算ブロックのうちから前景ブロックを選択して、前景ブロックに応じて次フレームにおける追尾領域を決定することで、人等の移動物体を的確にしかも安定して追尾制御することができる監視装置及び方法並びにプログラムを得ることを目的とする。
【００２５】
【課題を解決するための手段】
この発明に係る監視装置は、監視カメラで得られた映像中の移動物体像に応じて監視カメラを駆動制御して映像中の移動物体を追尾する監視装置において、映像の画像フレーム中に規定領域を設定して、該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定手段と、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めると共に、規定領域内の相関結果を第２の相関結果として求める相関演算手段と、第１及び第２の相関結果に基づいて、規定領域内の相関演算ブロックのうちから移動体像を規定する前景ブロックを選択する選択手段と、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する決定手段とを備え、決定手段が、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得る前景ブロック累積手段と、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出する重心・サイズ検出手段と、重心及びサイズに基づいて追尾領域を決定する追尾領域決定手段を備えるものである。
【００２６】
この発明に係る監視装置は、選択手段が第１の相関結果に応じて背景部分における動きを示す背景動きベクトルを検出する背景動きベクトル検出手段と、第２の相関結果に応じて背景動きベクトルとその動きベクトルが異なる相関演算ブロックを規定領域中から前景ブロックとして選択する前景ブロック選択手段とを備えるものである。
【００２７】
この発明に係る監視装置は、決定手段が前景ブロックの分布状態に応じて移動物体像の重心及びサイズを推定し、該重心及びサイズに応じて次画像フレームにおける追尾領域を予測するものである。
【００２９】
この発明に係る監視装置は、決定手段が前景ブロックについて第２の相関結果が累積された累積相関結果のピーク値が示す座標を前景動きベクトルとする前景動きベクトル検出手段を備え、追尾領域決定手段が前景動きベクトルで示される動きに応じて追尾領域を決定するものである。
【００３０】
この発明に係る監視装置は、設定手段が追尾領域に応じて規定領域を設定するものである。
【００３１】
この発明に係る監視方法は、監視カメラで得られた映像中の移動物体像に応じて監視カメラを駆動制御して監視カメラで映像中の移動物体を追尾する監視方法において、映像の画像フレーム中に規定領域を設定して該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定ステップと、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めると共に、規定領域内の相関結果を第２の相関結果として求める相関演算ステップと、第１及び第２の相関結果に基づいて規定領域内の相関演算ブロックのうちから移動物体像を規定する前景ブロックを選択する選択ステップと、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する決定ステップとを備え、決定ステップが、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得る前景ブロック累積ステップと、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出する重心・サイズ検出ステップと、重心及びサイズに基づいて追尾領域を決定する追尾領域決定ステップと備えるものである。
【００３２】
この発明に係るプログラムは、監視カメラで得られた映像の画像フレーム中に規定領域を設定して、該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定手段、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めると共に、規定領域内の相関結果を第２の相関結果として求める相関演算手段、第１及び第２の相関結果に基づいて、規定領域内の相関演算ブロックのうちから移動体像を規定する前景ブロックを選択する選択手段、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する手段であって、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得る前景ブロック累積手段と、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出する重心・サイズ検出手段と、重心及びサイズに基づいて追尾領域を決定する追尾領域決定手段とを有する決定手段としてコンピュータを機能させるものである。
【００３３】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による監視装置の構成を示すブロック図である。図において、４は背景領域相関ブロック設定部、５は追尾領域相関ブロック設定部、６ａ，６ｂは相関演算実行部、７は背景動きベクトル検出部、８は前景ブロック選択部、９は前景動きベクトル検出部、１０は前景ブロック時間累積部、１１は重心・サイズ検出部、１２は追尾領域決定部、そして、１３はカメラ制御部である。そして、背景領域相関ブロック設定部４、追尾領域相関ブロック設定部５、相関演算実行部６ａ，６ｂ、背景動きベクトル検出部７、前景ブロック選択部８、前景動きベクトル検出部９、前景ブロック時間累積部１０、重心・サイズ検出部１１、及び追尾領域決定部１２は、例えば監視装置として機能するコンピュータ装置が実行するプログラムにて具現化される。なお、図１２と同一の構成要素には同一符号を付して重複する説明を省略する。
【００３４】
次に動作について説明する。
図１２で説明したように、カメラ１で連続的に撮像されたカメラ画像は、画像入力部２に順次与えられる。そして、このカメラ画像は、画像記憶部３に一旦記憶されるとともに相関演算実行部６ａ，６ｂに与えられる。一方、画像記憶部３に記憶されたカメラ画像は、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５に与えられる。
【００３５】
背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５には、別に追尾領域決定部１２から追尾対象の中心座標（Ｇｘ，Ｇｙ）、幅（ｗ）、及び高さ（ｈ）を示す追尾対象情報が与えられる。この追尾対象情報に応じて、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５は、追尾領域Ｒを規定する規定領域を設定する。
【００３６】
ここで、背景領域相関ブロック設定部４は、画像記憶部３から与えられる時刻（ｔ−１）の画像フレーム中の追尾領域Ｒの外部に属する小ブロック（相関演算ブロック）群を設定して、背景動きベクトル検出用小ブロック群とする。つまり、背景領域相関ブロック設定部４では、追尾領域に応じて画像フレーム中に規定領域を設定して、規定領域の外側に小ブロック群を設定する。
【００３７】
ここで、追尾領域Ｒの外部に小ブロック群を設定する方法としては、例えば追尾領域Ｒの外部の領域に所定のブロック数だけランダムに配置しても良い。
また例えば追尾領域Ｒから所定の距離だけ離れた（追尾領域Ｒから距離的に遠い）地点から追尾領域Ｒを取り囲むように、順に外側に至るまで、所定のブロック数だけ詰めて配置しても良い。
【００３８】
あるいは、追尾領域Ｒの外部の領域でエッジ抽出を行い、局所領域毎にエッジの集中度を求め、それらをエッジの集中度の大きい順にソートしておいてから、エッジ成分が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
あるいは、追尾領域Ｒの外部の領域で前フレームとの輝度差抽出を行い、局所領域毎に前フレームとの輝度差の集中度を求め、それらを輝度差の集中度の大きい順にソートしておいてから、前フレームとの輝度差が高い点が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
【００３９】
あるいは、これらを組み合わせて、エッジ成分の集中度があるしきい値を越える領域、あるいはフレーム間の輝度差分の集中度があるしきい値を越える領域を選択しておき、それらの選択領域の中から、追尾領域Ｒから所定の距離だけ離れた（追尾領域Ｒから距離的に遠い）地点から追尾領域Ｒを取り囲むように、順に外側に至るまで詰めて、所定のブロック数だけ詰めて配置しても良い。
【００４０】
一方、追尾領域相関ブロック設定部５は、追尾領域Ｒの内部に属する小ブロック群を設定して、追尾対象動きベクトル検出用小ブロック群とする。つまり、追尾領域相関ブロック設定部５では、追尾領域に応じて画像フレーム中に規定領域を設定して、規定領域の内側に小ブロック群を設定する。ここまでの処理が設定ステップに相当する。
【００４１】
ここで、追尾領域Ｒの内部に小ブロック群を設定する方法としては、例えば追尾領域Ｒの内部の領域に所定のブロック数だけランダムに配置しても良い。また、例えば追尾領域Ｒの中心から外側に向い、追尾領域Ｒの中心を取り囲むように、順に外側に至るまで、所定のブロック数だけ詰めて配置しても良い。
【００４２】
あるいは、追尾領域Ｒの内部の領域でエッジ抽出を行い、局所領域毎にエッジの集中度を求め、それらをエッジの集中度の大きい順にソートしておいてから、エッジ成分が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
【００４３】
あるいは、追尾領域Ｒの内部の領域で前フレームとの輝度差抽出を行い、局所領域毎に前フレームとの輝度差の集中度を求め、それらを輝度差の集中度の大きい順にソートしておいてから、前フレームとの輝度差が高い点が集中する領域を優先して、所定のブロック数だけ詰めて配置しても良い。
【００４４】
あるいは、これらを組み合わせて、エッジ成分の集中度があるしきい値を越える領域、あるいはフレーム間の輝度差分の集中度があるしきい値を越える領域を選択しておき、それらの選択領域の中から、追尾領域Ｒの中心から追尾領域Ｒの中心を取り囲むように、順に外側に至るまで、所定のブロック数だけ詰めて配置しても良い。
【００４５】
時刻ｔにおいて、画像入力部２から画像フレームが相関演算実行部６ａ，６ｂに与えられる。一方、１つ前の画像フレーム、つまり、時刻（ｔ−１）における背景動きベクトル検出用小ブロック群に対応する画像フレーム（以下、背景ベクトル用画像フレームと称する）が背景領域相関ブロック設定部４から相関演算実行部６ａに与えられる。同様にして、時刻（ｔ−１）における追尾対象動きベクトル検出用小ブロック群に対応する画像フレーム（以下、追尾ベクトル用画像フレームと称する）が追尾領域相関ブロック設定部５から相関演算実行部６ｂに与えられる。
【００４６】
図２は図１中の相関演算実行部の動作を説明する図である。この図を参照すると、上記背景ベクトル用画像フレームは、ブロックテンプレート：Ｉｔ（ｉ，ｊ）に相当し、前述の画像入力部２から与えられる画像フレームはサーチエリア：Ｉｓ（ｉ，ｊ）に相当する。テンプレートブロックは、（ｗｘ×ｗｙ）のサイズを有している。また、サーチエリアは、｛（ｗｘ＋２ｒｘ）×（ｗｙ＋２ｒｙ）｝のサイズを有している。相関演算実行部６ａでは、ブロックテンプレートをサーチエリアに対して前述の小ブロック毎に相関演算を行って、ブロックテンプレートについてサーチエリアの小ブロック毎のスコア値（相関結果値）を求めて、スコアマップ（第１の相関結果）を得る（以下、このスコアマップを背景スコアマップと称する）。
【００４７】
例えば、ブロックテンプレートの位置をｘ方向、ｙ方向にずらしつつ、画像フレーム間で一致度を計算する。ブロック内の画素値の差分絶対値和を計算する際には、ｘ方向、ｙ方向のずらし量がそれぞれｄｘ，ｄｙのときの残差ｓｃｏｒｅ（ｄｘ，ｄｙ）は、下記式（１）で求められる。
【数１】
図３は図１中の相関演算実行部で求められるスコアマップの一例を示す図である。上記式（１）により求めたスコアマップは、図に示すような形状となる。この図では、スコア値は下方向がプラスとなっている。また、差分絶対値の総和が極小となるずらし量（Ｘｍ，Ｙｍ）は上向きのピークとなる。このとき、動きベクトルは（Ｘｍ，Ｙｍ）である。
【００４９】
同様にして、上記の追尾ベクトル用画像はブロックテンプレート：Ｉｔ（ｉ，ｊ）に相当する。相関演算実行部６ｂでは、ブロックテンプレートを用いてサーチエリアに対して前述の小ブロック毎に相関演算を行って、ブロックテンプレートについてサーチエリアの小ブロック毎のスコア値（ｓｃｏｒｅ（ｄｘ，ｄｙ））を上記式（１）に応じて求める。これにより、｛（２ｒｘ＋１）×（２ｒｙ＋１）｝で規定されるスコアマップ（第２の相関結果）を得る（以下、このスコアマップを追尾スコアマップと称する）。ここまでの処理が相関演算ステップに相当する。
【００５０】
前述の背景スコアマップ及び追尾スコアマップは、それぞれ背景動きベクトル検出部７及び前景ブロック選択部８に与えられる。背景動きベクトル検出部７では、背景スコアマップに基づいて、背景動きベクトルを検出する。
【００５１】
図４は図１中の背景動きベクトル検出部及び前景ブロック選択部の動作を説明する図である。この図を参照すると、（ａ）において、ＢＧは背景領域に属する小ブロック（ａ１〜ａ１２、・・・）を示しており、追尾領域Ｒの一回り外側の長方形Ｒ２よりも外側に位置している。小ブロックＢＧから得られる相関スコアマップ（背景スコアマップ）の系列が（ｂ）に示されている。そして、これら相関スコアマップを累積してその高さを正規化すると、累積相関スコアマップ（累積背景スコアマップ）ａｚが得られる。そして、累積背景スコアマップのピーク座標を検出して、このピーク座標を（ｘｍ，ｙｍ）とし、点（０，０）から点（ｘｍ，ｙｍ）に向かうベクトルを背景動きベクトルとする。
【００５２】
この背景動きベクトルは前景ブロック選択部８に与えられる。（ａ）において、ＦＧは追尾領域Ｒに属する小ブロック（Ａ〜Ｄ、・・・）を示しており、小ブロックＦＧから得られる相関スコアマップ（追尾スコアマップ）の系列が（ｃ）に示されている。（ｃ）では、図５に示すように、あるブロックの相関スコアマップに関して、スコアマップの極小ピーク値と背景動きベクトルのずらし量に相当するずらし位置におけるスコア値との差ＰＳが予め設定されたしきい値を越えた際、そのブロックの動きベクトルは背景の動きベクトルと明らかに異なっており、前景ブロックであるものとして選択する。図では選択されたスコアマップは着色されている。そして、前景ブロック選択部８は、この動きベクトルが異なる追尾スコアマップのみを累積してその高さを正規化し、累積相関スコアマップ（累積追尾スコアマップ）ＡＺを得る。
【００５３】
図５は図１中の前景ブロック選択部の動作を説明する図である。前景ブロック選択部８は、図に示すように、あるブロックの相関スコアマップの極小ピーク値と背景動きベクトルのずらし量に相当するずらし位置におけるスコア値との差ＰＳが予め設定されたしきい値を越えた際、前景ブロックとして採用する。ここまでの処理が選択ステップに相当する。
【００５４】
上述のようにして選択された前景ブロックは前景動きベクトル検出部９及び前景ブロック時間累積部１０に与えられる。そして、前景動きベクトル検出部９では、前景ブロックに関して、そのスコアマップを累積する。この累積スコアマップのピークを検出して、このピーク値を与えるずらし位置を（ｘｍ，ｙｍ）とし、点（０，０）から点（ｘｍ，ｙｍ）に向かうベクトルを前景動きベクトルとする。そして、この前景動きベクトルは追尾領域決定部１２に与えられる。
【００５５】
図６は図１中の前景ブロック時間累積部の動作を説明する図である。図に示すように、例えば前景ブロックが時間的に遷移したとする。図において、前景ブロックは■で示し、（ａ）は時刻（ｔ−３）の前景ブロックの位置、（ｂ）は時刻（ｔ−２）の前景ブロックの位置、（ｃ）は時刻（ｔ−１）の前景ブロックの位置、（ｄ）は時刻ｔの前景ブロックの位置を示している。また、各ブロックは４×４画素で構成されているものとする。
【００５６】
図７は図６中の前景ブロックに画素ごとの論理値を対応させた図である。前景ブロック時間累積部１０では、（ａ）〜（ｄ）に示す状態をそれぞれ図７（ａ）乃至図７（ｄ）で示すように、各画素単位で論理値“１”又は“０”を割り当てる（前景ブロックの画素が数値“１”となる）。
【００５７】
図８は図７中の前景ブロックの時間累積結果を示す図である。図７（ａ）乃至７（ｄ）に示す数値表を画素単位で累積すると、この図に示す累積表を得る。この累積表は重心・サイズ検出部１１に与えられる。
【００５８】
重心・サイズ検出部１１では、累積表に応じて図１５で説明したモーメント計算を行って、前景ブロックの重心を求める。さらに、重心・サイズ検出部１１では、予め定められた閾値（例えば、累積表中のピーク値（図８に示す例では“４”）に対する割合（例えば、２０％））よりも大きい値を有する画素中のｘ座標値の最小値及びｙ座標値の最小値を左上の点、ｘ座標値の最大値及びｙ座標値の最大値を右下の点とする四角形（長方形）領域の幅及び高さをサイズとする。
【００５９】
なお、サイズを求める際には、累積表において、以下の（２）〜（１０）の式を計算することによりｘ方向、ｙ方向それぞれの標準偏差σｘ、σｙを求める。
Ｍ００＝ΣΣ｛ｆ（ｘ，ｙ）｝・・・・・・・・・（２）
Ｍ０１＝ΣΣ｛ｘ×ｆ（ｘ，ｙ）｝・・・・・・・（３）
Ｍ１０＝ΣΣ｛ｙ×ｆ（ｘ，ｙ）｝・・・・・・・（４）
Ｍ２０＝ΣΣ｛ｘ×ｘ×ｆ（ｘ，ｙ）｝・・・・・（５）
Ｍ０２＝ΣΣ｛ｙ×ｙ×ｆ（ｘ，ｙ）｝・・・・・（６）
ｇｘ＝Ｍ０１／Ｍ００・・・・・・・・・・・・・（７）
ｇｙ＝Ｍ１０／Ｍ００・・・・・・・・・・・・・（８）
σｘ＝√（Ｍ０２／Ｍ００−ｇｘ×ｇｘ）・・・・（９）
σｙ＝√（Ｍ２０／Ｍ００−ｇｙ×ｇｙ）・・・・（１０）
ここで、（ｇｘ，ｇｙ）は選択された前景ブロック分布の中心位置を示しており、図８に示す例ではスコア値は‘４’となっている位置である。
【００６０】
また、標準偏差を予め規定された分だけ倍数（例えば、１．０倍）した値で規定される領域の幅及び高さをサイズとするようにしてもよい。例えば、ｘ方向及びｙ方向の標準偏差をσｘ及びσｙとすると、幅は２．０σｘ、高さは、２．０σｙとする。このようにして求められた重心・サイズは、追尾領域決定部１２に与えられる。
【００６１】
追尾領域決定部１２では、前述の前景動きベクトル及び重心・サイズに基づいて追尾領域を示す追尾領域情報を生成する（決定ステップ）。なお、追尾領域情報とは、重心の予測値、サイズの予測、値動きベクトルの３つの情報よりなる。この追尾領域情報は、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５に与えられるとともに、カメラ制御部１３に与えられる。
【００６２】
カメラ制御部１３では、追尾領域情報に基づいてカメラ１を駆動制御する。つまり、カメラ制御部１３は、追尾領域を画像の中心に位置づけるようにカメラ１を首振り制御することになる。この際、時々刻々入力される追尾領域域情報に応じて追尾対象の移動速度を得て、移動速度も考慮して首振り制御を行う。
【００６３】
図９は図１中の監視装置における監視カメラの制御を説明する図である。上述のようにして、（ａ）に示す画像フレームにおいて、監視装置は、（ｂ）に示すように追尾領域情報に基づいて追尾領域Ｒに応じて規定領域を設定して、つまり、画像全体について背景部分との差分処理を行って追尾領域Ｒを得て、追尾モードに切り替わることになる。そして、（ｃ）に示すように、追尾領域Ｒを移動物体（図示せず）の移動とサイズの変動に合わせて追尾させることになる。このとき、（ｄ）に示すように、カメラ１が首振り制御されて、追尾領域Ｒが常に画像の中心にくるようにすると同時に、追尾領域Ｒの大きさが画像中で予め設定した範囲に収まるようにズームの制御を行うことになる。追尾領域Ｒの大きさの設定範囲は、例えば追尾領域Ｒの縦のサイズが画像の縦サイズの２５±５％になるようにといった形で設定すればよい。つまり、移動物体の移動・サイズに合わせて追尾領域を追従させることになる。
【００６４】
このように、背景領域相関ブロック設定部４及び追尾領域相関ブロック設定部５は設定手段として機能し、相関演算実行部６ａ，６ｂは相関演算手段として機能する。そして、背景動きベクトル検出部７及び前景ブロック選択部８は、選択手段として機能し、前景動きベクトル検出部９、前景ブロック時間累積部１０、重心・サイズ検出部１１、及び追尾領域決定部１２は決定手段として機能することになる。
【００６５】
図１０は図１中の監視装置において移動物体が人である際の追尾の一例を示す図である。移動物体が人（Ｐ）であるとすると（図１０（ａ））、前述のようにして、各小ブロック毎に動きベクトル（移動ベクトル）が求められる（図１０（ｂ））。これら動きベクトルに基づいて、追尾領域Ｒに応じて規定された規定領域内で、全小ブロックに関する相関結果から得られる背景の動きベクトルと異なる動きベクトルを有するブロック群（前景ブロック群）Ｂを得る（図１０（ｃ））。そして、過去数フレーム分の前景ブロック群Ｂを追尾領域の中心を基準として位置合わせして累積して累積シルエットＨを得る（図１０（ｄ））。累積シルエットＨでは前景ブロックの存在確率が高い部分は、累積値が大きくなる分布をしている。そして、累積シルエットＨに応じて移動物体（人）の代表ベクトルｍ、前景ブロックの中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベクトル）を得る（図１０（ｅ））。
【００６６】
図１１は図１中の監視装置において移動物体が人である際の追尾の他の例を示す図である。例えば、（ａ）に示す人（Ｐ）を追尾しようとする際、周期的に振られる四肢部に関する動きブロックは出現と消滅を繰り返すことを考慮すると、（ｂ）に示すように、各小ブロック毎に移動ベクトルを求める。この結果を利用すると、（ｃ）に示すように、背景の動きベクトルと異なる動きベクトルを有するブロック群（前景ブロック群）Ｂが極端に小さくなってしまう。そこで、この実施の形態１では、過去数フレーム分の前景ブロックＢを追尾領域の中心を基準として位置合わせして累積して累積シルエットＨを得る。これにより、（ｄ）に示すように、前景ブロック群Ｂに比べて累積シルエットＨが大きくなり、（ｅ）に示すように、安定して追尾領域の代表ベクトルｍ、前景ブロックの中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベクトル）を得ることができる。この結果、人等の移動物体についても、長時間にわたり安定した追尾が可能になる。
【００６７】
以上のように、この実施の形態１によれば、映像の画像フレーム内の追尾領域に応じて規定される規定領域内外にそれぞれ相関演算ブロックを設定して、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を求めるとともに規定領域内の相関結果を求めて、これら相関結果に基づいて規定領域内の相関演算ブロックのうちから前景ブロックを選択して、前景ブロックに応じて次フレームにおける追尾領域を決定するので、人等の移動物体についても長時間にわたり安定して追尾することができる。
【００６８】
【発明の効果】
以上のように、この発明によれば、映像の画像フレームに規定領域を設定して、規定領域の内外にそれぞれ規定領域よりも小さい相関演算ブロックを設定し、相関演算ブロックに関して画像フレーム間で相関演算を実行して規定領域外の相関結果を第１の相関結果として求めるとともに規定領域内の相関結果を第２の相関結果として求め、第１及び第２の相関結果に基づいて規定領域内の相関演算ブロックのうちから移動物体像を規定する前景ブロックを選択して、前景ブロックに応じて監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定するにあたり、前景ブロックを予め設定された時間累積して前景ブロックの累積値を得て、累積値に応じて前景ブロックの重心を求めると共に前景ブロックのサイズを検出して、重心及びサイズに基づいて追尾領域を決定するので、移動物体像の画像中での見掛けの大きさかかわらず、精度よく移動物体像と背景部分の動きを分けることができ、追尾領域を高精度に予測して移動物体を安定に追尾することができるという効果がある。また、重心及びサイズに基づいて追尾領域を決定するので、前景ブロックが過去数フレームにわたって累積されることになって、安定して追尾領域を推定することができるという効果がある。
【００６９】
この発明によれば、第１の相関結果に応じて背景部分における動きを示す背景動きベクトルを検出して、第２の相関結果に応じて背景動きベクトルとその動きベクトルが異なる相関演算ブロックを規定領域中から前景ブロックとして選択するので、移動物体自体の動きをキャンセルして、精度よく背景動きベクトルを検出することができ、精度よく前景ブロックを選択することができるという効果がある。
【００７０】
この発明によれば、前景ブロックの分布状態に応じて移動物体像の重心及びサイズを推定し、重心及びサイズに応じて次画像フレームにおける追尾領域を予測するので、監視カメラを精度よく追尾制御することができるという効果がある。
【００７２】
この発明によれば、前景ブロックについて第２の相関結果が累積された積相関結果のピーク値が示す座標を前景動きベクトルとして、前景動きベクトルで示される動きに応じて追尾領域を決定するので、移動物体の動き方向を加味して追尾領域を決定することができるという効果がある。
【００７３】
この発明によれば、追尾領域に応じて規定領域を設定するので、次画像フレームにおける追尾領域を高精度に予測して、移動物体を安定して追尾することができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による監視装置の構成を示すブロック図である。
【図２】 図１中の相関演算実行部の動作を説明する図である。
【図３】 図１中の相関演算実行部で求められるスコアマップの一例を示す図である。
【図４】 図１中の背景動きベクトル検出部及び前景ブロック選択部の動作を説明する図である。
【図５】 図１中の前景ブロック選択部の動作を説明する図である。
【図６】 図１中の前景ブロック時間累積部の動作を説明する図である。
【図７】 図６中の前景ブロックに画素ごとの論理値を当てはめた図である。
【図８】 図７中の前景ブロックの時間累積結果を示す図である。
【図９】 図１中の監視装置における監視カメラの制御を説明する図である。
【図１０】 図１中の監視装置において移動物体が人である際の追尾の一例を示す図である。
【図１１】 図１中の監視装置において移動物体が人である際の追尾の他の例を示す図である。
【図１２】 従来の監視装置の構成を示すブロック図である。
【図１３】 図１２中の監視装置における監視カメラの制御を説明する図である。
【図１４】 画像全体における背景領域と追尾領域との関係を示す図である。
【図１５】 図１２中の移動ブロック重心検出部の動作を説明する図である。
【図１６】 移動物体が人である際の追尾の一例を示す図である。
【図１７】 移動物体が人である際の追尾の他の例を示す図である。
【符号の説明】
１ 監視カメラ（カメラ）、２ 画像入力部、３ 画像記憶部、４ 背景領域相関ブロック設定部、５ 追尾領域相関ブロック設定部、６ａ，６ｂ 相関演算実行部、７ 背景動きベクトル検出部、８ 前景ブロック選択部、９ 前景動きベクトル検出部、１０ 前景ブロック時間累積部、１１ 重心・サイズ検出部、１２ 追尾領域決定部、１３ カメラ制御部。
Claims (7)
- 監視カメラで得られた映像中の移動物体像に応じて前記監視カメラを駆動制御して映像中の移動物体を追尾する監視装置において、
前記映像の画像フレーム中に規定領域を設定して、該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定手段と、
前記相関演算ブロックに関して前記画像フレーム間で相関演算を実行して前記規定領域外の相関結果を第１の相関結果として求めると共に、前記規定領域内の相関結果を第２の相関結果として求める相関演算手段と、
前記第１及び前記第２の相関結果に基づいて、前記規定領域内の相関演算ブロックのうちから前記移動体像を規定する前景ブロックを選択する選択手段と、
前記前景ブロックに応じて前記監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する決定手段とを備え、
前記決定手段は、前記前景ブロックを予め設定された時間累積して前記前景ブロックの累積値を得る前景ブロック累積手段と、前記累積値に応じて前記前景ブロックの重心を求めると共に前記前景ブロックのサイズを検出する重心・サイズ検出手段と、前記重心及び前記サイズに基づいて追尾領域を決定する追尾領域決定手段とを備えたことを特徴とする監視装置。 - 選択手段は、第１の相関結果に応じて背景部分における動きを示す背景動きベクトルを検出する背景動きベクトル検出手段と、第２の相関結果に応じて前記背景動きベクトルとその動きベクトルが異なる相関演算ブロックを規定領域中から前景ブロックとして選択する前景ブロック選択手段とを備えたことを特徴とする請求項１記載の監視装置。
- 決定手段は、前景ブロックの分布状態に応じて移動物体像の重心及びサイズを推定し、該重心及びサイズに応じて次画像フレームにおける追尾領域を予測することを特徴とする請求項１又は請求項２記載の監視装置。
- 決定手段は、前景ブロックについて第２の相関結果が累積された累積相関結果のピーク値が示す座標を前景動きベクトルとする前景動きベクトル検出手段を備え、
追尾領域決定手段は、前記前景動きベクトルで示される動きに応じて追尾領域を決定することを特徴とする請求項１または請求項２記載の監視装置。 - 設定手段は、追尾領域に応じて規定領域を設定することを特徴とする請求項１から請求項４のうちのいずれか１項記載の監視装置。
- 監視カメラで得られた映像中の移動物体像に応じて前記監視カメラを駆動制御して前記監視カメラで映像中の移動物体を追尾する監視方法において、
前記映像の画像フレーム中に規定領域を設定して該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定ステップと、
前記相関演算ブロックに関して前記画像フレーム間で相関演算を実行して前記規定領域外の相関結果を第１の相関結果として求めると共に、前記規定領域内の相関結果を第２の相関結果として求める相関演算ステップと、
前記第１及び第２の相関結果に基づいて前記規定領域内の相関演算ブロックのうちから前記移動物体像を規定する前景ブロックを選択する選択ステップと、
前記前景ブロックに応じて前記監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する決定ステップとを備え、
前記決定ステップは、前記前景ブロックを予め設定された時間累積して前記前景ブロックの累積値を得る前景ブロック累積ステップと、前記累積値に応じて前記前景ブロックの重心を求めると共に前記前景ブロックのサイズを検出する重心・サイズ検出ステップと、 前記重心及び前記サイズに基づいて追尾領域を決定する追尾領域決定ステップとを備えたことを特徴とする監視方法。 - 監視カメラで得られた映像の画像フレーム中に規定領域を設定して、該規定領域の内外にそれぞれ該規定領域よりも小さい相関演算ブロックを設定する設定手段、
前記相関演算ブロックに関して前記画像フレーム間で相関演算を実行して前記規定領域外の相関結果を第１の相関結果として求めると共に、前記規定領域内の相関結果を第２の相関結果として求める相関演算手段、
前記第１及び前記第２の相関結果に基づいて、前記規定領域内の相関演算ブロックのうちから移動体像を規定する前景ブロックを選択する選択手段、
前記前景ブロックに応じて前記監視カメラが追尾すべき移動物体像の領域を示す追尾領域を決定する手段であって、前記前景ブロックを予め設定された時間累積して前記前景ブロックの累積値を得る前景ブロック累積手段と、前記累積値に応じて前記前景ブロックの重心を求めると共に前記前景ブロックのサイズを検出する重心・サイズ検出手段と、前記重心及び前記サイズに基づいて追尾領域を決定する追尾領域決定手段とを有する決定手段としてコンピュータを機能させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002124748A JP3929819B2 (ja) | 2002-04-25 | 2002-04-25 | 監視装置及び方法並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002124748A JP3929819B2 (ja) | 2002-04-25 | 2002-04-25 | 監視装置及び方法並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319387A JP2003319387A (ja) | 2003-11-07 |
| JP3929819B2 true JP3929819B2 (ja) | 2007-06-13 |
Family
ID=29539717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002124748A Expired - Lifetime JP3929819B2 (ja) | 2002-04-25 | 2002-04-25 | 監視装置及び方法並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3929819B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5003991B2 (ja) * | 2005-10-26 | 2012-08-22 | カシオ計算機株式会社 | 動きベクトル検出装置及びそのプログラム |
| JP4716266B2 (ja) * | 2007-02-26 | 2011-07-06 | カシオ計算機株式会社 | 画像処理装置、撮像装置及びそのプログラム |
| JP5699432B2 (ja) * | 2010-01-27 | 2015-04-08 | 株式会社ニコン | 画像処理装置 |
| JP2012084056A (ja) * | 2010-10-14 | 2012-04-26 | Foundation For The Promotion Of Industrial Science | 物体検出装置 |
| EP2544149A4 (en) | 2011-03-22 | 2014-11-19 | Morpho Inc | DEVICE FOR DETERMINING MOTIVATED BODIES, METHOD FOR DETECTING MOTIVATED BODIES, PROGRAM FOR DETECTING MOTIVATED BODIES, DEVICE FOR MONITORING MOTIVATED BODIES, METHOD FOR TRACKING MOVING BODIES AND PROGRAM FOR TRACKING MOTIVATED BODIES |
| KR101918159B1 (ko) * | 2015-05-19 | 2018-11-13 | 에스케이 텔레콤주식회사 | 영상에서 배경 움직임 영역을 분할하는 방법 및 장치 |
-
2002
- 2002-04-25 JP JP2002124748A patent/JP3929819B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003319387A (ja) | 2003-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10893207B2 (en) | Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program | |
| EP3084577B1 (en) | Selection and tracking of objects for display partitioning and clustering of video frames | |
| US8989448B2 (en) | Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program | |
| JP5528151B2 (ja) | 対象物追跡装置、対象物追跡方法、および対象物追跡プログラム | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| CN107438173A (zh) | 视频处理装置、视频处理方法和存储介质 | |
| US9761012B2 (en) | Object tracking device, object tracking method, and computer-readable medium | |
| US20080303911A1 (en) | Method for Capturing, Measuring and Analyzing Motion | |
| KR20030007728A (ko) | 타겟을 재포착하는데 있어 자동화된 비디오 추적 시스템을지원하는 방법 | |
| US20120134541A1 (en) | Object tracking device capable of detecting intruding object, method of tracking object, and storage medium | |
| JP2005250989A (ja) | 移動物体追跡方法及び画像処理装置 | |
| JP2009510541A (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
| KR20110103842A (ko) | 대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램 | |
| JP4874150B2 (ja) | 移動物体追跡装置 | |
| JP2008000884A (ja) | ロボットの相互作用のためのビジュアル・プロト−オブジェクトの評価 | |
| KR101789520B1 (ko) | 그룹-기반 다중 객체 추적 장치 및 방법 | |
| JP2001076156A (ja) | 画像監視装置 | |
| JP2006185109A (ja) | 画像計測装置及び画像計測方法 | |
| JP3929819B2 (ja) | 監視装置及び方法並びにプログラム | |
| CN111524086B (zh) | 运动物体检测装置、运动物体检测方法、存储介质 | |
| CN112700478A (zh) | 目标跟踪方法、系统、计算机可读存储介质和程序产品 | |
| JP6613976B2 (ja) | 撮影制御プログラム、撮影制御方法および撮影制御装置 | |
| CN113628250A (zh) | 目标跟踪方法、装置、电子设备以及可读存储介质 | |
| US20210092281A1 (en) | Control apparatus, control method, and recording medium | |
| JP5253101B2 (ja) | オブジェクト追尾方法および画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3929819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |