JP3644668B2 - 画像監視装置 - Google Patents
画像監視装置 Download PDFInfo
- Publication number
- JP3644668B2 JP3644668B2 JP25042699A JP25042699A JP3644668B2 JP 3644668 B2 JP3644668 B2 JP 3644668B2 JP 25042699 A JP25042699 A JP 25042699A JP 25042699 A JP25042699 A JP 25042699A JP 3644668 B2 JP3644668 B2 JP 3644668B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking
- template
- camera
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、プラント機器や公共システム、ビル、住居等への人や不審物体の侵入をカメラから得られる画像を用いて自動的に監視し、自動的に追尾する画像監視装置に関するものである。
【０００２】
【従来の技術】
重要施設などさまざまな場所で、防犯、防災を目的として監視カメラが設置され、その画像を人が監視し、カメラを操作する監視業務が行われている。そしてこの監視業務の省力化を目的としてその自動化が試みられている。
例えば、第５回画像センシングシンポジウム講演論文集（１９９９／０６）の第１３頁〜１８頁、伊藤／上田「画像認識ハードウェア内蔵カメラを用いた自律移動物体追尾監視カメラ」には、カメラから得られる画像をいわゆるテンプレートマッチング処理を行って対象を抽出し、自動追尾する上での問題点と、その対処方法が示されている。
【０００３】
ここで、まず、公知のいわゆるテンプレートマッチングによる移動物体の追尾処理方法について説明する。
図９〜１２は、テンプレートマッチングによる移動物体の追尾処理を説明する画面の図である。
監視カメラからの出力画像は言うまでもなく連続した画像（以下フレームと言う）で構成されている。以下の説明では、現時点に得られた画像を「現フレームの画像」１６、この現フレームの画像１６の一フレーム前の画像を「前フレームの画像」１５という。
図９において、６７は前フレームの画像１５中から公知の差分処理などにより切り出したテンプレート、６８は入力された現フレームの画像１６の画像上でテンプレートマッチングを計算する動作の説明図である。
図１０において、６９は説明の都合上、平面的に表したテンプレートマッチングの一致の度合いを色の濃さで表した平面的結果スコア、７０はテンプレートマッチングの平面的結果スコア６９を立体的に表示した立体的結果スコアである。図１１は連続する画像フレーム間でテンプレートを逐次更新しながらトラッキングを行う動作の説明図である。
【０００４】
次に図９〜１１によりテンプレートマッチング動作について説明する。まず前回の追尾点を中心に前フレームの画像１５から切り出されたテンプレート６７と、現フレームの画像１６内で最も類似度が高い画像小領域を探索する。その方法は図９の６８に示すように、現フレームの画像１６にテンプレート６７を1 画素づつずらしながら重ね合わせ、テンプレート６７と同じサイズの画像小領域の各1 点1 点について、輝度値の差の絶対値を合計する。
このようにして得られる一致の程度を表す平面的結果スコア６９は立体的に表示すると７０のようになる。ここで、結果スコア６９は必ずゼロまたは正の値であり完全に一致した場合はゼロで、一致度が低い程スコア値が大きくなる。したがって結果スコアの立体表示７０では、理解を助けるためＺ軸は上側を負にして表している点に注意が必要である。以後、本明細書では立体表示はＺ軸の上側が負になるように表している。結果スコアが極大となる点が最も一致度の高い点であるとして追尾点が求められる。連続する画像間でテンプレートを逐次更新しながら前述の一致の程度を順次調べるトラッキングを行うと、図１１の７１のようになる。テンプレート６７は毎フレーム毎に最も類似度の高かった小領域とそのまま入れ換え６７、６７’、６７”のように更新される。
【０００５】
前述の予稿集では、前記のような従来のテンプレートマッチング技術を用いた場合の問題として、
（１）奥行きのある対象物体（例えば車両）の向きが変化した場合に、得られるテンプレートが、徐々に対象物体の中心からずれてしまい、やがて対象から外れてしまう。
（２）対象物体の手前を他のものが横切った場合に、対象のすり替えが起こってしまう。
の２点が示され、このような現象に対する対応手段が開示されている。
【０００６】
前述の予稿集には、装置の構成は示されていないが、記載されている内容（対象物体とテンプレートの位置ずれに対しては、エッジ累積分布計算手段を、また、対象物体のすれ違いに対しては複数のテンプレート間の一致度の比較によって対処する）から予想される装置の構成は図１２に示す様なものであろうと推定される。
図において、１は監視カメラ、２は画像入力手段、３は画像記憶手段、４はテンプレート設定手段、５はテンプレート探索手段、６は最一致点抽出手段、５２はエッジ累積分布計算手段、８は重心抽出手段、１０は追尾点決定手段、１１は追尾点情報記憶手段、１２はカメラ制御判定手段、１３は雲台制御手段である。
【０００７】
次に図１２のものの動作について説明する。監視カメラ１は監視対象を撮像する。画像入力手段２はカメラ１が撮像した画像をランダムアクセス可能なメモリー（図示しない）に入力して、現フレームの画像１６とする。画像記憶手段３は、現フレームの画像１６を、設定したフレーム間隔数に相当する時間だけ遅らせてランダムアクセス可能なメモリーに送出し、前フレームの画像１５とする。
【０００８】
テンプレート設定手段４は、前フレームの画像１５から前回の追尾点の周辺の画像小領域をテンプレート６７として読みだし、テンプレート用メモリ（図示しない）に登録する。テンプレート探索手段５は、現フレームの画像１６中の各点を中心とする画像領域の各々と前述のテンプレート６７との類似度を計算し、類似度（又は一致度）を表す結果スコア６９としてランダムアクセス可能なメモリーに書き込む。最一致点抽出手段６は、テンプレート探索結果により得られた結果スコア６９の中で、前回の追尾点の周辺で最も一致度の高い点を抽出する。以後、説明の都合上、この処理をテンプレートマッチングと呼ぶ。
【０００９】
次にエッジ累積分布計算手段５２はテンプレートマッチングにより求められた追尾点の周辺でＸ、Ｙ各方向の輝度微分値であるエッジの累積分布を計算し、重心抽出手段８は、Ｘ、Ｙ各方向のエッジ累積分布を用いて追尾対象の重心を求める。この場合テンプレートマッチングを用いないでエッジ累積分布を用いて対象の重心を求めているので対象の向きが変わるなどの変化があっても重心位置を間違って求める恐れが少なくなっている。
【００１０】
そして、追尾点決定手段１０は、テンプレートマッチングにより求められた追尾点を、エッジ累積分布を用いて求めた追尾対象の重心を用いて補正し新たな追尾点を決定する。
【００１１】
追尾点情報記憶手段１１は、決定された最新の追尾点情報を一時記憶する。この追尾点情報は次回フレームで、テンプレート設定手段４、最一致点抽出手段６に入力される。
【００１２】
カメラ制御判定手段１２は、最新の追尾点情報に基づいてカメラの変位制御（カメラの首振り動作、ズーム制御など）を実行する。
【００１３】
雲台制御手段１３は、カメラ制御判定手段１２の判定結果に基づいて、カメラ雲台の方向や移動速度を制御する。
【００１４】
このように、テンプレートマッチングによりテンプレート６７を逐次更新しながら対象を追尾し、追尾対象が変形する場合でも安定な追尾を可能としようとするものである。また、テンプレートマッチングによって求められた追尾点を、その周囲から求められる輝度の累積分布を用いて補正することにより、常に追尾対象の中心をテンプレートの中心として設定し、安定な追尾を行おうとするものである。
【００１５】
以上に説明した従来のテンプレートマッチング技術を用いた画像監視装置の問題点を説明するため、図１３にテンプレート６７の内部の追尾対象以外の背景部分に、例えば地面に描かれた白線等、追尾対象よりもコントラストが高く、その輝度分布の偏りが大きいものがある場合について説明する。
【００１６】
図１３に於いて、７２〜７９はこの符号の順に変化するフレームを示しており、符号の番号順に画像が変化しているものとする。７２１〜７９１はそれぞれフレーム７２〜７９のフレームにおいて抽出されたテンプレートを示している。
８０は各フレーム７２〜７９の中に写っているコントラストが極めて高い背景、例えば床面の白線、床と壁の区切り線などである。コントラストが極めて高い背景８０のコントラストは、監視すべき対象（ここでは人の像）のコントラストよりも高いので、最初のテンプレート７２１の中では、輝度の中心が人の像の中心から若干外側へ移動する。そしてテンプレート７３１の中では同じことが再度生じて、輝度中心が更に外側へ移動する。このような動作が繰り返されることによって、テンプレート７９１ではついにテンプレートが監視すべき対象から外れてしまう。
【００１７】
また、例えば上半身は背景と同様な色、下半身は背景に対してコントラストのある色といったように、追尾対象自身に輝度分布の偏りがある場合にも、テンプレートが更新されるたびに輝度の中心が少しづつ移動し、ついには外れてしまう現象が生じやすい。
【００１８】
【発明が解決しようとする課題】
以上に説明したように、従来の画像監視装置は、それ以前のものに比して相当程度改善されているとはいえ、追尾対象自身に輝度分布の偏りがある場合や、背景部分に追尾対象よりもコントラストがいちじるしく高くその輝度分布の偏りが大きいものがある場合などには、テンプレートとして切り出す領域が対象の中心からずれ、逐次テンプレートを更新しながら追尾処理を続けると、いずれは追尾対象を外してしまうという現象が生じることが多い。
【００１９】
即ち、従来の画像監視装置は常にテンプレート探索によって追尾点を求め、更にその追尾点周辺の輝度のＸ軸、Ｙ軸の累積分布を用いて補正するという方法を繰り返し行う為、例えばテンプレート探索の信頼性、あるいはその補正手段である追尾点周辺の輝度のＸ軸、Ｙ軸の累積分布の信頼性のいずれか一方が低い場合は、低い方の信頼性に伴う誤差が累積して、やがて誤った追尾点を追尾してしまうという問題点があった。
【００２０】
この発明は、以上のような課題を解決するためになされたもので、テンプレート探索の信頼性、補正手段の信頼性のいずれか一方が低い場合でも、常に安定して追尾対象の中心がテンプレートの領域の中心に来るようにテンプレート位置を補正することができる画像処理装置を得ようとするものである。
【００２１】
【課題を解決するための手段】
本発明の画像監視装置は、連続して画像を取り込み可能でかつ変位可能なカメラと、画像を処理して移動物体を発見する画像処理部と、移動物体の移動に応じてカメラを変位させるカメラ制御手段とを有する画像監視装置であって、
画像処理部は、連続する画像の前フレームの画像における移動物体を含む画像領域をテンプレートとして記憶するテンプレート設定手段と、
現フレームの画像中でテンプレートと類似する画像領域を探索し、テンプレートに代わる新たなテンプレートとして更新記憶するテンプレート探索手段と、
連続する画像間で差分処理を行うことにより、移動物体を抽出する画像差分抽出手段と、
テンプレート探索手段の探索結果と、画像差分抽出手段の差分結果の信頼度を評価して、その信頼度に応じてカメラの追尾モードをテンプレート探索手段の結果を用いる第１の追尾モード、画像差分抽出手段の結果を用いる第２の追尾モード、その両方の結果を用いる第３の追尾モードのいずれとするかを選択する追尾モード選択手段と、
選択した追尾モードに応じて追尾点を決定する追尾点決定手段とを備えるものである。
【００２２】
また、カメラ制御手段は、追尾点決定手段が決定した追尾点が画像内に設けたカメラ制御不要領域内に位置するようにカメラを制御するものである。
【００２３】
また、追尾モード選択手段が、第３の追尾モードを選択したとき、
追尾点決定手段は画像差分抽出手段の結果から求めた追尾点の位置に、テンプレート探索手段により得られる追尾点の移動ベクトルの半分の大きさのベクトルを加えた位置を新しい追尾点とするものである。
【００２４】
また、追尾モード選択手段は、画像差分抽出手段の差分出力画像のエッジ部の画面占有率があらかじめ定めた所定のレベルより大きいときはカメラが変位動作している途中に得られた画像であると判定して第１の追尾モードを選択するようにしたものである。
【００２５】
また、追尾モード選択手段は、テンプレート探索手段のスコアがあらかじめ定めた所定のレベルより大きいときはテンプレート探索の信頼度が低いとして第２の追尾モードを選択するようにしたものである。
【００２６】
また、カメラ制御手段はこのカメラの画面内の外側に接する範囲にカメラ制御必要領域を設定し、追尾点決定手段が決定した追尾点がカメラ制御必要領域内にあるとき、前記カメラを制御して前記追尾点がほぼ画面の中心位置に来るよう制御するようにしたものである。
【００２７】
また、追尾モード選択手段は、追尾対象を見失ったとき、見失う直前の追尾対象の方向を中心に、あらかじめ定めた所定の角度幅でカメラを左右又は上下に変位させる発見モードを備えたものである。
【００２８】
【発明の実施の形態】
本発明の実施の形態について説明する前に、その理解を助けるため、画像監視装置により得られる画像の状態がさまざまであることを図８により説明する。図において、５８はあらかじめ取り込んだ背景画像（前フレームの画像１５に相当）、５９は入力された画像（現フレームの画像１６に相当）、６０は背景画像５８と入力された画像５９の差分から抽出された侵入物体、６１、６２、６３は発見された侵入物体をカメラ固定のまま追尾している情景、６４、６５、６６は追尾対象が視野内におさまるようにカメラ１を（あるいは雲台を）旋回しながら（変位させながら）追尾している情景である。このように、画面内の変化は、監視する対象物体の移動によって生じる場合と、変位、ズーム制御などカメラ１の側の撮影条件の変化によって生じる場合と、それらが同時に起こる場合とがあるので、画像監視装置はこれらのいずれの場合にも安定して動作するものとする必要がある。
【００２９】
実施の形態１．
本発明の画像監視装置について、図１に基づいて説明する.
図１は本発明の画像監視装置の構成図である。なお、以下の図に於いて従来のものと同一又は相当部分には同じ符号を付してその詳細な説明を省略する。
図１において, １は連続して画像を取込み可能で、かつ、変位可能な首振りあるいはズーム機能を有する監視用のテレビカメラ（以下単にカメラという）、2 はカメラ１の出力画像を入力して現フレームの画像１６とする画像入力手段、3 は現フレームの画像１６を設定したフレーム数に相当する時間だけ遅らせて、前フレームの画像１５として送出する画像記憶手段、4 は前フレームの画像１５において追尾点の周辺の画像小領域をテンプレート１７として登録するテンプレート設定手段、5 は前述のテンプレート１７と現フレームの画像１６中の各画像領域との類似度を計算するテンプレート探索手段、6 はテンプレート探索手段５の出力結果から前回の追尾点の周辺で最も一致度の高い点を抽出する最一致点抽出手段である。以上は従来の図１２のものと同じである。
【００３０】
7 は現フレームの画像１６と前フレームの画像１５との差分を計算する画像差分抽出手段、8 は画像差分抽出手段７により得られた差分結果について前回の追尾点の周辺でモーメントを計算することによって重心位置を求める重心抽出手段、9 はテンプレート探索手段５により得られたテンプレート探索結果と、画像差分抽出手段７により得られた画像差分結果と、追尾点情報記憶手段１１が記憶している前回の追尾点の情報とから、追尾モードを選択する追尾モード選択手段、１０は追尾モード選択手段９の結果にもとづいて最一致点抽出手段６と重心抽出手段８の結果を追尾モードに応じて単独で使用したり融合して使用したりして（具体的な融合の方法は後述する）、最新の追尾点を決定する追尾点決定手段である。
画像入力手段２〜追尾点決定手段１０に至る構成は画像処理部を構成している。
１１は決定された最新の追尾点情報を一時記憶する追尾点情報記憶手段、１２は最新の追尾点情報に基づいてカメラの制御方法を決定するカメラ制御手段、１３はカメラ制御手段１２の結果に基づいてカメラ雲台を制御する雲台制御手段、１４はカメラ制御手段１２の結果に基づいて、ズーム率を制御するズーム手段である。
【００３１】
次に図１のものの動作を図２を用いて説明する。図２において, １５は前フレームの画像、１６は現フレームの画像、１７は前フレームの画像１５から前回の追尾点位置を中心に切り出したテンプレート、１８は現フレームの画像１６上でテンプレート１７の位置を変化させて、一致する位置を見いだすことにより抽出した（即ち、テンプレートマッチングにより抽出した）追尾点、１９は前回の追尾点（図示しない）とテンプレートマッチングにより抽出した追尾点１８との間の移動ベクトル、２０は前フレームの画像１５と現フレームの画像１６との差分結果、２１は差分結果２０から求めた重心位置を示している。ここで、追尾点１８は新しいテンプレートの中心にあるが、重心位置２１は旧いテンプレートと新しいテンプレートとの中間点にあることに注意する必要がある。
【００３２】
カメラ１は図示しない雲台に搭載されて監視対象の方向を撮像する。画像入力手段２はカメラ１が撮像した画像を図示しないランダムアクセス可能なメモリーに入力して現フレームの画像１６とする。
画像記憶手段３は現フレームの画像１６を、設定したフレーム間隔数に相当する時間だけ遅らせてランダムアクセス可能なメモリーに送出し、前フレームの画像１５とする。
【００３３】
テンプレート設定手段４は前フレームの画像１５から前回の追尾点（図示しないが前フレームの画像１５内の人物像付近にある）の周辺の画像小領域をテンプレート１７として読み出しテンプレート用メモリに登録する。テンプレート探索手段５は現フレームの画像１６中の各点を中心とする画像領域の各々と前述のテンプレート１７との類似度を計算し、類似度を表す結果スコアとしてランダムアクセス可能なメモリーに書き込む。最一致点抽出手段６はテンプレート探索手段５の結果により得られた結果スコアの中で、前回の追尾点の周辺で最も一致度の高い点を追尾点１８として抽出する。
【００３４】
次に画像差分抽出手段７は、現フレームの画像１６と前フレームの画像１５との差分２０を計算する。重心抽出手段８は画像差分抽出手段７により得られた差分結果２０について、前回の追尾点の周辺でモーメントを計算することによって重心位置２１を求める。以後この処理をフレーム間差分の重心抽出と呼ぶ。
【００３５】
そして、追尾モード選択手段９は、前述のテンプレート探索手段５により得られたテンプレート探索結果と、前述の画像差分抽出手段７により得られた画像差分結果と、前回の追尾点の情報から下記の３つの追尾モード中のいずれかを選択する（具体的な選択方法については後述する）。即ち、
第１の追尾モード「テンプレートマッチングにより得た追尾点をそのまま用いる
。」
第２の追尾モード「差分処理により得た追尾点（重心点）をそのまま用いる。」第３の追尾モード「テンプレートマッチングにより得た追尾点と差分処理により
得た追尾点（重心点）を融合して用いる。」
追尾点決定手段１０は追尾モード選択手段９の結果にもとづいて、最一致点抽出手段６の抽出結果１８と重心抽出手段８の抽出結果２１とを融合し（具体的な融合方法については以下の実施の形態で順次説明する）最新の追尾点を決定する。
【００３６】
追尾点情報記憶手段１１は決定された最新の追尾点情報を一時記憶する。
この追尾点情報は次回のフレームでテンプレート設定手段４、最一致点抽出手段６、重心抽出手段８、追尾モード選択手段９に入力される。
【００３７】
カメラ制御手段１２は最新の追尾点情報に基づいてカメラの制御方法を判定する。雲台制御手段１３はカメラ制御手段１２の結果に基づいて、カメラ雲台を制御する。ズーム手段１４はカメラ制御手段１２の結果に基づいてズーム率を制御する。なお、以上の説明において、雲台が首振り動作することをカメラが変位するという表現をしている場合があるが同じ意味である。
【００３８】
実施の形態２．
図３は本発明の実施の形態２による画像監視装置の動作、特に前述の第３の追尾モードの詳細について説明するための画像の図である。図３において, １５は前フレームの画像、１６は現フレームの画像、１７は前フレームの画像から前回の追尾点位置を中心に切り出したテンプレート、１８はテンプレートマッチングにより抽出した追尾点、１９は前回の追尾点とテンプレートマッチングにより抽出した追尾点１８との間の移動ベクトル、２０は前フレームの画像１５と現フレームの画像１６との差分結果、２１は前フレームの画像１５と現フレームの画像１６との差分結果２０から求めた重心位置、２２は移動ベクトル１９の大きさを半分にしたベクトル、２３は前フレームの画像１５と現フレームの画像１６との差分結果２０から求めた重心位置２１に、移動ベクトル１９を半分にしたベクトル２２を加えた点である。
【００３９】
次に動作について説明する。前フレームの画像１５から、前回の追尾点位置を中心に切り出したテンプレート１７を、現フレームの画像１６中でテンプレートマッチングにより抽出し追尾点１８を得る。
一方、前フレームの画像１５と現フレームの画像１６との差分結果２０において、テンプレートマッチングにより抽出した追尾点１８の周辺でモーメント計算を行い重心位置２１を求める。
前回の追尾点とテンプレートマッチングにより抽出した追尾点１８との間の移動ベクトル１９を半分にしたベクトル２２を、前フレームの画像１５と現フレームの画像１６との差分結果から求めた重心位置２１に加え追尾点２３を得る。
【００４０】
ここで、重心抽出は追尾点周辺の限定された領域内で、画像差分結果２０をあるしきい値で２値化したものについて、0 次と1 次のモーメントを計算する方法としてもよい。
【００４１】
あるいはまた、重心抽出は、追尾点周辺の限定された領域内で、画像差分結果の絶対値を、重み付け値として、0 次と1 次のモーメントを計算する方法としてもよい。
【００４２】
また、テンプレートマッチングにより得られた追尾点１８と、テンプレートマッチングにより得られた移動ベクトル１９と、フレーム間差分の重心２１とにより得られた追尾点とを比較し、両者のＸ、Ｙ各成分の差があるしきい値以下ならば、後者をそのまま補正後の追尾点とし、両者のＸ、Ｙ各成分の差分があるしきいより大きければ、それぞれの差をそのしきい値でリミットし、テンプレートマッチング探索結果の追尾点に差分のしきい値を加えたものを補正後の追尾点とする方法としてもよい。
【００４３】
実施の形態３．
図４、５は本発明の実施の形態３による画像監視装置の動作を説明する図である。
図４において, ２４はカメラ揺れのない（カメラが変位していない）場合の前フレームの画像、２５はカメラ揺れのない場合の現フレームの画像、２６はカメラ揺れのない場合の前フレームの画像２４と現フレームの画像２５との差分結果、２６Ａは差分結果２６のＹ軸方向についてエッジ抽出を行ったデータを示すものである。ここでエッジ抽出はＸ、Ｙ両軸について行うのがよいが説明の都合上、図にはＹ軸についてのみ示している。２７はカメラ揺れのある（カメラが変位している途中）場合の前フレームの画像、２８はカメラ揺れのある場合の現フレームの画像、２９はカメラ揺れのある場合の前フレームの画像２７と現フレームの画像２８との差分結果、２９Ａは差分結果２９のＹ軸方向のエッジ抽出データを示す。ここでもエッジ抽出データは説明の都合上、Ｙ軸についてのみ示している。
【００４４】
図５に於いて、３０は追尾対象が明瞭な場合の前フレームの画像から切り出したテンプレート、３１は追尾対象が明瞭な場合の現フレームの画像、３２は追尾対象が明瞭な場合のテンプレートマッチングの結果スコア、３３はテンプレートマッチングの有効性を検証する為の、スコアデータの最一致点からの離し量、３４はテンプレートマッチングの有効性を評価する為の、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離離れた点におけるスコア値との差、３５は追尾対象が不明瞭な場合の前フレームの画像から切り出したテンプレート、３６は追尾対象が不明瞭な場合の現フレームの画像、３７は追尾対象が不明瞭な場合のテンプレートマッチングの結果スコア、３８はテンプレートマッチングの有効性を検証する為の、スコアデータの最一致点からの離し量、３９はテンプレートマッチングの有効性を評価する為の、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離離れた点におけるスコア値との差である。
【００４５】
次に動作について説明する。まず、カメラ雲台又は変位させる機構が静止しており、ズーム率も変化していないとき、エッジ抽出データ２６Ａは占有率が低く、差分が一か所に集中しているので、その信頼性が高く、画像差分抽出手段７の結果２６から得られる重心位置は追尾対象の移動前後の重心位置であると判断して間違いがない。よってテンプレートマッチングにより求まった前回の追尾点から、今回の追尾点までの移動ベクトルの半分を、画像差分の重心抽出結果に加えて、追尾対象の中心がテンプレートの中心となるように補正された新しい追尾点を決定することができる。
【００４６】
次に、画像差分抽出手段７の結果がゼロとなるときは、対象が静止しており、カメラ雲台も静止している。従って、テンプレートマッチングにより得られた追尾点をそのまま用い、追尾点の補正を行わない。
【００４７】
あるいは、画像差分抽出手段７の結果がゼロとなるときは、ターゲットの移動が無いものとして、テンプレートマッチングにより得られた追尾点を破棄し、前回の追尾点をそのまま用いるという方法としてもよい。
【００４８】
一方、カメラ又は雲台が変位動作中である、あるいはズーム率が移動（変動）中もしくは安定していないとき、エッジ抽出結果２９Ａは占有率が高く画像中のあらゆる場所で大きな値を示すので信頼性が低く、画像間差分の結果２９も画像中のあらゆる場所に表れ、画像差分抽出手段７の結果から追尾対象の移動前後の重心位置を正確に求めることができない。このような場合はテンプレートマッチングのみで追尾を行えばよい。カメラの移動が収まった後、再びテンプレートマッチングとフレーム間差分とを併用した追尾を行う。
【００４９】
また、追尾対象が明瞭な場合、テンプレートマッチングの結果スコア３２は最一致点付近で急峻であり、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離３３だけ離れた点におけるスコア値との差３４は、大きな値となる。
【００５０】
一方、追尾対象が不明瞭な場合、テンプレートマッチングの結果スコア３７は最一致点付近でなだらかであり、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離３３だけ離れた点におけるスコア値との差３９は、小さな値となる。
【００５１】
このように、テンプレートマッチングのスコア結果３４、３９からテンプレートマッチングの有効性を評価し、例えば、テンプレートマッチングのスコア結果が最一致点の付近でほぼ同じ値（なだらか）である等、テンプレートマッチングが有効ではない場合、対象の移動ベクトルを前回までの移動ベクトルから推定し、その半分をフレーム間差分結果の重心位置に加えて新しい追尾点とし、その追尾点を中心とする画像小領域を用いてテンプレートを更新しながら画像差分抽出手段７のみで追尾を行い、テンプレートマッチングが有効になった後、再びテンプレートマッチングと画像差分抽出手段７とを併用した追尾を行う。
【００５２】
さらに、差分結果が２９Ａの状態が続くとき、あるいはテンプレートマッチングの結果が３９の状態が続くときは、追尾対象の見失いと判定して、カメラを、対象を見失う直前のカメラの方向を中心に、あらかじめ定めた所定の角度幅でカメラを左右又は上下に変位させる発見モードで制御する。また、テンプレート更新の要不要、カメラ制御の可、不可を判断することも可能である。
【００５３】
実施の形態４．
図６、７は本発明の実施の形態４による画像監視装置の動作の説明図である。図６において, ４０Ａは画面内に設けたカメラ制御不要領域（点線の内側）、４０Ｂはカメラ制御必要領域を示し、４０は追尾対象がカメラ制御不要領域４０Ａ内に存在する場合のカメラ画像である。４１は追尾対象がカメラ制御不要領域４０Ａから外に出た場合のカメラ画像である。常にカメラ制御不要領域４０Ａの外側にカメラ制御必要領域４０Ｂがある。４２は追尾対象がカメラ制御必要領域４０Ｂ内に入った場合にカメラのパン、チルト操作を行って画像をカメラ制御不要領域４０Ａ内あるいは、画面のほぼ中央に移動させた画像である。
また、図７に於いて、４３はカメラ１のズームがワイド端の場合の監視カメラ画像である。４４はカメラのズームをワイド端から望遠側に移動した場合の監視カメラ画像である。４５はカメラのズームをさらに望遠側に移動した場合の監視カメラ画像である。
【００５４】
次に動作について説明する。カメラ視野の内部にカメラ制御不要領域４０Ａ、とその外側のカメラ制御必要領域４０Ｂを設定し、追尾対象がカメラ制御不要領域４０Ａ内に存在する場合はカメラ雲台の制御は行わず、カメラを固定したトラッキングを行う。
また４１のように、追尾対象がカメラ制御必要領域４０Ｂ内に入った場合、監視カメラの雲台を追尾対象がカメラ制御不要領域４０Ａ内に、好ましくは対象が画面のほぼ中央になるように制御し、図６の４２のような画像を得る。
【００５５】
対象を画面の中央に移動するようにカメラ制御するとき、カメラ雲台への制御命令は、結果的に連続的ではなく間欠的に行われる。また、制御命令の判定しきい値に増加側と減少側とでヒステリシスを設け、カメラ雲台の機構部への負担を軽減すると共に、画像差分抽出手段７の情報を追尾に用いるフレーム数を増加させ、安定な対象の追尾を可能にする。追尾点をカメラ制御不要領域４０Ｂ内に位置するようにカメラを制御する場合、カメラ１の動きが必要最小限に制約され、無駄な動きが少なくなる。
【００５６】
また、図７の４３のように、カメラ１のズームがワイド端の場合、追尾対象の識別が困難である。このとき、カメラ制御手段１２によって追尾対象の識別が可能な解像度になるまで図７の４４、４５のようにズームの制御をする。
【００５７】
ここで、追尾対象の詳細が識別可能な解像度を得る為にカメラズーム比を制御する際に、ズーム制御手段１４への制御命令を連続的ではなく、間欠的に行い、また、制御命令の判定しきい値に増加側と減少側とでヒステリシスを設け、ズーム制御手段１４の機構部への負担を軽減すると共に、画像差分抽出手段７が有効に使えるフレームを増加させ、安定な対象の追尾を可能にする。
【００５８】
【発明の効果】
以上に説明したように、本発明の画像監視装置は、テンプレート探索手段の探索結果と、画像差分抽出手段の結果の信頼度を評価して、その信頼度に応じてカメラの追尾モードをテンプレート探索手段の結果を用いる第１の追尾モード、フレーム間処理部の結果を用いる第２の追尾モード、その両方の結果を用いる第３の追尾モードのいずれとするかを選択する追尾モード選択手段を備えているので、安定な追尾対象の追尾ができるという効果がある。
【００５９】
また、カメラ制御手段は決定された追尾点を画像内に設けたカメラ制御不要領域内に位置するようにカメラを制御するので、カメラの動きが必要最小限に制約され、無駄な動きが少なくなるという効果がある。
【００６０】
また、追尾モード選択手段が、第３の追尾モードを選択したとき、追尾点決定手段は画像差分抽出手段の結果から求めた追尾点の位置に、テンプレート探索手段により得られる追尾点の移動ベクトルの半分の大きさのベクトルを加えた位置を新しい追尾点とするので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６１】
また、追尾モード選択手段は、画像差分抽出手段の差分出力画像のエッジ部の画面占有率があらかじめ定めた所定のレベルより大きいときはカメラの向きが移動中に得られた画像であると判定して画像差分抽出手段の出力を無視する第１の追尾モードを選択するようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６２】
また、追尾モード選択手段は、テンプレート探索手段のスコアがあらかじめ定めた所定のレベルより大きいときはテンプレート探索の信頼度が低いとしてテンプレート探索手段の出力を無視する第２の追尾モードを選択するようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６３】
また、カメラ制御手段はこのカメラの画面内の外側に接する範囲にカメラ制御必要領域を設定し、追尾点決定手段が決定した追尾点が前記カメラ制御必要領域内にあるとき、前記カメラを制御して前記追尾点がほぼ前記画面の中心位置に来るよう制御するようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６４】
また、追尾モード選択手段は、追尾対象を見失ったとき、見失う直前の追尾対象の方向を中心に、あらかじめ定めた所定の角度幅でカメラを左右又は上下に変位させる発見モードを備えるようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による画像監視装置の構成図である。
【図２】 図１の画像監視装置の動作を説明する図である。
【図３】 本発明の実施の形態２による画像監視装置の動作を説明する図である。
【図４】 本発明の実施の形態３による画像監視装置の動作を説明する図である。
【図５】 本発明の実施の形態３による画像監視装置の動作を説明する図である。
【図６】 本発明の実施の形態４による画像監視装置の動作を説明する図である。
【図７】 本発明の実施の形態４による画像監視装置の動作を説明する図である。
【図８】 画像監視装置により得られる画像の状態を説明するための図である。
【図９】 従来のテンプレートマッチングについて説明する図である。
【図１０】 図９のマッチングスコアの説明図である。
【図１１】 従来のテンプレートマッチングによる画像監視の動作について説明する図である。
【図１２】 従来の画像監視装置の構成を示す図である。
【図１３】 従来のテンプレートマッチング動作の失敗を説明する動作説明図である。
【符号の説明】
１ 監視カメラ、 ２ 画像入力手段、 ３ 画像記憶手段、
４ テンプレート設定手段、 ５ テンプレート探索手段、
６ 最一致点抽出手段、 ７ 画像差分抽出手段、
８ 重心抽出手段、 ９ 追尾モード選択手段、
１０ 追尾点決定手段、 １１ 追尾点情報記憶手段、
１２ カメラ制御手段、 １５ 前フレームの画像、
１６ 現フレームの画像、 １７ テンプレート、
１９ 移動ベクトル、 ２０ 差分結果、
２１ 重心位置、 ２２ 移動ベクトルを半分にしたベクトル、
２３ 重心位置に追尾点の移動ベクトルの半分を加えたもの、
３０ 対象が明瞭な場合のテンプレート、
３２ テンプレートマッチングのスコア結果、
３５ 対象が不明瞭な場合のテンプレート、
３７ テンプレートマッチングのスコア結果、
４０Ａ カメラ制御不要領域、 ４０Ｂ カメラ制御必要領域、
４３ ズームワイド端の画像、 ４５ ズームが望遠端の画像、
５８ 予め取り込んだ背景画像、 ５９ 現画像、
６０ 差分画像、 ６１〜６３：カメラ固定の追尾画像、
６４〜６６：カメラ変位による追尾画像。
【発明の属する技術分野】
この発明は、プラント機器や公共システム、ビル、住居等への人や不審物体の侵入をカメラから得られる画像を用いて自動的に監視し、自動的に追尾する画像監視装置に関するものである。
【０００２】
【従来の技術】
重要施設などさまざまな場所で、防犯、防災を目的として監視カメラが設置され、その画像を人が監視し、カメラを操作する監視業務が行われている。そしてこの監視業務の省力化を目的としてその自動化が試みられている。
例えば、第５回画像センシングシンポジウム講演論文集（１９９９／０６）の第１３頁〜１８頁、伊藤／上田「画像認識ハードウェア内蔵カメラを用いた自律移動物体追尾監視カメラ」には、カメラから得られる画像をいわゆるテンプレートマッチング処理を行って対象を抽出し、自動追尾する上での問題点と、その対処方法が示されている。
【０００３】
ここで、まず、公知のいわゆるテンプレートマッチングによる移動物体の追尾処理方法について説明する。
図９〜１２は、テンプレートマッチングによる移動物体の追尾処理を説明する画面の図である。
監視カメラからの出力画像は言うまでもなく連続した画像（以下フレームと言う）で構成されている。以下の説明では、現時点に得られた画像を「現フレームの画像」１６、この現フレームの画像１６の一フレーム前の画像を「前フレームの画像」１５という。
図９において、６７は前フレームの画像１５中から公知の差分処理などにより切り出したテンプレート、６８は入力された現フレームの画像１６の画像上でテンプレートマッチングを計算する動作の説明図である。
図１０において、６９は説明の都合上、平面的に表したテンプレートマッチングの一致の度合いを色の濃さで表した平面的結果スコア、７０はテンプレートマッチングの平面的結果スコア６９を立体的に表示した立体的結果スコアである。図１１は連続する画像フレーム間でテンプレートを逐次更新しながらトラッキングを行う動作の説明図である。
【０００４】
次に図９〜１１によりテンプレートマッチング動作について説明する。まず前回の追尾点を中心に前フレームの画像１５から切り出されたテンプレート６７と、現フレームの画像１６内で最も類似度が高い画像小領域を探索する。その方法は図９の６８に示すように、現フレームの画像１６にテンプレート６７を1 画素づつずらしながら重ね合わせ、テンプレート６７と同じサイズの画像小領域の各1 点1 点について、輝度値の差の絶対値を合計する。
このようにして得られる一致の程度を表す平面的結果スコア６９は立体的に表示すると７０のようになる。ここで、結果スコア６９は必ずゼロまたは正の値であり完全に一致した場合はゼロで、一致度が低い程スコア値が大きくなる。したがって結果スコアの立体表示７０では、理解を助けるためＺ軸は上側を負にして表している点に注意が必要である。以後、本明細書では立体表示はＺ軸の上側が負になるように表している。結果スコアが極大となる点が最も一致度の高い点であるとして追尾点が求められる。連続する画像間でテンプレートを逐次更新しながら前述の一致の程度を順次調べるトラッキングを行うと、図１１の７１のようになる。テンプレート６７は毎フレーム毎に最も類似度の高かった小領域とそのまま入れ換え６７、６７’、６７”のように更新される。
【０００５】
前述の予稿集では、前記のような従来のテンプレートマッチング技術を用いた場合の問題として、
（１）奥行きのある対象物体（例えば車両）の向きが変化した場合に、得られるテンプレートが、徐々に対象物体の中心からずれてしまい、やがて対象から外れてしまう。
（２）対象物体の手前を他のものが横切った場合に、対象のすり替えが起こってしまう。
の２点が示され、このような現象に対する対応手段が開示されている。
【０００６】
前述の予稿集には、装置の構成は示されていないが、記載されている内容（対象物体とテンプレートの位置ずれに対しては、エッジ累積分布計算手段を、また、対象物体のすれ違いに対しては複数のテンプレート間の一致度の比較によって対処する）から予想される装置の構成は図１２に示す様なものであろうと推定される。
図において、１は監視カメラ、２は画像入力手段、３は画像記憶手段、４はテンプレート設定手段、５はテンプレート探索手段、６は最一致点抽出手段、５２はエッジ累積分布計算手段、８は重心抽出手段、１０は追尾点決定手段、１１は追尾点情報記憶手段、１２はカメラ制御判定手段、１３は雲台制御手段である。
【０００７】
次に図１２のものの動作について説明する。監視カメラ１は監視対象を撮像する。画像入力手段２はカメラ１が撮像した画像をランダムアクセス可能なメモリー（図示しない）に入力して、現フレームの画像１６とする。画像記憶手段３は、現フレームの画像１６を、設定したフレーム間隔数に相当する時間だけ遅らせてランダムアクセス可能なメモリーに送出し、前フレームの画像１５とする。
【０００８】
テンプレート設定手段４は、前フレームの画像１５から前回の追尾点の周辺の画像小領域をテンプレート６７として読みだし、テンプレート用メモリ（図示しない）に登録する。テンプレート探索手段５は、現フレームの画像１６中の各点を中心とする画像領域の各々と前述のテンプレート６７との類似度を計算し、類似度（又は一致度）を表す結果スコア６９としてランダムアクセス可能なメモリーに書き込む。最一致点抽出手段６は、テンプレート探索結果により得られた結果スコア６９の中で、前回の追尾点の周辺で最も一致度の高い点を抽出する。以後、説明の都合上、この処理をテンプレートマッチングと呼ぶ。
【０００９】
次にエッジ累積分布計算手段５２はテンプレートマッチングにより求められた追尾点の周辺でＸ、Ｙ各方向の輝度微分値であるエッジの累積分布を計算し、重心抽出手段８は、Ｘ、Ｙ各方向のエッジ累積分布を用いて追尾対象の重心を求める。この場合テンプレートマッチングを用いないでエッジ累積分布を用いて対象の重心を求めているので対象の向きが変わるなどの変化があっても重心位置を間違って求める恐れが少なくなっている。
【００１０】
そして、追尾点決定手段１０は、テンプレートマッチングにより求められた追尾点を、エッジ累積分布を用いて求めた追尾対象の重心を用いて補正し新たな追尾点を決定する。
【００１１】
追尾点情報記憶手段１１は、決定された最新の追尾点情報を一時記憶する。この追尾点情報は次回フレームで、テンプレート設定手段４、最一致点抽出手段６に入力される。
【００１２】
カメラ制御判定手段１２は、最新の追尾点情報に基づいてカメラの変位制御（カメラの首振り動作、ズーム制御など）を実行する。
【００１３】
雲台制御手段１３は、カメラ制御判定手段１２の判定結果に基づいて、カメラ雲台の方向や移動速度を制御する。
【００１４】
このように、テンプレートマッチングによりテンプレート６７を逐次更新しながら対象を追尾し、追尾対象が変形する場合でも安定な追尾を可能としようとするものである。また、テンプレートマッチングによって求められた追尾点を、その周囲から求められる輝度の累積分布を用いて補正することにより、常に追尾対象の中心をテンプレートの中心として設定し、安定な追尾を行おうとするものである。
【００１５】
以上に説明した従来のテンプレートマッチング技術を用いた画像監視装置の問題点を説明するため、図１３にテンプレート６７の内部の追尾対象以外の背景部分に、例えば地面に描かれた白線等、追尾対象よりもコントラストが高く、その輝度分布の偏りが大きいものがある場合について説明する。
【００１６】
図１３に於いて、７２〜７９はこの符号の順に変化するフレームを示しており、符号の番号順に画像が変化しているものとする。７２１〜７９１はそれぞれフレーム７２〜７９のフレームにおいて抽出されたテンプレートを示している。
８０は各フレーム７２〜７９の中に写っているコントラストが極めて高い背景、例えば床面の白線、床と壁の区切り線などである。コントラストが極めて高い背景８０のコントラストは、監視すべき対象（ここでは人の像）のコントラストよりも高いので、最初のテンプレート７２１の中では、輝度の中心が人の像の中心から若干外側へ移動する。そしてテンプレート７３１の中では同じことが再度生じて、輝度中心が更に外側へ移動する。このような動作が繰り返されることによって、テンプレート７９１ではついにテンプレートが監視すべき対象から外れてしまう。
【００１７】
また、例えば上半身は背景と同様な色、下半身は背景に対してコントラストのある色といったように、追尾対象自身に輝度分布の偏りがある場合にも、テンプレートが更新されるたびに輝度の中心が少しづつ移動し、ついには外れてしまう現象が生じやすい。
【００１８】
【発明が解決しようとする課題】
以上に説明したように、従来の画像監視装置は、それ以前のものに比して相当程度改善されているとはいえ、追尾対象自身に輝度分布の偏りがある場合や、背景部分に追尾対象よりもコントラストがいちじるしく高くその輝度分布の偏りが大きいものがある場合などには、テンプレートとして切り出す領域が対象の中心からずれ、逐次テンプレートを更新しながら追尾処理を続けると、いずれは追尾対象を外してしまうという現象が生じることが多い。
【００１９】
即ち、従来の画像監視装置は常にテンプレート探索によって追尾点を求め、更にその追尾点周辺の輝度のＸ軸、Ｙ軸の累積分布を用いて補正するという方法を繰り返し行う為、例えばテンプレート探索の信頼性、あるいはその補正手段である追尾点周辺の輝度のＸ軸、Ｙ軸の累積分布の信頼性のいずれか一方が低い場合は、低い方の信頼性に伴う誤差が累積して、やがて誤った追尾点を追尾してしまうという問題点があった。
【００２０】
この発明は、以上のような課題を解決するためになされたもので、テンプレート探索の信頼性、補正手段の信頼性のいずれか一方が低い場合でも、常に安定して追尾対象の中心がテンプレートの領域の中心に来るようにテンプレート位置を補正することができる画像処理装置を得ようとするものである。
【００２１】
【課題を解決するための手段】
本発明の画像監視装置は、連続して画像を取り込み可能でかつ変位可能なカメラと、画像を処理して移動物体を発見する画像処理部と、移動物体の移動に応じてカメラを変位させるカメラ制御手段とを有する画像監視装置であって、
画像処理部は、連続する画像の前フレームの画像における移動物体を含む画像領域をテンプレートとして記憶するテンプレート設定手段と、
現フレームの画像中でテンプレートと類似する画像領域を探索し、テンプレートに代わる新たなテンプレートとして更新記憶するテンプレート探索手段と、
連続する画像間で差分処理を行うことにより、移動物体を抽出する画像差分抽出手段と、
テンプレート探索手段の探索結果と、画像差分抽出手段の差分結果の信頼度を評価して、その信頼度に応じてカメラの追尾モードをテンプレート探索手段の結果を用いる第１の追尾モード、画像差分抽出手段の結果を用いる第２の追尾モード、その両方の結果を用いる第３の追尾モードのいずれとするかを選択する追尾モード選択手段と、
選択した追尾モードに応じて追尾点を決定する追尾点決定手段とを備えるものである。
【００２２】
また、カメラ制御手段は、追尾点決定手段が決定した追尾点が画像内に設けたカメラ制御不要領域内に位置するようにカメラを制御するものである。
【００２３】
また、追尾モード選択手段が、第３の追尾モードを選択したとき、
追尾点決定手段は画像差分抽出手段の結果から求めた追尾点の位置に、テンプレート探索手段により得られる追尾点の移動ベクトルの半分の大きさのベクトルを加えた位置を新しい追尾点とするものである。
【００２４】
また、追尾モード選択手段は、画像差分抽出手段の差分出力画像のエッジ部の画面占有率があらかじめ定めた所定のレベルより大きいときはカメラが変位動作している途中に得られた画像であると判定して第１の追尾モードを選択するようにしたものである。
【００２５】
また、追尾モード選択手段は、テンプレート探索手段のスコアがあらかじめ定めた所定のレベルより大きいときはテンプレート探索の信頼度が低いとして第２の追尾モードを選択するようにしたものである。
【００２６】
また、カメラ制御手段はこのカメラの画面内の外側に接する範囲にカメラ制御必要領域を設定し、追尾点決定手段が決定した追尾点がカメラ制御必要領域内にあるとき、前記カメラを制御して前記追尾点がほぼ画面の中心位置に来るよう制御するようにしたものである。
【００２７】
また、追尾モード選択手段は、追尾対象を見失ったとき、見失う直前の追尾対象の方向を中心に、あらかじめ定めた所定の角度幅でカメラを左右又は上下に変位させる発見モードを備えたものである。
【００２８】
【発明の実施の形態】
本発明の実施の形態について説明する前に、その理解を助けるため、画像監視装置により得られる画像の状態がさまざまであることを図８により説明する。図において、５８はあらかじめ取り込んだ背景画像（前フレームの画像１５に相当）、５９は入力された画像（現フレームの画像１６に相当）、６０は背景画像５８と入力された画像５９の差分から抽出された侵入物体、６１、６２、６３は発見された侵入物体をカメラ固定のまま追尾している情景、６４、６５、６６は追尾対象が視野内におさまるようにカメラ１を（あるいは雲台を）旋回しながら（変位させながら）追尾している情景である。このように、画面内の変化は、監視する対象物体の移動によって生じる場合と、変位、ズーム制御などカメラ１の側の撮影条件の変化によって生じる場合と、それらが同時に起こる場合とがあるので、画像監視装置はこれらのいずれの場合にも安定して動作するものとする必要がある。
【００２９】
実施の形態１．
本発明の画像監視装置について、図１に基づいて説明する.
図１は本発明の画像監視装置の構成図である。なお、以下の図に於いて従来のものと同一又は相当部分には同じ符号を付してその詳細な説明を省略する。
図１において, １は連続して画像を取込み可能で、かつ、変位可能な首振りあるいはズーム機能を有する監視用のテレビカメラ（以下単にカメラという）、2 はカメラ１の出力画像を入力して現フレームの画像１６とする画像入力手段、3 は現フレームの画像１６を設定したフレーム数に相当する時間だけ遅らせて、前フレームの画像１５として送出する画像記憶手段、4 は前フレームの画像１５において追尾点の周辺の画像小領域をテンプレート１７として登録するテンプレート設定手段、5 は前述のテンプレート１７と現フレームの画像１６中の各画像領域との類似度を計算するテンプレート探索手段、6 はテンプレート探索手段５の出力結果から前回の追尾点の周辺で最も一致度の高い点を抽出する最一致点抽出手段である。以上は従来の図１２のものと同じである。
【００３０】
7 は現フレームの画像１６と前フレームの画像１５との差分を計算する画像差分抽出手段、8 は画像差分抽出手段７により得られた差分結果について前回の追尾点の周辺でモーメントを計算することによって重心位置を求める重心抽出手段、9 はテンプレート探索手段５により得られたテンプレート探索結果と、画像差分抽出手段７により得られた画像差分結果と、追尾点情報記憶手段１１が記憶している前回の追尾点の情報とから、追尾モードを選択する追尾モード選択手段、１０は追尾モード選択手段９の結果にもとづいて最一致点抽出手段６と重心抽出手段８の結果を追尾モードに応じて単独で使用したり融合して使用したりして（具体的な融合の方法は後述する）、最新の追尾点を決定する追尾点決定手段である。
画像入力手段２〜追尾点決定手段１０に至る構成は画像処理部を構成している。
１１は決定された最新の追尾点情報を一時記憶する追尾点情報記憶手段、１２は最新の追尾点情報に基づいてカメラの制御方法を決定するカメラ制御手段、１３はカメラ制御手段１２の結果に基づいてカメラ雲台を制御する雲台制御手段、１４はカメラ制御手段１２の結果に基づいて、ズーム率を制御するズーム手段である。
【００３１】
次に図１のものの動作を図２を用いて説明する。図２において, １５は前フレームの画像、１６は現フレームの画像、１７は前フレームの画像１５から前回の追尾点位置を中心に切り出したテンプレート、１８は現フレームの画像１６上でテンプレート１７の位置を変化させて、一致する位置を見いだすことにより抽出した（即ち、テンプレートマッチングにより抽出した）追尾点、１９は前回の追尾点（図示しない）とテンプレートマッチングにより抽出した追尾点１８との間の移動ベクトル、２０は前フレームの画像１５と現フレームの画像１６との差分結果、２１は差分結果２０から求めた重心位置を示している。ここで、追尾点１８は新しいテンプレートの中心にあるが、重心位置２１は旧いテンプレートと新しいテンプレートとの中間点にあることに注意する必要がある。
【００３２】
カメラ１は図示しない雲台に搭載されて監視対象の方向を撮像する。画像入力手段２はカメラ１が撮像した画像を図示しないランダムアクセス可能なメモリーに入力して現フレームの画像１６とする。
画像記憶手段３は現フレームの画像１６を、設定したフレーム間隔数に相当する時間だけ遅らせてランダムアクセス可能なメモリーに送出し、前フレームの画像１５とする。
【００３３】
テンプレート設定手段４は前フレームの画像１５から前回の追尾点（図示しないが前フレームの画像１５内の人物像付近にある）の周辺の画像小領域をテンプレート１７として読み出しテンプレート用メモリに登録する。テンプレート探索手段５は現フレームの画像１６中の各点を中心とする画像領域の各々と前述のテンプレート１７との類似度を計算し、類似度を表す結果スコアとしてランダムアクセス可能なメモリーに書き込む。最一致点抽出手段６はテンプレート探索手段５の結果により得られた結果スコアの中で、前回の追尾点の周辺で最も一致度の高い点を追尾点１８として抽出する。
【００３４】
次に画像差分抽出手段７は、現フレームの画像１６と前フレームの画像１５との差分２０を計算する。重心抽出手段８は画像差分抽出手段７により得られた差分結果２０について、前回の追尾点の周辺でモーメントを計算することによって重心位置２１を求める。以後この処理をフレーム間差分の重心抽出と呼ぶ。
【００３５】
そして、追尾モード選択手段９は、前述のテンプレート探索手段５により得られたテンプレート探索結果と、前述の画像差分抽出手段７により得られた画像差分結果と、前回の追尾点の情報から下記の３つの追尾モード中のいずれかを選択する（具体的な選択方法については後述する）。即ち、
第１の追尾モード「テンプレートマッチングにより得た追尾点をそのまま用いる
。」
第２の追尾モード「差分処理により得た追尾点（重心点）をそのまま用いる。」第３の追尾モード「テンプレートマッチングにより得た追尾点と差分処理により
得た追尾点（重心点）を融合して用いる。」
追尾点決定手段１０は追尾モード選択手段９の結果にもとづいて、最一致点抽出手段６の抽出結果１８と重心抽出手段８の抽出結果２１とを融合し（具体的な融合方法については以下の実施の形態で順次説明する）最新の追尾点を決定する。
【００３６】
追尾点情報記憶手段１１は決定された最新の追尾点情報を一時記憶する。
この追尾点情報は次回のフレームでテンプレート設定手段４、最一致点抽出手段６、重心抽出手段８、追尾モード選択手段９に入力される。
【００３７】
カメラ制御手段１２は最新の追尾点情報に基づいてカメラの制御方法を判定する。雲台制御手段１３はカメラ制御手段１２の結果に基づいて、カメラ雲台を制御する。ズーム手段１４はカメラ制御手段１２の結果に基づいてズーム率を制御する。なお、以上の説明において、雲台が首振り動作することをカメラが変位するという表現をしている場合があるが同じ意味である。
【００３８】
実施の形態２．
図３は本発明の実施の形態２による画像監視装置の動作、特に前述の第３の追尾モードの詳細について説明するための画像の図である。図３において, １５は前フレームの画像、１６は現フレームの画像、１７は前フレームの画像から前回の追尾点位置を中心に切り出したテンプレート、１８はテンプレートマッチングにより抽出した追尾点、１９は前回の追尾点とテンプレートマッチングにより抽出した追尾点１８との間の移動ベクトル、２０は前フレームの画像１５と現フレームの画像１６との差分結果、２１は前フレームの画像１５と現フレームの画像１６との差分結果２０から求めた重心位置、２２は移動ベクトル１９の大きさを半分にしたベクトル、２３は前フレームの画像１５と現フレームの画像１６との差分結果２０から求めた重心位置２１に、移動ベクトル１９を半分にしたベクトル２２を加えた点である。
【００３９】
次に動作について説明する。前フレームの画像１５から、前回の追尾点位置を中心に切り出したテンプレート１７を、現フレームの画像１６中でテンプレートマッチングにより抽出し追尾点１８を得る。
一方、前フレームの画像１５と現フレームの画像１６との差分結果２０において、テンプレートマッチングにより抽出した追尾点１８の周辺でモーメント計算を行い重心位置２１を求める。
前回の追尾点とテンプレートマッチングにより抽出した追尾点１８との間の移動ベクトル１９を半分にしたベクトル２２を、前フレームの画像１５と現フレームの画像１６との差分結果から求めた重心位置２１に加え追尾点２３を得る。
【００４０】
ここで、重心抽出は追尾点周辺の限定された領域内で、画像差分結果２０をあるしきい値で２値化したものについて、0 次と1 次のモーメントを計算する方法としてもよい。
【００４１】
あるいはまた、重心抽出は、追尾点周辺の限定された領域内で、画像差分結果の絶対値を、重み付け値として、0 次と1 次のモーメントを計算する方法としてもよい。
【００４２】
また、テンプレートマッチングにより得られた追尾点１８と、テンプレートマッチングにより得られた移動ベクトル１９と、フレーム間差分の重心２１とにより得られた追尾点とを比較し、両者のＸ、Ｙ各成分の差があるしきい値以下ならば、後者をそのまま補正後の追尾点とし、両者のＸ、Ｙ各成分の差分があるしきいより大きければ、それぞれの差をそのしきい値でリミットし、テンプレートマッチング探索結果の追尾点に差分のしきい値を加えたものを補正後の追尾点とする方法としてもよい。
【００４３】
実施の形態３．
図４、５は本発明の実施の形態３による画像監視装置の動作を説明する図である。
図４において, ２４はカメラ揺れのない（カメラが変位していない）場合の前フレームの画像、２５はカメラ揺れのない場合の現フレームの画像、２６はカメラ揺れのない場合の前フレームの画像２４と現フレームの画像２５との差分結果、２６Ａは差分結果２６のＹ軸方向についてエッジ抽出を行ったデータを示すものである。ここでエッジ抽出はＸ、Ｙ両軸について行うのがよいが説明の都合上、図にはＹ軸についてのみ示している。２７はカメラ揺れのある（カメラが変位している途中）場合の前フレームの画像、２８はカメラ揺れのある場合の現フレームの画像、２９はカメラ揺れのある場合の前フレームの画像２７と現フレームの画像２８との差分結果、２９Ａは差分結果２９のＹ軸方向のエッジ抽出データを示す。ここでもエッジ抽出データは説明の都合上、Ｙ軸についてのみ示している。
【００４４】
図５に於いて、３０は追尾対象が明瞭な場合の前フレームの画像から切り出したテンプレート、３１は追尾対象が明瞭な場合の現フレームの画像、３２は追尾対象が明瞭な場合のテンプレートマッチングの結果スコア、３３はテンプレートマッチングの有効性を検証する為の、スコアデータの最一致点からの離し量、３４はテンプレートマッチングの有効性を評価する為の、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離離れた点におけるスコア値との差、３５は追尾対象が不明瞭な場合の前フレームの画像から切り出したテンプレート、３６は追尾対象が不明瞭な場合の現フレームの画像、３７は追尾対象が不明瞭な場合のテンプレートマッチングの結果スコア、３８はテンプレートマッチングの有効性を検証する為の、スコアデータの最一致点からの離し量、３９はテンプレートマッチングの有効性を評価する為の、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離離れた点におけるスコア値との差である。
【００４５】
次に動作について説明する。まず、カメラ雲台又は変位させる機構が静止しており、ズーム率も変化していないとき、エッジ抽出データ２６Ａは占有率が低く、差分が一か所に集中しているので、その信頼性が高く、画像差分抽出手段７の結果２６から得られる重心位置は追尾対象の移動前後の重心位置であると判断して間違いがない。よってテンプレートマッチングにより求まった前回の追尾点から、今回の追尾点までの移動ベクトルの半分を、画像差分の重心抽出結果に加えて、追尾対象の中心がテンプレートの中心となるように補正された新しい追尾点を決定することができる。
【００４６】
次に、画像差分抽出手段７の結果がゼロとなるときは、対象が静止しており、カメラ雲台も静止している。従って、テンプレートマッチングにより得られた追尾点をそのまま用い、追尾点の補正を行わない。
【００４７】
あるいは、画像差分抽出手段７の結果がゼロとなるときは、ターゲットの移動が無いものとして、テンプレートマッチングにより得られた追尾点を破棄し、前回の追尾点をそのまま用いるという方法としてもよい。
【００４８】
一方、カメラ又は雲台が変位動作中である、あるいはズーム率が移動（変動）中もしくは安定していないとき、エッジ抽出結果２９Ａは占有率が高く画像中のあらゆる場所で大きな値を示すので信頼性が低く、画像間差分の結果２９も画像中のあらゆる場所に表れ、画像差分抽出手段７の結果から追尾対象の移動前後の重心位置を正確に求めることができない。このような場合はテンプレートマッチングのみで追尾を行えばよい。カメラの移動が収まった後、再びテンプレートマッチングとフレーム間差分とを併用した追尾を行う。
【００４９】
また、追尾対象が明瞭な場合、テンプレートマッチングの結果スコア３２は最一致点付近で急峻であり、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離３３だけ離れた点におけるスコア値との差３４は、大きな値となる。
【００５０】
一方、追尾対象が不明瞭な場合、テンプレートマッチングの結果スコア３７は最一致点付近でなだらかであり、スコアデータの最一致点におけるスコア値と最一致点からのある一定距離３３だけ離れた点におけるスコア値との差３９は、小さな値となる。
【００５１】
このように、テンプレートマッチングのスコア結果３４、３９からテンプレートマッチングの有効性を評価し、例えば、テンプレートマッチングのスコア結果が最一致点の付近でほぼ同じ値（なだらか）である等、テンプレートマッチングが有効ではない場合、対象の移動ベクトルを前回までの移動ベクトルから推定し、その半分をフレーム間差分結果の重心位置に加えて新しい追尾点とし、その追尾点を中心とする画像小領域を用いてテンプレートを更新しながら画像差分抽出手段７のみで追尾を行い、テンプレートマッチングが有効になった後、再びテンプレートマッチングと画像差分抽出手段７とを併用した追尾を行う。
【００５２】
さらに、差分結果が２９Ａの状態が続くとき、あるいはテンプレートマッチングの結果が３９の状態が続くときは、追尾対象の見失いと判定して、カメラを、対象を見失う直前のカメラの方向を中心に、あらかじめ定めた所定の角度幅でカメラを左右又は上下に変位させる発見モードで制御する。また、テンプレート更新の要不要、カメラ制御の可、不可を判断することも可能である。
【００５３】
実施の形態４．
図６、７は本発明の実施の形態４による画像監視装置の動作の説明図である。図６において, ４０Ａは画面内に設けたカメラ制御不要領域（点線の内側）、４０Ｂはカメラ制御必要領域を示し、４０は追尾対象がカメラ制御不要領域４０Ａ内に存在する場合のカメラ画像である。４１は追尾対象がカメラ制御不要領域４０Ａから外に出た場合のカメラ画像である。常にカメラ制御不要領域４０Ａの外側にカメラ制御必要領域４０Ｂがある。４２は追尾対象がカメラ制御必要領域４０Ｂ内に入った場合にカメラのパン、チルト操作を行って画像をカメラ制御不要領域４０Ａ内あるいは、画面のほぼ中央に移動させた画像である。
また、図７に於いて、４３はカメラ１のズームがワイド端の場合の監視カメラ画像である。４４はカメラのズームをワイド端から望遠側に移動した場合の監視カメラ画像である。４５はカメラのズームをさらに望遠側に移動した場合の監視カメラ画像である。
【００５４】
次に動作について説明する。カメラ視野の内部にカメラ制御不要領域４０Ａ、とその外側のカメラ制御必要領域４０Ｂを設定し、追尾対象がカメラ制御不要領域４０Ａ内に存在する場合はカメラ雲台の制御は行わず、カメラを固定したトラッキングを行う。
また４１のように、追尾対象がカメラ制御必要領域４０Ｂ内に入った場合、監視カメラの雲台を追尾対象がカメラ制御不要領域４０Ａ内に、好ましくは対象が画面のほぼ中央になるように制御し、図６の４２のような画像を得る。
【００５５】
対象を画面の中央に移動するようにカメラ制御するとき、カメラ雲台への制御命令は、結果的に連続的ではなく間欠的に行われる。また、制御命令の判定しきい値に増加側と減少側とでヒステリシスを設け、カメラ雲台の機構部への負担を軽減すると共に、画像差分抽出手段７の情報を追尾に用いるフレーム数を増加させ、安定な対象の追尾を可能にする。追尾点をカメラ制御不要領域４０Ｂ内に位置するようにカメラを制御する場合、カメラ１の動きが必要最小限に制約され、無駄な動きが少なくなる。
【００５６】
また、図７の４３のように、カメラ１のズームがワイド端の場合、追尾対象の識別が困難である。このとき、カメラ制御手段１２によって追尾対象の識別が可能な解像度になるまで図７の４４、４５のようにズームの制御をする。
【００５７】
ここで、追尾対象の詳細が識別可能な解像度を得る為にカメラズーム比を制御する際に、ズーム制御手段１４への制御命令を連続的ではなく、間欠的に行い、また、制御命令の判定しきい値に増加側と減少側とでヒステリシスを設け、ズーム制御手段１４の機構部への負担を軽減すると共に、画像差分抽出手段７が有効に使えるフレームを増加させ、安定な対象の追尾を可能にする。
【００５８】
【発明の効果】
以上に説明したように、本発明の画像監視装置は、テンプレート探索手段の探索結果と、画像差分抽出手段の結果の信頼度を評価して、その信頼度に応じてカメラの追尾モードをテンプレート探索手段の結果を用いる第１の追尾モード、フレーム間処理部の結果を用いる第２の追尾モード、その両方の結果を用いる第３の追尾モードのいずれとするかを選択する追尾モード選択手段を備えているので、安定な追尾対象の追尾ができるという効果がある。
【００５９】
また、カメラ制御手段は決定された追尾点を画像内に設けたカメラ制御不要領域内に位置するようにカメラを制御するので、カメラの動きが必要最小限に制約され、無駄な動きが少なくなるという効果がある。
【００６０】
また、追尾モード選択手段が、第３の追尾モードを選択したとき、追尾点決定手段は画像差分抽出手段の結果から求めた追尾点の位置に、テンプレート探索手段により得られる追尾点の移動ベクトルの半分の大きさのベクトルを加えた位置を新しい追尾点とするので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６１】
また、追尾モード選択手段は、画像差分抽出手段の差分出力画像のエッジ部の画面占有率があらかじめ定めた所定のレベルより大きいときはカメラの向きが移動中に得られた画像であると判定して画像差分抽出手段の出力を無視する第１の追尾モードを選択するようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６２】
また、追尾モード選択手段は、テンプレート探索手段のスコアがあらかじめ定めた所定のレベルより大きいときはテンプレート探索の信頼度が低いとしてテンプレート探索手段の出力を無視する第２の追尾モードを選択するようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６３】
また、カメラ制御手段はこのカメラの画面内の外側に接する範囲にカメラ制御必要領域を設定し、追尾点決定手段が決定した追尾点が前記カメラ制御必要領域内にあるとき、前記カメラを制御して前記追尾点がほぼ前記画面の中心位置に来るよう制御するようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【００６４】
また、追尾モード選択手段は、追尾対象を見失ったとき、見失う直前の追尾対象の方向を中心に、あらかじめ定めた所定の角度幅でカメラを左右又は上下に変位させる発見モードを備えるようにしたので、撮影条件の変化に影響されない安定した追尾が可能であるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による画像監視装置の構成図である。
【図２】 図１の画像監視装置の動作を説明する図である。
【図３】 本発明の実施の形態２による画像監視装置の動作を説明する図である。
【図４】 本発明の実施の形態３による画像監視装置の動作を説明する図である。
【図５】 本発明の実施の形態３による画像監視装置の動作を説明する図である。
【図６】 本発明の実施の形態４による画像監視装置の動作を説明する図である。
【図７】 本発明の実施の形態４による画像監視装置の動作を説明する図である。
【図８】 画像監視装置により得られる画像の状態を説明するための図である。
【図９】 従来のテンプレートマッチングについて説明する図である。
【図１０】 図９のマッチングスコアの説明図である。
【図１１】 従来のテンプレートマッチングによる画像監視の動作について説明する図である。
【図１２】 従来の画像監視装置の構成を示す図である。
【図１３】 従来のテンプレートマッチング動作の失敗を説明する動作説明図である。
【符号の説明】
１ 監視カメラ、 ２ 画像入力手段、 ３ 画像記憶手段、
４ テンプレート設定手段、 ５ テンプレート探索手段、
６ 最一致点抽出手段、 ７ 画像差分抽出手段、
８ 重心抽出手段、 ９ 追尾モード選択手段、
１０ 追尾点決定手段、 １１ 追尾点情報記憶手段、
１２ カメラ制御手段、 １５ 前フレームの画像、
１６ 現フレームの画像、 １７ テンプレート、
１９ 移動ベクトル、 ２０ 差分結果、
２１ 重心位置、 ２２ 移動ベクトルを半分にしたベクトル、
２３ 重心位置に追尾点の移動ベクトルの半分を加えたもの、
３０ 対象が明瞭な場合のテンプレート、
３２ テンプレートマッチングのスコア結果、
３５ 対象が不明瞭な場合のテンプレート、
３７ テンプレートマッチングのスコア結果、
４０Ａ カメラ制御不要領域、 ４０Ｂ カメラ制御必要領域、
４３ ズームワイド端の画像、 ４５ ズームが望遠端の画像、
５８ 予め取り込んだ背景画像、 ５９ 現画像、
６０ 差分画像、 ６１〜６３：カメラ固定の追尾画像、
６４〜６６：カメラ変位による追尾画像。
Claims (7)
- 連続して画像を取り込み可能で、かつ変位可能なカメラと、前記画像を処理して移動物体を発見する画像処理部と、前記移動物体の移動に応じて前記カメラを変位させるカメラ制御手段とを有する画像監視装置であって、
前記画像処理部は、
前記連続する画像の前フレームの画像における前記移動物体を含む画像領域をテンプレートとして記憶するテンプレート設定手段と、
現フレームの画像中で前記テンプレートと類似する画像領域を探索し、前記テンプレートに代わる新たなテンプレートとして更新記憶するテンプレート探索手段と、
前記連続する画像間で差分処理を行うことにより、移動物体を抽出する画像差分抽出手段と、
前記テンプレート探索手段の探索結果と、前記画像差分抽出手段の差分結果の信頼度を評価して、その信頼度に応じて前記カメラの追尾モードを前記テンプレート探索手段の結果を用いる第１の追尾モード、前記画像差分抽出手段の結果を用いる第２の追尾モード、その両方の結果を用いる第３のモードのいずれとするかを選択する追尾モード選択手段と、
前記選択した追尾モードに応じて追尾点を決定する追尾点決定手段とを備えるものであることを特徴とする画像監視装置。 - カメラ制御手段は、追尾点決定手段が決定した追尾点が前記画像内に設けたカメラ制御不要領域内に位置するようにカメラを制御するものであることを特徴とする請求項１に記載の画像監視装置。
- 追尾モード選択手段が、第３の追尾モードを選択したとき、追尾点決定手段は画像差分抽出手段の結果から求めた追尾点の位置に、テンプレート探索手段により得られる追尾点の移動ベクトルの半分の大きさのベクトルを加えた位置を新しい追尾点とすることを特徴とする請求項１に記載の画像監視装置。
- 追尾モード選択手段は、画像差分抽出手段の差分出力画像のエッジ部の画面占有率があらかじめ定めた所定のレベルより大きいときはカメラが変位中に得られた画像であると判定して第１の追尾モードを選択するようにしたことを特徴とする請求項１に記載の画像監視装置。
- 追尾モード選択手段は、テンプレート探索手段のスコアがあらかじめ定めた所定のレベルより大きいときはテンプレート探索の信頼度が低いとして第２の追尾モードを選択するようにしたことを特徴とする請求項１に記載の画像監視装置。
- カメラ制御手段はこのカメラの画面内の外側に接する範囲にカメラ制御必要領域を設定し、追尾点決定手段が決定した追尾点が前記カメラ制御必要領域内にあるとき、前記カメラを変位して前記追尾点がほぼ前記画面の中心位置に来るよう制御することを特徴とする請求項１に記載の画像監視装置。
- 追尾モード選択手段は、追尾対象を見失ったとき、見失う直前の追尾対象の方向を中心に、あらかじめ定めた所定の角度幅でカメラを左右又は上下に変位させる発見モードを備えたことを特徴とする請求項１〜４のいずれかに記載の画像監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25042699A JP3644668B2 (ja) | 1999-09-03 | 1999-09-03 | 画像監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25042699A JP3644668B2 (ja) | 1999-09-03 | 1999-09-03 | 画像監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001076156A JP2001076156A (ja) | 2001-03-23 |
| JP3644668B2 true JP3644668B2 (ja) | 2005-05-11 |
Family
ID=17207719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25042699A Expired - Lifetime JP3644668B2 (ja) | 1999-09-03 | 1999-09-03 | 画像監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3644668B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100792283B1 (ko) | 2001-08-07 | 2008-01-07 | 삼성전자주식회사 | 이동물체 자동 추적장치 및 방법 |
| JP4233272B2 (ja) * | 2002-05-23 | 2009-03-04 | 株式会社エイブイプランニングセンター | 物体計数方法及び物体計数装置 |
| JP4819380B2 (ja) * | 2004-03-23 | 2011-11-24 | キヤノン株式会社 | 監視システム、撮像設定装置、制御方法、及びプログラム |
| JP4578864B2 (ja) * | 2004-06-03 | 2010-11-10 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
| JP2006311099A (ja) * | 2005-04-27 | 2006-11-09 | Matsushita Electric Ind Co Ltd | 自動追尾装置及び自動追尾方法 |
| JP4558696B2 (ja) | 2006-09-25 | 2010-10-06 | パナソニック株式会社 | 動物体自動追尾装置 |
| JP5018321B2 (ja) * | 2007-08-06 | 2012-09-05 | 国立大学法人 千葉大学 | 自動追尾装置 |
| JP4518157B2 (ja) | 2008-01-31 | 2010-08-04 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| AU2009236675A1 (en) | 2008-04-14 | 2009-10-22 | Gvbb Holdings S.A.R.L. | Technique for automatically tracking an object |
| JP5219795B2 (ja) * | 2008-12-26 | 2013-06-26 | キヤノン株式会社 | 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム |
| JP4760918B2 (ja) | 2009-01-23 | 2011-08-31 | カシオ計算機株式会社 | 撮像装置、被写体追従方法、及びプログラム |
| JP5360403B2 (ja) * | 2009-09-29 | 2013-12-04 | サクサ株式会社 | 移動体撮像装置 |
| JP5395651B2 (ja) * | 2009-12-25 | 2014-01-22 | キヤノン株式会社 | 被写体追跡装置、被写体追跡装置の制御方法及びプログラム |
| JP2011220904A (ja) * | 2010-04-13 | 2011-11-04 | Advanced Telecommunication Research Institute International | 位置検出システム |
| JP5264844B2 (ja) * | 2010-09-06 | 2013-08-14 | 日本電信電話株式会社 | ジェスチャ認識装置及び方法 |
| JP6540330B2 (ja) * | 2015-07-28 | 2019-07-10 | 日本電気株式会社 | 追跡システム、追跡方法および追跡プログラム |
| JP6833483B2 (ja) * | 2015-12-08 | 2021-02-24 | キヤノン株式会社 | 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置 |
| JP2018092494A (ja) * | 2016-12-07 | 2018-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像センサ |
| JP2018092495A (ja) * | 2016-12-07 | 2018-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像センサ |
| JP7274867B2 (ja) * | 2019-01-07 | 2023-05-17 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
| WO2021168749A1 (en) * | 2020-02-27 | 2021-09-02 | Qualcomm Incorporated | Dynamic adjustment of a region of interest for image capture |
| CN112929567B (zh) * | 2021-01-27 | 2023-04-28 | 咪咕音乐有限公司 | 拍摄位置的确定方法、电子设备和存储介质 |
-
1999
- 1999-09-03 JP JP25042699A patent/JP3644668B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001076156A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3644668B2 (ja) | 画像監視装置 | |
| JP4241742B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| US7400344B2 (en) | Object tracking method and object tracking apparatus | |
| CN106558063B (zh) | 估计视频中的运动的方法和设备及稳定视频的方法和设备 | |
| JP3989523B2 (ja) | 自動撮影方法および装置 | |
| JP6532217B2 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
| JP4699040B2 (ja) | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム | |
| US8964029B2 (en) | Method and device for consistent region of interest | |
| US9565348B2 (en) | Automatic tracking apparatus | |
| JP3636927B2 (ja) | 顔画像処理装置 | |
| JP6574645B2 (ja) | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム | |
| WO2020244414A1 (zh) | 一种检测障碍物的方法、装置、存储介质和移动机器人 | |
| KR20110011424A (ko) | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 | |
| US20040141633A1 (en) | Intruding object detection device using background difference method | |
| JP2002074339A (ja) | 車載撮像装置 | |
| US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
| JP2008204384A (ja) | 撮像装置、物体検出方法及び姿勢パラメータの算出方法 | |
| JP2001216520A (ja) | 車両用周辺監視装置 | |
| CN110944101A (zh) | 摄像装置及图像记录方法 | |
| JP4578864B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| Chereau et al. | Robust motion filtering as an enabler to video stabilization for a tele-operated mobile robot | |
| JP4699056B2 (ja) | 自動追尾装置及び自動追尾方法 | |
| JP3704045B2 (ja) | 目標物体追尾装置 | |
| JP3963261B2 (ja) | 動画像の自動追尾撮影方法および自動追尾撮影装置 | |
| JP3828096B2 (ja) | 物体追跡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050131 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3644668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |