JP4709889B2 - 移動物体監視装置 - Google Patents

移動物体監視装置 Download PDF

Info

Publication number
JP4709889B2
JP4709889B2 JP2008296743A JP2008296743A JP4709889B2 JP 4709889 B2 JP4709889 B2 JP 4709889B2 JP 2008296743 A JP2008296743 A JP 2008296743A JP 2008296743 A JP2008296743 A JP 2008296743A JP 4709889 B2 JP4709889 B2 JP 4709889B2
Authority
JP
Japan
Prior art keywords
moving object
input image
optical flow
template
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008296743A
Other languages
English (en)
Other versions
JP2009076094A (ja
Inventor
泰之 道本
勝政 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008296743A priority Critical patent/JP4709889B2/ja
Publication of JP2009076094A publication Critical patent/JP2009076094A/ja
Application granted granted Critical
Publication of JP4709889B2 publication Critical patent/JP4709889B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、入力した映像より物体の侵入を認識する移動物体監視装置、移動物体監視方法およびそのプログラムに関する。
従来、移動物体監視装置、移動物体監視方法およびそのプログラムとしては、例えば、特開平11−41589号公報に開示されたものが知られている。
図12は、従来の移動物体監視装置の例を示す構成図である。
図12に示す移動物体監視装置1200は、屋内の監視エリアのシーンをITVカメラ1220で時系列的に監視装置本体1210に入力され、今回画像と前回画像の2フレームをそれぞれA/D変換する画像入力処理部1211と、両画像の変化領域を抽出する差分画像作成部1212と、変化領域を2値化し近接距離の変化領域同士を一つにまとめる外接矩形を形成して統合領域とする変化領域抽出部1213と、前記統合領域毎に前記今回画像と前回画像間の正規化関数処理による濃淡パターンマッチングを行い、類似度(相関値)が所定値以上の場合に背景による類似とみて当該統合領域を外乱に判定し、類似度が低い統合領域を移動物体候補として抽出する移動物体候補選択部1214と、候補物体の特徴量を算出して人物を識別する移動物体識別部1215と、識別した人物の画像データを格納し、その移動軌跡等の情報を表示装置1230にリアルタイムに表示する表示制御部1216により構成される。この構成により、屋内に侵入する移動物体(人物)の監視において、照明のちらつきや窓外の移動体などの外乱による誤検知を防止して、高速に識別する。
しかしながら、このような従来の移動物体監視装置、移動物体監視方法およびそのプログラムは、全体の画像中でのみ輝度の変化を統合領域としており、また今回画像と前回画像でのみ前記統合領域が外乱か否かを判断しているため、外乱と移動物体の動きが近接して生じた場合に前記移動物体の判別を誤りやすく、背景を含んで前記移動物体と認識しやすいという問題があった。
本発明は、このような問題を解決するためになされたもので、外乱が発生しても精度良く移動物体を認識することができる移動物体監視装置、移動物体監視方法およびそのプログラムを提供するものである。
本発明の移動物体監視装置は、画像を入力してフレームメモリに転送する画像入力手段と、前記フレームメモリに保持された前入力画像および現入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前記前入力画像と前記現入力画像における前記ブロック毎にブロックマッチングにより移動物体のオプティカルフローを求めるオプティカルフロー推定手段と、前記前入力画像と前記現入力画像とにおける同一位置の前記ブロック間で正規化相関の値を相関値として求め、該相関値があらかじめ定められた閾値より高いときは信頼性が低いと評価し、該相関値が該閾値より低いときは、該相関値が該閾値により近いほど、前記移動物体のオプティカルフローの信頼性が高いと評価する信頼性評価手段と、前記オプティカルフロー推定手段によって求められたオプティカルフローのうち、前記信頼性評価手段によって信頼性が高いと評価されたブロック領域をテンプレートとして登録するテンプレート管理手段と、前記登録されたテンプレートを用いて前記現入力画像の移動物体を追跡するテンプレートマッチング手段と、前記テンプレートマッチング手段によって追跡中の移動物体があらかじめ定められた条件を満たしたときに警報出力する物体認識手段とを備えた構成を有している。この構成により、入力画像をブロックに分割し正規化相関により高い相関を得られ、移動物体か光の外乱によるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
なお、前記テンプレート管理手段が、前記信頼性評価手段によって移動物体のオプティカルフローの信頼性が高いと評価されたブロックの発生密度があらかじめ定められた密度より高いことを条件として、移動物体領域を抽出するようにしてもよい。この構成により、入力画像をブロックに分割して探索し移動物体か光の外乱によるものかを評価し、光の外乱による不必要なテンプレート登録が避けるため、外乱が発生しても精度良く移動物体を認識することができる。
また、本発明の移動物体監視装置は、オプティカルフローの信頼性に応じて表示色または輝度を変化させ、視覚的にオプティカルフローの推定状況を確認できるとともに信頼性の効果を訴えることができるようにした表示手段とを備えるようにしてもよい。この構成により、視覚的にオプティカルフローの推定状況を出力し信頼性の程度を訴え、入力画像をブロックに分割して探索し移動物体か光の外乱によるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
また、前記信頼性評価手段が、前記前入力画像と前記現入力画像における前記ブロックを複数個合わせた小領域間で比較するようにしてもよい。この構成により、移動物体に合わせた小領域の画像で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
また、本発明の移動物体監視方法は、移動物体監視装置を用いた移動物体監視方法であって、画像を入力してフレームメモリに転送する画像入力ステップと、前記フレームメモリに保持された前入力画像および現入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前記前入力画像と前記現入力画像における前記ブロック毎にブロックマッチングにより移動物体のオプティカルフローを求めるオプティカルフロー推定ステップと、前記前入力画像と前記現入力画像とにおける同一位置の前記ブロック間で正規化相関の値を相関値として求め、該相関値があらかじめ定められた閾値より高いときは信頼性が低いと評価し、該相関値が該閾値より低いときは、該相関値が該閾値により近いほど、前記移動物体のオプティカルフローの信頼性が高いと評価する信頼性評価ステップと、前記オプティカルフロー推定ステップによって求められたオプティカルフローのうち、前記信頼性評価ステップによって信頼性が高いと評価されたブロック領域をテンプレートとして登録するテンプレート管理ステップと、前記登録されたテンプレートを用いて前記現入力画像の移動物体を追跡するテンプレートマッチングステップと、
前記テンプレートマッチングステップによって追跡中の移動物体があらかじめ定められた条件を満たしたときに警報出力する物体認識手段とを備えている。この方法により、入力画像をブロックに分割し正規化相関により高い相関を得られ、移動物体か光の外乱によるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
また、本発明の移動物体監視プログラムは、画像を入力してフレームメモリに転送する画像入力ステップと、前記フレームメモリに保持された前入力画像および現入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前記前入力画像と前記現入力画像における前記ブロック毎にブロックマッチングにより移動物体のオプティカルフローを求めるオプティカルフロー推定ステップと、前記前入力画像と前記現入力画像とにおける同一位置の前記ブロック間で正規化相関の値を相関値として求め、該相関値があらかじめ定められた閾値より高いときは信頼性が低いと評価し、該相関値が該閾値より低いときは、該相関値が該閾値により近いほど、前記移動物体のオプティカルフローの信頼性が高いと評価する信頼性評価ステップと、前記オプティカルフロー推定ステップによって求められたオプティカルフローのうち、前記信頼性評価ステップによって信頼性が高いと評価されたブロック領域をテンプレートとして登録するテンプレート管理ステップと、前記登録されたテンプレートを用いて前記現入力画像の移動物体を追跡するテンプレートマッチングステップと、前記テンプレートマッチングステップによって追跡中の移動物体があらかじめ定められた条件を満たしたときに警報出力する物体認識手段とをコンピュータに実行させることを特徴とする移動物体監視プログラム。このプログラムにより、入力画像を帯域画像とブロックに分割し正規化相関で高い相関が得られ、移動物体か光の外乱によるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
本発明は、外乱が発生しても精度良く移動物体を認識する移動物体監視装置、移動物体監視方法およびそのプログラムを提供することができる。
以下、本発明の実施の形態について、図面を用いて説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態の移動物体監視装置を示す構成図である。
図1に示す移動物体監視装置100は、監視空間を撮影する撮影手段120、移動物体を探索する監視手段110、所望の移動物体が検出されたことを出力する警報出力手段130によって構成される。
撮影手段120は、監視の必要がある空間の映像を撮影して監視手段110へ映像信号を出力する手段である。
監視手段110は、撮影手段120からの映像信号を入力され、移動物体を探索し所望の移動物体が検出されたことを警報出力手段130へ出力する手段である。
なお、監視手段110は、入力された映像信号をあらかじめ定められた単位時間間隔でA/D変換した画像を出力する画像入力手段111と、転送された画像を保持し、指定された時間の画像を出力するフレームメモリ112と、保持された画像を取り込み、特定の方向にM個と前記方向に対し垂直方向にN個のブロックに分割して、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めるオプティカルフロー推定手段113と、前入力画像と現入力画像とで同一位置のブロック間で相関値を求める信頼性評価手段114と、物体の動きから検出された移動物体をテンプレートとして登録もしくは更新するテンプレート管理手段115と、テンプレートと現入力画像とを比較し相関の高い領域を抽出することで移動物体を追跡するテンプレートマッチング手段116と、移動物体の各計測値を取得しあらかじめ設定している範囲であれば所望の移動物体であると判定する物体認識手段117によって構成される。
画像入力手段111は、撮影手段120より映像信号を入力し、あらかじめ定められた単位時間間隔でA/D変換しフレーム単位の入力画像としフレームメモリ112へ転送し保持させる手段である。
フレームメモリ112は、画像入力手段111より転送されたフレーム単位の入力画像を保持し、指定された時間の画像をオプティカルフロー推定手段113、信頼性評価手段114およびテンプレートマッチング手段116へ出力させる手段である。
オプティカルフロー推定手段113は、フレームメモリ112より保持された現入力画像と1単位時間間隔前の前入力画像を読み込み、特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割し、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めた結果をテンプレート管理手段115へ出力する手段である。
オプティカルフロー推定手段113の詳細について説明する。
現入力画像のフレームI(x,y)と1単位時間間隔前の前入力画像のフレームP(x,y)を特定の方向にM個と前記方向に対し垂直方向にN個のブロックBL(bx,by)に分割する。例えば、水平方向x=640画素、垂直方向y=480画素のフレームを、水平方向80個、垂直方向60個のブロックに分割した場合、ブロックサイズは水平方向に8画素、垂直方向に8画素となる。
フレームIとフレームPの同一位置におけるブロックBL(bx,by)間で、各画素の輝度差の合計を算出する。ブロック間で画像の変動があり輝度差があらかじめ定めれた閾値を越えて大きい場合は探索を開始する。輝度差が閾値以下の場合は、このブロックについて探索を行わず、オプティカルフロー推定の結果を0とする。
前入力画像フレームPにおいてテンプレートマッチング手段116により定められた探索範囲の各ブロックと、現入力画像フレームIのブロックBL(bx,by)間で、繰り返しブロックマッチングを行うことで探索を行う。すなわち現入力画像フレームIのブロックBL(bx,by)との相関が最も高い領域を検出する。前入力画像の探索範囲と現入力画像におけるブロック間との相関値は、差分絶対値和SAにより求める。差分絶対値和SAを用いた場合、相関が最も高い位置においてSAは最小をとる。現入力画像フレームI(x,y)におけるブロックの左上座標を(x1,y1)として、前入力画像フレームP上の(x1,y1)からオフセット(h1,v1)での差分絶対値SA(h1,v1)は次式のとおり求めることができる。
Figure 0004709889

すなわち、差分絶対値和で相関を算出する場合、値が小さいほど相関が高くなる。
全探索領域(h,v)の探索を終えて、最も相関が高かった領域のオフセット量(h1,v1)がブロックのオプティカルフロー推定の結果となる。推定されたオプティカルフローは、影やヘッドライトなどの光の外乱によって誤って推定されるものを含んでいる。
信頼性評価手段114は、フレームメモリ112より保持された現入力画像と1単位時間間隔前の前入力画像を読み込み、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロック領域をテンプレート管理手段115へ通知する手段である。
図2は、信頼性評価手段114で用いられるウェーブレット変換の動作を示す説明図である。
図2において、ウェーブレット変換は、分割イメージ201に示すようにフレームメモリ112より読み込んだ入力画像のf(x,y)を直交変換し、低周波成分を含むLL帯域、水平高調波成分を含むHL帯域、垂直高調波成分LH帯域、斜め高調波領域成分を含むHH帯域に分割する。入力画像をf(x,y)とし、以下の各式により離散ウェーブレット変換を行い各帯域成分を求めることができる。
Figure 0004709889

ここでLL(j,k)、HL(j,k)、LH(j,k)、HH(j,k)はそれぞれ、入力画像f(x、y)をウェーブレット変換して得られる低域成分、水平成分、垂直成分、斜め成分である。KS1、KS2、KS3、KS4はレベル調整用の定数、j、kは変換後の水平および垂直方向への画素アドレスである。
図2において、変換動作202は、ウェーブレット変換における入力画像と変換結果の関係を示している。原画像を帯域分割して得られる画像LL(j,k)、HL(j,k)、LH(j,k)、HH(j,k)は、入力画像の水平及び垂直方向に半分のサイズとなる。
前入力画像と現入力画像について上記ウェーブレット変換を実施する。オプティカルフロー推定手段113と同様に、変換後の画像を特定の方向にM個と前記方向に対し垂直方向にN個のブロックに分割する。例えば、入力画像が水平方向x=640画素、垂直方向y=480画素のフレームを、ウェーブレット変換を実施後水平方向80個、垂直方向60個のブロックに分割した場合、ブロックサイズは水平方向に4画素、垂直方向に4画素となり、オプティカルフロー推定手段113におけるブロックサイズに比べて水平及び垂直方向に半分のサイズとなる。
続いて、前入力画像と現入力画像の同帯域画像における同一位置のブロック間で相関を求める。相関は、例えば差分絶対値和により求める方法があるが、差分絶対値和の詳細は、上記オプティカルフロー推定手段113で説明したため省略する。相関が高い領域が、信頼性が高いと評価されたブロック領域である。
オプティカルフローの信頼性評価手段114は、ウェーブレット変換を用いることで入力画像を帯域画像の小ブロックに分割して相関値を求めるため、外乱が発生しても精度良く移動物体を認識することができる。
ここで、オプティカルフローの信頼性評価手段114で用いることができる正規化相関について説明する。フレームメモリ112より読み込んだ前入力画像と現入力画像とで同一位置のブロックBL(bx、by)間において次式により正規化相関NRMLを求めることにより信頼性を評価することができる。
Figure 0004709889

ここで、I(x,y)は現入力画像のフレームで、P(x,y)は前入力画像のフレーム、―Iおよび―Pはブロック内の平均輝度、(j,k)はブロック左上の画像インデックスである。
正規化相関は、ランダムノイズの影響は受けやすいが、比較する成分の振幅が異なっていても位相があっていれば高い相関が得られる。差分絶対値和で相関を求めた場合は値が小さいほど相関が高くなったが、一方正規化相関で相関を求めた場合は値が大きいほど相関が高くなる。ただし、相関値があらかじめ定められた閾値より高い場合は、物体の形状変化や動きが発生していないことを示すため、信頼性が低いと評価する。したがって、相関値があらかじめ定められた閾値により近い場合に、物体の形状変化や動きが発生している可能性が高いため信頼性は高いと評価する。正規化相関により信頼性が高いと評価されたブロック領域を求めることができる。
オプティカルフローの信頼性評価手段114は、正規化相関を用いることで高い相関を得られるため、外乱が発生しても精度良く移動物体を認識することができる。
テンプレート管理手段115は、オプティカルフロー推定手段113より物体の動きを求めた結果と、信頼性評価手段114で信頼性が高いと評価されたブロック領域よりテンプレートを登録し、テンプレートマッチング手段116に出力する手段である。
図3は、テンプレート管理手段115において、移動物体領域を抽出する動作を示す説明図である。
図3に示すように、入力画像310において物体の動きを求めたブロック領域320と、信頼性が高いと評価されたブロック領域330で合致するブロックを物体領域と見なす。物体領域についてラベリングを行いラベリング結果340とする。ラベリングは、互いに接する物体領域と見なされたブロック同士に同一ラベルを与える処理である。同一ラベル341が与えられたブロック領域に外接する矩形領域をテンプレート画像342として登録する。
ここで、発生した全オプティカルフローの内、信頼性の高いものの発生密度DENを以下の式で算出し、発生密度DENがあらかじめ定められた閾値以上である場合にはテンプレートとして登録し、閾値未満の場合は登録しないようにする。
Figure 0004709889

これにより抽出した物体領域内の信頼性の高いオプティカルフローの発生密度が低い場合は、テンプレート登録しないことで、光りの外乱の影響を低減できる。
テンプレート管理手段115は、光の外乱による不必要なテンプレート登録が避けられるため、外乱が発生しても精度良く移動物体を認識することができる。
テンプレートマッチング手段116は、フレームメモリ112より保持された現入力画像を読み込み、テンプレート管理手段115で登録されたテンプレート画像と比較し、相関の高い領域を抽出することで移動物体を追跡し、対応領域を物体認識手段117へ出力する手段である。
図4は、テンプレートマッチング手段116における移動物体追跡の動作を示す説明図である。
前入力画像フレームP410において登録されたテンプレート画像411より移動範囲を考慮して探索範囲421を設定する。探索範囲421を現入力画像フレームP420全体とすることは演算量が大きすぎるため、探索範囲421を限定する。探索範囲421の広さは、移動物体の動きにもよるが、テンプレート画像に対して水平垂直方向に数画素から数十画素程度である。現入力画像フレームP420から探索範囲421を走査しながらテンプレート画像との相関を順次求める。相関は、正規化相関により求めるが、正規化相関の詳細は、上記信頼性評価手段114で説明したため省略する。最も相関が高くなる現入力画像フレームP420上の位置を対応領域422とする。テンプレートマッチング手段116をあらかじめ定められた単位時間間隔毎に繰り返すことで移動物体を追跡することができる。
物体認識手段117は、テンプレートマッチング手段116で得られた対応領域422より、移動物体を識別するための各計測値を算出し、条件を満たしている場合に所望の移動物体であると識別し警報出力手段130へ警報出力する手段である。ここで計測値とは、例えば物体の高さ、幅、面積、移動量、追跡期間などがあげられる。
警報出力手段130は、監視手段110の物体認識手段117からの警報出力により所望の移動物体を検出したことを利用者に通知する手段である。
また、本発明の第1の実施の形態の移動物体監視装置は、オプティカルフローの信頼性に応じて視覚的に出力する表示手段を備えることも可能である。
オプティカルフローの大きさを線の長さで示し、方向は線の傾きによって示し、線分の色または輝度を信頼性に応じて変化させる。例えば、信頼性が高いオプティカルフローほど赤色成分を増し、信頼性が低い場合は青色成分を増す。
表示手段は、視覚的にオプティカルフローの推定状況を出力し信頼性の効果を訴えることができる。
図5は、本発明の第1の実施の形態の移動物体監視方法における処理の流れを示すフローチャートである。
オプティカルフロー推定手段113は、入力画像を特定の方向にM個と前記方向に対し垂直方向にN個のブロックに分割して、ブロック毎に前入力画像の探索範囲と現入力画像とで比較して物体の動きを求める(ステップS501)。
信頼性評価手段114は、前入力画像と現入力画像とで同一位置のブロック間で相関値を求める(ステップS502)。
テンプレート管理手段115は、信頼性評価手段114で相関値を求めることにより検出された移動物体をテンプレートとして登録もしくは更新する(ステップS503)。
テンプレートマッチング手段116は、テンプレート管理手段115で登録されたテンプレートと現入力画像とを比較し、相関の高い領域を抽出することで移動物体を追跡する(ステップS504)。
物体認識手段117は、テンプレートマッチング手段116で追跡された移動物体の各計測値を取得し、あらかじめ設定している範囲であれば所望の移動物体であると判定し警報出力する(ステップS505)。
表示手段は、オプティカルフロー推定手段113で得られた物体の動きに応じて表示色または輝度を変化させることで、視覚的にオプティカルフローの推定状況を出力する(ステップS506)。
また、本発明の第1の実施の形態では、上記のステップS501からS506までの各ステップでの処理を行う移動物体監視方法について説明したが、これらのステップS501からS506までの各ステップでの処理を含む移動物体監視動作を実行させるための移動物体監視プログラムを生成し、生成されたプログラムに基づいて、コンピュータに、ステップS501からS506までの各ステップでの処理を含む移動物体監視御動作を実行させることも可能である。
以下、各手段における処理について詳細に説明する。
オプティカルフロー推定手段113は、現入力画像と1単位時間間隔前の前入力画像を読み込み、特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割し、前入力画像の探索範囲と現入力画像におけるブロック間で比較して物体の動きを求めた結果をテンプレート管理手段115と表示手段に出力する。
図6は、オプティカルフロー推定手段113における処理の流れを詳細に示すフローチャートである。
オプティカルフロー推定手段113は、現入力画像と1単位時間間隔前の前入力画像を特定の方向と前記方向に対して垂直方向の複数のブロックに分割する(ステップS601)。
オプティカルフロー推定手段113は、前入力画像と現入力画像における同一位置におけるブロック間で各画素の輝度差の合計を算出する(ステップS602)。
オプティカルフロー推定手段113は、輝度差をあらかじめ定められた閾値以上であるか判定し、輝度差が閾値を越えて大きい場合は以下の探索を行い、輝度差が閾値以下の場合は探索を終了させる(ステップS603)。
オプティカルフロー推定手段113は、探索する場合、ブロック毎に前入力画像の探索範囲内と現入力画像でブロックマッチングにより探索を行う(ステップS604)。
オプティカルフロー推定手段113は、探索を終了させる場合、信頼度無と設定し、推定の終了を確認する処理へ進む(ステップS605)。
オプティカルフロー推定手段113は、相関が最も高いかを判定し、相関が最も高い場合は結果を保持する処理へ進み、さらに高い相関がすでにある場合はそのまま探索の終了を確認する処理へ進む(ステップS606)。
オプティカルフロー推定手段113は、相関が最も高い場合、相関値と信頼度を有とする(ステップS607)。
オプティカルフロー推定手段113は、ブロックマッチングの探索が終了したか判定し、探索が終了していない場合はブロックマッチングを行う処理へ戻り探索を繰り返し、探索が終了している場合は、推定の終了を確認する処理へ進む(ステップS608)。
また、オプティカルフロー推定手段113は、全ブロックについてオプティカルフローの推定が終了しているかを確認し、終了していない場合はブロック間の輝度差を算出する処理に戻り推定を繰り返す(ステップS609)。
オプティカルフロー推定手段113は、ブロック毎に輝度差が閾値以上であるか判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
信頼性評価手段114は、現入力画像と1単位時間間隔前の前入力画像を複数の帯域画像に分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロック領域をテンプレート管理手段115へ通知する。
図7は、信頼性評価手段114における処理の流れを詳細に示すフローチャートである。
信頼性評価手段114は、入力画像を複数の帯域画像に分割するウェーブレット変換を行う(ステップS701)。
信頼性評価手段114は、分割された前入力画像と現入力画像とで同一位置のブロック間で相関を求める正規化相関を行う(ステップS702)。
信頼性評価手段114は、相関値を閾値以上であるか判定し、結果を保持する処理へ進む(ステップS703)。
信頼性評価手段114は、相関値が閾値以上の場合は、領域が背景であり動きがないため、信頼度を無と結果を保持する(ステップS704)。
また、信頼性評価手段114は、相関値が閾値以下の場合は、移動物体による動きが発生していると見なし、信頼度を有と結果を保持する(ステップS705)。
信頼性評価手段114は、全ブロックについて信頼性評価が終了しているかを確認し、終了していない場合はウェーブレット変換より評価を繰り返す(ステップS706)。
信頼性評価手段114は、入力画像を帯域画像とブロックに分割し正規化相関で高い相関が得られるため、外乱が発生しても精度良く移動物体を認識することができる。
テンプレート管理手段115は、オプティカルフロー推定手段113において物体の動きを求めた結果と、信頼性評価手段114で信頼性が高いと評価されたブロック領域よりテンプレートを登録し、テンプレートマッチング手段116に出力する。
テンプレート管理手段115は、オプティカルフローが発生したブロック領域と、信頼性が高いと評価されたブロック領域で合致するブロックを物体領域と見なしラベリングを行い、同一ラベルが与えられたブロック領域に外接する矩形領域をテンプレートとして登録する。
テンプレートマッチング手段116は、前入力画像から探索範囲を設定し、現入力画像とテンプレート管理手段115で登録されたテンプレート画像と比較し、相関の高い領域を抽出することで移動物体を追跡し、対応領域を物体認識手段117へ出力する。
図8は、テンプレートマッチング手段116における処理の流れを詳細に示すフローチャートである。
テンプレートマッチング手段116は、前入力画像の位置から探索範囲を限定し設定する(ステップS801)。
テンプレートマッチング手段116は、登録されたテンプレートと現入力画像の探索範囲から相関を算出し、相関の高い領域を抽出し探索することで移動物体を追跡し、対応領域とする(ステップS802)。
テンプレートマッチング手段116は、探索範囲の探索が終了したか判断し、探索が終了していない場合は相関領域の探索を行う処理より探索を繰り返す(ステップS803)。
物体認識手段117は、テンプレートマッチング手段116で得られた対応領域より、移動物体を識別するための各計測値を算出し、条件を満たしている場合に所望の移動物体であると識別する。
図9は、物体認識手段117における処理の流れを詳細に示すフローチャートである。
物体認識手段117は、移動物体を識別するための各計測値を対応領域より算出する(ステップS904)。
計測値とは、例えば物体の高さ、幅、面積、移動量、追跡期間などがあげられる。
物体認識手段117は、計測値毎に条件を満たしているか判定し、結果を保持する処理へ進む(ステップS905)。
物体認識手段117は、条件を満たしている場合、移動物体と結果を保持し処理を終了する(ステップS906)。
また、物体認識手段117は、条件を満たしていない場合、移動物体ではないと結果を保持し処理を終了する(ステップS907)。
テンプレートマッチング手段116と物体認識手段117は、移動物体を識別するための各計測値毎に条件を判定しているため、外乱が発生しても精度良く移動物体を認識することができる。
表示手段における処理は、オプティカルフロー推定手段113で求めた物体の動きを表示させる。
表示手段は、物体の動きを表示させるため、オプティカルフローの大きさを線の長さで示し、方向は線の傾きによって示し、線分の色または輝度を信頼性に応じて変化させる。例えば、信頼性が高いオプティカルフローほど赤色成分を増し、信頼性が低い場合は青色成分を増す。これにより視覚的にオプティカルフローの推定状況を出力し信頼性の程度を訴える。
以上説明したように、本発明の第1の実施の形態の移動物体監視装置、移動物体監視方法、およびそのプログラムは、入力画像をブロックに分割して探索し移動物体か光の外乱によるものかを評価しているため、外乱が発生しても精度良く移動物体を認識することができる。
なお、本発明の第1の実施の形態の移動物体監視プログラムをあらかじめ定められたコンピュータ読み取り可能な記録媒体に保存しておき、この記録媒体の移動物体監視プログラムが中央演算処理装置から呼び出され実行されることにより、外乱が発生しても精度良く移動物体を認識する移動物体監視動作を実行することができる。
(第2の実施の形態)
本発明の第2の実施の形態の移動物体監視装置は、図1に示す第1の実施の形態の移動物体監視装置100の構成と同じであり、撮影手段120、監視手段110、警報出力手段130によって構成され、監視手段110が、画像入力手段111、フレームメモリ112、オプティカルフロー推定手段113、信頼性評価手段114は、テンプレート管理手段115は、テンプレートマッチング手段116、物体認識手段117によって構成されるが、信頼性評価手段114において水平高調波成分を抽出した同帯域画像で相関を求める点が第1の実施の形態と異なる。
ここで、本発明の第2の実施の形態の移動物体監視装置の構成のうち、上記本発明の第1の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
第1の実施の形態における信頼性評価手段114では、前入力画像と現入力画像についてウェーブレット変換を実施し、低周波成分を含むLL帯域、水平高調波成分を含むHL帯域、垂直高調波成分LH帯域、斜め高調波領域成分を含むHH帯域に分割し、変換後の画像を特定の方向にM個と前記方向に対し垂直方向にN個のブロックに分割して、前入力画像と現入力画像の同帯域画像における同一位置の各ブロック間で相関を求め、信頼性が高いと評価されたブロックをテンプレート管理手段115へ通知していた。
第2の実施の形態における信頼性評価手段114では、上記のLL帯域、HL帯域、LH帯域、HH帯域のうち水平高調波成分を含むHL帯域においてのみ、画像を特定の方向にM個と前記方向に対し垂直方向にN個のブロックに分割して、前入力画像と現入力画像の同帯域画像における同一位置の各ブロック間で相関を求め、信頼性が高いと評価されたブロックをテンプレート管理手段115へ通知する。水平高調波成分を使用する理由は、水平成分の特徴が多い人物の領域とその他の領域を判別しやすく、高調波の方が光の外乱による影響が少ないためである。
以上説明したように、本発明の第2の実施の形態の移動物体監視装置は、入力画像を帯域画像に分割し水平高調波成分を抽出した帯域で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
(第3の実施の形態)
本発明の第3の実施の形態の移動物体監視装置は、図1に示す第1の実施の形態の移動物体監視装置100の構成と同じであり、撮影手段120、監視手段110、警報出力手段130によって構成され、監視手段110が、画像入力手段111、フレームメモリ112、オプティカルフロー推定手段113、信頼性評価手段114は、テンプレート管理手段115は、テンプレートマッチング手段116、物体認識手段117によって構成されるが、信頼性評価手段114においてブロックを複数個合わせた小領域間で比較する点が第1の実施の形と異なる。
ここで、本発明の第3の実施の形態の移動物体監視装置の構成のうち、上記本発明の第1の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
第1の実施の形態における信頼性評価手段114では、現入力画像と1単位時間間隔前の前入力画像を読み込み、特定の方向にM個と前記方向に対し垂直方向にN個のブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段115へ通知していた。
第3の実施の形態における信頼性評価手段114では、分割されたブロックを複数個合わせた小領域間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段115へ通知する。
図10は、本発明の第3の実施の形態の移動物体監視装置における信頼性評価手段114でブロックを複数個合わせた小領域間で比較する動作を示す説明図である。
図10において、配置図1010は、移動物体と撮影手段120の設置についての配置を示している。移動物体監視装置おける撮影手段は、一般的に地面や床面を斜め上方から俯瞰するように設置されている。
また、図10において、この設置では、入力画像1020に示すように、撮影手段120の手前の物体ほど画像の下方に大きく写り、遠方の物体ほど画像の上方に小さく写る。したがって、画像の上方については細かい小領域1021で信頼性を評価し、画像の下方については粗い小領域1022で信頼性を評価することにより、ノイズへの影響を低減できる。
以上説明したように、本発明の第3の実施の形態の移動物体監視装置は、移動物体に合わせた小領域の画像で比較するため、外乱が発生しても精度良く移動物体を認識することができる。
(第4の実施の形態)
本発明の第4の実施の形態の移動物体監視装置は、図1に示す第1の実施の形態の移動物体監視装置100の構成と同じであり、撮影手段120、監視手段110、警報出力手段130によって構成され、監視手段110が、画像入力手段111、フレームメモリ112、オプティカルフロー推定手段113、信頼性評価手段114は、テンプレート管理手段115は、テンプレートマッチング手段116、物体認識手段117によって構成されるが、信頼性評価手段114において1次評価と2次評価を行う点が第1の実施の形態と異なる。
ここで、本発明の第4の実施の形態の移動物体監視装置の構成のうち、上記本発明の第1の実施の形態の移動物体監視装置の構成と同様の手段について、それぞれの説明は省略する。
第1の実施の形態における信頼性評価手段114では、現入力画像と1単位時間間隔前の前入力画像を読み込みブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段115へ通知していた。
第4の実施の形態における信頼性評価手段114では、前々入力画像と前入力画像を読み込みブロックに分割し、前々入力画像と前入力画像とで同一位置のブロック間で第1の相関値を求め、現入力画像と前入力画像を読み込みブロックに分割し、前入力画像と現入力画像とで同一位置のブロック間で第2の相関値を求め、第1の相関値と第2の相関値の結果により最終的な相関値を求め、信頼性が高いと評価されたブロックをテンプレート管理手段115へ通知する。
図11は、本発明の第4の実施の形態の移動物体監視装置における信頼性評価手段114で1次評価と2次評価を行う動作を示す説明図である。
図11に示すように、時間方向1110に対して、前々入力画像1101と前入力画像1102で第1の1次評価1120を行い、前入力画像1102と現入力画像1103で第2の1次評価1130を行い、前記第1の1次評価1120と前記第2の1次評価1130の結果により2次評価1140を行い最終的な信頼性を決定する。
以上説明したように、本発明の第4の実施の形態の移動物体監視装置は、信頼性評価の精度を高くできるため、外乱が発生しても精度良く移動物体を認識することができる。
本発明の第1の実施の形態の移動物体監視装置を示す構成図 本発明の第1の実施の形態の信頼性評価手段で用いられるウェーブレット変換の動作を示す説明図 本発明の第1の実施の形態のテンプレート管理手段において、移動物体領域を抽出する動作を示す説明図 本発明の第1の実施の形態のテンプレートマッチング手段における移動物体追跡の動作を示す説明図 本発明の第1の実施の形態の移動物体監視方法における処理の流れを示すフローチャート 本発明の第1の実施の形態のオプティカルフロー推定手段における処理の流れを詳細に示すフローチャート 本発明の第1の実施の形態の信頼性評価手段における処理の流れを詳細に示すフローチャート 本発明の第1の実施の形態のテンプレートマッチングステップ手段における処理の流れを詳細に示すフローチャート 本発明の第1の実施の形態の物体認識手段における処理の流れを詳細に示すフローチャート 本発明の第3の実施の形態の移動物体監視装置における信頼性評価手段でブロックを複数個合わせた小領域間で比較する動作を示す説明図 本発明の第4の実施の形態の移動物体監視装置における信頼性評価手段で1次評価と2次評価を行う動作を示す説明図 従来の移動物体監視装置の例を示す構成図である。
符号の説明
100 1200 移動物体監視装置
110 監視手段
111 画像入力手段
112 フレームメモリ
113 オプティカルフロー推定手段
114 信頼性評価手段
115 テンプレート管理手段
116 テンプレートマッチング手段
117 物体認識手段
120 撮影手段
130 警報出力手段
201 分割イメージ
202 変換動作
310 入力画像
320 オプティカルフローが発生したブロック領域
330 信頼性評価手段で信頼性が高いと評価されたブロック領域
340 ラベリング結果
341 同一ラベル
342 テンプレート画像
410 前入力画像フレームP
411 テンプレート画像
420 現入力画像フレームP
421 探索範囲
422 対応領域
1010 配置図
1020 入力画像
1021 細かい小領域
1022 粗い小領域
1101 前々入力画像
1102 前入力画像
1103 現入力画像
1110 時間方向
1120 第1の1次評価
1130 第2の1次評価
1140 2次評価
1210 監視装置本体
1211 画像入力処理部
1212 差分画像作成部
1213 変化領域抽出部
1214 移動物体候補選択部
1215 移動物体識別部
1216 表示制御部
1220 ITVカメラ
1230 表示装置

Claims (7)

  1. 画像を入力してフレームメモリに転送する画像入力手段と、
    前記フレームメモリに保持された前入力画像および現入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前記前入力画像と前記現入力画像における前記ブロック毎にブロックマッチングにより移動物体のオプティカルフローを求めるオプティカルフロー推定手段と、
    前記前入力画像と前記現入力画像とにおける同一位置の前記ブロック間で正規化相関の値を相関値として求め、該相関値があらかじめ定められた閾値より高いときは信頼性が低いと評価し、該相関値が該閾値より低いときは、該相関値が閾値により近いほど、前記移動物体のオプティカルフローの信頼性が高いと評価する信頼性評価手段と、
    前記オプティカルフロー推定手段によって求められたオプティカルフローのうち、前記信頼性評価手段によって信頼性が高いと評価されたブロック領域をテンプレートとして登録するテンプレート管理手段と、
    前記登録されたテンプレートを用いて前記現入力画像の移動物体を追跡するテンプレートマッチング手段と、
    前記テンプレートマッチング手段によって追跡中の移動物体があらかじめ定められた条件を満たしたときに警報出力する物体認識手段とを備えたことを特徴とする移動物体監視装置。
  2. 前記テンプレート管理手段が、前記信頼性評価手段によって移動物体のオプティカルフローの信頼性が高いと評価されたブロックの発生密度があらかじめ定められた密度より高いことを条件として、移動物体領域を抽出するようにしたことを特徴とする請求項1に記載の移動物体監視装置。
  3. オプティカルフローの信頼性に応じて表示色または輝度を変化させ、視覚的にオプティカルフローの推定状況を確認できるとともに信頼性の効果を訴えることができるようにした表示手段を備えることを特徴とする請求項1乃至請求項に記載の移動物体監視装置。
  4. 前記信頼性評価手段が、前記前入力画像と前記現入力画像とにおける前記ブロックを複数個合わせた小領域間で比較するようにしたことを特徴とする請求項1乃至請求項の何れかに記載の移動物体監視装置。
  5. 移動物体監視装置を用いた移動物体監視方法であって、
    画像を入力してフレームメモリに転送する画像入力ステップと、
    前記フレームメモリに保持された前入力画像および現入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前記前入力画像と前記現入力画像における前記ブロック毎にブロックマッチングにより移動物体のオプティカルフローを求めるオプティカルフロー推定ステップと、
    前記前入力画像と前記現入力画像とにおける同一位置の前記ブロック間で正規化相関の値を相関値として求め、該相関値があらかじめ定められた閾値より高いときは信頼性が低いと評価し、該相関値が該閾値より低いときは、該相関値が該閾値により近いほど、前記移動物体のオプティカルフローの信頼性が高いと評価する信頼性評価ステップと、
    前記オプティカルフロー推定ステップによって求められたオプティカルフローのうち、前記信頼性評価ステップによって信頼性が高いと評価されたブロック領域をテンプレートとして登録するテンプレート管理ステップと、
    前記登録されたテンプレートを用いて前記現入力画像の移動物体を追跡するテンプレートマッチングステップと、
    前記テンプレートマッチングステップによって追跡中の移動物体があらかじめ定められた条件を満たしたときに警報出力する物体認識手段とを備えたことを特徴とする移動物体監視方法。
  6. 画像を入力してフレームメモリに転送する画像入力ステップと、
    前記フレームメモリに保持された前入力画像および現入力画像を特定の方向と前記方向に対し垂直方向とでそれぞれ複数のブロックに分割して、前記前入力画像と前記現入力画像における前記ブロック毎にブロックマッチングにより移動物体のオプティカルフローを求めるオプティカルフロー推定ステップと、
    前記前入力画像と前記現入力画像とにおける同一位置の前記ブロック間で正規化相関の値を相関値として求め、該相関値があらかじめ定められた閾値より高いときは信頼性が低いと評価し、該相関値が該閾値より低いときは、該相関値が該閾値により近いほど、前記移動物体のオプティカルフローの信頼性が高いと評価する信頼性評価ステップと、
    前記オプティカルフロー推定ステップによって求められたオプティカルフローのうち、前記信頼性評価ステップによって信頼性が高いと評価されたブロック領域をテンプレートとして登録するテンプレート管理ステップと、
    前記登録されたテンプレートを用いて前記現入力画像の移動物体を追跡するテンプレートマッチングステップと、
    前記テンプレートマッチングステップによって追跡中の移動物体があらかじめ定められた条件を満たしたときに警報出力する物体認識手段とをコンピュータに実行させることを特徴とする移動物体監視プログラム。
  7. 請求項に記載の移動物体監視プログラムを保存したコンピュータ読み取り可能な記録媒体。
JP2008296743A 2008-11-20 2008-11-20 移動物体監視装置 Expired - Fee Related JP4709889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008296743A JP4709889B2 (ja) 2008-11-20 2008-11-20 移動物体監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008296743A JP4709889B2 (ja) 2008-11-20 2008-11-20 移動物体監視装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002167573A Division JP2004013615A (ja) 2002-06-07 2002-06-07 移動物体監視装置

Publications (2)

Publication Number Publication Date
JP2009076094A JP2009076094A (ja) 2009-04-09
JP4709889B2 true JP4709889B2 (ja) 2011-06-29

Family

ID=40610930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008296743A Expired - Fee Related JP4709889B2 (ja) 2008-11-20 2008-11-20 移動物体監視装置

Country Status (1)

Country Link
JP (1) JP4709889B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20095785A (fi) 2009-07-13 2011-01-14 Gurulogic Microsystems Oy Menetelmä hahmon tunnistamiseksi, hahmontunnistaja ja tietokoneohjelma
KR20140061266A (ko) * 2012-11-11 2014-05-21 삼성전자주식회사 다중 경로 궤적 분석을 이용한 영상 객체 추적 방법 및 장치
KR101726695B1 (ko) 2015-01-23 2017-04-13 한화테크윈 주식회사 객체추적방법
EP3340104B1 (en) * 2016-12-21 2023-11-29 Axis AB A method for generating alerts in a video surveillance system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003449A (ja) * 1998-04-14 2000-01-07 Matsushita Joho System Kk 画像整合性判定装置
JP2000222584A (ja) * 1999-01-29 2000-08-11 Toshiba Corp 映像情報記述方法、映像検索方法及び映像検索装置
JP2001126065A (ja) * 1999-10-26 2001-05-11 Toyota Central Res & Dev Lab Inc 距離分布検知装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3034101B2 (ja) * 1991-11-22 2000-04-17 大倉電気株式会社 動きベクトルによる識別方法及び装置
JPH1021401A (ja) * 1996-07-04 1998-01-23 Canon Inc 三次元情報処理装置
JP3423861B2 (ja) * 1997-07-17 2003-07-07 株式会社日立製作所 移動物体の監視方法および装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003449A (ja) * 1998-04-14 2000-01-07 Matsushita Joho System Kk 画像整合性判定装置
JP2000222584A (ja) * 1999-01-29 2000-08-11 Toshiba Corp 映像情報記述方法、映像検索方法及び映像検索装置
JP2001126065A (ja) * 1999-10-26 2001-05-11 Toyota Central Res & Dev Lab Inc 距離分布検知装置

Also Published As

Publication number Publication date
JP2009076094A (ja) 2009-04-09

Similar Documents

Publication Publication Date Title
Yuan et al. Automatic removal of complex shadows from indoor videos using transfer learning and dynamic thresholding
CN107563313B (zh) 基于深度学习的多目标行人检测与跟踪方法
JP4368767B2 (ja) 異常動作検出装置および異常動作検出方法
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
JP4215781B2 (ja) 異常動作検出装置および異常動作検出方法
CN106778712B (zh) 一种多目标检测与跟踪方法
US20080037869A1 (en) Method and Apparatus for Determining Motion in Images
Venkatesh et al. Efficient object-based video inpainting
CN108399627B (zh) 视频帧间目标运动估计方法、装置和实现装置
KR101130963B1 (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
Pan et al. Robust and accurate object tracking under various types of occlusions
EP2591460A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
CN104969261B (zh) 用于检测移动物体的方法和系统
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
JP4709889B2 (ja) 移動物体監視装置
Safaei et al. Real-time search-free multiple license plate recognition via likelihood estimation of saliency
JP2005309746A (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
WO2018025336A1 (ja) 劣化検出装置、劣化検出方法、及びコンピュータ読み取り可能な記録媒体
JP2004013615A (ja) 移動物体監視装置
JP2006318064A (ja) 画像センサ
CN107368826A (zh) 用于文本检测的方法和装置
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
Ding et al. Detection of motion-compensated frame-rate up-conversion via optical flow-based prediction residue

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110318

LAPS Cancellation because of no payment of annual fees