JP5988716B2 - 画像処理装置 - Google Patents

Description

本発明は、監視用ＣＣＴＶ（Ｃｌｏｓｅｄ Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）システム等に適用される画像処理装置に関する。

高速道路、一般道を問わず、突発事象（例：事故、落下物等）を監視する需要は、従来より存在する。
画像処理による自動監視システムも、様々なアルゴリズムによる手法が提供されてきているが、屋外の道路固有の問題によって性能が確保しきれていない。
例えば、従来より存在する突発事象発見アルゴリズムの一つに、車両をパターンマッチングで追従し、そのベクトル（移動方向、移動速度）より突発事象の発生を類推するシステムがある。
これは、車両の移動方向が許容範囲より外れれば「車両の迷走」と判断し、落下物を回避する行動だったのではないかと類推し、また、車両の移動速度が許容範囲を上回れば「車両の速度超過」と判断すると言ったものである。

図９は従来の突発事象発見アルゴリズムの構成図である。
図９において、ビデオ入力部１００は、映像信号を入力する。
Ａ／Ｄ変換部２００は、ビデオ入力部１００から入力される映像を量子化する。
画像蓄積部３００は、Ａ／Ｄ変換部２００から所定の周期にて入力される画像の２フレーム前の画像を蓄積し、画像蓄積部４００は、１フレーム前の画像を蓄積する。
差分部５００は、２フレーム前の画像と１フレーム前の画像を比較し、差分を抽出する。
テンプレート作成部６００は、差分部５００にて抽出された差分により、対象車両のテンプレート画像を作成する。
パターンマッチング部７００は、テンプレート作成部６００にて作成されたテンプレート画像により、対象車両を検索する。
ベクトル算出部８００は、パターンマッチング部７００の検索結果により、対象車両の移動方向と移動速度を算出する。
突発事象判断部９００は、ベクトル算出部８００にて算出された情報により、突発事象の発生を類推し、突発事象が発生したと判断した場合に、警報出力１０００する。

図１０は図９の画像蓄積部３００に蓄積される画像例であり、矢印部分が対象車両である。
図１１は図９の画像蓄積部４００に蓄積される画像例であり、矢印部分が対象車両である。図１０より若干新しい画像であり、該当車両が前進している。
図１２は現画像であり、矢印部分が対象車両である。図１１より更に新しい画像であり、該当車両が更に前進している。

次に動作について説明する。
図９において、外部から画像処理装置に与えられた映像信号は、ビデオ入力部１００にて受け取り、Ａ／Ｄ変換部２００に送られる。
Ａ／Ｄ変換部２００では、受け取ったビデオ信号を後の処理のためにデジタルデータに変換する。１画素当たり８ビットの多値データに変換するのが一般的である。
画像蓄積部３００では、２フレーム前に入力された画像データを蓄積し、後の処理に備える。
画像蓄積部４００では、１フレーム前に入力された画像データを蓄積し、後の処理に備える。
その画像は、例えば、図１０および図１１の様なものである。
また、現画像を図１２に示す。
対象車両が、図１０、図１１、図１２と徐々に前進しているのが見れる。

差分部５００では、２フレーム前の画像と１フレーム前の画像の差分をとって、差分画像を作成する。
差分画像の一般的作成方法は、全画素において輝度差の絶対値を算出し、それを差分画像とする方法である。
車両の存在する場所は、存在しない場所より大きな差分値が得られる。
図１０と図１１の差分画像例を、図１３に示す。

テンプレート作成部６００では、差分部５００にて作成した差分画像より、差分の連結した固まり（この場合は車両）を囲む外接矩形を作成し、その座標を記憶する。
記憶した座標を元に、画像蓄積部３００，４００の画像を参照し、実際の該当座標の画像を切り出す。
切り出された画像が、テンプレート画像となる。
外接矩形の例、テンプレート画像の例を、図１４、図１５に示す。

パターンマッチング部７００では、テンプレート作成部６００にて作成したテンプレート画像を元に、現画像の中に存在する同一車両を検索する。
一般に、この作業は「テンプレートマッチング」とよばれ、現画像に対してテンプレート画像と一致する画像部分を、総当たりで検索する作業である。
検索の際は、テンプレート画像の縮尺も変更してマッチングを行うと、発見精度が高まる。
図１６は、現画像に図１５のテンプレート画像を総当たりで検索し、発見した様子の例を示す。

ベクトル算出部８００では、パターンマッチング部７００の検索結果を元に、対象車両の移動距離と差分時間の関係から、移動速度と移動方向を求める。
突発事象判断部９００では、ベクトル算出部８００での算出結果が予め指示されている「速度の許容範囲」と「方向の許容範囲」を超過するか否かを判断し、超過した場合は警報出力１０００する。

従来の突発事象発見アルゴリズム（テンプレートマッチングを使用した場合の例）は、以上のような構成であるのが一般的である。
なお、下記特許文献１は、公知の速度検出方法として「テンプレートマッチング」に言及している。
また、下記特許文献２は、「テンプレートマッチング」の使用による速度検出に言及している。

特開２０００−１４９１８１号公報 特開２００２−３６７０７７号公報

従来の画像処理装置は、以上のように構成されているので、テンプレートマッチングの精度がそのまま突発事象判断の精度となる。
しかし、屋外でのテンプレートマッチングには、様々な精度劣化の要因が存在する。
例えば、図１７では、夜間の道路状況を示している。
夜間は、照度が不足し、カメラは、シャッタースピードを遅く、絞りも開く。
その結果、高速で移動する車両は、輪郭が崩れて撮影される。
併せて、ヘッドライトやテールランプといった昼間に存在しなかった障害物が現れる。
その結果、差分部５００にて差分画像を作成する際、明確な車両形状が切り出されない。
逆に、車両ではないはずの「ヘッドライトが照らす路面」や「テールランプの軌跡」が不要に切り出されて、誤ったテンプレート画像が作成される。
その結果、テンプレートマッチングの精度は、著しく劣化し、夜間の突発事象判断の精度は、著しく劣化する。

また、例えば、図１８では、混雑時の道路状況を示している。
渋滞が続き、車両がカメラから見て重なって撮像されている。
その結果、対象車両は全体が見えず、逆に差分部５００では、数珠繋ぎになった一連の車両列が、差分画像として切り出される。
これら車両列が不要に切り出されて、誤ったテンプレート画像が作成される。
その結果、テンプレートマッチングの精度は、著しく劣化し、渋滞時の突発事象判断の精度は、著しく劣化する。

更に、例えば、図１９では、夕方の道路状況を示している。
夕陽が低い位置より路面を照らし、車両の影が長く伸びている。
その結果、影は常に車両に連結して移動し、差分部５００では、車両のみならず、そこより伸びた影も車両と同様に、差分画像として切り出される。
これら影が車両に付随して不要に切り出されて、誤ったテンプレート画像が作成される。
その結果、テンプレートマッチングの精度は、著しく劣化し、夕方の突発事象判断の精度は、著しく劣化する。

以上のとおり、従来の画像処理装置では、時間帯や交通事情等の環境の変化により、突発事象の判断が、精度良く行えないといった課題があった。

本発明は、環境に変化が生じても、突発事象の判断を精度良く行う画像処理装置を得ることを目的とする。

本発明の画像処理装置は、所定の周期にて入力される画像のフレーム毎の差分画像を抽出する差分手段と、入力される画像を複数のブロックに分割すると共に、差分手段により抽出された差分画像が生じたブロックを特定し、該特定したブロック単位の特徴量を算出するブロック単位特徴量算出手段と、ブロック単位特徴量算出手段により算出されたブロック単位の特徴量を時間帯毎に集計し、時間帯毎にブロック単位の特徴量の一般的な発生状況を学習して記憶する時系列特徴量学習記憶手段と、ブロック単位特徴量算出手段により算出されたブロック単位の特徴量と、時系列特徴量学習記憶手段により記憶された該当する時間帯における同一のブロック単位の特徴量の一般的な発生状況との比較に応じて突発事象の発生を判断する特徴量比較手段と、ブロック単位特徴量算出手段により算出されたブロック単位の特徴量に基づいて、特徴量が算出されたブロックと隣接ブロックとのブロック単位の特徴量の比較に応じて隣接ブロック間の特徴量の相関関係の強さを算出するブロック単位特徴量相関算出手段と、ブロック単位特徴量相関算出手段により算出された隣接ブロック間の特徴量の相関関係の強さを時間帯毎に集計し、時間帯毎に隣接ブロック間の特徴量の相関関係の一般的な発生状況を学習して記憶する時系列特徴量相関学習記憶手段と、ブロック単位特徴量相関算出手段により算出された隣接ブロック間の特徴量の相関関係の強さと、時系列特徴量相関学習記憶手段により記憶された該当する時間帯における同一の隣接ブロック間の特徴量の相関関係の一般的な発生状況との比較に応じて突発事象の発生を判断する特徴量相関比較手段とを備えたものである。

本発明によれば、時系列特徴量学習記憶手段が、時間帯毎にブロック単位の特徴量の一般的な発生状況を学習して記憶するので、特徴量比較手段において、ブロック単位特徴量算出手段により算出されたブロック単位の特徴量と、該当する時間帯における同一のブロック単位の特徴量の一般的な発生状況とを比較すれば、時間帯等により環境に変化が生じても、突発事象の発生の判断を精度良く行うことができる効果がある。

本発明の実施の形態１による画像処理装置の突発事象判断アルゴリズムを示す構成図である。 画像蓄積部３の画像例を示す写真である。 画像蓄積部４の画像例を示す写真である。 差分画像例を示す説明図である。 ブロック分割例を示す写真である。 差分画像とブロック分割例を示す説明図である。 月曜１６時のブロックＸの面積のヒストグラム例を示す説明図である。 本発明の実施の形態２による画像処理装置の突発事象判断アルゴリズムを示す構成図である。 従来の画像処理装置の突発事象判断アルゴリズムを示す構成図である。 画像蓄積部３００の画像例を示す写真である。 画像蓄積部４００の画像例を示す写真である。 現画像例を示す写真である。 差分画像例を示す説明図である。 外接矩形例を示す説明図である。 テンプレート画像例を示す写真である。 現画像とテンプレートのマッチング結果例を示す写真である。 精度劣化要因例を示す写真である。 精度劣化要因例を示す写真である。 精度劣化要因例を示す写真である。

実施の形態１．
図１は本発明の実施の形態１による画像処理装置の突発事象判断アルゴリズムを示す構成図である。
図１において、ビデオ入力部１は、映像信号を入力する。
Ａ／Ｄ変換部２は、ビデオ入力部１から入力される映像を量子化する。
画像蓄積部３は、Ａ／Ｄ変換部２から所定の周期にて入力される画像の、例えば、１フレーム前の画像を記憶する。
画像蓄積部４は、同様に、例えば、現画像を記憶する。
差分部５は、１フレーム前の画像と現画像を比較し、差分画像を抽出する。

ブロック単位特徴量算出部６は、入力される画像をブロックという複数の単位に分割した後、差分画像が生じたブロックを特定し、特定したブロック単位の面積、輝度、色、およびエッジ量等の特徴量を算出する。
時系列特徴量学習記憶部６ａは、ブロック単位特徴量算出部６にて、１０回／秒のペースで算出される特徴量を、１時間単位で１週間２４時間分、ヒストグラム化することにより集計し、時間毎および曜日毎にブロック単位の特徴量の一般的な発生状況を学習して記憶する。

ブロック単位特徴量相関算出部７は、ブロック単位特徴量算出部６にて算出されたブロック単位の特徴量を利用し、隣接ブロック間の特徴量の相関関係の強さを算出する。
時系列特徴量相関学習記憶部７ａは、ブロック単位特徴量相関算出部７にて、１０回／秒のペースで算出される隣接ブロック間の特徴量の相関関係の強さを、１時間単位で１週間２４時間分、ヒストグラム化することにより集計し、時間毎および曜日毎に隣接ブロック間の特徴量の相関関係の一般的な発生状況を学習して記憶する。

特徴量比較部８は、ブロック単位特徴量算出部６により算出された現画像のブロック単位の特徴量と、時系列特徴量学習記憶部６ａにより記憶された現画像に該当する同一時間および同一曜日における同一のブロック単位の特徴量の一般的な発生状況（学習記憶データ）との比較に応じて、現画像の特徴量が学習記憶データの範囲内かを判断し、範囲外の場合に突発事象の発生と判断し、警報出力１０する。
特徴量相関比較部９は、ブロック単位特徴量相関算出部７により算出された現画像の隣接ブロック間の特徴量の相関関係の強さと、時系列特徴量相関学習記憶部７ａにより記憶された現画像に該当する同一時間および同一曜日における同一の隣接ブロック間の特徴量の相関関係の一般的な発生状況（学習記憶データ）との比較に応じて、突発事象の発生を判断し、警報出力１０する。

次に動作について説明する。
外部から画像処理装置に与えられた映像信号は、ビデオ入力部１にて受け取り、Ａ／Ｄ変換部２に送られる。
Ａ／Ｄ変換部２では、受け取ったビデオ信号を後の処理のためにデジタルデータに変換する。
１画素当たり８ビットの多値データに変換するのが一般的である。
画像蓄積部３では、入力された画像を蓄積し、後の処理に備える。例として、ここでは、１フレーム前の画像を蓄積するものとする。
その１フレーム前の画像は、例えば、図２の様なものである。
画像蓄積部４では、入力された現画像を蓄積し、後の処理に備える。
その現画像は、例えば、図３の様なものである。

差分部５では、１フレーム前の画像と現フレームの画像の差分をとって差分画像を抽出する。
差分画像の一般的作成方法は、全画素において輝度差の絶対値を算出し、それを差分画像とする方法である。
車両の存在する場所は、存在しない場所より大きな差分値が得られる。
図４に、図２と図３の差分画像例を示す。

ブロック単位特徴量算出部６では、先ず、画像をブロックという複数の単位に分割する。
図５にブロック分割例を示す。
道路監視の場合は、道路を等面積で分割するのが望ましいが、必須ではない。
更に、そのブロック毎に、差分部５より入力される差分画像を重ね、差分のあるブロックを特定する。
図６では、２つの車両の差分画像が見えるが、図５の現画像に該当するのは、手前の車両であるため、手前の車両を囲むブロックを該当ブロックとする（ブロックＵ，Ｖ，Ｘ，Ｙ）。
なお、該当ブロックは、手前の車両だけではなく、奥手の車両も加えても良く、更に、差分画像が含まれる全てのブロックを対象にしても良い。

その上で、該当ブロックにて下記特徴量（例）を算出する。
（１）面積 一定量の差分が確認された画素数をカウントする。
（２）輝度 画像蓄積部にある画像で、（１）に該当する画素の平均輝度を求める。
（３）色 画像蓄積部にある画像で、（１）に該当する画素の平均ＲＧＢ値を求める。
（４）エッジ量 画像蓄積部にある画像で、（１）に該当する画素のみでエッジ抽出を行い、一定強度を有するエッジ画素数をカウントする。
ここで、エッジ量について、もう少し詳しく説明する。
（１）に該当する画素を対象に、隣接する画素間の輝度差をエッジ強度とする。
例えば、輝度５０と輝度１５０の画素間では、輝度差が１００なので、エッジ強度も１００とする。
このエッジ強度を、例えば、閾値８０で２値化し、“１”となった部分をエッジとする。
よって、エッジ強度１００は、２値化後“１”となる。
この作業をエッジ抽出とする。
エッジ量は、抽出されたエッジの総量をカウントすることにより得られる。
なお、（１），（４）は、遠近補正を行い、数字が直接比較できるように正規化することが望ましい。
ここでは、以上の処理を、例として、１０回／秒行う。

時系列特徴量学習記憶部６ａでは、ブロック単位特徴量算出部６にて、１０回／秒のペースで算出される特徴量を、例えば、１時間単位で集計し、ヒストグラム化する。
ヒストグラムは、各ブロック毎に全特徴量数だけ用意され、かつ１週間２４時間分存在する。
図７に、ブロックＸの月曜１６時台の特徴量「面積」のヒストグラム例を示す。
図７における、横軸が画素数、縦軸が発生頻度である。
１０回／秒のペースで算出される特徴量「面積」を画素数に見たてて、ヒストグラムの横軸である画素数の該当箇所に投票する。
１時間の間に（１０×６０×６０＝）３６０００回投票される。
よって、ヒストグラムの縦軸である発生頻度を全て合計すると、３６０００になる。
同様に「面積」「輝度」「色」「エッジ量」のヒストグラムを作成後、更に、これらヒストグラムより、下記二次的な特徴量も算出する。

（１）面積に対する二次的な特徴量例
ａ）最多面積 路肩に該当するブロックでは小さい
ｂ）発生頻度 ブロック内の通過車両数に比例
（２）輝度に対する二次的な特徴量例
ａ）最多輝度 夜間は高輝度に偏る
ｂ）発生頻度 ブロック内の通過車両数に比例
ｃ）分散値 夜間であれば照明の有無に逆比例
（３）色に対する二次的な特徴量例
ａ）最多色 夜間は赤か白に偏る、日中で影が有れば黒が突出してくる
ｂ）発生頻度 ブロック内の通過車両数に比例
ｃ）分散値 夜間は分散が減る
（４）エッジ量に対する二次的な特徴量例
ａ）縦エッジ横エッジ比 夜間は１に近づく
以上の「特徴量」「二次的特徴量」を１時間単位でヒストグラム化して記憶する。
更に、１週間に１時間、このヒストグラムが新たなデータで更新される。
季節的要因も、ここで平均化される。

ブロック単位特徴量相関算出部７では、ブロック単位特徴量算出部６の出力を受け、隣接ブロック間で特徴量の相関関係の強さを測定する。
まず、平面的相関を見る。以下のような例。
該当ブロックＵに対して、その周辺８ブロック間で、特に相関が認められるブロックと特徴量は以下。
（１）ブロックＵ，Ｖ 面積／輝度／色 相関関係「中」
（２）ブロックＵ，Ｘ 面積／輝度／色 相関関係「強」

次に、時間的相関を見る。以下のような例。
該当ブロックＸに対して、１処理サイクル前の周辺８ブロック間で特に相関が認められるブロックと特徴量は以下。
（１）１処理サイクル前のブロックＵ、現サイクルのブロックＸ 面積／輝度／色 相関関係「強」
相関関係の強度は、３〜５段階で示すのが有効であるが、特に制限はない。
また、上記では、平面的相関は、該当ブロックの周囲ブロック（８ブロック）で見たが、これは必須ではない。
時間的相関は、１処理サイクル前の周囲ブロック（８ブロック）で見たが、これも必須ではない。
画像処理装置の演算力に合わせて、範囲は拡大縮小しても良い。

時系列特徴量相関学習記憶部７ａでは、ブロック単位特徴量相関算出部７にて、１０回／秒のペースで算出される特徴量相関関係強度を、例えば、１時間単位で集計する。
データは、１週間２４時間分用意され、全ての特徴量相関関係強度に対し、各個に集計される。

特徴量比較部８では、ブロック単位特徴量算出部６より送られてくる現画像のブロック単位の特徴量と、時系列特徴量学習記憶部６ａより送られてくる現画像に該当する同一時間および同一曜日における同一のブロック単位の特徴量の学習記憶データを比較して、現画像のブロック単位の特徴量が学習記憶データの範囲内かを判断する。
ここで、重要なのは、時系列特徴量学習記憶部６ａが曜日別、時間別に特徴量を集計するので、時系列特徴量学習記憶部６ａから出される学習記憶データが、環境変化に自動的に対応する点である。

例えば、図１７において、車両の形状は不鮮明で色も識別できず、テンプレートマッチングには不適であった。
しかし、図１７にて、時系列特徴量学習記憶部６ａから出される該当ブロックの学習記憶データでは、特徴量「色」がオレンジ、特徴量「面積」が１００画素程度のテールランプの特徴量が蓄積されている。
これを利用すると、特徴量比較部８では、車両のテールランプの動きを元に、正常な動きの判断が可能となる。
逆に、このテールランプの特徴量に反する動きが有れば、それが突発事象の発生と判断できる。
例えば、特徴量「色」が白、特徴量「面積」が５００画素の面積の移動が抽出されたら、逆行した車両が迷走している恐れがある。
これにより、警報出力１０することができる。

また、例えば、図１８において、車両の形状は連結されていて、単独車両としては切り出せず、テンプレートマッチングには不適であった。
しかし、図１８にて、時系列特徴量学習記憶部６ａから出される該当ブロックの学習記憶データでは、特徴量「面積」が１０００画素、特徴量「エッジ量」が縦エッジ「大」の、混雑した車両が連結している場合の特徴量が蓄積されている。
これを利用すると、特徴量比較部８では、車両の混雑・連結発生を元に、正常な動きの判断が可能となる。
逆に、混雑・連結の特徴量に反する動きが有れば、それが突発事象の発生と判断できる。
例えば、特徴量「面積」が１０画素、特徴量「エッジ量」が縦エッジ「小」の特徴量が抽出されたら、事故車両が道をふさいで、局部的に通行不可エリアができた恐れがある。
これにより、警報出力１０することができる。

更に、例えば、図１９において、車両に長く伸びた影が連結されていて、車両と一緒に切り出されてしまうため、テンプレートマッチングには不適であった。
しかし、図１９にて、時系列特徴量学習記憶部６ａから出される該当ブロックの学習記憶データでは、特徴量「面積」が５００画素の一般的車両通行時の特徴を示す。
それは、特徴量をブロック単位で比較するため、他のブロックに存在しているであろう影の有無は別判定となり、該当ブロックには影響しないためである（後述の相関情報には影響がある）。
これを利用すると、特徴量比較部８では、正常な動きの判断が可能となる。

特徴量相関比較部９では、ブロック単位特徴量相関算出部７より送られてくる現画像の隣接ブロック間の特徴量の相関関係の強さと、時系列特徴量相関学習記憶部７ａより送られてくる現画像に該当する同一時間および同一曜日における同一の隣接ブロック間の特徴量の相関関係の学習記憶データとの比較に応じて、突発事象の発生を判断し、警報出力１０する。
ここでも、重要なのは、時系列特徴量相関学習記憶部７ａが曜日別、時間別に隣接ブロック間の特徴量の相関関係の強さを集計するので、時系列特徴量相関学習記憶部７ａから出される学習記憶データが、環境変化に自動的に対応する点である。

平面的相関では、ブロックをまたいで大きな車両が存在する場合、夕方に影がのびている場合に、強い相関が現れる。
したがって、図１８にて、時系列特徴量相関学習記憶部７ａから出される該当ブロックの学習記憶データでは、ブロックをまたいで強い相関が現れ、これを利用すると、特徴量相関比較部９では、車両の影の発生を元に、正常な動きの判断が可能となる。
また、時間的相関では、速度が極端に異なる車両が存在する場合、学習記憶データで強い相関があった場所が、逆に相関が弱まる。
その場合は、速度超過車両、もしくは停止車両がいる可能性があり、これにより、警報出力１０することができる。

以上のように、本実施の形態１によれば、時系列特徴量学習記憶部６ａが、１時間単位で１週間２４時間分、ヒストグラム化することによりブロック単位の特徴量を集計し、曜日毎および時間毎にブロック単位の特徴量の一般的な発生状況を学習して記憶するので、特徴量比較部８において、ブロック単位特徴量算出部６により算出されたブロック単位の特徴量と、該当する曜日および時間における同一のブロック単位の特徴量の一般的な発生状況とを比較すれば、曜日および時間等により環境に変化が生じても、突発事象の発生の判断を精度良く行うことができる。

また、時系列特徴量相関学習記憶部７ａが、１時間単位で１週間２４時間分、ヒストグラム化することにより隣接ブロック間の特徴量の相関関係の強さを集計し、曜日毎および時間毎に隣接ブロック間の特徴量の相関関係の一般的な発生状況を学習して記憶するので、特徴量相関比較部９において、ブロック単位特徴量相関算出部７により算出された隣接ブロック間の特徴量の相関関係の強さと、該当する曜日および時間における同一の隣接ブロック間の特徴量の相関関係の一般的な発生状況とを比較すれば、曜日および時間等により環境に変化が生じても、突発事象の発生の判断を、更に精度良く行うことができる。
なお、その結果、画像処理装置の設置時の現地調整は不要となる。

したがって、従来例では精度の確保ができなかった「夜間」，「渋滞」，「夕方の影」等の影響を受けない画像処理を実施することができる。
なお、特徴量比較部８、特徴量相関比較部９は、それぞれの個別の比較結果から突発事象の発生の判断を行ったが、特徴量比較部８の比較結果と特徴量相関比較部９の比較結果との協同により、突発事象の発生の判断を行っても良く、より精度良く行うことができる。

実施の形態２．
図８は本発明の実施の形態２による画像処理装置の突発事象判断アルゴリズムを示す構成図である。
図８において、時系列特徴量学習記憶部６ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量算出部６により算出されたブロック単位の特徴量のうちの、突発事象が発生したブロック単位の特徴量を集計から外すものである。
また、時系列特徴量相関学習記憶部７ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量相関算出部７により算出された隣接ブロック間の特徴量の相関関係の強さのうちの、突発事象が発生した隣接ブロック間の特徴量の相関関係の強さを集計から外すものである。
その他の構成については、図１と同様である。

次に動作について説明する。
警報出力１０された場合に、時系列特徴量学習記憶部６ｂおよび時系列特徴量相関学習記憶部７ｂにフィードバック１１される。
時系列特徴量学習記憶部６ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量算出部６により算出され、突発事象が発生したブロック単位の特徴量をヒストグラムの集計から外す。
また、時系列特徴量相関学習記憶部７ｂは、警報出力１０のフィードバック１１に応じて、ブロック単位特徴量相関算出部７により算出され、突発事象が発生した隣接ブロック間の特徴量の相関関係の強さをヒストグラムの集計から外す。

以上のように、本実施の形態２によれば、時系列特徴量学習記憶部６ｂが、突発事象が発生したブロック単位の特徴量を集計から外すようにしたので、過った学習を回避し、継続的に正しい学習を続けることができるため、長期的運用の際の信頼度を向上させることができる。
また、時系列特徴量相関学習記憶部７ｂが、突発事象が発生した隣接ブロック間の特徴量の相関関係の強さを集計から外すようにしたので、過った学習を回避し、継続的に正しい学習を続けることができるため、長期的運用の際の信頼度を向上させることができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ ビデオ入力部、２ Ａ／Ｄ変換部、３，４ 画像蓄積部、５ 差分部、６ ブロック単位特徴量算出部、６ａ，６ｂ 時系列特徴量学習記憶部、７ ブロック単位特徴量相関算出部、７ａ，７ｂ 時系列特徴量相関学習記憶部、８ 特徴量比較部、９ 特徴量相関比較部、１０ 警報出力、１１ フィードバック。

Claims (6)

1. 所定の周期にて入力される画像のフレーム毎の差分画像を抽出する差分手段と、
   入力される上記画像を複数のブロックに分割すると共に、上記差分手段により抽出された差分画像が生じたブロックを特定し、該特定したブロック単位の特徴量を算出するブロック単位特徴量算出手段と、
   上記ブロック単位特徴量算出手段により算出されたブロック単位の特徴量を時間帯毎に集計し、時間帯毎にブロック単位の特徴量の一般的な発生状況を学習して記憶する時系列特徴量学習記憶手段と、
   上記ブロック単位特徴量算出手段により算出されたブロック単位の特徴量と、上記時系列特徴量学習記憶手段により記憶された該当する時間帯における同一のブロック単位の特徴量の一般的な発生状況との比較に応じて突発事象の発生を判断する特徴量比較手段と、
   上記ブロック単位特徴量算出手段により算出されたブロック単位の特徴量に基づいて、特徴量が算出されたブロックと隣接ブロックとのブロック単位の特徴量の比較に応じて隣接ブロック間の特徴量の相関関係の強さを算出するブロック単位特徴量相関算出手段と、
   上記ブロック単位特徴量相関算出手段により算出された隣接ブロック間の特徴量の相関関係の強さを時間帯毎に集計し、時間帯毎に隣接ブロック間の特徴量の相関関係の一般的な発生状況を学習して記憶する時系列特徴量相関学習記憶手段と、
   上記ブロック単位特徴量相関算出手段により算出された隣接ブロック間の特徴量の相関関係の強さと、上記時系列特徴量相関学習記憶手段により記憶された該当する時間帯における同一の隣接ブロック間の特徴量の相関関係の一般的な発生状況との比較に応じて突発事象の発生を判断する特徴量相関比較手段と
   を備えた画像処理装置。
2. 上記時系列特徴量学習記憶手段は、
   突発事象が発生した場合に、該突発事象が発生したブロック単位の特徴量を集計から外すことを特徴とする請求項１記載の画像処理装置。
3. 上記時系列特徴量相関学習記憶手段は、
   突発事象が発生した場合に、該突発事象が発生した隣接ブロック間の特徴量の相関関係の強さを集計から外すことを特徴とする請求項１記載の画像処理装置。
4. 上記ブロック単位特徴量算出手段は、
   特徴量として、面積、輝度、色、およびエッジ量のうちの少なくとも一つを算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. 上記時系列特徴量学習記憶手段は、
   ブロック単位の特徴量を１時間単位で１週間２４時間分、ヒストグラム化することにより集計することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
6. 上記ブロック単位特徴量相関算出手段は、
   上記ブロック単位特徴量算出手段により今回算出されたブロックの特徴量と、前回算出された隣接ブロックとのブロック単位の特徴量との比較に応じて隣接ブロック間の特徴量の相関関係の強さを算出することを特徴とする請求項１記載の画像処理装置。

Images