JP5155110B2

JP5155110B2 - 監視装置

Info

Publication number: JP5155110B2
Application number: JP2008293144A
Authority: JP
Inventors: 渡伊藤
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2008-11-17
Filing date: 2008-11-17
Publication date: 2013-02-27
Anticipated expiration: 2028-11-17
Also published as: JP2010124028A

Description

本発明は、監視対象となる領域の物体の動きを監視する監視装置に関し、特に、監視対象となる領域全体の物体の動きを検出し、検出した動きの時間変化に基づき出力される情報によって効果的な監視が行えるようにした監視装置に関する。

例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等といった固体撮像素子を搭載する撮像装置によって監視領域を撮像した画像（入力画像）を、画像処理手段によって処理し、入力画像中の所定の物体を自動的に検出するような監視装置は、従来から広く用いられている。

このような、入力画像中の所定の物体を自動的に検出するような方法の一例として、差分法と呼ばれる方法が従来から使用されている。差分法は、入力画像と検出すべき物体の映っていない画像（背景画像）との画素毎の画素値の差分を計算し、その差分が所定のしきい値（例えば２０、１画素８ビットを仮定）を超えた場合に、画素に変化があったと判定する。さらに、変化があったと判定された画素の塊を検出することで監視領域内の検出すべき物体を監視する。

このように、従来の方法は、画像上の各画素の画素値変化を検出し、その変化の有無に基づいて検出すべき物体を監視するため、検出すべき物体の位置が特定でき、検出された物体が何であるのか把握しやすいという特徴がある。

しかし、このような方法は、通常状態において、各画素の画素値変化が大きい場合に適用できず、背景部分が激しく動く場合や、人混み等では使用できなかった。また、検出すべき物体と背景部分の動きとを区別するために、検出すべき物体を比較的大きく写すような画角が必要となる。

また、画像処理手段によって、入力画像の状態の変化を自動的に検出するような方法もあり、このような方法の一例として、特許文献１及び特許文献２に示されているようなオプティカルフローと呼ばれる方法が知られている。このオプティカルフローは、入力画像をいくつかのブロックに分割し、各ブロックの時間的な変位（動きベクトル）を、テンプレートマッチング（ブロックマッチング）等の方法によって検出し、動きベクトルの乱れから監視領域内の状態の変化を監視するものである。

特開平０３−２４３８６２号公報特開平０５−３１２８１９号公報

このように、従来のオプティカルフローと呼ばれる方法は、画像の動きベクトルの変化を検出し、その動きベクトルの乱れの程度に基づいて監視領域の状態の変化を大局的に監視するため、上述した差分法に比べ画角を広く（広角に）設定することができる。

しかし、画角が広角になるに従い、被写体と撮像装置との距離の違いによって、動きベクトルの見かけの大きさに誤差が発生する。また、監視領域を広角で撮像するため、監視領域内の状態の変化の原因を特定することが困難となる。よって、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることで、効果的な監視を行うことができないという問題があった。

本発明は、このような従来の事情に鑑みなされたもので、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることを解消することにより、効果的な監視を行うことができる監視装置を提供することを目的とする。

本発明の監視装置は、監視領域を撮像する撮像装置と、該撮像装置で撮影した入力画像を処理して該監視領域の状態を判定する画像処理手段と、該画像処理手段の監視領域の状態の判定結果に基づき情報を出力する情報出力装置からなる監視装置であって、前記画像処理手段は、入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きを動きベクトルとして検出する動き検出手段と、該動きベクトルを前記撮像装置の撮像条件に基づいて補正する動き補正手段とを備え、前記画像処理手段は、前記動き補正手段によって補正された動きベクトルに基づき監視領域の状態変化を判定し、前記補正手段は、前記撮像装置の取付けられた高さと、該撮像装置の縦方向の視野角とに基づいて、画像上の任意の点における、該撮像装置からの距離を推定し、該距離に比例する補正係数を前記動きベクトルに乗ずることで前記補正を行い、さらに、前記画像処理手段は、前記入力画像を横方向と縦方向に一定の大きさのブロックへ分割し、ブロックマッチング処理により各ブロックに対して前記動きベクトルを検出し、前記動き補正手段によって補正された動きベクトルを画像内で平均し、得られた平均動きベクトルの時間変化が所定のしきい値を超えたときに、情報出力装置から情報を出力すべき前記状態変化が発生したと判定し、前記撮像装置は、撮像方向と焦点距離とを変え、また、前記画像処理手段は、前記補正された動きベクトルを用いて、発散する動き若しくは集中する動きの中心点を探索し、該中心点に関わる発散若しくは収束の度合いが一定以上であった場合に、該中心点に対応する位置の監視領域をズームアップして撮影されるように撮像装置の撮像方向と焦点距離とを制御することを特徴とする。
また、前記画像処理手段は、前記分割されたブロックの各行及び各列について前記補正された動きベクトルを平均し、得られた行平均動きベクトルの縦成分の正負が反転する２行の位置及び得られた列平均動きベクトルの横成分の正負が反転する２列の位置を探索し、前記２行の位置をその前記行平均動きベクトルの縦成分の絶対値で重み付けして得た縦方向位置、及び前記２列の位置を対応する前記列平均動きベクトルの横成分の絶対値で重み付けして得た横方向位置を以って前記中心点とすることを特徴とする。
本発明の監視装置では、動き検出手段により入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、動き補正手段により動きベクトルが撮像装置の撮像条件に基づいて補正され、画像処理手段により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定される。

本発明の監視装置によれば、動き検出手段により入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、動き補正手段により動きベクトルが撮像装置の撮像条件に基づいて補正され、画像処理手段により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定されるようにしたので、被写体と撮像装置との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることが解消されることから、効果的な監視を行うことができる。

以下、本発明の実施の形態の詳細について説明する。
(第１実施形態)
図１は、本発明の監視装置の第１実施形態を示すブロック図である。同図に示す監視装置は、撮像装置４０１と、映像入力Ｉ／Ｆ（インタフェース）４０２と、プログラムメモリ４０３と、制御回路Ｉ／Ｆ４０４と、ワークメモリ４０５と、画像処理プロセッサ４０６と、情報出力Ｉ／Ｆ４０７と、情報表示装置４０８とを有している。また、映像入力Ｉ／Ｆ４０２と、プログラムメモリ４０３と、制御回路Ｉ／Ｆ４０４と、ワークメモリ４０５と、画像処理プロセッサ４０６と、情報出力Ｉ／Ｆ４０７とは、データバス４０９に接続されている。

なお、監視装置の構成としては、第１実施形態の構成の他にも、従来から各種外部記録装置や、情報伝送装置等を有するものも存在するが、説明を簡単にするため、ここではその他の構成の図示を省略している。

撮像装置４０１は、監視の対象となる領域を撮像する。撮像された入力画像は、映像入力Ｉ／Ｆ４０２を介してワークメモリ４０５へ記録される。画像処理プロセッサ４０６は、プログラムメモリ４０３に記録されているプログラムに従って、ワークメモリ４０５内に記録された入力画像を処理し、その処理結果を情報出力Ｉ／Ｆ４０７を介して情報表示装置４０８へ出力する。また、画像処理プロセッサ４０６は、その処理結果に応じ、制御回路Ｉ／Ｆ４０４を介して、撮像装置４０１の撮像条件を制御する。

次に、画像処理プロセッサ４０６で実行されるプログラムの処理について、図２〜図７を用いて説明する。ここで、図２は図１の画像処理プロセッサ４０６で実行されるプログラムの処理を示すフローチャートであり、図３は図１の撮像装置４０１による監視領域を撮像した入力画像の一例を表す図であり、図４は撮像装置４０１による入力画像を所定の条件でブロックに分割した場合を示す図であり、図５及び図６は図１の画像処理プロセッサ４０６の画像解析におけるオプティカルフローを示す図であり、図７は図１の撮像装置４０１における撮像条件を説明するための図である。

まず、図２において、画像入力（ステップＳ１０１）においては、撮像装置４０１で撮像した映像（入力画像）を、映像入力Ｉ／Ｆ４０２を介してワークメモリ４０５へ転送する。次いで、ブロック分割処理（ステップＳ１０２）では、入力画像を、例えば、横方向Ｂ^（Ｈ）＝８個、縦方向Ｂ^（Ｖ）＝６個のブロックに分ける。

ここで、入力画像の大きさをＶＧＡ（横方向６４０画素、縦方向４８０画素）と仮定すると、各ブロックの大きさは、横方向Ｎ＝８０画素、縦方向Ｍ＝８０画素になる。この処理を図３及び図４を用いて説明する。

まず、図３は、監視領域を撮像した入力画像の一例を表しており、多数の人型の物体が左から右に向かって移動している様子を表している。また、図４は、その入力画像を、後述の撮像装置４０１の撮像条件でブロックに分割したものである。

次いで、ブロックマッチング処理（ステップＳ１０３）では、図４に示した各ブロックをテンプレートとし、ワークメモリ４０５に記録された前フレームの入力画像（後述する）とのマッチングを実行し、現フレームの各ブロックの動きを検出する。テンプレートマッチングには、例えば、累積残差ｒ_ＭＡＤ(ｘ，ｙ)や、正規化相関係数ｒ_ＣＯＲＲ(ｘ，ｙ)等を使用することができ、それぞれ下記の式（１）、式（２）で表わされる。

ここで、ｇ(ｘ，ｙ)、ｆ(ｘ，ｙ)は、それぞれ、前フレームの入力画像及び現フレームの入力画像、Ｎ，Ｍは、それぞれ、ブロックの横方向の画素数及び縦方向の画素数、点(ｘ₀，ｙ₀)は、ブロックの左上の座標を表している。累積残差ｒ_ＭＡＤ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)の変位(ｘ，ｙ)における絶対値差分の累積値を表しており、範囲−Ｓ_ｘ≦ｘ≦Ｓ_ｘ，−Ｓ_ｙ≦ｙ≦Ｓ_ｙにおいて最小値を取るｒ_ＭＡＤ(ｘ，ｙ)を見つけることでマッチングが行われる。なお、ｘ，ｙは１画素を単位とする座標である。

Ｓ_ｘ，Ｓ_ｙは、それぞれ、横方向及び縦方向の探索範囲を表し、例えば、Ｓ_ｘ＝Ｓ_ｙ＝５０画素とする。この最小値を取る(ｘ，ｙ)は、テンプレートの動きベクトルを示す。ｒ_ＭＡＤ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)が完全に一致している場合には、０となる。また、正規化相関係数ｒ_ＣＯＲＲ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)の変位(ｘ，ｙ)における正規化された相関を表し、−Ｓ_ｘ≦ｘ≦Ｓ_ｘ，−Ｓ_ｙ≦ｙ≦Ｓ_ｙにおいて最大値を取るｒ_ＣＯＲＲ(ｘ，ｙ)を見つけることでマッチングが行われる。

ｒ_ＣＯＲＲ(ｘ，ｙ)は、前フレームの入力画像ｇ(ｘ，ｙ)と現フレームの入力画像ｆ(ｘ，ｙ)が完全に一致している場合には、１となる。以上のブロックマッチング処理によって、各ブロックにおける動きベクトルが算出される。例えば、図３で表わされる場面では、図５のような各ブロックにおける動きベクトル（オプティカルフロー７０１）が得られる。

なお、第１実施形態では、ブロックマッチングを用いた動きベクトルの算出方法を説明したが、動きベクトルが算出できれば別の方法を適用することが可能で、例えば、ブロックマッチング以外にも勾配法と呼ばれる方法を用いて動きベクトルを算出するようにしてもよい。図３の場面では、多数の人型の物体が左から右に向かって移動しているため、得られる動きベクトルも、右向きのベクトルが多数となる。

今、位置（ｉ，ｊ）のブロック（左上から、右にｉ番目、下にｊ番目のブロック）の動きベクトル７０２をｖ_ｉ，ｊ＝（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）とすると、

ここで、図２のステップＳ１０３でのブロックマッチング処理は、画像上におけるブロックの動きを検出する手法であるため、画像上の見かけの大きさの違いの影響を受ける。具体的には、画像下部に存在する被写体は、画像上部に存在する被写体に比べ、撮像装置４０１からの距離が近いため、画像上の見かけの大きさが大きい。すなわち、画像下部の被写体ほど、得られる動きが大きく計測されてしまうという問題がある。

そこで、動き補正処理（ステップＳ１０４）では、このような、画像上の見かけの大きさの違いを補正する。この補正処理を、図７に示すような、高さＨに取り付けられ、縦方向の視野角θ_Ｖ、俯角をθ_Ｔとする撮像装置４０１の例を用いて説明する。この例では、画像の下部における点Ａ及び点Ｂにおける被写体の撮像装置４０１との距離Ｌ_Ａ，Ｌ_Ｂは、それぞれ、下記の式（６）、式（７）となる。

ここで、撮像装置４０１として、１／３インチのＣＣＤ固体撮像素子（素子サイズ４．８ｍｍ×３．６ｍｍ）を使用し、焦点距離を１２ｍｍ、撮像装置４０１の取り付け高さをＨ＝１０ｍ、撮像装置４０１の俯角をθ_Ｔとした場合、視野角はθ_Ｖ＝１７．０６^０、Ｌ_Ａ＝２５．０５ｍ、Ｌ_Ｂ＝８８．７６ｍとなる。すなわち、このような撮像条件であれば、画像上の見かけの大きさ、及び得られる動きベクトルも画像の上部下部で最大で約３．５倍の誤差が生じる。なお、画像上の任意の点Ｃ(ｘ，ｙ)における、撮像装置からの距離Ｌ_Ｃ(ｘ，ｙ)は、下記の式（８）となる。

すなわち、被写体と撮像装置４０１との距離の差を補正するためには、得られた動きベクトルに対して、下記の式(９)となる距離補正係数ｒ_Ｌ(ｘ，ｙ)を乗ずれば、被写体と撮像装置４０１との距離の違いによる誤差が画像上の任意の位置で０になる。

また、上述の被写体の高さ方向の動き（画像の縦方向の動き）は、撮像装置４０１の俯角の違いによる誤差を含む。今、画像上の任意の点Ｃ(ｘ，ｙ)において、軸ｒの方向に距離Ｒだけ移動したとすると、画像上は、Ｒ×ｔａｎ（θ_Ｔ−θ_Ｖ／２＋θ_Ｖ・ｙ／４８０）分だけ移動したように観測される。すなわち、被写体の画像の縦方向の動きにおける撮像装置４０１の俯角の差を補正するためには、得られた動きベクトルに対して、下記の式(１０)となる距離補正係数ｒ_θ(ｘ，ｙ)を乗ずれば、俯角の違いによる誤差が画像上の任意の位置で０になる。

すなわち、図２のステップＳ１０４の動き補正処理において、ステップＳ１０３のブロックマッチング処理で得られた動きベクトルｖ_ｉ，ｊ＝（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）を被写体と撮像装置４０１の距離の違いや、撮像装置４０１の俯角による誤差をキャンセルした補正した

すなわち、下記の式（１１），（１２）から動きベクトルを補正する。

ここで、点(ｘ_０，ｙ_０)は対象となるブロックの左上の座標を表し、Ｎ，Ｍはそれぞれブロックの横方向の画素数及び縦方向の画素数を表している。このような補正を行うことで、図５で表わされるようなオプティカルフロー７０１は、図６で表わされるオプティカルフロー８０ｌのように補正される。

すなわち、従来の方法では、得られる動きベクトルが、画像上の見かけの大きさの違いの影響を受ける。具体的には、画像下部に存在する被写体は、画像上部に存在する被写体に比べ、撮像装置４０１からの距離が近いため、画像上の見かけの大きさが大きく、画像下部の被写体ほど、得られる動きが大きく計測されてしまうという問題がある。

次に、動き変化検出処理（ステップＳ１０５）では、動きベクトルの時間変化を検出する。動きベクトルの時間変化ｄは、現在のフレームにおける平均動きベクトル８０５ｖ(−)_Ｔ0と、ワークメモリ４０５に記録された前フレームの動きベクトル（後述する）ｖ(−)_Ｔ0−１の差で表わされる。すなわち、下記の式（１３）として検出する。

なお、第１実施形態では、平均動きベクトルの時間変化を検出するようにしているが、次に、動き変化判定（ステップＳ１０６）では、ステップＳ１０５の動き変化検出において検出された動きベクトル時間変化ｄを所定のしきい値Ｔ（例えば、１０画素）と比較し、時間変化ｄがしきい値Ｔより大きい場合に、動きベクトルに変化があったと判断し、処理結果出力処理（ステップＳ１０７）へ分岐し、時間変化ｄがしきい値Ｔ以下であった場合に、入力画像記録処理（ステップＳ１０８）へ分岐する。

ステップＳ１０７の処理結果出力では、情報出力Ｉ／Ｆ４０７を介して、情報表示装置４０８に監視領域内の動きベクトルに変化が発生したことを表示する。なお、第１実施形態では、処理結果の提示方法として情報表示装置４０８を用いているが、動きベクトルに変化が発生したことを外部に提示できればよく、音声、警告灯等の手段によって、動きベクトルの変化を知らせるようにしてもよい。

次に、ステップＳ１０８の入力画像記録処理では、ワークメモリ４０５に現在の入力画像を記録し、ステップＳ１０３のフレームのブロックマッチング処理で使用できるようにする。動き記録処理（ステップＳ１０９）では、ステップＳ１０４の動き補正処理によって補正された動きベクトルを記録し、ステップＳ１０５のフレームの動き変化検出処理で使用できるようにする。

以上のようにすることで、従来の監視装置において、被写体と撮像装置４０１との距離の違いによって発生する動きベクトルの見かけの大きさの誤差の問題を解決し、監視領城内の状態変化を高精度に監視することができる。

このように、第１実施形態では、画像処理手段である画像処理プロセッサ４０６の動き検出手段（ステップＳ１０３のブロックマッチング処理）により入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きが動きベクトルとして検出され、画像処理プロセッサ４０６の動き補正手段（ステップＳ１０３の動き補正処理）により動きベクトルが撮像装置４０１の撮像条件に基づいて補正され、画像処理プロセッサ４０６により動き補正手段によって検出された動きベクトルに基づき監視領域の状態が判定されるようにしたので、被写体と撮像装置４０１との距離の違いによる動きベクトルの見かけの大きさに誤差を生じたり、監視領域内の状態の変化の原因を特定することが困難となったりすることが解消されることから、効果的な監視を行うことができる。

また、画像処理手段である画像処理プロセッサ４０６に、動きベクトルの時間的な変化を検出する動き変化検出手段（ステップＳ１０５の動き変化検出処理）が設けられているため、動きベクトルの時間変化を確実に検出することができる。

（第２実施形態）
次に、第２実施形態について、図８及び図９を用いて説明する。第２実施形態では、入力画像の変化を差分法を用いて検出するようにしたものである。ここで、図８は画像処理プロセッサ４０６で実行される処理を説明するためのフローチャートであり、図９は差分法の基本的な処理の様子を示す図である。なお、監視装置の構成としては、図１と同等であるため、その図示及び説明を省略する。

すなわち、第２実施形態では、第１実施形態で行っていた入力画像のブロック分割の代わりに、入力画像の変化を検出して得られた領域に対し、図２のステップＳ１０３でのブロックマッチング処理を適用するようにしたものである。

また、第２実施形態での画像処理プロセッサ４０６で実行される処理は、図８に示すようになっている。すなわち、同図では、図２のステップＳ１０２のブロック分割処理の代わりに、差分処理（ステップＳ２０１）、二値化処理（ステップＳ２０２）、ラベリング処理（ステップＳ２０３）が追加され、さらに、背景画像更新処理（ステップＳ２０４）が追加されている。これら以外の処理は、第１実施形態と同等のものであるため、その説明は適宜行うものとする。

ここで、差分法による入力画像の変化を検出する方法の概略を表している図９において、符号１１０１は入力画像を表し、符号１１０３はワークメモリ４０５に記録された背景画像を表している。

そして、の差分処理（ステップＳ２０１）では、図９の差分器１１０４によって、入力画像１１０１と背景画像１１０３の画素毎の差分を計算し、差分画像１１０５を算出する。ここで、入力画像１１０１に映る人型の物体１１０２は、差分画像１１０５中で、変化が生じた領域１１０６として検出される。

次に、二値化処理（ステップＳ２０２）では、図９の二値化器（ｔｈ）１１０７によって、差分画像１１０５の各画素の値と所定のしきい値（例えば２０、１画素８ビットを仮定）とを比較し、しきい値以上の画素を“２５５”、しきい値未満の画素を“０”とする変換を行う。

これによって、二値化画像１１０８を得る。ここで、差分画像１１０５で、差分が生じた領域１１０６は、二値化された画素１１０９として検出され、さらにラベリング処理（ステップＳ２０３）によって、二値化された画素の塊を番号付けすることで、物体の存在する領域１１１０を得る。

さらに、ブロックマッチング処理（ステップＳ１０３）では、ステップＳ２０３のラベリング処理によって得られた変化の生じた領域としての物体をテンプレートとしてマッチングが実行される。また、背景画像更新処理（ステップＳ２０４）では、ワークメモリ４０５に記録した現在フレームの背景画像１１０３と、現在フレームの入力画像１１０１とを例えば移動平均等の手法によって、新しい背景画像１１０３に更新し、ワークメモリ４０５に記録する。このようにすることで、各フレームにおいて、背景画像１１０３が更新され、常に最新の背景画像１１０３との差分処理が実行されることになる。

このように、第２実施形態では、画像の変化が生じた部分についてのみブロックマッチングを実行することができるようにしたので、画像処理プロセッサ４０６で実行される計算の負荷を軽減することができ、効率よく監視することができる。

（第３実施形態）
次に、第３実施形態について、図１０〜図１２等を用いて説明する。ここで、図１０は画像処理プロセッサ４０６で実行される処理を説明するためのフローチャートであり、図１１及び図１２は図１の画像処理プロセッサ４０６の画像解析におけるオプティカルフローを示す図である。また、監視装置の構成としては、図１と同等であるため、その図示及び説明を省略する。

第３実施形態では、第１実施形態で得られた補正した動きベクトルを用いて、特定の位置から発散する動き、もしくは、特定の位置に集中する動きを検出する。そして、このような特定の位置（注目点）が存在した場合には、撮像装置４０１の撮像条件を制御して、自動的に注目点を捉えるようにしている。

また、画像処理プロセッサ４０６で実行される処理においては、図１０に示すように、図２の処理に、注目点算出処理（ステップＳ３０１）と、注目点判定処理（ステップＳ３０２）と、撮像装置制御処理（ステップＳ３０３）とが追加されている。

そして、図１０において、注目点算出処理（ステップＳ３０１）では、発散する動きの中心点（放射点）、もしくは、集中する動きの中心点（収束点）を注目点として算出する。ここで、放射点及び収束点の算出方法を、図１１及び図１２を用いて説明する。

まず、図１１のオプティカルフロー９０１は、ある特定の位置から発散する動きを示している。ここで、前述の通り、図１０のステップＳ１０４の動き補正処理では、撮像装置４０１の撮像条件に応じて動きベクトルの補正が行われ、

ここで、特定の位置から発散する動きがある場合、オプティカルフロー９０１は、画面上部では上向きの動き、画面下部では下向きの動きを持ち、さらに、画面左部では左向きの動き、画面右部では右向きの動きを持つ。

また、第３実施形態では、放射点をブロックの位置９０９で表わしているが、Ｘ，Ｙ成分がマイナスからプラスに変化する２点において、それぞれの平均動きベクトルのＹ，Ｘ成分の絶対値の大小に基づく重みにより、放射点を決定してもよい。

ここで、動きベクトルが発散するということは、ある位置で、例えばナイフ等を振り回す人物が現れる等の危険事象が発生し、周囲の人物が逃げる行動を表しており、第３実施形態によれば、このような危険事象を発見することができる。

次に、図１２のオプティカルフロー１００１は、ある特定の位置に集中する動きを示している。ここで、前述の通り、図１０のステップＳ１０４の動き補正処理では、撮像装置４０１の撮像条件に応じて動きベクトルの補正が行われ、

ここで、特定の位置に集中する動きがある場合、オプティカルフロー１００１は、画面上部では下向きの動き、画面下部では上向きの動きを持ち、さらに、画面左部では右向きの動き、画面右部では左向きの動きを持つ。

また、第３実施形態では、収束点１００９をブロックの位置で表わしているが、Ｘ，Ｙ成分がマイナスからプラスに変化する２点において、それぞれの平均動きベクトルのＹ，Ｘ成分の絶対値の大小に基づく重みによって、収束点を決定してもよい。ここで、動きベクトルが収束するということは、ある位置で、例えば転倒者が現れる等の危険事象が発生し、周囲の人物が集まる行動を表しており、第３実施形態によれば、このような危険事象を発見することができる。

次に、図１０の注目点判定（ステップＳ３０２）では、放射点もしくは収束点の注目点を見つけた場合、撮像装置制御処理（ステップＳ３０３）へ分岐し、見つけられなかった場合には、入力画像記録処理ステップ１０８に分岐する。ここで、ステップＳ３０２の注目点判定において、発散もしくは収束の度合いが一定以上であった場合に、ステップＳ３０３の撮像装置制御処理に分岐するようにしてもよい。

次に、ステップＳ３０３の撮像装置制御処理では、注目点が検出された場合に、制御回路Ｉ／Ｆ４０４を制御して、撮像装置４０１の撮像条件を変える。ここで、撮像条件とは、撮像装置４０１の焦点距離や、撮像装置４０１を取り付ける電動雲台の向き等であり、上記危険事象が発生している位置をズームアップして監視することが可能となる。

このように、第３実施形態では、画像処理手段である画像処理プロセッサ４０６に、動き検出手段（ステップＳ１０５の動き変化検出処理）によって検出された動きベクトルから、放射点又は収束点のいずれかの注目点を算出する注目点算出手段（ステップＳ３０１の注目点算出処理）と設け、放射点又は収束点のいずれかの注目点が見つかった場合に、情報表示装置４０８に該注目点の情報が出力されるようにしたので、従来の方法で課題となる、通常状態において、各画素の画素値変化が大きい場合適用できず、背景部分が激しく動く場合や、人混み等での使用や、検出すべき物体を比較的大きく写すような画角が必要となる問題を解決することができる。

また、上記同様に、撮像装置４０１の画角を広角に設定することで発生する撮像装置４０１と撮像対象までの距離の違いによって、動きベクトルの見かけの大きさに誤差が発生するという問題や、監視領域を広角で撮像することによる監視領域内の状態の変化の原因を特定することが困難であるという問題を解決することができ、従来の監視装置の適用範囲をさらに広げることができる。

また、画像処理手段である画像処理プロセッサ４０６に、放射点又は収束点のいずれかの注目点が見つかった場合に、該注目点に基づいて撮像装置４０１の撮像条件を変更する撮像装置制御手段（ステップＳ３０３の撮像装置制御処理）を設けるようにしているので、例えば危険事象が発生している位置をズームアップして監視することが可能となる。

本発明の監視装置の第１実施形態を示すブロック図である。図１の画像処理プロセッサで実行されるプログラムの処理を示すフローチャートである。図１の撮像装置による監視領域を撮像した入力画像の一例を表す図である。図１の撮像装置による入力画像を所定の条件でブロックに分割した場合を示す図である。図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。図１の撮像装置における撮像条件を説明するための図である。図１の画像処理プロセッサで実行される第２実施形態に係る処理を説明するためのフローチャートである。図１の画像処理プロセッサでの差分法の基本的な処理の様子を示す図である。図１の画像処理プロセッサで実行される第３実施形態に係る処理を説明するためのフローチャートである。図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。図１の画像処理プロセッサの画像解析におけるオプティカルフローを示す図である。

符号の説明

４０１撮像装置
４０２映像入力Ｉ／Ｆ
４０３プログラムメモリ
４０４制御回路Ｉ／Ｆ
４０５ワークメモリ
４０６画像処理プロセッサ
４０７情報出力Ｉ／Ｆ
４０８情報表示装置

Claims

監視領域を撮像する撮像装置と、該撮像装置で撮影した入力画像を処理して該監視領域の状態を判定する画像処理手段と、該画像処理手段の監視領域の状態の判定結果に基づき情報を出力する情報出力装置からなる監視装置であって、
前記画像処理手段は、入力画像の少なくとも２個以上の部分画像に対してそれぞれの部分画像の時間的な動きを動きベクトルとして検出する動き検出手段と、
該動きベクトルを前記撮像装置の撮像条件に基づいて補正する動き補正手段とを備え、
前記画像処理手段は、前記動き補正手段によって補正された動きベクトルに基づき監視領域の状態変化を判定し、
前記補正手段は、前記撮像装置の取付けられた高さと、該撮像装置の縦方向の視野角とに基づいて、画像上の任意の点における、該撮像装置からの距離を推定し、該距離に比例する補正係数を前記動きベクトルに乗ずることで前記補正を行い、
さらに、前記画像処理手段は、前記入力画像を横方向と縦方向に一定の大きさのブロックへ分割し、ブロックマッチング処理により各ブロックに対して前記動きベクトルを検出し、前記動き補正手段によって補正された動きベクトルを画像内で平均し、得られた平均動きベクトルの時間変化が所定のしきい値を超えたときに、情報出力装置から情報を出力すべき前記状態変化が発生したと判定し、
前記撮像装置は、撮像方向と焦点距離とを変え、
また、前記画像処理手段は、前記補正された動きベクトルを用いて、発散する動き若しくは集中する動きの中心点を探索し、該中心点に関わる発散若しくは収束の度合いが一定以上であった場合に、該中心点に対応する位置の監視領域をズームアップして撮影されるように撮像装置の撮像方向と焦点距離とを制御する
ことを特徴とする監視装置。
前記画像処理手段は、前記分割されたブロックの各行及び各列について前記補正された動きベクトルを平均し、得られた行平均動きベクトルの縦成分の正負が反転する２行の位置及び得られた列平均動きベクトルの横成分の正負が反転する２列の位置を探索し、前記２行の位置をその前記行平均動きベクトルの縦成分の絶対値で重み付けして得た縦方向位置、及び前記２列の位置を対応する前記列平均動きベクトルの横成分の絶対値で重み付けして得た横方向位置を以って前記中心点とすることを特徴とする請求項１記載の監視装置。