JP4400349B2

JP4400349B2 - 映像処理装置およびこれを用いた映像監視処理システム

Info

Publication number: JP4400349B2
Application number: JP2004204164A
Authority: JP
Inventors: 義二濱
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-07-12
Filing date: 2004-07-12
Publication date: 2010-01-20
Anticipated expiration: 2024-07-12
Also published as: JP2006033009A

Description

この発明は、道路、河川または電力関連施設における事故や災害の監視等を目的とした映像処理装置およびこれを用いた映像監視処理システムに関するものである。

従来の映像処理装置では、監視カメラから伝送される第１の時刻の監視対象の映像と、あらかじめ記憶媒体等に蓄積しておいた第１の時刻より前の第２の時刻における監視対象の映像とを比較して差分映像情報を作成し、差分映像情報における映像の変化量などに基づき監視対象の異常を検出して、アラームを発生していた（例えば、特許文献１参照）。

特開２００３−８７７７３号公報（第３頁、第２図）

使用可能帯域が時間的に変動するような一般の通信回線を介して映像を伝送する場合、映像パラメータの一例である解像度を一定にして伝送するとすれば、使用可能帯域が狭くなった場合に高解像度の映像を伝送できないため必然的に低解像度の映像しか伝送できず、帯域を有効に活用できない。そこで通信回線の帯域を有効活用すべく使用可能帯域の変動に応じて解像度を時間的に変えるとすれば、第１の時刻と第２の時刻の映像パラメータが異なってしまい、従来の映像処理装置を適用する場合は異なる映像パラメータの映像同士を比較することとなり、映像の比較の精度が低下する課題があった。

この発明は上述のような課題を解消するためになされたもので、第１の時刻の映像パラメータを抽出し、あらかじめ記憶媒体等に蓄積しておいた第２の時刻の映像情報を、抽出された第１の時刻の映像パラメータと一致する映像パラメータとなるように変換して、映像パラメータが一致した第１の時刻の映像情報と第２の時刻の映像情報とから差分映像情報を生成することで、高精度の映像比較を実現できる映像処理装置を提供することを目的とする。

この発明にかかる映像処理装置は、映像パラメータが時間的に変動する映像情報から第１の時刻の映像パラメータを抽出する抽出手段と、第１の時刻より前の第２の時刻の映像情報を蓄積する蓄積手段と、蓄積手段に蓄積された第２の時刻の映像情報を、抽出手段により抽出された第１の時刻の映像パラメータと一致する映像パラメータになるように変換する変換手段と、第１の時刻の映像情報と変換手段により変換された第２の時刻の映像情報とを比較して差分映像情報を生成する第１の比較手段とを備えたものである。

この発明によれば、第１の時刻の映像パラメータを抽出し、あらかじめ記憶媒体等に蓄積しておいた第２の時刻の映像情報を、抽出された第１の時刻の映像パラメータと一致する映像パラメータになるように変換することで、映像パラメータが一致した第１の時刻の映像情報と第２の時刻の映像情報とから差分映像情報を得ることができるので、高精度の映像比較を実現できる映像処理装置を提供できる。

この発明によれば、所定位置を表す位置情報が重畳された第１の時刻の映像の映像パラメータを抽出し、あらかじめ記憶媒体等に蓄積しておいた第２の時刻の映像情報を、抽出された第１の時刻の映像パラメータと一致する映像パラメータとなるように変換することで、映像パラメータが一致した第１の時刻の映像情報と第２の時刻の映像情報とから差分映像情報を得ることができる。さらに第１の時刻の映像情報から第１の時刻の位置情報を分離し、あらかじめ記憶媒体等に蓄積しておいた第２の時刻の映像情報から第２の時刻の位置情報を分離して第１の時刻の位置情報と比較することで差分位置情報を得ることができるので、高精度の映像比較および位置比較を実現できる映像処理装置を提供できる。

以下この発明を、その実施の形態を示す図面に基づいて具体的に説明する。なお実施の形態１では、この発明に係る映像処理装置をプラント等の監視を行う映像監視処理システムへ適用した場合を例にとり説明する。
実施の形態１．
図１はこの発明に係る映像処理装置を適用した映像監視システムを示すブロック図である。監視カメラ１は複数の地点に設置され、監視対象であるプラント等（図示せず）の映像を撮影し、撮影した映像は地点毎に設置される映像監視装置２で処理される。映像監視装置２で処理された各地点の映像データは通信回線３を介して、映像処理装置である処理サーバ４へ送られる。処理サーバ４では地点毎の最新映像と、あらかじめ蓄積した過去映像とから、差分映像情報および差分段階情報を作成して、複数の監視地点にある検出手段である解析端末５へ配信する。解析端末５は通常時は監視モニタに最新映像を表示するが、異常発生時には最新映像の代わりに、または最新映像に加えて、差分映像情報をモニタに表示し、監視員にアラームを通知する。

次に動作を説明する。監視カメラ１が撮影した監視対象のアナログ映像信号１１は、各撮影地点の映像監視装置２に渡される。図２は映像監視装置２を示すブロック図である。渡されたアナログ映像信号１１は映像Ａ／Ｄ処理部２ａでデジタルの映像データ２ａ１に変換される。変換された映像データ２ａ１は映像エンコーダ処理部２ｂに渡される。映像エンコーダ処理部２ｂは映像送信制御部２ｃからの制御信号２ｃ１に基づき映像パラメータである解像度を時間的に変えながら、ＭＰＥＧやＪＰＥＧ等の所定の符号化方式に従いデジタルの映像データ２ａ１を圧縮し、圧縮データ２ｂ１を映像送信制御部２ｃに渡す。圧縮データ２ｂ１は時間的に帯域が変動する通信回線３に適合するように映像送信制御部２ｃにおいてＩＰパケット化処理がなされ、入力された時間順に整列してパケットデータ２ｃ２として送信される。

映像監視装置２における映像エンコーダ処理部２ｂの動作を説明する。映像送信制御部２ｃは所定の時間間隔で通信回線３の使用可能帯域Ｂ（以下Ｂと称す）を検知し、Ｂに基づき映像エンコーダ処理部２ｂに制御信号２ｃ１を出力する。映像エンコーダ処理部２ｂは上述のように制御信号２ｃ１に基づき映像パラメータである解像度を「Ｈｉ」、「Ｍｉｄｄｌｅ」または「Ｌｏｗ」のいずれかで映像データ２ａ１を圧縮する。なお解像度がＨｉの場合は映像は高解像度であり、Ｌｏｗの場合は低解像度であり、またＭｉｄｄｌｅの場合は中間の解像度である。具体的には、映像送信制御部２ｃは所定のしきい値Ｂ_Ｔ１およびＢ_Ｔ２（Ｂ_Ｔ１＜Ｂ_Ｔ２）を備えるものとし、Ｂとしきい値の関係がＢ_Ｔ２≦Ｂならば制御信号２ｃ１により映像エンコーダ処理部２ｂで圧縮データ２ｂ１の解像度が「Ｈｉ」となるよう圧縮が行われる。またＢ_Ｔ１≦Ｂ＜Ｂ_Ｔ２であれば解像度が「Ｍｉｄｄｌｅ」となるよう圧縮が行われ、Ｂ＜Ｂ_Ｔ１であれば解像度が「Ｌｏｗ」となるよう圧縮が行われる。このように、時間的に変動する通信回線３の使用可能帯域Ｂを映像送信制御部２ｃで検知し、検知結果に応じて制御信号２ｃ１により映像エンコーダ処理部２ｂが解像度を時間的に変化させながら映像を圧縮する。またこのときＨｉ、Ｍｉｄｄｌｅ、Ｌｏｗで表した解像度情報は、送信されるパケットデータ２ｃ２のヘッダ等に埋め込まれる。

パケットデータ２ｃ２は、通信回線３を介して処理サーバ４で受信される。図３は処理サーバ４を示すブロック図である。パケットデータ２ｃ２は映像受信制御部４ａで圧縮データ２ｂ１に変換される。第１の時刻である任意の時刻に受信された圧縮データ２ｂ１は映像デコーダ処理部４ｂに渡されて、映像監視装置２で圧縮された符号化方式に対応する所定の復号方式で伸張される。伸張された映像データは最新映像４ｂ１として第１の比較手段である映像比較部４ｃへ渡される。

さらに圧縮データ２ｂ１は蓄積手段である蓄積部４ｄに蓄積されるとともに、抽出手段である解像度抽出部４ｅにも渡される。解像度抽出部４ｅは圧縮データ２ｂ１のヘッダ等に埋め込まれた最新映像４ｂ１の解像度情報４ｅ１を抽出し、変換手段である比較映像生成部４ｆへ渡す。比較映像生成部４ｆは抽出した解像度情報４ｅ１に基づいて、蓄積部４ｄにあらかじめ蓄積されている第２の時刻の映像情報に相当する過去の圧縮データ２ｂ１を、第１の時刻の映像情報である最新映像４ｂ１と同一の解像度となるように伸張する。例えば解像度情報４ｅ１が「Ｍｉｄｄｌｅ」の場合、比較映像生成部４ｆは、蓄積部４ｄに蓄積された過去の圧縮データ２ｂ１を、解像度が「Ｍｉｄｄｌｅ」となるように伸張して過去映像４ｆ１を生成する。

比較映像生成部４ｆで生成した過去映像４ｆ１は、映像比較部４ｃへ渡される。映像比較部４ｃは、過去映像４ｆ１と最新映像４ｂ１とをパターンマッチングにより比較して、差分映像情報である差分映像データ４ｃ１を生成する。図４は、差分映像データ４ｃ１を生成する様子を説明する図である。図４（ａ）は監視対象Ｏを撮影した過去映像４ｆ１である。もし監視対象Ｏに異常がなく、最新映像４ｂ１が過去映像４ｆ１と同じ映像であると仮定すれば、差分映像データ４ｃ１は図４（ｂ）に示すように何も出力されない。なお図４（ｂ）の点線は、映像に現われないことを示す。一方、最新映像４ｂ１において監視対象Ｏに異常が発生し、例えば図４（ｃ）に示すように監視対象Ｏが３つの部分Ｏ１、Ｏ２、Ｏ３に分かれて、Ｏ１およびＯ３のみ位置が変わってしまったと仮定する。この場合、図４（ｃ）に実線で示すように差分映像データ４ｃ１には位置が変わったＯ１およびＯ３の部分について変化の前後の映像が現われ、位置が変わらなかった点線で示すＯ２の部分は映像に表れない。

差分映像データ４ｃ１は映像差分解析部４ｇに渡されて差分映像データ４ｃ１のデータ量、すなわち映像差分が求められる。また映像差分解析部４ｇでは所定の設定情報と映像差分とに基づき、差分段階情報Ｌが求められる。

映像差分解析部４ｇの具体的な動作を示すフローチャートを図５に示す。映像差分解析部４ｇでは、まずステップＳＴ１で差分映像データ４ｃ１の２値化処理を行う。次に２値化した結果、差異のある部分の映像の合計面積ＳをステップＳＴ２で算出する。この面積Ｓが映像差分に相当する。さらに面積Ｓと映像データ量を段階的に定義した所定の設定情報とに基づき、映像差分がいずれの段階にあるかを示す差分段階情報Ｌを生成する。具体的には設定情報を定義するしきい値がｔ_１、ｔ_２、ｔ_３、ｔ_４の４つであるとし、これらがｔ_４＞ｔ_３＞ｔ_２＞ｔ_１であるとする。そして面積Ｓとこれらのしきい値ｔ_４ないしｔ_１とをステップＳＴ３ないしＳＴ６で順次比較し、大小関係に応じて１から５までの差分段階情報Ｌが決定される。Ｌの値が大きいほど、映像差分が大きいことを表す。最後にステップＳＴ７において差分映像データ４ｃ１に差分段階情報Ｌを付加して圧縮し、差分映像４ｇ１として検出手段である解析端末５へ配信する。

処理サーバ４から配信される差分映像４ｇ１は、複数の監視地点にある全ての解析端末５で受信される。また解析端末５は通信回線３を介して映像監視装置２からパケットデータ２ｃ２を受信する。図６は解析端末５を示すブロック図である。処理サーバ４から差分映像４ｇ１が配信されない場合は、解析端末５は受信したパケットデータ２ｃ２を配信制御部５ａで圧縮データ２ｂ１に変換する。圧縮データ２ｂ１は映像情報分割部５ｂで最新映像４ｂ１に伸張され、伸張された最新映像４ｂ１が表示情報５ｂ１として監視モニタ５ｄに渡されて、監視対象のライブ映像として表示される。

一方、処理サーバ４から差分映像４ｇ１が配信された場合は、差分映像４ｇ１は配信制御部５ａをそのまま通過し映像情報分割部５ｂで伸張されるが、この場合、伸張されたデータは差分映像データ４ｃ１と差分段階情報Ｌに分割され、差分段階情報Ｌは映像差分アラーム検出部５ｃに渡される。

映像差分アラーム検出部５ｃでは、差分段階情報Ｌと所定のしきい値Ｔとが比較され、ＬがＴを超えた場合に異常が発生したと判断してアラーム情報５ｃ１を発生する。例えばＴ＝３とすれば、差分段階情報Ｌ＝４またはＬ＝５の場合にアラーム情報５ｃ１を発生する。アラーム情報５ｃ１は監視モニタ５ｄにアラームが発生した旨を表示して監視員へアラーム発生を通知するとともに、映像情報分割部５ｂに渡されて、分割された差分映像データ４ｃ１を表示情報５ｂ１として監視モニタ５ｄに表示する。

以上のように、実施の形態１では、処理サーバ４において最新映像４ｂ１の解像度情報４ｅ１を抽出し、抽出した解像度情報４ｅ１に基づき過去の圧縮データ２ｂ１から最新映像４ｂ１と同一の解像度の過去映像４ｆ１を生成し、最新映像４ｂ１と過去映像４ｆ１とを比較する。したがって通信回線３の帯域が変動して監視対象の映像の解像度が時間的に変動するようなシステムにあっても、常に同一の解像度を有する映像同士を比較して差分映像を得ることができるので、精度の高い映像比較を実現できる。また、映像差分によるアラーム検出を行うことで映像監視を自動化し、監視員常駐などの監視に関わるシステムコストを抑制することができる。

なお、上記実施の形態１においては監視カメラ１と映像監視装置２をそれぞれ複数個ずつ備える場合について説明をしたが、これは必ずしも複数個が必要とは限らない。例えば、監視対象の撮影地点が１ヶ所のみの場合、監視カメラ１と映像監視装置２はそれぞれ１つだけでよい。また、解析端末５も複数個を備える場合について説明したが、これも必ずしも複数個が必要とは限らない。例えば監視を行う場所が１ヶ所のみであれば、解析端末５は１個だけでよい。

また、上記実施の形態１においては通信回線３の状態を映像送信制御部２ｃが検知し、使用可能帯域Ｂの時間的変動に応じて解像度を変化させるものとしたが、これは必ずしも必要ではない。例えば解析端末５から通信回線３を通じて映像監視装置２へ解像度を指示するものとしてもよい。すなわち映像送信制御部２ｃが解析端末５から送られる解像度に関する指示を受け取り、制御信号２ｃ１によって映像エンコーダ処理部２ｂが指示された解像度で映像データ２ａ１を圧縮してもよい。

また、上記実施の形態１においては第１の時刻の映像である最新映像４ｂ１と第２の時刻の映像である過去映像４ｆ１を比較するものとして説明したが、第１の時刻と第２の時刻の映像は必ずしも最新映像と過去映像である必要はない。例えば第１の時刻の映像は所定時間だけ過去の映像であってもよく、具体的には蓄積部４ｄに一旦蓄積された映像でもよい。また第２の時刻の映像は第１の時刻の映像より前の時刻における監視対象Ｏの映像であればよく、第１の時刻と第２の時刻の時間間隔に何ら制約はない。

また、上記実施の形態１においては映像監視装置２の映像エンコーダ処理部２ｂで圧縮するデータの解像度をＨｉ、Ｍｉｄｄｌｅ、またはＬｏｗの３段階として説明したが、これは必ずしも３段階である必要はない。例えば解像度はＮ段階（Ｎ：２以上の自然数）であってもよく、Ｎが多いほど通信回線３の帯域の変化に応じてきめ細やかな制御を行えるため、帯域の利用効率を向上することができる。同様に、上記実施の形態１においては映像差分解析部４ｇで差分段階情報Ｌを５段階としたが、これは必ずしも５段階である必要はなく、Ｍ段階（Ｍ：２以上の自然数）であればよい。段階数Ｍが多いほど異常の発生を正確に検出することができるので、誤りの少ないアラーム検出を実現することができる。

また、上記実施の形態１では、過去の圧縮データは蓄積部４ｄにあらかじめ蓄積されているものとして説明したが、これは一定時間間隔または不定期に更新されるものとしてもよい。例えば図示しない監視員から更新指示がなされるものとしてもよく、または最大解像度の画像を受信する毎に、常に更新する構成としてもよい。または一定時間間隔で更新する構成としてもよい。

また、上記実施の形態１においては映像差分解析部４ｇにおいて差分映像データ４ｃ１を２値化した後に差分段階情報Ｌを求める構成としたが、これは必ずしも必要ではない。例えば差分映像データ４ｃ１における色彩に注目して差分段階情報Ｌを求めてもよい。具体的には差分映像データ４ｃ１の色彩として白や黒が検出されれば煙が発生したと判断し、また赤や黄色などが検出されれば火災が発生したと判断しＬを最高レベルとしてもよい。これにより、様々な異常に対して臨機応変に対応できる高度なアラーム検出を実現することができる。

また、上記実施の形態１において解析端末５は映像監視装置２から通信回線３を介してパケットデータ２ｃ２を受信するものとしたが、パケットデータ２ｃ２は処理サーバ４を経由して解析端末５に配信されるものとしてもよい。パケットデータ２ｃ２を一旦処理サーバ４へ送ってから配信する場合、各解析端末５へ直接データを送る場合と比較して、通信回線３上のデータ量を減らし、回線の利用効率を向上することができる。

また、上記実施の形態１において処理サーバ４は全ての解析端末５へ差分映像４ｇ１を配信するものとしたが、必ずしも全ての解析端末５へ配信する必要はない。例えば各監視地点の監視員が解析端末５を通じて処理サーバ４へ配信要求を送り、処理サーバ４は配信要求があった解析端末５だけに差分映像４ｇ１を配信するものとしてもよい。この場合、全ての解析端末５に差分映像４ｇ１を配信する必要がないため、配信するデータ量を減らし、回線の利用効率を向上することができる。

また、上記実施の形態１においては解析端末５で差分段階情報Ｌと所定のしきい値Ｔとを比較してアラーム検出を行う構成としたが、必ずしも解析端末５でアラーム検出を行う必要はない。例えば監視場所が１ヶ所だけであれば、処理サーバ４に映像差分アラーム検出部５ｂに相当する構成を設けることで、処理サーバ４でアラーム検出を行うことができる。これにより差分映像４ｇ１を配信する必要がなくなるため、簡単な構成で同等のアラーム検出の効果を実現することができる。

また、上記実施の形態１では、最新映像４ｂ１の解像度と過去映像４ｆ１の解像度を一致させるものとしたが、これは必ずしも解像度である必要はない。例えば映像コンポーネントであってもよい。

映像コンポーネントを一致させる場合は、受信された圧縮データ２ｂ１の映像コンポーネント情報である輝度信号と色差信号を解像度抽出部４ｅが抽出し、これに基づき蓄積部４ｄにあらかじめ蓄積されている過去の圧縮データ２ｂ１を、最新映像４ｂ１と同一の輝度信号と色差信号となるように比較映像生成部４ｆが伸張する。これにより、映像コンポーネントが一致した映像同士を比較して差分映像データ４ｃ１を得ることができる。

実施の形態２．
実施の形態１では、最新映像４ｂ１の解像度と過去映像４ｆ１の解像度を一致させるものとしたが、これは必ずしも解像度である必要はない。例えば画質あってもよい。画質を一致させる場合であっても、解像度を一致させる場合と同様に受信された圧縮データ２ｂ１の画質を解像度抽出部４ｅが抽出し、これに基づき蓄積部４ｄにあらかじめ蓄積されている過去の圧縮データ２ｂ１を、最新映像４ｂ１と同一の画質となるように比較映像生成部４ｆが伸張する。これにより、画質が一致した映像同士を比較して差分映像データ４ｃ１を得ることができる。

画質を一致させる場合の一例として、例えば画像符号化方式としてＪＰＥＧ２０００を適用する場合、部分画質を一致させることができる。具体的にはＪＰＥＧ２０００ではＲＯＩ（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ）と呼ばれる技術により映像の特定領域（一部分）にのみ多くの符号量を割り当てることができるため、あらかじめ映像上の監視対象付近に符号量を多く割り当てておくことで、監視対象についての異常検出の精度を向上できる。図７は、この検出精度の向上を説明する図である。図７において、ある時点の監視対象Ｏの映像Ｐに対して、点線の四角で囲んだ部分Ｐ_ｏの符号量の割り当てを多くする。するとＰ_ｏでは高画質となるため僅かな変化であっても映像の変化として現われるので、監視対象Ｏの異常検出精度を向上することができる。このとき反対にＰ_ｏ以外の部分の映像は相対的に符号量が少なくなることから、例えば監視対象Ｏの背景を人Ｑが矢印のように単に通過したに過ぎない場合等、監視対象Ｏの異常ではない変化があったとしても、映像の変化として現われない。このため誤って異常である検出せずに済む。すなわち異常の誤検出を低減することができる。

また、上記実施の形態１または実施の形態２では、圧縮データ２ｂ１の映像パラメータとして解像度、画質または映像コンポーネントのいずれか一のみを一致させるものとしたが、これは必ずしも一の映像パラメータだけとは限らず、複数の映像パラメータを一致させるものとしてもよい。例えば解像度を一致させたうえ、さらに画質をも一致させることで、より高精度の映像比較を行うことができるので、アラーム検出の精度を向上することができる。

実施の形態３．
実施の形態１では監視カメラ１で撮影した映像を、通信回線３を介して処理サーバ４が受信・処理し、過去映像４ｆ１と最新映像４ｂ１の差分映像データ４ｃ１のみに基づき監視対象の異常を検出する構成とした。実施の形態３では監視対象に位置センサを取付け、位置情報を追加情報として用いる。すなわち、位置センサによる位置情報の変化から監視対象の動きを検出し、さらに位置センサの位置を映像上に表示することにより監視対象がどこへ移動したのかを容易に認識できるようにすることで、監視対象の位置の特定を容易にする。

図８は実施の形態３における映像監視システムの構成を示すブロック図であり、実施の形態１の図１に相当する。図８において監視対象は撮影地点毎にＫ個の位置センサ８１ないし８Ｋを有し、監視対象の重要なユニット等に取付けられている。位置センサ８１ないし８Ｋは具体的にはＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信装置であり、位置情報である緯度および経度を出力する。位置センサ８１ないし８Ｋの出力である位置情報は映像監視装置２に渡される。図９は実施の形態３における映像監視装置２の構成を示すブロック図であり、実施の形態１の図２に相当する。なお図２と同一の機能を有する部分は同一の記号を付し、説明を省略する。図９において、映像監視装置２に渡された位置情報は映像・位置エンコーダ処理部２ｇで映像Ａ／Ｄ処理部２ａから渡される映像データ２ａ１に重畳され、所定の符号化方式に従い圧縮される。圧縮データ２ｇ１は実施の形態１と同様に時間的に帯域が変動する通信回線３に適合するように映像送信制御部２ｃにおいてＩＰパケット化処理がなされ、入力された時間順に整列してパケットデータ２ｃ２として送信される。

パケットデータ２ｃ２は通信回線３を介して処理サーバ４で受信される。図１０は実施の形態３における処理サーバ４を示すブロック図であり、実施の形態１の図３に相当する。なお図３と同一の機能を有する部分は同一の記号を付し、説明を省略する。パケットデータ２ｃ２は実施の形態１と同様に映像受信制御部４ａで圧縮データ２ｇ１に変換される。圧縮データ２ｇ１は分離手段である映像・位置デコーダ処理部１０ａで伸張され、最新映像１０ａ１と最新位置情報１０ａ２に分離される。このうちの最新映像１０ａ１は映像比較部４ｃへ渡される一方、最新位置情報１０ａ２は第２の比較手段である位置比較部１０ｂへ渡される。

解像度抽出部４ｅは圧縮データ２ｇ１の解像度情報４ｅ１を抽出して変換分離手段である比較映像・位置生成部１０ｃへ渡す。比較映像・位置生成部１０ｃでは蓄積部４ｄにあらかじめ蓄積されている過去の圧縮データ２ｇ１を最新映像１０ａ１の解像度と同一の解像度となるように伸張し、さらに過去映像１０ｃ１と過去位置情報１０ｃ２に分離する。このうち過去位置情報１０ｃ２は位置比較部１０ｂへ渡される一方、過去映像１０ｃ１は過去位置情報１０ｃ２に対応するマーカが過去映像１０ｃ１にマッピングされた後、映像比較部４ｃへ渡される。

図１１は過去位置情報１０ｃ２に対応するマーカを過去映像１０ｃ１にマッピングする様子を説明する図である。図１１（ａ）は過去映像１０ｃ１であり、監視対象ＯはＫ＝２個の位置センサ８１および８２を備えているものとする。比較映像・位置生成部１０ｃにおいて過去映像１０ｃ１は図１１（ｂ）に示すようにメッシュ状に分割される。そして分割された過去映像１０ｃ１の各メッシュに対して、あらかじめ監視対象Ｏ周辺の地図等に基づき用意しておいた位置情報を関連付ける。すなわち各メッシュの緯度および経度が決定される。次に各メッシュの位置情報と位置センサ８１および８２の位置情報とを順次比較し、位置情報が一致するメッシュを検索する。そして位置情報の一致したメッシュが、位置センサ８１および８２が存在する部分であるとして、網掛けで示すマーカ１１１、１１２が過去映像１０ｃ１にマッピングされる。なお、上述のようにマーカ１１１および１１２は位置センサ８１および８２の位置情報に基づきマッピングされるため、位置センサ８１および８２自体が映像に写る必要はない。

映像比較部４ｃでは実施の形態１と同様に、同一解像度の過去映像１０ｃ１と最新映像１０ａ１とをパターンマッチングにより比較して差分映像データ４ｃ１を生成し、映像・位置差分解析部１０ｄへ渡す。映像比較部４ｃにおける比較においては、過去映像１０ｃ１にマッピングされたマーカ１１１および１１２は無視される。すなわち過去映像１０ｃ１のマーカはないものとして最新映像１０ａ１と比較される。

一方、位置比較部１０ｂは過去位置情報１０ｃ２と最新位置情報１０ａ２とを比較し、差分位置情報１ないしKを生成する。ここで差分位置情報１ないしKは、過去の位置センサ８１ないし８Ｋの位置に対して、最新の位置センサ８１ないし８Ｋの位置を示す情報に相当し、具体的には位置センサ８１ないし８Ｋのそれぞれが移動したベクトルに相当する。生成された差分位置情報１ないしKは差分位置データ１０ｂ１として映像・位置差分解析部１０ｄに渡される。

映像・位置差分解析部１０ｄでは、実施の形態１と同様に映像比較部４ｃから渡される差分映像データ４ｃ１のデータ量すなわち映像差分を求める。なお映像差分を求める際にも映像比較部４ｃにおける映像比較時と同様にマーカ１１１および１１２は無視され、差分映像データ４ｃ１のデータ量が映像差分として求められる。次に映像・位置差分解析部１０ｄでは、差分映像データ４ｃ１における最新の位置センサ８１ないし８Ｋに相当する位置のメッシュにマーカをマッピングする。このマッピングする様子を図１１（ｃ）に示す。図１１（ｃ）に示すように、過去位置情報１０ｃ２に対応するマーカ１１１および１１２に、矢印で示す差分位置データ１および２である２つのベクトル１１１ａおよび１１２ａをそれぞれ加える。そして、これらの２つのベクトルを加えた位置のメッシュが、最新の位置センサ８１および８２が存在する位置であるとして、マーカ１１３および１１４をマッピングする。

映像・位置差分解析部１０ｄでは、差分位置データ１０ｂ１に基づき位置差分を求める。位置差分は、差分位置情報１ないしKの絶対値の合計、すなわち位置センサ８１ないし８Ｋのそれぞれが移動した距離の総和Ｓ_ｐである。そして映像・位置差分解析部１０ｄでは、実施の形態１と同様に所定の設定情報と映像差分とに基づき差分段階情報Lを求めるとともに、位置差分Ｓ_ｐについても所定の設定情報２を用いて位置段階情報Ｌ_ｐを求める。

位置段階情報Ｌ_ｐを求める具体的な動作を示すフローチャートを図１２に示す。具体的には設定情報２を定義するしきい値が例えばｐ_１、ｐ_２、ｐ_３、ｐ_４の４つであるとし、これらがｐ_４＞ｐ_３＞ｐ_２＞ｐ_１であるとすれば、位置差分Ｓ_ｐとこれらのしきい値ｐ_１ないしｐ_４とをステップＳＴ８からＳＴ１１で順次比較し、大小関係に応じて１から５までの位置段階情報Ｌ_ｐが決定される。Ｌ_ｐの値が大きいほど、位置差分が大きいことを表す。そしてステップＳＴ１２において差分映像データ４ｃ１と差分段階情報Ｌに位置段階情報Ｌ_ｐを付加して圧縮し、差分映像１０ｄ１として全ての解析端末５へ配信する。

処理サーバ４から配信される差分映像１０ｄ１は、複数の監視地点にある解析端末５で受信される。図１３は実施の形態３の解析端末５を示すブロック図であり、実施の形態１の図６に相当する。なお図６と同一の機能を有する部分は同一の記号を付し、説明を省略する。処理サーバ４から差分映像１０ｄ１が配信されない場合は、解析端末５は受信したパケットデータ２ｃ２を配信制御部５ａで圧縮データ２ｇ１に変換する。圧縮データ２ｇ１は映像情報分割部５ｂで最新映像１０ａ１に伸張され、伸張された最新映像１０ａ１が表示情報５ｂ１として監視モニタ５ｄに渡されて、監視対象のライブ映像として表示される。一方、処理サーバ４から差分映像１０ｄ１が配信された場合は、差分映像１０ｄ１は配信制御部５ａをそのまま通過し映像情報分割部５ｂで伸張されるが、この場合、伸張されたデータは差分映像データ４ｃ１、差分段階情報Ｌおよび位置段階情報Ｌ_ｐに分割され、差分段階情報Ｌおよび位置段階情報Ｌ_ｐは映像・位置差分アラーム検出部１３ａに渡される。

映像・位置差分アラーム検出部１３ａでは、実施の形態１と同様に差分段階情報Ｌと所定のしきい値Ｔとが比較され、ＬがＴを超えた場合に異常が発生したと判断してアラーム情報１３ａ１を発生する。さらに実施の形態３では、映像・位置差分アラーム検出部１３ａでは位置段階情報Ｌ_ｐと所定のしきい値Ｔ_ｐとが比較され、ＬがＴを超えない場合であっても、Ｌ_ｐがＴ_ｐを超えた場合に異常が発生したと判断してアラーム情報１３ａ１を発生する。すなわち例えばＴ_ｐ＝３とすれば、Ｌ_ｐ＝４またはＬ_ｐ＝５の場合にアラーム情報１３ａ１を発生する。アラーム情報１３ａ１は監視モニタ５ｄにアラームが発生した旨を表示して監視員へアラーム発生を通知するとともに、映像情報分割部５ｂに渡されて、分割された差分映像データ４ｃ１を表示情報５ｂ１として監視モニタ５ｄに表示する。実施の形態３においては、差分映像データ４ｃ１には差分映像と位置センサ８１ないし８Ｋの位置に相当するマーカがあるため、監視員は位置センサが取付けられた監視対象の重要なユニットの位置を監視モニタ５ｄ上で容易に確認することができる。

このように実施の形態３では、監視対象が有する位置センサ８１ないし８Ｋによる位置情報を用いて、位置センサが移動した場合の位置情報の変化に基づき警告を発する構成としている。したがって映像の差分が少ない場合であっても、監視対象の位置変化が大きければ警告を発生するので、精度の高い映像比較および位置比較を実現できる。また、位置センサを監視対象の重要なユニットに取付けているので、たとえプラント等が倒壊等した場合であっても、重要なユニットがどこへ移動したのかを容易に認識でき、位置も特定できる。

なお実施の形態３では映像・位置差分アラーム検出部１３ａにおいて差分段階情報Ｌが所定のしきい値Ｔを超えた場合または位置段階情報Ｌ_ｐが所定のしきい値Ｔ_ｐを超えた場合のＯＲ条件でアラーム情報１３ａ１を発生するものとしたが、これらのＡＮＤ条件、すなわちＬとＬ_ｐのどちらもが、それぞれＴとＴ_ｐを超えた場合にアラーム情報１３ａ１が発生するものとしてもよい。

ところで上記説明ではこの発明に係る映像処理装置をプラント等の監視を行う映像監視システムへ適用した場合について説明したが、プラント等に限らず道路や河川を対象として事故や災害を監視するシステムへも適用できることは言うまでもない。また映像を監視するシステムに限らず映像を処理するシステムであれば適用できることは言うまでもない。

この発明の実施の形態１を示す映像監視システムの全体ブロック図である。この発明の実施の形態１に用いられる映像監視装置を示すブロック図である。この発明の実施の形態１に用いられる処理サーバを示すブロック図である。この発明の実施の形態１における差分映像データを生成する様子を説明する図である。この発明の実施の形態１における映像差分解析部で行われる処理を示すフローチャートである。この発明の実施の形態１に用いられる解析端末を示すブロック図である。この発明の実施の形態２における部分画質を一致させた場合の効果を説明する図である。この発明の実施の形態３を示す映像監視システムの全体ブロック図である。この発明の実施の形態３に用いられる映像監視装置を示すブロック図である。この発明の実施の形態３に用いられる処理サーバを示すブロック図である。この発明の実施の形態３における位置センサの位置にマーカをマッピングする様子を説明する図である。この発明の実施の形態３における映像差分解析部で行われる処理を示すフローチャートである。この発明の実施の形態３に用いられる解析端末を示すブロック図である。

符号の説明

１監視カメラ
２映像処理装置
３通信回線
４映像処理装置である処理サーバ
４ｃ第１の比較手段である映像比較部
４ｄ蓄積手段である蓄積部
４ｅ抽出手段である解像度抽出部
４ｆ変換手段である比較映像生成部
５検出手段である解析端末
８１ないし８Ｋ位置センサ
１０ａ分離手段である映像・位置デコーダ処理部
１０ｂ第２の比較手段である位置比較部
１０ｃ変換分離手段である比較映像・位置生成部

Claims

映像パラメータが時間的に変動する映像情報から第１の時刻の映像パラメータを抽出する抽出手段、第１の時刻より前の第２の時刻の映像情報を蓄積する蓄積手段、蓄積手段に蓄積された第２の時刻の映像情報を、抽出手段により抽出された第１の時刻の映像パラメータと一致する映像パラメータになるように変換する変換手段、第１の時刻の映像情報と変換手段により変換された第２の時刻の映像情報とを比較して差分映像情報を生成する第１の比較手段を備えることを特徴とする映像処理装置。
映像パラメータが経時的に変動し所定位置を表す位置情報が重畳された映像情報から第１の時刻の映像パラメータを抽出する抽出手段、第１の時刻より前の第２の時刻の映像情報を蓄積する蓄積手段、蓄積手段に蓄積された第２の時刻の映像情報を、抽出手段により抽出された第１の時刻の映像パラメータと一致する映像パラメータになるように変換し、映像情報に重畳された所定位置を表す位置情報を分離する変換分離手段、第１の時刻の映像情報と変換手段により変換された第２の時刻の映像情報とを比較して差分映像情報を生成する第１の比較手段、第１の時刻の映像情報から第１の時刻の位置情報を分離する分離手段、分離手段により分離された第１の時刻の位置情報と変換分離手段により分離された第２の時刻の位置情報とから差分位置情報を生成する第２の比較手段を備えることを特徴とする映像処理装置。
映像パラメータは、映像の解像度、画質または映像コンポーネントのいずれかであることを特徴とする、請求項１または請求項２に記載の映像処理装置。
請求項１に記載の映像処理装置と、差分映像情報に基づき監視対象の異常を検出する第１の検出手段とを備えることを特徴とする映像監視処理システム。
請求項２に記載の映像処理装置と、差分映像情報または差分位置情報に基づき監視対象の異常を検出する第２の検出手段とを備えることを特徴とする映像監視処理システム。