JP3138381B2

JP3138381B2 - 監視装置

Info

Publication number: JP3138381B2
Application number: JP06004691A
Authority: JP
Inventors: 正樹高橋; 龍之表; 敬二田中; 豊米谷; 富治吉田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-01-20
Filing date: 1994-01-20
Publication date: 2001-02-26
Anticipated expiration: 2016-02-26
Also published as: JPH07210784A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＩＴＶ（ｉｎｄｕｓｔ
ｒｉａｌｔｅｌｅｖｉｓｉｏｎ、産業用テレビジョ
ン）カメラや赤外線カメラなどの画像撮影手段を用い
て、監視領域内を撮影し、得られた画像信号から監視領
域内で発生した状態変化（配管が漏水を始めた、照明が
消えた等）の有無を検知し、状態変化有りと判断する
と、自動的にアラームを発生する等の処理を行う監視装
置に関する。

【０００２】

【従来の技術】例えば、火力発電所等の広範囲な配管設
備を監視員が監視する場合、監視員がモニターに表示さ
れた状態変化を見落とすことがありうるため、自動的に
状態変化を監視する監視装置がある。監視に際しては、
大きさ、輝度値が未知である状態変化を、その状態変化
の発生位置も含めて検出することが望まれる。従来のこ
のような監視装置には、画像撮影手段を用いて得られた
監視領域内の画像信号をデジタル処理し、さらに異なる
時刻に得られた２つの画像信号の差分を取り、輝度変化
を検知して監視領域内で状態変化が有ったと判断する
と、自動的にアラームを発生するものがある。従来の監
視装置を用いて、配管設備の漏洩、破損等の状態変化を
検知する際に、誤検知の原因になるものとして、監視対
象でないものの輝度変化、例えば、監視領域内にある樹
木の揺れのような環境要因による輝度変化や、モータの
振動のような動的機器廻りに発生する輝度変化等があ
る。これらは、動き、すなわち、状態変化を生じている
が、正常な状態変化であり、検知する必要はない。この
ような検知対象でないが状態変化の有るものを除外する
ために、特開平２−２０５９９８号公報に記載の技術で
は、これらを除外した領域を示すウインドウを手動で作
成して、監視装置に入力し、このウインドウ内に処理範
囲を限定している。また、検知対象でないが動きのある
もの（風で揺れている木の葉等）を除外するために、そ
れらが存在する領域をマスキング（マスク処理）するた
めのマスク画像を自動的に生成する技術が特開昭６２−
２２２３９４号公報に記載されている。これは、状態変
化のないときの撮影対象を撮影した参照画像と時々刻々
撮影される画像との差分を取って得られた複数の差分濃
淡値画像、もしくは差分後さらに二値化した複数の二値
画像を積分回路にて足し合わせる。検知対象物が状態変
化（動き）を示していないときにこれを行うと、木の葉
のように揺れているものは、差分を取ったときに０でな
い値を取る。さらにこの差分値を足しあわせることによ
って値が大きくなった部分は、木の葉のような部分と考
えられるので、所定のしきい値を用いて、足しあわせた
ものを二値化することにより、木の葉のような動的物体
の位置を判別できる。こうして、マスク画像を自動的に
生成し、それによりマスク処理を行うことでノイズ除去
を行っていた。上記の公知例はいずれも、監視対象以外
のものの状態変化による誤検知を防止する技術である
が、監視領域内に動かないものしか存在しない場合に、
同じものを撮影しても、輝度が撮影ごとになんらかの原
因により変化するとき（例えば、ノイズが生じたとき）
には、状態変化をしていないにもかかわらず、状態変化
をしていると誤検知してしまう。本発明の対象である配
管等では、このような、動かない配管等から生じる輝度
変化（ノイズ）を除去することが必要である。動きのな
い同一物が輝度変化をしても、同一物と認識する技術と
して、監視装置ではないが、文字認識の分野で、特開昭
６３−２１９０８５号公報に記載の技術がある。これ
は、半導体ウエハー上に記録されている番号を読み取る
装置に関するものである。これは、可視カメラによる文
字認識の際に濃淡画像中に含まれる輝度変化の除去法に
関して、濃淡画像の輝度値に着目し、輝度値操作により
撮影された輝度値の最大値を常に一定の輝度値に変換す
ることにより、輝度変化が無いように見せるものであ
る。また、監視装置の分野ではないが、状態変化をパタ
ン認識で検知する方法も考えられる。すなわち、予想さ
れる状態変化を図形パタン化しておき、パタン認識で検
知する方法である。その際に、上述の、同じものを撮影
しても、輝度が撮影ごとになんらかの原因により変化す
る場合（例えば、ノイズが生じた場合）に、誤検知しな
いことが必要である。パタン認識の際に、ノイズの影響
を除去する技術として、特開平２−１５６３８７号公報
に記載のものがある。これは、ＯＣＲ等、パターンマッ
チングに代表されるパタン認識による画像認識法に関し
て、入力画像を小領域に分割し、それぞれの小領域ごと
に空間座標についてフーリエ変換し、さらに、フーリエ
変換パワースペクトルを求める。標準パタンも空間座標
についてフーリエ変換をし、さらに、フーリエ変換パワ
ースペクトルを求める。入力パタンと標準パタンのフー
リエ変換パワースペクトル同士でテンプレートマッチン
グを行い、標準パタンの中から入力パタンに近いものを
候補パタンとして選びだす。そして、候補パタンで入力
パタンのフィルタリングを行う。フィルタリングとして
は、候補パタンに比例した値を入力パタンに乗じる操作
を行う。このため、候補パタンの値のうち、０である所
では、対応する入力パタンの値も０になる。これは、フ
ーリエ変換する前の入力画像について見ると、候補パタ
ンが持たないような空間周波数成分の背景ノイズを除去
することに相当する。本技術は、マスク画像を用いてい
ない。二値画像に含まれる雑音を除去する他の画像雑音
除去技術として、特開平４−２７０４７５号公報に記載
のものが有る。これは画像の濃淡値に着目し、ノイズで
ある画素を訂正するためには、当該画素の色をノイズの
周囲の画素の色にあわせれば良いと考え、当該画素の回
りの所定領域に所定数以下の黒い画素が有るときは当該
画素は白にする。当該画素の回りの所定領域に所定数以
上の黒い画素が有るときは当該画素は黒にする。本技術
も、マスク画像を用いていない。また、二値画像に含ま
れる雑音を除去する他の画像雑音除去技術として、特開
平４−２５９８０号公報に記載のものが有る。これは、
二値画像に対して、監視対象が線で表現されていて、そ
の線の太さよりも小さいノイズが有る場合に、画像全体
を細らせる処理を行うと、ノイズが消えるということを
利用している。その後に太らせ処理を行い、線を元の太
さに戻す。本技術も、マスク画像を用いていない。

【０００３】

【発明が解決しようとする課題】特開平２−２０５９９
８号公報に開示されている技術では、処理範囲（ウイン
ドウの内部）を手動で設定している。しかし、監視対象
ではないが状態変化を生じるものの位置が変化する場合
は、ウインドウを設定することは不可能であった。ま
た、ウインドウを設定するにしても、手動設定ゆえに可
動式監視装置（例えば、カメラ部分が首振りをするも
の）及び移動式監視装置（装置がロボットのようになっ
ていて、装置全体が移動するもの）のように、多くの複
雑な監視ポイントを有するものに対して、発生位置の分
からない状態変化を検出するには、全撮影画面内の多数
の予想発生位置にウインドウを設定せねばならないとい
う問題があった。特開昭６２−２２２３９４号公報に開
示されている技術では、足し合わされた画像に対し、あ
る値以上を持つ画素位置をマスク位置とするものであ
り、マスク画像作成中に状態変化を起こしたもの、すな
わち、動いたものを対象とするが、動かないものまたは
輝度変化の無いものでも、撮影時にノイズを生じる可能
性が十分考えられ、そのような動かないもの、輝度変化
の無いものに起因するノイズについては、考慮されてい
ないという問題があった。特開昭６３−２１９０８５号
公報に開示されている技術では、濃淡画像の輝度値のみ
に着目し、検出した輝度値のうち最大値を示すものは、
検出対象であり、ノイズの大きさは、最大値にならない
として、検出した輝度値の最大値を一定値にするように
数値変換を行い、ノイズの除去を行っている。本発明に
おいて除去すべきノイズのレベルは、検出すべき信号レ
ベルと同等かそれ以上となることがあるため、本公知例
のような方法では、ノイズ全てを消しさることは不可能
であるという問題があった。特開平２−１５６３８７号
公報に開示されている技術では、候補パタンにない抽出
物はノイズと判断され、除去されてしまうため、本発明
において検出すべき画像は候補パタンとして登録がされ
ていないと、除去されてしまうという問題があった。ま
た、候補パタンとして登録を行うことは、監視対象が多
数に昇る場合は、現実的でない。特開平４−２７０４７
５号公報に開示されている技術では、輝度値のみに着目
し、処理をしているために、ノイズが生じている領域が
ある程度広い領域に連続して存在している場合は、全て
のノイズを消し去れないという問題があった。特開平４
−２５９８０号公報に開示されている技術では、抽出す
べき対象物より小さなノイズは除去できるが、抽出すべ
き対象物よりも大きなノイズを除去することは不可能で
あり、本発明は、抽出すべき対象物よりも大きなノイズ
も対象とするため、本発明に係るノイズ除去には適応で
きないという問題があった。本発明の目的は、動かない
ものを撮影した場合に動かないものが存在する領域で生
じるノイズ除去のために、ノイズを生じうる領域をマス
キングするためのマスク画像を自動的に生成できる監視
装置を提供することである。

【０００４】

【課題を解決するための手段】本発明は、上述のような
問題点を解決するためになされたものであり、監視領域
内を撮影して撮影画像を得る画像撮影手段と、当該撮影
画像の時間的変化を調べて、当該監視領域内に状態変化
が生じたかどうかを検出する画像処理装置とを有する監
視装置において、上記画像処理手段は、監視領域内の同
一場所で時間を変えて、状態変化のないものについて撮
影した２つの上記撮影画像を表すデータの差分である差
分データを求める差分処理手段と、予め定められた回数
分だけ時間を変えて得られた上記差分データを加算し
て、加算値が予め定められた値以上になった領域に基づ
いて、当該領域をマスキングするためのマスク画像を生
成するマスキング生成手段と、上記マスク画像を用いて
上記撮影画像のうちノイズが発生する領域をマスキング
し、マスキングされない領域において状態変化が生じた
かどうかを検出する状態変化検出手段とを有することと
したものである。また、上記監視領域のうち、輝度が空
間的に変化していない領域で時間を変えて撮影した２つ
の上記撮影画像を表すデータの差分である差分データに
発生するノイズの大きさに基づいて、上記二値化する際
のしきい値を決定することとしたものである。また、上
記差分処理手段は、状態変化を検出する際に、監視領域
内の同一場所で時間を変えて撮影した２つの上記撮影画
像を表すデータの差分である差分データを求めて、上記
二値化手段は、上記差分データを予め定められたしきい
値で二値化し、上記状態変化検出手段は、上記しきい値
を超えた領域で状態変化が生じたとし、上記マスク画像
作成のために差分データを二値化する際に使用するしき
い値は、状態変化を検出するために差分データを二値化
する際に使用するしきい値以下であることとしたもので
ある。また、監視領域内を撮影して撮影画像を得る画像
撮影手段と、当該撮影画像の時間的変化を調べて、当該
監視領域内に状態変化が生じたかどうかを検出する画像
処理装置とを有する監視装置において、上記画像処理装
置は、状態変化のない撮影対象について上記撮影画像の
濃淡を表すデータを空間的に微分して、微分値が予め定
められた値以上になった領域に基づいて、当該領域をマ
スキングするためのマスク画像を生成する微分手段と、
上記マスク画像を用いて上記撮影画像のうちノイズが発
生する領域をマスキングし、マスキングされない領域を
対象に状態変化が生じたかどうかを検出する状態変化検
出手段とを有することとしたものである。また、上記マ
スク画像は、上記撮影対象に状態変化が生じていない時
に、当該マスク画像の更新のために、新たに作成される
こととしたものである。また、上記画像撮影手段は、撮
影対象とする監視領域を変えて撮影を行い、上記監視領
域を監視のために撮影するたびに、上記マスク画像を作
成し、当該作成されたマスク画像を用いて、状態変化を
検出することとしたものである。

【０００５】

【作用】本発明によれば、入力された濃淡画像の差分画
像を加算することにより、ノイズ発生を起こした画素位
置を全て網羅したマスク画像を自動的に作成できる。こ
のため、静止している物体の輪郭部などの輝度変化の激
しい部分に発生するノイズをマスク処理できる。監視点
検時には、撮影した画像にマスク画像を重ね合わせるこ
とでノイズの除去を行い、状態の変化のみを抽出するこ
とができる。また、上記状態変化が認められたときには
アラームを発生する一連の作業を計算機により自動で行
うことにより、多くの監視ポイントにも対応可能な誤動
作の少ない自動監視装置が提供できる。また、上記差分
データを二値化するためのしきい値を、上記監視領域の
うち、マスキングすべきでない、輝度が空間的に変化し
ていない領域で発生するノイズの大きさに基づいて決定
する。これにより、大きなノイズの発生しない、空間的
に輝度変化の少ない領域の監視ができる。また、上記マ
スク画像作成のために差分データを二値化する際に使用
するしきい値は、状態変化を検出するために差分データ
を二値化する際に使用するしきい値以下とすることによ
り、消去したいと考えるレベルのノイズを消去できる。
すなわち、上記マスク画像作成のために差分データを二
値化する際に使用するしきい値により、非マスク領域で
は、このしきい値以上のノイズがないことが保証され
る。そして、状態変化を検出するために差分データを二
値化する際に使用するしきい値により、このしきい値以
下のノイズが消去される。従って、大きなノイズも小さ
なノイズも消去できる。また、微分手段を用いることに
より、差分処理と加算処理を行う場合に比べて、処理時
間が少なくてすむ。そのため、監視に要する時間の短縮
が図れる。また、上記マスク画像は、撮影対象に状態変
化が生じていない時に、マスク画像の更新のために、新
たに作成することにより、照明の劣化や、原子力発電所
の格納炉内での機器の劣化に起因して、正常と判断され
る範囲が変化した場合にも確実に対応することができ
る。また、上記画像撮影手段は、撮影対象とする監視領
域を変えて撮影を行い、上記監視領域を監視のために撮
影するたびに、上記マスク画像を作成することにより、
可動式カメラのように、移動しながら監視をしている場
合、カメラの位置精度があまりよくなくて、移動先でマ
スク画像を作る必要が有る場合にも対応することができ
る。

【０００６】

【実施例】本発明は、監視点検を目的とした画像撮影手
段を用いて画像の差分処理を行なった時に発生するノイ
ズをマスク処理することにより除去するためのマスク画
像の作成法に係わる。本発明を採用することにより、全
自動による状態変化の監視が可能となる。以下、本発明
の一実施例を図面を用いて説明する。第１の実施例を図
１、２、６、７、９、１０、１１、１２、１３、１４に
より説明する。本実施例は、監視ポイントを移動しなが
ら監視をする場合を想定している。すなわち、各監視ポ
イントに移動後、最初にマスク画像を作り、次にそのマ
スク画像を用いてそのポイントで状態変化の監視を所定
時間行った後に次の監視ポイントに移動する。図１は、
本発明に係る監視装置の構成、およびマスク作成後の監
視をしているときのデータの流れを示す。本装置は、監
視領域を撮影する為のＣＣＤ素子等を利用したＩＴＶカ
メラや赤外線カメラなどの撮影手段１０と、画像処理装
置１００と、アラームの出力を行う出力手段９とを有す
る。画像処理装置１００は、上記撮影手段１０から出力
される画像信号をＡ／Ｄ変換するＡ／Ｄ変換器１と、異
なる時刻に上記Ａ／Ｄ変換された２つの画像を記憶する
濃淡画像メモリ（１）２１、（２）２２と、上記濃淡画
像メモリ（１）２１、（２）２２の内容を比較して差分
画像を求める差分処理手段３と、得られた差分画像を記
憶する上記濃淡画像メモリ（３）２３と、上記差分画像
から二値化画像を求める二値化処理手段４と、上記二値
化画像を記憶しておく二値画像メモリ４１と、上記二値
化画像を予め定めた回数の論理和演算をして状態変化を
もれなく検出するための論理和処理手段７と、マスク画
像を記憶するマスク画像メモリ５１と、マスク作成後の
監視時に求めた上記二値化画像に対し上記マスク画像を
用いてマスク処理を行うマスク処理手段５２と、求めた
画像の縮小拡大処理を行う縮小拡大化処理手段６と、上
記監視画像に存在する画素数を求め、上記監視画像から
監視ポイント毎に予め定めた画素数以上が検出されたと
きにアラームを発生する状態変化判定手段８とを有す
る。二値画像メモリ４１は、３つの部分にわかれてお
り、それぞれを、二値画像メモリ（１）４１、二値画像
メモリ（２）４１、二値画像メモリ（３）４１と以下で
は呼ぶ。各々の使い方は後述する。差分処理手段３と、
２値化処理手段４と、マスク処理手段５２と、縮小拡大
化処理手段６と、論理和処理手段７と、状態変化判定手
段８の機能は、ＣＰＵが実行する。なお、本実施例にお
いて、マスク画像を作成する段階の処理と状態変化を監
視する段階の処理について、上記撮影手段１０で撮影
し、出力された画像信号をＡ／Ｄ変換し、異なる時刻に
上記Ａ／Ｄ変換された２つの画像を記憶し、上記濃淡画
像メモリ（１）２１、（２）２２の内容を比較して差分
画像を求め、得られた差分画像を記憶し、上記差分画像
から二値化画像を求め、上記二値化画像を記憶し、上記
二値化画像を予め定めた回数の論理和演算をするところ
までは、同一の手段を用いて同一の順序で処理がなされ
る。次に、動作について述べる。監視領域の画像はＣＣ
Ｄ素子等を利用したＩＴＶカメラや、赤外線カメラ等の
監視点検を目的とした光学系の撮影手段１０から入力さ
れ、撮影手段１０の受像面において輝度に応じたアナロ
グの電気信号に変換される。撮影手段１０からのアナロ
グ信号はケーブルにより接続された画像処理装置１００
内のＡ／Ｄ変換器１によってデジタル信号に変換され
る。Ａ／Ｄ変換器１によってデジタル化された信号は、
０から１２７階調あるいは０から２５５階調等の輝度値
が受像面の二次元位置に従って整理されたものであり、
画像を何枚取り込んでも同じ位置の輝度値同士の処理が
できる。本発明は、この輝度値を画像処理装置１００内
のＣＰＵを用いて演算処理し、監視点検に不要なノイズ
を除去するものである。撮影手段１０を経て画像処理装
置１００に取り込まれデジタル化された映像信号は、濃
淡画像メモリ（１）２１に記憶される。この時輝度値
は、差分処理時に負となる値が普通の数値演算のように
負となる（例えば、０−１＝ＦＦＦＦではなく、０−１
＝−１となる）ような階調幅（ＣＰＵが８ｂｉｔの場合
には、１２８階調であることが多い）を選ぶ必要がある
が、絶対値表示を行ったときに普通の数値演算のように
数値が戻る（絶対値（ＦＦＦＦ）＝１となる）場合に
は、そのかぎりではない。同様にして次の撮影時刻に撮
影され、濃淡画像メモリ（２）２２に記憶された内容
と、濃淡画像メモリ（１）２１の内容とは、差分処理手
段３により比較され差分画像となる。ここで、濃淡画像
メモリ（１）２１に記憶される画像の取り込み時期と、
濃淡画像メモリ（２）２２に記憶される画像の取り込み
時期とは、使用する装置における最短の時間とするのが
良いが、正常時の画像と監視時の画像といったように時
間間隔が開いていても構わない。差分画像は、二値化処
理手段４により予め定められたしきい値により二値化さ
れる。このしきい値に関しては、後に説明する。二値化
された画像は、一旦、二値画像メモリ４１に記憶され、
同様な流れで求まった画像間で論理和処理手段７により
足し合わされ監視画像となる。この論理和処理は、監視
対象に水滴の落下など、その変化を捕らえられるかどう
かが、画像を撮影するタイミングによって大きく左右さ
れる場合を考慮し数回以上行うのが望ましい。この監視
画像に対し、マスク画像メモリ５１内に予め作成されて
いるマスク画像を用いたマスク処理手段５２によりノイ
ズ部分にマスクがなされる。このマスク画像に関して
は、後に説明する。マスク処理された画像に対しては後
述する縮小拡大化処理手段６により、マスク処理手段５
２で除去できなかった１画素単位のノイズを除去するこ
ともできる。マスク処理後の画像は、状態変化の判定手
段８により存在する画素数を調べ、予め定めた画素数以
上の画素数が検出できた場合には、出力手段９によりア
ラームを発生する。この全体の流れの中でマスク処理
は、Ａ／Ｄ変換後の入力画像に対して行っても構わない
し、また差分処理後の画像に行っても構わないし、また
縮小拡大化処理後の画像に行っても構わないし、また論
理和処理後の画像に行っても構わない。また、縮小拡大
化処理は、二値化処理後の画像に行っても構わないし、
論理和処理後の画像に行っても構わない。以上、画像処
理装置内のＣＰＵ及びプログラムを用いて行われる処理
を、図６、７に示すフローチャートに従って説明する。
図６及び図７は監視時のフローチャートを示している。
まず、画像処理装置内にある二値画像のメモリ内容を全
てクリアし（ステップ(1)）監視点検を行う位置の濃淡
画像を撮影手段１０、及び画像処理装置１００内のＡ／
Ｄコンバータ１を介して入力し（ステップ(2)）、入力
した濃淡画像を参照画像とし濃淡画像メモリ２１に格納
する（ステップ(3)）。参照画像の例を図９に示す。図
９のＡは監視対象である。同様にして、次の画像を入力
し（ステップ(4)）、入力した濃淡画像を現画像として
濃淡画像メモリ２２に格納する（ステップ(5)）。現画
像の例を図１０に示す。図１０のｃは、検出すべき、状
態変化部分の画素を示している。この濃淡画像メモリ２
１及び濃淡画像メモリ２２の内容である参照画像と現画
像に差分処理を施し（ステップ(6)）、差分処理内容で
ある差分画像を濃淡画像メモリ２３に格納する（ステッ
プ(7)）。差分画像の例を図１１に示す。図１１におい
て、Ｃは空間的に輝度変化の小さいあるいは空間的に輝
度変化の無い部分に発生するノイズを、ｂは物体輪郭部
などの空間的に輝度変化の激しい部分に発生するノイズ
を、Ｄは検出すべき、状態変化部分の画素を示してい
る。ここで、差分処理内容がマイナス表示を含む整数表
示となる可能性がある場合には、絶対値を取って自然数
表示にしておく必要がある。この濃淡画像メモリ２３の
内容を後述するあるしきい値により二値化処理し（ステ
ップ(8)）、二値化処理内容である二値化画像を二値画
像メモリ（１）４１に格納する（ステップ(9)）。次に
二値画像メモリ（１）の内容と二値画像メモリ（２）の
内容を論理和（ＯＲ処理）によって足し合わせ（ステッ
プ(10)）、ＯＲ処理内容を二値画像メモリ（３）に格納
する（ステップ(11)）。この処理は、第１回目の画像デ
ータを処理する時には、最初に二値画像メモリをクリア
していることから意味を無さない処理であるが、状態変
化をより多く検出する方法として、第２回目以降の画像
データを処理するときに状態変化をより多く検出するた
めに必要であり、プログラムの簡易化から第１回目にも
行うのが望ましい。以上のステップ(2)からステップ(1
1)をＮ回繰り返して行うために、ステップ(12)及びステ
ップ(13)がある。ここで、ステップ(2)からステップ(1
1)をＮ回繰り返す場合には、状態変化をより多く検出す
るＯＲ処理を行うために、ＯＲ処理内容である二値画像
メモリ（３）の内容を、二値画像メモリ（２）に複写す
る（ステップ(14)）。この処理は、複写でなく移動でも
構わない。このステップ(2)からステップ(11)をＮ回繰
り返して得られた画像である二値画像メモリ（３）の内
容をマスク画像として、マスク画像メモリ５１内のマス
ク画像データベースに格納する（ステップ(141)）。マ
スク画像の例を図１２に示す。図１２に示す点の集まり
Ｅがノイズの大きい部分であり、Ｅがマスク画像であ
る。以上の処理により作成したマスク画像により、マス
ク処理を行う。次に、ステップ(15)からステップ(25)に
おいて、作成した監視点検内容の二値画像に対しノイズ
除去処理及び、状態変化検出処理を行う。まず、マスク
処理を行うために、監視点検を行う画像である二値画像
メモリ（３）の内容を二値画像メモリ（１）に複写する
（ステップ(15)）。この処理は、いわゆる複写コマンド
でなく、移動コマンドでも構わない。そして、マスク画
像メモリ５１にあるマスク画像データベースの内容を二
値画像メモリ（３）に複写し（ステップ(16)）、マスク
画像である二値画像メモリ（３）の内容にＮＯＴ処理を
施し（ステップ(17)）、ＮＯＴ処理内容を二値画像メモ
リ（２）に格納する（ステップ(18)）。ここで、マスク
処理として、監視点検を行う画像である二値画像メモリ
（１）の内容とマスク画像である二値画像メモリ（２）
の内容とにＡＮＤ処理を施し（ステップ(19)）、ＡＮＤ
処理内容を二値画像メモリ（３）に格納する（ステップ
(20)）。マスク処理後の画像の例を図１３に示す。この
ＡＮＤ処理内容である二値画像メモリ（３）の内容に、
１画素単位のノイズ除去を行うための、縮小拡大化処理
として、４連結のノイズ処理を行い（ステップ(21)）、
ノイズ処理内容を二値画像メモリ（３）に格納する（ス
テップ(22)）。４連結ノイズ処理とは、注目する画素の
上下左右のとなりの画素の色に注目する画素の色を合わ
せる処理をいう。ここでは、縮小拡大化処理として４連
結ノイズ処理を挙げたが、他の１画素単位のノイズを除
去する方法を用いても構わない。この４連結ノイズ処理
を行った二値画像メモリ（３）の内容に関して画素数の
検出を行い（ステップ(23)）、１画素以上の画素が検出
された場合には（ステップ(24)）、状態変化が検出され
たものとして画像表示などのアラームを発生する（ステ
ップ(25)）。縮小拡大化処理を施し、アラームを発生し
た画像の例を図１４に示す。Ｆは警告のために表示され
る文字である。ここで、監視対象や、監視条件などによ
り、状態変化検出判定の画素数は、数画素以上としても
差し支えない。以上のフローにおいて、メモリ間の複写
や移動が良く行われているが、メモリが充分有る場合に
は、必ずしも複写あるいは移動は、行う必要は無く、そ
れらのメモリを使うこととしても良い。図２に除去すべ
きノイズの例を示す。図２において、配管や水道などａ
の輪郭部である輝度変化の激しい場所には、状態変化が
なくても同一画素位置の輝度値が時間とともに変わる場
合がある。このノイズの発生範囲Ｂを自動的にマスク範
囲とし、マスク処理を行うことでノイズ除去を行う。ま
た、位置や輝度に無関係に突発的に発生するノイズｃは
１画素単位の小さなものなので、縮小拡大化処理により
除去できるが、本発明とは直接関係は無い。この縮小拡
大化処理には、４連結あるいは８連結の収縮処理、膨張
処理や、ノイズ処理などいろいろなものがあるが、どの
方法を用いても良い。また、監視対象や目的によって
は、１画素にこだわらず、数画素単位以下の塊はノイズ
として面積抽出処理にてその塊の画素数を調査、判定し
た後、除去しても構わない。次に第２の実施例につい
て、図３、４、５、８により説明する。本実施例は、固
定された監視ポイントで監視を行う場合を想定し、マス
ク画像は、１日１回程度作成するものとする。以下で
は、マスク画像の作成についてのみ説明する。図３にマ
スク画像の作成に係る部分のみについて監視装置のブロ
ック図を示す。図３において、正常時の監視領域の画像
はＩＴＶカメラなどのＣＣＤ素子を利用した撮影手段１
０から入力され、撮影手段１０からのアナログ信号はＡ
／Ｄ変換器１によってデジタル信号に変換される。Ａ／
Ｄ変換器１によってデジタル化された信号は、濃淡画像
メモリ２１に記憶される。同様にして濃淡画像メモリ２
２に記憶された内容と、濃淡画像メモリ２１の内容と
は、差分処理手段３により比較され差分画像となる。差
分画像は、二値化処理手段４により予め定められたしき
い値により二値化される。このしきい値に関しては先の
しきい値と同じ値とするが、これについては、後で説明
する。この二値化された画像は、一旦、二値画像メモリ
４１に記憶され、同様な流れで求まった画像間で論理和
処理手段７により予め定められた回数分足し合わされ、
最終的にマスク画像メモリ５１に記憶される。以上、画
像処理装置１００内のＣＰＵ及びプログラムを用いて行
われるマスク画像の作成処理を、図８に示すフローチャ
ートに従って説明する。まず、画像処理装置内にある二
値画像のメモリ内容を全てクリアし（ステップ(81)）監
視点検を行う位置の濃淡画像を撮影手段１０、及び画像
処理装置１００内のＡ／Ｄコンバータ１を介して入力す
る（ステップ(82)）。入力した濃淡画像を参照画像と
し、濃淡画像メモリ２１に格納する（ステップ(83)）。
同様にして、現画像を入力し（ステップ(84)）、入力し
た濃淡画像を現画像とし、濃淡画像メモリ２２に格納す
る（ステップ(85)）。この濃淡画像メモリ２１及び濃淡
画像メモリ２２の内容である参照画像と現画像に差分処
理を施し（ステップ(86)）、差分処理内容である差分画
像を濃淡画像メモリ２３に格納する（ステップ(87)）。
ここで、差分処理内容がマイナス表示を含む整数表示と
なる可能性がある場合には、絶対値を取って、自然数表
示にしておく必要がある。この濃淡画像メモリ２３の内
容を、後述するあるしきい値により二値化処理を施し
（ステップ(88)）、二値化処理内容である二値化画像を
二値画像メモリ（１）に格納する（ステップ(89)）。次
に二値画像メモリ（１）の内容と二値画像メモリ（２）
の内容を論理和（ＯＲ処理）によって足し合わせ（ステ
ップ(810)）、ＯＲ処理内容を二値画像メモリ（３）に
格納する（ステップ(811)）。前述したように、この処
理は、第１回目の画像データを処理する時には、最初に
二値画像メモリをクリアしていることから意味を無さな
い処理であるが、マスクすべき範囲をもれなく確実に検
出する方法として、第２回目以降の画像データを処理す
るときに必要であり、プログラムの簡易化から第１回目
にも行うのが望ましい。以上のステップ(82)からステッ
プ(811)をＮ回繰り返して行うために、ステップ(812)及
びステップ(813)を行う。ここで、ステップ(82)からス
テップ(811)をＮ回繰り返して、マスクすべき範囲をも
れなく確実に検出するＯＲ処理を行うために、ＯＲ処理
内容である二値画像メモリ（３）の内容を、二値画像メ
モリ（２）に複写する（ステップ(814)）。この処理
は、複写でなく移動でも構わない。このステップ(82)か
らステップ(811)をＮ回繰り返して得られた画像である
二値画像メモリ（３）の内容をマスク画像として、マス
ク画像データベースに格納する（ステップ(815)）。以
上の処理により作成したマスク画像により、マスク処理
を行う。ここで、論理和処理手段７による処理回数Ｎに
ついて説明する。本来ならノイズの発生位置である輝度
値の変化の激しい場所は同一箇所であるので、１回の作
成ループですむはずであるが、実際にはノイズの発生は
確実性がないため、論理和処理を数回行うことにより安
定したマスク画像を作成する。論理和処理回数５１１ａ
とマスク画像における画素数５１１ｂの概念を図４に示
す。この図から分かるように論理和回数が少ないうち
は、全画素数が一気に増えるが、そのうちある値に漸近
してくる。この回数をＮ回とし、予め実験により求めて
おく必要がある。次に、しきい値の決定法について説明
する。しきい値は、物体輪郭部などの空間的に輝度変化
の激しい部分に発生するノイズと、それ以外の空間的に
輝度変化の小さいあるいは空間的に輝度変化の無い部分
に発生するノイズを区別できる値とする。図５におい
て、横軸５１２ａはある走査線上にある画素の画素位
置、縦軸５１２ｂはその画素位置に対する差分画像の輝
度値を示し、５１３ａは空間的に輝度変化の小さいある
いは空間的に輝度変化の無い部分に発生するノイズを、
５１３ｂは物体輪郭部などの空間的に輝度変化の激しい
部分に発生するノイズを、５１３ｃは検出すべき、状態
変化部分の輝度値をそれぞれ示している。また５１４
は、しきい値を決定すべき範囲であるが、この範囲の中
で、輝度変化の小さいあるいは輝度変化の無い部分に発
生するノイズ５１３ａの影響を受けにくく、しかも状態
変化部分の輝度値５１３ｃが小さな値を取っても検出で
きるように、しきい値は５１５の位置とすることが望ま
しい。また、マスク画像を決定する際のしきい値と、監
視を行う際のしきい値を同じ値とすることで、マスク画
像を決定する際には、しきい値５１５以上のノイズを除
去対象とし、監視を行う際にはしきい値５１５以下のノ
イズを除去対象にできる。この意味から、マスク画像を
決定する際のしきい値をより小さく、監視を行う際のし
きい値をより大きく設定しても構わないが、マスク範囲
を必要以上に広げたり、小さな状態変化を見逃す原因と
なるのであまり好ましくない。このマスク画像の作成時
期としては、最初の点検時に作成し以後このマスク画像
を使用する方法、ある時期のマスク画像を使用する方
法、監視点検直後に作成し次々に更新する方法、また監
視直前に作成する方法などが考えられる。この内、監視
直前に作成する方法は状態変化位置もマスクしてしまう
可能性があるが、画像処理による位置合わせが不要とな
る。また、最初の点検時に作成し以後このマスク画像を
使用する方法は、撮影手段の経年変化などの劣化による
誤作動が考えられるので、正常と判断された監視点検直
後に作成し、次々に更新する方法が最も良い方法であ
る。このマスク画像作成法で、可動式カメラや移動式監
視装置などの様にカメラが動く場合には、装置の位置決
め精度が重要となるので、画像処理により装置の位置決
めを行うか、画像変換による画像同士の位置合わせを行
う。また、マスク画像を作成する方法として、Ａ／Ｄ変
換された濃淡画像を微分処理することにより輝度変化の
激しい部分を見つけだす方法もある。すなわち、上記画
像処理装置は、状態変化のない監視対象について上記撮
影画像の濃淡を表すデータを空間的に微分して、微分値
が予め定められた値以上になった領域に基づいて、当該
領域をマスキングするためのマスク画像を生成する微分
手段と、上記マスク画像を用いて上記撮影画像のうちノ
イズが発生する領域をマスキングし、マスキングされな
い領域を対象に状態変化が生じたかどうかを検出する状
態変化検出手段とを有することとしてもよい。

【０００７】

【発明の効果】以上のように、本発明によれば、監視領
域内における発生位置や大きさ、輝度値の未知な状態変
化を画像間の差分処理によって検出することが可能とな
る。また、マスク作成から監視点検、アラーム発生まで
が全自動で行え、高速かつ誤作動の少ない信頼性の高い
監視が可能となる。また、マスク画像の内容を、正常と
判断された前回監視時の直後に作成し更新することによ
り、監視装置の劣化など経時変化にも適応可能となる。
また、同様にマスク画像を、正常と判断された前回監視
時の直後に作成、更新することにより、水たまりなどの
動かない物体でも時間的に輝度変化の激しい部分があれ
ば、その部分に輝度差が発生するので、差分処理により
その状態変化の検出が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック図である。

【図２】除去すべきノイズの例を示す説明図である。

【図３】監視装置のマスク画像の作成に係る部分を示す
ブロック図である。

【図４】論理和処理回数の説明図である。

【図５】しきい値の決定法の説明図である。

【図６】状態変化を認識する処理のフローチャートであ
る。

【図７】状態変化を認識する処理のフローチャートで図
６の続きである。

【図８】マスク画像作成のフローチャートである。

【図９】参照画像の例を示す説明図である。

【図１０】現画像の例を示す説明図である。

【図１１】差分画像の例を示す説明図である。

【図１２】マスク画像の例を示す説明図である。

【図１３】マスク処理後の画像の例を示す説明図であ
る。

【図１４】アラームを発生した画像の例を示す説明図で
ある。

【符号の説明】

１…Ａ／Ｄ変換器、２…濃淡画像メモリ、１０…画像撮
影手段、２１…濃淡画像メモリ（１）、２２…濃淡画像
メモリ（２）、３…差分処理手段、４…二値化処理手
段、５１…マスク画像メモリ、５２…マスク処理手段、
１００…画像処理装置、５１１ａ…論理和処理回数、５
１１ｂ…マスク画像における画素、５１２ａ…ある走査
線上の画素位置、５１２ｂ…画素位置に対する差分画像
の輝度値、５１３ａ…輝度変化の小さい部分に発生する
ノイズ、５１３ｂ…輝度変化の激しい部分に発生するノ
イズ、５１３ｃ…状態変化部分の輝度値、５１４…しき
い値を決定すべき範囲、５１５…しきい値の位置、６…
縮小拡大化処理手段、７…論理和処理手段、７１…論理
和メモリ、８…状態変化判定手段、９…出力手段、Ａ…
配管や水道など、Ｂ…ノイズの発生範囲、Ｃ…突発的に
発生するノイズ、Ｄ…水滴などの状態変化、Ｅ…マスク
画像、Ｆ…アラーム。

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＨ０４Ｎ 7/18 Ｇ０６Ｆ 15/70 ３３０Ｅ (72)発明者米谷豊茨城県日立市幸町三丁目１番１号株式会社日立製作所日立工場内 (72)発明者吉田富治茨城県日立市幸町三丁目１番１号株式会社日立製作所日立工場内 (56)参考文献特開昭62−222394（ＪＰ，Ａ) 特開平２−236789（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08B 25/00 510 G06T 1/00 G06T 5/00 G06T 7/00 G08B 13/194 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】監視領域内を撮影して撮影画像を得る画像
撮影手段と、当該撮影画像の時間的変化を調べて、当該
監視領域内に状態変化が生じたかどうかを検出する画像
処理装置とを有する監視装置において、上記画像処理手段は、監視領域内の同一領域を撮影対象として、当該撮影対象
に状態変化のないときに、異なる時間について撮影した
２つの上記撮影画像を表すデータの差分である差分デー
タを求める差分処理手段と、予め定められた回数分だけ時間を変えて得られた上記差
分データを加算して、加算値が予め定められた値以上に
なった領域に基づいて、当該領域をマスキングするため
のマスク画像を生成するマスキング生成手段と、上記マスク画像を用いて上記撮影画像のうちノイズが発
生する領域をマスキングし、マスキングされない領域に
おいて状態変化が生じたかどうかを検出する状態変化検
出手段と、上記差分データを予め定めたしきい値で二値化する二値
化手段とを有し、上記マスキング生成手段は、上記二値化されたデータを
加算するものであり、上記二値化する際のしきい値は、時間を変えて撮影した
２つの上記撮影画像を表すデータの差分である差分デー
タにおける上記監視領域のうち、輝度が空間的に変化し
ている輪郭部分とは異なる領域で検出されるノイズの大
きさに基づいて決定することを特徴とする監視装置。
【請求項２】請求項１記載の監視装置において、上記差分処理手段は、状態変化を検出する際に、監視領
域内の同一場所で時間を変えて撮影した２つの上記撮影
画像を表すデータの差分である差分データを求めて、上記二値化手段は、上記差分データを予め定められたし
きい値で二値化し、上記状態変化検出手段は、上記しきい値を超えた領域で
状態変化が生じたとし、上記マスク画像作成のために差分データを二値化する際
に使用するしきい値は、状態変化を検出するために差分
データを二値化する際に使用するしきい値以下であるこ
とを特徴とする監視装置。
【請求項３】請求項１または２記載の監視装置におい
て、上記マスキング生成手段は、加算結果が予め定められた
値以上になった画素の数が飽和するまで加算することを
特徴とする監視装置。
【請求項４】請求項１、２または３記載の監視装置にお
いて、上記マスク画像は、上記撮影対象に状態変化が生じてい
ない時に、当該マスク画像の更新のために、新たに作成
されることを特徴とする監視装置。
【請求項５】監視領域内を撮影して撮影画像を得る画像
撮影手段と、当該撮影画像の時間的変化を調べて、当該
監視領域内に状態変化が生じたかどうかを検出する画像
処理装置とを有する監視装置において、上記画像処理手段は、監視領域内の同一領域を撮影対象として、異なる時間に
ついて撮影した２つの上記撮影画像を表すデータの差分
である差分データを求める差分処理手段と、予め定められた回数分だけ時間を変えて得られた上記差
分データを加算して、加算値が予め定められた値以上に
なった領域に基づいて、当該領域をマスキングするため
のマスク画像を生成するマスキング生成手段と、上記マスク画像を用いて上記撮影画像のうちノイズが発
生する領域をマスキングし、マスキングされない領域に
おいて状態変化が生じたかどうかを検出する状態変化検
出手段と、上記差分データを予め定めたしきい値で二値化する二値
化手段とを有し、上記マスキング生成手段は、上記二値化されたデータを
加算するものであり、上記二値化する際のしきい値は、時間を変えて撮影した
２つの上記撮影画像を表すデータの差分である差分デー
タにおける上記監視領域のうち、輝度が空間的に変化し
ている輪郭部分とは異なる領域で検出されるノイズの大
きさに基づいて決定し、上記監視領域を監視のために撮影を開始するたびに上記
マスク画像を作成し、当該作成されたマスク画像を用い
て状態変化を検出することを特徴とする監視装置。