JPH03205999A - 監視装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、プラントの状態を工業用テレビカメラ（ＩＴ
Ｖカメラ）等を用いて監視する装置に関する。

〔従来の技術〕

従来、ＩＴＶカメラと画像処理手段と正常時の画像を予
め記憶する記憶手段を用いてプラントの異常を監視する
ものとして，特開昭３　−　４３９６号公報がある。

また、移動クレーンや運搬荷物等を監視するために、移
動物体もしくは相対的に移動する物体に付したマークを
ターゲットにして移動物体を追跡し、移動物体の運動パ
ターンや大きさを識別判定するものとして特開昭６１−
　３０１９２号公報がある。

また、異常検出時、スピーカーによる警報音，ランプの
点滅等により注意を喚起するものとして、特開昭６２−
８６９９０号公報がある。

〔発明が解決しようとする課題〕

上記従来技術において、一台のＩＴＶカメラで複数個所
を監視する場合等に生ずるカメラの位置決め誤差の影響
や監視対象プラント又はカメラの振動等により生ずるカ
メラと監視対象物との相対位置のずれに対して配慮がさ
れておらず、監視時の監視画像領域と正常時の監視画像
領域（あらかしめ設定した監視対象領域）のずれにより
、正しく異常の判定ができないという問題があった。

また、監視を重点的に行なわなければならない監視対象
とそうでない監視対象とを区別して監視していないため
、監視が効率的に行なわれていない。

また、異常が検出された時、単に注意を喚起するアラー
ムや簡単なメッセージのみの表示だけであり、初心者で
も適切な対策をとれるような工夫はなされていない。

また、監視装置の各処理ユニット毎に二重の安全対策が
とられておらず，監視装置全体としての故障対策が不十
分であった。

本発明の第↓の目的は、カメラの位置決め誤差等により
発生する入力時の監視画像領域と正常時の監視画像領域
のずれを吸収し、正しく異常の判定を行うことである。

第２の目的は、監視を重心的に行なう必要のある対象は
頻繁に監視し、そうでない対象については監視の頻度を
少なくして、効率の良い監視を行うようにすることであ
る。

第３の目的は、異常検出時、その異常に対して、適切な
対象をすぐに取れるような警報内容を提供することであ
る。

第４の目的は、監視装置の一部が故障した時でも、正常
な監視を継続できるように、二重の監視機能を有する監
視装置を提供することである。

〔課題を解決するための手段〕

上記第１の目的を達成するため異常監視装置の構或を、
監視対象からの画像を取り込む画像入力手段と、前記画
像入力手段の位置制御を行なう画像入力手段制御部と、
正常時の基準画像と、前記基準画像と監視時の入力画像
とのマッチングのために監視対象機器に取り付けられた
識別用マークの画像をマッチング用基準パターンとして
記憶しておく手段と、前記基準画像のマーク位置と前記
入力画像のマーク位置とを比較して両画像間のずれ量を
求める手段と、前記求められたずれ量に基づいて前記人
力画像を補正する手段とを有する構成としたものである
。

上記第２の目的を達成するため異常監視装置の構戊を、
監視対象の画像を取り込む画像入力手段と、監視対象機
器の運転状態、重要度及び危険度のうち少なくとも１つ
に応じて監視画像を選択する画像入力制御手段と、基準
画像と、前記画像入力手段により入力された入力画像と
を比較し異常を検出する異常検出手段と，前記異常検出
手段の出力から前記異常の内容を判定する異常内容判定
手段と、前記判定された異常を報知する異常報知手段と
を有する構成としたものである。

上記第３の目的を達或するため異常監視装置の構戒を、
監視対象の画像を取り込む画像入力手段と，監視対象機
器の運転状態，重要度及び危険度のうち少なくとも１つ
に応じて監視画像を選択する画像入力制御手段と，基準
画像と、前記画像入力手段により入力された入力画像と
を比較し、異常検出する異常検出手段と、前記異常検出
手段の出力から前記異常の内容を判定する異常内容判定
手段と、前記判定された異常に対する処理内容を表示す
ること番こより異常を報知する手段とを有する構或とし
たものである。

上記第４の目的を達威するため異常監視装置の構威を、
監視対象の画像を取り込む画像入力手段と、監視対象機
器の運転状態，重要度及び危険度のうち少なくとも１つ
に応じて監視画像を選択する画像入力制御手段と、基準
画像と、前記画像入力手段により入力された入力画像と
を比較し異常を検出する異常検出手段と，前記異常検出
手段の出力から前記異常の内容を判定する異常内容判定
手段と、前記判定された異常を報知する異常報知手段と
を有し、更に少なくとも前記画像入力手段、前記画像入
力手段制御部、前記異常検出手段及び前記異常報知手段
はそれぞれ同じ機能を果たす予備手段を有する構戊とし
たものである。

〔作用〕

本発明では、 （１）監視対象物あるいは、監視対象物の近くに位置ず
れ補正用の特殊なマーク（◇，Δ等）を付し、そのマー
クを用いて、入力時の監視画像領域と正常時の監視画像
領域のずれ量を検出し、ずれ量に相当する量だけ入力画
像をアフィン変換（移動，拡大，縮小，回転）するか、
あるいは、ずれ量をカメラ制御装置にフィードバックし
、カメラを移動することにより入力時の監視画像領域と
正常時の監視画像領域を一致させ，正しく異常の有無を
判定できるようにした。

監視対象物附近に、検出しやすい特殊なマークを付すこ
とにより、正常時の画像と、入力時の画像で対応する位
置を、検出用マークを基準パターンとしたパターンマッ
チングやマークの重心の算出等の画像処理手段により簡
単にかつ精度良く求めることができることができるので
、正常時の監視画像領域と入力時の監視画像領域のずれ
の補正を高精度で行なうことができる。

（２）また、機器運転状態監視部により該監視対象機器
が停止中であるか運転中であるか起動中であるか等運転
状態を判定し、停止している場合には異常監視の項目を
限定することにより不要な処理を省略するようにした。

また、ＩＴＶカメラで映し出される各シーン毎に、監視
の重要度を示す危険度指数を付し，その値の大きいもの
程、高い頻度で監視するようにした。

（３）異常と判定された場合、監視者に異常に対する対
策方法を詳しいメッセージで知らせるようにした。これ
により、初心者でも素早く異常時の対応ができるように
なった。

（４）画像入力手段と画像入力制御手段と画像処理部と
画像入力手段制御部と表示装置等の監視装置を２重系に
して監視装置の故障検知部により故障を検知して片方が
機能しなくなった場合、故障した監視装置に対応するラ
ンプを点燈または点滅させることにより運転員に報知す
るとともに、他方の正常な装置に切り替えるようにした
。

これにより、監視が中断なく行なわれるので信頼性が大
幅に向上した。

〔実施例〕

以下、本発明の一実施例を図面を用いて説明する。第１
図は本発明の一実施例を示す異常監視装置のブロック図
である。本実施例ではＸ個の監視領域を撮影して画像信
号を出力するｎ台のＩＴＶカメラ，監視カメラ等からな
る画像入力手段１０と、画像入力手段１ｏにより得られ
たｎ個の画像の中から処理対象を選択する画像入力制御
手段１００により、該画像を画像処理部２００に入力し
画像処理部２００で該画像の処理を行う。画像処理部２
００では、各監視シーン毎に、最初のサンプリング開始
時に取り込んだ画像を基準画像とし、その後、同一監視
シーンでｍ回サンプリングして監視画像を取り込み、基
準画像と取り込み画像との位置ずれを補正した後、基準
画像とサンプリング毎の画像の各画素についての明暗の
差分を累積するが、監視は機器の停止中と運転中の状態
等ではおのずと監視項目が異なる。そこで、機器運転状
態監視部３００により該機器が停止中であるか運転中で
あるか起動中であるか全開状態であるか全開状態である
か中間開度であるか等運転状態を判断して、各運転状態
に応じた信号を画像入力制御手段１００に送り、そこで
異常診断の実施要否を決定して監視項目や監視領域を限
定することにより無駄な監視処理を除去して監視の効率
を向上させる。画像処理部２００では正常時の基準画像
と監視時の入力画像とのずれ量を補正し、両画像を比較
して異常の検出を行う。異常内容判定部５００では、画
像処理部２００で求めた差分画像の累積結果から異常内
容の判定を行い、異常有りと判定されたとき画像処理部
２００に記憶されている該画像情報を異常情報格納部６
００に格納するとともに、異常情報を異常報知部７００
で監視員に表示ランプやモニタの表示装置８００に表示
して報知する。運転員は、中央監視盤の表示装置８００
に異常が報知されたことを異常報知部７００により知り
、中央監視盤にある該異常画像の選択ボタンを押して画
像入力制御手段１００に送信する。画像入力制御手段１
００は該画像を選択し、異常機器を撮影する画像入力手
段１０に切り替え、表示装置８００に異常の発生したシ
ーンを表示するので、運転員は異常機器を詳しく観察す
ることができる。これら画像入力手段１０と画像入力制
御手段１００と画像処理部２００と画像入力手段制御部
１５０と表示装置８００が正常に機能するか否かを監視
装置の故障検知部９００により監視して，故障が発生し
た場合、監視装置故障報知部９５０は、中央監視盤の故
障した監視装置に対応する表示燈を青色から赤色点燈に
変えるか、または、赤色燈をブリンクさせるとともにア
ラームを鳴らすことにより、運転員に知らせる。

なお、表示装置の故障に関しては、２重系に配置してあ
るもう一方の正常に機能する装置に切替器１０００によ
り切替える。表示装置以外の予備機能の切替えについて
は第１２図に示す。

第２図は、画像入力制御表示手段工○Ｏに設けられ，画
像入力制御手段↓ＯＯでｎ個の監視領域から監視画像を
選択する為に用いられるテーブル１１８である。画像入
力手段１０はＸ個の監視領域をｎ台のＩＴＶカメラで撮
影して画像信号を出力するが、画像処理部２００では、
同時に２つ以上のシーンの画像は処理できず、処理する
画像は同一タイミングでは１個である。そこで、処理対
象となる監視画像１個を選択するため、本発明では各シ
ーンにシーン番号１２０を付け、監視画像をシーケンシ
ャルに選択する場合はシーン番号↓２０の１番から１＠
番２番，３番と決定する。ランダムに選択する場合は、
シーン番号↓２ｏについての乱数発生により取り込むシ
ーンを決定する。

危険度指数の場合はシーン番号１２０に対応する危険度
指数１．４　０を設定して指数が大きい順に優先して監
視する。危険度指数１４０は機器運転状態監視部３００
からの信号、及び外部からの運転員により変更可能にし
ておく。

また、監視対象の異常発生の危険度が高い監視領域や、
めったに異常は発生しないが，発生すると非常に危険性
が高い監視領域は他の監視領域よりも監視の頻度を高く
しておく必要がある。これは、例えば、第３図に示すよ
うな危険度指数１４１を用いたテーブル１１９により実
現できる。各シーンに対応するシーン番号毎に危険度指
数の初期値である危険度指数初期値１６０を与えておく
。

シーン番号１２０の１から順番に６までチェックすると
して、チェックは『危険度指数現在値１７０≧閾値（例
えば３０）Ｊかを判定し、危険度指数現在値↓７０が閾
値（例えば３０）以上の場合、そのシーン番号の画像を
選択するとともに現在値を危険度指数初期値に置き換え
る。一方、該現在値が閾値よりも小さい場合には、該画
像を選択しないで『現在値＋１０』の値で危険度指数現
在値１７０を更新し、その後次のシーン番号に進みその
シーンの危険度指数現在値１７０をチェックする。なお
、危険度指数初期値及び上記閾値は、予め運転員が指定
しておく。第３図の例では、３番目のシーンは毎回、４
番目と５番目のシーンは１回おきに、２番目のシーンは
２回おきに、１番目のシーンは３回おきに選択される。

以上述べたようにシーンが選択されると、画像入力制御
手段１００は該テーブル１１９の選択されたシーンに対
応するカメラ番号１２１を求め，該カメラ番号１２１に
対応する画像入力手段制御部１５０に対し、あらかじめ
指定された位置（角度）にカメラを動かすよう指示する
とともに、複数のカメラの中から該カメラ（該画像入力
手段↓Ｏ）を選択し、該カメラからの画像を画像処理部
２００へ転送する。危険度指数初期値をマイナスの値に
設定すれば、危険度指数現在値も初期値と同じ値になる
ようにし、現在値がマイナスの場合は監視画像として取
り込ま−ないようにする。

従って、監視対象機器が停止状態の場合は、この危険度
指数初期値をマイナスに設定すればよい。

危険度指数初期値１６０は、機器運転状態監視部３００
からの信号、又はマニュアルで設定される。

第４図は、画像処理部２００の内部を示すブロック図で
ある。画像入力制御手段１００では選択された１個の該
画像に対して、蒸気漏れのように画像全体を監視する必
要がある異常と，水や油のように領域を限定して監視し
ても良い異常がある。

領域を限定して監視する場合はどの領域に限定するか指
定する必要がある。そこで、領域限定部２１０で作業者
は表示装置に写っている監視対象画像をみながら、マウ
スで指示する。マウスで指定する領域は１個でも複数個
でも良い。領域限定部２１０で限定する領域が複数の場
合は監視に優先順位をつける。優先順位は監視領域の異
常発生内容を予想して決定する。例えば、蒸気漏れの発
生が予想される監視物体は領域上部を最優先して監視す
るものとし、水や油の漏れの発生が予想される監視物体
は領域下部を最優先して監視するものとする。領域限定
部２１０で監視領域が決定されると異常検出部２２０で
画像メモリ２４０にある基準画像と画像入力手段１０に
より取り込まれた監視対象画像の対応する画素間で明暗
の差分をとり、その結果を累積して異常部を検出する。

異常検出部２２０では基準画像や監視対象画像を一時的
に画像格納メモリ２４０に格納して処理する。

異常内容判定部５００で異常有りと判定された場合、該
画像及び異常部分の画積等の異常内容を異常情報格納部
６００に格納して保存する。異常情報格納部６００は光
デスクや光磁気ディスクやビデオ等でも良く，画像処理
部２００と接続して格納できる装置ならば何でもよい。

領域限定に関する技術は特願平１−２５８０７　（１９
８９，２／６日出願）号に記載されている。

第５図は、領域限定部２１０で限定された監視領域に対
して、異常の有無を検出する異常検出部２２０の手順図
である。異常検出部２２０は、ステップ２２１で監視開
始時にサンプリングする一回目の取り込み画像を基準画
像ｋとして、ステップ２２２で同一シーンを一定時間監
視中に監視対象画像ｉをサンプリングして取り込み、ス
テップ２２３で基準画像ｋと監視対象画像ｉとの対応す
る画素間で明暗の差を求め、ステップ２２４で差分画像
の面積を計算して、ステップ２２５で差分画像の面積が
所定値（ノイズと異常が区別できる値ならば何でも良い
。）以上か否か判定し、面積が所定値以上の場合、即ち
、異常が発生した場合、ステップ２２６で面積が所定値
以上になったのは今行なっている監視サイクルのうち最
初のものか否か判定し，最初であるならば、ステップ２
２７で該差分画像を画像メモリ２４０にあるメモリ２に
格納する。メモリ２には初めて異常と判定された差分画
像が記憶される。ステップ２２６の判定が監視中のうち
最初で無い場合には、ステップ２２８で該差分画像を画
像メモリ２４０にあるメモリ３に格納する。

異常と判定されている開、メモリ３の画像データは次々
と更新され、異常と判定されている画像の最終画像が残
ることになる。

ステップ２２５で累積しない差分画像の面積が所定値以
下ならばステップ２２９に進む。ステップ２２９で差分
を累積して、ステップ２３０で累積した画像を画像メモ
リ２４０にあるメモリ１に格納する。メモリ１には、差
分を累積した結果が記憶される。ステップ２３１で所定
回数累積したか否か判定し、まだ累積を続行する場合、
ステンプ２２２へ戻り、続行しなければ処理を終了する
。

ステップ２２７及びステップ２２８で画像メモリ２４０
にあるメモリ２及びメモリ３に格納するのは、蒸気か水
や油が移動物体が等異常内容の判定に用いるためである
。ステップ２２↓の画像を基準画像にしてステップ２２
２で取り込んだ監視対象画像についてステップ２２３か
らステップ２３１で明暗の差分を所定時間累積し、その
結果から異常部分の検出ができる。

異常の判定は、第７図で詳細を説明するが、差分の累積
画像を２値化し、明るさの変化している部分の面積を加
算してそのトータルドット数が所定値を越えているかど
うかで判定する。

第６図は、機器運転状態監視部３００における監視対象
機器であるポンプの運転状態情報を検知する場合のブロ
ック図である。ボンブ３０１の運転状態は、起動停止制
御装置３０２の制御情報がプラント制御装置３０３を通
してＰＳ−２３２Ｃのプラント制御用計算機３０４に入
力される。

制御情報にはポンプの運転状態が停止中か、起動中か、
運転中であるか、また、全開状態か、中間開度状態か、
全閑状態かが含まれている。

機器運転状態監視部３００は制御情報からポンプの運転
状態を判断して、それに対応したデータを画像入力制御
手段１００に送信する。

第７図は、異常内容判定部５００で異常の有無と異常内
容を判定する手順図である。ステップ５０１で画像メモ
リ１に格納されている異常部分の累積画像の面積を計算
し、ステップ５０２で該面積が所定値以下ならばステッ
プ５０３で異常無しと判定する。所定値は蒸気の場合１
０００画素で水や油の場合３０画素などと予想される異
常の種類により決める。ステップ５０２で該面積が所定
値以上と判定された場合、ステップ５０４で面積が一定
報囲内か否か判定し一定範囲内の場合、ステップ５０５
で水や油のように比較的小さい漏れがあると判定する。

ステップ５０４で面積が一定範囲外と判定した場合、ス
テップ５０６においてステップ２２７で格納した画像メ
モリ２にある監視時間中の最初に異常と検出された差分
画像に関して、該画像のＸ方向投影分布及びｙ方向投影
分布及び形状係数を計算する。投影分布とはＸ，ｙ方向
に於いて、明るさ又は所定レベル以上の明るさのドット
数を累積加算したものである。

形状係数とは、面積と周囲の長さで円形度を表わした係
数であり、円のときに１となる。ステップ５０７におい
てもステップ２２８で格納した画像メモリ３にある監視
時間中の最後に異常と検出された差分画像に関して、該
画像のＸ方向投影分布及びｙ方向投影分布及び形状係数
を計算する。

ステップ５０８においてステップ５０６とステップ５０
７で計算した各Ｘ方向投影分布の幅の差を計算し、差が
所定値以下か否か判定する。さらに、ステップ５０９に
おいて各ｙ方向投影分布の幅の差を計算して、差が所定
値以下か否が判定する。

ステップ５１０で画像メモリ２の形状係数と画像メモリ
３の形状係数を計算する。ステップ５０８で計算したＸ
方向投影分布の差が所定値以上の場合は最初の異常部分
の幅と最後の異常部分の輻の差が大きい場合であり，形
が一定せず変化してぃる異常物体と考えられるので、ス
テップ５１１で蒸気等の漏れがあるものとする。同様に
、ステップ５０９で計算したｙ方向投影分布の差が所定
値以上の場合は最初の異常部分の幅と最後の異常部分の
差が大きい場合であり、ステップ５１１で蒸気等の漏れ
があるものとする。ステップ５０８で計算したＸ方向投
影分布の差とステップ５０９において計算したｙ方向投
影分布の幅の差がともに小さい場合、ステップ５１０で
画像メモリ２と画像メモリ３の形状係数を計算して一方
でも形状係数が円に類似していれば、ステップ５１１で
蒸気等の漏洩が発生しているものとする。ステップ５１
０で両方の形状係数が円に類似していなければステップ
５↓２で人間等の移動物体があるものとする。

異常内容判定部５００で異常有りと判定された場合、異
常情報格納部６００にある異常情報を用いて異常情報部
７００により監視員に判り易く報知する。第８図及び第
９図及び第１０図及び第１１図は異常内容やその対策を
監視員に報知して迅速に異常時の対応がとれるようにし
た例である。

第８図は、中央制御室にある中央監視盤に表示する例を
示した図である。どの現場機器に異常が発生したか分か
るようにカメラのシールに対応した表示燈７０１を設け
、現場機器に異常が発生したら直ちに該表示燈を点燈さ
せるとともに、異常情報格納部６００に格納されている
異常画面や異常内容をモニタ等の表示装置７０２に表示
する。

監視員は、表示を見て自動監視を中断したい場合、画面
選択を行うボタン７０３を押して異常画面表示に切替え
、異常画像を解全する。もし、表示を自動監視にしたい
場合、切替えボタン７０４を押して再開する。また、画
像入力手段１０であるカメラや画像入力制御手段１００
や画像処理部２００や表示装置８００や画像入力手段制
御部１５０が故障か正常かを報知する表示燈７０７を中
央監視盤に設置してこれらの装置が正常な場合に装置に
対応した青ランプ７０８を、異常な場合に赤ランプ７０
９を点燈させて運転員に判り易く報知する。

さらに、カメラはどのカメラが故障であるか該番号７０
６を表示することにより運転員に一目瞭然にする。

第９図は、異常と報知された場合、監視員が異常機器を
どのように点検すればよいかパトロール順路を表示装置
にガイダンスした例である。水漏れが発生した場合の順
路は、給水ポンプ７１０から点検を開始し，給水ブース
タポンプ７１１，補給水ボンプ７ｌ２，軸冷水圧力調整
装置７１３，水位調整弁７１４，低圧給水加熱器７工５
，主蒸気管止弁７１６，高圧タービンバイパス弁７１８
，気水分離タンク７１９，軸冷水ヘッドタンク７２０，
バーナ７２１，補給水タンク７２２の順に点検すれば良
いことを示している。

第↓Ｏ図は、機器異常の内容により運転員がとるべき対
応操作ガイダンスの例である。弁のまわりに水漏れが発
生した場合には、簡単な略図とともにＩｒＡ弁まわりに
水漏れが発生した模様です。

ＴＶモニタにより状況確識のうえ、保修課に連絡して下
さい。運転継続が必要な場合は，Ａ弁バイパス弁を開操
作して下さいｊ　７３０のガイダンスを表示装置に表示
する， 第１ｌ図は、モニタに拡大表示した例を示した図である
。異常発生時に、中央制御室のモニタに該限定領域７４
０を拡大表示７４１するとともに、発生機器名をモニタ
に文字スーパー７４２で表示する。

これらのほかに、異常が発生した機器の名称や異常内容
を音声により自動放送しても良い。このとき異常検出部
２２０で求められた面積により異常の度合いを判定して
、その度合いに応じて自動放送の内容を変化させても良
く、小さい面積のとき『微小漏洩Ｊ、面積が徐々に大き
くなっていく場合ｒ漏洩増加』、大きい値のとき『漏洩
大Ａ等と放送する。また、蒸気の漏れと判定した場合に
はシューと、水や油の漏れと判定した場合にはポタポタ
等の擬音を中央制御室に発して運転員や監視員が即座に
異常内容を認識できるようにしても良い。さらに、閾値
（α）と実測値（Ａ）の差により異常メッセージや音声
を変化させても良い。

例えば、ａ　＞　１　．　２α　のときには異常とし、
０．８α≦Ａ≦１．２αのときには当該画像を表示し、
運転員に異常の有無を確認してください等と報知し、ａ
　＞　０　．　８α　のときには何も表示しないように
しても良い。なお、上記音声は音声合成ＬＳＩを用いる
ことにより実現できる。さらには、異常検出部２２０で
求められた面積を表示装置に折線グラフや棒グラフ等の
統計グラフで表示しても良い。他に、イスを振動させた
り、臭いを発生させたりしても良く、監視員の五感に訴
える方法であれば何でも良い。

一方、上記監視装置が故障することもある。第１２図は
、監視装置の故障検知部９００の内部を示すブロック図
である。画像入方装置故障検知部９１０は画像入力手段
１ｏからの信号が全く無い場合、画像入力手段ｌ○が故
障したものとして、監視装置故障報知部９５０に該装置
部が故障した信号を送り、切替器１００１に切替えを指
示する。

切替器１００１は、２重に有している正常なもう一方の
画像入力手段１１に切替える。画像制御装置故障検知部
９２０は、画像入方制御手段１００からの画像が所定時
間経過後も全く変更されないときに画像入力制御手段１
００が故障したとして、監視装置故障報知部９５０に故
障信号を送り、切替器１００２に切替えを指示する。切
替器１００２は、２重に有している正常なもう一方の画
像人力制御手段１０１に切替える。ここで、所定時間は
ｌ個所を監視するのに要する時間よりも長い値とする。

画像処理装置故障検知部９３０は、画像メモリ２４０に
予め格納してあるテストパターンを用いて、一定時間毎
（但し、あるシーンから次のシーンに移る間）に画像処
理部２００に一連の処理を実行させ、画像処理部２００
の処理結果が所期の計算値でなくなった場合故障したと
して、監視装置故障報知部９５０に故障信号を送り、切
替部１００３に切替えを指示する。切替器１００３は、
２重に有している正常なもう一方の画像処理部２０１に
切替える。表示装置故障検知部９７０は、表示装置８０
０に何も表示されなくなった場合故障として、切替器１
０００に切替えを指示する。

切替器１０００は、２重に有している正常なもう一方の
表示装置８０１に切替える。画像入力手段制御部故障検
知部９６０は、異常画像をａ察するため運転員が選択ボ
タンを押しても初期の画像に変更されなくなった場合故
障として、監視装置故障報知部９５０に故障信号を送り
、切替器１００５に切替えを指示する。切替器１００５
は、２重に有している正常なもう一方の画像入力手段制
御部１５１に切替える。また、画像入力手段制御部故障
検知部９６０は、画像メモリ２４０に予め格納されてい
るテンプレートパターン（マッチング用の基準パターン
）と画像入力手段１０の画像情報の中の類似パターンと
から位置ずれ量を検出して、所定値以上のずれがあれば
画像入力手段制御部１５０のカメラの位置決め部等が故
障したものとして、監視装置故障報知部９５０に故障信
号を送り、切替器１００５に切替えを指示する。切替器
１００５は、２重に有している正常なもう一方の画像入
力手段制御部１５１に切替える。

第１３図は，画像入力手段制御部故障検知部９６０に関
して，カメラの位置決め部の故障検知を行う手順図であ
る。ステップ９１１で監視対象の画像を取り込み、取り
込んだ該画像をステップ９１２で２値化する。該２値化
した画像を画像メモリ２４０に予め格納してあるテンプ
レートパターンとステップ９１３でテンプレートパター
ンマッチングを行い、一致度を求める。ステップ９１４
で一致度が閾値以上か否か判定して、閾値より小さく類
似パターンが無い場合には、ステップ９１５で故障情報
を監視装置故障報知部９５０に該装置の位置決め部が故
障した信号を出刀し、閾値以上で類似パターンが見つか
った場合には、ステップ９１６でずれ量を算出し、ステ
ップ９１７でずれ量が画像入力手段１０の補償範囲以外
であれば、ステップ９１５で監視装置故障報知部９５０
に該装置の位置決め部が故障したことを出刀する。

次に、基準画像と入力画像との位置ずれ補正について本
発明の特徴を説明する。

第１４図は本発明の一構成例を示す図である。

監視対象である配線１．１’　，１″、のフランジ部２
，２′やバルブ部３から油４や水５や蒸気６が出ている
状態をＩＴＶカメラ等の画像入力手段ＩＯ，↓Ｏ′で撮
像し、その画像を画像入力制御手段１００を通して画像
処理部２００（第１図）に入力する。

１３，１３’　　１３“は配管１，ｌ’１′等に付され
たマーク、１５０，１５０’　はカメラの位置や姿勢、
しぼり等を制御する画像入力手段制御部である。

次に第１５図を用いて画像処理部２００で行なわれてい
る第１のずれ量補正方法を説明する。画像入力手段１０
．１０’　を通して配管１，１′１″等に付されたマー
ク、１３．１３’　，１３“及び、異常現象である漏え
いした油４や水５及び蒸気を含む画像を取込み（ステッ
プ３０）．２値化処理を行いマーク１３．１３’　　　
１３’を抽出する（ステップ３１）。画像処理部２００
　（あるいは外部記憶装置１４）にあらかじめ登録され
ているマーク１３．１３’　，１３’のテンプレートを
用いて、画像処理部２００でパターンマッチングを行い
、テンプレートと一番一致度の高い座標を検出する（ス
テップ３２）。同様に画像処理部２００　（あるいは外
部記憶装＠Ｌ４）にあらかしめ記憶されている正常時の
マークの位置座標を参照して、ずれ量（ΔＸ，Δｙ）を
算出する（ステップ３３）。該ずれ量（ΔＸ，Δｙ）を
補正するため（一ΔＸ，−Δｙ）分だけ入力画像をシフ
トする（ステップ３４）。シフトした入力画像と正常時
の画像間で対応する画素の明るさの差の絶対値を検出し
、累積する（ステップ３５）。その後再度画像を取込み
（ステップ３６），該ステップ３４〜３６をｎ回繰返え
し、入力画像と正常時の画像との明暗差の絶対値を累積
し、その値があるしきい値以上かどうかで異常の有無を
判定する（ステップ３７）。異常なしの場合はそのまま
終了するが、異常ありの場合は、その時の入力画像を表
示装置８００に表示するとともに、アラームを鳴らす（
ステップ３８）。次に、ずれ量補正の第２の方法を示す
。この方法では、入力時の監視画像領域と正常時の監視
画像領域とのずれ量を画像入力手段１０を移動させるこ
とにより補正する。

すなわち、ずれ補正量（一ΔＸ，−Δｙ）に相当する信
号を画像処理部２００から画像入力制御手段１００を介
して画像入力手段制御部１５０，■５０′に送り、画像
入力手段制御部１５０，１５０′のステップモータ等に
より画像入力手段１０．１０’の位置を補正する（ステ
ップ３９）。

なお、カメラ制御装置１５による１回の補正でずれ量が
ある誤差範囲内に収まらない場合には、ステップ３０〜
３９を繰返し処理することになる。

その後、再度画像を取込み（ステップ４０）、あらかじ
め（あるいは外部記憶装置１４）記憶されている正常時
の画像との差の絶対値を検出し、累積する（ステップ４
１）。該ステップ４０．４１をｎ回繰返し、入力画像と
正常時の画像との明暗の差の絶対値を累積し、ステップ
３７へ進む。

なお、以上の説明において、正常時の画像は、あらかじ
め画像処理部２００　（あるいは外部記憶装置１４）に
記憶されているとしたが、ステップ３４，３５，３６、
又はステップ４０．４１の繰返しループの第１回目の入
力画像を正常時の画像とすることも可能で，この場合、
記憶装置としては簡単なフロッピーディスクで良い。次
に、第３のずれ量の補正方法を示す。この場合は、第１
６図に示すように、配線１′等の監視対象物の振動の影
響を避けるため、水漏れ５等の発生する可能性のある監
視画像領域の一部分に監視領域（ウインドウ）１７．１
７’　をあらかじめ設定してある場合には、該監視領域
１７．１７’の枠を入力画像のずれ量だけ移動する。す
なわち、該領域１７，１７’内の画像データではなく、
該領域の位置だけを動かす（ステップ４２）方法である
。本方法では、入力画像を基準画像として画像処理部２
００に記憶し（ステップ４３）、その後、再度画像を取
込み）ステップ４４）、該検査領域１７．１７’のみに
ついて基準画像の対応する領域における明暗差の絶対値
を検出し、累積する（ステップ４５）。

該ステップ４４．４５をｎ回繰返し、入力画像と基準画
像との差の絶対値を累積し、ステップ３７へ進む。

以上述べた実施例は、（１）ＩＴＶカメラ等の画像人力
手段ＩＯが固定されており、１台のカメラでエケ所を監
視する場合や、（２）固定されたＩＴＶカメラを首振り
をさせて複数個所監視させる場合や（３）レール上を走
行するロボットに取りつけられたＩＴＶカメラで複数個
所監視する場合に適用できる。カメラと監視領域との距
離があらかじめ決まっており変化しない場合には、正常
時の監視画像領域と入力時の監視画像領域のずれの発生
は、２次元すなわち、Ｘ及びｙ軸方向のみと考えてよい
。しかしながら、ある程度自由に走行するロボットにＩ
ＴＶカメラをつけて監視する場合には、監視対象とロボ
ットとの相対的な位置ずれにより、奥行方向（Ｚ軸方向
）にもずれが発生し、このずれ量を補正する必要がある
。この場合におけるずれ量補正の方法について第１７図
を用いて説明する。第１７図のステップ５０〜ステップ
５５は第１５図のステップ３０とステップ３１の間に入
るものである。すなわち、ステップ３０で取込んだ画像
を２値化してマーク１３．１３’　，１３’を抽出し（
ステップ５０）、該マーク１３，１３’　，１３’の特
徴量として面積，縦，横の長さ等を検出する（ステップ
５１）。これらの特徴量と，あるかしめ外部記憶装ｆｆ
ｉ１４等に記憶してある正常時の画像中でのマーク１３
，１３’　，１３″′の面積や縦，横の長さを参照して
、両者の面積比や、長さの比から、奥行方向のずれ量（
ΔＺ）を求める（ステップ５２）。画像変換による奥行
方向のずれ量の補正は、上記面積比や長さの比をもとに
アフィン変換により入方画像を拡大又は縮小することに
より行う（ステップ５３）。

なお、画像入力手段制御部１５０，１５０’による補正
は、２次元の場合と同様に、ずれ補正量（一ΔＺ）に相
当する信号を画像処理部２００から画像入力手段制御部
１５０，１５０’　に送り、該手段１５０，１５０’の
ステップモー夕等により画像入力手段１０．１０’　の
位置を補正する（ステップ５４）。その後、再度画像を
取込み（ステップ５５）、ステップ３１の処理へ進む。

なお、画像入力手段制御部１５０による１回の補正で、
ずれ量がある誤差範囲内に収まらない場合には、ステッ
プ５０〜ステップ５５を繰返し処理することになる。

なお、先に述尺たように、監視画像領域の一部分である
監視領域１７．１７’　を設定し、該領域内のみを処理
する場合には、奥行方向のずれ量補正は第１７図に示す
ように，ステップ５２の処理の後，入力画像の監視領域
枠をずれ量に相当する量だけ拡大又は縮小することによ
り行う（ステップ５６）。その後、第１５図のステップ
３１，３２，３３，４．２．４３を処理し、ステップ４
４，４５をｎ回繰返し、ステップ３７．３８を処理する
。

以上、カメラと監視対象物との相対的な位置ずれ補正に
ついて述べたが、相対的な回転ずれ補正も同様にして可
能である。例えば、第１８図（ａ），（ｂ）に示すよう
に２個のマーク◆を用いて、該マークを結ぶ直線の傾き
を求めて、回転ずれ量（Δθ）を求め、ずれ補正量（一
ΔＯ）だけ入力画像を回転することにより補正できる。

なお、第１８図（ａ）は正常時の画像を第１８図（ｂ）
は入力画像を表わす。

以上述べた実施例は、カメラの首振り等による位置ずれ
補正の場合である。さらに、カメラと監視対象物がプラ
ントの起動，停止あるいは回転機等の影響で振動する。

異常状態（例えば水漏れ、油漏れ等）が発生していない
にもかかわらず、この振動により正常時の監視画像領域
あるいは基準画像と入力時の監視画像領域との間にずれ
が生じ、監視対象物の輪郭部分が差分画像にノイズとし
て大量に発生し、異常との識別が困難になるという問題
がある。これに対処するために、監視対象物とカメラと
の相対的な振動によるずれ量を入力画像毎に求め，これ
を補正する必要がある。この方法を第２９図を用いて説
明する。

ステップ３０〜ステップ３５及びステップ３９は、第５
図の同一ステップＮαのものと同じであり、再度、同一
シーンを写し出す為、カメラの位置が元に戻った時、カ
メラの道振りによる位置ずれを補正する。その後、再度
画像を取込み（ステップ６０）．２値化しマークを抽出
し（ステップ６１），パターンマッチング等によりマー
クの位置を検出し（ステップ６２）、正常時の監視画像
領域と入力時の監視画像領域の監視対象物の振動による
ずれ量（ΔＸ，Δｙ）を検出し（ステップ６３）、入力
画像のずれ量を補正するために（一ΔＸ，−Δｙ）だけ
入力画像をシフトし（ステップ６４），補正後の画像と
正常の画像との明暗の差の絶対値を求め、それを累積す
る（ステップ６５）。その後、該ステップ６０〜６５を
ｎ回繰返し，入力画像と正常時の画像との明暗の差の絶
対値を累積し、その値があるしきい値以上かどうかで異
常の有無を判定する（ステップ６６）。異常なしの場合
は、そのまま終了するが、異常ありの場合、その時の入
力画像を表示装置８００に表示するとともに、アラーム
を鳴らす（ステップ６７）。この振動によるずれ量を補
正することにより、第１６図に示すような監視領域１７
．１７’　をあらかじめ設定する必要がなくなるという
長所がある。

上記実施例においては、マークを監視対象物あるいは、
監視対象物附近に付す場合について述べたが、マークを
付けずに，配管等の監視対象物あるいは監視対象物周辺
の形状を用いて位置ずれ補正をすることも可能である。

この場合にも、配管等の特徴ある部分をあらかじめテン
プレートとして登録しておき、このテンプレートを用い
てパターンマッチングにより位置ずれ補正できる。ただ
し、この場合には、形状をはっきり出すために、輪郭強
調処理やノイズ除去等の処理が若干複雑になる。

また，監視対象の異常のちがい（水漏れ，油漏れ，蒸気
漏れｅｔｃ．）により、◆，▲，＊の様に付けるマーク
の形を変えることにより、抽出したマークの形から検出
すべき異常の種類が分かる。従って、より正確に異常内
容を検出することができる。さらにマークの色あるいは
濃度によりマークの検出のし易さが決まる。そこでマー
クとして、マークの背景例えばマークが付される監視対
象物とのコントラストが大きくなる濃度を有するものを
用いる必要がある。

さらにマークについて述べると、マークの形状としでは
、監視対象物及びその周辺には存在しない形とする必要
がある。例えば、危険防止のためのトラ縞模様等のマー
クは不適である。さらに、マーク自身が表面から発光す
る媒体から成るもの（例えば蛍光物質を塗布してあるも
の）も考えられる。これにより、監視環境の照明が不足
しても、マークを確実に検出できる。また、マークも１
個だけで位置ずれ量を検出するのでなく、第２０図（ａ
），（ｂ）に示すように複数のマークを用いて、複数の
マークの中心点等を用いて位置ずれ量を検出する方が位
置ずれ量検出の精度が高くなる。

また、複数のマークを用いて監視対象領域を第２０図（
ｂ）に示すように、複数のマークで囲まれた領域（各マ
ーク間を結ぶ直線で囲まれた領域２０、あるいは各マー
クを通る円で囲まれた領域２１）とすることができる。

本実施例によれば、監視対象付近にマークを付けること
により、簡単かつ精度良く位置ずれ量を検出できるので
、正常時及び入力時の監視画像領域のずれにより発生す
るノイズを押えることにより正しく異常の有無を判定で
きる。

〔発明の効果〕

本発明によれば、正常時と入力時の監視対象領域のずれ
量を簡単に且つ、精度良く補正できるので、高精度な監
視が可能となった。また、異常と判定された際にその異
常に対する対策方法を表示することができるので、初心
者でもすばやく異常時の対応ができる。また、監視装置
を２重系にしたことにより、監視が中断なく行なわれる
ので大幅な信頼性の向上が可能となった。

【図面の簡単な説明】

第１図は本発明の一実施例を示す異常監視装置のブロッ
ク図、第２図は画像入力制御手段で画像を選択する場合
に用いるテーブルを示す図、第３図は画像入力制御手段
で画像を危険度指数で選択する場合に用いるテーブルを
示す図、第４図は画像処理部の内部を示すブロック図、
第５図は異常の有無を検出する異常検出部の手順を示す
図、第６図はポンプの運転状態情報を検知する場合のブ
ロック図、第７図は異常の有無を判定する手段を示す図
、第８図は中央監視盤に表示する例を示す図、第９図は
パトロール順路を表示装置レニガイダンスした場合の図
、第ＬＯ図は機器異常の内容により運転員がとるへき対
応操作ガイダンスの例を示す図、第１１図はモニタに拡
大表示した例を示す図、第１２図は監視装置の故障検知
部の内部を示すブロック図、第１３図は画像入力手段制
御部故障検知部９６０に関してカメラの位置決め部等の
故障検知を行う手順を示す図、第１４図は、ずれ補正に
用いるマークを示す図、第１５図は、ずれ補正の処理フ
ローを表わす図、第１６図は監視領域（ウインドウ）を
表わす図、第工７図は、奥行方向のずれ補正の処理フロ
ーを表わす図、第１８図（ａ），（ｂ）は回転ずれ補正
の方法を説明する図、第１９図は監視対象物とカメラの
振動による位置ずれを施正する処理フローを表わす図、
第２０図（ａ），（ｂ）は複数のマークを用いた場合の
説明図である。 １０・・・画像人力手段、１００・・・画像入力制御手
段、１　４．　１・・危険度指数、．ｔ５０・・画像入
力手段制御部、１６０・・危険度指数初期値、１７０・
・危険度指数現在値、２００・・・画像処理部、３００
・・・機器・運転状態監視部、５００・・・異常内容判
定部、６００・・・異常情報格納部、７００・・・異常
報知部、８００・・・表示装置、９００・・・監視装置
の故障検知部、９５０・・・監視装置故障報知部、ｉｏ
ｏｏ・・切替器。 第 ２ 図 第 ３ 図 第 ４ 図 第 ５ 図 ボンブ 第 ６ 図 第 ７ 図 第 ９ 図 第 １０ 図 第 １ １ 図 ７４２ 第 １３ 図 第 １６ 図 第 １７ 図 第 １８ 図 （ａ） （ｂ） 第 ２０ 図 （ａ） （ｂ）

Claims (1)

1. 【特許請求の範囲】 １、監視対象の画像を取り込む画像入力手段と、監視対
   象機器の運転状態、重要度及び危険度のうち少なくとも
   １つに応じて監視画像を選択する画像入力制御手段と、 基準画像と、前記画像入力手段により入力された入力画
   像とを比較し異常を検出する異常検出手段と、 前記異常検出手段の出力から前記異常の内容を判定する
   異常内容判定手段と、 前記判定された異常を報知する異常報知手段とを有する
   ことを特徴とする異常監視装置。 ２、請求項１記載の異常監視装置において、前記画像入
   力制御手段は、前記画像入力手段により映し出される各
   シーンについて監視の重要度を示す危険度指数テーブル
   と、前記危険度指数の値に基づいて前記シーンの選択を
   制御する選択指示手段とを有することを特徴とする異常
   監視装置。 ３、請求項２記載の異常監視装置において、前記危険度
   指数テーブルは、少なくとも危険度指数初期値と危険度
   指数現在値とを含み、前記選択指示手段は、前記危険度
   指数初期値に基づいて前記危険度指数の現在値の値を決
   定する手段と、前記危険度指数現在値の値に基づいて前
   記各シーンの選択を制御することを特徴とする異常監視
   装置。 ４、請求項１記載の異常監視装置において、前記画像入
   力制御手段は、前記監視対象機器の運転状態に応じて前
   記監視画像の選択頻度を変更する手段を有することを特
   徴とする異常監視装置。 ５、請求項１記載の異常監視装置において、前記異常検
   出手段は、最初の異常検出画像と前記基準画像との間で
   、対応する画素間の明暗の差を取り第１の差分画像を求
   める手段と、最後の異常検出画像と前記基準画像との間
   で、対応する画素間の明暗の差を取り第２の差分画像を
   求める手段とを有し、 前記異常内容判定手段は、前記第１の差分画像の明るさ
   のＸ，Ｙ方向の投影分布を求める手段と、前記第２の差
   分画像の明るさのＸ，Ｙ方向の投影分布を求める手段と
   、前記第１の差分画像と前記第２の差分画像の前記各Ｘ
   方向の投影分布の幅の差を求める手段と、前記第１の差
   分画像と前記第２の差分画像の前記各Ｙ方向の投影分布
   の幅の差を求める手段と、前記Ｘ方向の幅の差と前記Ｙ
   方向の幅の差をそれぞれ別個に設定された所定値と比較
   して異常内容を判定する手段とを有することを特徴とす
   る異常監視装置。 ６、請求項５記載の異常監視装置において、前記異常内
   容判定手段は、前記第１の差分画像の形状係数を求める
   手段と、前記第２の差分画像の形状係数を求める手段と
   、前記形状係数から異常内容を判定する手段とを有する
   ことを特徴とする異常監視装置。 ７、請求項１記載の異常監視装置において、前記異常報
   知手段は、前記異常に対する処置内容を表示する手段を
   有することを特徴とする異常監視装置。 ８、請求項１記載の異常監視装置において、前記異常報
   知手段は、前記異常内容を音声で報知する手段を有する
   ことを特徴とする異常監視装置。 ９、請求項１記載の異常監視装置において、前記異常報
   知手段は、前記異常内容に対応した擬音を報知する手段
   を有することを特徴とする異常監視装置。 １０、請求項１記載の異常監視装置において、少なくと
   も前記画像入力手段，前記画像入力制御手段，前記異常
   検出手段，前記報知手段はそれぞれ同じ機能を果たす予
   備手段を有することを特徴とする異常監視装置。 １１、監視対象からの画像を取り込む画像入手段と、前
   記画像入力手段の位置制御を行なう画像入力手段制御部
   と、 正常時の基準画像と、前記基準画像と監視時の入力画像
   とのマッチングのために監視対象機器に取り付けられた
   識別用マークの画像をマッチング用基準パターンとして
   記憶しておく手段と、 前記基準画像のマーク位置と前記入力画像のマーク位置
   とを比較して両画像間のずれ量を求める手段と、 前記求められたずれ量に基づいて前記入力画像を補正す
   る手段を有することを特徴とする異常監視装置。 １２、請求項１１記載の異常監視装置において、前記補
   正手段は、前記入力画像をアフィン変換（移動，拡大，
   縮小，回転）することにより前記ずれ量を補正する手段
   を有することを特徴とする異常監視装置。 １３、請求項１１記載の異常監視装置において、前記補
   正手段は、前記入力画像の監視領域（ウィンドウ）の枠
   をアフィン変換（移動，拡大，縮小，回転）することに
   より前記ずれ量を補正する手段を有することを特徴とす
   る異常監視装置。 １４、請求項１１記載の異常監視装置において、前記補
   正手段は、前記画像入力手段，制御手段により前記画像
   入力手段を動かして前記ずれ量を補正する手段を有する
   ことを特徴とする異常監視装置。 １５、請求項１２記載の異常監視装置において、前記補
   正手段は、更に 前記監視対象機器と画像入力手段との相対的な振動によ
   る振動ずれ量を求める手段と、 前記振動ずれ量が所定値以下になるまで、前記入力画像
   の前記アフィン変換により前記振動ずれ量の補正を行う
   手段を有することを特徴とする異常監視装置。 １６、請求項１４記載の異常監視装置において、前記補
   正手段は、更に 前記監視対象機器と画像入力手段との相対的な振動によ
   る振動ずれ量を求める手段と、 前記振動ずれ量が所定値以下になるまで、前記入力画像
   のアフィン変換（移動，拡大，縮小，回転）により前記
   振動ずれ量の補正を行う手段を有することを特徴とする
   異常監視装置。 １７、請求項１１記載の異常監視装置において、前記識
   別用マークは予測される異常の種類に応じて形状の異な
   るマークを使用することを特徴とする異常監視装置。 １８、請求項１１記載の異常監視装置において、前記識
   別用マークは前記マークが取り付けられる背景とのコン
   トラストが十分大きくなる色を有するマークを使用する
   ことを特徴とする異常監視装置。 １９、請求項１１記載の異常監視装置において、前記識
   別用マークは前記マークが取り付けられる前記監視対象
   機器及びその周辺には存在しない固有の形状のマークを
   使用することを特徴とする異常監視装置。 ２０、請求項１１記載の異常監視装置において、前記識
   別用マークは発光物質を含むことを特徴とする異常監視
   装置。 ２１、請求項１１記載の異常監視装置において、前記入
   力画像の監視領域は前記監視対象機器に取り付けられた
   複数の識別用マークで囲まれた領域であることを特徴と
   する異常監視装置。