JP3135559B2 - 監視装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、プラントの状態を工業用テレビカメラ（IT
Vカメラ）等を用いて監視する装置に関する。

〔従来の技術〕

従来、ITVカメラと画像処理手段と正常時の画像を予
め記憶する記憶手段を用いてプラントの異常を監視する
ものとして、特開昭３−4396号公報がある。

また、移動クレーンや運搬荷物等を監視するために、
移動物体もしくは相対的に移動する物体に付したマーク
をターゲツトにして移動物体を追跡し、移動物体の運動
パターンや大きさを識別判定するものとして特開昭61−
30192号公報がある。

また、異常検出時、スピーカーによる警報音，ランプ
の点滅等により注意を喚起するものとして、特開昭62−
86990号公報がある。

〔発明が解決しようとする課題〕

上記従来技術において、一台のITVカメラで複数個所
を監視する場合等に生ずるカメラの位置決め誤差の影響
や監視対象プラント又はカメラの振動等により生ずるカ
メラと監視対象物との相対位置のずれに対して配慮がな
されておらず、監視時の監視画像領域と正常時の監視画
像領域（あらかじめ設定した監視対象領域）のずれによ
り、正しく異常の判定ができないという問題があつた。

また、監視を重点的に行なわなければならない監視対
象とそうでない監視対象とを区別して監視していないた
め、監視が効率的に行なわれていない。

また、異常が検出された時、単に注意を喚起するアラ
ームや簡単なメツセージのみの表示だけであり、初心者
でも適切な対策をとれるような工夫はなされていない。

また、監視装置の各処理ユニツト毎に二重の安全対策
がとられておらず、監視装置全体としての故障対策が不
十分であつた。

本発明の第１の目的は、カメラの位置決め誤差等によ
り発生する入力時の監視画像領域と正常時の監視画像領
域のずれを吸収し、正しく異常の判定を行うことであ
る。

第２の目的は、監視を重心的に行なう必要のある対象
は頻繁に監視し、そうでない対象については監視の頻度
を少なくして、効率の良い監視を行うようにすることで
ある。

第３の目的は、異常検出時、その異常に対して、適切
な対象をすぐに取れるような警報内容を提供することで
ある。

第４の目的は、監視装置の一部が故障した時でも、正
常な監視を継続できるように、二重の監視機能を有する
監視装置を提供することである。

〔課題を解決するための手段〕

上記第１の目的を達成するため異常監視装置の構成
を、監視対象からの画像を取り込む画像入力手段と、前
記画像入力手段の位置制御を行なう画像入力手段制御部
と、正常時の基準画像と、前記基準画像と監視時の入力
画像とのマツチングのために監視対象機器に取り付けら
れた識別用マークの画像をマツチング用基準パターンと
して記憶しておく手段と、前記基準画像のマーク位置と
前記入力画像のマーク位置とを比較して両画像間のずれ
量を求める手段と、前記求められたずれ量に基づいて前
記入力画像を補正する手段とを有する構成としたもので
ある。

上記第２の目的を達成するための異常監視装置の構成
を、監視対象の画像を取り込む画像入力手段と、監視対
象機器の運転状態、重要度及び危険度のうち少なくとも
１つに応じて監視画像を選択する画像入力制御手段と、
基準画像と、前記画像入力手段により入力された入力画
像とを比較し異常を検出する異常検出手段と、前記異常
検出手段の出力から前記異常の内容を判定する異常内容
判定手段と、前記判定された異常を報知する異常報知手
段とを有する構成としたものである。

上記第３の目的を達成するため異常監視装置の構成
を、監視対象の画像を取り込む画像入力手段と、監視対
象機器の運転状態、重要度及び危険度のうち少なくとも
１つに応じて監視画像を選択する画像入力制御手段と、
基準画像と、前記画像入力手段により入力された入力画
像とを比較し、異常検出する異常検出手段と、前記異常
検出手段の出力から前記異常の内容を判定する異常内容
判定手段と、前記判定された異常に対する処理内容を表
示することにより異常を報知する手段とを有する構成と
したものである。

上記第４の目的を達成するため異常監視装置の構成
を、監視対象の画像を取り込む画像入力手段と、監視対
象機器の運転状態，重要度及び危険度のうち少なくとも
１つに応じて監視画像を選択する画像入力制御装置と、
基準画像と、前記画像入力手段により入力された入力画
像とを比較し異常を検出する異常検出手段と、前記異常
検出手段の出力から前記異常の内容を判定する異常内容
判定手段と、前記判定された異常を報知する異常報知手
段とを有し、更に少なくとも前記画像入力手段、前記画
像入力手段制御部、前記異常検出手段及び前記異常報知
手段はそれぞれ同じ機能を果たす予備手段を有する構成
としたものである。

〔作用〕

本発明では、 （１）監視対象物あるいは、監視対象物の近くに位置ず
れ補正用の特殊マーク を付し、そのマークを用いて、入力時の監視画像領域と
正常時の監視画像領域のずれ量を検出し、ずれ量に相当
する量だけ入力画像をアフイン変換（移動，拡大，縮
小，回転）するか、あるいは、ずれ量をカメラ制御装置
にフイードバツクし、カメラを同することにより入力時
の監視画像領域と正常時の監視画像領域を一致させ、正
しく異常の有無を判定できるようにした。

監視対象物附近に、検出しやすい特殊なマークを付す
ことにより、正常時の画像と、入力時の画像で対応する
位置を、検出用マークを基準パターンとしたパターンマ
ツチングやマークの重心の算出等の画像処理手段により
簡単にかつ精度良く求めることができることができるの
で、正常時の監視画像領域と入力時の監視画像領域のず
れの補正を高精度で行なうことができる。

（２）また、機器運転状態監視部により該監視対象機器
が停止中であるか運転中であるか起動中であるか等運転
状態を判定し、停止している場合には異常監視の項目を
限定することにより不要な処理を省略するようにした。

また、ITVカメラで映し出される各シーン毎に、監視
の重要度を示す危険度指数を付し、その値の大きいもの
程、高い頻度で監視するようにした。

（３）異常と判定された場合、監視者に異常に対する対
策方法を詳しいメツセージで知らせるようにした。これ
により、初心者でも素早く異常時の対応ができるように
なつた。

（４）画像入力手段と画像入力制御手段と画像処理部と
画像入力手段制御部と表示装置等の監視装置を２重系に
して監視装置の故障検知部により故障を検知して片方が
機能しなくなつた場合、故障した監視装置に対応するラ
ンプを点燈または点滅させることにより運転員に報知す
るとともに、他方の正常な装置に切り替えるようにし
た。

これにより、監視が中断なく行なわれるので信頼性が
大幅に向上した。

〔実施例〕

以下、本発明の一実施例を図面を用いて説明する。第
１図は本発明の一実施例を示す異常監視装置のブロツク
図である。本実施例ではｘ個の監視領域を撮影して画像
信号を出力するｎ台のITVカメラ，監視カメラ等からな
る画像入力手段10と、画像入力手段10により得られたｎ
個の画像の中から処理対象を選択する画像入力制御手段
100により、該画像を画像処理部200に入力し画像処理部
200で該画像の処理を行う。画像処理部200では、各監視
シーン毎に、最初のサンプリング開始時に取り込んだ画
像を基準画像とし、その後、同一監視シーンでｍ回サン
プリングして監視画像を取り込み、基準画像と取り込み
画像との位置ずれを補正した後、基準画像とサンプリン
グ毎の画像の各画素についての明暗の差分を累積する
が、監視は機器の停止中と運転中の状態等ではおのずと
監視項目が異なる。そこで、機器運転状態監視部300に
より該機器が停止中であるか運転中であるか起動中であ
るか全開状態であるか全閉状態であるか中間開度である
か等運転状態を判断して、各運転状態に応じた信号を画
像入力制御手段100に送り、そこで異常診断の実施要否
を決定して監視項目や監視領域を限定することにより無
駄な監視処理を除去して監視の効率を向上させる。画像
処理部200では正常時の基準画像と監視時の入力画像と
のずれ量を補正し、両画像を比較して異常の検出を行
う。異常内容判定部500では、画像処理部200で求めた差
分画像の累積結果から異常内容の判定を行い、異常有り
と判定されたとき画像処理部200に記憶されている該画
像情報を異常情報格納部600に格納するとともに、異常
情報を異常報知部700で監視員に表示ランプやモニタの
表示装置800に表示して報知する。運転員は、中央監視
盤の表示装置800に異常が報知されたことを異常報知部7
00により知り、中央監視盤にある該異常画像の選択ボタ
ンを押して画像入力制御手段100に送信する。画像入力
制御手段100は該画像を選択し、異常機器を撮影する画
像入力手段10に切り替え、表示装置800に異常の発生し
たシーンを表示するので、運転員は異常機器を詳しく観
察することができる。これら画像入力手段10と画像入力
制御手段100と画像処理部200と画像入力手段制御部150
と表示装置800が正常に機能するか否かを監視装置の故
障検知部900により監視して、故障が発生した場合、監
視装置故障報知部950は、中央監視盤の故障した監視装
置に対応する表示燈を青色から赤色点燈に変えるか、ま
たは、赤色燈をブリンクさせるとともにアラームを鳴ら
すことにより、運転員に知らせる。なお、表示装置の故
障に関しては、２重系に配置してあるもう一方の正常に
機能する装置に切替器1000により切替える。表示装置以
外の予備機能の切替えについては第12図に示す。

第２図は、画像入力制御表示手段100に設けられ、画
像入力制御手段100でｎ個の監視領域から監視画像を選
択する為に用いられるテーブル118である。画像入力手
段10はｘ個の監視領域をｎ台のITVカメラで撮影して画
像信号を出力するが、画像処理部200では、同時に２つ
以上のシーンの画像は処理できず、処理する画像は同一
タイミングでは１個である。そこで、処理対象となる監
視画像１個を選択するため、本発明では各シーンにシー
ン番号120を付け、監視画像をシーケンシヤルに選択す
る場合はシーン番号120の１番から順番２番,3番と決定
する。ランダムに選択する場合は、シーン番号120につ
いての乱数発生により取り込むシーンを決定する。危険
度指数の場合はシーン番号120に対応する危険度指数140
を設定して指数が大きい順に優先して監視する。危険度
指数140は機器運転状態監視部300からの信号、及び外部
からの運転員により変更可能にしておく。

また、監視対象の異常発生の危険度が高い監視領域
や、めつたに異常は発生しないが、発生すると非常に危
険性が高い監視領域は他の監視領域よりも監視の頻度を
高くしておく必要がある。これは、例えば、第３図に示
すような危険度指数141を用いたテーブル119により実現
できる。各シーンに対応するシーン番号毎に危険度指数
の初期値である危険度指数初期値160を与えておく。シ
ーン番号120の１から順番に６までチエツクするとし
て、チエツクは『危険度指数現在値170≧閾値（例えば3
0）』かを判定し、危険度指数現在値170が閾値（例えば
30）以上の場合、そのシーン番号の画像を選択するとと
もに現在値を危険度指数初期値に置き換える。一方、該
現在値が閾値よりも小さい場合には、該画像を選択しな
いで『現在値＋10』の値で危険度指数現在値170を更新
し、その後次のシーン番号に進みそのシーンの危険度指
数現在値170をチエツクする。なお、危険度指数初期値
及び上記閾値は、予め運転員が指定しておく。第３図の
例では、３番目のシーンは毎回、４番目と５番目のシー
ンは１回おきに、２番目のシーンは２回おきに、１番目
のシーンは３回おきに選択される。以上述べたようにシ
ーンが選択されると、画像入力制御手段100は該テーブ
ル119の選択されたシーンに対応するカメラ番号121を求
め、該カメラ番号121に対応する画像入力手段制御部15
に対し、あらかじめ指定された位置（角度）にカメラを
動かすよう指示するとともに、複数のカメラの中から該
カメラ（該画像入力手段10）を選択し、該カメラからの
画像を画像処理部200へ転送する。危険度指数初期値を
マイナスの値に設定すれば、危険度指数現在値も初期値
と同じ値になるようにし、現在値がマイナスの場合は監
視画像として取り込まないようにする。

従つて、監視対象機器が停止状態の場合は、この危険
度指数初期値をマイナスに設定すればよい。危険度指数
初期値160は、機器運転状態監視部300からの信号、又は
マニユアルで設定される。

第４図は、画像処理部200の内部を示すブロック図で
ある。画像入力制御手段100では選択された１個の該画
像に対して、蒸気漏れのように画像全体を監視する必要
がある異常と、水や油のように領域を限定して監視して
も良い異常がある。領域を限定して監視する場合はどの
領域に限定するか指定する必要がある。そこで、領域限
定部210で作業者は表示装置に写つている監視対象画像
をみながら、マウスで指示する。マウスで指定する領域
は１個でも複数個でも良い。領域限定部210で限定する
領域が複数の場合は監視に優先順位をつける。優先順位
は監視領域の異常発生内容を予想して決定する。例え
ば、蒸気漏れの発生が予想される監視物体は領域上部を
最優先して監視するものとし、水や油の漏れの発生が予
想される監視物体は領域下部を最優先して監視するもの
とする。領域限定部210で監視領域が決定されると異常
検出部220で画像メモリ240にある基準画像と画像入力手
段10により取り込まれた監視対象画像の対応する画素間
で明暗の差分をとり、その結果を累積して異常部を検出
する。異常検出部220では基準画像や監視対象画像を一
時的に画像格納メモリ240に格納して処理する。異常内
容判定部500で異常有りと判定された場合、該画像及び
異常部分の画積等の異常内容を異常情報格納部600に格
納して保存する。異常情報格納部600は光ディスクや光
磁気デイスクやビデオ等でも良く、画像処理部200と接
続して格納できる装置ならば何でもよい。

領域限定に関する技術は特願平１−25807（1989,2/6
日出願）号に記載されている。

第５図は、領域限定部210で限定された監視領域に対
して、異常の有無を検出する異常検出部220の手順図で
ある。異常検出部220は、ステップ221で監視開始時にサ
ンプリングする一回目の取り込み画像を基準画像ｋとし
て、ステツプ222で同一シーンを一定時間監視中に監視
対象画像ｉをサンプリングして取り込み、ステツプ223
で基準画像ｋと監視対象画像ｉとの対応する画素間で明
暗の差を求め、ステツプ224で差分画像の面積を計算し
て、ステツプ225で差分画像の面積が所定値（ノイズと
異常が区別できる値ならば何でも良い。）以上か否か判
定し、面積が所定値以上の場合、即ち、異常が発生した
場合、ステツプ226で面積が所定値異常になつたのは今
行なつている監視サイクルのうち最初のものか否か判定
し、最初であるならば、ステツプ227で該差分画像を画
像メモリ240にあるメモリ２に格納する。メモリ２には
初めて異常と判定された差分画像が記憶される。ステツ
プ226の判定が監視中のうち最初で無い場合には、ステ
ツプ228で該差分画像を画像メモリ240にあるメモリ３に
格納する。

異常と判定されている間、メモリ３の画像データは次
々と更新され、異常と判定されている画像の最終画像が
残ることになる。

ステツプ225で累積しない差分画像の面積が所定値以
下ならばステツプ229に進む。ステツプ229で差分累積し
て、ステツプ230で累積した画像を画像メモリ240にある
メモリ１に格納する。メモリ１には、差分を累積した結
果が記憶される。ステツプ231で所定回数累積したか否
か判定し、まだ累積を続行する場合、ステツプ222へ戻
り、続行しなければ処理を終了する。ステツプ227及び
ステツプ228で画像メモリ240にあるメモリ２及びメモリ
３に格納するのは、蒸気か水や油が移動物体か等異常内
容の判定に用いるためである。ステツプ221の画像を基
準画像にしてステツプ222で取り込んだ監視対象画像に
ついてステツプ223からステツプ231で明暗の差分を所定
時間累積し、その結果から異常部分の検出ができる。

異常の判定は、第７図で詳細を説明するが、差分の累
積画像を２値化し、明るさの変化している部分の面積を
加算してそのトータルドツト数が所定値を越えているか
どうかで判定する。

第６図は、機器運転状態監視部300における監視対象
機器であるポンプの運転状態情報を検知する場合のブロ
ツク図である。ポンプ301の運転状態は、起動停止制御
装置302の制御情報がプラント制御装置303を通してPS−
232Cのプラント制御用計算機304に入力される。

制御情報にはポンプの運転状態が停止中か、起動中
か、運転中であるか、また、全開状態か、中間開度状態
か、全閉状態かが含まれている。

機器運転状態監視部300は制御情報からポンプの運転
状態を判断して、それに対応したデータを画像入力制御
手段100に送信する。

第７図は、異常内容判定部500で異常の有無と異常内
容を判定する手順図でる。ステツプ501で画像メモリ１
に格納されている異常部分の累積画像の面積を計算し、
ステツプ502で該面積が所定値以下ならばステツプ503で
異常無しと判定する。所定値は蒸気の場合1000画素で水
や油の場合30画素などと予想される異常の種類により決
める。ステツプ502で該面積が所定値以上と判定された
場合、ステツプ504で面積が一定報囲内か否か判定し一
定範囲内の場合、ステツプ505で水や油のように比較的
小さい漏れがあると判定する。ステツプ504で面積が一
定範囲外と判定した場合、ステツプ506においてステツ
プ227で格納した画像メモリ２にある監視期間中の最初
に異常と検出された差分画像に関して、外画像のｘ方向
投影分布及びｙ方向投影分布及び形状係数を計算する。
投影分布とはx,y方向に於いて、明るさ又は所定レベル
以上の明るさのドツト数を累積加算したものである。

形状係数とは、面積と周囲の長さで円形度を表わした
係数であり、円のときに１となる。ステツプ507におい
てもステツプ228で格納した画像メモリ３にある監視時
間中の最後に異常と検出された差分画像に関して、該画
像のｘ方向投影分布及びｙ方向投影分布及び形状係数を
計算する。ステツプ508においてステツプ506とステツプ
507で計算した各ｘ方向投影分布の幅の差を計算し、差
が所定値以下か否か判定する。さらに、ステツプ509に
おいて各ｙ方向投影分布の幅の差を計算して、差が所定
値以下か否か判定する。ステツプ510で画像メモリ２の
形状係数と画像メモリ３の形状係数を計算する。ステツ
プ508で計算したｘ方向投影分布の差が所定値以上の場
合は最初の異常部分の幅と最後の異常部分の幅の差が大
きい場合であり、形が一定せず変化している異常物体と
考えられるので、ステツプ511で蒸気等の漏れがあるも
のとする。同様に、ステツプ509で計算したｙ方向投影
分布の差が所定値以上の場合は最初の異常部分の幅と最
後の異常部分の差が大きい場合であり、ステツプ511で
蒸気等の漏れがあるものとする。ステツプ508で計算し
たｘ方向投影分布の差とステツプ509において計算した
ｙ方向投影分布の幅の差がともに小さい場合、ステツプ
510で画像メモリ２と画像メモリ３の形状係数を計算し
て一方でも形状係数が円に類似していれば、ステツプ51
1で蒸気等の漏洩が発生しているものとする。ステツプ5
10で両方の形状係数が円に類似していなければステツプ
512で人間等の移動物体があるものとする。

異常内判定部500で異常有りと判定された場合、異常
情報格納部600にある異常情報を用いて異常情報部700に
より監視員に判り易く報知する。第８図及び第９図及び
第10図及び第11図は異常内容やその対策を監視員に報知
して迅速に異常時の対応がとれるようにした例である。

第８図は、中央制御室にある中央監視盤に表示する例
を示した図である。どの現場機器に異常が発生したか分
かるようにカメラのシールに対応した表示燈701を設
け、現場機器に異常が発生したら直ちに該表示燈を点燈
させるとともに、異常情報格納部600に格納されている
異常画面や異常内容をモニタ等の表示装置702に表示す
る。監視員は、表示を見て自動監視を中断したい場合、
画面選択を行うボタン703を押して異常画面表示に切替
え、異常画像を解全する。もし、表示も自動監視にした
い場合、切替えボタン704を押して再開する。また、画
像入力手段10であるカメラや画像入力制御手段100や画
像処理部200や表示装置800や画像入力手段制御部150が
故障が正常かを報知する表示燈707を中央監視盤に設置
してこれらの装置が正常な場合に装置に対応した青ラン
プ708を、異常な場合に赤ランプ709を点燈させて運転員
に判り易く報知する。さらに、カメラはどのカメラが故
障であるか該番号706を表示することにより運転員に一
目瞭然にする。

第９図は、異常と報知された場合、監視員が異常機器
をどのように点検すればよいがパトロール順路を表示装
置にガイダンスした例である。水漏れが発生した場合の
順路は、給水ポンプ710から点検を開始し、給水ブース
タポンプ711,補給水ポンプ712,軸冷水圧力調整装置713,
水位調整弁714,低圧給水加熱器715,主蒸気管止弁716,高
圧タービンバイパス弁718,気水分離タンク719,軸冷水ヘ
ツドタンク720,バーナ721,補給水タンク722の順に点検
すれば良いことを示している。

第10図は、機器異常の内容により運転員がとるべき対
応操作ガイダンスの例である。弁のまわりに水漏れが発
生した場合には、簡単な略図とともに『Ａ弁まわりに水
漏れが発生した模様です。TVモニタにより状況確識のう
え、補修課に連絡して下さい。運転継続が必要な場合
は、Ａ弁バイパス弁を開操作して下さい』730のガイダ
ンスを表示装置に表示する。

第11図は、モニタに拡大表示した例を示した図であ
る。異常発生時に、中央制御室のモニタに該限定領域74
0を拡大表示741するとともに、発生機器名をモニタに文
字スーパー742で表示する。

これらのほかに、異常が発生した機器の名称や異常内
容を音声により自動放送しても良い。このとき異常検出
部220で求められた面積により異常の度合いを判定し
て、その度合いに応じて自動放送の内容を変化させても
良く、小さい面積のとき『微小漏洩』、面積が徐々に大
きくなつていく場合『漏洩増加』、大きい値のとき『漏
洩大』等と放送する。また、蒸気の漏れと判定した場合
にはシユーと、水や油の漏れと判定した場合にはポタポ
タ等の擬音を中央制御室に発して運転員や監視員が即座
に異常内容を認識できるようにしても良い。さらに、閾
値（α）と実測値（Ａ）の差により異常メツセージや音
声を変化させても良い。例えば、ａ＞1.2αのときには
異常とし、0.8α≦Ａ≦1.2αのときには当該画像を表示
し、運転員に異常の有無を確認してください等と報知
し、ａ＞0.8αのときには何も表示しないようにしても
良い。なお、上記音声は音声合成LSIを用いることによ
り実現できる。さらには、異常検出部220で求められた
画面を表示装置に折線グラフや棒グラフ等の統計グラフ
で表示しても良い。他に、イスを振動させたり、臭いを
発生させたりしても良く、監視員の五感に訴える方法で
あれば何でも良い。

一方、上記監視装置が故障することもある。第12図
は、監視装置の故障検知部900の内部を示すブロツク図
である。画像入力装置故障検知部910は画像入力手段10
からの信号が全く無い場合、画像入力手段10が故障した
ものとして、監視装置故障報知部950に該装置部が故障
した信号を送り、切替器1001に切替えを指示する。切替
切1001は、２重に有している正常なもう一方の画像入力
手段11に切替える。画像制御装置故障検知部920は、画
像入力制御手段100からの画像が所定時間経過後も全く
変更されないときに画像入力制御手段100が故障したと
して、監視装置故障報知部950に故障信号を送り、切替
器1002に切替えを指示する。切替器1002は、２重に有し
ている正常なもう一方の画像入力制御手段101に切替え
る。ここで、所定時間は１個所を監視するのに要する時
間よりも長い値とする。画像処理装置故障検知部930
は、画像メモリ20に予め格納してあるテストパターンを
用いて、一定時間毎（但し、あるシーンから次のシーン
に移る間）の画像処理部200に一連の処理を実行させ、
画像処理部200の処理結果が所期の計算値でなくなつた
場合故障したとして、監視装置故障報知部950に故障信
号を送り、切替部1003に切替えを指示する。切替部1003
は、２重に有している正常なもう一方の画像処理部201
に切替える。表示装置故障検知部970は、表示装置800に
何も表示されなくなつた場合故障として、切替器1000に
切替えを指示する。切替器1000は、２重に有している正
常なもう一方の表示装置801に切替える。画像入力手段
制御故障検知部960は、異常画像を観察するため運転員
が選択ボタンを押しても初期の画像に変更されなくなつ
た場合故障として、監視装置故障報知部950に故障信号
を送り、切替器1005に切替えを指示する。切替器1005
は、２重に有している正常なもう一方の画像入力手段制
御部151に切替える。また、画像入力手段制御部故障検
知部960は、画像メモリ240に予め格納されているテンプ
レートパターン（マツチング用の基準パターン）と画像
入力手段10の画像情報の中の類似パターンとから位置ず
れ量を検出して、所定値以上のずれがあれば画像入力手
段制御部150のカメラの位置決め部等が故障したものと
して、監視装置故障報知部950に故障信号を送り、切替
器1005に切替えを指示する。切替器1005は、２重に有し
ている正常なもう一方の画像入力手段制御部151に切替
える。

第13図は、画像入力手段制御部故障検知部960に関し
て、カメラの位置決め部の故障検知を行う手順図であ
る。ステツプ911で監視対象の画像を取り込み、取り込
んだ該画像をステツプ912で２値化する。該２値化した
画像を画像メモリ240に予め格納してあるテンプレート
パターンとステツプ913でテンプレートパターンマツチ
ングを行い、一致度を求める。ステツプ914で一致度が
閾値以上か否か判定して、閾値より小さく類似パターン
が無い場合には、ステツプ915で故障情報を監視装置故
障報知部950に該装置の位置決め部が故障した信号を出
力し、閾値以上で類似パターンが見つかつた場合には、
ステツプ916でずれ量を算出し、ステツプ917であれば量
が画像入力手段10の補償範囲以外であれば、ステツプ91
5で監視装置故障報知部950に該装置の位置決め部が故障
したことを出力する。

次に、基準画像と入力画像との位置ずれ補正について
本発明の特徴を説明する。

第14図は本発明の一構成例を示す図である。監視対象
である配線1,1′,1″、のフランジ部2,2′やバルブ部３
から油４や水５の蒸気６が出ている状態をITVカメラ等
の画像入力手段10,10′で撮像し、その画像を画像入力
制御手段100を通して画像処理部200（第１図）に入力す
る。

13,13′,13″は配管1,1′,1″等に付されたマーク、1
50,150′はカメラの位置や姿勢、しぼり等を制御する画
像入力手段制御部である。

次に第15図を用いて画像処理部200で行なわている第
１のずれ量補正方法を説明する。画像入力手段10,10′
を通して配管1,1′,1″等に付されたマーク、13,13′,1
3″及び、異常現像である漏えいした油４や水５及び蒸
気を含む画像を取込み（ステツプ30）、２値化処理を行
いマーク13,13′,13″を抽出する（ステツプ31）。画像
処理部200（あるいは外部記憶装置14）にあらかじめ登
録されているマーク13,13′,13″のテンプレートを用い
て、画像処理部200でパターンマツチングを行い、テン
プレートと一番一致度の高い座標を検出する（ステツプ
32）。同様に画像処理部200（あるいは外部記憶装置1
4）にあらかじめ記憶されている正常時のマークの位置
座標を参照して、ずれ量（Δx,Δｙ）を算出する（ステ
ツプ33）。該ずれ量（Δx,Δｙ）を補正するため（−Δ
x,−Δｙ）分だけ入力画像をシフトする（ステツプ3
4）。シフトした入力画像と正常時の画像間で対応する
画素の明るさの差の絶対値を検出し、累積する（ステツ
プ35）。その後再度画像を取込み（ステツプ36）、該ス
テツプ34〜36n回繰返えし、入力画像と正常時の画像と
の明暗差の絶対値を累積し、その値があるしきい値以上
かどうかで異常の有無を判定する（ステツプ37）。異常
なしの場合はそのまま終了するが、異常ありの場合は、
その時の入力画像を表示装置800に表示するとともに、
アラームを鳴らす（ステツプ38）。次に、ずれ量補正の
第２の方法を示す。この方法では、入力時の監視画像領
域と正常時の監視画像領域とのずれ量を画像入力手段10
を移動させることにより補正する。すなわち、ずれ補正
量（−Δx,−Δｙ）に相当する信号を画像処理部200か
ら画像入力制御手段100を介して画像入力手段制御150,1
50′に送り、画像入力手段制御部150,150′のステツプ
儲た等により画像入力手段10,10′の位置を補正する
（スツテプ39）。なお、カメラ制御装置15による１回の
補正でずれ量がある誤差範囲内に収まらない場合には、
ステツプ30〜39を繰返し処理することになる。その後、
再度画像を取込み（ステツプ40）、あらかじめ（あるい
は外部記憶装置14）記憶されている正常時の画像との差
の絶対値を検出し、累積する（ステツプ41）。該ステツ
プ40,41をｎ回繰返し、入力画像と正常時の画像との明
暗の差の絶対値を累積し、ステツプ37へ進む。

なお、以上の説明において、正常時の画像は、あらか
じめ画像処理部200（あるいは外部記憶装置14）に記憶
されているとしたが、ステツプ34,35,36、又はステツプ
40,41の繰返しループの第１回目の入力画像を正常時の
画像とすることも可能で、この場合、記憶装置としては
簡単なフロツピーデイスクで良い。次に、第３のずれ量
の補正方法を示す。この場合は、第16図に示すように、
配線１′等の監視対象物の振動の影響を避けるため、水
漏れ５等の発生する可能性のある監視画像領域の一部分
に監視領域（ウインドウ）17,17′をあらかじめ設定し
てある場合には、該監視領域17,17′の枠を入力画像の
ずれ量だけ移動する。すなわち、該領域17,17′内の画
像データではなく、該領域の位置だけを動かす（ステツ
プ42）方法である。本方法では、入力画像を基準画像と
して画像処理部200に記憶し（ステツプ43）、その後、
再度画像を取込み）ステツプ44）、該検査領域17,17′
のみについて基準画像の対応する領域における明暗の絶
対値を検出し、累積する（ステツプ45）。該ステツプ4
4,45をｎ回繰返し、入力画像と基準画像との避の絶対値
を累積し、ステツプ37へ進む。

以上述べた実施例は、（１）ITVカメラ等の画像入力
手段10が固定されており、１台のカメラで１ケ所を監視
する場合や、（２）固定されたITVカメラを首振りをさ
せて複数個所監視させる場合や（３）レール上を走行す
るロボツトに取りつけられたITVカメラで複数個所監視
する場合に適用できる。カメラと監視領域との距離があ
らかじめ決まつており変化しない場合には、正常時の監
視画像領域と入力時の監視画像領域のずれの発生は、２
次元すなわち、ｘ及びｙ軸方向のみと考えてよい。しか
しながら、ある程度自由に走行するロボツトにITVカメ
ラをつけれ監視する場合には、監視対象とロボツトとの
相対的な位置ずれにより、奥行方向（ｚ軸方向）にもず
れが発生し、このずれ量を補正する必要がある。この場
合におけるずれ量補正の方法について第17図を用いて説
明する。第17図のステツプ50〜ステツプ55は第15図のス
テツプ30とステツプ31の間に入るものである。すなわ
ち、ステツプ30で取込んだ画像を２値化してマーク13,1
3′,13′を抽出し（ステップ50）、該マーク13,13′,1
3″の特徴量として面積，縦，横の長さ等を検出する
（ステツプ51）。これらの特徴量と、あるかじめ外部記
憶装置14等に記憶してある正常時の画像中でのマーク1
3,13′,13″の面積や縦，横の長さを参照して、両者の
面積比や、長さの比から、奥行方向のずれ量（ΔＺ）を
求める（ステツプ52）。画像変換による奥行方向のずれ
量の補正は、上記面積比や長さの比をもとにアフイン変
換により入力画像を拡大又は縮小することにより行う
（ステツプ53）。なお、画像入力手段制御部150,150′
による補正は、２次元の場合と同様に、ずれ補正量（−
ΔＺ）に相当する信号を画像処理部200から画像入力手
段制御部150,150′に送り、該手段150,150′のステツプ
モータ等により画像入力手段10,10′の位置を補正する
（ステツプ54）。その後、再度画像を取込み（ステツプ
55）、ステツプ31の処理へ進む。なお、画像入力手段制
御部150による１回の補正で、ずれ量がある誤差範囲内
に収まらない場合には、ステツプ50〜ステツプ55を繰返
し処理することになる。

なお、先に述べたように、監視画像領域の一部分であ
る監視領域17,17′を設定し、該領域内のみを処理する
場合には、奥行方向のずれ量補正は第17図に示すよう
に、ステツプ52の処理の後、入力画像の監視領域枠をず
れ量に相当する量だけ拡大又は縮小することにより行う
（ステツプ56）。その後、第15図のステツプ31,32,33,4
2,43を処理し、ステツプ44,45をｎ回繰返し、ステツプ3
7,38を処理する。

以上、カメラと監視対象物との相対的な位置ずれ補正
について述べたが、相対的な回転ずれ補正も同様にして
可能である。例えば、第18図（ａ），（ｂ）に示すよう
に２個のマーク を用いて、該マークを結ぶ直線の傾きを求めて、回転ず
れ量（Δθ）を求め、ずれ補正量（−Δθ）だけ入力画
像を回転することにより補正できる。なお、第18図
（ａ）は正常時の画像を第18図（ｂ）は入力画像を表わ
す。

以上述べた実施例は、カメラの首振り等による位置ず
れ補正の場合である。さらに、カメラと監視対象物がプ
ラントの起動，停止あるいは回転機等の影響で振動す
る。異常状態（例えば水漏れ、油漏れ等）が発生してい
ないにもかかわらず、この振動により正常時の監視画像
領域あるいは基準画像と入力時の監視画像領域との間に
ずれが生じ、監視対象物の輪郭部分が差分画像にノイズ
として大量に発生し、異常との識別が困難になるという
問題がある。これに対処するために、監視対象物とカメ
ラとの相対的な振動によるずれ量を入力画像毎に求め、
これを補正する必要がある。この方法を第29図を用いて
説明する。

ステツプ30〜ステツプ35及びステツプ39は、第５図の
同一ステツプNo.のものと同じであり、再度、同一シー
ンを写し出す為、カメラの位置が元に戻つた時、カメラ
の首振りによる位置ずれを補正する。その後、再度画像
を取込み（ステツプ60）、２値化しマークを抽出し（ス
テツプ61）、パターンマツチング等によりマークの位置
を検出し（ステツプ62）、正常時の監視画像領域と入力
時の監視画像領域の監視対象物の振動によるずれ量（Δ
x,Δｙ）を検出し（ステツプ63）、入力画像のずれ量を
補正するために（−Δx,−Δｙ）だけ入力画像をシフト
し（ステツプ64）、補正後の画像と正常の画像との明暗
の差の絶対値を求め、それを累積する（ステツプ65）。
その後、該ステツプ60〜65をｎ回繰返し、入力画像と正
常時の画像との明暗の差の絶対値を累積し、その値があ
るしきい値以上かどうかで異常の有無を判定する（ステ
ツプ66）。異常なしの場合は、そのまま終了するが、異
常ありの場合、その時の入力画像を表示装置800に表示
するとともに、アラームを鳴らす（ステツプ67）。この
振動によるずれ量を補正することにより、第16図に示す
ような監視領域17,17′をあらかじめ設定する必要がな
くなるという長所がある。

上記実施例においては、マークを監視対象物あるい
は、監視対象物附近に付す場合について述べたが、マー
クを付けずに、配管等の監視対象物あるいは監視対象物
周辺の形状を用いて位置ずれ補正をすることも可能であ
る。この場合にも、配管等の情報ある部分をあらかじめ
テンプレートとして登録しておき、このテンプレートを
用いてパターンマツチングにより位置ずれ補正できる。
ただし、この場合には、形状をはつきり出すために、輪
郭強調処理やノイズ除去等の処理が若干複雑になる。

また、監視対象の異常のちがい（水漏れ，油漏れ，蒸
気漏れetc.）により、 の様に付けるマークの形を変えることにより、抽出した
マークの形から検出すべき異常の種類が分かる。従つ
て、より正確に異常内容を検出することができる。さら
にマークの色あるいは濃度によりマークの検出のし易さ
が決まる。そこでマークとして、マークの背景例えばマ
ークが付される監視対象物とのコントラストが大きくな
る濃度を有するものを用いる必要がある。

さらにマークについて述べると、マークの形状として
は、監視対象物及びその周辺には存在しない形とする必
要がある。例えば、危険防止のためのトラ縞模様等のマ
ークは不適である。さらに、マーク自身が表面から発光
する媒体から成るもの（例えば蛍光物質を塗布してある
もの）も考えられる。これにより、監視環境の照明が不
足しても、マークを確実に検出できる。また、マークも
１個だけで位置ずれ量を検出するのでなく、第20図
（ａ），（ｂ）に示すように複数のマークを用いて、複
数のマークの中心点等を用いて位置ずれ量を検出する方
が位置ずれ量検出の精度が高くなる。また、複数のマー
クを用いて監視対象領域を第20図（ｂ）に示すように、
複数のマークで囲まれた領域（各マーク間を結ぶ直線で
囲まれた領域20、あるいは各マークを通る円で囲まれた
領域21）とすることができる。

本実施例によれば、監視対象付近にマークを付けるこ
とにより、簡単かつ精度良く位置ずれ量を検出できるの
で、正常時及び入力時の監視画像領域のずれにより発生
するノイズを押えることにより正しく異常の有無を判定
できる。

〔発明の効果〕

本発明によれば、正常時と入力時の監視対象領域のず
れ量を簡単に且つ、精度良く補正できるので、高精度な
監視が可能となつた。また、異常と判定された際にその
異常に対する対策方法を表示することができるので、初
心者でもすばやく異常時の対応ができる。また、監視装
置を２重系にしたことにより、監視が中断なく行なわれ
るので大幅な信頼性の向上が可能となつた。

【図面の簡単な説明】

第１図は本発明の一実施例を示す異常監視装置のブロツ
ク図、第２図は画像入力制御手段で画像を選択する場合
に用いるテーブルを示す図、第３図は画像入力制御手段
で画像を危険度指数で選択する場合に用いるテーブルを
示す図、第４図は画像処理部の内部を示すブロツク図、
第５図は異常の有無を検出する異常検出部の手順を示す
図、第６図はポンプの運転状態情報を検知する場合のブ
ロツク図、第７図は異常の有無を判定する手段を示す
図、第８図は中央監視盤に表示する例を示す図、第９図
はパトロール順路を表示装置にガイダンスした場合の
図、第10図は機器異常の内容により運転員がとるべき対
応操作ガイダンスの例を示す図、第11図はモニタに拡大
表示した例を示す図、第12図は監視装置の故障検知部の
内部を示すブロツク図、第13図は画像入力手段制御部故
障検知部960に関してカメラの位置決め部等の故障検知
を行う手順を示す図、第14図は、ずれ補正に用いるマー
クを示す図、第15図は、ずれ補正の処理フローを表わす
図、第16図は監視領域（ウインドウ）を表わす図、第17
図は、奥行方向のずれ補正の処理フローを表わす図、第
18図（ａ），（ｂ）は回転ずれ補正の方法を説明する
図、第19図は監視対象物とカメラの振動による位置ずれ
を施正する処理フローを表わす図、第20図（ａ），
（ｂ）は複数のマークを用いた場合の説明図である。 10……画像入力手段、100……画像入力制御手段、141…
…危険度指数、150……画像入力手段制御部、160……危
険度指数初期値、170……危険度指数現在値、200……画
像処理部、300……機器・運転状態監視部、500……異常
内容判定部、600……異常情報格納部、700……異常報知
部、800……表示装置、900……監視装置の故障検知部、
950……監視装置故障報知部、1000……切替器。

フロントページの続き (72)発明者 川上 潤三 茨城県日立市久慈町4026番地 株式会社 日立製作所日立研究所内 (72)発明者 深井 雅之 茨城県日立市幸町３丁目１番１号 株式 会社日立製作所日立工場内 (72)発明者 二川原 誠逸 茨城県日立市幸町３丁目１番１号 株式 会社日立製作所日立工場内 (56)参考文献 特開 昭63−300396（ＪＰ，Ａ) 特開 昭62−299189（ＪＰ，Ａ) 特開 昭64−12395（ＪＰ，Ａ) 特開 昭60−116007（ＪＰ，Ａ) 特開 昭60−237548（ＪＰ，Ａ) 特開 昭62−212791（ＪＰ，Ａ) 特開 平１−150815（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08B 13/00 - 15/02 G08B 19/00 - 31/00 H04N 7/18 G06F 15/62 G06F 15/70 H04Q 9/00

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】カメラから監視対象の画像を取り込む手段
   と、 監視対象の重要度を示すテーブルを有し、前記テーブル
   における監視対象の重要度に応じて監視画像を選択する
   画像入力制御手段と、 選択した画像と基準画像とを比較し異常を検出する異常
   検出手段と、 前記異常検出手段の出力から前記異常の内容を判定する
   異常内容判定手段と、 前記判定された異常を報知する異常報知手段とを有する
   ことを特徴とする監視装置。
2. 【請求項２】カメラから監視対象の画像を取り込む手段
   と、 監視対象機器の運転状態に応じた頻度で，監視画像を選
   択する画像入力制御手段と、 選択した画像と基準画像とを比較し異常を検出する異常
   検出手段と、 前記異常検出手段の出力から前記異常の内容を判定する
   異常内容判定手段と、 前記判定された異常を報知する異常報知手段とを有する
   ことを特徴とする監視装置。
3. 【請求項３】カメラから監視対象の画像を取り込む手段
   と、 監視対象機器の運転状態、重要度、危険度のうち少なく
   とも１つに応じて監視画像を選択する画像入力制御手段
   と、 選択した画像と基準画像とを比較し異常を検出する異常
   検出手段と、 前記異常検出手段の出力から前記異常の内容を判定する
   異常内容判定手段と、 前記判定された異常を報知する異常報知手段とを有し、 さらに、それらはそれぞれ同じ機能を果たす予備を有す
   ることを特徴とする監視装置。
4. 【請求項４】カメラから監視対象の画像を取り込む手段
   と、 前記カメラの位置制御を行なう制御部と、 正常時の基準画像と、前記基準画像と監視時の入力画像
   とのマッチングのために監視対象機器に取り付けられた
   識別用マークの画像を記憶しておく手段と、 前記基準画像のマーク位置と前記入力画像のマーク位置
   とを比較して両画像間のずれ量を求める手段と、 前記入力画像をアフイン変換（移動、拡大、縮小、回
   転）することにより前記ずれ量を補正する手段を有する
   ことを特徴とする監視装置。
5. 【請求項５】カメラから監視対象の画像を取り込む手段
   と、 前記カメラの位置制御を行なう制御部と、 正常時の基準画像と、前記基準画像と監視時の入力画像
   とのマッチングのために監視対象機器に取り付けられた
   識別用マークの画像を記憶しておく手段と、 前記基準画像のマーク位置と前記入力画像のマーク位置
   とを比較して両画像間のずれ量を求める手段と、 前記入力画像の監視領域（ウインドウ）の枠をアフイン
   変換（移動、拡大、縮小、回転）することにより 前記ずれ量を補正する手段を有することを特徴とする監
   視装置。
6. 【請求項６】カメラから監視対象の画像を取り込む手段
   と、 前記カメラの位置制御を行なう制御部と、 正常時の基準画像と、前記基準画像と監視時の入力画像
   とのマッチングのために監視対象機器に取り付けられた
   識別用マークの画像を記憶しておく手段と、 前記基準画像のマーク位置と前記入力画像のマーク位置
   とを比較して両画像間のずれ量を求める手段と、 前記制御部によりカメラを動かして前記ずれ量を補正す
   る手段を有することを特徴とする監視装置。
7. 【請求項７】カメラから監視対象の画像を取り込む手段
   と、 前記カメラの位置制御を行なう制御部と、 正常時の基準画像と、前記基準画像と監視時の入力画像
   とのマッチングのために監視対象機器に取り付けられた
   識別用マークの画像を記憶しておく手段と、 前記基準画像のマーク位置と前記入力画像のマーク位置
   とを比較して両画像のずれ量を求める手段と、 前記入力画像をアフイン変換（移動、拡大、縮小、回
   転）することにより前記ずれ量を補正する手段を有し、 前記識別用マークは、 予測される以上の種類に応じて形状の異なるマーク、前
   記マークが取り付けられる背景とのコントラストが十分
   大きくなる色を有するマーク、前記マークが取り付けら
   れる監視対象機器及びその周辺には存在しない固有の形
   状のマーク、及び発光物質を含むマークのいずれかのマ
   ークであることを特徴とする監視装置。
8. 【請求項８】カメラから監視対象の画像を取り込む手段
   と、 前記カメラの位置制御を行なう制御部と、 正常時の基準画像と、前記基準画像と監視時の入力画像
   とのマッチングのために監視対象機器に取り付けられた
   識別用マークで囲まれた画像を記憶しておく手段と、 前記基準画像のマーク位置と前記入力画像のマーク位置
   とを比較して両画像のずれ量を求める手段と、 前記求められたずれ量に基づいて前記入力画像を補正す
   る手段を有することを特徴とする監視装置。