JPH06119454A

JPH06119454A - 異常検出方法および装置

Info

Publication number: JPH06119454A
Application number: JP4270576A
Authority: JP
Inventors: Takayoshi Yamamoto; 隆義山本; Eiji Watanabe; 英二渡辺; Atsushi Nakahara; 淳中原
Original assignee: Babcock Hitachi KK
Current assignee: Mitsubishi Power Ltd
Priority date: 1992-10-08
Filing date: 1992-10-08
Publication date: 1994-04-28

Abstract

(57)【要約】【目的】正常時の基準画像を用いることなく、多種多
様な外乱やあいまいな情報を含む原画像から異常判断を
行う方法および装置を提供する。【構成】監視カメラにより監視対象物を撮影して原画
像として取り込み、原画像の各画素ごとの輝度を多値化
し、多値化された複数個の画素を共通輝度レベルごとに
ブロック化し、ブロック化された各ブロックごとの輝度
レベル値を学習機能を有する階層型ニューラルネットワ
ークに入力することにより原画像、すなわち監視対象物
の異常の有無を検知する。【効果】自己学習機能を有するので、基準画像を持つ
必要がなく、高精度の異常監視が可能になった。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は異常検出方法および装置
に係り、特に画像に含まれる外乱やあいまいな情報の下
でも検知感度の高い異常判断方法および装置に関する。

【０００２】

【従来の技術】火力プラントにおいては設備の長寿命
化、パトロールの省力化等の要請により、設備監視の自
動化要求が強まっている。そのため重要機器（例えば燃
料供給装置、バーナ部、主要バルブ等）を監視テレビカ
メラを用いて、モニタテレビ上で集中的に監視する方法
が広く用いられるようになっている。また、近年の画像
処理技術および処理装置の進展に伴い、監視テレビカメ
ラからの画像を画像処理して異常の有無判定に使用する
ケースがＦＡ（ＦａｃｔｏｒｙＡｕｔｏｍａｔｉｏ
ｎ）分野からの波及として増加する傾向にある。

【０００３】しかしながら、テレビカメラでは監視領域
が限られ、ボイラプラント全体をカバーできず、実際に
は巡視員による１日約６〜７回の目視、または聴覚によ
る巡視点検が行われている。この巡視点検業務は異常発
見に対し熟練を要するものであり、かなりの負担となっ
ている。また、発電所のニーズとして監視の中央集中
化、または省力化に伴う人的な制約があり、現在、巡視
員に代わって現場を巡視点検するロボットが開発されて
いる。

【０００４】人間の巡視に対する機能を分析すると、
（１）状態把握、（２）移動、（３）状態判断（正常ま
たは異常）、（４）処理機能に大別され、これに相当す
るシステム機能は、（１）センサ技術、（２）移動機
構、（３）コンピュータ技術、（４）運転ガイダンス表
示となる。これらのシステムを具体化し、ロボットによ
る点検システムを実現させると、その概略は図１１に示
すように次の３つの部分から構成される。（１）現場を巡回点検する監視ロボット１、（２）監視
ロボットからの情報を処理し、異常の有無を判断する異
常判断装置４、（３）現場の生画像、生音響を提示し、
異常判断装置から異常有の判断が出れば、異常内容の提
示を行うマン・マシン・インターフェース５、監視ロボ
ットには人間の五感のうち、視覚、聴覚、嗅覚および触
覚に匹敵するＩＴＶカメラ、マイクロフォン、ガスセン
サおよび非接触型の温度計を搭載している。これらのセ
ンサを用い、現場内をくまなく移動し、各情報を収集し
て回る。

【０００５】また、ある領域内の異常検知として、河川
などの汚泥や油を監視する場合の検出例を述べる。画像
処理フローチャートを図１２に示す。同図の（ａ）に示
すように、ロボットは第１画像として、監視したい位置
の正常時の状態を画像としてメモリに記憶しておく。こ
こで２値化処理とは画像を画素単位でとられえ、あるし
きい値を規準に輝度の高いものを黒、低いものを白とす
る処理であり、一般に画像処理の前処理として行われて
いるものである。監視時には、図１２の（ｂ）の処理を
行う。すなわち、第１画像として取込んだ同じ位置で第
２画像を取込み、画像と画像の減算を行い変化分を抽出
し、面積計算を行い、異常かどうかを判定する。この面
積計算を行う理由は以下のとおりである。

【０００６】画像と画像のマッチングは、一般的に固定
カメラで同一場所を取込んだ画像同士でも、必ず１画素
分ぐらいのズレを生じる。これはカメラの揺れなどがあ
るためであり、まして、川の流れのように、表面の輝度
が時々刻々変化しているので、正常時でも差画像として
画像のズレが生じる。すなわち、減算を行うと、正常な
画像においても画像変化分が抽出され、この変化分を誤
判定しないために、判定規準にしきい値を設けている。

【０００７】以上の処理を行った実例を図１３に示す。
これは川の流れの表面をカメラにより監視した場合であ
る。図においてＡ₁は正常時の画像であり、Ｂ₁は水面
上に油が浮いて流れている場合の画像である。この２つ
の画像を前処理として、ノイズ除去、２値化処理を行っ
たものがＡ₂とＢ₂である。次にＡ₂とＢ₂においてＥ
ＸＯＲ演算（排他的論理和演算）を行うと、油の部分と
その他に川の水面上のズレも検出された画像Ｃを得るこ
とができる。この種の異常検知手法は一般的であり、製
品としては無人監視用デジタル画像センサ等の異常判断
ロジックで使用されている（ただし、カメラは固定）。

【０００８】しかしながら、前述したように、常に基準
画像をメモリとして持ってなくてはならないという不便
さがあり、以下のような問題点がある。１）日照変化の影響を受け易い（朝と昼で基準画像に大
きな輝度の差がある。また、木や橋等の何らかの影が存
在すると、その影を異常と判断してしまう）。２）対象物がズレたりすると基準画像との画像変化が大
きくなり異常と判定。３）ロボットに正確な位置決めが要求される。４）基準画像を点検場所、監視対象物ごとに持たなけれ
ばならず、ロボットのメモリ不足となる。

【０００９】

【発明が解決しようとする課題】上記従来技術は、画像
処理方法における異常判定手法に、正常時の基準画像が
必要であり、正常時の数多くの定量化、モデル化が困難
な外乱に対する適切な除去について配慮されておらず、
誤判断、または異常検知の限界が低いなどの問題があっ
た。要するに、正常時の基準画像は無限個あるので対応
できない。

【００１０】本発明の目的は、正常時の基準画像を用い
ずに多種多様な外乱やあいまいな情報を含む原画像から
異常判断を行う方法および装置を提供することにある。

【００１１】

【課題を解決するための手段】上記目的を達成するため
本願の第１の発明は、監視カメラにより監視対象物を撮
影し、その撮影画像により監視対象物の異常の有無を判
断する異常検出方法において、監視カメラにより監視対
象物を撮影して原画像として取込む工程と、この原画像
の各画素ごとの輝度を多値化する工程と、上記工程によ
り多値化された複数個の画素を共通輝度レベルごとにブ
ロック化する工程と、ブロック化された各ブロックごと
の輝度レベル値を学習機能を有するニューラルネットワ
ークに入力することにより原画像の異常の有無を判断
し、監視対象物の異常の有無を検出する工程とからなる
ことを特徴とする異常検出方法に関する。

【００１２】第２の発明は、監視対象物を撮影する監視
装置と、該装置の撮影画像を取込み、その画像データの
輝度および／または色相を入力信号とする学習機能を有
する階層型ニューラルネットワークとを備え、監視対象
物の異常の有無を判断する異常検出装置において、上記
ニューラルネットワークが、画像圧縮を行う階層型ネッ
トワークと、特徴抽出を行うフィードバック型ネットワ
ークと、正常／異常を判断する階層型ネットワークの複
合ネットワークにより構成されることを特徴とする異常
検出装置に関する。

【００１３】第３の発明は、上記第２の本発明におい
て、正常／異常を判断する階層型ネットワークの出力層
を、正常、異常、要観察の３種類のニューロンで構成し
たことを特徴とする異常検出装置に関する。第４の発明
は、監視カメラにより監視対象物を撮影する工程と、そ
の撮影した画像データを学習機能を有する階層型ニュー
ラルネットワークに入力して上記対象物の異常の有無を
判断する工程とを備えた異常監視方法において、上記ニ
ューラルネットワークの入力層のニューロン数よりも次
の中間層のニューロン数をより少なくした階層型ネット
ワークに、前記画像データを入力して画像圧縮をする工
程と、圧縮された画像データを中間層のニューロン数よ
り少数のニューロンを有する出力層に入力して異常の有
無を判断する工程とを有し、かつ、上記画像圧縮工程の
適否をチェックするため、上記ニューラルネットワーク
を作動させるに先立ち、上記出力層のニューロン数を入
力層と同数として、中間層からの信号を入力して画像の
復元を行い、入出力層での対応する画像位置の輝度の差
が所定値以下となるように入力層と中間層、中間層と出
力層との間のシナプスの重みを補正する工程を設けたこ
とを特徴とする異常検出方法に関する。

【００１４】第５の発明は、監視対象物を撮影する監視
カメラと、該カメラの撮影画像データの輝度および／ま
たは色相を入力信号とする学習機能を有する階層型ニュ
ーラルネットワークとを備え、監視対象物の異常の有無
を判断する異常検出装置において、上記ニューラルネッ
トワークが、特徴抽出を行うフィードバック型ネットワ
ークと、正常／異常を判断する階層型ネットワークの複
合ネットワークにより構成され、かつ上記フィードバッ
ク型ネットワークが、各ニューロンの出力値を他のニュ
ーロンの入力値としてフィードバックするシナプスの重
みに、後述する２０式で示す修正を加える構成を備えて
いることを特徴とする異常検出装置に関する。

【００１５】

【作用】本発明によるニューラルネットワークは、学習
機能により最適な画像圧縮と、特徴抽出および正誤判断
を行ことが可能なので、基準画像との比較演算が不要
で、外乱に対する誤判断が少なく、検知性能を向上させ
ることができる。

【００１６】

【実施例】本発明の異常検出のアルゴリズムを図１に示
す。カメラにより原画像を取込むが、この１画面は、多
数の画素から構成されている。例えばテレビでは、縦方
向２５６列、横方向２５６行に、つまり、２５６×２５
６＝６５，５３６個の画素から構成され、１画素は０〜
２５５の２５６段階に分けられた輝度信号を出力する。
従来技術では、この輝度信号を、あるしきい値により０
か１に、つまり白か黒かに決めて（２値化）、画像処理
を行っていたが、本実施例では、多値化として１０段階
の輝度信号に分割した。このことにより、原画像の中の
わずかな情報を欠落させることなく、次工程の画像認識
処理が効果を出すことができた。もちろん、原画像の輝
度分布がほぼ白と黒に分かれており、中間的な輝度成分
が少ない場合は、２値化でも充分な画像認識が可能であ
る。

【００１７】次の工程は、ブロック化である。原画像の
全ての画素数、例えば前記の場合６５，５３６個の情報
を本発明のニューラルネットワークへ入力しようとする
とニューロンの数、さらにシナプス結合数は膨大とな
り、非現実的である。また原画像の輝度データには、画
像認識を行って異常の度合いや正常などの判断をすると
いう目的上、不要な、またはあまり影響を持たない画素
の情報は無視し、さらにある輝度分布のものは、１つに
代表させるなどの前処理を施すとこによるブロック化を
行う。この方法には、図３に示すように標本中央値を出
力するメジアンフィルタや標本平均値を出力する一様平
滑化フィルタなどがある。

【００１８】以上のブロック化により、６５，５３６個
の画素データを有効な数の入力データに削減し、ニュー
ラルネットワークにて異常判断を行う。このニューラル
ネットワークの構成を図２に示す。このネットワーク
は、入力層（Ｓ層）、中間層（ＡおよびＢ層）、出力層
（Ｒ層）の４層よりなっている。これを機能的に分類す
るとＳ層→Ａ層をＳＴＥＰＩ：画像圧縮の機能、Ｂ層を
ＳＴＥＰII：特徴抽出の機能、Ｂ層→Ｒ層をＳＴＥＰII
I ：判断機能の３つの機能を有している。これらの機能
を有するためには、ある正常な、または異常な画像デー
タを入力層（Ｓ層）に入力し、各々のＳＴＥＰで学習さ
せる必要がある。すなわち、これらの学習の手法が重要
なポイントとなる。

【００１９】ＳＴＥＰＩの画像圧縮を行う階層型ネット
ワークについての学習方程式を図４および以下に示す。
本図の入力層のＰ個のニューロンは、図２の入力層の個
数とする。中間層Ｋ個を入力層Ｐ個より少なくすること
によりデータ圧縮ができるが、最適な圧縮かどうかは、
出力層で入力層と同じＰ個のニューロンにより画像復元
を行い、入出力層で対応する輝度

【００２０】

【外１】

【００２１】とｇ_pの差が最小となるように、入力層
（Ｓ層）〜中間層（Ａ層）および中間層（Ａ層）〜出力
層（Ｒ層）間のシナプスの重み

【００２２】

【外２】

【００２３】と

【００２４】

【外３】

【００２５】を決定する。この過程は、（１１）式およ
び（８）式にて各シナプスの重みを修正してやることで
達成される。これらの修正式は、式（１）〜（７）およ
び（９）、（１０）式より導出される。ＳＴＥＰIIでは
フィードバックを有するネットワークとし、各ニューロ
ンの出力値ｚ_iは、（１３）式で定義されるポテンシャ
ル関数が極小となる状態で平衡値となる。つまりＳＴＥ
ＰＩよりの入力データの特徴抽出に対応する。この平衡
状態になるように学習させるには、階層型ネットワーク
／教師信号有の場合と異なり、ポテンシャル関数Ｕに基
づいた（２０）式によりニューロンｉとｊの間のシナプ
ス重みｗ_ijを修正することで達成される。この（２０）
式の導出については、（１２）〜（１９）式に示す。ＳＴＥＰＩの学習方程式入力層は、Ｐ個のブロック化した輝度で構成され、ｐ番
目のブロックの輝度を（外１）とする（ｐ：１〜Ｐ）。

【００２６】中間層（Ａ層）は、Ｋ個のニューロンと
し、入力層（Ｓ層）のブロックとシナプス結合させる。
入力層（Ｓ層）ｐ番目のブロックと中間層（Ａ層）Ｌ番
目のニューロンとのシナプス重みを（外２）とし、中間
層Ｌ番目のニューロンと出力層ｐ番目のブロックとのシ
ナプス重みを（外３）とする。ブロック化した原画像の
輝度（外１）と中間層を経て出力層で復元された画像の
輝度ｇ_pには、ある誤差が生じるが、この誤差を１つの
画像、つまりＰ個のブロックについて、２乗誤差の総和
として損失関数ｒを（１）式で定義する。

【００２７】

【数２】

【００２８】まずＡ層とＲ層の間のシナプス重み
（外３）の修正の方法は、定理（２）式を用いる。

【００２９】

【数３】

【００３０】ここで、△ｗ＝ｗ（ｔ＋１）−ｗ（ｔ）、
ｔ：学習の回数であり、△ｗだけシナプスの重みｗを修
正する。Ｒ層のニューロンｐへの入力の総和

【００３１】

【外４】

【００３２】は、（３）式で表わされる。

【００３３】

【数４】

【００３４】ここで、

【００３５】

【外５】

【００３６】はＡ層のニューロンＬの出力で（４）式で
表わされる。

【００３７】

【数５】

【００３８】ここで、ｆはニューロンの入出力関数、

【００３９】

【外６】

【００４０】はＡ層ニューロンＬへの入力の総和で、各
々（５）および（６）式で示す。

【００４１】

【数６】

【００４２】

【数７】

【００４３】ここで、τ：時定数、（外１）：Ｓ層のニ
ューロンｐの輝度さて、（２）式右辺の微分は、次の（７）式のように変
形できる。

【００４４】

【数８】

【００４５】したがって、（２）式は（７）式を代入す
ることにより（８）式となる。

【００４６】

【数９】

【００４７】つまり、Ａ層〜Ｒ層間のシナプスの重み
（外３）は、Ｒ層での輝度の誤差（外１）−ｇ_p）をベ
ースに（８）式により修正すればよいことがわかる。次に、Ｓ層とＡ層の間のシナプスの重み（外２）の
修正方法は、のときと同じく定理により、（９）式を
用いる。

【００４８】

【数１０】

【００４９】でのＳＴＥＰと同様に、（９）式右辺の
微分項は（１０）式のように変形できる。

【００５０】

【数１１】

【００５１】したがって、（１０）式を（９）式右辺に
代入すると、（１１）式となる。

【００５２】

【数１２】

【００５３】つまり、Ｒ層での誤差（（外１）−ｇ_p）
と、の（８）式により修正したＡ層〜Ｒ層間のシナプ
ス重み（外３）を用いて、（１１）式によりＳ層〜Ａ層
間のシナプスの重み（外２）を修正すればよいことがわ
かる。ＳＴＥＰII フィードバック型ネットワークの学習方法学習の基本仮説は、Ｈｅｂｂの仮説を用いる。

【００５４】つまり『シナプスの重みｗ_iは、そのシナ
プスへの入力の強さｘ、およびそのニューロンの学習信
号Ｔとの積Ｔｘに比例して増加する』から、学習方程式
は、以下の（１２）式で示される。

【００５５】

【数１３】

【００５６】ここでα₁：減衰係数０＜α₁＜１ β ：学習の効率ところで、ポテンシャル関数Ｕを次の（１３）式で定義
する。

【００５７】

【数１４】

【００５８】ここで、ｚ_i、ｚ_jはニューロンｉ、ｊの
出力、ｗ_ijはｉとｊのシナプス重み、ａ_iはそのニュー
ロンｉへの単独の入力。また、このポテンシャル関数Ｕ
をｗで微分したものが次の（１４）式となるようにも定
義する。

【００５９】

【数１５】

【００６０】すると、シナプスの重みｗの修正量は、
（１２）式と（１４）式から

【００６１】

【数１６】

【００６２】となる。図５のようにｎ個のニューロンに
ついてポテンシャル関数（１３）式を書き改めると、

【００６３】

【数１７】

【００６４】となる。ここで、Ｈｏｐｆｉｅｌｄが提案
した次の条件を考える。（イ）ｉ←→ｊのニューロン間は、対称結合（ロ）自分自身のニューロンへのフィードバックはなし

【００６５】

【数１８】

【００６６】を（１６）式に代入すると、

【００６７】

【数１９】

【００６８】となる。このポテンシャル関数Ｕをｗ_ijで
偏微分すると、

【００６９】

【数２０】

【００７０】となる。この（１９）式をシナプスの重み
ｗの修正式（１５）に代入すると、

【００７１】

【数２１】

【００７２】となる。この（２０）式によりシナプスの
重みｗ_ijの修正が可能となる。ここで、

【００７３】

【数２２】

【００７４】である。ＳＴＥＰIII では、前記ＳＴＥＰ
IIで平衡状態になったＢ層の各ニューロンからの出力ｚ
_mに対し、図２の出力層を４個のニューロンとし、正常
、正常、異常、要観察の４種類の判断を行わせる。
図６に示すモデルにおいて、Ｂ層〜Ｒ層間の学習方法に
ついて以下に示す。ＳＴＥＰIII 判断を行う階層型ネ
ットワーク（Ｂ層〜Ｒ層間）の学習方法Ｒ層のニューロ
ンｎへの入力の総和を

【００７５】

【外７】

【００７６】とすると、

【００７７】

【数２３】

【００７８】ここで、ｚ_mはＢ層のフィードバック型ネ
ットワークの平衡状態になったときのニューロンｍの出
力。Ｒ層のニューロンｎの入出力関数をｆとすると、出
力

【００７９】

【外８】

【００８０】は、

【００８１】

【数２４】

【００８２】となる。シナプスの重み

【００８３】

【外９】

【００８４】の修正は、ＳＴＥＰＩと同様、

【００８５】

【数２５】

【００８６】

【数２６】

【００８７】に基づき、以下の導出により修正式を求め
ることができる。

【００８８】

【数２７】

【００８９】（２６）式を（２５）式に代入すると、

【００９０】

【数２８】

【００９１】となる。ここで、入出力関数ｆを、

【００９２】

【数２９】

【００９３】とすれば、

【００９４】

【数３０】

【００９５】となる。Ｒ層の出力（外８）と教師信号ｙ
_nとの差をベースに、（２７）式に基づきＢ層とＲ層の
間のシナプスの重み（外９）を修正すればよい。ただ
し、実際の学習課程においては、次の（２８）式に示す
ように、前回のシナプス重みの修正量（外９）（ｔ）の
影響をある程度考慮したほうが、学習が振動しにくく、
収束し易い。

【００９６】

【数３１】

【００９７】同様にＡ層〜Ｒ層間についても、（８）式
より

【００９８】

【数３２】

【００９９】ここで、ｔ：学習の回数（または時間）正常とは、正常な画像には外乱が多く、例えば、川
の流れの表面に油なしの状態でも、他の構造物等の影が
川の流れ表面にある場合は、正常のニューロンが１を
出力し、影がない場合は正常のニューロンが１を出力
するように分けないと学習や判断がうまくいかなかっ
た。

【０１００】また、学習に用いた画像や異常な画像の程
度からかけ離れた入力画像に対しては、正常または異常
といった判定だけでなく、“要観察”を意味する出力を
出すニューロンも設けることにより、人間でも判断が難
しい画像にも対応した検知装置が実現でき、このことに
より、正常、異常の判断の信頼性が向上する。図７に
は、本発明の実施例でニューラルネットワークに学習さ
せるパターンを示す。すなわち、川の流れ表面の画像を
最終的に１０×１０の１００個の入力層ニューロンに入
力し、本発明のニューラルネットワークで影なし、影あ
り／正常な場合（６パターン）および油が浮いている／
異常な場合（５パターン）を学習させた。このネットワ
ークに、川の表面の中に油が漏れた場合の画像を入力し
たところ、影の中に油が漏れた場合でも異常と認識する
ことができた。従来の画像処理による判断では、まず影
が川の表面の中にある場合、ない場合をともに正常と判
断することは容易でなく、また影の中の油漏れの検出は
困難であった。

【０１０１】図８には、日照変化があった場合の日向の
中の油検知テストの結果を示す。横軸に油の面積割合
（川の表面の対象部全体を１００％とする）をとり、縦
軸に正常／異常度を示す。日向の輝度が２のとき（川の
表面対象部の中が暗い）は、油の占める面積割合が５〜
１０％以上で異常と判断でき、日向の輝度が３以上で比
較的明るくなると３％以上の面積の油漏れで異常と認識
できる。

【０１０２】図９には、影の中の油の検知テストを行っ
た結果を示す。影の面積によらず、約３％以上の面積割
合の油漏れは、影の中でも検知できることがわかる。本
発明の他の実施例としては、画像の種類が可視画像に限
らず、赤外線カメラによる熱画像に対しても実施可能で
ある。検知または認識しようとする対象物の画像の信号
として、輝度信号ではなく、赤（Ｒ）、緑（Ｇ）、青
（Ｂ）の色信号を入力層にインプットして、学習させ、
対象物の異常を判断するシステムにも、本発明の実施が
可能である。この効果としては、微妙な色合い、色のむ
らなどの検出に有効である。

【０１０３】また、画像情報を圧縮させる必要がない場
合は、ＳＴＥＰＩとしてフィードバック型ネットワーク
とし、ＳＴＥＰIIに階層型ネットワークとする２相の複
合型ニューラルネットワークによっても本発明の実施が
可能である。この実施例を図１０に示す。もちろん、判
断すべき画像の正常／異常の分別が比較的容易な場合
は、階層型ネットワークの出力層のニューロン数を２個
としても実施可能である。

【０１０４】次に、本発明の他の実施例を説明する。本
実施例は、図２のＳＴＥＰIIのフィードバック型のネッ
トワークとしてボルツマンマシンを用いて入力画像中の
特長抽出を行わせるものである。この場合の具体的解法
を以下に述べる。図１４に示すｘｙ座標系での各画素の
輝度を

【０１０５】

【外１０】

【０１０６】、（ｘ、ｙ）の画素と（ｘ＋１、ｙ）の画
素の間に垂直エッヂが存在する場合は、ｖ_xy＝１、存在
しない場合はｖ_xy＝０とする。また（ｘ、ｙ）の画素と
（ｘ、ｙ＋１）の画素との間に水平エッヂが存在する場
合は、ｈ_xy＝１、存在しない場合はｈ_xy＝０とする。こ
の設定に基づいて、ボルツマンマシンを応用して画像の
中の特長抽出を行う場合、まず画像のエネルギ関数を定
義する必要がある。

【０１０７】画像の連続性とエッヂの関係について述べ
る。これは、ある注目画素の輝度と隣の画素の輝度は似
ているだろうという連続性から、

【０１０８】

【数３３】

【０１０９】および

【０１１０】

【数３４】

【０１１１】が小さくなればよい。また、これらの画素
間にエッヂｈ_xyが存在する確率は、隣の画素間との輝度
差が大きくなれば、大きくなり１に近づくので、上記連
続性に相反して作用することから、

【０１１２】

【数３５】

【０１１３】にて定義されるエネルギＥ₁を小さくする
ことで、画像の連続性とエッヂの関係を表わすことがで
きる。ここで

【０１１４】

【数３６】

【０１１５】とする。次にエッヂに対する制約条件を考
える。１つは、画像の中には多くのノイズが含まれてお
り、数多くのノイズが表れるので、不要なエッヂは少な
い方がよい。もう１つは、水平エッヂは水平に繋がるべ
き、垂直エッヂは垂直方向に繋がるべきである。これら
を次の（３１）式の各々第１項と第２項で示す。ここで
Ｃ₁、Ｃ₂は、各々の影響の度合を決める係数を示す。

【０１１６】

【数３７】

【０１１７】ところで、輝度の差とエッヂの存在する確
率は次式の関係とする。

【０１１８】

【数３８】

【０１１９】隣接する輝度の差

【０１２０】

【外１１】

【０１２１】や

【０１２２】

【外１２】

【０１２３】とエッヂの存在する確率は、図１５に示す
形の関係にあり、パラメータλの値により適用画像によ
ってエッヂの確率に対する輝度差の影響を調整すること
ができる。以上より、画像中の特長を抽出するための画
像のエネルギ関数としては、次式となる。

【０１２４】Ｅ＝Ｅ₁ ＋Ｅ₂ ………… （３６）式次に、この画像エネルギＥを最小化することにより、画
像の連続性とエッヂの関係およびエッヂに対する制約条
件を満たす最適な状態を探索することができる。その
際、ボルツマンマシンの各ニューロンのとり得る値は、
０または１であるから、（３６）式のＥ₂（つまり（３
１）式）の解法として採用し、Ｅ₁（（３０）式）につ
いては、各画素の輝度値ｆ_xyは０〜１の実数値にて取り
扱うために、ここでは、最急降下法により解くことにす
る。

【０１２５】全体の解法のフローチャートを図１６に示
す。次に、具体的なＥ₁についての（３０）式を最急降
下法で解く方法を下記に示す。

【０１２６】

【数３９】

【０１２７】ここでは、ｈ_xy、ｖ_xyは定数とみなし、ｆ
_xyについて最適化を行う。最急降下法による最適化を行
うため、以下の偏微分を求める。

【０１２８】

【数４０】

【０１２９】よって

【０１３０】

【数４１】

【０１３１】となり、次の（３９）式に示す漸化式によ
って最適なｆ_xyを求める（最急降下法）。

【０１３２】

【数４２】

【０１３３】次にＥ₂についての（３１）式をボルツマ
ンマシンにて解く場合について、以下に示す。

【０１３４】

【数４３】

【０１３５】ボルツマンマシンのエネルギ関数の式（４
２）

【０１３６】

【数４４】

【０１３７】と比較して

【０１３８】

【数４５】

【０１３９】エッヂｈ_xy、ｖ_xyについて、各々（４３）
式および（４４）式が示す係数をセットすることによ
り、独立のボルツマンマシンが構成される。

【０１４０】

【発明の効果】本発明によれば、自己学習機能を有する
ので、外乱に強い画像認識が可能となった。したがっ
て、従来技術では日照変化、影、ロボットの位置決めの
誤差、対象物のずれ、等の外乱の下で、誤判断を減少さ
せるためには、あるしきい値を設けており、この中に埋
もれた異常は検知不能であったが、本発明では判断可能
となった。

【図面の簡単な説明】

【図１】発明のフローを示す概要図。

【図２】本発明の一実施例の全体図。

【図３】本発明における画像データのブロック化を示す
図。

【図４】本発明の一実施例中の構成要素ＳＴＥＰＩの説
明図。

【図５】本発明の一実施例中の構成要素ＳＴＥＰIIの説
明図。

【図６】本発明の一実施例中の構成要素ＳＴＥＰIII の
説明図。

【図７】本発明の実施例において、ニューラルネットワ
ークに学習させる学習を示す図。

【図８】本発明の実施例において、油の検知テスト（日
照変化）結果を示す図。

【図９】本発明の実施例において、油の検知テスト（影
の中の油）結果を示す図。

【図１０】本発明の他の実施例図。

【図１１】従来技術（全体構成）の説明図。

【図１２】従来技術をフローチャートで示す図。

【図１３】従来技術の説明図。

【図１４】ｘｙ座標系の画素の輝度および画素間のエッ
ヂを示す図。

【図１５】隣接画素間の輝度の差とエッヂの存在確率の
関係図。

【図１６】本発明の実施例における特長抽出の他の方法
によるフロー図。

Claims

【特許請求の範囲】

【請求項１】監視カメラにより監視対象物を撮影し、
その撮影画像により監視対象物の異常の有無を判断する
異常検出方法において、監視カメラにより監視対象物を
撮影して原画像として取込む工程と、この原画像の各画
素ごとの輝度を多値化する工程と、上記工程により多値
化された複数個の画素を共通輝度レベルごとにブロック
化する工程と、ブロック化された各ブロックごとの輝度
レベル値を学習機能を有するニューラルネットワークに
入力することにより原画像の異常の有無を判断し、監視
対象物の異常の有無を検出する工程とからなることを特
徴とする異常検出方法。
【請求項２】監視対象物を撮影する監視装置と、該装
置の撮影画像を取込み、その画像データの輝度および／
または色相を入力信号とする学習機能を有する階層型ニ
ューラルネットワークとを備え、監視対象物の異常の有
無を判断する異常検出装置において、上記ニューラルネ
ットワークが、画像圧縮を行う階層型ネットワークと、
特徴抽出を行うフィードバック型ネットワークと、正常
／異常を判断する階層型ネットワークの複合ネットワー
クにより構成されることを特徴とする異常検出装置。
【請求項３】請求項２において、正常／異常を判断す
る階層型ネットワークの出力層を、正常、異常、要観察
の３種類のニューロンで構成したことを特徴とする異常
検出装置。
【請求項４】監視カメラにより監視対象物を撮影する
工程と、その撮影した画像データを学習機能を有する階
層型ニューラルネットワークに入力して上記対象物の異
常の有無を判断する工程とを備えた異常監視方法におい
て、上記ニューラルネットワークの入力層のニューロン
数よりも次の中間層のニューロン数をより少なくした階
層型ネットワークに、前記画像データを入力して画像圧
縮をする工程と、圧縮された画像データを中間層のニュ
ーロン数より少数のニューロンを有する出力層に入力し
て異常の有無を判断する工程とを有し、かつ、上記画像
圧縮工程の適否をチェックするため、上記ニューラルネ
ットワークを作動させるに先立ち、上記出力層のニュー
ロン数を入力層と同数として、中間層からの信号を入力
して画像の復元を行い、入出力層での対応する画像位置
の輝度の差が所定値以下となるように入力層と中間層、
中間層と出力層との間のシナプスの重みを補正する工程
を設けたことを特徴とする異常検出方法。
【請求項５】監視対象物を撮影する監視カメラと、該
カメラの撮影画像データの輝度および／または色相を入
力信号とする学習機能を有する階層型ニューラルネット
ワークとを備え、監視対象物の異常の有無を判断する異
常検出装置において、上記ニューラルネットワークが、
特徴抽出を行うフィードバック型ネットワークと、正常
／異常を判断する階層型ネットワークの複合ネットワー
クにより構成され、かつ上記フィードバック型ネットワ
ークが、各ニューロンの出力値を他のニューロンの入力
値としてフィードバックするシナプスの重み（Ｗij）
に、【数１】で示す修正を加える構成を備えていることを特徴とする
異常検出装置。