JP3295482B2 - 移動物体検出方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、移動物体検出方法およ
び装置に関り、特に画像情報中に検知対象となる移動体
以外にも移動体があるような場合の、対象とする移動物
体を正確に検出することができる移動物体検出方法およ
び装置に関する。

【０００２】

【従来の技術】火力プラントにおいては、設備の長寿命
化、パトロールの省力化等の要請により、設備監視の自
動化に対する要求が高まっている。そのため重要機器
（例えばボイラへの燃料供給装置、バーナ部、蒸気配管
の主要バルブ等）を監視テレビカメラを用いて、モニタ
ーテレビ上で集中的に監視する方法が広く用いられてい
る。また、近年の画像処理技術および処理装置の進展に
伴い、監視テレビカメラからの画像を画像処理して異常
の有無判断に使用するケースがＦＡ（Ｆａｃｔｏｒｙ
Ａｕｔｏｍａｔｉｏｎ）分野からの波及として増加する
傾向にある。

【０００３】しかしながら、テレビカメラでは監視領域
が限られ、ボイラプラント全体をカバーできず、実際に
は巡視員による１日約６〜７回の目視、または聴覚によ
る巡視点検が行われている。この巡視点検業務は異常発
見に対して熟練を要するものであり、かなりの負担とな
っている。また発電所のニーズとして監視の中央集中
化、または省力化に伴う人的な制約があり、現在、巡視
員に代わって現場を巡視点検するロボットが開発されて
いる。

【０００４】人間の巡視に対する機能を分析すると、
（１）状態把握、（２）移動、（３）状況判断（正常ま
たは異常）、（４）処理機能に大別され、これに相当す
るシステム機能は、（１）センサ技術、（２）移動機
能、（３）コンピュータ技術、（４）運転ガイダンス表
示となる。

【０００５】これらのシステムを具体化し、ロボットに
よる点検システムを実現させると、その概略は次の３つ
の部分から構成される。（１）現場を巡回点検する監視
ロボット、（２）監視ロボットからの情報を処理し、異
常の有無を判断する異常判断装置、（３）現場からの生
画像、生音響を提示し、異常判断装置から異常ありの判
断があれば、異常内容の提示を行うマン・マシン・イン
ターフェイス。

【０００６】監視ロボットには人間の五感のうち視覚、
聴覚、嗅覚および触覚に匹敵するＩＴＶカメラ、マイク
ロフォン、ガスセンサおよび非接触型の温度計を搭載し
ている。これらのセンサを用い、現場内を移動し、各情
報を収集する。この情報を異常判断装置にて、画像デー
タであれば画像処理、音響データであれば音響処理とい
ったように処理し、異常の有無を判断する。

【０００７】ここで異常の検出例を述べる。異常項目は
監視対象、監視場所によって異なるが、ボイラプラント
を例にとると、主に油リーク、蒸気リークに絞られる。
これらのリークは放っておくと重大事故につながり、早
期発見が要求されている項目である。油リークは画像変
化のみを伴うもので、画像変化だけに注目し画像処理を
行い、異常を抽出する。以下に、現在行われている異常
検出画像処理手順を、油リーク検出を例にとり説明す
る。

【０００８】画像処理フローチャートを図４に示す。同
図中に示すように、ロボットは第１画像として対象とな
る機器や場所の正常時の状態を基準画像Ａとしてメモリ
ーに記憶しておく。ボイラでいえば、油リークの発生確
率が高い場所（油配管のフランジ部、バーナ前のオイル
パン（漏れた油を受ける皿状物）等）の正常時の画像で
ある。また２値化処理とは、画像を画素単位でとらえ、
あるしきい値を基準に輝度の高いものを黒、低いものを
白とする処理であり、一般に画像処理の前処理として行
われているものである。

【０００９】ロボットが巡回を行い、第１画像を記憶し
た場所に再度停止すると、図中のフローチャートのよう
な処理を行う。すなわち、第１画面として取込んだ同じ
対象を第２画面として取込む。この第２画面の取込み
は、短時間間隔で複数枚の画面を取込み、それら画像の
平均値処理を行ったものを第２画面Ｂとして取込む。こ
の平均化処理は、複数枚の画面中の、例えば１つの画面
内のノイズによるシミなどを薄める効果がある。次に第
１画像と第２画像の減算を行い変化分を差画像として抽
出し、次いで差画像について２値化処理を行い、ノイズ
除去したのち、差画像中の必要部分のみを取出すウイン
ドウ設定を行い、ウインドウ内の画像中の白と黒の部分
の面積割合を表わすヒストグラムを作成する。次いで白
の部分の面積割合のＷ％によって異常か否かを判定して
いる。この面積計算を行う理由は以下のとおりである。

【００１０】画像と画像とのマッチングは、一般的に固
定カメラで同一場所を取込んだ画像同士でも、必ず１画
素分程度のずれを生じる。これは対象機器の振動等、人
間には変化がわからないような微少な変化分のためであ
る。まして現在行っている監視システムにおいては、固
定カメラではなく、ロボットによる移動カメラを利用し
た画像であり、位置決め再現性は常識的に限度がある。
このずれによる変化分を誤判断しないために、判定基準
にしきい値を設けている。この基準は現在３％としてい
る。すなわち面積計算を行い、変化分が３％以内である
とずれによる画像変化であるとみなし、異常なしと判定
し、３％以上であると異常と判定する。

【００１１】この種の異常検知手法は一般的であり、製
品としては無人監視用デジタル画像センサ等の異常判断
ロジックで使用されている（ただしカメラは固定）。以
上、プラントにおけるロボットによる監視システムの構
成および画像処理手法を利用した異常検知判定例を述べ
た。しかしながら、前述したように、常に基準画像をメ
モリとして持っていなくてはならないという以下のよう
な問題点がある。 （１）日照変化の影響を受け易い（朝基準画像を取込
み、昼に点検に来たら影ができており、その影を異常と
判定することがある）。 （２）基準画像を点検場所、監視対象物ごとに持たなけ
ればならず、ロボットのメモリが巨大になる。 （３）テレビカメラがとらえた画面内であれば、オイル
パン以外の変化、例えばバーナ交換等の定期的作業中で
あっても異常（基準画像と違うもの）と判断してしま
う。

【００１２】以上の問題点を整理してみると、基準画像
を必要とすること、異常と判断するべきもの（油・水蒸
気）とそうでないもの（人・影等）との分類がなされな
いことに集約される。また同じく開発が進められている
ものの中に、屋外、屋内におけるカメラを利用した侵入
者・不審者の検知システムがある。

【００１３】上記システムは、従来では監視カメラによ
り採取した映像を人間が監視することによって行われて
いたものであるが、従来人間が行っていた侵入者・不審
者の検知を画像処理技術により行い、施設の保守、安
全、防犯の省力化を進めるシステムとしての要求が強ま
っている。上記システム中での適応を考えられている画
像処理手法は、前記したプラント監視技術で使われてい
る手法とほぼ同一のものである。

【００１４】このシステムを屋外で適用するために考え
られる克服すべき問題点を挙げていくと以下のようにな
る。 （１）草木の風による揺れや波、潮の干満等の自然環境
の動きにも、基準画像との違いから、異常と判断してし
まう。 （２）小動物や昆虫等の出現にも、異常と判断してしま
う。

【００１５】以上の問題点を整理すれば、前記した油リ
ーク監視と同じく基準画像を持つという点に起因してい
るということである。すなわち、人間が巡視点検を行
い、油リーク、侵入者等を見つける場合は、前回に見た
画像を思い出し、比較するような方法は行っていない。
しかし、人間は高度な脳を持っており、異常判断を行う
場合にも、あらゆる情報より判断を行う。

【００１６】

【発明が解決しようとする課題】上記従来技術は、画像
処理方法における異常判定手法に、正常時の基準画像が
必要であり、正常時の数多くの定量化、モデル化が困難
な外乱に対する適切な除去について配慮されておらず、
誤判断または異常検知の限界が低いなどの問題があっ
た。表１は、検知対象とその外乱をまとめたものであ
る。

【００１７】

【表１】 要するに、正常時の基準画像は無限個あるので対応でき
ない。

【００１８】また画像の経時的変化に伴う物体ごとの認
識ができないため、不定期的な正常な変化を誤認識して
しまう。本発明の目的は、上記従来技術の問題点を解決
し、正常時の基準画像を用いずに多種多様な外乱や曖昧
な情報を含む対象画像を正確に診断する移動物体検出方
法および装置を提供することにある。

【００１９】

【課題を解決するための手段】上記目的を達成するため
本願の第１の発明は、監視領域についての画像情報取出
装置からの画像情報による監視領域の移動物体検出方法
において、画像情報取出装置により所定時間間隔を隔て
て監視対象領域について取込んだ第１画像と第２画像を
移動体検出器に伝送する操作を繰返す工程と、移動体検
出器内で上記操作ごとの第１画像と第２画像の差画像を
求めることにより移動体を検出する工程と、検出した移
動体の画素に対応する移動体検出器中のメモリに所定の
信号値を与える工程と、移動体がほぼ一定の方向に移動
していれば該信号値を移動時間または移動距離に従って
増幅し、移動体検出器中のメモリ信号が所定値を超えた
ときその移動体を移動物体と認識する工程と、移動物体
と認識された物体について画像メモリの中からその大き
さおよび／または形状的特徴量を求め、求めたそれらの
情報信号を移動体判断装置に送る工程と、移動体判断装
置にてそれら情報信号に基づき監視対象とする移動物体
のみを抽出する工程とを備えたことを特徴とする移動物
体検出方法に関する。

【００２０】本願の第２の発明は、監視領域についての
監視カメラからの画像情報により監視領域の移動物体を
検出する方法において、監視カメラにより所定時間間隔
を隔てて監視領域についての第１画像と第２画像を取込
み、これを移動体検知器に伝送する操作を繰返し、移動
体検知器内で上記操作ごとの第１画像と第２画像の差画
像を求めることにより移動体を検出し、検出した移動体
に対応する移動体検出器中のメモリに所定の信号値を与
え、移動体がほぼ一定の方向に移動しておれば該信号値
を移動時間に従って増加または減少させ、移動体の移動
が振動的である場合は該信号値は増減を繰返して所定値
以上または以下とならない値となし、移動体検出器中の
メモリ信号が所定値以上または以下となったとき、その
移動体を移動物体と認識し、移動物体の形状的特徴量お
よび移動状況についての情報を移動体判断装置に伝送
し、該装置にてそれら情報に基づき監視対象とする移動
物体を検出することを特徴とする移動物体検出方法に関
する。

【００２１】本願の第３の発明は、監視領域についての
監視カメラからの画像情報により監視領域の移動物体を
検出する装置において、短い時間間隔を隔てて監視対象
領域について第１画像と第２画像を撮影し、これを移動
体検知器内に伝送する操作を繰返す監視カメラと、移動
体検知器内で上記操作ごとの第１画像と第２画像の差画
像を求めて移動体を検出する手段と、検出した移動体に
対応する移動体検出器中のメモリに所定の信号値を与え
る手段と、移動体の移動状況に応じて上記信号値を変更
して移動体がほぼ一定の方向に移動を続けたときにその
信号値がしきい値以上または以下とする手段と、信号値
がしきい値以上または以下となったときは移動体を移動
物体と認識してその形状的特徴量、大きさ、移動速度、
方向を求めこれら情報をニューラルネットワーク装置に
伝送する手段と、上記伝送された情報に基づき対象とす
る移動物体を検出するニューラルネットワーク装置とを
備えたことを特徴とする移動物体検出装置に関する。

【００２２】

【作用】本発明では監視対象領域について、短い時間間
隔を隔てて、監視カメラのような画像情報取出装置によ
り第１画像と第２画像を移動体検出器に取込み、その差
画像より監視領域に出現した移動体を検出するようにし
ているので、基準画像を準備する必要がない。また検出
した移動体についても、一定方向に移動している本当の
移動体についてのみ、その移動体の画素に対応するメモ
リの信号値が所定値以上に増幅され、単なる草木の揺れ
や波動については信号値が所定値を超えないようになっ
ているので、本当の移動体のみが移動物体と認識され、
認識された移動物体のみについて、その大きさ、形状的
特徴量、移動の状況を求めて、それら情報に基づいて監
視対象とする移動物体であるかどうかを学習済みのニュ
ーラルネットワークのような移動体判断装置により判断
しているので、検出と判断に要する処理手続きと時間が
短縮され、正確な判断結果が得られる。

【００２３】

【実施例】本発明になる侵入者検知システムのアルゴリ
ズムを図１に示す。監視対象領域の情報を取入れるカメ
ラなどの外部情報機器１から得られた画像情報は、コン
ピュータなどを使った移動体検知器２に入力され、ここ
で情報処理され侵入者などの移動体であるか、または単
なる草木の揺れであるかの区分や移動体と判断された場
合の移動体の大きさやその移動物体の形状を分析し、そ
れらの情報を次のニューラルネットワーク３に伝達す
る。

【００２４】監視カメラでは短時間の時間間隔を隔てて
監視対象領域について撮影した第１画像と第２画像を移
動体検知器に伝送し、移動体検知器では両者の排他的論
理和を演算することにより差画像を求める。上記した第
１画像と第２画像の取込みとこの２画像の差分の絶対値
の計算は複数回繰返し実行される。ここまでの工程によ
って、移動した物体の像のみが差画像として求められて
いる状態になっている。ここで、差画像についてあるし
きい値により２値化処理したのち、ノイズ除去する。

【００２５】カメラによってとらえられた移動体の輝度
信号は図２のように変化する（この段階では１次元の移
動としてよい）。図３に示すように、カメラによって撮
られた映画中に移動体が現れたとき、それをとらえた画
素に対応する移動体検知器中のメモリが一定の値αの準
位となる。この移動体が草木の揺れや波などの振動的外
乱であった場合、ある一定の時間ｔごとに等比級数的変
化で減衰していく（図３の（Ｃ））。

【００２６】しかし、移動体が一定時間中にある速度、
方向で移動した場合、最初に与えられた準位αが等比級
数的に増幅され、ある一定の値を超えると、移動体とし
て認識する。すなわち、一定方向へ移動していれば、そ
の輝度信号が増幅され、同じ位置で往復運動している場
合は、ほとんど増幅されないような処理を行う。図３の
（Ａ）は一方向へ移動する侵入者の場合であり、ｊ＝１
の位置に現れたｔ＝０の時点で１０の値の信号値を与
え、ｔ＝１の時点でｊ＝２に進行したとき信号は、最初
の信号１０にα＝０．８の準位を乗じたものと、新たに
加える信号１０（にα＝１を乗じた値）の和である１８
という値となる。このとき、ｊ＝１の位置の輝度信号は
１０×０．８＝８である。時刻ｔ＝２においては、ｊ＝
１の信号は１０×０．６＝６であり、ｊ＝２では１０×
０．６＋１８×０．８＝２０、ｊ＝３では１８×０．８
＋１０＝２５となる。ｔ＝３では移動体はｊ＝４の位置
まで移動し、ｊ＝１、２、３、４における輝度信号値は
それぞれ４、１５、３１、３０となる。なお、時刻ｔに
対する準位αの減衰特性の関係を図３の（Ｃ）に示す。

【００２７】図３の（Ｂ）は往復運動をする外乱の場合
を示すもので、ｔ＝０ではｊ＝１において信号１０が与
えられ、ｔ＝１ではｊ＝１は１０×０．８＝８、ｊ＝２
は１０×０．８＋１０＝１８の信号が与えられ、ｔ＝２
では物体はｊ＝１の位置に戻るので、ｊ＝１は１０×
０．６＋１０＝１６、ｊ＝２は１８×０．８＝１４の信
号値となる。またｔ＝３ではｊ＝１では１６×０．８＝
１３、ｊ＝２では１８×０．６＋１０＝２１の信号値を
与える。

【００２８】図３の（Ｄ）は画像の中の位置ｊと輝度信
号値の関係を示し、準位αがある一定の値を超えると移
動物体として認識する。移動物体ありと認識されると、
移動体検知器は監視カメラから逐次的に記録されていく
画像メモリ中から、移動体の速度、方向、絶対的な大き
さ、物体形状の特徴量を解析する。

【００２９】移動体の絶対値な大きさは、その画像の外
接長方形の縦横寸法（または画像上の面積）および物体
に対する画像の寸法比によって求まる。また、物体の形
状的特徴量としては次のものがある。 （１）慣性主軸（慣性モーメントが最小となる軸）の傾
き、（２）物体像の外接長方形の縦横比、（３）２値化
された画像中の穴（動物の眼、自動の車輪、窓）の数、
（４）周囲長と面積の比率。

【００３０】解析されたそれらのデータ（信号）のほか
に、必要に応じて物体または環境の温度、時間、屋外で
は風力、潮の干満などのデータも別のセンサにより取込
みニューラルネットワークに送り込む。ニューラルネッ
トワークは監視装置の設置条件に合わせてあらかじめ学
習をさせており、ニューラルネットワークに入力された
上記信号を判断の材料として、例えば監視対象領域に侵
入してきた自動車、犬、猫などの動物は監視対象から除
外して、画面中に現れた人物である侵入者像を抽出し
て、侵入者の有無を出力する。

【００３１】この発明においては、移動体検知器がカメ
ラより送られた信号によって、移動体が直線的移動を行
っている場合に信号が増幅、振動の場合は減衰していく
よう関数を選んでいる。むろんこの逆の操作も関数中の
係数を変化させることにより可能である。また移動体の
速度が人間の歩行の平均速度の約０．０５〜５倍程度に
合わせられるよう、関数の変化を３通り並列に変化さ
せ、どれか１つが移動を検知できるようにセットされて
いる。

【００３２】また画像処理手法の応用により、物体の形
状等の特性を抽出する方法を用いており、小動物や昆虫
等の外乱も除去できる。本発明の他の適用例としては以
下のようなものが挙げられる。 （１）現在行われている工場、プラントでの異常監視シ
ステムでは、カメラを固定、または定点にロボットを停
止させて画像を取込んでいるが、移動体の検知・分類が
可能なことより、走行中でも画像処理が可能となる。 （２）また、同手法により、定常的な回転・振動する機
器についての異常判断も可能となる。 （３）定量的にある範囲を正常・それ以外を異常とする
機器（例えば化学反応槽、水位計）の定常的な微小変化
についても有効な手法となる。

【００３３】

【発明の効果】本発明によれば、監視カメラなどの画像
情報入力機器により短時間間隔で対象領域の第１画像、
第２画像を取込み差画像を求め、この操作を繰返すこと
により移動体または異常の有無を検知しているので、監
視対象の正常時の基準画像をあらかじめ準備しておく必
要がなく、かつ照度変化などの影響による誤判断が生じ
ない。さらに、移動体の検知に際しては、草木の揺れや
物体の振動、波などの動きを外乱として除去し、移動体
の大きさや形状的特徴量を求めることにより、対象外の
移動体を除外し、対象とする侵入者などの移動体のみを
正確に検出し、出力することができる。

【図面の簡単な説明】

【図１】本発明における移動体（侵入者）検知システム
のアルゴリズムを示す図。

【図２】本発明において移動体による輝度信号の画面上
の経時的変化を示す図。

【図３】移動体検知装置の中での侵入者と外乱物に対す
る信号の変化を示す図。

【図４】従来の画像処理フローチャートを示す図。

【符号の説明】

１…外部情報機器、２…移動体検知器、３…ニューラル
ネットワーク。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01P 13/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 監視領域についての画像情報取出装置か
   らの画像情報による監視領域の移動物体検出方法におい
   て、画像情報取出装置により所定時間間隔を隔てて監視
   対象領域について取込んだ第１画像と第２画像を移動体
   検出器に伝送する操作を繰返す工程と、移動体検出器内
   で上記操作ごとの第１画像と第２画像の差画像を求める
   ことにより移動体を検出する工程と、検出した移動体の
   画素に対応する移動体検出器中のメモリに所定の信号値
   を与える工程と、移動体がほぼ一定の方向に移動してい
   れば該信号値を移動時間または移動距離に従って増幅
   し、移動体検出器中のメモリ信号が所定値を超えたとき
   その移動体を移動物体と認識する工程と、移動物体と認
   識された物体について画像メモリの中からその大きさお
   よび／または形状的特徴量を求め、求めたそれらの情報
   信号を移動体判断装置に送る工程と、移動体判断装置に
   てそれら情報信号に基づき監視対象とする移動物体のみ
   を抽出する工程とを備えたことを特徴とする移動物体検
   出方法。
2. 【請求項２】 監視領域についての監視カメラからの画
   像情報により監視領域の移動物体を検出する方法におい
   て、監視カメラにより所定時間間隔を隔てて監視領域に
   ついての第１画像と第２画像を取込み、これを移動体検
   知器に伝送する操作を繰返し、移動体検知器内で上記操
   作ごとの第１画像と第２画像の差画像を求めることによ
   り移動体を検出し、検出した移動体に対応する移動体検
   出器中のメモリに所定の信号値を与え、移動体がほぼ一
   定の方向に移動しておれば該信号値を移動時間に従って
   増加または減少させ、移動体の移動が振動的である場合
   は該信号値は増減を繰返して所定値以上または以下とな
   らない値となし、移動体検出器中のメモリ信号が所定値
   以上または以下となったとき、その移動体を移動物体と
   認識し、移動物体の形状的特徴量および移動状況につい
   ての情報を移動体判断装置に伝送し、該装置にてそれら
   情報に基づき監視対象とする移動物体を検出することを
   特徴とする移動物体検出方法。
3. 【請求項３】 監視領域についての監視カメラからの画
   像情報により監視領域の移動物体を検出する装置におい
   て、短い時間間隔を隔てて監視対象領域について第１画
   像と第２画像を撮影し、これを移動体検知器内に伝送す
   る操作を繰返す監視カメラと、移動体検知器内で上記操
   作ごとの第１画像と第２画像の差画像を求めて移動体を
   検出する手段と、検出した移動体に対応する移動体検出
   器中のメモリに所定の信号値を与える手段と、移動体の
   移動状況に応じて上記信号値を変更して移動体がほぼ一
   定の方向に移動を続けたときにその信号値がしきい値以
   上または以下とする手段と、信号値がしきい値以上また
   は以下となったときは移動体を移動物体と認識してその
   形状的特徴量、大きさ、移動速度、方向を求めこれら情
   報をニューラルネットワーク装置に伝送する手段と、上
   記伝送された情報に基づき対象とする移動物体を検出す
   るニューラルネットワーク装置とを備えたことを特徴と
   する移動物体検出装置。