JPH07128200A

JPH07128200A - 監視方法および装置

Info

Publication number: JPH07128200A
Application number: JP29610193A
Authority: JP
Inventors: Takayoshi Yamamoto; 隆義山本; Shigeru Kamata; 茂鎌田; Atsushi Nakahara; 淳中原
Original assignee: Babcock Hitachi KK
Current assignee: Mitsubishi Power Ltd
Priority date: 1993-10-31
Filing date: 1993-10-31
Publication date: 1995-05-19

Abstract

(57)【要約】【目的】監視対象物の画像とそれ以外の背景画像との
識別ができ、しかもその識別を迅速に行うことができる
監視方法と装置を提供すること。【構成】カメラ１からの入力画像は画像分割手段２で
分割され、分割された画像の各ブロックの各々の輝度は
輝度平均化手段３で平均化され、監視対象物抽出手段４
で監視対象物であるか否かが判定される。そして、監視
対象物抽出手段４により監視対象物ではないと判定され
た領域は背景画像更新手段５により背景像として背景画
像６を更新する。また、監視対象物抽出手段４により、
監視対象物であると判定された領域は監視対象物認識手
段７により監視対象物を認識する。こうして、屋外で移
動体の輪郭などを抽出し、該移動体が何であるかが認識
することができる。また、スネークス法と遺伝子アルゴ
リズムを組み合わせた最適解を求めることで監視対象物
の輪郭抽出を忠実に行うことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、監視システムに係り、
特にニューラルネットワークを判断機能に有し、その汎
化能力の維持・向上に好適で、再学習により判断機能を
高度化した監視装置に関する。

【０００２】

【従来の技術】例えば、火力プラントにおいては設備の
長寿命化、パトロールの省力化などの要請により、設備
監視の自動化要求が強まっている。そのため重要機器
（例えば燃料供給装置、バーナ部、主要バルブなど）を
監視テレビカメラを用いて、モニタテレビ上で集中的に
監視する方法が広く用いられるようになっている。ま
た、近年の画像処理技術および処理装置の進展に伴い、
監視テレビカメラからの画像を画像処理して異常の有無
判定に使用するケースがＦＡ（Factory Automation）分
野からの波及として増加する傾向にある。しかしなが
ら、テレビカメラでは監視領域が限られ、火力プラント
全体をカバーできず、実際には巡視員による１日約６〜
７回の目視、あるいは聴覚による巡視点検が行われてい
る。この巡視点検業務は異常発見に対し熟練を要するも
のであり、かなりの負担となっている。また、火力発電
所のニーズとして監視の中央集中化、あるいは省力化に
伴う人的な制約があり、現在、巡視員に代わって現場を
巡視点検するロボットが開発されている。異常発見のた
めには、まず、監視対象物を背景の画像と識別して認識
できる監視ロボットを開発する必要がある。特に監視対
象物が移動体である場合には、迅速にその移動体を認識
する必要がある。監視カメラで取り込んだ対象画像の輪
郭の抽出方法として、従来の画像処理、認識方法では、
輝度分布の微分オペレータなどにより画像全体にエッジ
強調を施した後、適切なしきい値で２値化する方法がよ
く用いられている。しかし、この方法では抽出しようと
する輪郭情報以外の情報も多く含まれてしまうので、信
号と雑音との一意的に分離が非常に難しい。

【０００３】また、監視対象物の抽出方法としてエネル
ギー最小化原理を用いて対象となる領域の輪郭を抽出す
る方法が知られている。この方法はエネルギー関数から
オイラー方程式を得て、それを解くことによりエネルギ
ーの最小値を求める方法である。エネルギー最小化原理
を用いた手法の中で、スネークス法（ M.Kass, A.Witi
k, and D.Terzopoulos: “Snakes: Active Contour Mod
el", Internationalof Computer Vision, Vol.1, No.
4, pp.321-331(1988)）が知られている。この手法はエ
ネルギー関数を輪郭線（ＳＮＡＫＥ）上で定義し、この
エネルギー関数が最小となるように輪郭線を変形する。
そして、境界、線、主観的な輪郭線などを求めるという
ものである。また、監視対象の領域を抽出するためには
監視対象物の輪郭だけでなく、輪郭内部の情報を有効に
利用し、エネルギー最小化原理を用いた動的な網のモデ
ルＡｃｔｉｖｅＮｅｔにより領域内のテクスチャー情
報をエネルギー関数の中へ取り込み、より多様な対象画
像の輪郭抽出を行うことができることが積山らによって
報告されている（「コンピュータビジョン」（１９８
９．１１，１６））。

【０００４】積山らの報告によると、対象画像の領域を
表現するために、二次元の点列のモデルとして、格子点
Ｖ（ｐ，ｑ）＝（ｘ（ｐ，ｑ），ｙ（ｐ，ｑ））からな
り各格子点の各々の４近傍の格子点をつないで網を形成
させ、この網は、網自身が持つ内部の歪みエネルギーＥ
_intと画像データより受ける網と画像の適合性エネルギ
ーＥ_imageとを持ち、場合により外部からの強制力Ｅ_con
を受けることも可能であので、網のエネルギーは次の式
（１）のように記述されるというものである。Ｅ_net＝∬（Ｅ_int（ｖ（ｐ，ｑ））＋Ｅ_image（ｖ（ｐ，ｑ））＋Ｅ_con）（ｖ（ｐ，ｑ））ｄｐｄｑ（１）Ｅ_conを無視して議論すると、式（１）を最小化するこ
とにより網を変形させ、注目している対象物の輪郭にフ
ィッティングさせていき、最終的に網が覆っている領域
が抽出された領域となることが報告されている。しか
し、このエネルギー最小化法は目的とする任意の形状を
抽出することはできるが、背景画像の外乱に影響され易
い欠点がある。また、この方法はヤビコ法などの繰り返
し演算により収束させて領域抽出をしているが、対象物
によってはその領域の収束性が良くない場合があり、ま
た収束に時間がかかったり、局所的極小値に落ち着く
と、そこから抜け出せなくなり、誤った領域を抽出する
場合もある。

【０００５】

【発明が解決しようとする課題】従来の監視対象物の自
動的な認識装置では、特に屋外の監視対象物を監視する
認識装置の場合には、時々刻々変化する日照、風などの
外部環境の変化等により監視対象物画像情報とそれ以外
の背景画像情報との識別する必要があるが、実用に供す
るだけの監視装置はない。本発明の目的は、監視対象物
の画像とそれ以外の背景画像との識別ができ、しかもそ
の識別を迅速に行うことができる監視方法と装置を提供
することである。

【０００６】

【課題を解決するための手段】本発明の上記目的は次の
構成によって達成される。（１）カメラから入力された輝度データを複数個に画像
分割し、該画像分割された各ブロックの各々の輝度を平
均化し、予め妥当と思われる背景を初期値として記憶さ
せた背景画像データと時系列に取り込まれる対象画像デ
ータとの差分を求め、スムージング処理によるノイズ除
去を実行した後、得られる差分値の大小により監視対象
物であるか否かを判定し、監視対象物と判定された領域
の特徴量の検出により監視対象物と認識し、監視対象物
ではないと判定された領域を背景像として背景画像を更
新する監視方法。

【０００７】（２）カメラから入力された輝度データを
複数個に画像分割し、該画像分割された各ブロックの各
々の輝度を平均化し、予め妥当と思われる背景を初期値
として記憶させた背景画像データと時系列に取り込まれ
る対象画像データとの差分を求め、スムージング処理に
よるノイズ除去を実行した後、得られる差分値の大小に
より監視対象物であるか否かを判定し、監視対象物であ
ると判定されたブロックに対して、そのブロック全体に
格子をかけて中心へ縮めようとする内部の歪エネルギー
と当該ブロック内の特徴量として輝度データあるいは輝
度データの勾配、輝度の滑らかさなどを表す画像適合性
エネルギーとの和が最小になる最適解を求めることで監
視対象物の形状の輪郭を抽出する際に、該抽出した格子
あるいは輪郭上に配置した輝度データあるいは輝度デー
タの勾配、輝度の滑らかさなどを表すデータを遺伝子の
染色体に見立てて、該遺伝子の中の染色体の選択、交
差、突然変異の操作を繰り返す遺伝的アルゴリズムを適
用して世代を進めることにより、エネルギー最小値の状
態へ遷移させることで監視対象物の正確な輪郭抽出を行
い、監視対象物ではないと判定された領域を背景像とし
て背景画像を更新する監視方法。

【０００８】（３）カメラから入力された輝度データを
複数個に画像分割する画像分割手段と、該画像分割手段
で分割された各ブロックの各々の輝度を平均化する輝度
平均化手段と、予め妥当と思われる背景を初期値として
記憶させた背景画像データと時系列に取り込まれる対象
画像データとの差分を求め、スムージング処理によるノ
イズ除去を実行したのち、得られる差分値の大小により
監視対象物であるか否かを判定する監視対象物抽出手段
と、該監視対象物抽出手段により、監視対象物であると
判定された領域の特徴量の検出により監視対象物と認識
する監視対象物認識手段と、該監視対象物抽出手段によ
り、監視対象物ではないと判定された領域を背景像とし
て背景画像を更新する背景画像更新手段とを備えた監視
装置。

【０００９】（４）カメラから入力された輝度データを
複数個に画像分割する画像分割手段と、該画像分割手段
で分割された各ブロックの各々の輝度を平均化する輝度
平均化手段と、予め妥当と思われる背景を初期値として
記憶させた背景画像データと時系列に取り込まれる対象
画像データとの差分を求め、スムージング処理によるノ
イズ除去を実行したのち、得られる差分値の大小により
監視対象物であるか否かを判定する監視対象物抽出手段
と、監視対象物抽出手段において監視対象物であると判
定されたブロックに対して、そのブロック全体に格子を
かけ中心へ縮めようとする内部の歪エネルギーと当該ブ
ロック内の特徴量として輝度データあるいは輝度データ
の勾配、輝度の滑らかさなどを表す画像適合性エネルギ
ーとの和が最小になる最適解を求めることで監視対象物
の形状の輪郭を抽出する際に、該抽出した格子あるいは
輪郭上に配置した輝度データあるいは輝度データの勾
配、輝度の滑らかさなどを表すデータを遺伝子の中の染
色体に見立てて、該遺伝子の中の染色体の選択、交差、
突然変異の操作を繰り返す遺伝的アルゴリズムを適用し
て世代を進めることにより、エネルギー最小値の状態へ
遷移させることを目的とする監視対象物の形状の正確な
輪郭抽出を行う形状輪郭抽出手段とを備えた監視装置。

【００１０】上記（１）の発明のクレーム対応図を図１
に示す。すなわち、カメラ１からの入力画像は画像分割
手段２で分割され、分割された画像の各ブロックの各々
の輝度は輝度平均化手段３で平均化され、監視対象物抽
出手段４で監視対象物であるか否かが判定される。そし
て、監視対象物抽出手段４により監視対象物ではないと
判定された領域は背景画像更新手段５により背景像とし
て背景画像６を更新する。また、監視対象物抽出手段４
により、監視対象物であると判定された領域は監視対象
物認識手段７により監視対象物を認識する。なお、本発
明において画像適合性エネルギーとは監視対象物の特徴
によく適合していれば、そのエネルギーが小さくなるよ
うな種類のエネルギーを言い、輝度データあるいは輝度
データの勾配、輝度の滑らかさなどを表すエネルギー
は、その代表的な例示であり、本発明はこれらのエネル
ギーに限定されるものではない。

【００１１】

【作用】本発明によれば、カメラからの入力輝度データ
等から移動体等の監視対象物の画像を背景画像から抽出
でき、さらに、たとえば、屋外で監視目的とする移動体
の輪郭などを抽出し、当該移動体が何であるかが認識す
ることができる。また、監視対象物抽出手段により背景
像と判定されたブロックは、その平均輝度を用いて、常
に背景画像を更新することにより、屋外での照度変化な
どの外乱を除去することができる。また、監視対象物抽
出手段において移動体等であると判定されたブロックに
対して、そのブロック全体に格子をかけ中心へ縮めよう
とする内部の歪エネルギーと当該ブロック内の特徴量と
して輝度データあるいは輝度データの勾配、輝度の滑ら
かさなどを表す画像適合性エネルギーとの和が最小にな
るようにすることで任意の形の輪郭を抽出する、いわゆ
るエネルギー最小化問題において、該抽出した格子ある
いは輪郭上に配置した輝度データあるいは輝度データの
勾配、輝度の滑らかさなどを表すデータを遺伝子の染色
体に見立てて、その遺伝子の中の染色体の選択、交差、
突然変異の操作を繰り返す、いわゆる遺伝的アルゴリズ
ムを適用して世代を進めることにより局所的な極小値に
トラップされることなく、エネルギー最小値の状態へ遷
移させることにより、本来の監視対象物の正確な輪郭以
外にトラップすることなく、目的とする監視対象物の輪
郭抽出を忠実に行うことができる。

【００１２】

【実施例】本発明の実施例を図面と共に説明する。実施例１本実施例は背景画像と監視対象物の画像の差から監視対
象物を検知する監視方法と装置に関するものである。本
実施例では、監視対象物として移動があるものを異常物
体と判定すると言う前提のもとに処理を行う場合につい
て説明する。入力した画像データから必要とする情報
（ここでは監視対象物）を正確に取り出すためには、処
理環境を把握した上で適用するアルゴリズムの選択や組
み合わせ手順を決定する必要がある。ここでは移動があ
るものを異常物体と判定すると言う前提のもとに入力画
像を小領域のブロックに分割し、分割したブロック単位
に処理を進めることにしている。これによって計算量の
縮小化、アルゴリズムの簡潔化が可能となった。また、
最新の入力画像から一定の基準で背景画像を決定し、こ
れを基に背景画像を順次更新することにより、画像認識
の際、外部環境変化による誤認識を少なくすることがで
きる。以下に処理の概要を述べる。

【００１３】図２に本実施例の処理アルゴリズムの基本
的な構成をフローチャートに示す。まず、画像入力装置
から入力した画像データについて、各画像データを小領
域のブロックに分割し、ブロックごとの平均濃度値を求
める。この平均濃度値と、別にセーブしてある背景画像
の平均濃度値を各ブロックごとに比較し、その差の絶対
値があるしきい値以上になる場合、そのブロックは異常
ブロックと判断し、状態データリストを作成する。各ブ
ロックの状態を表す状態データリストに基づくセグメン
テーション処理により領域分割し、各領域別の特徴量を
求める。各領域別の特徴量に基づき、各々の特徴量のあ
るしきい値を設定して、しきい値より大きい値を持つ領
域を移動物体が存在する領域と判断し、出力する。移動
物体が存在しない領域を背景領域と判定し、その領域ブ
ロックの平均濃度値を用いて、更新アルゴリズムに従っ
て背景画像を更新する。

【００１４】（背景画像の入力と環境変化への対応）画
像の入力は並列画像入力装置を用いて行った。入力した
画像の大きさはその拡張性を考慮して、５１２×４８０
画素、各画素に関しては２５６階調に量子化した。実験
に使用した入力画像は、実験室の人工照明下で模型を利
用したもの、屋外で自然環境下で採取したものなどであ
る。このような入力画像に対する前処理として、計算量
の低減と該計算量の低減による処理速度の向上のため
に、入力画像を小領域のブロックに分割し、特徴量とし
て各ブロックの平均濃度値を算出した。この場合、分割
数を大きくしてブロックサイズを小さくし過ぎると、ノ
イズの影響を受けやすくなったり、計算量がそれほど低
減しなくなる。また、ブロックサイズが大き過ぎると計
算処理量の減少による高速化は可能であるが、各ブロッ
クの特徴があまり出なくなり、また、検知結果の位置的
精度が下がってしまうとことになる。ここで、５１２×
４８０画素の入力画像を横縦１２８×１２０個、大きさ
４×４画素のブロックに分割する。

【００１５】画像中の第（ｉ、ｊ）のブロックの平均濃
度値をＭ（ｉ、ｊ）とする。背景画像の初期データは、
背景像として妥当と考えられるシーンを予め撮像して、
装置内部に記憶させておく。その後の環境変化による背
景画像の時間的変化に対しては、画像入力の度に入力デ
ータについて後述する移動物体抽出処理を施し、背景画
像の領域と決定されたブロックの平均濃度値を求め、こ
れを用いて背景画像を更新する。更新処理は、式（２）
に示すように入力画像と背景画像の各ブロックの平均濃
度値の部分累積を計算することによって行う。

【００１６】

【数２】ここで、Ｍ_BS（ｉ、ｊ、ｔ）は時刻ｔにおける生成された
背景画像のブロック位置（ｉ、ｊ）の平均濃度値、Ｍ
（ｉ、ｊ、ｔ）は時刻ｔにおける入力画像位置（ｉ、ｊ）
の平均濃度値、ｎは任意の整数（ｎ≧１）である。式
（２）の右辺分子の第１項は背景画像を保持する特性を
示す項であり、第２項は背景画像を更新する特性を示す
項である。ｎは更新の速度を示す項で、ｎを小さくする
と背景像の変化に敏感に対処できるが、その分ノイズの
影響を受けやすくなる。ここでは、ｎの値を１にして安
定性を多少犠牲にしても外部環境の変化にすばやく対応
できるようにした。

【００１７】（画像間の差分と移動物体領域の抽出）時
系列的に入力される監視対象画像データＭ（ｉ、ｊ、
ｔ）と上述の処理により常に更新されている背景画像デ
ータＭ_BS（ｉ、ｊ、ｔ）との差分計算を行い、差分結果△
Ｍ（ｉ、ｊ、ｔ）を求める。この差分結果に対してスム
ージング処理を施す。これはブロック位置（ｉ、ｊ）の
△Ｍ（ｉ、ｊ、ｔ）とその８近傍の△Ｍ（ｉ−１、ｊ−
１、ｔ）、．．．．．、△Ｍ（ｉ＋１、ｊ＋１、ｔ）の
計９個のデータの単純平均を計算し、これを（ｉ、ｊ）
の位置の修正差分データ△Ｍ_M（ｉ、ｊ、ｔ）とする操
作である。次に△Ｍ_M（ｉ、ｊ、ｔ）の値により、その
ブロックの状態、すなわち平均濃度値が変化したかどう
かをしきい値により判定する。しきい値の設定は判別分
析法を用いた。これは式（３）から算定されるσ
²（ｋ）の値が最大になるｋを求めてしきい値とするも
のである。

【００１８】 σ²(ｋ)＝[μ_Tω(ｋ)−μ(ｋ)]²／ω(ｋ)[１.０−ω(ｋ)] （３）ここで、σ²（ｋ）はクラス間分散、μ_Tはヒストグラム
の０次累積、ω（ｋ）はｋをしきい値として時の一次累
積モーメント、μ（ｋ）はｋをしきい値とした時の１次
累積モーメント、ｋは濃度値レベルである。このしきい
値ｋによって、式（４）のような状態データＳ（ｉ、
ｊ）を定義する。Ｓ（ｉ、ｊ）＝２５５ｉｆ△Ｍ_M（ｉ、ｊ、ｔ）≧ｋ、Ｓ（ｉ、ｊ）＝０ｉｆ△Ｍ_M（ｉ、ｊ、ｔ）＜ｋ（４）

【００１９】上記した状態データＳ（ｉ、ｊ）の値から
移動物体領域を抽出する。以下にその手順を示す。１、各ブロックの状態データＳ（ｉ、ｊ）の値を調べ
て、互いに８連結になるブロックをまとめて１つのセグ
メント番号を付ける。２、各セグメントの特徴量として、面積、濃度、形状、
移動量などを求める。３、特徴量ごとのしきい値を設定して、そのしきい値よ
り小さい特徴量を持つセグメントを削除する。４、残りのセグメントの領域を移動物体が存在する領域
と判断し、出力する。５、移動物体領域以外の領域を背景像の領域として、背
景画像を更新する。

【００２０】（トランスピュータによる並列処理）膨大
な量のデータを効率よく処理するため、複数台のプロセ
ッサを結合させたマルチプロセッサ方式を採用した。マ
ルチプロセッサ方式は、処理内容がハードウェア構成に
拘束されることなく、ソフトウェアにより柔軟に対処で
き、ロウレベル処理からハイレベル処理まで実現可能と
いう点で特徴がある。汎用のマルチプロセッサとしてト
ランスピュータ（ＴｒａｎｓｐｕｔｅｒＴ８０５）を
用い、並列分散処理、パイプライン処理による高速の並
列ネットワークを構成し、様々な画像処理形態に対応し
た並列画像処理システムを構築した。以下に並列画像処
理システムの概要および画像解析手法の並列化について
記述する。

【００２１】まず、並列処理用画像入力装置について述
べる。利用した並列画像処理装置の構成を図３に示す。
並列画像入力装置は２台のＴＣＳ（Transputer Compact
System）と接続している。２台のＴＣＳはトランスピ
ュータ（ＴＲＰ）モジュール１２枚を内蔵している。各
トランスピュータはそれぞれ４ＭＢのローカルメモリを
持っていてプメグラムを常駐させ、画像データなどの大
容量データを処理することができる。これらはホストコ
ンピュータとしてのパーソナルコンピュータＰＣ−９８
０１にアドオンされたルートトランスピュータによりプ
ログラムのロード、セーブや起動制御を受ける。ホスト
コンピュータはそのＯＳ（ＭＳ−ＤＯＳ）を介して画像
処理を行う際のマンマシンインターフェイスとして機能
する。ルートトランスピュータはそれ自身１６ＭＢのロ
ーカルメモリを有し、高度の演算処理を行うことができ
る。図４に並列画像処理システムのために開発した並列
画像入力装置のブロック図を示す。

【００２２】これらの機能によって、ハードウェアの構
成にそれ程拘束されることなく、自由なネットワークの
構成が可能となり、より高性能の並列画像処理システム
の構築ができる。以上の特徴により以下のような処理が
考えられる。１、画像分割によって生じる境界部データのラップがな
い並列分散処理２、連続画像データを多重入力することによる高速動画
像処理３、異なる２ケ所の画像データを同時入力処理すること
による多元処理４、ステレオ画像データの処理と結果のステレオ視表示画像処理アルゴリズムを並列化する場合、各処理アルゴ
リズムの各段階別に並列化する方法が考えられる。すな
わち、一つのまとまった仕事をｎ分割して、ｎ個のプロ
セッサで並列に実行した場合の実行時間をＴ_n、この仕
事を逐次処理した場合の実行時間をＴ₁とすると、式
（５）Ｓ_p＝Ｔ₁／Ｔ_n （５）で定義されるＳ_pを速度向上比（ｓｐｅｅｄ−ｕｐｒ
ａｔｉｏ）とする。また、速度向上比Ｓ_pとプロセッサ
数ｎの比еを並列処理効率と呼び、理想的にはе＝１
（Ｓ_p＝ｎ）となるが、現実には並列処理に伴う種々の
要因のために通常はе＜１（Ｓ_p＜ｎ）となる。一般に
プロセッサ数ｎがある台数を越えると速度向上曲線は緩
やかになって最後に飽和するが、場合によっては速度向
上比Ｓ_pが減少することさえある。速度向上比Ｓ_pが減少
する現象は、１プロセッサ当たりの処理時間がプロセッ
サ数ｎに反比例して短くなっても、１プロセッサ当たり
の通信／同期オーバヘッドが増大する場合に生ずる。そ
こで、このオーバヘッドの増大を防ぐために、各プロセ
ッサ上のプログラムは図５（ａ）に示すように通信プロ
セスと計算プロセスにより構成し、各々が同期を取りな
がら独立して並列に実行させる。なお、通信は図５
（ｂ）に示したようなプロトコル付きで行われ、指定し
たチャンネルへ、指定チャンネルからプロトコルに従っ
て処理結果の伝達を実現している。

【００２３】画像処理解析のための並列処理プログラム
は並列プロセス記述言語ＯＣＣＡＭにより記述し、最大
１４台のプロセッサへルートプロセッサからロードし、
同プロセッサからの指令により動作を開始する。前述の
画像処理アルゴリズムを並列ネットワーク上で実行する
場合、（ａ）各処理段階の画像入力および前処理部、
（ｂ）背景画像の更新および変化部分検出処理部、
（ｃ）特徴量検出および画像認識処理部、（ｄ）結果表
示および全体制御部の四つの部分に分けてモヂュール化
した。これら各部分は以下のようである。

【００２４】図６は変化画像入力装置を用いた画像入力
部および前処理部の構成を示している。図６の中の太い
四角形は一つの処理部を表していて、一つあるいは二つ
のプロセッサに分担される。細い四角形は各々一つのプ
ロセスを表す。また、ＰＡＲの下の全プロセスは並列で
実行される。すなわち、カメラから入力した画像データ
を並列画像入力装置内で量子化し、ＤＳＰによって４×
４画素のフィルタリングをかけ、１２８×１２０個のブ
ロックに分割し、オンボードプロセッサ内部の共有メモ
リに記憶する。通信プロセスは、変化部分検出処理部か
らの要求により共有メモリから最新の入力画像のブロッ
クデータを送信する。画像入力の時間間隔は全体処理シ
ステムの処理速度によって自動的に決まるようにしてい
る。

【００２５】図７には背景画像の更新および変化部分検
出処理部の構成を示す。背景画像更新処理プロセスで
は、結果表示および全体制御部からの画像認識の結果を
通信プロセス２から受信し、その情報に基づいて移動物
体が存在する画像ブロックを除外し、残りの背景像ブロ
ックの平均濃度値を用いて背景画像を更新し、通信プロ
セス１に送信すると共に隣接の背景画像更新処理部に新
背景画像を送信する。通信プロセス１は前処理部からの
入力画像のブロックデータと新しい背景画像のブロック
データを変化部検出処理プロセスに送信して、次のデー
タの入力を待つ。変化部分検出処理プロセスでは、通信
プロセス１からの新しい背景画像と入力画像のブロック
データを用いて、差分データの計算、スームジング、し
きい値計算および変化部分ブロックの判定を行う。この
変化部分検出処理の結果を通信プロセス３に送信する。
通信プロセス３は、受信した変化部分検出処理からの結
果を特徴量抽出および画像認識処理部からの要求によ
り、各ブロックの状態データとして送信する。

【００２６】図８に特徴量抽出および画像認識処理部の
構成を示す。領域分割処理プロセスでは通信プロセス１
からの状態データ値を調べて、互いに８連結になるブロ
ックをまとめて一つのセグメントとして登録し、セグメ
ント番号を付ける。このセグメンチーションの結果を特
徴量抽出処理部へ送信する。特徴量抽出処理プロセスで
は、受信結果を用いて、各セグメントの特徴量を特徴量
別に求めて、その結果を移動物体領域検出処理プロセス
へ送信し、次の領域分割処理プロセスからのデータの送
信を持つ。移動物体領域検出処理プロセスでは、求めた
特徴量を予め設定しておいたしきい値に基づいて、しき
い値より小さい値を持つ領域を除去し、残りの領域を移
動物体の領域と認識し、通信プロセス２から結果表示お
よび全体制御部へ送信する。通信プロセス２は、移動物
体領域検出処理プロセスからの認識結果表示部へ送信す
る。

【００２７】全体制御プロセスはルートプロセッサ（メ
モリ）上に常駐して、並列画像処理を行う際にマンマシ
ンインターフェイスとして、サブプロセッサ（ＴＣＳお
よび画像入力ボード上のプロセッサ）へのプログラムの
ダウンロードと処理結果を必要に応じてハードディスク
に保存する機能を果たす。また、結果表示処理プロセス
では、画像認識処理部からの移動物体領域をディスプレ
イ上に表示し、背景画像の更新処理部へ新しい認識結果
を送信することを行う。図９に処理結果表示および全体
制御部の構成の結果を示す。以上の各処理段階別の並列
構成を統合して、全体の並列画像処理ネットワークを構
成した。図１０にこれを示す。図１０の下部には上記処
理アルゴリズムの４段階をパイプライン処理により実現
していることを記述している。さらに、これを４系統に
してトランスピュータネットワークの各行（全４行）に
対応させて一定の時間間隔で並列に処理が進むような構
成とし、実時間処理に近い異常物体検知を実現してい
る。

【００２８】（並列処理による異常物体検知実験結果）
以上述べたように、本実施例の処理システムを用いて、
監視領域を屋外施設として、画像視野中に入る侵入異常
物体の検知実験を行った。このためには背景画像と入力
画像との比較によって検出された変化領域に対して、そ
の領域別の特徴を抽出、分類して、環境変化要因による
成分を除去した後、残りの領域を侵入物体が存在する異
常状態と判断して、ホストコンピュータのディスプレイ
上に侵入物の領域を表示することにした。画像認識処理
部で用いた特徴量としては、各変化領域において抽出さ
れた物体の面積と形状とした。異常判定の基準は、面積
については予め測定した人間の像の大きさの１／４以上
とし、形状係数（垂直フェレ／水平フェレ長）は０．１
と１０．０の間にあるものとした。特徴量がこの範囲外
であればノイズあるいは環境変化による背景像の領域と
判定した。

【００２９】実験は建物の３階に固定したビデオカメラ
で、道路を隔てた向こう側の建物を監視領域として、そ
の玄関口を画面の中心にして撮影した。撮影は晴れた日
と曇った日に１１時から１３時までの２時間ずつ行い、
その全部をビデオカメラに録画した。合計４時間のビデ
オテープの中から比較的画面に変化がある部分を抜き出
して、２０，０００フレームの画像について検知処理実
験を行った。１フレーム当たりの処理時間は、２２０ｍ
ｓ程度で、１秒当たり約４．５フレームの処理ができる
ことになる。この実験では玄関口から出入りしたり、道
路上を歩行する人間が異常物体として検知対象になる
が、この異常物体は同時に複数個が１画面に現れる場合
もあり、その個数も計測の対象とした。その結果は表１
のようである。この表は異常物体が存在しない場合と存
在する場合にはその個数別（この判断は人間が行う）に
それぞれ画像フレーム数を求めておいて、実験によって
求めた同様の画像フレーム数との比較パーセント表示で
示したものである。

【００３０】

【表１】正解率：９７．６％１フレーム当たりの処理時間：約２２０ｍ³ この表１に見られるように、検知時間の結果はかなり良
好なものである。しかし、いくらかの誤認識も見られ
る。その原因は以下のように考えことができる。・風による木の揺れが侵入物と誤認識する・他の存在物によって人物像とその影が分離される場
合、複数の侵入物とする・人物像が重なった場合に同一物体と誤認識するなどである。

【００３１】この検知処理において処理速度は変化領域
の面積によって左右される。これを明らかにするため入
力画像全ブロック数に対する変化領域ブロック数の割合
を面積パーセントで表して、処理時間に対する影響を求
めた。併せて並列度をパラメータとして、これによる処
理時間の減少（処理速度向上）も表した。図１１にこの
結果を示す。面積が増加すると処理時間はほぼ比例的に
増加するが、並列度による処理時間の低減効果もまた顕
著になる。面積パーセントが小さい場合のシステムの並
列度と処理速度向上比については、実験結果を示してい
ないが、面積パーセントが１０％程度でほぼ理想的な速
度向上結果が得られることが分かり、この値が小さいな
るつれて並列度増加効果は見られなくなる。これらの結
果から処理が複雑になる程、並列度を上げる効果が現れ
るが、逆に、処理が単純になると効果は減少する。これ
は１プロセッサ当たりの処理量に比べプロセッサ間の通
信量の割合が大きくなり、そのオーバーヘッドが相対的
に大きくなることの影響が現れるものと考えられる。

【００３２】実施例２上記実施例１では、監視対象物である移動体を背景画像
とは識別して特定することができたが、特定できるのは
移動体の大まかな輪郭のみであり、移動体の正確な形状
を特定することはできない。本実施例では監視対象物の
正確な輪郭を自動的に認識することが可能な監視システ
ムについて述べる。なお、この監視方法を実施する装置
は実施例１に記載した図３〜図１０に示す装置と同一の
装置を用いる。本実施例の処理アルゴリズムの基本的な
構成を図１２のフローチャートに示す。実施例１のフロ
ーチャート（図２）における変化ブロックの有無の判断
のステップまでは同一であり、その後、エネルギー最小
化原理を用いるスネークス法により監視対象物のある程
度の粗さで輪郭を抽出する。そして、抽出された輪郭を
後述する遺伝子アルゴリズム手法を適用して、エネルギ
ーが最小値になったか否かを見る。エネルギーが最適解
である最小値、つまり平衡状態になると、それが輪郭抽
出した監視対象物の正確な形状であるとして認識する。
そして、予めメモリに蓄えられている各々の監視対象物
に特有な数値、例えば形状係数等によりその監視対象物
を特定する。たとえば、人間、四つ足動物等について、
それぞれ垂直フェレ長／水平フェレ長の比を形状係数と
して用いるとその監視対象物がいかなる種類の動物であ
るかを認識することができる。また、形状係数に代え
て、予め考えられる各種パターンをニューラルネットに
より、学習させておくことでも、監視対象物が何である
か特定することができる。

【００３３】ここで、本実施例に用いたエネルギー最小
化原理に基づいた最適解としての輪郭の抽出法であるス
ネークス法について説明する。図１３に示した、監視対
象物の輪郭である平衡状態の座標値ｖ（ｓ）を求めるた
めに、式（６）に示すスネークスエネルギーを定義す
る。

【００３４】Ｅ_snakes(ｖ(ｓ))＝∫[Ｅ_in(ｖ(ｓ))＋γＥ_xt(ｖ(ｓ))］ｄｓ（６）ここで、ｖ（ｓ）は前記動的なＡｃｔｉｖｅＮｅｔ
（網）の原点からの距離を表し、Ｅ_in(ｖ(ｓ))は網の歪
みエネルギーであり、式（７）で定義される。

【００３５】Ｅ_in(ｖ(ｓ))＝{α|ｖ_S(ｓ)|²＋β|ｖ_SS(ｓ)|²}／２（７）また、Ｅ_xt(ｖ(ｓ))は次の式（８）、（９）で定義され
る画像の特徴量である。

【００３６】Ｅ_xt(ｖ(ｓ))＝−[Ｇ_σ(ｖ(ｓ))＊▽²Ｉ(ｖ(ｓ))]² （８）Ｇ_σ(ｖ(ｓ))＝ｅｘｐ{｜Ｖ(ｓ))｜²／２πσ} （９）上記式で、Ｉは画像輝度、 α，β，γはそれぞれ重み
係数、σはガウス分布の標準偏差、ｖ_SSは二次微分、▽
²は二次偏微分、＊はベクトル積演算をそれぞれ表し、
α|ｖ_S(ｓ)|²は網の格子間の距離、β|ｖ_SS(ｓ)|²は格
子の直線性と平行性を維持するように定義したものであ
る。また、▽²Ｉ(ｖ(ｓ))は輝度の二次偏微分である。
この二次偏微分値がゼロになる位置を通常横軸が位置を
表し、縦軸に二次微分値をとると、横軸が交わる点がゼ
ロなので、ゼロクロッシングと呼び、この二次偏微分値
がゼロの時に輪郭を表す。式（８）のＥ_xt(ｖ(ｓ))とし
ては画像の輝度レベル（濃淡レベル）、輝度レベルの勾
配、輝度レベルの滑らかさ等が監視対象物の抽出の際に
最適と考えられる物理量として決定される。そして、図
１３の初期値の座標ｖ（ｓ）のエネルギーを最小値にす
る最適解が監視対象物の輪郭である平衡状態の座標ｖ
（ｓ）に収束する。

【００３７】このスネークス法では前述のように目的と
する監視対象物の形状の輪郭はある程度抽出できるが、
背景画像等の外乱により、その抽出値が影響され易いこ
とおよび最小値でなく極小値（ローカルミニマム）にト
ラップされ易いことが欠点としてある。そこで、本実施
例では、このスネークス法により輪郭を抽出する過程に
遺伝的アルゴリズムを適用して、監視対象物の形状を抽
出して、その対象物が何であるかを特定する。遺伝的ア
ルゴリズム（ＧＡ：ＧｅｎｅｔｉｃＡｌｇｏｒｉｔｈ
ｍｓ）は、生物進化（選択淘汰，突然変異）の原理に着
想を得たアルゴリズムであり、確率的探索の一手法とし
て知られている（北野宏明、人工知能学会誌、Ｖｏｌ．
７，Ｎｏ．１ｐｐ２６，１９９２）。本実施例はＧＡ
法をスネークス法と組み合わせて、しかも図３に示す並
列画像処理装置により迅速に監視対象物の形状まで特定
することに特徴がある。ＧＡ法では生物の遺伝情報を伝
える遺伝子に相当する情報に見立てて、例えば、特定の
輝度レベルの値を遺伝子の中の染色体に対応させる。生
物では染色体の各位置にどのような遺伝情報が記述され
るかが決まっているが、このような配列を遺伝子（染色
体配列）と呼ぶ。ＧＡ法では、遺伝子は図１４のように
各スネークを直線状に配列したものとして表現され、染
色体は各位置が取り得る値である。

【００３８】本実施例では、前記ＧＡ法を適用してスネ
ークスのエネルギー最小化の計算により、監視対象物の
輪郭を抽出する。３×３のブロック決めを行い、その各
々のブロック内の輝度レベル、輝度レベルの勾配、輝度
レベルの滑らかさ等のいずれか種類の特定の物理量を染
色体として、例えば輝度レベルを染色体に対応させて、
図１４に示す染色体配列を作成する。ここで、各ブロッ
ク内の輝度レベル、輝度レベルの勾配、輝度レベルの滑
らかさ等をＧＡ法によって変化させながら、あるｉ世代
でのＥスネークス（スネークのエネルギー値）を計算し
て、減少が続き、最小値にとどまった状態を収束した結
果とする。

【００３９】図１４のように初期集団の構成が生成され
ると、ＧＡ法では基本的に遺伝子（染色体配列）に次の
三種類の遺伝的操作（Genetic operations；選択と交差
と突然変異）を使用して、Ｅスネークスで定義した全体
のエネルギーが最小になるまで以下の処理手順を繰り返
す。（ａ）適応性の決定（ｂ）選択（Ｓｅｌｅｃｔｉｏｎ）（ｃ）交差（Ｃｒｏｓｓｏｖｅｒ）（ｄ）突然変異（Ｍｕｔａｔｉｏｎ）ここで、上記処理手順（ａ）〜（ｄ）の繰り返す順序あ
るいは各処理操作の適用回数には制限はないので、何れ
の操作を何回繰り返しても良い。まず、図１４の遺伝子
配列（染色体）の各々の個体に対して適応度の決定を行
う。各スネークパターンのエネルギー値の最小のものが
最大の値をとるように次式（１０）に従って、適応度を
算出する。ｆ(ｉ)＝｛１−（Ｅ_snake(ｉ)−Ｍｉｎ(Ｅ_snake)）} ／{Ｍａｘ（Ｅ_snake)−Ｍｉｎ(Ｅ_snake)} （１０）ここで、Ｍｉｎ（Ｅ_snake）は全スネークス中の最小の
エネルギー値であり、Ｍａｘ（Ｅ_snake）は全スネーク
中の最大のエネルギー値である。各々の染色体の適応度
が決定されたら、それを基に適応度に応じ次世代に残す
スネークを確率的に選択する。ｐ（ｉ）＝ｆ（ｉ）／Σｆ（ｉ）ここで、選択するしきい値は適宜に決定することができ
る。本実施例では５０％をしきい値とした。また、繰り
返して遺伝子操作をする度に、このしきい値は変えても
良い。

【００４０】ついで、交配を行う。基本的に、適応度の
高いスネークがより多くの子孫を残すようにする。これ
によって、より良い染色体を形成する遺伝子が集団中に
広がることになる。選択交配を行うスネークが決定され
されたら、図１５に示すように、各スネーク間で確率的
な交尾を行い、遺伝子を両親の何れかから受け継いだ次
世代に生存できる子スネークを作る。次に、突然変異を
加える。これはある確率で染色体の一部の値を変える操
作であり、各スネーク内で確率的に遺伝子の偶発的変化
を起こさせ、次世代のスネーク集合の形成するものであ
る。この突然変異は初期値として設定したエネルギーの
レベルが適切でなかった場合に有効となる。これらの操
作が終了すると、新しい世代の染色体集団が作られたこ
とになる。そして、この新たな集団に対して、また適応
度評価と決定、選択、交配、突然変異を行い、さらに新
たな世代を作ることができる。上記ＧＡ法の処理操作は
すべての（ａ）〜（ｄ）のすべての操作を必ず行う必要
はなく最適解が得られ段階で終了させることができる。

【００４１】図１６にＧＡ法以外の解法を用いた場合と
ＧＡ法とを比較したスプラインエネルギーの収束結果を
示す。図１６の縦軸にはスネースクエネルギー（Ｅスネ
ースク）を横軸にはＧＡの世代を示す。ＧＡ法のみが最
適解に収束しているが、他の方法ではあるレベルで平衡
状態になるが、最適解にはならなかった。

【００４２】また、表２には各解法での計算時間の比較
を示す。

【００４３】

【表２】

【００４４】また、図１７には、監視対象物としてビン
とコップを隣接して配置して、スネースク法で得られた
初期値の輪郭（円形状の原画像：これは差分画像と背景
画像の更新によって図１０の背景画像の更新と変化部検
出処理部での処理で求めた監視対象物の領域の初期値）
に対して収束して得られた輪郭画像について、ＧＡ法と
変分原理法、動的計画法（開輪郭モデル）、動的計画法
（閉輪郭モデル）、グリーディ法と比較して示す。図１
７に示す通り、ＧＡ法は監視対象物の形状に適切に収束
した画像が得られる。ＧＡ法の交差を０％、５０％、６
０％、１００％行った場合のＥスネースク（スネースク
エネルギー）は図１８に示す通りであり、また突然変異
を０％、１５％、３０％、１００％行った場合のＥスネ
ースクは図１９に示す通りである。交差は６０％行った
場合が最もエネルギーレベルが低下し、また突然変異を
変位は１５％がベストであった。

【００４５】また、図２０（シーケンシャル型はＧＡ法
を実行するプロセッサが１個のみである場合を言う）に
は表３、表４に示す二種類のＧＡ法により得られたエネ
ルギーの収束結果を示す。

【００４６】

【表３】図３において、パラレル１型の計算方法はスネークスの
エネルギー関数をトランスピュータで並列に実行した。
また、パラレル２型の計算方法はパラレル１型にさらに
ＧＡ法の計算にトランスピュータで並列計算した。通信
回数の１回／１０世代とは、１０世代実行して１回の通
信をしたということである。

【００４７】

【表４】このように本実施例によれば、スネースク法とＧＡ法を
組み合わせることで、他の解法に比較して監視対象物の
形状に沿って得られる収束結果が非常に良くなることが
分かる。

【００４８】

【発明の効果】本発明によれば、移動体等の監視対象物
の画像を背景画像から抽出でき、さらに、当該移動体が
何であるかが認識することができる。また、スネースク
法とＧＡ法を組み合わせることで、他の解法に比較して
監視対象物の形状に沿って得られる収束結果が非常に良
くなる。こうして、監視対象物の自動監視と自動認識が
可能になる。

【図面の簡単な説明】

【図１】本発明の特許請求の範囲の対応構成図であ
る。

【図２】本発明の実施例１のフローチャートを示す図
である。

【図３】本発明の実施例１の並列画像処理装置の構成
図である。

【図４】本発明の実施例１の並列画像入力装置の構成
図である。

【図５】本発明の実施例１のプロセス内の通信機構図
である。

【図６】本発明の実施例１の画像入力部と前処理部の
構成図である。

【図７】本発明の実施例１の背景画像の更新と変化部
分検出処理部の構成図である。

【図８】本発明の実施例１の処理結果表示と全体制御
部の構成図である。

【図９】本発明の実施例１の特徴量抽出と画像認識処
理部の構成図である。

【図１０】本発明の実施例１の並列画像処理ネットワ
ークシステムの構成図である。

【図１１】本発明の実施例１の変化領域の面積パーセ
ントと処理時間の関係図である。

【図１２】本発明の実施例２のフローチャートを示す
図である。

【図１３】本発明の実施例２のスネークス法の概念図
である。

【図１４】本発明の実施例２のＧＡ法の概念図であ
る。

【図１５】本発明の実施例２のＧＡ法による交差の概
念図である。

【図１６】本発明の実施例２のＧＡ法と他の方法との
エネルギーの収束状態を比較した図である。

【図１７】本発明の実施例２のＧＡ法と他の方法との
エネルギーの収束状態を比較した図である。

【図１８】本発明の実施例２のＧＡ法による交差によ
るエネルギーの収束状態を示す図である。

【図１９】本発明の実施例２のＧＡ法による突然変異
によるエネルギーの収束状態を示す図である。

【図２０】本発明の実施例２の種々のＧＡ法によるエ
ネルギーの収束状態を比較した図である。

【符号の説明】

１…カメラ、２…画像分割手段、３…輝度平均化手段、
４…監視対象物抽出手段、５…背景画像更新手段、６…
背景画像、７…監視対象物認識手段

Claims

【特許請求の範囲】

【請求項１】カメラから入力された輝度データを複数
個に画像分割し、該画像分割された各ブロックの各々の
輝度を平均化し、予め妥当と思われる背景を初期値とし
て記憶させた背景画像データと時系列に取り込まれる対
象画像データとの差分を求め、スムージング処理による
ノイズ除去を実行した後、得られる差分値の大小により
監視対象物であるか否かを判定し、監視対象物と判定さ
れた領域の特徴量の検出により監視対象物と認識し、監
視対象物ではないと判定された領域を背景像として背景
画像を更新することを特徴とする監視方法。
【請求項２】背景像と判定されたブロックは、その平
均輝度を用いて常に背景画像を更新することを特徴とす
る請求項１記載の監視方法。
【請求項３】カメラから入力された輝度データを複数
個に画像分割し、該画像分割された各ブロックの各々の
輝度を平均化し、予め妥当と思われる背景を初期値とし
て記憶させた背景画像データと時系列に取り込まれる対
象画像データとの差分を求め、スムージング処理による
ノイズ除去を実行した後、得られる差分値の大小により
監視対象物であるか否かを判定し、監視対象物であると
判定されたブロックに対して、そのブロック全体に格子
をかけて中心へ縮めようとする内部の歪エネルギーと当
該ブロック内の特徴量として輝度データあるいは輝度デ
ータの勾配、輝度の滑らかさなどを表す画像適合性エネ
ルギーとの和が最小になる最適解を求めることで監視対
象物の形状の輪郭を抽出する際に、該抽出した格子ある
いは輪郭上に配置した輝度データあるいは輝度データの
勾配、輝度の滑らかさなどを表すデータを遺伝子の染色
体に見立てて、該遺伝子の中の染色体の選択、交差、突
然変異の操作を繰り返す遺伝的アルゴリズムを適用して
世代を進めることにより、エネルギー最小値の状態へ遷
移させることで監視対象物の正確な輪郭抽出を行い、監
視対象物ではないと判定された領域を背景像として背景
画像を更新することを特徴とする監視方法。
【請求項４】カメラから入力された輝度データを複数
個に画像分割する画像分割手段と、該画像分割手段で分割された各ブロックの各々の輝度を
平均化する輝度平均化手段と、予め妥当と思われる背景を初期値として記憶させた背景
画像データと時系列に取り込まれる対象画像データとの
差分を求め、スムージング処理によるノイズ除去を実行
したのち、得られる差分値の大小により監視対象物であ
るか否かを判定する監視対象物抽出手段と、該監視対象物抽出手段により、監視対象物であると判定
された領域の特徴量の検出により監視対象物と認識する
監視対象物認識手段と、該監視対象物抽出手段により、監視対象物ではないと判
定された領域を背景像として背景画像を更新する背景画
像更新手段と、を備えたことを特徴とする監視装置。
【請求項５】監視対象物抽出手段において、背景像と
判定されたブロックは、その平均輝度を用いて常に背景
画像を更新することを特徴とする請求項４記載の監視装
置。
【請求項６】カメラから入力された輝度データを複数
個に画像分割する画像分割手段と、該画像分割手段で分割された各ブロックの各々の輝度を
平均化する輝度平均化手段と、予め妥当と思われる背景を初期値として記憶させた背景
画像データと時系列に取り込まれる対象画像データとの
差分を求め、スムージング処理によるノイズ除去を実行
したのち、得られる差分値の大小により監視対象物であ
るか否かを判定する監視対象物抽出手段と、監視対象物抽出手段において監視対象物であると判定さ
れたブロックに対して、そのブロック全体に格子をかけ
中心へ縮めようとする内部の歪エネルギーと当該ブロッ
ク内の特徴量として輝度データあるいは輝度データの勾
配、輝度の滑らかさなどを表す画像適合性エネルギーと
の和が最小になる最適解を求めることで監視対象物の形
状の輪郭を抽出する際に、該抽出した格子あるいは輪郭
上に配置した輝度データあるいは輝度データの勾配、輝
度の滑らかさなどを表すデータを遺伝子の中の染色体に
見立てて、該遺伝子の中の染色体の選択、交差、突然変
異の操作を繰り返す遺伝的アルゴリズムを適用して世代
を進めることにより、エネルギー最小値の状態へ遷移さ
せることを目的とする監視対象物の形状の正確な輪郭抽
出を行う形状輪郭抽出手段とを備えたことを特徴とする
監視装置。