JP3182808B2 - 画像処理システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対象物を撮像し監視す
る画像システムに係り、特に、移動する対象物の撮像，
監視に好適な画像処理システムに関する。

【０００２】

【従来の技術】従来、例えば、特開昭59−20898 号公
報，特開昭61−189474号公報に記載のように、撮像カメ
ラの画像から画面の明るさの変化をとらえ、変化した部
分が次の画面でどうなっているかを順次画像データと比
較し、あらかじめ既知である対象物であるか否かの判定
処理を行うことが知られている。

【０００３】

【発明が解決しようとする課題】上記従来技術は、画像
処理システム及び監視システムを構築する上での画像デ
ータの記録とその利用について特に配慮されていない。

【０００４】また、上記従来技術においては、撮像画面
に複数の対象物が入り、本来の対象物のノイズとなった
場合への配慮が充分でなかった。具体的には、入力画像
に別の対象物がさらに付加されるため、正確な重心位置
が得られず、移動位置推定に誤差を生じるという問題が
在った。

【０００５】本発明は、上記問題点に鑑みなされたもの
で、その目的は、撮像画面に複数の対象物が入り本来の
対象物のノイズとなった場合でも、正確な重心位置が得
られ移動位置推定に誤差を生じることのない画像処理シ
ステムを提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
の本発明の特徴は、対象物を撮像し画像データを得る撮
像手段と、前記画像データを処理する画像処理手段とを
具備する画像処理システムであって、前記画像処理手段
は、所定の時間間隔で継続して撮像された前記対象物の
画像データを取り込み、前記取り込んだ画像データのう
ち複数の画像データの差から前記対象物の第１の重心位
置を算出する手段と、前記画像データのうち別の複数の
画像データの差から前記対象物の第２の重心位置を算出
する手段と、前記取り込んだ画像データの和を求める画
像間演算結果抽出手段と、前記第１の重心位置と前記第
２の重心位置及び前記撮像データの和から前記第１の重
心位置と前記第２の重心位置とが同一の移動軌跡線上に
あるかどうかを判断する判断手段と、を有することであ
る。 更に、前記第１の重心位置と前記第２の重心位置か
ら、前記対象物の移動量及び移動方向を判断することで
ある。

【０００７】

【０００８】

【０００９】

【００１０】

【００１１】

【作用】前記第１の重心位置と前記第２の重心位置及び
前記撮像データの和から前記第１の重心位置と前記第２
の重心位置とが同一の移動軌跡線上にあるかどうかを判
断し、更に、前記第１の重心位置と前記第２の重心位置
から前記対象物の移動量及び移動方向を判断すること
で、撮像画面に複数の対象物が入り本来の対象物のノイ
ズとなった場合でも、正確な重心位置が得られ移動位置
推定に誤差を生じることがない。

【００１２】

【００１３】

【実施例】以下、本発明の実施例を図面を用いて、説明
する。

【００１４】図１及び図２に示される本実施例の画像処
理システムは、対象物７の移動を予測し、自動追尾する
ことが可能である。対象物７の移動を予測するために
は、画像処理装置６を用いる。画像処理装置６へテレビ
カメラ等の撮像装置２からの画像データを入力し、画像
処理装置６内の画像格納メモリー８に、任意の時間（△
ｔ）分ずらし逐次格納する。格納した画像データを画像
処理により、任意の時間（Δｔ）分のずれのある画像デ
ータ間の差分をリアルタイムに抽出し、差分領域の移動
量から対象物７の移動方向，移動量を予測する。自動追
尾を行うために、抽出した対象物７の移動方向，移動量
の予測値と撮像装置２の視野サイズ１の関係から、対象
物７が撮像装置２の視野の常に中心になる様に、撮像装
置２の位置を撮像装置制御部３を用いて制御する。

【００１５】撮像範囲が広がり、一台の撮像装置２で
は、追尾不可能な範囲の監視を行う為には、複数台の撮
像装置２を設置し、個々の撮像装置のカバーする視野範
囲の情報をあらかじめ記憶しておき、そして対象物７の
移動に対応して、撮像装置２を切り換えるようにする。

【００１６】対象物７の移動によって、撮像装置のズー
ム（撮像倍率の変更）等を調整する必要がある場合は、
画像処理装置６により判断し、撮像装置２のズーム等を
制御するようにした。

【００１７】撮像装置２からの画像データをＶＴＲ又は
光デイスク等の記録装置５に記録する際に、対象物７を
撮像装置２の視野の中心に捕らえている間のみ記録する
様に、画像処理装置６により判断し記録装置５の制御を
することが可能である。

【００１８】撮像装置２からの画像データを表示装置４
で表示または記録装置５で記録する際に、対象物７と背
景との区別が困難な場合は、画像処理装置６により、対
象物７を例えば擬似カラーに変換し、目視確認を容易に
できる。

【００１９】画像処理装置６の画像間演算機能の１つで
ある減算処理は、対象となる２面の画像メモリーの個々
の画素単位に差分を抽出し、対象となる２面以外の画像
メモリーに格納することが出来る。これにより、撮像装
置２からの画像データを画像処理装置６の画像メモリー
２面にそれぞれ任意の時間（Δｔ）分ずらして格納すれ
ば、任意の時間の間に発生した変化を抽出し、画像メモ
リーに格納することが出来る。画像処理装置６のヒスト
グラム抽出処理部１１の機能である面積，体積（濃度累
積）抽出処理は、撮像装置２からの画像データに含まれ
ている対象物７の撮像装置２の撮像視野サイズ１上での
大きさ、及び撮像視野での座標上の位置を抽出出来る。
以上の変化抽出と撮像視野サイズ上での大きさ、及び撮
像視野での座標上の位置抽出を繰返すことにより、対象
物７の移動軌跡を抽出することが出来る。抽出した移動
軌跡から、任意の時間（Δｔ）後に移動すると推定され
る位置を決定する。位置決定は、前回の移動量分だけ移
動すると仮定することにより、決定出来る。

【００２０】画像処理装置６の内部構成の一例を図２を
用いて説明する。ビデオカメラ等の撮像装置２によって
撮像された対象物７は、入力画像という画像データへ変
換され、画像処理装置６に入力される。画像処理装置６
は、この画像データをアナログデータから、デジタルデ
ータに変換し、画像処理装置６内の入力画像格納メモリ
８に格納する。入力画像格納メモリ８は、複数の入力画
像に対応するように複数面あり、任意の時間（Δｔ）分
ずれのある画像データを格納可能である。また、入力画
像格納メモリ８へは、記録装置５からの画像データを格
納することも可能である。入力画像格納メモリ８に格納
した画像データを画像間演算処理部９で、演算（画像間
減算など）し、演算画像格納メモリ１０に格納する。演
算（画像間減算など）で与えられた差画像は、ヒストグ
ラム抽出処理部１１と擬似カラー発生処理部１２へ送
る。ヒストグラム抽出処理部１１では、差画像の面積，
体積（濃度累積）、重心を抽出処理し、次段に送出す
る。格納された画像データからの差画像の面積，体積
（濃度累積），重心抽出処理は任意の時間（Δｔ）の間
隔を取り連続的に行う。擬似カラー発生処理部１２で
は、差画像にＲ，Ｇ，Ｂのカラー３原色の任意の１色を
与え、入力画像格納メモリ８に格納した画像データと重
ね合わせて出力し、対象物を擬似カラー表示できる。制
御量抽出処理部１３では、ヒストグラム抽出処理部１１
で抽出した、差画像の面積，体積（濃度累積），重心か
ら撮像装置２の撮像視野サイズ１に対する対象物７のサ
イズが求まる。重心から撮像装置２の撮像視野サイズ１
に対する対象物７の入力画像格納メモリ８上の座標が求
まる。求めた座標と、任意の時間（Δｔ）経過後の同様
に求めた座標との差を求めることにより、対象物７の移
動量が求まる。求めた移動量を、現時点の対象物７の座
標値に加算して、次の任意の時間（Δｔ）後の対象物７
の移動位置とする。そして、次の任意の時間（Δｔ）後
の対象物７の移動位置と、撮像装置２の視野サイズ１と
の関係により、対象物７が撮像装置２の視野サイズ１の
中心になる様に、撮像装置２を移動するために、次の任
意の時間（Δｔ）後の対象物７の移動位置分を撮像装置
制御部３へ制御情報として送信する。表示装置４は、撮
像装置２の撮像している視野を表示する。記録装置５
は、撮像装置２からの画像データや画像処理装置６の擬
似カラー処理部１２で対象物７が擬似カラー化された画
像データを記録する。記録装置５のオン／オフや記録モ
ードなどは、画像処理装置６の制御量抽出処理部１３か
らの制御情報により制御される。また、記録装置５は、
画像処理装置６からの制御信号により、格納している画
像データを画像処理装置６ヘ出力する。

【００２１】以上は、撮像装置２を１台有する場合のシ
ステム構成であるが、監視範囲が広い場合は、本システ
ムを複数共同して用いることが望ましい。複数台の撮像
装置２と撮像装置２の設置位置，位置制御の情報と、前
記対象物７の移動すると推定される位置決定との関係に
より、複数台の撮像装置２で対象物７を追跡することが
出来る。この例については、図１２を用いて後に説明す
る。複数のシステム間の情報通信は、画像処理装置６の
制御量抽出処理部１３を結んで行うことが出来る。

【００２２】任意の時間に発生した変化を抽出する際の
変化を検知したタイミングと撮像装置２の移動追跡不可
能になったタイミングは記録装置５の録画動作のON／OF
F 制御信号として与えることが出来る。

【００２３】任意の時間に発生した変化を抽出した画像
メモリに対し特定の色を割当て、撮像装置２からの画像
データと重ね合せることにより、対象物７を擬似カラー
表示することも出来る。

【００２４】次に、図３〜図６により、対象物７の移動
方向、移動量の予測を行う基本処理について説明する。

【００２５】図３は、対象物７の重心位置抽出の処理を
表している。一般に監視を行う場合、対象物７を撮像装
置２から入力した画像データの中から抽出する事は、人
間の目視では容易であっても自動的に行うとなると非常
に困難な場合が多い。その理由としては、背景と対象物
７との区別，対象物７の移動による対象物７による対象
物７の特徴、例えば、形状、輝度の変化、背景環境の変
化に、人間と同様にフレキシブルに反応可能な自動認識
を行わなければならないからである。

【００２６】本実施例では、画像間演算の減算処理は、
画像メモリー間の差分を忠実に抽出する点に着目し、対
象物７の位置を抽出している。まず、撮像装置２からの
入力画像ft1と、任意の時間（△ｔ）経過後の入力画像ｆ
ｔ２を入力する。次に画像間演算の減算（結果に対して
絶対値を取る）処理を行い、入力画像ｆｔ１と入力画像
ｆｔ２との画像間演算結果画像｜ｆｔ１−ｆｔ２｜を得
る。画像間演算結果画像は、対象物７の移動による差分
だけが抽出され、対象物７の背景は形状に関係無く消え
てしまう。この時に画像データを入力する際のノイズ等
が差分として表れる事があっても、対象物７の移動によ
る差分に比較して形状，面積が異なる為、容易に判別／
排除が出来る。抽出した対象物７の移動による差分に対
して、画像処理装置６のヒストグラム抽出処理部１１で
面積，体積（濃度頻度），重心位置を求める。求められ
た面積，体積（濃度頻度）で対象物７の撮像装置２の視
野におけるサイズが認識出来る。対象物７の重心位置
は、入力画像ｆｔ１と入力画像ｆｔ２との中間点と考え
ることができる。以上を繰り返して行えば、対象物７の
撮像装置２の視野における移動座標の軌道を求める事が
可能である。

【００２７】図４では、対象物７の移動座標の抽出と、
次に移動すると推定される位置の決定について説明して
いる。入力画像ｆｔ１から，入力画像ｆｔ２，入力画像
ｆｔ３と逐次入力していき、図３で説明した対象物７の
重心位置抽出の処理のとおり、画像間演算結果画像|ｆ
ｔ１−ｆｔ２|，画像間演算結果画像|ｆｔ２−ｆｔ３|
からそれぞれ抽出重心ｇ１，抽出重心ｇ２が求まる。求
まった抽出重心ｇ１と抽出重心ｇ２の差を求めると、重
心移動量ｇ２−ｇ１が求まる。重心移動量ｇ１−ｇ２
は、任意の時間（△ｔ）に移動した量であるので、対象
物７の移動量が加速／減速等により変化する時間より
も、この任意の時間（△ｔ）が小さく設定されていれ
ば、次の対象物７の重心位置は、重心移動量ｇ２−ｇ１
分ずれた位置とほぼ等価になると考えることが出来る。
これにより次重心移動推定位置ｇｎは、ｇｎ＝ｇ２＋
（ｇ２−ｇ１）になると推定出来る。よって、次重心移
動推定位置ｇｎに基づいて、撮像装置２の撮像方向等の
位置を制御すれば、対象物７を撮像装置２の視野のほぼ
中心に捕らえることが出来る。制御量は画像処理装置６
のヒストグラム抽出処理部１１で抽出した面積，体積
（濃度頻度）による撮像装置２の視野内における対象物
７のサイズと撮像装置２の撮像方向等の位置情報から決
定できる。以上の画像入力から撮像装置の位置制御まで
を繰り返せば、常に対象物７を対象物７を撮像装置の視
野のほぼ中心に捕らえることが出来る。

【００２８】図５は、図３で説明した対象物７の重心位
置抽出の処理が、非幾何学的な形状の対象物７にも対応
することを示す。入力画像ｆｔ１は図５のとおり、いび
つな形状をしている。図３の場合と同様に、任意の時間
（△ｔ）分ずれた入力画像ｆｔ２を入力し画像間演算結
果画像｜ｆｔ１−ｆｔ２｜を得る。画像間演算結果画像
｜ｆｔ１−ｆｔ２｜は、対象物７の移動による差分だけ
が抽出され、対象物７の背景は形状に関係無く消えてし
まう。この画像間演算結果画像｜ｆｔ１−ｆｔ２｜に対
して重心位置を求めると、対象物７の形状に影響を受け
ずに中心座標（重心位置）を求めることができる。

【００２９】図６は、図３乃至図５に示された処理のフ
ローチヤートを示す。まず、入力画像ｆｔ１(以下、図
中では画像ｆｔ１と記す)を入力する。次に任意の時間
(△ｔ)分ずれた、入力画像ｆｔ２を入力する。そして画
像間演算｜ｆｔ１−ｆｔ２｜を求める。求めた画像間演
算結果画像に対して重心ｇ１を抽出する。そして、更に
任意の時間（△ｔ）分ずれた、入力画像ｆｔ３を入力す
る。

【００３０】そして、画像間演算｜ｆｔ２−ｆｔ３｜を
求める。求めた画像間演算結果画像に対して重心ｇ２を
抽出する。任意の時間（△ｔ）分ずれた次の対象物７の
重心位置は、重心移動量ｇ２−ｇ１分ずれた位置とほぼ
等価になるので、次重心移動推定位置ｇｎ算出により、
次の対象物７の重心位置ｇｎはｇ２＋（ｇ２−ｇ１）に
なる。次の対象物７の重心位置ｇｎに基づいて、撮像装
置位置制御量が送信される。

【００３１】図６中に示すように、入力画像ｆｔ３を入
力後、図２０で説明するフローチヤートＡの処理を組み
合わせ、かつ次重心移動推定位置ｇｎ算出後、図２０で
説明するフローチヤートＢの処理を組み合わせても良
い。

【００３２】次に図７〜図９により、対象物の遠近移動
量の予測を行う実施例の基本処理について説明する。

【００３３】図７は、対象物７が接近する場合の処理を
しめす。入力画像ｆｔ１の対象物７は撮像装置の方向に
向かって近づいて来ているため、入力画像ｆｔ１に比較
し、任意の時間（△ｔ）分経過後の入力画像ｆｔ２で
は、対象物７は大きさが拡大している。この入力画像ｆ
ｔ１と、入力画像ｆｔ２の画像間演算ｆｔ１−ｆｔ２を
求めると、求めた画像間演算結果ｆｔ１−ｆｔ２は、対
象物の拡大部分を抽出した画像になっている。この抽出
した画像（遠近抽出画像）ｆｄの面積，輪郭幅，濃度情
報を求めれば、対象物の近づいた量がわかる。例えば、
濃度情報は背景の濃度と対象物の濃度が夫れ夫れ正の値
であるとし、かつ、夫れ夫れを比較し、対象物の濃度が
高い（高輝度）である場合、画像間演算ｆｔ１−ｆｔ２
を求めた画像間演算結果ｆｔ１−ｆｔ２は、負の値に成
ることから、対象物が近づいたと判定できる。

【００３４】図８は、対象物が離脱する場合の処理を表
している。入力画像ｆｔ１の対象物７は、撮像装置２に
対して、遠ざかっており、任意の時間（△ｔ）分経過後
の入力画像ｆｔ２では、対象物７の大きさが縮小してい
るのがわかる。この入力画像ｆｔ１と、入力画像ｆｔ２
の画像間演算ｆｔ１−ｆｔ２を求めると、求めた画像間
演算結果ｆｔ１−ｆｔ２は、対象物７の縮小分を抽出し
た画像になっている。この抽出した画像（遠近抽出画
像）ｆｄの面積，輪郭幅，濃度情報を求めれば、対象物
７の遠ざかった量がわかる。例えば、濃度情報は背景の
濃度と対象物の濃度が夫れ夫れ正の値であるとし、かつ
夫れ夫れを比較し対象物の濃度が高い（高輝度）である
場合、画像間演算ｆｔ１−ｆｔ２を求めた画像間演算結
果は、正の値になることから、対象物が遠ざかったと判
定できる。

【００３５】また、図３〜図６で説明した、対象物の移
動方向、移動量の予測を行う処理と組合せて処理するこ
とも可能である。

【００３６】図９は、図７、図８の処理のフローチヤー
トを表している。入力画像ｆｔ１を入力する。次に任意
の時間（△ｔ）分ずれた入力画像ｆｔ２を入力し、画像
間演算ｆｔ１−ｆｔ２を求め、遠近抽出画像ｆｄを得
る。そして、遠近抽出の為に入力画像の背景の輝度と対
象物の輝度を比較判定する。まず、背景輝度＞対象物輝
度の場合は、遠近抽出画像ｆｄの輝度を判定し、ｆｄ輝
度＞０の時は、対象物は近づいたと判定する。ｆｄ輝度
＜０の時は、対象物は遠ざかったと判定する。次に、背
景輝度＜対象物輝度の場合は、遠近抽出画像ｆｄの輝度
を判定し、ｆｄ輝度＜０の時は、対象物は近づいたと判
定する。ｆｄ輝度＞０の時は、対象物は遠ざかったと判
定する。以上の判定により、撮像装置２のズームを制御
できる。ズームのための制御量は抽出した遠近抽出画像
ｆｄの面積，輪郭幅と撮像装置２の視野サイズ１から決
定できる。

【００３７】図１０では、対象物の移動位置予測による
マスク処理について説明している。このマスク処理は、
対象物７の移動座標の軌道抽出を連続処理する上での入
力画像の背景の影響を低減する事を目的にしている。対
象物７の移動座標の軌道抽出を連続処理する方法は、図
３〜図６で説明したとおり、対象物７の面積，体積（濃
度頻度）および、対象物７の撮像装置２の視野における
移動座標の軌道を求めるものであり、求めた対象物の移
動座標の軌道から、対象物の移動方向を推定する。更
に、求めた対象物７の面積，体積（濃度頻度）から、任
意の移動許容角度を推定する。移動許容角度の推定値
は、対象物７の面積と撮像装置２の視野サイズ１から決
定できる。以上により、マスク領域を設定し、マスク領
域設定画像ｆｍを、以後の入力画像に適用し、背景の影
響を低減する事が出来る。

【００３８】図１１は、マスク処理のフローチヤートを
表している。まず、入力画像ｆｔ１を入力する。次に任
意の時間（△ｔ）分ずれた入力画像ｆｔ２を入力し画像
間演算｜ｆｔ１−ｆｔ２｜を求める。求めた画像間演算
結果画像｜ｆｔ１−ｆｔ２｜に対して重心ｇ１を抽出す
る。そして、更に任意の時間（△ｔ）分ずれた入力画像
ｆｔ３を入力し、同様に画像間演算｜ｆｔ２−ｆｔ３｜
を求める。求めた画像間演算結果画像に対して重心ｇ２
および面積，体積（濃度頻度）を抽出する。次の対象物
の重心位置は、重心移動量ｇ２−ｇ１分ずれた位置とほ
ぼ等価になると考える。これにより次重心移動推定位置
ｇｎは、ｇｎ＝ｇ２＋（ｇ２−ｇ１）になる。求めた対
象物の移動座標の軌道から、対象物の移動方向を抽出す
る。さらに、求めた対象物の面積，体積（濃度頻度）か
ら、任意の移動許容角度を推定する。移動許容角度の推
定値によりマスク領域を設定する。

【００３９】図１１中に示すように、入力画像ｆｔ３を
入力後、図２０で説明するフローチヤートＡの処理を組
み合わせ、かつ次重心移動推定位置ｇｎ算出後、図２０
で説明するフローチヤートＢの処理を組み合わせても良
い。

【００４０】図１２では、対象物の移動位置予測による
複数の撮像装置に対する制御処理について説明してい
る。監視領域の更なる広範囲化、監視領域の複雑化に伴
い、１台の撮像装置での追跡では限界となる場合もあり
うる。その様な場合に本処理は対応する。図１２では、
撮像装置ａ，撮像装置ｂの２台の撮像装置を例にして説
明している。３台以上の撮像装置を使用することもでき
る。撮像装置ａ，撮像装置ｂには、夫れ夫れ画像処理装
置ａ，画像処理装置ｂを接続し、個々に、図３〜図６で
説明したとおり、対象物の面積，体積及び濃度頻度）お
よび重心から、対象物の撮像装置の視野における移動座
標の軌道を求めることが可能である。画像処理装置ａ，
画像処理装置ｂは、夫れ夫れの制御量抽出処理部１３間
を結び、制御量情報を交信可能とする。撮像装置ａ，撮
像装置ｂから延びる直線で出来た扇型（空間的には円錐
形）で示す部分が撮像可能な範囲である。図１２は、対
象物が、左方向から右方向に移動する例であり、まず画
像処理装置ａで、対象物の侵入を認識し、図３〜図６で
説明のとおり対象物の撮像装置ａの視野における移動座
標の軌道を求め、撮像装置ａの位置制御を繰り返し、常
に対象物を撮像装置ａの視野のほぼ中心に捕らえる。そ
して、撮像装置ａの移動限界になった際、画像処理装置
ａの制御量抽出処理部１３は、撮像装置ａの制御を終了
し、画像処理装置ｂの制御量抽出処理部１３へ、対象物
の位置制御量情報を送信し、画像処理装置ｂ，撮像装置
ｂを起動する。対象物が、逆に右方向から左方向に移動
する場合は、撮像装置ａ，画像処理装置ａと撮像装置
ｂ，画像処理装置ｂの処理順序が逆になるだけであり、
互いに、相互関係にある。

【００４１】図１３は、図１２の複数の撮像装置に対す
る制御処理のフローチヤートを表している。対象物の検
知後まず、図３〜図６で説明したとおり、入力画像ｆｔ
１を入力する。次に任意の時間（△ｔ）分ずれた入力画
像 ｆｔ２を入力し、画像間演算｜ｆｔ１−ｆｔ２｜を
求める。求めた画像間演算結果画像に対して重心ｇ１を
抽出する。そして、更に任意の時間（△ｔ）分ずれた入
力画像ｆｔ３を入力し、同様に画像間演算｜ｆｔ２−ｆ
ｔ３｜を求める。求めた画像間演算結果画像に対して重
心ｇ２および、面積，体積（濃度頻度）を抽出する。次
の対象物の重心位置は、重心移動量ｇ２−ｇ１分ずれた
位置とほぼ等価になると考える。これにより次重心移動
推定位置ｇｎは、ｇｎ＝ｇ２＋（ｇ２−ｇ１）になる。
次に求めた次重心移動推定位置が、撮像装置の位置変更
可能な範囲であるかを判定し、範囲内であれば、継続し
て撮像装置の位置を制御する。範囲外であれば、他に撮
像可能な撮像装置の有無を判定し、有る場合は、次の撮
像装置へ対象物の位置制御量情報を送信し起動する。無
い場合は、処理を終了する。

【００４２】図１３中に示すように、入力画像ｆｔ３を
入力後、図２０で説明するフローチヤートＡの処理を組
み合わせ、かつ次重心移動推定位置ｇｎ算出後、図２０
で説明するフローチヤートＢの処理を組み合わせても良
い。

【００４３】図１４は、対象物７の移動位置予測による
記録装置５の制御処理を説明している。本処理は対象物
７を撮像可能な間のみ記録することを目的としており、
対象物７の記録における記録時間の最適化を図る。撮像
装置２，画像処理装置６により、図３〜図６で説明した
とおり、対象物の面積，体積（濃度頻度）および重心か
ら、対象物の撮像装置の視野における移動座標の軌道を
求めることが可能である。撮像装置２のレンズ面の垂直
線上が追跡して、撮像可能な範囲である。画像処理装置
６内の制御量抽出処理部１３からの制御情報により、記
録装置５の記録スイッチＯＮ／ＯＦＦの制御ができる。
図１４は、対象物が、左方向から右方向に移動する例で
あり、撮像装置２は、あらかじめ対象物が、侵入してく
る任意の方向（図１４では、左方向）を向いて設置す
る。設置後、対象物の検知処理を行う。対象物の検知処
理は、図３〜図６で説明したとおり、まず入力画像ｆｔ
１を入力する。次に任意の時間（△ｔ）分ずれた、入力
画像ｆｔ２を入力し画像間演算｜ｆｔ１−ｆｔ２｜を求
める。そして、画像間演算結果画像に対して面積，体積
（濃度頻度）を求め、あらかじめ対象物と予測される任
意の面積，体積（濃度頻度）と比較し、任意の一定値以
上の場合に対象物が、侵入した、と検知する。検知後
は、記録装置５の記録スイッチをＯＮにし、図３〜図６
で説明のとおり対象物の撮像装置２の視野における移動
座標の軌道を求め、撮像装置２の位置制御を繰り返し、
常に対象物を対象物を撮像装置２の視野のほぼ中心に捕
らえ、記録装置５で記録する。そして、撮像装置２の移
動限界になった際、画像処理装置６の制御量抽出処理部
１３は、記録装置５の記録スイッチをＯＦＦにし、記録
を終了する。

【００４４】図１５は、図１４の制御処理のフローチヤ
ートを表す。入力画像ｆｔ１を入力し、次に任意の時間
（△ｔ）分ずれた入力画像ｆｔ２を入力し、画像間演算
｜ｆｔ１−ｆｔ２｜を求め、画像間演算結果画像に対し
て面積，体積(濃度頻度)を求め、あらかじめ対象物と予
測される任意の面積，体積（濃度頻度）と比較し、任意
の一定値以上の場合に対象物が、侵入した、と検知す
る。検知後は、記録装置５の記録スイッチをＯＮにし、
重心１（ｇ１）を抽出する。そして、更に任意の時間
（△ｔ）分ずれた、入力画像３（ｆｔ３）を入力する。

【００４５】ここで、対象検知の信頼度または正確度を
一層向上するために、図１５中に示すように、入力画像
ｆｔ３を入力後、図２０で説明するフローチヤートＡで
表される処理を組み合わせることが望ましい。フローチ
ヤートＡで表される処理では、記録装置５に格納してい
る基準画像データｆｂ（相対的に時間経過の一致する基
準データ）を入力し、画像間演算｜ｆｂ−ｆｔ３｜を求
める。その画像間演算結果画像に対して面積，体積（濃
度頻度）を求め、予め、正常に検知していると予測され
る任意の面積，体積（濃度頻度）と比較し、任意の一定
値以下の場合に正常に検知したと判断し、画像間演算｜
ｆｔ２−ｆｔ３｜を求め、処理を継続し、異常の場合
は、処理を終了する。

【００４６】さらに、求めた画像間演算結果画像に対し
て重心ｇ２および、面積，体積（濃度頻度）を抽出す
る。次の対象物の重心位置は、重心移動量ｇ２−ｇ１分
ずれた位置とほぼ等価になると考える。これにより次重
心移動推定位置ｇｎは、ｇｎ＝ｇ２＋（ｇ２−ｇ１）に
なる。

【００４７】ここで、対象検知の信頼度または正確度を
向上するために、図２０に示すフローチヤートＢの処理
を行なうことが望ましい。フローチヤートＢで表される
処理では、次重心移動推定位置ｇｎが、異常（予測され
る範囲を過ぎる）と判断された場合は、記録装置５より
対象物を検知後の相対的に同一時間経過した基準画像デ
ータｆｂを入力し、画像間演算｜ｆｂ−ｆｔ３｜を求め
る。その画像間演算結果画像に対して面積，体積（濃度
頻度）を求め、予め、正常に検知していると予測される
任意の面積，体積（濃度頻度）と比較し、任意の一定値
以下の場合に正常に検知したと判断し、画像間演算｜ｆ
ｔ２−ｆｔ３｜を求め、処理を継続し、一定値以上の場
合は、異検知と判定し、処理を中断する。

【００４８】次に求めた次重心移動推定位置が、撮像装
置の位置変更可能な範囲であるかを判定し、範囲内であ
れば、継続して撮像装置の位置を制御する。範囲外であ
れば、記録装置５の記録スイッチをＯＦＦにし、記録処
理を終了する。

【００４９】この様に、対象物を撮像し画像データを得
る撮像手段と、画像データから対象物の属性情報を検出
する画像処理手段と、画像データを記録する記録手段
と、記録手段に記録された画像データに基づいて撮像手
段の撮像状態や記録手段の記録条件を変化させる手段を
具備することにより、対象検知の信頼度または正確度を
向上できる。

【００５０】図１６を用いて、記録，表示の目視性向上
するための制御処理について説明する。本処理は、対象
物を撮像し記録表示する上での目視性向上するため、監
視確認作業の容易化を図ることが出来る。具体的には、
対象物を擬似カラー表示するものである。図１６は、複
雑な背景２０を持つ対象物７を撮像する例であり、撮像
装置２により、撮像した対象物７は、表示装置４上に通
常表示対象物１８として表示される。ここで、対象物の
擬似カラー表示するためには、図２に示す様に、まず、
撮像装置２により、撮像した対象物を含む画像データを
画像処理装置６でアナログデータから、デジタルデータ
に変換し、画像処理装置６内の入力画像格納メモリ８に
格納する。入力画像格納メモリ８は、複数面の入力画像
に対応して設けられ、任意の時間（Δｔ）分ずれのある
複数の画像データを格納可能である。入力画像格納メモ
リ８に格納した画像データを画像間演算処理部９で、演
算（画像間減算）し、演算画像格納メモリ１０に格納す
る。演算（画像間減算）で得られた結果画像は、必要で
あれば、対象物部分のデータを、拡大，縮小，塗りつぶ
し等の補正整形し、画像擬似カラー発生処理部１２へ送
る。擬似カラー発生処理部１２では、差画像にＲ，Ｇ，
Ｂのカラー３原色の任意の１色を与え、入力画像格納メ
モリ８に格納した画像データと重ね合わせて出力し、対
象物７を擬似カラー表示対象物１９として擬似カラー表
示する。

【００５１】図１７は、図１６の処理のフローチヤート
を表す。まず、入力画像ｆｔ１を入力する。次に任意の
時間（△ｔ）分ずれた入力画像ｆｔ２を入力し画像間演
算｜ｆｔ１−ｆｔ２｜を求める。得られた演算結果画像
にＲ，Ｇ，Ｂのカラー３原色の任意の１色を与え、入力
画像ｆｔ２もしくは入力画像ｆｔ１と重ね合わせ（合
成）て出力し、対象物を擬似カラー表示する。

【００５２】次に、ノイズ抑制に関する実施例につい
て、図１８及び図１９を用いて述べる。本実施例によれ
ば、撮像画面に複数の対象物が入り、本来の対象物のノ
イズとなった場合でも、正確な重心位置が得られ移動位
置推定に誤差を生じることがない。撮像装置からの入力
画像ｆｔ１と対象物の移動する速度によって任意の時間
（△ｔ）分遅延した入力画像ｆｔ２を画像処理装置６に
入力する。次に画像間演算の減算（結果に対して絶対値
をとること）処理を行ない、｜ｆｔ１−ｆｔ２｜を求
め、入力画像ｆｔ１と入力画像ｆｔ２との画像間演算結
果画像を得る。その差分に対して画像処理装置６のヒス
トグラム処理で、面積，体積（濃度頻度）、重心位置ｇ
１を求める。

【００５３】画像間演算結果画像は、対象物の移動によ
る差分だけが抽出され、対象物の背景は形状に関係なく
消えてしまう。この時に、画像データを入力する際のノ
イズ等が発生し、差分として現れることがあっても、対
象物の移動による差分に比較して形状，面積が異なるた
め、容易に取り除くことができる。

【００５４】さらに、本来の対象物に類似した移動を示
す別の対象物が入力された場合は、入力画像ｆｔ１と入
力画像ｆｔ２との画像間演算結果画像を得た後、継続し
て入力画像ｆｔ１と入力画像ｆｔ２との画像間演算の加
算を行ない、一定時間の間のｎ画面の入力画像ｆｔ１〜
ｆｔｎに対して処理を繰返し、画像間演算間の加算結果
画像を得る。画像間演算間の加算は、対象物と背景との
濃度の関係により、例えば、ｍａｘ（ｆｔ１，ｆｔ２）
［入力画像ｆｔ１と入力画像ｆｔ２の個々のが素単位に
濃度を比較し濃度の高い方を結果とする］または、ｍｉ
ｎ（ｆｔ１，ｆｔ２）［入力画像ｆｔ１と入力画像ｆｔ
２の個々のが素単位に濃度を比較し濃度の低い方を結果
とする］を選択する。本結果は、対象物の軌跡に相当す
る。

【００５５】画像間演算間の加算を一定時間繰り返した
後、同様に、撮像装置から入力済みの入力画像ｆｔｎ−
１と、対象物の移動する速度によって任意の時間（Δ
ｔ）遅延した入力画像ｆｔｎに対して、画像間演算の減
算（結果に対して絶対値をとること）処理を行ない、入
力画像ｆｔｎ−１と入力画像ｆｔｎとの画像間演算結果
画像を得る。その差分に対して画像処理装置６のヒスト
グラム処理で、面積，体積（濃度頻度），重心位置ｇ２
を求める。次に、抽出した重心位置ｇ１と一定時間繰り
返した画像間演算の加算結果画像と重心位置ｇ２に連結
性があることを確認する。ここで、連結性とは、重心位
置ｇ１と重心位置ｇ２とが同一の移動軌跡線上にある事
と定義する。連結性があることを確認するには、入力画
像ｆｔ１と入力画像ｆｔ２の画像間演算(max(ｆｔ１，
ｆｔ２)またはmin(ｆｔ１，ｆｔ２))を求めて、それを
入力画像ｆｔｎまでｎ回繰り返した画像間演算の加算結
果画像（図１８の連結抽出画像に相当）を２値化後、必
要であれば細線化処理により対象物の軌跡画像を抽出
し、本軌跡画像の範囲に、重心位置ｇ１と重心位置ｇ２
とが含まれていることを確認すれば良い。連結性がない
場合は、入力画面本来の対象物に類似した類似対象物
（対象物追跡の為にはノイズとなる）があると判断す
る。類似対象物というノイズを除去するには、一定時間
繰り返した画像間演算の加算結果画像をマスク画像にし
て、入力画像にある本来の対象物に類似した類似対象物
を除去する。その後、重心位置ｇ２を求め、重心位置ｇ
１と一定時間繰り返した画像間演算の加算結果画像と重
心位置ｇ２に連結性があることを確認する。応用システ
ムとしては、例えば、図１，図２に示した画像処理シス
テムに対して、画像処理システム中の画像処理装置６か
らの出力に応じて、警報を発する警報装置を持つ監視シ
ステムが挙げられる。この監視システムでは、対象物の
挙動が、予め定められた基準値を越える場合、警報装置
が作動して、遠隔地へ通報したり、警報装置からの警報
信号に基づいて、消火装置の作動や、エレベータ／エス
カレータ等の可動装置の緊急停止を行なうことができ
る。例えば、マンション通路の人物を撮像追尾し、所定
の行動パターンを示した場合、闖入者と判断し、居住者
／警察／警備組織に通報し、所定の扉をロックすること
が可能となる。

【００５６】撮像装置としては、一般のビデオカメラ、
テレビカメラ等の他、撮像対象に応じて、赤外線カメラ
なども用いることが出来る。要するに、対象物を本発明
の要旨に対応するように撮像できるものであればよい。

【００５７】記録装置としては、一般のＶＴＲ，光デイ
スクの他、撮像対象に応じて、半導体メモリなども用い
ることが出来る。要するに、対象物の画像データを本発
明の要旨に対応するように記録できるものであればよ
い。

【００５８】以上述べた実施例において、本システム
を、監視作業に使用すると、監視作業員の作業緩和およ
び監視作業の記録再現することが可能であり、監視の見
逃し等を低減できる。また、撮像装置の設置台数を必要
最小限にしかつ設置位置にフレキシブル性を持たせるこ
とが可能であり、監視システムのコスト低減を図る事が
できる。

【００５９】本発明の画像処理システム及び監視システ
ムは、上記実施例に限定されるものではなく、本発明の
範囲内で変形可能なことは言うまでもない。

【００６０】

【発明の効果】本発明によれば、撮像画面に複数の対象
物が入り本来の対象物のノイズとなった場合でも、正確
な重心位置が得られ移動位置推定に誤差を生じることの
ない画像処理システムを提供することができる。

【図面の簡単な説明】

【図１】本発明の実施例の全体説明図。

【図２】本発明の実施例の部分説明図。

【図３】本発明の実施例の重心抽出処理説明図。

【図４】本発明の実施例の位置予測処理説明図。

【図５】本発明の実施例の移動位置予測処理説明図。

【図６】本発明の実施例の移動位置予測処理フローチヤ
ート。

【図７】本発明の実施例の接近時移動位置予測処理説明
図。

【図８】本発明の実施例の離脱時移動位置予測処理説
明。

【図９】本発明の実施例の遠近処理フローチヤート。

【図１０】本発明の実施例のマスク処理説明図。

【図１１】本発明の実施例のマスク処理フローチヤー
ト。

【図１２】本発明の実施例の複数撮像装置制御の説明
図。

【図１３】本発明の実施例の複数撮像装置制御の処理フ
ローチヤート。

【図１４】本発明の実施例の記録装置制御説明図。

【図１５】本発明の実施例の記録装置制御処理フローチ
ヤート。

【図１６】本発明の実施例の目視性向上説明図。

【図１７】本発明の実施例の目視性向上処理フローチヤ
ート。

【図１８】本発明の実施例のノイズ抑制の説明図。

【図１９】本発明の実施例のノイズ抑制の説明図。

【図２０】本発明の実施例の記録装置制御処理フローチ
ヤート。

【符号の説明】

２…撮像装置、３…撮像装置制御部、４…表示装置、５
…記録装置、６…画像処理装置、８…入力画像格納メモ
リ、９…画像間演算処理部、１０…演算画像格納メモ
リ、１１…ヒストグラム抽出処理部、１２…擬似カラー
発生処理部、１３…制御量抽出処理部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤原 和紀 茨城県日立市大みか町五丁目２番１号 株式会社 日立製作所 大みか工場内 (56)参考文献 特開 平１−109889（ＪＰ，Ａ) 特開 昭64−13885（ＪＰ，Ａ) 特開 昭59−208983（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】対象物を撮像し画像データを得る撮像手段
   と、前記画像データを処理する画像処理手段とを具備す
   る画像処理システムであって、 前記画像処理手段は、所定の時間間隔で継続して撮像さ
   れた前記対象物の画像データを取り込み、前記取り込ん
   だ画像データのうち複数の画像データの差から前記対象
   物の第１の重心位置を算出する手段と、前記画像データ
   のうち別の複数の画像データの差から前記対象物の第２
   の重心位置を算出する手段と、前記取り込んだ画像デー
   タの和を求める画像間演算結果抽出手段と、前記第１の
   重心位置と前記第２の重心位置及び前記撮像データの和
   から前記第１の重心位置と前記第２の重心位置とが同一
   の移動軌跡線上にあるかどうかを判断する判断手段と、
   を有することを特徴とする画像処理システム。
2. 【請求項２】請求項１において、 前記判断手段は、更に、前記第１の重心位置と前記第２
   の重心位置から、前記対象物の移動量及び移動方向を判
   断することを特徴とする画像処理システム。