JPH02214989A - 移動物体抽出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、たとえば画像により不法侵入者などの検知を
行なう画像監視装置において、入力画像から移動対象物
の抽出を行なう移動物体抽出装置に関する。

（従来の技術） 近年、たとえばセキュリティシステムにおいて、テレビ
ジョンカメラによる撮影画像を用いることにより、不法
侵入者などの検知を行なう画像監視装置が広く普及して
きている。これは、昨今の半導体技術の目覚ましい発展
とデジタル画像処理技術の普及などにより、低価格の装
置ができるようになったためでもある。

このような画像監視装置において、たとえば不法侵入者
の検知を行なうには、不法侵入者が画像内を移動するこ
とによる変化情報を抽出する必要がある。従来、このよ
うな変化領域を抽出する方法として、単純に時間的に離
れた画像との減算処理を行なうことにより、移動した部
分（変化領域）を抽出していた。

また、テレビジョンカメラによる画像監視装置では、主
に斜め上方から取込んだ時間的に離れた画像を減算処理
することにより変化領域を抽出し、その後、抽出した変
化領域の解析を行なうことにより、人物（移動物体）の
有無を判定する。しかし、この場合、抽出した変化領域
の画像内の移動対象物の実際の大きさは考慮しないで、
そのまま変化領域画像として判定の対象にしていた。

（発明が解決しようとする課題） しかしながら、従来の変化部分の抽出方法にあっては、
入力画像の撮影環境、たとえば特に晴れた日または雨の
日などによって、さらには移動物体の移動方向、入力画
像の取込み時間の間隔などによって、本来の移動対象物
の形状をそのまま抽出することは困難な処理となり、む
しろ実際的には移動物体の一部しか抽出されないことが
多かった。

また、従来は抽出した移動対象物の大きさを考慮してい
ないので、変化領域の形状の大きさを対象にした判定処
理では、抽出する移動対象物以外の移動物体、たとえば
小動物などを誤って判定し、セキュリティシステムにお
ける警報を出すことが多い。したがって、こういった警
報を頻繁に出すことによって人間の方が慣れてしまい、
最悪の場合、画像監視装置に連動したセキュリティシス
テムの電源を切ってしまう恐れもあった。

そこで、本発明は、抽出すべき対象物が移動して得られ
る変化領域が、入力画像の撮影環境あるいは移動物体の
方向など、環境変化の影響によって、本来の対象物の一
部分であっても、その一部分の変化部分を用いて移動対
象物の全体の形状を抽出することができる移動物体抽出
装置を提供することを目的とする。

また、本発明は、抽出すべき対象物が移動して得られる
変化領域に対して形状の大きさを補正することができ、
遠近画像内の任意の位置によって大きさか見かけ上界な
る本来同じ大きさの対象物が画像内の抽出位置に関係な
く同じ大きさの情報として扱うことができる移動物体抽
出装置を提供することを目的とする。

［発明の構成］ （課題を解決するための手段） 第１の発明に係る移動物体抽出装置は、画像を入力する
画像入力手段と、この画像入力手段で入力される画像を
受入れ、時間的に離れた画像との演算処理を行なうこと
により、移動対象物の変化領域を示す画像を抽出する変
化領域抽出手段と、前記画像入力手段で入力される画像
および前記変化領域抽出手段で抽出された変化領域を示
す画像により、その変化領域を含むその周辺領域を矩形
情報として求める周辺矩形決定手段と、この周辺矩形決
定手段で求めた矩形情報が示す位置に対応する前記画像
入力手段で入力された画像の位置の画像情報に対して、
ラインごとの濃度射影情報を作成する濃度射影作成手段
と、この濃度射影作成手段で作成した濃度射影情報に基
づき前記変化領域抽出手段で抽出された変化領域を示す
画像から移動対象物を抽出する移動対象物抽出手段とを
具備している。

第２の発明に係る移動物体抽出装置は、画像を入力する
画像入力手段と、この画像入力手段で入力される画像を
受入れ、時間的に離れた画像との演算処理を行なうこと
により、移動対象物の変化領域を示す画像を抽出する変
化領域抽出手段と、前記画像入力手段で入力される画像
を可視表示する画像表示手段と、この画像表示手段の表
示画面上において、その表示画像に対して任意に矩形を
指定する矩形指定手段と、この矩形指定手段で指定され
た複数箇所の矩形情報を用いて移動対象物の大きさの補
正情報を求め、この求めた補正情報を用いて前記変化領
域抽出手段から出力される画像内の任意の場所における
移動対象物の大きさを補正する大きさ補正手段とを具備
している。

（作用） 第１の発明に係る移動物体抽出装置は、入力画像から時
間的に離れた画像との演算処理の結果、得られる移動対
象物の変化領域画像と、これに対応した入力画像を用い
、上記変化領域を含むその周辺領域を処理対象として、
入力画像における処理対象内を各ラインごとに濃度射影
情報を求め、この求めた濃度射影情報に基づき上記変化
領域画像から移動対象物を抽出するものである。

第２の発明に係る移動物体抽出装置は、斜め上方から撮
影して得られる遠近画像を対象にした場合、本来同じ大
きさの移動対象物が画面の近くと遠めで取込んだときに
見かけ上の大きさが違ってくる。そこで、抽出しようと
する大きさの対象物を画像内の近い場所および遠い場所
がら見つけ、それぞれの対象物を包含する矩形を少なく
とも同画像内で２箇所設定することにより、対象物の大
きさの補正情報を求め、この補正情報を用いて同画像内
の任意の位置にある対象物の大きさを補正するものであ
る。

（実施例） 以下、本発明の実施例について図面を参照して説明する
。

第１図は本発明の第１実施例に係る、たとえば不法侵入
者などの検知を行なう画像監視装置における移動物体抽
出装置の構成を示すものである。

すなわち、１は例えばテレビジョンカメラなどを主体に
構成される画像入力部（画像入力手段）で、一定時間離
れた画像（以後時系列画像という）を多値情報として入
力する。画像入力部１から入力される多値画像は、差分
画像による変化領域抽出部（変化領域抽出手段）２に供
給され、ここで複数の時系列画像による画素ごとの減算
処理を行なうことにより、移動対象物の変化領域が抽出
される。その方法としては、−船釣に使用されている２
つの時系列画像によるもの、または３つの時系列画像を
使ったものがある。本実施例においては、たとえば３つ
の時系列画像による減算処理で得た差分画像を使うもの
とする。

なお、差分画像を求める処理は、移動対象物の形状を完
全に抽出することができれば理想的であるが、実際上、
はとんどの場合は、移動対象物を部分的にしか捕えるこ
とができないのが実情である。

さて、変化領域抽出部２で抽出された変化領域を示す２
値化画像は、画像入力部１からの入力画像とともに変化
領域周辺矩形決定部（周辺矩形決定手段）３に供給され
る。変化領域周辺矩形決定部３は、変化領域を含む、そ
の周辺の領域を矩形情報という形で求め、この矩形内を
目的とする移動対象物の抽出処理の対象とする。この矩
形情報の決定は、あらかじめ抽出しようとする人物の画
像上における大きさなどの情報を使うことができる。

変化領域周辺矩形決定部３で決定された矩形情報は、画
像入力部１からの入力画像とともにライン単位の濃度射
影作成部（濃度射影作成手段）４に供給される。濃度射
影作成部４は、処理する画像は多値の入力画像であり、
前記矩形が示す位置に対応する多値の入力画像の位置の
画像情報に対して、ライン単位に濃度射影情報を求める
。

濃度射影作成部４で作成された濃度射影情報は、変化領
域抽出部２で抽出された変化領域画像とともに移動対象
物抽出部（移動対象物抽出手段）５に供給される。移動
対象物抽出部５は、ライン単位の濃度射影情報に基づき
変化領域画像から移動対象物を抽出する。すなわち、ラ
イン単位の濃度射影情報を元にして処理対象内にある（
すなわち前記矩形内の）移動対象物を抽出するものであ
る。

移動対象物抽出部５で抽出された画像は判定部６に供給
される。判定部６は、移動対象物抽出部５からの画像に
より不法侵入者の有無を判定し、その判定結果を出力す
る。

第２図は、前記画像入力部１に用いられるテレビジョン
カメラ１ａの設置状態を示したものである。本実施例で
は、テレビジョンカメラ１ａを高さｈ上に設置し、斜め
上方からの撮影状態で、人物７がテレビジョンカメラ１
ａに向かって移動している状況で説明することにする。

この状況設定においては、本発明で問題としている移動
対象物（人物７）を部分的にしか捕えられない典型的な
ケースと考えられる。

第３図は、第２図に示す撮影環境で、変化領域抽出部２
において、３つの時系列画像による変化領域を抽出する
過程を示したものである。なお、画像内に引いている横
線は人物の移動状態を分かり易くするためのものである
。また、ｔｌ、ｔ２゜ｔ８の各画像はある一定時間間隔
離れた画像であり、ｔｌからｔ２、ｔ２からｔ３へと時
間が経っているものとする。

まず、ｔ２の画像からｔｌの画像の減算処理によっ７１
１−ｔ２の差分画像を得ることができる。

ここでは、人物の頭と足の部分が変化領域として抽出さ
れている。次に、ｔ３の画像がらｔ２の画像の減算処理
によってｔ２−ｔ３の差分画像を得ることができる。こ
こでも、ｔｌ−ｔ２の差分画像と同じように、人物の頭
と足の部分が変化領域として抽出されており、ただ異な
るのは画像上の位置である。さらに、ｔ２−ｔ３の画像
とｔ１ｔ２の画像との論理積処理により、最終的にＲの
差分画像を得ることができる。この差分画像Ｒ内に示す
ａおよびｂの部分が変化領域であることを示している。

なお、上記差分画像Ｒは、実際には差分多値画像の絶対
値をとり、所定の閾値で２値化した差分２値化画像であ
る。

このように、対象物が少しずつしか移動しないで、時系
列画像間で対象物がオーバーラツプする場合には、通常
、差分画像Ｒには変化領域は抽出されることはない。し
かし、実際上、撮影状況は時車刻々変化しているので、
時系列画像間で特に移動する対象物の境界部分では変化
領域として抽出することができる。差分画像Ｒ内の変化
領域は、移動する対象物の一部分を確実に抽出すること
ができる。この重要な情報を用いて、この変化領域の背
景を含んだ周辺領域を細かく濃度解析することにより、
移動対象物を抽出する。このように、差分画像で必ずし
も全体の形状を抽出できなくても、元の多値画像を用い
て段階的に処理することにより、対象物の全体の形状を
抽出することが可能となる。

第４図（ａ）は多値の入力画像を示し、同図（ｂ）は第
３図に示した最終の差分画像Ｒである。

この（ａ）と（ｂ）の各画像を重ねたものが同図（ｃ）
であり、変化部分が丁度人物の頭の上部と足の部分とに
オーバーラツプしていることがわかる。

第４図（ｄ）は、変化領域の位置情報を基にして、抽出
しようとする人物の画面上の大きさ情報などを用いて、
変化領域を含む、背景を入れた、その周辺領域を決定す
る処理によって、その矩形Ｋを表示したものである。こ
れによって、以後の移動対象物を抽出するまでの処理を
行なう領域の対象を、この矩形に内とすることができる
。

第４図（ｅ）は、上記矩形に内を拡大して示したもので
あり、ラインごとの濃度射影を求める処理はラインＹＳ
からラインＹＥである。第４図（ｆ）は、同図（ｅ）の
矩形に内のラインΩとラインΩ＋ｙの濃度射影を求めた
ものであり、これらの濃度射影情報から背景と移動対象
物とを分離するための閾値を、各ラインごとにｔｈ（、
Ｑ）。

ｔｈ（Ｊ７＋ｙ）のように求め、移動対象物の領域Ｏと
背景Ｂとを分離する。ここで、ラインごとに閾値を設定
する理由として、たとえば人物の場合には服装などによ
って部分的に濃度が異なるため、局所領域内の濃度頻度
で２値化したときに、必ずしも移動対象物の全体が抽出
されるとは限らないためである。

第４図（ｇ）で示す斜線部分は、上記処理によって最終
的に抽出した移動対象物を示したものである。

このように、第１実施例は、入力画像から時間的に離れ
た画像との減算処理の結果、得られる移動対象物の変化
領域画像と、これに対応した入力画像を用い、上記変化
領域を含む、その周辺領域を処理対象として、入力画像
における処理対象内を各ラインごとに濃度射影情報を求
め、この求めた各ラインごとの濃度射影情報に基づき各
ラインごとに移動対象物を抽出するための閾値を求め、
この求めた各ラインごとの閾値に基づき上記変化領域画
像から移動対象物を抽出するものである。

これにより、抽出すべき対象物が移動して得られる変化
領域が、入力画像の撮影環境あるいは移動物体の方向な
ど、環境変化の影響によって、本来の対象物の一部分で
あっても、その一部分の変化部分を用いて移動対象物の
全体の形状を抽出することができる。

すなわち、差分画像を用いた変化領域の抽出方法では、
テレビジョンカメラによる撮影の環境および移動する対
象物の方向、特にテレビジョンカメラの設置位置に対し
て平行に移動する場合には、本来の移動する対象物の全
体の形状を抽出することは実際上きわめて困難である。

むしろ、一般的にはほとんどの場合、移動対象物の一部
しか抽出されないことが多い。

これに対して、前記の一部の移動対象物か示す変化領域
を手掛かりにして、多値の入力画像を用いて、前記変化
領域の周辺を処理対象にして、各ラインごとに濃度射影
情報を求め、この濃度射影情報を用いて移動対象物を抽
出することにより、前記撮影環境の場合においても、移
動対象物の全体の形状を抽出することができる。

なお、本発明は前記実施例に限定されるものではない。

たとえば、差分画像による変化領域は、移動対象物を抽
出するための手掛かりとするために使用する場合、一般
に移動対象物の周辺の背景が単純であれば、変化領域の
周辺の濃度頻度情報を使って、適当な閾値を決定して２
値化画像を作成し、変化領域画像との論理和処理を施し
て移動対象物全体の領域を抽出することも十分可能であ
る。

また、変化領域が画像内の多くを占める場合について、
すなわち各種の移動対象物が複数存在した場合、目的と
する移動対象物を全体の変化画像から細かく解析して抽
出することは、雑音成分によって誤検知の率が高くなる
恐れがある。このとき、大局的に領域を大雑把に分割、
統合する方が効果的である。そこで、そのような場合、
前記変化領域の情報を手掛りにして、それに対応する入
力画像に対して大雑把に領域を分割、統合することに適
用することもてきる。

第５図は本発明の第２実施例に係る、たとえば不法侵入
者などの検知を行なう画像監視装置における移動物体抽
出装置の構成を示すものである。

すなわち、１］は例えばテレビジョンカメラなどを主体
に構成される画像入力部（画像入力手段）で、一定時間
離れた画像（時系列画像）を多値情報として入力する。

画像入力部１１から入力される多値画像は、差分画像に
よる変化領域抽１］」部（変化領域抽出手段）１２に供
給され、ここで複数の時系列画像による画素ごとの減算
処理を行なうことにより、移動対象物の変化領域が抽出
される。その方法としては、一般的に使用されている２
つの時系列画像によるもの、または３つの時系列画像を
使ったものがある。本実施例においては、たとえば３つ
の時系列画像による減算処理で得た差分画像を使うもの
とする。

また、画像入力部１１から入力される多値画像は、その
ままＣＲＴデイスプレィ装置などの画像表示部（画像表
示手段）］３に供給され、その画面上に常に可視画像と
して表示されている。そして、画像監視装置における初
期設定の段階で、画像監視装置の操作者は、画像表示部
］３に表示されている抽出対象物を取込んでいる画像に
対して、矩形情報指定部（矩形指定手段）］４において
７ウスなどのポインティング　デバイスを用いることに
よって、画像内の抽出対象物を囲む矩形を指定する。こ
の操作は、画像内の少なくても２箇所以上について行な
うものとする。

矩形情報指定部１４で指定された矩形情報は、移動対象
物の大きさ補正部（大きさ補正手段）１５に供給される
。移動対象物の大きさ補正部１５は、まず指定された２
箇所以上の矩形情報から、画像全域の任意の位置に移動
物体があっても、その移動物体の本来の大きさが示す形
状に補正を行なうための線形係数を求める。次に、実際
に求めた変化領域画像、すなわち変化領域抽出部１２の
出力画像に対して、上記求めた補正係数にしたがって補
正処理を施す。

変化領域抽出部１２から出力される補正された画像は判
定部１６に供給される。判定部１６は、変化領域抽出部
１２からの画像により不法侵入者の有無を判定し、その
判定結果を出力する。

第６図（ａ）は画像表示部１３に表示された多値の画像
例を示している。この画像には、抽出対］　９ 染物として人物が画像内に少なくとも２箇所に存在して
いるものとする。この例では、領域Ｍｆと領域Ｍｎに人
物がいる例を示す。領域Ｍｆでは（ＸＳｆ、ＹＳｒ）と
（ＸＥｒ、ＹＥｆ’　）　で囲む矩形を指定表示する。

同様に、領域Ｍｎでは（ＸＳｎ　、ＹＳｎ　）と（ＸＥ
ｎ、ＹＥｎ）で囲む矩形を指定表示する。第６図（ａ）
の指定では、一般に水平方向の角度が浅い場合には、水
平方向の補正を行なう必要がない場合を示している。こ
れは、もともと本方法による補正は簡易なものであり、
精度は比較的問題としないためである。

第６図（ｂ）は同図（ａ）の場合と異なり、水平の監視
範囲が広い場合、すなわち広角のレンズなどを使用した
場合に対して、水平方向の補正処理を無視できない場合
の指定方法を示したものである。すなわち、画像内の２
箇所以上の矩形の指定を、領域Ｍｆを画像の右上に、ま
た領域Ｍｎを画像の左下にといったように互いに対角線
」二に行なうものである。こうすることにより、画像内
の縦方向および横方向における線形補正係数を求めてお
くことにより、画像内の任意の移動対象物が存在してい
ても補正することができる。さらに、レンズに関係した
補正係数を取扱うことによって補正処理の精度を上げる
ことができる。

なお、矩形で指示した２箇所の人物は同一人物である。

すなわち、テレビジョンカメラで斜め上方から撮影した
遠近画像により、２箇所の人物に見かけ上大きさの差を
生じているものである。

このように、第２実施例は、テレビジョンカメラにより
斜め上方から撮影して得られる遠近画像を対象にした場
合、本来同じ大きさの移動対象物が画面の近くと遠めで
取込んたときに見かけ上の大きさが違ってくる。そこで
、抽出しようとする大きさの対象物を画像内の近い場所
および遠い場所から見つけ、それぞれの対象物を包含す
る矩形を少なくとも同画像内で２箇所設定することによ
り、対象物の大きさの補正係数を求め、この補正係数を
用いて同画像内の任意の位置にある対象物の大きさを補
正するものである。

これにより、抽出すべき対象物が移動して得られる変化
領域に対して形状の大きさを補正することができ、遠近
画像内の任意の位置によって大きさが見かけ上界なる本
来同じ大きさの対象物が画像内の抽出位置に関係なく同
じ大きさの情報として扱うことができる。

なお、本発明は前記実施例に限定されるものではない。

たとえば、撮影した画像内の抽出対象物を手動により一
々指定しているが、抽出対象物を取込んだ画像に対して
、画像処理によって自動的に求めることも可能である。

また、たとえば監視範囲を広くとりたい場合、極端な広
角レンズにおいても、その見え方の特性を解析し、その
情報をテーブル化して対応することも可能である。

［発明の効果」 以上詳述したように本発明の移動物体抽出装置によれば
、抽出すべき対象物が移動して得られる変化領域が、入
力画像の撮影環境あるいは移動物体の方向など、環境変
化の影響によって、本来の対象物の一部分であっても、
その一部分の変化部分を用いて移動対象物の全体の形状
を抽出することができる。

また、本発明の移動物体抽出装置によれば、抽出すべき
対象物が移動して得られる変化領域に対して形状の大き
さを補正することができ、遠近画像内の任意の位置によ
って大きさが見かけ上界なる本来同じ大きさの対象物が
画像内の抽出位置に関係なく同じ大きさの情報として扱
うことができる。

【図面の簡単な説明】 第１図ないし第４図は本発明の第１実施例を説明するた
めのもので、第１図は全体的な構成を概略的に示すブロ
ック図、第２図はテレビジョンカメラの設置状態を示す
図、第３図は３つの時系列画像を用いて差分画像を求め
る過程を示す図、第４図は処理過程を説明する図、第５
図および第６図は本発明の第２実施例を説明するだめの
もので、第５図は全体的な構成を概略的に示すブロック
図、第６図（ａ）は水平方向の監視範囲が比較的狭い場
合の矩形情報の設定を説明する図、第６図（ｂ）は水平
方向の監視範囲が比較的広い場合の矩形情報の設定を説
明する図である。 １．１１・・・画像入力部（画像入力手段）、２１２・
・・変化領域抽出部（変化領域抽出手段）３・・・変化
領域周辺矩形決定部（周辺矩形決定手段）、４・・・濃
度射影作成部（濃度射影作成手段）、５・・・移動対象
物抽出部（移動対象物抽出手段）、１３・・・画像表示
部（画像表示手段）、１４・矩形情報指定部（矩形指定
手段）、１５・・・移動対象物の大きさ補正部（大きさ
補正手段）。 出願人代理人　弁理士　鈴　江　武　彦〜 （ａ） 第 図

Claims (2)

【特許請求の範囲】
1. （１）画像を入力する画像入力手段と、 この画像入力手段で入力される画像を受入れ、時間的に
   離れた画像との演算処理を行なうことにより、移動対象
   物の変化領域を示す画像を抽出する変化領域抽出手段と
   、 前記画像入力手段で入力される画像および前記変化領域
   抽出手段で抽出された変化領域を示す画像により、その
   変化領域を含むその周辺領域を矩形情報として求める周
   辺矩形決定手段と、 この周辺矩形決定手段で求めた矩形情報が示す位置に対
   応する前記画像入力手段で入力された画像の位置の画像
   情報に対して、ラインごとの濃度射影情報を作成する濃
   度射影作成手段と、 この濃度射影作成手段で作成した濃度射影情報に基づき
   前記変化領域抽出手段で抽出された変化領域を示す画像
   から移動対象物を抽出する移動対象物抽出手段と を具備したことを特徴とする移動物体抽出装置。
2. （２）画像を入力する画像入力手段と、 この画像入力手段で入力される画像を受入れ、時間的に
   離れた画像との演算処理を行なうことにより、移動対象
   物の変化領域を示す画像を抽出する変化領域抽出手段と
   、 前記画像入力手段で入力される画像を可視表示する画像
   表示手段と、 この画像表示手段の表示画面上において、その表示画像
   に対して任意に矩形を指定する矩形指定手段と、 この矩形指定手段で指定された複数箇所の矩形情報を用
   いて移動対象物の大きさの補正情報を求め、この求めた
   補正情報を用いて前記変化領域抽出手段から出力される
   画像内の任意の場所における移動対象物の大きさを補正
   する大きさ補正手段と を具備したことを特徴とする移動物体抽出装置。