JPH09322153A - 自動監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 比較的簡単な手法を用いて精度良く着目画像
の判別を行うことで、システムコストの低減と使用者の
負担の軽減を図る。 【解決手段】 撮像手段１００で得られた映像情報から
抽出処理部１０１で着目画像を抽出し、特徴抽出処理部
１０２で着目画像の特徴を抽出し、その評価を特徴評価
処理部１０３で行ない、第１の記憶部１０４に記憶し、
記憶された過去の着目画像の特徴と現在の特徴の比較を
比較処理部１０５で行い、その変化量を基に比較評価処
理部１０６で評価を行い、その結果から移動ベクトルを
生成し、第２の記憶部１０７に記憶し、生成された移動
ベクトルと過去に生成され第２の記憶部１０７に記憶さ
れた移動ベクトルとから、第１の記憶部１０４に記憶さ
れたそれぞれの特徴とその評価結果を用いて判別処理部
１０８で着目画像の判別を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像手段から得ら
れた映像から着目画像を抽出し、抽出された着目画像の
特徴の抽出を行い、過去に抽出された着目画像の特徴を
参考にしながら着目画像の判別結果を出力する監視装置
や、移動物体の移動方向、移動量を用いて移動物体の計
数、追跡、システム制御を行う自動監視装置に関する。

【０００２】

【従来の技術】従来、自動監視分野においては、人や車
などの監視対象を抽出したり、監視対象の判別、追跡、
計数等の処理を行う場合、監視カメラや赤外線カメラ、
または超音波センサ等のエリアセンサが用いられてい
る。監視カメラの場合を例に説明すると、監視カメラか
ら得られた映像から人や車などの移動物体の領域を着目
画像として抽出する手法の例として背景差分法がある。
この背景差分法は、人や車など検出の対象となる移動物
体の領域を着目画像として比較的簡単な方法で抽出でき
る方法として知られている。しかし、抽出の対象となる
物体に生成された背景との差が無い領域を持つ場合、そ
の領域が検出できずに着目画像が必ずしも抽出の対象と
なる物体の領域を示さないという問題があり、背景を現
在の画像を積分して生成する場合にも、抽出の対象とな
る移動物体の移動方向に対して後ろ側に着目画像の領域
が尾を引いてしまう問題（特開昭６２ー１１４０６４）
があり、必ずしも十分に抽出の対象となる移動物体の領
域を抽出することができない。従って、ある時点での移
動物体の抽出結果である着目画像の面積や重心や画像の
縦横それぞれの方向の端点（以降単に端点と呼ぶ）等の
検出結果の特徴のみから対象物体を判別することは困難
であった。

【０００３】赤外線カメラの場合は、例えば体温を遮断
するような衣服を身にまとっている場合や、抽出の対象
となる物体の表面の赤外線の輻射に近い赤外線を輻射し
ている壁や道路などが存在する場合で、先に説明した監
視カメラの画像の場合と同様に背景差分法等の画像処理
手法を用いる場合は、同様に抽出された着目画像の領域
が不完全であり、着目画像の特徴から検出対象を判別す
ることは困難であった。

【０００４】また、背景差分法を用いた移動物体の検出
方法では、背景画像に対して急激な画像の変化を引き起
こす雷や照明のＯＮ／ＯＦＦなどで、従来の自動監視装
置においては、突発的な誤検出が発生する場合があっ
た。

【０００５】一方、移動物体の追跡や計数を行うために
移動物体の移動方向と移動量を求めて追跡、計数を行う
方法として、勾配法を用いて動ベクトルを獲得し、移動
方向を得る方法（第１回画像センシングシンポジウム講
演論文集 Ｂ−４ｐ３９）がある。この方法は、異なる
時間に得られた画像間で、画像の位置毎にもう一方の画
像の近傍の領域を微少領域の探索窓を用いて探索し、相
関が得られるポイントを探し出して動ベクトルを得、得
られた各動ベクトルの投票を行い、移動方向を得る方法
である。この方法は、画像間で相関演算を繰り返し行う
必要があり、得られた多数の動ベクトルから移動物体の
移動方向や移動量を得るために必要な計算量が多く、同
一な模様を持った移動物体や輝度または色が緩やかに変
化している表面の特徴を持った移動物体の場合、計算の
誤差が大きい問題がある。

【０００６】また、移動物体の判別結果を出力し、監視
システムを制御するような装置において、従来は判別結
果のみ出力を行い、監視システムの制御に用いていた。
しかし、このような出力の方法は、着目画像の抽出結果
の特徴に急激な変化がある場合、かつその着目画像の抽
出結果の特徴が判別したい移動物体の特徴に近い場合で
も、監視システムの制御に用いてしまい、システム動作
の信頼性を低下させてしまう問題があった。さらに、判
別に用いた着目画像の抽出結果の特徴が不安定である時
は、ある時点の不安定な特徴量を用いた判別が行われ、
監視システムの動作の信頼性を低下させる問題もあっ
た。これらの問題は、信頼性の低い情報をその信頼性を
全く考慮せずにシステム動作の決定に用いているために
発生し、監視システム運用時の運用コストを増大させて
いる。

【０００７】

【発明が解決しようとする課題】上記したように、従来
技術の課題としては、次に示す点が挙げられる。 １．検出対象物体の不完全な抽出結果においても検出対
象物体の判別を行うことができる手法の実現。 ２．雷や照明のＯＮ／ＯＦＦ、雪や雨等の移動物体と大
きく特徴の異なる映像情報の変化に対して影響を受けに
くい判別方法の実現。 ３．検出対象物体の表面の特徴に左右されず比較的簡単
な移動ベクトルの簡単な獲得手段の実現。 ４．検出対象物体の不完全な抽出結果の信頼性を評価で
き、その信頼性をもとに判別を行える信頼性の評価方法
とその利用方法の確立。 ５．装置から出力される判別結果のみならず、判別に用
いた特徴の信頼性を評価した結果を判別結果に付加し、
監視システムの動作を変更できる装置の実現。 ６．着目画像数の増大が発生しても、処理時間が一定内
におさまる処理方法の実現。 ７．着目画像から抽出された特徴の簡単な信頼性評価方
法の確立。

【０００８】本発明は、上記課題を解決するものであ
り、不完全な着目画像の判別の精度を向上でき、かつ突
発的な特徴の変化を持った着目画像の影響を低減し、比
較的簡単な処理で実現できる判別方法を実現し、この判
別結果と先の信頼性評価結果を用いて監視システムの制
御を行うことで、システムの運用負担を減らすことがで
きる自動監視装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、上記目的を達
成するために、監視カメラ等の撮像手段から得られる映
像情報から背景差分法やステレオ抽出法などの抽出手段
により得られた着目画像についてその面積、重心、端点
等の特徴量を記憶し、記憶された特徴とその時間的な変
化量等時間方向の比較評価処理を行い、移動物体の移動
ベクトルを獲得し、獲得された移動ベクトルとともに過
去の着目画像の特徴や特徴量の変化やそれぞれの特徴の
信頼性評価結果を用いて、扱う特徴が判別結果に与える
影響の度合いを変えながら、それぞれの時点での着目画
像の判別を行うことで、不完全な着目画像の判別の精度
を向上でき、かつ突発的な特徴の変化を持った着目画像
の影響を低減し、比較的簡単な処理で実現できる判別方
法を実現し、この判別結果と先の信頼性評価結果を用い
て監視システムの制御を行うことで、システムの運用負
担を減らすことができる。

【００１０】

【発明の実施の形態】本発明の請求項１に記載の発明
は、検出対象物体を撮像する撮像手段と、撮像手段によ
り得られた映像情報から着目画像を抽出する抽出処理部
と、抽出した着目画像の特徴を抽出する着目画像の特徴
抽出処理部と、抽出した着目画像の特徴を記憶する第１
の記憶部と、抽出した着目画像の特徴を用いて評価を行
う特徴評価処理部と、抽出した着目画像の特徴と第１の
記憶部に記憶された過去の着目画像の特徴とを比較する
比較処理部と、比較を行った結果を用いて過去の着目画
像と現在の着目画像との関係を評価し、着目画像の移動
方向と移動量の移動ベクトルとを導く比較評価処理部
と、比較評価処理部で評価された過去の着目画像と現在
の着目画像の移動ベクトルを記憶する第２の記憶部と、
過去の着目画像と現在の着目画像の移動ベクトルと特徴
評価処理部で評価された特徴とにより、着目画像の判別
処理を行って結果を出力する判別処理部とを備えた自動
監視装置であり、着目画像の判別を精度良く実現できる
という作用を有する。

【００１１】本発明の請求項２に記載の発明は、特徴抽
出処理部が、撮像手段により得られた映像情報の一部分
である着目画像の面積、重心位置、端点座標、着目画像
内部の色や輝度の統計情報、形状情報等の特徴を抽出
し、特徴評価処理部が、着目画像の特徴として予め設定
されるかまたは学習により得られた特徴の範囲にあるか
どうかの評価を行い、その結果を着目画像を抽出する処
理の間隔毎に第１の記憶部に記憶し、比較処理部が、第
１の記憶部に記憶された特徴と過去の特徴抽出および評
価を行った結果として記憶された特徴とを比較評価し、
比較評価処理部が、評価の対象となった現在の着目画像
の重心や端点枠の中心等と過去の着目画像の重心や端点
枠の中心をつなぐことにより、着目画像の移動ベクトル
を得ることを特徴とする請求項１記載の自動監視装置で
あり、移動物体の移動方向、移動量を比較的簡単な方法
で精度良く得ることができるという作用を有する。

【００１２】本発明の請求項３に記載の発明は、比較評
価処理部が、つながれた移動ベクトルの長さを、着目画
像の面積、端点位置、重心位置、着目画像を移動ベクト
ルを延長することにより得られる着目画像の切片の長さ
等の特徴や予め設定された奥行き情報やステレオ画像処
理などの奥行き情報の獲得手段を用いて得られた奥行き
情報により算出された補正情報を用いて補正することを
特徴とする請求項２記載の自動監視装置であり、撮像手
段により得られた映像情報の奥行きによる移動ベクトル
の移動量を着目画像の切片の長さや、予め設定されるか
または算出された画像情報の奥行き情報により補正する
事により、得られた移動ベクトルから移動物体の移動速
度を比較的簡単な手法で得られ、奥行きのある画像でも
精度良い判別が行えるという作用を有する。

【００１３】本発明の請求項４に記載の発明は、比較評
価処理部が、比較評価する際に、着目画像の特徴を抽出
する間隔に応じて、評価結果に対する比較評価を行う特
徴の影響の度合いを変更して移動ベクトルを獲得するこ
とを特徴とする請求項２記載の自動監視装置であり、処
理の間隔の変化に対して安定的に移動ベクトルを獲得で
きるという作用を有する。

【００１４】本発明の請求項５に記載の発明は、着目画
像の移動ベクトルを、着目画像の面積、重心位置、端点
位置、着目画像内部の色や輝度の統計情報等の特徴が得
られる間隔で着目画像の特徴と移動ベクトルで連結され
た過去の特徴のそれぞれの変化量と共に第２の記憶部に
記憶し、判別処理部が、得られた移動ベクトルから過去
の特徴とその変化量を検索し、現在の特徴やその変化量
と移動ベクトルと共に過去の情報を利用して着目画像の
判別処理を行うことを特徴とする請求項１記載の自動監
視装置であり、現在と過去の着目画像の特徴から、精度
の高い判別処理を実現できるという作用を有する。

【００１５】本発明の請求項６に記載の発明は、着目画
像の移動ベクトルを、着目画像の面積、重心位置、端点
位置、着目画像内部の色や輝度の統計情報等の特徴が得
られる間隔で着目画像の特徴と移動ベクトルで連結され
た過去の特徴のそれぞれの変化量と共に第２の記憶部に
記憶し、判別処理部が、得られた移動ベクトルから過去
の着目画像を、現在および過去の特徴とその変化量の信
頼性を評価し、その結果を用いて検索し、信頼性の高い
過去の着目画像の判別処理を行って結果を出力すること
を特徴とする請求項１記載の自動監視装置であり、着目
画像の特徴の信頼性評価結果を用いることで、現在の着
目画像の信頼性が低い場合にも、過去の着目画像の特徴
を利用して精度の高い判別処理を実現できるという作用
を有する。

【００１６】本発明の請求項７に記載の発明は、特徴評
価処理部が、着目画像の移動ベクトルを評価する際に、
着目画像の重心位置や端点の位置等の着目画像が撮像手
段によって得られる映像情報に存在する位置や、着目画
像の大きさ等の特徴を基に、移動ベクトルを評価するか
否か、判別処理を行うか否かの判定を行い、評価や判別
に必要な処理時間を削減することを特徴とする請求項１
記載の自動監視装置であり、映像情報から抽出された着
目画像全ての移動ベクトルの算出、判別処理を行う自動
監視の場合に比べて、短い処理時間で動作を行うことが
でき、かつ処理コストやハード規模を低減できるという
作用を有する。

【００１７】本発明の請求項８に記載の発明は、特徴評
価処理部が、着目画像の発生数を基に、移動ベクトルを
獲得し、判別処理を行うために必要な処理時間を算出
し、算出された処理時間によって移動ベクトルの獲得の
ための比較評価を行うか、または判別を行うために移動
ベクトルで連続する過去の着目画像の特徴を利用する処
理間隔数を決定することを特徴とする請求項１記載の自
動監視装置であり、着目画像の発生数の増大による処理
時間の増大を防ぐことができるという作用を有する。

【００１８】本発明の請求項９に記載の発明は、特徴評
価処理部が、抽出された着目画像から着目画像の特徴を
抽出し、抽出された特徴を用いてその特徴の信頼性の評
価を行うことを特徴とする請求項１記載の自動監視装置
であり、精度の高い判別結果得られるという作用を有す
る。

【００１９】本発明の請求項１０に記載の発明は、特徴
評価処理部が、抽出された着目画像から着目画像の面
積、重心、端点等の特徴を抽出し、端点で囲まれる領域
の面積や縦横の長さなどの特徴と着目画像の面積や重心
位置などの特徴の比を用いて、抽出された特徴の信頼性
の評価を行うことを特徴とする請求項１記載の自動監視
装置であり、精度の良い判別処理が行えるという作用を
有する。

【００２０】本発明の請求項１１に記載の発明は、特徴
評価処理部が、着目画像から抽出された特徴や過去に抽
出された特徴を用いるか、それに加えてその変化量を用
いて新たに生成された特徴のそれぞれの信頼性の評価を
行い、その結果を用いて監視のシステムを制御すること
を特徴とする請求項１記載の自動監視装置であり、出力
された信頼性情報によりシステムのアラーム・ワーニン
グなどの状態を変え、監視の動作を変更することで、監
視者の負担を軽減する作用を有する。

【００２１】（実施の形態１）以下、本発明の実施の形
態について、図１から図５を参照して実施例を説明す
る。図１は本発明の第１の実施の形態における自動監視
装置の構成を示したものである。図１において、１００
は監視カメラなどの撮像手段（以下単にカメラと呼
ぶ）、１０１はカメラ１００により得られた映像情報か
ら着目画像を抽出する抽出処理部、１０２は抽出された
着目画像毎のラベル付けや特徴を抽出する処理を行う特
徴抽出処理部、１０３は抽出された各着目画像毎の特徴
で記録の評価判定や処理を行うかどうかの判定を行う特
徴評価処理部、１０４は特徴評価処理部１０３で記録を
行うべく判定された結果を処理の間隔毎に記憶する第１
の記憶部である。１０５は特徴評価処理部１０３で処理
を行うべく判定された各着目画像毎に、第１の記憶部１
０４に処理の間隔毎に記憶された過去の各着目画像の特
徴抽出処理部１０２で抽出された各特徴を比較する比較
処理部、１０６は比較処理を行った結果から特徴評価処
理部１０３で評価判定された現在の各着目画像と過去に
特徴評価処理部１０３で評価判定された過去の各着目画
像との重心点の連結を行うなど、現在抽出された着目画
像と過去に抽出された着目画像とを連結して移動ベクト
ルを生成し、第２の記憶部１０７に記録を行うかどうか
の判定を行う比較評価処理部、１０８は第２の記憶部１
０７に記憶された現在の各着目画像と過去の各着目画像
の連結情報と移動ベクトルから第１の記憶部１０４に記
憶された現在の各着目画像との処理間隔毎に記憶された
全てかまたは一部の過去の各着目画像の特徴や移動ベク
トルから現在の各着目画像が人であるか車であるか、も
しくはそれ以外かなどの推定を行い、監視システムを制
御するための制御情報を生成する判別処理部である。

【００２２】次に、本実施の形態における動作について
説明する。まず、カメラ１００で得られた映像情報から
判別したい対象物体の領域を着目画像の領域として抽出
処理部１０１において背景差分法や、勾配法などを用い
て抽出する。ここでこの撮像手段１００や、抽出処理部
１０１の抽出方法は、どのような方法を用いても構わな
い。ここでは、撮像手段１００を監視カメラ、抽出処理
部１０１の抽出方法として背景差分法を用いて説明す
る。図２は上記抽出処理部１０１の構成を示しており、
２０１は背景生成処理部、２０２は背景記憶部、２０３
は差分処理部、２０４は２値化処理部である。図２にお
いて、撮像手段１００で撮影した映像情報から背景生成
処理部２０１で背景画像を背景記憶部２０２に記憶す
る。背景の生成方法は、図３（ａ）に示す撮像手段１０
０で得られた映像情報を逐次ある割合で入れ替える背景
積分法を用いてもよいし、逐次平均化しても良いし、２
値化処理部２０４の情報をフィードバックして更新の制
御をしてもよい。これらの方法で生成された背景画像と
撮像手段１００で得られた映像情報との差分処理を差分
処理部２０３で行い、予め与えるか、または特徴抽出さ
れた結果を用いて決定されたしきい値を用いて２値化処
理部２０４で２値化する。この結果得られた着目画像
が、図３（ｂ）の背景差分の結果画像に示す着目画像で
ある。

【００２３】次に、この背景画像との差分処理、２値化
処理により得られた現在の着目画像を特徴抽出処理部１
０２でそれぞれラベル付けを行い、各着目画像毎に特徴
の抽出処理を行う。ここで言う特徴とは、図３（ｂ）に
示すように着目画像の面積、重心位置、端点等の着目画
像から得られる情報である。着目画像の面積は、カメラ
の取り付け角度や高さやレンズの焦点距離や撮像素子の
サイズや予め設定するか、カメラの画像処理によって得
られた設置情報や奥行きの情報を利用して、実際の検出
対象物体の投影面積に換算された面積でも構わない。ま
たここでは、面積と重心位置と端点情報を用いた場合の
説明を行うが、その他の特徴としては、着目画像内部の
色の分布や統計結果や細線化された情報や形状情報など
短い時間で大きい変化のない情報であれば、どんな情報
を用いても構わない。

【００２４】特徴抽出処理部１０２で各着目画像毎に抽
出された特徴を、それぞれ特徴評価処理部１０３で評価
する。例えば、予め設定されたカメラの位置で決まる面
積は妥当でにあるかどうかや、その位置に発生する物体
の端点から得られる縦横比は妥当であるかどうかを評価
し、以降の移動ベクトルの比較処理部１０５、比較評価
処理部１０６、判別処理部１０８の動作を行うかどうか
や記録の必要性の有無を判定し、各着目画像と各特徴毎
に第１の記憶部１０４に記憶する。ここまでの処理を１
回の処理の間隔とし、この処理の間隔毎にそれぞれ時点
での各着目画像毎の特徴量、信頼性の評価結果の記録の
作用を行う。

【００２５】次に、間隔毎に第１の記憶部１０４に記憶
されたそれぞれ時点での各着目画像毎の特徴量、信頼性
の評価結果の結果を比較処理部１０５で比較する。ここ
で比較の方法を具体例で説明する。なおここでは、説明
の簡単のために各着目画像毎に取り扱う特徴量を着目画
像の面積、重心、端点とし、比較を行うための処理間隔
は１処理とする。図４に時刻ｔにおける各着目画像の特
徴量（ａ）と時刻ｔ−１における各着目画像の特徴量
（ｂ）を示す。ｔとｔ−１は、連続する２つの処理間隔
で、非常に短い間隔で設定しているため、着目画像の形
状や特徴の変化は少ない。ここでは、分かりやすくする
ために着目画像の形状を示しているが、第１の記憶部１
０４に記憶する情報は、各着目画像のラベルＮｏとそれ
ぞれの面積Ｓ、端点座標Ｔ（ｘ、ｙ）と重心位置座標Ｇ
（ｘ、ｙ）１次または２次元の１組の情報のみでよく、
記憶のための容量は少ない。この例の場合は、それぞれ
各着目画像の特徴量の情報を８bit で表現すると、面積
８bit 、重心位置１６bit 、端点３２bit で良い。この
時刻ｔの図の場合は、着目画像数が２つであるから、１
１２bit の容量を必要とする。時刻ｔの着目画像３０１
を比較する対象は、時刻ｔ−１の着目画像４０１と着目
画像４０２である。大きさの違いが、例えば５０％以内
の着目画像について比較するように定義すれば、着目画
像４０１のみの比較で構わず、比較の回数が少なくてす
む。ここで着目画像３０１に対して着目画像４０１と着
目画像４０２を比較し、その評価値を導く手法について
説明する。面積の変化量、端点枠の外周長や縦横比、重
心の位置の差をそれぞれ定量化し、着目画像３０１に対
してどの程度変化があるのかを着目画像４０１、４０２
について計算する。例えば、この画像の場合、時刻ｔの
着目画像３０１の面積に対する時刻ｔ−１の着目画像４
０１、４０２の面積の変化の比を時刻ｔ−１の各着目画
像でそれぞれＳｋ１、Ｓｋ２とすると Ｓｋ２ ＞ Ｓｋ１ であることは明らかである。ｔとｔ−１の処理間隔が短
いほど着目画像４０１の面積の変化の比Ｓｋ１は小さく
なる。同様に着目画像３０１の重心位置の座標、端点枠
の比を着目画像４０１と４０２それぞれで比較すると、
着目画像４０１と比べた場合の比は小さくなる。この特
徴を利用し、時刻ｔの各着目画像についてそれぞれの特
徴量毎にその比を計算し、加算したものを比較評価値と
し、その結果を用いて比較評価処理部１０６で比較評価
処理を行う。加算の方法は、そのまま加算してもよいし
重みを付加して加算してもよい。比較評価処理部１０６
では、この比較評価値をもとにｔ−１のどの着目画像位
置から移動してきたのか評価を行い、その移動ベクトル
を、例えばｔとｔ−１の端点枠の中心や重心位置同士を
連結する事で獲得する。

【００２６】なお、得られた移動ベクトルは、着目画像
情報に付加して第２の記憶部１０７に記憶するが、この
第２の記憶部２に記憶される移動ベクトルは、各着目画
像毎に存在する情報であるため、第１の記憶部１０４と
共有化することも可能である。

【００２７】次に、各着目画像の特徴量の信頼性評価方
法とその利用方法について例を用いて説明する。ここで
は面積の信頼性評価方法の１例を示す。図４（ａ）の時
刻ｔにおける着目画像３０２の面積の信頼性を特徴抽出
処理部１０２で抽出された端点情報を用いて評価する。
端点枠で囲まれる面積に対し、着目画像３０２の特徴と
して抽出された着目画像の面積は、トラックの荷台の部
分が検出されていないため、小さいことが図からも確認
できる。通常、人や車などの対象を検出する場合、着目
画像が対象の位置を示していれば、端点枠に対する着目
画像の比はあまり低くはない。しかし、着目画像の一部
が欠落したような時刻ｔの着目画像３０２の場合では、
比較的低い値になる。この値は原理的には、０から１の
値をとり、低い程面積の信頼性が低いと考えることがで
きる。この値を面積の信頼性評価結果とし、先に説明し
た移動ベクトルの比較評価値を算出する際の重みや面積
の値で判別結果を算出する際の重みに用いれば、信頼性
の高い情報が、移動ベクトルの抽出や判別において、面
積の値の影響を増すことができる。このため、移動ベク
トルの比較評価値の精度や最終的な判別処理の精度や監
視システムの制御の精度を高めることができる。同様に
信頼性の評価結果は、重心位置に着いても端点枠の中心
からのずれを利用して信頼性評価値を得ることができ
る。

【００２８】さらに、着目画像から抽出された特徴や、
過去に抽出された特徴を用いて新たに生成された特徴の
それぞれの信頼性の評価を行い、その結果を記録し、判
別処理に用い、判別処理の結果とその信頼性評価結果を
ともに監視システムに出力することにより、システムの
動作を変更することができる。

【００２９】次に、比較評価処理部１０６における動作
の詳細について説明する。本実施の形態における移動ベ
クトルは、時間ｔ、ｔ−１の間隔が非常に短いことを条
件に精度の良い移動ベクトルを獲得するものである。し
かし、実際の移動ベクトルは、判別したい対象物体が等
速で移動していると仮定した場合に、撮像手段１００で
撮影されている環境に奥行きがあり、かつ奥行方向の移
動成分があれば、この手法で算出される移動ベクトルの
長さが対象物体の移動方向によって異なってしまう。こ
の方法で算出される移動ベクトルの方向は、撮像手段１
００に投影された方向であり、補正の必要は無いが、移
動量は対象物体の奥行き位置で異なって投影されるた
め、その補正が必要となる。以下にこの補正の例を図６
を用いて、撮像手段１００に対象物体が投影され、抽出
された着目画像を用いる手法で説明する。現実にはあり
得ないが、説明の簡単のため、全く同一の物体が奥行き
の異なる位置で、同一方向に向かって同じ速度で移動し
ている場合を考える。この場合、上記した移動ベクトル
の獲得方法では、図６に示すようにそれぞれ方向は、同
じであるがベクトルの長さが異なってしまう。これが奥
行きによって発生する上記した対象物体の奥行きの位置
による移動量の変化である。この移動ベクトルを用いて
判別処理部１０８や特徴評価処理部１０３における処理
を行おうとする場合、画面の中心が奥行きの中央になる
ように、予め設置を制限するなどして、判別のための範
囲を制限しなければならないし、また、得られた結果に
も奥行きによって発生する誤差を含んでしまうことにな
り、判別や、特徴評価の信頼性を低下させてしまう。そ
こで、図６から分かるように、着目画像の奥行きによっ
て発生する大きさや長さの変化を利用して移動ベクトル
の長さを補正する。具体例を示すと、着目画像から得ら
れた移動ベクトルが着目画像を貫く切片の長さや端点枠
の長さなどを利用し、その長さが均一になるように、重
心位置で移動ベクトルに補正をかけるようにする。

【００３０】なお、奥行き情報の取得は、上記した方法
の他に、予め設定などを用いて与えてもよく、ステレオ
カメラなどの三角測量の原理を用いた画像処理による奥
行き情報の獲得方法を用いても構わない。

【００３１】次に、移動ベクトルの比較評価値の一般式
の例を示す。説明の簡単のために、着目画像の面積と重
心位置のみで比較評価する手法について説明する。端点
や他の特徴量については、以下に示す方法と同様に正規
化した後に加算すればよい。また、取り扱う処理の間隔
を１とし、時刻ｔと時刻ｔ−１の二つの処理間での評価
と限定する。時刻ｔにおける着目画像の重心位置を（ｘ
ｎｔ、ｙｎｔ）、面積をｓｎｔとし、時刻ｔ−１の重心
位置を（ｘｎｔ- １、ｙｎｔ- １）、面積をｓｎｔ- １
とすると重心間の距離は、

【００３２】

【数１】 であり、時刻ｔ−１から選択される着目画像の候補の最
大値と最小値の範囲で１から０の値に正規化し、正規化
された１以下の値をＤｎｓとする。次に面積の変化量
は、

【００３３】

【数２】 であり、距離と同様に最大と最小の範囲で、１から０の
値に正規化し、正規化された値をＳｎｓとする。比較評
価値 ｊは、σｄ＋σｓ＝１の重みをかけて加算され、
以下のようになる。

【００３４】

【数３】 このｊの値が小さいほど選択されるようにすればよい。
この式で、信頼性評価により、それぞれの重みσｄ、σ
ｓを１から０の間でσｄ＋σｓ＝１が成立するように抑
制しても構わない。それぞれの重みの初期値は、シミュ
レーションによる調整を行って好きな値に調整すればよ
い。例えば、σｄを０. ７、σｓを０. ３に設定し、距
離の重みを７０％影響させるようにすると、経験上良い
結果が得られた。このような方法を用いて、それぞれの
特徴量の変化量を移動ベクトルの比較評価値に変換し、
比較評価を行って、注目する着目画像が過去のどの位置
から移動してきたかを決定する。

【００３５】この他にも、比較評価値を決める方法は考
えられるが、処理の間隔が非常に短ければ、これらの特
徴量の変化は小さいという特徴を利用して、過去のそれ
ぞれの着目画像で最も変化量の小さい着目画像が候補と
して選ばれるような手法を用いればよい。このような手
法で時刻ｔの注目する着目画像に対し、時刻ｔ−１の各
着目画像毎に算出された比較評価値を使って、時刻ｔの
注目する着目画像が時刻ｔ−１のどの着目画像位置から
移動してきたかを比較評価処理部１０６で評価し、例え
ば先の算出式で算出された比較評価値が最低値をとると
ころを第１候補とし、次に小さいところを第２候補とい
う具合に、第２の記憶部１０７に記録する。

【００３６】次に、判別処理部１０８における動作の詳
細について説明する。判定処理部１０８では、特徴評価
処理部１０３で判定され、判別したい着目画像が発生し
た場合に、第２の記憶部１０７に記録されている移動ベ
クトルをもとに過去にさかのぼって第１の記憶部１０４
に記録された特徴量を手繰り出し、例えば、移動ベクト
ルで連結されている各着目画像の平均化された特徴量を
利用して判別を行う。

【００３７】また、判定処理部１０８では、特徴評価処
理部１０３で判定され、判別したい着目画像が発生した
場合に第２の記憶部１０７に記録されている移動ベクト
ルをもとに過去にさかのぼって第１の記憶部１０４に記
録された信頼性評価結果を手繰り出し、例えば、移動ベ
クトルで連結されている各着目画像各特徴の信頼性評価
結果の最も高い特徴を利用して判別を行うよにしてもよ
い。

【００３８】また、判別処理部１０８では、例えば、過
去にさかのぼって面積を評価する場合、上記した端点情
報と着目画像の面積から信頼性が高いと判断できる時刻
での面積値を採用し、予め設定するなりして決めておい
た位置における人の面積中央値に近い場合は、人である
可能性が高いという判別情報を出力する。同様に重心位
置の移動量についても、予め決めておいたスピードの中
央値と比較すればよい。また、端点の縦横比も同様に算
出式に加えても良い。この判別処理は、中央値とのばら
つき具合を評価尺度に使用し、予め与えておくかまたは
学習により得られた各特徴量の範囲からのばらつき具合
をすべて考慮した上で、判定出力すればよい。このよう
に、それぞれの特徴が判定出力に影響するように評価関
数を定義し、それぞれの特徴の中央値からのばらつきを
もって判別したい対象の評価結果として出力する。例え
ば、人である可能性を１から０、車である可能性も１か
ら０でそれ以外の可能性を１から０で表現し、人である
可能性が０. ７、車である可能性が０. ２、それ以外で
ある可能性が０. １という具合でもよい。

【００３９】（実施の形態２）上記実施の形態１で示し
た移動ベクトルの獲得手法は、算出する着目画像の数と
過去の着目画像の組み合わせをそれぞれ評価する方法で
あり、算出時間が着目画像の発生数で増大してしまう。
このため、処理時間にかかるコストを低減する必要が生
じてくる。一つの方法としては、移動ベクトルの獲得や
判別の処理を行うべく、対象物体を予め特徴評価処理部
１０３で絞り込む。具体的には、着目画像の大きさや、
着目画像の重心などの着目画像から抽出され獲得された
特徴を予め設定するか、学習等によって得られた特徴の
範囲を比較し、その範囲にある場合に移動ベクトルの獲
得や判別処理を行う。

【００４０】本実施の形態２で示した移動ベクトルの獲
得手法は、算出する着目画像の数と過去の着目画像の組
み合わせをそれぞれ評価する方法であり、別の方法とし
ては、着目画像の発生数で処理をすべき対象や処理に必
要な時間や、情報を制限する方法があげられる。具体的
には、特徴評価処理部１０３で発生数を監視し、発生数
が一定の閾値を越えた場合に、処理する対象を大きさの
大きい順に一定の数だけ移動ベクトルの獲得や判別処理
を行うようにする。

【００４１】なお、一つの着目画像の移動ベクトルの獲
得や判別にかかる時間は、過去の着目画像の数が一定で
かつ過去の情報を用いる回数が一定ならば一定であるの
で、移動ベクトルの算出や判別を行うために必要な時間
が限られているときは、過去の着目画像の数や利用する
過去の情報の処理回数の限界を算出することができる。
この算出結果に基づき、移動ベクトルの獲得や判別の処
理の回数を制限する。制限の方法としては、大きさの近
いものや、重心間の近い順や、大きさの大きい順などの
方法が考えられる。

【００４２】

【発明の効果】以上説明したように本発明によれば、以
下に示す効果を有する。 （１）撮像手段から得られた映像情報から着目する画像
の大きさ、位置などの特徴量を抽出し、移動物体が過去
のどの位置から移動して来たかの移動ベクトルを得、こ
の移動ベクトルにより、不完全な抽出結果においても検
出対象物体の判別処理を行うことができ、見逃しの少な
い監視システムが実現できる。 （２）移動ベクトルを獲得する際、奥行きの補正処理を
行うことで、奥行きがある映像情報を用いても信頼性の
高い移動ベクトルを得ることができ、精度の良い判別が
行える。 （３）移動ベクトルを獲得する際、着目画像の特徴を抽
出する間隔に応じて比較評価結果を行うための特徴の影
響の度合いを変更することで、処理の間隔が変更されて
も精度良く移動ベクトルを獲得し、精度良く判別を行え
る。 （４）撮像手段から得られた映像情報から着目する画像
の大きさ、位置などの特徴量を抽出し、移動物体が過去
のどの位置から移動して来たかの移動ベクトルを得、こ
の移動ベクトルにより、システムの動作を変更すること
が可能となり、監視者の負担を軽減することができる。 （５）移動ベクトルや、移動ベクトルで連結された過去
の特徴や、特徴の変化量や、その信頼性の評価結果を用
いることで、現在の抽出結果の特徴量の信頼性が低い場
合にも、過去の信頼性の高い情報を利用して判別処理を
行うことで精度の高い判別結果を得ることができ、監視
者の負担をかけない自動監視システムを実現することが
できる。 （６）得られた特徴量とその変化量や信頼性の評価結果
や、移動ベクトルで連結された過去の特徴量とその変化
量や信頼性の評価結果から大まかに人であるか車である
か等の判別を精度良く行える。 （７）移動ベクトルの獲得や判別処理を比較的容易な方
法でき、装置の規模を抑え、処理時間を大幅に削減し、
処理コストを低減することができる。 （８）着目画像から抽出された特徴の信頼性の評価を行
うことで、信頼性の評価結果を用いて精度の高い移動ベ
クトルや判別処理を行うことができる。 （９）移動ベクトルにより、連結された過去の特徴量と
その変化量や信頼性の評価結果を判別に用いることで、
雷や照明のＯＮ／ＯＦＦ等抽出結果の急激な変動に影響
を受けにくい判定処理方法が実現でき、精度の高い判別
結果が得られる。 （１０）着目画像から抽出された特徴のうち、着目画像
の面積、重心、端点から簡単に信頼性評価を行うことが
可能となり、処理のコストを低減することができる。 （１１）判別対象物体の判別結果に加えてその信頼性評
価結果を出力することで、監視システムの運用者に負担
をかけない自動監視システムを実現することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態における自動監視装置の構
成を示すブロック図

【図２】本発明の実施の形態における抽出処理部の構成
を示すブロック図

【図３】（ａ）本発明の実施の形態の抽出処理部におけ
る入力画像の画面図 （ｂ）本発明の実施の形態の抽出処理部で得られた着目
画像の画面図

【図４】（ａ）本発明の実施の形態の時間ｔにおける着
目画像の画面図 （ｂ）本発明の実施の形態の時間ｔ−１における着目画
像の画面図

【図５】本発明の実施の形態の時間ｔにおける特徴量の
変化を示す画面図

【図６】本発明の実施の形態の時間ｔにおける移動ベク
トルの奥行きによる補正処理を説明する画面図

【符号の説明】

１００ 撮像手段 １０１ 抽出処理部 １０２ 特徴抽出処理部 １０３ 特微評価処理部 １０４ 第１の記憶部 １０５ 比較処理部 １０６ 比較評価処理部 １０７ 第２の記憶部 １０８ 判別処理部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 検出対象物体を撮像する撮像手段と、撮
   像手段により得られた映像情報から着目画像を抽出する
   抽出処理部と、抽出した着目画像の特徴を抽出する着目
   画像の特徴抽出処理部と、抽出した着目画像の特徴を記
   憶する第１の記憶部と、抽出した着目画像の特徴を用い
   て評価を行う特徴評価処理部と、抽出した着目画像の特
   徴と第１の記憶部に記憶された過去の着目画像の特徴と
   を比較する比較処理部と、比較を行った結果を用いて過
   去の着目画像と現在の着目画像との関係を評価し、着目
   画像の移動方向と移動量の移動ベクトルとを導く比較評
   価処理部と、比較評価処理部で評価された過去の着目画
   像と現在の着目画像の移動ベクトルを記憶する第２の記
   憶部と、過去の着目画像と現在の着目画像の移動ベクト
   ルと特徴評価処理部で評価された特徴とにより、着目画
   像の判別処理を行って結果を出力する判別処理部とを備
   えた自動監視装置。
2. 【請求項２】 特徴抽出処理部が、撮像手段により得ら
   れた映像情報の一部分である着目画像の面積、重心位
   置、端点座標、着目画像内部の色や輝度の統計情報、形
   状情報等の特徴を抽出し、特徴評価処理部が、着目画像
   の特徴として予め設定されるかまたは学習により得られ
   た特徴の範囲にあるかどうかの評価を行い、その結果を
   着目画像を抽出する処理の間隔毎に第１の記憶部に記憶
   し、比較処理部が、第１の記憶部に記憶された特徴と過
   去の特徴抽出および評価を行った結果として記憶された
   特徴とを比較評価し、比較評価処理部が、評価の対象と
   なった現在の着目画像の重心や端点枠の中心等と過去の
   着目画像の重心や端点枠の中心をつなぐことにより、着
   目画像の移動ベクトルを得ることを特徴とする請求項１
   記載の自動監視装置。
3. 【請求項３】 比較評価処理部が、つながれた移動ベク
   トルの長さを、着目画像の面積、端点位置、重心位置、
   着目画像を移動ベクトルを延長することにより得られる
   着目画像の切片の長さ等の特徴や予め設定された奥行き
   情報やステレオ画像処理などの奥行き情報の獲得手段を
   用いて得られた奥行き情報により算出された補正情報を
   用いて補正することを特徴とする請求項２記載の自動監
   視装置。
4. 【請求項４】 比較評価処理部が、比較評価する際に、
   着目画像の特徴を抽出する間隔に応じて、評価結果に対
   する比較評価を行う特徴の影響の度合いを変更して移動
   ベクトルを獲得することを特徴とする請求項２記載の自
   動監視装置。
5. 【請求項５】 着目画像の移動ベクトルを、着目画像の
   面積、重心位置、端点位置、着目画像内部の色や輝度の
   統計情報等の特徴が得られる間隔で着目画像の特徴と移
   動ベクトルで連結された過去の特徴のそれぞれの変化量
   と共に第２の記憶部に記憶し、判別処理部が、得られた
   移動ベクトルから過去の特徴とその変化量を検索し、現
   在の特徴やその変化量と移動ベクトルと共に過去の情報
   を利用して着目画像の判別処理を行うことを特徴とする
   請求項１記載の自動監視装置。
6. 【請求項６】 着目画像の移動ベクトルを、着目画像の
   面積、重心位置、端点位置、着目画像内部の色や輝度の
   統計情報等の特徴が得られる間隔で着目画像の特徴と移
   動ベクトルで連結された過去の特徴のそれぞれの変化量
   と共に第２の記憶部に記憶し、判別処理部が、得られた
   移動ベクトルから過去の着目画像を、現在および過去の
   特徴とその変化量の信頼性を評価し、その結果を用いて
   検索し、検索の結果、信頼性の高い過去の着目画像の判
   別処理を行って結果を出力することを特徴とする請求項
   １記載の自動監視装置。
7. 【請求項７】 特徴評価処理部が、着目画像の移動ベク
   トルを評価する際に、着目画像の重心位置や端点の位置
   等の着目画像が撮像手段によって得られる映像情報に存
   在する位置や、着目画像の大きさ等の特徴を基に、移動
   ベクトルを評価するか否か、判別処理を行うか否かの判
   定を行い、評価や判別に必要な処理時間を削減すること
   を特徴とする請求項１記載の自動監視装置。
8. 【請求項８】 特徴評価処理部が、着目画像の発生数を
   基に、移動ベクトルを獲得し、判別処理を行うために必
   要な処理時間を算出し、算出された処理時間によって移
   動ベクトルの獲得のための比較評価を行うか、または判
   別を行うために移動ベクトルで連続する過去の着目画像
   の特徴を利用する処理間隔数を決定することを特徴とす
   る請求項１記載の自動監視装置。
9. 【請求項９】 特徴評価処理部が、抽出された着目画像
   から着目画像の特徴を抽出し、抽出された特徴を用いて
   その特徴の信頼性の評価を行うことを特徴とする請求項
   １記載の自動監視装置。
10. 【請求項１０】 特徴評価処理部が、抽出された着目画
    像から着目画像の面積、重心、端点等の特徴を抽出し、
    端点で囲まれる領域の面積や縦横の長さなどの特徴と着
    目画像の面積や重心位置などの特徴の比を用いて、抽出
    された特徴の信頼性の評価を行うことを特徴とする請求
    項１記載の自動監視装置。
11. 【請求項１１】 特徴評価処理部が、着目画像から抽出
    された特徴や過去に抽出された特徴を用いるか、それに
    加えてその変化量を用いて新たに生成された特徴のそれ
    ぞれの信頼性の評価を行い、その結果を用いて監視のシ
    ステムを制御することを特徴とする請求項１記載の自動
    監視装置。