JP3729933B2

JP3729933B2 - 自動監視装置

Info

Publication number: JP3729933B2
Application number: JP13911596A
Authority: JP
Inventors: 原利章篠
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-05-31
Filing date: 1996-05-31
Publication date: 2005-12-21
Anticipated expiration: 2016-05-31
Also published as: JPH09322153A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像手段から得られた映像から着目画像を抽出し、抽出された着目画像の特徴の抽出を行い、過去に抽出された着目画像の特徴を参考にしながら着目画像の判別結果を出力する監視装置や、移動物体の移動方向、移動量を用いて移動物体の計数、追跡、システム制御を行う自動監視装置に関する。
【０００２】
【従来の技術】
従来、自動監視分野においては、人や車などの監視対象を抽出したり、監視対象の判別、追跡、計数等の処理を行う場合、監視カメラや赤外線カメラ、または超音波センサ等のエリアセンサが用いられている。監視カメラの場合を例に説明すると、監視カメラから得られた映像から人や車などの移動物体の領域を着目画像として抽出する手法の例として背景差分法がある。この背景差分法は、人や車など検出の対象となる移動物体の領域を着目画像として比較的簡単な方法で抽出できる方法として知られている。しかし、抽出の対象となる物体に生成された背景との差が無い領域を持つ場合、その領域が検出できずに着目画像が必ずしも抽出の対象となる物体の領域を示さないという問題があり、背景を現在の画像を積分して生成する場合にも、抽出の対象となる移動物体の移動方向に対して後ろ側に着目画像の領域が尾を引いてしまう問題（特開昭６２ー１１４０６４）があり、必ずしも十分に抽出の対象となる移動物体の領域を抽出することができない。従って、ある時点での移動物体の抽出結果である着目画像の面積や重心や画像の縦横それぞれの方向の端点（以降単に端点と呼ぶ）等の検出結果の特徴のみから対象物体を判別することは困難であった。
【０００３】
赤外線カメラの場合は、例えば体温を遮断するような衣服を身にまとっている場合や、抽出の対象となる物体の表面の赤外線の輻射に近い赤外線を輻射している壁や道路などが存在する場合で、先に説明した監視カメラの画像の場合と同様に背景差分法等の画像処理手法を用いる場合は、同様に抽出された着目画像の領域が不完全であり、着目画像の特徴から検出対象を判別することは困難であった。
【０００４】
また、背景差分法を用いた移動物体の検出方法では、背景画像に対して急激な画像の変化を引き起こす雷や照明のＯＮ／ＯＦＦなどで、従来の自動監視装置においては、突発的な誤検出が発生する場合があった。
【０００５】
一方、移動物体の追跡や計数を行うために移動物体の移動方向と移動量を求めて追跡、計数を行う方法として、勾配法を用いて動ベクトルを獲得し、移動方向を得る方法（第１回画像センシングシンポジウム講演論文集Ｂ−４ｐ３９）がある。この方法は、異なる時間に得られた画像間で、画像の位置毎にもう一方の画像の近傍の領域を微少領域の探索窓を用いて探索し、相関が得られるポイントを探し出して動ベクトルを得、得られた各動ベクトルの投票を行い、移動方向を得る方法である。この方法は、画像間で相関演算を繰り返し行う必要があり、得られた多数の動ベクトルから移動物体の移動方向や移動量を得るために必要な計算量が多く、同一な模様を持った移動物体や輝度または色が緩やかに変化している表面の特徴を持った移動物体の場合、計算の誤差が大きい問題がある。
【０００６】
また、移動物体の判別結果を出力し、監視システムを制御するような装置において、従来は判別結果のみ出力を行い、監視システムの制御に用いていた。しかし、このような出力の方法は、着目画像の抽出結果の特徴に急激な変化がある場合、かつその着目画像の抽出結果の特徴が判別したい移動物体の特徴に近い場合でも、監視システムの制御に用いてしまい、システム動作の信頼性を低下させてしまう問題があった。さらに、判別に用いた着目画像の抽出結果の特徴が不安定である時は、ある時点の不安定な特徴量を用いた判別が行われ、監視システムの動作の信頼性を低下させる問題もあった。これらの問題は、信頼性の低い情報をその信頼性を全く考慮せずにシステム動作の決定に用いているために発生し、監視システム運用時の運用コストを増大させている。
【０００７】
【発明が解決しようとする課題】
上記したように、従来技術の課題としては、次に示す点が挙げられる。
１．検出対象物体の不完全な抽出結果においても検出対象物体の判別を行うことができる手法の実現。
２．雷や照明のＯＮ／ＯＦＦ、雪や雨等の移動物体と大きく特徴の異なる映像情報の変化に対して影響を受けにくい判別方法の実現。
３．検出対象物体の表面の特徴に左右されず比較的簡単な移動ベクトルの簡単な獲得手段の実現。
４．検出対象物体の不完全な抽出結果の信頼性を評価でき、その信頼性をもとに判別を行える信頼性の評価方法とその利用方法の確立。
５．装置から出力される判別結果のみならず、判別に用いた特徴の信頼性を評価した結果を判別結果に付加し、監視システムの動作を変更できる装置の実現。
６．着目画像数の増大が発生しても、処理時間が一定内におさまる処理方法の実現。
７．着目画像から抽出された特徴の簡単な信頼性評価方法の確立。
【０００８】
本発明は、上記課題を解決するものであり、不完全な着目画像の判別の精度を向上でき、かつ突発的な特徴の変化を持った着目画像の影響を低減し、比較的簡単な処理で実現できる判別方法を実現し、この判別結果と先の信頼性評価結果を用いて監視システムの制御を行うことで、システムの運用負担を減らすことができる自動監視装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、監視カメラ等の撮像手段から得られる映像情報から背景差分法やステレオ抽出法などの抽出手段により得られた着目画像についてその面積、重心、端点等の特徴量を記憶し、記憶された特徴とその時間的な変化量等時間方向の比較評価処理を行い、移動物体の移動ベクトルを獲得し、獲得された移動ベクトルとともに過去の着目画像の特徴や特徴量の変化やそれぞれの特徴の信頼性評価結果を用いて、扱う特徴が判別結果に与える影響の度合いを変えながら、それぞれの時点での着目画像の判別を行うことで、不完全な着目画像の判別の精度を向上でき、かつ突発的な特徴の変化を持った着目画像の影響を低減し、比較的簡単な処理で実現できる判別方法を実現し、この判別結果と先の信頼性評価結果を用いて監視システムの制御を行うことで、システムの運用負担を減らすことができる。
【００１０】
【発明の実施の形態】
本発明の請求項１に記載の発明は、検出対象物体を撮像する撮像手段と、撮像手段により得られた映像情報から着目画像を抽出する抽出処理部と、抽出した着目画像の特徴を抽出する着目画像の特徴抽出処理部と、抽出した各着目画像毎の特徴を用いて記録の評価判定や処理を行うかどうかの判定を行う特徴評価処理部と、特徴評価処理部で記録を行うべきと判定された結果を処理の間隔毎に記憶する第１の記憶部と、抽出した着目画像の特徴と第１の記憶部に記憶された過去の着目画像の特徴とを比較する比較処理部と、比較を行った結果を用いて過去の着目画像と現在の着目画像との関係を評価し、着目画像の移動方向と移動量の移動ベクトルとを導く比較評価処理部と、比較評価処理部で評価された過去の着目画像と現在の着目画像の移動ベクトルを記憶する第２の記憶部と、過去の着目画像と現在の着目画像の移動ベクトルと特徴評価処理部で評価された特徴とにより、着目画像の判別処理を行って結果を出力する判別処理部とを備えた自動監視装置であり、着目画像の判別を精度良く実現できるという作用を有する。
【００１１】
本発明の請求項２に記載の発明は、特徴抽出処理部が、撮像手段により得られた映像情報の一部分である着目画像の面積、重心位置、端点座標、着目画像内部の色や輝度の統計情報、形状情報等の特徴を抽出し、特徴評価処理部が、着目画像の特徴として予め設定されるかまたは学習により得られた特徴の範囲にあるかどうかの評価を行い、その結果を着目画像を抽出する処理の間隔毎に第１の記憶部に記憶し、比較処理部が、第１の記憶部に記憶された特徴と過去の特徴抽出および評価を行った結果として記憶された特徴とを比較評価し、比較評価処理部が、評価の対象となった現在の着目画像の重心や端点枠の中心等と過去の着目画像の重心や端点枠の中心をつなぐことにより、着目画像の移動ベクトルを得ることを特徴とする請求項１記載の自動監視装置であり、移動物体の移動方向、移動量を比較的簡単な方法で精度良く得ることができるという作用を有する。
【００１２】
本発明の請求項３に記載の発明は、比較評価処理部が、つながれた移動ベクトルの長さを、着目画像の面積、端点位置、重心位置、着目画像を移動ベクトルを延長することにより得られる着目画像の切片の長さ等の特徴や予め設定された奥行き情報やステレオ画像処理などの奥行き情報の獲得手段を用いて得られた奥行き情報により算出された補正情報を用いて補正することを特徴とする請求項２記載の自動監視装置であり、撮像手段により得られた映像情報の奥行きによる移動ベクトルの移動量を着目画像の切片の長さや、予め設定されるかまたは算出された画像情報の奥行き情報により補正する事により、得られた移動ベクトルから移動物体の移動速度を比較的簡単な手法で得られ、奥行きのある画像でも精度良い判別が行えるという作用を有する。
【００１３】
本発明の請求項４に記載の発明は、比較評価処理部が、比較評価する際に、着目画像の特徴を抽出する間隔に応じて、評価結果に対する比較評価を行う特徴の影響の度合いを変更して移動ベクトルを獲得することを特徴とする請求項２記載の自動監視装置であり、処理の間隔の変化に対して安定的に移動ベクトルを獲得できるという作用を有する。
【００１４】
本発明の請求項５に記載の発明は、着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第２の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の特徴とその変化量を検索し、現在の特徴やその変化量と移動ベクトルと共に過去の情報を利用して着目画像の判別処理を行うことを特徴とする請求項１記載の自動監視装置であり、現在と過去の着目画像の特徴から、精度の高い判別処理を実現できるという作用を有する。
【００１５】
本発明の請求項６に記載の発明は、着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第２の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の着目画像を、現在および過去の特徴とその変化量の信頼性を評価し、その結果を用いて検索し、信頼性の高い過去の着目画像の判別処理を行って結果を出力することを特徴とする請求項１記載の自動監視装置であり、着目画像の特徴の信頼性評価結果を用いることで、現在の着目画像の信頼性が低い場合にも、過去の着目画像の特徴を利用して精度の高い判別処理を実現できるという作用を有する。
【００１６】
本発明の請求項７に記載の発明は、特徴評価処理部が、着目画像の移動ベクトルを評価する際に、着目画像の重心位置や端点の位置等の着目画像が撮像手段によって得られる映像情報に存在する位置や、着目画像の大きさ等の特徴を基に、移動ベクトルを評価するか否か、判別処理を行うか否かの判定を行い、評価や判別に必要な処理時間を削減することを特徴とする請求項１記載の自動監視装置であり、映像情報から抽出された着目画像全ての移動ベクトルの算出、判別処理を行う自動監視の場合に比べて、短い処理時間で動作を行うことができ、かつ処理コストやハード規模を低減できるという作用を有する。
【００１７】
本発明の請求項８に記載の発明は、特徴評価処理部が、着目画像の発生数を基に、移動ベクトルを獲得し、判別処理を行うために必要な処理時間を算出し、算出された処理時間によって移動ベクトルの獲得のための比較評価を行うか、または判別を行うために移動ベクトルで連続する過去の着目画像の特徴を利用する処理間隔数を決定することを特徴とする請求項１記載の自動監視装置であり、着目画像の発生数の増大による処理時間の増大を防ぐことができるという作用を有する。
【００１８】
本発明の請求項９に記載の発明は、特徴評価処理部が、抽出された着目画像から着目画像の特徴を抽出し、抽出された特徴を用いてその特徴の信頼性の評価を行うことを特徴とする請求項１記載の自動監視装置であり、精度の高い判別結果得られるという作用を有する。
【００１９】
本発明の請求項１０に記載の発明は、特徴評価処理部が、抽出された着目画像から着目画像の面積、重心、端点等の特徴を抽出し、端点で囲まれる領域の面積や縦横の長さなどの特徴と着目画像の面積や重心位置などの特徴の比を用いて、抽出された特徴の信頼性の評価を行うことを特徴とする請求項１記載の自動監視装置であり、精度の良い判別処理が行えるという作用を有する。
【００２０】
本発明の請求項１１に記載の発明は、特徴評価処理部が、着目画像から抽出された特徴や過去に抽出された特徴を用いるか、それに加えてその変化量を用いて新たに生成された特徴のそれぞれの信頼性の評価を行い、その結果を用いて監視のシステムを制御することを特徴とする請求項１記載の自動監視装置であり、出力された信頼性情報によりシステムのアラーム・ワーニングなどの状態を変え、監視の動作を変更することで、監視者の負担を軽減する作用を有する。
【００２１】
（実施の形態１）
以下、本発明の実施の形態について、図１から図５を参照して実施例を説明する。図１は本発明の第１の実施の形態における自動監視装置の構成を示したものである。図１において、１００は監視カメラなどの撮像手段（以下単にカメラと呼ぶ）、１０１はカメラ１００により得られた映像情報から着目画像を抽出する抽出処理部、１０２は抽出された着目画像毎のラベル付けや特徴を抽出する処理を行う特徴抽出処理部、１０３は抽出された各着目画像毎の特徴で記録の評価判定や処理を行うかどうかの判定を行う特徴評価処理部、１０４は特徴評価処理部１０３で記録を行うべく判定された結果を処理の間隔毎に記憶する第１の記憶部である。１０５は特徴評価処理部１０３で処理を行うべく判定された各着目画像毎に、第１の記憶部１０４に処理の間隔毎に記憶された過去の各着目画像の特徴抽出処理部１０２で抽出された各特徴を比較する比較処理部、１０６は比較処理を行った結果から特徴評価処理部１０３で評価判定された現在の各着目画像と過去に特徴評価処理部１０３で評価判定された過去の各着目画像との重心点の連結を行うなど、現在抽出された着目画像と過去に抽出された着目画像とを連結して移動ベクトルを生成し、第２の記憶部１０７に記録を行うかどうかの判定を行う比較評価処理部、１０８は第２の記憶部１０７に記憶された現在の各着目画像と過去の各着目画像の連結情報と移動ベクトルから第１の記憶部１０４に記憶された現在の各着目画像との処理間隔毎に記憶された全てかまたは一部の過去の各着目画像の特徴や移動ベクトルから現在の各着目画像が人であるか車であるか、もしくはそれ以外かなどの推定を行い、監視システムを制御するための制御情報を生成する判別処理部である。
【００２２】
次に、本実施の形態における動作について説明する。まず、カメラ１００で得られた映像情報から判別したい対象物体の領域を着目画像の領域として抽出処理部１０１において背景差分法や、勾配法などを用いて抽出する。ここでこの撮像手段１００や、抽出処理部１０１の抽出方法は、どのような方法を用いても構わない。ここでは、撮像手段１００を監視カメラ、抽出処理部１０１の抽出方法として背景差分法を用いて説明する。図２は上記抽出処理部１０１の構成を示しており、２０１は背景生成処理部、２０２は背景記憶部、２０３は差分処理部、２０４は２値化処理部である。図２において、撮像手段１００で撮影した映像情報から背景生成処理部２０１で背景画像を背景記憶部２０２に記憶する。背景の生成方法は、図３（ａ）に示す撮像手段１００で得られた映像情報を逐次ある割合で入れ替える背景積分法を用いてもよいし、逐次平均化しても良いし、２値化処理部２０４の情報をフィードバックして更新の制御をしてもよい。これらの方法で生成された背景画像と撮像手段１００で得られた映像情報との差分処理を差分処理部２０３で行い、予め与えるか、または特徴抽出された結果を用いて決定されたしきい値を用いて２値化処理部２０４で２値化する。この結果得られた着目画像が、図３（ｂ）の背景差分の結果画像に示す着目画像である。
【００２３】
次に、この背景画像との差分処理、２値化処理により得られた現在の着目画像を特徴抽出処理部１０２でそれぞれラベル付けを行い、各着目画像毎に特徴の抽出処理を行う。ここで言う特徴とは、図３（ｂ）に示すように着目画像の面積、重心位置、端点等の着目画像から得られる情報である。着目画像の面積は、カメラの取り付け角度や高さやレンズの焦点距離や撮像素子のサイズや予め設定するか、カメラの画像処理によって得られた設置情報や奥行きの情報を利用して、実際の検出対象物体の投影面積に換算された面積でも構わない。またここでは、面積と重心位置と端点情報を用いた場合の説明を行うが、その他の特徴としては、着目画像内部の色の分布や統計結果や細線化された情報や形状情報など短い時間で大きい変化のない情報であれば、どんな情報を用いても構わない。
【００２４】
特徴抽出処理部１０２で各着目画像毎に抽出された特徴を、それぞれ特徴評価処理部１０３で評価する。例えば、予め設定されたカメラの位置で決まる面積は妥当でにあるかどうかや、その位置に発生する物体の端点から得られる縦横比は妥当であるかどうかを評価し、以降の移動ベクトルの比較処理部１０５、比較評価処理部１０６、判別処理部１０８の動作を行うかどうかや記録の必要性の有無を判定し、各着目画像と各特徴毎に第１の記憶部１０４に記憶する。ここまでの処理を１回の処理の間隔とし、この処理の間隔毎にそれぞれ時点での各着目画像毎の特徴量、信頼性の評価結果の記録の作用を行う。
【００２５】
次に、間隔毎に第１の記憶部１０４に記憶されたそれぞれ時点での各着目画像毎の特徴量、信頼性の評価結果の結果を比較処理部１０５で比較する。ここで比較の方法を具体例で説明する。なおここでは、説明の簡単のために各着目画像毎に取り扱う特徴量を着目画像の面積、重心、端点とし、比較を行うための処理間隔は１処理とする。図４に時刻ｔにおける各着目画像の特徴量（ａ）と時刻ｔ−１における各着目画像の特徴量（ｂ）を示す。ｔとｔ−１は、連続する２つの処理間隔で、非常に短い間隔で設定しているため、着目画像の形状や特徴の変化は少ない。ここでは、分かりやすくするために着目画像の形状を示しているが、第１の記憶部１０４に記憶する情報は、各着目画像のラベルＮｏとそれぞれの面積Ｓ、端点座標Ｔ（ｘ、ｙ）と重心位置座標Ｇ（ｘ、ｙ）１次または２次元の１組の情報のみでよく、記憶のための容量は少ない。この例の場合は、それぞれ各着目画像の特徴量の情報を８bit で表現すると、面積８bit 、重心位置１６bit 、端点３２bit で良い。この時刻ｔの図の場合は、着目画像数が２つであるから、１１２bit の容量を必要とする。時刻ｔの着目画像３０１を比較する対象は、時刻ｔ−１の着目画像４０１と着目画像４０２である。大きさの違いが、例えば５０％以内の着目画像について比較するように定義すれば、着目画像４０１のみの比較で構わず、比較の回数が少なくてすむ。ここで着目画像３０１に対して着目画像４０１と着目画像４０２を比較し、その評価値を導く手法について説明する。面積の変化量、端点枠の外周長や縦横比、重心の位置の差をそれぞれ定量化し、着目画像３０１に対してどの程度変化があるのかを着目画像４０１、４０２について計算する。例えば、この画像の場合、時刻ｔの着目画像３０１の面積に対する時刻ｔ−１の着目画像４０１、４０２の面積の変化の比を時刻ｔ−１の各着目画像でそれぞれＳｋ１、Ｓｋ２とすると
Ｓｋ２＞Ｓｋ１
であることは明らかである。ｔとｔ−１の処理間隔が短いほど着目画像４０１の面積の変化の比Ｓｋ１は小さくなる。同様に着目画像３０１の重心位置の座標、端点枠の比を着目画像４０１と４０２それぞれで比較すると、着目画像４０１と比べた場合の比は小さくなる。この特徴を利用し、時刻ｔの各着目画像についてそれぞれの特徴量毎にその比を計算し、加算したものを比較評価値とし、その結果を用いて比較評価処理部１０６で比較評価処理を行う。加算の方法は、そのまま加算してもよいし重みを付加して加算してもよい。比較評価処理部１０６では、この比較評価値をもとにｔ−１のどの着目画像位置から移動してきたのか評価を行い、その移動ベクトルを、例えばｔとｔ−１の端点枠の中心や重心位置同士を連結する事で獲得する。
【００２６】
なお、得られた移動ベクトルは、着目画像情報に付加して第２の記憶部１０７に記憶するが、この第２の記憶部２に記憶される移動ベクトルは、各着目画像毎に存在する情報であるため、第１の記憶部１０４と共有化することも可能である。
【００２７】
次に、各着目画像の特徴量の信頼性評価方法とその利用方法について例を用いて説明する。ここでは面積の信頼性評価方法の１例を示す。図４（ａ）の時刻ｔにおける着目画像３０２の面積の信頼性を特徴抽出処理部１０２で抽出された端点情報を用いて評価する。端点枠で囲まれる面積に対し、着目画像３０２の特徴として抽出された着目画像の面積は、トラックの荷台の部分が検出されていないため、小さいことが図からも確認できる。通常、人や車などの対象を検出する場合、着目画像が対象の位置を示していれば、端点枠に対する着目画像の比はあまり低くはない。しかし、着目画像の一部が欠落したような時刻ｔの着目画像３０２の場合では、比較的低い値になる。この値は原理的には、０から１の値をとり、低い程面積の信頼性が低いと考えることができる。この値を面積の信頼性評価結果とし、先に説明した移動ベクトルの比較評価値を算出する際の重みや面積の値で判別結果を算出する際の重みに用いれば、信頼性の高い情報が、移動ベクトルの抽出や判別において、面積の値の影響を増すことができる。このため、移動ベクトルの比較評価値の精度や最終的な判別処理の精度や監視システムの制御の精度を高めることができる。同様に信頼性の評価結果は、重心位置に着いても端点枠の中心からのずれを利用して信頼性評価値を得ることができる。
【００２８】
さらに、着目画像から抽出された特徴や、過去に抽出された特徴を用いて新たに生成された特徴のそれぞれの信頼性の評価を行い、その結果を記録し、判別処理に用い、判別処理の結果とその信頼性評価結果をともに監視システムに出力することにより、システムの動作を変更することができる。
【００２９】
次に、比較評価処理部１０６における動作の詳細について説明する。本実施の形態における移動ベクトルは、時間ｔ、ｔ−１の間隔が非常に短いことを条件に精度の良い移動ベクトルを獲得するものである。しかし、実際の移動ベクトルは、判別したい対象物体が等速で移動していると仮定した場合に、撮像手段１００で撮影されている環境に奥行きがあり、かつ奥行方向の移動成分があれば、この手法で算出される移動ベクトルの長さが対象物体の移動方向によって異なってしまう。この方法で算出される移動ベクトルの方向は、撮像手段１００に投影された方向であり、補正の必要は無いが、移動量は対象物体の奥行き位置で異なって投影されるため、その補正が必要となる。以下にこの補正の例を図６を用いて、撮像手段１００に対象物体が投影され、抽出された着目画像を用いる手法で説明する。現実にはあり得ないが、説明の簡単のため、全く同一の物体が奥行きの異なる位置で、同一方向に向かって同じ速度で移動している場合を考える。この場合、上記した移動ベクトルの獲得方法では、図６に示すようにそれぞれ方向は、同じであるがベクトルの長さが異なってしまう。これが奥行きによって発生する上記した対象物体の奥行きの位置による移動量の変化である。この移動ベクトルを用いて判別処理部１０８や特徴評価処理部１０３における処理を行おうとする場合、画面の中心が奥行きの中央になるように、予め設置を制限するなどして、判別のための範囲を制限しなければならないし、また、得られた結果にも奥行きによって発生する誤差を含んでしまうことになり、判別や、特徴評価の信頼性を低下させてしまう。そこで、図６から分かるように、着目画像の奥行きによって発生する大きさや長さの変化を利用して移動ベクトルの長さを補正する。具体例を示すと、着目画像から得られた移動ベクトルが着目画像を貫く切片の長さや端点枠の長さなどを利用し、その長さが均一になるように、重心位置で移動ベクトルに補正をかけるようにする。
【００３０】
なお、奥行き情報の取得は、上記した方法の他に、予め設定などを用いて与えてもよく、ステレオカメラなどの三角測量の原理を用いた画像処理による奥行き情報の獲得方法を用いても構わない。
【００３１】
次に、移動ベクトルの比較評価値の一般式の例を示す。説明の簡単のために、着目画像の面積と重心位置のみで比較評価する手法について説明する。端点や他の特徴量については、以下に示す方法と同様に正規化した後に加算すればよい。また、取り扱う処理の間隔を１とし、時刻ｔと時刻ｔ−１の二つの処理間での評価と限定する。時刻ｔにおける着目画像の重心位置を（ｘｎｔ、ｙｎｔ）、面積をｓｎｔとし、時刻ｔ−１の重心位置を（ｘｎｔ- １、ｙｎｔ- １）、面積をｓｎｔ- １とすると重心間の距離は、
【００３２】
【数１】

であり、時刻ｔ−１から選択される着目画像の候補の最大値と最小値の範囲で１から０の値に正規化し、正規化された１以下の値をＤｎｓとする。次に面積の変化量は、
【００３３】
【数２】

であり、距離と同様に最大と最小の範囲で、１から０の値に正規化し、正規化された値をＳｎｓとする。比較評価値ｊは、σｄ＋σｓ＝１の重みをかけて加算され、以下のようになる。
【００３４】
【数３】

このｊの値が小さいほど選択されるようにすればよい。この式で、信頼性評価により、それぞれの重みσｄ、σｓを１から０の間でσｄ＋σｓ＝１が成立するように抑制しても構わない。それぞれの重みの初期値は、シミュレーションによる調整を行って好きな値に調整すればよい。例えば、σｄを０. ７、σｓを０. ３に設定し、距離の重みを７０％影響させるようにすると、経験上良い結果が得られた。このような方法を用いて、それぞれの特徴量の変化量を移動ベクトルの比較評価値に変換し、比較評価を行って、注目する着目画像が過去のどの位置から移動してきたかを決定する。
【００３５】
この他にも、比較評価値を決める方法は考えられるが、処理の間隔が非常に短ければ、これらの特徴量の変化は小さいという特徴を利用して、過去のそれぞれの着目画像で最も変化量の小さい着目画像が候補として選ばれるような手法を用いればよい。このような手法で時刻ｔの注目する着目画像に対し、時刻ｔ−１の各着目画像毎に算出された比較評価値を使って、時刻ｔの注目する着目画像が時刻ｔ−１のどの着目画像位置から移動してきたかを比較評価処理部１０６で評価し、例えば先の算出式で算出された比較評価値が最低値をとるところを第１候補とし、次に小さいところを第２候補という具合に、第２の記憶部１０７に記録する。
【００３６】
次に、判別処理部１０８における動作の詳細について説明する。判定処理部１０８では、特徴評価処理部１０３で判定され、判別したい着目画像が発生した場合に、第２の記憶部１０７に記録されている移動ベクトルをもとに過去にさかのぼって第１の記憶部１０４に記録された特徴量を手繰り出し、例えば、移動ベクトルで連結されている各着目画像の平均化された特徴量を利用して判別を行う。
【００３７】
また、判定処理部１０８では、特徴評価処理部１０３で判定され、判別したい着目画像が発生した場合に第２の記憶部１０７に記録されている移動ベクトルをもとに過去にさかのぼって第１の記憶部１０４に記録された信頼性評価結果を手繰り出し、例えば、移動ベクトルで連結されている各着目画像各特徴の信頼性評価結果の最も高い特徴を利用して判別を行うよにしてもよい。
【００３８】
また、判別処理部１０８では、例えば、過去にさかのぼって面積を評価する場合、上記した端点情報と着目画像の面積から信頼性が高いと判断できる時刻での面積値を採用し、予め設定するなりして決めておいた位置における人の面積中央値に近い場合は、人である可能性が高いという判別情報を出力する。同様に重心位置の移動量についても、予め決めておいたスピードの中央値と比較すればよい。また、端点の縦横比も同様に算出式に加えても良い。この判別処理は、中央値とのばらつき具合を評価尺度に使用し、予め与えておくかまたは学習により得られた各特徴量の範囲からのばらつき具合をすべて考慮した上で、判定出力すればよい。このように、それぞれの特徴が判定出力に影響するように評価関数を定義し、それぞれの特徴の中央値からのばらつきをもって判別したい対象の評価結果として出力する。例えば、人である可能性を１から０、車である可能性も１から０でそれ以外の可能性を１から０で表現し、人である可能性が０. ７、車である可能性が０. ２、それ以外である可能性が０. １という具合でもよい。
【００３９】
（実施の形態２）
上記実施の形態１で示した移動ベクトルの獲得手法は、算出する着目画像の数と過去の着目画像の組み合わせをそれぞれ評価する方法であり、算出時間が着目画像の発生数で増大してしまう。このため、処理時間にかかるコストを低減する必要が生じてくる。一つの方法としては、移動ベクトルの獲得や判別の処理を行うべく、対象物体を予め特徴評価処理部１０３で絞り込む。具体的には、着目画像の大きさや、着目画像の重心などの着目画像から抽出され獲得された特徴を予め設定するか、学習等によって得られた特徴の範囲を比較し、その範囲にある場合に移動ベクトルの獲得や判別処理を行う。
【００４０】
本実施の形態２で示した移動ベクトルの獲得手法は、算出する着目画像の数と過去の着目画像の組み合わせをそれぞれ評価する方法であり、別の方法としては、着目画像の発生数で処理をすべき対象や処理に必要な時間や、情報を制限する方法があげられる。具体的には、特徴評価処理部１０３で発生数を監視し、発生数が一定の閾値を越えた場合に、処理する対象を大きさの大きい順に一定の数だけ移動ベクトルの獲得や判別処理を行うようにする。
【００４１】
なお、一つの着目画像の移動ベクトルの獲得や判別にかかる時間は、過去の着目画像の数が一定でかつ過去の情報を用いる回数が一定ならば一定であるので、移動ベクトルの算出や判別を行うために必要な時間が限られているときは、過去の着目画像の数や利用する過去の情報の処理回数の限界を算出することができる。この算出結果に基づき、移動ベクトルの獲得や判別の処理の回数を制限する。制限の方法としては、大きさの近いものや、重心間の近い順や、大きさの大きい順などの方法が考えられる。
【００４２】
【発明の効果】
以上説明したように本発明によれば、以下に示す効果を有する。
（１）撮像手段から得られた映像情報から着目する画像の大きさ、位置などの特徴量を抽出し、移動物体が過去のどの位置から移動して来たかの移動ベクトルを得、この移動ベクトルにより、不完全な抽出結果においても検出対象物体の判別処理を行うことができ、見逃しの少ない監視システムが実現できる。
（２）移動ベクトルを獲得する際、奥行きの補正処理を行うことで、奥行きがある映像情報を用いても信頼性の高い移動ベクトルを得ることができ、精度の良い判別が行える。
（３）移動ベクトルを獲得する際、着目画像の特徴を抽出する間隔に応じて比較評価結果を行うための特徴の影響の度合いを変更することで、処理の間隔が変更されても精度良く移動ベクトルを獲得し、精度良く判別を行える。
（４）撮像手段から得られた映像情報から着目する画像の大きさ、位置などの特徴量を抽出し、移動物体が過去のどの位置から移動して来たかの移動ベクトルを得、この移動ベクトルにより、システムの動作を変更することが可能となり、監視者の負担を軽減することができる。
（５）移動ベクトルや、移動ベクトルで連結された過去の特徴や、特徴の変化量や、その信頼性の評価結果を用いることで、現在の抽出結果の特徴量の信頼性が低い場合にも、過去の信頼性の高い情報を利用して判別処理を行うことで精度の高い判別結果を得ることができ、監視者の負担をかけない自動監視システムを実現することができる。
（６）得られた特徴量とその変化量や信頼性の評価結果や、移動ベクトルで連結された過去の特徴量とその変化量や信頼性の評価結果から大まかに人であるか車であるか等の判別を精度良く行える。
（７）移動ベクトルの獲得や判別処理を比較的容易な方法でき、装置の規模を抑え、処理時間を大幅に削減し、処理コストを低減することができる。
（８）着目画像から抽出された特徴の信頼性の評価を行うことで、信頼性の評価結果を用いて精度の高い移動ベクトルや判別処理を行うことができる。
（９）移動ベクトルにより、連結された過去の特徴量とその変化量や信頼性の評価結果を判別に用いることで、雷や照明のＯＮ／ＯＦＦ等抽出結果の急激な変動に影響を受けにくい判定処理方法が実現でき、精度の高い判別結果が得られる。
（１０）着目画像から抽出された特徴のうち、着目画像の面積、重心、端点から簡単に信頼性評価を行うことが可能となり、処理のコストを低減することができる。
（１１）判別対象物体の判別結果に加えてその信頼性評価結果を出力することで、監視システムの運用者に負担をかけない自動監視システムを実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における自動監視装置の構成を示すブロック図
【図２】本発明の実施の形態における抽出処理部の構成を示すブロック図
【図３】（ａ）本発明の実施の形態の抽出処理部における入力画像の画面図
（ｂ）本発明の実施の形態の抽出処理部で得られた着目画像の画面図
【図４】（ａ）本発明の実施の形態の時間ｔにおける着目画像の画面図
（ｂ）本発明の実施の形態の時間ｔ−１における着目画像の画面図
【図５】本発明の実施の形態の時間ｔにおける特徴量の変化を示す画面図
【図６】本発明の実施の形態の時間ｔにおける移動ベクトルの奥行きによる補正処理を説明する画面図
【符号の説明】
１００撮像手段
１０１抽出処理部
１０２特徴抽出処理部
１０３特微評価処理部
１０４第１の記憶部
１０５比較処理部
１０６比較評価処理部
１０７第２の記憶部
１０８判別処理部

Claims

検出対象物体を撮像する撮像手段と、撮像手段により得られた映像情報から着目画像を抽出する抽出処理部と、抽出した着目画像の特徴を抽出する着目画像の特徴抽出処理部と、抽出した各着目画像毎の特徴を用いて記録の評価判定や処理を行うかどうかの判定を行う特徴評価処理部と、特徴評価処理部で記録を行うべきと判定された結果を処理の間隔毎に記憶する第１の記憶部と、抽出した着目画像の特徴と第１の記憶部に記憶された過去の着目画像の特徴とを比較する比較処理部と、比較を行った結果を用いて過去の着目画像と現在の着目画像との関係を評価し、着目画像の移動方向と移動量の移動ベクトルとを導く比較評価処理部と、比較評価処理部で評価された過去の着目画像と現在の着目画像の移動ベクトルを記憶する第２の記憶部と、過去の着目画像と現在の着目画像の移動ベクトルと特徴評価処理部で評価された特徴とにより、着目画像の判別処理を行って結果を出力する判別処理部とを備えた自動監視装置。
特徴抽出処理部が、撮像手段により得られた映像情報の一部分である着目画像の面積、重心位置、端点座標、着目画像内部の色や輝度の統計情報、形状情報等の特徴を抽出し、特徴評価処理部が、着目画像の特徴として予め設定されるかまたは学習により得られた特徴の範囲にあるかどうかの評価を行い、その結果を着目画像を抽出する処理の間隔毎に第１の記憶部に記憶し、比較処理部が、第１の記憶部に記憶された特徴と過去の特徴抽出および評価を行った結果として記憶された特徴とを比較評価し、比較評価処理部が、評価の対象となった現在の着目画像の重心や端点枠の中心等と過去の着目画像の重心や端点枠の中心をつなぐことにより、着目画像の移動ベクトルを得ることを特徴とする請求項１記載の自動監視装置。
比較評価処理部が、つながれた移動ベクトルの長さを、着目画像の面積、端点位置、重心位置、着目画像を移動ベクトルを延長することにより得られる着目画像の切片の長さ等の特徴や予め設定された奥行き情報やステレオ画像処理などの奥行き情報の獲得手段を用いて得られた奥行き情報により算出された補正情報を用いて補正することを特徴とする請求項２記載の自動監視装置。
比較評価処理部が、比較評価する際に、着目画像の特徴を抽出する間隔に応じて、評価結果に対する比較評価を行う特徴の影響の度合いを変更して移動ベクトルを獲得することを特徴とする請求項２記載の自動監視装置。
着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第２の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の特徴とその変化量を検索し、現在の特徴やその変化量と移動ベクトルと共に過去の情報を利用して着目画像の判別処理を行うことを特徴とする請求項１記載の自動監視装置。
着目画像の移動ベクトルを、着目画像の面積、重心位置、端点位置、着目画像内部の色や輝度の統計情報等の特徴が得られる間隔で着目画像の特徴と移動ベクトルで連結された過去の特徴のそれぞれの変化量と共に第２の記憶部に記憶し、判別処理部が、得られた移動ベクトルから過去の着目画像を、現在および過去の特徴とその変化量の信頼性を評価し、その結果を用いて検索し、検索の結果、信頼性の高い過去の着目画像の判別処理を行って結果を出力することを特徴とする請求項１記載の自動監視装置。
特徴評価処理部が、着目画像の移動ベクトルを評価する際に、着目画像の重心位置や端点の位置等の着目画像が撮像手段によって得られる映像情報に存在する位置や、着目画像の大きさ等の特徴を基に、移動ベクトルを評価するか否か、判別処理を行うか否かの判定を行い、評価や判別に必要な処理時間を削減することを特徴とする請求項１記載の自動監視装置。
特徴評価処理部が、着目画像の発生数を基に、移動ベクトルを獲得し、判別処理を行うために必要な処理時間を算出し、算出された処理時間によって移動ベクトルの獲得のための比較評価を行うか、または判別を行うために移動ベクトルで連続する過去の着目画像の特徴を利用する処理間隔数を決定することを特徴とする請求項１記載の自動監視装置。
特徴評価処理部が、抽出された着目画像から着目画像の特徴を抽出し、抽出された特徴を用いてその特徴の信頼性の評価を行うことを特徴とする請求項１記載の自動監視装置。
特徴評価処理部が、抽出された着目画像から着目画像の面積、重心、端点等の特徴を抽出し、端点で囲まれる領域の面積や縦横の長さなどの特徴と着目画像の面積や重心位置などの特徴の比を用いて、抽出された特徴の信頼性の評価を行うことを特徴とする請求項１記載の自動監視装置。
特徴評価処理部が、着目画像から抽出された特徴や過去に抽出された特徴を用いるか、それに加えてその変化量を用いて新たに生成された特徴のそれぞれの信頼性の評価を行い、その結果を用いて監視のシステムを制御することを特徴とする請求項１記載の自動監視装置。