JP3664784B2 - 広域監視装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、広い領域に渡って人物や車両等移動物体の監視を行う広域監視装置に関するものであり、交通管制や駐車場管理、あるいはビル・工場監視等の監視システムに応用されるものである。
【０００２】
【従来の技術】
従来、可視、赤外線および３次元計測の複数の画像入力部（以降、カメラと呼ぶ。）により撮像された画像情報を用いて、複数のカメラの監視対象領域での人物や車両等の移動物体の追跡により不審者や侵入者の監視を行う自動監視システムにが知られている。
【０００３】
これまでの複数のカメラを用いた監視システムは、カメラの画像情報を人間がモニタするものが一般的であった。このようなシステムでは、人間がモニタするため少ないデイスプレイで構成されており、各カメラの画像情報を適当な時間間隔で切り替えているが、人間のモニタリング機能に頼る方法では見落としが発生することがあるので、上記のような人間のモニタリング機能に頼らないで自動的にシステムが監視を行う機器の開発が行われている。
【０００４】
図５は複数のカメラの画像情報を処理する従来の自動監視システムの構成を示すものである。図５において、５１は移動物体認識装置であり、監視対象領域の画像情報を入力する画像入力部５１１と、画像入力部５１１の画像情報を処理して画像情報内における移動物体の位置及び特徴量を検出して移動物体を認識する移動物体認識部５１２と、画像情報及び移動物体認識部５１２によって検出された前述の情報をネットワーク５３に送出するインタフェース部５１３とから構成される。移動物体認識装置５１は１台以上で構成できるものとする。５２は移動物体追跡装置であり、各々の移動物体認識装置５１において検出されネットワーク５３を介して送られてきた情報を受信するインタフェース部５２１と、各々の移動物体認識装置５１において検出された情報を統合して、監視対象領域地図上で移動物体を追跡する移動物体追跡部５２２とから構成される。移動物体認識装置５１と移動物体追跡装置５２とは、何れもネットワーク５３に接続されている。
【０００５】
次に、上記従来例の動作について説明する。複数の画像入力部５１１は、監視対象領域を俯瞰撮像し、得られた画像情報は、移動物体認識部５１２において処理される。移動物体認識部５１２は、フレーム間差分処理もしくは背景差分処理等の前処理及びその後ノイズ除去処理や領域整形処理を行って監視対象領域内に存在する対象物体領域を検出する。次に検出された領域内の画像情報を処理して対象物体の特徴量を検出する。特徴量としては、形状、色・輝度、テクスチャを用いる。更に、検出した領域の画像上の座標を画像入力部５１１の設置条件に基づいて監視対象領域地図上の座標に変換し、対象物体の位置情報とする。これらの情報はインタフェース部５１３からネットワーク５３を介して移動物体追跡装置５２へと送られる。移動物体追跡装置５２は、複数の移動物体認識装置５１から送られてきた情報をインタフェース部５２１で受信し、移動物体追跡部５２２で統合し、監視対象領域地図上において対象物体を追跡して行く。ここで監視対象領域地図上に警報領域を設定することにより、対象物体の警報領域内への侵入を自動的に検出し、警報信号を発生させることも可能である。以上が従来例における複数カメラの画像情報を処理する自動監視システムである。
【０００６】
一方、人物や車両を個体識別する従来技術は複数存在する。人物個体識別技術としては、その人物が有する固有の特徴を認識して人物識別を行う方法と、特定の人物に個体識別可能な物体を所持させる方法とがある。前者としては指紋照合、声紋照合、顔特徴照合及び眼底網膜照合が存在する。この内、実用化のレベルに達していると言われているものは指紋照合、眼底網膜照合である。後者は、識別情報をカード形状等の識別札内に格納して所持させ、識別処理時にこの情報を読み出すもので、読み出し方法によって接触型及び非接触型に分類される。接触型としては磁気カード読取方式、非接触型としては無線通信方式が代表的である。車両を個体識別する技術としては、前述の識別札を車両に搭載して識別情報を無線通信する方式と、車両のナンバープレートの文字を認識処理して個体識別する方式が実用化されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、前述の方式では、以下の問題点が指摘されていた。まず画像情報を用いた自動監視システムにおいては、対象物体を個体識別することは実現されていない。従来例における移動物体認識装置は、対象物体が有している特徴量を検出し、それに基づいて対象物体を認識し追跡することは可能であるが、個体を識別し、不審な物体であることを判断することまでは不可能である。対象物体を追跡し、その軌跡情報から行動解析を行い、不審物体を検出するという、より高度な監視は現状では実用のレベルに達していない。
【０００８】
一方、人物や車両の個体識別技術であるが、これらの個体識別は識別処理を実施した地点においてのみ実現されるものであり、対象物体が再び移動した後に識別を継続することは困難である。したがって、個体識別を入口やその他特定の場所において実施し、その情報のみ管理する、いわゆる特定点監視というのが一般的な個体識別応用システムの形態であった。このような特定点監視に対して、より広い範囲を監視領域として設定し、その領域内に存在する対象物体を継続的に識別し監視するという、いわゆる広域監視に対する要望が高まってきた。指紋照合、眼底網膜照合、磁気カード読取、自動車ナンバープレート認識等は、何れも識別装置を設置した特定点で個体識別が実現されるものであり、これらの装置は広域監視を実現する性格のものではない。無線通信を用いる場合は、ある程度広い範囲で個体識別は可能であるが、この場合も識別札を所持している対象物体の識別のみが可能であり、識別札を所持していない不審物体を検出することはできず、広域監視を実現することはできない。
【０００９】
本発明は、上記従来の問題点を解決するものであり、対象物体の個体識別情報とその物体の監視対象領域地図上の座標情報を対応付けることによって監視領域内に存在する対象物体を識別し、識別完了後は対象物体が監視領域内を移動しても対象物体を識別したまま追跡することができ、広い領域に渡って人物や車両等移動物体の監視を行うことのできる広域監視装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の広域監視装置は、移動物体認識装置、移動物体追跡装置、個体識別装置及び照合装置によって構成される。移動物体認識装置は、画像情報を処理して画像情報内における移動物体の位置及び色・輝度、形状等の特徴量を検出して移動物体を認識し、その情報をネットワークに送出する。移動物体追跡装置は、ネットワークを介して送られてきた移動物体検出情報を統合して、移動物体を監視対象領域地図上で追跡する。個体識別装置は、前述の個体識別手段を用いて対象物体が有する識別情報を検出して個体を識別する。照合装置は、個別識別装置により検出された識別情報をネットワークを介して受信し、予め登録してある登録識別情報を検索して照合処理を行い、結果を移動物体追跡装置に送信する。移動物体追跡装置は、対象物体が個体識別装置において識別されて識別情報が出力された時点で、その識別情報とその物体の移動物体追跡装置における監視対象領域地図上の座標情報を対応付け、移動物体追跡装置の追跡情報に個体識別装置の識別情報を結合させるとともに、照合装置から照合結果が送られてきた時点で、その情報をも結合させる。
【００１１】
本発明の広域監視装置は、上記構成により、対象物体の個体識別情報とその物体の監視対象領域地図上の座標情報を対応付けることによって監視領域内に存在する対象物体を識別し、識別完了後は対象物体が監視領域内を移動しても対象物体を識別したまま追跡することが可能である。また個体識別装置において対象物体が正常識別されずに識別情報が発せられなかった場合は、その識別不可情報とその物体の監視対象領域地図上の座標情報を対応付け、移動物体を不審物体として識別し追跡することも可能である。また不審物体を追跡し、予め設定してあった監視対象領域地図上の警報領域内に侵入した時点で警報信号を発生することも可能である。更には、照合装置において予め登録してある登録識別情報を検索して識別情報を照合し、その結果を監視対象領域地図上の座標情報に対応付けることにより、正規に登録されていることの確認もしくは手配物体を検出し追跡することも可能である。
【００１２】
【発明の実施の形態】
本発明の請求項１に記載の発明は、監視対象領域の画像情報から移動物体の位置と色、輝度、形状を含む特徴量とを検出し、前記移動物体の位置を、前記監視対象領域を示す監視対象領域地図の座標に変換し、前記移動物体の座標と前記特徴量とを出力する移動物体認識装置と、予め定められた領域に設置され、前記移動物体が有する識別情報を検出する個体識別装置と、前記個体識別装置で検出された移動物体の識別情報を、予め登録してある登録識別情報を検索し、前記識別情報と前記登録識別情報とが一致するかを照合し、照合結果を出力する照合装置と、前記移動物体認識装置からの移動物体の座標と特徴量の情報、前記個体識別装置からの識別情報及び前記照合装置からの照合結果を結合し、前記移動物体を前記監視対象領域地図上で追跡する移動物体追跡装置とを有する広域監視装置とするものであり、対象物体の個体識別情報とその物体の監視対象領域地図上の座標情報を対応付けることによって監視領域内に存在する対象物体を識別し、識別完了後は対象物体が監視領域内を移動しても対象物体を識別したまま追跡することが可能である。
【００１３】
本発明の請求項２に記載の発明は、前記移動物体認識装置が、監視対象領域の画像情報を入力する画像入力部と、前記画像情報から移動物体の位置及び特徴量を検出し、前記移動物体の位置を、前記監視対象領域を示す監視対象領域地図の座標に変換し、前記移動物体の座標と前記特徴量とを出力する移動物体認識部と、前記移動物体の座標と特徴量の情報をネットワークに送出するインタフェース部とを含み、前記個体識別装置が、前記移動物体が有する識別情報を検出する個体識別部と、前記移動物体の識別情報を出力するインタフェース部とを含み、照合装置が、前記移動物体の識別情報と登録識別情報とを照合して照合結果を出力する照合部と、前記照合結果を送信するインタフェース部とを含み、前記移動物体追跡装置が、ネットワークを介して前記移動物体の座標と特徴量の情報、前記識別情報及び前記照合結果を受信するインタフェース部と、前記移動物体の座標と特徴量の情報を統合して、前記監視対象領域地図上で前記移動物体を追跡する移動物体追跡部と、前記移動物体の識別情報と前記移動物体追跡部における移動物体の監視対象領域地図上の座標情報とを対応付け、さらに前記照合結果と結合させて、正常物体と不審物体とで表示部における表示色を変更させる識別情報結合部と、前記識別情報結合部の処理結果を前記監視対象領域地図上に表示する表示部とを含む請求項１記載の広域監視装置とするものであり、対象物体の個体識別情報とその物体の監視対象領域地図上の座標情報を対応付けることによって監視領域内に存在する対象物体を識別し、識別完了後は対象物体が監視領域内を移動しても対象物体を識別したまま追跡することが可能である。
【００１４】
本発明の請求項３に記載の発明は、移動物体認識装置を複数備え、各画像入力部は、比較的広い監視対象領域を俯瞰撮像するように設置されている請求項２記載の広域監視装置とするものであり、広い監視領域を隈なく撮影することができる。
【００１５】
本発明の請求項４に記載の発明は、移動物体認識装置の各画像入力部の撮像範囲が、他の画像入力部の撮像範囲と重複するか、重複しないかが事前に設定されている請求項３記載の広域監視装置とするものであり、移動物体の位置情報を的確に伝えることができる。
【００１８】
本発明の請求項５に記載の発明は、移動物体追跡装置が、同一方向に移動している複数の移動物体の特徴量から作成した特徴量列を用いて前記複数の移動物体を識別した後、前記複数の移動物体内の個々の移動物体を、前記個々の移動物体の特徴量を用いて識別する請求項１ないし４のいずれかに記載の広域監視装置とするものであり、個々の移動物体の識別が困難な場合に対応することができる。
【００１９】
本発明の請求項６に記載の発明は、移動物体追跡装置が、識別情報と前記識別情報が示す移動物体の監視対象領域地図上の座標情報とを対応付けて前記移動物体を識別済物体として識別し、前記識別情報が対応付けされない前記移動物体を認識不可物体として識別する請求項１ないし５のいずれかに記載の広域監視装置とするものであり、正常に識別できない場合に、それを認識不可物体と認定することができる。
【００２１】
本発明の請求項７に記載の発明は、移動物体追跡装置が、不審物体又は認識不可物体が予め設定してあった監視対象領域地図上の警報領域内に侵入した時点で警報信号を発生する侵入監視機能を更に含む請求項６記載の広域監視装置とするものであり、金庫、兵器庫等の監視を確実に行なうことができる。
【００２４】
本発明の請求項８に記載の発明は、個体識別装置が、移動物体に付帯された無線媒体である無線通信識別札から出力される識別情報を受信する無線通信装置によって移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置とするものであり、個体を非接触に識別することができる。
【００２５】
本発明の請求項９に記載の発明は、個体識別装置が、移動物体に付帯された文字表示媒体である識別札を画像入力手段及び文字認識手段を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置とするものであり、自動車のナンバープレート等を識別することができる。
【００２６】
本発明の請求項１０に記載の発明は、個体識別装置が、移動物体に付帯された磁気カードから識別情報を読み取る磁気カード読取装置を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置とするものであり、人物の識別を確実に行なうことができる。
【００２７】
本発明の請求項１１に記載の発明は、個体識別装置が、人物を移動物体とし、人物の指紋画像を認識して人物を識別する人物識別手段を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置とするものであり、人物の識別を確実に行なうことができる。
【００２８】
本発明の請求項１２に記載の発明は、個体識別装置が、人物を移動物体とし、人物の眼底網膜像を認識して人物を識別する人物識別手段を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置とするものであり、人物の識別を確実に行なうことができる。
【００２９】
本発明の請求項１３に記載の発明は、移動物体認識装置が、可視光撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯は前記可視光撮像装置を画像入力部として用い、照射光が前記可視光撮像装置の撮像可能限界以下となった時点で、前記赤外光撮像装置を画像入力部として用いる請求項１ないし１２のいずれかに記載の広域監視装置とするものであり、夜間における対象物体の監視を確実に行なうことができる。
【００３０】
本発明の請求項１４に記載の発明は、移動物体認識装置が、可視光撮像装置、赤外光放射装置及び赤外光撮像装置を備え、太陽光照射時間帯は前記可視光撮像装置を画像入力部として用い、照射光が前記可視光撮像装置の撮像可能限界以下となった時点で、前記赤外光放射装置が赤外光を放射し、前記赤外光撮像装置を画像入力部として用いる請求項１３記載の広域監視装置とするものであり、夜間における対象物体の監視を確実に行なうことができる。
【００３１】
本発明の請求項１５に記載の発明は、移動物体認識装置が、可視光撮像装置及び超低照度撮像装置を備え、太陽光照射時間帯は前記可視光撮像装置を画像入力部として用い、照射光が前記可視光撮像装置の撮像可能限界以下となった時点で、前記超低照度撮像装置を画像入力部として用いる請求項１ないし１２のいずれかに記載の広域監視装置とするものであり、夜間における対象物体の監視を確実に行なうことができる。
【００３２】
（実施の形態１）
以下、本発明の実施の形態について説明する。図１は本発明の第１の実施の形態における広域監視装置の構成を示すものであり、ビルや工場の構内のような比較的広い領域を監視領域として設定し、その領域内に存在している人物や車両を追跡して監視を行うものである。
【００３３】
図１において、１１は移動物体認識装置であり、監視対象領域の画像情報を入力する画像入力部１１１と、画像入力部１１１の画像情報を処理して画像情報内における移動物体の位置及び特徴量を検出し、移動物体を認識する移動物体認識部１１２と、画像情報及び移動物体認識部１１２によって検出された情報をネットワーク１５に送出するインタフェース部１１３から構成される。移動物体認識装置１１は１台以上で構成できるものとする。１２は移動物体追跡装置であり、各々の移動物体認識装置１１において検出されネットワーク１５を介して送られてきた情報及び画像入力部１１１の画像情報を受信するインタフェース部１２１と、各々の移動物体認識装置１１において検出された情報を統合して、移動物体の監視対象領域地図上で移動物体を追跡する移動物体追跡部１２２と、対象物体が個体識別装置１３において識別され識別情報が出力された時点で、その識別情報とその物体の移動物体追跡部１２２における監視対象領域地図上の座標情報を対応付け、移動物体追跡部１２２の追跡情報に個体識別装置１３の情報を結合させる識別情報結合部１２３と、識別情報結合部１２３の処理結果の監視対象領域地図上の軌跡図等および受信した画像情報を表示する表示部１２４から構成される。１３は個体識別装置であり、対象物体が有する識別情報を検出することにより個体を識別する個体識別部１３１と、識別結果をネットワーク１５に送出するインタフェース部１３２から構成される。１４は照合装置であり、個別識別装置１３により検出された識別情報を受信するインタフェース部１４１と、識別情報を予め登録してある登録識別情報を検索して照合する照合部１４２とから構成される。移動物体認識装置１１、移動物体追跡装置１２、個体識別装置１３及び照合装置１４は、何れもネットワーク１５に接続されている。
【００３４】
次に、上記のように構成された広域監視装置の動作について説明する。複数の画像入力部１１１は、ビルや工場の構内のような比較的広い領域を監視対象領域として俯瞰撮像する。画像入力部１１１は、通常のＩＴＶカメラとして用いられる可視光撮像カメラ装置及び赤外光撮像カメラを併用し、可視光撮像カメラ、赤外光撮像カメラ、屋外照度計測器、赤外光放射装置及び映像信号切替器によって構成される。屋外照度計測器は、屋外の照度を計測し、照度が可視光撮像カメラの撮像限界以上の場合は、可視光撮像カメラを画像入力として用い、可視光撮像カメラの撮像可能限界を下回った時点で、赤外光撮像カメラを画像入力として用いる。画像入力の切替は、映像信号切替器によって行う。また屋外照度計測器は、赤外光撮像カメラを用いるときに赤外光放射装置を動作させ、赤外光を放射する。尚、赤外光放射装置は、赤外光撮像カメラが近赤外領域（波長８００ｎｍ〜１μｍ）を撮像する際にのみ用いることとし、更に長波長領域を撮像する場合（波長５〜１０μｍ）には用いない。また、若干の照度（０．０１〜０．００１ｌｘ）が保証される環境下においては、赤外光撮像カメラの代わりに超低照度カメラを用いても良い。この場合、赤外光放射装置は不要である。
【００３５】
画像入力部１１１によって得られた画像情報は、移動物体認識部１１２において処理される。移動物体認識部１１２は、フレーム間差分処理もしくは背景差分処理等の前処理及びその後ノイズ除去処理や領域整形処理を行って監視対象領域内に存在する人物や車両を対象物体領域として検出する。次に検出された領域内の画像情報を処理して対象物体の特徴量を検出する。特徴量としては、形状、色・輝度、テクスチャを用いる。更に、検出した領域の画像上の座標を画像入力部１１１の設置条件に基づいて監視対象領域地図上の座標に変換し、対象物体の位置情報とする。これらの情報はインタフェース部１１３からネットワーク１５を介して移動物体追跡装置１２へと送られる。
【００３６】
移動物体追跡装置１２は、複数の移動物体認識装置１１から送られてきた情報をインタフェース部１２１により受信し、移動物体追跡部１２２で統合する。統合処理の際は上記特徴量を用いるが、画像入力部１１１の撮像範囲において他の画像入力部１１１の撮像範囲と重複が無く離散的な場合は、更に同一方向に移動している複数の移動物体の特徴量列をそれら移動物体群の特徴量とし、この移動物体群を認識した後、移動物体群内の個々の移動物体を認識する方法や、速度を算出して移動物体の出現時間を予測して認識する方法も用いる。こうして監視対象領域内に存在する対象物体を監視対象領域地図上において追跡していく。
【００３７】
対象物体が、監視対象領域内の個体識別装置１３の設置してある設置地点へ移動すると、個体識別装置１３によって識別処理がなされ、識別情報が検出される。識別処理としては対象物体に無線通信識別札を付帯し、無線によって識別情報を通信する方法を用いる。ここで対象物体としては人物及び車両を想定している。但し、識別対象が人物の場合は人物が識別情報を記憶している磁気カードを所持し、これを磁気カード読取装置によって読み取る方法、人物の指紋照合を行い識別する方法、人物の眼底網膜照合を行い識別する方法等を用いても実現可能である。また対象物体が車両の場合は、車両に無線通信識別札を取り付けず、車両のナンバープレートの文字を認識して識別する方法等を用いても良い。
【００３８】
識別処理の一例を図２を参照して説明する。図２において、２１は人物及び車両に付帯されている無線通信識別札、２２は無線通信装置、２３は無線通信識別札２１と無線通信装置２２が通信可能な通信可能領域を示す。２４は監視領域である。無線通信識別札２１には人物及び車両を識別する識別情報が記憶されている。対象物体が通信可能領域２３に入ると通信可能となり、無線通信装置２２は無線通信識別札２１内の識別情報を読み出す。通信可能領域２３は、監視領域２４よりも狭くなるため、監視領域２４に入る人物及び車両は全て通信可能領域２３を通り、識別処理を行うことを義務付けておく。
【００３９】
図１にもどって、個体識別部１３１によって識別情報が検出されると、その識別結果がインタフェース部１３２からネットワーク１５を介して照合装置１４へと送られる。照合装置１４は、識別情報をインタフェース部１４１により受信し、照合部１４２で予め登録してある登録識別情報を検索して照合処理を行う。登録識別情報とは、監視対象であるビルや工場等の勤務者及び常連訪問者等の識別を目的として登録されている情報である。個体識別装置１３が対象物体の無線通信識別札２１から識別情報を正しく受信できると、移動物体追跡装置１２は、識別情報結合部１２３において、その識別情報を受信し、それと移動物体追跡部１２２における物体の監視対象領域地図上の座標情報を対応付け、移動物体追跡部１２２の追跡情報と個体識別装置１３の識別情報を結合させる。即ち、第１の実施の形態では、個体識別された状態で対象物体の監視対象領域地図上における追跡が可能である。また識別対象が無線通信識別札２１を所持していない、いわゆる不審物体の場合は識別情報が出力されず、この時点でこの移動物体を不審物体と判定することができる。また、不審物体が通信可能領域２３に入らず正しく識別処理を行えなかった場合においても、この移動物体を不審物体と判定することができる。処理結果は、表示部１２４において監視対象領域地図上の軌跡図等に表示される。
【００４０】
また、照合装置１４によって登録識別情報との検索が完了すると、その結果をインタフェース部１２１により受信し、識別情報結合部１２３において追跡情報及び識別情報と結合する。結合結果は表示部１２４の表示にも反映させ、例えば軌跡図における表示色を正常物体と不審物体とで変更することにより、表示部１２４を見れば不審物体の侵入が瞬時に確認できる。ここで不審物体の侵入を検出した時点または侵入後、予め定めた一定時間経過後、もしくは監視対象領域地図上に警報領域を設定し、不審物体が警報領域内へ侵入した時点で警報信号を発生させることも可能である。また不審物体の侵入に気付き、不審物体の画像を目視にて確認したい場合は、移動物体追跡装置１２を操作し、移動物体認識装置１１から画像情報を転送して表示部１２４に表示することも可能である。
【００４１】
以上のように、上記第１の実施の形態によれば、ビルや工場の構内のような比較的広い監視対象領域内において、人物や車両等の対象物体を識別して追跡することが可能であり、不審者や侵入者を自動的に監視する優れた自動監視システムを実現することができる。また、不審物体が検出された時点で、その画像情報をネットワークを使って転送し、表示することも可能であるため、観測者が必要に応じて詳細な状況を確認することが可能である。
【００４２】
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、自動車ナンバープレート認識を用いた自動検問システムにおいて、検出された手配車両を追跡し、経路等の追跡情報を即座に警察官に伝達し、迅速な捕捉のための検問態勢を取ることを目的とした監視システムであり、構成は図１に示した第１の実施の形態における構成とほぼ同じなので、ここでは第１の実施の形態と異なる部分についてのみ説明する。
【００４３】
移動物体認識装置１１及び個体識別装置１３は、道路上に設置される。個体識別装置１３は、自動車ナンバープレート認識装置１３Ａであり、その構成を図３に示す。図３において、３１は走行車両を検出する車両検出部、３２は車両を含むナンバープレート画像を撮像する画像入力部、３３は夜間走行車両においてもナンバープレート画像を画像入力部３２が撮像可能なように赤外光を照射する補助照明部、３４は画像入力部３２の画像情報を処理してナンバープレートの全ての文字を認識する認識部であり、これらによって個別識別装置１３の個体識別部１３１が構成される。３５は認識部３４の認識結果をネットワーク１５に送出するインタフェース部である。個体識別装置１３である自動車ナンバープレート認識装置１３Ａは、走行車両を車両検出部３１によって検知し、この検知信号をトリガーに画像入力部３２の画像情報を認識部３４に静止画像として取り込む。補助照明部３３がストロボ方式の場合は、検知信号をトリガーにストロボ発光も行う。認識部３４は、取り込んだ画像を処理して画像内からナンバープレートを検出し、その全ての文字を認識する。認識結果はインタフェース部３５からネットワーク１５を介して照合装置１４へと送られる。
【００４４】
移動物体認識装置１１及び個体識別装置１３の道路上設置の状況を図４を用いて説明する。図４において、４１は個体識別装置設置地点、４２〜４５はそれぞれ移動物体認識装置１１の画像入力部１１１による監視領域、４６は手配車両を捕捉する検問地点である。ここで監視領域４４は交差点を監視しているものとする。
【００４５】
画像入力部１１１は、図４に示すような個体識別装置設置地点４１から検問地点４６までの道路を監視対象領域として離散的に撮像する。画像入力部１１１は第１の実施の形態と同様に可視光撮像カメラ及び赤外光撮像カメラもしくは超低照度カメラを併用する。得られた画像情報は、移動物体認識部１１２において処理される。移動物体認識部１１２は、フレーム間差分処理もしくは背景差分処理等の前処理及びその後ノイズ除去処理や領域整形処理を行って、監視対象領域内に存在する車両を対象物体領域として検出する。次に検出された領域内の画像情報を処理して車両の特徴量を検出する。特徴量としては、形状、色・輝度、テクスチャを用いる。更に、検出した領域の画像上の座標を画像入力部１１１の設置条件に基づいて監視対象領域地図上の座標に変換し、車両の位置情報とする。これらの情報は、インタフェース部１１３からネットワーク１５を介して移動物体追跡装置１２へと送られる。
【００４６】
移動物体追跡装置１２は、複数の移動物体認識装置１１から送られてきた情報をインタフェース部１２１により受信し、移動物体追跡部１２２で統合する。統合処理の際は、上記特徴量以外に、同一方向に移動している複数の車両の特徴量列をそれら車両群の特徴量とし、この特徴量列情報から個々の車両を認識する方法や、車両の速度を算出して移動物体の出現時間を予測して認識する方法等も用いる。こうして監視対象領域内に存在する車両を監視対象領域地図上において追跡していく。
【００４７】
車両が監視領域４２を走行し、個体識別装置設置地点４１に到達すると、個体識別装置１３の個体識別部１３１（自動車ナンバープレート認識装置１３Ａの車両検出部３１から認識部３４まで）によって識別処理即ちナンバープレート認識処理がなされ、識別情報即ちナンバープレート認識情報が検出される。個体識別部１３１によって識別情報が検出されると、その識別結果がインタフェース部１３２からネットワーク１５を介して照合装置１４へと送られる。照合装置１４は識別情報をインタフェース部１４１により受信し、照合部１４２で予め登録してある登録識別情報を検索して照合する。登録識別情報とは、盗難等により手配車両として届け出がなされ登録された車両のナンバープレート情報である。
【００４８】
個体識別装置１３が車両の識別情報を正しく検出できると、移動物体追跡装置１２は、識別情報結合部１２３においてその識別情報を受信し、それと移動物体追跡部１２２における車両の監視対象領域地図上の座標情報を対応付け、移動物体追跡部１２２の追跡情報と個体識別装置１３の識別情報を結合させる。即ち、第２の実施の形態では、個体識別された状態で車両を監視対象領域地図上において識別済車両として追跡することが可能である。またナンバープレートが認識できず識別情報として検出できなかった場合は、識別不可車両と判定し追跡する。追跡処理結果は表示部１２４において監視対象領域地図上の軌跡図等に表示される。
【００４９】
照合装置１４によって登録識別情報との検索が完了すると、その結果をインタフェース部１２１により受信し、識別情報結合部１２３において追跡情報及び識別情報と結合する。結合結果は表示部１２４の表示にも反映させ、例えば軌跡図における表示色を通常の車両と手配車両とで変更することにより、表示部１２４を見れば手配車両の検出が瞬時に確認できる。ここで手配車両を検出した時点もしくは図４の監視領域４４における交差点で手配車両が右折または左折により経路変更をした場合、更には手配車両が監視領域４３で観測された後、予測された出現時間を過ぎても監視領域４４において観測されない場合等の異常事態が生じた際に警報信号を発生させることも可能である。また手配車両の検出に気付き、手配車両の画像を目視にて確認したい場合は、移動物体追跡装置１２を操作し、移動物体認識装置１１から画像情報を転送して表示部１２４に表示することも可能である。
【００５０】
以上のように、上記第２の実施の形態によれば、自動車ナンバープレート認識を用いた自動検問システムにおいて、検出された手配車両を追跡し、経路等の追跡情報を即座に警察官に伝達することが可能であり、手配車両を迅速に捕捉する優れた自動検問システムを実現することができる。また、手配車両が検出された時点でその画像情報をネットワークを使って転送し、表示することも可能であるため、警察官が必要に応じて詳細な状況を確認することも可能である。
【００５１】
【発明の効果】
以上のように、本発明は、移動物体認識技術、追跡技術及び個体識別技術を融合することによって、広い監視対象領域内において、人物や車両等の対象物体を識別して追跡することが可能であり、不審者や侵入者、或いは手配車両を自動的に監視する優れた自動監視システムを実現することができる。また、不審物体検出時に警報信号を自動的に観測者に伝達することも可能である。更には、不審物体が検出された時点でその画像情報をネットワークを使って転送し、表示することも可能であるため、観測者が必要に応じて詳細な状況を確認することができ、優れた広域監視装置を実現できるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における広域監視装置のブロック図
【図２】本発明の第１の実施の形態における無線通信装置による監視を行なう場合の模式図
【図３】本発明の第２の実施の形態における自動者ナンバープレート認識装置のブロック図
【図４】本発明の第２の実施の形態における監視領域設定例を示す模式図
【図５】従来例における広域監視装置のブロック図
【符号の説明】
１１ 移動物体認識装置
１２ 移動物体追跡装置
１３ 個体識別装置
１４ 照合装置
１５ ネットワーク
２１ 無線通信識別札
２２ 無線通信装置
２３ 通信可能領域
２４ 監視領域
３１ 車両検出部
３２ 画像入力部
３３ 補助照明部
３４ 認識部
３５ インタフェース部
３６ ネットワーク
４１ 個体識別装置設置地点
４２〜４５ 監視領域
４６ 検問地点
５１ 移動物体認識装置
５２ 移動物体追跡装置
５３ ネットワーク
１１１ 画像入力部
１１２ 移動物体識別部
１１３ インタフェース部
１２１ インタフェース部
１２２ 移動物体追跡部
１２３ 識別情報結合部
１２４ 表示部
１３１ 個体識別部
１３２ インタフェース部
１４１ インタフェース部
１４２ 照合部
５１１ 画像入力部
５１２ 移動物体識別部
５１３ インタフェース部
５２１ インタフェース部
５２２ 移動物体追跡部

Claims (15)

1. 監視対象領域の画像情報から移動物体の位置と色、輝度、形状を含む特徴量とを検出し、前記移動物体の位置を、前記監視対象領域を示す監視対象領域地図の座標に変換し、前記移動物体の座標と前記特徴量とを出力する移動物体認識装置と、予め定められた領域に設置され、前記移動物体が有する識別情報を検出する個体識別装置と、前記個体識別装置で検出された移動物体の識別情報を、予め登録してある登録識別情報を検索し、前記識別情報と前記登録識別情報とが一致するかを照合し、照合結果を出力する照合装置と、前記移動物体認識装置からの移動物体の座標と特徴量の情報、前記個体識別装置からの識別情報及び前記照合装置からの照合結果を結合し、前記移動物体を前記監視対象領域地図上で追跡する移動物体追跡装置とを有する広域監視装置。
2. 前記移動物体認識装置が、監視対象領域の画像情報を入力する画像入力部と、前記画像情報から移動物体の位置及び特徴量を検出し、前記移動物体の位置を、前記監視対象領域を示す監視対象領域地図の座標に変換し、前記移動物体の座標と前記特徴量とを出力する移動物体認識部と、前記移動物体の座標と特徴量の情報をネットワークに送出するインタフェース部とを含み、
   前記個体識別装置が、前記移動物体が有する識別情報を検出する個体識別部と、前記移動物体の識別情報を出力するインタフェース部とを含み、
   照合装置が、前記移動物体の識別情報と登録識別情報とを照合して照合結果を出力する照合部と、前記照合結果を送信するインタフェース部とを含み、
   前記移動物体追跡装置が、ネットワークを介して前記移動物体の座標と特徴量の情報、前記識別情報及び前記照合結果を受信するインタフェース部と、前記移動物体の座標と特徴量の情報を統合して、前記監視対象領域地図上で前記移動物体を追跡する移動物体追跡部と、前記移動物体の識別情報と前記移動物体追跡部における移動物体の監視対象領域地図上の座標情報とを対応付け、さらに前記照合結果と結合させて、正常物体と不審物体とで表示部における表示色を変更させる識別情報結合部と、前記識別情報結合部の処理結果を前記監視対象領域地図上に表示する表示部とを含む請求項１記載の広域監視装置。
3. 移動物体認識装置を複数備え、各画像入力部は、比較的広い監視対象領域を俯瞰撮像するように設置されている請求項２記載の広域監視装置。
4. 移動物体認識装置の各画像入力部の撮像範囲が、他の画像入力部の撮像範囲と重複するか、重複しないかが事前に設定されている請求項３記載の広域監視装置。
5. 移動物体追跡装置が、同一方向に移動している複数の移動物体の特徴量から作成した特徴量列を用いて前記複数の移動物体を識別した後、前記複数の移動物体内の個々の移動物体を、前記個々の移動物体の特徴量を用いて識別する請求項１ないし４のいずれかに記載の広域監視装置。
6. 移動物体追跡装置が、識別情報と前記識別情報が示す移動物体の監視対象領域地図上の座標情報とを対応付けて前記移動物体を識別済物体として識別し、前記識別情報が対応付けされない前記移動物体を認識不可物体として識別する請求項１ないし５のいずれかに記載の広域監視装置。
7. 移動物体追跡装置が、不審物体又は認識不可物体が予め設定してあった監視対象領域地図上の警報領域内に侵入した時点で警報信号を発生する侵入監視機能を更に含む請求項６記載の広域監視装置。
8. 個体識別装置が、移動物体に付帯された無線媒体である無線通信識別札から出力される識別情報を受信する無線通信装置によって移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置。
9. 個体識別装置が、移動物体に付帯された文字表示媒体である識別札を画像入力手段及び文字認識手段を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置。
10. 個体識別装置が、移動物体に付帯された磁気カードから識別情報を読み取る磁気カード読取装置を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置。
11. 個体識別装置が、人物を移動物体とし、人物の指紋画像を認識して人物を識別する人物識別手段を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置。
12. 個体識別装置が、人物を移動物体とし、人物の眼底網膜像を認識して人物を識別する人物識別手段を用いて識別情報を認識することで前記移動物体を識別する請求項１ないし７のいずれかに記載の広域監視装置。
13. 移動物体認識装置が、可視光撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯は前記可視光撮像装置を画像入力部として用い、照射光が前記可視光撮像装置の撮像可能限界以下となった時点で、前記赤外光撮像装置を画像入力部として用いる請求項１ないし１２のいずれかに記載の広域監視装置。
14. 移動物体認識装置が、可視光撮像装置、赤外光放射装置及び赤外光撮像装置を備え、太陽光照射時間帯は前記可視光撮像装置を画像入力部として用い、照射光が前記可視光撮像装置の撮像可能限界以下となった時点で、前記赤外光放射装置が赤外光を放射し、前記赤外光撮像装置を画像入力部として用いる請求項１３記載の広域監視装置。
15. 移動物体認識装置が、可視光撮像装置及び超低照度撮像装置を備え、太陽光照射時間帯は前記可視光撮像装置を画像入力部として用い、照射光が前記可視光撮像装置の撮像可能限界以下となった時点で、前記超低照度撮像装置を画像入力部として用いる請求項１ないし１２のいずれかに記載の広域監視装置。

Images