JP3924171B2

JP3924171B2 - 監視対象物を識別する監視装置

Info

Publication number: JP3924171B2
Application number: JP2002011282A
Authority: JP
Inventors: 秀夫清水; 文明福谷; 暁田口
Original assignee: Toenec Corp
Current assignee: Toenec Corp
Priority date: 2002-01-21
Filing date: 2002-01-21
Publication date: 2007-06-06
Anticipated expiration: 2022-01-21
Also published as: JP2003219399A

Description

【０００１】
【発明の属する技術分野】
本発明は監視装置、特に空港、原子力施設、自然動物公園等の管理区域への侵入者、侵入動物等を検知手段で検知すると共にカメラで撮影し、侵入に関する情報を提供する監視装置に関する。
【０００２】
【従来の技術】
従来から、空港、原子力施設、特殊建築・施設等の管理区域では、赤外線センサー、ワイヤー線等を用いた監視装置による監視が行われている。例えば、赤外線センサーを有するポール状本体が建物・施設の周囲の監視場所に複数本配置されており、これらはそれぞれ二本のポール状本体間において、所定高さ（例えば５０cm）毎にポール状本体に配置された赤外線センサーによって、赤外線の送受光が行われる。これによれば、この赤外線の送受光が一時的に途絶えた状態を検出することによって、侵入した人間、動物等の存在が検知される。
【０００３】
一方、監視カメラが例えば上記ポール状本体間の複数の監視エリアを含む広い領域を撮影するために上方に配置され、この監視カメラでは一定の速度でスキャンしながら所定監視エリアを順に撮影したり、重要箇所を撮影したりする。そして、上記柱状本体の赤外線センサーにて異常が検知されると、監視カメラを当該柱状本体間のエリアに自動的に移動させることになり、これによって異常エリアの撮影映像が管理室や管理センター等のモニタで監視できることになる。
【０００４】
また、本願出願人は、特開平７−１６０９５７号に示されるように、カメラをポール状本体内に配置し、赤外線センサーの検出だけでなく、カメラにて撮像された画像を解析することによって侵入者、侵入動物等の検知を行う複合型監視装置を提案している。即ち、この監視装置は、カメラで撮影された画像の動きや変化を検出して侵入状態を把握し、赤外センサーの検知情報との組合せによって異常状態の検出確率を向上させており、この異常状態の監視エリアがカメラにて撮影される。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の監視装置では、人間、動物等の侵入による異常状態が検出されても、この侵入した対象物が人間か動物か、また動物の中でも危険な動物か危険でない動物かの判別を自動的に行うことができなかった。即ち、従来では、警報により異常状態を知らされた監視員、警備員が監視センター等に送られたカメラ映像を観察することによって、侵入物体の特定等が行われており、この侵入物体特定の作業には人手と時間がかかるという問題があった。
【０００６】
また、上記の赤外線センサーや画像比較解析による検知では、移動する物体さえ存在すれば、侵入異常状態であると判定することから、屋外の監視装置において、草木の枝、落ち葉、雑草等が飛んで来た場合、大雪、大雨等が降った場合（これらは自然環境に起因するもの）、犬、猫、鳥等の動物類が侵入した場合にも侵入異常状態となり、これによって誤検出、誤報が発生するという問題があった。これは、従来の赤外線センサーの配置等が主に人間の胴体幅や高さを考慮した検知システムとなっていることにも起因するが、このような自然環境や動物類による誤検出、誤報は、監視装置の信頼性、監視作業効率を低下させる。
【０００７】
更に、近年では、熊や猿等の危険な動物が山から下りて各種施設内に侵入することも多くなっており、危険な動物の侵入等の監視が必要になっており、また自然動物公園等の管理区域内へ入出する各種動物を監視すること等の要請があり、施設或いは管理区域内へ入出した動物の種類、その数等の特定を自動的に行うことができれば便利である。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、その目的は、侵入物体が人間であるか動物であるかの判定、動物であればその種類等の特定が自動的かつ迅速に行うことが可能となり、また自然環境や動物類に起因する誤報をなくすことができる監視装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、監視対象物の存在を検知する検知手段と、監視領域を撮影するためのカメラとを有する監視装置において、上記カメラで撮影された背景画像を上記検知手段により所定の検知状態が出力されたときの画像から差し引いて差分画像を形成し、この差分画像を膨張させた状態でそのノイズ成分を除去することにより、検知対象物画像を抽出する対象物画像抽出回路と、この対象物画像抽出回路で得られた対象物画像の輪郭画像を形成する輪郭画像形成回路と、この輪郭画像形成回路から出力された輪郭画像と予め準備された各種対象物のモデル輪郭画像とを比較すると共に、頭部の形状に特徴を有する場合はその頭部輪郭画像と頭部モデル輪郭画像とを比較し、監視対象物の識別を行う対象物識別回路と、を含むことを特徴とする。
【００１０】
請求項２の発明は、上記検知手段による検知時の時間差のある二つの画像を比較して監視対象物の移動方向を判定する判定回路を設け、対象物の監視領域からの入出数を検出出力することを特徴とする。
請求項３の発明は、上記対象物画像抽出回路で抽出され識別された対象物の画像を、所定の大きさに電子的に拡大又は縮小する画像拡大縮小回路を設けたことを特徴とする。
【００１１】
上記の構成によれば、検知手段として、赤外線センサーやその他のセンサー或いは撮影画像の比較解析回路が用いられ、これらによって侵入（異常）状態が検知される。この侵入検知情報は対象物画像抽出回路へ供給される。一方、カメラで撮影された監視領域の背景画像が例えば２値化画像としてメモリに記憶されており、上記の侵入状態が検知されたときには、現在カメラで撮影されている画像（２値化画像）と上記の背景画像が比較され、これらの差分画像が抽出される。この差分画像については、例えば画像の膨張、収縮処理に基づいたノイズ成分の除去が行われ、このノイズが除去された差分画像から対象物画像が抽出される。
【００１２】
次に、この対象物画像は所定の大きさとされた状態で、その輪郭のみの画像に変換されることになり、この輪郭画像が複数枚のモデル輪郭画像（人間、熊、猿、鳥等の姿勢、態様を表したもの）と比較され、対象物画像と一致するモデル画像の検索・判定が行われる。この結果、対象物画像が人間であるか、如何なる動物であるか、人間及び動物以外であるか、そして監視対象物か、それ以外のものかが識別される。そして、例えば対象物画像が監視対象物であれば警報、それ以外であれば注意報等として出力され、またその対象物画像は観察し易い所定の大きさに拡大、縮小された状態でモニタ等に表示される。
【００１３】
【発明の実施の形態】
図１乃至図３には、実施形態例に係る監視装置の構成が示されており、この監視装置では例えば図３に示されるように、複数のポール状ユニット１０Ａ，１０Ｂ…が所定距離Ｄ（最大で１００ｍ程度）だけ離されて敷設される。このユニット１０Ａ，１０Ｂのそれぞれには、上下部分の２ヵ所に赤外線の送光部１１，１２及び受光部１３，１４が外側向きに配置され、これらにより２組の赤外線センサーが構成される。また、監視カメラとして昼夜を問わず常時の監視ができる２個の近赤外線カメラ（例えば固定焦点レンズを有する）１５，１６が配置され、このユニットを制御すると共に、警報、注意報等の処理を行うコントロール回路１７が設けられる。従って、この距離Ｄのエリアは、上下部分の２個の赤外線センサーと２個の近赤外線カメラ１５，１６によって監視されることになる。なお、夜間は近赤外線カメラ１５，１６による撮影が良好に行えるように赤外灯照明が用いられる。
【００１４】
図２には、上記図３のポール状ユニット１０Ａ，１０Ｂ内の回路構成が示されており、この図は１組の赤外線センサーと近赤外線カメラ１６について記載している。図２において、送光部１１は送光信号発生回路２０と赤外ＬＥＤ（発光ダイオード）２１からなり、この送光信号発生回路２０ではパルスコード化された送光信号が形成され、この送光信号に基づいて赤外ＬＥＤ２１から赤外線パルスが出力される。また、受光部１３は受光素子（フォトダイオード）２２、増幅回路２３、波形整形回路２４、信号認識回路２５からなり、受光素子２２で受光された赤外線は増幅された後に波形整形され、送信された信号であるか否かが信号認識回路２５によって判定される。
【００１５】
一方、コントロール回路１７は、近赤外線カメラ１６からビデオ信号を入力する画像処理回路２７、画像データ比較回路２８を有しており、この画像処理回路２７では増幅されたビデオ信号をメモリに記憶し、時間差のある画像同士を比較することにより、画像間の変化が検出される。即ち、画像間の変化、動きの検出によって侵入者等の存在を検知している。
【００１６】
そして、上記画像データ比較回路２８の後段には、判定処理回路３０が設けられ、この判定処理回路３０では上記信号認識回路２５の出力と画像データ比較回路２８の出力から侵入（異常）状態であるか否かが判定される。例えば、信号認識回路２５は送信された赤外光パルスを認識できないとき、Highレベルの信号を出力し、画像データ比較回路２８でも画像変化を検出したとき、Highレベルの信号を出力するので、判定処理回路３０は両出力がHighレベルのとき侵入状態であると判定する。この判定処理回路３０の後段には、音声出力回路３１を介して警報、注意報等を発するスピーカ３２が接続され、また判定回路３０の出力は外部出力回路３３を介してセンターへ供給される。従って、検知された侵入状態を示す信号はこの外部出力回路３３からセンターへ供給される。なお、赤外線センサーの検知、画像比較解析の検知のそれぞれの結果もセンターへ供給される。
【００１７】
更に、上記画像処理回路２７の後段に、クランプされたアナログビデオ信号を入力する輝度変調回路３４が接続され、この輝度変調回路３４から出力されたビデオ信号はバッファアンプ３５を介して上記ＩＯカード（入出力回路）３３へ供給される。従って、近赤外線カメラ１６で撮影された映像は、輝度調整された後にＩＯカード３３を介してセンターのモニタへ供給されており、異常発生時にはセンターのモニタに自動的に映し出される。
【００１８】
図１には、センターに配置されるセンター側装置３８の内部回路が示されており、このセンター側装置３８には、上記コントロール回路１７から出力されるビデオ信号を入力して監視領域の画像を取り込むためのキャプチャボード４０、上記コントロール回路１７から出力される侵入状態の情報を入力し、かつ当該装置３８で得られた各種情報、ビデオ信号を出力するＩＯカード４１が設けられる。上記キャプチャボード４０の後段には、取り込まれたカメラ画像を記憶する画像メモリ４２、画像を２値化画像に変換する２値化回路４３、背景画像を記憶する背景画像メモリ４４、侵入状態時の画像と背景画像の差分を演算する背景差分演算回路４５、この演算回路４５から出力された画像のノイズ成分を除去するノイズ除去回路４６、対象物画像を抽出する対象物抽出回路４７が設けられ、またセンター側装置３８内の回路における各種処理を統括制御する制御回路（ＣＰＵ）４８が配置される。
【００１９】
即ち、上記キャプチャボード４０では、上記制御回路４８の制御によって、所定（数秒単位）のタイミングで背景画像が取り込まれると共に、上記侵入判定時の画像が取り込まれるが、これらの画像は、白（０）か黒（１）の２値化画像に変換され、背景画像は背景画像メモリ４４へ記憶、更新される。上記背景差分演算回路４５では、侵入状態の画像データから背景画像データを差し引いて差分画像を形成し、上記ノイズ除去回路４６では、画像を膨張（拡大）させた状態、収縮（縮小）させた状態、又はその両方で所定レベル以下のノイズ信号をカットし、上記対象物抽出回路４７では、画面の左上から順につながりのある部分（一つの物体として捉えられる部分）で一定面積以下の画像を除去し、残った画像部分を対象物画像として抽出（ラベリング）する。そして、この対象物画像は、後述するテンプレートと比較し易い所定の大きさにして出力される。
【００２０】
上記対象画像抽出回路４７の後段には、輪郭画像形成回路５０、画像識別回路５１、人間、熊、猿、犬、猫、鳥等の複数の姿勢、態様を表現したモデル輪郭画像（テンプレート）を記憶するテンプレートメモリ５２が設けられている。上記輪郭画像形成回路５０では、抽出された対象物画像の輪郭のみを取り出して輪郭画像を形成し、上記画像識別回路５１では、対象物輪郭画像と多数枚のテンプレートを比較し、一致するテンプレートを検索することにより対象物画像の種別を識別、判定する。即ち、対象物輪郭画像の縦横の比率でテンプレートを検索して全く同じ比率から順に異なる比率のテンプレートを順次選択し、このテンプレートの画像を拡大、縮小しながら対象物輪郭画像と照合することによって対象物を識別する。
【００２１】
また、当該例では、対象物の移動方向及び入出状況を判定する移動方向／入出状況判定回路５３、対象物画像を予め設定した所定の大きさ（任意に設定できる）まで拡大・縮小する画像拡大縮小回路５４が設けられ、また識別情報、移動方向／入出状況、拡大・縮小画像の出力を行う出力処理回路５５及びメモリ部５６が設けられる。上記移動方向／入出状況判定回路５３では、例えばノイズ除去回路４６から出力された時間差のある二つの画像（ノイズ除去回路４６の前段の他の回路から出力された二つの画像でもよい）を比較し、対象物画像の移動方向から監視エリアに入ったのか出たのか、その入出の数を判定する。
【００２２】
上記画像拡大縮小回路５４では、対象物抽出回路４７から出力された対象物画像に基づいて、モニタ表示のために予め設定された大きさとなる倍率（拡大率又は縮小率）を求め、この倍率によって上記画像メモリ４２に格納された画像を拡大又は縮小することにより、対象物画像をモニタに表示する。そして、この画像は出力処理回路５５を介してメモリ部５６に格納される。
更に、このセンター側装置３８には、音声出力回路５８が設けられ、この音声出力回路５８にセンターにおいて警報、注意報等を発するスピーカ３２が接続される。
【００２３】
当該例は以上の構成からなり、その作用を図４乃至図７を参照しながら説明する。この監視装置は、図２で説明したように、送光部１１及び受光部１３を用いた赤外線センサーによる検出と、近赤外線カメラ１６で得られた画像の比較解析の両者が行われ、判定回路３０で侵入状態が判定された場合には、この侵入状態の情報がセンター側装置３８のＩＯカード４１を介して制御回路４８へ供給される。なお、この制御回路４８には上記の赤外線センサーと画像比較解析のそれぞれの侵入状態の検出信号も供給される。
【００２４】
上記の近赤外線カメラ１６で撮影された映像は、常時センターへ供給され、モニタへ表示可能な状態にされると共に、この映像は上記センター側装置３８のキャプチャボード４０へも入力されており、このキャプチャボード４０では、所定時間毎（数秒単位）に監視領域の映像が取り込まれ、画像メモリ４２に一旦格納される。そして、この画像は２値化回路４３を介して２値化画像とされ、これが背景画像としてメモリ４４に格納され、この背景画像は新しいものに順次更新される（図４のステップ１０１）。一方、制御回路４８によって侵入状態の信号が受信（図４のステップ１０２）されると、侵入判定時の画像がキャプチャボード４０を介して画像メモリ４２に蓄えられ、２値化された後に背景差分演算回路４５、ノイズ除去回路４６、対象物抽出回路４７へ供給される。
【００２５】
この背景差分演算回路４５では、侵入判定時の画像とメモリ４４から読み出した背景画像との間で差分演算が行われ（図４のステップ１０３）、ノイズ除去回路４６では、この差分画像のノイズが膨張、収縮処理により除去される。即ち、上記差分画像は例えば膨張（又は収縮）させた状態で所定レベル以下のノイズ信号がカットされ、元の大きさに収縮（又は膨張）されることになり、これによって大きさの異なる対象物であっても、対象物以外がノイズとして良好に除去される。そして、対象物抽出回路４７では、つながりのある画像の中で一定面積以下のものが除去され、残った一つ（又は複数）の画像が対象物画像として抽出され、ここで対象物画像が所定の大きさ、即ちテンプレートと比較できる大きさに拡大、縮小される（図４のステップ１０４）。なお、人間においては服装の模様等で複数の画像に分離することがあるので、複数の画像が近接している場合は、一つの対象物として取り扱う等の処理も行われる。
【００２６】
この対象物画像は、輪郭画像形成回路５０を介して輪郭のみの画像に変換された後、画像識別回路５１へ供給されており、この画像識別回路５１では、対象物の輪郭画像とメモリ５２から読み出した多数枚のテンプレート（輪郭画像）とが比較され（図４のステップ１０５）、対象物画像と一致するテンプレートを検索することによって対象物画像の識別判定が行われる（図４のステップ１０６）。
【００２７】
図５及び図６には、上述した識別処理、動作が具体的画像で示されており、これらの各図において、図（Ａ）の背景画と図（Ｂ）の侵入判定時の現画の差分がとられると、図（Ｃ）の差分画像が得られ、この差分画像のノイズＮは、図（Ｄ）のように除去される。そして、図（Ｅ）に示される輪郭画像は、図（Ｆ）に示されるテンプレートと比較されることになり、図５の場合は、図５（Ｆ）のＴ_３のテンプレートと一致するので、人間であると識別され、図６の場合は、図６（Ｆ）のＴ_１０２のテンプレートと一致するので、熊であると識別される。このような輪郭画像とテンプレートの識別動作は、画像の位置合わせをすることなく、約１秒以内の短時間で行われる。
【００２８】
この画像識別回路５１の識別結果は、出力処理回路５５へ供給され、メモリ部５６へ記憶されると共に、センターのモニタへ人間、熊等のキャラクタが具体的に表示される。また、この出力処理回路５５では、識別された侵入物が監視対象物（人間や、危険動物としての熊、猿等）である場合は警報信号、監視対象物以外（犬、猫、鳥、枝等）である場合は注意報信号を音声出力回路５８へ供給しており、これによってスピーカ５９から警報又は注意報が発せられる。更に、上記出力処理回路５５から、上記の警報信号又は注意報信号がＩＯカード４１，３３を介してポール状ユニット（１０）の判定処理回路３０へ供給されており、ユニット側でも、この判定処理回路３０及び音声出力回路３１を介してスピーカ３２から警報又は注意報が発せられる。
【００２９】
従って、赤外センサー、画像比較解析によって侵入状態が検出された場合でも、監視対象以外の侵入物体である場合は、注意報となり、目的とする対象物の監視が正確に行われる。なお、監視対象以外の場合において、動物と木の葉、枝、雪等の自然物とを分け、自然環境に起因する場合については、警報、注意報の何れも発報しないようにしてもよい。
【００３０】
また、当該例では、上記移動方向／入出状況判定回路５３では、上述したように、時間差のある２枚の画像同士を比較することにより、対象物画像の移動方向と監視エリアへの入出数が判定されており、この入出数もメモリ部５６に記憶されると共に、モニタへ表示される。
【００３１】
更に、上記画像拡大縮小回路５４では、対象物抽出回路４７の出力に基づいて画像メモリ４２の画像が予め設定された大きさに拡大（又は縮小）され、この画像がモニタへ表示されるので、侵入物の観察、確認が容易となる。また、対象物の入出数や画像はメモリ部５６に記憶されているので、後に取り出してモニタ表示することができ、監視対象の後の観察、分析等も良好に行われる。なお、この場合の対象物画像は上記画像拡大縮小回路５４を制御することにより自由に拡大又は縮小して表示することもできる。
【００３２】
上記実施例における侵入判定時の画像とテンプレートの一致・検索では、人間、動物の全体の形態を比較したが、動物等で頭部の形状に特徴を有する場合は、この頭部を抽出して頭部テンプレートと比較することにより、対象物画像の識別を行うようにしてもよい。
また、当該例では、監視カメラとして近赤外線カメラを用いたが、通常のカメラを用いると共に、上記の赤外線投光部とは別に赤色光等を出力する投光部を設け、この赤色光スポットの変化を通常のカメラで解析して異常状態を検知することもできる。
【００３３】
更に、当該例では、赤外線センサーの検知と画像比較解析の両方で侵入物体の存在が判定されたときに、画像識別動作を行うようにしたが、赤外線センサーの検知又は画像比較解析のいずれか一方で侵入物体の存在が判定されたときに、図１で説明した画像識別動作を実行するようにしてもよい。
また、上述したセンター側装置３８をセンター側に配置せず、ポール状ユニット１０側に組み込み、図１と図２の構成を一体化することもできる。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、カメラで撮影された背景画像を上記検知手段により所定の検知状態が出力されたときの画像から差し引いて差分画像を形成し、この差分画像を膨張させた状態でそのノイズ成分を除去することにより、検知対象物を抽出し、この対象物画像の輪郭画像を形成し、この輪郭画像と予め準備された各種対象物のモデル輪郭画像を比較・検索し、かつ頭部の形状に特徴を有する場合はその頭部輪郭画像と頭部モデル輪郭画像を比較することにより、監視対象物の識別を行うようにしたので、侵入物体が人間であるか動物であるかの判定、動物であればその種類の特定、人間や動物以外であることの判定が自動的かつ短時間に行われ、侵入物体の種類に応じた警報、注意報等を出力することができ、自然環境や動物類の侵入による誤報も低減することが可能となる。
【００３５】
また、検知時の画像と背景画像の差分画像を膨張させた状態でそのノイズ成分を除去するので、最小値フィルタやメディアンフィルタを使用することなく、対象物画像を良好に抽出することができる。
請求項２の発明によれば、時間差のある二つの画像の比較により監視対象物の移動方向を判定し、この対象物の入出数を検出するようにしたので、侵入者、侵入動物の監視、管理を従来よりも正確に行うことができる。
請求項３の発明によれば、識別された監視対象物の画像を拡大又は縮小する画像拡大縮小回路を設けたので、侵入者、侵入動物を見やすい大きさでモニタに表示して把握、観察することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態例に係る監視装置のセンター側装置の回路構成を示すブロック図である。
【図２】実施形態例の監視装置のポール状ユニットの回路構成を示すブロック図である。
【図３】図２のポール状ユニットの配置及びその内部構成の配置状態を示す図である。
【図４】実施形態例の監視対象物の識別に関する主要な動作を示すフローチャートである。
【図５】実施形態例の図１のセンター側装置で実行される画像処理を示し、対象物画像が人間であるときの図である。
【図６】実施形態例の図１のセンター側装置で実行される画像処理を示し、対象物画像が熊であるときの図である。
【符号の説明】
１０Ａ，１０Ｂ…ポール状ユニット、
１１，１２…送光部、１３，１４…受光部、
１５，１６…近赤外線カメラ、
１７…コントロール回路、
２８…画像データ比較回路、
３０…判定処理回路、３８…センター側装置、
４２…画像メモリ、４３…２値化回路、
４５…背景差分演算回路、４６…ノイズ除去回路、
４７…対象物抽出回路、４８…制御回路、
５０…輪郭画像形成回路、５１…画像識別回路、
５２…テンプレートメモリ、
５３…移動方向／入出状況判定回路、
５４…画像拡大縮小回路。

Claims

監視対象物の存在を検知する検知手段と、監視領域を撮影するためのカメラとを有する監視装置において、
上記カメラで撮影された背景画像を上記検知手段により所定の検知状態が出力されたときの画像から差し引いて差分画像を形成し、この差分画像を膨張させた状態でそのノイズ成分を除去することにより、検知対象物画像を抽出する対象物画像抽出回路と、
この対象物画像抽出回路で得られた対象物画像の輪郭画像を形成する輪郭画像形成回路と、
この輪郭画像形成回路から出力された輪郭画像と予め準備された各種対象物のモデル輪郭画像とを比較すると共に、頭部の形状に特徴を有する場合はその頭部輪郭画像と頭部モデル輪郭画像とを比較し、監視対象物の識別を行う対象物識別回路と、を含むことを特徴とする監視対象物を識別する監視装置。
上記検知手段による検知時の時間差のある二つの画像を比較して監視対象物の移動方向を判定する判定回路を設け、対象物の監視領域からの入出数を検出出力することを特徴とする請求項１記載の監視対象物を識別する監視装置。
上記対象物画像抽出回路で抽出され識別された対象物の画像を、所定の大きさに電子的に拡大又は縮小する画像拡大縮小回路を設けたことを特徴とする請求項１又は２記載の監視対象物を識別する監視装置。