JP4338294B2

JP4338294B2 - Image recognition method and apparatus and monitoring system

Info

Publication number: JP4338294B2
Application number: JP2000213438A
Authority: JP
Inventors: 泰之道本; 勝政恩田; 照男石田; 正治森下; 直樹山梨; 裕二鈴木
Original assignee: Panasonic Corp; Central Japan Railway Co; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Central Japan Railway Co; Panasonic Holdings Corp
Priority date: 2000-07-13
Filing date: 2000-07-13
Publication date: 2009-10-07
Anticipated expiration: 2020-07-13
Also published as: JP2002034027A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を処理して画像中の侵入者や侵入物体を精度良く検出する画像認識方法および装置とその装置を利用した監視システムに関する。
【０００２】
【従来の技術】
従来の画像認識方法および装置（例えば、特開平11-203567号公報）は、画像を処理して侵入物体の面積や速度、縦横寸法などを特徴量として算出し、各特徴量を一定期間中平均し、あらかじめ設定してあるパラメータによる判定条件が満たされた場合、発報対象の物体であると判断してブザー等発報手段により即座に発報を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の画像認識方法および装置では、例えば悪天候時や低照度時等、撮像装置から出力される画像の画質が低下して、特に遠方の侵入物体について十分な精度で特徴量が得られない場合において、本来発報対象外の物体であっても、特徴量が所定のパラメータによる判定条件を満たして発報することがある。このように誤って発報した後、物体が撮像装置に接近するなどして比較的精度良く特徴量が得られて、本来発報すべき物体ではなかったことが分かっても、先の発報を取り消すことができず、誤発報となってしまう。
【０００４】
本発明は、このような問題を解決するためになされたもので、誤って発報することが少ない画像認識方法および装置と、この装置を利用した監視システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の画像認識方法は、撮像手段により物体を撮像するステップと、前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出するステップと、前記検出の結果、前記撮像された物体が発報対象外の物体であると判断された場合、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに移行する移行ステップとを備え、前記移行ステップは、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この方法により、画像から発報対象外の物体を検出した場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【０００６】
また、本発明の画像認識方法は、複数の隣接する監視区域をそれぞれの画像認識装置により監視する監視システムにおいて、一の画像認識装置の撮像手段により物体を撮像するステップと、前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出するステップと、前記画像認識装置が監視する区域に隣接する別の区域を監視する画像認識装置から物体が発報対象外の物体であることを示す発報延期信号を受信するステップと、前記発報延期信号を受信した場合、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに移行する移行ステップとを備え、前記移行ステップは、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この方法により、別系統から発報対象外の物体を検出したことを示す発報延期信号を通知された場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【０００７】
また、本発明の画像認識方法は、前記撮像手段により物体を撮像して得られた画像から発報対象外の物体を検出した際に、前記撮像手段が監視する区域に隣接する別の区域を監視する別系統の画像認識装置へ発報延期信号を通知する延期信号出力ステップを備えることを特徴とするものである。この方法により、例えばパトロール車両のような発報対象外の物体が検出された場合、隣接区間を監視する画像認識装置に向けて発報延期信号を通知することにより、他の画像認識装置が誤発報するのを防止できることとなる。
【０００８】
また、本発明の画像認識装置は、物体を撮像する撮像手段に接続され、前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出する物体識別手段と、前記物体識別手段に接続され、当該物体識別手段の検出の結果、前記撮像された物体が発報対象外の物体であると判断された場合、非発報延期モードから、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに切り替える発報延期手段とを備え、前記発報延期手段は、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この構成により、画像から発報対象外の物体を検出した場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【０００９】
また、本発明の画像認識装置は、複数の隣接する監視区域をそれぞれ撮像手段と画像認識装置とにより監視する監視システムにおいて、一の画像認識装置に接続され物体を撮像する撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出する物体識別手段と、前記画像認識装置が監視する区域に隣接する別の区域を監視する画像認識装置に接続された撮像手段により物体を撮像して得られた画像から前記物体が発報対象外の物体であることを示す発報延期信号を受信した場合、非発報延期モードから、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに切り替える発報延期手段とを備え、前記発報延期手段は、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この構成により、別系統から発報対象外の物体を検出したことを示す発報延期信号を通知された場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【００１０】
また、本発明の画像認識装置は、前記撮像手段により物体を撮像して得られた画像から発報対象外の物体を検出した際に、前記撮像手段が監視する区域に隣接する別の区域を監視する別系統の画像認識装置へ通知する延期信号出力部を備えたことを特徴とするものである。この構成により、例えばパトロール車両のような発報対象外の物体が検出された場合、隣接区間を監視する画像認識装置に向けて発報延期信号を通知することにより、他の画像認識装置が誤発報するのを防止できることとなる。
【００１１】
また、本発明の画像認識装置は、前記発報対象物体の位置を画像上に図形として重畳して表示するとともに、発報を延期しているか否かにより図形の表示色を変化させる表示部を備えたことを特徴とするものである。この構成により、物体の位置を示す目的で画像中に矩形等図形を重畳して表示する際、発報の延期中と延期終了後つまり発報後とで図形の表示色を切り替えることにより、発報を延期していることを明示的に表示できることなる。
【００１２】
また、本発明の画像認識装置は、前記画像から発報対象外の物体を検出した際に物体の移動方向を予測し、これに応じて前記発報延期信号の通知先を選択する通知先選択部を備えたことを特徴とするものである。この構成により、通過物体の移動方向にある監視区域の画像認識装置にのみ発報延期信号を通知することにより、他の画像認識装置が誤発報するのを効率的に防止できることとなる。
【００１３】
また、本発明の監視システムは、複数の撮像装置と、前記複数の撮像装置のそれぞれに対応して接続され、各撮像装置により撮像された物体の画像を処理して発報対象の物体が画像中に存在する場合に発報を行う上記した複数台の画像認識装置と、各画像認識装置に接続され前記画像認識装置から出力された画像を遅延させる複数のフレームバッファーと、前記撮像装置の画像および画像認識装置の処理結果を表示する複数の画像表示装置と、前記撮像装置、画像認識装置、フレームバッファーおよび画像表示装置間で情報を送受信するための伝送手段とを備えたことを特徴とするものである。この構成により、ある画像認識装置が画像を処理して発報対象外の通過物体を検出した場合には、伝送手段を通じて別の画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１４】
また、本発明の監視システムは、複数の撮像装置と、前記複数の撮像装置のそれぞれに対応して接続され、各撮像装置により撮像された物体の画像を処理して発報対象の物体が画像中に存在する場合に発報を行う複数台の請求項４に記載の画像認識装置と、各画像認識装置に接続され前記画像認識装置から出力された画像を遅延させる複数のフレームバッファーと、発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器と、前記撮像装置の画像および画像認識装置の処理結果を表示する複数の画像表示装置と、前記撮像装置、画像認識装置、フレームバッファー、通過物体感知器および画像表示装置間で情報を送受信するための伝送手段とを備えたことを特徴とするものである。この構成により、通過物体感知器が発報対象外の物体を検出した場合に画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１５】
また、本発明の監視システムは、発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器が音声認識装置であることを特徴とするものである。この構成により、物体の通過音により発報対象外の物体を検出して画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１６】
また、本発明の監視システムは、発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器が磁気センサーであることを特徴とするものである。この構成により、通過に伴う磁気変動により発報対象外の物体を検出して画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図１〜図９を用いて説明する。
（実施の形態１）
図１は本発明の第１の実施の形態における画像認識装置の構成を示すものである。撮像装置１は、監視区域の画像を撮影して画像認識装置１２へ出力する。画像認識装置１２は、撮像装置１により得られた画像を処理して発報対象である侵入物体を検出した場合に発報を行う。画像認識装置１２において物体を誤認識することは稀ではあるが、気象条件や照度条件により撮像装置からの画像が劣化し、特徴量が正しく得られないこと等を要因として発報対象外の物体を発報対象と誤認識する場合もある。
【００１８】
撮像装置1から入力される映像信号は、画像入力部２においてA/D変換され、入力画像メモリ３に記憶される。物体抽出部４は、背景画像メモリ５に記憶されている物体の存在しない画像いわゆる背景画像と、入力画像メモリ３に記憶されている現在の入力画像とを比較して、変化の生じた領域を物体領域として抽出する。特徴量算出部６は、物体の特徴量として、面積比、移動量、移動速度、追跡期間等を算出する。物体識別部７は、特徴量算出部６で得られた特徴量を、あらかじめ設定してある閾値と比較して物体を識別し、その物体が発報すべき物体であれば発報を指示する。発報延期部８は、物体識別部７にて発報対象外の物体が検出された場合、その後に発報対象の物体が検出された場合はその発報を所定期間延期する。発報取り消部９は、発報延期期間中に物体識別部７にて発報対象外の物体が検出された場合、延期中の発報を取り消す。延期信号出力部１０は、物体識別部７にて発報対象外の物体を検出した場合、発報延期信号を別系統の画像認識装置に向けて通知する。表示部１１は、発報対象物の位置を枠等の図形により表示する際、発報延期中かまたは発報後かによって図形の色を切り替える。
【００１９】
次に、画像入力部２、物体抽出部４、特徴量算出部６、物体識別部７、発報延期部８、発報取り消部９、延期信号出力部１０、表示部１１の動作についてさらに詳細に説明する。
【００２０】
画像入力部２では、撮像装置１から出力された映像信号をA/D変換してディジタルの画像データとする。例えば画素サイズが水平方向（Ｘ）192画素、垂直方向（Ｙ）242画素の256階調モノクロ画像データを獲得する。なお、撮像装置１がディジタルの画像データを出力する場合は、A/D変換は行わないが、以降の処理にあわせて解像度変換等を行う。
【００２１】
物体抽出部４では、入力画像I（X,Y）と侵入物体が存在しない画像である背景画像B（X,Y）との間で輝度の差分絶対値S（X,Y）を下記式（１）により求め、移動物体により発生する画像上での輝度変化を検出する。
S（X,Y）＝｜ I（X, Y）− B(X, Y) ｜（１）
この輝度の差分絶対値に対して閾値処理を行い、閾値THbiを超える画素を1、閾値THbiを超えない画素を０とするなどして2値化し、画像中の輝度変化領域を抽出する。撮像装置１から出力される画像の画質が低下し、低コントラストになった場合等は、物体の領域が正しく抽出できない場合もある。
【００２２】
以上説明した物体抽出の手法は背景差分方式として知られている。次に、レベル１となった画素に対してラベリング処理を行い、隣接する画素が互いにレベル１である領域に固有のラベルを与える。ラベリング処理によって各ラベルの面積、重心位置を獲得する。なお、物体抽出部４において物体を抽出する際、背景差分方式以外にパターンマッチングやオプティカルフローにより物体の領域を抽出する方法を用いても良い。
【００２３】
特徴量算出部６では、物体を識別するための特徴量を算出する。ここでは特徴量として面積比Rと追跡期間TTとを用いる場合について説明する。まず、物体抽出部４にて抽出された物体の位置を時間的に関連付けして追跡する。１フレーム前の物体位置と現在の物体位置とが十分に近く、物体領域の面積や形状の変化量が所定範囲内である場合に追跡成立とする。同一物体の追跡中に物体抽出部４で抽出された物体の面積Sobと、基準面積Sstとを用いて下記式（２）により物体の大きさを示す面積比を処理周期毎算出する。基準面積とは、物体が抽出された同位置において平均的体格の人間が抽出された場合の画像上での面積値とする。基準面積は撮像装置の俯角や撮像素子の大きさ、レンズの焦点距離から算出することができる。平均的な体格の侵入者を抽出した場合、面積比は100％前後となる。
面積比Ｒ＝（Ｓob ／Ｓst）×１００［％］（２）
追跡期間TTは追跡開始時から現在までの経過時間である。入力した画像が低コントラストである等、画質が低下している場合には精度よく特徴量が得られない場合もある。なお、上記説明では、特徴量として面積比と追跡期間とを算出する場合について説明したが、移動量、移動方向、移動速度、輝度等を算出することも考えられる。
【００２４】
物体識別部７では、特徴量を用いて発報すべき物体であるか判定する。ここでは発報対象とする物体が監視区域への侵入者であり、発報対象外の物体は猫、鳥等の小動物やパトロール車両等であるとする。面積比Rと追跡期間TTとを用いて侵入者を判別する処理のフローを図２に示す。追跡開始時からの最大の面積比Rmaxを記憶しておき、追跡期間TTが閾値TT_THを超えた時点以降において（ステップＳ１）、最大面積比Rmaxが下限閾値R_TH1を一度でも超え（ステップＳ２）、かつ上限閾値R_TH2を一度も超えない場合に（ステップＳ３）、侵入者であると判断する。最大の面積比Rmaxが下限閾値R_TH1未満である物体は、小動物やノイズ等であると判断し、上限閾値R_TH2より大きな物体は、車両等の物体であると判断する。追跡期間の閾値TT_THを大きくし、長期間をかけて認識を行えば誤認識を低減することができるが、侵入が起こってから発報が行われるまでに遅れが生じたり、追跡期間閾値を満たさない侵入物体を見逃すなどの問題が発生するため、追跡期間閾値TT_THは数秒程度が適当である。面積比の下限閾値R_TH1は小動物等がとり得る最大の面積比程度とし、上限閾値R_TH2は侵入者が取り得る最大の面積比程度とするのが適当である。なお、上記説明では、特徴量として追跡期間TTと面積比Ｒとを用いて物体を認識する例を述べたが、その他に移動量、移動方向、移動速度、輝度等の特徴量を組み合わせて認識することも考えられる。
【００２５】
発報延期部８では、物体識別部７にて発報対象外の物体が検出された場合、その後に発報対象の物体が検出された場合の発報を延期するため、所定期間TAだけ発報延期モードとなり、この発報延期モード時に発報対象の物体が検出された場合は、発報延期期間TBだけ発報を延期する。所定期間TA経過後には非発報延期モードとなり、発報の延期は行わない。各モードの状態遷移の様子を図３に示す。発報延期モードとなる期間TAは、物体が別の監視区間へ移動するための所用時間程度がふさわしく、数十秒程度が適当である場合が多い。発報延期期間TBは、例えば物体が遠方から接近してくる場合、物体が遠方からカメラ手前まで移動する時間程度であり、数秒〜数十秒程度が適当である。
【００２６】
発報取り消部９では、物体識別部７において発報対象外の物体、例えばパトロール車両が検出された場合に、延期中の発報があればこれを取り消す。発報取り消部９は発報の延期期間中以外は機能しない。
【００２７】
延期信号出力部１０では、物体識別部７において発報対象外の物体、例えばパトロール車両が検出された場合に、隣接区域を監視する他の画像認識装置に向けて発報延期信号を通知する。
【００２８】
表示部１１では、侵入物体の画像上位置を矩形枠等図形で示す際、発報延期中の場合は矩形枠を黄色で表示し、発報後は矩形枠を赤で表示するなど、図形の色を切り替えて監視員等に発報を延期していることを分かりやすくする。その他、表示部１１では、画像に文字や図形を重畳して物体の識別結果等を表示する。
【００２９】
なお、以上の説明において、発報対象である物体を監視区域への侵入者とし、発報対象外の物体は小動物やパトロール車両等であるとしたが、小動物および車両が発報対象となっても良いし、発報対象外の物体は作業員や工事用車両等であっても良い。
【００３０】
このように、本実施の形態１によれば、物体識別部７にて発報対象外の物体を検出した場合は、発報延期部８が非発報延期モードから所定期間TAの発報延期モードに切り替え、その後に発報対象である物体を検出した場合は、誤認識の可能性があるので、所定の発報延期期間TBの間は発報を延期し、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、発報取消部９が、延期している発報自体を取り消すことにより、誤発報を防止することができる。
【００３１】
また、延期信号出力部１０が、物体識別部７にて発報対象外の物体、例えばパトロール車両を検出した場合は、隣接区域を監視する他の画像認識装置に向けて発報延期信号を通知することにより、他の画像認識装置が発報対象外の物体を発報対象物体と認識して誤発報するのを防止することができる。
【００３２】
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態２における構成は、実施の形態１で説明した画像認識装置の発報延期部８に、隣接区域を監視する別系統の画像認識装置等から発報延期信号が入力されることが異なるのみであり、画像入力部２、入力画像メモリ３、物体抽出部４、背景画像メモリ５、特徴量算出部６、物体識別部７、発報取り消部９、延期信号出力部１０、表示部１２については実施の形態１で説明した通りであるので説明を省略する。
【００３３】
本実施の形態２における発報延期部８では、隣接区域を監視する別系統の画像認識装置等からの発報延期信号の被通知有無により、発報を延期させるかどうかのモード切り替えを行う。外部から発報延期信号の通知を受けた場合、所定期間TAは発報延期モードとなり、発報延期モード時には発報を発報延期期間TBだけ延期する。最後に受信した発報延期信号から所定期間TA経過後には非発報延期モードとなり、発報の延期は行われない。各モードの状態遷移の様子を図５に示す。ここでは、発報延期信号は、隣接区間を監視する別系統の画像認識装置や各種センサーにおいて発報対象外であるパトロール車両等を検出した際に、この画像認識装置１２に向けて通知するものとする。発報延期モードとなる期間TAは、物体が別の監視区間へ移動するための所用時間程度がふさわしく、数十秒程度が適当である場合が多い。期間TBは、例えば物体が遠方から接近してくる場合、物体が遠方からカメラ手前まで移動する時間程度であり、数秒〜数十秒程度が適当である。
【００３４】
このように、本実施の形態２によれば、発報対象外の物体を侵入者であると一旦は発報対象として認識しても、発報対象外の物体をあらかじめ検出している画像認識装置等からの通知を受けた場合にはその発報を延期し、その間に画像中の物体が発報対象外であると再認識した場合は、その発報を取り消すようにしたので、誤発報を防止することができる。
【００３５】
（実施の形態３）
次に、本発明の第３の実施の形態について説明する。本実施の形態３は、上記実施の形態２の一部をソフトウエアにより実現する場合であり、図６の処理のフローを用いて説明する。
【００３６】
物体抽出部工程Ｆ１において、背景差分方式により物体領域を抽出する。背景差分方式とは、入力画像と別途記憶されている過去の画像いわゆる背景画像とを比較して、変化のあった画像領域を物体領域として抽出する方式である。特徴量算出工程Ｆ２では、物体の特徴量として、面積比、移動量、移動速度、追跡期間等を算出する。物体識別工程Ｆ３では特徴量算出工程Ｆ２で得られた特徴量を、あらかじめ設定してある閾値と比較して発報すべき物体かを識別する。発報延期工程Ｆ４では、発報延期信号を受信した場合に発報を所定期間延期する。発報取り消工程Ｆ５では、画像中から発報対象外の物体が検出された場合に遅延中の発報を取り消す。延期信号出力工程Ｆ６では、物体識別工程Ｆ３にて発報対象外の物体を検出した場合、発報延期信号を別系統の画像認識へ通知する。発報延期工程Ｆ４、発報取り消工程Ｆ５、延期信号出力工程Ｆ６については、以下にさらに詳細に説明する。
【００３７】
発報延期工程Ｆ４では、外部から発報延期信号が入力中の場合や入力後所定期間TA以内の発報延期モード時は、物体識別工程Ｆ３において発報対象の物体が検出されてから所定期間TB遅延させて発報する。発報延期信号が未通知の場合や最後の通知から所定期間TA経過後の非発報延期モード時は延期せずに発報する。発報延期モードとなる期間は、物体が別の監視区間へ移動するための所用時間程度が適当であり、数十秒程度である場合が多い。また、発報指示信号を遅延する期間TBは、例えば物体が遠方から接近してくる場合物体が遠方からカメラ手前まで移動する時間程度であり、数秒から数十秒が適当である。
【００３８】
発報取り消工程Ｆ５では、画像から発報対象外であるパトロール車両等を検出した場合、遅延中の発報があればこれを取り消す。
【００３９】
延期信号出力工程Ｆ６では、物体識別工程Ｆ３において画像中にパトロール車両等の発報対象外の物体が存在すると判断された場合、隣接する別の画像認識装置に向けて、パトロール車両等発報対象外の物体が付近に存在することを示す発報延期信号を通知する。
【００４０】
このように、本実施の形態３によれば、発報対象外の物体を侵入者であると誤認識した場合であっても、後に発報対象外の物体であることが分かった場合は、先の誤発報を取り消すことができる。
【００４１】
（実施の形態４）
次に、本発明の第４の実施の形態について図７を用いて説明する。本実施の形態４における構成は、実施の形態１および実施の形態２で説明した画像認識装置１２に、通知先選択部1３を加えたものであり、画像入力部２、入力画像メモリ３、物体抽出部４、背景画像メモリ５、特徴量算出部６、物体識別部７、発報延期部８、発報取り消部９、延期信号出力部１０、表示部１２については実施の形態１および実施の形態２で説明した通りであるので説明を省略する。
【００４２】
通知先選択部１３は、まず、特徴量算出部６における物体追跡処理の結果を受けて、発報対象外の物体の移動方向を予想する。例えば、図８（ａ）に示すように、左上を原点（０、０）とする画像上において、追跡開始時の位置を（X0、Y0）とし、現在の位置が（X1,Y1）であるとする。簡単のため水平X方向の移動については考慮しない場合、Y0 < Y1であれば物体が画像下方向に移動、つまり撮像装置に接近していることとなり、今後も画像下方向へ移動していくものと予想することができる。なお、移動方向の予測は画像左右方向について行っても良い。
【００４３】
次に、延期信号出力部１０から出力された発報延期信号の通知先を、予測した移動方向によって切り替える。例えば、図８（ｂ）に示すように、注目する監視区域A１より遠方に監視区域A0、A1より手前に監視区域A2が存在し、A0とA1、A1とA2がそれぞれ隣接している場合を想定する。監視区域A1を撮影している画像中を上方向つまり撮像装置１から遠ざかるように移動する発報対象外の物体があるとした場合、今後は監視区域A1の奥に隣接する監視区域A0に物体が移動することが予想される。よって、監視区域A0を監視している画像認識装置にのみ発報延期信号を通知する。逆に、画像中を下方向へ移動する物体が存在する場合は、監視区域A1の手前に隣接する監視区域A2の画像認識装置にのみ発報延期信号を通知する。発報延期信号の通知を受けた画像認識装置１２の発報延期部８は、所定期間だけ発報を延期し、延期中に物体が発報対象外であると再認識すれば、発報取消部９において発報を取り消す。
【００４４】
このように、本実施の形態４によれば、万一画像中の発報対象外の物体を発報対象と一旦は誤認識しても、発報延期信号の通知により発報を延期するので、所定期間内に物体が発報対象外の物体であると再認識された場合は、延期中の発報を取り消すことができるとともに、発報延期信号を別系統へ通知する際、隣接する全ての画像認識装置に通知するのではなく、物体の進入が予想される画像認識装置にのみ通知するので、物体が進入しない画像認識装置の発報まで遅れないようにすることができる。
【００４５】
（実施の形態５）
次に、本発明の第５の実施の形態について図９を用いて説明する。本実施の形態５は、上記した画像認識装置１２を用いた監視システムであり、複数の撮像装置１a、1bは、それぞれ隣接する別の監視区域Ａ、Ｂを撮影する。各撮像装置１a、1bの画像を入力した画像認識装置12a、12bは、画像中の進入物体を認識し、発報対象である物体が存在すれば発報する。通過物体感知器SENは、発報対象外の物体を感知して発報延期信号を出力する。フレームバッファーFBは、発報の瞬間とその前後の画像を記憶する。伝送手段CABは、撮像装置１a、1b、画像認識装置12a、12b、通過物体感知器SENが出力する画像や、発報延期信号を伝送する。警報装置CAＵは、ブザー等の発報手段を備えて警報を発する。表示装置MONは、画像認識装置12a、12bおよび撮像装置１a、1bが出力する画像を表示する。画像認識装置12a、12bについては、実施の形態１から４でも説明したように、撮像装置１a、1bから入力した画像を処理して画像中に発報対象となる物体が存在すれば発報する。また、発報対象外の物体を検出した際は、隣接区間を監視する画像認識装置に対して発報延期信号を出力する。
【００４６】
本システムの動作の一例について説明する。発報対象外の物体CARが、図９において左方向から右方向へ移動しているとする。物体は、撮像装置1aの画角内の監視区域Ａに進入し、画像認識装置12aにより発報対象外の物体であるパトロール車両であると認識される。画像認識装置12aは、隣接監視区域の画像認識装置12bに対して発報延期信号を通知する。パトロール車両は、次に監視区域Bに進入し、画像認識装置12bにより同パトロール車両の認識が行われる。画像認識装置12bが侵入者であると誤認識した場合であっても、発報延期信号をあらかじめ通知されているため発報は延期し、延期中に先の物体がパトロール車両であると再認識された場合には、遅延中の発報を取り消す。なお、画像認識装置12bにおいて、パトロール車両と再認識されなかった場合、つまりパトロール車両が監視区域Bに進入したのではなく、実際に侵入者が存在した場合等は、発報を所定期間延期した後に発報することになる。発報の瞬間およびその前後の画像は、フレームバッファーFBにより記録しておき、監視員による発報要因の確認等に用いる。
【００４７】
発報延期信号は、通過物体感知器SENから発信することも考えられる。通過物体感知器SENがパトロール車両等発報対象外の物体を感知した場合に、付近の画像認識装置へ発報延期信号を通知する。発報延期信号を受けた画像認識装置は、誤認識しても発報延期信号を受けて発報を延期し、後でパトロール車両等発報対象外の物体であると再認識された場合は延期中の発報を取り消す。なお、通過物体感知器SENとしては、例えば車両通過時の音響を認識する音声認識装置や、車両通過時の磁気の変化をとらえる磁気センサー等が考えられる。
【００４８】
このように、本実施の形態５によれば、一旦は発報すべき物体であると誤認識した場合であっても、隣接する区間を監視する画像認識装置および通過物体感知器が発報対象外の物体を検出していた場合には発報を遅延し、画像中の物体を再認識して発報対象外の物体であることが分かれば、発報を取り消すことができるので、結果として誤発報を防止することができる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、発報対象外の物体を侵入者であると一旦は発報対象として認識しても、発報対象外の物体をあらかじめ検出していたり、他の画像認識装置等から発報延期信号の通知を受けた場合には、その発報を所定期間だけ延期し、その間に画像中の物体が発報対象外であると再認識した場合は、その発報を取り消すようにしたので、誤発報を防止することが、監視装置としての信頼性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像認識装置の構成を示すブロック図
【図２】本発明の実施の形態１における物体識別処理を示すフロー図
【図３】本発明の実施の形態１における発報延期部の状態遷移を示す模式図
【図４】本発明の実施の形態２における画像認識装置の構成を示すブロック図
【図５】本発明の実施の形態２における発報延期部の状態遷移を示す模式図
【図６】本発明の実施の形態３における画像認識処理を示すフロー図
【図７】本発明の実施の形態４における画像認識装置の構成を示すブロック図
【図８】（ａ）実施の形態４における物体の移動方向を検出する際の模式図
（ｂ）実施の形態４における物体の移動先監視区域を検出する際の模式図
【図９】本発明の実施の形態５における侵入者監視システムの構成を示すブロック図
【符号の説明】
1 撮像装置
2 画像入力部
3 入力画像メモリ
4 物体抽出部
5 背景画像メモリ
6 特徴量算出部
7 物体識別部
8 発報延期部
9 発報取り消部
10 延期信号出力部
11 表示部
12 画像認識装置
F1 物体抽出工程
F2 特徴量算出工程
F3 物体識別工程
F4 発報延期工程
F5 発報取り消工程
F6 延期信号出力工程
13 通知先選択部
1a、1b 撮像装置
12a、12b 画像認識装置
CAR 物体
SEN 通過物体感知器
FB フレームバッファー
CAB 伝送手段
CAＵ警報装置
MON 表示装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image recognition method and apparatus for accurately detecting an intruder or an intruding object in an image by processing an image, and a monitoring system using the apparatus.
[0002]
[Prior art]
A conventional image recognition method and apparatus (for example, Japanese Patent Application Laid-Open No. 11-203567) processes an image to calculate the area, speed, vertical and horizontal dimensions of an intruding object as feature amounts, and averages each feature amount over a certain period. However, when a determination condition based on a preset parameter is satisfied, it is determined that the object is an object to be notified, and an alarm is immediately issued by an alarm means such as a buzzer.
[0003]
[Problems to be solved by the invention]
However, in the above conventional image recognition method and apparatus, the image quality of the image output from the imaging device is deteriorated, for example, in bad weather or low illuminance, and a feature amount can be obtained with sufficient accuracy especially for a distant intruding object. In the case where there is no such object, even an object that is not originally a report target may be reported with a feature amount satisfying a determination condition based on a predetermined parameter. Even if it is known that the feature amount was obtained with relatively high accuracy by the object approaching the imaging device after it was erroneously reported in this way, Cannot be canceled, resulting in false alarms.
[0004]
The present invention has been made to solve such a problem, and an object of the present invention is to provide an image recognition method and apparatus that are less likely to be erroneously issued, and a monitoring system using the apparatus.
[0005]
[Means for Solving the Problems]
In the image recognition method of the present invention, an object is imaged by an imaging means, and whether the object is an object to be reported from an image obtained by imaging by the imaging means is an object not to be reported. And when it is determined that the imaged object is a non-reporting object as a result of the detection, the object is detected from the image of the object obtained by the imaging means after that. Transition to alert postponement mode to postpone alerting for subject Migration Step and With , The transition step includes: When an object to be reported is detected from an image of an object obtained by imaging with the imaging means during the alert postponement mode, the alert is postponed for the alert postponement period, and the alert is issued during the alert postponement mode. When a non-reporting object is detected from an image of an object obtained by imaging with the imaging means during a reporting delay period, the reporting for the suspended reporting target is canceled. Is. In this method, if an object not to be reported is detected from the image, even if an object to be reported is detected later, there is a possibility of misrecognition. If an object that is not a report target is detected, the previous report target is detected as erroneous recognition, and the erroneous report can be prevented by canceling the postponed report itself.
[0006]
The image recognition method according to the present invention includes a step of imaging an object by an imaging unit of one image recognition device and an imaging by the imaging unit in a monitoring system that monitors a plurality of adjacent monitoring areas by each image recognition device. Detecting whether the object is an object to be reported or an object not to be reported from an image obtained in this manner, and monitoring another area adjacent to the area monitored by the image recognition device A notification postponing signal indicating that the object is a non-reporting object from the image recognition device, and when the reporting postponement signal is received, the image capturing unit obtained after that Transition to the alert postponement mode for postponing the alerting of the subject to be detected detected from the image of the object Migration Step and With , The transition step includes: When an object to be reported is detected from an image of an object obtained by imaging with the imaging means during the alert postponement mode, the alert is postponed for the alert postponement period, and the alert is issued during the alert postponement mode. When a non-reporting object is detected from an image of an object obtained by imaging with the imaging means during a reporting delay period, the reporting for the suspended reporting target is canceled. Is. In this way, when a postponement signal indicating that a non-reporting object has been detected is notified from another system, there is a possibility of misrecognition even if an object that is a reporting target is subsequently detected. Because there is a notification postponement mode for a predetermined period, if an object that is not the target of notification is detected during that period, it is assumed that the detection of the previous notification target is a false recognition, and the postponement of the postponed notification itself is canceled. This will prevent false alarms.
[0007]
Further, the image recognition method of the present invention includes: Above When a non-reporting object is detected from an image obtained by imaging an object by the imaging means, the alarm is issued to another system of image recognition devices that monitor another area adjacent to the area monitored by the imaging means. Notify the postponement signal Includes postponement signal output step It is characterized by this. By this method, for example, when an object that is not to be reported, such as a patrol vehicle, is detected, another image recognition device can be erroneously notified by notifying a notification delay signal to the image recognition device that monitors the adjacent section. It will be possible to prevent reporting.
[0008]
The image recognition apparatus of the present invention is An object identification unit that is connected to an imaging unit that images an object, and that detects whether the object is an object to be reported or an object that is not to be reported from an image obtained by imaging by the imaging unit; , If it is determined that the imaged object is a non-reporting object as a result of detection by the object identifying means, the imaging means is subsequently moved from the non-reporting postponement mode. A notification postponing means for switching to a notification postponing mode for postponing the reporting of the reporting target detected from the image of the object obtained by imaging by the method, wherein the reporting postponing means is in the reporting postponement mode When the object to be reported is detected from the image of the object captured by the imaging means, the report is postponed for the report postponement period, and the report postponement period during the report postponement period Imaging by the imaging means Te resulting object of When a non-reporting object is detected from the image, the postponement of the postponed reporting target is canceled. Suko It is characterized by. With this configuration, when an object that is not a notification target is detected from the image, there is a possibility of erroneous recognition even if an object that is a notification target is detected after that, so the predetermined period is Notification postponement mode and However, if an object that is not subject to reporting is detected in the meantime, it is assumed that the detection of the previous reporting target is a false recognition, and the false alert can be prevented by canceling the postponed alert itself. .
[0009]
The image recognition apparatus of the present invention is In a monitoring system in which a plurality of adjacent monitoring areas are monitored by an imaging unit and an image recognition device, the object is reported from an image obtained by imaging with an imaging unit connected to one image recognition device. Object identification means for detecting whether the object is a target object or an object not to be reported, and imaging means connected to an image recognition apparatus for monitoring another area adjacent to the area monitored by the image recognition apparatus When a notification postponement signal indicating that the object is a non-reporting object is received from an image obtained by imaging the object, the non-reporting postponement mode is followed by the imaging means. A notification postponing means for switching to a reporting postponement mode for postponing the reporting of the subject to be detected detected from the image of the obtained object, and the reporting postponement means includes the reporting postponement mode during the reporting postponement mode. When an object to be reported is detected from the image of the object obtained by imaging by the imaging means, the reporting is postponed for the reporting postponement period, and the imaging is performed during the postponement period for the reporting postponement mode. Of the object obtained by imaging by means When a non-reporting object is detected from the image, the postponement of the postponed reporting target is canceled. Suko It is characterized by. With this configuration, when a notification postponement signal indicating that an object not to be reported has been detected is notified from another system, there is a possibility of erroneous recognition even if an object that is to be reported is subsequently detected. Because there is a predetermined period Notification postponement mode and However, if an object that is not subject to reporting is detected in the meantime, it is assumed that the detection of the previous reporting target is a false recognition, and the false alert can be prevented by canceling the postponed alert itself. .
[0010]
Further, the image recognition apparatus of the present invention provides the above Obtained by imaging an object with imaging means When an object that is not the subject of notification is detected from the image, Monitor another area adjacent to the area monitored by the imaging means A postponement signal output unit for notifying another system of image recognition apparatus is provided. With this configuration, for example, when an object that is not to be reported, such as a patrol vehicle, is detected, another image recognition device can erroneously notify the image recognition device that monitors the adjacent section by notifying the notification delay signal. It will be possible to prevent reporting.
[0011]
The image recognition apparatus according to the present invention further includes a display unit that superimposes and displays the position of the notification target object as a graphic on the image and changes a display color of the graphic depending on whether or not the notification is postponed. It is characterized by having. With this configuration, when a figure such as a rectangle is superimposed and displayed in the image for the purpose of indicating the position of the object, the display color of the figure is switched between during postponement of the notification and after the postponement, that is, after the notification. It is possible to explicitly indicate that the information has been postponed.
[0012]
Further, the image recognition apparatus of the present invention predicts a moving direction of an object when detecting an object that is not a notification target from the image, and selects a notification destination of the notification postponement signal according to the predicted direction. It is characterized by having a section. With this configuration, it is possible to efficiently prevent other image recognition devices from reporting errors by notifying the notification delay signal only to the image recognition devices in the monitoring area in the moving direction of the passing object.
[0013]
Further, the monitoring system of the present invention includes a plurality of imaging devices, plural Of imaging device Connected to each of the objects captured by each imaging device A plurality of image recognition devices as described above that perform processing when an image is processed and an object to be reported exists in the image; Connected to each image recognition device and output from the image recognition device Multiple frame buffers to delay the image, A plurality of image display devices that display images of the imaging device and processing results of the image recognition device, and transmission means for transmitting and receiving information between the imaging device, image recognition device, frame buffer, and image display device It is characterized by comprising. With this configuration, when an image recognition device processes an image and detects a passing object that is not the subject of notification, a false notification is issued by notifying another image recognition device of a notification postponement signal through the transmission means. Therefore, it is possible to realize a monitoring system that can effectively prevent the above.
[0014]
Moreover, the monitoring system of the present invention includes: A plurality of imaging devices are connected corresponding to each of the plurality of imaging devices, and an image of an object captured by each imaging device is processed to issue a notification when an object to be reported exists in the image. 5. A plurality of image recognition apparatuses according to claim 4 to be performed, a plurality of frame buffers connected to each image recognition apparatus for delaying an image output from the image recognition apparatus, and a passing object not to be reported are identified. A passing object detector that notifies the notification postponing signal, a plurality of image display devices that display images of the imaging device and processing results of the image recognition device, the imaging device, the image recognition device, a frame buffer, and a passing object Transmission means for transmitting and receiving information between a sensor and an image display device It is characterized by comprising. This configuration realizes a monitoring system that can effectively prevent false alarms by notifying the image recognition device of an alarm delay signal when the passing object detector detects an object that is not the alarm target. It will be possible.
[0015]
Further, the monitoring system of the present invention includes a passing object detector that identifies a passing object that is not a notification target and notifies the notification delay signal. It is a voice recognition device It is characterized by this. With this configuration, it is possible to realize a monitoring system that can effectively prevent false alarms by detecting an object that is not the target of notification based on the passing sound of the object and notifying the image recognition device of an alarm delay signal. It becomes.
[0016]
Further, the monitoring system of the present invention includes a passing object detector that identifies a passing object that is not a notification target and notifies the notification delay signal. Magnetic sensor It is characterized by this. This configuration realizes a monitoring system that can effectively prevent false alarms by detecting an object that is not the target of alarm due to magnetic fluctuations associated with passage and notifying the image recognition device of an alarm delay signal. It will be possible.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
(Embodiment 1)
FIG. 1 shows the configuration of an image recognition apparatus according to the first embodiment of the present invention. The imaging device 1 captures an image of the monitoring area and outputs it to the image recognition device 12. The image recognition device 12 issues a report when an image obtained by the imaging device 1 is processed to detect an intruding object that is a report target. Although it is rare for the image recognition device 12 to misrecognize an object, an object that is not the subject of notification due to factors such as deterioration in the image from the imaging device due to weather conditions or illuminance conditions, and the inability to obtain the feature amount correctly. May be misrecognized as a subject of notification.
[0018]
The video signal input from the imaging device 1 is A / D converted by the image input unit 2 and stored in the input image memory 3. The object extraction unit 4 compares the image without the object stored in the background image memory 5 with a so-called background image and the current input image stored in the input image memory 3 to determine the area where the change has occurred. Extract as an object region. The feature amount calculation unit 6 calculates an area ratio, a movement amount, a movement speed, a tracking period, and the like as the feature amount of the object. The object identifying unit 7 compares the feature amount obtained by the feature amount calculating unit 6 with a preset threshold value to identify the object, and if the object is an object to be reported, instructs the report. . The reporting postponing unit 8 postpones the reporting for a predetermined period when an object that is not a reporting target is detected by the object identifying unit 7 and an object that is a reporting target is subsequently detected. When the object identification unit 7 detects an object that is not a report target during the report postponement period, the report cancellation unit 9 cancels the postponement of the report. When the object identification unit 7 detects an object that is not a report target, the postponement signal output unit 10 notifies the postponement signal to another image recognition apparatus. The display unit 11 switches the color of the graphic depending on whether the notification is postponed or after the notification when displaying the position of the notification target object with a graphic such as a frame.
[0019]
Next, the operations of the image input unit 2, the object extraction unit 4, the feature amount calculation unit 6, the object identification unit 7, the report postponement unit 8, the report cancellation unit 9, the postponement signal output unit 10, and the display unit 11 will be further described. This will be described in detail.
[0020]
In the image input unit 2, the video signal output from the imaging device 1 is A / D converted into digital image data. For example, 256 gradation monochrome image data having a pixel size of 192 pixels in the horizontal direction (X) and 242 pixels in the vertical direction (Y) is acquired. Note that when the image pickup apparatus 1 outputs digital image data, A / D conversion is not performed, but resolution conversion or the like is performed in accordance with the subsequent processing.
[0021]
In the object extraction unit 4, an absolute value S (X, Y) of luminance difference between the input image I (X, Y) and the background image B (X, Y) that is an image in which no intruding object exists is expressed by the following formula ( 1), and a change in luminance on the image generated by the moving object is detected.
S (X, Y) = | I (X, Y)-B (X, Y) | (1)
Threshold processing is performed on the absolute difference value of the luminance, and binarization is performed by setting a pixel that exceeds the threshold THbi to 1 and a pixel that does not exceed the threshold THbi to 0, thereby extracting a luminance change region in the image. When the image quality of the image output from the imaging device 1 is reduced and the contrast is low, the object region may not be extracted correctly.
[0022]
The object extraction method described above is known as a background difference method. Next, a labeling process is performed on the pixels that have reached level 1, and unique labels are given to areas in which adjacent pixels are at level 1. The labeling process obtains the area and center of gravity of each label. When the object extraction unit 4 extracts an object, a method of extracting an object region by pattern matching or optical flow may be used in addition to the background difference method.
[0023]
The feature amount calculation unit 6 calculates a feature amount for identifying an object. Here, a case where the area ratio R and the tracking period TT are used as feature amounts will be described. First, the position of the object extracted by the object extraction unit 4 is tracked in association with time. Tracking is established when the object position one frame before and the current object position are sufficiently close and the amount of change in the area or shape of the object region is within a predetermined range. Using the area Sob of the object extracted by the object extraction unit 4 during tracking of the same object and the reference area Sst, an area ratio indicating the size of the object is calculated for each processing cycle by the following equation (2). The reference area is an area value on the image when a person with an average physique is extracted at the same position where the object is extracted. The reference area can be calculated from the depression angle of the imaging device, the size of the imaging device, and the focal length of the lens. When an intruder with an average physique is extracted, the area ratio is around 100%.
Area ratio R = (Sob / Sst) × 100 [%] (2)
The tracking period TT is the elapsed time from the start of tracking to the present. When the image quality is degraded, such as when the input image has low contrast, the feature amount may not be obtained with high accuracy. In the above description, the case where the area ratio and the tracking period are calculated as the feature amount has been described, but it is also conceivable to calculate a movement amount, a movement direction, a movement speed, luminance, and the like.
[0024]
The object identification unit 7 determines whether the object should be reported using the feature amount. Here, it is assumed that an object to be reported is an intruder into the monitoring area, and an object that is not to be reported is a small animal such as a cat or a bird, a patrol vehicle, or the like. FIG. 2 shows a flow of processing for determining an intruder using the area ratio R and the tracking period TT. The maximum area ratio Rmax from the start of tracking is memorized, and the tracking period TT is the threshold value TT _TH After the point of time exceeding (step S1), the maximum area ratio Rmax is the lower threshold R _TH1 Is exceeded even once (step S2) and the upper threshold R _TH2 Is exceeded (step S3), it is determined that the person is an intruder. Maximum area ratio Rmax is lower threshold R _TH1 The object that is less than is judged to be a small animal, noise, etc., and the upper threshold R _TH2 The larger object is determined to be an object such as a vehicle. Tracking period threshold TT _TH If recognition is performed over a long period of time, misrecognition can be reduced. The tracking period threshold TT _TH A few seconds is appropriate. Lower limit threshold R of area ratio _TH1 Is the maximum area ratio that a small animal can take, and the upper threshold R _TH2 It is appropriate to set the ratio to the maximum area ratio that an intruder can take. In the above description, an example of recognizing an object using the tracking period TT and the area ratio R as the feature amount has been described. However, other features such as a movement amount, a movement direction, a movement speed, and luminance are recognized in combination. It is also possible to do.
[0025]
In the report postponing unit 8, when an object that is not a report target is detected by the object identification unit 7, a report is issued when an object that is a report target is subsequently detected. To postpone, TA for a certain period Departure When the notification postponement mode is set and an object to be notified is detected in the notification postponement mode, the notification is postponed for the reporting postponement period TB. After the specified period TA, the non-reporting postponement mode is entered, and the postponement of the reporting is not performed. The state transition of each mode is shown in FIG. In the period TA in which the notification postponement mode is set, the time required for the object to move to another monitoring section is appropriate, and about several tens of seconds is appropriate in many cases. The notification postponement period TB is, for example, the time required for an object to move from a distance to the front of the camera when the object approaches from a distance, and is appropriately several seconds to several tens of seconds.
[0026]
The notification canceling unit 9 cancels any postponed notification when an object that is not a report target, such as a patrol vehicle, is detected by the object identifying unit 7. The report canceling unit 9 does not function except during the postponement period of the report.
[0027]
In the postponement signal output unit 10, when an object that is not a report target, for example, a patrol vehicle, is detected by the object identification unit 7, the postponement signal output signal is notified to another image recognition device that monitors the adjacent area.
[0028]
In the display unit 11, when the position of the intruding object on the image is indicated by a graphic such as a rectangular frame, the rectangular frame is displayed in yellow when the report is postponed, and the rectangular frame is displayed in red after the report is generated. Change the color so that it is easy to understand that alerting has been postponed to monitoring personnel. In addition, the display unit 11 displays an object identification result or the like by superimposing characters and figures on the image.
[0029]
In the above description, it is assumed that the object to be reported is an intruder into the surveillance area and the object that is not to be reported is a small animal or a patrol vehicle, but the small animal and the vehicle are to be reported. Alternatively, the object that is not a report target may be a worker, a construction vehicle, or the like.
[0030]
As described above, according to the first embodiment, when the object identification unit 7 detects an object that is not a report target, the report postponing unit 8 is postponed from the non-report postponement mode for the predetermined period TA. If you switch to the mode and then detect an object to be reported, there is a possibility of misrecognition, so the notification will be postponed for the predetermined notification postponement period TB, When an object is detected, it is determined that the previous detection target is erroneously recognized, and the notification cancellation unit 9 cancels the postponed notification itself, thereby preventing the erroneous notification.
[0031]
Further, when the postponement signal output unit 10 detects an object that is not a report target, for example, a patrol vehicle, in the object identification unit 7, a notification postponement signal is notified to another image recognition device that monitors the adjacent area. By doing so, it is possible to prevent other image recognition devices from recognizing an object that is not a report target as a report target object and reporting it incorrectly.
[0032]
(Embodiment 2)
Next, a second embodiment of the present invention will be described. In the configuration of the second embodiment, a notification postponement signal is input from the image recognition device or the like of another system that monitors the adjacent area to the notification postponement unit 8 of the image recognition device described in the first embodiment. Only the image input unit 2, the input image memory 3, the object extraction unit 4, the background image memory 5, the feature amount calculation unit 6, the object identification unit 7, the alert cancellation unit 9, the postponement signal output unit 10, the display Since the part 12 is as described in the first embodiment, the description thereof is omitted.
[0033]
The notification postponing unit 8 in the second embodiment performs mode switching as to whether or not to postpone the notification depending on whether or not the notification postponement signal from another system image recognition device or the like that monitors the adjacent area is notified. When a notification postponement signal notification is received from the outside, the predetermined period TA is in the postponement mode, and in the postponement mode, the postponement is postponed for the postponement period TB. After a predetermined period TA has elapsed from the last received notification postponement signal, the non-reporting postponement mode is entered, and the postponement of the reporting is not performed. The state transition of each mode is shown in FIG. Here, the notification postponement signal is signaled to the image recognition device 12 when an image recognition device of another system that monitors the adjacent section or a patrol vehicle that is not a notification target is detected in various sensors. And In the period TA in which the notification postponement mode is set, the time required for the object to move to another monitoring section is appropriate, and about several tens of seconds is appropriate in many cases. For example, when the object approaches from a distance, the period TB is about the time for the object to move from the distance to the front of the camera, and about several seconds to several tens of seconds is appropriate.
[0034]
As described above, according to the second embodiment, even if an object that is not a notification target is recognized as an intruder as an intruder once, an object that is not detected is detected in advance. The notification is postponed when a notification is received from the device, etc., and if the object in the image is re-recognized as not being reported during that time, the notification is canceled. Information can be prevented.
[0035]
(Embodiment 3)
Next, a third embodiment of the present invention will be described. The third embodiment is a case where a part of the second embodiment is realized by software, and will be described using the processing flow of FIG.
[0036]
In the object extraction unit process F1, an object region is extracted by a background difference method. The background difference method is a method in which an input image is compared with a past image that is stored separately, so-called a background image, and a changed image region is extracted as an object region. In the feature amount calculating step F2, an area ratio, a moving amount, a moving speed, a tracking period, and the like are calculated as the feature amount of the object. In the object identification step F3, the feature amount obtained in the feature amount calculation step F2 is compared with a preset threshold value to identify whether the object is to be issued. In the notification postponing step F4, when the notification postponing signal is received, the reporting is postponed for a predetermined period. In the report cancellation step F5, when an object that is not a report target is detected from the image, the delayed report is canceled. In the postponement signal output step F6, when an object not to be reported is detected in the object identification step F3, the postponement signal is notified to another system image recognition. The reporting postponement process F4, the reporting cancellation process F5, and the postponement signal output process F6 will be described in more detail below.
[0037]
In the notification postponing step F4, when a reporting postponement signal is being input from the outside or in the postponing reporting mode within the predetermined period TA after the input, a predetermined period after the object to be notified is detected in the object identification step F3. Report with TB delay. When the notification postponement signal is not notified or when in the non-report postponement mode after the predetermined period TA has elapsed since the last notification, the postponement is issued without postponement. In the period of the notification postponement mode, the time required for the object to move to another monitoring section is appropriate, and is often about several tens of seconds. Further, the period TB for delaying the notification instruction signal is, for example, the time required for the object to move from the far side to the front of the camera when the object approaches from the far side, and several seconds to several tens of seconds are appropriate.
[0038]
In the report cancellation process F5, if a patrol vehicle or the like that is not a report target is detected from the image, if there is a delayed report, this is canceled.
[0039]
In the postponement signal output process F6, when it is determined in the object identification process F3 that an object that is not a report target such as a patrol vehicle exists in the image, a report target such as a patrol vehicle is issued to another adjacent image recognition device. A notification postponement signal indicating that an outside object exists in the vicinity is notified.
[0040]
As described above, according to the third embodiment, even when a non-reporting object is mistakenly recognized as an intruder, it is later determined that the object is not a reporting target. The previous false alarm can be canceled.
[0041]
(Embodiment 4)
Next, a fourth embodiment of the present invention will be described with reference to FIG. The configuration in the fourth embodiment is obtained by adding a notification destination selection unit 13 to the image recognition apparatus 12 described in the first and second embodiments, and includes an image input unit 2, an input image memory 3, and an object. The extraction unit 4, the background image memory 5, the feature amount calculation unit 6, the object identification unit 7, the reporting postponement unit 8, the reporting cancellation unit 9, the postponement signal output unit 10, and the display unit 12 are the same as those in the first embodiment. Since it is as having demonstrated in the form 2, it abbreviate | omits description.
[0042]
The notification destination selection unit 13 first receives the result of the object tracking process in the feature amount calculation unit 6 and predicts the moving direction of an object that is not a report target. For example, as shown in FIG. 8A, on the image having the upper left as the origin (0, 0), the position at the start of tracking is (X0, Y0), and the current position is (X1, Y1). And For simplicity, if you do not consider the movement in the horizontal X direction, Y0 If <Y1, the object moves downward in the image, that is, close to the imaging device, and can be expected to move downward in the future. Note that the movement direction may be predicted in the horizontal direction of the image.
[0043]
Next, the notification destination of the notification postponement signal output from the postponement signal output unit 10 is switched according to the predicted moving direction. For example, as shown in FIG. 8 (b), the monitoring area A0 is located farther than the target monitoring area A1, and the monitoring area A2 is present before A1, and A0 and A1, and A1 and A2 are adjacent to each other. Suppose. If there is a non-reporting object that moves upward in the image capturing the surveillance area A1, that is, moves away from the imaging device 1, an object is located in the surveillance area A0 adjacent to the back of the surveillance area A1 in the future. Is expected to move. Therefore, the notification postponement signal is notified only to the image recognition device that is monitoring the monitoring area A0. On the other hand, when there is an object moving downward in the image, the notification postponement signal is notified only to the image recognition device in the adjacent monitoring area A2 before the monitoring area A1. The notification postponing unit 8 of the image recognition device 12 that has received the notification postponement signal notification postpones the reporting for a predetermined period, and cancels the reporting if it recognizes again that the object is not the subject of the reporting during the postponement. In part 9, the notification is canceled.
[0044]
As described above, according to the fourth embodiment, even if an object that is not a report target in the image is erroneously recognized as a report target, the report is postponed by the notification of the report postponement signal. When the object is re-recognized as an object not to be reported within a predetermined period, it is possible to cancel the postponement of the postponement, and when notifying the postponement signal to another system, In this case, only the image recognition device that is expected to enter the object is notified, so that it is possible to prevent delay until the image recognition device that does not enter the object is notified.
[0045]
(Embodiment 5)
Next, a fifth embodiment of the present invention will be described with reference to FIG. The fifth embodiment is a monitoring system using the image recognition device 12 described above, and the plurality of imaging devices 1a and 1b respectively photograph different monitoring areas A and B adjacent to each other. The image recognition devices 12a and 12b that have input the images of the imaging devices 1a and 1b recognize an approaching object in the image and issue a notification if there is an object to be reported. The passing object detector SEN detects an object not to be reported and outputs a report postponing signal. The frame buffer FB stores the instant of notification and the images before and after that. The transmission means CAB transmits the images output from the imaging devices 1a and 1b, the image recognition devices 12a and 12b, and the passing object detector SEN, and the notification postponing signal. The alarm device CAU includes alarm means such as a buzzer and issues an alarm. The display device MON displays images output from the image recognition devices 12a and 12b and the imaging devices 1a and 1b. As described in the first to fourth embodiments, the image recognition devices 12a and 12b process the images input from the imaging devices 1a and 1b and issue a notification if an object to be reported exists in the images. . When an object that is not a report target is detected, a report postponement signal is output to the image recognition device that monitors the adjacent section.
[0046]
An example of the operation of this system will be described. It is assumed that the object CAR that is not a notification target is moving from the left to the right in FIG. The object enters the monitoring area A within the angle of view of the imaging device 1a, and is recognized by the image recognition device 12a to be a patrol vehicle that is an object that is not a report target. The image recognition device 12a notifies the notification delay signal to the image recognition device 12b in the adjacent monitoring area. The patrol vehicle next enters the monitoring area B, and the image recognition device 12b recognizes the patrol vehicle. Even if the image recognition device 12b misrecognizes that it is an intruder, the notification postponement signal is notified in advance, so the postponement is postponed, and during the postponement, the previous object is re-recognized as a patrol vehicle If this happens, cancel the delay. In the image recognition device 12b, if the patrol vehicle is not re-recognized, that is, the patrol vehicle has not entered the surveillance area B, but the intruder actually exists, the notification is postponed for a predetermined period. It will be reported later. The images at the time of reporting and the images before and after the recording are recorded in the frame buffer FB, and are used for confirmation of the reporting factors by the monitor.
[0047]
It is also conceivable that the notification postponing signal is transmitted from the passing object detector SEN. When the passing object detector SEN detects a non-reporting object such as a patrol vehicle, a notification postponing signal is notified to a nearby image recognition device. If the image recognition device that received the notification postponement signal receives the notification postponement signal even if it is misrecognized, it postpones the notification, and if it is later re-recognized as a non-reporting object such as a patrol vehicle Cancel the postponement notification. As the passing object detector SEN, for example, a voice recognition device that recognizes sound when the vehicle passes, a magnetic sensor that detects a change in magnetism when the vehicle passes, and the like can be considered.
[0048]
As described above, according to the fifth embodiment, the image recognition device and the passing object detector that monitor adjacent sections are to be notified even if they are erroneously recognized as an object to be reported once. If an outside object has been detected, the notification is delayed, and if the object in the image is re-recognized and found to be an object that is not the subject of the notification, the notification can be canceled. False alarms can be prevented.
[0049]
【The invention's effect】
As described above, according to the present invention, even if an object not to be reported is recognized as an intruder once, the object not to be reported is detected in advance, When a notification postponement signal notification is received from an image recognition device, etc., the notification is postponed for a predetermined period of time, and if the object in the image is not recognized as a target during that period, the notification is postponed. Since the information is canceled, it is possible to improve the reliability of the monitoring device by preventing erroneous reports.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image recognition apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a flowchart showing object identification processing in Embodiment 1 of the present invention;
FIG. 3 is a schematic diagram showing a state transition of a notification postponing part in the first embodiment of the present invention.
FIG. 4 is a block diagram showing a configuration of an image recognition apparatus according to Embodiment 2 of the present invention.
FIG. 5 is a schematic diagram showing a state transition of a notification postponing part in Embodiment 2 of the present invention.
FIG. 6 is a flowchart showing image recognition processing in Embodiment 3 of the present invention.
FIG. 7 is a block diagram showing a configuration of an image recognition apparatus according to Embodiment 4 of the present invention.
FIG. 8A is a schematic diagram when detecting the moving direction of an object in the fourth embodiment.
(B) Schematic diagram when detecting the movement destination monitoring area of the object in the fourth embodiment
FIG. 9 is a block diagram showing a configuration of an intruder monitoring system according to a fifth embodiment of the present invention.
[Explanation of symbols]
1 Imaging device
2 Image input section
3 Input image memory
4 Object extraction unit
5 Background image memory
6 Feature calculation unit
7 Object identification part
8 Postponement Department
9 Notification cancellation section
10 Postponed signal output section
11 Display
12 Image recognition device
F1 Object extraction process
F2 feature calculation process
F3 Object identification process
F4 notification postponing process
F5 notification cancellation process
F6 Postponed signal output process
13 Notification selection section
1a, 1b imaging device
12a, 12b Image recognition device
CAR object
SEN passing object detector
FB frame buffer
CAB transmission means
CAU alarm device
MON display device

Claims

Imaging an object with an imaging means;
Detecting whether the object is an object to be reported or an object not to be reported from an image obtained by imaging by the imaging means;
As a result of the detection, when it is determined that the imaged object is an object that is not a report object, a report on a report target detected from an image of the object obtained by imaging by the imaging unit thereafter and a migration steps to migrate to the alarm deferred mode to postpone,
The transition step includes:
When an object to be reported is detected from an image of an object obtained by imaging with the imaging means during the reporting postponement mode, the reporting is postponed for the reporting postponement period,
When an object that is not a report target is detected from an image of an object obtained by imaging by the imaging means during the report postponement period during the report postponement mode, the postponement of the postponed report target An image recognition method characterized by canceling information.

In a monitoring system for monitoring a plurality of adjacent monitoring areas by respective image recognition devices,
Imaging an object by an imaging means of one image recognition device;
Detecting whether the object is an object to be reported or an object not to be reported from an image obtained by imaging by the imaging means;
Receiving a notification postponing signal indicating that the object is a non-reporting object from an image recognition device that monitors another region adjacent to the region monitored by the image recognition device;
When receiving the onset report postpone signal, and a migration step moves to alarm deferred mode to postpone the alarm for alarm object detected from the image of the object obtained by imaging by subsequent to said image pickup means ,
The transition step includes:
When an object to be reported is detected from an image of an object obtained by imaging with the imaging means during the reporting postponement mode, the reporting is postponed for the reporting postponement period,
When an object that is not a report target is detected from an image of an object obtained by imaging by the imaging means during the report postponement period during the report postponement mode, the postponement of the postponed report target An image recognition method characterized by canceling information.

When an object not to be reported is detected from an image obtained by imaging an object by the imaging unit, the image is issued to another image recognition device that monitors another area adjacent to the area monitored by the imaging unit. 3. The image recognition method according to claim 1, further comprising a postponement signal output step of notifying the postponement signal .

An object identification unit that is connected to an imaging unit that images an object, and that detects whether the object is an object to be reported or an object that is not to be reported from an image obtained by imaging by the imaging unit; ,
When it is determined that the imaged object is a non-reporting target object as a result of detection by the object identifying means connected to the object identifying means, from the non-reporting postponement mode, and thereafter by the imaging means A notification postponing means for switching to a reporting postponement mode for postponing the reporting of the reporting target detected from the image of the object obtained by imaging,
The notification postponing means is:
When an object to be reported is detected from an image of an object obtained by imaging with the imaging means during the reporting postponement mode, the reporting is postponed for the reporting postponement period,
When an object that is not a report target is detected from an image of an object obtained by imaging by the imaging means during the report postponement period during the report postponement mode, the postponement of the postponed report target An image recognition apparatus characterized by canceling information.

In a monitoring system that monitors a plurality of adjacent monitoring areas by an imaging means and an image recognition device,
Object identifying means for detecting whether the object is an object to be reported or an object not to be reported from an image obtained by imaging with an imaging means connected to one image recognition device When,
The object is an object not to be reported from an image obtained by imaging an object by an imaging means connected to an image recognition apparatus that monitors another area adjacent to the area monitored by the image recognition apparatus. When a notification postponement signal is received, it is changed from the non-report postponement mode to the postponement mode for postponing the postponement of the alerting target detected from the image of the object obtained by imaging by the imaging means. A notification postponing means for switching,
The notification postponing means is:
When an object to be reported is detected from an image of an object obtained by imaging with the imaging means during the reporting postponement mode, the reporting is postponed for the reporting postponement period,
When an object that is not a report target is detected from an image of an object obtained by imaging by the imaging means during the report postponement period during the report postponement mode, the postponement of the postponed report target An image recognition apparatus characterized by canceling information.

When a non-reporting object is detected from an image obtained by imaging an object by the imaging means, a notification is sent to an image recognition apparatus of another system that monitors another area adjacent to the area monitored by the imaging means. 6. The image recognition apparatus according to claim 4, further comprising a postponed signal output unit.

5. The display unit according to claim 4, further comprising: a display unit that superimposes and displays the position of the notification target object as a graphic on the image and changes a display color of the graphic depending on whether or not the notification is postponed. 7. The image recognition apparatus according to any one of items 1 to 6.

A notification destination selection unit that predicts a moving direction of an object when an object that is not a notification target is detected from the image and selects a notification destination of the notification postponement signal according to the predicted direction. Item 7. The image recognition device according to Item 6.

A plurality of imaging devices are connected corresponding to each of the plurality of imaging devices, and an image of an object captured by each imaging device is processed to issue a notification when an object to be reported exists in the image. A plurality of image recognition apparatuses according to claim 4, a plurality of frame buffers connected to each image recognition apparatus for delaying an image output from the image recognition apparatus, an image of the imaging apparatus, and an image recognition apparatus A monitoring system comprising: a plurality of image display devices that display processing results; and a transmission means for transmitting and receiving information between the imaging device, the image recognition device, a frame buffer, and the image display device.

A plurality of imaging devices are connected corresponding to each of the plurality of imaging devices, and an image of an object captured by each imaging device is processed to issue a notification when an object to be reported exists in the image. 5. A plurality of image recognition apparatuses according to claim 4 to be performed, a plurality of frame buffers connected to each image recognition apparatus for delaying an image output from the image recognition apparatus, and a passing object not to be reported are identified. A passing object detector that notifies the notification postponing signal, a plurality of image display devices that display images of the imaging device and processing results of the image recognition device, the imaging device, the image recognition device, a frame buffer, and a passing object A monitoring system comprising transmission means for transmitting and receiving information between a sensor and an image display device.

The monitoring system according to claim 10, wherein the passing object detector that identifies a passing object that is not a notification target and notifies the notification delay signal is a voice recognition device.

The monitoring system according to claim 10, wherein the passing object detector that identifies a passing object that is not a notification target and notifies the notification delay signal is a magnetic sensor.