JP4171310B2 - 侵入物体検出方法及び侵入物体検出装置 - Google Patents
侵入物体検出方法及び侵入物体検出装置 Download PDFInfo
- Publication number
- JP4171310B2 JP4171310B2 JP2003010130A JP2003010130A JP4171310B2 JP 4171310 B2 JP4171310 B2 JP 4171310B2 JP 2003010130 A JP2003010130 A JP 2003010130A JP 2003010130 A JP2003010130 A JP 2003010130A JP 4171310 B2 JP4171310 B2 JP 4171310B2
- Authority
- JP
- Japan
- Prior art keywords
- mask
- area
- intruding object
- frames
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【発明の属する技術分野】
本発明は、撮像装置を用いた物体監視システムに係り、特に監視対象領域内に侵入した物体を画像信号の処理により自動的に検出するようにした侵入物体検出方法及び侵入物体検出装置に関する。
【0002】
【従来の技術】
TVカメラ(テレビジョンカメラ)などの撮像装置を用いた遠隔モニタ方式の監視システムが従来から広く用いられている。その多くは、監視員がモニタに表示される画像を見ながら監視を行う、いわゆる有人監視方式の監視システムである。しかし、この有人監視方式の監視システムでは、監視員が常時モニタに表示される映像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体をリアルタイムで識別する必要があり、監視員に大きな負担がかかる。人間の集中力には限りがあるため、有人監視方式の監視システムでは、侵入物体の見逃しの発生が無視できず、信頼性の面で問題がある。また、監視カメラの爆発的な普及によって、監視員一人が数多くのカメラ映像を複数のモニタで監視する場面も多くなっており、複数のカメラで同時に侵入者を捉えた場合にも侵入物体の見逃しが発生する可能性がある。
【0003】
そこで、このような人による監視ではなく、TVカメラで撮像された画像から画像処理により侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにした、いわゆる自動検出方式の監視システムが、近年、強く要求されるようになってきている。
【0004】
このようなシステムの実現には、自動監視方式を用い、侵入物体と見なすべき監視対象物体を画像信号から検出する機能が必要となる。このような監視方式の一例に差分法と呼ばれる方法があり、従来から広く用いられている。ここで、この差分法とは、TVカメラで撮像した入力画像を基準となる画像と比較し、各画素毎に輝度値の差分を求め、その差分値を所定のしきい値のもとで判別処理し、差分値がしきい値を越えた領域が現れたとき、それを侵入物体と見なして検出する方法である。ここで差分値を求める際に必要となる基準となる画像として、TVカメラで撮像した画像の中で、検出すべき侵入物体が存在していない画像(基準背景画像と呼ぶ)を使用する方法や、当該入力画像とは別の時刻に撮像された入力画像を使用する方法がある。前者は背景差分法、後者はフレーム間差分法と呼ばれる。
【0005】
ここで、この差分法は入力画像と基準となる画像の違いを判定する方法であるため、検出すべき侵入者以外の動く物体、例えば、木々の揺れ、水たまりに反射する光の揺らぎ、大きな波しぶきなども検出してしまうという問題がある。この問題に関して、従来から、所定の範囲を侵入物体か否かを判定する領域から除外する処理や、所定の範囲内で、映像信号の変化を判定するしきい値を高く設定する、すなわち不感帯領域あるいは低感度領域(マスク領域)として処理する方法が用いられている(例えば、特許文献1参照。)。なお、差分法に限らず、差分法以外の侵入物体検出方法においても、検出すべき侵入物体以外の物体の誤検出を抑制するためにマスク領域を使用する方法が広く使われている。
【0006】
図3を用いて、差分法を用いた場合に生じる、検出すべき侵入物体以外の動く物体を検出してしまうという問題と、この問題に対して従来から用いられているマスク領域による解決方法を説明する。図3(a)に示す斜線領域は、マスク処理をしない場合に差分法で検出される映像信号の変化部分を表す。TVカメラで撮像した監視対象領域には侵入物体の他に木なども映っており、例えば図3(a)に示す場面を監視対象領域とした場合、映像信号の変化部分として斜線領域が検出される。ここで、検出される領域は、侵入物体による変化部分301と木が風で揺れた場合の枝や葉などによる変化部分302である。ここで、枝や葉などによる変化部分302は、検出するべき侵入物体ではないため、自動検出方式の監視システムにおいて検出されてしまうのは好ましくない。この問題に対して、従来より、図3(b)に示すようなマスク領域303を設定し、枝や葉などによる変化部分302のようなマスク領域内の画像信号の変化部分を検出しないようにする処理が行われている。この処理によれば、侵入物体301のみが正確に検出される。
【0007】
しかし、このマスク領域303は、監視システム設置時に設定されるが、時が経つにつれ映像信号中に侵入物体以外の変化部分が現れる場合がある。その例を図3(c)及び図3(d)で説明する。図3(c)は、強い風が吹いた場面を説明するための図で、木の枝や葉などが大きく揺れ、マスク領域303からはみ出した例である。通常、マスク領域303は、木の枝や葉が揺れることを考慮して、木の枝や葉の領域より多少大きめに設定する必要がある。しかし、マスク領域内は、侵入物体を検出できなくなったり、あるいは検出しにくくなるため、マスク領域を適切に設定することが検出性能向上に繋がる。つまり、強い風による木の枝や葉などの大きな揺れをも含むような大きさにマスク領域を設定すれば、木の枝や葉を侵入物体であると誤検出することはなくなる。
【0008】
一方で、マスク領域を大きく設定すればするだけ監視対象領域のうち侵入物体を検出できる領域が少なくなってしまい監視システムの検出性能が低下してしまう。図3(b)においてもマスク領域303は木の枝や葉が揺れることを考慮して、木の枝や葉の領域より多少大きめに設定しているが、必要以上に大きな範囲をマスク領域303と設定してシステムの検出性能が低下しないよう配慮している。そのため、強い風が吹くと木の枝や葉の領域が、マスク領域303からはみ出してしまい、図3(c)に示す映像信号の変化部分304a〜304dのように検出されてしまう。さらに、図3(d)は、木が成長し、木の枝や葉がマスク領域から飛び出した例であるが、この場合にも侵入物体301以外の変化部分305a〜305eを検出してしまう。
【0009】
以上のように、強い風が吹いて木が大きく揺れたり、木が成長する、水たまりに反射する光が揺らぐ、大きな波しぶきが発生するなどの事象が発生した場合に、検出すべき侵入物体以外の物体も検出してしまう場合がある。そこで、従来技術による自動検出方式の監視システムでは、当該監視システム運用開始時に、熟練者(熟練した作業者)によりマスク領域を適切なものに設定するのは当然として、システム稼働中にも、必要に応じて適宜、熟練者が調整を繰り返し行い、常に適切なマスク領域設定のもとで、監視システムの性能を低下させることなく、監視システムを運用するようにしなければならない。
【0010】
【特許文献1】
特開2002−279429号公報(第4、5頁、図2)
【0011】
【発明が解決しようとする課題】
上記従来技術は、マスク領域を適切に設定しなければならない。しかし、屋外環境においては、強い風が吹いて木が大きく揺れる場面や、木が成長するなどといった想定外の事象が発生することが多々ある。このような事象が発生した場合には、検出すべき侵入物体以外の物体を検出してしまうという問題があった。また、このような問題を避けるために、マスク領域を広く設定すると、当該マスク領域内は、侵入物体の検出ができなくなったり、あるいは検出しにくくなったりするという問題もある。このため、従来技術では、前記事象が発生する度に、マスク領域の再設定を行わなければならず、監視システムの性能を低下させることなく、監視システムを運用することが困難となる。さらには、このような監視システムは、世の中から強く要求されている自動検出方式の監視システムのあるべき姿には遠く及ばない。
【0012】
本発明の目的は、侵入物体を画像信号処理により自動的に検出する侵入物体監視方法及び侵入物体検出装置を提供することである。
【0013】
本発明の他の目的は、監視システムの性能を低下させることなく、自動的に監視システムを運用できるようにした侵入物体監視方法及び侵入物体監視装置を提供することである。
【0014】
【課題を解決するための手段】
この目的を達成するため、本発明の発明の侵入物体検出方法は、監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出方法において、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップと、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出するステップおよび上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定するステップとからなる。
【0015】
また、本発明の侵入物体検出方法において、監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出するステップは、上記画像信号の所定の複数フレームの各々について、所定のしきい値以上の画像信号の変化分を検出するステップを含み、画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定するステップは、上記複数フレームの内、上記所定のしきい値以上の上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数を検出するステップからなる。
【0016】
また、本発明の侵入物体検出方法において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップは、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定するステップからなる。
【0017】
また、本発明の侵入物体検出方法において、監視対象領域から得られる画像信号の変化レベルに基づいて設定するステップは、更に、上記画像信号の変化レベルに所定のしきい値を設定するステップと、上記しきい値を変更するステップからなる。
【0018】
また、本発明の侵入物体検出方法において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップは、上記監視対象領域に設定されたマスク領域を所定量膨張させるステップからなる。
【0019】
また、本発明の侵入物体検出方法において、監視対象領域に設定されたマスク領域を所定量膨張させるステップは、上記マスク領域を4近傍膨張処理と8近傍膨張処理を組合わせて所定量膨張させるステップである。
【0020】
また、本発明の侵入物体検出方法において、監視対象領域は検出物体を含み、画像信号の変化分の位置は、上記検出物体の重心位置であり、上記重心位置が上記マスク近傍領域内に含まれるか否かにより検出物体が侵入物体か否かを判定する。
【0021】
さらに、本発明の侵入物体検出装置は、監視対象領域を撮像する撮像装置と、上記撮像装置から得られる映像信号を処理する映像信号処理手段とからなり、監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出装置において、上記映像信号処理手段は、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段と、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出する手段および上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定する判定手段とから構成される。
【0022】
また、本発明の侵入物体検出装置において、監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出手段は、上記画像信号の所定の複数フレームの各々について、所定のしきい値以上の画像信号の変化分を検出する手段を含み、画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定する判定手段は、上記複数フレームの内、上記所定のしきい値以上の上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数を検出する手段からなるように構成される。
【0023】
また、本発明の侵入物体検出装置において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段は、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定する手段を含むように構成される。
【0024】
また、本発明の侵入物体検出装置において、監視対象領域から得られる画像信号の変化レベルに基づいて設定する手段は、更に、上記画像信号の変化レベルに所定のしきい値を設定する手段と、上記しきい値を変更する手段からなるように構成される。
【0025】
また、本発明の侵入物体検出装置において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段は、上記監視対象領域に設定されたマスク領域を所定量膨張させる演算手段からなるように構成される。
【0026】
また、本発明の侵入物体検出装置において、監視対象領域に設定されたマスク領域を所定量膨張させる演算手段は、上記マスク領域を4近傍膨張処理と8近傍膨張処理を組合わせて所定量膨張させる演算手段である。
【0027】
また、本発明の侵入物体検出装置において、監視対象領域は検出物体を含み、上記画像信号の変化分の位置は、検出物体の重心位置であり、上記重心位置が上記マスク近傍領域内に含まれるか否かにより検出物体が侵入物体か否かを判定するように構成される。
【0028】
【発明の実施の形態】
以下、本発明による侵入物体検出方法および侵入物体検出装置について、図示の実施の形態により詳細に説明する。なお、本明細書に記載した実施例では、背景差分法を応用した侵入物体検出方法について記載しているが、これらに限定されるものではない。
【0029】
図2は、本発明の一実施例に係る侵入物体検出装置のブロック図を示す図である。図2に示す侵入物体検出装置において、撮像装置201は、TVカメラ201a、ズームレンズ201b、及び、カメラ雲台(電動旋回台)201cで構成されている。処理装置202は、画像入力部202a、雲台制御部202b、レンズ制御部202c、操作入力部202d、画像メモリ202e、MPU(Micro Processing Unit)202f、ワークメモリ202g、外部入出力部202h、画像出力部202i、警報出力部202j、及び、データバス202kで構成され、これに、操作手段203、外部記憶装置204、画像モニタ205、及び、警告灯206が組合わされている。操作手段203は、ジョイスティック203a、第一のボタン203b、及び、第ニのボタン204cで構成されている。
【0030】
ここで、TVカメラ201aの出力は画像入力部202aを介してデータバス202kに接続され、ズームレンズ201bの制御部はレンズ制御部202cを介してデータバス202kに接続され、TVカメラ201aを搭載するカメラ雲台201cは雲台制御部202bを介してデータバス202kに接続され、操作手段203の出力は操作入力部202dを介してデータバス202kに接続されている。また、外部記憶装置204は外部入出力部202hを介してデータバス202kに接続され、監視用の画像モニタ205は画像出力部202iを介してデータバス202kに接続され、警告灯206は警報出力部202jを介してデータバス202kに接続されている。一方、MPU202fとワークメモリ202gは、そのままデータバス202kに接続されている。
【0031】
また、TVカメラ201aは、監視対象領域を所定の視野内に捉え、監視対象領域撮像して映像信号を出力する。このため、ズームレンズ201bを備え、カメラ雲台201cに搭載されている。そして、撮像された映像信号は、画像入力部202aからデータバス202kを介して画像メモリ202eに蓄積される。外部記憶装置204は、プログラムやデータ(例えば、監視システム設置時に設定されたマスク領域の画像データや基準背景画像)などを記憶する働きをし、プログラムやデータなどが必要に応じて外部入出力部202hを介してワークメモリ202gに読み込まれる。また反対に、ワークメモリ202gに記憶したプログラムやデータなどが必要に応じて外部入出力部202hを介して外部記憶装置204に保存される。
【0032】
MPU202fは、データバス202kを介して接続されている各々の機能を制御して侵入物体検出装置の機能を実現する。具体的にはMPU202fは、外部記憶装置204に保存され、処理装置202の動作時にワークメモリ202gに読み込まれたプログラムに従って処理を実行し、ワークメモリ202g内で画像メモリ202eに蓄積された画像の解析等を行う。そして、この解析結果に応じて、MPU202fは、ズームレンズ201b及びカメラ雲台201cを制御して、TVカメラ201aの撮像視野を変えると共に、必要に応じて監視モニタ205に侵入物体検出結果の画像を表示し、警告灯206を点灯させる働きをする。
【0033】
次に、この実施例の動作について説明する。ここで、以下に説明する実施形態は、図2に示す侵入物体検出装置により動作するもので、本発明の実施形態の動作について、図1により説明する。ここで、図1は、本発明の一実施例に係る処理プロセスを示すフローチャートである。この図1に示す処理プロセスは、まず初期化処理ステップ101から開始され、侵入物体検出装置は自動的に、画像メモリ202e内に確保された画像記録用の画像メモリ領域や、処理プロセスで使用するワークメモリ202g内に確保されたしきい値などの変数、検出物体情報などの記録領域の初期化を実行する。そして、画像メモリ202eは外部記憶装置204に記録したマスク領域の画像データ及び基準背景画像を読み込んで記憶する。
【0034】
次に、マスク近傍領域設定ステップ102について説明する。本発明におけるマスク近傍領域とは、マスク領域の周辺に設定される領域のことで、図4(a)においてはマスク領域402の周辺に点線で示されるようにマスク近傍領域403を設定する。ここで、マスク領域402内は不感帯領域としてマスク処理がなされるが、マスク領域を除くマスク近傍領域403内はマスク処理はされず、通常通り画像処理による侵入物体の検出が可能な領域である。ただし、このマスク近傍領域403内でのみ検出される物体、又は、マスク近傍領域403内で検出される割合が高い物体は侵入物体ではない、つまり図3(c)及び(d)に示すように木の枝や葉などが大きく揺れてマスク領域からはみ出してしまった侵入物体以外の物体であると判定する。
【0035】
このようにマスク領域402の周辺に上記のマスク近傍領域403を設定することで、マスク領域402自体を大きく設定することにより発生する、監視システムの検出性能の低下という事態を防ぐことができる。このマスク近傍領域403の設定をするために、ステップ102では、初期化処理ステップ101で読み込んだマスク領域402に対して後述する膨張演算処理を施し、マスク領域402を膨張させる。そして、その膨張された領域はマスク領域402の周辺部分であるので、その領域をマスク近傍領域403として設定する。
【0036】
この膨張演算処理を図7を用いて説明する。図7は、本発明の一実施例に係る膨張演算処理を実行した場合の処理過程を示す図であり、画素701に対して膨張演算処理を実行している。図7(a)に示す画素701は、マスク領域402の所定の1画素を表している。膨張演算処理では、主に4近傍膨張処理と、8近傍膨張処理の2種類が用いられる。ここで、4近傍膨張処理とは、着目する画素701の上下左右の4画素を、画素701と同じ画素の輝度値にする処理で、その処理結果は図7(b)に示すようになり、着目する画素701は膨張され画素のかたまり702になる。また、8近傍膨張処理とは、着目する画素701の4近傍膨張処理の上下左右の4画素にさらに斜めの4画素を加えた計8画素を、画素701と同じ画素の輝度値にする処理で、その処理結果は図7(c)に示すようになり、着目する画素701は膨張されて画素のかたまり703になる。膨張演算処理は、マスク領域の画像データを走査し、マスク領域として設定されている画素を見つけた場合に、4近傍膨張処理あるいは8近傍膨張処理を実行する。
【0037】
通常、膨張演算処理は、4近傍膨張処理、8近傍膨張処理を交互に複数回実行する。ここで、4近傍膨張処理、8近傍膨張処理を交互に実行する理由を説明する。例えば、図7(a)の画素701に対し4近傍膨張処理のみを3回繰り返すと、上記の通り一回目の処理で図7(a)から図7(b)に示すようになり、さらに図7(b)に示す斜線部分で示される画素のかたまり702の5つの画素それぞれに対して4近傍膨張処理が行なわれる(二回目の処理)。その結果に対してさらに三回目の4近傍膨張処理を行なうと図7(d)に示すようにひし形のかたまり704になるが、これでは、上下左右に偏った膨張になってしまう。一方、同様に図7(a)の画素701に対し8近傍膨張処理のみを3回繰り返すと図7(e)に示すように矩形のかたまり705になり、これでは、右上、左上、右下、左下に偏った膨張になってしまう。
【0038】
そこで、4近傍膨張処理、8近傍膨張処理を交互に3回実行(すなわち、4近傍膨張処理、8近傍膨張処理、4近傍膨張処理と実行)すると、図7(f)に示すように円状に膨張させることができ、マスク領域402の形状に沿った形にマスク近傍領域403を設定することができる。したがって、マスク近傍領域設定ステップ102では、所定回数4近傍膨張処理、8近傍膨張処理を交互に実行することで、マスク領域を膨張させ、膨張させた領域をマスク近傍領域403とし、画像メモリ202eに記録する。なお、膨張処理は必ずしも4近傍膨張処理、8近傍膨張処理を交互に実行する必要は無く、任意の順序で実行してもよい。また、膨張演算処理の他、任意の方式によってマスク領域402の周辺にマスク近傍領域403を設定してもよい。
【0039】
なお、膨張処理の回数は、後述する二値化処理ステップ108における所定値以上の画像信号の変化分を検出するしきい値に依存させるようにする。ここで、しきい値を20とした場合に膨張処理を5回行うのが誤検出を防ぎ侵入物体の検出を精度良く行う上で効果的であることが実験的に確認されているため、例えば、膨張処理回数Nは、N=100÷thで算出する。ここで、thはしきい値を表す。ただし、Nの上限値は10とし、その値より大きくなる場合はN=10とする。ここで、膨張処理回数をしきい値に反比例させる理由は、しきい値を小さくすると検出すべき侵入物体以外の物体の動きによる画像信号の変化分を多く検出するようになってしまうため、この変化分をマスク近傍領域内に含めやすいようにマスク近傍領域を大きく設定する必要があるためである。
【0040】
例えば、しきい値の初期値が20であった場合は、上記の式より膨張処理の回数は5回に設定する。なお、本発明はこれらの数値に限定されるものではなく、上記以外の任意の値に設定してもよい。また、同様に膨張処理の回数についてもしきい値以外の任意の要素、例えば、入力映像信号の輝度レベルに依存させて決定してもよい。なお、膨張演算処理以外の方式によってマスク領域の周辺にマスク近傍領域を設定する場合でも、しきい値等を尺度とし、マスク近傍領域を設定する範囲を定めることができる。
【0041】
次に、画像入力ステップ103では、画像入力部202aを介して、TVカメラ201aで撮像された映像信号を入力し、例えば横方向320画素、高さ方向240画素、1画素当たりデータビット数8(320×240pix、8bit/pix、0〜255階調の輝度値)の入力画像を取得する。この入力画像は、画像メモリ202eに記憶される。なお、TVカメラ201aが、例えば、1秒間に10フレームの撮像を行っている場合には、入力画像としては1秒おき、つまり10フレームおきに映像信号を入力する。
【0042】
次に、感度変更判定ステップ104では、監視員(作業者)による感度変更操作の有無を判定する。このため、操作入力部202dを介して操作手段203から入力される信号を調べ、例えば、ジョイスティックの操作があったか否かを判定する。なお、図2では、操作手段203の例としてジョイスティックが示されているが、キーボードやマウスなどその他の入力手段でも良い。そして、感度変更操作があったときは、感度変更ステップ105へ分岐する。一方、感度変更操作がなかったときは差分処理ステップ107へ分岐する。このときは、感度変更ステップ105と、これに続くマスク近傍領域再設定ステップ106はスキップされる。なお、感度とは、後述する二値化処理ステップ108における所定値以上の画像信号の変化分を検出するしきい値のことである。ただし、感度を高くすることは、より小さな画像変化を検出するためにしきい値を小さくすることを意味する。ここで、監視員は、例えば、強い風による木の枝や葉の揺れ等の侵入物体でない物の検出を確認し、誤認識率が高くなったと感じた場合にジョイスティックの操作を行い、感度を低く(しきい値を高く設定)する。
【0043】
感度変更操作があったとき、感度変更ステップ105では、監視員の操作手段203による操作内容に応じて侵入物体検出の感度を変更する。例えば、操作手段203のジョイスティック203aを上方向に操作した場合は、予めワークメモリ202gに設定されているしきい値を1小さくし(感度が高くなる)、下方向に操作した場合は、しきい値を1大きくする(感度が低くなる)。なお、しきい値の範囲は1〜255とし、ジョイスティック203aの操作により下限値1未満になる場合はしきい値を1とする。また、上限値255より大きくなる場合はしきい値を255とする。ここで、感度を変更する操作として操作手段203のジョイスティック203aを例に挙げたが、操作手段203の第一のボタン203bで感度を下げ、第二のボタン203cで感度を上げるようにしても良い。なお、操作手段203としてジョイスティック以外のものを使用する場合、例えば、それがキーボードであった場合にはカーソルキーの上下に応じて感度を変更したり、マウスであった場合にはマウスのボタンに応じて感度を変更するようにすれば良い。
【0044】
次に、マスク近傍領域再設定ステップ106では、先に説明したマスク近傍領域設定ステップ102と同様に膨張演算処理を実行して、膨張された領域をマスク近傍領域とし、画像メモリ202eに記憶しマスク近傍領域の更新を行う。ここで、膨張処理の回数は、感度変更ステップ105で設定された感度に依存させるようにする。
【0045】
次に、差分処理ステップ107では、画像メモリ202eに記録された入力画像と基準背景画像を画素毎に比較し、それらの差分画像を得る。
【0046】
次に、二値化処理ステップ108では、差分処理ステップ107で得られた差分画像の各画素についてしきい値との比較処理を行う。具体的には、ワークメモリ202gに保持されているしきい値(例えば、20)に応じて、画素の輝度値がしきい値未満の場合は輝度値を“0”とし、画素の輝度値がしきい値以上の場合は輝度値を“255”となるように処理して二値化画像を得る。このようにすると、得られた二値化画像は、画像信号の変化分の位置、すなわち画像処理により検出した物体を表すことになる。
【0047】
次に、マスク処理ステップ109では、図3で説明したマスク処理を行う。具体的には、このマスク処理ステップ109では、二値化処理ステップ108で得られた二値化画像のうち、画像メモリ202e内に記録したマスク領域内で検出した検出物体の画素の輝度値を“255”から“0”に修正し(マスクし)、検出がなかったことにする。このようにすると、二値化画像内で検出される検出物体の内、例えば木の枝や葉が存在する領域内で検出された部分を削除することができる。ステップ109での処理結果を図3(c)で説明すると、マスク領域303内はマスク処理され、符号301、304a、304b、304c、及び、304dで示す斜線領域が検出物体として残る。ここで上記の通り、マスク領域を除くマスク近傍領域内はマスク処理されず、通常通り画像処理による侵入物体の検出が可能になる。
【0048】
次に、ラベリング処理ステップ110では、二値化画像内の“255”画素のかたまりを検出して、各々のかたまりに番号をつけて区別できるようにする。図3(c)では、斜線領域301、304a、304b、304c、及び、304dがそれぞれ“255”画素のかたまりとなる。
【0049】
次に、追跡処理ステップ111では、処理フレーム毎(入力画像毎)に検出される二値化画像内の“255”画素のかたまりの位置変化に基づいて、検出物体を追跡する。この処理を図5により説明する。図5は、本発明の実施の形態に係る連続する処理フレームにわたって二値化画像内に検出された検出物体を追跡している様子を示す図である。図5(a)、図5(b)、図5(c)は、連続する処理フレームで得られた二値化画像を表しており、各々の二値化画像には、検出物体として、検出物体501、502、503、が検出されている。
【0050】
図5(d)は、分かりやすく説明するために、図5(a)、図5(b)、図5(c)の各処理フレームで得られた二値化画像を同一図内に表示したものであり、図5(d)中の検出物体501、502、503の内部の点504、505、506は、各処理フレームにおける検出物体の重心点を表している。検出物体の追跡は、この重心点の位置に基づいて行われ、ある時刻で得られた検出物体の重心点504を起点とし、次の処理フレームで、重心点504にもっとも近い位置の重心点を選ぶ。例えば、図5(f)に示すように、重心点504を検出した処理フレームの次のフレームで505a、505b、505cの3つの重心点を有する検出物体が得られた場合には、重心点504にもっとも近い位置にある重心点505aが選ばれる。
【0051】
この処理を繰り返すことにより、図5(e)に示すように、重心点504は、重心点505に移動し、その後さらに重心点506に移動したと判断できる。すなわち、これが監視対象視野内に映った物体の移動経路となる。なお、図3(c)では、斜線領域301、304a、304b、304c、及び、304dそれぞれについて重心点を求め、検出物体の追跡が行われる。
【0052】
ここで、処理装置202では、二値化画像内の“255”画素のかたまりとして得られる検出物体の情報を図6(a)に示すようなデータとして、ワークメモリ202gに記録する。図6(a)に示す検出物体情報のデータには、検出物体を検出した時刻を表す「検出時刻」、検出物体の重心位置を表す「検出物体の重心位置」、検出物体の二値化画像内での“255”画素の数を表す「検出物体の面積」、検出物体の二値化画像内での“255”画素に外接する矩形の範囲を表す「検出物体の外接矩形」、検出物体の追跡結果を表す「物体軌跡」が含まれる。この「物体軌跡」には、追跡処理ステップ111によって得られた重心点の位置変化が過去Mフレーム分(例えば、100フレーム)記録できるようになっている。
【0053】
例えば、図6(b)に示す追跡例は、物体A、B、CがTVカメラ201aの撮像視野内を移動しているものであり(各検出物体の重心点のみを表示している)、物体Cについては時刻t0では画面から消えていることを示している。ここで、ある時刻t0においては、ワークメモリ202gには検出物体の情報として、物体A、B、Cの3つの検出物体情報のデータが記録されており、物体Aの検出物体情報の「物体軌跡」には、物体Aの追跡結果である時刻t0−1、t0−2、t0−3の過去3フレーム分の重心位置が記録されている。物体B、物体Cについても同様に各追跡結果の重心位置が記録されている。このようにすると、監視対象領域内で検出された検出物体の位置の変化を記録することができる。
【0054】
次に、侵入物体判定ステップ112では、マスク近傍領域設定ステップ102又はマスク近傍領域再設定ステップ106で定めたマスク近傍領域と、追跡処理ステップ111で得られた追跡結果に基づいて、検出物体が検出すべき侵入物体か否かを判定する。例えば、マスク近傍領域内で検出される割合が高い検出物体は侵入物体ではない、つまり図3(c)に示す斜線領域304a、304b、304c、及び、304dのように木の枝や葉などが大きく揺れてマスク領域303からはみ出してしまった侵入物体以外の物体であると判定する。
【0055】
具体的には、ワークメモリ202gに記録された検出物体情報のデータを読み出し、各検出物体の所定の複数フレームにおける重心位置(図6(b)の物体Aであれば、時刻t0、t0−1、t0−2、t0−3の4フレーム分の重心位置)のうち、画像メモリ202e内に記録したマスク近傍領域内に存在するものの個数をNin、マスク近傍領域の外に存在するものの個数をNoutとする。そして、前記フレーム数、すなわち各検出物体の重心位置の総数(図6(b)の物体Aであれば、総数は4)のうち、重心位置がマスク近傍領域内に存在するものの割合、すなわち、Nin÷(Nin+Nout)×100を計算する。例えば、図6(b)の物体Aでは時刻t0、t0−1、t0−2、t0−3の4フレーム分の重心位置のうち時刻t0−1における重心位置のみがマスク近傍領域内に存在するとした場合、Ninは1、Noutは3となり、物体Aでは複数フレームのうち、マスク近傍領域内に重心位置が存在する割合は、Nin÷(Nin+Nout)×100=25%となる。
【0056】
そして、各検出物体の重心位置の総数のうち、マスク近傍領域内に存在するものの割合が所定の割合(例えば80%。この値は実験的に設定可能とする。)以上であった場合には、検出物体は図3(c)に示す斜線領域304a、304b、304c、及び、304dのように木の枝や葉の揺れであり監視対象領域内に侵入した侵入物体ではないと判定する。一方、所定の割合未満で重心位置がマスク近傍領域内で検出される検出物体は、侵入物体であると判定する。例えば、前記物体Aでは25%の割合となるため、侵入物体であると判定される。このような方法により、侵入物体判定ステップ112では侵入物体の有無を判定する。その結果、監視対象領域内に侵入物体が存在すると判定した場合は、警報・モニタ表示ステップ113に分岐し、侵入物体が存在しないと判定した場合は、画像入力ステップ103に戻る。このとき、警報・モニタ表示ステップ113はステップされる。このように、マスク近傍領域を用いた侵入物体判定ステップ112を備えることで、マスク領域を適切な大きさに設定したままで、検出すべき侵入物体以外の物体の誤検出を防ぐことができる。
【0057】
そして、警報・モニタ表示ステップ113では、例えば画像モニタ205に検出した侵入物体の画像を表示し、警告灯206を点灯させ、監視対象領域内に侵入物体が存在することを表す報知が行われる。
【0058】
以上のステップ101〜113の処理プロセスにより、強い風が吹いて木が大きく揺れる場面や、木が成長するなどといったマスク領域設定時に想定していなかった事象が発生したとしても、検出すべき侵入物体以外の物体を検出することなく、侵入物体のみを検出できるようになる。本発明は、例えば図4に表すような場面で有効に機能する。図4(a)は、木の葉の揺れが存在し、その領域をマスク領域402として設定している例である。このとき、強い風が吹いたり、木が成長して木の葉の揺れがマスク領域の外で検出されるようになった場合でも、所定の割合以上マスク近傍領域403内で検出されている限り、侵入物体として誤って判定されることはなく、侵入物体401のような侵入物体のみを正確に検出できる。
【0059】
また、図4(b)は、灯台に近付く侵入者を検出する場面で、テトラポットに打ちつける波の領域をマスク領域406として設定している例である。このとき、海が荒れて波しぶきがあがりマスク領域の外で波が検出されるようになった場合でも、所定の割合以上マスク近傍領域407内で検出されている限り、侵入物体として誤って判定されることはなく、侵入物体404と侵入物体405のような侵入物体のみを正確に検出できる。なお、本発明は、この2つの例以外の場面や、差分法以外の侵入物体検出方法でも、マスク領域を設定して監視対象領域内の侵入物体を検出する方式の監視システムであれば容易に適用できることは言うまでもない。
【0060】
したがって、図1に示すフローチャートの初期化処理ステップ101から追跡処理ステップ111に至る処理により、監視対象領域内に侵入した侵入物体を検出し、警報・モニタ表示ステップ113による警報処理を得るようにした侵入物体監視システムにおいて、マスク近傍領域設定ステップ102及びマスク近傍領域再設定ステップ106によってマスク近傍領域を設定し、侵入物体判定ステップ112によって逐次検出される検出物体が当該マスク近傍領域内に存在するか否かを判定することにより、マスク領域の近くでのみ検出される検出物体と、そうでない検出物体を区別することができる。
【0061】
【発明の効果】
以上詳述したように本発明では、侵入物体を画像信号処理により自動的に検出する侵入物体監視方法及び侵入物体検出装置を提供することができる。
【0062】
また本発明では、監視システムの性能を低下させることなく、自動的に監視システムを運用できるようにした侵入物体監視方法及び侵入物体監視装置を提供することができる。
【0063】
さらにまた本発明では、強い風が吹いて木が大きく揺れる場面や、木が成長するなどといったマスク領域設定時に想定していなかった事象が発生したとしても、検出すべき侵入物体以外の物体を誤検出することなく、侵入物体のみを検出することができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る処理プロセスを示すフローチャートである。
【図2】本発明の一実施例に係る侵入物体検出装置のハードウエア構成を示す図である。
【図3】差分法による物体検出動作の問題点を説明するための図である。
【図4】本発明の一実施例に係る適用場面を示す図である。
【図5】本発明の一実施例に係る連続する処理フレームにわたって二値化画像内に検出された検出物体を追跡している様子を示す図である。
【図6】本発明の一実施例に係る検出物体の情報を示す図である。
【図7】本発明の一実施例に係る膨張演算処理を実行した場合の処理過程を示す図である。
【符号の説明】
201:撮像装置、201a:TVカメラ、201b:ズームレンズ、201c:カメラ雲台、202:処理装置、202a:画像入力部、202b:雲台制御部、202c:レンズ制御部、202d:操作入力部、202e:画像メモリ、202f:MPU(Micro Processing Unit)、203g:ワークメモリ、202h:外部入出力部、202i:画像出力部、202j:警報出力部、202k:データバス、203:操作手段、203a:ジョイスティック、203b:第一のボタン、203c:第二のボタン、204:外部記憶装置、205:出力モニタ、206:警告灯
Claims (9)
- 監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出方法において、
上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップと、
上記監視対象領域から得られる所定の複数フレームの各々の画像信号について、所定のしきい値以上の画像信号の変化分を検出するステップと、
上記所定の複数フレームにおいて、上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数Ninを判定するステップと、
上記フレーム数Ninに基づいて、上記画像信号の変化分が侵入物体であるか否かを判定するステップと、を有することを特徴とする侵入物体検出方法。 - 請求項2記載の侵入物体検出方法において、前記検出された画像信号の変化分のかたまりをラベリングするステップと、前記ラベリングされたかたまりの重心を追跡し、追跡結果を過去複数フレーム分記録するステップと、を更に備え、
前記フレーム数Ninを判定するステップは、前記重心の位置が上記マスク近傍領域内に存在するフレーム数を前記フレーム数Ninとするとともに、重心の位置が上記マスク近傍領域の外に存在するフレーム数をフレーム数Noutと判定するものであり、
前記物体であるか否かを判定するステップは、前記Ninと前記Noutの割合が所定の割合未満で検出された前記変化分を、侵入物体であると判定するものであることを特徴とする侵入物体検出方法。 - 請求項1記載の侵入物体検出方法において、上記近傍領域設定ステップは、上記画像信号の変化分を検出するためのしきい値に基づいて上記マスク領域を膨張させた領域を前記マスク近傍領域として設定することを特徴とする侵入物体検出方法。
- 請求項3記載の侵入物体検出方法において、監視員による感度変更操作があったときに操作内容に応じて前記しきい値を変更するステップを更に備えたことを特徴とする侵入物体検出方法。
- 請求項3記載の侵入物体検出方法において、上記マスク近傍領域設定ステップは、上記マスク領域を上記しきい値に依存する回数だけ膨張処理した領域をマスク近傍領域として設定することを特徴とする侵入物体検出方法。
- 請求項5記載の侵入物体検出方法において、上記膨張処理は、4近傍膨張処理と8近傍膨張処理を交互に繰り返して行うことを特徴とする侵入物体検出方法。
- 請求項5記載の侵入物体検出方法において、前記膨張処理する回数は、前記しきい値に反比例するように設定することを特徴とする侵入物体検出方法。
- 監視対象領域を撮像する撮像装置と、上記撮像装置から得られる映像信号を処理する映像信号処理手段とを有し、監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出装置において、
上記映像信号処理手段は、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段と、上記監視対象領域から得られる所定の複数フレームの各々の画像信号について、所定のしきい値以上の画像信号の変化分を検出する手段と、上記所定の複数フレームにおいて上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数Nin基づいて、上記画像信号の変化分が侵入物体であるか否かを判定する判定手段と、を設けたことを特徴とする侵入物体検出装置。 - 請求項8記載の侵入物体検出装置において、前記検出された画像信号の変化分のかたまりをラベリングするラベリング手段と、前記ラベリングされたかたまりの重心を追跡し、追跡結果を過去複数フレーム分記録する追跡手段と、を更に備え、
前記判定手段は、前記重心の位置が上記マスク近傍領域内に存在するフレーム数を前記フレーム数Ninとするとともに、重心の位置が上記マスク近傍領域の外に存在するフレーム数をフレーム数Noutとし、前記Ninと前記Noutの割合が所定の割合未満で検出された前記変化分を、侵入物体であると判定するものであることを特徴とする侵入物体検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003010130A JP4171310B2 (ja) | 2003-01-17 | 2003-01-17 | 侵入物体検出方法及び侵入物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003010130A JP4171310B2 (ja) | 2003-01-17 | 2003-01-17 | 侵入物体検出方法及び侵入物体検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004222200A JP2004222200A (ja) | 2004-08-05 |
JP4171310B2 true JP4171310B2 (ja) | 2008-10-22 |
Family
ID=32899428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003010130A Expired - Fee Related JP4171310B2 (ja) | 2003-01-17 | 2003-01-17 | 侵入物体検出方法及び侵入物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4171310B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012027616A (ja) * | 2010-07-21 | 2012-02-09 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9210312B2 (en) | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
JP4702184B2 (ja) * | 2006-05-29 | 2011-06-15 | パナソニック電工株式会社 | 監視カメラ装置 |
JP4650346B2 (ja) * | 2006-05-29 | 2011-03-16 | パナソニック電工株式会社 | 監視カメラ装置 |
JP2010009134A (ja) | 2008-06-24 | 2010-01-14 | Sony Corp | 画像処理システム及び画像処理方法、並びに、プログラム |
JP5192324B2 (ja) * | 2008-09-01 | 2013-05-08 | 日立オムロンターミナルソリューションズ株式会社 | 監視システム及び自動取引装置 |
JP5709367B2 (ja) * | 2009-10-23 | 2015-04-30 | キヤノン株式会社 | 画像処理装置、および画像処理方法 |
US9041800B2 (en) | 2009-12-30 | 2015-05-26 | Robert Bosch Gmbh | Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking |
JP5573387B2 (ja) * | 2010-06-10 | 2014-08-20 | 富士通株式会社 | 監視装置、監視プログラム及び監視方法 |
JP5679760B2 (ja) * | 2010-10-18 | 2015-03-04 | セコム株式会社 | 侵入物体検出装置 |
JP5631249B2 (ja) * | 2011-03-30 | 2014-11-26 | セコム株式会社 | 複合型センサ及び無監視ゾーン判定装置 |
JPWO2022172522A1 (ja) * | 2021-02-15 | 2022-08-18 |
-
2003
- 2003-01-17 JP JP2003010130A patent/JP4171310B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012027616A (ja) * | 2010-07-21 | 2012-02-09 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
US8923553B2 (en) | 2010-07-21 | 2014-12-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2004222200A (ja) | 2004-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5241782B2 (ja) | カメラ異常検出装置を有する監視カメラシステム | |
KR101945194B1 (ko) | 화상처리장치, 화상처리방법, 및 프로그램 | |
KR100476019B1 (ko) | 침입물체검출용 감시방법 및 침입물체검출용 감시장치 | |
US7596240B2 (en) | Object tracking method and object tracking apparatus | |
US9041800B2 (en) | Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking | |
JP4803376B2 (ja) | カメラ妨害検知方式 | |
US20160142680A1 (en) | Image processing apparatus, image processing method, and storage medium | |
KR101191844B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
JP4171310B2 (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
JP2008241707A (ja) | 自動監視システム | |
KR20190016900A (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
US10937124B2 (en) | Information processing device, system, information processing method, and storage medium | |
KR100623835B1 (ko) | 물체 검출 방법 및 물체 검출 장치 | |
JP4776324B2 (ja) | 監視端末装置 | |
JP2007018324A (ja) | 画像処理による侵入物体検出装置および方法およびプログラム | |
US20160267356A1 (en) | Image processing apparatus and image processing method of performing image segmentation | |
JP4572190B2 (ja) | 物体検出装置 | |
JPH0779429A (ja) | 画像監視装置 | |
US20200327329A1 (en) | Monitoring system | |
JP5710230B2 (ja) | 監視システムおよび監視方法 | |
JP3625442B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
JP2002279429A (ja) | 侵入物体検出方法 | |
JPH0514891A (ja) | 画像監視装置 | |
JP6766009B2 (ja) | 監視装置、監視方法、コンピュータプログラム、及び記憶媒体 | |
KR100994418B1 (ko) | 건물의 침입 감지를 위한 촬영 이미지 처리 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4171310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140815 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |