JP3647030B2 - 物体検出方法及び物体検出装置及び物体検出プログラム - Google Patents
物体検出方法及び物体検出装置及び物体検出プログラム Download PDFInfo
- Publication number
- JP3647030B2 JP3647030B2 JP2001262854A JP2001262854A JP3647030B2 JP 3647030 B2 JP3647030 B2 JP 3647030B2 JP 2001262854 A JP2001262854 A JP 2001262854A JP 2001262854 A JP2001262854 A JP 2001262854A JP 3647030 B2 JP3647030 B2 JP 3647030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging device
- reference background
- frame
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 91
- 238000003384 imaging method Methods 0.000 claims description 184
- 238000012544 monitoring process Methods 0.000 claims description 78
- 238000012545 processing Methods 0.000 claims description 62
- 230000037433 frameshift Effects 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 10
- 238000003702 image correction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000012806 monitoring device Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた物体検出に係り、特に撮像装置の撮像視野を変化させながら撮像視野内の侵入物体を自動的に検出する物体検出方法及び物体検出装置並びに侵入物体監視装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた侵入物体検出装置は、従来から広く用いられている。しかし、近年、このような侵入物体検出装置において、その監視視野領域内に入り込んでくる人間や自動車（車輌）などの侵入物体の検出を、モニタに表示される画像を見ながら行う有人監視によるものではなく、撮像装置から入力される画像信号から侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにした侵入物体検出装置が要求されるようになってきている。
【０００３】
このような侵入物体検出装置を実現するためには、先ず、撮像装置から得られた入力画像と基準背景画像（即ち、検出すべき侵入物体が写っていない画像）とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を侵入物体として検出する。この方法は、差分法と呼ばれ、従来から広く用いられている。
【０００４】
差分法の処理を図９によって説明する。図９は差分法における物体検出の処理原理を説明するための図で、901 は入力画像、902 は基準背景画像、903 は差分画像、904 は差分画像 903 の二値化画像、905 は減算器、906 は二値化器、907は入力画像 901 内に撮像された人型の物体、908 は差分によって生じた領域、909 は差分によって生じた領域 908 を二値化処理した時の輝度値“ 255 ”のかたまりの画像である。
【０００５】
図９において、減算器 905 は入力画像 901 と基準背景画像 902 との画素毎の輝度値の差分を計算し差分画像 903 を出力する。差分画像 903 の中には、例えば、入力画像 901 内に撮像された人型の物体 907 を基準背景画像 902 と入力画像 901 との間で差分が生じた領域 908 として二値化器 906 に与える。
【０００６】
二値化器 906 は差分画像 903 の画素毎の輝度値が所定のしきい値 Th 未満の輝度値を“ 0 ”、しきい値 Th 以上の画素の輝度値を“ 255 ”（１画素の輝度値を８ビットで計算）として二値化画像 904 を得る。これによって、入力画像 901 に写った人型の物体 907 は、減算器 905 によって差分が生じた領域 908 として計算され、二値化器 906 によって輝度値“ 255 ”となる画素のかたまりを表す画像 909 として検出される。
【０００７】
【発明が解決しようとする課題】
前述の従来技術における差分法のように入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法では、予め検出すべき侵入物体が写っていない基準背景画像を準備しておくことが必要だが、撮像装置のズームレンズのズーム設定や撮像方向を変えたり、撮像装置自身を移動したりしてカメラの視野が変化し、基準背景画像と異なる視野角、または視野方向となる場合には、予め準備しておいた基準背景画像を使うことができない。従って、この場合には、差分法のような入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法を適用することができないという問題が起こる。また、もし、基準背景画像を作り直すとしても、その間は物体検出が行えなくなってしまうという問題が発生する。従って、差分法のような入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法による従来の侵入物体検出方法では、撮像装置のズーム設定や撮像方向を変更しながら、あるいは撮像装置自身を移動しながらの侵入物体の検出は実質的に不可能であった。
本発明の目的は、上記のような欠点を除去し、撮像装置のズーム設定や撮像方向を変更しても侵入物体を検出することができる信頼性の高い物体検出方法及び物体検出装置並びに侵入物体監視装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体検出方法は、撮像装置からの画像信号に基準背景画像に対する差分処理を行って所定監視区域内の、基準背景画像に存在しない物体を検出する物体検出方法において、物体が存在しない所定監視区域を撮像装置で走査して予め基準背景画像群を記憶装置に記録しておき、監視時、撮像装置で所定監視区域を走査しながら撮像装置からフレーム単位で画像を逐次出力し、撮像装置からの画像に対応する基準背景画像を基準背景画像群から選択し、撮像装置からの画像とその画像に対応する基準背景画像との差分処理を行い、差分処理の結果に基づき物体検出処理を行なうものである。
【０００９】
上記の目的を達成するために、本発明の一側面による所定監視区域内の物体を検出する物体検出方法は、以下のステップを備える。
物体が存在しない所定監視区域の異なる場所を所定時刻に撮像装置で撮像し、検出すべき物体が写っていない前記異なる場所に対応するそれぞれの撮像画像を複数登録し、前記時刻とは異なる時刻に前記撮像装置で前記所定監視区域を撮像し、前記撮像装置からの画像と該画像に対応する登録画像とを比較し、該比較の結果に基づき物体検出処理をする。
一実施例において、前記登録画像は基準背景画像であり、前記比較ステップは、前記撮像装置からの画像と前記基準背景画像の中の所定画像との差分処理によって行う。
【００１０】
この物体検出方法は、前記撮像装置からの画像とそれに対応する基準背景画像との間の位置ズレを検出し、かつ検出した位置ズレに応じて前記撮像装置からの画像を補正するステップを有し、該補正された画像とそれに対応する前記基準背景画像との間に前記差分処理を実行することを好ましい特徴とする。
具体的には、撮像装置を移動すると、撮像装置が揺れて位置ズレが発生し、そのため、撮像装置からの画像と基準背景画像との間にも位置ズレが発生する。この位置ズレが物体検出時、即ち、差分処理等の画像比較処理以降の処理において物体として誤検出される。この位置ズレを除去するため、好ましくは、前記位置ズレを検出するステップは、前記撮像装置からの画像とそれに対応する前記基準背景画像との間にテンプレートマッチングを行って位置ズレを検出するテンプレートマッチングステップを含む。
【００１１】
一実施例において、前記テンプレートマッチングステップは、前記基準背景画像上に複数の区画を設定し、各区画の画像をテンプレートとして用いて前記画像に対してテンプレートマッチングを行い、検出された位置ズレの平均を前記位置ズレとする。
【００１２】
上記物体検出方法は、前記撮像装置からの画像のフレームと前記対応する基準背景画像のフレームとの間のフレームズレを検出するフレームズレ検出ステップを有し、フレームズレがある場合、別の基準背景画像を選択するようにすることを別の好ましい特徴とする。
即ち、差分処理等の画像比較処理以降の処理を実行する際、適切な基準背景画像を選択することが重要である。基準背景画像群（即ち、予め登録された複数の基準背景画像）から適切な基準背景画像が選択されず、従ってフレームズレが発生すると、撮像装置からの画像と選択した基準背景画像との間で背景画像部分にズレが生じ、物体検出時、即ち、差分処理等の画像比較処理以降の処理において物体として検出されることによって誤検出が生じる。この位置ズレを除去するため、好ましくは、前記フレームズレ検出ステップは、前記撮像装置からの画像と前記対応する基準背景画像との間にテンプレートマッチングを行いフレームズレを検出するテンプレートマッチングステップを含む。
【００１３】
一実施例において、前記テンプレートマッチングステップは、前記対応する基準背景画像上に複数の区画を設定し、各区画の画像をテンプレートとして用いて前記画像に対してテンプレートマッチングを行い、検出されたフレームズレ情報に応じて前記基準背景画像のフレームより時間的に前のまたは後のフレームの基準背景画像を選択するようにする。
代替例として、前記フレームズレ検出ステップは、前記撮像装置の位置と撮像視野情報の少なくとも１つに基づき前記フレームズレを補正することを更なる好ましい特徴とする。
一実施例において、前記撮像装置の特定の位置と該位置に対応する基準背景画像の特定のフレームとを予め対応させておき、前記撮像装置が前記特定の位置にきたときに、前記特定のフレームの基準背景画像を用いて前記フレームずれを補正する。
一実施例において、前記撮像視野情報は、前記所定の監視視野内の特定物体を目印として含み、該目印と該目印に対応する特定のフレームの基準背景画像とを予め対応させておき、前記撮像装置が前記目印を撮像したときに、前記特定のフレームの基準背景画像を用いて前記フレームズレを補正する。
【００１４】
上記物体検出方法は、前記基準背景画像を更新するステップを有し、前記基準背景画像の少なくとも１つを更新することを更なる好ましい特徴とする。
一実施例において、前記更新するステップは、前記物体検出処理ステップにおいて前記画像中に物体が検出されなかったとき、前記対応する基準背景画像を前記画像で更新する。
【００１５】
本発明の別の側面による、所定監視区域内の物体を検出する物体検出方法は、以下のステップを備える。
前記物体が存在しない前記所定監視区域の異なる場所を所定時刻に前記撮像装置で所定の走査パターンに従って撮像して予め基準背景画像群を記憶装置に登録し、前記撮像装置により前記所定監視区域を前記所定の走査パターンと実質的に同様にして撮像し、かつ前記記憶装置に記憶された前記基準背景画像群の所定の画像を同期して読み出し、前記撮像装置からの画像と読み出した基準背景画像との間で差分処理を行い、前記差分処理の結果に基づき物体検出処理をする。
【００１６】
前記所定の走査パターンは、例えば、前記撮像装置のズームレンズのズーム比、撮像方向、撮像装置の移動経路のうちの少なくとも１つ、または２つ以上の組合せ、の所定の時間的変化を含む。
一実施例において、前記所定の走査パターンは、撮像装置が所定の移動経路に沿って、所定の速度プロファイルで移動するパターンである。
別の実施例において、前記所定の走査パターンは、撮像装置の位置は固定で、前記撮像装置のズーム比と、撮像方向とが周期的に変化するパターンを含む。
前記基準背景画像群は、前記物体が存在しない前記所定監視区域を前記撮像装置で前記所定の走査パターンに従って走査して該撮像装置から出力される画像を所定のサンプリング間隔でサンプリングして得た画像の集合であり、前記登録ステップでは、前記基準背景画像群の各々の基準背景画像に撮像順またはサンプリング順にフレーム番号を付して登録し、前記撮像するステップでは、該フレーム番号を用いて前記撮像装置での撮像と前記記憶装置からの基準背景画像の読み出しとを同期して行い、以って、前記撮像装置からの前記画像に対応する基準背景画像を前記基準背景画像群から選択することを別の好ましい特徴とする。
【００１７】
一実施例において、前記監視開始から現在までの経過時間と前記所定サンプリング間隔との関係から前記対応する基準背景画像のフレーム番号を算出し、該算出したフレーム番号を用いて前記撮像装置での撮像と前記記憶装置からの基準背景画像の読出しとの同期をとる。
前記撮像装置からの前記画像と前記選択された基準背景画像との間のフレームズレを検出するフレームズレ検出ステップを有し、フレームズレがある場合、別の基準背景画像を選択するようにすることを好ましい別の特徴とする。
前記フレームズレ検出ステップは、前記撮像装置からの前記画像と前記読み出した基準背景画像との間の空間的位置ズレを検出して、検出した空間的位置ズレに応じて前記読み出した基準背景画像の画像を補正するステップを有し、該補正された画像を用いて前記差分処理を行うことを更に別の好ましい特徴とする。
また、前記フレームズレ検出ステップは、前記撮像装置からの前記画像と前記選択した基準背景画像との間のテンプレートマッチングを行いフレームズレを検出するテンプレートマッチングステップを含むことを更に別の好ましい特徴とする。
前記テンプレートマッチングステップは、前記選択した基準背景画像上に複数の区画を設定し、各区画の画像をテンプレートとして用いて前記画像に対してテンプレートマッチングを行い、検出された位置ズレ情報に応じて前記選択した基準背景画像より時間的に前のまたは後の基準背景画像を選択するようにすることを別の好ましい特徴とする。
前記フレームズレ検出ステップは、前記撮像装置の位置と撮像視野情報の少なくとも１つに基づき前記フレームズレを補正することを更に別の好ましい特徴とする。
前記フレームズレ検出ステップは、前記撮像装置の特定の位置と該位置に対応する基準背景画像の特定のフレーム番号とを予め対応させておき、前記撮像装置が前記特定の位置にきたときに、該特定のフレーム番号を用いて前記フレームズレを補正することを更に別の好ましい特徴とする。
前記撮像視野情報は、前記所定監視区域内の特定物体を目印として含み、該目印と該目印に対応する特定のフレームの基準背景画像とを予め対応させておき、前記撮像装置が前記目印を撮像したときに、前記特定のフレーム番号を用いて前記フレームズレを補正することを更に別の好ましい特徴とする。
また物体検出方法は更に、前記撮像装置からの前記画像と前記読み出した基準背景画像との間に空間的位置ズレを検出して検出した空間的位置ズレに応じて前記読み出した画像を補正するステップを有し、該補正された画像を用いて前記差分処理を行うことを更に別の好ましい特徴とする。
【００１８】
本発明の更に別の側面による所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて、該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU（ Central Processing Unit ）とメモリとを含み前記画像信号を処理する処理手段と、前記画像入力インターフェースと前記処理手段とを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置から画像を逐次前記メモリに記憶し、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、該入力画像に対応する前記記憶されている画像を前記メモリから読み出し、前記入力画像と前記読み出された画像とを比較し、該比較の結果に基づき物体検出をするように、前記物体を検出するため前記物体検出装置を制御する。
【００１９】
別の実施例において、前記撮像装置は移動装置上に搭載される。
一実施例において、前記移動装置は移動体を含む。
別の実施例において、前記移動装置は雲台を含む。
本発明の更に別の側面による、所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU とメモリとを含み前記画像信号を処理する処理手段と、前記画像入力インターフェースと前記処理手段とを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置からの画像が基準背景画像群に含まれる１つの基準背景画像として予め前記メモリに記憶され、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、該入力画像の撮像と同期して前記基準背景画像が前記メモリから読み出だされ、前記入力画像と前記読み出された基準背景画像との画素毎の画素値の差分値が算出され、該差分値の大きい領域が前記物体として検出されるように、前記物体を検出するため前記物体検出装置を制御する。
【００２０】
本発明の更に別の側面による所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU とメモリとを含み前記画像信号を処理する処理手段と、監視モニタと、前記画像入力インターフェースと前記処理手段とを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置からの n 番目の画像が基準背景画像群として予め前記メモリに記憶され、n は 1 以上の整数であり、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、該入力画像に対応する基準背景画像が前記メモリから読み出だされ、前記入力画像と前記読み出された該入力画像に対応する基準背景画像との画素毎の画素値の差分値が算出され、該差分値の大きい領域が前記侵入物体として検出され、前記監視モニタに表示されるように、前記物体を検出するため前記物体検出装置を制御する。
【００２１】
本発明の更に別の側面による所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU とメモリとを含み前記画像信号を処理する処理手段と、監視モニタと、前記画像入力インターフェースと前記処理手段と前記監視モニタとを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置からの n 番目毎の画像が基準背景画像群として予め前記メモリに記憶され、n は 1 以上の整数であり、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、前記入力画像の撮像と同期して前記基準背景画像群が前記メモリから読み出だされ、前記入力画像と前記読み出された基準背景画像との画素毎の画素値の差分値が算出され、該差分値の大きい領域が前記物体として検出され、前記監視モニタに表示されるように、前記物体を検出するため前記物体検出装置を制御する。
【００２２】
【発明の実施の形態】
以下、本発明の実施例を図面を用いて説明する。全図面を通して同様な構成要素には同様な参照符号を付す。
本発明の侵入物体監視装置の一実施例を図２によって説明する。図２は、侵入物体監視装置のハードウエア構成を示すブロック構成図である。
201 はテレビジョンカメラ（以下 TV カメラと呼ぶ）、202 は雲台、203 はズームレンズ、204 は画像入力 I/F 、205 は画像出力 I/F 、216 は監視モニタ、215 はデータバス、206 は通信 I/F 、213 は雲台制御装置、214 はズーム制御装置、207 は出力 I/F 、217 は警告灯、208 は CPU（ Central Processing Unit ）、209 は画像メモリ、210 はプログラムメモリ、211 はワークメモリ、212 は外部記憶装置である。 TV カメラ 201 は雲台 202 に設置され、 TV カメラ 201 はズームレンズ 203 を備え、雲台 202 は雲台制御装置 213 に接続され、ズームレンズ 203 はズーム制御装置 214 に接続され、雲台制御装置 213 及びズーム制御装置 214 は通信 I/F 206 に接続され、TV カメラ 201 は画像入力 I/F 204 に接続され、監視モニタ 216 は画像出力 I/F 205 に接続され、警告灯 217 は出力 I/F 207 に接続されている。また、画像入力I/F 204、画像出力I/F 205、通信I/F 206、出力I/F 207、CPU 208、画像メモリ 209 、プログラムメモリ 210 、ワークメモリ 211 及び外部記憶装置 212 は、データバス 215 に接続されている。
【００２３】
図２において、TV カメラ 201 は、監視対象区域を含めた撮像視野内を撮像する。侵入物体監視装置は、例えば、雲台 202 ズームレンズ 203 を操作して、TVカメラ 201 で監視対象区域全体を走査することにより監視対象区域全体を撮像する。
雲台 202 は、雲台制御装置 213 の雲台制御信号によって TV カメラ 201 の撮像方向を変え、ズームレンズ 203 はズーム制御装置 214 のズーム制御信号によってズームレンズのズーム比を変える。
TV カメラ 201 は、撮像した画像を映像信号に変換し、変換された映像信号（画像データ）を画像入力 I/F 204 に入力する。画像入力 I/F 204 は、入力した画像データを侵入物体監視装置で扱うフォーマット（例えば、幅 320 pix 、高さ 240 pix 、8 bit/pix ）の画像データに変換し、データバス 215 を介して画像メモリ 209 に送る。画像メモリ 209 は、送られてきた画像データを蓄積する。また、蓄積する画像データの量に応じて画像データを画像メモリ 209 から外部記憶装置 212 に移し替える。
CPU 208 はプログラムメモリ 210 に保存されているプログラムに従って、ワークメモリ 211 内で画像メモリ 209 に蓄積された画像の解析を行う。
【００２４】
上記解析の結果、もし TV カメラ 201 の撮像視野内に侵入物体が侵入したこと及びその関連の情報を得ると、CPU 208 は、処理結果または所定の雲台制御信号またはズーム制御信号に応じて、データバス 215 から通信 I/F 206 を介して雲台制御装置 213 に雲台制御信号を送信させ、また、通信 I/F 206 を介してズーム制御装置 214 にズーム制御信号を送信させる。
更に CPU 208 は、画像出力 I/F 205 を介して監視モニタ 216 に、例えば処理結果画像を表示し、出力 I/F 207 を介して警告灯 217 を点灯する。通信 I/F 206 は、CPU 208 からの信号を雲台制御装置 213 及びズーム制御装置 214 が認識できるフォーマット（例えば、RS-232C 通信信号）に変換し、雲台 202 のパン・チルトモータやズームレンズ 203 のズーム比を制御する。
また、画像出力 I/F 205 は、CPU 208 からの信号を監視モニタ 216 が使用できるフォーマット（例えば、NTSC 映像信号）に変換して、監視モニタ 216 に送る。監視モニタ 216 は、例えば侵入物体検出結果画像を表示する。
【００２５】
図３は本発明の一実施例の処理動作を示すフローチャートの一例である。図３のフローチャートで示す処理動作は、図２に示した侵入物体監視装置を用いて実行される。この第１の実施例は、画像メモリ 209 あるいは外部記憶装置 212 に記憶されている基準背景画像群、即ち、複数の基準背景画像信号（基準背景動画像または複数のフレームの基準背景画像）の中から、監視視野内を撮像して得られる入力画像に対応する基準背景画像を選択し、図９で説明した差分法によって TV カメラ 201 の視野内に侵入した物体を検出する方法である。
【００２６】
上記基準背景画像群、即ち、複数の基準背景画像は、後述のように、所定の走査パターンに従って TV カメラ 201 を移動させながらあるいは雲台でその撮像方向を変えながら TV カメラ 201 で検出対象物体が存在しない監視対象区域を走査して監視装置の監視視野を次々と変えて撮像することによって得ることができる。
「所定の走査パターン」とは、TV カメラ 201 を移動させる際の所定の軌道や所定の撮像方向の変化を含めた時間経過に伴う撮像条件の変化パターンのことである。
所定の走査パターンには、更に、TV カメラ 201 のズームレンズのズーム比を時間と共に変える際の所定のズーム比変化パターンを含む場合がある。
尚、以下の説明で、「所定の走査パターンに従って TV カメラ 201 を移動させあるいは雲台でその撮像方向を変えながら TV カメラ 201 で監視対象区域を走査して監視装置の監視視野を次々に変えること」を簡単に「監視装置の所定の視野変化」という。
【００２７】
図３において、先ず、基準背景動画像初期化ステップ 300 では、基準背景画像、即ち、基準背景画像群の初期化を行う。この処理を図１０を用いて説明する。図１０は、基準背景動画像初期化ステップ 300 の処理の流れを表すフローチャートである。
先ず、基準背景動画像追加登録必要性判定ステップ 1001 では、ワークメモリ 211 あるいは外部記憶装置 212 に記憶されている基準背景画像群が監視装置の所定の監視視野変化に対する全ての基準背景画像を保持しているか否かを判定する。
そして、基準背景画像群が全ての基準背景画像を保持している場合（予め監視装置の所定の監視視野変化に対する基準背景画像群を登録している場合）には、基準背景画像群の追加登録は必要ないものとして基準背景動画像初期化ステップ 300 の処理を終了する（画像入力ステップ 301 へ進む）。
また、基準背景画像群を全く保持していない、あるいは一部しか保持していない場合には、基準背景画像群の追加登録が必要であるとして、フレーム番号算出ステップ 1002 へ分岐する。
【００２８】
フレーム番号算出ステップ 1002 では、追加すべき基準背景画像のフレーム番号を算出する。フレーム番号は、入力画像と基準背景画像群の中に保持されている基準背景画像との同期をとるために使用され、監視開始時刻のフレーム番号を、例えば、frame = 0 として表現する。
基準背景画像群内の基準背景画像を所定のサンプリング間隔（例えば、毎秒 30 フレーム）で保持するときには、フレーム番号が 300 であった場合、監視開始時刻から 10 秒経過していることを表す。即ち、監視開始時刻から 10 秒経過した入力画像に対応する基準背景画像のフレーム番号は、frame = 300 となる。
【００２９】
フレーム番号算出ステップ 1002 では、例えば、基準背景画像群が基準背景画像を全く保持していないときには、frame = 0（監視装置の所定の監視視野変化の開始点（監視開始時刻時点の監視視野に相当）を表す）とする。
また、基準背景画像群が基準背景画像を一部（例えば、10 フレーム）保持しているときには、監視装置の所定の監視視野変化の開始点から、10 フレーム経過していることを表し、frame = 10 とする。
次に、基準背景画像取得ステップ 1003 では、撮像装置 201 より、例えば 320×240 画素の入力画像を得る。
更に、基準背景動画像追加登録ステップ 1004 では、基準背景画像取得ステップ 1003 で得られた入力画像をワークメモリ 211 または外部記憶装置 212 に記憶されている基準背景動画像に追加登録する。
追加登録完了判定ステップ 1005 では、基準背景動画像に監視装置の所定の監視視野変化に対する全ての基準背景画像の追加登録が完了した場合には基準背景動画像の初期化処理を終了し（画像入力ステップ 301 へ復帰し）、追加登録が完了してない場合にはフレーム番号算出ステップ 1002 へ分岐する。
【００３０】
図３に戻り、画像入力ステップ 301 では、TV カメラ 201 によって撮像される入力映像信号を、例えば 320 × 240 画素の入力画像 901 として得る。
次に基準背景画像選択ステップ 302 では、画像入力ステップ 301 によって得られた入力画像 901 に対応する同じかまたは最も近い画角の基準背景画像 902 を複数の基準背景画像または基準背景画像群から選択する。
【００３１】
本実施例では、複数の基準背景画像（即ち、基準背景画像群）の中から対応する基準背景画像を選択するために、フレーム番号（ frame ）による入力画像と基準背景画像の同期の管理を行なっている。フレーム番号は、監視開始時刻を例えば frame=0 と定め、監視開始時刻からの経過時間に合せて基準背景画像群のサンプリング間隔毎に増加する。即ち、例えば、基準背景画像群が毎秒 30 フレームでサンプリングされた基準背景画像を保持している場合には、フレーム番号は 1 秒あたり 30 増加する。基準背景動画像初期化ステップ 300 において、基準背景画像群は、監視装置の所定の監視視野変化の開始点（監視開始時刻時点の監視視野に相当）を基準にフレーム番号を算出し（ 1002 ）、基準背景画像群を取得し（ 1003 ）、基準背景画像群に追加登録している（ 1004 ）。
【００３２】
図１２を例にするならば、所定の監視視野変化とは、撮像視野が視野 1202a 、1202b 、1202c 、1202d 、1202e 、1202e 、1202d 、1202c 、1202b 、1202a の変化であり、このような所定の監視視野変化に対して、基準背景画像群中に、frame =0 から 9 の各フレーム番号の視野の基準背景画像が保持されている。
監視開始時刻において、撮像装置の視野は 1202a であり、時間が経過する毎に視野 1202a 、1202b 、1202c 、1202d 、1202e 、1202e 、1202d 、1202c 、1202b 、1202a と変化し、それに伴いフレーム番号も frame = 0 から 9 へと増加する。従って、フレーム番号（ frame ）によれば、基準背景画像選択ステップ 302 において、基準背景動画像中から、入力画像と同じ視野で得られた基準背景画像を選択することができ、入力画像と選択すべき基準背景画像の同期を取ることが可能となる。
【００３３】
言い換えると、フレーム番号（ frame ）は、基準背景画像群の中から入力画像に対応する基準背景画像を選択するためのカウンタとして使用されており、上述のように、例えば、監視開始時刻（基準時刻）を frame = 0 とし、30 / sec の割合（ NTSC 方式のテレビ放送に準拠する TV カメラによって撮像された場合）で増加するので、例えば、frame = 300 であれば、基準時刻から 10 秒経過したことが分かる。従って、基準背景画像も基準時刻から 10 秒経過したものが選択される。
【００３４】
本実施例では、基準背景画像のサンプリング間隔が TV カメラの映像信号のフレーム間隔と等しいとしたが、サンプリング間隔は映像信号によらず、任意に決めることができる。即ち、TV カメラの n 番目毎のフレームの画像を基準背景画像とすることができ、n は 1 に限らず、2 以上の整数でも良い。また、サンプリング間隔は、映像信号のフレーム間隔に限定されず、任意に決めることができる。このことについて、更に説明する。
【００３５】
本実施例では、NTSC 方式の映像信号をフルフレーム（秒 30 フレーム）でサンプリングする例を用いているが、例えば、毎秒 10 フレームとした場合でも本発明と同様の効果を得ることができる。ただし、サンプリング間隔が長くなると、入力画像と選択された基準背景画像との視野のズレが大きくなるため、差分処理において誤検出が多くなってしまう。監視開始時刻（所定の視野変化の開始時点）からの経過時間 t とフレーム番号 frame との間には、
t = △t × frame ‥‥‥式(1)
の関係がある。ここで、△t とはサンプリング間隔（単位：秒）を表し、例えば NTSC 方式の映像信号をフルフレームでサンプリングする場合 △t = 1/30 秒となり、毎秒 10 フレームの場合では、△t = 1/10 秒となる。したがって、フレーム番号は、経過時間 t によって、
frame = t ／ △t ‥‥‥式(2)
として算出することができる（ただし、小数点以下は四捨五入）。
入力画像と選択すべき基準背景画像との同期をとる方法は、監視開始時刻からの経過時間 t によって式(2) からフレーム番号を算出し、基準背景画像群から算出したフレーム番号の基準背景画像を選択するようにする。
なお、複数の基準背景画像（基準背景画像群、または、基準背景動画像）の記憶フォーマットとして、基準背景画像を所定フレーム分連続させたものでも、MPEG（Moving Pictures Experts Group）や、モーションJPEG（Motion Joint Photographic Experts Group）等の圧縮された形式で記録されたものでも良い。
【００３６】
次に差分処理ステップ 303 では、入力画像 901 と選択された基準背景画像 902 の画素毎の輝度値の差分を計算して差分画像 903 を得る。
二値化処理ステップ 304 では、差分処理ステップ 303 によって得られた差分画像 903 を所定のしきい値 Th（例えば、Th = 20 ）を用いて、差分画像 903 の画素毎の輝度値が所定のしきい値 Th 未満の輝度値を“ 0 ”、しきい値 Th 以上の画素の輝度値を“ 255 ”（ 1 画素の輝度値を 8 ビットで計算）として二値化画像 904 を得る。
次に侵入物体存在判定ステップ 305 では、得られた二値化画像 904 で輝度値“ 255 ”となる画素のかたまりが存在すれば侵入物体ありと判定して警報・モニタ表示ステップ 306 へ分岐し、かたまりが存在しなければ侵入者なしと判定して画素入力ステップ 301 へ分岐する。
【００３７】
図３の処理を図１を用いて説明する。図１は、図９で示した差分法における基準背景画像を複数の基準背景画像（基準背景画像群）の中から選択することを説明する図である。101 は入力画像、102 は基準背景画像群、103 は差分画像、104 は二値化画像、105 は基準背景画像選択器、106 は差分器、107 は二値化器、102A ，102B ，102C ，102D ，102E ，102F ，102G は基準背景画像群 102 に含まれる基準背景画像である。入力画像 101 、差分画像 103 、二値化画像 104 、差分器 106 、及び二値化器 107 については図９で説明した入力画像 901 、差分画像 903 、二値化画像 904 、差分器 905 、及び二値化器 906 とほぼ同一の要素であるため説明を省略する。
【００３８】
基準背景画像群 102 は、所定の監視視野変化に対する基準背景画像 102A 、102B 、102C 、102D 、102E 、102F 、102G を撮像した時間順に内含しており、基準背景画像選択器 105 によって、例えば、入力画像 101 に対応する画角がほぼ同じ基準背景画像 102D を選択する。
この基準背景画像選択器 105 は、監視動作が行なわれた時間分だけ frame（フレーム番号）を増加させていく。従って、監視視野が変化するような場面でも適切な基準背景画像を選択及び適用することができ、正確な侵入物体検出が可能となる。
【００３９】
上述の図１では、撮像装置が所定の軌道を所定の速度プロファイルで移動する物体の先頭部分に搭載された例である。このときの基準背景画像群は、検出すべき物体が存在しない場合に、この所定の軌道上を、所定の速度したときに撮像装置が撮像したフレーム画像について、所定の間隔（例えば、30 フレーム間隔）でサンプリングした画像を基準背景画像として、取得した時間順に連続して、画像メモリ 209 あるいは外部記憶装置 212 に記憶したものである。
しかし、その他にも、撮像装置の位置は固定とし、撮像装置をパンあるいはチルト（撮像方向）あるいはその両方を組合せた動作をさせたり、また撮像装置のズームレンズのズーム比の設定を変更したりする
【００４０】
図４は本発明の第２の実施例の処理動作を説明するフローチャートの一例である。図４は、図３のフローチャートに基準背景動画像更新ステップ 401 を追加したものである。
図４において、画像入力ステップ 301 から二値化処理ステップ 304 までの処理動作と警報・モニタ表示ステップ 306 は、図３で説明した通りなので説明を省略する。また同様に、これから以降で説明するフローチャートにおいて、同一の参照番号のステップについてはほぼ同一の機能を有しているので説明を省略する。
【００４１】
侵入物体存在判定ステップ 305 において、二値化処理ステップ 304 から得られた二値化画像 904 で輝度値が“ 255 ”の画素のかたまりが存在すれば警報・モニタ表示ステップ 306 に処理が進む。しかし、侵入物体存在判定ステップ 305 において、二値化処理ステップ 304 から得られた二値化画像 904 で輝度値が“ 255 ”の画素のかたまりが存在しなかったと判定されれば、処理動作は基準背景画像更新ステップ 401 に進む。
【００４２】
この基準背景動画像更新ステップ 401 は、侵入物体存在判定ステップ 305 によって侵入物体なしと判定された場合に基準背景画像群 102 を更新するようにしたものである。即ち、基準背景画像群 102 の更新は、何らかの形で入力画像 101 が入力画像 101 に対応する同じ画角の基準背景画像 102D に反映されるような方法であれば良い。例えば、基準背景画像 102D を入力画像 101 で置き換えるようにしても良い。あるいは、基準背景画像 102D と入力画像 101 の画素毎の平均値を求め、求めた各平均値で構成される画像を新たな基準背景画像 102D としても良い。従って、監視視野が変化するような場面でも基準背景画像を逐次更新しながら適切な基準背景画像を適用することができ、正確な侵入物体検出が可能となる。
【００４３】
図５は本発明の第３の実施例を表すフローチャートの一例である。図５は、図４のフローチャートの基準背景画像選択ステップ 302 と差分処理ステップ 303 の間に位置ズレ補正ステップ 501 を挿入したものである。
位置ズレ補正ステップ 501 は、TV カメラ 201 の移動の際の揺れに起因する入力画像 101 と基準背景画像 102D との間の画像の位置ズレの量を計算し、計算した位置ズレ量に基づき入力画像101の画像上の位置を補正するものである。この処理の一実施例を図７によって説明する。
【００４４】
図７は、周知のテンプレートマッチングを利用した位置ズレ量の計算方法の一実施例を説明するための図である。図７(a) に示す 701 は基準背景画像、701A は基準背景画像 701 のブロック、図７(b) に示す 702 は入力画像、702A は入力画像 702 中でブロック 701A として検出された領域、702B はブロック 701A に相当する場所の入力画像 702 中の領域、702C は領域 702B と領域 702A との位置ズレ量を表す矢印、図７(c) に示す 703 は基準背景画像 701 のすべてのブロックに対する位置ズレ量の分布を表す画像である。
【００４５】
図７は、基準背景画像 701 をいくつかのブロックに分割し（この例では８つ）、それぞれのブロックの画像が入力画像上でどの位置に存在するかをテンプレートマッチングによって判定するものである。
図７の実施例では、ブロック 701A（基準背景画像 701 中の斜線で塗りつぶした領域）を例に挙げており、ブロック 701A の画像（入力画像 702 中でのブロックの位置を点線で囲んだ領域 702B で示す）は、入力画像 702 中で領域 702Aに存在するものとして検出され、その位置ズレ量は矢印 702C のようになる。このように、図７(c) は、入力画像と基準背景画像の位置ズレを表す。このように、“位置ズレ”とは、基準背景画像に対して入力画像が空間的（上下左右）にずれることを言う。
【００４６】
テンプレートマッチングについては、例えば、１９８５年に総研出版から出版された田村秀行監修による『コンピュータ画像処理入門』と題する書籍の P118 〜 P125 に解説されている。
更に、Azriel Rosenfeld et al．による『 Digital Picture Processing 』 ACADEMIC PRESS ，P296 〜 P303 ，1976 や U.S.Patent No．5，554，983 にも開示されている。
【００４７】
このテンプレートマッチング処理を、全てのブロックについて行なうと位置ズレ量の分布 703 が得られる。そして、これらを平均化したものが入力画像の位置ズレ量 v である。即ち、各ブロックの位置ズレ量 vn を次の式(3) で表すと、
【数１】
入力画像の位置ズレ量 v は、式(4) 及び式(5) のようになる。
【数２】
【数３】
ここで、N はブロック数（例では、N = 8 ）である。
【００４８】
次に、得られた v =（ dx ，dy ）について、式(6) を計算する。
ここで、f（ x ，y ）は入力画像、f′（ x ，y ）は位置ズレを補正した入力画像を表す。
【数４】
このようにすることで、入力画像 101 と基準背景画像 102D の位置ズレが存在する場面でもその位置ズレを補正することができ、正確な侵入物体検出が可能となる。
【００４９】
図６は本発明の第４の実施例を表すフローチャートの一例である。図６は、図４で示したフローチャートにフレームズレ検出ステップ 601 と、フレームズレが存在した場合に再度基準背景画像選択ステップ 302 を実行するように分岐する分岐ステップ 602 を追加したものである。
フレームズレ検出ステップ 601 は、入力画像 101 と選択された基準背景画像 102D と時間的なズレを判定するものである。この処理の一実施例を、図８と図１１を用いて説明する。図８は、テンプレートマッチングを利用したフレームズレの判定方法を表す図である。図８(a) に示す 801 は基準背景画像、図８(b) に示す 802 は基準背景画像 801 内の分割したすべてのブロックに対するフレーム位置ズレ量の分布を表す画像である。
【００５０】
基準背景画像 801 を画面の左右いくつかのブロックに分割し（図８の実施例では左右それぞれ２つずつ）、図７と同様にそれぞれのブロックの画像が入力画像上でどの位置に存在するかをテンプレートマッチングによって判定する。
この判定処理を、図１１の(a)と(b)を用いて説明する。図１１は、図１と同じ場面を想定した例であり、図１１(a) の 1101 は入力画像、図１１(b) の 1111 は選択された基準背景画像を表す。領域 1102 、1103 、1104 、1105 は、図８(a) で説明したブロックを表し、ブロックを図８(a) と同様に左右２つずつ配置した例である。
次に、基準背景画像 1111 において、点線で表した領域 1112a 、1113a 、1114a 、1115a は、それぞれ、入力画像 1101 におけるブロックの領域 1102 、1103 、1104 、1105 に相当する領域である。領域 1112b 、1113b 、1114b 、1115bは、それぞれ、領域 1102 、 1103 、1104 、1105 の画像を用いてテンプレートマッチングを行なった結果得られた領域である。この領域 1112a 、1113a 、1114a 、1115a の中央から、領域 1112b 、1113b 、1114b 、1115b の中央のそれぞれの位置変化が各ブロックの位置ズレ（矢印 1112c 、1113c 、1114c 、1115cで表現される）を表しており、それぞれの位置ズレ量を v1 =（ x1 ，y1 ）、v2 =（ x2 ，y2 ）、v3 =（ x3 ，y3 ）、v4 =（ x4 ，y4 ）と表現する。この場合、v1 、v2 は画面左側の位置ズレ、v3 、v4 は画面右側の位置ズレを表す。
【００５１】
更に、左右それぞれのブロックの平均位置ズレ量から、画面左側のブロックの平均位置ズレ量 vL を vL =（ xL ，yL ）、画面右側のブロックの平均位置ズレ量を vR =（ xR ，yR ）を得る。
即ち、xL =（ X1 + X2 ）/ 2 、yL =（ Y1 + Y2 ）/ 2 、xR =（ X3 + X4 ）/ 2 、yR =（ Y3 + Y4 ）/ 2 として、画面左右の平均位置ズレを得る。図１１の入力画像 1101 と基準背景画像 1111 の場合、xL は負（画面左上から右下に向う方向を正の方向とする）、xR は正の値となる（すなわち矢印 1112c、1113c、1114c、1115c の向きは、画面中央から外に向う）。この場合、基準背景画像 1111 は、入力画像 1101 に対して時間的に進んでいる（frame が適切な値に比べ大きい）ことを表しているため、xR-xL が所定の大きさ Tf 以上であった場合、frame を 1 減少させる。
【００５２】
次に逆の例を図１１の(c)と(d) を用いて説明する。図１１(c) の1121 は入力画像、図１１(d) の1131 は選択された基準背景画像を表す。上記、入力画像 1101 、基準背景画像 1111 の例と同様に、領域 1122 、1123 、1124 、1125 は、図８で説明したブロックを表し、基準背景画像 1131 において、点線で表した領域 1132a 、1133a 、1134a 、1135a は、それぞれ、入力画像 1121 におけるブロックの領域 1122 、1123 、1124 、1125 に相当する領域である。領域 1132b、1133b、1134b、1135b は、それぞれ、領域 1122 、1123 、1124 、1125 の画像を用いてテンプレートマッチングを行なった結果得られた領域である。この時、領域 1132a 、1133a 、1134a 、1135a の中央から領域 1132b 、1133b 、1134b 、1135b の中央の各々の位置変化が各ブロックの位置ズレ（矢印 1132c 、1133c 、1134c 、1135c で表現される）を表しており、各々の位置ズレ量を V1 =（ X1 ，Y1 ）、V2 =（ X2 ，Y2 ）、
V3 =（ X3 ，Y3 ）、V4 =（ X4 ，Y4 ） と表現する。この場合、V1 、V2 は画面左側の位置ズレ、V3 、V4 は画面右側の位置ズレを表す。さらに、xL =（ X1 + X2 ）/ 2 、yL =（ Y1 + Y2）/ 2 、xR =（ X3 + X4 ）/ 2 、yR =（ Y3 + Y4
）/ 2 として、画面左右の平均位置ズレを得る。
図１１の入力画像 1121 と基準背景画像 1131 の場合、xL は正、xR は負の値となる（すなわち矢印 1112c 、1113c 、1114c 、1115c の向きは、画面外から中央に向う）。この場合、基準背景画像 1131 は、入力画像 1121 に対して時間的に遅れている（ frame が適切な値に比べ小さい）ことを表しているため、xL - xR が所定の大きさ Tf 以上であった場合、frame を 1 増加させる。
ここで、Tf はフレームズレに起因する画素の位置ズレの許容量を表し、その値は経験的に得られ、本実施例では、例えば、Tf = 5 に設定する。
なお、この実施例では、ブロックを図８同様左右 2 つずつ計 4 つ配置した例であるが、これ以外の数のブロックを配置しても、さらには左右異なる数のブロックを配置しても良い。
【００５３】
次に分岐ステップ 602 では、frame の修正が行なわれた場合に再度基準背景画像選択ステップ 302 を実行するように分岐する。このようにすることで、撮像装置が撮像装置の光軸方向に移動している場面で、入力画像 101 と基準背景画像 102D の時間的なズレが存在する場面でもそのフレームズレを補正することができ、正確な侵入物体検出が可能となる。
このように、「フレームズレ」とは、入力画像に対応する本来あるべき基準背景画像と、基準背景画像選択器 105 によって選択された基準背景画像とのズレのことを言う。
【００５４】
次に本発明の第５の実施例を説明する。本発明の第５の実施例は、雲台 202 及びズームレンズ 203 により、TV カメラ 201 の撮像方向とズーム比を周期的に変化させながら撮像装置の視野内に侵入した侵入物体を検出するようにしたものである。
即ち、検出すべき侵入物体が存在しない場合に、雲台 202 及びズームレンズ 203 を制御信号により制御し、TV カメラ 201 の撮像方向とズームレンズ 203 のズーム比を１周期分変化させて、得られる入力画像を基準背景画像として基準背景動画像 102 に内含させておく。
基準背景画像選択器 105 は、１周期分の監視動作が行なわれたときに frame を 0 にリセットする。
【００５５】
この処理を図１２を用いて説明する。図１２は、TV カメラ 1201 の視野方向をフレーム番号 frame = 0〜9 と変化させた場合の例である。図１２では、説明を簡単にするために視野方向のみの変化を表示しており、1202a 、1202b 、1202c 、1202d 、1202e と撮像視野（入力画像）が周期的に変化している例を表している。監視開始時刻（ frame = 0 ）において、撮像視野は 1202a となり、監視処理が経過する毎に撮像視野 1202a 、1202b 、1202c 、1202d 、1202e 、1202e、1202d 、1202c 、1202b 、1202a と変化する、それに伴い frame も 0〜9 と変化する。本発明の第５の実施例では、撮像視野が 1202a に戻ったときにフレーム番号を 0 にする。このようにすることで、視野方向を変化させたときにフレームズレが発生した（入力画像と基準背景画像の同期がはずれた）場合でも、撮像視野が 1202a に戻った時点で入力画像と基準背景画像の同期を取ることができる。また、例えば、撮像視野 1202c 中の十字マーク 1203 のような特定の目印となる模様を予め設定しておき、入力画像中で該目印となる模様が写る瞬間にフレーム番号を所定の値（図１２の例では、撮像視野方向が 1202a から 1202e に向っている場合は frame=2、撮像視野方向が 1202e から 1202a に向っている場合は frame = 7 ）に補正する。このようにすることで、フレームズレが発生した場合でも該目印となる模様が写る瞬間にフレーム番号を適切な値に補正することができる。このような補正は、撮像装置の位置情報（上記例では所定の基準位置などの情報）や、撮像視野情報（上記例では特定の目印となる模様などの情報）の、少なくとも１つ以上の指標によって実現される。
従って、本発明によれば、雲台 202 及びズームレンズ 203 の設定を周期的に変化させる場面でも、適切な基準背景画像を得ることができ、正確な侵入物体検出が可能となる。
【００５６】
本発明の第６の実施例は、撮像装置を所定の軌道を走行する車輌、例えば、線路を走行する列車に搭載し、侵入物体が存在しない場合に得られる入力画像を基準背景画像として基準背景画像群 102 に内含させておく。従って、本発明によれば、撮像装置が所定の軌道を走行する車輌に搭載されている場合でも、適切な基準背景画像を得ることができ、正確な侵入物体検出が可能となる。
【００５７】
上記実施例の図３〜図６に示したフローチャートでは、物体検出や侵入物体検出処理動作が終了しない記述となっている。しかし、図２で説明したような侵入物体監視装置のハードウエア構成において、ユーザの意思や停電等の不慮の事故により、監視装置の動作が終了すると、処理動作は途中で終了することは明らかである。
また、終了時には、それまでの検出結果や、基準背景画像をワークメモリ（もし不揮発性なら）や外部メモリ等の任意の記憶装置に保持しておいて、動作再開時には有効に再利用するようにしても良い。
【００５８】
【発明の効果】
以上のように、本発明によれば、撮像装置のズーム比や撮像方向が変わるような撮像位置の所定の変化に対する２フレーム以上の基準背景画像を内含する基準背景画像群を記録し、輝度値の差分を計算する時に基準背景画像群から適切な基準背景画像を適用するようにすることによって、撮像位置が変化する場面でも、撮像装置のズームレンズのズーム比の設定変更や撮像方向の変更があった場合でも、撮像視野内の侵入物体を検出することができ、侵入物体検出装置の適用範囲を大きく広げることができる。
例えば、列車やパンチルトカメラ等、移動経路や撮像経路が決まっているような移動体に設置され、時々刻々視野が変わるカメラの映像を使った物体検出が可能となる。
【図面の簡単な説明】
【図１】 本発明の一実施例を説明する図。
【図２】 本発明の侵入物体監視装置の一実施例の構成を示すブロック図。
【図３】 本発明の一実施例の動作を説明するためのフローチャート。
【図４】 本発明の一実施例の動作を説明するためのフローチャート。
【図５】 本発明の一実施例の動作を説明するためのフローチャート。
【図６】 本発明の一実施例の動作を説明するためのフローチャート。
【図７】 入力画像と基準背景画像の位置ズレを説明するための図。
【図８】 入力画像と基準背景画像のフレームズレを説明するための図。
【図９】 従来の背景画像差分法の処理原理を説明するための図。
【図１０】 本発明の一実施例の動作を説明するためのフローチャート。
【図１１】 テンプレートマッチングによるフレームズレの補正を説明するための図。
【図１２】 本発明の一実施例を説明するための図。
【符号の説明】
101：入力画像、 102：基準背景動画像、 102A，102B，102C，102D，102E，102F，102G：基準背景画像、 103：差分画像、 104：二値化画像、 105：基準背景画像選択器、 106：差分器、 107：二値化器、 201：TVカメラ、 202：雲台、 203：ズームレンズ、 204：画像入力I/F、 205：画像出力I/F、 216：監視モニタ、 206：通信I/F、 207：出力I/F、 217：警告灯、 208：CPU、 209：画像メモリ、 210：プログラムメモリ、 211：ワークメモリ、 212：外部記憶装置、 213：雲台制御装置、 214：ズーム制御装置、 215：データバス、 701：基準背景画像、 701A：ブロック、 702：入力画像、 702A，702B：領域、 702C：位置ズレ量を表す矢印、 703：位置ズレ量の分布を表す画像、 801：基準背景画像、 802：フレームズレ量の分布を表す画像、 901：入力画像、 902：基準背景画像、 903：差分画像、 904：二値化画像、 905：減算器、 906：二値化器、 907：人型の物体、 908：差分によって生じた領域、 909：二値化処理した時の輝度値“255”のかたまりの画像。
【発明の属する技術分野】
本発明は、撮像装置を用いた物体検出に係り、特に撮像装置の撮像視野を変化させながら撮像視野内の侵入物体を自動的に検出する物体検出方法及び物体検出装置並びに侵入物体監視装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた侵入物体検出装置は、従来から広く用いられている。しかし、近年、このような侵入物体検出装置において、その監視視野領域内に入り込んでくる人間や自動車（車輌）などの侵入物体の検出を、モニタに表示される画像を見ながら行う有人監視によるものではなく、撮像装置から入力される画像信号から侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにした侵入物体検出装置が要求されるようになってきている。
【０００３】
このような侵入物体検出装置を実現するためには、先ず、撮像装置から得られた入力画像と基準背景画像（即ち、検出すべき侵入物体が写っていない画像）とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を侵入物体として検出する。この方法は、差分法と呼ばれ、従来から広く用いられている。
【０００４】
差分法の処理を図９によって説明する。図９は差分法における物体検出の処理原理を説明するための図で、901 は入力画像、902 は基準背景画像、903 は差分画像、904 は差分画像 903 の二値化画像、905 は減算器、906 は二値化器、907は入力画像 901 内に撮像された人型の物体、908 は差分によって生じた領域、909 は差分によって生じた領域 908 を二値化処理した時の輝度値“ 255 ”のかたまりの画像である。
【０００５】
図９において、減算器 905 は入力画像 901 と基準背景画像 902 との画素毎の輝度値の差分を計算し差分画像 903 を出力する。差分画像 903 の中には、例えば、入力画像 901 内に撮像された人型の物体 907 を基準背景画像 902 と入力画像 901 との間で差分が生じた領域 908 として二値化器 906 に与える。
【０００６】
二値化器 906 は差分画像 903 の画素毎の輝度値が所定のしきい値 Th 未満の輝度値を“ 0 ”、しきい値 Th 以上の画素の輝度値を“ 255 ”（１画素の輝度値を８ビットで計算）として二値化画像 904 を得る。これによって、入力画像 901 に写った人型の物体 907 は、減算器 905 によって差分が生じた領域 908 として計算され、二値化器 906 によって輝度値“ 255 ”となる画素のかたまりを表す画像 909 として検出される。
【０００７】
【発明が解決しようとする課題】
前述の従来技術における差分法のように入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法では、予め検出すべき侵入物体が写っていない基準背景画像を準備しておくことが必要だが、撮像装置のズームレンズのズーム設定や撮像方向を変えたり、撮像装置自身を移動したりしてカメラの視野が変化し、基準背景画像と異なる視野角、または視野方向となる場合には、予め準備しておいた基準背景画像を使うことができない。従って、この場合には、差分法のような入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法を適用することができないという問題が起こる。また、もし、基準背景画像を作り直すとしても、その間は物体検出が行えなくなってしまうという問題が発生する。従って、差分法のような入力画像と物体の写っていない画像との比較によって侵入物体を検出する方法による従来の侵入物体検出方法では、撮像装置のズーム設定や撮像方向を変更しながら、あるいは撮像装置自身を移動しながらの侵入物体の検出は実質的に不可能であった。
本発明の目的は、上記のような欠点を除去し、撮像装置のズーム設定や撮像方向を変更しても侵入物体を検出することができる信頼性の高い物体検出方法及び物体検出装置並びに侵入物体監視装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体検出方法は、撮像装置からの画像信号に基準背景画像に対する差分処理を行って所定監視区域内の、基準背景画像に存在しない物体を検出する物体検出方法において、物体が存在しない所定監視区域を撮像装置で走査して予め基準背景画像群を記憶装置に記録しておき、監視時、撮像装置で所定監視区域を走査しながら撮像装置からフレーム単位で画像を逐次出力し、撮像装置からの画像に対応する基準背景画像を基準背景画像群から選択し、撮像装置からの画像とその画像に対応する基準背景画像との差分処理を行い、差分処理の結果に基づき物体検出処理を行なうものである。
【０００９】
上記の目的を達成するために、本発明の一側面による所定監視区域内の物体を検出する物体検出方法は、以下のステップを備える。
物体が存在しない所定監視区域の異なる場所を所定時刻に撮像装置で撮像し、検出すべき物体が写っていない前記異なる場所に対応するそれぞれの撮像画像を複数登録し、前記時刻とは異なる時刻に前記撮像装置で前記所定監視区域を撮像し、前記撮像装置からの画像と該画像に対応する登録画像とを比較し、該比較の結果に基づき物体検出処理をする。
一実施例において、前記登録画像は基準背景画像であり、前記比較ステップは、前記撮像装置からの画像と前記基準背景画像の中の所定画像との差分処理によって行う。
【００１０】
この物体検出方法は、前記撮像装置からの画像とそれに対応する基準背景画像との間の位置ズレを検出し、かつ検出した位置ズレに応じて前記撮像装置からの画像を補正するステップを有し、該補正された画像とそれに対応する前記基準背景画像との間に前記差分処理を実行することを好ましい特徴とする。
具体的には、撮像装置を移動すると、撮像装置が揺れて位置ズレが発生し、そのため、撮像装置からの画像と基準背景画像との間にも位置ズレが発生する。この位置ズレが物体検出時、即ち、差分処理等の画像比較処理以降の処理において物体として誤検出される。この位置ズレを除去するため、好ましくは、前記位置ズレを検出するステップは、前記撮像装置からの画像とそれに対応する前記基準背景画像との間にテンプレートマッチングを行って位置ズレを検出するテンプレートマッチングステップを含む。
【００１１】
一実施例において、前記テンプレートマッチングステップは、前記基準背景画像上に複数の区画を設定し、各区画の画像をテンプレートとして用いて前記画像に対してテンプレートマッチングを行い、検出された位置ズレの平均を前記位置ズレとする。
【００１２】
上記物体検出方法は、前記撮像装置からの画像のフレームと前記対応する基準背景画像のフレームとの間のフレームズレを検出するフレームズレ検出ステップを有し、フレームズレがある場合、別の基準背景画像を選択するようにすることを別の好ましい特徴とする。
即ち、差分処理等の画像比較処理以降の処理を実行する際、適切な基準背景画像を選択することが重要である。基準背景画像群（即ち、予め登録された複数の基準背景画像）から適切な基準背景画像が選択されず、従ってフレームズレが発生すると、撮像装置からの画像と選択した基準背景画像との間で背景画像部分にズレが生じ、物体検出時、即ち、差分処理等の画像比較処理以降の処理において物体として検出されることによって誤検出が生じる。この位置ズレを除去するため、好ましくは、前記フレームズレ検出ステップは、前記撮像装置からの画像と前記対応する基準背景画像との間にテンプレートマッチングを行いフレームズレを検出するテンプレートマッチングステップを含む。
【００１３】
一実施例において、前記テンプレートマッチングステップは、前記対応する基準背景画像上に複数の区画を設定し、各区画の画像をテンプレートとして用いて前記画像に対してテンプレートマッチングを行い、検出されたフレームズレ情報に応じて前記基準背景画像のフレームより時間的に前のまたは後のフレームの基準背景画像を選択するようにする。
代替例として、前記フレームズレ検出ステップは、前記撮像装置の位置と撮像視野情報の少なくとも１つに基づき前記フレームズレを補正することを更なる好ましい特徴とする。
一実施例において、前記撮像装置の特定の位置と該位置に対応する基準背景画像の特定のフレームとを予め対応させておき、前記撮像装置が前記特定の位置にきたときに、前記特定のフレームの基準背景画像を用いて前記フレームずれを補正する。
一実施例において、前記撮像視野情報は、前記所定の監視視野内の特定物体を目印として含み、該目印と該目印に対応する特定のフレームの基準背景画像とを予め対応させておき、前記撮像装置が前記目印を撮像したときに、前記特定のフレームの基準背景画像を用いて前記フレームズレを補正する。
【００１４】
上記物体検出方法は、前記基準背景画像を更新するステップを有し、前記基準背景画像の少なくとも１つを更新することを更なる好ましい特徴とする。
一実施例において、前記更新するステップは、前記物体検出処理ステップにおいて前記画像中に物体が検出されなかったとき、前記対応する基準背景画像を前記画像で更新する。
【００１５】
本発明の別の側面による、所定監視区域内の物体を検出する物体検出方法は、以下のステップを備える。
前記物体が存在しない前記所定監視区域の異なる場所を所定時刻に前記撮像装置で所定の走査パターンに従って撮像して予め基準背景画像群を記憶装置に登録し、前記撮像装置により前記所定監視区域を前記所定の走査パターンと実質的に同様にして撮像し、かつ前記記憶装置に記憶された前記基準背景画像群の所定の画像を同期して読み出し、前記撮像装置からの画像と読み出した基準背景画像との間で差分処理を行い、前記差分処理の結果に基づき物体検出処理をする。
【００１６】
前記所定の走査パターンは、例えば、前記撮像装置のズームレンズのズーム比、撮像方向、撮像装置の移動経路のうちの少なくとも１つ、または２つ以上の組合せ、の所定の時間的変化を含む。
一実施例において、前記所定の走査パターンは、撮像装置が所定の移動経路に沿って、所定の速度プロファイルで移動するパターンである。
別の実施例において、前記所定の走査パターンは、撮像装置の位置は固定で、前記撮像装置のズーム比と、撮像方向とが周期的に変化するパターンを含む。
前記基準背景画像群は、前記物体が存在しない前記所定監視区域を前記撮像装置で前記所定の走査パターンに従って走査して該撮像装置から出力される画像を所定のサンプリング間隔でサンプリングして得た画像の集合であり、前記登録ステップでは、前記基準背景画像群の各々の基準背景画像に撮像順またはサンプリング順にフレーム番号を付して登録し、前記撮像するステップでは、該フレーム番号を用いて前記撮像装置での撮像と前記記憶装置からの基準背景画像の読み出しとを同期して行い、以って、前記撮像装置からの前記画像に対応する基準背景画像を前記基準背景画像群から選択することを別の好ましい特徴とする。
【００１７】
一実施例において、前記監視開始から現在までの経過時間と前記所定サンプリング間隔との関係から前記対応する基準背景画像のフレーム番号を算出し、該算出したフレーム番号を用いて前記撮像装置での撮像と前記記憶装置からの基準背景画像の読出しとの同期をとる。
前記撮像装置からの前記画像と前記選択された基準背景画像との間のフレームズレを検出するフレームズレ検出ステップを有し、フレームズレがある場合、別の基準背景画像を選択するようにすることを好ましい別の特徴とする。
前記フレームズレ検出ステップは、前記撮像装置からの前記画像と前記読み出した基準背景画像との間の空間的位置ズレを検出して、検出した空間的位置ズレに応じて前記読み出した基準背景画像の画像を補正するステップを有し、該補正された画像を用いて前記差分処理を行うことを更に別の好ましい特徴とする。
また、前記フレームズレ検出ステップは、前記撮像装置からの前記画像と前記選択した基準背景画像との間のテンプレートマッチングを行いフレームズレを検出するテンプレートマッチングステップを含むことを更に別の好ましい特徴とする。
前記テンプレートマッチングステップは、前記選択した基準背景画像上に複数の区画を設定し、各区画の画像をテンプレートとして用いて前記画像に対してテンプレートマッチングを行い、検出された位置ズレ情報に応じて前記選択した基準背景画像より時間的に前のまたは後の基準背景画像を選択するようにすることを別の好ましい特徴とする。
前記フレームズレ検出ステップは、前記撮像装置の位置と撮像視野情報の少なくとも１つに基づき前記フレームズレを補正することを更に別の好ましい特徴とする。
前記フレームズレ検出ステップは、前記撮像装置の特定の位置と該位置に対応する基準背景画像の特定のフレーム番号とを予め対応させておき、前記撮像装置が前記特定の位置にきたときに、該特定のフレーム番号を用いて前記フレームズレを補正することを更に別の好ましい特徴とする。
前記撮像視野情報は、前記所定監視区域内の特定物体を目印として含み、該目印と該目印に対応する特定のフレームの基準背景画像とを予め対応させておき、前記撮像装置が前記目印を撮像したときに、前記特定のフレーム番号を用いて前記フレームズレを補正することを更に別の好ましい特徴とする。
また物体検出方法は更に、前記撮像装置からの前記画像と前記読み出した基準背景画像との間に空間的位置ズレを検出して検出した空間的位置ズレに応じて前記読み出した画像を補正するステップを有し、該補正された画像を用いて前記差分処理を行うことを更に別の好ましい特徴とする。
【００１８】
本発明の更に別の側面による所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて、該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU（ Central Processing Unit ）とメモリとを含み前記画像信号を処理する処理手段と、前記画像入力インターフェースと前記処理手段とを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置から画像を逐次前記メモリに記憶し、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、該入力画像に対応する前記記憶されている画像を前記メモリから読み出し、前記入力画像と前記読み出された画像とを比較し、該比較の結果に基づき物体検出をするように、前記物体を検出するため前記物体検出装置を制御する。
【００１９】
別の実施例において、前記撮像装置は移動装置上に搭載される。
一実施例において、前記移動装置は移動体を含む。
別の実施例において、前記移動装置は雲台を含む。
本発明の更に別の側面による、所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU とメモリとを含み前記画像信号を処理する処理手段と、前記画像入力インターフェースと前記処理手段とを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置からの画像が基準背景画像群に含まれる１つの基準背景画像として予め前記メモリに記憶され、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、該入力画像の撮像と同期して前記基準背景画像が前記メモリから読み出だされ、前記入力画像と前記読み出された基準背景画像との画素毎の画素値の差分値が算出され、該差分値の大きい領域が前記物体として検出されるように、前記物体を検出するため前記物体検出装置を制御する。
【００２０】
本発明の更に別の側面による所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU とメモリとを含み前記画像信号を処理する処理手段と、監視モニタと、前記画像入力インターフェースと前記処理手段とを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置からの n 番目の画像が基準背景画像群として予め前記メモリに記憶され、n は 1 以上の整数であり、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、該入力画像に対応する基準背景画像が前記メモリから読み出だされ、前記入力画像と前記読み出された該入力画像に対応する基準背景画像との画素毎の画素値の差分値が算出され、該差分値の大きい領域が前記侵入物体として検出され、前記監視モニタに表示されるように、前記物体を検出するため前記物体検出装置を制御する。
【００２１】
本発明の更に別の側面による所定監視区域内の物体を検出する物体検出装置は、撮像装置と、該撮像装置に接続されて該撮像装置からの映像信号を画像データに変換する画像入力インターフェースと、CPU とメモリとを含み前記画像信号を処理する処理手段と、監視モニタと、前記画像入力インターフェースと前記処理手段と前記監視モニタとを相互に接続するバスとを備える。
そして、前記処理手段は、検出すべき物体が存在しない前記所定監視区域を撮像する前記撮像装置からの n 番目毎の画像が基準背景画像群として予め前記メモリに記憶され、n は 1 以上の整数であり、前記所定監視区域を所定走査パターンに従って撮像する前記撮像装置からの画像が逐次前記処理部に入力され、前記入力画像の撮像と同期して前記基準背景画像群が前記メモリから読み出だされ、前記入力画像と前記読み出された基準背景画像との画素毎の画素値の差分値が算出され、該差分値の大きい領域が前記物体として検出され、前記監視モニタに表示されるように、前記物体を検出するため前記物体検出装置を制御する。
【００２２】
【発明の実施の形態】
以下、本発明の実施例を図面を用いて説明する。全図面を通して同様な構成要素には同様な参照符号を付す。
本発明の侵入物体監視装置の一実施例を図２によって説明する。図２は、侵入物体監視装置のハードウエア構成を示すブロック構成図である。
201 はテレビジョンカメラ（以下 TV カメラと呼ぶ）、202 は雲台、203 はズームレンズ、204 は画像入力 I/F 、205 は画像出力 I/F 、216 は監視モニタ、215 はデータバス、206 は通信 I/F 、213 は雲台制御装置、214 はズーム制御装置、207 は出力 I/F 、217 は警告灯、208 は CPU（ Central Processing Unit ）、209 は画像メモリ、210 はプログラムメモリ、211 はワークメモリ、212 は外部記憶装置である。 TV カメラ 201 は雲台 202 に設置され、 TV カメラ 201 はズームレンズ 203 を備え、雲台 202 は雲台制御装置 213 に接続され、ズームレンズ 203 はズーム制御装置 214 に接続され、雲台制御装置 213 及びズーム制御装置 214 は通信 I/F 206 に接続され、TV カメラ 201 は画像入力 I/F 204 に接続され、監視モニタ 216 は画像出力 I/F 205 に接続され、警告灯 217 は出力 I/F 207 に接続されている。また、画像入力I/F 204、画像出力I/F 205、通信I/F 206、出力I/F 207、CPU 208、画像メモリ 209 、プログラムメモリ 210 、ワークメモリ 211 及び外部記憶装置 212 は、データバス 215 に接続されている。
【００２３】
図２において、TV カメラ 201 は、監視対象区域を含めた撮像視野内を撮像する。侵入物体監視装置は、例えば、雲台 202 ズームレンズ 203 を操作して、TVカメラ 201 で監視対象区域全体を走査することにより監視対象区域全体を撮像する。
雲台 202 は、雲台制御装置 213 の雲台制御信号によって TV カメラ 201 の撮像方向を変え、ズームレンズ 203 はズーム制御装置 214 のズーム制御信号によってズームレンズのズーム比を変える。
TV カメラ 201 は、撮像した画像を映像信号に変換し、変換された映像信号（画像データ）を画像入力 I/F 204 に入力する。画像入力 I/F 204 は、入力した画像データを侵入物体監視装置で扱うフォーマット（例えば、幅 320 pix 、高さ 240 pix 、8 bit/pix ）の画像データに変換し、データバス 215 を介して画像メモリ 209 に送る。画像メモリ 209 は、送られてきた画像データを蓄積する。また、蓄積する画像データの量に応じて画像データを画像メモリ 209 から外部記憶装置 212 に移し替える。
CPU 208 はプログラムメモリ 210 に保存されているプログラムに従って、ワークメモリ 211 内で画像メモリ 209 に蓄積された画像の解析を行う。
【００２４】
上記解析の結果、もし TV カメラ 201 の撮像視野内に侵入物体が侵入したこと及びその関連の情報を得ると、CPU 208 は、処理結果または所定の雲台制御信号またはズーム制御信号に応じて、データバス 215 から通信 I/F 206 を介して雲台制御装置 213 に雲台制御信号を送信させ、また、通信 I/F 206 を介してズーム制御装置 214 にズーム制御信号を送信させる。
更に CPU 208 は、画像出力 I/F 205 を介して監視モニタ 216 に、例えば処理結果画像を表示し、出力 I/F 207 を介して警告灯 217 を点灯する。通信 I/F 206 は、CPU 208 からの信号を雲台制御装置 213 及びズーム制御装置 214 が認識できるフォーマット（例えば、RS-232C 通信信号）に変換し、雲台 202 のパン・チルトモータやズームレンズ 203 のズーム比を制御する。
また、画像出力 I/F 205 は、CPU 208 からの信号を監視モニタ 216 が使用できるフォーマット（例えば、NTSC 映像信号）に変換して、監視モニタ 216 に送る。監視モニタ 216 は、例えば侵入物体検出結果画像を表示する。
【００２５】
図３は本発明の一実施例の処理動作を示すフローチャートの一例である。図３のフローチャートで示す処理動作は、図２に示した侵入物体監視装置を用いて実行される。この第１の実施例は、画像メモリ 209 あるいは外部記憶装置 212 に記憶されている基準背景画像群、即ち、複数の基準背景画像信号（基準背景動画像または複数のフレームの基準背景画像）の中から、監視視野内を撮像して得られる入力画像に対応する基準背景画像を選択し、図９で説明した差分法によって TV カメラ 201 の視野内に侵入した物体を検出する方法である。
【００２６】
上記基準背景画像群、即ち、複数の基準背景画像は、後述のように、所定の走査パターンに従って TV カメラ 201 を移動させながらあるいは雲台でその撮像方向を変えながら TV カメラ 201 で検出対象物体が存在しない監視対象区域を走査して監視装置の監視視野を次々と変えて撮像することによって得ることができる。
「所定の走査パターン」とは、TV カメラ 201 を移動させる際の所定の軌道や所定の撮像方向の変化を含めた時間経過に伴う撮像条件の変化パターンのことである。
所定の走査パターンには、更に、TV カメラ 201 のズームレンズのズーム比を時間と共に変える際の所定のズーム比変化パターンを含む場合がある。
尚、以下の説明で、「所定の走査パターンに従って TV カメラ 201 を移動させあるいは雲台でその撮像方向を変えながら TV カメラ 201 で監視対象区域を走査して監視装置の監視視野を次々に変えること」を簡単に「監視装置の所定の視野変化」という。
【００２７】
図３において、先ず、基準背景動画像初期化ステップ 300 では、基準背景画像、即ち、基準背景画像群の初期化を行う。この処理を図１０を用いて説明する。図１０は、基準背景動画像初期化ステップ 300 の処理の流れを表すフローチャートである。
先ず、基準背景動画像追加登録必要性判定ステップ 1001 では、ワークメモリ 211 あるいは外部記憶装置 212 に記憶されている基準背景画像群が監視装置の所定の監視視野変化に対する全ての基準背景画像を保持しているか否かを判定する。
そして、基準背景画像群が全ての基準背景画像を保持している場合（予め監視装置の所定の監視視野変化に対する基準背景画像群を登録している場合）には、基準背景画像群の追加登録は必要ないものとして基準背景動画像初期化ステップ 300 の処理を終了する（画像入力ステップ 301 へ進む）。
また、基準背景画像群を全く保持していない、あるいは一部しか保持していない場合には、基準背景画像群の追加登録が必要であるとして、フレーム番号算出ステップ 1002 へ分岐する。
【００２８】
フレーム番号算出ステップ 1002 では、追加すべき基準背景画像のフレーム番号を算出する。フレーム番号は、入力画像と基準背景画像群の中に保持されている基準背景画像との同期をとるために使用され、監視開始時刻のフレーム番号を、例えば、frame = 0 として表現する。
基準背景画像群内の基準背景画像を所定のサンプリング間隔（例えば、毎秒 30 フレーム）で保持するときには、フレーム番号が 300 であった場合、監視開始時刻から 10 秒経過していることを表す。即ち、監視開始時刻から 10 秒経過した入力画像に対応する基準背景画像のフレーム番号は、frame = 300 となる。
【００２９】
フレーム番号算出ステップ 1002 では、例えば、基準背景画像群が基準背景画像を全く保持していないときには、frame = 0（監視装置の所定の監視視野変化の開始点（監視開始時刻時点の監視視野に相当）を表す）とする。
また、基準背景画像群が基準背景画像を一部（例えば、10 フレーム）保持しているときには、監視装置の所定の監視視野変化の開始点から、10 フレーム経過していることを表し、frame = 10 とする。
次に、基準背景画像取得ステップ 1003 では、撮像装置 201 より、例えば 320×240 画素の入力画像を得る。
更に、基準背景動画像追加登録ステップ 1004 では、基準背景画像取得ステップ 1003 で得られた入力画像をワークメモリ 211 または外部記憶装置 212 に記憶されている基準背景動画像に追加登録する。
追加登録完了判定ステップ 1005 では、基準背景動画像に監視装置の所定の監視視野変化に対する全ての基準背景画像の追加登録が完了した場合には基準背景動画像の初期化処理を終了し（画像入力ステップ 301 へ復帰し）、追加登録が完了してない場合にはフレーム番号算出ステップ 1002 へ分岐する。
【００３０】
図３に戻り、画像入力ステップ 301 では、TV カメラ 201 によって撮像される入力映像信号を、例えば 320 × 240 画素の入力画像 901 として得る。
次に基準背景画像選択ステップ 302 では、画像入力ステップ 301 によって得られた入力画像 901 に対応する同じかまたは最も近い画角の基準背景画像 902 を複数の基準背景画像または基準背景画像群から選択する。
【００３１】
本実施例では、複数の基準背景画像（即ち、基準背景画像群）の中から対応する基準背景画像を選択するために、フレーム番号（ frame ）による入力画像と基準背景画像の同期の管理を行なっている。フレーム番号は、監視開始時刻を例えば frame=0 と定め、監視開始時刻からの経過時間に合せて基準背景画像群のサンプリング間隔毎に増加する。即ち、例えば、基準背景画像群が毎秒 30 フレームでサンプリングされた基準背景画像を保持している場合には、フレーム番号は 1 秒あたり 30 増加する。基準背景動画像初期化ステップ 300 において、基準背景画像群は、監視装置の所定の監視視野変化の開始点（監視開始時刻時点の監視視野に相当）を基準にフレーム番号を算出し（ 1002 ）、基準背景画像群を取得し（ 1003 ）、基準背景画像群に追加登録している（ 1004 ）。
【００３２】
図１２を例にするならば、所定の監視視野変化とは、撮像視野が視野 1202a 、1202b 、1202c 、1202d 、1202e 、1202e 、1202d 、1202c 、1202b 、1202a の変化であり、このような所定の監視視野変化に対して、基準背景画像群中に、frame =0 から 9 の各フレーム番号の視野の基準背景画像が保持されている。
監視開始時刻において、撮像装置の視野は 1202a であり、時間が経過する毎に視野 1202a 、1202b 、1202c 、1202d 、1202e 、1202e 、1202d 、1202c 、1202b 、1202a と変化し、それに伴いフレーム番号も frame = 0 から 9 へと増加する。従って、フレーム番号（ frame ）によれば、基準背景画像選択ステップ 302 において、基準背景動画像中から、入力画像と同じ視野で得られた基準背景画像を選択することができ、入力画像と選択すべき基準背景画像の同期を取ることが可能となる。
【００３３】
言い換えると、フレーム番号（ frame ）は、基準背景画像群の中から入力画像に対応する基準背景画像を選択するためのカウンタとして使用されており、上述のように、例えば、監視開始時刻（基準時刻）を frame = 0 とし、30 / sec の割合（ NTSC 方式のテレビ放送に準拠する TV カメラによって撮像された場合）で増加するので、例えば、frame = 300 であれば、基準時刻から 10 秒経過したことが分かる。従って、基準背景画像も基準時刻から 10 秒経過したものが選択される。
【００３４】
本実施例では、基準背景画像のサンプリング間隔が TV カメラの映像信号のフレーム間隔と等しいとしたが、サンプリング間隔は映像信号によらず、任意に決めることができる。即ち、TV カメラの n 番目毎のフレームの画像を基準背景画像とすることができ、n は 1 に限らず、2 以上の整数でも良い。また、サンプリング間隔は、映像信号のフレーム間隔に限定されず、任意に決めることができる。このことについて、更に説明する。
【００３５】
本実施例では、NTSC 方式の映像信号をフルフレーム（秒 30 フレーム）でサンプリングする例を用いているが、例えば、毎秒 10 フレームとした場合でも本発明と同様の効果を得ることができる。ただし、サンプリング間隔が長くなると、入力画像と選択された基準背景画像との視野のズレが大きくなるため、差分処理において誤検出が多くなってしまう。監視開始時刻（所定の視野変化の開始時点）からの経過時間 t とフレーム番号 frame との間には、
t = △t × frame ‥‥‥式(1)
の関係がある。ここで、△t とはサンプリング間隔（単位：秒）を表し、例えば NTSC 方式の映像信号をフルフレームでサンプリングする場合 △t = 1/30 秒となり、毎秒 10 フレームの場合では、△t = 1/10 秒となる。したがって、フレーム番号は、経過時間 t によって、
frame = t ／ △t ‥‥‥式(2)
として算出することができる（ただし、小数点以下は四捨五入）。
入力画像と選択すべき基準背景画像との同期をとる方法は、監視開始時刻からの経過時間 t によって式(2) からフレーム番号を算出し、基準背景画像群から算出したフレーム番号の基準背景画像を選択するようにする。
なお、複数の基準背景画像（基準背景画像群、または、基準背景動画像）の記憶フォーマットとして、基準背景画像を所定フレーム分連続させたものでも、MPEG（Moving Pictures Experts Group）や、モーションJPEG（Motion Joint Photographic Experts Group）等の圧縮された形式で記録されたものでも良い。
【００３６】
次に差分処理ステップ 303 では、入力画像 901 と選択された基準背景画像 902 の画素毎の輝度値の差分を計算して差分画像 903 を得る。
二値化処理ステップ 304 では、差分処理ステップ 303 によって得られた差分画像 903 を所定のしきい値 Th（例えば、Th = 20 ）を用いて、差分画像 903 の画素毎の輝度値が所定のしきい値 Th 未満の輝度値を“ 0 ”、しきい値 Th 以上の画素の輝度値を“ 255 ”（ 1 画素の輝度値を 8 ビットで計算）として二値化画像 904 を得る。
次に侵入物体存在判定ステップ 305 では、得られた二値化画像 904 で輝度値“ 255 ”となる画素のかたまりが存在すれば侵入物体ありと判定して警報・モニタ表示ステップ 306 へ分岐し、かたまりが存在しなければ侵入者なしと判定して画素入力ステップ 301 へ分岐する。
【００３７】
図３の処理を図１を用いて説明する。図１は、図９で示した差分法における基準背景画像を複数の基準背景画像（基準背景画像群）の中から選択することを説明する図である。101 は入力画像、102 は基準背景画像群、103 は差分画像、104 は二値化画像、105 は基準背景画像選択器、106 は差分器、107 は二値化器、102A ，102B ，102C ，102D ，102E ，102F ，102G は基準背景画像群 102 に含まれる基準背景画像である。入力画像 101 、差分画像 103 、二値化画像 104 、差分器 106 、及び二値化器 107 については図９で説明した入力画像 901 、差分画像 903 、二値化画像 904 、差分器 905 、及び二値化器 906 とほぼ同一の要素であるため説明を省略する。
【００３８】
基準背景画像群 102 は、所定の監視視野変化に対する基準背景画像 102A 、102B 、102C 、102D 、102E 、102F 、102G を撮像した時間順に内含しており、基準背景画像選択器 105 によって、例えば、入力画像 101 に対応する画角がほぼ同じ基準背景画像 102D を選択する。
この基準背景画像選択器 105 は、監視動作が行なわれた時間分だけ frame（フレーム番号）を増加させていく。従って、監視視野が変化するような場面でも適切な基準背景画像を選択及び適用することができ、正確な侵入物体検出が可能となる。
【００３９】
上述の図１では、撮像装置が所定の軌道を所定の速度プロファイルで移動する物体の先頭部分に搭載された例である。このときの基準背景画像群は、検出すべき物体が存在しない場合に、この所定の軌道上を、所定の速度したときに撮像装置が撮像したフレーム画像について、所定の間隔（例えば、30 フレーム間隔）でサンプリングした画像を基準背景画像として、取得した時間順に連続して、画像メモリ 209 あるいは外部記憶装置 212 に記憶したものである。
しかし、その他にも、撮像装置の位置は固定とし、撮像装置をパンあるいはチルト（撮像方向）あるいはその両方を組合せた動作をさせたり、また撮像装置のズームレンズのズーム比の設定を変更したりする
【００４０】
図４は本発明の第２の実施例の処理動作を説明するフローチャートの一例である。図４は、図３のフローチャートに基準背景動画像更新ステップ 401 を追加したものである。
図４において、画像入力ステップ 301 から二値化処理ステップ 304 までの処理動作と警報・モニタ表示ステップ 306 は、図３で説明した通りなので説明を省略する。また同様に、これから以降で説明するフローチャートにおいて、同一の参照番号のステップについてはほぼ同一の機能を有しているので説明を省略する。
【００４１】
侵入物体存在判定ステップ 305 において、二値化処理ステップ 304 から得られた二値化画像 904 で輝度値が“ 255 ”の画素のかたまりが存在すれば警報・モニタ表示ステップ 306 に処理が進む。しかし、侵入物体存在判定ステップ 305 において、二値化処理ステップ 304 から得られた二値化画像 904 で輝度値が“ 255 ”の画素のかたまりが存在しなかったと判定されれば、処理動作は基準背景画像更新ステップ 401 に進む。
【００４２】
この基準背景動画像更新ステップ 401 は、侵入物体存在判定ステップ 305 によって侵入物体なしと判定された場合に基準背景画像群 102 を更新するようにしたものである。即ち、基準背景画像群 102 の更新は、何らかの形で入力画像 101 が入力画像 101 に対応する同じ画角の基準背景画像 102D に反映されるような方法であれば良い。例えば、基準背景画像 102D を入力画像 101 で置き換えるようにしても良い。あるいは、基準背景画像 102D と入力画像 101 の画素毎の平均値を求め、求めた各平均値で構成される画像を新たな基準背景画像 102D としても良い。従って、監視視野が変化するような場面でも基準背景画像を逐次更新しながら適切な基準背景画像を適用することができ、正確な侵入物体検出が可能となる。
【００４３】
図５は本発明の第３の実施例を表すフローチャートの一例である。図５は、図４のフローチャートの基準背景画像選択ステップ 302 と差分処理ステップ 303 の間に位置ズレ補正ステップ 501 を挿入したものである。
位置ズレ補正ステップ 501 は、TV カメラ 201 の移動の際の揺れに起因する入力画像 101 と基準背景画像 102D との間の画像の位置ズレの量を計算し、計算した位置ズレ量に基づき入力画像101の画像上の位置を補正するものである。この処理の一実施例を図７によって説明する。
【００４４】
図７は、周知のテンプレートマッチングを利用した位置ズレ量の計算方法の一実施例を説明するための図である。図７(a) に示す 701 は基準背景画像、701A は基準背景画像 701 のブロック、図７(b) に示す 702 は入力画像、702A は入力画像 702 中でブロック 701A として検出された領域、702B はブロック 701A に相当する場所の入力画像 702 中の領域、702C は領域 702B と領域 702A との位置ズレ量を表す矢印、図７(c) に示す 703 は基準背景画像 701 のすべてのブロックに対する位置ズレ量の分布を表す画像である。
【００４５】
図７は、基準背景画像 701 をいくつかのブロックに分割し（この例では８つ）、それぞれのブロックの画像が入力画像上でどの位置に存在するかをテンプレートマッチングによって判定するものである。
図７の実施例では、ブロック 701A（基準背景画像 701 中の斜線で塗りつぶした領域）を例に挙げており、ブロック 701A の画像（入力画像 702 中でのブロックの位置を点線で囲んだ領域 702B で示す）は、入力画像 702 中で領域 702Aに存在するものとして検出され、その位置ズレ量は矢印 702C のようになる。このように、図７(c) は、入力画像と基準背景画像の位置ズレを表す。このように、“位置ズレ”とは、基準背景画像に対して入力画像が空間的（上下左右）にずれることを言う。
【００４６】
テンプレートマッチングについては、例えば、１９８５年に総研出版から出版された田村秀行監修による『コンピュータ画像処理入門』と題する書籍の P118 〜 P125 に解説されている。
更に、Azriel Rosenfeld et al．による『 Digital Picture Processing 』 ACADEMIC PRESS ，P296 〜 P303 ，1976 や U.S.Patent No．5，554，983 にも開示されている。
【００４７】
このテンプレートマッチング処理を、全てのブロックについて行なうと位置ズレ量の分布 703 が得られる。そして、これらを平均化したものが入力画像の位置ズレ量 v である。即ち、各ブロックの位置ズレ量 vn を次の式(3) で表すと、
【数１】
【数２】
【００４８】
次に、得られた v =（ dx ，dy ）について、式(6) を計算する。
ここで、f（ x ，y ）は入力画像、f′（ x ，y ）は位置ズレを補正した入力画像を表す。
【数４】
【００４９】
図６は本発明の第４の実施例を表すフローチャートの一例である。図６は、図４で示したフローチャートにフレームズレ検出ステップ 601 と、フレームズレが存在した場合に再度基準背景画像選択ステップ 302 を実行するように分岐する分岐ステップ 602 を追加したものである。
フレームズレ検出ステップ 601 は、入力画像 101 と選択された基準背景画像 102D と時間的なズレを判定するものである。この処理の一実施例を、図８と図１１を用いて説明する。図８は、テンプレートマッチングを利用したフレームズレの判定方法を表す図である。図８(a) に示す 801 は基準背景画像、図８(b) に示す 802 は基準背景画像 801 内の分割したすべてのブロックに対するフレーム位置ズレ量の分布を表す画像である。
【００５０】
基準背景画像 801 を画面の左右いくつかのブロックに分割し（図８の実施例では左右それぞれ２つずつ）、図７と同様にそれぞれのブロックの画像が入力画像上でどの位置に存在するかをテンプレートマッチングによって判定する。
この判定処理を、図１１の(a)と(b)を用いて説明する。図１１は、図１と同じ場面を想定した例であり、図１１(a) の 1101 は入力画像、図１１(b) の 1111 は選択された基準背景画像を表す。領域 1102 、1103 、1104 、1105 は、図８(a) で説明したブロックを表し、ブロックを図８(a) と同様に左右２つずつ配置した例である。
次に、基準背景画像 1111 において、点線で表した領域 1112a 、1113a 、1114a 、1115a は、それぞれ、入力画像 1101 におけるブロックの領域 1102 、1103 、1104 、1105 に相当する領域である。領域 1112b 、1113b 、1114b 、1115bは、それぞれ、領域 1102 、 1103 、1104 、1105 の画像を用いてテンプレートマッチングを行なった結果得られた領域である。この領域 1112a 、1113a 、1114a 、1115a の中央から、領域 1112b 、1113b 、1114b 、1115b の中央のそれぞれの位置変化が各ブロックの位置ズレ（矢印 1112c 、1113c 、1114c 、1115cで表現される）を表しており、それぞれの位置ズレ量を v1 =（ x1 ，y1 ）、v2 =（ x2 ，y2 ）、v3 =（ x3 ，y3 ）、v4 =（ x4 ，y4 ）と表現する。この場合、v1 、v2 は画面左側の位置ズレ、v3 、v4 は画面右側の位置ズレを表す。
【００５１】
更に、左右それぞれのブロックの平均位置ズレ量から、画面左側のブロックの平均位置ズレ量 vL を vL =（ xL ，yL ）、画面右側のブロックの平均位置ズレ量を vR =（ xR ，yR ）を得る。
即ち、xL =（ X1 + X2 ）/ 2 、yL =（ Y1 + Y2 ）/ 2 、xR =（ X3 + X4 ）/ 2 、yR =（ Y3 + Y4 ）/ 2 として、画面左右の平均位置ズレを得る。図１１の入力画像 1101 と基準背景画像 1111 の場合、xL は負（画面左上から右下に向う方向を正の方向とする）、xR は正の値となる（すなわち矢印 1112c、1113c、1114c、1115c の向きは、画面中央から外に向う）。この場合、基準背景画像 1111 は、入力画像 1101 に対して時間的に進んでいる（frame が適切な値に比べ大きい）ことを表しているため、xR-xL が所定の大きさ Tf 以上であった場合、frame を 1 減少させる。
【００５２】
次に逆の例を図１１の(c)と(d) を用いて説明する。図１１(c) の1121 は入力画像、図１１(d) の1131 は選択された基準背景画像を表す。上記、入力画像 1101 、基準背景画像 1111 の例と同様に、領域 1122 、1123 、1124 、1125 は、図８で説明したブロックを表し、基準背景画像 1131 において、点線で表した領域 1132a 、1133a 、1134a 、1135a は、それぞれ、入力画像 1121 におけるブロックの領域 1122 、1123 、1124 、1125 に相当する領域である。領域 1132b、1133b、1134b、1135b は、それぞれ、領域 1122 、1123 、1124 、1125 の画像を用いてテンプレートマッチングを行なった結果得られた領域である。この時、領域 1132a 、1133a 、1134a 、1135a の中央から領域 1132b 、1133b 、1134b 、1135b の中央の各々の位置変化が各ブロックの位置ズレ（矢印 1132c 、1133c 、1134c 、1135c で表現される）を表しており、各々の位置ズレ量を V1 =（ X1 ，Y1 ）、V2 =（ X2 ，Y2 ）、
V3 =（ X3 ，Y3 ）、V4 =（ X4 ，Y4 ） と表現する。この場合、V1 、V2 は画面左側の位置ズレ、V3 、V4 は画面右側の位置ズレを表す。さらに、xL =（ X1 + X2 ）/ 2 、yL =（ Y1 + Y2）/ 2 、xR =（ X3 + X4 ）/ 2 、yR =（ Y3 + Y4
）/ 2 として、画面左右の平均位置ズレを得る。
図１１の入力画像 1121 と基準背景画像 1131 の場合、xL は正、xR は負の値となる（すなわち矢印 1112c 、1113c 、1114c 、1115c の向きは、画面外から中央に向う）。この場合、基準背景画像 1131 は、入力画像 1121 に対して時間的に遅れている（ frame が適切な値に比べ小さい）ことを表しているため、xL - xR が所定の大きさ Tf 以上であった場合、frame を 1 増加させる。
ここで、Tf はフレームズレに起因する画素の位置ズレの許容量を表し、その値は経験的に得られ、本実施例では、例えば、Tf = 5 に設定する。
なお、この実施例では、ブロックを図８同様左右 2 つずつ計 4 つ配置した例であるが、これ以外の数のブロックを配置しても、さらには左右異なる数のブロックを配置しても良い。
【００５３】
次に分岐ステップ 602 では、frame の修正が行なわれた場合に再度基準背景画像選択ステップ 302 を実行するように分岐する。このようにすることで、撮像装置が撮像装置の光軸方向に移動している場面で、入力画像 101 と基準背景画像 102D の時間的なズレが存在する場面でもそのフレームズレを補正することができ、正確な侵入物体検出が可能となる。
このように、「フレームズレ」とは、入力画像に対応する本来あるべき基準背景画像と、基準背景画像選択器 105 によって選択された基準背景画像とのズレのことを言う。
【００５４】
次に本発明の第５の実施例を説明する。本発明の第５の実施例は、雲台 202 及びズームレンズ 203 により、TV カメラ 201 の撮像方向とズーム比を周期的に変化させながら撮像装置の視野内に侵入した侵入物体を検出するようにしたものである。
即ち、検出すべき侵入物体が存在しない場合に、雲台 202 及びズームレンズ 203 を制御信号により制御し、TV カメラ 201 の撮像方向とズームレンズ 203 のズーム比を１周期分変化させて、得られる入力画像を基準背景画像として基準背景動画像 102 に内含させておく。
基準背景画像選択器 105 は、１周期分の監視動作が行なわれたときに frame を 0 にリセットする。
【００５５】
この処理を図１２を用いて説明する。図１２は、TV カメラ 1201 の視野方向をフレーム番号 frame = 0〜9 と変化させた場合の例である。図１２では、説明を簡単にするために視野方向のみの変化を表示しており、1202a 、1202b 、1202c 、1202d 、1202e と撮像視野（入力画像）が周期的に変化している例を表している。監視開始時刻（ frame = 0 ）において、撮像視野は 1202a となり、監視処理が経過する毎に撮像視野 1202a 、1202b 、1202c 、1202d 、1202e 、1202e、1202d 、1202c 、1202b 、1202a と変化する、それに伴い frame も 0〜9 と変化する。本発明の第５の実施例では、撮像視野が 1202a に戻ったときにフレーム番号を 0 にする。このようにすることで、視野方向を変化させたときにフレームズレが発生した（入力画像と基準背景画像の同期がはずれた）場合でも、撮像視野が 1202a に戻った時点で入力画像と基準背景画像の同期を取ることができる。また、例えば、撮像視野 1202c 中の十字マーク 1203 のような特定の目印となる模様を予め設定しておき、入力画像中で該目印となる模様が写る瞬間にフレーム番号を所定の値（図１２の例では、撮像視野方向が 1202a から 1202e に向っている場合は frame=2、撮像視野方向が 1202e から 1202a に向っている場合は frame = 7 ）に補正する。このようにすることで、フレームズレが発生した場合でも該目印となる模様が写る瞬間にフレーム番号を適切な値に補正することができる。このような補正は、撮像装置の位置情報（上記例では所定の基準位置などの情報）や、撮像視野情報（上記例では特定の目印となる模様などの情報）の、少なくとも１つ以上の指標によって実現される。
従って、本発明によれば、雲台 202 及びズームレンズ 203 の設定を周期的に変化させる場面でも、適切な基準背景画像を得ることができ、正確な侵入物体検出が可能となる。
【００５６】
本発明の第６の実施例は、撮像装置を所定の軌道を走行する車輌、例えば、線路を走行する列車に搭載し、侵入物体が存在しない場合に得られる入力画像を基準背景画像として基準背景画像群 102 に内含させておく。従って、本発明によれば、撮像装置が所定の軌道を走行する車輌に搭載されている場合でも、適切な基準背景画像を得ることができ、正確な侵入物体検出が可能となる。
【００５７】
上記実施例の図３〜図６に示したフローチャートでは、物体検出や侵入物体検出処理動作が終了しない記述となっている。しかし、図２で説明したような侵入物体監視装置のハードウエア構成において、ユーザの意思や停電等の不慮の事故により、監視装置の動作が終了すると、処理動作は途中で終了することは明らかである。
また、終了時には、それまでの検出結果や、基準背景画像をワークメモリ（もし不揮発性なら）や外部メモリ等の任意の記憶装置に保持しておいて、動作再開時には有効に再利用するようにしても良い。
【００５８】
【発明の効果】
以上のように、本発明によれば、撮像装置のズーム比や撮像方向が変わるような撮像位置の所定の変化に対する２フレーム以上の基準背景画像を内含する基準背景画像群を記録し、輝度値の差分を計算する時に基準背景画像群から適切な基準背景画像を適用するようにすることによって、撮像位置が変化する場面でも、撮像装置のズームレンズのズーム比の設定変更や撮像方向の変更があった場合でも、撮像視野内の侵入物体を検出することができ、侵入物体検出装置の適用範囲を大きく広げることができる。
例えば、列車やパンチルトカメラ等、移動経路や撮像経路が決まっているような移動体に設置され、時々刻々視野が変わるカメラの映像を使った物体検出が可能となる。
【図面の簡単な説明】
【図１】 本発明の一実施例を説明する図。
【図２】 本発明の侵入物体監視装置の一実施例の構成を示すブロック図。
【図３】 本発明の一実施例の動作を説明するためのフローチャート。
【図４】 本発明の一実施例の動作を説明するためのフローチャート。
【図５】 本発明の一実施例の動作を説明するためのフローチャート。
【図６】 本発明の一実施例の動作を説明するためのフローチャート。
【図７】 入力画像と基準背景画像の位置ズレを説明するための図。
【図８】 入力画像と基準背景画像のフレームズレを説明するための図。
【図９】 従来の背景画像差分法の処理原理を説明するための図。
【図１０】 本発明の一実施例の動作を説明するためのフローチャート。
【図１１】 テンプレートマッチングによるフレームズレの補正を説明するための図。
【図１２】 本発明の一実施例を説明するための図。
【符号の説明】
101：入力画像、 102：基準背景動画像、 102A，102B，102C，102D，102E，102F，102G：基準背景画像、 103：差分画像、 104：二値化画像、 105：基準背景画像選択器、 106：差分器、 107：二値化器、 201：TVカメラ、 202：雲台、 203：ズームレンズ、 204：画像入力I/F、 205：画像出力I/F、 216：監視モニタ、 206：通信I/F、 207：出力I/F、 217：警告灯、 208：CPU、 209：画像メモリ、 210：プログラムメモリ、 211：ワークメモリ、 212：外部記憶装置、 213：雲台制御装置、 214：ズーム制御装置、 215：データバス、 701：基準背景画像、 701A：ブロック、 702：入力画像、 702A，702B：領域、 702C：位置ズレ量を表す矢印、 703：位置ズレ量の分布を表す画像、 801：基準背景画像、 802：フレームズレ量の分布を表す画像、 901：入力画像、 902：基準背景画像、 903：差分画像、 904：二値化画像、 905：減算器、 906：二値化器、 907：人型の物体、 908：差分によって生じた領域、 909：二値化処理した時の輝度値“255”のかたまりの画像。
Claims (15)
- 所定区域内の物体を検出する物体検出方法であって、
前記所定区域を所定時刻に撮像装置で撮像し、視野の異なる撮像画像を複数登録するステップと、
前記時刻とは異なる時刻に前記撮像装置で前記所定区域を撮像するステップと、
前記撮像装置からの画像と該画像に対応する登録画像との比較に基づいて前記物体を検出するステップと、を備え、
前記登録画像は基準背景画像であり、
更に、前記撮像装置からの画像のフレームと前記対応する基準背景画像のフレームとの間のフレームズレを検出するフレームズレ検出ステップを備え、フレームズレがある場合、別の基準背景画像を選択するようにし、
更に、前記撮像装置の特定の位置と該位置に対応する基準背景画像の特定のフレームとを予め対応させておき、前記撮像装置が前記特定の位置にきたときに、前記特定のフレームの基準背景画像を用いて前記フレームずれを補正するフレームズレ補正ステップを備えることを特徴とする物体検出方法。 - 所定区域内の物体を検出する物体検出方法であって、
前記所定区域を所定時刻に撮像装置で撮像し、視野の異なる撮像画像を複数登録するステップと、
前記時刻とは異なる時刻に前記撮像装置で前記所定区域を撮像するステップと、
前記撮像装置からの画像と該画像に対応する登録画像との比較に基づいて前記物体を検出するステップと、を備え、
前記登録画像は基準背景画像であり、
更に、前記撮像装置からの画像のフレームと前記対応する基準背景画像のフレームとの間のフレームズレを検出するフレームズレ検出ステップを備え、フレームズレがある場合、別の基準背景画像を選択するようにし、
更に、前記所定の監視視野内の特定物体を目印とし、該目印と該目印に対応する特定のフレームの基準背景画像とを予め対応させておき、前記撮像装置が前記目印を撮像したときに、前記特定のフレームの基準背景画像を用いて前記フレームズレを補正するフレームズレ補正ステップを備えることを特徴とする物体検出方法。 - 所定区域内の物体を検出する物体検出方法であって、
予め前記所定区域を撮像装置で所定の走査パターンに従って撮像して複数の画像を記憶装置に登録するステップと、
前記撮像装置により前記所定区域を前記所定の走査パターンと実質的に同様にして撮像し、かつ前記記憶装置に記憶された所定の画像を同期して読み出すステップと、
前記撮像装置からの画像と前記読み出した画像との比較に基づいて前記物体の検出を行うステップと、
を備えることを特徴とする物体検出方法。 - 請求項３記載の物体検出方法において、
前記複数の画像は、前記物体が存在しない前記所定区域を前記撮像装置で前記所定の走査パターンに従って走査して該撮像装置から出力される画像を所定のサンプリング間隔でサンプリングして得た画像の集合であり、
前記登録ステップでは、前記複数の画像の各々の画像に撮像順またはサンプリング順にフレーム番号を付して登録し、
前記読み出すステップでは、前記フレーム番号を用いて前記撮像装置からの前記画像に対応する画像を前記複数の画像から選択することを特徴とする物体検出方法。 - 請求項４記載の物体検出方法において、
現在までの経過時間と前記所定サンプリング間隔との関係から前記対応する画像のフレーム番号を算出し、該算出したフレーム番号を用いて前記撮像装置での撮像と前記記憶装置からの画像の読み出しとの同期をとることを特徴とする物体検出方法。 - 請求項４記載の物体検出方法において、
更に、前記撮像装置からの前記画像と前記選択された画像との間のフレームズレを検出するフレームズレ検出ステップを有し、フレームズレがある場合、別の画像を選択するようにすることを特徴とする物体検出方法。 - 請求項３記載の物体検出方法において、
更に、前記撮像装置からの前記画像と前記読み出した画像との間に空間的位置ズレを検出して検出した空間的位置ズレに応じて前記読み出した画像を補正するステップを有し、該補正された画像を用いて前記比較処理を行うことを特徴とする物体検出方法。 - 所定区域内の物体を検出する物体検出装置であって、
前記所定区域を所定時刻に撮像装置で撮像して得られた視野の異なる撮像画像を複数登録する画像登録手段と、
前記時刻とは異なる時刻に前記撮像装置で前記所定区域を撮像して得られた画像と該画像に対応する登録画像との比較に基づいて前記物体を検出する物体検出手段と、を備え、
前記登録画像は基準背景画像であり、
更に、前記撮像装置からの画像のフレームと前記対応する基準背景画像のフレームとの間のフレームズレを検出するフレームズレ検出手段を備え、フレームズレがある場合、別の基準背景画像を選択するようにし、
更に、前記撮像装置の特定の位置と該位置に対応する基準背景画像の特定のフレームとを予め対応させておき、前記撮像装置が前記特定の位置にきたときに、前記特定のフレームの基準背景画像を用いて前記フレームずれを補正するフレームズレ補正手段を備えることを特徴とする物体検出装置。 - 所定区域内の物体を検出する物体検出装置であって、
前記所定区域を所定時刻に撮像装置で撮像して得られた視野の異なる撮像画像を複数登録する画像登録手段と、
前記時刻とは異なる時刻に前記撮像装置で前記所定区域を撮像して得られた画像と該画像に対応する登録画像との比較に基づいて前記物体を検出する物体検出手段と、を備え、
前記登録画像は基準背景画像であり、
更に、前記撮像装置からの画像のフレームと前記対応する基準背景画像のフレームとの間のフレームズレを検出するフレームズレ検出手段を備え、フレームズレがある場合、別の基準背景画像を選択するようにし、
更に、前記所定の監視視野内の特定物体を目印とし、該目印と該目印に対応する特定のフレームの基準背景画像とを予め対応させておき、前記撮像装置が前記目印を撮像したときに、前記特定のフレームの基準背景画像を用いて前記フレームズレを補正するフレームズレ補正手段を備えることを特徴とする物体検出装置。 - 所定区域内の物体を検出する物体検出装置であって、
予め前記所定区域を撮像装置で所定の走査パターンに従って撮像して得られた複数の画像を記憶装置に登録する画像登録手段と、
前記撮像装置により前記所定区域を前記所定の走査パターンと実質的に同様にして撮像して得られた画像に対応する前記記憶装置に記憶された所定の画像を同期して読み出す画像読み出し手段と、
前記撮像装置からの画像と前記読み出した画像との比較に基づいて前記物体の検出を行 う物体検出手段と、
を備えることを特徴とする物体検出装置。 - 請求項１０記載の物体検出装置において、
前記複数の画像は、前記物体が存在しない前記所定区域を前記撮像装置で前記所定の走査パターンに従って走査して該撮像装置から出力される画像を所定のサンプリング間隔でサンプリングして得た画像の集合であり、
前記画像登録手段は、前記複数の画像の各々の画像に撮像順またはサンプリング順にフレーム番号を付して登録し、
前記画像読み出し手段は、前記フレーム番号を用いて前記撮像装置からの前記画像に対応する画像を前記複数の画像から選択することを特徴とする物体検出装置。 - 請求項１１記載の物体検出装置において、
現在までの経過時間と前記所定サンプリング間隔との関係から前記対応する画像のフレーム番号を算出し、該算出したフレーム番号を用いて前記撮像装置での撮像と前記記憶装置からの画像の読み出しとの同期をとることを特徴とする物体検出装置。 - 請求項１１記載の物体検出装置において、
更に、前記撮像装置からの前記画像と前記選択された画像との間のフレームズレを検出するフレームズレ検出手段を備え、フレームズレがある場合、別の画像を選択するようにすることを特徴とする物体検出装置。 - 請求項１０記載の物体検出装置において、
更に、前記撮像装置からの前記画像と前記読み出した画像との間に空間的位置ズレを検出して検出した空間的位置ズレに応じて前記読み出した画像を補正する画像補正手段を備え、該補正された画像を用いて前記比較処理を行うことを特徴とする物体検出装置。 - 所定区域内の物体を検出する物体検出装置を構成するコンピュータに実行させるプログラムであって、
予め前記所定区域を撮像装置で所定の走査パターンに従って撮像して得られた複数の画像を記憶装置に登録する画像登録機能と、
前記撮像装置により前記所定区域を前記所定の走査パターンと実質的に同様にして撮像して得られた画像に対応する前記記憶装置に記憶された所定の画像を同期して読み出す画像読み出し機能と、
前記撮像装置からの画像と前記読み出した画像との比較に基づいて前記物体の検出を行う物体検出機能と、
を当該コンピュータにより実現することを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001262854A JP3647030B2 (ja) | 2000-08-31 | 2001-08-31 | 物体検出方法及び物体検出装置及び物体検出プログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-262581 | 2000-08-31 | ||
| JP2000262581 | 2000-08-31 | ||
| JP2001262854A JP3647030B2 (ja) | 2000-08-31 | 2001-08-31 | 物体検出方法及び物体検出装置及び物体検出プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004316197A Division JP4252522B2 (ja) | 2000-08-31 | 2004-10-29 | 物体検出方法及び物体検出装置並びに物体検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002158999A JP2002158999A (ja) | 2002-05-31 |
| JP3647030B2 true JP3647030B2 (ja) | 2005-05-11 |
Family
ID=26598911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001262854A Expired - Fee Related JP3647030B2 (ja) | 2000-08-31 | 2001-08-31 | 物体検出方法及び物体検出装置及び物体検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3647030B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004102391A (ja) * | 2002-09-05 | 2004-04-02 | Matsushita Electric Ind Co Ltd | 自律走行装置 |
| JP3801137B2 (ja) * | 2003-01-21 | 2006-07-26 | コニカミノルタホールディングス株式会社 | 侵入物体検出装置 |
| JP3860552B2 (ja) | 2003-03-25 | 2006-12-20 | 富士通株式会社 | 撮影装置 |
| JP2006084418A (ja) * | 2004-09-17 | 2006-03-30 | Kurita Water Ind Ltd | 計測器自動読取装置 |
| JP4481951B2 (ja) * | 2006-04-03 | 2010-06-16 | 富士通株式会社 | 撮影装置 |
| JP5126941B2 (ja) * | 2006-10-19 | 2013-01-23 | 株式会社メガチップス | エスカレータ監視装置、エスカレータ監視方法、エスカレータシステムおよびプログラム |
| JP4672680B2 (ja) * | 2007-02-05 | 2011-04-20 | 日本電信電話株式会社 | 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2012033022A (ja) * | 2010-07-30 | 2012-02-16 | Panasonic Corp | 空間における変化領域検出装置及び方法 |
| WO2015098810A1 (ja) * | 2013-12-27 | 2015-07-02 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置および特定図形検出方法 |
| JP6262322B2 (ja) * | 2016-12-14 | 2018-01-17 | 株式会社東芝 | 画像同期装置 |
| JP6944272B2 (ja) * | 2017-04-25 | 2021-10-06 | キヤノン株式会社 | 動体検出装置およびその制御方法 |
| JP6774915B2 (ja) * | 2017-08-03 | 2020-10-28 | 日本電信電話株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2022158339A (ja) * | 2021-04-01 | 2022-10-17 | クイックイタレート株式会社 | 検出装置、検出方法及びプログラム |
| CN115190311B (zh) * | 2022-09-08 | 2022-11-15 | 湖北工业大学 | 一种安防监控视频压缩存储方法 |
-
2001
- 2001-08-31 JP JP2001262854A patent/JP3647030B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002158999A (ja) | 2002-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100471362B1 (ko) | 물체검출방법과 물체검출장치 및 그 물체검출방법을사용한 침입물체감시장치 | |
| JP3647030B2 (ja) | 物体検出方法及び物体検出装置及び物体検出プログラム | |
| KR100432870B1 (ko) | 침입물체 감시방법 및 침입물체 감시시스템 | |
| US8243135B2 (en) | Multiple-view processing in wide-angle video camera | |
| KR101820905B1 (ko) | 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템 | |
| US20090219415A1 (en) | Imaging apparatus provided with panning mode for taking panned image | |
| TWI689203B (zh) | 預處理數位影像之方法及數位影像預處理系統 | |
| WO2006023863A1 (en) | Real-time image stabilization | |
| US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
| US10798418B2 (en) | Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames | |
| KR20160094655A (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
| JP2004186922A (ja) | 複数台のカメラを使用した広域撮影方法 | |
| WO2019021412A1 (ja) | 位置推定装置、位置推定方法及びプログラム記録媒体 | |
| JP5360403B2 (ja) | 移動体撮像装置 | |
| JP2007271771A (ja) | 画像表示システム及びその制御方法 | |
| JP4252522B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
| KR102080456B1 (ko) | 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법 | |
| JP2009044475A (ja) | 監視カメラ装置 | |
| US20150281576A1 (en) | Image processing apparatus, image processing method, program, and camera | |
| JP3758511B2 (ja) | 物体検出装置及び物体検出プログラム | |
| JPH04213973A (ja) | 画像ゆれ補正装置 | |
| JP2007049266A (ja) | 画像撮像装置 | |
| WO2009128223A1 (ja) | 撮像位置判定方法及び撮像位置判定装置 | |
| JP2001184586A (ja) | 画像処理装置、画像処理方法及び車両監視システム | |
| JP2000175101A (ja) | 自動追尾装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3647030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |