JP3625440B2 - 物体検出方法及び物体検出装置 - Google Patents
物体検出方法及び物体検出装置 Download PDFInfo
- Publication number
- JP3625440B2 JP3625440B2 JP2001301352A JP2001301352A JP3625440B2 JP 3625440 B2 JP3625440 B2 JP 3625440B2 JP 2001301352 A JP2001301352 A JP 2001301352A JP 2001301352 A JP2001301352 A JP 2001301352A JP 3625440 B2 JP3625440 B2 JP 3625440B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- object detection
- difference
- input
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に木々や波などの揺れが観測される監視環境下において、監視範囲内への侵入物体を検出すべき対象物体として、撮像装置から入力する映像信号の中から自動的に検出する侵入物体検出方法及び侵入物体監視装置に関する。
【０００２】
カメラ等の撮像装置を画像入力手段として用いた侵入物体監視装置は、従来の監視員による有人監視ではなく、監視視野内の侵入物体を検出したり、物体の種類を確認したりして、自動的に所定の報知や警報処置が得られるようにしたものである。このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）や該入力画像と異なる時刻に得られた入力画像とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ従来から広く用いられている。特に、入力画像と基準背景画像との差分を用いる方法は背景差分法、異なる時刻に得られた入力画像間での差分を用いる方法はフレーム間差分法と呼ばれる。
【０００３】
まず、背景差分法の処理を、図５を用いて説明する。図５は、背景差分法における物体検出の処理原理を説明するための図で、１０１ は入力画像、１０５ は基準背景画像、５０１ は背景差分法による差分画像、５０２ は差分画像 ５０１ の二値化画像、１１２ は減算器、１１５ は二値化器である。
【０００４】
図５において、減算器 １１２ は、２ フレームの画像（この図では入力画像 １０１ と基準背景画像 １０５ ）の画素毎の輝度値の差分を計算して差分画像 ５０１ を出力し、二値化器 １１５ は差分画像 ５０１ の画素毎の輝度値が所定のしきい値 Ｔｈ 未満の輝度値を“ ０ ”、しきい値 Ｔｈ 以上の画素の輝度値を“ ２５５ ”（ １ 画素の輝度値を ８ ビットで計算）として、二値化画像 ５０２ を得る。
【０００５】
これによって、入力画像 １０１ に写った人型の物体 ５０３ は、減算器 １１２ によって差分が生じた領域 ５０４ として計算され、二値化器 １１５ によって輝度値“ ２５５ ”のかたまりの画像 ５０５ として検出される。背景差分法を応用した例としては、例えば、特開平 ９−２８８７３２ 号公報がある。
【０００６】
次にフレーム間差分法の処理を、図６を用いて説明する。図６は、フレーム間差分法における物体検出の処理原理を説明するための図で、１０１ は第１の入力画像、１０２ は第１の入力画像 １０１ と同一の視野範囲を第１の入力画像 １０１ と異なる時刻に撮像して得られた第２の入力画像、６０１ はフレーム間差分法による差分画像、６０２ は差分画像 ６０１ の二値化画像、１１２ は減算器、１１５ は二値化器である。
【０００７】
図６において、減算器 １１２ は前記図５の場合と同様に ２ フレームの画像（この図では第１の入力画像 １０１ と第２の入力画像 １０２ ）の画素毎の輝度値の差分を計算し差分画像 ６０１ を出力し、二値化器 １１５ は前記図５の場合と同様に差分画像 ６０１ の画素毎の輝度値が所定のしきい値 Ｔｈ 未満の輝度値を“ ０ ”、しきい値 Ｔｈ 以上の画素の輝度値を“ ２５５ ”（ １ 画素の輝度値を ８ ビットで計算）として、二値化画像 ６０２ を得る。
【０００８】
これによって、第１の入力画像 １０１ 及び第２の入力画像 １０２ に写った人型の物体 ６０３ 及び ６０４ は、減算器 １１２ によって差分が生じた領域 ６０５ として計算され、二値化器 １１５ によって輝度値“ ２５５ ”のかたまりの画像 ６０６ として検出される。フレーム間差分を応用した例としては、例えば、特許登録番号第 ２６３３６９４ 号公報がある。
【０００９】
【発明が解決しようとする課題】
しかし、背景差分法では、対象物体の入力画像上での見かけの移動速度が小さい場合でも対象物体を検出できるという特徴があるものの、木の葉や波などの揺れのような動く物体がある場合には、動く物体を誤って検出してしまうという課題がある。また、フレーム間差分法では、木の葉や波などの揺れのような動く物体がある場合に、差分処理を行う２フレームの画像を取得する時間間隔を適切に設定する（２フレームの画像間で木の葉や波の揺れの変化が小さくなるように設定する）ことで動く物体を誤って検出すること（誤検出）が低減できるという特徴があるものの、検出すべき対象物体の入力画像上での見かけの移動速度が小さい場合には対象物体として検出されないという課題がある。
本発明の目的は、対象物体以外の動く物体の誤検出を低減して、撮像範囲内に侵入した対象物体を検出する侵入物体検出方法及び侵入物体監視装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の一側面による侵入物体検出方法は、撮像装置から監視視野の画像を逐次受取り、前記撮像装置からの前記画像を記憶装置に保存し、前記撮像装置からの現在の画像と、複数の所定フレーム数の、異なる画像の各々との画素毎の輝度値の差を計算して各差分画像を生成し、前記差分画像（複数）をそれぞれ所定の割合（複数）で加算して合成差分画像を作成し、前記合成差分画像を所定のしきい値で二値化して二値化画像を作成し、該二値化画像中の物体を前記監視視野内の侵入物体として検出する。
【００１１】
本発明の好ましい１つの特徴によれば、前記複数の所定フレーム数の異なる画像の内１フレームは基準背景画像であり、それ以外のフレームはそれぞれ前記現在の入力画像と異なる時刻に得られた入力画像である。
更に、本発明の侵入物体検出方法は、前記監視視野内の、検出すべき物体が写っていない基準背景画像を作成して保存する。
また更に、前記複数の異なる画像のうち、１つは基準背景画像であり、それ以外の画像はそれぞれ前記現在の入力画像と異なる時刻に得られた入力画像である。
また更に、前記所定の割合が、加重係数画像として表される。
また更に、前記加重係数画像は、前記監視視野を分割して得たそれぞれの所定の区域に対応して設定された前記加重係数の組であることを特徴とする。
【００１２】
更に、本発明の侵入物体検出方法において、各差分画像の加算の前記所定の割合は、前記撮像装置から、予め前記監視視野を分割して得た各所定区域の物体までの、距離に基づいて設定されているものである。
また、前記撮像装置から近い距離の物体に対応する区域に対しては前記現在の入力画像と該現在の入力画像に時間的に近いフレームの入力画像との差分画像の加算割合を大きくし、前記撮像装置から遠い距離の物体に対応する区域に対しては前記現在の人力画像と該現在の入力画像から時間的に遠いフレームの入力画像との差分画像の加算割合を大きくするものである。
また更に、前記加重係数画像は、前記撮像装置から前記物体までの距離の関数である。
また更に、前記加重係数画像は、前記合成差分画像に与える寄与率である。
また更に、各差分画像を重み付けする前記それぞれの所定の割合は、前記監視視野を分割して得た各所定区域の物体の見かけ上の動きの大きさに基づいて設定するものである。
また更に、前記物体の見かけ上の動きが大きい区域に対しては、前記現在の入力画像と該現在の入力画像に時間的に近いフレームの入力画像との差分画像の重み付けの割合を大きくし、前記物体の見かけ上の動きが小さい区域に対しては、前記現在の入力画像と該現在の入力画像から時間的に遠いフレームの画像との差分画像の重み付けの割合を大きくすることものである。
また更に、本発明の侵入物体検出方法は、物体が実質的に静止している区域に対しては、前記現在の入力画像と基準背景画像との差分画像の重み付けの割合を１とし、その他のフレームとの差分画像の重み付けの割合を実質的にゼロとするものである。
【００１３】
更に、本発明の侵入物体監視装置は、監視対象とする撮像範囲を撮像する撮像装置と、前記撮像装置が取得した映像信号を逐次入力画像に変換する画像入力インターフェースと、該画像入力インターフェースからの入力画像を記憶する記憶装置とを備え、前記画像入力インターフェースからの前記入力画像を処理する画像処理ユニットは、前記入力画像と、複数の所定数の前記記憶装置に記憶されている入力画像の各々と、の画素毎の差分を計算し、得られた前記所定数の差分画像をそれぞれ所定の割合で加算して合成画像を生成し、該合成画像を所定のしきい値によって二値化して二値化画像を得、該二値化画像に基づき前記撮像範囲内への侵入物体を検出することを特徴とする。
【００１４】
また更に、本発明の侵入物体監視装置は、監視対象とする撮像範囲を撮像する画像入力装置と、前記画像入力装置からの入力画像を受け取る画像入力インターフェースと、該画像入力インターフェースからの入力画像を記憶する画像メモリと、侵入物体検出プログラムを記憶しているプログラムメモリと、前記プログラムに従って侵入物体検出処理を行う処理ユニットと、ワークメモリと、監視モニタと、前記処理ユニットの指示によって前記監視モニタに画像を送る画像出力インターフェースとを備え、前記プログラムが、前記入力画像と、複数の所定数の前記画像メモリに記憶されている入力画像のそれぞれと、の画素毎の差分を計算するコード手段と、得られた前記所定フレーム数の差分画像をそれぞれ所定の割合で加算して合成差分画像を生成するコード手段と、該合成差分画像を所定のしきい値によって二値化して二値化画像を得るコード手段と、該二値化画像に基づき前記撮像範囲内への侵入物体を検出するコード手段とを備えることを特徴とするものである。
また更に、音、可視光、振動、回転運動、上下運動の少なくとも１つ以上で表し人間または補助動物が感知可能な信号を発生する警告装置と、前記処理ユニットの指示によって前記警告装置に警告を表示させる警告表示信号を伝達する出力インターフェースとを備えるものである。
【００１５】
フレーム間差分法と背景差分法の長所短所を整理すると以下のようになる。
フレーム間差分法の長所：差分処理を行う２フレームの画像を取得する時間間隔を適切に設定する（２フレームの画像間で木の葉や波の揺れの変化が小さくなるように設定する）ことで誤検出の割合を低減できる。
フレーム間差分法の短所：見かけの動きが小さい（時間間隔△ｔ における画像上の移動量が小さい）物体は検出できない。
背景差分法の長所：見かけの動きが小さい物体も検出可能（停止物体も検出可能）。
背景差分法の短所：検出すべき対象物体以外の動く物体も検出してしまう。
【００１６】
本発明者等がフレーム間差分法と背景差分法を洋上侵入監視船の検出に適用した実験（フレーム時間間隔△ｔ ＝ １００ ｍ ｓｅｃ ）の結果、以下のことが分かった。
フレーム間差分法を使えば海面に写る夕日の反射は抑制可能である（検出されたとしても誤検出領域の面積は小さい）。
背景差分法では夕日の反射の誤検出は抑制できない（誤検出領域の面積が大きい）。
夕日の反射の誤検出は、画像手前部分に多い（画像手前になるほど波が大きく見えるため）。
フレーム間差分法では遠方の船舶は検出できない（見かけの移動量が小さいため）。
【００１７】
これらの結果から、
画面手前（近くの物体）を検出する場合は、フレーム間差分法が有効であり、画面奥（遠方の物体）を検出する場合は、背景差分法が有効であると結論できる。
従って、本発明では、テレビジョンカメラの画面手前ではフレーム間差分法を適用し、画面奥では背景差分方を適用するようなハイプリッド化によって侵入物体検出性能を向上させるようにしたことを１つの特徴としたものである。
【００１８】
【発明の実施の形態】
以下、本発明の実施例を図面に言及して説明する。全図面を通じて同様な部材には同様な参照符号を付す。
図４は、本発明を適用した侵入物体監視システムのハードウエア構成を示すブロック図である。最初に、図４に言及してこの侵入物体監視システムを説明する。
図４において、４０１ はテレビジョンカメラ（以下 ＴＶ カメラと呼ぶ）、４０２ は画像入力 Ｉ／Ｆ 、４０３ は ＣＰＵ 、４０４ はプログラムメモリ、４０５ は画像メモリ、４０６ はワークメモリ、４０７ は出力 １／Ｆ 、４０８ は画像出力 １／Ｆ 、４０９ は警告灯、４１０ は監視モニタ、４１１ はデータバスである。
【００１９】
ＴＶ カメラ ４０１ は画像入力 Ｉ／Ｆ ４０２ に接続され、監視モニタ ４１０ は画像出力 Ｉ／Ｆ ４０８ に接続され、警告灯 ４０９ は出力 Ｉ／Ｆ ４０７ に接続されている。また、画像入力 Ｉ／Ｆ ４０２ 、ＣＰＵ ４０３ 、プログラムメモリ ４０４ 、画像メモリ ４０５ 、ワークメモリ ４０６ 、出力 Ｉ／Ｆ ４０７ 及び画像出力 Ｉ／Ｆ ４０８ は、データバス ４１１ に接続されている。
【００２０】
図４において、ＴＶ カメラ ４０１ は監視対象区域を含めた撮像視野内を撮像する。ＴＶ カメラ ４０１ は、撮像した画像を映像信号に変換し、該映像信号を画像入力 Ｉ／Ｆ ４０２ に入力する。画像入力 Ｉ／Ｆ ４０２ は、入力した該映像信号を侵入物体監視システムで扱うフォーマット（例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ ）の画像データに変換し、データバス ４１１ を介して画像メモリ ４０５ に送る。画像メモリ ４０５ は、画像入力 Ｉ／Ｆ ４０２ から送られてきた画像デ―夕を蓄積する。
【００２１】
ＣＰＵ ４０３ は、プログラムメモリ ４０４ に保存されている動作プログラムに従って、ワークメモリ ４０６ 内で画像メモリ ４０５ に蓄積された画像の解析を行う。以上の解析結果、ＴＶ カメラ ４０１ の撮像視野内に侵入物体が侵入した等の情報を得る。ＣＰＵ ４０３ は、データバス ４１１ から画像出力 Ｉ／Ｆ ４０８ を介して監視モニタ ４１０ に、例えば、処理結果画像を表示し、出力 Ｉ／Ｆ ４０７ を介して警告灯 ４０９ を点灯する。
【００２２】
また、前記画像出力 Ｉ／Ｆ ４０８ は、ＣＰＵ ４０３ からの信号を前記監視モニタ ４１０ が使用できるフォーマット（例えば、ＮＴＳＣ 映像信号）に変換して、監視モニタ ４１０ に送る。監視モニタ ４１０ は、例えば、侵入物体検出結果画像を表示する。
【００２３】
図２は本発明の侵入物体の検出の第１の処理フローを示す図である。この処理フローは、図４の侵入物体監視システムのハードウエア構成を用いて実行される。
この図２の第１の処理フローは、図４の ＴＶ カメラ ４０１ から入力した入力画像 １０１ と、画像メモリ ４０５ に保存されている所定のフレーム数（２フレーム以上）の前の入力画像との差分画像を、図６に表されるフレーム間差分法によって計算し、得られた所定フレーム数の差分画像に重み付けして加算し、得られた合成差分画像を所定のしきい値で二値化することによって、ＴＶ カメラ ４０１ の視野内に侵入した物体を検出する方法である。
【００２４】
まず、画像入力ステップ ２０１では、ＴＶ カメラ ４０１ によって撮像される入力映像信号を、例えば、３２０ × ２４０ 画素（ ｐｉｘ ）の入力画像 １０１ として得る。次にフレームカウンタクリアステップ ２０２ では、フレーム間差分の対象となる画像番号を管理するための変数であるフレームカウンタの値を １ に設定する。
【００２５】
次に、フレーム間差分処理ステップ ２０３ では、入力画像 １０１（ここでは ａ（ ｘ ，ｙ ）と表記する。（ ｘ ，ｙ ）は画像上の画素の位置を表す）と画像メモリ ４０５ に保存されている前の入力画像（ここでは ｂｉ（ ｘ ，ｙ ）と表記する。ｉ はフレームカウンタの値を表す）との差分（ ｃｉ（ ｘ ，ｙ ）と表記する）を計算する。
【００２６】
このとき、対象となる画像メモリ ４０５ に保存されている入力画像は、前記フレーム番号によって決定され、例えば、フレームカウンタの値が １ の場合は、一番最近（例えば、１フレーム前）に保存された入力画像画像（ ｂｉ（ ｘ ，ｙ ））を表す。画素毎の差分は、以下のようにして計算される。
【００２７】
【数１】
次に、フレームカウンタ増加ステップ ２０４ では、フレームカウンタの値を １ 増加させる。
【００２８】
フレーム終了判定ステップ ２０５ では、フレームカウンタの値が所定の値 Ｎ 未満の場合にフレーム間差分ステップ ２０３ に分岐し、所定の値 Ｎ（例えば、Ｎ ＝ ３ ）以上の場合には差分画像合成ステップ ２０６へ分岐する。ここで、所定の値 Ｎは、入力画像 １０１ とフレーム間差分を行う場合に使用する画像の数、即ち、画像メモリ ４０１ に保存する入力画像の数を表し、例えば、Ｎ ＝ ４ とした場合、画像メモリ ４０１ に保存されている入力画像の数は ４ である。そして、この場合、差分画像も ４ フレーム（ ｃｉ（ ｘ ，ｙ ）、ｉ ＝ １ 〜 ４ ）得られる。
【００２９】
次に、差分画像合成ステップ ２０６ では、得られた Ｎ フレームの差分画像を所定の加重係数画像 ｄｉ（ ｘ ，ｙ ）によって重み付けして加算し、合成差分画像 ｅ（ ｘ ，ｙ ）を得る。合成差分画像 ｅ（ ｘ ，ｙ ）は、以下のようにして計算される。
【００３０】
【数２】
ただし、加重係数画像 ｄｉ（ ｘ ，ｙ ）は、
【数３】
となるように予め設定しておく。
【００３１】
この加重係数画像 ｄｉ（ ｘ ，ｙ ）は、各差分画像ｃｉ（ ｘ ，ｙ ）が合成差分画像 ｅ（ ｘ ，ｙ ）に対してどの位寄与するかを表し、例えばｄｌ（１００，１００）＝２５５の場合は、座標（ １００ ．１００ ）において第１の差分画像（ｃｌ（ ｘ ，ｙ ））が合成差分画像 ｅ（ ｘ ，ｙ ）に対して １００ ％の寄与率を持っていることを表す（加重係数画像は、１ 画素 ８ ビットの画像として表されており、加重係数画像の画素値が ０ の場合は寄与率が ０ ％、画素値が ２５５ の場合は寄与率が １００ ％であることを意味する）。
【００３２】
図１４は、本発明の一実施例の差分画像、加重係数画像、及び合成差分画像を説明するための図である。図１４は、差分画像のフレーム数が２、即ち、ci（ x，y）、i ＝ 1 ，2 の例である。説明を簡単にするため、差分画像、加重係数画像、及び合成差分画像それぞれの４点の画素位置(1)〜(4)について説明する。差分画像 c1（ x ，y ）の画素位置(1)〜(4)のそれぞれの差分の輝度値は乗算器 113 に出力され、差分画像 c2（ x ，y ）の画素位置(1)〜(4)のそれぞれの差分の輝度値は乗算器 113 ′に出力される。また、加重係数画像 d1（ x，y ）は差分画像と同一の画素位置(1)〜(4)の加重係数が輝度値と同じ次元の値で与えられ、例えば、画素位置(1)の加重係数 d1(1)を 255 、また、画素位置(2)の加重係数 d1(2) を 127 、画素位置(3)の加重係数 d1(3) を 127 、画素位置(4)の加重係数 d1(4) を 0 としている。同様に、加重係数画像 d2（ x，y ）では、 d2(1) を 0 、d2(2) と d2(3) を 128 、d2(4) を 255 とする。したがって、乗算器 113 と 113′でそれぞれの画素毎に乗算し、乗算した出力が加算器 114 で加算されさらに 255 で除算することにより、合成差分画像 e（ x ，y ）が得られる。
【００３３】
更に、この加重係数画像の設定を、図７から図１３を用いて説明する。図７と図８は、洋上監視に対して本発明を適用した場合の加重係数画像の設定例である。図７において７０１ は監視対象の視野範囲を撮像して得られる入力画像を表し、図８は、所定の値 Ｎ を Ｎ ＝ ４ とした場合の例で、４つの加重係数画像 ｄｉ（ ｘ，ｙ ）、ｉ ＝ １ 〜 ４ を重ねて表示したものである。
図８の例では、加重係数の値によって、海面の領域とそれ以外の領域（防波堤及び灯台の領域）８０４ を分けており、海面領域は更に、ＴＶ カメラ ４０１ からの距離に応じて、３つの領域 ８０１ 〜 ８０３ に分けている。
【００３４】
海面に発生する波の揺れは、ＴＶ カメラ ４０１ に近い程大きく観測される。このため、ＴＶ カメラ ４０１ に近い領域では波の揺れによる輝度値の変化を少なくするようにフレーム間差分を行わなければならない。従って、２フレームの画像入力時間を短くする必要がある。即ち、海面、画面手前の領域 ８０１ に対しては差分画像 ｃ１（ ｘ ，ｙ ）（２フレームの画像入力時間を短い間隔、例えば、１００ ｍ ｓｅｃ ）を使い、ＴＶ カメラ ４０１ から離れた領域 ８０２（例えば、ＴＶ カメラ ４０１ から ３０ ｍ 以上離れた領域）に対しては、差分画像 ｃ２（ ｘ ，ｙ ）（２フレームの画像入力時間間隔を中くらい、例えば、５００ ｍｓｅｃ ）を使い、ＴＶ カメラ ４０１ から更に離れた領域 ８０３、例えば、ＴＶ カメラ ４０１ から １００ ｍ 以上離れた領域）に対しては、差分画像 ｃ３（ ｘ ，ｙ ）（２フレームの画像入力時間間隔を長く、例えば、３ ｓｅｃ ）を使うようにする。
ただし、波の揺れが存在しない領域 ８０４ については、２フレームの画像入力時間間隔を長くできるので、差分画像 ｃ４（ ｘ ，ｙ ）を使うようにする。
従って、加重係数画像 ｄ１（ ｘ ，ｙ ）は、領域 ８０１ の画素を ２５５ 、それ以外の画素を ０ にする。
同様に、加重係数画像 ｄ２（ ｘ ，ｙ ）は領域 ８０２ の画素を ２５５ 、それ以外の画素を ０ 、加重係数画像 ｄ３（ ｘ ，ｙ ）は領域 ８０３ の画素を ２５５ 、それ以外の画素を ０ 、加重係数画像 ｄ４（ ｘ ，ｙ ）は領域 ８０４ の画素を ２５５ 、それ以外の画素を ０ とする。
【００３５】
これを図示すると、図１１の A〜D のようになる。図１１は、図７の場面において、加重係数画像 di（ x ，y ）の画素値を 0 、255 の２つの値で設定した例である。図１１A の画像 1101 は加重係数画像 d1（ x ，y ）を表し、加重係数画像 d1（ x ，y ）は、領域 1101a 及び領域 1101b を画素値 255 に設定し、それ以外の画素を 0 にする。図１１B の画像 1102 は加重係数画像 d2（ x，y ）を表し、加重係数画像 d2（ x ，y ）は、領域 1102a 及び領域 1102b を画素値 255 に設定し、それ以外の画素を 0 にする。図１１C の画像 1103 は加重係数画像 d3（ x ，y ）を表し、加重係数画像 d3（ x ，y ）は、領域 1103aを画素値 255 に設定し、それ以外の画素を 0 にする。更に、図１１D の画像 1104 は加重係数画像 d4（ x ，y ）を表し、加重係数画像 d4（ x ，y ）は、領域 1104a を画素値 255 に設定し、それ以外の画素を 0 にする。
【００３６】
もちろん各領域の境界に近い画素では、加重係数を ２５５ より小さい値に設定することも可能で、例えば、領域 ８０１ と領域 ８０２ の境界に当たる画素に対しては、ｄ１（ ｘ ，ｙ ）＝ １２７ 、ｄ２（ ｘ ，ｙ ）＝ １２８ としても良い。これを図示すると、図１２のようになる。
図１２は、境界の幅を ３０ ｐｉｘ とした例で、画像 ｄｉ（ ｘ ，ｙ ）の画素値を ０、１２７ 、２５５ の３つの値で設定した例である。尚、画素値の最大値 ２５５ は、２ で割り切れないために、加重係数（寄与率）の配分で生じる余り分を加重係数画像のいずれかに割り振るようにする。加重係数画像の画素値 １２７ と １２８ は、最大加重係数 ２５５ に対して ０．４ ％の差しかなく、同じ加重係数とみなせるので、ここでは １２７ とした。
【００３７】
画像 1201 は加重係数画像 d1（ x ，y ）を表し、加重係数画像 d1（ x ，y）は、領域 1201a 及び領域 1201b を画素値 255 に設定し、領域 1201c 及び領域 1201d を画素値 127 に設定し、それ以外の画素を 0 にする。画像 1202 は加重係数画像 d2（ x ，y ）を表し、加重係数画像 d2（ x ，y ）は、領域 1202a（領域 1201c と同じ）及び領域 1202b（領域 1201d と同じ）を画素値 128に設定し、領域 1202c 及び領域 1202d を画素値 255 に設定し、領域 1202e 及び領域 1202f を画素値 127 に設定し、それ以外の画素を 0 にする。画像 1203は加重係数画像 d3（ x ，y ）を表し、加重係数画像 d3（ x ，y ）は、領域1203a（領域 1202e と同じ）及び領域 1203b（領域 1202f と同じ）を画素値 128 に設定し、領域 1203c を画素値 255 に設定し、それ以外の画素を 0 にする。さらに、画像 1204 は加重係数画像 d4（ x ，y ）を表し、加重係数画像 d4（ x ，y ）は、領域 1204a を画素値 255 に設定し、それ以外の画素を 0 にする。
【００３８】
尚、この設定例では、ｄ４（ ｘ ，ｙ ）については、図１１Ｄ のように ０ と ２５５の２値で表す。これは、領域 ８０４ が、他の領域 ８０１ ，８０２ ，８０３ のように画像下部になる程（ ＴＶ カメラとの距離が小さくなる程）波が大きく見えるという特性ではなく、単一のフレーム時間間隔（フレーム間差分）あるいは背景差分を適用すれば良いためである。
【００３９】
上記図１１、図１２の例では、加重係数画像の加重係数を２値、あるいは３値で設定したものであるが、それ以外の加重係数の設定方法でも良い。この加重係数の設定方法の一例を図１３を用いて説明する。図１３は、各加重係数画像の画素値を ０ 〜 ２５５ の ２５６ 通りの値に割り当てる例であり、画像 １３０１ は図７と同じ場面を表しており、グラフ １３０２ は寄与率配分を表している。寄与率配分を表すグラフ １３０２ は、縦方向の位置が画像 １３０１ の ｙ 座標に対応し、横方向の幅が合成差分画像 ｅ（ ｘ ，ｙ ）への寄与率（加重係数の値）を表す。グラフ １３０２ は、３つの領域 １３０２ａ、１３０２ｂ、１３０２ｃ に分けられており、それぞれ差分画像 ｃ１（ ｘ ，ｙ ）、ｃ２（ ｘ ，ｙ ）、ｃ３（ ｘ ，ｙ ）の加重係数画像 ｄ１（ ｘ ，ｙ ）、ｄ２（ ｘ ，ｙ ）、ｄ３（ ｘ ，ｙ ）に対応する。領域 １３０２ａ と領域 １３０２ｂ は、点 １３０２ｇ（ｙ 座標 ２２０ に対応）と点 １３０２ｈ（ｙ 座標 ８０ に対応）を結ぶ線によって分けられており、領域 １３０２ｂ と領域 １３０２ｃ は、点 １３０２ｉ（ｙ 座標 １２０ に対応）と点 １３０２ｊ（ｙ 座標 ２０ に対応）を結ぶ線によって分けられている。これらの点は、ＴＶ カメラ ４０１ からの距離に応じて経験的に設定され、例えば、点 １３０２ｇ はＴＶ カメラ ４０１ から １０ ｍ、点 １３０２ｉ は ３０ ｍ、点 １３０２ｈ は ８０ ｍ、点 １３０２ｊ は １５０ ｍ の距離に対応する画像上の ｙ 座標に対応させて設定する。この図のように領域を分割すると、領域 １３０２ａ、領域 １３０２ｂ、領域 １３０２ｃ の幅（ｄ１（ ｘ ，ｙ ）、ｄ２（ ｘ ，ｙ ）、ｄ３（ ｘ ，ｙ ）の加重係数）は、
【数４】
【数５】
【数６】
として算出することができる。ここで、例えば画像 １３０１ の位置 １３０１ａ（ ｙ ＝ １００ ）における加重係数を算出すると、ｄ１（ ｘ ，ｙ ）＝ ３６（幅 １３０２ｄ ）、ｄ２（ ｘ ，ｙ ）＝ １６８（幅 １３０２ｅ ）、ｄ３（ ｘ ，ｙ ）＝ ５１（幅 １３０２ｆ ）となる。ただし、波の揺れが存在しない領域 ８０４（背景差分法を適用できる領域）については、ｄｉ（ ｘ ，ｙ ）＝ ０（ Ｉ ＜ ４ ）、ｄ４（ ｘ ，ｙ ）＝ ２５５ とする。なお、本実施例では、図１３のグラフ １３０２ のように、加重係数画像の寄与率を決める領域 １３０２ａ、１３０２ｂ 、１３０２ｃ を、基準となる点 １３０２ｇ 、１３０２ｈ 、１３０２ｉ 、１３０２ｊ を結ぶ直線を用いて分割しているが、これを曲線を用いて分割するようにしても良い。
【００４０】
図９、図１０は、屋外監視に対して本発明を適用した場合の加重係数画像の設定例である。図９は入力画像 901 、図１０は N ＝ 3 とした例で加重係数画像dl（ x ，y ）、i ＝ 1 〜 3を重ねて表示したものである。この例では、建物、地面及び空の領域と草木の領域を分けており、車木の領域はさらに草木の種類に応して２つに分けている。
【００４１】
図９の例では、画像上の見かけの動きの大きさは、画像上方の木の方が画像中央の草より大きいとしている。揺れが大きい領域では、木々の揺れの変化を少なくするようにフレーム間差分を行なう２フレームの画像入力時間間隔を短くする必要がある。すなわち、木の領域 1002 に対しては差分画像 c1（ x ，y ）を使い、草の領域 1001 に対しては差分画像 c2（ x ，y ）を使うようにする。ただし、木々の揺れが存在しない領域 1003 については、２フレームの画像入力時間間隔を長くできるので、差分画像 c3（ x ，y ）を使うようにする。したがって、加重係数画像 dl（ x ，y ）は、領域 1002 の画素を 255 、それ以外の画素を 0 にする。同様に、加重係数画像 d2（ x ，y ）は領域 1001 の画素を 255 、それ以外の画素を 0 、d3（ x ，y ）は領域 1003 の画素を 255 、それ以外の画素を 0とする。もちろん、前述の図７、図８の場合と同様に、各領域の境界に近い領域では加重係数を 255 より小さい値に設定することが可能で、例えば、領域 1001との境界に当たる画素に対しては、c1（ x ，y ）＝ 128 、c2（ x ，y ）＝ 127 としても良い。
【００４２】
さらには、図１３で説明したように、加重係数画像を ０ 〜 ２５５ の ２５６ 通りの値で割り当てるようにしても良い。図１３では、カメラ ４０１ からの距離に応じて加重係数を割り当てるようにしているが、図９の例では、カメラ ４０１ に写る物体が画像上でどの程度動いて観測されるかに応じて加重係数を割り当てるようにする（大きく動いて観測される領域（例えば、１００２ ）では、差分法に用いるフレーム間隔が短い ｄ１（ ｘ ，ｙ ）の寄与率が高くなるように、ほとんど動かないで観測される領域（例えば、１００３ ）では、差分法に用いるフレーム間隔が長い、あるいは背基準景画像との差分である ｄ３（ ｘ ，ｙ ）の寄与率が高くなるように設定する）。
尚、加重係数画像の設定は、侵入物体監視システムの設置時に１度だけ行えばよいため、後述する図２及び図３のフローチャートでは、加重係数画像の設定ステップを省略し含んでいない。
【００４３】
次に、図２の二値化処理ステップ ２０７ では、差分画像合成処理ステップ ２０６ によって得られた合成差分画像 ｅ（ ｘ ，ｙ ）を、所定のしきい値 Ｔｈ（例えば、Ｔｈ ＝ ２０ ）を用いて、合成差分画像 ｅ（ ｘ ，ｙ ）の画素毎の輝度値が所定のしきい値 Ｔｈ 未満の輝度値を ０ 、しきい値 Ｔｈ 以上の画素の輝度値を ２５５ （ １ 画素の輝度値を ８ ビットで計算）として二値化画像 ｆ（ ｘ ，ｙ ）を得る。
【００４４】
次に侵入物体判定ステップ ２０８ では、得られた二値化画像 ｆ（ ｘ ，ｙ ）で輝度値 ２５５ の画素のかたまりが存在するか否か（画素が所定数（例えば、１００ 個）以上かたまって存在するか否か）を判定し、輝度値 ２５５ の画素のかたまりが存在した場合、それを侵入物体とみなして分岐ステップ ２０９ において警報・モニタ表示ステップ ２１０ へ分岐し、輝度値 ２５５ の画素の塊が存在しない場合、入力画像保存ステップ ２１１ へ分岐する。
【００４５】
警報・モニタ表示ステップ ２１０ では、出力 Ｉ／Ｆ ４０７ を介して警告灯 ４０９ を点灯させたり、画像出力 Ｉ／Ｆ ４０８ を介して監視モニタ ４１０ に例えば監視処理結果を表示する。
【００４６】
次に入力画像保存ステップ ２１１ では、入力画像 １１１ を １ フレーム前の入力画像 ｂ１（ ｘ ，ｙ ）として画像メモリ ４０５ に保存する。その際に、これまでに保存した入力画像 ｂ１（ ｘ ，ｙ ）から ｂＮ−１（ ｘ ，ｙ ）は、それぞれ ｂ２（ ｘ ，ｙ ）から ｂＮ（ ｘ ，ｙ ）へコピーされる。このようにすることで、画像メモリ ４０５ には、Ｎ フレーム前までの入力画像を保存できる。
このようにすることで、撮像装置の視野内に存在する対象物体以外の動く物体が差分として差分画像に現れることを抑制し、正確な侵入物体検出が可能となる。
【００４７】
図３は、本発明の侵入物体の検出の第２の処理フローを示す図である。図３は、図２で示されるフローチヤートに、背景差分ステップ ３０１ と、基準背景画像更新ステップ ３０２ を追加したものである。
背景差分ステップ ３０１ では、入力画像 １０１ と基準背景画像 １０５ との画素毎の差分を計寡する（これを ｃ（ ｘ ，ｙ ）とする）。差分画像合成ステップ ２０６ では、図２で示される処理フローで説明した Ｎ 番目のフレーム間差分画像の代わりに背景差分による差分画像 ｃ（ ｘ ，ｙ ）を合成する。この際、前述の第１の処理フローの例では、図８の領域 ８０４ に対して ４ フレーム前の差分画像 ｃ４（ ｘ ，ｙ ）を適用したが、この第２の処理フローでは、背景差分による背景差分画像 ｃ（ ｘ ，ｙ ）を適用させるようにする。
基準背景画像更新ステップ ３０２ では、例えば、入力画像と基準背景画像の画素を平均化し、新たな基準背景画像とする。これ以外のステップは図２のフローチャートで示される処理フローと同様であるため説明を省略する。
【００４８】
次に、この一連の処理の流れを図１を用いて説明する。図１では、フレーム間差分に ３ フレーム使用し、更に背景差分法も使用した例である。図１において、画像 １０１ は入力画像、画像 １０２ は別時刻に入力した入力画像（例えば、１ フレーム前の入力画像）、画像 １０３ は更に別時刻に入力した入力画像（例えば、２フレーム前の入力画像）、画像 １０４ はまた更に別の時刻に入力した入力画像（例えば。３ フレーム前の入力画像）、画像 １０５ は基準背景画像を表す。また、画像 １０６ は入力画像 １０１ と入力画像 １０２ との差分画像に対する加重係数画像、画像 １０７ は入力画像 １０１ と入力画像 １０３ との差分画像に対する加重係数画像画像、１０８ は入力画像 １０１と入力画像 １０４ との差分画像に対する加重係数画像画像、１０９ は入力画像 １０１ と基準背景画像 １０５との差分画像に対する加重係数画像を表す。
【００４９】
入力画像 １０１ と入力画像 １０２ は、差分器 １１２−１ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−１ によって加重係数画像 １０６ との画素毎の積が計算されて、加算器 １１４ に入力される。入力画像 １０１ と入力画像 １０３ は、差分器 １１２−２ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−２ によって加重係数画像 １０７ との画素毎の積が計算されて、加算器 １１４ に入力される。入力画像 １０１ と入力画像 １０４ は、差分器 １１２−３ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−３ によって加重係数画像 １０８ との画素毎の積が計算されて、加算器 １１４ に入力される。入力画像 １０１ と背景画像 １０５ は、差分器 １１２−４ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−４ によって加重係数画像 １０９ との画素毎の積が計算されて、加算器 １１４ に入力される。
【００５０】
加算器 １１４ では、入力された ４ フレームの差分画像を画素毎に加算し、合成差分画像 １１０ を得る。得られた合成差分画像 １１０ は、二値化器 １１５ によって画素毎に所定のしきい値と比較され、しきい値以上の輝度値を ２５５ 、しきい値未満の輝度値を ０ として二値化画像 １１１ を得る。このようにすることで、撮像装置の視野内に存在する対象物体以外の動く物体が差分として差分画像に現れることを抑制し、正確な侵入物体検出が可能となる。
【００５１】
したがって、本発明の実施例によれば、監視対象とする監視範囲内に存在する、木の葉や波などといった対象物体以外の動く物体に対しては、異なるフレーム時間間隔の入力画像から得られたフレーム間差分画像、入力画像と基準背景画像との背景差分画像を所定の重みを付けて合成することで、対象物体以外の動く物体が差分として差分画像に現れることを抑制することができ、侵入物体検出装置の適用範囲を大きく広げることができる。
本発明によれば、撮像範囲内に侵入した対象物体を、対象物体以外の動く物体の誤検出を低減して、検出する侵入物体検出方法及び侵入物体監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の侵入物体の検出処理の一実施例の動作を説明するための図。
【図２】本発明の第１の実施例による処理手順を示す図。
【図３】本発明の第２の実施例による処理手順を示す図。
【図４】本発明の侵入物体検出方法を適用した侵入物体監視システムの一実施例の構成を示すブロック図。
【図５】従来のフレーム間差分法における物体検出の処理原理を説明するための図。
【図６】従来のフレーム間差分法における物体検出の処理原理を説明するための図。
【図７】本発明を洋上監視に適用した場合の入力画像の一実施例を示す図。
【図８】本発明を洋上監視に適用した場合の加重係数画像の一実施例を示す図。
【図９】本発明を屋外監視に適用した場合の入力画像の一実施例を示す図。
【図１０】本発明を屋外監視に適用した場合の加重係数画像の一実施例を示す図。
【図１１】図８の加重係数画像の設定を更に詳細に説明するための図。
【図１２】本発明の加重係数画像の加重係数を３値で設定する一実施例を示す図。
【図１３】本発明の加重係数画像の画素値を多値で設定する一実施例を示す図。
【図１４】本発明の差分画像、加重係数画像、及び合成差分画像を説明するための図。
【符号の説明】
１０１：入力画像、 １０２：１フレーム前の入力画像、 １０３：２フレーム前の入力画像、 １０４：３フレーム前の入力画像、 １０５：基準背景画像、 １０６：１フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、 １０７：２フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、 １０８：３フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、 １０９：背景差分画像に対応する加重係数画像、 １１０：合成差分画像、 １１１：二値化画像、 １１２−１，１１２−２，１１２−３，１１２−４：差分器、 １１３−１，１１３−２，１１３−３，１１３−４：乗算器、 １１４：加算器、 １１５：二値化器。
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に木々や波などの揺れが観測される監視環境下において、監視範囲内への侵入物体を検出すべき対象物体として、撮像装置から入力する映像信号の中から自動的に検出する侵入物体検出方法及び侵入物体監視装置に関する。
【０００２】
カメラ等の撮像装置を画像入力手段として用いた侵入物体監視装置は、従来の監視員による有人監視ではなく、監視視野内の侵入物体を検出したり、物体の種類を確認したりして、自動的に所定の報知や警報処置が得られるようにしたものである。このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）や該入力画像と異なる時刻に得られた入力画像とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ従来から広く用いられている。特に、入力画像と基準背景画像との差分を用いる方法は背景差分法、異なる時刻に得られた入力画像間での差分を用いる方法はフレーム間差分法と呼ばれる。
【０００３】
まず、背景差分法の処理を、図５を用いて説明する。図５は、背景差分法における物体検出の処理原理を説明するための図で、１０１ は入力画像、１０５ は基準背景画像、５０１ は背景差分法による差分画像、５０２ は差分画像 ５０１ の二値化画像、１１２ は減算器、１１５ は二値化器である。
【０００４】
図５において、減算器 １１２ は、２ フレームの画像（この図では入力画像 １０１ と基準背景画像 １０５ ）の画素毎の輝度値の差分を計算して差分画像 ５０１ を出力し、二値化器 １１５ は差分画像 ５０１ の画素毎の輝度値が所定のしきい値 Ｔｈ 未満の輝度値を“ ０ ”、しきい値 Ｔｈ 以上の画素の輝度値を“ ２５５ ”（ １ 画素の輝度値を ８ ビットで計算）として、二値化画像 ５０２ を得る。
【０００５】
これによって、入力画像 １０１ に写った人型の物体 ５０３ は、減算器 １１２ によって差分が生じた領域 ５０４ として計算され、二値化器 １１５ によって輝度値“ ２５５ ”のかたまりの画像 ５０５ として検出される。背景差分法を応用した例としては、例えば、特開平 ９−２８８７３２ 号公報がある。
【０００６】
次にフレーム間差分法の処理を、図６を用いて説明する。図６は、フレーム間差分法における物体検出の処理原理を説明するための図で、１０１ は第１の入力画像、１０２ は第１の入力画像 １０１ と同一の視野範囲を第１の入力画像 １０１ と異なる時刻に撮像して得られた第２の入力画像、６０１ はフレーム間差分法による差分画像、６０２ は差分画像 ６０１ の二値化画像、１１２ は減算器、１１５ は二値化器である。
【０００７】
図６において、減算器 １１２ は前記図５の場合と同様に ２ フレームの画像（この図では第１の入力画像 １０１ と第２の入力画像 １０２ ）の画素毎の輝度値の差分を計算し差分画像 ６０１ を出力し、二値化器 １１５ は前記図５の場合と同様に差分画像 ６０１ の画素毎の輝度値が所定のしきい値 Ｔｈ 未満の輝度値を“ ０ ”、しきい値 Ｔｈ 以上の画素の輝度値を“ ２５５ ”（ １ 画素の輝度値を ８ ビットで計算）として、二値化画像 ６０２ を得る。
【０００８】
これによって、第１の入力画像 １０１ 及び第２の入力画像 １０２ に写った人型の物体 ６０３ 及び ６０４ は、減算器 １１２ によって差分が生じた領域 ６０５ として計算され、二値化器 １１５ によって輝度値“ ２５５ ”のかたまりの画像 ６０６ として検出される。フレーム間差分を応用した例としては、例えば、特許登録番号第 ２６３３６９４ 号公報がある。
【０００９】
【発明が解決しようとする課題】
しかし、背景差分法では、対象物体の入力画像上での見かけの移動速度が小さい場合でも対象物体を検出できるという特徴があるものの、木の葉や波などの揺れのような動く物体がある場合には、動く物体を誤って検出してしまうという課題がある。また、フレーム間差分法では、木の葉や波などの揺れのような動く物体がある場合に、差分処理を行う２フレームの画像を取得する時間間隔を適切に設定する（２フレームの画像間で木の葉や波の揺れの変化が小さくなるように設定する）ことで動く物体を誤って検出すること（誤検出）が低減できるという特徴があるものの、検出すべき対象物体の入力画像上での見かけの移動速度が小さい場合には対象物体として検出されないという課題がある。
本発明の目的は、対象物体以外の動く物体の誤検出を低減して、撮像範囲内に侵入した対象物体を検出する侵入物体検出方法及び侵入物体監視装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の一側面による侵入物体検出方法は、撮像装置から監視視野の画像を逐次受取り、前記撮像装置からの前記画像を記憶装置に保存し、前記撮像装置からの現在の画像と、複数の所定フレーム数の、異なる画像の各々との画素毎の輝度値の差を計算して各差分画像を生成し、前記差分画像（複数）をそれぞれ所定の割合（複数）で加算して合成差分画像を作成し、前記合成差分画像を所定のしきい値で二値化して二値化画像を作成し、該二値化画像中の物体を前記監視視野内の侵入物体として検出する。
【００１１】
本発明の好ましい１つの特徴によれば、前記複数の所定フレーム数の異なる画像の内１フレームは基準背景画像であり、それ以外のフレームはそれぞれ前記現在の入力画像と異なる時刻に得られた入力画像である。
更に、本発明の侵入物体検出方法は、前記監視視野内の、検出すべき物体が写っていない基準背景画像を作成して保存する。
また更に、前記複数の異なる画像のうち、１つは基準背景画像であり、それ以外の画像はそれぞれ前記現在の入力画像と異なる時刻に得られた入力画像である。
また更に、前記所定の割合が、加重係数画像として表される。
また更に、前記加重係数画像は、前記監視視野を分割して得たそれぞれの所定の区域に対応して設定された前記加重係数の組であることを特徴とする。
【００１２】
更に、本発明の侵入物体検出方法において、各差分画像の加算の前記所定の割合は、前記撮像装置から、予め前記監視視野を分割して得た各所定区域の物体までの、距離に基づいて設定されているものである。
また、前記撮像装置から近い距離の物体に対応する区域に対しては前記現在の入力画像と該現在の入力画像に時間的に近いフレームの入力画像との差分画像の加算割合を大きくし、前記撮像装置から遠い距離の物体に対応する区域に対しては前記現在の人力画像と該現在の入力画像から時間的に遠いフレームの入力画像との差分画像の加算割合を大きくするものである。
また更に、前記加重係数画像は、前記撮像装置から前記物体までの距離の関数である。
また更に、前記加重係数画像は、前記合成差分画像に与える寄与率である。
また更に、各差分画像を重み付けする前記それぞれの所定の割合は、前記監視視野を分割して得た各所定区域の物体の見かけ上の動きの大きさに基づいて設定するものである。
また更に、前記物体の見かけ上の動きが大きい区域に対しては、前記現在の入力画像と該現在の入力画像に時間的に近いフレームの入力画像との差分画像の重み付けの割合を大きくし、前記物体の見かけ上の動きが小さい区域に対しては、前記現在の入力画像と該現在の入力画像から時間的に遠いフレームの画像との差分画像の重み付けの割合を大きくすることものである。
また更に、本発明の侵入物体検出方法は、物体が実質的に静止している区域に対しては、前記現在の入力画像と基準背景画像との差分画像の重み付けの割合を１とし、その他のフレームとの差分画像の重み付けの割合を実質的にゼロとするものである。
【００１３】
更に、本発明の侵入物体監視装置は、監視対象とする撮像範囲を撮像する撮像装置と、前記撮像装置が取得した映像信号を逐次入力画像に変換する画像入力インターフェースと、該画像入力インターフェースからの入力画像を記憶する記憶装置とを備え、前記画像入力インターフェースからの前記入力画像を処理する画像処理ユニットは、前記入力画像と、複数の所定数の前記記憶装置に記憶されている入力画像の各々と、の画素毎の差分を計算し、得られた前記所定数の差分画像をそれぞれ所定の割合で加算して合成画像を生成し、該合成画像を所定のしきい値によって二値化して二値化画像を得、該二値化画像に基づき前記撮像範囲内への侵入物体を検出することを特徴とする。
【００１４】
また更に、本発明の侵入物体監視装置は、監視対象とする撮像範囲を撮像する画像入力装置と、前記画像入力装置からの入力画像を受け取る画像入力インターフェースと、該画像入力インターフェースからの入力画像を記憶する画像メモリと、侵入物体検出プログラムを記憶しているプログラムメモリと、前記プログラムに従って侵入物体検出処理を行う処理ユニットと、ワークメモリと、監視モニタと、前記処理ユニットの指示によって前記監視モニタに画像を送る画像出力インターフェースとを備え、前記プログラムが、前記入力画像と、複数の所定数の前記画像メモリに記憶されている入力画像のそれぞれと、の画素毎の差分を計算するコード手段と、得られた前記所定フレーム数の差分画像をそれぞれ所定の割合で加算して合成差分画像を生成するコード手段と、該合成差分画像を所定のしきい値によって二値化して二値化画像を得るコード手段と、該二値化画像に基づき前記撮像範囲内への侵入物体を検出するコード手段とを備えることを特徴とするものである。
また更に、音、可視光、振動、回転運動、上下運動の少なくとも１つ以上で表し人間または補助動物が感知可能な信号を発生する警告装置と、前記処理ユニットの指示によって前記警告装置に警告を表示させる警告表示信号を伝達する出力インターフェースとを備えるものである。
【００１５】
フレーム間差分法と背景差分法の長所短所を整理すると以下のようになる。
フレーム間差分法の長所：差分処理を行う２フレームの画像を取得する時間間隔を適切に設定する（２フレームの画像間で木の葉や波の揺れの変化が小さくなるように設定する）ことで誤検出の割合を低減できる。
フレーム間差分法の短所：見かけの動きが小さい（時間間隔△ｔ における画像上の移動量が小さい）物体は検出できない。
背景差分法の長所：見かけの動きが小さい物体も検出可能（停止物体も検出可能）。
背景差分法の短所：検出すべき対象物体以外の動く物体も検出してしまう。
【００１６】
本発明者等がフレーム間差分法と背景差分法を洋上侵入監視船の検出に適用した実験（フレーム時間間隔△ｔ ＝ １００ ｍ ｓｅｃ ）の結果、以下のことが分かった。
フレーム間差分法を使えば海面に写る夕日の反射は抑制可能である（検出されたとしても誤検出領域の面積は小さい）。
背景差分法では夕日の反射の誤検出は抑制できない（誤検出領域の面積が大きい）。
夕日の反射の誤検出は、画像手前部分に多い（画像手前になるほど波が大きく見えるため）。
フレーム間差分法では遠方の船舶は検出できない（見かけの移動量が小さいため）。
【００１７】
これらの結果から、
画面手前（近くの物体）を検出する場合は、フレーム間差分法が有効であり、画面奥（遠方の物体）を検出する場合は、背景差分法が有効であると結論できる。
従って、本発明では、テレビジョンカメラの画面手前ではフレーム間差分法を適用し、画面奥では背景差分方を適用するようなハイプリッド化によって侵入物体検出性能を向上させるようにしたことを１つの特徴としたものである。
【００１８】
【発明の実施の形態】
以下、本発明の実施例を図面に言及して説明する。全図面を通じて同様な部材には同様な参照符号を付す。
図４は、本発明を適用した侵入物体監視システムのハードウエア構成を示すブロック図である。最初に、図４に言及してこの侵入物体監視システムを説明する。
図４において、４０１ はテレビジョンカメラ（以下 ＴＶ カメラと呼ぶ）、４０２ は画像入力 Ｉ／Ｆ 、４０３ は ＣＰＵ 、４０４ はプログラムメモリ、４０５ は画像メモリ、４０６ はワークメモリ、４０７ は出力 １／Ｆ 、４０８ は画像出力 １／Ｆ 、４０９ は警告灯、４１０ は監視モニタ、４１１ はデータバスである。
【００１９】
ＴＶ カメラ ４０１ は画像入力 Ｉ／Ｆ ４０２ に接続され、監視モニタ ４１０ は画像出力 Ｉ／Ｆ ４０８ に接続され、警告灯 ４０９ は出力 Ｉ／Ｆ ４０７ に接続されている。また、画像入力 Ｉ／Ｆ ４０２ 、ＣＰＵ ４０３ 、プログラムメモリ ４０４ 、画像メモリ ４０５ 、ワークメモリ ４０６ 、出力 Ｉ／Ｆ ４０７ 及び画像出力 Ｉ／Ｆ ４０８ は、データバス ４１１ に接続されている。
【００２０】
図４において、ＴＶ カメラ ４０１ は監視対象区域を含めた撮像視野内を撮像する。ＴＶ カメラ ４０１ は、撮像した画像を映像信号に変換し、該映像信号を画像入力 Ｉ／Ｆ ４０２ に入力する。画像入力 Ｉ／Ｆ ４０２ は、入力した該映像信号を侵入物体監視システムで扱うフォーマット（例えば、幅 ３２０ ｐｉｘ 、高さ ２４０ ｐｉｘ 、８ ｂｉｔ／ｐｉｘ ）の画像データに変換し、データバス ４１１ を介して画像メモリ ４０５ に送る。画像メモリ ４０５ は、画像入力 Ｉ／Ｆ ４０２ から送られてきた画像デ―夕を蓄積する。
【００２１】
ＣＰＵ ４０３ は、プログラムメモリ ４０４ に保存されている動作プログラムに従って、ワークメモリ ４０６ 内で画像メモリ ４０５ に蓄積された画像の解析を行う。以上の解析結果、ＴＶ カメラ ４０１ の撮像視野内に侵入物体が侵入した等の情報を得る。ＣＰＵ ４０３ は、データバス ４１１ から画像出力 Ｉ／Ｆ ４０８ を介して監視モニタ ４１０ に、例えば、処理結果画像を表示し、出力 Ｉ／Ｆ ４０７ を介して警告灯 ４０９ を点灯する。
【００２２】
また、前記画像出力 Ｉ／Ｆ ４０８ は、ＣＰＵ ４０３ からの信号を前記監視モニタ ４１０ が使用できるフォーマット（例えば、ＮＴＳＣ 映像信号）に変換して、監視モニタ ４１０ に送る。監視モニタ ４１０ は、例えば、侵入物体検出結果画像を表示する。
【００２３】
図２は本発明の侵入物体の検出の第１の処理フローを示す図である。この処理フローは、図４の侵入物体監視システムのハードウエア構成を用いて実行される。
この図２の第１の処理フローは、図４の ＴＶ カメラ ４０１ から入力した入力画像 １０１ と、画像メモリ ４０５ に保存されている所定のフレーム数（２フレーム以上）の前の入力画像との差分画像を、図６に表されるフレーム間差分法によって計算し、得られた所定フレーム数の差分画像に重み付けして加算し、得られた合成差分画像を所定のしきい値で二値化することによって、ＴＶ カメラ ４０１ の視野内に侵入した物体を検出する方法である。
【００２４】
まず、画像入力ステップ ２０１では、ＴＶ カメラ ４０１ によって撮像される入力映像信号を、例えば、３２０ × ２４０ 画素（ ｐｉｘ ）の入力画像 １０１ として得る。次にフレームカウンタクリアステップ ２０２ では、フレーム間差分の対象となる画像番号を管理するための変数であるフレームカウンタの値を １ に設定する。
【００２５】
次に、フレーム間差分処理ステップ ２０３ では、入力画像 １０１（ここでは ａ（ ｘ ，ｙ ）と表記する。（ ｘ ，ｙ ）は画像上の画素の位置を表す）と画像メモリ ４０５ に保存されている前の入力画像（ここでは ｂｉ（ ｘ ，ｙ ）と表記する。ｉ はフレームカウンタの値を表す）との差分（ ｃｉ（ ｘ ，ｙ ）と表記する）を計算する。
【００２６】
このとき、対象となる画像メモリ ４０５ に保存されている入力画像は、前記フレーム番号によって決定され、例えば、フレームカウンタの値が １ の場合は、一番最近（例えば、１フレーム前）に保存された入力画像画像（ ｂｉ（ ｘ ，ｙ ））を表す。画素毎の差分は、以下のようにして計算される。
【００２７】
【数１】
【００２８】
フレーム終了判定ステップ ２０５ では、フレームカウンタの値が所定の値 Ｎ 未満の場合にフレーム間差分ステップ ２０３ に分岐し、所定の値 Ｎ（例えば、Ｎ ＝ ３ ）以上の場合には差分画像合成ステップ ２０６へ分岐する。ここで、所定の値 Ｎは、入力画像 １０１ とフレーム間差分を行う場合に使用する画像の数、即ち、画像メモリ ４０１ に保存する入力画像の数を表し、例えば、Ｎ ＝ ４ とした場合、画像メモリ ４０１ に保存されている入力画像の数は ４ である。そして、この場合、差分画像も ４ フレーム（ ｃｉ（ ｘ ，ｙ ）、ｉ ＝ １ 〜 ４ ）得られる。
【００２９】
次に、差分画像合成ステップ ２０６ では、得られた Ｎ フレームの差分画像を所定の加重係数画像 ｄｉ（ ｘ ，ｙ ）によって重み付けして加算し、合成差分画像 ｅ（ ｘ ，ｙ ）を得る。合成差分画像 ｅ（ ｘ ，ｙ ）は、以下のようにして計算される。
【００３０】
【数２】
【数３】
【００３１】
この加重係数画像 ｄｉ（ ｘ ，ｙ ）は、各差分画像ｃｉ（ ｘ ，ｙ ）が合成差分画像 ｅ（ ｘ ，ｙ ）に対してどの位寄与するかを表し、例えばｄｌ（１００，１００）＝２５５の場合は、座標（ １００ ．１００ ）において第１の差分画像（ｃｌ（ ｘ ，ｙ ））が合成差分画像 ｅ（ ｘ ，ｙ ）に対して １００ ％の寄与率を持っていることを表す（加重係数画像は、１ 画素 ８ ビットの画像として表されており、加重係数画像の画素値が ０ の場合は寄与率が ０ ％、画素値が ２５５ の場合は寄与率が １００ ％であることを意味する）。
【００３２】
図１４は、本発明の一実施例の差分画像、加重係数画像、及び合成差分画像を説明するための図である。図１４は、差分画像のフレーム数が２、即ち、ci（ x，y）、i ＝ 1 ，2 の例である。説明を簡単にするため、差分画像、加重係数画像、及び合成差分画像それぞれの４点の画素位置(1)〜(4)について説明する。差分画像 c1（ x ，y ）の画素位置(1)〜(4)のそれぞれの差分の輝度値は乗算器 113 に出力され、差分画像 c2（ x ，y ）の画素位置(1)〜(4)のそれぞれの差分の輝度値は乗算器 113 ′に出力される。また、加重係数画像 d1（ x，y ）は差分画像と同一の画素位置(1)〜(4)の加重係数が輝度値と同じ次元の値で与えられ、例えば、画素位置(1)の加重係数 d1(1)を 255 、また、画素位置(2)の加重係数 d1(2) を 127 、画素位置(3)の加重係数 d1(3) を 127 、画素位置(4)の加重係数 d1(4) を 0 としている。同様に、加重係数画像 d2（ x，y ）では、 d2(1) を 0 、d2(2) と d2(3) を 128 、d2(4) を 255 とする。したがって、乗算器 113 と 113′でそれぞれの画素毎に乗算し、乗算した出力が加算器 114 で加算されさらに 255 で除算することにより、合成差分画像 e（ x ，y ）が得られる。
【００３３】
更に、この加重係数画像の設定を、図７から図１３を用いて説明する。図７と図８は、洋上監視に対して本発明を適用した場合の加重係数画像の設定例である。図７において７０１ は監視対象の視野範囲を撮像して得られる入力画像を表し、図８は、所定の値 Ｎ を Ｎ ＝ ４ とした場合の例で、４つの加重係数画像 ｄｉ（ ｘ，ｙ ）、ｉ ＝ １ 〜 ４ を重ねて表示したものである。
図８の例では、加重係数の値によって、海面の領域とそれ以外の領域（防波堤及び灯台の領域）８０４ を分けており、海面領域は更に、ＴＶ カメラ ４０１ からの距離に応じて、３つの領域 ８０１ 〜 ８０３ に分けている。
【００３４】
海面に発生する波の揺れは、ＴＶ カメラ ４０１ に近い程大きく観測される。このため、ＴＶ カメラ ４０１ に近い領域では波の揺れによる輝度値の変化を少なくするようにフレーム間差分を行わなければならない。従って、２フレームの画像入力時間を短くする必要がある。即ち、海面、画面手前の領域 ８０１ に対しては差分画像 ｃ１（ ｘ ，ｙ ）（２フレームの画像入力時間を短い間隔、例えば、１００ ｍ ｓｅｃ ）を使い、ＴＶ カメラ ４０１ から離れた領域 ８０２（例えば、ＴＶ カメラ ４０１ から ３０ ｍ 以上離れた領域）に対しては、差分画像 ｃ２（ ｘ ，ｙ ）（２フレームの画像入力時間間隔を中くらい、例えば、５００ ｍｓｅｃ ）を使い、ＴＶ カメラ ４０１ から更に離れた領域 ８０３、例えば、ＴＶ カメラ ４０１ から １００ ｍ 以上離れた領域）に対しては、差分画像 ｃ３（ ｘ ，ｙ ）（２フレームの画像入力時間間隔を長く、例えば、３ ｓｅｃ ）を使うようにする。
ただし、波の揺れが存在しない領域 ８０４ については、２フレームの画像入力時間間隔を長くできるので、差分画像 ｃ４（ ｘ ，ｙ ）を使うようにする。
従って、加重係数画像 ｄ１（ ｘ ，ｙ ）は、領域 ８０１ の画素を ２５５ 、それ以外の画素を ０ にする。
同様に、加重係数画像 ｄ２（ ｘ ，ｙ ）は領域 ８０２ の画素を ２５５ 、それ以外の画素を ０ 、加重係数画像 ｄ３（ ｘ ，ｙ ）は領域 ８０３ の画素を ２５５ 、それ以外の画素を ０ 、加重係数画像 ｄ４（ ｘ ，ｙ ）は領域 ８０４ の画素を ２５５ 、それ以外の画素を ０ とする。
【００３５】
これを図示すると、図１１の A〜D のようになる。図１１は、図７の場面において、加重係数画像 di（ x ，y ）の画素値を 0 、255 の２つの値で設定した例である。図１１A の画像 1101 は加重係数画像 d1（ x ，y ）を表し、加重係数画像 d1（ x ，y ）は、領域 1101a 及び領域 1101b を画素値 255 に設定し、それ以外の画素を 0 にする。図１１B の画像 1102 は加重係数画像 d2（ x，y ）を表し、加重係数画像 d2（ x ，y ）は、領域 1102a 及び領域 1102b を画素値 255 に設定し、それ以外の画素を 0 にする。図１１C の画像 1103 は加重係数画像 d3（ x ，y ）を表し、加重係数画像 d3（ x ，y ）は、領域 1103aを画素値 255 に設定し、それ以外の画素を 0 にする。更に、図１１D の画像 1104 は加重係数画像 d4（ x ，y ）を表し、加重係数画像 d4（ x ，y ）は、領域 1104a を画素値 255 に設定し、それ以外の画素を 0 にする。
【００３６】
もちろん各領域の境界に近い画素では、加重係数を ２５５ より小さい値に設定することも可能で、例えば、領域 ８０１ と領域 ８０２ の境界に当たる画素に対しては、ｄ１（ ｘ ，ｙ ）＝ １２７ 、ｄ２（ ｘ ，ｙ ）＝ １２８ としても良い。これを図示すると、図１２のようになる。
図１２は、境界の幅を ３０ ｐｉｘ とした例で、画像 ｄｉ（ ｘ ，ｙ ）の画素値を ０、１２７ 、２５５ の３つの値で設定した例である。尚、画素値の最大値 ２５５ は、２ で割り切れないために、加重係数（寄与率）の配分で生じる余り分を加重係数画像のいずれかに割り振るようにする。加重係数画像の画素値 １２７ と １２８ は、最大加重係数 ２５５ に対して ０．４ ％の差しかなく、同じ加重係数とみなせるので、ここでは １２７ とした。
【００３７】
画像 1201 は加重係数画像 d1（ x ，y ）を表し、加重係数画像 d1（ x ，y）は、領域 1201a 及び領域 1201b を画素値 255 に設定し、領域 1201c 及び領域 1201d を画素値 127 に設定し、それ以外の画素を 0 にする。画像 1202 は加重係数画像 d2（ x ，y ）を表し、加重係数画像 d2（ x ，y ）は、領域 1202a（領域 1201c と同じ）及び領域 1202b（領域 1201d と同じ）を画素値 128に設定し、領域 1202c 及び領域 1202d を画素値 255 に設定し、領域 1202e 及び領域 1202f を画素値 127 に設定し、それ以外の画素を 0 にする。画像 1203は加重係数画像 d3（ x ，y ）を表し、加重係数画像 d3（ x ，y ）は、領域1203a（領域 1202e と同じ）及び領域 1203b（領域 1202f と同じ）を画素値 128 に設定し、領域 1203c を画素値 255 に設定し、それ以外の画素を 0 にする。さらに、画像 1204 は加重係数画像 d4（ x ，y ）を表し、加重係数画像 d4（ x ，y ）は、領域 1204a を画素値 255 に設定し、それ以外の画素を 0 にする。
【００３８】
尚、この設定例では、ｄ４（ ｘ ，ｙ ）については、図１１Ｄ のように ０ と ２５５の２値で表す。これは、領域 ８０４ が、他の領域 ８０１ ，８０２ ，８０３ のように画像下部になる程（ ＴＶ カメラとの距離が小さくなる程）波が大きく見えるという特性ではなく、単一のフレーム時間間隔（フレーム間差分）あるいは背景差分を適用すれば良いためである。
【００３９】
上記図１１、図１２の例では、加重係数画像の加重係数を２値、あるいは３値で設定したものであるが、それ以外の加重係数の設定方法でも良い。この加重係数の設定方法の一例を図１３を用いて説明する。図１３は、各加重係数画像の画素値を ０ 〜 ２５５ の ２５６ 通りの値に割り当てる例であり、画像 １３０１ は図７と同じ場面を表しており、グラフ １３０２ は寄与率配分を表している。寄与率配分を表すグラフ １３０２ は、縦方向の位置が画像 １３０１ の ｙ 座標に対応し、横方向の幅が合成差分画像 ｅ（ ｘ ，ｙ ）への寄与率（加重係数の値）を表す。グラフ １３０２ は、３つの領域 １３０２ａ、１３０２ｂ、１３０２ｃ に分けられており、それぞれ差分画像 ｃ１（ ｘ ，ｙ ）、ｃ２（ ｘ ，ｙ ）、ｃ３（ ｘ ，ｙ ）の加重係数画像 ｄ１（ ｘ ，ｙ ）、ｄ２（ ｘ ，ｙ ）、ｄ３（ ｘ ，ｙ ）に対応する。領域 １３０２ａ と領域 １３０２ｂ は、点 １３０２ｇ（ｙ 座標 ２２０ に対応）と点 １３０２ｈ（ｙ 座標 ８０ に対応）を結ぶ線によって分けられており、領域 １３０２ｂ と領域 １３０２ｃ は、点 １３０２ｉ（ｙ 座標 １２０ に対応）と点 １３０２ｊ（ｙ 座標 ２０ に対応）を結ぶ線によって分けられている。これらの点は、ＴＶ カメラ ４０１ からの距離に応じて経験的に設定され、例えば、点 １３０２ｇ はＴＶ カメラ ４０１ から １０ ｍ、点 １３０２ｉ は ３０ ｍ、点 １３０２ｈ は ８０ ｍ、点 １３０２ｊ は １５０ ｍ の距離に対応する画像上の ｙ 座標に対応させて設定する。この図のように領域を分割すると、領域 １３０２ａ、領域 １３０２ｂ、領域 １３０２ｃ の幅（ｄ１（ ｘ ，ｙ ）、ｄ２（ ｘ ，ｙ ）、ｄ３（ ｘ ，ｙ ）の加重係数）は、
【数４】
【００４０】
図９、図１０は、屋外監視に対して本発明を適用した場合の加重係数画像の設定例である。図９は入力画像 901 、図１０は N ＝ 3 とした例で加重係数画像dl（ x ，y ）、i ＝ 1 〜 3を重ねて表示したものである。この例では、建物、地面及び空の領域と草木の領域を分けており、車木の領域はさらに草木の種類に応して２つに分けている。
【００４１】
図９の例では、画像上の見かけの動きの大きさは、画像上方の木の方が画像中央の草より大きいとしている。揺れが大きい領域では、木々の揺れの変化を少なくするようにフレーム間差分を行なう２フレームの画像入力時間間隔を短くする必要がある。すなわち、木の領域 1002 に対しては差分画像 c1（ x ，y ）を使い、草の領域 1001 に対しては差分画像 c2（ x ，y ）を使うようにする。ただし、木々の揺れが存在しない領域 1003 については、２フレームの画像入力時間間隔を長くできるので、差分画像 c3（ x ，y ）を使うようにする。したがって、加重係数画像 dl（ x ，y ）は、領域 1002 の画素を 255 、それ以外の画素を 0 にする。同様に、加重係数画像 d2（ x ，y ）は領域 1001 の画素を 255 、それ以外の画素を 0 、d3（ x ，y ）は領域 1003 の画素を 255 、それ以外の画素を 0とする。もちろん、前述の図７、図８の場合と同様に、各領域の境界に近い領域では加重係数を 255 より小さい値に設定することが可能で、例えば、領域 1001との境界に当たる画素に対しては、c1（ x ，y ）＝ 128 、c2（ x ，y ）＝ 127 としても良い。
【００４２】
さらには、図１３で説明したように、加重係数画像を ０ 〜 ２５５ の ２５６ 通りの値で割り当てるようにしても良い。図１３では、カメラ ４０１ からの距離に応じて加重係数を割り当てるようにしているが、図９の例では、カメラ ４０１ に写る物体が画像上でどの程度動いて観測されるかに応じて加重係数を割り当てるようにする（大きく動いて観測される領域（例えば、１００２ ）では、差分法に用いるフレーム間隔が短い ｄ１（ ｘ ，ｙ ）の寄与率が高くなるように、ほとんど動かないで観測される領域（例えば、１００３ ）では、差分法に用いるフレーム間隔が長い、あるいは背基準景画像との差分である ｄ３（ ｘ ，ｙ ）の寄与率が高くなるように設定する）。
尚、加重係数画像の設定は、侵入物体監視システムの設置時に１度だけ行えばよいため、後述する図２及び図３のフローチャートでは、加重係数画像の設定ステップを省略し含んでいない。
【００４３】
次に、図２の二値化処理ステップ ２０７ では、差分画像合成処理ステップ ２０６ によって得られた合成差分画像 ｅ（ ｘ ，ｙ ）を、所定のしきい値 Ｔｈ（例えば、Ｔｈ ＝ ２０ ）を用いて、合成差分画像 ｅ（ ｘ ，ｙ ）の画素毎の輝度値が所定のしきい値 Ｔｈ 未満の輝度値を ０ 、しきい値 Ｔｈ 以上の画素の輝度値を ２５５ （ １ 画素の輝度値を ８ ビットで計算）として二値化画像 ｆ（ ｘ ，ｙ ）を得る。
【００４４】
次に侵入物体判定ステップ ２０８ では、得られた二値化画像 ｆ（ ｘ ，ｙ ）で輝度値 ２５５ の画素のかたまりが存在するか否か（画素が所定数（例えば、１００ 個）以上かたまって存在するか否か）を判定し、輝度値 ２５５ の画素のかたまりが存在した場合、それを侵入物体とみなして分岐ステップ ２０９ において警報・モニタ表示ステップ ２１０ へ分岐し、輝度値 ２５５ の画素の塊が存在しない場合、入力画像保存ステップ ２１１ へ分岐する。
【００４５】
警報・モニタ表示ステップ ２１０ では、出力 Ｉ／Ｆ ４０７ を介して警告灯 ４０９ を点灯させたり、画像出力 Ｉ／Ｆ ４０８ を介して監視モニタ ４１０ に例えば監視処理結果を表示する。
【００４６】
次に入力画像保存ステップ ２１１ では、入力画像 １１１ を １ フレーム前の入力画像 ｂ１（ ｘ ，ｙ ）として画像メモリ ４０５ に保存する。その際に、これまでに保存した入力画像 ｂ１（ ｘ ，ｙ ）から ｂＮ−１（ ｘ ，ｙ ）は、それぞれ ｂ２（ ｘ ，ｙ ）から ｂＮ（ ｘ ，ｙ ）へコピーされる。このようにすることで、画像メモリ ４０５ には、Ｎ フレーム前までの入力画像を保存できる。
このようにすることで、撮像装置の視野内に存在する対象物体以外の動く物体が差分として差分画像に現れることを抑制し、正確な侵入物体検出が可能となる。
【００４７】
図３は、本発明の侵入物体の検出の第２の処理フローを示す図である。図３は、図２で示されるフローチヤートに、背景差分ステップ ３０１ と、基準背景画像更新ステップ ３０２ を追加したものである。
背景差分ステップ ３０１ では、入力画像 １０１ と基準背景画像 １０５ との画素毎の差分を計寡する（これを ｃ（ ｘ ，ｙ ）とする）。差分画像合成ステップ ２０６ では、図２で示される処理フローで説明した Ｎ 番目のフレーム間差分画像の代わりに背景差分による差分画像 ｃ（ ｘ ，ｙ ）を合成する。この際、前述の第１の処理フローの例では、図８の領域 ８０４ に対して ４ フレーム前の差分画像 ｃ４（ ｘ ，ｙ ）を適用したが、この第２の処理フローでは、背景差分による背景差分画像 ｃ（ ｘ ，ｙ ）を適用させるようにする。
基準背景画像更新ステップ ３０２ では、例えば、入力画像と基準背景画像の画素を平均化し、新たな基準背景画像とする。これ以外のステップは図２のフローチャートで示される処理フローと同様であるため説明を省略する。
【００４８】
次に、この一連の処理の流れを図１を用いて説明する。図１では、フレーム間差分に ３ フレーム使用し、更に背景差分法も使用した例である。図１において、画像 １０１ は入力画像、画像 １０２ は別時刻に入力した入力画像（例えば、１ フレーム前の入力画像）、画像 １０３ は更に別時刻に入力した入力画像（例えば、２フレーム前の入力画像）、画像 １０４ はまた更に別の時刻に入力した入力画像（例えば。３ フレーム前の入力画像）、画像 １０５ は基準背景画像を表す。また、画像 １０６ は入力画像 １０１ と入力画像 １０２ との差分画像に対する加重係数画像、画像 １０７ は入力画像 １０１ と入力画像 １０３ との差分画像に対する加重係数画像画像、１０８ は入力画像 １０１と入力画像 １０４ との差分画像に対する加重係数画像画像、１０９ は入力画像 １０１ と基準背景画像 １０５との差分画像に対する加重係数画像を表す。
【００４９】
入力画像 １０１ と入力画像 １０２ は、差分器 １１２−１ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−１ によって加重係数画像 １０６ との画素毎の積が計算されて、加算器 １１４ に入力される。入力画像 １０１ と入力画像 １０３ は、差分器 １１２−２ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−２ によって加重係数画像 １０７ との画素毎の積が計算されて、加算器 １１４ に入力される。入力画像 １０１ と入力画像 １０４ は、差分器 １１２−３ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−３ によって加重係数画像 １０８ との画素毎の積が計算されて、加算器 １１４ に入力される。入力画像 １０１ と背景画像 １０５ は、差分器 １１２−４ によって各画素の差分が計算され、その結果得られる差分画像は乗算器 １１３−４ によって加重係数画像 １０９ との画素毎の積が計算されて、加算器 １１４ に入力される。
【００５０】
加算器 １１４ では、入力された ４ フレームの差分画像を画素毎に加算し、合成差分画像 １１０ を得る。得られた合成差分画像 １１０ は、二値化器 １１５ によって画素毎に所定のしきい値と比較され、しきい値以上の輝度値を ２５５ 、しきい値未満の輝度値を ０ として二値化画像 １１１ を得る。このようにすることで、撮像装置の視野内に存在する対象物体以外の動く物体が差分として差分画像に現れることを抑制し、正確な侵入物体検出が可能となる。
【００５１】
したがって、本発明の実施例によれば、監視対象とする監視範囲内に存在する、木の葉や波などといった対象物体以外の動く物体に対しては、異なるフレーム時間間隔の入力画像から得られたフレーム間差分画像、入力画像と基準背景画像との背景差分画像を所定の重みを付けて合成することで、対象物体以外の動く物体が差分として差分画像に現れることを抑制することができ、侵入物体検出装置の適用範囲を大きく広げることができる。
本発明によれば、撮像範囲内に侵入した対象物体を、対象物体以外の動く物体の誤検出を低減して、検出する侵入物体検出方法及び侵入物体監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の侵入物体の検出処理の一実施例の動作を説明するための図。
【図２】本発明の第１の実施例による処理手順を示す図。
【図３】本発明の第２の実施例による処理手順を示す図。
【図４】本発明の侵入物体検出方法を適用した侵入物体監視システムの一実施例の構成を示すブロック図。
【図５】従来のフレーム間差分法における物体検出の処理原理を説明するための図。
【図６】従来のフレーム間差分法における物体検出の処理原理を説明するための図。
【図７】本発明を洋上監視に適用した場合の入力画像の一実施例を示す図。
【図８】本発明を洋上監視に適用した場合の加重係数画像の一実施例を示す図。
【図９】本発明を屋外監視に適用した場合の入力画像の一実施例を示す図。
【図１０】本発明を屋外監視に適用した場合の加重係数画像の一実施例を示す図。
【図１１】図８の加重係数画像の設定を更に詳細に説明するための図。
【図１２】本発明の加重係数画像の加重係数を３値で設定する一実施例を示す図。
【図１３】本発明の加重係数画像の画素値を多値で設定する一実施例を示す図。
【図１４】本発明の差分画像、加重係数画像、及び合成差分画像を説明するための図。
【符号の説明】
１０１：入力画像、 １０２：１フレーム前の入力画像、 １０３：２フレーム前の入力画像、 １０４：３フレーム前の入力画像、 １０５：基準背景画像、 １０６：１フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、 １０７：２フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、 １０８：３フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、 １０９：背景差分画像に対応する加重係数画像、 １１０：合成差分画像、 １１１：二値化画像、 １１２−１，１１２−２，１１２−３，１１２−４：差分器、 １１３−１，１１３−２，１１３−３，１１３−４：乗算器、 １１４：加算器、 １１５：二値化器。
Claims (12)
- 撮像手段から得られる画像中の物体を検出する物体検出方法であって、
撮像手段からの入力画像と、時間間隔の異なる複数の画像とのフレーム間差分処理を行うフレーム間差分処理ステップと、
該フレーム間差分処理により得られた複数の差分データを画像中の各所定領域に対応して設定される係数に基づいて合成する差分データ合成ステップと、
該差分データ合成ステップにより得られた差分データに基づいて物体を検出する物体検出ステップと、を備える、
ことを特徴とする物体検出方法。 - 請求項１に記載の物体検出方法において、
前記係数は、前記撮像手段からの距離に基づいて設定される、
ことを特徴とする物体検出方法。 - 請求項１に記載の物体検出方法において、
前記係数は、画像中の各所定領域における物体の動きの大きさに基づいて設定される、
ことを特徴とする物体検出方法。 - 撮像手段から得られる画像中の物体を検出する物体検出方法であって、
画像中の所定領域毎にフレーム時間間隔を変えてフレーム間差分処理を行うフレーム間差分処理ステップと、
該フレーム間差分処理により得られた差分データに基づいて物体を検出する物体検出ステップと、を備える、
ことを特徴とする物体検出方法。 - 請求項４に記載の物体検出方法において、
前記フレーム時間間隔は、前記所定領域の特性に基づいて設定される、
ことを特徴とする物体検出方法。 - 請求項１乃至５に記載の物体検出方法において、
更に、基準背景画像との差分処理を用いる、
ことを特徴とする物体検出方法。 - 撮像手段から得られる画像中の物体を検出する物体検出装置であって、
撮像手段からの入力画像と、時間間隔の異なる複数の画像とのフレーム間差分処理を行うフレーム間差分処理手段と、
該フレーム間差分処理により得られた複数の差分データを画像中の各所定領域に対応して設定される係数に基づいて合成する差分データ合成手段と、
該差分データ合成ステップにより得られた差分データに基づいて物体を検出する物体検出手段と、を備える、
ことを特徴とする物体検出装置。 - 請求項７に記載の物体検出装置において、
前記係数は、前記撮像手段からの距離に基づいて設定される、
ことを特徴とする物体検出装置。 - 請求項７に記載の物体検出装置において、
前記係数は、画像中の各所定領域における物体の動きの大きさに基づいて設定される、
ことを特徴とする物体検出装置。 - 撮像手段から得られる画像中の物体を検出する物体検出装置であって、
画像中の所定領域毎にフレーム時間間隔を変えてフレーム間差分処理を行うフレーム間差分処理手段と、
該フレーム間差分処理手段により得られた差分データに基づいて物体を検出する物体検出手段と、を備える、
ことを特徴とする物体検出装置。 - 請求項１０に記載の物体検出装置において、
前記フレーム時間間隔は、前記所定領域の特性に基づいて設定される、
ことを特徴とする物体検出装置。 - 請求項７乃至１１に記載の物体検出装置において、
更に、基準背景画像との差分処理を用いる、
ことを特徴とする物体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301352A JP3625440B2 (ja) | 2000-09-28 | 2001-09-28 | 物体検出方法及び物体検出装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000296995 | 2000-09-28 | ||
| JP2000-296995 | 2000-09-28 | ||
| JP2001301352A JP3625440B2 (ja) | 2000-09-28 | 2001-09-28 | 物体検出方法及び物体検出装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004321686A Division JP4291251B2 (ja) | 2000-09-28 | 2004-11-05 | 物体検出方法及び物体検出装置並びに物体検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002176640A JP2002176640A (ja) | 2002-06-21 |
| JP3625440B2 true JP3625440B2 (ja) | 2005-03-02 |
Family
ID=26600991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001301352A Expired - Fee Related JP3625440B2 (ja) | 2000-09-28 | 2001-09-28 | 物体検出方法及び物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3625440B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7433494B2 (en) | 2002-09-19 | 2008-10-07 | Denso Corporation | Moving body detecting apparatus |
| CN100337472C (zh) * | 2004-09-30 | 2007-09-12 | 中国科学院计算技术研究所 | 一种具有运动前景的视频合成方法 |
| JP4664878B2 (ja) * | 2006-08-11 | 2011-04-06 | 株式会社日立国際電気 | 画像処理装置 |
| JP4672680B2 (ja) * | 2007-02-05 | 2011-04-20 | 日本電信電話株式会社 | 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP4694589B2 (ja) * | 2008-03-17 | 2011-06-08 | 株式会社日立国際電気 | 自動監視システム |
| JP5712734B2 (ja) * | 2011-03-31 | 2015-05-07 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2001
- 2001-09-28 JP JP2001301352A patent/JP3625440B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002176640A (ja) | 2002-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7215795B2 (en) | Intruding object detecting method and intruding object monitoring apparatus employing the method | |
| EP2359604B1 (en) | Modifying color and panchromatic channel cfa image | |
| JP4878644B2 (ja) | 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム | |
| KR920001006B1 (ko) | Tv방식변환장치 | |
| KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
| US20030090593A1 (en) | Video stabilizer | |
| CN101065964A (zh) | 运动稳定化 | |
| EP2064671B1 (en) | Method and apparatus for interpolating an image | |
| KR20060008268A (ko) | 씨씨디 영상에서의 연기 검출방법 및 장치 | |
| KR100563023B1 (ko) | 인터레이스 대 프로그레시브 변환에 대한 에지 적응보간을 위한 방법 및 시스템 | |
| JP3486229B2 (ja) | 画像変化検出装置 | |
| JP3625440B2 (ja) | 物体検出方法及び物体検出装置 | |
| US11410459B2 (en) | Face detection and recognition method using light field camera system | |
| KR100623835B1 (ko) | 물체 검출 방법 및 물체 검출 장치 | |
| Huo et al. | Image dehazing with dark channel prior and novel estimation model | |
| Zhiwei et al. | New method of background update for video-based vehicle detection | |
| JP4171310B2 (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
| JP4291251B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
| JPH09245195A (ja) | 画像処理方法およびその装置 | |
| US20080144716A1 (en) | Method For Motion Vector Determination | |
| JP2011077981A (ja) | 監視カメラシステム | |
| JP2007323635A (ja) | ビデオ・イメージの再帰的フィルタリング | |
| JP6275022B2 (ja) | 画像監視装置 | |
| JP2012147083A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2002279429A (ja) | 侵入物体検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040906 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3625440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |