JP4291251B2 - 物体検出方法及び物体検出装置並びに物体検出プログラム - Google Patents

Description

本発明は、撮像装置を用いて物体検出を行う物体検出方法及び物体検出装置並びに物体検出プログラムに関し、特に、木々や波などの揺れが観測される環境下において、撮像範囲内への物体を検出すべき対象物体として、撮像装置から入力する映像信号の中から自動的に検出する物体検出方法及び物体検出装置並びに物体検出プログラムに関する。

カメラ等の撮像装置を画像入力手段として用いた侵入物体監視装置は、従来の監視員による有人監視ではなく、監視視野内の侵入物体を検出したり、物体の種類を確認したりして、自動的に所定の報知や警報処置が得られるようにしたものである。このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）や該入力画像と異なる時刻に得られた入力画像とを比較し、画素毎に差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ従来から広く用いられている。特に、入力画像と基準背景画像との差分を用いる方法は背景差分法、異なる時刻に得られた入力画像間での差分を用いる方法はフレーム間差分法と呼ばれる。

まず、背景差分法の処理を、図５を用いて説明する。図５は、背景差分法における物体検出の処理原理を説明するための図で、１０１は入力画像、１０５は基準背景画像、５０１は背景差分法による差分画像、５０２は差分画像５０１の二値化画像、１１２は減算器、１１５は二値化器である。

図５において、減算器１１２は、２フレームの画像（この図では入力画像１０１と基準背景画像１０５）の画素毎の輝度値の差分を計算して差分画像５０１を出力し、二値化器１１５は差分画像５０１の画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、しきい値Ｔｈ以上の画素の輝度値を“２５５”（１画素の輝度値を８ビットで計算）として、二値化画像５０２を得る。

これによって、入力画像１０１に写った人型の物体５０３は、減算器１１２によって差分が生じた領域５０４として計算され、二値化器１１５によって輝度値“２５５”のかたまりの画像５０５として検出される。背景差分法を応用した例としては、例えば、特開平９−２８８７３２号公報がある。

次にフレーム間差分法の処理を、図６を用いて説明する。図６は、フレーム間差分法における物体検出の処理原理を説明するための図で、１０１は第１の入力画像、１０２は第１の入力画像１０１と同一の視野範囲を第１の入力画像１０１と異なる時刻に撮像して得られた第２の入力画像、６０１はフレーム間差分法による差分画像、６０２は差分画像６０１の二値化画像、１１２は減算器、１１５は二値化器である。

図６において、減算器１１２は前記図５の場合と同様に２フレームの画像（この図では第１の入力画像１０１と第２の入力画像１０２）の画素毎の輝度値の差分を計算し差分画像６０１を出力し、二値化器１１５は前記図５の場合と同様に差分画像６０１の画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を“０”、しきい値Ｔｈ以上の画素の輝度値を“２５５”（１画素の輝度値を８ビットで計算）として、二値化画像６０２を得る。

これによって、第１の入力画像１０１及び第２の入力画像１０２に写った人型の物体６０３及び６０４は、減算器１１２によって差分が生じた領域６０５として計算され、二値化器１１５によって輝度値“２５５”のかたまりの画像６０６として検出される。フレーム間差分を応用した例としては、例えば、特許登録番号第２６３３６９４号公報がある。

しかし、背景差分法では、対象物体の入力画像上での見かけの移動速度が小さい場合でも対象物体を検出できるという特徴があるものの、木の葉や波などの揺れのような動く物体がある場合には、動く物体を誤って検出してしまうという課題がある。また、フレーム間差分法では、木の葉や波などの揺れのような動く物体がある場合に、差分処理を行う２フレームの画像を取得する時間間隔を適切に設定する（２フレームの画像間で木の葉や波の揺れの変化が小さくなるように設定する）ことで動く物体を誤って検出すること（誤検出）が低減できるという特徴があるものの、検出すべき対象物体の入力画像上での見かけの移動速度が小さい場合には対象物体として検出されないという課題がある。

本発明の目的は、対象物体以外の動く物体の誤検出を低減して、撮像範囲内の対象物体を検出する物体検出方法及び物体検出装置並びに物体検出プログラムを提供することにある。

上記目的を達成するため、本例に係る物体検出方法では、撮像手段から得られる画像中の物体を検出する物体検出方法であって、撮像手段からの距離が遠い領域に対しては背景差分法に基づく差分処理を行い、撮像手段からの距離が近い領域に対してはフレーム間差分法に基づく差分処理を行う。

また、上記目的を達成するため、本例に係る物体検出装置では、撮像手段から得られる画像中の物体を検出する物体検出装置であって、撮像手段からの距離が遠い領域に対しては背景差分法に基づく差分処理を行い、撮像手段からの距離が近い領域に対してはフレーム間差分法に基づく差分処理を行う。

また、上記目的を達成するため、本例に係る物体検出プログラムでは、撮像手段から得られる画像中の物体を検出する物体検出プログラムであって、撮像手段からの距離が遠い領域に対しては背景差分法に基づく差分処理を、撮像手段からの距離が近い領域に対してはフレーム間差分法に基づく差分処理をコンピュータに行わせる。

フレーム間差分法と背景差分法の長所短所を整理すると以下のようになる。
フレーム間差分法の長所：差分処理を行う２フレームの画像を取得する時間間隔を適切に設定する（２フレームの画像間で木の葉や波の揺れの変化が小さくなるように設定する）ことで誤検出の割合を低減できる。

フレーム間差分法の短所：見かけの動きが小さい（時間間隔△ｔにおける画像上の移動量が小さい）物体は検出できない。
背景差分法の長所：見かけの動きが小さい物体も検出可能（停止物体も検出可能）。

背景差分法の短所：検出すべき対象物体以外の動く物体も検出してしまう。
本発明者等がフレーム間差分法と背景差分法を洋上侵入監視船の検出に適用した実験（フレーム時間間隔△ｔ＝１００ｍｓｅｃ）の結果、以下のことが分かった。

フレーム間差分法を使えば海面に写る夕日の反射は抑制可能である（検出されたとしても誤検出領域の面積は小さい）。背景差分法では夕日の反射の誤検出は抑制できない（誤検出領域の面積が大きい）。夕日の反射の誤検出は、画像手前部分に多い（画像手前になるほど波が大きく見えるため）。フレーム間差分法では遠方の船舶は検出できない（見かけの移動量が小さいため）。

これらの結果から、画面手前（近くの物体）を検出する場合は、フレーム間差分法が有効であり、画面奥（遠方の物体）を検出する場合は、背景差分法が有効であると結論できる。

従って、本発明では、テレビジョンカメラの画面手前ではフレーム間差分法を適用し、画面奥では背景差分法を適用するようなハイプリッド化によって物体検出性能を向上させるようにしたことを１つの特徴としたものである。

本発明によれば、撮像範囲内の対象物体を、対象物体以外の動く物体の誤検出を低減して、検出する物体検出方法及び物体検出装置並びに物体検出プログラムを提供することができる。

以下、本発明の実施例を図面に言及して説明する。全図面を通じて同様な部材には同様な参照符号を付す。
図４は、本発明を適用した侵入物体監視システムのハードウエア構成を示すブロック図である。最初に、図４に言及してこの侵入物体監視システムを説明する。

図４において、４０１はテレビジョンカメラ（以下ＴＶカメラと呼ぶ）、４０２は画像入力Ｉ／Ｆ、４０３はＣＰＵ、４０４はプログラムメモリ、４０５は画像メモリ、４０６はワークメモリ、４０７は出力１／Ｆ、４０８は画像出力１／Ｆ、４０９は警告灯、４１０は監視モニタ、４１１はデータバスである。

ＴＶカメラ４０１は画像入力Ｉ／Ｆ４０２に接続され、監視モニタ４１０は画像出力Ｉ／Ｆ４０８に接続され、警告灯４０９は出力Ｉ／Ｆ４０７に接続されている。また、画像入力Ｉ／Ｆ４０２、ＣＰＵ４０３、プログラムメモリ４０４、画像メモリ４０５、ワークメモリ４０６、出力Ｉ／Ｆ４０７及び画像出力Ｉ／Ｆ４０８は、データバス４１１に接続されている。

図４において、ＴＶカメラ４０１は監視対象区域を含めた撮像視野内を撮像する。ＴＶカメラ４０１は、撮像した画像を映像信号に変換し、該映像信号を画像入力Ｉ／Ｆ４０２に入力する。画像入力Ｉ／Ｆ４０２は、入力した該映像信号を侵入物体監視システムで扱うフォーマット（例えば、幅３２０ｐｉｘ、高さ２４０ｐｉｘ、８ｂｉｔ／ｐｉｘ）の画像データに変換し、データバス４１１を介して画像メモリ４０５に送る。画像メモリ４０５は、画像入力Ｉ／Ｆ４０２から送られてきた画像デ―夕を蓄積する。

ＣＰＵ４０３は、プログラムメモリ４０４に保存されている動作プログラムに従って、ワークメモリ４０６内で画像メモリ４０５に蓄積された画像の解析を行う。以上の解析結果、ＴＶカメラ４０１の撮像視野内に侵入物体が侵入した等の情報を得る。ＣＰＵ４０３は、データバス４１１から画像出力Ｉ／Ｆ４０８を介して監視モニタ４１０に、例えば、処理結果画像を表示し、出力Ｉ／Ｆ４０７を介して警告灯４０９を点灯する。

また、前記画像出力Ｉ／Ｆ４０８は、ＣＰＵ４０３からの信号を前記監視モニタ４１０が使用できるフォーマット（例えば、ＮＴＳＣ映像信号）に変換して、監視モニタ４１０に送る。監視モニタ４１０は、例えば、侵入物体検出結果画像を表示する。

図２は本発明の侵入物体の検出の第１の処理フローを示す図である。この処理フローは、図４の侵入物体監視システムのハードウエア構成を用いて実行される。
この図２の第１の処理フローは、図４のＴＶカメラ４０１から入力した入力画像１０１と、画像メモリ４０５に保存されている所定のフレーム数（２フレーム以上）の前の入力画像との差分画像を、図６に表されるフレーム間差分法によって計算し、得られた所定フレーム数の差分画像に重み付けして加算し、得られた合成差分画像を所定のしきい値で二値化することによって、ＴＶカメラ４０１の視野内に侵入した物体を検出する方法である。

まず、画像入力ステップ２０１では、ＴＶカメラ４０１によって撮像される入力映像信号を、例えば、３２０×２４０画素（ｐｉｘ）の入力画像１０１として得る。次にフレームカウンタクリアステップ２０２では、フレーム間差分の対象となる画像番号を管理するための変数であるフレームカウンタの値を１に設定する。

次に、フレーム間差分処理ステップ２０３では、入力画像１０１（ここではａ（ｘ，ｙ）と表記する。（ｘ，ｙ）は画像上の画素の位置を表す）と画像メモリ４０５に保存されている前の入力画像（ここではｂｉ（ｘ，ｙ）と表記する。ｉはフレームカウンタの値を表す）との差分（ｃｉ（ｘ，ｙ）と表記する）を計算する。

このとき、対象となる画像メモリ４０５に保存されている入力画像は、前記フレーム番号によって決定され、例えば、フレームカウンタの値が１の場合は、一番最近（例えば、１フレーム前）に保存された入力画像（ｂｉ（ｘ，ｙ））を表す。画素毎の差分は、以下のようにして計算される。

次に、フレームカウンタ増加ステップ２０４では、フレームカウンタの値を１増加させる。
フレーム終了判定ステップ２０５では、フレームカウンタの値が所定の値Ｎ未満の場合にフレーム間差分ステップ２０３に分岐し、所定の値Ｎ（例えば、Ｎ＝３）以上の場合には差分画像合成ステップ２０６へ分岐する。ここで、所定の値Ｎは、入力画像１０１とフレーム間差分を行う場合に使用する画像の数、即ち、画像メモリ４０１に保存する入力画像の数を表し、例えば、Ｎ＝４とした場合、画像メモリ４０１に保存されている入力画像の数は４である。そして、この場合、差分画像も４フレーム（ｃｉ（ｘ，ｙ）、ｉ＝１〜４）得られる。

次に、差分画像合成ステップ２０６では、得られたＮフレームの差分画像を所定の加重係数画像ｄｉ（ｘ，ｙ）によって重み付けして加算し、合成差分画像ｅ（ｘ，ｙ）を得る。合成差分画像ｅ（ｘ，ｙ）は、以下のようにして計算される。

ただし、加重係数画像ｄｉ（ｘ，ｙ）は、

となるように予め設定しておく。
この加重係数画像ｄｉ（ｘ，ｙ）は、各差分画像ｃｉ（ｘ，ｙ）が合成差分画像ｅ（ｘ，ｙ）に対してどの位寄与するかを表し、例えばｄｌ（１００，１００）＝２５５の場合は、座標（１００．１００）において第１の差分画像（ｃｌ（ｘ，ｙ））が合成差分画像ｅ（ｘ，ｙ）に対して１００％の寄与率を持っていることを表す（加重係数画像は、１画素８ビットの画像として表されており、加重係数画像の画素値が０の場合は寄与率が０％、画素値が２５５の場合は寄与率が１００％であることを意味する）。

図１４は、本発明の一実施例の差分画像、加重係数画像、及び合成差分画像を説明するための図である。図１４は、差分画像のフレーム数が２、即ち、ｃｉ（ｘ，ｙ）、ｉ＝１，２の例である。説明を簡単にするため、差分画像、加重係数画像、及び合成差分画像それぞれの４点の画素位置（１）〜（４）について説明する。差分画像ｃ１（ｘ，ｙ）の画素位置（１）〜（４）のそれぞれの差分の輝度値は乗算器１１３に出力され、差分画像ｃ２（ｘ，ｙ）の画素位置（１）〜（４）のそれぞれの差分の輝度値は乗算器１１３′に出力される。また、加重係数画像ｄ１（ｘ，ｙ）は差分画像と同一の画素位置（１）〜（４）の加重係数が輝度値と同じ次元の値で与えられ、例えば、画素位置（１）の加重係数ｄ１（１）を２５５、また、画素位置（２）の加重係数ｄ１（２）を１２７、画素位置（３）の加重係数ｄ１（３）を１２７、画素位置（４）の加重係数ｄ１（４）を０としている。同様に、加重係数画像ｄ２（ｘ，ｙ）では、ｄ２（１）を０、ｄ２（２）とｄ２（３）を１２８、ｄ２（４）を２５５とする。したがって、乗算器１１３と１１３′でそれぞれの画素毎に乗算し、乗算した出力が加算器１１４で加算されさらに２５５で除算することにより、合成差分画像ｅ（ｘ，ｙ）が得られる。

更に、この加重係数画像の設定を、図７から図１３を用いて説明する。図７と図８は、洋上監視に対して本発明を適用した場合の加重係数画像の設定例である。図７において７０１は監視対象の視野範囲を撮像して得られる入力画像を表し、図８は、所定の値ＮをＮ＝４とした場合の例で、４つの加重係数画像ｄｉ（ｘ，ｙ）、ｉ＝１〜４を重ねて表示したものである。

図８の例では、加重係数の値によって、海面の領域とそれ以外の領域（防波堤及び灯台の領域）８０４を分けており、海面領域は更に、ＴＶカメラ４０１からの距離に応じて、３つの領域８０１〜８０３に分けている。

海面に発生する波の揺れは、ＴＶカメラ４０１に近い程大きく観測される。このため、ＴＶカメラ４０１に近い領域では波の揺れによる輝度値の変化を少なくするようにフレーム間差分を行わなければならない。従って、２フレームの画像入力時間を短くする必要がある。即ち、海面、画面手前の領域８０１に対しては差分画像ｃ１（ｘ，ｙ）（２フレームの画像入力時間を短い間隔、例えば、１００ｍｓｅｃ）を使い、ＴＶカメラ４０１から離れた領域８０２（例えば、ＴＶカメラ４０１から３０ｍ以上離れた領域）に対しては、差分画像ｃ２（ｘ，ｙ）（２フレームの画像入力時間間隔を中くらい、例えば、５００ｍｓｅｃ）を使い、ＴＶカメラ４０１から更に離れた領域８０３、例えば、ＴＶカメラ４０１から１００ｍ以上離れた領域）に対しては、差分画像ｃ３（ｘ，ｙ）（２フレームの画像入力時間間隔を長く、例えば、３ｓｅｃ）を使うようにする。

ただし、波の揺れが存在しない領域８０４については、２フレームの画像入力時間間隔を長くできるので、差分画像ｃ４（ｘ，ｙ）を使うようにする。
従って、加重係数画像ｄ１（ｘ，ｙ）は、領域８０１の画素を２５５、それ以外の画素を０にする。

同様に、加重係数画像ｄ２（ｘ，ｙ）は領域８０２の画素を２５５、それ以外の画素を０、加重係数画像ｄ３（ｘ，ｙ）は領域８０３の画素を２５５、それ以外の画素を０、加重係数画像ｄ４（ｘ，ｙ）は領域８０４の画素を２５５、それ以外の画素を０とする。

これを図示すると、図１１のＡ〜Ｄのようになる。図１１は、図７の場面において、加重係数画像ｄｉ（ｘ，ｙ）の画素値を０、２５５の２つの値で設定した例である。図１１Ａの画像１１０１は加重係数画像ｄ１（ｘ，ｙ）を表し、加重係数画像ｄ１（ｘ，ｙ）は、領域１１０１ａ及び領域１１０１ｂを画素値２５５に設定し、それ以外の画素を０にする。図１１Ｂの画像１１０２は加重係数画像ｄ２（ｘ，ｙ）を表し、加重係数画像ｄ２（ｘ，ｙ）は、領域１１０２ａ及び領域１１０２ｂを画素値２５５に設定し、それ以外の画素を０にする。図１１Ｃの画像１１０３は加重係数画像ｄ３（ｘ，ｙ）を表し、加重係数画像ｄ３（ｘ，ｙ）は、領域１１０３ａを画素値２５５に設定し、それ以外の画素を０にする。更に、図１１Ｄの画像１１０４は加重係数画像ｄ４（ｘ，ｙ）を表し、加重係数画像ｄ４（ｘ，ｙ）は、領域１１０４ａを画素値２５５に設定し、それ以外の画素を０にする。

もちろん各領域の境界に近い画素では、加重係数を２５５より小さい値に設定することも可能で、例えば、領域８０１と領域８０２の境界に当たる画素に対しては、ｄ１（ｘ，ｙ）＝１２７、ｄ２（ｘ，ｙ）＝１２８としても良い。これを図示すると、図１２のようになる。

図１２は、境界の幅を３０ｐｉｘとした例で、画像ｄｉ（ｘ，ｙ）の画素値を０、１２７、２５５の３つの値で設定した例である。尚、画素値の最大値２５５は、２で割り切れないために、加重係数（寄与率）の配分で生じる余り分を加重係数画像のいずれかに割り振るようにする。加重係数画像の画素値１２７と１２８は、最大加重係数２５５に対して０．４％の差しかなく、同じ加重係数とみなせるので、ここでは１２７とした。

画像１２０１は加重係数画像ｄ１（ｘ，ｙ）を表し、加重係数画像ｄ１（ｘ，ｙ）は、領域１２０１ａ及び領域１２０１ｂを画素値２５５に設定し、領域１２０１ｃ及び領域１２０１ｄを画素値１２７に設定し、それ以外の画素を０にする。画像１２０２は加重係数画像ｄ２（ｘ，ｙ）を表し、加重係数画像ｄ２（ｘ，ｙ）は、領域１２０２ａ（領域１２０１ｃと同じ）及び領域１２０２ｂ（領域１２０１ｄと同じ）を画素値１２８に設定し、領域１２０２ｃ及び領域１２０２ｄを画素値２５５に設定し、領域１２０２ｅ及び領域１２０２ｆを画素値１２７に設定し、それ以外の画素を０にする。画像１２０３は加重係数画像ｄ３（ｘ，ｙ）を表し、加重係数画像ｄ３（ｘ，ｙ）は、領域１２０３ａ（領域１２０２ｅと同じ）及び領域１２０３ｂ（領域１２０２ｆと同じ）を画素値１２８に設定し、領域１２０３ｃを画素値２５５に設定し、それ以外の画素を０にする。さらに、画像１２０４は加重係数画像ｄ４（ｘ，ｙ）を表し、加重係数画像ｄ４（ｘ，ｙ）は、領域１２０４ａを画素値２５５に設定し、それ以外の画素を０にする。

尚、この設定例では、ｄ４（ｘ，ｙ）については、図１１Ｄのように０と２５５の２値で表す。これは、領域８０４が、他の領域８０１，８０２，８０３のように画像下部になる程（ＴＶカメラとの距離が小さくなる程）波が大きく見えるという特性ではなく、単一のフレーム時間間隔（フレーム間差分）あるいは背景差分を適用すれば良いためである。

上記図１１、図１２の例では、加重係数画像の加重係数を２値、あるいは３値で設定したものであるが、それ以外の加重係数の設定方法でも良い。この加重係数の設定方法の一例を図１３を用いて説明する。図１３は、各加重係数画像の画素値を０〜２５５の２５６通りの値に割り当てる例であり、画像１３０１は図７と同じ場面を表しており、グラフ１３０２は寄与率配分を表している。寄与率配分を表すグラフ１３０２は、縦方向の位置が画像１３０１のｙ座標に対応し、横方向の幅が合成差分画像ｅ（ｘ，ｙ）への寄与率（加重係数の値）を表す。グラフ１３０２は、３つの領域１３０２ａ、１３０２ｂ、１３０２ｃに分けられており、それぞれ差分画像ｃ１（ｘ，ｙ）、ｃ２（ｘ，ｙ）、ｃ３（ｘ，ｙ）の加重係数画像ｄ１（ｘ，ｙ）、ｄ２（ｘ，ｙ）、ｄ３（ｘ，ｙ）に対応する。領域１３０２ａと領域１３０２ｂは、点１３０２ｇ（ｙ座標２２０に対応）と点１３０２ｈ（ｙ座標８０に対応）を結ぶ線によって分けられており、領域１３０２ｂと領域１３０２ｃは、点１３０２ｉ（ｙ座標１２０に対応）と点１３０２ｊ（ｙ座標２０に対応）を結ぶ線によって分けられている。これらの点は、ＴＶカメラ４０１からの距離に応じて経験的に設定され、例えば、点１３０２ｇはＴＶカメラ４０１から１０ｍ、点１３０２ｉは３０ｍ、点１３０２ｈは８０ｍ、点１３０２ｊは１５０ｍの距離に対応する画像上のｙ座標に対応させて設定する。この図のように領域を分割すると、領域１３０２ａ、領域１３０２ｂ、領域１３０２ｃの幅（ｄ１（ｘ，ｙ）、ｄ２（ｘ，ｙ）、ｄ３（ｘ，ｙ）の加重係数）は、

として算出することができる。ここで、例えば画像１３０１の位置１３０１ａ（ｙ＝１００）における加重係数を算出すると、ｄ１（ｘ，ｙ）＝３６（幅１３０２ｄ）、ｄ２（ｘ，ｙ）＝１６８（幅１３０２ｅ）、ｄ３（ｘ，ｙ）＝５１（幅１３０２ｆ）となる。ただし、波の揺れが存在しない領域８０４（背景差分法を適用できる領域）については、ｄｉ（ｘ，ｙ）＝０（ｉ＜４）、ｄ４（ｘ，ｙ）＝２５５とする。なお、本実施例では、図１３のグラフ１３０２のように、加重係数画像の寄与率を決める領域１３０２ａ、１３０２ｂ、１３０２ｃを、基準となる点１３０２ｇ、１３０２ｈ、１３０２ｉ、１３０２ｊを結ぶ直線を用いて分割しているが、これを曲線を用いて分割するようにしても良い。

図９、図１０は、屋外監視に対して本発明を適用した場合の加重係数画像の設定例である。図９は入力画像９０１、図１０はＮ＝３とした例で加重係数画像ｄｌ（ｘ，ｙ）、ｉ＝１〜３を重ねて表示したものである。この例では、建物、地面及び空の領域と草木の領域を分けており、車木の領域はさらに草木の種類に応して２つに分けている。

図９の例では、画像上の見かけの動きの大きさは、画像上方の木の方が画像中央の草より大きいとしている。揺れが大きい領域では、木々の揺れの変化を少なくするようにフレーム間差分を行なう２フレームの画像入力時間間隔を短くする必要がある。すなわち、木の領域１００２に対しては差分画像ｃ１（ｘ，ｙ）を使い、草の領域１００１に対しては差分画像ｃ２（ｘ，ｙ）を使うようにする。ただし、木々の揺れが存在しない領域１００３については、２フレームの画像入力時間間隔を長くできるので、差分画像ｃ３（ｘ，ｙ）を使うようにする。

したがって、加重係数画像ｄｌ（ｘ，ｙ）は、領域１００２の画素を２５５、それ以外の画素を０にする。同様に、加重係数画像ｄ２（ｘ，ｙ）は領域１００１の画素を２５５、それ以外の画素を０、ｄ３（ｘ，ｙ）は領域１００３の画素を２５５、それ以外の画素を０とする。もちろん、前述の図７、図８の場合と同様に、各領域の境界に近い領域では加重係数を２５５より小さい値に設定することが可能で、例えば、領域１００１との境界に当たる画素に対しては、ｃ１（ｘ，ｙ）＝１２８、ｃ２（ｘ，ｙ）＝１２７としても良い。

さらには、図１３で説明したように、加重係数画像を０〜２５５の２５６通りの値で割り当てるようにしても良い。図１３では、カメラ４０１からの距離に応じて加重係数を割り当てるようにしているが、図９の例では、カメラ４０１に写る物体が画像上でどの程度動いて観測されるかに応じて加重係数を割り当てるようにする（大きく動いて観測される領域（例えば、１００２）では、差分法に用いるフレーム間隔が短いｄ１（ｘ，ｙ）の寄与率が高くなるように、ほとんど動かないで観測される領域（例えば、１００３）では、差分法に用いるフレーム間隔が長い、あるいは背基準景画像との差分であるｄ３（ｘ，ｙ）の寄与率が高くなるように設定する）。

尚、加重係数画像の設定は、侵入物体監視システムの設置時に１度だけ行えばよいため、後述する図２及び図３のフローチャートでは、加重係数画像の設定ステップを省略し含んでいない。

次に、図２の二値化処理ステップ２０７では、差分画像合成処理ステップ２０６によって得られた合成差分画像ｅ（ｘ，ｙ）を、所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）を用いて、合成差分画像ｅ（ｘ，ｙ）の画素毎の輝度値が所定のしきい値Ｔｈ未満の輝度値を０、しきい値Ｔｈ以上の画素の輝度値を２５５（１画素の輝度値を８ビットで計算）として二値化画像ｆ（ｘ，ｙ）を得る。

次に、侵入物体判定ステップ２０８では、得られた二値化画像ｆ（ｘ，ｙ）で輝度値２５５の画素のかたまりが存在するか否か（画素が所定数（例えば、１００個）以上かたまって存在するか否か）を判定し、輝度値２５５の画素のかたまりが存在した場合、それを侵入物体とみなして分岐ステップ２０９において警報・モニタ表示ステップ２１０へ分岐し、輝度値２５５の画素の塊が存在しない場合、入力画像保存ステップ２１１へ分岐する。

警報・モニタ表示ステップ２１０では、出力Ｉ／Ｆ４０７を介して警告灯４０９を点灯させたり、画像出力Ｉ／Ｆ４０８を介して監視モニタ４１０に例えば監視処理結果を表示する。

次に、入力画像保存ステップ２１１では、入力画像１１１を１フレーム前の入力画像ｂ１（ｘ，ｙ）として画像メモリ４０５に保存する。その際に、これまでに保存した入力画像ｂ１（ｘ，ｙ）からｂＮ−１（ｘ，ｙ）は、それぞれｂ２（ｘ，ｙ）からｂＮ（ｘ，ｙ）へコピーされる。このようにすることで、画像メモリ４０５には、Ｎフレーム前までの入力画像を保存できる。

このようにすることで、撮像装置の視野内に存在する対象物体以外の動く物体が差分として差分画像に現れることを抑制し、正確な侵入物体検出が可能となる。
図３は、本発明の侵入物体の検出の第２の処理フローを示す図である。図３は、図２で示されるフローチヤートに、背景差分ステップ３０１と、基準背景画像更新ステップ３０２を追加したものである。

背景差分ステップ３０１では、入力画像１０１と基準背景画像１０５との画素毎の差分を計算する（これをｃ（ｘ，ｙ）とする）。差分画像合成ステップ２０６では、図２で示される処理フローで説明したＮ番目のフレーム間差分画像の代わりに背景差分による差分画像ｃ（ｘ，ｙ）を合成する。この際、前述の第１の処理フローの例では、図８の領域８０４に対して４フレーム前の差分画像ｃ４（ｘ，ｙ）を適用したが、この第２の処理フローでは、背景差分による背景差分画像ｃ（ｘ，ｙ）を適用させるようにする。

基準背景画像更新ステップ３０２では、例えば、入力画像と基準背景画像の画素を平均化し、新たな基準背景画像とする。これ以外のステップは図２のフローチャートで示される処理フローと同様であるため説明を省略する。

次に、この一連の処理の流れを図１を用いて説明する。図１では、フレーム間差分に３フレーム使用し、更に背景差分法も使用した例である。図１において、画像１０１は入力画像、画像１０２は別時刻に入力した入力画像（例えば、１フレーム前の入力画像）、画像１０３は更に別時刻に入力した入力画像（例えば、２フレーム前の入力画像）、画像１０４はまた更に別の時刻に入力した入力画像（例えば。３フレーム前の入力画像）、画像１０５は基準背景画像を表す。また、画像１０６は入力画像１０１と入力画像１０２との差分画像に対する加重係数画像、画像１０７は入力画像１０１と入力画像１０３との差分画像に対する加重係数画像、１０８は入力画像１０１と入力画像１０４との差分画像に対する加重係数画像、１０９は入力画像１０１と基準背景画像１０５との差分画像に対する加重係数画像を表す。

入力画像１０１と入力画像１０２は、差分器１１２−１によって各画素の差分が計算され、その結果得られる差分画像は乗算器１１３−１によって加重係数画像１０６との画素毎の積が計算されて、加算器１１４に入力される。入力画像１０１と入力画像１０３は、差分器１１２−２によって各画素の差分が計算され、その結果得られる分画像は乗算器１１３−２によって加重係数画像１０７との画素毎の積が計算されて、加算器１１４に入力される。入力画像１０１と入力画像１０４は、差分器１１２−３によって各画素の差分が計算され、その結果得られる差分画像は乗算器１１３−３によって加重係数画像１０８との画素毎の積が計算されて、加算器１１４に入力される。入力画像１０１と背景画像１０５は、差分器１１２−４によって各画素の差分が計算され、その結果得られる差分画像は乗算器１１３−４によって加重係数画像１０９との画素毎の積が計算されて、加算器１１４に入力される。

加算器１１４では、入力された４フレームの差分画像を画素毎に加算し、合成差分画像１１０を得る。得られた合成差分画像１１０は、二値化器１１５によって画素毎に所定のしきい値と比較され、しきい値以上の輝度値を２５５、しきい値未満の輝度値を０として二値化画像１１１を得る。このようにすることで、撮像装置の視野内に存在する対象物体以外の動く物体が差分として差分画像に現れることを抑制し、正確な侵入物体検出が可能となる。

したがって、本発明の実施例によれば、監視対象とする監視範囲内に存在する、木の葉や波などといった対象物体以外の動く物体に対しては、異なるフレーム時間間隔の入力画像から得られたフレーム間差分画像、入力画像と基準背景画像との背景差分画像を所定の重みを付けて合成することで、対象物体以外の動く物体が差分として差分画像に現れることを抑制することができ、侵入物体検出装置の適用範囲を大きく広げることができる。

本発明の侵入物体の検出処理の一実施例の動作を説明するための図。 本発明の第１の実施例による処理手順を示す図。 本発明の第２の実施例による処理手順を示す図。 本発明の侵入物体検出方法を適用した侵入物体監視システムの一実施例の構成を示すブロック図。 従来のフレーム間差分法における物体検出の処理原理を説明するための図。 従来のフレーム間差分法における物体検出の処理原理を説明するための図。 本発明を洋上監視に適用した場合の入力画像の一実施例を示す図。 本発明を洋上監視に適用した場合の加重係数画像の一実施例を示す図。 本発明を屋外監視に適用した場合の入力画像の一実施例を示す図。 本発明を屋外監視に適用した場合の加重係数画像の一実施例を示す図。 図８の加重係数画像の設定を更に詳細に説明するための図。 本発明の加重係数画像の加重係数を３値で設定する一実施例を示す図。 本発明の加重係数画像の画素値を多値で設定する一実施例を示す図。 本発明の差分画像、加重係数画像、及び合成差分画像を説明するための図。

符号の説明

１０１：入力画像、１０２：１フレーム前の入力画像、１０３：２フレーム前の入力画像、１０４：３フレーム前の入力画像、１０５：基準背景画像、１０６：１フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、１０７：２フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、１０８：３フレーム前の入力画像によるフレーム間差分画像に対応する加重係数画像、１０９：背景差分画像に対応する加重係数画像、１１０：合成差分画像、１１１：二値化画像、１１２−１，１１２−２，１１２−３，１１２−４：差分器、１１３−１，１１３−２，１１３−３，１１３−４：乗算器、１１４：加算器、１１５：二値化器。

Claims (3)

1. 所定の視野で撮像されメモリに蓄積された画像のデータをＣＰＵで処理し、該画像中の物体を検出する物体検出方法において、
   該画像に背景差分処理をして得た背景差分画像と、該画像にフレーム間差分処理をして得たフレーム間差分画像とを、所定の重みで合成し、該合成して得た合成画像に基づいて物体を検出するものであり、
   前記所定の重みは、撮像手段からの距離に応じて異ならせて設定することを特徴とする物体検出方法。
2. 画像中の物体を検出する物体検出装置において、
   該画像に背景差分処理をして得た背景差分画像と、該画像にフレーム間差分処理をして得たフレーム間差分画像とを、所定の重みで合成し、該合成して得た合成画像に基づいて物体を検出するものであり、
   前記所定の重みは、撮像手段からの距離に応じて異ならせて設定することを特徴とする物体検出装置。
3. 前記合成画像に基づく物体の検出は、合成画像を所定のしきい値で二値化することによって検出を行うものであり、
   前記所定の重みは、撮像手段からの距離が近い領域に対しては、該フレーム間差分画像のみから物体が検出され、撮像手段からの距離が遠い領域に対しては、該背景差分画像のみから物体が検出されるように、加重係数画像として該画像のピクセル毎に設定されることを特徴とする請求項１記載の物体検出方法。