JP3736836B2

JP3736836B2 - Object detection method, object detection apparatus, and program

Info

Publication number: JP3736836B2
Application number: JP2000298144A
Authority: JP
Inventors: 渡伊藤; 博唯上田
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 1999-09-30
Filing date: 2000-09-29
Publication date: 2006-01-18
Anticipated expiration: 2020-09-29
Also published as: JP2001175959A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた監視装置に係り、特に木々の影や旗の影などの揺れが観察される監視環境下において、撮像視野内に侵入した物体を、撮像装置から入力する映像信号の中から自動的に検出するようにした侵入物体検出方法及び侵入物体検出装置に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を画像入力手段として用いた侵入物体検出装置は、従来の監視員による有人監視ではなく、監視視野内の侵入物体を検出したり、物体の種類を認識したりして、自動的に所定の報知や警報処置が得られるようしたものである。このようなシステムを実現するためには、先ず、カメラ等の画像入力手段より得られた入力画像と基準背景画像（即ち、検出すべき物体の写っていない画像）とを比較し、画素毎に輝度値の差分を求め、その差分の大きい領域を物体として抽出する方法がある。この方法は、差分法と呼ばれ、従来から広く用いられている。
差分法の処理を図６によって説明する。図６は差分法によって物体検出（物体抽出）を行う原理を説明するための図である。601は入力画像、602は基準背景画像、603は差分画像、604は二値化画像、605は減算器、606は二値化器である。
【０００３】
図６において、減算器605は入力画像601と予め用意した基準背景画像602との画素毎の輝度値の差分を計算し差分画像603を出力する。次に二値化器606は差分画像603の画素毎の輝度値が所定のしきい値Th未満の輝度値を“0”、しきい値Th以上の画素の輝度値を“255”（1画素の輝度値を8ビットで計算）として二値化画像604を得る。これによって入力画像601に写った人型の物体609は、減算器605によって差分が生じた領域610として計算され、二値化器606によって画像611として抽出される。差分法を応用した物体検出法として、例えば平成７年特許公開第７９４２９号公報がある。
しかし、この方式は入力画像と基準背景画像との画素毎の輝度値の違いを検出するため、例えば、風に揺れる木々や旗あるいはこれらの影などの、検出すべき侵入物体以外の動く物体も抽出してしまうという問題がある。これらの問題を解決する方法として、従来は、検出すべき侵入物体以外の動く物体が存在する領域を特定し、特定したその領域をマスク処理（不感帯として処理）することにより侵入物体のみを抽出していた。しかしこの方法では、検出すべき侵入物体以外の動く物体が特に影の場合には、時々刻々とその位置が変化するため、季節、時間帯、監視領域の位置（経度と緯度など）、天候等の条件によって影が存在する位置を推定し、マスクする領域を変化させなければならない。
また、このマスクした領域中に存在する侵入物体を検出することができない、あるいはマスクした領域中の検出すべき侵入物体以外の動く物体の抽出（誤検出）を抑制するためにこの領域における二値化のためのしきい値Thを高く設定する必要があり、しきい値Thを高く設定すると今度は逆に侵入物体の見逃しが発生し易くなる。このためマスク処理する領域の範囲は小さいことが望ましい。
【０００４】
【発明が解決しようとする課題】
前述の従来技術では、検出すべき侵入物体以外の動く物体を誤検出しないように、それらの物体が存在する領域を検出処理しないようにマスク処理した領域（不感帯）を設けなければならない欠点があった。また、特に検出すべき侵入物体以外の動く物体が風に揺れる木々や旗などの影の場合には時々刻々とその位置が変化するため、影の誤検出を防ぐためには、季節や、時間帯、監視領域の位置（緯度と経度など）、天候等の条件によって影の存在する位置を推定し、マスクする領域を時々刻々変化させなければならない欠点があった。
更に、マスク処理によってマスクされた領域に現れる侵入物体を検出できなくなってしまうか、あるいはマスクした領域中の検出すべき侵入物体以外の動く物体の誤検出（誤抽出）を抑制するためにこの領域における二値化のためのしきい値Thを高く設定する必要があるが、しきい値Thを高く設定すると侵入物体の見逃しが発生し易くなるという欠点があった。このため、マスク処理する領域の範囲はできるだけ小さいことが望ましい。
本発明の目的は、上記のような欠点を除去し、検出すべき対象物体以外の動く物体の影が存在した場合でも、その領域をマスクすることなしに、抽出された物体が検出すべき侵入物体か否かを判定するようにして、信頼性の高い侵入物体検出方法及び侵入物体検出装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の侵入物体検出方法または侵入物体検出装置は、以下に述べるように、検出対象を正確に検出する、信頼性の高い侵入物体検出装置を提供するものである。
【０００６】
まず、本発明の侵入物体検出装置は、逐次入力する複数の画像信号から１つ以上の移動物体を差分法によって逐次抽出する物体抽出ステップと、入力画像信号と基準背景画像信号の画素毎の除算を行なって除算画像を得る除算処理ステップと、物体抽出ステップで抽出された抽出物体の除算画像のヒストグラムから抽出物体の平均比率を求める平均比率算出ステップと、平均比率に基づいて抽出物体が検出すべき侵入物体か否かを判定する平均比率判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
また、本発明の侵入物体検出装置は、逐次入力する複数の画像信号から１つ以上の移動物体を差分法によって逐次抽出する抽出ステップと、入力画像信号と基準背景画像信号の画素毎の除算を行なって除算画像を得る除算処理ステップと、抽出検出ステップで抽出された抽出物体の除算画像のヒストグラムから抽出物体のヒストグラムの先鋭度を求める先鋭度算出ステップと、先鋭度に基づいて抽出物体が検出すべき侵入物体か否かを判定する先鋭度判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
また、本発明の侵入物体検出装置では、逐次入力する複数の画像信号から１つ以上の移動物体を差分法によって逐次抽出する物体抽出ステップと、入力画像信号と基準背景画像信号の画素毎の除算を行なって除算画像を得る除算処理ステップと、物体抽出ステップで抽出された抽出物体の除算画像のヒストグラムから抽出物体の平均比率を求める平均比率算出ステップと、平均比率に基づいて抽出物体が検出すべき移動物体の候補か否かを判定する平均比率判定ステップと、検出すべき移動物体の候補として判定された抽出物体の除算画像のヒストグラムから抽出物体のヒストグラムの先鋭度を求める先鋭度算出ステップと、先鋭度に基づいて抽出物体が検出すべき侵入物体か否かを判定する先鋭度判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
さらに、抽出物体の入力画像の平均輝度値が所定の値以上となる検出物体について平均比率を求めるようにしたものである。
【０００７】
また、先鋭度に対するしきい値を変化させることによって、抽出物体が検出すべき侵入物体か否かの判定認識率を変化させるようにしたものである。
【０００８】
さらにまた、抽出物体の過去の判定結果を記憶する判定結果記憶ステップと、記憶した判定結果に基づいて抽出物体が検出すべき侵入物体か否かを判定する侵入物体判定ステップとを設け、監視視野内の侵入物体を検出するようにしたものである。
すなわち、本発明の侵入物体検出装置は、例えば監視対象とする監視範囲を撮像するカメラ等の画像入力手段と、カメラ等の画像入力手段が撮像した画像を入力する画像入力I/Fと、画像入力I/Fから入力された画像を記憶する画像メモリと、侵入物体検出を行なう侵入物体検出装置の動作プログラムを記憶しているプログラムメモリと、プログラムメモリに保持されているプログラムにしたがって侵入物体検出装置を動作させるCPUと、画像メモリに記憶された画像の解析を行なう際に一時的にデータを記憶するワークメモリと、音、可視光、振動、回転運動、上下運動等の少なくとも１つ以上で表し人間または補助動物が感知可能な信号を発生する警告表示手段と、監視モニタと、ワークメモリの解析結果に対応してCPUの指示によって警告手段に警告を表示させる信号を伝達する出力I/Fとワークメモリの解析結果に対応してCPUの指示によって監視モニタに画像を送る画像出力I/Fとを有し、プログラムメモリに保持されているプログラムが、画像メモリに記憶されてる入力画像及び基準背景画像から差分法によって動いている物体を逐次抽出する手段と、画像メモリに記憶されている入力画像及び基準背景画像から画像間の除算処理を行なう手段と、差分法によって抽出された物体と除算処理によって得られた除算画像に基づき除算画像のヒストグラムを求める手段と、ヒストグラムから検出物体の平均比率とヒストグラムの先鋭度を計算する手段と、平均比率及び該先鋭度に基づいて抽出物体を検出すべき侵入物体か否かを判定する手段を有し、判定手段によって検出すべき侵入物体を判定するようにして監視視野内の侵入物体の監視を行なうようにしたものである。
【０００９】
【発明の実施の形態】
本発明の侵入物体検出装置に係る実施形態の１つを図５に示す。図５は侵入物体検出装置のハードウエア構成を示すブロック構成図である。501はテレビジョンカメラ（以下TVカメラと呼ぶ）、502は画像入力I/F、511はデータバス、503は画像メモリ、504はワークメモリ、505はCPU、506はプログラムメモリ、507は出力I/F、508は画像出力I/F、509は警告灯、510は監視モニタである。TVカメラ501は画像入力I/F502に接続され、警告灯509は出力I/F507に接続され、監視モニタ510は画像出力I/F508に接続されている。また、画像入力I/F502、画像メモリ503、ワークメモリ504、CPU505、プログラムメモリ506、出力I/F507及び画像出力I/F508は、データバス511に接続されている。
図５において、TVカメラ501は監視対象区域を含めた撮像視野内を撮像する。またTVカメラ501は、撮像した画像を映像信号に変換し、映像信号を画像入力I/F502に入力する。入力I/F502は、入力した該映像信号を侵入物体検出装置で扱うフォーマット（例えば、幅320pix、高さ240pix、8bit/pix）の画像データに変換し、データバス511を介して画像メモリ503に送る。画像メモリ503は、送られてきた画像データを蓄積する。CPU505はプログラムメモリ506にあらかじめ保存されているプログラムに従って、ワークメモリ504内で画像メモリ503に蓄積された画像の解析を行なう。以上の解析結果、TVカメラ501の撮像視野内に対象物体が侵入した等の情報を得る。CPU505は、処理結果に応じてデータバス511から出力I/F507を介して警告灯509を点灯し、画像出力I/F508を介して監視モニタ510に例えば処理結果画像を表示する。画像出力I/F508は、CPU505からの信号を監視モニタ510が使用できるフォーマット（例えば、NTSC映像信号）に変換して、監視モニタ510に送る。監視モニタ510は、例えば侵入物体検出結果画像を表示する。以下に説明するフローチャートは、もちろん他のハードウエア構成からなる物体追跡監視装置でも実施可能であるが、すべて上記の物体追跡監視装置のハードウエア構成の一例である図５を使って説明している。
図２は本発明の第１の実施例を表すフローチャートの一例である。この第１の実施例は、入力画像と基準背景画像の除算画像のヒストグラムから、基準背景画像に対して入力画像が明るくなった画素の輝度変化の割合の平均値と、基準背景画像に対して入力画像が暗くなった画素の輝度変化の割合の平均値に基づいて抽出物体を検出すべき侵入物体であるかまたは影のような侵入物体ではないものであるかを判定するようにした方法である。
処理の流れを図６及び図７、図８、図９、図１０を用いて説明する。画像入力ステップ101では、TVカメラ501より例えば画素数320 pix×240 pixに対応する入力画像601を得る。図６の例では、入力画像601は侵入物体609を含む。
【００１０】
次に、差分処理ステップ102では、入力画像601と予め画像メモリ503に記憶しておいた基準背景画像602と画素毎の輝度値の差分を計算し、差分画像603を得る。
図６の例では、差分画像603は侵入物体609に対応する領域610を含む。
【００１１】
差分画像603は、二値化処理ステップ103において、しきい値処理を行ない（図６の二値化器606）、予め設定したしきい値（例えば Th=20）以上の画素の輝度値を、物体が存在する部分として“255”に変換し、しきい値未満の画素の輝度値を、物体が存在しない部分として“0”に変換して、二値化画像604を得る。以下、入力画像、基準背景画像、二値化画像を、それぞれ、f（x,y）、g（x,y）、b（x,y）と表す。（x,y）は画素の位置を表す。例えば、図６の二値化画像604において、横方向がx軸（右方向が＋方向）、縦方向がy軸（下方向が＋方向）であり、一番左上が原点（0，0）で、一番右下の座標が（320，240）である。
ラベリング処理ステップ104では、二値化画像604中で輝度値“255”となる個々の画素の塊である領域611をラベリングの方法で番号付けし、それぞれを抽出物体として検出する。次に除算処理ステップ105では、入力画像601と基準背景画像602の画素毎の輝度値の除算を行なう。この処理によって得られる除算画像 r（x,y）は、
【００１２】
【数１】

【００１３】
として計算する。ここで、除算画像 r（x,y）は、f(x,y) と g(x,y) が同じ値（すなわち、除算結果が “1.0”）となる場合に“128”となり、除算画像 r(x,y)の輝度値（画素値）“0〜255”を使って除算結果“0.0〜2.0”の値を表現することができる。また、〔〕は、小数点以下の部分を切り捨てて、整数とすることを表す。即ち、r(x，y)の値が0〜127である場合は、基準背景画像に対して入力画像が暗くなった入力画像の領域であることを示し、r(x，y)の値が128〜255である場合は、基準背景画像に対して入力画像が明くなった入力画像の領域であることを示す。
次にヒストグラム算出ステップ108では、ラベリング処理ステップ104によって番号付けされたそれぞれの抽出物体について、除算画像r(x,y)のヒストグラムを計算し、これを h(i) とする（i は輝度値（画素値）を表し、h(i) は b(x,y)=255 かつ r(x,y)=i なる画素の個数を表す）。次に、ステップ109と110でこのヒストグラムの対称性を評価する。あるいは、このヒストグラムを使って抽出物体が侵入物体であるか否かの判定をするための評価をする。即ち、平均比率算出ステップ109では、ヒストグラム算出ステップ108によって得られたヒストグラム h(i) について、まず、輝度値（画素値）iが第1の範囲（128≦i≦255）にある除算画像の第1の平均輝度値（平均比率）μ+と、輝度値（画素値）iが第２の範囲（0≦i≦127）にある除算画像の第２の平均輝度値（平均比率）μ-とを下記のようにして求める。
【００１４】
【数２】

【００１５】
すなわち、平均比率μ⁺は f(x,y)>=g(x,y) となる画素の除算画像 r(x,y) の平均値、平均比率μ^-は f(x,y)<g(x,y) となる画素の除算画像 r(x,y) の平均値を表している。
次に、平均比率評価ステップ110では、平均比率算出ステップ109によって得られた平均比率μ⁺と平均比率μ^-の逆数との差を計算し、それが所定のしきい値T₁以上であった場合に侵入物体処理ステップ111、所定の値T₁未満であった場合に影処理ステップ115へ分岐する。ステップ105からステップ110までの処理を図７〜図１０を用いて説明する。図７〜図１０は風に揺れる木々や旗の影の特徴を説明するための図で、風に揺れる影の動きを表し、説明のため簡略化して表現している。図７(b)において、横線で塗りつぶした領域701Aは風が吹く前の影の位置であり、画像701'は図６の基準背景画像602に相当する。また、図７(a)における画像701中の領域701Bは、風によって影が揺れて移動した後の位置であり、画像701に写り込んでいる影の部分画像である。即ち、画像701は図６の入力画像601に相当する。このように、基準背景画像としては、例えば、風が吹く前の画像701'、入力画像としては、例えば、風が吹いた後の画像701が使用される。図7(c)の画像701"は、画像701'と画像701に写り込んだ領域701Bと領域701Aの相対的な位置を示すための図である。
このような場面で差分法を適用すると図８に示すような二値化画像702が得られる。図８の二値化画像中、領域702Aは風が吹いたことによって影が消えて明るくなった領域、領域702Bは風が吹いたことによって影ができて暗くなった領域を表しており、風に揺れる木々や旗などの影は、二値化画像702のように２つの領域が対になって検出されるという特徴がある。
即ち、差分処理によって抽出された検出物体が、基準背景画像中にもともと写り込んでいる画像が移動したことによって抽出された場合には、例えば、影が移動して前に暗かった領域が明るくなる領域（後述の図８の702A）と、例えば、前は明るかった領域に影が移動して暗くなる領域（後述の図８の702B）という２つの領域が抽出される。このときこの2つの領域の除算画像上での輝度値はほぼ等しくなる。
従って、風に揺れる木々や旗などの影によって１つの抽出された検出物体について算出した除算画像のヒストグラムは、例えば図９Aに示すようになる。また、図９Bは図９Aのヒストグラムを模式化して表したものである。図９A、図９Bにおいて、横軸は輝度値i、縦軸は頻度h(i)である。図９Aにおいて、ヒストグラム703Aは領域702Aによるもの、ヒストグラム703Bは領域702Bによるものである。
また、図９Bにおいて、斜線部分703A'はヒストグラム703Aを模式化したもので、斜線部分703B'はヒストグラム703Bを模式化したものである。斜線部分703A'の面積は初め暗かった部分が明るくなった画素領域の輝度値の合計の大きさを表し、斜線部分703B'の面積は初め明かった部分が暗くなった画素領域の輝度値の合計の大きさを表している。更に横軸にあるμ⁺の位置は初め暗かった部分が明るくなった画素領域の輝度値の平均であり、μ^-位置は初め暗かった部分が明るくなった画素領域の輝度値の平均である。またσ⁺は斜線部分703A'の幅であり、σ^-は斜線部分703B'の幅である。このように、風によって影が消えて明るくなった画素の輝度値変化の割合（μ⁺）と影ができて暗くなった画素の輝度値変化の割合（1/μ^-）は近い値となる。
一方、侵入者が原因で検出された検出物体の除算画像のヒストグラムは、例えば、図１０A、図１０Bのようになる。図１０A、図１０Bは、図９A、図９Bの風に揺れる木々や旗などの影が原因で検出された検出物体の除算画像のヒストグラムとは異なり、i＜128のヒストグラムと、i≧128のヒストグラムの形状が異なっている。（図１０A、図１０Bでは、i＜128の部分で約70から約115、i≧128の部分で約155から約235の分布を持つ）。この例のように、風に揺れる木々や旗などの影によって抽出された検出物体の除算画像のヒストグラムとは異なり、侵入者によって検出された物体の除算画像のヒストグラムは、i＜128の部分と、i≧128の部分とで、必ずしも、似た分布を持つわけではない。即ち、侵入者の持つ輝度分布に応じて、抽出された検出物体のヒストグラムには特徴がない。
したがって、除算画像のヒストグラムの、明るくなった画素の平均比率μ⁺ 'と、暗くなった画素の平均比率μ^- 'の逆数とを比較することで、検出物体が、検出すべき侵入物体によるものなのか、影が動いたことによるものなのかを判定することができる。
【００１６】
判定の際に用いるしきい値T₁は、例えば、平均比率のズレを輝度変化の割合の変化率 10% で許容する場合、除算画像は、256階調で0〜2.0を表現しているため
【００１７】
【数３】

【００１８】
である。
続いて、平均比率評価ステップ110で侵入物体と判定された場合、侵入物体処理ステップ111において抽出物体を侵入者とし、続く警報・モニタ表示ステップ112においてCPU505は出力I/F507及び画像出力I/F508に命令を送る。これを受けて、出力I/F507は、例えば、警告灯510に警戒を示す発行をさせ、画像出力I/F508は、例えば、警戒を表す表示を監視モニタ511に表示させる。また、平均比率評価ステップ110で影と判定された場合、非侵入物体処理ステップ115において抽出物体を影とする。終了判定ステップ116は、ステップ108からステップ115までの処理が全ての抽出物体に対して行なわれた場合に、画像入力ステップ101へ処理を分岐し、そうでない場合は、ヒストグラム算出ステップ108へ処理を分岐する。したがって、この実施例によれば、差分法によって抽出された抽出物体の入力画像と基準背景画像の除算画像のヒストグラムを評価し、明るく変化した画素の輝度値変化の割合と暗く変化した輝度値変化の割合を比較することによって、抽出物体が検出すべき侵入物体か否かを判定するため、視野内に風が揺れる木々や旗などの影が存在する場合でも、検出すべき侵入物体か影かを正確に判定することができる。
本発明の第２の実施例について、図３を用いて説明する。この第２の実施例は、ヒストグラム算出ステップ108によって得られたヒストグラムの分布のバラツキに基づいて検出物体を検出すべき侵入物体か影かを判定するようにした方法である。
【００１９】
図３のフローチャートは、図２のフローチャートの平均比率算出ステップ109の代わりに先鋭度算出ステップ113、平均比率評価ステップ110の代わりに先鋭度評価ステップ114を加え、ステップ108によって得たヒストグラムを第２の実施例（図２）とは異なった観点から評価して、抽出物体が検出物体か否かを判定するものである。
図３において、図２で述べたものと同様の処理ステップを経て、ヒストグラムh(i)が算出される。先鋭度算出ステップ113では、ヒストグラム算出ステップ108によって得られたヒストグラム h(i) について、２つの先鋭度σ⁺とσ^-を以下にして求める。
【００２０】
【数４】

【００２１】
すなわち、除算画像の先鋭度σ⁺はb(x,y)=255かつ f(x,y)≧g(x,y) となる画素の除算画像 r(x,y) の輝度値分布の標準偏差、除算画像の先鋭度σ^-はb(x,y)=255かつ f(x,y)＜g(x,y) となる画素の除算画像 r(x,y) の輝度値分布の標準偏差を表している。
【００２２】
次に、先鋭度評価ステップ114では、先鋭度算出ステップ113によって得られた先鋭度σ⁺及び先鋭度σ^-と所定のしきい値T₂を比較し、２つの先鋭度の内、少なくとも１つがしきい値以上であった場合に侵入物体処理ステップ111、２つ共所定の値T₂未満であった場合に影処理ステップ115へ分岐する。
この処理を図８及び図９、図１０を用いて説明する。上述のように、風に揺れる木々や旗などの影は、二値化画像702のように２つの領域が対になって検出されるという特徴がある。さらに、風が吹くことによって影が消えて明るくなった領域の画素の輝度変化の割合はほぼ一定で、さらに影ができて暗くなった領域の画素の輝度変化の割合もほぼ一定になるという特徴がある。すなわち、それぞれの領域の除算画像の輝度値のバラツキ（即ち標準偏差）は小さくなる。
一方、侵入者によって検出された検出物体は、必ずしも、前述のように除算画像の輝度値のバラツキが小さくなるわけではない。したがって、除算画像のヒストグラムの、明るくなった画素の先鋭度σ⁺と暗くなった画素の先鋭度σ^-をしきい値T2を用いて評価することで、抽出物体が、検出すべき侵入物体によるものなのか、影が動いたことによるもののように検出すべき侵入物体ではないものであるかを判定することができる。
判定の際に用いるしきい値T₂は、例えば、先鋭度のバラツキを輝度変化の割合 15% で許容する場合、除算画像は、256階調で0〜2.0を表現しているため
【００２３】
【数５】

【００２４】
とする。このとき、先鋭度がT2未満になるとは、除算画像の画素値が
【００２５】
【数６】

【００２６】
の範囲に含まれていて、抽出物体がかげであることを意味する（図３のステップ114〜115）。したがって、この実施例によれば、差分法によって検出された検出物体の入力画像と基準背景画像の除算画像のヒストグラムを求め、明るく変化したまたは暗く変化した画素の除算画像の分布のバラツキをしきい値T₂と比較することによって抽出物体が検出すべき侵入物体か影かを判定するため、視野内に風に揺れる木々や旗などの影が存在する場合でも、検出すべき侵入物体か影かを正確に判定することができる。
本発明の第３の実施例について、図４を用いて説明する。この第３の実施例は、ヒストグラム算出ステップ108によって得られたヒストグラムの基準背景画像に対して入力画像が明るくなった画素の輝度変化の割合の平均値と、基準背景画像に対して入力画像が暗くなった画素の輝度変化の割合の平均値と、ヒストグラムの分布のバラツキに基づいて抽出された検出物体を検出すべき侵入物体か否かを判定するようにした方法である。
図４のフローチャートは、図２のフローチャートの平均比率評価ステップ110において、平均比率μ⁺とμ^-の逆数の差がT₁未満と判定された場合に、前述の先鋭度算出ステップ113と先鋭度評価ステップ114を行なうように構成したものである。したがって、この実施例によれば、差分法によって抽出された抽出物体の入力画像と基準背景画像の除算画像のヒストグラムを求め、明るく変化した画素の輝度値変化の割合と暗く変化した画素の輝度値変化の割合を比較し、さらに、明るく変化した画素の除算画像の分布のバラツキと暗く変化した画素の除算画像の分布のバラツキをしきい値T₂と比較することによって抽出物体が検出すべき侵入物体か影かを判定するため、視野内に風が揺れる木々や旗などの影が存在する場合でも、検出すべき侵入物体か影かを正確に判定することができる。
本発明の第４の実施例について、図１を用いて説明する。この第４の実施例は、上述の第３の実施例のステップ108からステップ110、ステップ113、114を抽出物体の平均輝度値が所定のしきい値T₃以上の場合にのみ行なうようにした方法である。換言すると、本実施例は建物の影などの既に暗く、別の影の揺れなどが発生し得ない領域では、検出すべき侵入物体か否かの判定をしない様にしたものである。
図１のフローチャートは、図４のフローチャートの除算処理ステップ105の後に平均輝度値算出ステップ106、平均輝度値評価ステップ107を追加したものである。平均輝度値算出ステップ106では、注目するラベル番号を持ちb(x,y)=255なる画素の平均輝度値、即ち
【００２７】
【数７】

【００２８】
によって計算する。ここでNは、b(x,y)=255となる画素数を表す。次に平均輝度値評価ステップ107では、平均輝度値算出ステップ106によって得られた平均輝度値μと所定のしきい値T₃を比較し、平均輝度値μがしきい値T₃以上であった場合にヒストグラム算出ステップ108へ処理を分岐し、平均輝度値μがしきい値T₃未満であった場合に侵入物体処理ステップ111へ処理を分岐する。
【００２９】
ここで所定のしきい値T₃は、影の揺れが発生する場面での入力画像の平均輝度値に設定し、例えばT₃=128とする。こうすることによって、影の揺れが発生する様な明るい輝度分布を持つ領域のみについて抽出物体が検出すべき侵入物体なのか影かを判定するようにでき、処理の高速化を図ることができる。
本発明の第５の実施例について、図１１を用いて説明する。この実施例は、図４で示した上記第３の実施例における先鋭度に対するしきい値T₂を変化させ、抽出物体が検出すべき侵入物体か否かの判定認識率を変化させるようにしたものである。
【００３０】
図１１は、T₂を変化させた場合に、侵入物体でない抽出物体を侵入物体として判定してしまう割合（誤認識率）の変化801Aと、侵入物体を侵入物体でない物体として判定してしまう割合（見逃し率）の変化801Bを表している。これらの変化は、監視環境（対象とする物体の種類、カメラレンズの焦点距離等）が決定した場合に経験的に得られるものである。
図１１より、先鋭度に対するしきい値T₂を大きく設定すると誤認識率を低下させることができ、また、逆にT₂を小さく設定すると見逃し率を低下させることができる。したがって、監視対象に応じて誤認識を許容するか、見逃しを許容するかに応じてT₂を設定することによって検出すべき侵入物体か否かの判定認識率を調整することができる。
本発明の第６の実施例について、図１２を用いて説明する。この実施例は、上記第３の実施例の侵入物体処理ステップ111、非侵入物体処理ステップ115を、それぞれ侵入物体候補処理ステップ901、非侵入物体候補処理ステップ902に代え、判定率算出ステップ903、判定率評価ステップ904を追加したものである。侵入物体候補処理ステップ901では、平均比率評価ステップ110あるいは先鋭度評価ステップ114によって抽出物体が侵入物体であると判定された場合に、検出物体をすぐさま侵入物体として判定せずに侵入物体の候補としてワークメモリ504に記憶する。
また、非侵入物体候補処理ステップ902では、先鋭度評価ステップ114によって抽出物体が非侵入物体であると判定された場合に、抽出物体をすぐさま非侵入物体として判定せずに非侵入物体の候補としてワークメモリ504に記憶する。次に判定率算出ステップ903では、ワークメモリ504に記憶された抽出物体の過去 Nk フレームで侵入物体候補と判定された回数 N1 に基づき判定率 k（k = N1/Nk）を算出する。次に判定率評価ステップ904では、判定率算出ステップ903によって得られた判定率 k と所定のしきい値T₄とを比較し、T₄以上であった場合に警報・モニタ表示ステップ112へ分岐し、T₄未満であった場合に終了判定ステップ116へ分岐する。ここで、判定率 k は、過去 Nk フレーム中に抽出物体が侵入物体候補であると判定された割合を表し、抽出物体が侵入物体であった場合は大きく（全フレームで侵入物体候補として判定された場合は k = 1.0 となる）、抽出物体が非侵入物体の揺れによるものであった場合は小さくなる（全フレームで非侵入物体候補として判定された場合は k = 0.0 となる）。
また、判定対象とするフレーム数 Nk 、および判定率に対するしきい値T₄は、経験的に設定する値で、例えば Nk = 10、T₄= 0.5 とする。この場合、１フレームの処理速度が 5フレーム毎秒として、２秒間の間に5フレーム以上侵入物体候補として判定された抽出物体を侵入物体と判定することを意味する。したがって、この実施例によれば、過去数フレームの侵入物体候補判定結果に基づき抽出物体が検出すべき侵入物体か否かを判定するため、視野内に風に揺れる木々や旗の影が存在する場合でも、検出すべき侵入物体か否かを正確に判定することができる。
本発明の第７の実施例による侵入物体検出方法について図１３を用いて説明する。図１３は図２のフローチャートのステップ116での判定が“No”のとき、処理を除算処理ステップ105に移すようにした点が図２の第２の実施例の侵入物体検出方法と異なるもので、他の点は図２の方法と同じである。図２の方法の場合、ステップ104でラベリングした、個々の抽出物体に関してのみ除算を実施するので、除算演算量を少なくすることができるという効果がある。尚、他の実施例にもこの方法を適用できることは言うまでもない。
また、本発明は、以上で説明した撮像装置から逐次入力する画像信号中の侵入物体を検出するための方法を実施するコンピュータプログラムコード手段を実現したコンピュータ使用可能な媒体を有するコンピュータプログラム製品として実施できることは言うまでもない。
【００３１】
更に、図１２の侵入物体候補処理ステップ901、非侵入物体候補処理ステップ902、判定率算定ステップ903、判定率評価ステップ904を他の任意の実施例に適用してもよい。
更に、図１の平均輝度値算出ステップ106、平均輝度値評価ステップ107を他の任意の実施例に適用してもよい。
【００３２】
また、図２に言及して説明した侵入物体検出方法では、判定ステップ110においてμ⁺とμ^- 'の逆数とを比較したが、μ^-とμ⁺ 'の逆数との比較でもよいことは言うまでもない。
【００３３】
【発明の効果】
したがって、本発明によれば、カメラの視野内に存在する対象物体を、風に揺れる木々や旗などの影の検出すべき侵入物体以外の動く物体の存在する場面においても、正確に検出することができ、侵入物体検出装置の適用範囲を大きく広げることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の動作を説明するためのフローチャート。
【図２】本発明の一実施例の動作を説明するためのフローチャート。
【図３】本発明の一実施例の動作を説明するためのフローチャート。
【図４】本発明の一実施例の動作を説明するためのフローチャート。
【図５】侵入物体検出装置の構成の一例を示すブロック図。
【図６】従来の差分法を説明するための図。
【図７】風に揺れる木々や旗の影の特徴を説明するための第一の図。
【図８】風に揺れる木々や旗の影の特徴を説明するための第二の図。
【図９】風に揺れる木々や旗の影の特徴を説明するための第三の図。
【図１０】侵入物体の特徴を説明するための図。
【図１１】判定認識率の特徴を説明するための図。
【図１２】本発明の一実施例の動作を説明するためのフローチャート。
【図１３】本発明の一実施例の動作を説明するためのフローチャート。
【符号の説明】
101：画像入力ステップ、102：差分処理ステップ、103：二値化処理ステップ、104：ラベリング処理ステップ、105：除算処理ステップ、106：平均輝度値算出ステップ、107：平均輝度値評価ステップ、108：ヒストグラム算出ステップ、109：平均比率算出ステップ、110：平均比率評価ステップ、113：先鋭度算出ステップ、114：先鋭度評価ステップ、 501：TVカメラ、 502：画像入力I/F、 503：画像メモリ、 504：ワークメモリ、 505：CPU、 506：プログラムメモリ、507：出力I/F、 508：画像出力I/F、 509：警告灯、 510：監視モニタ、 511：データバス、 601：入力画像、 602：基準背景画像、 603：差分画像、 604：二値化画像、 605：減算器、 606：二値化器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring device using an imaging device, and in particular, a video signal that inputs an object that has entered the imaging field of view from the imaging device in a monitoring environment where shaking such as shadows of trees and shadows is observed. The present invention relates to an intruding object detection method and an intruding object detection apparatus that automatically detect from the inside.
[0002]
[Prior art]
An intruding object detection device using an imaging device such as a camera as an image input means automatically detects an intruding object in the monitoring field of view or recognizes the type of the object, instead of manned monitoring by a conventional observer. Thus, a predetermined notification and warning treatment can be obtained. In order to realize such a system, first, an input image obtained from image input means such as a camera is compared with a reference background image (that is, an image in which an object to be detected is not captured), and each pixel is compared. There is a method of obtaining a difference between luminance values and extracting an area having a large difference as an object. This method is called a difference method and has been widely used.
The difference method will be described with reference to FIG. FIG. 6 is a diagram for explaining the principle of performing object detection (object extraction) by the difference method. 601 is an input image, 602 is a reference background image, 603 is a difference image, 604 is a binarized image, 605 is a subtractor, and 606 is a binarizer.
[0003]
In FIG. 6, a subtracter 605 calculates a difference in luminance value for each pixel between an input image 601 and a reference background image 602 prepared in advance, and outputs a difference image 603. Next, the binarizer 606 sets the luminance value for each pixel of the difference image 603 to “0” when the luminance value is less than the predetermined threshold Th, and “255” (one pixel). The binarized image 604 is obtained by calculating the luminance value of 8 bits). As a result, the humanoid object 609 shown in the input image 601 is calculated as a region 610 in which a difference is generated by the subtractor 605, and is extracted as an image 611 by the binarizer 606. As an object detection method applying the difference method, there is, for example, Japanese Patent Publication No. 79429.
However, since this method detects the difference in luminance value for each pixel between the input image and the reference background image, for example, moving objects other than the intruding object to be detected such as trees and flags swaying in the wind or their shadows are also present. There is a problem of extracting. As a method for solving these problems, conventionally, an area where a moving object other than an intruding object to be detected exists is specified, and only the intruding object is extracted by masking the specified area (processing as a dead zone). It was. However, with this method, if the moving object other than the intruding object to be detected is particularly a shadow, its position changes from moment to moment, so the season, time zone, position of the monitoring area (longitude and latitude, etc.), weather, etc. The position where the shadow exists must be estimated according to the above conditions, and the masked area must be changed.
In addition, it is not possible to detect an intruding object existing in the masked area, or binary in this area in order to suppress the extraction (false detection) of moving objects other than the intruding object to be detected in the masked area. It is necessary to set the threshold value Th to be high, and when the threshold value Th is set high, the intruding object is likely to be overlooked. For this reason, it is desirable that the range of the area to be masked is small.
[0004]
[Problems to be solved by the invention]
The above-described conventional technique has a drawback that a masked area (dead zone) must be provided so that a moving object other than an intruding object to be detected is not erroneously detected so that an area where the object exists is not detected. It was. Also, especially when moving objects other than the intruding object to be detected are shadows such as trees and flags swaying in the wind, the position changes from moment to moment. There is a disadvantage that the position of the shadow is estimated from the position of the monitoring area (latitude and longitude, etc.), the weather, etc., and the masking area must be changed every moment.
Furthermore, in order to suppress an intruding object appearing in the masked area due to the mask process or to prevent erroneous detection (false extraction) of moving objects other than the intruding object to be detected in the masked area. Although it is necessary to set a high threshold value Th for binarization, there is a drawback that an intruding object is likely to be overlooked if the threshold value Th is set high. For this reason, it is desirable that the range of the area to be masked is as small as possible.
The object of the present invention is to eliminate the above-described drawbacks, and even when there is a shadow of a moving object other than the target object to be detected, the extracted object does not mask the area and the intrusion to be detected is to be detected. An object of the present invention is to provide an intruding object detection method and an intruding object detection device with high reliability by determining whether or not the object is an object.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an intruding object detection method or intruding object detection device of the present invention provides a highly reliable intruding object detection device that accurately detects a detection target as described below. is there.
[0006]
First, an intruding object detection device according to the present invention includes an object extraction step for sequentially extracting one or more moving objects from a plurality of image signals that are sequentially input by a difference method, and a division for each pixel of the input image signal and the reference background image signal. Performing a division processing step for obtaining a divided image, an average ratio calculating step for obtaining an average ratio of the extracted objects from a histogram of the divided image of the extracted object extracted in the object extraction step, and an extracted object detected based on the average ratio And an average ratio determining step for determining whether or not the object should be an intruding object so as to detect the intruding object in the monitoring visual field.
Further, the intruding object detection device of the present invention includes an extraction step of sequentially extracting one or more moving objects from a plurality of sequentially input image signals by a difference method, and a division for each pixel of the input image signal and the reference background image signal. A division processing step to obtain a division image by performing a line, a sharpness calculation step for obtaining a sharpness of a histogram of the extracted object from a histogram of the divided image of the extracted object extracted in the extraction detection step, and an extracted object is detected based on the sharpness A sharpness determination step for determining whether or not the object is an intruding object to be detected, and an intruding object in the monitoring field of view is detected.
Further, in the intruding object detection device of the present invention, an object extraction step for sequentially extracting one or more moving objects from a plurality of sequentially input image signals by a difference method, and a division for each pixel of the input image signal and the reference background image signal Performing a division processing step for obtaining a divided image, an average ratio calculating step for obtaining an average ratio of the extracted objects from a histogram of the divided image of the extracted object extracted in the object extraction step, and an extracted object detected based on the average ratio An average ratio determining step for determining whether or not to be a moving object candidate; and a sharpness calculating step for determining the sharpness of the extracted object histogram from the histogram of the divided image of the extracted object determined as a moving object candidate to be detected; A sharpness determination step for determining whether or not the extracted object is an intruding object to be detected based on the sharpness, and entering the surveillance field of view It is obtained to detect the body.
Further, an average ratio is obtained for a detected object in which the average luminance value of the input image of the extracted object is a predetermined value or more.
[0007]
Further, by changing the threshold value for the sharpness, the determination recognition rate as to whether or not the extracted object is an intruding object to be detected is changed.
[0008]
Furthermore, a determination result storing step for storing past determination results of the extracted object and an intruding object determination step for determining whether the extracted object is an intruding object to be detected based on the stored determination result are provided, The intruding object inside is detected.
That is, the intruding object detection device of the present invention includes, for example, an image input unit such as a camera that captures a monitoring range to be monitored, an image input I / F that inputs an image captured by an image input unit such as a camera, An image memory that stores an image input from the input I / F, a program memory that stores an operation program of an intruding object detection device that detects an intruding object, and an intruding object detection according to a program stored in the program memory CPU that operates the device, work memory that temporarily stores data when analyzing images stored in the image memory, and at least one of sound, visible light, vibration, rotational motion, vertical motion, etc. A warning display means that generates a signal that can be detected by a human or auxiliary animal A program that has an output I / F that transmits a signal for displaying a warning and an image output I / F that sends an image to the monitor monitor in accordance with instructions from the CPU in response to the analysis result of the work memory, and is held in the program memory Means for sequentially extracting an object moving by a difference method from an input image and a reference background image stored in the image memory, and performs a division process between the input image and the reference background image stored in the image memory. Means for obtaining a histogram of a divided image based on an object extracted by a difference method and a divided image obtained by division processing; means for calculating an average ratio of detected objects and a sharpness of the histogram from the histogram; and average ratio And means for determining whether the extracted object is an intruding object to be detected based on the sharpness, and an intruding object to be detected by the determining means So as to determine those which to perform the monitoring of the intruding object in the monitoring field.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
One embodiment according to the intruding object detection apparatus of the present invention is shown in FIG. FIG. 5 is a block diagram showing the hardware configuration of the intruding object detection device. 501 is a television camera (hereinafter referred to as a TV camera), 502 is an image input I / F, 511 is a data bus, 503 is an image memory, 504 is a work memory, 505 is a CPU, 506 is a program memory, and 507 is an output I / F F and 508 are image output I / Fs, 509 is a warning light, and 510 is a monitoring monitor. The TV camera 501 is connected to the image input I / F 502, the warning lamp 509 is connected to the output I / F 507, and the monitoring monitor 510 is connected to the image output I / F 508. The image input I / F 502, the image memory 503, the work memory 504, the CPU 505, the program memory 506, the output I / F 507, and the image output I / F 508 are connected to the data bus 511.
In FIG. 5, the TV camera 501 captures an image within the imaging field including the monitoring target area. The TV camera 501 converts the captured image into a video signal, and inputs the video signal to the image input I / F 502. The input I / F 502 converts the input video signal into image data in a format (for example, width 320 pix, height 240 pix, 8 bit / pix) that is handled by the intruding object detection device, and stores the image data in the image memory 503 via the data bus 511. send. The image memory 503 stores the transmitted image data. The CPU 505 analyzes the image stored in the image memory 503 in the work memory 504 in accordance with a program stored in advance in the program memory 506. As a result of the above analysis, information such as that the target object has entered the imaging field of view of the TV camera 501 is obtained. The CPU 505 turns on the warning lamp 509 from the data bus 511 via the output I / F 507 according to the processing result, and displays, for example, a processing result image on the monitoring monitor 510 via the image output I / F 508. The image output I / F 508 converts the signal from the CPU 505 into a format that can be used by the monitor monitor 510 (for example, an NTSC video signal) and sends the converted signal to the monitor monitor 510. The monitoring monitor 510 displays, for example, an intruding object detection result image. The flow chart described below can of course be implemented by an object tracking monitoring device having another hardware configuration, but is described with reference to FIG. 5 which is an example of the hardware configuration of the object tracking monitoring device described above. .
FIG. 2 is an example of a flowchart showing the first embodiment of the present invention. In the first embodiment, from the histogram of the divided image of the input image and the reference background image, the average value of the luminance change ratio of the pixels where the input image becomes brighter than the reference background image, and the reference background image A method that determines whether an extracted object is an intruding object that should be detected or not an intruding object such as a shadow, based on the average value of the luminance change rate of pixels that have become darker is there.
The flow of processing will be described with reference to FIGS. 6, 7, 8, 9, and 10. In the image input step 101, an input image 601 corresponding to, for example, a pixel number of 320 pix × 240 pix is obtained from the TV camera 501. In the example of FIG. 6, the input image 601 includes an intruding object 609.
[0010]
Next, in the difference processing step 102, the difference between the input image 601 and the reference background image 602 previously stored in the image memory 503 and the luminance value for each pixel is calculated to obtain a difference image 603.
In the example of FIG. 6, the difference image 603 includes a region 610 corresponding to the intruding object 609.
[0011]
The difference image 603 is subjected to threshold processing in the binarization processing step 103 (binarizer 606 in FIG. 6), and the luminance value of a pixel equal to or higher than a preset threshold (for example, Th = 20) A binary image 604 is obtained by converting to “255” as a part where the object exists and converting a luminance value of a pixel below the threshold to “0” as a part where the object does not exist. Hereinafter, the input image, the reference background image, and the binarized image are represented as f (x, y), g (x, y), and b (x, y), respectively. (X, y) represents the pixel position. For example, in the binarized image 604 of FIG. 6, the horizontal direction is the x axis (right direction is the + direction), the vertical direction is the y axis (down direction is the + direction), and the upper left is the origin (0, 0). And the coordinates at the bottom right are (320, 240).
In the labeling processing step 104, areas 611 that are individual pixel clusters having a luminance value of “255” in the binarized image 604 are numbered by a labeling method, and each is detected as an extracted object. Next, in a division processing step 105, the luminance value for each pixel of the input image 601 and the reference background image 602 is divided. The division image r (x, y) obtained by this processing is
[0012]
[Expression 1]

[0013]
Calculate as Here, the divided image r (x, y) is “128” when f (x, y) and g (x, y) have the same value (that is, the result of the division is “1.0”). The value of the division result “0.0 to 2.0” can be expressed using the luminance value (pixel value) “0 to 255” of r (x, y). In addition, [] represents that the part after the decimal point is rounded down to an integer. That is, when the value of r (x, y) is 0 to 127, it indicates that the input image is a dark area with respect to the reference background image, and the value of r (x, y) is The range from 128 to 255 indicates that the input image area is brighter than the reference background image.
Next, in the histogram calculation step 108, a histogram of the divided image r (x, y) is calculated for each extracted object numbered in the labeling processing step 104, and this is set as h (i) (i is a luminance value) (Pixel value), h (i) represents the number of pixels b (x, y) = 255 and r (x, y) = i). Next, in

steps

109 and 110, the symmetry of this histogram is evaluated. Alternatively, evaluation is performed to determine whether the extracted object is an intruding object using the histogram. That is, in the average ratio calculation step 109, for the histogram h (i) obtained in the histogram calculation step 108, first, the luminance value (pixel value) i of the divided image having the first range (128 ≦ i ≦ 255) is determined. The first average luminance value (average ratio) μ + and the second average luminance value (average ratio) μ− of the divided image in which the luminance value (pixel value) i is in the second range (0 ≦ i ≦ 127) Is obtained as follows.
[0014]
[Expression 2]

[0015]
That is, the average ratio μ ⁺ Is the average value and average ratio μ of the divided image r (x, y) of pixels where f (x, y)> = g (x, y) ^- Is f (x, y) It represents the average value of the divided images r (x, y) of pixels with <g (x, y).
Next, in average ratio evaluation step 110, average ratio μ obtained in average ratio calculation step 109 is calculated. ⁺ And average ratio μ ^- And calculate the difference with the reciprocal of ₁ If it is above, intruding object processing step 111, predetermined value T ₁ If not, the process branches to the shadow processing step 115. The processing from step 105 to step 110 will be described with reference to FIGS. FIGS. 7 to 10 are diagrams for explaining the characteristics of shadows of trees and flags swaying in the wind, showing the motion of shadows swaying in the wind, and simplified for the sake of explanation. In FIG. 7B, a region 701A filled with a horizontal line is the position of the shadow before the wind blows, and the image 701 ′ corresponds to the reference background image 602 in FIG. Further, an area 701B in the image 701 in FIG. 7A is a position after the shadow is shaken by the wind and is a partial image of the shadow reflected in the image 701. That is, the image 701 corresponds to the input image 601 in FIG. Thus, for example, the image 701 ′ before the wind blows is used as the reference background image, and the image 701 after the wind blows is used as the input image, for example. An image 701 ″ in FIG. 7 (c) is a diagram for showing the relative positions of the image 701 ′ and the region 701B and the region 701A reflected in the image 701.
When the difference method is applied in such a scene, a binary image 702 as shown in FIG. 8 is obtained. In the binarized image of FIG. 8, the region 702A represents a region where the shadow disappeared and brightened due to the wind blowing, and the region 702B represents a region darkened due to the wind blowing. A shadow such as a tree or a flag swaying is characterized in that two regions are detected as a pair like a binarized image 702.
That is, when the detected object extracted by the difference processing is extracted by moving the image originally reflected in the reference background image, for example, the previously dark area is brightened by moving the shadow. Two regions are extracted: a region (702A in FIG. 8 described later) and a region (702B in FIG. 8 described later) in which a shadow moves to a previously bright region and darkens. At this time, the luminance values on the divided images of these two areas are substantially equal.
Therefore, the histogram of the divided image calculated for one extracted detected object by shadows such as trees and flags swaying in the wind is as shown in FIG. 9A, for example. FIG. 9B is a schematic representation of the histogram of FIG. 9A. 9A and 9B, the horizontal axis represents the luminance value i, and the vertical axis represents the frequency h (i). In FIG. 9A, the histogram 703A is based on the region 702A, and the histogram 703B is based on the region 702B.
In FIG. 9B, a hatched portion 703A ′ is a schematic representation of the histogram 703A, and a hatched portion 703B ′ is a schematic representation of the histogram 703B. The area of the hatched portion 703A ′ represents the total size of the luminance values of the pixel region where the dark portion initially becomes bright, and the area of the hatched portion 703B ′ is the luminance value of the pixel region where the initially bright portion becomes dark Represents the total size. Furthermore, μ on the horizontal axis ⁺ The position of is the average of the luminance values of the pixel area where the initially dark part became brighter, and μ ^- The position is an average of the luminance values of the pixel area where the dark part at first becomes bright. Also σ ⁺ Is the width of the shaded portion 703A ′ and σ ^- Is the width of the shaded portion 703B ′. In this way, the ratio of the change in the luminance value of the pixel that has become brighter due to the shadow disappearing by the wind (μ ⁺ ) And the ratio of change in luminance value of the darkened pixel (1 / μ ^- ) Is a close value.
On the other hand, the histograms of the divided images of the detected objects detected due to the intruder are as shown in FIGS. 10A and 10B, for example. 10A and 10B are different from the histogram of the division image of the detected object detected due to the shadows of trees and flags swaying in the wind in FIGS. 9A and 9B, and the histogram of i <128 and i ≧ 128. The shape of the histogram is different. (In FIGS. 10A and 10B, there is a distribution of about 70 to about 115 for i <128 and about 155 to about 235 for i ≧ 128). Unlike the divided image histogram of the detected object extracted by shadows such as trees and flags swaying in the wind as in this example, the divided image histogram of the object detected by the intruder is i <128. , I ≧ 128 and does not necessarily have a similar distribution. That is, there is no feature in the histogram of the detected object extracted according to the luminance distribution of the intruder.
Therefore, the average ratio μ of the brightened pixels in the histogram of the division image ⁺ 'And the average ratio of darkened pixels μ ^- By comparing with the reciprocal of ', it can be determined whether the detected object is due to an intruding object to be detected or due to a shadow moving.
[0016]
Threshold value T used for judgment ₁ For example, if the deviation of the average ratio is allowed with a change rate of the luminance change rate of 10%, the divided image represents 0 to 2.0 with 256 gradations
[0017]
[Equation 3]

[0018]
It is.
Subsequently, when it is determined as an intruding object in the average ratio evaluation step 110, the extracted object is set as an intruder in the intruding object processing step 111, and in the subsequent alarm / monitor display step 112, the CPU 505 outputs the output I / F507 and the image output I / F508. Send instructions to. In response to this, the output I / F 507 causes the warning lamp 510 to issue a warning, for example, and the image output I / F 508 causes the monitoring monitor 511 to display a warning indicating the warning, for example. If the average ratio evaluation step 110 determines that the object is a shadow, the non-intruding object processing step 115 sets the extracted object as a shadow. The end determination step 116 branches the processing to the image input step 101 when the processing from step 108 to step 115 has been performed on all the extracted objects, and if not, the processing proceeds to the histogram calculation step 108. Branch. Therefore, according to this embodiment, the input image of the extracted object extracted by the difference method and the histogram of the divided image of the reference background image are evaluated, and the luminance value change ratio of the pixel that changes brightly and the luminance value change that changes darkly In order to determine whether or not the extracted object is an intruding object to be detected, even if there are shadows such as trees and flags swaying in the field of view, Can be accurately determined.
A second embodiment of the present invention will be described with reference to FIG. This second embodiment is a method in which it is determined whether the detected object is an intruding object or a shadow based on the variation in the histogram distribution obtained in the histogram calculating step 108.
[0019]
In the flowchart of FIG. 3, a sharpness calculation step 113 is added instead of the average ratio calculation step 109 of the flowchart of FIG. 2, and a sharpness evaluation step 114 is added instead of the average ratio evaluation step 110. It is evaluated from a different point of view from the embodiment (FIG. 2), and it is determined whether or not the extracted object is a detected object.
In FIG. 3, the histogram h (i) is calculated through the same processing steps as described in FIG. In the sharpness calculation step 113, two sharpnesses σ are obtained for the histogram h (i) obtained in the histogram calculation step 108. ⁺ And σ ^- Is obtained as follows.
[0020]
[Expression 4]

[0021]
That is, the sharpness σ of the divided image ⁺ Is the standard deviation of the luminance value distribution of the divided image r (x, y) of pixels where b (x, y) = 255 and f (x, y) ≥g (x, y), the sharpness σ of the divided image ^- Represents the standard deviation of the luminance value distribution of the divided image r (x, y) of pixels where b (x, y) = 255 and f (x, y) <g (x, y).
[0022]
Next, in the sharpness evaluation step 114, the sharpness σ obtained in the sharpness calculation step 113 ⁺ And sharpness σ ^- And a predetermined threshold T ₂ , The intruding object processing step 111 when the at least one of the two sharpness values is equal to or greater than the threshold value, ₂ If not, the process branches to the shadow processing step 115.
This process will be described with reference to FIG. 8, FIG. 9, and FIG. As described above, shadows such as trees and flags swaying in the wind have a feature that two regions are detected as a pair like a binarized image 702. Furthermore, the ratio of the luminance change of the pixels in the area where the shadow disappears and becomes brighter due to the blowing of wind is almost constant, and the ratio of the luminance change of the pixels in the area where the shadow becomes dark is also almost constant. There is. That is, the variation (that is, the standard deviation) of the luminance values of the divided images in the respective regions becomes small.
On the other hand, the detected object detected by the intruder does not necessarily reduce the variation in the luminance value of the divided image as described above. Therefore, the sharpness σ of the brightened pixel in the histogram of the divided image ⁺ And the sharpness of the darkened pixel σ ^- To determine whether the extracted object is due to an intruding object to be detected or not an intruding object to be detected, such as due to a shadow moving. be able to.
Threshold value T used for judgment ₂ For example, when variation in sharpness is allowed at a luminance change rate of 15%, the divided image represents 0 to 2.0 with 256 gradations.
[0023]
[Equation 5]

[0024]
And At this time, if the sharpness is less than T2, the pixel value of the divided image is
[0025]
[Formula 6]

[0026]
This means that the extracted object is a shadow (steps 114 to 115 in FIG. 3). Therefore, according to this embodiment, a histogram of the divided image of the input image of the detected object detected by the difference method and the reference background image is obtained, and the variation in the distribution of the divided image of pixels that have changed brightly or darkly is determined. Value T ₂ In order to determine whether the extracted object is an intruding object to be detected or a shadow, it is possible to accurately determine whether the extracted object is an intruding object or shadow to be detected even when there are shadows such as trees or flags swaying in the wind. Can be determined.
A third embodiment of the present invention will be described with reference to FIG. In the third embodiment, the average value of the luminance change ratios of pixels in which the input image becomes brighter than the reference background image of the histogram obtained by the histogram calculation step 108, and the input image relative to the reference background image. In this method, it is determined whether the detected object extracted based on the average value of the luminance change ratio of the darkened pixel and the distribution of the histogram is an intruding object to be detected.
4 is an average ratio μ in the average ratio evaluation step 110 of the flowchart of FIG. ⁺ And μ ^- The difference of the reciprocal of is T ₁ When it is determined that the value is less than the above, the sharpness calculation step 113 and the sharpness evaluation step 114 described above are performed. Therefore, according to this embodiment, a histogram of the divided image of the input image of the extracted object extracted by the difference method and the reference background image is obtained, and the luminance value change ratio of the brightly changed pixel and the luminance value of the darkly changed pixel are obtained. Compare the ratio of the change, and further, the threshold T represents the variation in the distribution of the divided image of the pixel that changed brightly and the distribution of the distribution of the divided image in the pixel changed darkly. ₂ To determine whether the extracted object is an intruding object to be detected or a shadow. Can be determined.
A fourth embodiment of the present invention will be described with reference to FIG. In the fourth embodiment, the average luminance value of the extracted object is a predetermined threshold value T. _Three This method is performed only in the above case. In other words, in the present embodiment, it is determined not to determine whether or not the object is an intruding object to be detected in an area that is already dark, such as a shadow of a building, and where another shadow cannot be shaken.
The flowchart of FIG. 1 is obtained by adding an average luminance value calculation step 106 and an average luminance value evaluation step 107 after the division processing step 105 of the flowchart of FIG. In the average luminance value calculation step 106, the average luminance value of the pixel having the label number of interest and b (x, y) = 255, that is,
[0027]
[Expression 7]

[0028]
Calculate by Here, N represents the number of pixels where b (x, y) = 255. Next, in the average luminance value evaluation step 107, the average luminance value μ obtained in the average luminance value calculation step 106 and a predetermined threshold T _Three And the average luminance value μ is the threshold T _Three If this is the case, the process branches to the histogram calculation step 108, where the average luminance value μ is the threshold value T. _Three If not, the process branches to the intruding object processing step 111.
[0029]
Where the predetermined threshold T _Three Is set to the average luminance value of the input image in the scene where the shaking of the shadow occurs, for example, T _Three = 128. By doing so, it is possible to determine whether the extracted object is an intruding object to be detected or a shadow only in a region having a bright luminance distribution in which a shake of a shadow occurs, and the processing speed can be increased.
A fifth embodiment of the present invention will be described with reference to FIG. In this embodiment, the threshold value T for the sharpness in the third embodiment shown in FIG. ₂ And the recognition rate for determining whether or not the extracted object is an intruding object to be detected is changed.
[0030]
FIG. 11 shows T ₂ 801A changes the rate of identifying an extracted object that is not an intruding object as an intruding object (misrecognition rate) and changes the rate of determining an intruding object as an object that is not an intruding object (missing rate) 801B is shown. These changes are obtained empirically when the monitoring environment (the type of target object, the focal length of the camera lens, etc.) is determined.
From FIG. 11, the threshold value T for the sharpness ₂ Setting a large value can reduce the false recognition rate, and conversely, T ₂ If the value is set small, the miss rate can be reduced. Therefore, depending on whether to allow misrecognition or overlook depending on the monitoring target, T ₂ The recognition rate for determining whether or not an intruding object should be detected can be adjusted.
A sixth embodiment of the present invention will be described with reference to FIG. In this embodiment, the intruding object processing step 111 and the non-intruding object processing step 115 in the third embodiment are replaced with an intruding object candidate processing step 901 and a non-intruding object candidate processing step 902, respectively. A judgment rate evaluation step 904 is added. In the intruding object candidate processing step 901, when it is determined that the extracted object is an intruding object by the average ratio evaluation step 110 or the sharpness evaluation step 114, the detected object is not immediately determined as an intruding object, but as an intruding object candidate. Store in work memory 504.
Further, in the non-intruding object candidate processing step 902, when the sharpness evaluation step 114 determines that the extracted object is a non-intruding object, the extracted object is not immediately determined as a non-intruding object, but as a non-intruding object candidate. Store in work memory 504. Next, in a determination rate calculation step 903, a determination rate k (k = N1 / Nk) is calculated based on the number of times N1 determined as an intruding object candidate in the past Nk frames of the extracted object stored in the work memory 504. Next, in the decision rate evaluation step 904, the decision rate k obtained in the decision rate calculation step 903 and a predetermined threshold T _Four And T _Four If this is the case, it branches to the alarm / monitor display step 112 and T _Four If it is less, the process branches to the end determination step 116. Here, the determination rate k represents the ratio at which the extracted object is determined to be an intruding object candidate in the past Nk frames, and is large when the extracted object is an intruding object (determined as an intruding object candidate in all frames). If the extracted object is due to the shaking of the non-intruding object, the extracted object becomes small (k = 0.0 if it is determined as a non-intruding object candidate in all frames).
Also, the number of frames to be judged Nk and the threshold T for the decision rate _Four Is an empirically set value, for example, Nk = 10, T _Four = 0.5. In this case, the processing speed of one frame is 5 frames per second, and it means that an extracted object determined as an intruding object candidate for 5 frames or more in 2 seconds is determined as an intruding object. Therefore, according to this embodiment, in order to determine whether the extracted object is an intruding object to be detected based on the intruding object candidate determination results of the past several frames, there are trees and flag shadows swaying in the wind in the field of view. Even in this case, it is possible to accurately determine whether or not the intruding object is to be detected.
An intruding object detection method according to a seventh embodiment of the present invention will be described with reference to FIG. FIG. 13 is different from the intruding object detection method of the second embodiment of FIG. 2 in that when the determination in step 116 of the flowchart of FIG. The other points are the same as the method of FIG. In the case of the method of FIG. 2, the division is performed only on the individual extracted objects labeled in step 104, so that the amount of division calculation can be reduced. Needless to say, this method can be applied to other embodiments.
The present invention is also implemented as a computer program product having a computer-usable medium that implements computer program code means for performing the method for detecting an intruding object in an image signal sequentially input from the imaging apparatus described above. Needless to say, you can.
[0031]
Furthermore, the intruding object candidate processing step 901, the non-intruding object candidate processing step 902, the determination rate calculation step 903, and the determination rate evaluation step 904 of FIG. 12 may be applied to any other embodiment.
Further, the average luminance value calculating step 106 and the average luminance value evaluating step 107 of FIG. 1 may be applied to any other embodiment.
[0032]
In the intruding object detection method described with reference to FIG. ⁺ And μ ^- Compared to the inverse of ' ^- And μ ⁺ It goes without saying that it may be compared with the inverse of '.
[0033]
【The invention's effect】
Therefore, according to the present invention, it is possible to accurately detect a target object existing in the field of view of a camera even in a scene where a moving object other than an intruding object to be detected such as a tree or a flag swaying in the wind exists. And the application range of the intruding object detection device can be greatly expanded.
[Brief description of the drawings]
FIG. 1 is a flowchart for explaining the operation of an embodiment of the present invention.
FIG. 2 is a flowchart for explaining the operation of the embodiment of the present invention.
FIG. 3 is a flowchart for explaining the operation of the embodiment of the present invention.
FIG. 4 is a flowchart for explaining the operation of the embodiment of the present invention.
FIG. 5 is a block diagram showing an example of the configuration of an intruding object detection device.
FIG. 6 is a diagram for explaining a conventional difference method.
FIG. 7 is a first diagram for explaining the characteristics of trees and flag shadows swaying in the wind;
FIG. 8 is a second diagram for explaining the characteristics of trees and flag shadows swaying in the wind.
FIG. 9 is a third diagram for explaining the characteristics of trees and flag shadows swaying in the wind.
FIG. 10 is a diagram for explaining the characteristics of an intruding object.
FIG. 11 is a diagram for explaining characteristics of a determination recognition rate.
FIG. 12 is a flowchart for explaining the operation of the embodiment of the present invention.
FIG. 13 is a flowchart for explaining the operation of an embodiment of the present invention.
[Explanation of symbols]
101: image input step, 102: difference processing step, 103: binarization processing step, 104: labeling processing step, 105: division processing step, 106: average luminance value calculation step, 107: average luminance value evaluation step, 108: Histogram calculation step, 109: average ratio calculation step, 110: average ratio evaluation step, 113: sharpness calculation step, 114: sharpness evaluation step, 501: TV camera, 502: image input I / F, 503: image memory, 504: Work memory, 505: CPU, 506: Program memory, 507: Output I / F, 508: Image output I / F, 509: Warning light, 510: Monitoring monitor, 511: Data bus, 601: Input image, 602 : Reference background image, 603: difference image, 604: binarized image, 605: subtractor, 606: binarizer.

Claims

An object detection method for detecting an object in an image obtained from an imaging device,
An object detection step for detecting an object from a comparison between an input image and a reference image;
A luminance change ratio calculating step of calculating a luminance change ratio by dividing a luminance value of each pixel of the input image and the reference image for the detection area of the object;
In the detection area of the object, the average value of the luminance change ratios of pixels in which the input image becomes brighter than the reference image, and the luminances of pixels in which the input image becomes darker than the reference image An average luminance change rate calculating step for calculating an average value of the change rate;
An object determination step for determining whether or not the object is to be detected based on the two average values calculated;
An object detection method characterized by comprising:

An object detection method for detecting an object in an image obtained from an imaging device,
An object detection step for detecting an object from a comparison between an input image and a reference image;
A luminance change ratio calculating step of calculating a luminance change ratio by dividing a luminance value of each pixel of the input image and the reference image for the detection area of the object;
In the detection area of the object, variation in the ratio of the luminance change of the pixel whose input image is brighter than the reference image, and the luminance change of the pixel where the input image is darker than the reference image A luminance change rate variation calculating step for calculating a variation in the ratio of
An object determination step of determining whether the object is to be detected based on the two calculated variations and a predetermined threshold;
An object detection method characterized by comprising:

An object detection device for detecting an object in an image obtained from an imaging device,
An object detection means for detecting an object from a comparison between an input image and a reference image;
A luminance change ratio calculating means for calculating a luminance change ratio by dividing a luminance value of each pixel of the input image and the reference image for the detection area of the object;
In the detection area of the object, the average value of the luminance change ratios of pixels in which the input image becomes brighter than the reference image, and the luminances of pixels in which the input image becomes darker than the reference image An average luminance change rate calculating means for calculating an average value of the change rate;
Object determination means for determining whether or not the object is to be detected based on the calculated two average values;
An object detection apparatus comprising:

An object detection device for detecting an object in an image obtained from an imaging device,
An object detection means for detecting an object from a comparison between an input image and a reference image;
A luminance change ratio calculating means for calculating a luminance change ratio by dividing a luminance value of each pixel of the input image and the reference image for the detection area of the object;
In the detection area of the object, variation in the ratio of the luminance change of the pixel whose input image is brighter than the reference image, and the luminance change of the pixel where the input image is darker than the reference image Brightness variation ratio variation calculating means for calculating a variation in the ratio of
An object determination means for determining whether the object is to be detected based on the two calculated variations and a predetermined threshold;
An object detection apparatus comprising:

A program to be executed by a computer constituting an object detection device for detecting an object in an image obtained from an imaging device,
An object detection function for detecting an object from a comparison between an input image and a reference image;
A luminance change ratio calculation function for calculating a luminance change ratio by dividing a luminance value of each pixel of the input image and the reference image for the detection area of the object;
In the detection area of the object, the average value of the luminance change ratios of pixels in which the input image becomes brighter than the reference image, and the luminances of pixels in which the input image becomes darker than the reference image An average luminance change rate calculation function for calculating an average value of the change rate,
An object determination function for determining whether or not the object is to be detected based on the two average values calculated;
Is realized by the computer.

A program to be executed by a computer constituting an object detection device for detecting an object in an image obtained from an imaging device,
An object detection function for detecting an object from a comparison between an input image and a reference image;
A luminance change ratio calculation function for calculating a luminance change ratio by dividing a luminance value of each pixel of the input image and the reference image for the detection area of the object;
In the detection area of the object, variation in the ratio of the luminance change of the pixel whose input image is brighter than the reference image, and the luminance change of the pixel where the input image is darker than the reference image Brightness variation ratio variation calculation function to calculate the variation of
An object determination function for determining whether the object is to be detected based on the two calculated variations and a predetermined threshold;
Is realized by the computer.