JP3997062B2

JP3997062B2 - 画像監視装置

Info

Publication number: JP3997062B2
Application number: JP2001161684A
Authority: JP
Inventors: 一哉高橋; 小沼　　知恵子; 啓介中島; 俊道岡田; 幸藤井
Original assignee: Hitachi Ltd; Hitachi Kokusai Electric Inc
Current assignee: Hitachi Ltd; Kokusai Electric Corp
Priority date: 2001-05-30
Filing date: 2001-05-30
Publication date: 2007-10-24
Anticipated expiration: 2021-05-30
Also published as: JP2002352340A

Description

【０００１】
【発明の属する技術分野】
本発明は動きのある背景中において監視対象物を検出して監視する画像監視装置に係り、特に水面の波や照り返しなどの動きのある場面や、木々の揺らぎなど動きのある場面の中で侵入物体の動きを選択的に検出して報知する画像監視装置に関する。
【０００２】
【従来の技術】
画像監視装置として、監視対象領域内に侵入物体を検知すると侵入物体の存在を監視員に報知する装置が多数紹介されている。従来の画像監視装置としては、例えばプリセット機能付カメラと、赤外線センサーと、モニターと、録画装置から成る画像監視装置がある。
【０００３】
プリセット機能付カメラとは画角の向きと拡大率を制御できるTVカメラであって、あらかじめ複数箇所の画角の向きと拡大率の組合せを記憶して随時選択できる機能を有するカメラである。赤外線センサーは赤外線の照射部と受光部を向かい合わせて設置し、侵入物体が照射部と受光部の間を通り赤外線を遮る事の検出をもって侵入物体の検出としている。
【０００４】
監視対象領域内の１箇所あるいは数箇所に赤外線センサーを設け、プリセット機能付カメラの画角の向きと拡大率を前記赤外線センサーの位置に合わせる。赤外線センサーの一つが侵入物体を検出すると、これに連動して画角の向きと拡大率が選択されて前記プリセット機能付カメラで捉えた画像を録画装置で録画する動作をする。
【０００５】
また、特開２０００−２０９５７１号公報に記載の発明では、前述の従来型画像監視装置に画像処理装置を加えた構成で、赤外線センサーで侵入物体を検出し、侵入物体を含む画像を画像処理装置で処理して輝度の変化に応じてプリセット機能付カメラの画角と拡大率を決定している。
【０００６】
さらに、特開平１１−４５３７９号公報に記載の発明では、カメラと、録画装置と、モニターと、画像処理装置から成り、カメラの画像を画像処理装置で処理して、監視対象領域内の動きを検出して、該動き部分を侵入物体として録画したり、監視員に報知したりしている。
【０００７】
また、特開平１１−３５５７６４号公報に記載の発明では、侵入物体の存在しない監視対象領域の画像を基準画像として保持し、監視対象領域の現画像と基準画像の輝度を比較し、輝度差を生じる部分を侵入物体として検出している。更に侵入物体の位置が中心にくるようにカメラの画角と拡大率を決定している。
【０００８】
【発明が解決しようとする課題】
しかし、上述の従来型画像監視装置と特開２０００−２０９５７１号公報に記載の発明では、監視対象領域内の赤外線センサーの設置してある場所でのみ侵入物体の検出が可能であり、これ以外の場所では侵入物体を検出できないという第一の課題を有している。
【０００９】
また、水面の波や照り返しや、木々の枝葉など、背景に動きのある場面で特開平１１−４５３７９号公報と特開平１１−３５５７６４号公報に記載の発明を用いると、侵入物体が存在しないときでも監視対象領域内のこれらの動きを侵入物体と誤って検出するという第二の課題がある。
【００１０】
ところで、洋上を船舶が航行すると該船舶の後方に航跡が発生する。船舶が高速であると航跡は際立って現れ、しかも船舶の大きさの数倍にも達する。以上のような状況で特開平１１−４５３７９号公報および特開平１１−３５５７６４号公報に記載の発明を適用すると、侵入物体として該船舶の航跡を捉えてしまい、録画画像にも航跡しか記録されないという第三の課題がある。
【００１１】
本発明の目的は、水面の波や照り返しや、木々の枝葉などの背景に動きを誤検出することなしに精度よく侵入物体を検出することができる画像監視装置を提供することにある。
【００１２】
本発明の他の目的は、侵入物体の存在座標を正確に計測し、該座標にカメラの画角を向けることができる画像処理装置を提供することにある。
【００１３】
【課題を解決するための手段】
第一の課題を解決するための、本発明の第一様態として、監視対象領域の画像を処理して、基準画像との局所的な輝度差をもって侵入物体候補とし、前記侵入物体候補を数フレームに亘って追跡し、所定の距離以上移動したことを確認したうえで侵入物体として判定して監視員に報知したり、録画装置に録画したりする。
【００１４】
以上の構成によって監視対象領域全域をテレビカメラの画角に収めれば、監視対象領域全域で侵入物体の検出が可能となる。そもそも侵入物体がいくらか移動した後に報知してもかまわない場合が多く、第一様態を採ることで、枝葉や旗の往復運動や、水面の揺らぎに反応することなく、移動する侵入物体を捉えることが可能となる。
【００１５】
第二の課題を解決するための、本発明の第二様態として、第一の様態と同様の構成に付加するものとして、前記基準画像として検出対象別に複数の基準画像を有し、各々の基準画像と監視対象領域画像の局所的な輝度差に基づき侵入物体を検出することを特徴とする画像監視装置を提供する。
【００１６】
複数の基準画像中の、第一基準画像は１フレームから数フレーム過去の監視対象領域画像を用いて十分速やかに更新される基準画像であって、波や木々の揺らぎも取り込まれた基準画像なので、波や木々の揺らぎに基づく輝度差が生じにくく、これら波や木々の揺らぎを侵入物体と誤検出することが少ない一方で、監視対象領域を侵入物体がある程度の速度で横切ると基準画像との間に輝度差が生じて前記侵入物体を検出することができる。
【００１７】
ただし、侵入物体が非常な低速で侵入する場合は揺らぐ波や木々と同様に侵入物体も第一基準画像に取り込まれてしまい、低速の侵入物体を捉えられないという問題がある。この問題を解消するために第二基準画像を用いるものであって、第二基準画像は過去の数フレームを所定の加重で加算平均して得られる。数フレームを加算平均すると、波や木々の揺らぎは平均化されて時間的な輝度変動は相殺される一方で、静止した岩や建造物はコントラストの良いくっきりとした基準画像になる。
【００１８】
また、監視画像として監視対象領域の画像の過去数フレームから現フレームまでを所定の加重で加算平均すると、波や木々の揺らぎによる輝度の時間変動は相殺される一方で、低速で移動したり静止したりしている侵入物体はコントラストの良いくっきりとした監視画像になる。第二基準画像と加算平均による監視画像の局所的輝度差を求めると、波や木々の揺らぎを捉えることなく侵入物体を検出できる。
【００１９】
しかし、加算平均による監視画像では高速で移動する物体はぼやける傾向にあって検出し難い。そこで第一基準画像で、ある速度以上の侵入物体を検出して第二の基準画像である速度以下の侵入物体を検出するのが望ましい。
【００２０】
第二の課題を解決するための、本発明の第三様態として、第二様態と同様の構成に付加するものとして、反射光検出手段とシルエット物体検出手段を設けることを特徴とする。
【００２１】
反射光検出手段は侵入物体候補として検出された領域の輝度が所定の輝度よりも高い場合は、侵入者物体候補は太陽等の照り返し、即ち反射光であるとして、侵入者物体候補の領域に対して局所的に第一基準画像と第二基準画像に基づく物体検出処理を一時的に無効化する。すなわち、侵入者物体候補の領域に対して一時的に物体検出処理のマスクをする。
【００２２】
このように反射光が存在する領域に侵入物体が存在すると、侵入物体が強力な発光体でない限りは必ず物体部分が黒く塗りつぶされたシルエット状態になる。そこでシルエット状態になった侵入物体をシルエット物体検出手段で検出すれば、第一基準画像と第二基準画像に基づく物体検出処理を一時的に無効化された領域に侵入物体が在ってもこれを検出することが可能でしかも反射光を侵入物体と誤検出することがない。
【００２３】
このように第三の様態にすると、太陽などの強力光源が水面で反射する場合は波の揺らぎに応じて反射光が動き、第一の基準画像と監視画像の間に局所的な差異が生じ、誤検出が生じるという問題を解決することができる。
【００２４】
第三の課題を解決するための、本発明の第四様態として、第一から第三の様態の何れかの構成にして、侵入物体候補を追跡する際に侵入物体候補の速度または移動方向を計測し、侵入物体候補の移動方向側の輪郭を含む部分を侵入物体候補の位置として、監視員に報知したり、録画したり、もう一つのカメラの画角と拡大率を合わせたりすることを特徴とする。以上の追跡処理により、侵入物体の後に航跡が残っていても侵入物体自体を的確に捉えることができる。
【００２５】
なお、カメラから得られる動画像は静止画像の系列からなっており、本明細書においてはこの系列画像である静止画の一枚一枚をフレームと称することにする。標準的なNTSC仕様のテレビカメラの動画像は毎秒約３０枚のフレームによって構成されている。
【００２６】
【発明の実施の形態】
本発明の実施の形態について図面を参照して説明する。以下では洋上の侵入船監視装置を例として説明するが、本発明はこれに限られない。
【００２７】
図１３は本発明の画像監視装置の実施形態の一例である。
図１３において、岸壁あるいは臨海建造物１３０４に固定された支柱１３０３にカメラ１３０１とカメラ１３０２が設置されている。カメラ１３０１は画角調整装置１３０６によって向きを変えたり拡大率を変えたりすることができる。カメラ１３０２は監視対象領域全体を覆うように画角を設定してある。
【００２８】
カメラ１３０１の映像はモニター１３０９を介して監視員が目視可能であり、録画装置１３０８に録画することができる。画角調整装置１３０６と、録画装置１３０８と、モニター１３０９には図示されていないがマンマシンのインタフェースが存在して、該マンマシンインタフェースを介して監視員が手動でカメラ１３０１の画角を制御してモニター１３０９を介して前記監視対象領域を目視することができる。必要に応じてカメラ１３０１の映像を録画装置１３０８に録画することができる。
【００２９】
本発明の画像処理装置を自動モードにすると、画像処理装置１３０５がカメラ１３０２の映像を処理して、監視対象領域に例えば侵入船１３１２が存在するとこれを検出して、侵入船１３１２の検出位置に応じて画角調整装置１３０６を介してカメラ１３０１の画角と拡大率を自動制御する。
【００３０】
画像処理装置１３０５は録画装置１３０８を制御してカメラ１３０１の画像を録画するとともに、報知装置１３０７を介して監視員に報知する。報知手段１３０７によって監視員に知らせる。知らせる方法としては音声や光の点滅等の方法がとれる。
【００３１】
また、モニター１３１０を設けてカメラ１３０２の映像を確認できるようにしてもよいし、録画装置１３０８を設けてカメラ１３０２の映像を録画できるようにしてもよい。また、録画装置１３０８に上書き録画可能な機能を有するものを用いて常時録画しておき、画像処理装置１３０５の出力で録画動作を停止すれば、侵入船１３１２が侵入する以前から侵入直後までの映像を残すことができる。
【００３２】
なお、カメラ１３０１とカメラ１３０２は必ずしも同一の支柱に設置する必要はない。
【００３３】
以上の構成を採ることにより、監視対象領域全域をテレビカメラの画角におさめれば、監視対象領域全域で侵入物体の検出が可能となる効果がある。そもそも侵入物体がいくらか移動した後に報知してもかまわない場合が多く、以上の様態を採ることで、枝葉や旗の往復運動や、水面の揺らぎに反応することなく、移動する侵入物体を捉えることが可能となる効果がある。
【００３４】
次に本発明の画像監視装置の第二の実施例を説明する。
本発明の画像監視装置の第二実施例は第一実施例と同様の構成にして、画像処理装置１３０５の構成は、図１に示すように、画像入力手段１０１と、時系列画像保持手段１０２と、加算平均画像作成手段１０３と、高速及び通常速度の移動物体検出手段１０４と、シルエット物体検出手段１０５と、低速及び停止物体検出手段１０６と、検出物体選択手段１０７と、環境分析手段１０８と、物体追跡手段１０９と、侵入物体判定手段１１０と、表示手段１１１から成る。
【００３５】
画像入力手段１０１はカメラ１３０２の画像を取込んでアナログ／デジタル変換する。時系列画像保持手段１０２は時系列の画像を複数枚保持する。加算平均画像作成手段１０３は時系列画像保持手段１０２の画像を所定の加重で加算平均して加算画像を作成する。高速及び通常速度の移動物体検出手段１０４は時系列画像保持手段１０２の時系列画像から揺らぎ入り基準画像を作成して保持する。
【００３６】
揺らぎ入り基準画像は波や木立などの背景の揺らぎを取込んで更新する基準画像であり、背景の揺らぎよりも大きな輝度変動を伴う変化を排除した基準画像である。高速及び通常速度の移動物体検出手段１０４は時系列画像保持手段の保持する最新画象と前記揺らぎ入り背景画像との輝度差が所定の値以上の領域を侵入物体候補として出力する。出力形式は侵入物体候補領域とそれ以外の領域を二値化した二値画像データでもよいし、該侵入物体候補領域の外接矩形の座標でもよい。
【００３７】
高速及び通常速度の移動物体検出手段１０４は加算平均画像作成手段１０３の加算平均画像と、時系列画像保持手段１０２の最新画象との輝度差の分布から揺らぎの激しい部分と激しくない部分に分類する。最新画象と揺らぎ入り背景画像との輝度差を所定の値をしきい値として侵入物体候補を検出しているが、揺らぎの激しい部分と激しくない部分で前記しきい値を可変とし、例えば揺らぎの激しい部分ではしきい値を高くすることで、波や木立の揺らぎによる侵入物体の誤検出の可能性を減ずることもできる。しかしこれは必須ではない。
【００３８】
ところで、カメラと太陽などの光源の間に侵入物体が存在すると侵入物体はシルエット化する。このときカメラの映像は光源による照り返しの高輝度の領域が存在し、高輝度の領域内の低輝度領域として、該侵入物体のシルエット化が見られる。
【００３９】
シルエット物体検出手段１０５はこのシルエット化した侵入物体を検出する機能を有する。シルエット物体検出手段１０５は加算平均画像作成手段１０３の加算平均画像の中で所定の輝度しきい値以上の領域を照り返し領域と見なし、時系列画像保持手段１０２の最新画象の前記照り返し領域内において、シルエット検出用輝度しきい値以下の領域をシルエット化した侵入物体候補として検出する。
【００４０】
低速物体及び停止物体検出手段１０６は加算平均画像作成手段１０３の加算平均画像の空間的な輝度変化の大きい領域を、低速物体あるいは停止物体の候補として検出する。
【００４１】
以上説明した3つの物体候補検出手段すなわち高速及び通常速度の移動物体検出手段１０４と、シルエット物体検出手段１０５と、低速物体及び停止物体検出手段１０６は侵入物体の移動速度の高低や監視対象領域の照り返しの有無などで侵入物体検出性能が変わるので、これらを併用して組み合わせると効果的な監視装置になる。
【００４２】
検出物体選択手段１０７は、それぞれ高速及び通常速度の移動物体検出手段１０４と、シルエット物体検出手段１０５と、低速物体及び停止物体検出手段１０６による検出結果を統合する。
【００４３】
本発明の画像監視装置は運用環境に応じて検出物体選択手段１０７の機能を設定できる。たとえば、監視業務に専念する監視員を配置する運用では監視員の判断で検出物体選択手段１０７を手動で操作して、それぞれ高速及び通常速度の移動物体検出手段１０４と、シルエット物体検出手段１０５と、低速物体及び停止物体検出手段１０６による検出結果を無効にしたり有効にしたりすることができる。このとき、有効な検出物体は各手法の結果を論理和した状態になる。
【００４４】
更に、環境分析手段１０８を設けて監視対象領域の環境を判定し、検出物体選択手段１０７における各検出結果の有効無効の切り替えを自動化しても良い。
【００４５】
表示手段１１１は環境分析手段１０８の動作状況を表示するもので、監視対象領域の分析結果や、検出物体選択手段１０７の選択結果を表示することができる。監視員が検出物体選択手段１０７を手動で操作するときは表示手段１１１が表示する環境分析結果を参考にすることもできる。
【００４６】
物体追跡手段１０９は検出物体選択手段１０７で有効となった検出物体を複数フレームに亘って追跡する。侵入物体判定手段１１０は物体追跡手段１０９の追跡結果をもとに追跡物体が侵入物体なのか揺らぎ等によるノイズなのかを判定してその結果を画像処理装置１３０５の出力とする。
【００４７】
以上の構成を採ることで、枝葉や旗の往復運動や、水面の揺らぎで誤動作することを大幅に抑えられるのに加えて、これら背景の揺らぎよりも動きの少ない侵入物体や、逆光でシルエット状態になった侵入物体も感度良く捉えることができる。更に、環境分析手段１０８の分析結果を表示することで、監視員にとって動作状況を把握し易く、扱いやすいシステムとなる効果がある。
【００４８】
本発明の監視装置は画像取得インタフェースと信号出力インタフェースを備えたコンピュータによって実現することも可能で、図２に示す処理の流れになる。
【００４９】
図２において、各パラメータと画像格納用のメモリ領域を初期化する（ステップ１）。これにより誤作動を防止できるのに加えて監視サイクル開始後に速やかに侵入物体検出動作に入れる。監視サイクル開始後に終了命令の割込みの有無をチェックし、終了割込みがある場合は処理を終了し、終了割込みの無い場合はステップ３に移行する（ステップ２）。
【００５０】
監視対象領域の画像を、画像取得インタフェースを介して取得する（ステップ３）。必要な枚数の時系列画像を保持しつつ、ステップ３で取得した画像で更新する（ステップ４）。現在までの時系列画像の加算平均画像を更新する（ステップ５）。
【００５１】
高速船有効フラグと、シルエット有効フラグと、低速船有効フラグを設け、ステップ１の初期設定であらかじめ有効または無効を設定しておく。高速船有効フラグが有効であれば高速船及び通常速度の移動物体検出処理を行う（ステップ６）。シルエット有効フラグが有効であればシルエット物体検出処理を行う（ステップ７）。低速船有効フラグが有効であれば低速及び停止物体検出処理を行う（ステップ８）。ステップ６乃至ステップ８の処理は図２の順序に限ることなしにどの順に行ってもよい。
【００５２】
環境分析処理では、平均加算画像の輝度とステップ６乃至ステップ８による侵入物体候補の大きさや個数から波の荒れ模様や白波の立ち具合や照り返しの有無を判断してステップ６乃至ステップ８の有効フラグの“有効”、“無効”を設定したり、ステップ６乃至ステップ８の、侵入物体候補検出のしきい値の高低を制御したりする（ステップ９）。これらフラグとしきい値は次の監視サイクルすなわちステップ３で再び画像取得してステップ６乃至８を実行するときに有効となる。
【００５３】
ステップ９の環境分析の一例として、加算平均画像の一部領域の平均輝度が所定の値よりも大きい時はカメラ１３０２が光源に向いた逆光状態と判定し、照り返しで誤検出しやすいステップ６の検出法を一時停止したりまたは検出しきい値を上げて感度を鈍らせたりする。
【００５４】
このような逆光状態では、侵入物体はシルエット状に成るのでステップ７の検出法の感度を上げる。また、ステップ６の検出法で検出されるも結局は侵入物体の判定までに至らないものすなわちノイズが多い場合は、波が荒れて白波が多数立っている状態と判断してステップ６の感度を弱めて誤検出の可能性を減ずる一方で、波間に隠れて低速で侵入してくる物体を検出するためにステップ８の低速船を検出する処理の感度を維持する。
【００５５】
物体追跡処理（ステップ１０）では前監視サイクルで検出した侵入物体候補の位置と特徴をあらかじめ保持していて、現監視サイクルで検出した侵入物体候補の位置と特徴を照合して、該侵入物体候補の移動状況を計測する。このような監視サイクル間の侵入物体候補の照合は、たとえば各監視サイクルで一つまたは複数の侵入物体候補が検出されている場合に、監視サイクル間で該侵入物体候補の位置する距離を計算して最近傍の侵入物体候補を同一侵入物体候補の移動とみなして行う。
【００５６】
また、監視サイクル間で侵入物体候補の大きさが大きく異なる場合と、距離が大きい場合は照合の候補から外すこともできる。さらに、該侵入物体候補の輝度分布の類似性をパターンマッチング処理で計測して照合することもできる。また、前フレームまでの速度の変化を最小になるように照合することもできる。
【００５７】
表示処理（ステップ１１）では必要に応じてステップ９の環境分析の結果を表示したり、ステップ６乃至ステップ８の動作状況を表示したり、監視対象領域に侵入物体が存在する場合は枠で囲んで表示したりすることができる。侵入物体判定処理（ステップ１２）では前記侵入物体候補の追跡状況から侵入物体と判定し、信号出力インタフェースを通じて画角調整装置１３０６でカメラ１３０１を追従させたり、報知手段１３０７で監視員に報知したり、録画装置１３０８で侵入物体の映像を記録したりする。
【００５８】
次にステップ２で終了割込みのチェックを経てステップ３の画像取得に至り、監視サイクルを繰り返す。
【００５９】
以上がコンピュータで画像処理装置１３０５を実施する場合の処理の流れで、常に最新のパソコンの計算速度を利用して侵入物体の検出を行えるという効果がある。
【００６０】
次に“高速及び通常速度の移動物体検出手段１０４”を検出手段１０４と略称し、検出手段１０４の第一実施例の詳細を図３に基づいて説明する。
【００６１】
図３において、検出手段１０４は揺らぎ量計測手段３０１と、揺らぎ入り基準画像作成手段３０２と、検出無効領域設定手段３０３と、物体検出手段３０４と、検出物体有効無効判定手段３０５から成る。侵入物体の存在しない監視対象領域の画像を基準画像として保持し、物体の侵入に伴って生ずる、前記監視対象領域の画像の輝度変化を捉えて侵入物体を検出するのが基本原理である。
【００６２】
しかし、波や木々等揺らぐ背景下で誤検出を防ぐには基準画像に揺らぎを取込む必要がある。また、取込むべき揺らぎ量は時々刻々と変化するので、この変化を計測して揺らぎの取込量を自動的に調整する必要がある。
【００６３】
検出手段１０４はこれを実現する構成をしていて、揺らぎ量計測手段３０１は時系列画像保持手段１０２の最新フレームまでの数フレームにおける揺らぐ領域の輝度変動量を計測する。
【００６４】
揺らぎ量の計測の一例として、図４に示すように揺らぎ量観測窓４０１乃至４０４を設ける。図４はカメラ１３０２で捉えた洋上の画像であって、図４(a)は最新フレームの監視対象領域の画像であり、図４(b)は数フレーム過去の監視対象領域の画像である。
【００６５】
たとえば揺らぐ波による輝度の変動量を計測するために四箇所に揺らぎ量観測窓４０１乃至４０４を設ける。揺らぎ観測窓４０１内の輝度は波の揺らぎのために変動していて、図４(a)は最新フレームと図４(b)は数フレーム過去画像で輝度差分をとって所定のしきい値で二値化すると図５(a)の画像になる。
【００６６】
波の揺らぎの大きい状態になるとフレーム毎の輝度変化は大きくなるので、所定のしきい値で二値化すると図５(a)よりも差分の面積は大きく、たとえば図5(b)のようになる。波の揺らぎの少ない状態になるとフレーム毎の輝度変化は少なくなるので、該所定のしきい値で二値化すると図５(a)よりも差分の面積は少なく、たとえば図5(c)のようになる。
【００６７】
以上の説明から分かるように、しきい値の固定化した場合は波の揺らぎが大きくなるほど二値化物体の面積が図5(b)のように大きく、波の揺らぎが小さいほど二値化物体の面積は図5(c)のように小さくなる。
【００６８】
二値化物体の面積を二つの固定数値と比較して、二値化物体の面積が二つの固定数値の両方より大きい場合は二値化しきい値を大きくし、二値化物体の面積が二つの固定数値の両方より小さい場合は二値化しきい値を小さくすることで、二値物体の面積を一定の範囲に保って、波の揺らぎの大きさに応じてしきい値の大きさを変動させることができる。
【００６９】
すなわち、波の揺らぎが大きくなるとしきい値は大きくなってその結果フレーム間の輝度が大きく変化する部分も二値物体として検出されにくくなる。波の揺らぎが小さくなるとしきい値は小さくなってその結果フレーム間の輝度変化の少ない部分でも二値化物体として検出されやすくなる。
【００７０】
ここで、揺らぎ量計測手段３０１の出力は揺らぎ量観測窓４０１乃至４０４内の二値化物体の面積を所定の値近傍にするための二値化しきい値であるとする。揺らぎ量観測窓４０１乃至４０４から各々異なるしきい値が得られる場合は4つのしきい値の平均値を最終的なしきい値とする事もできるし、中央値をとることもできる。以後これを揺らぎしきい値と呼称する。
【００７１】
揺らぎ入り基準画像作成手段３０２は時系列画像保持手段１０２の時系列画像を用いて揺らぎ入り基準画像を作成する。具体的には初期設定（ステップ1）においてカメラ１３０２取得の最新画象を前記揺らぎ入り基準画像とする。続く監視サイクル毎に、時系列画像保持手段１０２の最新画象と前記揺らぎ入り基準画像との輝度差分画像を作成し、揺らぎしきい値で二値化する。このとき検出される二値物体は揺らぎ量観測窓４０１乃至４０４内の波の揺らぎよりも大きな輝度変動を生じる領域である。
【００７２】
一方、該領域以外は揺らぎ量観測窓４０１乃至４０４内の波の揺らぎよりも輝度変動の少ない領域であり、この領域に限り最新画象の輝度分布で揺らぎ入り基準画像を更新する。
【００７３】
以上の処理によって、揺らぎ入り基準画像は揺らぎ量観測窓４０１乃至４０４内の、波の揺らぎ以下の変動を取込んだ揺らぎ入りの基準画像となる。
【００７４】
物体検出手段３０４は時系列画像保持手段１０２の最新画像と揺らぎ入り基準画像作成手段３０２の基準画像との輝度差分画像を作成し、所定のしきい値で二値化することによって、揺らぎ量観測窓４０１乃至４０４内の波の揺らぎよりも大きな輝度変動を生じる部分を二値化物体として検出できる。
【００７５】
検出物体有効無効判定手段３０５は二値化物体の外接矩形を設定して大きさを計測し、所定の範囲の二値化物体を侵入物体候補として出力する。以上の構成を採ることによって、背景の揺らぎ量の変化に迅速に対応して自動調整が可能で、誤検出が少なく感度の良い画像監視装置を実現できる効果がある。
【００７６】
高速及び通常速度の移動物体検出手段１０４の、第二実施例として、第１の例に検出無効領域設定手段３０３を加えた構成である。検出無効領域設定手段３０３は時系列画像保持手段１０２の最新画像と、加算平均作成手段１０３の加算平均画像と、検出物体有効無効判定手段の前監視サイクルのノイズ発生状況から監視対象領域内の局所的な波の荒さと照り返しの有無を判定し、波の荒い部分では物体検出手段３０４の二値化しきい値を高くして誤検出の発生を防止できる。
【００７７】
また、照り返しのある部分では完全に検出しないように設定することで誤検出の発生を防止する。前記照返し領域への侵入物体の検出はシルエット物体検出手段１０５で補うことができる。
【００７８】
図６に検出無効領域設定手段３０３の動作例を示す。図６(a)は監視対象領域の画面であり、６０１は揺らぎのない岸壁部分で、それ以外の部分は波の揺らぐ部分である。監視対象領域の画像を加算平均画像作成手段１０３で処理を加えて加算平均画像を作成すると、領域６０１の部分は監視対象領域の対応箇所と同様の輝度分布をして、領域６０１以外の揺らぐ部分は該当部分の平均輝度で、照り返しがなければ、ほぼ一様な輝度になる。
【００７９】
監視サイクル毎に加算平均画像と監視対象領域の画像の輝度差分布を複数サイクルに亘って蓄積してから所定のしきい値で二値化すると、図６(b)に示すように６０１に対応する領域６０２は黒く、それ以外の領域は白くなる。白色領域は揺らぎによる輝度変動の激しい部分なので物体検出手段３０４の検出しきい値を高く設定して誤検出を防止できる。
【００８０】
一方、黒色領域は輝度変動の小さい部分なので、物体検出手段３０４の検出しきい値を低く設定して検出感度を高めても誤発報の可能性を低くできる。さらに、白色領域で、かつ、加算平均画像の輝度値が所定の値よりも高い部分は照り返しの発生している部分として物体検出手段３０４の処理を停止することもできる。
【００８１】
以上の構成を採ることで、一画面内に揺らぎや照返しの激しい部分があっても、各々の領域に最適な調整が為されるので、検出感度を落とさずに、誤検出を抑制する効果がある。
【００８２】
次にシルエット物体検出手段１０５の第一実施例の詳細を図７に基づいて説明する。
【００８３】
図７において、シルエット物体検出手段１０５は、シルエット領域検出手段７０１と物体検出手段７０２で構成される。シルエット領域検出手段７０１にて、加算平均画像作成手段１０３による加算平均画像で所定の輝度以上の領域を選択する。
【００８４】
更に、所定の輝度以上の領域内で、時系列画像保持手段１０２の最新画像をもう一つの所定の輝度をしきい値として二値化し、輝度の低い領域をシルエット物体候補とする。物体検出手段７０２はシルエット領域検出手段７０１によるシルエット物体候補をシルエット化した侵入物体候補としてシルエット物体検出手段１０５より出力する。以上の構成を採ることで、シルエット化した侵入物体を、その移動速度に関係無しに、捉えることができるという効果がある。
【００８５】
監視領域によっては、監視対象領域内に建造物が存在することがあり、逆光状態ではこれらもシルエット化し、シルエット物体検出手段１０５の第一実施例ではシルエット化した侵入物体候補になってしまう。そこで、シルエット物体検出手段１０５の第二実施例は第一実施例の構成に基準画像作成手段７０３と検出無効領域設定手段７０４を加えた構成である。
【００８６】
監視動作に先立ち、時系列画像保持手段１０２から、侵入物体の存在しない映像を入力すると、第一実施例と同ように該監視領域内の建造物のシルエット化したものが検出されるので、これを基準画像として基準画像作成手段７０３に保持する。検出無効領域設定手段７０４は基準画像設定手段７０３の保持する基準画像で建造物の領域を無効領域として出力する。
【００８７】
監視稼動時に物体検出手段７０２はシルエット領域検出手段７０１によるシルエット化物体から検出無効領域設定手段７０４の無効領域を除いたものをシルエット化した物体として出力する。
【００８８】
以上の構成を採ることで、監視領域内に建造物などがあってこれらがシルエット化するときでも誤検出無しに侵入物体を捉えられるという効果がある。
【００８９】
しかし時間とともに太陽などの光源が移動すると、建造物の影も移動する。そこでシルエット物体検出手段１０５の第三実施例は第二実施例の構成に更新時期発生手段７０５を加えた構成である。
【００９０】
更新時期発生手段７０５はあらかじめ決められた時間間隔で信号を作り出し、侵入物体が存在していないときのみに、更新信号として基準画像作成手段７０３に伝えられる。更新信号がくると、基準画像作成手段７０３はこの時点でのシルエット領域検出手段７０１の出力を、新たな基準画像として、以後これを、次回更新時まで、検出無効領域とする。
【００９１】
以上の構成を採ることで、光源の移動に伴ってシルエットのでき方が変化しても誤検出をすること無しに侵入物体を捉えられるという効果がある。
【００９２】
次に“低速及び停止物体検出手段１０６”を物体検出手段１０６と略記し、物体検出手段１０６の第一実施例の詳細を図８に基づいて説明する。
【００９３】
波間のように絶えず変動している監視映像を加算平均画像作成手段１０３で処理すると、輝度の変動部分は時間的に平均化され、空間的にも明暗が緩やかに変化する、動きの乏しい画像になる。領域内で侵入物体が静止していると加算平均処理の作用で、侵入物体の輝度分布は信号ノイズ比が良いくっきりとした画像になる。また、侵入物体が低速で移動する場合は、侵入物体の画像は、ぼけはするが、常時変動している波よりもはっきりとした輝度分布が現れる。
【００９４】
物体検出手段１０６はこの性質を用いて低速で移動もしくは停止している侵入物体を検出する手段で、空間微分処理手段８０１と物体検出手段８０２で構成される。空間微分処理手段８０１は空間的に急激に輝度の変わる領域を検出する処理で、隣接する画素同士の差分処理を行う。差分処理の変わりに公知である微分演算子を作用させても良い。以上の手法で空間的に大きく輝度を変える領域を強調した後に所定のしきい値で二値化して物体を検出する。
【００９５】
物体検出手段８０２は空間微分処理手段８０１の検出した物体を低速または停止している侵入物体候補として低速及び停止物体検出手段１０６から出力する。以上の構成を採ることで、背景の揺らぎよりも動きの少ない侵入物体も検出できるという効果がある。
【００９６】
監視領域によっては、監視対象領域内に建造物が存在することがあり、加算平均画像ではこれらも輝度分布がはっきりして物体候補として検出されてしまう。そこで、低速及び停止物体検出手段１０６の第二実施例は第一実施例の構成に基準画像作成手段８０３と検出無効領域設定手段８０４を加えた構成である。
【００９７】
監視動作に先立ち、カメラ１０２から、侵入物体の存在しない映像を入力すると、第１実施例と同様に該監視領域内の建造物の大きく変化するものが検出されるので、これを基準画像として基準画像作成手段８０３に保持する。検出無効領域設定手段８０４は基準画像作成手段８０３の保持する基準画像で建造物の領域を無効領域として出力する。
【００９８】
監視稼動時に物体検出手段８０２は空間微分処理手段８０１による検出物体から検出無効領域設定手段８０４の無効領域を除いたものを低速及び停止中の物体として出力する。以上の構成を採ることによって検出領域内に制止した建造物や岩などがあってもこれらを誤検出すること無く、侵入物体を検出できる効果がある。
【００９９】
波の満ち引きとともに建造物の輝度パターンは変化する。そこで物体検出手段１０６の第三実施例は第二実施例の構成に更新時期発生手段８０５を加えた構成である。更新時期発生手段８０５はあらかじめ決められた時間間隔で信号を作り出し、侵入物体が存在していないときのみに、更新信号として基準画像作成手段８０３に伝えられる。更新信号がくると、基準画像作成手段８０３はこの時点での空間微分処理手段８０１の出力を、新たな基準画像として、以後これを次回更新時まで検出無効領域とする。以上の構成を採ることで、時刻と共に建造物や岩などが変化してもこれらを誤検出すること無しに、侵入物体を捉えられる効果がある。
【０１００】
次に環境分析手段１０８の動作を図９で説明する。
高速及び通常速度の移動物体検出手段１０４で検出しながらも、検出物体と選択されなかった物体の単位時間当たりの発生数を計数する（ステップ１）。ステップ１の計数結果とあらかじめ決めておいた個数を比較して、発生数の方が多い場合はステップ２に進み、少ないか同じ場合はステップ３に進む。
【０１０１】
高速及び通常速度の移動物体検出手段１０４でノイズが多いのは波などの揺らぎが大きい場合か、逆光で照り返しの強い場合であるので、これらの情報を表示手段１１１で表示する（ステップ２）。検出物体選択手段１０７が自動切換えモードのときは、高速及び通常速度の移動物体検出手段１０４の出力結果を全面的に無効にして、その旨を表示手段１１１に表示したり、検出無効領域設定手段３０３の設定する無効化領域の面積を広げたりする（ステップ２）。
【０１０２】
また、加算平均画像１０３の加算平均画像の輝度が高い場合は、逆光状態で照り返しが発生していると判断してその旨を表示手段１１１に表示したりする（ステップ２）。シルエット物体検出手段１０５で検出しながらも、検出物体と選択されなかった物体の単位時間当たりの発生数を計数する（ステップ３）。ステップ３の計数結果とあらかじめ決めておいた個数を比較して、発生数の方が多い場合はステップ４に進み、少ないか同じ場合はステップ５に進む。
【０１０３】
シルエット物体検出手段１０５でノイズが多いのは光源の移動に伴い、シルエット用の基準画像作成手段７０３の基準画像が不適切なためで、前記基準画像の更新を行うと共に、これらの情報を表示手段１１１で表示する（ステップ４）。低速及び停止物体検出手段１０６で検出しながらも、検出物体と選択されなかった物体の単位時間当たりの発生数を計数する（ステップ５）。ステップ５の計数結果とあらかじめ決めておいた個数を比較して、発生数の方が多い場合はステップ６に進み、少ないか同じ場合は終了する。
【０１０４】
低速及び停止物体検出手段１０６でノイズが多いのは光源の移動に伴い、建造物などの影が変化して、基準画像作成手段８０３の基準画像が不適切なためで、基準画像の更新を行うと共に、これらの情報を表示手段１１１で表示する（ステップ６）。
【０１０５】
以上の構成を採ることによって、監視対象の現環境に適合した処理に自動調整されると共に、稼動状況が表示されるので、監視員にとって扱いやすく、しかも故障などの不具合も早期に見つけて対応しやすいという効果がある。
【０１０６】
次に物体追跡手段１０９の詳細を説明する。図１０に基づき、物体追跡手段１０９の物体追跡法と従来の物体追跡法の差異を説明する。
【０１０７】
図１０(a)は従来の物体追跡法を示す図であって、現フレームで検出した物体１００１と前フレームで検出した物体１００２を同一画面上に重ねて表示している。物体１００１の中心あるいは物体１００１の外接矩形の中心をAと表記し、物体１００２の中心あるいは物体１００２の外接矩形の中心をBと表記している。従来の物体追跡法では中心Aと中心Bを結ぶベクトルABを前記フレーム間の、物体の移動としていた。
【０１０８】
図１０(b)は物体検出手段１０９の物体追跡法を示す図であって、現フレームで検出した物体１００１と前フレームで検出した物体１００２を同一画面上に重ねて表示している。
【０１０９】
物体１００１の中心あるいは物体１００１の外接矩形の中心をAと表記し、物体１００２の中心あるいは物体１００２の外接矩形の中心をBと表記している。また、ベクトル１００３は前フレームまでの該物体の移動を表すベクトルである。Cは物体１００１の中心あるいは外接矩形の中心Aからベクトル１００３に平行に伸ばした線分と、物体１００１の輪郭あるいは外接矩形の輪郭との交差地点を示している。Dは物体１００２の中心あるいは外接矩形の中心Bからベクトル１００３に平行に伸ばした線分と、物体１００２の輪郭あるいは外接矩形の輪郭との交差地点を示している。このとき、DとCを結ぶベクトルDCを前記フレーム間の物体の移動とする。
【０１１０】
図１０の例ではフレーム間の物体１００１と１００２は剛体のように形を変えないものであるが、ロケットやミサイルなどの煙を出しながら移動する飛行物体や波しぶきを上げて航行する船舶を追跡する場合は、煙やしぶきも含めて物体として検出するので、中心AとBは必ずしも移動物体自身の中心でないことが多く、従来法では該物体の移動を正しく計測できない問題があった。
【０１１１】
一方、物体追跡手段１０９は常に該移動物体の移動方向の先端を捉えているので、移動物体自身を追跡する可能性が高く、該物体の移動方向を正しく計測できる。物体追跡手段１０９は、物体の追跡開始直後は参照すべき移動ベクトル１００３が得られないので従来の方法で移動ベクトルを求めるが、この移動ベクトルあるいは複数フレームに亘る移動ベクトルの平均を参照ベクトル１００３として、物体の移動方向先端を求めて、移動ベクトルを計測する。
【０１１２】
以上は検出物体が一つの場合の追跡法であるが、図１１に基づいて検出物体が二つ以上存在する場合の動作について説明する。
【０１１３】
図１１(a)は検出物体が低速で移動する場合であって、物体１００１と物体１１０１は現フレームで検出された物体であり、物体１００２は前フレームで検出された物体である。Eは検出物体１１０１の中心あるいは外接矩形の中心で、Fは移動ベクトル１００３の方向に伸ばした線分と物体１１０１の輪郭の交差する点である。
【０１１４】
物体が低速であるため、前フレームまでの追跡で求められた移動ベクトル１００３は小さく、移動方向の信頼性は低い。そこで、フレーム間の物体の照合は距離の近いもの同士を照合させるものとする。たとえば、検出物体１００２が次フレームで移動する候補としては物体１００１と１１０１である。移動ベクトル１００３の方向と合致する物体は１００１であるが、移動ベクトル１００３が小さい場合は距離の最小の物体すなわち１１０１を対応付け、ベクトルBEあるいはベクトルDFを新たな移動のベクトルとする。
【０１１５】
一方、図１１(b)は検出物体が高速で移動する場合であって、物体１００１と物体１１０２は現フレームで検出された物体であり、物体１００２は前フレームで検出された物体である。Gは検出物体１１０２の中心あるいは外接矩形の中心を通って移動ベクトル１００３の方向に伸ばした線分と物体１１０２の輪郭との交点である。このとき、フレーム間の移動ベクトルとして考えられるのはベクトルDGあるいはベクトルDCである。
【０１１６】
一般的に高速移動中の物体は急激に移動方向を変えることはできない。これを考慮すると、前フレームまでの移動ベクトル１００３に方向と大きさが近いものとして、ベクトルDCが選択され、したがって、前フレームの物体１００２は現フレームで物体１００１に移動したと判断される。
【０１１７】
以上の動作を実施する物体追跡手段１０９の一例を図１２に示す。
【０１１８】
物体追跡手段１０９は外接矩形設定手段１２０１と、中心座標と先端座標計測手段１２０２と、移動ベクトル評価手段１２０３と、移動ベクトル選定手段１２０４と、中心座標と先端座標と移動ベクトル保持手段１２０５と、物体座標出力手段１２０６で構成される。
【０１１９】
外接矩形設定手段１２０１では、検出物体選択手段１０７の二値画像を処理して検出物体の外接矩形を設定する。外接矩形は物体が内接する矩形である。中心座標と先端座標計測手段１２０２では前記外接矩形の中心座標を求めると共に、中心座標と先端座標と移動ベクトル保持手段１２０５保持の前フレームまでの移動ベクトルを基に先端座標を計測する。
【０１２０】
移動ベクトル評価手段１２０３では、中心座標と先端座標と移動ベクトル保持手段１２０５の保持する、前フレームの外接矩形の中心座標と先端座標と現フレームの中心座標と先端座標を用いて、可能な移動ベクトルを全て計算する。移動ベクトル選定手段１２０４は、中心座標と先端座標と移動ベクトル保持手段１２０５の保持する、
前フレームまでの移動ベクトルの大きさすなわち移動物体の速度に応じて適切な移動ベクトルを選定する。選定された移動ベクトルより、現フレームまでの中心座標と、先端座標と、移動ベクトルが決定されるので、これらを中心座標と先端座標と移動ベクトル保持手段１２０５に保持する。
【０１２１】
物体座標出力手段１２０６は移動ベクトル選定手段１２０４の選定した移動ベクトルより現フレームに於ける移動物体の座標を算出して、物体追跡手段１０９の出力とする。以上の構成を採ることによって、ロケットやミサイルなどの煙を出しながら移動する飛行物体や波しぶきを上げて航行する船舶を追跡する場合でも、正確に進行方向の先頭を捉えるので、この追跡結果に基づきカメラを移動させれば、後続の煙や水しぶきなどを捉えること無く、侵入物体を映像におさめることができるという効果がある。
【０１２２】
次に侵入物体判定手段１１０は、物体追跡手段１０９の、フレーム毎の、物体の座標の変化を累積して前記物体の移動軌跡を算出すると共に所定の移動距離を超えて移動する場合は侵入物体と判定し、報知手段１３０７を動作させて監視員に報知したり、画角調整装置１３０６を制御してカメラ１３０１を制御したり、録画装置１３０８を制御して映像を録画したりする。以上の構成を採ることによって、監視員が常時モニターを目視していなくとも、侵入物体を検出して該侵入物体の映像を記録できるという効果がある。
【０１２３】
以上に記したTVカメラは可視波長域のカメラに限らず、近赤外カメラや遠赤外カメラなど、多種にわたる波長のカメラでも良い。例えば、遠赤外カメラを用いれば、夜間は照明装置を用いずに監視動作を実施でき、侵入者にも監視されていることが分かり難い効果がある。
【０１２４】
また、近赤外カメラを用いると、可視モノクロカメラに似た映像が得られると共に、近赤外LED照明装置を用いると、可視域の強度は小さいために、侵入者に気づかれ難く関しできるという効果がある。
【０１２５】
【発明の効果】
本発明の第一実施例によれば、監視対象領域全域をテレビカメラの画角におさめれば、該監視対象領域全域で侵入物体の検出が可能となる効果がある。しかも侵入物体がいくらか移動した後に該侵入物体を検出して報知すれば、枝葉や旗の往復運動や、水面の揺らぎに反応することなく、移動する該侵入物体を捉えることが可能となる効果がある。
【０１２６】
本発明の第二実施例によれば、環境分析手段の分析結果を表示することで、監視員にとって動作状況を把握し易く、扱いやすいシステムとなる効果がある。
【０１２７】
本発明の第二実施例をコンピュータで実施すると、常に最新のコンピュータの計算速度を利用して侵入物体の検出を行えるという効果がある。
【０１２８】
本発明の画像監視装置の、高速船検出手段の第一実施例によれば、背景の揺らぎ量の変化に迅速に対応して自動調整が可能で、誤検出が少なく感度の良い画像監視装置を実現できる効果がある。
【０１２９】
本発明の画像監視装置の、高速船検出手段の第二実施例によれば、一画面内に揺らぎや照返しの激しい部分があっても、各々の領域に最適な調整が為されるので、検出感度を落とさずに、誤検出を抑制する効果がある。
【０１３０】
本発明の画像監視装置の、シルエット物体検出手段の第一実施例によれば、シルエット化した侵入物体を、その移動速度に依存せずに、捉えることができるという効果がある。
【０１３１】
本発明の画像監視装置の、シルエット物体検出手段の第二実施例によれば、監視領域内に建造物などがあってこれらがシルエット化するときでも誤検出無しに侵入物体を捉えられるという効果がある。
【０１３２】
本発明の画像監視装置の、シルエット物体検出手段の第三実施例によれば、光源の移動に伴ってシルエットのでき方が変化しても誤検出をすること無しに侵入物体を捉えられるという効果がある。
【０１３３】
本発明の画像監視装置の、低速及び停止物体検出手段の第一実施例によれば、背景の揺らぎよりも動きの少ない侵入物体も検出できるという効果がある。
【０１３４】
本発明の画像監視装置の、低速及び停止物体検出手段の第二実施例によれば、検出領域内に制止した建造物や岩などがあってもこれらを誤検出すること無く侵入物体を検出できる効果がある。
【０１３５】
本発明の画像監視装置の、低速及び停止物体検出手段の第三実施例によれば、時刻と共に建造物や岩などが変化してもこれらを誤検出すること無しに侵入物体を捉えられる効果がある。
【０１３６】
本発明の画像監視装置の、環境分析手段によれば、監視対象の現環境に適合した処理に自動調整されると共に稼動状況が表示されるので、監視員にとって扱いやすく、しかも故障などの不具合も早期に見つけて対応しやすいという効果がある。
【０１３７】
本発明の画像監視装置の、物体追跡手段によれば、ロケットやミサイルなどの煙を出しながら移動する飛行物体や波しぶきを上げて航行する船舶を追跡する場合でも、正確に進行方向の先頭を捉えるので、この追跡結果に基づきカメラを移動させれば、後続の煙や水しぶきなどを捉えること無く侵入物体を映像におさめることができるという効果がある。
【０１３８】
本発明の画像監視装置の、侵入物体判定手段によれば、監視員が常時モニターを目視していなくとも、侵入物体を検出して該侵入物体の映像を記録できるという効果がある。
【図面の簡単な説明】
【図１】本発明の、画像監視装置の第二実施例を示す図である。
【図２】本発明の、画像監視装置の第二実施例をコンピュータで実施する場合の処理の図である。
【図３】本発明の、高速及び通常速度の移動物体検出手段の、第一実施例の図である。
【図４】本発明の揺らぎ量計測手段の、揺らぎ量計測の一例を示す図である。
【図５】本発明の揺らぎ量計測手段の、揺らぎ量計測窓の一例を示す図である。
【図６】本発明の検出無効領域設定手段の、計測無効化の一例を示す図である。
【図７】本発明のシルエット物体検出手段の一例を示す図である。
【図８】本発明の低速及び停止物体検出手段の一例を示す図である。
【図９】環境分析手段の処理の一例を示す図である。
【図１０】本発明の物体追跡手段の追跡と、従来の追跡の差異を示す図である。
【図１１】本発明の、物体追跡手段の追跡法の一例を示す図である。
【図１２】本発明の物体追跡手段の、一例を示す図である。
【図１３】本発明の、画像監視装置の実施形態の一例を示す図である。
【符号の説明】
１０１…画像入力手段、１０２…時系列画像保持手段、１０３…加算平均画像作成手段、１０４…高速及び通常速度の移動物体検出手段、１０５…シルエット物体検出手段、１０６…低速及び停止物体検出手段、１０７…検出物体選択手段、１０８…環境分析手段、１０９…物体追跡手段、１１０…侵入物体判定手段、１１１…表示手段。

Claims

監視領域の時系列画像を入力する画像入力手段と、侵入物体を移動速度別に検出する２つの物体検出手段と、前記監視領域における照り返し領域内のシルエット物体を検出するシルエット物体検出手段と、前記２つの物体検出手段及びシルエット物体検出手段による検出結果を統合する検出物体選択手段と、前記検出物体選択手段により選別された物体を複数フレームにわたり追跡する物体追跡手段と、前記物体追跡手段によって所定の距離以上に追跡できた場合に侵入物体の検出と判断する侵入物体判定手段を具備し、前記シルエット物体検出手段は、前記時系列画像を加算平均した加算平均画像の所定輝度しきい値以上の領域を照り返し領域とみなし、前記時系列画像の最新画像の前記照り返し領域内におけるシルエット検出用輝度しきい値以下の領域をシルエット化した侵入物体として検出することを特徴とする画像監視装置。
請求項１において、前記シルエット物体検出手段は、前記加算平均画像の前記所定輝度以上の領域に前記侵入物体が存在しないときに照り返し領域に前記侵入物体が存在しないときにシルエット検出用輝度しきい値以下の領域を検出して該領域とこれ以外の領域の二値画像を作成して基準画像として保持し、前記基準画像のシルエット検出用輝度しきい値以下の領域を侵入物体検出無効領域とすることを特徴とする画像監視装置。
請求項２において、前記シルエット物体検出手段は、前記基準画像を定期的に作成することを特徴とする画像監視装置。
請求項１において、前記物体追跡手段は、フレーム毎の検出した物体をフレーム間で照合して、前記フレーム間での該物体の移動方向と大きさを移動ベクトルとし、前記移動ベクトルの大きさに基づき次回のフレーム間照合時における前記物体の位置を代表する部分を選択することを特徴とする画像監視装置。
請求項４において、前記物体追跡手段は、前記移動ベクトルが所定の大きさ以下の場合は、フレーム間照合時における物体の外接矩形の中心を前記物体の代表位置とし、前記移動ベクトルが所定の大きさより大きい場合は前記物体の外接矩形中心から前記移動ベクトル方向へ引いた線分と前記物体の輪郭あるいは前記外接矩形の輪郭との交点を前記物体の代表位置とすることを特徴とする画像監視装置。