JP4664878B2 - 画像処理装置 - Google Patents

Description

本発明は、監視対象となる領域（監視対象領域）を監視する監視システムなどにおける画像処理装置などに関し、特に、監視対象領域の状況に応じて複数の物体検出方法から適切な物体検出方法を選択することで、検出すべき物体の検出性能を向上させる画像処理装置などに関する。

例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来より広く用いられている。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度（或いは、画素値）の差分を算出し、当該算出値が所定の閾値（しきい値）と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。

また、検出すべき物体を監視する方法としては、背景差分法以外にも、異なる時刻に得られた複数の入力画像の差分を用いるフレーム間差分法や、２つの画像間の局所部分の動きを算出することで画像内の動きの流れを検出するオプティカルフロー法などがあり、監視対象領域の環境条件に応じて適切な方法を実施する機能が実装される。

特開平１１−１３４５０６号公報

しかしながら、それぞれの物体検出方法には、得手不得手がある。
例えば、背景差分法では、静止している物体を安定に検出することができるが、一方で監視対象領域の照度などが変わることに起因する誤検出が発生する可能性がある。また、フレーム間差分法では、監視対象領域の照度変化に対しては誤検出が少ないが、静止している物体を検出することができないという問題がある。また、オプティカルフロー法では、監視対象領域内の検出すべき物体以外のものが複雑に動く場合（例えば、木々が揺れる場合など）には、検出すべき物体の動きを正確に検出することができないという問題がある。

上記のことから、監視システムでは、監視対象領域の環境に応じて適切な物体検出方法が予め決定されて、システムに実装される。
しかしながら、監視対象領域の環境変化が生じたときには、実装した物体検出方法が最適ではなくなる場合があり、この場合、誤検出が発生して正確な監視が行われなくなってしまうという問題があった。

本発明は、このような従来の事情に鑑み為されたもので、例えば、監視対象領域の環境が変化するような場合においても、環境に適した物体検出方法を使用して物体検出の性能を向上させることができる画像処理装置などを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置では、次のような構成とした。
すなわち、画像取得手段が、所定の領域の画像を取得する。環境情報取得手段が、前記所定の領域の環境に関する情報を取得する。物体検出手段が、複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して、前記画像取得手段により取得された画像に基づいて物体を検出する。制御手段が、前記環境情報取得手段により取得された環境に関する情報に基づいて、前記物体検出手段により使用する物体検出方法を切り替える。

従って、所定の領域の画像に基づいて物体を検出するに際して、当該所定の領域の環境に関する情報に基づいて当該物体検出に使用する物体検出方法が切り替えられるため、例えば、当該所定の領域（例えば、監視対象領域）の環境が変化するような場合においても、環境に適した物体検出方法を使用して物体検出の性能を向上させることができる。

ここで、画像に基づいて物体を検出する対象となる所定の領域としては、種々な領域が用いられてもよい。一例として、画像処理装置を監視装置に適用して、所定の領域として監視対象となる領域（監視対象領域）を用いることができる。
また、画像を取得する態様としては、例えば、カメラにより画像を撮像して取得する態様が用いられてもよく、或いは、外部から画像を入力する態様が用いられてもよい。
また、環境に関する情報としては、例えば、雨量や降雪量などの種々な環境に関する情報が用いられてもよく、また、複数の環境に関する情報が用いられるのが好ましい。
また、環境に関する情報を取得する態様としては、例えば、センサや画像処理などにより環境に関する情報を検出して取得する態様が用いられてもよく、或いは、外部から環境に関する情報を入力する態様が用いられてもよい。

また、複数の物体検出方法の種類や数としては、種々な態様が用いられてもよい。それぞれの物体検出方法では、例えば、画像を用いて処理を行うことにより当該画像に含まれる物体の画像部分を検出することなどを行う。
また、複数の物体検出方法のうちから選択される物体検出方法の数としては、１つであってもよく、或いは、複数であってもよい。複数の物体検出方法が選択されて使用される場合には、例えば、これら複数の物体検出方法による物体検出結果を別個に取得する態様が用いられてもよく、或いは、これら複数の物体検出方法による物体検出結果を総合したものを最終的な物体検出結果として取得する態様が用いられてもよい。
また、環境に関する情報に基づいて使用する物体検出方法を切り替える制御の態様としては、種々な態様が用いられてもよい。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、記憶手段が、物体検出条件情報を記憶する。この物体検出条件情報は、前記複数の物体検出方法のそれぞれについて、複数の環境のそれぞれに関する条件を規定する。
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報に基づいて、前記複数の環境に関する条件について適合する数が多い物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する。

従って、複数の物体検出方法のそれぞれについて複数の環境に関する条件を規定しておいて、これら複数の物体検出方法の中で適合する環境条件の数が多い方から使用する物体検出方法として選択することにより、例えば、複数の環境に基づいて、所定の領域の現在における環境の状態に適した物体検出方法を選択して使用することができる。

ここで、環境に関する条件としては、種々なものが用いられてもよく、例えば、その環境について取得される値に対する閾値を用いることができ、取得された値が閾値以上である場合（又は、閾値を超えた場合）、或いは、取得された値が閾値以下である場合（又は、閾値未満である場合）に、条件に適合する（条件が満たされた）と判定するように設定することができる。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、記憶手段が、物体検出条件情報を記憶する。この物体検出条件情報は、前記複数の物体検出方法のそれぞれについて、複数の環境のそれぞれに関する条件を規定する。また、記憶手段が、前記複数の環境のそれぞれに関する条件毎の重み付け度を記憶する。
前記制御手段は、前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報と重み付け度に基づいて、前記複数の環境に関する条件について適合するものの重み付け度の総和が大きい物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を選択する。

従って、複数の物体検出方法のそれぞれについて複数の環境に関する条件及びそれぞれの環境条件の重み付け度を規定しておいて、これら複数の物体検出方法の中で適合する環境条件の重み付け度の総和が大きい方から使用する物体検出方法として選択することにより、例えば、複数の環境に基づいて、それぞれの環境の重み付け度を加味して、所定の領域の現在における環境の状態に適した物体検出方法を選択して使用することができる。

ここで、物体検出条件情報と重み付け度を記憶する態様としては、例えば、これらを同一のメモリに記憶する態様が用いられてもよく、或いは、これらを別個なメモリに記憶する態様が用いられてもよい。
また、それぞれの環境条件毎の重み付け度を設定する態様としては、種々な態様が用いられてもよく、例えば、物体検出方法により物体検出を行うに際してその性能が大きく影響される環境条件ほど大きい重み付け度とするような態様を用いることができる。重み付け度としては、例えば、ポイント（点数）を用いることができる。

なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理を当該コンピュータに実行させる。

一例として、本発明に係るプログラムは、画像処理装置を構成するコンピュータに実行させるプログラムであって、所定の領域の画像を取得する機能と、前記所定の領域の環境に関する情報を取得する機能と、複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して前記取得された画像に基づいて物体を検出する機能と、前記取得された環境に関する情報に基づいて前記使用する物体検出方法を切り替える機能と、を当該コンピュータに構成する。

以上説明したように、本発明によると、所定の領域の画像に基づいて物体を検出するに際して、当該所定の領域の環境に関する情報に基づいて当該物体検出に使用する物体検出方法が切り替えられるため、例えば、当該所定の領域の環境が変化するような場合においても、環境に適した物体検出方法を使用して物体検出の性能を向上させることができる。

本発明に係る実施例を図面を参照して説明する。
図１には、本発明の一実施例に係る監視システムの構成例を示してある。
本例の監視システムは、監視装置１と、撮像装置２と、センサ３と、表示装置４を備えている。
監視装置１は、環境変化判定部１１と、物体検出テーブル１２と、物体検出方法選択部１３と、複数（本例では、４個）のスイッチＡ１〜Ａ４と、複数（本例では、４個）の物体検出部Ｂ１〜Ｂ４を備えている。また、本例では、センサ３は、監視装置１の機能の一部として設けられている。
なお、本例では、監視対象（検出対象）となる物体としては、例えば、人或いは物など、任意のものが用いられてもよい。

撮像装置２は、例えばカメラから構成されており、監視対象となる領域（監視対象領域）の画像を撮像し、撮像した画像を監視装置１へ送信する。
なお、本例の監視システムにおいて、画像はアナログ信号或いはデジタル信号（デジタルの画像データ）として処理され、例えば、画像のデータに対して圧縮処理及び伸張処理が行われてもよい。
表示装置４は、例えばディスプレイ画面などから構成されており、監視装置１から受信した画像などを画面に表示する。

センサ３は、撮像装置２による監視対象領域などに設置されており、当該監視対象領域の環境の状態を検出し、その検出結果を監視装置１へ送信する。環境の状態の検出としては、例えば、環境の状態そのものが検出されてもよく、或いは、過去の環境の状態からの変化が検出されてもよい。
ここで、センサ３としては、種々なものが用いられてもよく、例えば、磁気センサや、赤外線センサや、圧力センサや、熱センサや、振動センサや、雨量センサや、降雪センサや、照度センサや、風速計や、ドアセンサや、フェンスセンサや、音感センサなどを用いることができる。なお、ドアセンサは例えば扉の開閉の状態を検出し、フェンスセンサは例えばフェンスに設けられた複数の振動計により人などの存在を検出する。
本例では、センサ３として、複数種類のセンサが備えられており、それぞれ異なる環境の状態を検出する。

監視装置１に備えられた各処理部について説明する。
それぞれのスイッチＡ１〜Ａ４は、それぞれの物体検出部Ｂ１〜Ｂ４について、物体検出方法選択部１３と接続された状態と非接続な状態（つまり、接続されない状態）とを切り替える機能を有している。本例では、いずれか１つの物体検出部Ｂ１〜Ｂ４が物体検出方法選択部１３と接続される。
それぞれの物体検出部Ｂ１〜Ｂ４は、それぞれ異なる物体検出方法により画像に対して物体検出処理を行う機能を有しており、物体検出方法選択部１３から入力された画像に対して物体検出処理を行い、その画像や物体検出処理の結果などを表示装置４へ送信する。

ここで、各物体検出部Ｂ１〜Ｂ４で使用することが可能な物体検出方法の例として、背景差分法と、フレーム間差分法と、オプティカルフロー法と、テンプレートマッチング法について説明する。
背景差分法（ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ）による物体検出方法では、入力画像と検出すべき物体が映っていない基準となる背景画像との輝度（或いは、画素値）の差分を算出し、当該算出値が所定の閾値（しきい値）と比べて大きい変化領域に検出すべき物体（オブジェクト）が存在する或いはその可能性があるとして監視を行う。背景差分法は、静止している物体を安定に検出することができるという特徴を有するが、監視対象領域の照度などが変わる場合や動く背景物体が存在する場合のように背景が安定していない場合には、背景画像と実際の背景との差が大きくなり誤検出が発生するという問題がある。

フレーム間差分法（ｆｒａｍｅ ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ）による物体検出方法では、撮像した時間が異なる複数の入力画像の輝度（或いは、画素値）の差分を算出し、当該算出値が所定の閾値（しきい値）と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。フレーム間差分法は、動く背景が存在する場面でも移動している検出すべき物体を安定に検出することができるが、検出すべき物体が静止している場合にはフレーム間の差分が小さくなるため検出すべき物体を検出することができないという問題がある。

オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）による物体検出方法では、撮像した時間が異なる複数の入力画像間で入力画像の移動ベクトルの分布を算出し、移動ベクトル分布内で類似度が高い移動ベクトルがかたまって算出された領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。オプティカルフローを用いることにより、監視対象領域の照度変化があった場合や撮像装置２が動いた場合でも検出すべき物体を検出することが可能であるが、検出すべき物体が静止している場合には移動ベクトルを算出することができず検出すべき物体を検出することができなくなることがあり、また、入力画像の背景が複雑に動いている場合には類似度が高い移動ベクトルのかたまりを検出することが困難になるという問題がある。

テンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）による物体検出方法では、入力画像と予め用意した標準パターン（テンプレート）とを比較しながら走査し、画素の相関が最も高い入力画像の部分領域に検出すべき物体が存在する或いはその可能性があるとして監視を行う。テンプレートマッチングは、背景が複雑に動いている場面でも移動物体を追跡することができるが、検出すべき物体の向きなどが変化する場合には、標準パターンと実際の検出すべき物体とのずれが大きくなり相関が高い部分領域を見つけられなくなるという問題がある。なお、テンプレートとしては、例えば、検出対象の物体のテンプレートを用いるばかりでなく、背景をテンプレートとして用いて背景以外の任意の物体を検出してもよい。

環境変化判定部１１は、センサ３から監視対象領域の環境の状態の検出結果を受信し、当該検出結果に基づいて環境の状態の変化の有無を判定し、当該判定結果の情報や監視対象領域の環境の状態の情報を物体検出方法選択部１３へ出力する。
物体検出テーブル１２は、例えば監視装置１に備えられたメモリに記憶されており、この物体検出テーブル１２には、複数の物体検出方法のうちから環境に適した物体検出方法を決定するための参照情報が設定されている。

図２には、物体検出テーブル１２の一例を示してある。
本例の物体検出テーブル１２では、４個の物体検出部Ｂ１〜Ｂ４のそれぞれにより使用される物体検出方法（物体検出方法１〜４）のそれぞれについて、監視対象領域の環境の状態を表すセンサによる検出結果の情報に対して、検出すべき物体を精度よく検出することが可能な物体検出条件が記述されている。
本例では、物体検出条件として、「コントラスト」、「オブジェクトの大きさ」、「オブジェクトの速さ」、「雨量」、「降雪量」の５つに関する条件を用いている。

「コントラスト」は、物体（オブジェクト）の外接矩形と背景構造物体との輝度値の差の平均値を％（パーセント）で表しており、例えば、夜間の場合など「コントラスト」が低下するとオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最小の「コントラスト」が設定されている。
「オブジェクトの大きさ」は、物体（オブジェクト）の見かけの大きさを表しており、例えば、オブジェクトが撮像装置２から遠ざかるなど「オブジェクトの大きさ」が小さくなるとオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最小のオブジェクトの、外接矩形の幅または高さの何れか小さい方の値が設定されている。

「オブジェクトの速さ」は、物体（オブジェクト）の外接矩形の移動ピクセル数を表しており、例えば、オブジェクトがゆっくり歩くなど「オブジェクトの速さ」が遅くなるとオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最小の「オブジェクトの速さ」が設定されている。
「雨量」は、監視対象領域の１時間雨量を表しており、「雨量」が多くなるほどコントラストが低下したり、雨粒を誤検出するなどでオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最大の「雨量」が設定されている。

「降雪量」は、監視対象領域の１時間あたりの降雪量を表しており、「降雪量」が多くなるほどコントラストが低下したり、降雪や積雪で誤検出するなどでオブジェクトを検出し難くなる。従って、物体検出テーブル１２には、各物体検出方法において、オブジェクト検出が可能な最大の「降雪量」が設定されている。
なお、使用するセンサに応じて更に項目を増やすこと或いは減らすことが可能であり、項目を増やすことでより最適な物体検出方法を選択することが可能となる。

具体的には、コントラストやオブジェクトの大きさ、オブジェクトの速さについては規定された値以上であれば条件を満たすこととなり、雨量や降雪量については規定された値以下であれば条件を満たすこととなる。一例として、物体検出方法２では、コントラストは１１［％（パーセント）］以上で条件が満たされ、オブジェクトの大きさは１０［ｐｉｘ（ピクセル）］以上で条件が満たされ、オブジェクトの速さは１０［ｐｉｘ／ｆｒ（ピクセル／フレーム）］以上で条件が満たされ、雨量は１０［ｍｍ／ｈ（ミリメートル／時）］以下で条件が満たされ、降雪量は３［ｃｍ／ｈ（センチメートル／時）］以下で条件が満たされる。
また、オブジェクト検出が可能な最大の「コントラスト」、オブジェクト検出が可能な最大の「オブジェクトの大きさ」、オブジェクト検出が可能な最大の「オブジェクトの速さ」、オブジェクト検出が可能な最小の「雨量」、オブジェクト検出が可能な最小の「降雪量」も設定しておき、各物体検出条件の最大値および最小値を用いて監視対象領域の環境の状態と照合することによって、より適切な物体検出方法を選択するようにしても良い。

ここで、本例では、実際の監視対象領域の様子に基づいてセンサ３によりコントラストやオブジェクトの大きさやオブジェクトの速さに関する値を検出する場合には、撮像装置２により撮像される画像におけるコントラスト［％］やオブジェクトの大きさ［ｐｉｘ］やオブジェクトの速さ［ｐｉｘ／ｆｒ］に対応した値となるように検出値を換算することがセンサ３或いは環境変化判定部１１或いは物体検出方法選択部１３により行われる。このような換算を行うための数式などの情報が、例えば撮像装置２の設置場所などに基づいて、監視装置１に予め設定されている。

また、本例では、監視対象領域の環境の状態をセンサ３により検出する構成を示すが、他の構成例として、撮像装置２により撮像される監視対象領域の画像を処理した結果に基づいて監視対象領域の環境の状態を検出する構成を用いることも可能である。例えば、１つ以上の物体検出部Ｂ１〜Ｂ４による物体検出処理結果などに基づいて（フィードバックにより）監視対象領域の環境の状態を検出することが可能であり、或いは、物体検出方法選択部１３が監視対象領域の画像を処理して監視対象領域の環境の状態を検出するような構成を用いることも可能である。また、センサにより環境の状態を検出する構成と、画像に基づいて環境の状態を検出する構成の両方を用いることも可能である。

物体検出方法選択部１３は、撮像装置２から監視対象領域の画像を入力し、環境変化判定部１１から監視対象領域の環境の状態の変化の有無の判定結果の情報や監視対象領域の環境の状態の情報を入力し、物体検出テーブル１２の情報を入力する。そして、物体検出方法選択部１３は、監視対象領域の環境の状態の変化があった場合には、監視対象領域の環境の状態の情報及び物体検出テーブル１２の情報に基づいて最も適切な１つの物体検出方法を決定（選択）し、決定した物体検出方法の処理を行う物体検出部（物体検出部Ｂ１〜Ｂ４のいずれか）と当該物体検出方法選択部１３とが接続される状態とするようにスイッチＡ１〜Ａ４のオンオフを制御する。また、物体検出方法選択部１３は、スイッチＡ１〜Ａ４を介して接続された物体検出部Ｂ１〜Ｂ４へ監視対象領域の画像などを出力する。

なお、本例では、監視対象領域の環境の状態の変化があった場合に適切な物体検出方法の決定やスイッチＡ１〜Ａ４の制御を行う構成を示したが、例えば、初期的に物体検出部Ｂ１〜Ｂ４を選択する必要がある場合には、監視対象領域の環境の状態の変化がなくとも、物体検出方法の決定やスイッチＡ１〜Ａ４の制御を行い、また、例えば、監視対象領域の環境の状態の変化がなくとも、定期的なタイミングなどで、適切な物体検出方法の決定やスイッチＡ１〜Ａ４の制御を行うような構成が用いられてもよい。

ここで、物体検出方法選択部１３により監視対象領域の環境の状態の情報及び物体検出テーブル１２の情報に基づいて物体検出方法を決定する処理の一例を示す。
本例では、現在におけるセンサ３による検出結果の情報（監視対象領域の環境の状態の情報）に基づく環境状態と物体検出テーブル１２の情報に基づく物体検出条件とを照合して、現在の環境状態により満たされる物体検出条件の数を各物体検出方法について検出し、その数が最も多い物体検出方法を使用するように選択する。

なお、２つ以上の物体検出方法について、満たされる物体検出条件の数が同一である場合には、例えば、そのうちの任意の物体検出方法が選択されてもよく、或いは、優先順位を付けるための情報が予め設定されていて、その情報に基づいて優先順位が高い方の物体検出方法が選択されるような構成が用いられてもよい。優先順位としては、一例として、複数の物体検出方法に順番付けをしておいて、順番が小さい物体検出方法を優先的に選択するようなことができる。

図３には、物体検出テーブル１２と環境状態とを照合した結果の一例を示してある。
本例の環境状態では、コントラストが１０［％］であり、オブジェクトの大きさが２０［ｐｉｘ］であり、オブジェクトの速さが１０［ｐｉｘ／ｆｒ］であり、雨量が１５［ｍｍ／ｈ］であり、降雪量が０［ｃｍ／ｈ］であるとした。
図３のテーブルでは、環境状態が物体検出条件を満たすところには丸印（“○”）を示してあり、満たさないところにはバツ印（“×”）を示してある。
本例では、環境状態により満たされる物体検出条件の数（丸印の数）が最も多いものとして、物体検出方法１が選択される。

また、物体検出方法選択部１３により監視対象領域の環境の状態の情報及び物体検出テーブル１２の情報に基づいて物体検出方法を決定する処理の他の一例を示す。
本例では、各物体検出条件についてポイント（点数）が設定されており、現在におけるセンサ３による検出結果の情報（監視対象領域の環境の状態の情報）に基づく環境状態と物体検出テーブル１２の情報に基づく物体検出条件とを照合して、現在の環境状態により満たされる物体検出条件のポイントの総和値を各物体検出方法について検出し、その値が最も大きい物体検出方法を使用するように選択する。

なお、２つ以上の物体検出方法について、満たされる物体検出条件のポイントの総和値が同一である場合には、例えば、そのうちの任意の物体検出方法が選択されてもよく、或いは、優先順位を付けるための情報が予め設定されていて、その情報に基づいて優先順位が高い方の物体検出方法が選択されるような構成が用いられてもよい。優先順位としては、一例として、複数の物体検出方法に順番付けをしておいて、順番が小さい物体検出方法を優先的に選択するようなことができる。

図４には、各物体検出条件毎の重み付けを用いた場合において、物体検出テーブル１２と環境状態とを照合した結果の一例を示してある。
本例では、各物体検出条件毎の重要度に基づく重み付けとして、雨量以外の物体検出条件については満たされた場合に１０ポイントを付与し、雨量の物体検出条件については満たされた場合に６０ポイントを付与し、いずれの物体検出条件についても満たされなかった場合には０ポイントを付与する（つまり、ポイントを付与しない）という情報が監視装置１のメモリに予め設定されている。

図４のテーブルでは、図３に示された場合と同一の環境状態が取得された場合を例として、各物体検出方法について各物体検出条件のところに付与されるポイントを示してあり、また、各物体検出方法について付与されるポイントの合計値（総和値）を示してある。
本例では、各物体検出方法について複数の物体検出条件のポイントを加算し、当該加算結果の値（総和値）が最も大きい物体検出方法を選択する。図４の例では、現在の環境に最適な物体検出方法として、ポイントの合計値が９０ポイントとなる物体検出方法１が選択される。

ここで、物体検出条件の重要度に基づく重み付けとしては、例えば、監視対象領域毎などについて、任意に設定することが可能である。一例として、複数の物体検出条件に対して、優先順位の高い方から「雨量＞降雪量＞コントラスト＞オブジェクトの速さ＞オブジェクトの大きさ」というように優先順位を付けておいて、雨量とコントラストが同時に判断された場合には、雨量の条件が満たされた場合には４０ポイントを付与し、コントラストの条件が満たされた場合には３０ポイントを付与し、これら以外の項目の条件が満たされた場合には１０ポイントを付与する、というようなことが可能である。

図５を参照して、本例の監視装置１により監視対象領域の環境状態に応じた物体検出方法を選択して物体検出を行う処理の手順の一例を示す。
監視装置１では、まず、環境変化判定部１１により、外部のセンサ３により検出された環境の状態の情報（センサ情報）を受信して取得する（ステップＳ１）。
次に、環境変化判定部１１により、例えば、現在の画像フレームのタイミングで取得されたセンサ情報と、１つ前の画像フレームのタイミングで取得されたセンサ情報とを比較して、監視対象領域の環境の状態に所定の変化が発生したか否かを判定する（ステップＳ２）。

なお、本例では、監視装置１において、過去に取得されたセンサ情報が、環境変化判定部１１などに設けられた記録手段（例えば、メモリ）に記録される。一例として、変化があった場合に記録されたセンサ情報を更新する構成とすると、新たに検出されたセンサ情報と記録されたセンサ情報とが異なるか否かを判定して、異なる場合には監視対象領域の環境の状態が変化したものとして検出することができる。

ここで、上記した所定の変化としては、例えば、任意の変化が検出されてもよく、或いは、予め設定された閾値以上の変化が検出されてもよく、或いは、検出すべき変化の態様が予め設定されていてそのような変化が検出されてもよい。
一例として、外部のセンサ３として雨量センサを用いる場合には、前フレームとの検出値の差が３［ｍｍ／ｈ］以上になった時に変化があったと判定するようなことができる。

また、例えば、監視対象領域の視程の変化を検出する場合には、外部のセンサ３の代わりに、撮像装置２から入力される画像の信号を用いて監視対象領域の環境の状態の変化を検出することも可能である。この場合、一例として、監視対象領域内に白と黒のパターンを持つ標準物を設置しておいて、白と黒のパターンの輝度値の差を２５５（本例では、１画素を８ビットと仮定する）で割った結果値を用いて監視対象領域の環境の状態の変化を検出することができる。視程が短くなるにつれて白と黒のパターンの輝度値の差が小さくなるため、これに基づいて、白と黒のパターンの輝度値の差を計測することで監視対象領域の視程を計測することができ、これにより、検出すべき物体と背景構造物との輝度値の差を表す「コントラスト」に対応して評価することができる。
具体例として、標準的な検出すべき物体について背景構造物とのコントラストが２０［％］である場合には、視程の低下によって白と黒のパターンの輝度値の差が８０［％］に減少したとすると、検出すべき物体のコントラストは１６［％］であるとみなすことができる。

環境変化判定部１１により監視対象領域の環境の状態に所定の変化が発生したことが判定された場合には（ステップＳ２）、物体検出方法選択部１３により、監視対象領域の環境の状態や物体検出テーブル１２の内容に基づいて現在の環境状態に最も適した物体検出方法を選択し（ステップＳ３）、選択した物体検出方法が使用されるように、スイッチＡ１〜Ａ４の切り替えが必要であれば、スイッチＡ１〜Ａ４を切り替える（ステップＳ４）。これにより、環境状態に適した物体検出方法が変更された場合には、それに合わせて画像処理に使用される物体検出部Ｂ１〜Ｂ４が変更される。

上記したように環境変化判定部１１により監視対象領域の環境の状態に所定の変化が発生したことが判定されたことに応じて物体検出方法の選択及び（必要であれば）変更が行われた場合においても、或いは、環境変化判定部１１により監視対象領域の環境の状態に所定の変化が発生したことが判定されなかった場合においても、選択された物体検出部（物体検出部Ｂ１〜Ｂ４のいずれか）により選択された物体検出方法の物体検出処理が行われ（ステップＳ５）、表示装置４により当該物体検出処理の結果の表示が行われる（ステップＳ６）。
そして、このような表示処理の後、以上と同様な処理（ステップＳ１〜ステップＳ６）が繰り返して行なわれる。

ここで、本例では、物体検出方法の選択及び変更の処理において、監視対象領域の現在における環境の状態に最適な１つの物体検出方法を選択及び変更する構成を示したが、他の構成例として、例えば環境の状態に適した方から順に、複数の物体検出方法を選択して使用するように変更する構成を用いることもでき、この場合、選択された２つ以上の物体検出方法（物体検出部）のそれぞれで物体検出処理を行う。
また、複数の物体検出方法で物体検出処理を行う場合には、例えば、これら各物体検出方法で取得された物体検出処理結果の論理和を最終的な物体検出処理結果として、物体の見逃しを少なくするような構成とすることもでき、或いは、これら各物体検出方法で取得された物体検出処理結果の論理積を最終的な物体検出処理結果として、誤検出を少なくするような構成とすることもできる。ここで、論理和では、複数の物体検出方法で検出された物体の全て（重複するものは同じであるとみなす）を最終的に検出されたものとし、また、論理積では、全ての物体検出方法で（重複して）検出された物体を最終的に検出されたものとする。

以上のように、本例の監視システムでは、監視対象領域の画像を撮像する撮像装置２と、撮像装置２により撮像された画像を処理して監視対象領域内の監視に関する情報（監視情報）を収集する監視装置１と、撮像装置２により撮像された画像或いは監視装置１により収集された監視情報のうちの少なくとも一方を表示する表示装置４を有する。
ここで、監視情報としては、種々な情報が用いられてもよく、例えば、撮像された画像に基づいて検出された物体の位置や大きさ（サイズ）や移動経路（軌跡）や数などの情報や、或いは、検出された物体を囲む線又は検出された物体を示すマークなどを表示するための情報などを用いることができる。

また、本例の監視装置１では、監視対象領域の画像に含まれる物体の画像などの監視情報を検出する２つ以上の物体検出部Ｂ１〜Ｂ４と、これらの物体検出部Ｂ１〜Ｂ４の使用状態を切り替えるスイッチＡ１〜Ａ４と、監視対象領域の環境の状態の変化の有無を判定する環境変化判定部１１と、物体検出条件を格納した物体検出テーブル１２と、環境変化判定部１１による判定結果に基づいて使用する１つ（又は、２つ以上）の物体検出方法（物体検出部）を選択して切り替える物体検出選択部１３を備えた。

また、本例の監視装置１の物体検出方法選択部１３は、種々な環境の状態に基づいて選択すべき物体検出方法を決定するための対応表となる物体検出テーブル１２を参照して、使用する１つ（又は、２つ以上）の物体検出方法を選択する。この場合、複数の環境に関する物体検出条件について、重み付けを行わない態様（つまり、重み付け度が全て同一である態様）を用いることや、或いは、重み付けを行う態様（つまり、少なくとも１つの重み付け度が異なる態様）を用いることができる。

また、本例の監視装置１の環境変化判定部１１や物体検出方法選択部１３は、外部のセンサ３から入力される情報を用いて監視対象領域の環境の状態を検出などする。なお、センサ以外の外部装置から入力される情報を用いて監視対象領域の環境の状態が検出などされてもよい。
また、本例では、予め、監視装置１に備えられる全ての物体検出部Ｂ１〜Ｂ４のそれぞれについて、環境の状態或いはその変化に対する物体検出性能の評価（例えば、測定）をしておいて、その評価結果に基づいて物体検出テーブル１２の内容を作成して監視装置１に記憶させる。

従って、本例の監視システムでは、監視装置１において、監視対象領域の環境の状態の変化に応じて、最適な物体検出方法を選択して使用することにより、監視対象領域の環境の状態に対して常に最適な物体検出方法を使用して監視を行うことができる。具体的には、例えば、監視対象領域の環境変化が発生するような場面においても、複数の物体検出方法から変化した環境に最適な物体検出方法を選択して使用することにより、画像に基づいて検出すべき物体のみを正確に検出することが可能であり、正確な監視を行うことが可能である。

なお、本例の監視装置１（画像処理装置の一例）では、物体検出方法選択部１３により撮像装置２から所定の領域（本例では、監視対象領域）の画像を取得する機能により画像取得手段が構成されており、環境変化判定部１１によりセンサ３から当該所定の領域の環境に関する情報を取得する機能により環境情報取得手段が構成されており、複数の物体検出部Ｂ１〜Ｂ４のうちでスイッチＡ１〜Ａ４により切り替えられた物体検出部により物体検出処理を行う機能により物体検出手段が構成されており、環境変化判定部１１や物体検出テーブル１２や物体検出方法選択部１３やスイッチＡ１〜Ａ４により物体検出処理に使用する物体検出部Ｂ１〜Ｂ４を選択して切り替える機能により制御手段が構成されている。

また、本例の監視装置１では、図２に示されるような物体検出テーブル１２の情報により物体検出条件情報が構成されており、一例として、図３に示されるように、満たされる条件の数に基づいて物体検出方法を選択することができ、他の一例として、図４に示されるように、重み付け度（本例では、ポイント）を規定しておいて、満たされる条件のポイントの総和に基づいて物体検出方法を選択することができる。本例の監視装置１では、物体検出テーブル１２を記憶するメモリの機能や、（必要な場合には）重み付け度を記憶するメモリの機能により、記憶手段が構成されている。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る監視システムの構成例を示す図である。 物体検出テーブルの一例を示す図である。 物体検出テーブルと環境状態とを照合した結果の一例を示す図である。 物体検出テーブルと環境状態とを照合した結果の他の一例を示す図である。 監視対象領域の環境変化に応じた物体検出方法を選択して物体検出する処理の手順の一例を示す図である。

符号の説明

１・・監視装置、 ２・・撮像装置、 ３・・センサ、 ４・・表示装置、 １１・・環境変化判定部、 １２・・物体検出テーブル、 １３・・物体検出方法選択部、 Ａ１〜Ａ４・・スイッチ、 Ｂ１〜Ｂ４・・物体検出部、

Claims (2)

1. 画像処理装置において、
   所定の領域の画像を取得する画像取得手段と、
   前記所定の領域の環境に関する情報を取得する環境情報取得手段と、
   複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して前記画像取得手段により取得された画像に基づいて物体を検出する物体検出手段と、
   前記複数の物体検出方法のそれぞれについて複数の環境のそれぞれに関する条件を規定する物体検出条件情報及び前記複数の環境のそれぞれに関する条件毎の重み付け度を記憶する記憶手段と、
   前記環境情報取得手段により取得された環境に関する情報及び前記記憶手段に記憶された物体検出条件情報と重み付け度に基づいて、前記複数の環境に関する条件について適合するものの重み付け度の総和が大きい物体検出方法を優先させて、前記物体検出手段により使用する物体検出方法を切り替える制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 画像処理装置を構成するコンピュータに実行させるプログラムであって、
   所定の領域の画像を取得する機能と、
   前記所定の領域の環境に関する情報を取得する機能と、
   複数の異なる物体検出方法のうちの１つ以上の物体検出方法を使用して前記取得された画像に基づいて物体を検出する機能と、
   前記複数の物体検出方法のそれぞれについて複数の環境のそれぞれに関する条件を規定する物体検出条件情報及び前記複数の環境のそれぞれに関する条件毎の重み付け度を記憶する機能と、
   前記取得された環境に関する情報及び前記記憶された物体検出条件情報と重み付け度に基づいて、前記複数の環境に関する条件について適合するものの重み付け度の総和が大きい物体検出方法を優先させて、前記使用する物体検出方法を切り替える機能と、を当該コンピュータに構成することを特徴とするプログラム。

Images