JP7262412B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、監視領域を撮像した画像を順次処理し、監視領域に検知対象が存在するか否かを判定する画像処理装置及び画像処理プログラムに関する。

従来、監視領域をカメラにて撮像し、撮像した画像と基準画像とを比較して変化のある領域（変化領域）を求め、変化領域の大きさや形状などの画像特徴に基づいて侵入者等の検知対象の有無を判定する画像処理装置がある。

このような画像処理装置では、夜間など監視領域が暗い場合であっても侵入者を検知できるように、撮影の際に監視領域を照らす照明装置を設けている。しかし、夜間は、この照明装置による光以外にも車のヘッドライト等の外乱光が監視領域内に射し込み、その光による物体からの反射や物体の影が監視領域内に写り込むことがある。画像処理装置では、画像中の変化領域の大きさや形状から人物を検知しているので、反射や影を人物と誤って検知したり、人物を正しく検知できなかったりすることがある。

従来、照明を点灯して撮像した点灯画像と、照明を消灯して撮像した消灯画像との差分をとることで外乱光の影響を除去した点消灯差分画像影を生成し、この点消灯差分画像から検知対象物を検知する構成が開示されている（特許文献１）。

特許第６０９３２７０号公報

しかしながら、点灯画像と消灯画像とを同時に撮像できず、撮像時刻に差が生ずるので移動する外乱光を除去できない場合がある。また、外乱光を除去できない影響により、実際には存在しない変化が撮像画像内に生じてしまい、誤検知や誤判定となる虞がある。

本発明の１つの態様は、複数の色成分の分光感度特性を有する撮像部から、単一波長の照明が照射された監視領域を撮像した撮影画像を取得する取得部と、前記撮影画像に含まれる画像領域について、前記単一波長の照明に対する前記撮像部の分光感度の比率に応じて前記画像領域の画素値を補正する画素補正手段と、を備えることを特徴とする画像処理装置である。

本発明の１つの態様は、コンピュータを、複数の色成分の分光感度特性を有する撮像部が撮像した、単一波長の照明が照射された監視領域の撮影画像に含まれる画像領域について、前記単一波長の照明に対する前記撮像部の分光感度の比率に応じて前記画像領域の画素値を補正する画素補正手段として機能させることを特徴とする画像処理プログラムである。

ここで、前記画素補正手段は、前記分光感度と近似する比率になるように前記画像領域の画素値を補正することが好適である。

また、前記画素補正手段は、輝度値が低くなるように前記画像領域の画素値を補正することが好適である。

また、前記画素補正手段は、輝度値が低い前記画像領域よりも輝度値が高い前記画像領域の補正量を大きくすることが好適である。

また、前記撮影画像と記憶した基準画像との差分から前記撮影画像に検知対象が存在するか否かを判定する判定手段をさらに備え、前記判定手段は、前記画素補正手段において補正される前の前記撮影画像の前記画像領域の画素値と、当該撮影画像の画像領域に対応する前記画素補正手段において補正された前記画像領域の画素値との差分を用いて前記検知対象が存在するか否かを判定することが好適である。

また、前記判定手段は、前記画素補正手段において補正される前の前記撮影画像の前記画像領域の画素値の分散と、当該撮影画像の画像領域に対応する前記画素補正手段において補正された前記画像領域の画素値の分散との差分を用いて前記検知対象が存在するか否かを判定することが好適である。

また、前記判定手段は、前記画素補正手段において補正される前の前記撮影画像の前記画像領域のエッジ強度と、当該撮影画像の画像領域に対応する前記画素補正手段において補正された前記画像領域のエッジ強度との差分を用いて前記検知対象が存在するか否かを判定することが好適である。

本発明によれば、外乱光の影響による誤検知や誤判定を低減した画像処理装置を提供することができる。

本発明の実施の形態における画像処理装置の構成を示すブロック図である。 本発明の実施の形態における撮像部の分光感度の例を示す図である。 本発明の実施の形態における画素値の補正処理を説明する図である。 本発明の実施の形態における撮影画像と補正画像の例を示す図である。 本発明の実施の形態における画像処理を示すフローチャートである。 本発明の実施の形態における画素補正処理を示すフローチャートである。

本発明の実施の形態における画像処理装置１００は、図１に示すように、照明部１０、撮像制御部１２、撮像部１４、記憶部１６、画像処理部１８及び出力部２０にて構成されている。画像処理装置１００の一部は、コンピュータによって構成することができる。本実施の形態では、画像処理装置１００として各部を一体的に説明するが、照明部１０、撮像制御部１２、撮像部１４、記憶部１６、画像処理部１８及び出力部２０を別の装置として構成してもよい。この場合、通信技術を駆使して必要な制御信号等を相互に通信すればよい。

画像処理装置１００は、監視空間を有する監視対象物件（店舗、オフィス、マンション、倉庫、家屋、屋外等）に設けられる。本実施の形態では、監視空間への侵入者を検知対象として検知する例を説明する。ただし、検知対象は、人間に限定されるものでなく、移動して監視空間に侵入したり、運び込まれたりするおそれがある物体であればよい。

照明部１０は、夜間等であっても撮像部１４にて監視領域に生じた変化を画像から検出できるように、少なくとも撮像部１４の撮像範囲を照らすことができる照明用ＬＥＤ等の照明装置である。照明部１０は、撮像制御部１２による制御にしたがい点灯または消灯が可能である。

照明部１０は、単一波長の光源を用いるものとする。照明部１０の光源の波長は、特に限定されるものではなく、例えば、可視光領域の波長としてもよいし、近赤外領域の波長としてもよい。照明部１０は、照明用ＬＥＤとすることができる。

照明部１０は、画像処理装置１００に内蔵されていてもよいし、外部に備えられていてもよい。例えば、監視空間である部屋の照明にて照明部１０を代用してもよい。この場合、照明は単一波長の光を照射できるものであることが必要である。

撮像制御部１２は、照明部１０を消灯及び点灯させる制御を行う。また、撮像制御部１２は、撮像部１４の撮像タイミングや露光制御を実行する。例えば、昼間は照明部１０を消灯した状態として、撮像部１４によって監視空間の撮像を行うように制御を行う。また、夜間は照明部１０を点灯した状態として、撮像部１４によって監視空間の撮像を行うように制御を行う。なお、昼間であっても照明部１０を点灯して、後述する画素補正手段１８ｂにより照明部１０以外の外乱光の影響を軽減させた画像を生成してもよい。

撮像部１４は、光学系、ＣＣＤ素子又はＣ－ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。撮像部１４は、撮像制御部１２からの制御に基づき、監視すべき領域を順次撮像し、撮像したデジタル画像を記憶部１６に出力する。

撮像部１４では、外乱光による影響を受ける状況下において照明部１０を監視空間に照射して、照明部１０の単一波長の光の画像を撮像できる構成とする。例えば、照明部１０が赤外光を照射する場合、昼間は、カラー画像を撮影するため赤外光をカットするカットフィルタを光路内に挿入して画像を撮影できる構成とする。一方夜間は、当該カットフィルタが光路外に外され、照明部１０の単一波長の光を含む画像を撮影できる構成とする。

なお、撮像部１４は、画像処理装置１００の外部に設けてもよい。この場合、画像処理装置１００は、外部に設けられた撮像部１４から撮像画像を受信する構成（取得部）とすればよい。

記憶部１６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部１６は、撮像部１４及び画像処理部１８からアクセス可能である。記憶部１６には、撮影画像１６ａ、補正画像１６ｂ、背景画像１６ｃ及び分光感度情報１６ｄが記憶される。なお、図示しないが、記憶部１６には、撮像部１４の設置高・俯角などの各種カメラパラメータ、画像処理装置１００の各処理を実現するための各種プログラムやパラメータなどを記憶させてもよい。

撮影画像１６ａは、撮像部１４にて撮像した画像であって、現時点の処理対象となる画像である。撮影画像１６ａは、撮像部１４から撮影される都度に記憶部１６に記憶される。本実施の形態では、撮影画像１６ａは、照明部１０を点灯させた状態で撮像部１４により撮像した画像とする。

補正画像１６ｂは、後述する画素補正手段１８ｂによって撮影画像１６ａの画素値を補正した画像である。補正画像１６ｂは、撮影画像１６ａから外乱光の影響を軽減させた画像である。

背景画像１６ｃは、過去の撮影画像１６ａのうち侵入者等が抽出されていない画像であり、後述する画像処理部１８の背景画像生成手段１８ｅにて適宜更新される。

分光感度情報１６ｄは、撮像部１４における撮像素子の分光感度を示す情報である。分光感度は、光の波長に対して撮像素子の感度がどのように変わるのか表したものである。分光感度情報１６ｄは、少なくとも照明部１０から照射される単一波長の光に対する撮像部１４の撮像素子の分光感度を含む情報とする。

例えば、撮像部１４のカラーフィルターを有する撮像素子の各画素が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を分光する場合、各画素は図２に示すような分光感度を示す。図２では、実線が赤（Ｒ）の感度、一点鎖線が緑（Ｇ）の感度、破線が青（Ｂ）の感度の例を示している。そこで、この分光感度特性に応じて、照明部１０から照射される光の波長に対する撮像部１４の分光感度（複数の色成分の分光感度特性）が分光感度情報１６ｄとして記憶される。

撮像部１４の撮像素子の分光感度が不明な場合、照明部１０の光のみを照射した環境でカラーチャートの撮像を行い、照明部１０の光の波長に対する分光感度を算出して分光感度情報１６ｄとして記憶させればよい。

また、撮像部１４の撮像素子に対する複数の波長の分光感度特性を分光感度情報１６ｄとして記憶しておき、照明部１０から照射される光の波長に応じて当該波長に対応する分光感度を読み出して用いるようにしてもよい。この場合、照明部１０が照射する光の波長を示す情報を記憶部１６に記憶させておき、記憶部１６から当該情報を読み出して照明部１０の波長に対応した分光感度を用いるようにしてもよい。

なお、本実施の形態では、撮像素子が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を分光する例を説明するが、これに限定されない。例えば、撮像部１４がシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の撮像素子を有するＣＭＹ系である場合、ＣＭＹ系の分光感度を分光感度情報１６ｄとして記憶させればよい。また、撮像部１４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のように３つの色成分を分光するものだけではなく、照明部１０から照射される光の波長に対して２つ以上の色成分を分光するものであればよい。

画像処理部１８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の演算装置により構成される。画像処理部１８は、記憶部１６に記憶されている画像処理プログラムを読み出して実行することによって、画像処理装置１００としての機能を実現する。

画像処理部１８は、撮像部１４で撮影された画像を順次処理する。なお処理する画像は、１フレーム毎に撮影時間順に処理してもよいし、数フレームおきに処理を行ってもよい。

画像処理部１８は、判定領域設定手段１８ａ、画素補正手段１８ｂ、特徴量算出手段１８ｃ、判定手段１８ｄ及び背景画像生成手段１８ｅとして機能する。

判定領域設定手段１８ａは、記憶部１６に記憶された撮影画像１６ａ中に侵入者が存在するか否かを判定する対象となる判定領域を設定する。具体的には、先ず、撮影画像１６ａと背景画像１６ｃ（基準画像）との間にて輝度差分の処理を実行し、所定の閾値以上の差分のある変化領域を抽出する。判定領域設定手段１８ａは、抽出された変化領域に対して、カメラパラメータ等を用いて算出される物体の大きさや位置関係を考慮して、単一物体（一人の人物）による変化領域として統合した領域を判定領域として設定する。

なお、判定領域の設定方法は、これに限られるものではない。補正画像１６ｂと背景画像１６ｃとの差分処理によって抽出した領域を判定領域としてもよい。また、時間的に隣り合う撮影画像１６ａのフレーム間差分処理によって抽出した領域を判定領域として設定する方法、検知対象である人物画像を学習した学習識別器によって人物領域とされた領域を判定領域として設定する方法、人物テンプレートとのマッチング処理にて類似するとされた領域を判定領域として設定する方法など種々の方法を採用してもよい。

画素補正手段１８ｂは、撮像部１４の撮像素子の分光感度に応じて撮影画像１６ａの画素値を補正して補正画像１６ｂを生成する処理を行う。照明部１０からの単一波長の光のみが照射された監視空間を撮像した撮影画像１６ａでは、物体は単一波長の光のみを反射するため各画素の色成分の画素値の相対的な比率（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれの色成分の値の相対的な比率）は光量や物体の反射率に関係なく撮像部１４の分光感度で決定されて一定となる。画素補正手段１８ｂでは、この特性を用いて撮影画像１６ａから外乱光の影響を軽減した補正画像１６ｂを生成する。なお、各画素の色成分（ＲＧＢ）の値をグレースケール等の輝度の画素値に変換した画像を撮影画像１６ａとする場合、撮像部１４の撮像素子の分光感度に応じて補正した各画素の色成分の値を用いてグレースケール変換した画像が補正画像１６ｂである。

なお、以下の説明において、各画素における赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素値の相対的な比率をＲＧＢ比率と示す。

外乱光が入射した場合、監視空間は照明光と外乱光とによって照らされるため、照明光のみの状態と比べると画素値が外乱光分高くなり、各画素のＲＧＢ比率が分光感度の比率とは異なる画像が撮影される。そのため、画素値のＲＧＢ比率と撮像部１４の分光感度の比率とに基づいて各画素の画素値（各画素の色成分の画素値）を補正し、外乱光によって撮影画像１６ａに現れた影などによる変化を軽減させる。すなわち、撮影画像１６ａの各画素について、分光感度情報１６ｄとして記憶された照明部１０の波長に対応する分光感度の比率に基づいて画素値を補正する。

例えば、照明部１０の波長が７５０ｎｍであり、７５０ｎｍに対応する撮像部１４の分光感度比率が赤（ＬＲ）：緑（ＬＧ）：青（ＬＢ）＝４：２：１であるとする。また、図３（ａ）に示すように、撮影画像１６ａにおける補正対象の画素の画素値が赤（Ｒ）、緑（Ｇ）、青（Ｂ）＝１００，１２０，１００とする。このとき、後述の補正処理の演算負荷を低減するため、分光感度の比率の端数を切り上げたり、切り捨ててもよい。例えば、分光感度の比率がＬＲ：ＬＧ：ＬＢ＝４．１：２．２：０．８の場合、ＬＲ：ＬＧ：ＬＢ＝４：２：１としてもよい。

このような場合、補正対象の画素の画素値と撮像部１４の分光感度比率との比の最小値を求める。すなわち、Ｒ／ＬＲ、Ｇ／ＬＧ、Ｂ／ＬＢ＝２５，６０，１００であるので、その最小値であるＲ／ＬＲ＝２５を求める。そして、最小値であるＲ／ＬＲ＝２５を基準として、他の画素値を撮像部１４の分光感度比率に合わせる補正を行う。具体的には、撮影画像１６ａにおける補正対象とした画素に対応する補正画像１６ｂの画素の画素値を赤（Ｒ）、緑（Ｇ）、青（Ｂ）＝（ＬＲ＊（Ｒ／ＬＲ））、（ＬＧ＊（Ｒ／ＬＲ））、（ＬＢ＊（Ｒ／ＬＲ））＝１００，５０，２５とする。以上の処理によって、補正画像１６ｂの画素の画素値は赤（Ｒ）、緑（Ｇ）、青（Ｂ）についてそれぞれ０、（Ｇ－ＬＧ＊（Ｒ／ＬＲ））、（Ｂ－ＬＢ＊（Ｒ／ＬＲ））だけ外乱光が軽減される。

撮影画像１６ａに含まれる全ての画素について同様の補正処理を施すことによって補正画像１６ｂが得られる。

なお、補正処理は上記処理に限られず、例えば、画素のＲＧＢ比率を撮像部１４の分光感度の比率に近づけるような処理としてもよい。分光感度の比率が赤（ＬＲ）：緑（ＬＧ）：青（ＬＢ）＝４：２：１で、画素のＲＧＢの画素値が赤（Ｒ）、緑（Ｇ）、青（Ｂ）＝１００，１２０，１３０であるとすると、補正後の画素のＲＧＢの画素値を赤（Ｒ）、緑（Ｇ）、青（Ｂ）＝（ＬＲ＊（Ｒ＋Ｇ＋Ｂ）／（ＬＲ＋ＬＧ＋ＬＢ）），（ＬＧ＊（Ｒ＋Ｇ＋Ｂ）／（ＬＲ＋ＬＧ＋ＬＢ）），（ＬＢ＊（Ｒ＋Ｇ＋Ｂ）／（ＬＲ＋ＬＧ＋ＬＢ））＝２００，１００，５０に補正する。なお、外乱光の光量によっては、各画素の輝度値が高くなりすぎ、さらに輝度値が高くなるような補正処理を行うと、補正画像１６ｂが明るくなりすぎてしまい後述する判定手段１８ｄでの処理に影響を与える可能性があるため、輝度値が低くなるよう補正を行うのが好適である。また、ＲＧＢの画素値が分光感度の比率と全く同じになる必要はなく、分光感度の比率に近似する値となればよく、ＲＧＢの画素値が分光感度の比率と比較して前後５％以内の差異であればよい。例えば、分光感度の比率が赤（ＬＲ）：緑（ＬＧ）：青（ＬＢ）＝１：１：１のとき、補正後のＲＧＢの画素値が赤（Ｒ）、緑（Ｇ）、青（Ｂ）＝１００，１０４，９８のようになってもよい。

なお、撮影画像１６ａの全画素を補正の対象とせず、判定領域設定手段１８ａで抽出された判定領域についてのみ補正処理を施してもよい。この場合、補正画像１６ｂを生成せず、判定領域毎に補正判定領域を生成して補正判定領域の画素値を記憶部１６に記憶させておけばよい。これによって、補正処理の演算負荷を低減することができる。

また、撮影画像１６ａの全画素を補正対象とするのではなく、監視空間に入射している外乱光の影響を受けていると考えられる画素のみ補正対象としてもよい。例えば、各画素の画素値からＲＧＢ比率を求めて、その画素値のＲＧＢ比率と分光感度の比率が異なる画素に対してのみ補正処理を行うようにしてもよい。これによって、補正処理の演算負荷を低減することができる。なお、ＲＧＢ比率と分光感度の比率が異なるか否かを判定する際、分光時のノイズを考慮して、ＲＧＢの画素値が分光感度の比率と比較して、前後５％以内の差異であれば、同じ比率としてみなしてもよい。例えば、分光感度の比率が赤（ＬＲ）：緑（ＬＧ）：青（ＬＢ）＝１、１、１のとき、ＲＧＢの画素値が赤（Ｒ）、緑（Ｇ）、青（Ｂ）＝１００，１０４，９８の場合、同じ比率としてよい。

また、記憶部１６にオフセット値を記憶させておき、監視空間に入射している外乱光の影響を受けていると考えられる画素の画素値を当該オフセット値分減少させてから補正処理を行ってもよい。これは、上記の補正処理では、外乱光の影響が最小限除去されるだけであり、通常は各画素値にはそれ以上の外乱光の影響が及んでいるのでオフセット値を減算することでその影響を低減するものである。

なお、オフセット値は、一定値としてもよいし、撮影画像１６ａに応じて変更される値としてもよい。例えば、処理対象である撮影画像１６ａ全体の平均輝度値に応じてオフセット値を変更してもよい。この場合、例えば、平均輝度値が高いほどオフセット値を大きくするようにしてもよい。また、例えば、平均輝度値が所定の基準値以上である場合にはオフセット値を第１の値とし、基準値未満である場合には第１の値よりも小さい第２の値にするようにしてもよい。また、例えば、判定領域毎に平均輝度値が高いほどオフセット値を大きくするようにしてもよい。また、例えば、判定領域毎に平均輝度値が所定の基準値以上である場合にはオフセット値を第１の値とし、基準値未満である場合には第１の値よりも小さい第２の値にするようにしてもよい。

画素補正手段１８ｂの補正処理によって、撮影画像１６ａから外乱光の影響を低減させた補正画像１６ｂを得ることができる。例えば、図４（ａ）に示すように、監視空間に外乱光の影響によって何らかの物体の影Ｓ１及び影Ｓ２が写り込んでいる場合、撮影画像１６ａにおいて影Ｓ１及び影Ｓ２の部分は外乱光の反射が少ない画像領域となり、影Ｓ１及び影Ｓ２以外の部分は外乱光の反射が多い画像領域となる。したがって、補正処理によって外乱光の影響を低減させることで、影Ｓ１及び影Ｓ２の画像領域とそれら以外の画像領域とのコントラストが低減され、図４（ｂ）に示すような補正画像１６ｂが得られる。

特徴量算出手段１８ｃは、各判定領域に対して、判定領域が人物である可能性を示す特徴量である人属性値要素を算出する手段である。特徴量算出手段１８ｃは、人属性値要素として、例えば、人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」を判定領域から算出する。特徴量算出手段１８ｃは、算出した人属性値要素を判定手段１８ｄに出力する。

「実面積」は、判定領域に外接する矩形について、その画像内の位置と記憶部１６に記憶された設置高・俯角情報等のカメラパラメータに基づいて実空間での高さ×幅から面積を算出した値であり、判定領域が人物の大きさとしての妥当性を示す。「長短軸比」は、判定領域を楕円近似したときの画像内の短軸長と長軸長との比（短軸長÷長軸長）を算出した長短軸比であり、判定領域が人物の形状としての妥当性を示す。「長軸角度絶対値」は、判定領域を楕円近似したときに、水平方向（Ｘ軸方向）を０度とした場合の長軸の傾きを算出した長軸角度絶対値であり、判定領域が人物の姿勢としての妥当性を示す。

判定手段１８ｄは、特徴量算出手段１８ｃから入力された人属性値要素を用いて判定領域毎に「人らしさ」を表す人属性値（検知対象属性）を算出し、人属性値を用いて各判定領域が人物によるものか否かの判定を行う。

特徴量算出手段１８ｃから入力された人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」をそれぞれメンバーシップ関数に適用して人属性値を算出する。ここでは、特徴量を人物である可能性が高いほど１に近づき、低いほど０に近づくように正規化した人属性値要素として求めている。

人属性値要素１「実面積」は、４０００平方センチメートル以下は人物の可能性が低いとして「０」、４０００平方センチメートル～６０００平方センチメートルは直線的に人物の可能性を０から１の間で高くし、６０００平方センチメートル以上では人物の可能性が高いとして「１」とするメンバーシップ関数である。

人属性値要素２「長短軸比」は、０．５以下の場合は、太った人物を含めて人物の可能性が高く「１」とし、０．５から０．７５になるほど人物の形状として崩れるので直線的に人物の可能性を１から０の間で低くなるようにし、０．７５以上の場合はもはや人物の形状に程遠いとして「０」とするメンバーシップ関数である。

人属性値要素３「長軸角度絶対値」は、５０度以下の場合は、歩行等している人物である可能性が低く「０」とし、５０度から７５度に近づくほど歩行等している人物の可能性が１から０の間で高くなるようにし、７５度以上の場合は歩行等する人物の可能性が高いとして「１」とするメンバーシップ関数である。なお、本実施の形態にて紹介する人属性値要素のメンバーシップ関数は本実施例の設定であって、他の実施例においては、実験・経験・設置場所・検知対象によって適宜設計されるものである。

判定手段１８ｄは、複数の人属性値要素を用いて、判定領域毎に「人らしさ」を表わす人属性値を算出する。例えば、各人属性値要素を乗算して、人属性値＝人属性値要素１×人属性値要素２×人属性値要素３として求める。人属性値の算出は、乗算に限られるものではなく、各要素の重み付け和とする等、目的に応じて種々の算出方法を用いてもよい。

判定手段１８ｄは、さらに、撮影画像１６ａと補正画像１６ｂにて対応する判定領域毎に、画素補正手段１８ｂにおいて画素値が補正された補正画像１６ｂと画素値を補正する前の撮影画像１６ａとを比較して画素値の差分に応じて人属性値を補正する。画素値の差分は、補正前と補正後の画素値の差や商から求めればよく、差分を得られる方法であれば種々の算出方法を用いてよい。

画素値の差分を示す量として、撮影画像１６ａと補正画像１６ｂとの間におけるエッジ成分の差分、エッジ成分の分散の差分、輝度値の分散の差分等が挙げられる。

例えば、撮影画像１６ａと補正画像１６ｂそれぞれの画像についてエッジを抽出したエッジ画像において、判定領域毎に、撮影画像１６ａと補正画像１６ｂとの間におけるエッジ成分（エッジ強度）の差分が所定の評価基準値以上である場合にその判定領域の人属性値を小さくする。評価基準値未満の場合、人属性値はそのままの値とする。すなわち、撮影画像１６ａと補正画像１６ｂの間において画素値の変化が大きい画素は外乱光の影響を受けて判定領域とされている可能性が高いので人物である可能性を示す人属性値を小さくする。

同様に、撮影画像１６ａと補正画像１６ｂとの間の輝度値の分散の差、輝度値の平均値の差、輝度値の最大値と最小値の幅の差のいずれかが所定の評価基準値以上である場合にその判定領域の人属性値を小さくし、評価基準値未満の場合には人属性値はそのままの値としてもよい。

このように人属性値を補正した後、すべての判定領域について人属性値が所定の判定基準値以上であるか否かを判定する。人属性値が判定基準値以上である判定領域は人であると判定し、人属性値が判定基準値未満である判定領域は人でないと判定する。なお、画素値の差が評価基準値以上である場合、その判定領域の影らしさを大きくし、影であると判定してもよい。

本実施の形態では、説明を簡単にするために、３つの人属性値要素にて説明したが、これに限られるものではなく、種々の特徴量を利用しても良い。また、人らしさを示す人属性値の算出方法は、人属性値要素１「実面積」、人属性値要素２「長短軸比」、人属性値要素３「長軸角度絶対値」を用いる方法に限定されない。

また、人属性値を用いず、撮影画像１６ａと補正画像１６ｂとの差のみに基づいて判定領域が人物に該当するか否かを判定する処理としてもよい。

例えば、判定領域毎に、撮影画像１６ａと補正画像１６ｂとの間におけるエッジ成分の差が所定の評価基準値以上である（エッジ強度の減少が大きい）場合にその判定領域の非人属性値を大きくする。評価基準値未満の場合、非人属性値は０とする。同様に、撮影画像１６ａと補正画像１６ｂとの間の輝度値の分散の差、エッジ成分の分散の差のいずれかが所定の評価基準値以上である場合にその判定領域の非人属性値を大きくし、評価基準値未満の場合には非人属性値は０としてもよい。

このように非人属性値を評価した後、すべての判定領域について非人属性値が０より大きい判定基準値以上であるか否かを判定する。非人属性値が判定基準値以上である判定領域は人ではないと判定し、非人属性値が判定基準値未満である判定領域は人であると判定する。なお、非人属性値を影らしさとし、影らしさが判定基準値以上である判定領域は影であると判定してもよい。

背景画像生成手段１８ｅは、撮像部１４にて撮影された撮影画像１６ａと判定手段１８ｄの判定結果を用いて、背景画像１６ｃを更新する。具体的には、背景画像生成手段１８ｅは、人物が存在していないと判定手段１８ｄが判定した撮影画像１６ａを記憶部１６の背景画像１６ｃとして上書き更新して記憶する。

なお、判定手段１８ｄにて人物が存在していないと判定する毎に更新せず、数フレーム毎や一定時間毎に取得した撮影画像１６ａにて更新するようにしてもよい。また、判定領域設定手段１８ａにて変化領域が所定面積以下である撮影画像１６ａにて更新するようにしてもよい。

出力部２０は、判定手段１８ｄで監視領域内に侵入者がいると判定された場合、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する構成とすることができる。また、インターネット等の通信網を介して遠隔の監視センタ（図示しない）に出力することによって、異常の発生を監視センタに通知する構成としてもよい。

次に、図５のフローチャートを参照しつつ、画像処理装置１００における画像補正処理を説明する。

まず、撮影画像１６ａと背景画像１６ｃとの差分処理によって判定領域を抽出する（ステップＳ１０）。この抽出処理にて判定領域が抽出されたか否かを判定し、判定領域が抽出された場合にはステップＳ１４に処理を移行させ、判定領域が抽出されなかった場合には処理を終了させる（ステップＳ１２）。

次に、画素補正処理を行う（ステップＳ１４）。画素補正処理は、図６のフローチャートに沿って行われる。まず、記憶部１６に予め記憶されている分光感度情報１６ｄが読み出される（ステップＳ４０）。次ぎに、分光感度情報１６ｄを用いて、撮影画像１６ａの各画素について画素値の補正処理が行われる（ステップＳ４２）。当該ステップでの処理は、上記の画素補正手段１８ｂにおける処理である。なお、撮影画像１６ａの全画素を補正の対象とせず、判定領域設定手段１８ａで抽出された判定領域についてのみ補正処理を施してもよい。そして、補正後の画素値からなる補正画像１６ｂを生成する（ステップＳ４４）。なお、撮影画像１６ａの全画素を補正の対象としかなった場合、補正画像１６ｂを生成せず、判定領域設定手段１８ａで抽出された判定領域についてのみ補正後の判定領域を生成してもよい。画素補正処理が終了すると、メインルーチンのステップＳ１６に処理が戻される。

次に、判定領域毎に人属性値を算出する（ステップＳ１６）。そして、判定領域毎に撮影画像１６ａと補正画像１６ｂの画素値の差が所定の評価基準値以上であるか否かを判定する（ステップＳ１８）。撮影画像１６ａと補正画像１６ｂの画素値の差が所定の評価基準値以上である判定領域があれば当該判定領域の人属性値を低く補正する（ステップＳ１８で「はい」，ステップＳ２０）。撮影画像１６ａと補正画像１６ｂの画素値の差が所定の評価基準値未満であれば人属性値はそのままの値にする（ステップＳ１８で「いいえ」，ステップＳ２２）。

判定領域毎に人属性値が所定の判定基準値以上であるか否かを判定する（ステップＳ２２）。判定領域の人属性値が所定の判定基準値以上であれば、当該判定領域は人によるものであると判定し（ステップＳ２４）、異常を検知した旨等の警報を出力する（ステップＳ２８）。判定領域の人属性値が所定の判定基準値未満であれば、当該判定領域は人によるものではないと判定する（ステップＳ２６）。

以上のように、本実施の形態によれば、外乱光の影響による誤検知や誤判定を低減した画像処理装置を提供することができる。特に、撮像部１４に特定の波長を通さないカットフィルタを使用しなくとも、フィルタの挿抜による撮像部の耐久年数の制限を設けることなく、外乱光の影響を低減できる。例えば、照明部１０として赤外線を使用すれば、撮像部１４に可視光のカットフィルタを用いなくても可視光の外乱光の影響を低減できる。

１０ 照明部、１２ 撮像制御部、１４ 撮像部、１６ 記憶部、１６ａ 撮影画像、１６ｂ 補正画像、１６ｃ 背景画像、１６ｄ 分光感度情報、１８ 画像処理部、１８ａ 判定領域設定手段、１８ｂ 画素補正手段、１８ｃ 特徴量算出手段、１８ｄ 判定手段、１８ｅ 背景画像生成手段、２０ 出力部、１００ 画像処理装置。

Claims (8)

1. 複数の色成分の分光感度特性を有する撮像部から、単一波長の照明が照射された監視領域を撮像した撮影画像を取得する取得部と、
   前記撮影画像に含まれる画像領域について、前記単一波長の照明に対する前記撮像部の分光感度の比率に応じて前記画像領域の画素値を補正する画素補正手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画素補正手段は、前記分光感度と近似する比率になるように前記画像領域の画素値を補正することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記画素補正手段は、輝度値が低くなるように前記画像領域の画素値を補正することを特徴とする画像処理装置。
4. 請求項１～３のいずれか１項に記載の画像処理装置であって、
   前記画素補正手段は、輝度値が低い前記画像領域よりも輝度値が高い前記画像領域の補正量を大きくすることを特徴とする画像処理装置。
5. 請求項１～４のいずれか１項に記載の画像処理装置であって、
   前記撮影画像と記憶した基準画像との差分から前記撮影画像に検知対象が存在するか否かを判定する判定手段をさらに備え、
   前記判定手段は、前記画素補正手段において補正される前の前記撮影画像の前記画像領域の画素値と、当該撮影画像の画像領域に対応する前記画素補正手段において補正された前記画像領域の画素値との差分を用いて前記検知対象が存在するか否かを判定することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記判定手段は、前記画素補正手段において補正される前の前記撮影画像の前記画像領域の画素値の分散と、当該撮影画像の画像領域に対応する前記画素補正手段において補正された前記画像領域の画素値の分散との差分を用いて前記検知対象が存在するか否かを判定することを特徴とする画像処理装置。
7. 請求項５又は６に記載の画像処理装置であって、
   前記判定手段は、前記画素補正手段において補正される前の前記撮影画像の前記画像領域のエッジ強度と、当該撮影画像の画像領域に対応する前記画素補正手段において補正された前記画像領域のエッジ強度との差分を用いて前記検知対象が存在するか否かを判定することを特徴とする画像処理装置。
8. コンピュータを、
   複数の色成分の分光感度特性を有する撮像部が撮像した、単一波長の照明が照射された監視領域の撮影画像に含まれる画像領域について、前記単一波長の照明に対する前記撮像部の分光感度の比率に応じて前記画像領域の画素値を補正する画素補正手段として機能させることを特徴とする画像処理プログラム。

Images