JP7233994B2

JP7233994B2 - 画像処理装置及び画像処理プログラム

Info

Publication number: JP7233994B2
Application number: JP2019053218A
Authority: JP
Inventors: 純山口
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2023-03-07
Anticipated expiration: 2039-03-20
Also published as: JP2020155953A

Description

本発明は、画像に含まれるフレアに相当する画像領域（フレア領域）を検出する画像処理装置及び画像処理プログラムに関する。

従来、監視領域をカメラにて撮影して取得される撮影画像と、基準画像とを比較することで、両画像間において変化のある領域である変化領域を求め、変化領域の大きさあるいは形状などの画像特徴に基づいて「人物らしさ」を判定して、撮影画像内から侵入者などの検出対象を検出する画像処理装置がある。

このような画像処理装置において、撮影範囲に高輝度な物体が存在していると、撮影画像上の高輝度物体の周辺には撮像装置のレンズによるレンズフレアが発生してしまう。フレアは変化領域として抽出されるため、フレア内に人がいる場合、人がフレアに埋もれてしまい、人を精度良く抽出することができない。例えば、図１０（ｂ），（ｃ）に示すように、撮影画像に人Ｍが写っている場合に人Ｍの服が白色であったり、工事現場で着用する服等のように反射材が付けられていたりすると、カメラに備えられた照明からの照明光を反射して人Ｍが発光しているように見え、フレアＦが発生している。フレアＦが発生していなければ人がいる領域が正しく抽出されるが、フレアＦが発生しているために人の周囲に靄が発生しているように変化領域が抽出される。そのため、フレアＦが発生しているフレア領域を特定して、フレアＦを除去する処理が行われる。従来は、撮影画像上において輝度が飽和している領域をフレア領域とみなして補正を行っている（特許文献１）。

特開２００５－１６７４８５号公報

しかしながら、輝度が飽和している画素がある場合にレンズフレアが必ずしも発生しているものではない。例えば、図１０（ａ）に示すように、撮影画像に高輝度な人Ｍが存在しているが、フレアは発生しておらず人Ｍがいる領域が正しく抽出されている。そのため、画素の輝度値が飽和しているからといってフレア除去処理を行うと、フレアが発生していない領域に対してフレア除去処理を行う場合があり、そのフレア未発生領域に人が存在すると、抽出した人領域に対して余計なフレア除去処理を行ってしまい、正しく抽出されていた人領域が除去されてしまう可能性がある。

本発明は、高輝度物体を撮影した場合に、レンズフレアが起きているレンズフレア除去対象領域を正確に特定してフレア除去処理を行うことを目的とする。

本発明の１つの態様は、所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、前記第１露光量と前記第２露光量との比率と、前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値と、に基づいて前記第２撮影画像のダイナミックレンジに合わせた相対閾値を設定し、前記第２撮影画像における前記相対閾値以上の輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、を備えることを特徴とする画像処理装置である。

本発明の別の態様は、所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、前記第１露光量と前記第２露光量との比率に基づいて前記第２撮影画像の各画素の輝度値を前記第１露光量にて撮影したときと同じ露光量で撮影した場合の推定輝度値に変換し、前記第２撮影画像における前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値以上の前記推定輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、を備えることを特徴とする画像処理装置である。

本発明の別の態様は、コンピュータを、所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、前記第１露光量と前記第２露光量との比率と、前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値と、に基づいて前記第２撮影画像のダイナミックレンジに合わせた相対閾値を設定し、前記第２撮影画像における前記相対閾値以上の輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、して機能させることを特徴とする画像処理プログラムである。

本発明の別の態様は、コンピュータを、所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、前記第１露光量と前記第２露光量との比率に基づいて前記第２撮影画像の各画素の輝度値を前記第１露光量にて撮影したときと同じ露光量で撮影した場合の推定輝度値に変換し、前記第２撮影画像における前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値以上の前記推定輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、して機能させることを特徴とする画像処理プログラムである。

ここで、前記フレア検出手段は、異なる時刻に撮影された複数の前記第２撮影画像を比較し、当該第２撮影画像から前記抽出した第１画像領域における差分領域を検出し、当該差分領域を前記フレア領域とすることが好適である。

また、前記フレア検出手段は、異なる時刻に撮影された複数の前記第２撮影画像の差分を検出した差分領域のうち、前記相対閾値以上の輝度値の画素からなる前記差分領域を前記フレア領域とすることが好適である。

また、前記フレア検出手段は、前記フレア領域である画像領域における前記第２撮影画像の輝度値に応じて当該画像領域を膨張させてフレア除去対象領域を求め、前記フレア処理手段は、前記フレア除去対象領域の有無に応じてフレア除去処理を行うことが好適である。

また、前記フレア検出手段は、前記フレア領域である画像領域における前記第２撮影画像の輝度値が高いほど当該画像領域を膨張させる倍率を大きくすることが好適である。

本発明によれば、高輝度物体を撮影した場合に、レンズフレアが起きているレンズフレア除去対象領域を正確に特定してフレア除去処理を行うことができる。

本発明の実施の形態における警備システムの構成概略図である。本発明の実施の形態における画像処理装置の構成概略図である。対象画像（低露光画像）から２値低露光画像を生成する処理を示す図である。対象画像の１フレーム前及び１フレーム後の低露光画像から２値低露光画像を生成する処理を示す図である。２値低露光画像のフレーム間差分画像を生成する処理を示す図である。膨張処理によってフレア除去対象領域を設定する処理を示す図である。フレア除去対象領域判定処理の流れを示すフローチャートである。侵入者検出処理の流れを示すフローチャートである。膨張処理によってフレア除去対象領域を設定する処理を示す図である。従来のフレア領域を抽出する処理を示す図である。

以下、本発明の実施形態について説明する。

図１は、本実施形態に係る警備システム１０の構成概略図である。警備システム１０は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件１２に設置される警備装置１４、公衆電話回線などの通信網１６を介して各警備装置１４と接続される警備センタ装置１８、及び利用者装置２０とを含んで構成される。さらに、警備システム１０は、監視対象物件１２の監視領域を撮影した監視画像に基づいて監視対象物件１２の異常を検出するための１以上の画像処理装置２２、及び、画像処理装置２２により撮影された監視画像を記録する録画装置２４を含んで構成される。画像処理装置２２及び録画装置２４は警備装置１４と通信可能に接続される。

警備装置１４は、構内ＬＡＮなどを介してそれ自体に接続された画像処理装置２２からアラーム信号を受信すると、そのアラーム信号及び警備装置１４自体の識別信号、又は、監視対象物件１２あるいは異常を検出した画像処理装置２２の識別信号を警備センタ装置１８へ送信する。そのために、警備装置１４は、画像処理装置２２と通信するための通信インターフェースと、警備センタ装置１８及び利用者装置２０と通信するための通信インターフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置１８は、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１８は、警備装置１４から通信網１６を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１４が設置された監視対象物件１２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

利用者装置２０も、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インターフェース、液晶ディスプレイなどの表示装置、及び、キーボードやマウスなど、警備装置１４を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置２０は、ユーザインターフェースを介して予め登録されている監視対象物件１２を観察する操作がなされると、登録されている監視対象物件１２に設置された警備装置１４に対して、現在撮影中の監視画像又は録画装置２４に記録されている監視画像を利用者装置２０に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１４から監視画像を受信すると、利用者装置２０は要求された監視画像を表示装置に表示する。

録画装置２４は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置２４に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置２４は、画像処理装置２２が撮影した監視画像を警備装置１４から受け取り、撮影時刻と関連付けて記録する。

図２は、画像処理装置２２の構成概略図である。

通信部３０は、画像処理装置２２と警備装置１４との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インターフェースであり、イーサネット（登録商標）などの各種の通信インターフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部３０は、後述の制御部３８によって侵入者が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置１４に出力する。

撮影部３２は、ＣＣＤやＣＭＯＳ等の可視光及び近赤外光等に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などで構成される。撮影部３２は、監視領域を撮影することによって撮影画像を取得する。本実施形態では撮影部３２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行うが、撮影部３２の撮影方法はこれには限られない。取得された撮影画像は記憶部３４に記憶される。

撮影部３２は、魚眼レンズを含んで構成することができる。すなわち、撮影部３２は、全方位（３６０度）を撮影領域（監視領域）とすることができる全方位カメラとしてもよい。当該全方位カメラは、例えば監視対象物件１２の天井などに設置され、監視領域を下方とし、略鉛直下方向を光学中心としている。しかしながら、撮影部３２は全方位カメラに限られず、単方位型のカメラ（例えば視野角が９０度のカメラ）であってもよい。なお、全方位カメラである撮影部３２で撮像された撮影画像は全方位画像であり、全体として円形の像となっており、円形の中心が光学中心に対応する位置となっている。そして、撮影画像においては、監視領域の鉛直上方向が、撮影画像の径方向であって光学中心から外側へ向かう方向となり、監視領域の水平方向が撮影画像の周方向となる。監視領域に侵入者が存在する場合、撮影部３２が取得した撮影画像には、当該人物（侵入者）に相当する人領域が含まれることとなる。

撮影部３２は、侵入者の判定に適した通常の露光量で通常露光画像４６の撮影と、通常の露光量よりも小さい低露光量で低露光画像４８の撮影とを行う。通常露光画像４６と低露光画像４８は同時期に撮影を行う。例えば、通常露光画像４６と低露光画像４８は交互に撮影を行うとよい。本実施例では、一定の時間間隔（例えば１／５秒）毎に通常露光画像４６と低露光画像４８とを交互に撮影するが、この間隔は変えてもよい。例えば、この間隔は短いほどよいが、高輝度な侵入者を検出したい場合は、１／２秒以内程度でもよい。また、撮影する間隔が１／２秒以内であれば、交互に撮影する必要はなく、通常露光画像４６と低露光画像４８の間に別の画像を撮影してもよい。なお、撮影部３２の露光量は撮影環境に応じて変更される。すなわち、常に露光量を固定して撮影を行うのではなく、通常露光画像４６と低露光画像４８の露光量の比も固定されているものではない。

記憶部３４は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される記憶手段である。記憶部３４には、画像処理装置２２の各部を動作させるための画像処理プログラムが記憶される。また、記憶部３４は、閾値４０、膨張率４２、背景画像４４、通常露光画像４６、低露光画像４８が記憶される。すなわち、記憶部３４は、閾値４０を記憶する閾値記憶手段、膨張率４２を記憶する膨張率記憶手段、背景画像４４を記憶する背景画像記憶手段、通常露光画像４６を記憶する通常露光画像記憶手段、低露光画像４８を記憶する低露光画像記憶手段として機能する。

閾値４０は、通常露光画像４６のダイナミックレンジを越えた輝度値である基準閾値である。すなわち、閾値４０以上の輝度値が撮影されるとレンズフレアが発生する。予め撮影部３２で種々の高輝度物体の撮影を行い、フレアが発生している撮影画像、発生していない撮影画像を集め、集めた撮影画像からフレアが発生する推定輝度値を判定して当該推定輝度値を閾値４０として記憶する。

閾値４０は、以下のようにして具体的に求めることができる。予め通常露光画像４６と低露光画像４８とを一組として撮影し、レンズフレアが発生している画像及び発生していない画像の組を複数取得する。そして、それぞれの組について後述する露光量比率に基づいて低露光画像４８の各画素の輝度値を通常露光画像４６の露光量に換算した推定輝度値（通常露光画像４６の露光量で撮影した場合に取得できる推定輝度値）に変換する。レンズフレアが発生している画像と発生していない画像の推定輝度値からレンズフレアが発生する推定輝度値を特定して、当該推定輝度値を閾値４０に設定する。

露光量比率は、撮影部３２のシャッタースピードとゲインを基に算出することができる。このとき、撮影部３２の絞りは固定とする。ただし、以下の計算に絞り等を追加して比率を求めてもよい。撮影部３２によって通常露光画像４６及び低露光画像４８を撮影したときのシャッタースピード及び撮像素子のゲインを取得する。シャッタースピードを数式（１）にしたがってデシベル表示［ｄＢ］に変換する。例えば、１／６０［ｍｓｅｃ］のシャッタースピードを基準にして撮影部３２において設定可能な各シャッタースピードをデシベル表示［ｄＢ］に変換する。
２０ｌｏｇ（Ｏｕｔ／Ｉｎ）＝デシベル表示［ｄＢ］・・・（１）
ここで、Ｏｕｔ：撮影に使用したシャッタースピード、Ｉｎ：基準のシャッタースピード（例えば、１／６０）

デシベル表示［ｄＢ］変換後のシャッタースピードとゲインから数式（２）に基づいて撮影画像の露光量を求める。
露光量［ｄＢ］＝ゲイン［ｄＢ］＋シャッタースピード［ｄＢ］・・・（２）

例えば、通常露光画像４６のゲインが６［ｄＢ］で、シャッタースピードが１／６０（０［ｄＢ］）の場合には、通常露光画像４６の露光量は６［ｄＢ］となる。一方、低露光画像４８のゲインが０［ｄＢ］で、シャッタースピードが１／３２０（－１４［ｄＢ］）の場合には、低露光画像４８の露光量は－１４［ｄＢ］となる。通常露光画像４６と低露光画像４８の露光量が求められたら、露光差［ｄＢ］＝通常露光画像４６の露光量［ｄＢ］－低露光画像４８の露光量［ｄＢ］として数式（３）に基づいて露光量比率を算出する。
２０ｌｏｇ（露光量比率）＝露光差・・・（３）

例えば、通常露光画像４６の露光量が６［ｄＢ］であり、低露光画像４８の露光量が－１４［ｄＢ］の場合には露光差は６－（－１４）＝２０［ｄＢ］となる。露光差が２０［ｄＢ］の場合、露光量比率は１０＾（２０／２０）＝１０となる。すなわち、低露光画像４８は通常露光画像４６よりも１０％の露光量で撮影されたと判定できる。表２は、通常露光画像４６の露光量と低露光画像４８の露光量の倍率と露光差との関係を示す。

推定輝度値は、低露光画像４８の各画素の輝度値を通常露光画像４６の露光量で撮影した場合の輝度値に換算した値である。したがって、低露光画像４８の各画素の輝度値に対して露光量比率を乗算することで推定輝度値を算出することができる。例えば、低露光画像４８が通常露光画像４６に対して１０％の露光量で撮影された場合、低露光画像４８の各画素の輝度値に露光量比率である１０を乗算して通常露光画像４６の露光量で撮影した場合の輝度値に換算した推定輝度値を算出する。低露光画像４８のある画素の輝度値が６０の場合は、推定輝度値は６００（６０（低露光画像４８の輝度値）×１０（露光量比率）＝６００（推定輝度値））となる。また、低露光画像４８のある画素の輝度値が２００の場合、推定輝度値は２０００となる。

このように、露光量比率に基づいて推定輝度値を算出して、レンズフレアが発生している画像と発生していない画像の推定輝度値からレンズフレアが発生する推定輝度値を閾値４０として設定する。なお、閾値４０は、撮影部３２のレンズの構造等に応じて変わるが、以下の説明では閾値４０を６００と仮定する。

膨張率４２は、後述するフレア領域抽出処理において抽出されたフレア領域を低露光画像４８の輝度値に応じて膨張（拡張）させる倍率を示す。図１０（ｂ），（ｃ）に示すように、フレアＦの大きさは大小さまざまであるが、撮影画像に映る高輝度な物体の輝度値が高ければ高いほどフレアＦが大きくなる。閾値４０を求めるときと同様に、予め撮影部３２で種々の高輝度物体の撮影を行い、レンズフレアが発生している通常露光画像４６と低露光画像４８を集め、レンズフレアが発生している通常露光画像４６とそのときの低露光画像４８に基づいて膨張率を求める。具体的には、低露光画像４８を２値化処理してフレア領域を算出する。また、通常露光画像４６を後述する背景画像４４を用いて背景差分して変化領域を抽出する。そして、フレア領域の面積に対する変化領域の面積の比を膨張率として算出する。そして、そのときのフレア領域の推定輝度値と膨張率とを対応付けて記憶部３４に記憶させる。この処理を、撮影する高輝度物体の輝度を変えて繰返し行い、推定輝度値と膨張率とを対応づけたデータベースを記憶させる。膨張率４２は、撮影部３２のレンズの構造等に応じて変わるが、表３に、低露光画像４８から抽出されたフレア領域の推定輝度値と膨張率との関係の例を示す。

背景画像４４は、監視領域内に人物が存在していないときの通常露光画像４６に基づいて制御部３８により作成される。背景画像４４は１枚であってもよいが、複数枚の背景画像４４が作成されてもよい。例えば、制御部３８は、撮影部３２が順次取得した通常露光画像４６のフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。そして、制御部３８は、その平均値が所定の基準よりも小さい通常露光画像４６を背景画像４４として記憶部３４に記憶させる。また、背景画像４４は、照明状態の変動、太陽の日周変動などの監視領域の変動に対応するために、一定周期（例えば、１０分間隔）毎に更新されるのが好適である。

照明部３６は、近赤外ＬＥＤ等の光源を含んで構成される。照明部３６は、撮影環境が暗い場合に照明を点灯させて撮影部３２による撮影を補助するために用いられる。

制御部３８は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像処理装置２２の各種信号処理を実行する。図２に示されるように、制御部３８は、フレア除去対象領域判定手段５０、変化領域抽出手段５２及び人判定手段５４の機能を発揮する。制御部３８がこれらの手段を発揮することで、通常露光画像４６において、人物に相当する画像領域である人領域が検出される。以下、制御部３８が有する各手段について説明する。

フレア除去対象領域判定手段５０は、通常露光画像４６及び低露光画像４８においてフレアが撮像された領域をフレア領域として抽出するフレア領域抽出処理を行う。フレア除去対象領域判定手段５０は、通常露光画像４６においてフレアが発生している領域を検出するフレア検出手段として機能する。

以下、撮影部３２において順次撮影された通常露光画像４６のうち侵入者検出を行う画像を処理画像とする。また、処理画像と一組で撮影された低露光画像４８を対象画像とする。

まず、処理画像の露光量と対象画像の低露光量とから上記方法を用いて処理画像と対象画像の露光量比率を算出する。以下の説明では、露光量の比率が１０倍であるとする。次に、相対閾値を算出する。予め記憶部３４に記憶された閾値４０と、処理画像と対照画像との露光量比率とから、閾値４０を対象画像の露光量に合わせた相対閾値を算出する。すなわち、対象画像となる低露光画像４８のダイナミックレンジの範囲内に合わせた相対閾値を算出する。相対閾値は、閾値４０に露光量比率を乗算することによって算出することができる。例えば、閾値４０が６００であり、露光量比率が１０倍である場合、相対閾値は６００×１／１０＝６０と算出される。

次に、図３に示すように、算出された相対閾値と対象画像の各画素の輝度値とを比較して、対象画像を２値化して２値低露光画像を生成する。すなわち、対象画像において相対閾値以上の輝度値を持つ画素は１（画像上では白色）、閾値未満の輝度値である画素は０（画像上では黒色）とした２値低露光画像を作成する。そして、２値低露光画像において抽出された領域（画素値が１（白色領域））が有るか否か判定する。抽出された領域（白色領域）がある場合には次のフレーム間差分処理を実行する。抽出された領域（白色領域）がなかった場合には、フレアは発生していないと判定して、フレア除去対象領域判定手段５０での処理を終了して後述の侵入者検出処理に進む。

フレーム間差分処理では、図４に示すように、対象画像の直前（１フレーム前）又は直後（１フレーム後）に撮影された低露光画像４８を２値化処理して２値低露光画像を生成する。そして、図５に示すように、生成された２値低露光画像同士をフレーム間で差分して差分領域を抽出する。すなわち、フレーム間において２値低露光画像に差がある画素は１（画像上では白色）、差がない画像は０（画像上では黒色）とした差分画像を作成する。なお、図５の例では３フレームの２値低露光画像の差分をとっているが、２フレームを対象としてもよいし、４フレーム以上を対象としてもよい。また、図４の例では対象画像の１フレーム前又は１フレーム後の２値低露光画像の差分をとっているが、２フレーム以上前又は２フレーム以上後を対象としてもよい。なお、対象画像の直後に撮影された画像とは、侵入者検出をリアルタイムではなくリアルタイムより数秒前の撮影画像である処理画像を用いて侵入者検出を行う遅延処理を行う場合の処理画像よりも時間的に後に撮影された撮影画像のことである。

次に、フレーム間の差分画像において差分領域（白色領域）が在るか否か判定する。差分領域が抽出された場合は、後述の領域膨張処理に進む。差分領域が抽出されなかった場合、フレアは発生していないと判定して、フレア除去対象領域判定処理を終了して後述の侵入者検出処理に進む。

すなわち、対象画像に対する２値低露光画像において抽出された領域が存在したとしても当該領域がフレーム間差分処理において抽出されなかった場合、当該領域は高輝度の静止物体（又は、非常に動きの遅い物体）によるものであり、当該物体に対してはフレア除去領域として扱わないようにする。背景画像４４を更新する場合、高輝度の静止物体が写された画像領域も背景画像４４に取り込まれることになる。その場合、背景画像４４には、当該高輝度の静止物体によって発生するレンズフレアも取り込まれることになる。背景画像４４にも処理画像となる通常露光画像４６にも同じレンズフレアが写されているので、背景画像４４を用いて通常露光画像４６との背景差分処理を行うことによってレンズフレアの影響は除去できる。したがって、背景差分処理に加えて高輝度の静止物体によるレンズフレアの画像領域にフレア除去処理を適用すると、高輝度の静止物体の近傍に存在する人（検出対象物）に対して余計なフレア除去処理を適用してしまうおそれがある。そのため、フレーム間差分画像において差分領域が存在する場合、すなわち移動する高輝度物体が存在する場合にのみフレア除去領域として扱うようにしている。

フレーム間差分処理において差分領域が抽出された場合、図６に示すように、対象画像を２値化した２値低露光画像で抽出された領域（白色領域）を対象として領域を膨張（拡張）させる処理を行う。ここでは、２値低露光画像において抽出された領域（白色領域）に対応する低露光画像４８の画素の輝度値に応じた膨張率にて当該抽出された領域（白色領域）を膨張させ、その膨張させた領域をフレア除去対象領域と設定する。具体的には、抽出された領域（白色領域）に対応する低露光画像４８の画素の推定輝度値と予め対応づけられた膨張率（例えば、上記表３では推定輝度値が６００の場合は５倍）を記憶部３４から読み出し、読み出された膨張率で当該画素を膨張させる。この膨張処理を抽出された領域（白色領域）に対応する低露光画像４８の画素のすべてに対して適用することでフレア除去対象領域を設定する。これによって、フレア除去対象領域判定手段５０におけるフレア除去対象領域判定処理を終了する。なお、膨張率を読み出すときに確認する低露光画像４８の推定輝度値は、抽出された領域（白色領域）の各画素の推定輝度値から求めた平均輝度値を推定輝度値としてもよいし、抽出された領域の各画素の推定輝度値のうち一番高い輝度値を推定輝度値としてもよい。

侵入者検出処理として、変化領域抽出手段５２において変化領域を抽出する処理をし、人判定手段５４において抽出された変化領域が人であるか否かを判定する。変化領域抽出手段５２は、フレア除去対象領域判定手段５０においてフレア除去対象領域が設定されなかった場合、変化領域を抽出する処理を行い、フレア除去対象領域判定手段５０においてフレア除去対象領域が設定された場合、変化領域を抽出し、さらにフレア除去対象領域に対してフレア除去処理を行う。

フレア除去対象領域が設定されなかった場合、変化領域抽出手段５２では、処理画像（通常露光画像４６）と背景画像４４とを比較し、処理画像において背景画像４４から変化している変化領域を抽出する。具体的には、両画像間で相違する画素を抽出し、抽出された画素と抽出されない画素とからなる背景差分画像を求める処理を行う。ここで「両画像間で相違する画素」とは、通常露光画像４６と背景画像４４との間で輝度値又は色成分の差が所定値以上である通常露光画像４６の画素を意味する。この処理によって変化領域が抽出されなかった場合は侵入者検出処理を終了し、変化領域が抽出された場合は人判定手段５４の処理に移行する。

フレア除去対象領域が設定された場合、変化領域抽出手段５２では、フレア除去対象領域と判定された画像領域に対してのみフレア除去処理を行ったうえで変化領域を抽出する。フレア除去処理では、対象画像のフレア除去対象領域の画像領域に相当する処理画像（通常露光画像４６）の画像領域を処理画像のフレア除去対象領域とする。当該フレア除去対象領域に対して行うフレア除去処理は、背景画像４４からの変化があり、さらにフレア除去対象領域においてエッジが存在するか否か、及び、背景画像４４との相関が低いか否かを判定する。つまり、フレア除去領域において、背景画像４４から変化しておりエッジが存在し、さらに背景画像４４との相関が低い領域を変化領域として抽出し、一方、フレア除去領域において、背景画像４４から変化しておりエッジが存在するが背景画像４４との相関が高い領域、及び、背景画像４４から変化しているがエッジが存在しない領域は、変化領域として抽出しない。例えば、エッジ画像を作成してフレア除去対象領域内のエッジの有無を判定し、そしてフレア除去対象領域とフレア除去対象領域に対応する背景画像４４の画像領域との正規化相関値を求め、その正規化相関値が所定の相関値以上であるか否かを判定する。フレア除去対象領域に対して背景画像４４との相関を判定する目的は、フレアが発生してもその画像領域に移動体が存在しなければ処理画像は背景物を撮影しているため、背景画像４４のテクスチャやエッジがフレア除去対象領域にも撮影され、背景画像４４との相関が高くなるからである。そのため、エッジの有無に加えて、背景画像４４との相関も判定することで、より精度良くフレアを除去することができる。当該処理によって、変化領域抽出手段５２は、フレア処理手段として機能する。フレア除去対象領域以外の画像領域については、処理画像と背景画像４４とを比較して処理画像において背景画像４４から変化している変化領域を抽出する。この処理によって変化領域が抽出されなかった場合は侵入者検出処理を終了し、変化領域が抽出された場合は人判定手段５４の処理に移行する。

人判定手段５４では、変化領域抽出手段５２において抽出された変化領域が人であるか否かを判定する。人判定手段５４における人の判定方法は、公知の様々な方法を適用することができる。例えば、予め検出対象となる人の特徴を表す特徴情報を記憶部３４に記憶させておき、抽出された変化領域が当該特徴情報で表される特徴を満たすか否かによって当該変化領域が人であるか否かを判定することができる。特徴情報は、例えば、人らしい大きさ又は形状の画像領域であるか等の情報とすればよい。また、例えば、変化領域に識別子（ラベル）を付与するラベリング処理を行い、複数のフレームに亘って同一のラベルが付された変化領域の動きが人の動きの特徴を満たすか否かによって当該変化領域が人であるか否かを判定することもできる。

人判定手段５４は、変化領域が人であると判定された場合は通信部３０を介して異常を報知して侵入者検出処理を終了し、人でないと判定された場合は報知を行うことなく侵入者検出処理を終了する。

以下、図７に示すフローチャートにしたがってフレア除去対象領域判定処理の流れを説明する。

ステップＳ１０において、侵入者判定を行う対象となる処理画像（通常露光画像４６）と処理画像と同時に撮影された対象画像（低露光画像４８）の露光量比率を求める。ステップＳ１２において、求められた露光量比率と、予め記憶部３４に記憶させた閾値４０とから相対閾値を算出する。ステップＳ１４において、算出された相対閾値を用いて対象画像を２値化する。ステップＳ１６において、２値化処理によって抽出された領域があるか否かを判定する。抽出された領域があった場合はステップＳ１８に処理を進め、抽出された領域がなかった場合はフレア除去対象領域判定処理を終了して侵入者検出処理に進める。ステップＳ１８において、２値化処理された対象画像の直前（１フレーム前）又は直後（１フレーム後）の低露光画像４８と、２値化処理された対象画像とをフレーム間差分してフレーム間差分画像を作成する。ステップＳ２０において、フレーム間差分で抽出された差分領域があるか否かを判定する。差分領域があった場合はステップＳ２２に処理を進め、差分領域がなかった場合はフレア除去対象領域判定処理を終了して侵入者検出処理に進める。ステップＳ２２において、フレーム間差分にて抽出された差分領域に対して、当該差分領域の低露光画像４８の輝度値に応じた膨張率を掛けて膨張させた差分領域を算出し、当該膨張させた差分領域をフレア除去対象領域として設定する。これによって、フレア除去対象領域判定処理を終了して、次の侵入者検出処理へ進む。

なお、ステップＳ１４の処理とステップＳ１８の処理の順番を逆にしてもよい。すなわち、フレーム間差分の処理を行った後に２値化処理を行うようにしてもよい。順番を逆にする場合、フレーム間差分の処理により抽出された差分領域の輝度値の絶対値に基づき２値化処理を行うようにしてもよい。

以下、図８に示すフローチャートにしたがって侵入者判定処理の流れを説明する。

ステップＳ３０において、フレア除去対象領域判定処理にてフレア除去対象領域が抽出されたか否かが判定される。フレア除去対象領域が抽出されていなかった場合はステップＳ３４に処理を進め、フレア除去対象領域が抽出された場合にはステップＳ３２に処理を進める。ステップＳ３２において、フレア除去対象領域の画像領域に対しては、処理画像（通常露光画像４６）と背景画像４４とを比較して変化領域を抽出すると共にエッジの有無を判定し、背景差分として変化があり且つエッジがある画像領域を変化領域とする。フレア除去対象領域以外の画像領域は処理画像と背景画像４４との背景差分のみを行う。変化領域が抽出されなかったら侵入者判定を終了し、変化領域が抽出されたらステップＳ３６に処理を進める。一方、ステップＳ３４において、処理画像（通常露光画像４６）と背景画像４４とを比較して変化領域を抽出する。変化領域が抽出されなかったら侵入者判定を終了し、変化領域が抽出されたらステップＳ３６に処理を進める。ステップＳ３６において、抽出された変化領域が人であるか否かの判定を行い、人であった場合は警報を発報する。人でなかった場合は、次の撮影画像の侵入者判定処理へ移行する。

このような本実施の形態の画像処理装置２２によれば、露光量が異なる通常露光画像４６及び低露光画像４８の露光量比率と予め設定したレンズフレアが発生する閾値４０とに基づいて相対閾値を算出し、低露光画像４８の各画素の輝度値が相対閾値以上である画像領域をレンズフレアが起きているフレア領域と判定する。これにより、撮影する画像の露光量を撮影環境に応じて設定しても、そのときに撮影した画像の露光量比率に基づいてレンズフレアが起きているレンズフレア除去対象領域を正確に特定してフレア除去処理を行うことができる。

また、本実施の形態では、フレーム間差分処理により抽出された差分領域をフレア領域と判定する。これにより、高輝度の移動物体に対してのみフレア除去処理を行えるため、高輝度の静止物体周辺に存在する移動体に対して余計なフレア除去処理を行うことを抑制できる。

また、本実施の形態では、低露光画像４８の輝度値に応じて、フレア領域を膨張させてフレア除去対象領域を特定してフレア除去処理を行う。これにより、フレアが発生しているフレア除去対象領域を正確に特定でき、精度良くフレア除去処理を行うことができる。

＜変形例＞
上記実施の形態では、閾値４０に基づいて相対閾値を算出する処理を行ったが、相対閾値を算出しないようにしてもよい。例えば、低露光画像４８の各画素の輝度値に露光量比率を乗算して、通常露光画像４６を撮影したときと同じ露光量で撮影した場合の推定輝度値を算出する。具体的には、例えば低露光画像４８のある画素の輝度値が６０であり、露光量比率が１０倍であった場合、６０×１０＝６００が推定輝度値となる。そして、算出された推定輝度値と閾値４０（例えば６００）とを比較して低露光画像４８を２値化処理するようにしてもよい。

また、露光量比率を算出する際に、シャッタースピード、ゲイン、絞りのそれぞれのパラメーターのうち固定せずに撮影するパラメーターを使って露光量比率を算出してもよい。例えば、シャッタースピード、絞りを固定して撮影していた場合は、ゲインから露光量比率を算出してもよい。

また、フレア領域抽出処理において、フレーム間差分処理をする際に、フレーム間差分ではなく背景差分を行ってもよい。すなわち、低露光画像４８の背景画像４４を記憶して背景差分を行い、背景差分において差分領域が在るか否かを判定してもよい。

また、フレア除去対象領域判定手段５０においてフレア除去処理を行う際に、フレア除去対象領域と背景画像４４との相関を考慮しないようにしてもよい。すなわち、フレア除去対象領域に対して、背景画像４４からの変化があり、さらにフレア除去対象領域においてエッジが存在するか否かを判定するようにしてもよい。つまり、フレア除去領域において、背景画像４４から変化しておりエッジが存在する領域を変化領域として抽出し、一方、背景画像４４から変化しているがエッジが存在しない領域は変化領域として抽出しないようにしてもよい。

また、上記実施の形態では、対象画像を２値化した２値低露光画像で抽出された領域（白色領域）を膨張させる処理としたが、図９に示すように、フレーム間差分処理によって抽出された差分領域（白色領域）に対して膨張処理を適用してもよい。具体的には、フレーム間差分領域（白色領域）に対応する低露光画像４８の画素の輝度値に応じた膨張率にて当該抽出された領域（白色領域）を膨張させ、その膨張させた領域をフレア除去対象領域と設定すればよい。

なお、画像処理装置２２は、自装置内の記憶部３４に記憶された画像を画像処理するものに限定されない。例えば、他の外部装置から読み出した画像を画像処理したり、外部のカメラから受信した画像を画像処理したりする構成としてもよい。また、カメラを複数設けて、通常露光画像４６と低露光画像４８とをそれぞれのカメラで撮影するようにしてもよい。その場合、通常露光画像４６と低露光画像４８とを同時に撮影してもよい。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０警備システム、１２監視対象物件、１４警備装置、１６通信網、１８警備センタ装置、２０利用者装置、２２画像処理装置、２４録画装置、３０通信部、３２撮影部、３４記憶部、３６照明部、３８制御部、４０閾値、４２膨張率、４４背景画像、４６通常露光画像、４８低露光画像、５０フレア除去対象領域判定手段、５２変化領域抽出手段、５４人判定手段。

Claims

所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、
前記第１露光量と前記第２露光量との比率と、前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値と、に基づいて前記第２撮影画像のダイナミックレンジに合わせた相対閾値を設定し、前記第２撮影画像における前記相対閾値以上の輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、
前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記フレア検出手段は、異なる時刻に撮影された複数の前記第２撮影画像を比較し、当該第２撮影画像から前記抽出した第１画像領域における差分領域を検出し、当該差分領域を前記フレア領域とすることを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記フレア検出手段は、異なる時刻に撮影された複数の前記第２撮影画像の差分を検出した差分領域のうち、前記相対閾値以上の輝度値の画素からなる前記差分領域を前記フレア領域とすることを特徴とする画像処理装置。
請求項１～３のいずれか１項に記載の画像処理装置であって、
前記フレア検出手段は、前記フレア領域である画像領域における前記第２撮影画像の輝度値に応じて当該画像領域を膨張させてフレア除去対象領域を求め、
前記フレア処理手段は、前記フレア除去対象領域の有無に応じてフレア除去処理を行うことを特徴とする画像処理装置。
請求項４に記載の画像処理装置であって、
前記フレア検出手段は、前記フレア領域である画像領域における前記第２撮影画像の輝度値が高いほど当該画像領域を膨張させる倍率を大きくすることを特徴とする画像処理装置。
所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、
前記第１露光量と前記第２露光量との比率に基づいて前記第２撮影画像の各画素の輝度値を前記第１露光量にて撮影したときと同じ露光量で撮影した場合の推定輝度値に変換し、前記第２撮影画像における前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値以上の前記推定輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、
前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、
を備えることを特徴とする画像処理装置。
コンピュータを、
所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、
前記第１露光量と前記第２露光量との比率と、前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値と、に基づいて前記第２撮影画像のダイナミックレンジに合わせた相対閾値を設定し、前記第２撮影画像における前記相対閾値以上の輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、
前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、
して機能させることを特徴とする画像処理プログラム。
コンピュータを、
所定空間を順次撮影した撮影画像のうち、第１露光量で撮影した第１撮影画像及び前記第１露光量よりも小さい第２露光量で前記第１撮影画像と所定以内の時間差で撮影した第２撮影画像を取得する取得手段と、
前記第１露光量と前記第２露光量との比率に基づいて前記第２撮影画像の各画素の輝度値を前記第１露光量にて撮影したときと同じ露光量で撮影した場合の推定輝度値に変換し、前記第２撮影画像における前記第１撮影画像のダイナミックレンジを越えた値であるレンズフレアを検出するための基準閾値以上の前記推定輝度値の画素からなる第１画像領域をレンズフレアが発生しているフレア領域として抽出するフレア検出手段と、
前記フレア領域の有無に応じてフレア除去処理を行うフレア処理手段と、
して機能させることを特徴とする画像処理プログラム。