JP4544955B2 - 画像監視装置 - Google Patents

Description

本発明は画像監視装置に関し、特に、光による誤報を排除しかつ強い光の中にいる侵入者を確実に抽出できる画像監視装置に関するものである。

従来、侵入者検出を目的とした画像センサとして、背景画像からの変化に基づいて侵入者を検出するものがある。この画像センサは、背景画像と入力画像とで各画素の輝度差分値を求め、輝度差分値が大きい画素の集合（変化領域）が所定の大きさ以上である場合に、侵入者が存在すると判定している。

しかし、監視領域を撮像した画像は、周囲の環境変化により画像全体の輝度値が変化する場合がある。例えば、画像センサで屋外を監視する場合、時間、天候により日照が変化するため、取得した画像の輝度値も変化する。よって、環境変化による輝度変化であるにもかかわらず、侵入者として誤検出してしまう場合がある。

このように誤検出することを防ぐために、従来、エッジ画像を利用して侵入者を判定する画像センサが提案されている。この画像センサは、画像のエッジ部分を検出してエッジ画像を生成し、基準となる背景エッジ画像と入力エッジ画像とで各画素のエッジ強度の差分値を求め、求めた差分値の総和や、差分値が所定以上である画素数等により侵入者を判定する（特許文献１参照）。

特開平５−２６６１９８号公報

ところで、監視領域に光が照射された状態のエッジ画像と元の（光が照射されていない状態の）エッジ画像とを比較すると、同じエッジ部分におけるエッジ強度は、光が照射された状態のエッジ画像の方が大きくなる。そして、元のエッジ画像におけるエッジ強度が大きいほど、光が照射されたときのエッジ強度の変化量は大きい。

背景エッジ画像中には、種々のエッジ部分が含まれており、それぞれエッジ強度が異なっている。従って、従来の画像センサでは、エッジ強度が大きい部分が背景にある場合、光が照射されるとその部分のエッジ強度が大きく変化するため、これを侵入者として誤判定してしまう可能性があった。
本発明は、上記問題に鑑み、監視領域への光の照射による侵入者の誤検出を防止することができる画像センサを提供することを目的とする。

本発明に係る画像監視装置は、監視領域を撮像した画像を取得する画像入力手段と、画像のエッジを抽出する特徴抽出手段と、基準となる背景画像から特徴抽出手段によって抽出された背景画像エッジ又は背景画像を記憶する背景記憶手段と、監視対象である入力画像から特徴抽出手段によって抽出された入力画像エッジと背景画像エッジとを比較し各画素におけるエッジ強度の変化量を求める差分処理手段と、背景画像エッジのエッジ強度に基づいて各画素における所定の２値化閾値を設定する２値化閾値設定手段と、各画素におけるエッジ強度の変化量と各画素における所定の２値化閾値とを比較し該２値化閾値以上となる変化画素を抽出する変化画素抽出手段と、少なくとも変化画素が形成する領域に基づいて監視領域における移動体の存在を判定する移動体判定手段と、を備えることを特徴とする。

本発明によれば、エッジ強度の変化量（エッジ差分）は大きいが移動体によるものではない領域を抽出しないようにすることができるため、光の照射による移動体の誤検出を防止しつつも、強い光の中から移動体を抽出することができる効果がある。

以下、本発明に係る画像監視装置の一実施形態として、移動体として侵入者を抽出する場合を例に用いて説明する。
図１は、本発明の構成を表すブロック図である。
まず、同図を参照して、本発明の各構成要素について説明する。

撮像部１１は、監視範囲を視野とする画像入力手段としてのカメラを表す。カメラには、ＮＴＳＣ型、高解像度型、可視光型、赤外光型等の様々な種類があるが、本発明においては種類を制限しない。

画像入力Ｉ／Ｆ１２は、撮像部１１にて取得された画像信号をＣＰＵ、ＤＳＰ等のプロセッサにて処理できるようにデジタル化して、前記プロセッサで構成される信号処理部に出力する。

背景画像領域１３は、後述の背景画像更新手段１９にて更新された背景画像を記憶しておく領域である。

２値化閾値テーブル領域１４は、後述の２値化閾値算出手段１１０にて算出された２値化閾値を記憶しておく領域であり、各画素毎に２値化閾値を対応させて記憶する。該２値化閾値は、後述のエッジ強度の差分を２値化するために２値化手段１７にて用いられる。

特徴抽出手段１５は、画像入力Ｉ／Ｆ１２から入力される入力画像（現在の画像）Ｉ（ｘ，ｙ）と背景画像領域１３から入力される背景画像Ｂ（ｘ，ｙ）のエッジを抽出する。抽出されたエッジは、周囲の画素で輝度値の差が大きい画素ほどエッジ強度が大きくなる。
以下、入力画像の各画素についてエッジ強度を求めたものを入力画像エッジ強度と呼び、Ｉ_E（ｘ，ｙ）で表す。同様に、背景画像エッジ強度をＢ_E（ｘ，ｙ）で表す。
エッジ強度の求め方は各種考えられるが、
Ｉ_E（ｘ，ｙ）＝０．５＊｜I（ｘ＋１，ｙ）−Ｉ（ｘ−１，ｙ）｜
＋０．５＊｜Ｉ（ｘ，ｙ＋１）−Ｉ（ｘ，ｙ−１）｜ …（１）
Ｂ_E（ｘ，ｙ）＝０．５＊｜Ｂ（ｘ＋１，ｙ）−Ｂ（ｘ−１，ｙ）｜
＋０．５＊｜Ｂ（ｘ，ｙ＋１）−Ｂ（ｘ，ｙ−１）｜ …（２）
としてエッジ強度を求める方法が一例として挙げられる。

差分処理手段１６は、特徴抽出手段１５から出力される背景画像エッジ強度Ｂ_E（ｘ，ｙ）と入力画像エッジ強度Ｉ_E（ｘ，ｙ）との差分絶対値（エッジ強度の変化量あるいはエッジ差分）｜Ｂ_E（ｘ，ｙ）−Ｉ_E（ｘ，ｙ）｜を求める。

２値化手段１７は、差分処理手段１６から出力されるエッジ差分を２値化テーブル領域１４に記憶されている２値化閾値に従い、画素毎に定められた閾値で２値化する。具体的には、エッジ差分の画素で２値化閾値以上の値を有するものを変化画素”１”として抽出し、それ以外の画素を”０”とする。
詳細な根拠は後述するが、２値化閾値は背景画像エッジ強度に応じて画素毎に定められており、背景画像に強いエッジが含まれていても的確に侵入者に関するエッジを抽出することができるようになる。

ラベル領域抽出手段１８は、２値化手段１７から出力された画像に対して、ノイズ除去処理、ラベリング処理、領域切り出し処理を実行する。
実際の画像ではきれいにエッジが抽出されることは稀で、仮定している侵入者の大きさ等の条件から外れる小さなエッジ（変化画素の集合）も存在する。そこで、このようなエッジは処理の対象外とするといった、所謂ノイズ除去処理を行う。ノイズ除去には、画像処理で一般的に用いられているメディアンフィルタや多数決フィルタを用いればよい。

また、相互間が一定の位置関係にある変化画素は、同一物体により生じた変化画素であると判定して１つにまとめてラベル領域とする、所謂ラベリング処理を行う。

更に、ラベリング処理でまとめられたラベル領域の内、撮影条件から定まる”人らしい”大きさや縦横比を持つラベル領域を選択してその外接領域を切り出しする、所謂領域切り出し処理を行う。
切り出す領域は外接矩形領域が処理には便利であるが、必ずしもそれを用いる必要はない。例えば、長軸方向を一致させた楕円形等も用いることができる。
上述の一連の処理によって抽出されたラベル領域は、出力部１１１に渡される。

背景画像更新手段１９は、画像入力Ｉ／Ｆ１２にてデジタル化された画像信号の内、侵入者がいない（移動物体がない）と判断された画像を選択し、背景画像として記憶領域１３へ記憶する。
背景画像は、日照変動等を考慮して適宜更新することとする。更新のアルゴリズムは、侵入者がいないと判断されたときの画像を用いるという条件の下で、一定間隔で全画面を置き換える方式、過去の複数の画像を用いた移動平均方式等があるが、設置条件に適したものを採用する。
本発明においては、適切な方法にて更新されていると仮定して中心となる処理を説明する。

２値化閾値算出手段１１０は、各画素における２値化閾値を計算して２値化閾値テーブル領域１４に記憶する。
２値化閾値は、背景画像エッジ強度に応じて画素毎（複数の画素からなる領域毎も含む）に変化させる。背景画像エッジ強度が高い領域（画像として複雑な領域）の画素は高い閾値、背景画像エッジ強度が低い領域（画像として単純な領域）の画素には低い閾値を用いるものとする。
上述したように、２値化手段１７は、差分処理手段１６から出力されるエッジ差分を２値化テーブル領域１４に記憶されている画素毎に定められた２値化閾値に従って２値化する。

ここで、２値化閾値を背景画像エッジ強度で変化させることの根拠について述べる。
背景画像エッジ強度が低い領域では、侵入者がいない場合には、光が照射されてもエッジ差分が現れにくい。それに対し、背景画像エッジ強度が高い領域では、侵入者がいない場合でも、光が照射されるとエッジ差分が現れやすい。
なぜなら、ある画素における背景画像エッジ強度をＥとすると、光が照射されたときのその画素におけるエッジ強度（すなわち、入力画像エッジ強度）は近似的にｋ＊Ｅ（ｋは照射された光の強度に依るｋ＞１なる定数）とみなすことができるので、エッジ差分は、（ｋ−１）＊Ｅとなり、元の背景画像エッジ強度Ｅがより大きい方が、光が照射された場合にエッジ差分も大きくなるからである。

よって、背景画像エッジ強度が低い領域では、少しでもエッジに変化があれば（エッジ差分があれば）、そのエッジの変化は光の照射によるものではなく侵入者によるものである可能性が高い。
それに対し、背景画像エッジ強度が高い領域では、光が照射されたときにエッジ差分が現れやすいため、２値化閾値を低めに設定すると照射された光を侵入者と誤検出する可能性が高くなるので、背景画像エッジ強度が低い領域と同じ（低めの）閾値を用いるのは望ましくない。

従って、背景画像エッジ強度が低い領域では、エッジの変化に対して敏感に侵入者を検出したいので、２値化閾値を低めにし、背景画像エッジ強度が高い領域では、エッジの変化に対して鈍感に侵入者を検出したいので、２値化閾値を高めにする。
ただし、背景画像によるエッジと侵入者によるエッジとを十分区別できるような値に２値化閾値を設定する必要がある。

図２は、本発明における背景画像エッジ強度とエッジ差分の２値化閾値との関係の一例を示すグラフである。
同図に示した例のように、上述の根拠に基づいて、本発明では２値化閾値を背景画像エッジ強度の関数として定義する。

同図には、この関数のグラフの例として２値化閾値が背景画像エッジ強度に対して階段状に増加する増加関数を示したが、これは単なる一例に過ぎず、この関数が増加傾向であればどのようなものであっても良い。
例えばグラフが直線となる傾きが正の一次関数やグラフが曲線となる単調増加な関数等を採用することが考えられる。

以上のようにして、２値化閾値算出手段１１０は、背景画像における各画素のエッジ強度（背景画像エッジ強度）から上述の増加関数等を参照して２値化閾値を特定する。そして、その２値化閾値を当該画素に対応させて設定し、２値化閾値テーブル領域１４に記憶させる。

出力部１１１は、ラベル領域抽出手段１８にて切り出されたラベル領域を本発明の出力として侵入判定部１１２へ渡す。

侵入判定部１１２は、出力部１１１から出力されたラベル領域の情報を用いて、大きさや形状に基づいて、切り出された領域が検出対象である侵入者かどうかを判定する。また、判定には、ラベル領域の輝度情報等の付加的情報を併用するのが好ましい。

なお、背景画像は入力画像１フレーム毎に更新されるとは限らないので、背景画像更新手段１９は、背景画像が更新されたときに、該画像を特徴抽出手段１５に出力し、特徴抽出手段１５によって背景画像から生成された背景画像エッジ強度を背景画像領域１３に記憶するような構成にしても良い。
この場合、差分処理手段１６は、背景画像領域１３から出力される背景画像エッジ強度Ｂ_E（ｘ，ｙ）と特徴抽出手段１５から出力される入力画像エッジ強度Ｉ_E（ｘ，ｙ）とから差分絶対値（エッジ強度の変化量あるいはエッジ差分）｜Ｂ_E（ｘ，ｙ）−Ｉ_E（ｘ，ｙ）｜を求めることになる。

図３は、本発明のフロー図である。
同図に従って、本発明の動作を示す。

まず、監視範囲を撮影する撮像部１１からの画像の取得を行う（Ｓ３１）。
このステップでは、以下に述べる処理に用いる現在の画像を取得すると共に、人がいないと判断された場合には背景画像の取得を行うことになる。
図４（ａ）及び図４（ｂ）は、それぞれ、Ｓ３１で得られた背景画像と入力画像の例を示す図である。
図４（ｂ）では、斜め右上から光が当たっており、明るく照らされた領域内に侵入者４１がいる。

次に、特徴抽出手段１５にて、Ｓ３１で得られた入力画像のエッジ強度を抽出する（Ｓ３２）。
図５は、図４（ｂ）の入力画像からエッジ強度を抽出した結果を示す図である。
同図に示すように、背景と侵入者４１のエッジが抽出されているが、照射された光の輪郭（図４（ｂ）参照）は抽出されていない。
光の領域の輪郭はグラデーションになっているため、入力画像エッジ強度は強くないことが実験により知られている。

次に、特徴抽出手段１５にて、背景画像のエッジ強度を抽出する（Ｓ３３）。
図６は、図４（ａ）の背景画像からエッジ強度を抽出した結果を示す図である。
なお、このステップは毎回実行する必要はなく、Ｓ３１で人がいないと判断され背景画像が取得された場合にのみ実行し、記憶しておいてもよい。

次に、差分処理手段１６にて、Ｓ３２で求めた入力画像エッジ強度とＳ３３で求めた背景画像エッジ強度との差を各画素毎に計算しエッジ強度の変化量（エッジ差分）を得る（Ｓ３４）。
図７は、上述の例に関して、背景画像エッジ強度（図６参照）と入力画像エッジ強度（図５参照）との差分結果（エッジ差分）を示す図である。
同図において、侵入者４１のエッジに加え、光が照射された領域の背景画像のエッジが現れている。
これは、光が照射された領域では、入力画像エッジ強度が背景画像エッジ強度に比して強くなるためエッジ差分が生じるためである。

次に、２値化手段１７は、２値化閾値テーブル領域１４に記憶されている各画素の２値化閾値を読み出す（Ｓ３５）。
上述したように、この２値化閾値は、Ｓ３３で求めた背景画像エッジ強度の関数により求められた値である（図２参照）。

次に、２値化手段１７にて、Ｓ３４で求めた差分結果（エッジ差分）をＳ３５で読み出した２値化閾値に従って２値化する（Ｓ３６）。具体的には、エッジ差分の画素で２値化閾値以上の値を有するものを変化画素”１”として抽出し、それ以外の画素を”０”とする。２値化は画素毎に行う。

上述したように、エッジ差分を２値化する際に、高い背景画像エッジ強度に対しては２値化閾値を高く、低い背景画像エッジ強度に対しては低くするような関数（図２参照）を２値化閾値算出手段１１０では採用している。
そのため、高い背景画像エッジ強度を有するエッジ差分の画素は、高い閾値で２値化されるため、ある程度の大きさのエッジ差分までは２値化処理によって”０”に割り当てられやすくなる。
ただし、侵入者の（輪郭）部分の画素は、”１”に割り当てられるような程度に閾値を定めておく。

図８は、上述の例に関して、背景画像エッジ強度（図６参照）と入力画像エッジ強度（図５参照）から得られたエッジ差分（図７参照）を２値化した結果を示す図である。
図７に示したようにエッジ差分は侵入者４１のエッジと光が照射された領域の背景画像のエッジとを合わせたものとなっているが、上述のような画素毎の２値化によって背景画像のエッジは”０”に割り当てられ、図８に示すように侵入者４１のエッジのみが的確に”１”として抽出される。

次に、ラベル領域抽出手段１８にて、上述のノイズ除去処理、ラベリング処理、領域切り出し処理を実行してラベル領域を抽出し（Ｓ３７）、出力部１１１に渡す。

最後に、侵入判定部１１２は、出力部１１１から変化画素”１”が形成する領域であるラベル領域を受け取り、Ｓ３７にて抽出されたラベル領域が侵入者によるものか否かの判定を行い、該ラベル領域が侵入者によるものであると判定された場合には、その旨の警報を発する（Ｓ３８）。
侵入者によるものか否かの最終判定は、上述したラベル領域の情報のみではなく、入力画像中での位置の輝度情報等の付加的情報も併用してもよい。
前記付加的情報としては、「人間であると仮定できる大きさ、縦横比」、「人間として現実的に考えられる移動速度」、「輝度分布やテクスチャ情報」等が考えられる。

以上説明したように、本発明によれば、背景画像エッジ強度と入力画像エッジ強度との絶対差分値（エッジ差分）を２値化するための閾値を背景画像エッジ強度の増加関数として算出して、画素毎に異なる閾値を用いてエッジ差分の中から変化領域を抽出する。
エッジ差分を利用するため、照射された光のように輪郭がグラデーションとなっているものを排除することができ、光による誤報を避けることができる効果がある。
また、前記関数による閾値を用いると、エッジ強度の変化量（エッジ差分）は大きいが侵入者によるものではない領域を抽出しないようにすることができるため、光の照射による侵入者の誤検出を防止しつつも、強い光の中から侵入者だけを抽出することができる効果がある。

本発明の構成を表すブロック図である。 エッジ強度の差分の２値化閾値を設定するための関数のグラフである。 本発明の処理全体を示す図である。 背景画像と入力画像の例を示す図である。 入力画像エッジ強度の抽出結果を示す図である。 背景画像エッジ強度の抽出結果を示す図である。 背景画像エッジ強度と入力画像エッジ強度の差分結果を示す図である。 背景画像エッジ強度と入力画像エッジ強度の差分の２値化結果を示す図である。

符号の説明

１１ 撮像部
１２ 画像入力Ｉ／Ｆ
１３ 背景画像記憶領域
１４ ２値化閾値テーブル領域
１５ 特徴抽出手段
１６ 差分処理手段
１７ ２値化手段
１８ ラベル領域抽出手段
１９ 背景画像更新手段
１１０ ２値化閾値算出手段
１１１ 出力部
１１２ 侵入判定部

Claims (3)

1. 監視領域を撮像した画像を取得する画像入力手段と、
   前記画像のエッジを抽出する特徴抽出手段と、
   基準となる背景画像から前記特徴抽出手段によって抽出された背景画像エッジ又は前記背景画像を記憶する背景記憶手段と、
   監視対象である入力画像から前記特徴抽出手段によって抽出された入力画像エッジと前記背景画像エッジとを比較し各画素におけるエッジ強度の変化量を求める差分処理手段と、
   前記背景画像エッジのエッジ強度に基づいて前記各画素における所定の２値化閾値を設定する２値化閾値設定手段と、
   前記各画素における前記エッジ強度の変化量と前記各画素における前記所定の２値化閾値とを比較し該２値化閾値以上となる変化画素を抽出する変化画素抽出手段と、
   少なくとも前記変化画素が形成する領域に基づいて監視領域における移動体の存在を判定する移動体判定手段と、
   を備えることを特徴とする画像監視装置。
2. 前記２値化閾値設定手段は、前記背景画像エッジの各画素におけるエッジ強度に基づいて前記各画素における前記所定の２値化閾値を求め、該求めた所定の２値化閾値を画素毎に対応させて設定する請求項１に記載の画像監視装置。
3. 前記２値化閾値設定手段は、前記背景画像エッジのエッジ強度の増加関数として求まる値を前記各画素における前記所定の２値化閾値に設定する請求項１又は２に記載の画像監視装置。

Images