JP4619082B2

JP4619082B2 - 画像判定装置

Info

Publication number: JP4619082B2
Application number: JP2004286397A
Authority: JP
Inventors: 佳丸川
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2004-09-30
Filing date: 2004-09-30
Publication date: 2011-01-26
Anticipated expiration: 2024-09-30
Also published as: JP2006099544A

Description

本発明は画像判定装置に関し、特に、光や影等の光量変化により生じたものを侵入者として誤検出する可能性の極めて少ない画像判定装置に関するものである。

従来、侵入者検出を目的とした画像センサとして、背景画像からの変化に基づいて侵入者を検出するものがある。この画像センサは、背景画像と入力画像とで各画素の輝度差分値を求め、輝度差分値が所定値以上である画素の集合を変化領域として抽出する。そして、変化領域の大きさや形状等が人体らしさを示す基準を満たすか否かによって侵入者を検出する。

ところで、画像センサで撮影した画像には、監視領域付近の環境変化（例えば、日照変化等）により、木等の影や監視領域外の物体の影が監視領域内に映り込むことがある。影により輝度差が生じると、画像センサはこれを変化領域として抽出する。そして、変化領域の大きさ、形状が基準を満たした場合には、侵入者を誤検出してしまうことになる。

この問題を解決する方法としては、抽出した変化領域が影であるか否かを判定する方法が考えられる。影の判定方法としては、影が発生した場合の輝度変化を予め設定しておき、抽出した変化領域の輝度変化と予め設定された影による輝度変化とを比較して、変化領域が影であるか否かを判定する方法が提案されている（特許文献１参照）。

特開２００１−２２９３８９号公報

しかし、影による輝度変化（影の濃さ）は、環境変化（光の強さ）等、影の発生状況によって異なる。侵入者検出を目的とした画像センサにおいて、特に屋外を監視する場合には、日照等の周囲の光の強さが変化するため、生じる影による輝度変化も様々である。また、監視領域外を通過する移動物体（人、車、鳥等）による影が映り込むため、影による輝度変化の予測は困難である。

従って、従来の影の判定方法を画像センサに適用した場合、影の濃さが予め設定されたものと異なる場合には、変化領域を影と認識することができない。このように、従来の影の判定方法では、影を侵入者として誤検出してしまう場合がある。
本発明は、上記問題に鑑み、監視領域への影の映り込みによる侵入者の誤検出を防止することができる画像センサを提供することを目的とする。

本発明に係る画像判定装置は、入力画像から抽出した変化領域が光や影等の光量変化により生じたものであるか否かを判定する画像判定装置において、背景画像を記憶する背景画像記憶手段と、入力画像と背景画像とを比較して輝度差が生じている変化領域を抽出する変化領域抽出手段と、変化領域における各画素の入力画像と背景画像との輝度変化を算出し、かつ変化領域における各画素の輝度変化と該画素と隣接する画素の輝度変化との相違を算出する輝度変化相違算出手段と、隣接する画素との輝度変化の相違が小さい画素数に基づいて変化領域が光量変化により生じたものであるか否かを判定する非人体判定手段と、を備えることを特徴とする。

変化領域が光や影等の光量変化により生じたものである場合は、背景画像と入力画像とで撮影対象は変わらないため、変化領域における各画素の輝度変化は一様である。また、影等の輪郭部分は徐々に薄くなっていく特性があり、変化領域と背景との境界は明瞭ではない。よって、変化領域が影等である場合は変化領域が影等でない場合に比べて、隣接する画素同士の輝度変化の相違が小さくなる。
本発明は、上記物理現象を利用して、隣接する画素との輝度変化の相違が小さい画素数が多いほど、変化領域が光や影等の光量変化により生じたものである可能性が高いと判断する。これにより、影等の濃さを予め設定することなく変化領域が影等である場合を確実に検出することができるようになり、従来の方法と比して影等を侵入者として誤検出する可能性を極めて減少させることができる効果がある。

図１は、本発明の構成を表すブロック図である。
まず、同図を参照して、本発明の各構成要素について説明する。

撮像部１１は、監視範囲を視野とする画像入力手段としてのカメラを表す。カメラには、ＮＴＳＣ型、高解像度型、可視光型、赤外光型等の様々な種類があるが、本発明においては種類を制限しない。

画像入力Ｉ／Ｆ１２は、撮像部１１にて取得された画像信号をＣＰＵ、ＤＳＰ等のプロセッサにて処理できるようにデジタル化して、前記プロセッサで構成される信号処理部と記憶部に出力する。デジタル化された画像は、画像中の各画素について輝度値で表現される。

背景画像記憶領域１３は、画像入力Ｉ／Ｆ１２にてデジタル化された画像信号の内、変化領域が無いと判断された画像を選択し、背景画像として記憶する。前記背景画像は、日照変動等を考慮して適宜更新することとする。更新のアルゴリズムには、種々のものがあるが、本明細書においては、本発明に最適なアルゴリズムが選択されているものとして、中心となる処理を説明する。

変化領域抽出手段１４は、画像入力Ｉ／Ｆ１２から出力された入力画像Ｉ（ｘ，ｙ）と背景画像記憶領域１３に記憶されている背景画像Ｂ（ｘ，ｙ）とを用いて、各画素における輝度差｜Ｂ（ｘ，ｙ）−Ｉ（ｘ，ｙ）｜を求める。そして、輝度差が所定以上である画素からノイズを除去し、変化領域ＣＲを抽出する。

輝度比・変化率算出手段１５は、変化領域ＣＲ内の各画素（ｘ，ｙ）に対し、入力画像Ｉ（ｘ，ｙ）と背景画像Ｂ（ｘ，ｙ）との輝度変化を求める。本実施例では、輝度変化として輝度比ｃ（ｘ，ｙ）を次式にて求める。
ｃ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）／Ｉ（ｘ，ｙ） …（１）
なお、式（１）の右辺の逆数を輝度比ｃ（ｘ，ｙ）と定義しても良い。

更に、画素（ｘ，ｙ）の隣接画素（ｘ＋１，ｙ）について、輝度変化の相違を求める。本実施例では、輝度変化の相違として輝度比ｃ（ｘ＋１，ｙ）とｃ（ｘ，ｙ）とから輝度比の変化率Ｌｒ（ｘ，ｙ）を次式にて求める。
Ｌｒ（ｘ，ｙ）＝｜（ｃ（ｘ＋１，ｙ）−ｃ（ｘ，ｙ））／ｃ（ｘ，ｙ）｜
…（２）
なお、（ｘ，ｙ）の隣接画素を（ｘ＋１，ｙ）として隣接画素の輝度比ｃ（ｘ＋１，ｙ）を用いて、式（２）により輝度比の変化率Ｌｒ（ｘ，ｙ）を計算したが、隣接画素を（ｘ−１，ｙ）、（ｘ、ｙ±１）、又は（ｘ±１，ｙ±１）（複号任意）等として輝度比の変化率Ｌｒ（ｘ，ｙ）を計算しても良い。

式（１）を用いて、式（２）を変形すると、
Ｌｒ（ｘ，ｙ）＝｜ｃ（ｘ＋１，ｙ）＊ｃ（ｘ，ｙ）^-1−１｜
＝｜Ｂ（ｘ＋１，ｙ）／Ｉ（ｘ＋１，ｙ）＊Ｉ（ｘ，ｙ）／Ｂ（ｘ，ｙ）−１｜
＝｜（Ｉ（ｘ，ｙ）＊Ｂ（ｘ＋１，ｙ））／（Ｉ（ｘ＋１，ｙ）＊Ｂ（ｘ，ｙ））−１｜
…（３）
となる。
ここで、Ｉ（ｘ＋１，ｙ）＊Ｂ（ｘ，ｙ）＝０の場合は、輝度比の変化率Ｌｒ（ｘ，ｙ）は後述の閾値Ｔｈ１より大きな任意の値とする。

影判定手段１６では、変化領域ＣＲが影かそれ以外かを判定する。
まず、判定の原理について説明する。

変化領域ＣＲが影である場合、変化領域ＣＲ内の画素（ｘ，ｙ）に関しては、背景画像Ｂ（ｘ，ｙ）と入力画像Ｉ（ｘ，ｙ）とでは、単に明るさが異なるだけで撮影対象そのものは変わらないため、撮影対象の反射率をＲ（ｘ，ｙ）として、
Ｂ（ｘ，ｙ）≒Ｌ₁＊Ｒ（ｘ，ｙ） …（４）
Ｉ（ｘ，ｙ）≒Ｌ₂＊Ｒ（ｘ，ｙ） …（５）
と表される。
ただし、Ｌ₁、Ｌ₂は、それぞれ、変化領域ＣＲに影が無いときとあるときの変化領域ＣＲを照らす光源の強度の総和であり、厳密には（ｘ，ｙ）の関数であるが、ここでは近似的に定数と考える。

式（４）、（５）から式（６）が成り立ち、入力画像Ｉ（ｘ，ｙ）と背景画像Ｂ（ｘ，ｙ）との輝度比は、近似的に光源の強度で表すことができる。
Ｂ（ｘ，ｙ）／Ｉ（ｘ，ｙ）≒Ｌ₁／Ｌ₂ …（６）
従って、変化領域ＣＲが影である場合、式（１）より式（７）が成り立つ。
ｃ（ｘ，ｙ）≒ｋ（ｋは定数） …（７）
つまり、輝度比ｃ（ｘ，ｙ）は、撮影対象の反射率Ｒ（ｘ，ｙ）にも画素（ｘ，ｙ）にも依存しない定数と近似することができる。
従って、この場合、式（２）より、隣接画素との輝度比の変化率Ｌｒ（ｘ，ｙ）は、
Ｌｒ（ｘ，ｙ）≒０ …（８）
と非常に小さい値になる。

一方、変化領域ＣＲが影以外（例えば人）である場合、変化領域ＣＲ内にテクスチャが少ないときには隣接画素間で輝度比ｃ（ｘ，ｙ）の変化が小さくなる傾向があるため、やはり変化率Ｌｒ（ｘ，ｙ）は小さい値を取る。
しかし、変化領域ＣＲが影以外の場合は、背景と撮影対象が異なり、反射率Ｒ（ｘ，ｙ）が異なるため、輝度比ｃ（ｘ，ｙ）の値が大きくなる。
よって、変化領域ＣＲの輪郭部分に注目すると、変化領域ＣＲ内の画素については輝度比ｃ（ｘ，ｙ）が大きいのに対し、変化領域ＣＲの周囲の画素は輝度比ｃ（ｘ，ｙ）が非常に小さいため、変化率Ｌｒ（ｘ，ｙ）は変化領域ＣＲが影である場合に比して大きい値を取る。
変化領域ＣＲが影以外である場合、変化領域ＣＲ内にテクスチャが少なくないときには、変化領域ＣＲの内部においても輝度比の変化率Ｌｒ（ｘ，ｙ）が比較的大きい値を取ることは言うまでもないことである。

従って、概略的に述べると、変化領域ＣＲ内で輝度比の変化率Ｌｒ（ｘ，ｙ）が小さい値を取る画素の個数が多いときに変化領域ＣＲを影であると判定すればよいことになる。
そのために、まず、所定の閾値Ｔｈ１に対して、次式からＮｔｈ１を求める。
Ｎｔｈ１＝｜｜｛（ｘ，ｙ）｜Ｌｒ（ｘ，ｙ）≦Ｔｈ１｝｜｜ …（９）
ただし、｜｜Ａ｜｜は、集合Ａの要素の個数を表す。
｛（ｘ，ｙ）｜Ｌｒ（ｘ，ｙ）≦Ｔｈ１｝は、変化領域ＣＲ内で輝度比の変化率Ｌｒ（ｘ，ｙ）がＴｈ１以下の値を取る画素の集合であり、Ｎｔｈ１は、その要素の個数である。
すなわち、Ｎｔｈ１が大きい値のときに変化領域ＣＲを影であると判定すればよい。

以上の原理に従って、変化領域ＣＲを構成する画素数に対して、輝度比の変化率Ｌｒ（ｘ，ｙ）が小さい画素数の大きさによって変化領域ＣＲが影であるか否かを判定する。ここでは、変化領域ＣＲに含まれる全画素数をＮａｌｌとして、所定の閾値Ｔｈ２に対して、条件
Ｎｔｈ１／Ｎａｌｌ≧Ｔｈ２ …（１０）
が満たされる場合に限って、変化領域ＣＲは影であると判定する。
つまり、変化領域ＣＲの全画素中に、輝度比の変化率Ｌｒ（ｘ，ｙ）が小さい画素が所定の閾値以上含まれるか否かにより判定する。

また、式（１０）の代わりに、所定の閾値Ｔｈ２’に対して、条件
Ｎａｌｌ−Ｎｔｈ１≦Ｔｈ２’ …（１１）
を用いても良い。
上式の両辺をＮａｌｌ（＞０）で割り、式（１１）を変形すると、
（１１）
⇔
１−Ｎｔｈ１／Ｎａｌｌ≦Ｔｈ２’／Ｎａｌｌ
⇔
Ｎｔｈ１／Ｎａｌｌ≧１−Ｔｈ２’／Ｎａｌｌ …（１１）’
となるので、条件式（１１）は、条件式（１０）と同様に、隣接する画素との輝度変化の相違が小さい画素数Ｎｔｈ１が、変化領域ＣＲを構成する画素数Ｎａｌｌに占める割合が大きいことを判定する式である。

これとは別に、変化領域ＣＲの輪郭部分を正確に把握できる場合には、輪郭部分をあらためて変化領域ＣＲと考えて、新たな変化領域ＣＲの画素のみに着目して、新たな変化領域ＣＲが影の輪郭であるかどうかを判定することができる。

この場合、その新たな変化領域ＣＲ内で輝度比の変化率は次式に従って求める。
Ｌｒ（ｘ，ｙ）＝｜（ｃ（ｘ＋Δｘ，ｙ＋Δｙ）−ｃ（ｘ，ｙ））／ｃ（ｘ，ｙ）｜
…（２）’
ただし、（ｘ＋Δｘ，ｙ＋Δｙ）は新たな変化領域ＣＲ内の画素（ｘ，ｙ）に隣接する画素である。
Ｌｒ（ｘ，ｙ）からのＮｔｈ１の算出方法は、先の場合と同様である（式（９）参照）。

そして、この場合、新たな変化領域ＣＲの画素数をＮｏｕｔとして、所定の閾値Ｔｈ２’’に対して、条件
Ｎｔｈ１／Ｎｏｕｔ≧Ｔｈ２’’ …（１２）
が成立するときに限って、新たな変化領域ＣＲが影の輪郭であると判定する。
つまり、輪郭部分の画素に対して、輝度比の変化率Ｌｒ（ｘ，ｙ）が小さい画素数が所定の割合以上であるか否かを判定する。
この条件を用いる場合、輪郭部分のみを用いて判定するため、新たな変化領域ＣＲ内部の輝度変化の影響を受けにくく、影の特性を最大限に利用できるという利点がある。

以上のような影の判定条件に加え、式（１０）〜（１２）の内二つ以上の論理積をもって、変化領域ＣＲが影であると判定する条件にすることもできる。

出力部１７は、影判定手段１６にて判定された結果、すなわち抽出された領域が影によるものか、そうでないのかの情報を侵入判定・警報通報部１８に渡す。

侵入判定・警報通報部１８は、出力部１７から出力された情報に基づき、変化領域ＣＲが影でない場合には、他の付加的情報も併用して変化領域ＣＲが侵入者によるものであるかどうかを判定する。変化領域ＣＲが侵入者によるものであると判定された場合には、警報を通報し、後続の各種処理を行う。

図２は、本発明のフロー図である。
同図に従って、本発明の動作を示す。

まず、撮像部１１より入力画像（現在の画像）を取得する（Ｓ２１）。
図３は得られた入力画像Ｉ（ｘ，ｙ）の例である。
以下では、屋内において視野外に何らかの物体があり、その影が延びて視野の床に映り込んでいる状態（図３参照）を例に挙げ説明する。

次に、変化領域抽出手段１４にて背景差分により入力画像中に存在する変化領域ＣＲを抽出する（Ｓ２２）。
図４（ａ）は背景画像記憶領域１３に記憶されている背景画像Ｂ（ｘ，ｙ）の例、図４（ｂ）は差分結果の例である。
図３、４に示したように、入力画像Ｉ（ｘ，ｙ）と背景画像Ｂ（ｘ，ｙ）とを用いて背景差分すると、これらの画像で変化のない部分が消去されて、変化領域ＣＲが抽出される（図４（ｂ）参照）。

次に、輝度比及び変化率算出手段１５にて変化領域ＣＲ内の対応する画素について入力画像Ｉ（ｘ，ｙ）と背景画像Ｂ（ｘ，ｙ）との輝度比ｃ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）／Ｉ（ｘ，ｙ）を求める。（Ｓ２３）。
図５は、輝度比ｃ（ｘ，ｙ）の計算を模式的に表す図である。

引き続き、輝度比及び変化率算出手段１５にて（ｘ，ｙ）に隣接する画素（ｘ＋１，ｙ）における輝度比ｃ（ｘ＋１，ｙ）を計算し、輝度比の変化率Ｌｒ（ｘ，ｙ）＝｜（ｃ（ｘ＋１，ｙ）−ｃ（ｘ，ｙ））／ｃ（ｘ，ｙ）｜を求める（Ｓ２４）。このとき、式（３）
Ｌｒ（ｘ，ｙ）
＝｜（Ｉ（ｘ，ｙ）＊Ｂ（ｘ＋１，ｙ））／（Ｉ（ｘ＋１，ｙ）＊Ｂ（ｘ，ｙ））−１｜
を用いても良い。
図６は、輝度比の変化率Ｌｒ（ｘ，ｙ）の計算を模式的に表す図である。
式（３）から、同図に示した隣接する画素における４個の輝度値から輝度比の変化率Ｌｒ（ｘ，ｙ）が求まることが理解される。

次に、影判定手段１６にて式（９）のＮｔｈ１を求める。すなわち、変化領域ＣＲ内部において、輝度比の変化率Ｌｒ（ｘ，ｙ）が閾値Ｔｈ１以下の画素の個数を計数し、その結果をＮｔｈ１とする（Ｓ２５）。

引き続き、影判定手段１６にてＮｔｈ１／Ｎａｌｌを求め、閾値Ｔｈ２と比較する。すなわち、輝度比の変化率Ｌｒ（ｘ，ｙ）が閾値Ｔｈ１以下である画素数Ｎｔｈ１の変化領域ＣＲ内の全画素数Ｎａｌｌに占める割合を計算し（Ｓ２６）、閾値Ｔｈ２と比較する（Ｓ２７）。

更に、影判定手段１６にて、Ｎｔｈ１／Ｎａｌｌ≧Ｔｈ２である場合に変化領域ＣＲは影であると判断し（Ｓ２８）、Ｎｔｈ１／Ｎａｌｌ＜Ｔｈ２である場合に変化領域ＣＲは影でないと判断し（Ｓ２９）、判断結果を出力部１７に渡す。

最後に、侵入判定・警報通報部１８は、出力部１７から出力された情報に基づき、Ｓ２９で変化領域ＣＲが影でないと判断された場合には、輝度比の変化率Ｌｒ（ｘ，ｙ）以外の付加的情報を用いた他の判定基準に基づいて、変化領域ＣＲが侵入者によるものか否かの判定を行い、侵入者によるものである場合には警報を発する（Ｓ３０）。

前記付加的情報としては、「変化領域の大きさ、形状」、「輝度情報」、「移動情報」等が考えられる。
「変化領域の大きさ、形状」は、変化領域ＣＲが人らしい大きさや縦横比を持つか否かを判定するための情報である。
「輝度情報」は、例えば侵入者がテクスチャのある服を着ている場合もあることを考慮して、求められた変化領域ＣＲの輝度分散等である。
「移動情報」は、例えば、変化領域ＣＲが人間として現実的な速度で移動しているか否かを判定するための情報である。

上述の説明においては、Ｓ２６、Ｓ２７の処理は式（１０）に基づいた判断を実行するものとしたが、これらの処理を式（１１）あるいは式（１２）に基づいた判断を実行するように変更することも可能である。
また、これらの処理を式（１０）〜（１２）の内二つ以上の論理積に基づいた判断を実行するように変更することも可能である。

以上説明したように、本発明によれば、入力画像と背景画像との輝度比を計算することにより、変化領域が影である場合に輝度比が近似的に撮影対象の反射率に依存しない値として求まる。それにより、変化領域が影である場合には変化領域が影でない場合に比べて、隣接画素同士の輝度比の変化率が小さい値を取る。このことを用いて、隣接する画素との輝度比の変化率が小さい画素数が変化領域の画素数に占める割合が大きい場合に、変化領域が影であると判定する。これにより、影の濃さを予め設定することなく変化領域が影である場合を確実に検出することができるようになり、従来の方法に比して影を侵入者として誤検出する可能性を極めて減少させることができる効果がある。

なお、以上の説明においては、変化領域が影であるか否かを判定しているものとしたが、局所的な光領域に対しても同様の効果が期待できる。つまり、影の判定のみならず、人ではない何らかの光学的要因による光量変化であるか否かの判定が可能である。

本発明の構成を示すブロック図である。本発明のフロー図である。得られた入力画像の例である。背景画像と差分結果である。輝度比の計算を模式的に示す図である。輝度比の変化率の計算を模式的に示す図である。

符号の説明

１１撮像部
１２画像入力Ｉ／Ｆ
１３背景画像記憶領域
１４変化領域抽出手段
１５輝度比・変化率算出手段
１６判定手段
１７出力部
１８侵入判定・警報通報部

Claims

入力画像から抽出した変化領域が光または影による光量変化により生じたものであるか否かを判定する画像判定装置において、
背景画像を記憶する背景画像記憶手段と、
前記入力画像と前記背景画像とを比較して輝度差が生じている変化領域を抽出する変化領域抽出手段と、
前記変化領域及びその周囲における各画素の前記入力画像と前記背景画像との輝度変化を算出し、かつ前記変化領域における各画素の前記輝度変化と該画素と隣接する画素の前記輝度変化との相違を算出する輝度変化相違算出手段と、
前記隣接する画素との前記輝度変化の相違が小さい画素数に基づいて前記変化領域が光量変化により生じたものであるか否かを判定する非人体判定手段と、
を備えることを特徴とする画像判定装置。
前記変化領域が光量変化により生じたものでないと判定された場合には、他の判定基準に基づいて前記変化領域が侵入者によるものか否かを判定し、前記変化領域が侵入者によるものである場合に警報を発する侵入判定手段を更に備えることを特徴とする請求項１に記載の画像判定装置。
前記輝度変化とは、前記入力画像と前記背景画像との輝度比である請求項１又は２に記載の画像判定装置。
前記輝度変化の相違とは、前記各画素の前記輝度比に対して、当該輝度比と前記隣接する画素の前記輝度比との差が占める割合である請求項３に記載の画像判定装置。
前記非人体判定手段は、前記隣接する画素との前記輝度変化の相違が小さい画素数が前記変化領域を構成する画素数に占める割合が大きい場合に、変化領域が光量変化により生じたものであると判定する請求項１乃至４のいずれか一項に記載の画像判定装置。
前記輝度変化相違算出手段は、前記変化領域の輪郭部分の画素を抽出して前記輪郭部分をあらためて変化領域とし、抽出された各画素について前記輝度変化及び前記輝度変化の相違を算出する請求項１乃至５のいずれか一項に記載の画像判定装置。