JP4259720B2 - 画像センサ - Google Patents
画像センサ Download PDFInfo
- Publication number
- JP4259720B2 JP4259720B2 JP2000054408A JP2000054408A JP4259720B2 JP 4259720 B2 JP4259720 B2 JP 4259720B2 JP 2000054408 A JP2000054408 A JP 2000054408A JP 2000054408 A JP2000054408 A JP 2000054408A JP 4259720 B2 JP4259720 B2 JP 4259720B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- attribute information
- human
- disturbance
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像部にてある領域を撮影し、得た画像に対して画像処理を施すことによって、撮影領域内の人の存在の有無を検出する画像センサに関する。
【０００２】
【従来の技術】
従来、監視カメラにて撮影した画像から、人間の特徴を示す領域の存在を検出することによって、監視領域における侵入者の存在の有無を判定する画像センサがあった。この画像センサでは、例えば、現在撮影した入力画像と予め記憶してある基準画像とを比較して、両画像の差分を変化領域として取得する。もし、入力画像に侵入者が写っていれば、基準画像に写っていない侵入者は、変化領域として検出される。
【０００３】
この変化領域について、所定の面積（大きさ）、所定の輝度、所定の移動距離などを演算し、変化領域が人間を示す特徴を有した場合は、人間が監視領域に存在すると判定していた。
一方、変化領域が、急激な輝度変化である場合、又は、テクスチャの変化が少ない場合などは、照明や太陽光などの外乱に起因するものであるとして、人間による画像変化ではないと判定していた。
【０００４】
すなわち、従来の画像センサは、変化領域における「変化面積」「輝度」「テクスチャ」など種々のパラメータについて、それぞれ「人」による特徴を示すか「外乱」による特徴を示すかの２値で判定し、全てのパラメータが「人」による特徴を示すと判定された場合に、人間が存在すると判定していた。
【０００５】
【発明が解決しようとする課題】
しかし監視領域には、太陽光、照明などの光による変化、監視領域外から映り込む影による変化、ねずみや虫などの小動物の侵入による変化、カーテンのゆれによる変化など、人間以外の要因、即ち、外乱によっても、さまざまな画像変化が生ずる。また、人間が存在する場合でも、ゆっくり移動する人間、速く移動する人間、屈んだ人間、転がる人間、異なる色の服を着た人間などが、さまざまに撮影される。このような状態があるため、人間が写っている場合であっても、その他の外乱との区別が困難な場合がある。
【０００６】
従来の画像センサを防犯センサに適用する場合、安全性確保のため、人間でないと判定する基準を低くし、明らかに外乱であると判定できる場合を除き、人間である可能性があれば人間が存在すると判定する。つまり、防犯センサに適用した場合では、人間が存在しない場合を含めて侵入者が存在すると判定するような設定をしている。このため、誤報が増える。
【０００７】
一方、人間が存在の有無を厳格に追求する必要のない用途に適用する場合は、外乱である特徴があれば外乱と判定する設定がされる。この場合は、実際には人間が撮影されているにもかかわらず、人間がいないという判定がされる。このため、失報が増える。
このように、従来の画像センサでは、「人」と「外乱」とを精度良く区別して判定するのが困難であるという問題があった。
【０００８】
本発明は、画像に対して画像処理を施すことによって人間が撮影されていることを検出する画像センサにおいて、外乱による影響を排除して、人間の存在を精度よく検出できる画像センサの実現を目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明は、撮像手段にて撮影された画像情報を処理して人間の存在の有無を判定する画像センサにおいて、画像情報から人間らしさを多値で示す人属性情報と、人間以外の要因らしさを多値で示す外乱属性情報とを算出する画像処理部と、人属性情報と外乱属性情報との比率に基づき人間の存在の有無を判定する判定部とを具備する画像センサを提供する。
【００１０】
本発明によれば、多値情報の人属性情報と外乱属性情報は、人間らしさと外乱らしさとを数値で表す。この人属性情報と外乱属性情報との比率、すなわち、人間らしさと外乱らしさの対比により人間の存在の有無を判定することにより、人間と外乱との区別をより正確に行うことができる。これにより、人間の存在の検出を精度よく行うことができる。
【００１１】
また、人属性情報及び外乱属性情報をそれぞれ累積し、累積した人属性情報及び累積した外乱属性情報を用いて、判定部にて人間の存在の有無を判定することができる。これにより、時間的な要素を考慮して、更に精度の高い人間の存在判定ができる。
さらに、外乱属性情報を複数の外乱要因ごとにそれぞれ算出し、判定部が、複数の外乱属性情報の内の最大のものを外乱属性情報として使用して判定することができる。複数の外乱要因の内、最大の外乱要因は、人間の存在の判定に最も影響を及ぼす外乱要因となる。したがって、人間と外乱との対比が明確にでき、人間の存在の有無を精度良く判定することができる。
【００１２】
また、複数の外乱属性情報として「光らしさ」、「影らしさ」、「小動物らしさ」などを用いることが好適である。本発明の画像センサを防犯センサに適用した場合、監視領域において光、影、小動物による画像変化が生じる。したがって、これらを外乱要因として用いることにより、人間の存在の有無の判定を精度よく行うことができる。
【００１３】
また、判定部は、累積値を用いた判定に加えて、累積前の、人属性情報の瞬時値に基づき人間の存在の有無を判定することもできる。侵入者が監視領域を走り抜けたときなどは、所定の累積値を得る前に侵入者が画像から消えて、以降、画像変化が生じないことがある。これに対しては、人属性情報の瞬時値に対してしきい値を設定し、このしきい値を超えたときに人間が存在すると判定する。これにより、人間の走り抜けなど、短時間で判定しなければならない要因への対応も可能となる。
【００１４】
【発明の実施の形態】
本発明を防犯用画像センサに適用した実施形態について説明する。
図１は画像センサの構成を示す。
画像センサ１は、監視領域を撮影する撮像部２、取得した画像情報を画像処理して人属性情報と外乱属性情報を算出する画像処理部３、人属性情報と外乱属性情報から人間の存在の有無を判定する判定部４、判定結果を外部に対して出力する出力部５から構成される。
【００１５】
撮像部２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子などの素子から構成され、監視領域を撮影した撮像データをＡ／Ｄ変換したディジタル画像を画像処理部３に出力する。なお、予めディジタル録画された画像データから人間の存在の検出を行う場合は、撮像部２を省略することができる。
画像処理部３は、撮像部２から取得した画像情報を処理し、パラメータの抽出、各属性の算出などを行う。画像処理部３のハード構成は、画像処理用のＩＣチップや画像用のメモリなど一般に使用されるものが用いられるが、本発明の本質でないので、詳細は省略する。
【００１６】
画像処理部３は、人属性算出部６と外乱属性算出部７から構成される。さらに、外乱属性算出部７は、光属性算出部８、影属性算出部９、小動物属性算出部１０から構成される。各属性算出部は、基準画像と入力画像との比較から得られるパラメータ、入力画像から直接得られるパラメータ、入力画像と時間的に連続する画像との比較から得られるパラメータなどを基にして、それぞれの属性に応じた経験則により、ファジー理論やニューロ理論などの理論を適用して、総合的に各属性を算出する。算出のアルゴリズムについては後述する。
【００１７】
判定部４は、人属性情報と外乱属性情報との比率に基づいて、人間の存在の有無を判定する。判定のアルゴリズムについては後述する。
出力部５は、判定部４の判定結果に応じて、警報装置やベルなどにより、人を検知した旨を通報する。
図２を用いて、上記の基準画像、入力画像、時間的に連続する画像について説明をする。
【００１８】
基準画像（Ａ）は、人がいない状態における監視領域の画像であり、画像センサ１の初期設置時に記憶しておく。図示の例では、床面１１、画面左側の壁１２と扉１３、画面正面の壁１４と窓１５が写っている。なお、基準画像は、適宜のタイミングにて更新してもよい。
入力画像（Ｃ）は、撮像部２から入力された最新フレームの画像をいう。図示の例では、監視領域に侵入した侵入者１６が写っており、その他の点は基準画像（Ａ）と同様である。
【００１９】
入力画像と時間的に連続する画像（Ｂ）は、入力画像（Ｃ）の１フレーム前に入力された画像を言う。図示の例では、入力画像（Ｃ）と同様に侵入者１６が写っているが、その位置は、１フレーム分の時間だけ前の位置になっている。
次に、画像センサ１による人間検出処理について説明する。
図３のフローチャートは、人間検出処理の全体の流れを示す。図３の処理の内、ステップＳ５は判定部４が実行し、その他のステップは画像処理部３が実行する。
【００２０】
人間検出処理は、防犯センサが用途である場合は、例えば０．３秒ごとに実行されるが、他の用途であれば、例えば０．５秒ごとに実行するなど、適宜定めることができる。
まず、ステップＳ１で、撮像部２にて監視領域を撮影した画像を所定時間間隔ごとに取り込む。なお、予めディジタル録画された画像データから人間の存在の検出を行う場合は、記録装置から画像を取り込む。
【００２１】
ステップＳ２で、取り込んだ入力画像と予め記憶している基準画像との差分画像を作成し、また、入力画像と１フレーム前の画像との差分画像を作成する。これらの差分画像に対して、ノイズ除去などの処理を施し、変化の生じた領域である変化領域を抽出する。
図４を用いて、各差分画像と変化領域について説明する。
【００２２】
人属性情報と外乱属性情報とを算出するための１つのパラメータとして、基準画像（Ａ）と入力画像（Ｃ）との間で比較を行い差分をとると、第１の差分画像（Ｄ）となる。ここでは、入力画像（Ｃ）の侵入者１６が変化領域１７として検出される。また、変化領域１７に対応した基準画像（Ａ）の部分が対応領域１８となる。入力画像（Ｃ）では、侵入者１６の領域が変化領域１７に対応した領域となる。
【００２３】
また、１フレーム前の画像（Ｂ）と入力画像（Ｃ）との間で比較を行い差分をとると、第２の差分画像（Ｅ）となる。ここでは、入力画像（Ｃ）と１フレーム前の画像（Ｂ）の侵入者１６が２つの変化領域１９，２１として取得される。
図３に戻り、ステップＳ３で、取得された変化領域１７に対して、逆透視変換処理などにより、撮影された画像の実際の大きさを算出する。この大きさが人間の大きさの例えば１／２を超えるか否かを判断する。超えていれば、人間に起因する変化の可能性があるので、ステップＳ４の属性算出処理へ進む。一方、超えていない場合は、人間に起因するものではないので、ステップＳ６へ進む。
【００２４】
ステップＳ６では、人間に起因しない変化領域１９が検出された状態又は変化領域が抽出されない状態が５回続いたか否かが判定される。５回連続すれば、ステップＳ７で後述する累積属性値をクリアし、処理を終了する。また、５回連続でなければ、累積属性値をクリアせずに処理を終了する。
図５のフローチャートは、図３のステップＳ４の属性算出処理の内、人属性算出処理を示す。この処理は、人属性算出部６により実行される。人属性とは、「人らしさ」の度合いを示す情報であって、画像変化の要因が人である可能性の程度を示すものである。人属性の算出パラメータとして、ステップＳ１１でエッジの類似度算出が、ステップＳ１２でテクスチャの類似度算出が、ステップＳ１３で輝度変化の極性分布算出が行われる。
【００２５】
図６と前述の図４を参照しながら、各度合いの算出について説明する。図６は、以下の説明を一覧表にしたものである。
ステップＳ１１のエッジの類似度算出は、第１の差分画像の変化領域１７に対応する基準画像の対応領域１８の高周波成分と、同じく変化領域１７に対応する入力画像の領域１６の高周波成分を比較する。ここで、高周波成分とは、領域１６、１８のエッジの画素とその周辺の画素との差分の大きさを意味する。高周波成分が完全に一致しているときを「０」とし、全く一致していないときを「１」として、一致の度合いに応じて類似度を０〜１の間で算出する。
【００２６】
このエッジ類似度というパラメータは、人に起因した変化の場合は、通常、基準画像の対応領域１８のエッジと入力画像の対応領域１６のエッジが互いに類似しないことに着目したパラメータである。
なお、上記のエッジ類似度及び以下に説明するその他のパラメータにおける０〜１の間の度合いの計算は、例えば、ファジー理論のメンバーシップ関数を用いて実験的、経験的事象から決定することができる。
【００２７】
ステップＳ１２のテクスチャの類似度算出は、基準画像の対応領域１８のテクスチャと入力画像の対応領域１６のテクスチャを比較する。両領域１６，１８のテクスチャが完全に一致しているときを「０」とし、全く一致しないときを「１」として、一致の度合いに応じて類似度を０〜１の間で算出する。これは、人に起因した変化の場合は、基準画像の背景のテクスチャと、差分画像の変化領域のテクスチャとは、通常、大きく異なることに着目したパラメータである。但し、人の服装によっては、基準画像との差の大小が異なることを考慮すべきパラメータである。
【００２８】
ステップＳ１３の輝度変化の極性分布算出は、第２の差分画像の変化領域１９，２１の輝度が、正に輝度変化した画素数と負に輝度変化した画素数との割合を算出する。そして、全ての画素が正に輝度変化したとき、又は全て負に輝度変化したときを極性分布度「０」とする。また、正に輝度変化した画素数と負に輝度変化した画素数が等しい場合に極性分布度「１」とする。０〜１の間は、画素数の割合の絶対値に応じて算出する。
【００２９】
侵入者１６がいる場合、変化領域１９，２１は、一方が背景と侵入者との差、他方が侵入者と背景との差であるため、互いに異なった方向（輝度の高低）の輝度変化が生じることが多く、変化領域１９，２１の両領域の変化が同じ方向となることは極めて少ない。輝度変化の極性分布度は、この原理に従ったパラメータである。
【００３０】
なお、人属性の算出パラメータとしては、「人間らしさ」を示す他のパラメータを適宜使用してもよい。
次に、ステップＳ１４で、算出されたパラメータ値から「人属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが人属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。図６の場合は、エッジ類似度：６、テクスチャ類似度：３、輝度変化の極性分布度：１の割合で重み付けし、それぞれのパラメータを線形加算して、０から１までの値として算出する。
【００３１】
ステップＳ１５で、この結果を人属性瞬時値として記憶する。また、ステップＳ１６で、人属性瞬時値を累積加算させ、人属性累積値として記憶する。なお、この人属性累積値は、図３のステップＳ６で、５フレーム連続して人間に起因しない変化領域が検出された状態又は変化領域を検出しないと判定された場合に、ステップＳ７でクリアされる。また、以下に説明するその他のパラメータにおける各属性累積値も、同様にステップＳ６，７で処理される。
【００３２】
次に、図３のステップＳ４の属性算出処理の内の外乱属性算出処理について説明をする。
図７のフローチャートは、外乱属性情報の１つである光属性の算出処理の内容を示す。この処理は、光属性算出部８により実行される。光属性とは、「光らしさ」の度合いを示す情報であって、画像変化の要因が光の入射又は消滅などである可能性の程度を示すものである。光属性の算出パラメータとして、ステップＳ２１でエッジの類似度算出が、ステップＳ２２でテクスチャの類似度算出が、ステップＳ２３で変化領域の平均輝度の算出が行われる。
【００３３】
図８と図９を参照しながら、各度合いの算出について説明する。図８は、「光らしさ」が検出される場合の典型的な画像を示す。図９は、以下の説明を一覧表にしたものである。
図８（Ａ）は基準画像を示し、（Ｂ）は入力画像を示す。入力画像では、窓１５から太陽光が差し込んで、床面１１に高輝度の領域２２ができている。（Ｃ）は、差分画像であり、ここでは、高輝度領域２２が変化領域２３として検出される。変化領域２３に対応した基準画像（Ａ）の領域が対応領域２４として検出される。入力画像（Ｂ）では、高輝度領域２２が変化領域２３に対応した領域となる。
【００３４】
ステップＳ２１のエッジの類似度算出とステップＳ２２のテクスチャの類似度算出は、前述の人属性の算出処理のステップＳ１１とステップＳ１２とほぼ同様に行われる。
ステップＳ２１のエッジの類似度算出は、基準画像の対応領域２４と入力画像の対応領域２２の高周波成分を比較する。高周波成分が完全に一致しているときを「１」とし、全く一致していないときを「０」として、一致の度合いに応じて類似度を０〜１の間で算出する。これは、光に起因した変化の場合は、撮影場所に設置されている物が透けて撮影されるため、通常、基準画像と入力画像とのエッジが互いに類似することに着目したパラメータである。
【００３５】
ステップＳ２２のテクスチャの類似度算出は、基準画像の対応領域２４のテクスチャと入力画像の対応領域２２のテクスチャを比較する。両領域２２，２４のテクスチャが完全に一致しているときを「１」とし、全く一致しないときを「０」として、一致の度合いに応じて類似度を０〜１の間で算出する。これは、光に起因した変化の場合は、通常変化領域のテクスチャに変化が少ないことに着目したパラメータである。
【００３６】
ステップＳ２３の平均輝度算出は、撮像部２の性能にもよるが、入力画像の対応領域２２の輝度が高すぎて撮像素子のダイナミックレンジを超えた値を「１」とする。対応領域２２の輝度が基準画像の対応領域２４の輝度値と同じ又はそれ以下の場合を「０」とする。そして、入力画像の対応領域２２の輝度に応じて平均輝度を０〜１の間で算出する。これは、監視領域に光による変化が生じると、その変化領域が高輝度を示すことに着目したパラメータである。
【００３７】
なお、「光らしさ」の度合いを示す他のパラメータを適宜使用してもよい。
次に、ステップＳ２４で、これら算出されたパラメータ値から、「光属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが光属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。図９の場合は、エッジ類似度：３、テクスチャ類似度：２、平均輝度：５の割合で重み付けし、それぞれのパラメータを線形加算して、０から１までの値として算出する。
【００３８】
ステップＳ２５で、この結果を光属性瞬時値として記憶する。また、ステップＳ２６で、光属性瞬時値を累積加算させ、光属性累積値として記憶する。
図１０のフローチャートは、外乱属性情報の１つである影属性の算出処理の内容を示す。この処理は、影属性算出部９により実行される。影属性とは、「影らしさ」の度合いを示す情報であって、画像変化の要因が影である可能性の程度を示すものである。影らしさの算出パラメータとして、ステップＳ３１で、エッジの類似度算出が、ステップＳ３２でテクスチャの類似度算出が、ステップＳ３３で輝度変化の極性方向の算出が行われる。
【００３９】
図１１と図１２を参照しながら、各度合いの算出について説明する。図１１は、「影らしさ」が検出される場合の典型的な画像の例を示す。図１２は、以下の説明を一覧表にしたものである。
図１１（Ａ）は基準画像を示し、（Ｂ）は入力画像を示す。入力画像では、監視領域の外を人が通過して、窓１５から入った影２５が床１１に写っている。（Ｃ）は、差分画像であり、ここでは、影２５が変化領域２７として検出される。変化領域２７に対応した基準画像（Ａ）の領域が対応領域２９となり、入力画像（Ｂ）では、影２５が変化領域２７に対応した領域となる。
【００４０】
ステップＳ３１のエッジの類似度算出は、前述の光属性のステップＳ２１とほぼ同様に算出される。すなわち、基準画像の対応領域２９と入力画像の対応領域２５の高周波成分を比較する。これは、影に起因した変化の場合は、撮影場所に設置されている物が透けて撮影されるため、通常基準画像と入力画像とのエッジが互いに類似することに着目したパラメータである。
【００４１】
ステップＳ３２のテクスチャの類似度算出も、前述の光属性のステップＳ２２と同様に算出される。すなわち、基準画像の対応領域２９のテクスチャと入力画像の対応領域２５のテクスチャを比較する。これは、影に起因した変化の場合は、通常変化領域のテクスチャに変化が少ないことに着目したパラメータである。
ステップＳ３３の変化領域の輝度変化の極性方向算出は、入力画像の対応領域２５の周辺領域の輝度と対応領域２５の輝度を比較し、輝度差が無いときを「０」とし、輝度差が負を示し、かつ、この輝度差が大きいほど「１」に近似するように、０〜１の間で算出する。これは、影による変化が生じると、その変化領域２５が低輝度を示すことに着目したパラメータである。
【００４２】
なお、「影らしさ」の度合いを示す他のパラメータを適宜使用してもよい。
次に、ステップＳ３４で、これら算出されたパラメータ値から、「影属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが影属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。図１２の場合は、エッジ類似度：３、テクスチャ類似度：５、平均輝度：２の割合で重み付けし、それぞれのパラメータを線形加算して、０から１までの値として算出する。
【００４３】
ステップＳ３５で、この結果を影属性瞬時値として記憶する。また、ステップＳ３６で、影属性瞬時値を累積加算させ、影属性累積値として記憶する。
図１３のフローチャートは、外乱属性情報の１つである小動物属性の算出処理の内容を示す。この処理は、小動物属性算出部１０により実行される。小動物属性とは、虫、猫、ねずみなどの「小動物らしさ」を示す情報であって、画像変化の要因が小動物である可能性の程度を示すものである。小動物らしさの算出パラメータとして、ステップＳ４１で、エッジの類似度算出が、ステップＳ４２で焦点ずれ度合いの算出が、ステップＳ４３で鉛直からの主軸ずれ度合いの算出が行われる。
【００４４】
図１４，図１５，図１６を参照しながら、各度合いの算出について説明する。図１４及び図１５は、「小動物らしさ」が検出される場合の典型的な画像を示す。図１６は、以下の説明を一覧表にしたものである。
図１４は、虫が撮像部２のレンズに張り付いた場合を示し、（Ａ）は差分画像を示す。入力画像では、レンズ面の虫にはピントを合わせきることができないので、虫は焦点ずれの状態で写り、焦点ずれで写った虫が変化領域３３として検出される。（Ｂ）は、（Ａ）の変化領域３３のＸ−Ｘ軸の輝度値分布を示した図である。
【００４５】
図１５の例は、猫が監視領域内を歩いている場合を示し、（Ａ）は基準画像を示す。（Ｂ）は入力画像を示し、猫３４が写っている。（Ｃ）は差分画像であり、猫３４が変化領域３５として検出される。変化領域３５に対応した基準画像（Ａ）の領域が対応領域３６となり、入力画像（Ｂ）では、猫３４が変化領域３５に対応した領域となる。また、変化領域３５の主軸（長手方向の軸）はほぼ水平方向となる。
【００４６】
ステップＳ４１のエッジの類似度算出は、前述の人属性のステップＳ１１と同様に算出される。すなわち、基準画像の対応領域３６と入力画像の対応領域３４の高周波成分を比較する。高周波成分が完全に一致しているときを「０」とし、全く一致していないときを「１」とする。これは、小動物に起因した変化の場合は、人の場合と同様に、基準画像のエッジと入力画像のエッジが互いに類似しないことに着目したパラメータである。
【００４７】
ステップＳ４２の焦点ずれの度合い算出は、変化領域３３の輝度値分布が二次関数に近似できる度合いによって算出する。虫がレンズについた場合、光を遮るので変化領域３３の輝度は低くなる。また、焦点ずれが発生するので、変化領域３３の中心部は輝度が低く、周辺の輝度は中心部よりは高くなる。したがって、図１４（Ｂ）の輝度値分布は二次関数に似た分布を示す。焦点ずれの度合いは、二次関数に対する近似度が高いほど「１」とし、近似度が低いほど「０」に近い値とする。
【００４８】
ステップＳ４３の鉛直からの主軸ずれ度算出は、変化領域３５の主軸３６が鉛直方向からずれている度合いを算出する。すなわち、水平方向に近いほど「１」に近く、水平方向に遠いほど「０」に近づくようにする。主軸ずれ度は、猫３４やねずみなどの小動物は、直立歩行が一般的にできないことから、その主軸は水平方向となるので、これに着目したパラメータである。
【００４９】
なお、「小動物らしさ」の度合いを示す他のパラメータを適宜使用してもよい。
次に、ステップＳ４４で、これら算出されたパラメータ値から、「小動物属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが小動物属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。小動物の場合は、虫と猫では、特徴量が異なっているので、それぞれについて属性を算出し、最大値を代表させる。「虫らしさ」は、エッジの類似度×焦点ずれ度で算出する。また、「猫等らしさ」は、エッジの類似度×主軸ずれ度で算出する。
【００５０】
ステップＳ４５で、「虫らしさ」と「猫等らしさ」の結果の内、最大の値を小動物属性瞬時値として記憶する。また、ステップＳ４６で、小動物属性瞬時値を累積加算させ、小動物属性累積値として記憶する。
図３に戻って、ステップＳ５で、算出された各属性に基づき、人の有無の判定を行う。
【００５１】
図１７は、図３のステップＳ５の判定処理の詳細を示す。
ステップＳ５１で、人属性累積値と外乱属性累積値から次式により累積判定値を算出する。
累積判定値＝人属性累積値／外乱属性累積値の内の最大値
上記の外乱属性累積値には、光属性累積値、影属性累積値、小動物属性累積値があり、その内の最大値が上記式に使用される。
【００５２】
ステップＳ５２で、累積判定値が、予め定めた累積値判断基準値（図示の例では２．０）を超えたか否かを判定する。この、累積値判断基準値は、用途（本例は防犯センサ）に応じて実験などにより決める。また、ステップＳ５２の判定は、人属性累積値が所定値（例えば２．０）を超えるまで待って行うことが好ましい。これは、人属性累積値と外乱属性累積値の比率が安定した状態になるのを待ち、誤報を防ぐものである。
【００５３】
ステップＳ５２で、累積判定値と累積値判断基準値を比較し、累積判定値が累積値判断基準値を超えると、人が存在すると判定してステップＳ５５へ進み、超えなければ処理を終了する。
このように、多値データの「人らしさ」と多値データの「外乱らしさ」との比率で人の存在の有無を判定できるので、外乱による誤報を精度よく排除できる。また、累積値を用いるので、人である可能性が時間とともに増加又は減少し、人検出の精度が更に高まる。
【００５４】
ステップＳ５３で人属性瞬時値を読み込む。ステップＳ５４で、人属性瞬時値が、予め定めた瞬時判断基準値（図示の例では０．９）を超えたか否かを判定する。超えると、人が存在すると判定して、ステップＳ５５へ進み、超えなければ、処理を終了する。
これは、監視領域（例えば、１０ｍ×１０ｍの広さ）における侵入者の走り抜け行為を検出するためのものである。前述のように、人属性累積値を用いると、累積値が所定値に達するまでに時間がかかり、侵入者が走り抜けるなど、早い動きをすると、検出ができなくなる。このような状況に対して、人属性瞬時値を用いて人の存在を検出するものである。
【００５５】
ステップＳ５５では、出力部５から人検知信号を出力する。この場合、人の検知信号のみを出力してもよいし、検出した画像も同時に出力するようにしてもよい。
【００５６】
【発明の効果】
本発明によれば、画像に対して画像処理を施すことによって人間が撮影されていることを検出する画像センサにおいて、外乱による影響を排除して、人間の存在を精度よく検出できる画像センサを実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像センサの構成を示す図。
【図２】図１の画像センサに使用する画像を説明する図。
【図３】図１の画像センサの全体の処理を示すフローチャート。
【図４】図３のフローにおける変化領域を説明する図。
【図５】図３の属性算出処理の内、人属性算出処理の内容を示すフローチャート。
【図６】図５の処理により得られるパラメータの一覧を示す表図。
【図７】図３における属性算出処理の内、光属性算出処理の内容を示すフローチャート。
【図８】図７の場合の画像を示す図。
【図９】図７の処理により得られるパラメータの一覧を示す表図。
【図１０】図３における属性算出処理の内、影属性算出処理の内容を示すフローチャート。
【図１１】図１０の場合の画像を示す図。
【図１２】図１０の処理により得られるパラメータの一覧を示す表図。
【図１３】図３における属性算出処理の内、小動物属性算出処理の内容を示すフローチャート。
【図１４】図１３の場合の画像を示す図（その１）。
【図１５】図１３の場合の画像を示す図（その２）。
【図１６】図１３の処理により得られるパラメータの一覧を示す表図。
【図１７】図３における判定処理の内容を示すフローチャートである。
【符号の説明】
１…画像センサ
２…撮像部
３…画像処理部
４…判定部
５…出力部
６…人属性算出部
７…外乱属性算出部
８…光属性算出部
９…影属性算出部
１０…小動物属性算出部
１１…床面
１２，１４…壁
１３…扉
１５…窓
１６…侵入者
１７…変化領域
１８…対応領域
１９，２１…変化領域
２２…高輝度領域
２３…変化領域
２４…対応領域
２５…影
２７…変化領域
２９…対応領域
３３…変化領域
３４…猫
３５…変化領域
３６…対応領域
【発明の属する技術分野】
本発明は、撮像部にてある領域を撮影し、得た画像に対して画像処理を施すことによって、撮影領域内の人の存在の有無を検出する画像センサに関する。
【０００２】
【従来の技術】
従来、監視カメラにて撮影した画像から、人間の特徴を示す領域の存在を検出することによって、監視領域における侵入者の存在の有無を判定する画像センサがあった。この画像センサでは、例えば、現在撮影した入力画像と予め記憶してある基準画像とを比較して、両画像の差分を変化領域として取得する。もし、入力画像に侵入者が写っていれば、基準画像に写っていない侵入者は、変化領域として検出される。
【０００３】
この変化領域について、所定の面積（大きさ）、所定の輝度、所定の移動距離などを演算し、変化領域が人間を示す特徴を有した場合は、人間が監視領域に存在すると判定していた。
一方、変化領域が、急激な輝度変化である場合、又は、テクスチャの変化が少ない場合などは、照明や太陽光などの外乱に起因するものであるとして、人間による画像変化ではないと判定していた。
【０００４】
すなわち、従来の画像センサは、変化領域における「変化面積」「輝度」「テクスチャ」など種々のパラメータについて、それぞれ「人」による特徴を示すか「外乱」による特徴を示すかの２値で判定し、全てのパラメータが「人」による特徴を示すと判定された場合に、人間が存在すると判定していた。
【０００５】
【発明が解決しようとする課題】
しかし監視領域には、太陽光、照明などの光による変化、監視領域外から映り込む影による変化、ねずみや虫などの小動物の侵入による変化、カーテンのゆれによる変化など、人間以外の要因、即ち、外乱によっても、さまざまな画像変化が生ずる。また、人間が存在する場合でも、ゆっくり移動する人間、速く移動する人間、屈んだ人間、転がる人間、異なる色の服を着た人間などが、さまざまに撮影される。このような状態があるため、人間が写っている場合であっても、その他の外乱との区別が困難な場合がある。
【０００６】
従来の画像センサを防犯センサに適用する場合、安全性確保のため、人間でないと判定する基準を低くし、明らかに外乱であると判定できる場合を除き、人間である可能性があれば人間が存在すると判定する。つまり、防犯センサに適用した場合では、人間が存在しない場合を含めて侵入者が存在すると判定するような設定をしている。このため、誤報が増える。
【０００７】
一方、人間が存在の有無を厳格に追求する必要のない用途に適用する場合は、外乱である特徴があれば外乱と判定する設定がされる。この場合は、実際には人間が撮影されているにもかかわらず、人間がいないという判定がされる。このため、失報が増える。
このように、従来の画像センサでは、「人」と「外乱」とを精度良く区別して判定するのが困難であるという問題があった。
【０００８】
本発明は、画像に対して画像処理を施すことによって人間が撮影されていることを検出する画像センサにおいて、外乱による影響を排除して、人間の存在を精度よく検出できる画像センサの実現を目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明は、撮像手段にて撮影された画像情報を処理して人間の存在の有無を判定する画像センサにおいて、画像情報から人間らしさを多値で示す人属性情報と、人間以外の要因らしさを多値で示す外乱属性情報とを算出する画像処理部と、人属性情報と外乱属性情報との比率に基づき人間の存在の有無を判定する判定部とを具備する画像センサを提供する。
【００１０】
本発明によれば、多値情報の人属性情報と外乱属性情報は、人間らしさと外乱らしさとを数値で表す。この人属性情報と外乱属性情報との比率、すなわち、人間らしさと外乱らしさの対比により人間の存在の有無を判定することにより、人間と外乱との区別をより正確に行うことができる。これにより、人間の存在の検出を精度よく行うことができる。
【００１１】
また、人属性情報及び外乱属性情報をそれぞれ累積し、累積した人属性情報及び累積した外乱属性情報を用いて、判定部にて人間の存在の有無を判定することができる。これにより、時間的な要素を考慮して、更に精度の高い人間の存在判定ができる。
さらに、外乱属性情報を複数の外乱要因ごとにそれぞれ算出し、判定部が、複数の外乱属性情報の内の最大のものを外乱属性情報として使用して判定することができる。複数の外乱要因の内、最大の外乱要因は、人間の存在の判定に最も影響を及ぼす外乱要因となる。したがって、人間と外乱との対比が明確にでき、人間の存在の有無を精度良く判定することができる。
【００１２】
また、複数の外乱属性情報として「光らしさ」、「影らしさ」、「小動物らしさ」などを用いることが好適である。本発明の画像センサを防犯センサに適用した場合、監視領域において光、影、小動物による画像変化が生じる。したがって、これらを外乱要因として用いることにより、人間の存在の有無の判定を精度よく行うことができる。
【００１３】
また、判定部は、累積値を用いた判定に加えて、累積前の、人属性情報の瞬時値に基づき人間の存在の有無を判定することもできる。侵入者が監視領域を走り抜けたときなどは、所定の累積値を得る前に侵入者が画像から消えて、以降、画像変化が生じないことがある。これに対しては、人属性情報の瞬時値に対してしきい値を設定し、このしきい値を超えたときに人間が存在すると判定する。これにより、人間の走り抜けなど、短時間で判定しなければならない要因への対応も可能となる。
【００１４】
【発明の実施の形態】
本発明を防犯用画像センサに適用した実施形態について説明する。
図１は画像センサの構成を示す。
画像センサ１は、監視領域を撮影する撮像部２、取得した画像情報を画像処理して人属性情報と外乱属性情報を算出する画像処理部３、人属性情報と外乱属性情報から人間の存在の有無を判定する判定部４、判定結果を外部に対して出力する出力部５から構成される。
【００１５】
撮像部２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子などの素子から構成され、監視領域を撮影した撮像データをＡ／Ｄ変換したディジタル画像を画像処理部３に出力する。なお、予めディジタル録画された画像データから人間の存在の検出を行う場合は、撮像部２を省略することができる。
画像処理部３は、撮像部２から取得した画像情報を処理し、パラメータの抽出、各属性の算出などを行う。画像処理部３のハード構成は、画像処理用のＩＣチップや画像用のメモリなど一般に使用されるものが用いられるが、本発明の本質でないので、詳細は省略する。
【００１６】
画像処理部３は、人属性算出部６と外乱属性算出部７から構成される。さらに、外乱属性算出部７は、光属性算出部８、影属性算出部９、小動物属性算出部１０から構成される。各属性算出部は、基準画像と入力画像との比較から得られるパラメータ、入力画像から直接得られるパラメータ、入力画像と時間的に連続する画像との比較から得られるパラメータなどを基にして、それぞれの属性に応じた経験則により、ファジー理論やニューロ理論などの理論を適用して、総合的に各属性を算出する。算出のアルゴリズムについては後述する。
【００１７】
判定部４は、人属性情報と外乱属性情報との比率に基づいて、人間の存在の有無を判定する。判定のアルゴリズムについては後述する。
出力部５は、判定部４の判定結果に応じて、警報装置やベルなどにより、人を検知した旨を通報する。
図２を用いて、上記の基準画像、入力画像、時間的に連続する画像について説明をする。
【００１８】
基準画像（Ａ）は、人がいない状態における監視領域の画像であり、画像センサ１の初期設置時に記憶しておく。図示の例では、床面１１、画面左側の壁１２と扉１３、画面正面の壁１４と窓１５が写っている。なお、基準画像は、適宜のタイミングにて更新してもよい。
入力画像（Ｃ）は、撮像部２から入力された最新フレームの画像をいう。図示の例では、監視領域に侵入した侵入者１６が写っており、その他の点は基準画像（Ａ）と同様である。
【００１９】
入力画像と時間的に連続する画像（Ｂ）は、入力画像（Ｃ）の１フレーム前に入力された画像を言う。図示の例では、入力画像（Ｃ）と同様に侵入者１６が写っているが、その位置は、１フレーム分の時間だけ前の位置になっている。
次に、画像センサ１による人間検出処理について説明する。
図３のフローチャートは、人間検出処理の全体の流れを示す。図３の処理の内、ステップＳ５は判定部４が実行し、その他のステップは画像処理部３が実行する。
【００２０】
人間検出処理は、防犯センサが用途である場合は、例えば０．３秒ごとに実行されるが、他の用途であれば、例えば０．５秒ごとに実行するなど、適宜定めることができる。
まず、ステップＳ１で、撮像部２にて監視領域を撮影した画像を所定時間間隔ごとに取り込む。なお、予めディジタル録画された画像データから人間の存在の検出を行う場合は、記録装置から画像を取り込む。
【００２１】
ステップＳ２で、取り込んだ入力画像と予め記憶している基準画像との差分画像を作成し、また、入力画像と１フレーム前の画像との差分画像を作成する。これらの差分画像に対して、ノイズ除去などの処理を施し、変化の生じた領域である変化領域を抽出する。
図４を用いて、各差分画像と変化領域について説明する。
【００２２】
人属性情報と外乱属性情報とを算出するための１つのパラメータとして、基準画像（Ａ）と入力画像（Ｃ）との間で比較を行い差分をとると、第１の差分画像（Ｄ）となる。ここでは、入力画像（Ｃ）の侵入者１６が変化領域１７として検出される。また、変化領域１７に対応した基準画像（Ａ）の部分が対応領域１８となる。入力画像（Ｃ）では、侵入者１６の領域が変化領域１７に対応した領域となる。
【００２３】
また、１フレーム前の画像（Ｂ）と入力画像（Ｃ）との間で比較を行い差分をとると、第２の差分画像（Ｅ）となる。ここでは、入力画像（Ｃ）と１フレーム前の画像（Ｂ）の侵入者１６が２つの変化領域１９，２１として取得される。
図３に戻り、ステップＳ３で、取得された変化領域１７に対して、逆透視変換処理などにより、撮影された画像の実際の大きさを算出する。この大きさが人間の大きさの例えば１／２を超えるか否かを判断する。超えていれば、人間に起因する変化の可能性があるので、ステップＳ４の属性算出処理へ進む。一方、超えていない場合は、人間に起因するものではないので、ステップＳ６へ進む。
【００２４】
ステップＳ６では、人間に起因しない変化領域１９が検出された状態又は変化領域が抽出されない状態が５回続いたか否かが判定される。５回連続すれば、ステップＳ７で後述する累積属性値をクリアし、処理を終了する。また、５回連続でなければ、累積属性値をクリアせずに処理を終了する。
図５のフローチャートは、図３のステップＳ４の属性算出処理の内、人属性算出処理を示す。この処理は、人属性算出部６により実行される。人属性とは、「人らしさ」の度合いを示す情報であって、画像変化の要因が人である可能性の程度を示すものである。人属性の算出パラメータとして、ステップＳ１１でエッジの類似度算出が、ステップＳ１２でテクスチャの類似度算出が、ステップＳ１３で輝度変化の極性分布算出が行われる。
【００２５】
図６と前述の図４を参照しながら、各度合いの算出について説明する。図６は、以下の説明を一覧表にしたものである。
ステップＳ１１のエッジの類似度算出は、第１の差分画像の変化領域１７に対応する基準画像の対応領域１８の高周波成分と、同じく変化領域１７に対応する入力画像の領域１６の高周波成分を比較する。ここで、高周波成分とは、領域１６、１８のエッジの画素とその周辺の画素との差分の大きさを意味する。高周波成分が完全に一致しているときを「０」とし、全く一致していないときを「１」として、一致の度合いに応じて類似度を０〜１の間で算出する。
【００２６】
このエッジ類似度というパラメータは、人に起因した変化の場合は、通常、基準画像の対応領域１８のエッジと入力画像の対応領域１６のエッジが互いに類似しないことに着目したパラメータである。
なお、上記のエッジ類似度及び以下に説明するその他のパラメータにおける０〜１の間の度合いの計算は、例えば、ファジー理論のメンバーシップ関数を用いて実験的、経験的事象から決定することができる。
【００２７】
ステップＳ１２のテクスチャの類似度算出は、基準画像の対応領域１８のテクスチャと入力画像の対応領域１６のテクスチャを比較する。両領域１６，１８のテクスチャが完全に一致しているときを「０」とし、全く一致しないときを「１」として、一致の度合いに応じて類似度を０〜１の間で算出する。これは、人に起因した変化の場合は、基準画像の背景のテクスチャと、差分画像の変化領域のテクスチャとは、通常、大きく異なることに着目したパラメータである。但し、人の服装によっては、基準画像との差の大小が異なることを考慮すべきパラメータである。
【００２８】
ステップＳ１３の輝度変化の極性分布算出は、第２の差分画像の変化領域１９，２１の輝度が、正に輝度変化した画素数と負に輝度変化した画素数との割合を算出する。そして、全ての画素が正に輝度変化したとき、又は全て負に輝度変化したときを極性分布度「０」とする。また、正に輝度変化した画素数と負に輝度変化した画素数が等しい場合に極性分布度「１」とする。０〜１の間は、画素数の割合の絶対値に応じて算出する。
【００２９】
侵入者１６がいる場合、変化領域１９，２１は、一方が背景と侵入者との差、他方が侵入者と背景との差であるため、互いに異なった方向（輝度の高低）の輝度変化が生じることが多く、変化領域１９，２１の両領域の変化が同じ方向となることは極めて少ない。輝度変化の極性分布度は、この原理に従ったパラメータである。
【００３０】
なお、人属性の算出パラメータとしては、「人間らしさ」を示す他のパラメータを適宜使用してもよい。
次に、ステップＳ１４で、算出されたパラメータ値から「人属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが人属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。図６の場合は、エッジ類似度：６、テクスチャ類似度：３、輝度変化の極性分布度：１の割合で重み付けし、それぞれのパラメータを線形加算して、０から１までの値として算出する。
【００３１】
ステップＳ１５で、この結果を人属性瞬時値として記憶する。また、ステップＳ１６で、人属性瞬時値を累積加算させ、人属性累積値として記憶する。なお、この人属性累積値は、図３のステップＳ６で、５フレーム連続して人間に起因しない変化領域が検出された状態又は変化領域を検出しないと判定された場合に、ステップＳ７でクリアされる。また、以下に説明するその他のパラメータにおける各属性累積値も、同様にステップＳ６，７で処理される。
【００３２】
次に、図３のステップＳ４の属性算出処理の内の外乱属性算出処理について説明をする。
図７のフローチャートは、外乱属性情報の１つである光属性の算出処理の内容を示す。この処理は、光属性算出部８により実行される。光属性とは、「光らしさ」の度合いを示す情報であって、画像変化の要因が光の入射又は消滅などである可能性の程度を示すものである。光属性の算出パラメータとして、ステップＳ２１でエッジの類似度算出が、ステップＳ２２でテクスチャの類似度算出が、ステップＳ２３で変化領域の平均輝度の算出が行われる。
【００３３】
図８と図９を参照しながら、各度合いの算出について説明する。図８は、「光らしさ」が検出される場合の典型的な画像を示す。図９は、以下の説明を一覧表にしたものである。
図８（Ａ）は基準画像を示し、（Ｂ）は入力画像を示す。入力画像では、窓１５から太陽光が差し込んで、床面１１に高輝度の領域２２ができている。（Ｃ）は、差分画像であり、ここでは、高輝度領域２２が変化領域２３として検出される。変化領域２３に対応した基準画像（Ａ）の領域が対応領域２４として検出される。入力画像（Ｂ）では、高輝度領域２２が変化領域２３に対応した領域となる。
【００３４】
ステップＳ２１のエッジの類似度算出とステップＳ２２のテクスチャの類似度算出は、前述の人属性の算出処理のステップＳ１１とステップＳ１２とほぼ同様に行われる。
ステップＳ２１のエッジの類似度算出は、基準画像の対応領域２４と入力画像の対応領域２２の高周波成分を比較する。高周波成分が完全に一致しているときを「１」とし、全く一致していないときを「０」として、一致の度合いに応じて類似度を０〜１の間で算出する。これは、光に起因した変化の場合は、撮影場所に設置されている物が透けて撮影されるため、通常、基準画像と入力画像とのエッジが互いに類似することに着目したパラメータである。
【００３５】
ステップＳ２２のテクスチャの類似度算出は、基準画像の対応領域２４のテクスチャと入力画像の対応領域２２のテクスチャを比較する。両領域２２，２４のテクスチャが完全に一致しているときを「１」とし、全く一致しないときを「０」として、一致の度合いに応じて類似度を０〜１の間で算出する。これは、光に起因した変化の場合は、通常変化領域のテクスチャに変化が少ないことに着目したパラメータである。
【００３６】
ステップＳ２３の平均輝度算出は、撮像部２の性能にもよるが、入力画像の対応領域２２の輝度が高すぎて撮像素子のダイナミックレンジを超えた値を「１」とする。対応領域２２の輝度が基準画像の対応領域２４の輝度値と同じ又はそれ以下の場合を「０」とする。そして、入力画像の対応領域２２の輝度に応じて平均輝度を０〜１の間で算出する。これは、監視領域に光による変化が生じると、その変化領域が高輝度を示すことに着目したパラメータである。
【００３７】
なお、「光らしさ」の度合いを示す他のパラメータを適宜使用してもよい。
次に、ステップＳ２４で、これら算出されたパラメータ値から、「光属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが光属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。図９の場合は、エッジ類似度：３、テクスチャ類似度：２、平均輝度：５の割合で重み付けし、それぞれのパラメータを線形加算して、０から１までの値として算出する。
【００３８】
ステップＳ２５で、この結果を光属性瞬時値として記憶する。また、ステップＳ２６で、光属性瞬時値を累積加算させ、光属性累積値として記憶する。
図１０のフローチャートは、外乱属性情報の１つである影属性の算出処理の内容を示す。この処理は、影属性算出部９により実行される。影属性とは、「影らしさ」の度合いを示す情報であって、画像変化の要因が影である可能性の程度を示すものである。影らしさの算出パラメータとして、ステップＳ３１で、エッジの類似度算出が、ステップＳ３２でテクスチャの類似度算出が、ステップＳ３３で輝度変化の極性方向の算出が行われる。
【００３９】
図１１と図１２を参照しながら、各度合いの算出について説明する。図１１は、「影らしさ」が検出される場合の典型的な画像の例を示す。図１２は、以下の説明を一覧表にしたものである。
図１１（Ａ）は基準画像を示し、（Ｂ）は入力画像を示す。入力画像では、監視領域の外を人が通過して、窓１５から入った影２５が床１１に写っている。（Ｃ）は、差分画像であり、ここでは、影２５が変化領域２７として検出される。変化領域２７に対応した基準画像（Ａ）の領域が対応領域２９となり、入力画像（Ｂ）では、影２５が変化領域２７に対応した領域となる。
【００４０】
ステップＳ３１のエッジの類似度算出は、前述の光属性のステップＳ２１とほぼ同様に算出される。すなわち、基準画像の対応領域２９と入力画像の対応領域２５の高周波成分を比較する。これは、影に起因した変化の場合は、撮影場所に設置されている物が透けて撮影されるため、通常基準画像と入力画像とのエッジが互いに類似することに着目したパラメータである。
【００４１】
ステップＳ３２のテクスチャの類似度算出も、前述の光属性のステップＳ２２と同様に算出される。すなわち、基準画像の対応領域２９のテクスチャと入力画像の対応領域２５のテクスチャを比較する。これは、影に起因した変化の場合は、通常変化領域のテクスチャに変化が少ないことに着目したパラメータである。
ステップＳ３３の変化領域の輝度変化の極性方向算出は、入力画像の対応領域２５の周辺領域の輝度と対応領域２５の輝度を比較し、輝度差が無いときを「０」とし、輝度差が負を示し、かつ、この輝度差が大きいほど「１」に近似するように、０〜１の間で算出する。これは、影による変化が生じると、その変化領域２５が低輝度を示すことに着目したパラメータである。
【００４２】
なお、「影らしさ」の度合いを示す他のパラメータを適宜使用してもよい。
次に、ステップＳ３４で、これら算出されたパラメータ値から、「影属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが影属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。図１２の場合は、エッジ類似度：３、テクスチャ類似度：５、平均輝度：２の割合で重み付けし、それぞれのパラメータを線形加算して、０から１までの値として算出する。
【００４３】
ステップＳ３５で、この結果を影属性瞬時値として記憶する。また、ステップＳ３６で、影属性瞬時値を累積加算させ、影属性累積値として記憶する。
図１３のフローチャートは、外乱属性情報の１つである小動物属性の算出処理の内容を示す。この処理は、小動物属性算出部１０により実行される。小動物属性とは、虫、猫、ねずみなどの「小動物らしさ」を示す情報であって、画像変化の要因が小動物である可能性の程度を示すものである。小動物らしさの算出パラメータとして、ステップＳ４１で、エッジの類似度算出が、ステップＳ４２で焦点ずれ度合いの算出が、ステップＳ４３で鉛直からの主軸ずれ度合いの算出が行われる。
【００４４】
図１４，図１５，図１６を参照しながら、各度合いの算出について説明する。図１４及び図１５は、「小動物らしさ」が検出される場合の典型的な画像を示す。図１６は、以下の説明を一覧表にしたものである。
図１４は、虫が撮像部２のレンズに張り付いた場合を示し、（Ａ）は差分画像を示す。入力画像では、レンズ面の虫にはピントを合わせきることができないので、虫は焦点ずれの状態で写り、焦点ずれで写った虫が変化領域３３として検出される。（Ｂ）は、（Ａ）の変化領域３３のＸ−Ｘ軸の輝度値分布を示した図である。
【００４５】
図１５の例は、猫が監視領域内を歩いている場合を示し、（Ａ）は基準画像を示す。（Ｂ）は入力画像を示し、猫３４が写っている。（Ｃ）は差分画像であり、猫３４が変化領域３５として検出される。変化領域３５に対応した基準画像（Ａ）の領域が対応領域３６となり、入力画像（Ｂ）では、猫３４が変化領域３５に対応した領域となる。また、変化領域３５の主軸（長手方向の軸）はほぼ水平方向となる。
【００４６】
ステップＳ４１のエッジの類似度算出は、前述の人属性のステップＳ１１と同様に算出される。すなわち、基準画像の対応領域３６と入力画像の対応領域３４の高周波成分を比較する。高周波成分が完全に一致しているときを「０」とし、全く一致していないときを「１」とする。これは、小動物に起因した変化の場合は、人の場合と同様に、基準画像のエッジと入力画像のエッジが互いに類似しないことに着目したパラメータである。
【００４７】
ステップＳ４２の焦点ずれの度合い算出は、変化領域３３の輝度値分布が二次関数に近似できる度合いによって算出する。虫がレンズについた場合、光を遮るので変化領域３３の輝度は低くなる。また、焦点ずれが発生するので、変化領域３３の中心部は輝度が低く、周辺の輝度は中心部よりは高くなる。したがって、図１４（Ｂ）の輝度値分布は二次関数に似た分布を示す。焦点ずれの度合いは、二次関数に対する近似度が高いほど「１」とし、近似度が低いほど「０」に近い値とする。
【００４８】
ステップＳ４３の鉛直からの主軸ずれ度算出は、変化領域３５の主軸３６が鉛直方向からずれている度合いを算出する。すなわち、水平方向に近いほど「１」に近く、水平方向に遠いほど「０」に近づくようにする。主軸ずれ度は、猫３４やねずみなどの小動物は、直立歩行が一般的にできないことから、その主軸は水平方向となるので、これに着目したパラメータである。
【００４９】
なお、「小動物らしさ」の度合いを示す他のパラメータを適宜使用してもよい。
次に、ステップＳ４４で、これら算出されたパラメータ値から、「小動物属性」を示すパラメータを演算する統合演算処理を行う。すなわち、統合演算処理は、各パラメータが小動物属性の判定に寄与する度合いを、経験的又は実験的に求めた重み付けを行った上で線形結合する。小動物の場合は、虫と猫では、特徴量が異なっているので、それぞれについて属性を算出し、最大値を代表させる。「虫らしさ」は、エッジの類似度×焦点ずれ度で算出する。また、「猫等らしさ」は、エッジの類似度×主軸ずれ度で算出する。
【００５０】
ステップＳ４５で、「虫らしさ」と「猫等らしさ」の結果の内、最大の値を小動物属性瞬時値として記憶する。また、ステップＳ４６で、小動物属性瞬時値を累積加算させ、小動物属性累積値として記憶する。
図３に戻って、ステップＳ５で、算出された各属性に基づき、人の有無の判定を行う。
【００５１】
図１７は、図３のステップＳ５の判定処理の詳細を示す。
ステップＳ５１で、人属性累積値と外乱属性累積値から次式により累積判定値を算出する。
累積判定値＝人属性累積値／外乱属性累積値の内の最大値
上記の外乱属性累積値には、光属性累積値、影属性累積値、小動物属性累積値があり、その内の最大値が上記式に使用される。
【００５２】
ステップＳ５２で、累積判定値が、予め定めた累積値判断基準値（図示の例では２．０）を超えたか否かを判定する。この、累積値判断基準値は、用途（本例は防犯センサ）に応じて実験などにより決める。また、ステップＳ５２の判定は、人属性累積値が所定値（例えば２．０）を超えるまで待って行うことが好ましい。これは、人属性累積値と外乱属性累積値の比率が安定した状態になるのを待ち、誤報を防ぐものである。
【００５３】
ステップＳ５２で、累積判定値と累積値判断基準値を比較し、累積判定値が累積値判断基準値を超えると、人が存在すると判定してステップＳ５５へ進み、超えなければ処理を終了する。
このように、多値データの「人らしさ」と多値データの「外乱らしさ」との比率で人の存在の有無を判定できるので、外乱による誤報を精度よく排除できる。また、累積値を用いるので、人である可能性が時間とともに増加又は減少し、人検出の精度が更に高まる。
【００５４】
ステップＳ５３で人属性瞬時値を読み込む。ステップＳ５４で、人属性瞬時値が、予め定めた瞬時判断基準値（図示の例では０．９）を超えたか否かを判定する。超えると、人が存在すると判定して、ステップＳ５５へ進み、超えなければ、処理を終了する。
これは、監視領域（例えば、１０ｍ×１０ｍの広さ）における侵入者の走り抜け行為を検出するためのものである。前述のように、人属性累積値を用いると、累積値が所定値に達するまでに時間がかかり、侵入者が走り抜けるなど、早い動きをすると、検出ができなくなる。このような状況に対して、人属性瞬時値を用いて人の存在を検出するものである。
【００５５】
ステップＳ５５では、出力部５から人検知信号を出力する。この場合、人の検知信号のみを出力してもよいし、検出した画像も同時に出力するようにしてもよい。
【００５６】
【発明の効果】
本発明によれば、画像に対して画像処理を施すことによって人間が撮影されていることを検出する画像センサにおいて、外乱による影響を排除して、人間の存在を精度よく検出できる画像センサを実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像センサの構成を示す図。
【図２】図１の画像センサに使用する画像を説明する図。
【図３】図１の画像センサの全体の処理を示すフローチャート。
【図４】図３のフローにおける変化領域を説明する図。
【図５】図３の属性算出処理の内、人属性算出処理の内容を示すフローチャート。
【図６】図５の処理により得られるパラメータの一覧を示す表図。
【図７】図３における属性算出処理の内、光属性算出処理の内容を示すフローチャート。
【図８】図７の場合の画像を示す図。
【図９】図７の処理により得られるパラメータの一覧を示す表図。
【図１０】図３における属性算出処理の内、影属性算出処理の内容を示すフローチャート。
【図１１】図１０の場合の画像を示す図。
【図１２】図１０の処理により得られるパラメータの一覧を示す表図。
【図１３】図３における属性算出処理の内、小動物属性算出処理の内容を示すフローチャート。
【図１４】図１３の場合の画像を示す図（その１）。
【図１５】図１３の場合の画像を示す図（その２）。
【図１６】図１３の処理により得られるパラメータの一覧を示す表図。
【図１７】図３における判定処理の内容を示すフローチャートである。
【符号の説明】
１…画像センサ
２…撮像部
３…画像処理部
４…判定部
５…出力部
６…人属性算出部
７…外乱属性算出部
８…光属性算出部
９…影属性算出部
１０…小動物属性算出部
１１…床面
１２，１４…壁
１３…扉
１５…窓
１６…侵入者
１７…変化領域
１８…対応領域
１９，２１…変化領域
２２…高輝度領域
２３…変化領域
２４…対応領域
２５…影
２７…変化領域
２９…対応領域
３３…変化領域
３４…猫
３５…変化領域
３６…対応領域
Claims (7)
- 撮像手段にて撮影された画像情報を処理して人間の存在の有無を判定する画像センサにおいて、
前記画像情報が取得される度に、人間らしさを多値で示す人属性情報と、人間以外の要因らしさを多値で示す外乱属性情報とを、予め記憶した基準画像と前記画像情報との間、または、互いに取得時刻が異なる前記画像情報間で差分演算を行うことにより抽出された変化の生じた領域である変化領域から算出し、前記変化領域について前記人属性情報及び前記外乱属性情報をそれぞれ累積加算する画像処理部と、
前記累積した外乱属性情報に対する前記累積した人属性情報の比率が累積判断基準値を超えるとき、人間が存在すると判定する判定部と、
を具備することを特徴とする画像センサ。 - 前記画像処理部は、外乱属性情報を複数の外乱要因ごとにそれぞれ算出し、
前記判定部は、前記外乱属性情報として、前記複数の外乱属性情報の内の最大のものを使用する請求項１に記載の画像センサ。 - 前記複数の外乱属性情報の１つは、光らしさである請求項２に記載の画像センサ。
- 前記複数の外乱属性情報の１つは、影らしさである請求項２又は３に記載の画像センサ。
- 前記複数の外乱属性情報の１つは、小動物らしさである請求項２〜４のいずれか１項に記載の画像センサ。
- 前記判定部は、前記累積した外乱属性情報に対する前記累積した人属性情報の比率が累積判断基準値を超える場合、または、累積前の人属性情報の瞬時値が瞬時判断基準値を超える場合の何れか一方が満たされる場合に、人間が存在すると判定する請求項１〜５のいずれか１項に記載の画像センサ。
- 前記判定部は、前記累積した人属性情報の値が前記比率が安定した状態となる所定値を超えた後に、当該比率と前記累積判断基準値を比較する請求項１〜６のいずれか１項に記載の画像センサ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000054408A JP4259720B2 (ja) | 2000-02-25 | 2000-02-25 | 画像センサ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000054408A JP4259720B2 (ja) | 2000-02-25 | 2000-02-25 | 画像センサ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001243475A JP2001243475A (ja) | 2001-09-07 |
| JP4259720B2 true JP4259720B2 (ja) | 2009-04-30 |
Family
ID=18575665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000054408A Expired - Fee Related JP4259720B2 (ja) | 2000-02-25 | 2000-02-25 | 画像センサ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4259720B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109879130A (zh) * | 2017-12-06 | 2019-06-14 | 东芝电梯株式会社 | 影像检测系统 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4619082B2 (ja) * | 2004-09-30 | 2011-01-26 | セコム株式会社 | 画像判定装置 |
| JP4528103B2 (ja) * | 2004-11-29 | 2010-08-18 | セコム株式会社 | 画像認識装置 |
| JP4875313B2 (ja) * | 2005-03-30 | 2012-02-15 | セコム株式会社 | 監視装置 |
| ITRM20050192A1 (it) * | 2005-04-20 | 2006-10-21 | Consiglio Nazionale Ricerche | Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento. |
| JP4713950B2 (ja) * | 2005-05-31 | 2011-06-29 | セコム株式会社 | 監視装置 |
| JP4865328B2 (ja) * | 2005-12-28 | 2012-02-01 | セコム株式会社 | 画像センサ |
| JP4740755B2 (ja) * | 2006-01-27 | 2011-08-03 | セコム株式会社 | 画像を用いた監視装置 |
| JP5042177B2 (ja) * | 2008-09-12 | 2012-10-03 | セコム株式会社 | 画像センサ |
| JP5701005B2 (ja) * | 2010-10-15 | 2015-04-15 | キヤノン株式会社 | 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム |
| JP6527729B2 (ja) * | 2015-03-20 | 2019-06-05 | 環境機器株式会社 | 画像処理装置及び画像処理プログラム |
| WO2017099517A1 (ko) | 2015-12-11 | 2017-06-15 | 삼성전자 주식회사 | 촬상 장치 및 촬상 장치의 동작 방법 |
| JP7002912B2 (ja) * | 2017-10-25 | 2022-01-20 | 株式会社東芝 | 画像センサ、人物検知方法、プログラムおよび制御システム |
| JP7286747B2 (ja) * | 2017-10-25 | 2023-06-05 | 株式会社東芝 | 画像センサ、動体検知方法、プログラムおよび制御システム |
| JP6693624B2 (ja) * | 2019-02-21 | 2020-05-13 | 東芝エレベータ株式会社 | 画像検知システム |
| CN111568199B (zh) * | 2020-02-28 | 2023-11-07 | 佛山市云米电器科技有限公司 | 接水容器的识别方法、系统及存储介质 |
-
2000
- 2000-02-25 JP JP2000054408A patent/JP4259720B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109879130A (zh) * | 2017-12-06 | 2019-06-14 | 东芝电梯株式会社 | 影像检测系统 |
| CN109879130B (zh) * | 2017-12-06 | 2020-12-01 | 东芝电梯株式会社 | 影像检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001243475A (ja) | 2001-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4259720B2 (ja) | 画像センサ | |
| JP3812985B2 (ja) | 自動監視装置 | |
| KR101078474B1 (ko) | 오염 검출 장치 | |
| JP4832894B2 (ja) | 画像センサ | |
| JP4618058B2 (ja) | 背景画像生成方法とその装置及び画像監視システム | |
| US20160110613A1 (en) | System and method for crowd counting and tracking | |
| US10679476B2 (en) | Method of using a camera to detect direction of motion | |
| US20120092495A1 (en) | Object detection apparatus, object detection method, monitoring camera system and storage medium | |
| JP6336709B2 (ja) | 警備装置、警備方法およびプログラム | |
| JP5388829B2 (ja) | 侵入物体検知装置 | |
| JP2013041400A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20060114322A1 (en) | Wide area surveillance system | |
| JP4990030B2 (ja) | 移動物体検知装置 | |
| JP5606979B2 (ja) | 画像監視装置 | |
| JP4740755B2 (ja) | 画像を用いた監視装置 | |
| KR101681282B1 (ko) | 대상체 검출 장치 및 방법 | |
| JP6275022B2 (ja) | 画像監視装置 | |
| JP2005025313A (ja) | 滞留者検知システム | |
| JP4925942B2 (ja) | 画像センサ | |
| JP3567114B2 (ja) | 画像監視装置及び画像監視方法 | |
| JP3933453B2 (ja) | 画像処理装置及び移動体監視装置 | |
| JP3957495B2 (ja) | 画像センサ | |
| JPH04111079A (ja) | 移動体識別装置 | |
| JP2001008193A (ja) | 画像センサ | |
| JP4565738B2 (ja) | 画像センサ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090203 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4259720 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |