JP4337727B2 - 人体検知装置 - Google Patents

Description

本発明は、所望の検知領域を画像センサにより撮像することにより、検知領域内の人の存否を検出し、被制御機器の動作を制御する人体検知装置に関するものである。

従来から、例えば便所、浴室などにおいて、人の入室、出室に合わせて照明などのオンオフを自動的に行うため、所望の検知領域をＴＶカメラのような撮像手段により撮像した画像を用い、検知領域内の人の存否を検出する人体検知装置が提案されている。このような用途では、室内への入室時に照明器具を点灯させた場合は、室内に人が存在する限りは照明器具を点灯させ続け、また室内から退室した直後には照明器具の点灯を継続するが、退室後の比較的短時間で照明器具を消灯させることが要求されるため、室内へ人が入室したのか出室したのか、室内に静止しているのかを確実に検知し、照明負荷をオンしてから人体を検出しなかったときにオフするまでのオフディレイ時間を適切な時間に設定する必要がある。

これまで、検知領域内の人の存否を検出する装置としては、例えば特許文献１に開示されるように、撮像手段によって撮像した画像を処理して、監視領域の移動物体を検出し、検出した移動物体を報知する表示装置などのモニタを備えた移動物体の監視装置において、撮像した２フレームの画像間の差分を求めて変化領域を抽出し、抽出した変化領域のうち、近接する変化領域を一つの統合領域にまとめ、この統合領域毎に２フレームの画像間を正規化相関処理による濃淡パターンマッチングにより比較し、類似度が所定値より低い変化領域を移動物体と判定する移動物体の監視装置がある。この装置は、検出した移動物体の変化領域に対して画像の特徴量を判定し、人物を検出する。
特開平１１−４１５８９号公報

しかしながら、上記特許文献１に記載の技術では、人体を検知する対象となる範囲において複数人が存在したとき、この範囲内に存在する人が１人か複数かを判断しないため、例えばそのうち1人がこの範囲内において静止しており、この範囲内の残りの人が退場したときに、人の動きが検出されないため、この範囲内に人が存在しないと誤った判断をしてしまい、人が存在するにもかかわらず、照明等をオフしてしまうことになり得る。

本発明は、上記問題点に鑑みてなされたものであり、画像式人感センサによって撮像された画像内に複数の人が存在する場合に、これを確実に検知し、画像内における人の存否を確実に判断することにより、被制御機器の動作の制御を適切に設定できる人体検知装置を提供することを目的とする。

上記目的を達成するため請求項１の発明は、所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段と、前記移動領域検出手段により検出された複数の移動領域のうち、互いの間隔が所定値以内となる移動領域同士、又は、互いに重なる移動領域同士を結合して１つの移動領域とする領域結合手段とを備えた、人を検知する人体検知装置において、前記領域結合手段により移動領域同士が結合された後、前記視野内に複数の移動領域が存在し、この移動領域の間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段を備え、前記撮像手段により撮像された画像内から、移動する人かそれ以外の外乱かを所定の閾値を用いて判別し、その外乱を当該画像内から取り除く第１の外乱除去処理と、前記閾値より多くの要因を外乱として検知するように設定された閾値を用いて外乱を判別して画像内から取り除く第２の外乱除去処理とを行う外乱除去手段を備え、前記外乱除去手段は、前記第１の外乱除去処理を行っており、前記複数人判定手段により、前記撮像手段によって撮像される視野内に複数の人が存在しているとする前記複数人判定を行うための条件が満たされたときに、前記第２の外乱除去処理を行い、前記複数人判定手段は、前記第２の外乱除去処理が行われた後に再び前記複数人判定を行うための条件が満たされたときに、初めて前記複数人判定を行う構成としたものである。

請求項２の発明は、所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段と、前記移動領域検出手段により検出された複数の移動領域のうち、互いの間隔が所定値以内となる移動領域同士、又は、互いに重なる移動領域同士を結合して１つの移動領域とする領域結合手段とを備えた、人を検知する人体検知装置において、前記領域結合手段により移動領域同士が結合された後、前記視野内に複数の移動領域が存在し、この移動領域の間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段を備え、前記撮像手段により撮像される視野内において、人が静止する可能性の高い領域である静止領域を設定する領域設定手段を備え、前記複数人判定手段は、前記複数人判定を行った後、人体に対応する移動領域を人体追跡領域として設定して複数の移動領域を追跡中に、前記移動領域検出手段が、前記領域設定手段により設定された静止領域内において新しい移動領域を検出したとき、移動領域を追跡していた複数の人体追跡領域のうち１つを、静止領域内で検出した移動領域に追跡変更する構成としたものである。

請求項３の発明は、所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段を備え、人を検知する人体検知装置において、前記撮像手段により撮像された視野内において移動する物体の停止を検知し、移動する物体が停止した領域である停止判定領域を検出する停止領域抽出手段と、前記移動領域検出手段により検出された移動領域と、前記停止領域抽出手段により検出された停止判定領域とが前記視野内に存在し、該移動領域と該停止判定領域との間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段とを備え、前記撮像手段により撮像された画像内から、移動する人かそれ以外の外乱かを所定の閾値を用いて判別し、その外乱を当該画像内から取り除く第１の外乱除去処理と、前記閾値より多くの要因を外乱として検知するように設定された閾値を用いて外乱を判別して画像内から取り除く第２の外乱除去処理とを行う外乱除去手段を備え、前記外乱除去手段は、前記第１の外乱除去処理を行っており、前記複数人判定手段により、前記撮像手段によって撮像される視野内に複数の人が存在しているとする前記複数人判定を行うための条件が満たされたときに、前記第２の外乱除去処理を行い、前記複数人判定手段は、前記第２の外乱除去処理が行われた後に再び前記複数人判定を行うための条件が満たされたときに、初めて前記複数人判定を行う構成としたものである。

請求項４の発明は、所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段を備え、人を検知する人体検知装置において、前記撮像手段により撮像された視野内において移動する物体の停止を検知し、移動する物体が停止した領域である停止判定領域を検出する停止領域抽出手段と、前記移動領域検出手段により検出された移動領域と、前記停止領域抽出手段により検出された停止判定領域とが前記視野内に存在し、該移動領域と該停止判定領域との間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段とを備え、前記撮像手段により撮像される視野内において、人が静止する可能性の高い領域である静止領域を設定する領域設定手段を備え、前記複数人判定手段は、前記複数人判定を行った後、人体に対応する移動領域を人体追跡領域として設定して複数の移動領域を追跡中に、前記移動領域検出手段が、前記領域設定手段により設定された静止領域内において新しい移動領域を検出したとき、移動領域を追跡していた複数の人体追跡領域のうち１つを、静止領域内で検出した移動領域に追跡変更する構成としたものである。

請求項５の発明は、請求項１又は請求項２の発明において、前記移動領域検出手段により検出された移動領域を拡大させる膨張処理手段と、前記膨張処理手段によって拡大された移動領域のうち、所定値以下の大きさの移動領域を除去する小領域除去手段とを備え、前記領域結合手段は、前記膨張処理手段によって拡大された複数の移動領域のうち、互いの間隔が所定値以内となる移動領域同士、又は、互いに重なる移動領域同士を結合し、前記小領域除去手段は、前記領域結合手段によって移動領域の結合が行われた後に、所定値以下の大きさの移動領域を除去するように構成したものである。

請求項６の発明は、請求項１乃至請求項５のいずれかの発明において、前記複数人判定手段は、前記撮像手段により撮像される視野内に複数の人が存在しているとする複数人判定を行うための条件が満たされた後、所定回数以上の人の移動が検知されたとき、初めて前記複数人判定を行うように構成したものである。

請求項７の発明は、請求項１乃至請求項６のいずれかの発明において、前記複数人判定手段は、前記複数人判定を行った後、人体に対応する移動領域を人体追跡領域として設定し、複数の人体追跡領域が同一の移動領域を追跡しているとの判定を所定回数以上行ったときに、前記複数人判定を解除するような構成としたものである。

請求項８の発明は、請求項１乃至請求項７のいずれかの発明において、前記撮像手段により撮像される視野内から人が退出したことを判定する退出判定手段と、前記視野内における人の存否の情報に応じて被制御機器の動作を制御する制御部とを備え、前記制御部は、前記複数人判定手段が前記複数人判定を行ったとき、前記退出判定手段が、複数人判定手段によって判定された前記視野内に存在する人の数と同じ回数の退出判定を行った後に、人が存在しないときに応じた制御を行う構成としたものである。

請求項１の発明によれば、撮像手段により撮像された視野内を移動する人を移動領域として検出し、互いに重なっているか、近接している移動領域同士をまとめて１つの移動領域として、移動領域同士の距離が所定値以上離れているかどうか調べる。これにより、視野内に存在する人が複数であるかどうか判断できるため、視野内の人の存否を確実に検知することが可能となる。さらに、このとき、１人の人体がいくつかの部分に分離されて移動領域として検出された場合でも、これらの移動領域を別々の人体に対応する領域とせず、１人の人体に対応する領域として取り扱うことができるので、視野内に存在する人が複数かどうかより確実に判断可能となる。また、複数人判定を行うときに、外乱除去処理の閾値を通常より厳しく変更し、移動する物体として検出された画像内のより多くの移動領域を、人体の動き以外の外乱と検知する第２の外乱除去処理を行う。これにより、人体の動き以外の外乱を人体の動きと取り違えて検知して複数人判定することが少なくなり、複数人判定の誤判定を防止することができる。

請求項２の発明によれば、撮像手段により撮像された視野内を移動する人を移動領域として検出し、互いに重なっているか、近接している移動領域同士をまとめて１つの移動領域として、移動領域同士の距離が所定値以上離れているかどうか調べる。これにより、視野内に存在する人が複数であるかどうか判断できるため、視野内の人の存否を確実に検知することが可能となる。さらに、このとき、１人の人体がいくつかの部分に分離されて移動領域として検出された場合でも、これらの移動領域を別々の人体に対応する領域とせず、１人の人体に対応する領域として取り扱うことができるので、視野内に存在する人が複数かどうかより確実に判断可能となる。また、複数人判定時に、人が静止する可能性の高い静止領域において移動領域を検出したときには、その静止領域に人が存在していると判定し、当該検出領域を、それまで別の移動領域を追跡していた人体追跡領域が追跡するように追跡変更する。これにより、複数人のうちでほぼ静止状態である人が存在するときに、静止状態の人に対応する人体追跡領域が視野内で移動する他の人を追跡してしまうといった追跡ミスの状態が解消され、ほぼ静止状態である人の追跡を継続することが可能となり、確実に人の存否を判断することが可能となる。

請求項３の発明によれば、移動する人が停止した領域を検出し、その停止した人が存在する地点が停止判定領域として検出され、この停止判定領域と、視野内の移動領域との距離が所定値以上離れているかどうか調べることにより、視野内に存在する人が複数かどうか判断する。これにより、ほとんど移動しない人が視野内に存在するときでも、視野内に存在する人が複数かどうか、この人の存在を検知して判断するので、より確実に視野内に存在する人の存否を検知することができる。また、複数人判定を行うときに、外乱除去処理の閾値を通常より厳しく変更し、移動する物体として検出された画像内のより多くの移動領域を、人体の動き以外の外乱と検知する第２の外乱除去処理を行う。これにより、人体の動き以外の外乱を人体の動きと取り違えて検知して複数人判定することが少なくなり、複数人判定の誤判定を防止することができる。

請求項４の発明によれば、移動する人が停止した領域を検出し、その停止した人が存在する地点が停止判定領域として検出され、この停止判定領域と、視野内の移動領域との距離が所定値以上離れているかどうか調べることにより、視野内に存在する人が複数かどうか判断する。これにより、ほとんど移動しない人が視野内に存在するときでも、視野内に存在する人が複数かどうか、この人の存在を検知して判断するので、より確実に視野内に存在する人の存否を検知することができる。また、複数人判定時に、人が静止する可能性の高い静止領域において移動領域を検出したときには、その静止領域に人が存在していると判定し、当該検出領域を、それまで別の移動領域を追跡していた人体追跡領域が追跡するように追跡変更する。これにより、複数人のうちでほぼ静止状態である人が存在するときに、静止状態の人に対応する人体追跡領域が視野内で移動する他の人を追跡してしまうといった追跡ミスの状態が解消され、ほぼ静止状態である人の追跡を継続することが可能となり、確実に人の存否を判断することが可能となる。

請求項５の発明によれば、検出した移動領域を所定量膨張させた後、互いに重なっているか、近接している移動領域同士をまとめて１つの移動領域とし、その後、所定値以下の大きさの移動領域を除去する。これにより、１人の人体がいくつかの部分に分離され、小さい移動領域としてしか検出されなくても、膨張させることによってより確実に１人の人体が結合されて１つの移動領域となり、また、小さすぎて人とみなせないような大きさの移動領域は除去されるため、視野内に存在する人が複数かどうかより確実に判断可能となる。

請求項６の発明によれば、所定回数人の移動が検出されなければ複数人判定が行われないので、一時の誤作動要因は複数人として判定されることがなくなり、複数人判定の誤判定を防止することができる。

請求項７の発明によれば、人体追跡領域を設定して移動領域を追跡し、複数の人体追跡領域が同一の移動領域を追跡しているときには複数人判定を解除する。これにより、人体追跡領域の数が移動領域の数より多くなって人体追跡領域が追跡するべき移動領域を見失うといった追跡ミスを防止して、視野内に存在する人を確実に追跡することが可能となり、確実に人の存否を判断することが可能となる。

請求項８の発明によれば、複数人判定時において、検知した複数人の数と同じ回数の退室判定を行った後、被制御機器に人が存在しないときの制御がなされるので、人が存在しているにも関わらず、被制御機器が、人が存在しないときに応じた動作をすることがなくなり、被制御機器の誤動作を防止することが可能となる。

以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の一実施形態に係る人体検知装置の構成を示すものである。本実施形態では、例えばトイレなどの室内に人体検知装置Ａ、照明器具Ｂが設置される。人体検知装置Ａには、画像式人感センサ１、熱線式人感センサ２、信号処理部３、及びスイッチ回路４が設けられており、照明器具Ｂは照明負荷５を含む。

画像式人感センサ１は、撮像手段１０、画像入力手段１１、輪郭抽出手段１２、輪郭画像記憶手段１３ａを備えた記憶部１３、移動輪郭抽出手段１４、移動領域検出手段１５、停止領域抽出手段１６、及び外乱除去手段１７ａを備えた領域特徴量検出手段１７から構成され、撮像手段１０により撮像した画像内における人の移動を検知する。このうち、移動輪郭抽出手段１４、移動領域検出手段１５、停止領域抽出手段１６、及び領域特徴量検出手段１７は、検知処理部３０、制御部３１、及び周辺回路と共に信号処理部３を構成しており、マイクロコンピュータにより実現される。また、熱線式人感センサ２は、焦電素子２０、増幅器２１、比較器２２、及び明るさセンサ２３から成り、人体から放出される熱線を検出し、検知対象となる範囲における人の存否を検知する。

信号処理部３を構成する検知処理部３０は、領域分割手段３０ａ、記憶手段３０ｃを含む領域設定手段３０ｂ、時間設定手段３０ｄ、膨張処理手段３０ｅ、小領域除去手段３０ｇを含む領域結合手段３０ｆ、複数人判定手段３０ｈ、及び退出判定手段３０ｉを含む。この検知処理部３０は、画像式人感センサ１と熱線式人感センサ２による人検知の情報を基に、室内の人の存否を判断し、判断結果を制御部３１に与える。制御部３１は検知処理部３０による人の存否の判断に応じて、照明器具Ｂの点灯と消灯とのタイミングを規定する制御信号を生成し、この制御信号によりスイッチ回路４に設けられたスイッチ要素の開閉を制御する。

照明器具Ｂと商用電源との間の給電回路（図示なし）には、人体検知装置Ａのスイッチ回路４が挿入され、スイッチ回路４により照明器具Ｂの電源が入切される。ここで、人体検知装置Ａの内部回路の電源もスイッチ回路４を通して供給される構成を採用しており、１組の電源端子に商用電源を接続して、照明器具Ｂの電源の入切と、商用電源から内部回路への給電とを行う。照明器具Ｂは、例えばランプあるいはランプと点灯装置との組合せである照明負荷５を含み、電源が入ることで室内を照明する。このように、照明器具Ｂをトイレなどの照明に用いる用途では、室内への入室時に照明器具Ｂを点灯させた場合は、室内に人が存在する限りは照明器具Ｂの点灯を継続するが、退室後の比較的短時間で照明器具Ｂを消灯させることが要求される。

次に、画像式人感センサ１と熱線式人感センサ２の動作について説明する。画像式人感センサ１の撮像手段１０は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像素子であり、所定時間間隔で撮像した画像を出力する。また、撮像手段１０から出力される画像のアナログ信号は、画像入力手段１１においてＡ／Ｄ変換されることによってデジタル信号に変換される。ただし、デジタル信号を出力する機能を備えたＣＭＯＳイメージセンサを撮像手段１０に用いる場合には、画像入力手段１１におけるＡ／Ｄ変換は不要になる。撮像手段１０で撮像する画像としては、カラー画像を用いることも可能であるが、本実施形態においてはモノクロの濃淡画像を用いるものとする。撮像手段１０が撮像する時間間隔は、当該時間間隔で得られる時系列の画像から移動物体の存否を判断できる程度の範囲で適宜に設定すればよく、滑らかな動画像を得ることが目的ではないので、１秒間に３０フレームの画像を出力する必要はない。

画像入力手段１１の出力である濃淡画像は輪郭抽出手段１２に入力される。輪郭抽出手段１２では、各画素の画素値が微分値となる微分画像と、各画素の画素値が方向コードとなる方向コード画像とが求められる。微分画像と方向コード画像とは濃淡画像と共に半導体メモリからなる記憶部１３に格納される。

ここで、微分値を求める手法は種々提案されているが、基本的には、着目する画素の近傍画素（８近傍が広く採用されている）について、画像の垂直方向に関する輝度差を水平方向に関する輝度差で除算した値を微分値として用いる。ただし、濃淡画像から微分画像を生成するのは、画像内の物体と背景との輝度値の相違によって物体と背景との境界付近で微分値が大きくなることを利用し、物体の輪郭線の候補を抽出するためであるので、本実施形態では、輪郭線の強調のためにソーベル（ＳＯＢＥＬ）フィルタを用いた重みつきの微分処理を行う。

また、方向コードは、微分値を輝度値の変化方向に対応付けた値であって、４５度を単位として８方向に整数値のコードを対応付けたものである（ここでは、８近傍の画素から求めた通常の微分値に方向コードを対応付けている）。各画素の方向コードは、画像内において輝度値の変化が最大になる方向に直交する方向を表すように設定される。したがって、各画素において方向コードが示す方向は輪郭線の延長方向にほぼ一致する（各画素の方向コードが示す方向に対して±４５度の範囲内で隣接する３画素が物体の輪郭線上の画素となる可能性が高い）。

輪郭抽出手段１２において求めた微分画像では、コントラストの大きい部位が強調されるので、適宜の閾値で微分画像を２値化することによって、微分画像に含まれる物体の輪郭線の候補を抽出することができる。輪郭抽出手段１２では、抽出した輪郭線の候補となる領域を１画素幅に細線化して、輪郭線の候補となるエッジの候補を抽出する。エッジの候補は途切れている可能性があるので、エッジの候補について方向コードを用いて画素を追跡し、物体の輪郭線とみなせるエッジの候補を連結したエッジからなる輪郭線画像を生成して、記憶部１３に設けられた輪郭画像記憶手段１３ａに一定期間格納する。記憶部１３は輪郭線画像を求める際の作業領域としても用いられる。

輪郭画像記憶手段１３ａに格納された輪郭線画像は移動輪郭抽出手段１４に入力され、移動輪郭抽出手段１４では３枚または５枚の輪郭線画像から、移動物体に対応するエッジを抽出する。ここでは、図２を参照して３枚の輪郭線画像から移動物体に対応するエッジを抽出する技術について説明する。いま、図２（ａ）〜（ｃ）のように、時刻Ｔ−ΔＴ、Ｔ、Ｔ＋ΔＴに撮像された３枚の輪郭線画像Ｅ（Ｔ−ΔＴ）、Ｅ（Ｔ）、Ｅ（Ｔ＋ΔＴ）が移動輪郭抽出手段１４に与えられるものとする。図示例では、それぞれ移動物体Ｏｂを含んだ輪郭線画像Ｅ（Ｔ−ΔＴ）、Ｅ（Ｔ）、Ｅ（Ｔ＋ΔＴ）を示している。

移動輪郭抽出手段１４では、まず、時系列において隣接する各一対の輪郭線画像（つまり、Ｅ（Ｔ−ΔＴ）とＥ（Ｔ）、Ｅ（Ｔ）とＥ（Ｔ＋ΔＴ））の差分を求める（この画像は、輪郭線画像の差分であるので、以下では、「差分輪郭線画像」と呼ぶ）。ここで、輪郭線画像は、エッジの部分とエッジ以外の部分とで異なる画素値をもつ２値画像であるので、移動輪郭抽出手段１４では各一対の輪郭線画像について同じ位置の一対の画素ごとに排他的論理和を求める論理演算を行うことにより、着目する一対の輪郭線画像の差分を求めることができる。図示例の輪郭線画像から求めた２枚の差分輪郭線画像では、各差分輪郭線画像にそれぞれ移動物体Ｏｂが２回ずつ現れたことになる。

そして、時刻Ｔの輪郭線画像Ｅに含まれる移動物体Ｏｂを抽出するために、輪郭線画像から求めた２枚の差分輪郭線画像について同じ位置の一対の画素ごとに論理積を求める論理演算を行い、結果の画像を図２（ｄ）のような候補画像として出力する。この２枚の差分輪郭線画像では背景はほぼ除去されているので、２枚の差分輪郭線画像について論理積の演算を行うと、共通部分である時刻Ｔの輪郭線画像Ｅ（Ｔ）について、背景を除去した候補画像が得られ、この候補画像には移動物体Ｏｂが含まれる。

ここに、本実施形態では３枚の輪郭線画像Ｅ（Ｔ−ΔＴ）、Ｅ（Ｔ）、Ｅ（Ｔ＋ΔＴ）を用いる例を示しているが、４枚以上の輪郭線画像を用いて候補画像を生成することも可能である。例えば、５枚の輪郭線画像Ｅ（Ｔ−Δ２Ｔ）、Ｅ（Ｔ−ΔＴ）、Ｅ（Ｔ）、Ｅ（Ｔ＋ΔＴ）、Ｅ（Ｔ＋Δ２Ｔ）を用いる場合には、まず２枚ずつの輪郭線画像（Ｅ（Ｔ−Δ２Ｔ）とＥ（Ｔ−ΔＴ）、Ｅ（Ｔ＋ΔＴ）とＥ（Ｔ＋Δ２Ｔ））について、それぞれ論理積を求める論理演算によって、移動物体Ｏｂを除去した背景の輪郭線画像を生成する。このようにして得られる２枚の輪郭線画像をそれぞれ反転して、輪郭線画像Ｅ（Ｔ）との論理積を求める論理演算を行うと、輪郭線画像Ｅ（Ｔ−Δ２Ｔ）、Ｅ（Ｔ＋Δ２Ｔ）において移動物体Ｏｂにより隠れていた背景及び輪郭線画像Ｅ（Ｔ）における移動物体Ｏｂとを含む輪郭線画像と、輪郭線画像Ｅ（Ｔ−ΔＴ）、Ｅ（Ｔ＋ΔＴ）において移動物体Ｏｂにより隠れていた背景及び輪郭線画像Ｅ（Ｔ）における移動物体Ｏｂとを含む輪郭線画像とが得られる。この他に、４枚以上の輪郭線画像を種々に組み合わせることによって、候補画像を生成することができる。

このように移動輪郭抽出手段１４によって生成された候補画像では、濃淡画像から差分を求めるのではなく、２値の輪郭線画像について論理演算を行うことにより求められており、しかも２枚の画像から移動物体Ｏｂを抽出するのではなく、３枚以上の輪郭線画像を用いて特定時刻の輪郭線画像に含まれる移動物体Ｏｂを抽出するようにしているので、候補画像の中では同じ移動物体Ｏｂが２箇所に現れることがなく、移動物体Ｏｂを含む変化の生じた領域のみを抽出することができる。

移動輪郭抽出手段１４において求めた候補画像は移動領域検出手段１５に入力され、移動領域検出手段１５では、画素が連結されている領域（連結領域）ごとにラベリングを施す。ここで、各連結領域に対して図２（ｅ）のように、抽出した移動物体Ｏｂの外接矩形Ｄ１を移動領域として設定し、外接矩形Ｄ１に対してラベリングを施すようにする。これにより、画素ごとにラベルを付与する場合に比較してデータ量を低減することができる。また、上述のように３枚以上の輪郭線画像を用いて候補画像を求めているので、濃淡画像についてフレーム間の差分を求める場合のような残像の発生がなく、移動物体のエッジのみを抽出することが可能になる。

移動輪郭抽出手段１４から出力された図２（ｄ）のような候補画像と、記憶部１３に格納された方向コード画像とは領域特徴量検出手段１７に入力され、領域特徴量検出手段１７では、移動領域検出手段１５によりラベルを付与された移動領域が、人に対応する領域か人以外の外乱かが評価される。領域特徴量検出手段１７では、まず、移動輪郭抽出手段１４の出力として得られた候補画像の中で、ラベルが付された移動領域ごとに、記憶部１３に格納された方向コード画像を参照してエッジ上の画素の方向コードを求め、このラベルが付された移動領域ごとに方向コードに関する度数分布を求める。この度数分布は、対象とする各エッジ上の画素の総数で正規化しておく。また、方向コードは、８種類の方向コードを用いるのではなく、同方向で互いに逆向きになる方向コードについては同じ方向コードとみなし、４種類の方向コードについて度数分布を求める。つまり、０度と１８０度とに対応する方向コード（方向１）、４５度と２２５度とに対応する方向コード（方向２）、９０度と２７０度とに対応する方向コード（方向３）、１３５度と３１５度とに対応する方向コード（方向４）との４種類の方向コードを用いる。図３に、１つの移動領域について求めた方向コードの度数分布の例をヒストグラムとして示す。

領域特徴量検出手段１７において、ラベル付けされた移動領域ごとに度数分布を求めた後、領域特徴量検出手段１７が持つ外乱除去手段１７ａにおいて、度数分布の形状により人か外乱かを判断する。この判断には、人に対応するエッジには直線部分より曲線部分が多く、しかも人に対応するエッジは形状が複雑であるので、エッジ上の画素には全ての方向コードについて出現頻度が比較的高いのに対して、構造物などによるエッジや、影や撮像手段で生じるフリッカによるノイズのエッジは直線部分が多く、特定の方向に偏った分布を示すことが多いという経験則を利用する。つまり、領域が人に対応するときの各方向コードの度数に関して、方向コードごとに上限値及び下限値（閾値）による正常範囲を設定し、領域ごとに求めた度数分布について、各方向コードの度数のうち１つでも正常範囲を逸脱するものがあるときには、当該領域を人以外の外乱とみなす。このように、外乱除去手段１７ａは、各領域内のエッジ上の画素の方向コードに関する度数分布を特徴量として用い、移動領域が人に対応するか人以外の外乱（ノイズ）になるかを判断し、ノイズと判断した移動領域については候補画像内から取り除く（第１の外乱除去処理）。

さらに、領域特徴量検出手段１７では、度数分布において極端な分布の偏りがないと判断され、外乱とみなされず、人に対応する可能性のある移動領域（人体候補領域）について、当該領域が人を含むか否かを評価する。この評価には、予め記憶部１３にテーブルとして登録してある、人に関するエッジの方向コードの度数分布についての基準データを用い、各人体候補領域の度数分布を基準データの度数分布と比較し、両者の類似度を評価する。２つの度数分布間の類似度は種々の方法で評価可能であるが、各方向の度数の差の２乗和を評価値に用いると、簡単な方法ながら類似度の評価が可能になる。この評価値を、設定した閾値と比較し、評価値が閾値以下である場合には、当該人体候補領域を人に対応する領域（人体領域）と判断する。この方法では、テンプレートマッチングによる評価を行う場合に比較して、基準データのデータ量が少ない上に比較演算の演算量も少なくなる。

また、停止領域抽出手段１６では、移動領域検出手段１５が時刻（Ｔ−ΔＴ）において抽出した移動領域情報を用いて、輪郭画像記憶手段１３ａに記憶した時刻（Ｔ）の輪郭線画像Ｅ（Ｔ）と、時刻（Ｔ−ΔＴ）の輪郭線画像Ｅ（Ｔ−ΔＴ）とを比較することにより、人が移動後静止した領域である停止判定領域を抽出する。つまり、この時刻（Ｔ−ΔＴ）において移動領域検出手段１５が検出した移動領域に対応する、輪郭線画像Ｅ（Ｔ）の領域の画像と、輪郭線画像Ｅ（Ｔ−ΔＴ）の領域の画像とを、当該移動領域のラベリング情報に基づいて抽出し、その抽出した画像が一致しているかどうか比較することにより、当該移動領域が停止しているのかどうか判定を行い、停止していると判定した場合に当該移動領域を停止判定領域として設定する。

この判定においては、例えば図４のように、停止領域抽出手段１６により、画像が所定の大きさのブロックに分割され、ラベリング情報に基づいて抽出された比較する領域内の各ブロック間で、白画素（輪郭あり）同士（あるいは黒画素（輪郭なし）同士）の数をカウントし、そのカウント値が所定の停止判定画素数の閾値よりも大きければ、両ブロックの一致度は高い、つまり当該ブロックにおいて動きがないと判断する一致度計算を行う。そして動きがないと判断されたブロックを、ラベリング処理により連結関係を調べてグループ化し、停止判定領域として抽出する。

停止判定領域を抽出した場合には、領域特徴量検出手段１７は、ラベル付けした移動領域及び停止判定領域の情報を基に、例えば移動領域と停止領域の対応する領域の論理和を計算して、その外接矩形や大きさといった特徴量を計算する。このように人が移動した後に停止した領域である停止判定領域を抽出することで、移動と停止を繰り返する対象に対しても、精度よくその対象が存在する領域を抽出することができ、その領域の特徴量は、対象の形状の特徴を精度よく示すものとなる。

このようにして、画像式人感センサ１においては、撮像手段１０から領域特徴量検出手段１７までの一連の処理により、撮像手段１０により撮像した画像から、移動物体に相当する領域や、又は、移動物体が停止した領域を抽出し、その移動物体に相当する領域が人に対応する領域か否かを判断することにより、撮像手段１０により撮像した画像内における人の移動や停止を検出する。この画像式人感センサ１による人移動や人停止の判断結果、つまり領域特徴量検出手段１７による人移動や人停止の判断結果は検知処理部３０に入力される。

一方、熱線式人感センサ２は、焦電型赤外線センサ（焦電素子２０）を用いた人検知を行う。この焦電素子２０を用いた人検知は周知の技術であり、焦電素子２０の出力を増幅器２１により増幅し、比較器２２において人の動きに相当するレベルの信号を抽出する。焦電素子２０は受光する熱線量（赤外線量）の変化率に応じた電圧出力が得られる微分型のセンサであり、室内の室温変化などによって生じる熱線量の緩やかな変化に対しては焦電素子２０からの出力は小さくなり、比較器２２を用いることにより、この種の雑音成分は除去される。また、比較器２２は波形整形機能も兼ねており、焦電素子２０で検出される人の動きに対応した比較器２２の出力は矩形波状となる。また、図示していないが、焦電素子２０の受光面の前方には、焦電素子２０の視野内で感度ムラを付与した受光レンズを配置するのが望ましく、このような受光レンズを用いることにより、焦電素子２０の視野内で人が手を動かす程度の動きでも焦電素子２０に入射する熱線量が変化し、比較器２２から人の動きに対応する出力が得られる。このような受光レンズは、集束レンズである小レンズの集合体として形成され、各小レンズの光軸近傍の領域は感度が高く、各小レンズの境界付近は感度が低くなるので、受光レンズを配置することにより、各小レンズの光軸近傍にそれぞれ焦電素子２０の視野よりも幅狭であるビーム状の検知エリアを設定したことになる。このような各小レンズの光軸近傍の検知エリアを検知ビームと呼ぶ。

また、本実施形態では、室内が明るければ室内に人が存在していても照明器具Ｂを点灯させる必要がないので、熱線式人感センサ２には室内の照度を検出するＣｄＳあるいはフォトダイオードからなる明るさセンサ２３を設けてある。これら熱線式人感センサ２の出力である比較器２２の出力と、明るさセンサ２３の出力は画像式人感センサ１の出力と共に検知処理部３０に入力される。

検知処理部３０では、画像式人感センサ１の出力と、熱線式人感センサ２の出力を基に、室内における人の存在を判断（人検知）し、この人検知情報を基に、制御部３１はスイッチ回路４を所定の時間だけオンに保つ。ただし、検知処理部３０には、明るさセンサ２３の出力に対する閾値が設定されており、明るさセンサ２３により検出される照度が閾値を超える期間には制御部３１に対してスイッチ回路４をオフに保つように指示する。また、検知処理部３０では、明るさセンサ２３に対して２段階の閾値を用いてヒステリシスを付与しており、明るさセンサ２３により検出される照度が低いほうの閾値以下になると、次に高いほうの閾値を超える照度となるまでは、制御部３１は人検知情報に対応したスイッチ回路４のオン／オフを行い、その後、照度が高いほうの閾値を越えると、次に低いほうの閾値以下になるまではスイッチ回路をオフに保つ。したがって、照度がいずれかの閾値以下で振動しても照明器具Ｂの動作が不安定となることはない。また、スイッチ回路４のオン／オフを行う期間において、人検知に対応して照明器具Ｂを点灯させると、明るさセンサ２３により検出される照度が高いほうの閾値を超える場合があるが、人検知に対応してスイッチ回路４をオンにしたときには明るさセンサ２３の出力を無効にすることによって、短時間のうちに照明器具Ｂの点灯と消灯とが繰り返されるような誤動作が防止される。

検知処理部３０では、比較器２２から入力される矩形波状の信号を用いて、焦電素子２０の視野内での人の存否を判断する。検知処理部３０では、例えば、矩形波状の信号が規定した時間内に規定した個数（例えば３個）が入力されると、焦電素子２０の視野内に人が存在すると判断する。ただし、焦電素子２０は微分型のセンサであり、人に動きのあるときにしか人検知と判断されないので、焦電素子２０の出力に基づいて人検知と判断されたときには、その人検知情報を基に、制御部３１は内蔵したタイマ回路を起動し、このタイマ回路が所定の長さのオフディレイ時間（例えば３０秒）を時限している間はスイッチ回路４をオンに保つ。タイマ回路はリトリガ可能となっており、タイマ回路の時限動作中に人検知が判断されると、タイマ回路はリトリガされ、その時点からオフディレイ時間を再度時限開始する。タイマ回路のオフディレイ時間は、通常は比較的長く設定され、室内に人が存在する間にしばらく人の動きがなくとも、スイッチ回路４がオンに保たれる程度の長さとすることが望ましい。

検知処理部３０は、画像式人感センサ１による出力に基づいて人検知と判断し、熱線式人感センサ２による人検知の場合と同様に制御部３１へ人検知情報を出力する。また、検知処理部３０には、本実施形態において、画像式人感センサ１により撮像された画像を複数の領域に分割する領域分割手段３０ａと、分割された各領域から人の挙動を検出可能な属性を持つ特定領域を設定する領域設定手段３０ｂと、この特定領域に応じてオフディレイ時間を設定する時間設定手段３０ｄが設けられている。検知処理部３０は、その時点の画像式人感センサによって検出された人体領域が位置する領域に応じて、時間設定手段３０ｄによって設定されたオフディレイ時間も制御部３１に出力する。制御部３１は、この人検知情報によりタイマ回路を起動し、時間設定手段により設定されたオフディレイ時間を時限している間にはスイッチ回路４をオンに保つ。下記にこのオフディレイ時間を設定する動作と方法について説明する。

図５は領域分割手段３０ａによる領域分割と、領域設定手段３０ｂによる特定領域の設定の例を示す。領域分割手段３０ａにより分割される領域は、本実施形態において、例えば視野ＶＦの処理画素（撮像手段１０により撮像された画像の画素）が２４０×２５６画素であるとき、これに合わせて１つが３２×３２画素となる（上下１列は、調整のため縦を４０画素とする）、縦７個×横８個の領域ブロックに分割される。このとき、例えば装置の標準施工高さを２．２ｍとした場合に、人体検出を行う高さ０．８ｍにおいては、約４９ｃｍ×５２ｃｍの範囲を１つの領域が示すこととなり、人体検出するにあたり最適の大きさであると考えられるが、これに限らず、他のサイズに分割したり、他の分割方法により分割したりしてもよい。

領域分割手段３０ａにより、画像式人感センサ１からの出力画像が分割された後、領域設定手段３０ｂにより、図５のように予め設定された種類の特定領域が各領域に設定される。この特定領域には、本実施形態においては、静止領域（以下Ｔ領域とする）と、出入口領域（以下Ｄ領域とする）と、静止範囲Ｓの３種類の領域があり、Ｔ領域はその領域で人が静止する可能性が高い領域であり、Ｄ領域は、撮像手段１０の視野内において、人が出入する領域であることを示す領域である。また、静止範囲Ｓは、Ｔ領域を所定値分拡大した領域であり、本実施形態においてはＴ領域を囲むように１ブロック分拡大した範囲に設定される。特定領域は、これらの属性に限らず、この他の属性を示す領域を予め設定することもできる。

領域設定手段３０ｂは、画像式人感センサ１が検知した人の挙動の履歴を基に学習し、領域分割手段３０ａによって分割した領域の中から、この学習により選択された領域に特定領域を設定する。特定領域は予め手動で設定可能であるが、本実施形態においては、人の挙動を学習することによって自動的に特定領域の設定が行われるようにすることで、装置の使用に先立って特定領域を設定する必要がなくなり、また、装置を取り付ける際に、容易に施工可能となる。

領域設定手段３０ｂにおいて、人の挙動の学習によって特定領域を設定する方法としては、種々の方法が考えられる。本実施形態においては、例えば、領域設定手段３０ｂは、領域分割手段３０ａによって分割された各領域に付与される点数を記憶する記憶手段３０ｃを持ち、各領域において予め設定された学習条件を満足したとき、当該領域に点数を加点する。例えばトイレ内における便器の位置など、人が静止する可能性の高いＴ領域を学習する場合において、画像式人感センサ１により検出される人の移動がなくなり、後述するように制御部３１におけるタイマ回路が時限動作中となったとき、所定時間（例えば２秒間）人の移動が検出されなければ、人体領域の重心が位置する領域に静止領域としての属性を持つ点数（以下静止点数と呼ぶ）を例えば１点付与する（Ｔ領域学習）。このようにすることで、実際に人が静止する可能性が高い領域を学習することができる。また、このように特定領域を学習する際に、加点する領域を人体領域の重心が位置する領域とすることで、人の位置する可能性が最も高い領域に加点することができ、各領域間で点数を比較し特定領域を設定する際に比較が容易となる。

領域設定手段３０ｂによるＴ領域学習において、静止点数を加点する条件はこれに限らず、例えば人の停止の検出が、所定時間（例えば２秒間、停止検出処理の処理間隔４００ｍｓ）に所定回数（例えば３回）あった場合、そのときの人体領域の重心が位置する領域に、静止点数を例えば１点付与すると設定する方法としてもよい。これにより、人が完全には静止していないが、大きく移動をしていないときにもＴ領域学習を行うことができる。

そして、領域設定手段３０ｂは、上記のような学習を重ねて得られた、各領域の持つ静止点数を領域間で比較して、それぞれの点数が上位所定個数（例えば３領域）の領域をＴ領域として設定する。このとき、例えば、Ｔ領域と設定されるときに必要な点数として最低点数基準（例えば３０点）を定め、望ましくない領域に誤って点数が加算された場合でも、この最低点数基準以上の点数を持たなければＴ領域として設定されないようにしてもよい。また、このような学習を繰り返して行うように設定することにより、誤学習により望ましくない領域がＴ領域に設定されたときでも、再学習により、Ｔ領域がより望ましい領域に設定変更されるようにしてもよい。このようにして領域設定手段３０ｂが、人の挙動を学習して特定領域を設定する方法は、Ｔ領域に限らず、その他の特定領域を設定するときにも同様であり、その設定する特定領域の属性に応じた学習条件を設定することにより、その特定領域を適切に設定させることが可能である。

次に、検知処理部３０の時間設定手段３０ｄは、画像式人感センサ１が人の移動または停止を検知したとき、領域分割手段３０ａによって分割された領域のうち、どの領域で人移動または停止が検出されたのかを判断し、その検出された領域の属性に対応した、制御部３１のタイマ回路が時限するオフディレイ時間を設定する。本実施形態では、オフディレイ時間の長さは、特定領域に応じて予め設定されており、本実施例においては、Ｔ領域については例えば３００秒を設定する。Ｔ領域は、その領域で人が静止する可能性が高いため、オフディレイ時間を無限大に設定して照明を消灯しないことが理想的ではあるが、誤学習による設定や、誤検知があった場合に照明が消灯できないと不都合であることから、通常人体が静止している最大時間と想定される時間が設定される。また、Ｄ領域については例えば１０秒、静止範囲Ｓについては例えば６０秒とし、これら以外の特定領域として設定されていない領域については例えば３０秒と設定する。

そして、検知処理部３０は、画像式人感センサの人移動や人停止の情報を基にして、熱線式人感センサ２による人検知の場合と同様に、制御部３１へ、人検知情報と、時間設定手段３０ｄによって設定したオフディレイ時間とを出力する。制御部３１は、この人検知情報によりタイマ回路を起動し、指定されたオフディレイ時間を時限している間にはスイッチ回路４をオンに保つ。例えば、人が静止する可能性の高いＴ領域にて、画像式人感センサ１により検出された人体領域が消失した場合、時間設定手段３０ｄは、人体はＴ領域にて静止していると検知してオフディレイ時間を３００秒と設定し、制御部３１は、３００秒まで照明を点灯した状態で待機させる。また、Ｄ領域にて人体領域が消失した場合には、時間設定手段３０ｄは、オフディレイ時間を１０秒に設定し、制御部３１は、人体領域が消失した時点から１０秒間照明を点灯した状態で待機させる。同様にして、それ以外の領域（通常領域）にて消失したときには、３０秒間照明を点灯した状態で待機し、また、静止の可能性の高い静止範囲Ｓでは６０秒待機する。ここで、静止範囲Ｓに、通常領域より長めのオフディレイ時間を設定することによって、例えば人体がＴ領域の付近で静止状態にあるとき、この人体領域の検出点としては通常領域にあたり、時間設定手段３０ｄが通常領域においての人体領域の消失と判断し、オフディレイ時間を３０秒として、人が存在しているのに照明が誤って消灯してしまうなどの誤動作を防止する。

上記のように制御部３１のタイマ回路がオフディレイ時間を時限中に人の移動や停止の検知が無く、タイマ回路がリトリガされることなく時限を満了したときには、検知処理部３０の退出判定手段３０ｉが、人体は部屋内から退出したと判定（退出判定）する。制御部３１は、この退出判定を基にスイッチ回路４をオフとし、照明器具Ｂの照明を消灯させる。ここで、退出判定手段３０ｉが行う退出判定は、上記のように制御部３１のタイマ回路が時限するオフディレイ時間が満了した時だけでなく、他の条件が満たされたときにも行うようにしてもよい。例えば、画像式人感センサ１の領域特徴量検出手段１７が検出していた移動領域が、その移動領域の大きさが小さくなりながら消滅したようなときには、人が退出する様子が示されていると判断してもよく、退出判定を行うことができる。

検知処理部３０には、移動領域検出手段１５により検出された移動領域を所定量拡大させる膨張処理手段３０ｅと、この膨張処理手段によって拡大された複数の移動領域のうち、互いに重なる移動領域同士を結合して１つの移動領域とする領域結合手段３０ｆと、領域結合手段３０ｆに含まれ、所定値以下の大きさの移動領域を除去する小領域除去手段３０ｇと、撮像手段１０により撮像される視野内に複数の人が存在しているとする複数人判定を行う複数人判定手段３０ｈが設けられており、撮像手段１０の視野内に複数の人が存在するかを判断する。下記にこの複数人判定に関する動作について説明する。

図６は、本実施形態における複数人判定手段３０ｈによる複数人判定の例を示す。例えば、図６のように、時刻Ｔに視野ＶＦ内に移動領域が新たに検出されたとき、領域結合手段３０ｆは、互いに重なるか、又は互いの間隔が所定値以内（例えば、１０画素以内）である移動領域同士を結合（領域結合）して１つの移動領域（結合移動領域）とする（図の白抜き矢印）。このようにして、複数の移動領域を結合して１つの結合移動領域として複数人判定を行うことにより、１人の人体がいくつかの部分に分離されて移動領域として検出された場合でも、これらの移動領域を別々の人体に対応する領域とせず、これらの移動領域を１人の人体の領域として取り扱うことができるため、視野内に存在する人が複数かどうかより確実に判断可能となる。

このとき、図７に示すように、新たに検出された移動領域について、膨張処理手段３０ｅが図の矢印のようにこれらの移動領域を所定量（例えば各辺につき１０画素）だけ拡大させる拡大処理を行い、領域結合手段３０ｆが、領域結合を行いこれらの移動領域を結合移動領域としてもよい。この領域結合を行った後で、小領域除去手段３０ｇは、所定値以下の大きさの移動領域を人ではない検知対象外の物体を示す領域として除去する小領域除去処理を行う。このように領域結合と小領域除去処理を行うことにより、１人の人体がいくつかの部分に分離され、小さい移動領域としてしか検出されなくても、膨張させることによってより確実に１人の人体を結合させて１つの移動領域とすることができる。また、このときに小さすぎて人とみなせないような大きさの移動領域は除去されるため、視野内に存在する人が複数かどうかより確実に判断可能となる。

ここで、領域結合手段３０ｆにより結合される結合移動領域は、例えば図６に示すように元の移動領域の外接長方形となるように設定してもよく、膨張処理手段３０ｅにより拡大された大きさの、元の移動領域の外接長方形としたり、その所定倍（例えば１．５倍）となる大きさの領域としてもよい。

そして、図６のように、視野ＶＦ内に時刻Ｔより前の時刻Ｔ−１に、後述のようにして移動領域の移動を追跡する人体追跡領域Ｘが存在するとき、複数人判定手段３０ｈは、時刻Ｔにおいて、結合移動領域が人体追跡領域Ｘに対して上記の所定距離（例えば、各領域の重心間の距離で１００画素、又は、重心間の横方向と縦方向の距離の合計で１５０画素）以上離れた位置にあれば、視野ＶＦ内に、複数人が存在していると判定する（複数人判定）。

このとき、結合移動領域が人体追跡領域Ｘと重なる場合には、人体追跡領域Ｘとして検出される人と同一である人が結合移動領域として検出された可能性があるので、複数人判定しないことが望ましい。また、ここで、時刻Ｔに、人体追跡領域Ｘに対して所定距離（例えば、各領域の重心間の距離で１００画素、又は、重心間の横方向と縦方向の距離の合計で１５０画素）以上離れた位置に所定の大きさ（例えば、縦４０画素×横４０画素）以上の大きさの移動領域が新たに検出されたときには、拡大処理や領域結合を行わず、複数人判定を行うとしてもよい。

上記のように時刻Ｔに複数人判定が行われた後、複数人判定手段３０ｈは、このとき判定した、人体に対応する移動領域を追跡する領域として人体追跡領域Ｙを設定する。そして、時刻Ｔ＋１（時刻Ｔから画像式人感センサが１処理を行った後の時刻）に検出される移動領域が、時刻Ｔにおける人体追跡領域Ｙと重なっているとき、又は、時刻Ｔ＋１に検出される移動領域と時刻Ｔにおいて人体追跡領域Ｙが追跡する移動領域との距離が所定値（例えば２０画素）以内であったときに、複数人判定手段３０ｈは、人体追跡領域Ｙは時刻Ｔ＋１においての当該移動領域を追跡すると判断し、時刻Ｔ＋１においての人体追跡領域Ｙの位置をこの移動領域の位置に移動させる。このとき移動させた人体追跡領域Ｙの形状は、例えば、当該移動領域の形状を受け継いだ形状としてもよく、移動させる前の形状としてもよい。

図８は、本実施形態における複数人判定手段３０ｈによるもう一つの複数人判定の例を示す。図８のように、時刻Ｔ−１に人体追跡領域Ｘに追跡されている移動領域において、時刻Ｔに停止判定領域が検出されたとき、複数人判定手段３０ｈは、この停止判定領域と、時刻Ｔに人体追跡領域Ｘに追跡されている移動領域との距離（図の黒実線矢印）を算出する。そして、最もこの停止判定領域から離れている移動領域について、この距離が所定距離（例えば、各領域の重心間の距離で１００画素相当、又は、重心間の横方向と縦方向の距離の合計で１５０画素）以上であったときに、複数人判定手段３０ｈは複数人判定を行い、人体追跡領域Ｘを分割し、人体追跡領域Ｘと人体追跡領域Ｙとして再設定する（図の白抜き矢印）。この人体追跡領域Ｘと人体追跡領域Ｙを分割し再設定する方法としては種々の方法が考えられるが、例えば図７の黒点線矢印に示されるように、検出した停止判定領域から最遠の移動領域を追跡する領域として人体追跡領域Ｙと設定し、人体追跡領域Ｘが時刻Ｔ−１に追跡していた結合移動領域から、時刻Ｔにおいて人体追跡領域Ｙを分割した領域を人体追跡領域Ｘとして再設定する方法が考えられる。この方法の他に、人体追跡領域Ｘを上下や、左右に半分に分割する方法を採ってもよい。これにより、ほとんど移動しない人が視野内に存在するときでも、この人を検知することができるので、視野内に存在する人が複数かどうか、より確実に判断することができる。

ここで、本実施形態において、複数人判定手段３０ｈは、例えば、時刻Ｔに複数人判定を行うための条件が満たされたときに、上記のように直に複数人判定を行わず、人体追跡領域Ｙを設定する替わりに人体追跡候補領域Ｙを設定し、時刻Ｔ以降、画像式人感センサ１の移動領域検出手段１５により所定回数（例えば５回）以上の人の移動が検出されたとき、初めて複数人判定を行い、この人体追跡候補領域Ｙを人体追跡領域Ｙとして確定するとしてもよい。複数人判定をこのように行うことにより、一度複数人判定を行うための条件が満たされても、その後、人の移動が検出されなかった場合には、設定された人体追跡候補領域Ｙは一時の誤作動要因（例えば、西日などでの照度変化や、人以外の物の落下等）の発生によるものと判断され、複数人判定が行われないので、複数人の判定を誤って行うことを防ぐことができる。このように人体追跡候補領域Ｙを設定してから人体追跡領域Ｙを設定するときには、人体追跡候補領域Ｙが設定された後、所定回数人の移動が検知され、さらに人体追跡候補領域Ｙが、そのとき検知した移動領域を追跡したときに、複数人判定を行うとしてもよい。

また、複数人判定手段３０ｈが、ドア等の人ではない物の動きを検出して、複数人判定してしまうなどの誤判定の確率を下げるため、外乱除去手段１７ａにおいて通常も行われている外乱除去処理をより厳しい条件とすることにより、より確実な複数人判定を実現してもよい。このとき、例えば、時刻Ｔに複数人判定を行う条件が満たされたとき、複数人判定手段３０ｈは、まだ複数人判定を行わず、外乱除去手段１７ａは、移動領域ごとに求められた方向コードの度数分布について、当該移動領域が外乱ではないと見做す範囲である、上限値と下限値（閾値）により設定される正常範囲を、通常より狭い範囲となるよう変更し、第２の外乱除去処理を行う。

例えば、本実施形態においては、１つの移動領域について前述のような４種類の方向コードについて度数分布を求めるが、通常は、外乱除去の閾値は上限値が０．７、下限値が０．３と設定されている。これは、通常時でも移動領域が体の一部分として検出されたときには、方向コードの度数分布が偏る場合があるため、正常範囲は狭くしない方がよいからである。こうして、４種類の方向コードそれぞれについて、全エッジ上の画素数で除して正規化したもののうち、いずれかが上限値を超えるか、下限値に満たないときは、当該移動領域を外乱と判断する。

そして、複数人判定を行う際に、誤判定が行われてしまう可能性のある要因として例えば出入口のドアを考えると、エッジ画像としたとき直線部分が多いため、度数分布の偏りが人体と比べ大きくなる。そこで、複数人判定を行う条件が満たされたときに、外乱除去の閾値を、画像内のより多くの要因を外乱として検知するように、つまり正常範囲が狭い範囲となるように変更して、外乱の誤判定の確率を下げる。そして、第２の外乱除去処理を行い、外乱として判断された領域を複数人判定処理対象から除いた後、複数人判定手段３０ｈは、再び複数人判定を行う条件が満たされたとき、複数人判定を行う。このとき、移動領域を結合して結合移動領域とする際には、結合する前の複数の移動領域それぞれにおいて第２の外乱除去処理を行ってもよく、結合移動領域として全てのエッジ画素を合計した状態で第２の外乱除去処理を行ってもよい。このように第２の外乱除去処理を行うことで、人体以外の物を人体の動きと取り違えて検知し、複数人判定することが少なくなるので、複数人判定の誤判定が行われる確率を下げることが可能となる。

複数人判定手段３０ｈは、上記のようにして複数人判定を行った後、複数の人体追跡領域が、同一の移動領域を追跡しているとの判定を所定回数（例えば２回）以上行ったときに、複数人判定を解除する。例えば、図９のように、視野ＶＦ内に、時刻Ｔ−１において人体追跡領域Ｘと人体追跡領域Ｙが存在するとき、この人体追跡領域Ｘと人体追跡領域Ｙが追跡する対象である移動領域が、時刻Ｔではそれぞれ別の移動領域であったが、時刻Ｔ＋１では同一の移動領域となり、時刻Ｔ＋２でもこれと同じ同一の移動領域となったとする。このとき、複数人判定手段３０ｈは時刻Ｔ＋２の時点で複数人判定を解除し、視野ＶＦ内に人は、人体追跡領域Ｘに対応する１人しかいないと判定する。このようにすることにより、人体追跡領域の数が移動領域の数より多くなって人体追跡領域が追跡するべき移動領域を見失うといった追跡ミスを防止して、視野ＶＦ内に存在する人を確実に追跡することが可能となる。例えば、視野ＶＦ内に１人しか存在しないにもかかわらず複数人判定されたり、また、視野ＶＦ内に２人存在するときにおいて複数人判定が行われ、その後にその２人が一緒に行動して１つの移動領域として検出される場合に、複数人判定が解除される。ここで、複数の人体追跡領域が同じ移動領域を追跡するときには、人体追跡領域を領域の重心同士が重なるような位置に移動させてもよく、また移動領域を半分に分割して共有するように移動させてもよい。このように複数人判定を解除しても、例えば一体となって行動する２人が再び別々に行動するときには、再び複数人判定が行われるので、複数人判定を解除しても問題はない。

また、複数人判定手段３０ｈは、上記のように複数人判定を行い、複数の移動領域を複数の人体追跡領域が追跡しているときに、画像式人感センサ１により、領域設定手段３０ｂにより設定された静止領域（Ｔ領域）内において、新しい移動領域が検出されたとき、移動領域を追跡していた複数の人体追跡領域のうち１つを、そのＴ領域内において検出した移動領域に追跡変更させる。例えば、図１０のように、視野ＶＦ内に時刻Ｔ−１において人体追跡領域Ｘと人体追跡領域Ｙが存在し、それぞれ別の移動領域を追跡しており、また、領域設定手段３０ｂによりＴ領域が視野ＶＦ内に設定されているとする。このとき、時刻ＴにおいてＴ領域内に別の移動領域が検出（例えば、移動領域の重心がＴ領域内である状態で検出）されたとき、これまでの人体追跡領域Ｘと人体追跡領域Ｙが追跡対象としていた移動領域との関係を解消し、どちらか一方の人体追跡領域の追跡する移動領域をＴ領域内に発生した移動領域に追跡変更し、他方の人体追跡領域はこれまで追跡していた移動領域を引き続き追跡する。

このとき、追跡対象を変更させる人体追跡領域は人体追跡領域Ｘと人体追跡領域Ｙのどちらでも構わないが、例えば、図１０に示されているように、当該Ｔ領域に最も近い人体追跡領域が追跡変更するという条件を用いて、図の黒矢印のように人体追跡領域Ｙが追跡変更するとすることができる。また、この追跡対象の変更を行うとき、追跡変更した後の人体追跡領域の大きさなどの情報は、追跡変更を行う前の状態の情報を引き継いでもよく、追跡変更のときに更新しても構わない。このように追跡対象の変更を行うことにより、複数人判定時に、人が静止する可能性の高い静止領域において少しの人の移動でも検出したときには、１人はその静止領域に存在していると判定し、当該検出領域に人体追跡領域を設定することができる。これにより、複数人の内でほぼ静止状態である人が存在するときに、静止状態の人に対応する人体追跡領域が視野内で移動する他の人を追跡してしまうといった追跡ミスの状態が解消され、ほぼ静止状態である人の追跡を継続することが可能となる。

上記のように、検知処理部３０の複数人判定手段３０ｈにおいて複数人判定を行うことで、視野内に存在する人が複数であるかどうか判断できるため、視野ＶＦ内の人の存否を確実に検知することが可能となる。複数人判定が行われたとき、制御部３１は、検知処理部３０の退出判定手段３０ｉによって退出判定が一回行われても、人が存在していないとは判断せず、照明を点灯したまま維持する。その後、退出判定手段３０ｉが複数人判定によって判定された複数人の数と同じ回数の退出判定を行った後に、検出した複数人全員が退出して人が存在しないと判断し、スイッチ回路４をオフとして、照明を消灯するように制御する。このように制御することで、人が存在しているにも関わらず、照明を直ぐに消灯してしまう等の誤動作を防止することが可能となる。

なお、本発明は、上記実施形態の構成や学習条件例に限定するものではなく、発明の範囲を変更しない範囲で適宜に種々の変形が可能である。例えば、被制御機器として照明を制御するだけではなく、室内に人の異常がないかを監視するシステムにおいての人体検知装置としても利用可能である。

本発明の一実施形態に係る人体検知装置の構成図。 同上装置における画像式人感センサの動作を説明する図。 上記画像式人感センサの動作を説明する図。 上記画像式人感センサの動作を説明する図。 上記人体検知装置における領域設定例を示す図。 上記人体検知装置における複数人判定例を説明する図。 上記人体検知装置における拡大処理を説明する図。 上記人体検知装置における複数人判定例を説明する図。 上記人体検知装置における複数人判定の解除を説明する図。 上記人体検知装置における人体追跡領域の追跡対象の変更を説明する図。

符号の説明

１０ 撮像手段
１５ 移動領域検出手段
１６ 停止領域抽出手段
１７ａ 外乱除去手段
３０ｂ 領域設定手段
３０ｅ 膨張処理手段
３０ｆ 領域結合手段
３０ｇ 小領域除去手段
３０ｈ 複数人判定手段
３０ｉ 退出判定手段
３１ 制御部
Ａ 人体検知装置

Claims (8)

1. 所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段と、前記移動領域検出手段により検出された複数の移動領域のうち、互いの間隔が所定値以内となる移動領域同士、又は、互いに重なる移動領域同士を結合して１つの移動領域とする領域結合手段とを備えた、人を検知する人体検知装置において、
   前記領域結合手段により移動領域同士が結合された後、前記視野内に複数の移動領域が存在し、この移動領域の間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段を備え、
   前記撮像手段により撮像された画像内から、移動する人かそれ以外の外乱かを所定の閾値を用いて判別し、その外乱を当該画像内から取り除く第１の外乱除去処理と、前記閾値より多くの要因を外乱として検知するように設定された閾値を用いて外乱を判別して画像内から取り除く第２の外乱除去処理とを行う外乱除去手段を備え、
   前記外乱除去手段は、前記第１の外乱除去処理を行っており、前記複数人判定手段により、前記撮像手段によって撮像される視野内に複数の人が存在しているとする前記複数人判定を行うための条件が満たされたときに、前記第２の外乱除去処理を行い、
   前記複数人判定手段は、前記第２の外乱除去処理が行われた後に再び前記複数人判定を行うための条件が満たされたときに、初めて前記複数人判定を行う構成とされていることを特徴とする人体検知装置。
2. 所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段と、前記移動領域検出手段により検出された複数の移動領域のうち、互いの間隔が所定値以内となる移動領域同士、又は、互いに重なる移動領域同士を結合して１つの移動領域とする領域結合手段とを備えた、人を検知する人体検知装置において、
   前記領域結合手段により移動領域同士が結合された後、前記視野内に複数の移動領域が存在し、この移動領域の間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段を備え、
   前記撮像手段により撮像される視野内において、人が静止する可能性の高い領域である静止領域を設定する領域設定手段を備え、
   前記複数人判定手段は、前記複数人判定を行った後、人体に対応する移動領域を人体追跡領域として設定して複数の移動領域を追跡中に、前記移動領域検出手段が、前記領域設定手段により設定された静止領域内において新しい移動領域を検出したとき、移動領域を追跡していた複数の人体追跡領域のうち１つを、静止領域内で検出した移動領域に追跡変更する構成とされていることを特徴とする人体検知装置。
3. 所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段を備え、人を検知する人体検知装置において、
   前記撮像手段により撮像された視野内において移動する物体の停止を検知し、移動する物体が停止した領域である停止判定領域を検出する停止領域抽出手段と、
   前記移動領域検出手段により検出された移動領域と、前記停止領域抽出手段により検出された停止判定領域とが前記視野内に存在し、該移動領域と該停止判定領域との間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段とを備え、
   前記撮像手段により撮像された画像内から、移動する人かそれ以外の外乱かを所定の閾値を用いて判別し、その外乱を当該画像内から取り除く第１の外乱除去処理と、前記閾値より多くの要因を外乱として検知するように設定された閾値を用いて外乱を判別して画像内から取り除く第２の外乱除去処理とを行う外乱除去手段を備え、
   前記外乱除去手段は、前記第１の外乱除去処理を行っており、前記複数人判定手段により、前記撮像手段によって撮像される視野内に複数の人が存在しているとする前記複数人判定を行うための条件が満たされたときに、前記第２の外乱除去処理を行い、
   前記複数人判定手段は、前記第２の外乱除去処理が行われた後に再び前記複数人判定を行うための条件が満たされたときに、初めて前記複数人判定を行う構成とされていることを特徴とする人体検知装置。
4. 所定の視野を撮像する撮像手段が撮像した画像から、前記視野内で移動する物体を示す領域である移動領域を検出する移動領域検出手段を備え、人を検知する人体検知装置において、
   前記撮像手段により撮像された視野内において移動する物体の停止を検知し、移動する物体が停止した領域である停止判定領域を検出する停止領域抽出手段と、
   前記移動領域検出手段により検出された移動領域と、前記停止領域抽出手段により検出された停止判定領域とが前記視野内に存在し、該移動領域と該停止判定領域との間隔が所定値以上離れているとき、前記撮像手段により撮像される視野内に複数の人が存在していると判定する複数人判定手段とを備え、
   前記撮像手段により撮像される視野内において、人が静止する可能性の高い領域である静止領域を設定する領域設定手段を備え、
   前記複数人判定手段は、前記複数人判定を行った後、人体に対応する移動領域を人体追跡領域として設定して複数の移動領域を追跡中に、前記移動領域検出手段が、前記領域設定手段により設定された静止領域内において新しい移動領域を検出したとき、移動領域を追跡していた複数の人体追跡領域のうち１つを、静止領域内で検出した移動領域に追跡変更する構成とされていることを特徴とする人体検知装置。
5. 前記移動領域検出手段により検出された移動領域を拡大させる膨張処理手段と、前記膨張処理手段によって拡大された移動領域のうち、所定値以下の大きさの移動領域を除去する小領域除去手段とを備え、
   前記領域結合手段は、前記膨張処理手段によって拡大された複数の移動領域のうち、互いの間隔が所定値以内となる移動領域同士、又は、互いに重なる移動領域同士を結合し、
   前記小領域除去手段は、前記領域結合手段によって移動領域の結合が行われた後に、所定値以下の大きさの移動領域を除去することを特徴とする請求項１又は請求項２に記載の人体検知装置。
6. 前記複数人判定手段は、前記撮像手段により撮像される視野内に複数の人が存在しているとする複数人判定を行うための条件が満たされた後、所定回数以上の人の移動が検知されたとき、初めて前記複数人判定を行うことを特徴とする請求項１乃至請求項５のいずれかに記載の人体検知装置。
7. 前記複数人判定手段は、前記複数人判定を行った後、人体に対応する移動領域を人体追跡領域として設定し、複数の人体追跡領域が同一の移動領域を追跡しているとの判定を所定回数以上行ったときに、前記複数人判定を解除することを特徴とする請求項１乃至請求項６のいずれかに記載の人体検知装置。
8. 前記撮像手段により撮像される視野内から人が退出したことを判定する退出判定手段と、前記視野内における人の存否の情報に応じて被制御機器の動作を制御する制御部とを備え、
   前記制御部は、前記複数人判定手段が前記複数人判定を行ったとき、前記退出判定手段が、複数人判定手段によって判定された前記視野内に存在する人の数と同じ回数の退出判定を行った後に、人が存在しないときに応じた制御を行うことを特徴とする請求項１乃至請求項７のいずれかに記載の人体検知装置。

Images