しかしながら、上記特許文献1記載の技術では、人体検出センサによる検知領域を分割した領域は、事前に指定されているため、センサを室内に施工する位置を限定する必要があり、また、部屋形状が特殊なトイレや浴室などに対応できない。また、室内の出入口方向に装置を施工する必要があるが、部屋の形状や天井の状態などによっては、装置の方向を指定できず使用ができないなどの不都合がある。
また、上記特許文献2記載の技術では、部屋の入り口領域を設定する際、入室時のみの検出情報を使うために、常時撮像手段を動作させておく必要があり、消費電力が大きい。また、上記のように、被制御機器として室内の照明などを制御するような用途において、熱線センサと組合せ、熱線センサの検知によって照明および撮像手段を起動するとした場合には、撮像手段が起動した時点で人体が入室した位置から既に移動していたり、入室判定をしようとしたとき照明が点灯し、画像に輝度変化が生じて人体の正確な位置が検出できかったりなど、入室時の領域情報を得ることが困難である。
本発明は、上記問題点に鑑みてなされたものであり、画像式人感センサによって撮像された画像を分割した領域から特定領域を設定し、特定領域ごとに異なるオフディレイ時間を設定することにより、被制御機器の動作の制御を適切に設定できる人体検知装置を提供することを目的とする。
上記目的を達成するため請求項1の発明は、所定の視野を撮像する撮像手段と、この撮像手段が撮像した画像から人を検知する画像式人感センサと、この画像式人感センサの出力画像を複数の領域に分割する領域分割手段と、この領域分割手段によって分割された領域のうち、人の挙動を検出可能な属性を持つ領域を特定領域として設定する領域設定手段とを備える人体検知装置において、被制御機器の制御動作を遅らせるオフディレイ時間を前記領域に応じて設定する時間設定手段を備え、この時間設定手段は、前記特定領域に前記属性に応じたオフディレイ時間を個別に設定するものであり、前記領域設定手段は、前記画像式人感センサが人を検知した履歴を基に、人体の挙動を学習する手段を持ち、その学習によって前記特定領域を自動的に設定し、さらに、前記領域分割手段によって分割された各領域に付与される点数を記憶する記憶手段を持ち、前記各領域において予め設定された学習条件を満足した場合に、当該領域に加点し、この各領域の持つ点数に応じて前記特定領域を自動的に設定するものである。
請求項2の発明は、請求項1の発明において、前記領域設定手段を、前記点数が高い上位所定個数の領域を前記特定領域として自動的に設定するように構成したものである。
請求項3の発明は、請求項1の発明において、前記領域設定手段を、前記点数についての最低点数基準を有し、前記点数が該最低点数基準を超えていない領域は前記特定領域として自動的に設定しないように構成したものである。
請求項4の発明は、請求項1乃至請求項3のいずれかの発明において、前記領域設定手段を、前記各領域が持つ点数の上限を定める最高点数基準を有し、この最高点数基準を超える点数は前記記憶手段に記憶しないように構成したものである。
請求項5の発明は、請求項4の発明において、前記領域設定手段を、前記点数についての最低点数基準を有するように構成し、さらに、前記領域設定手段を、前記最高点数基準の点数を持つ領域が所定個数となった時点において、前記最低点数基準を超えた点数を持つ領域のうち、この領域が持つ点数の高い上位所定個数の領域を前記特定領域として設定し、この設定した特定領域以外の領域の持つ点数を前記最低点数基準以下に下げて再学習を開始するように構成したものである。
請求項6の発明は、請求項1の発明において、前記領域設定手段を、前記各領域のうち、前記画像式人感センサが人の移動を検出後、所定時間人の移動を検出しなかった領域に、人が静止する可能性が高い静止領域としての属性を持つ点数を加点するように構成したものである。
請求項7の発明は、請求項1の発明において、前記領域設定手段を、前記各領域のうち、前記画像式人感センサが所定時間内に所定回数、人の停止を検出した領域に、前記静止領域としての属性を持つ点数を加点するように構成したものである。
請求項8の発明は、請求項6又は請求項7の発明において、前記領域設定手段を、前記各領域に加点を行う時点において、この時点より過去に前記画像センサにより検出された、各領域における人の移動又は停止の経緯が、人が停止しようとする際の挙動を示す場合に、その他の場合より前記静止領域としての属性を持つ点数を増加させて加点するように構成したものである。
請求項9の発明は、請求項1の発明において、前記領域設定手段を、前記画像式人感センサが所定の視野内で人の存在を検出した時間において、その時間の最初又は最後に人の移動を検出した領域に、前記視野内に人が出入りする出入口が存在する領域である出入口領域としての属性を持つ点数を加点するように構成したものである。
請求項10の発明は、請求項9の発明において、前記領域設定手段を、設定した前記出入口領域に隣接する領域を、人が静止する可能性が高い静止領域として設定しないように構成したものである。
請求項11の発明は、請求項1の発明において、前記時間設定手段を、前記特定領域を所定値分拡大した領域について、前記特定領域の属性に応じたオフディレイ時間を設定するように構成したものである。
請求項12の発明は、請求項6乃至請求項8のいずれかの発明において、前記領域設定手段において、設定した前記静止領域が所定個数未満である場合、前記時間設定手段を、設定した前記静止領域以外の領域のオフディレイ時間を延長するよう変更して設定するように構成したものである。
請求項13の発明は、請求項6の発明において、前記領域設定手段を、前記各領域において、前記画像式人感センサが移動検出した後、第1の時間、移動検出しなかった領域に、前記静止領域としての属性を持つ点数を加点し、且つ、前記画像式人感センサが移動検出した後、第1の時間よりも長い第2の時間移動検出しなかった領域に、前記出入口領域としての属性を持つ点数を加点するように構成したものである。
請求項14の発明は、請求項13の発明において、前記領域設定手段を、前記各領域において、前記出入口領域としての属性を持つ点数を加点した時点で、当該領域において、前記画像式人感センサが最後に移動検出してから前記時点までの間に加点した、前記静止領域としての属性を持つ点数をキャンセルするように構成したものである。
請求項15の発明は、請求項1の発明において、前記画像式人感センサを、撮像された画像内で移動する人を示す移動検出領域を検出するよう構成し、さらに、前記領域設定手段を、前記移動検出領域の重心位置が存在する領域のみに加点を行うように構成したものである。
請求項16の発明は、請求項1の発明において、室内に設置され、この室内への人体の入室を検知する入室検知手段を備えるとともに、前記領域設定手段を、前記最低点数基準を超えた点数を持つ領域において、前記入室検知手段が所定回数以上の入室を検知していない場合には、前記領域を前記特定領域として設定しないように構成したものである。
請求項1の発明によれば、人の検出された領域に応じて特定の人の挙動を検知することが可能となり、その挙動に応じてオフディレイ時間を設定できるため、被制御機器の誤動作を防止することができる。
また、装置の使用に先立って特定領域を設定する必要がなくなり、また、装置を取り付ける際に、容易に施工可能となる。
また、検知領域となる撮像される場所の形状にかかわらず、適切に学習を行い、特定領域を設定することが可能となる。
請求項2の発明によれば、点数の低い領域は特定領域としないことで、特定領域の設定の信頼性を上げることができる。
請求項3の発明によれば、何らかの誤検知要因により、本来特定領域として望ましくない領域に点数が付与された場合でも、最低点数基準の点数を超えなければ特定領域として設定されないので、被制御機器の誤動作につながる誤ったオフディレイ時間を設定することを防止できる。
請求項4の発明によれば、記憶手段が各領域の点数を限りなく記憶することを防止し、また、最高点数基準を活用して処理を行うことにより、記憶手段の記憶容量を節約することができ、コストが上がることを防ぐことができる。
請求項5の発明によれば、何らかの誤検知要因が発生した結果、又は施工状態変更などにより撮像手段の視野の状況が変更された結果として、本来望ましくない領域が特定領域として設定されている場合でも、再学習を行うことにより、本来望ましくない領域は特定領域から自動的に設定解除されるので、人為的に再設定する必要がなくなる。
請求項6の発明によれば、人が静止した領域に加点するので、静止領域を確実に設定することができる。
請求項7の発明によれば、人が完全に静止していないが大きく移動もしていない場合において、静止領域としての属性を持つ点数を加点することができるので、静止領域をより望ましい領域に効率的に設定可能となる。
請求項8の発明によれば、人が実際に静止するまでの挙動が行われた領域に、効果的に加点することが可能となり、学習の効率を向上させて静止領域を設定可能となる。
請求項9の発明によれば、撮像手段の視野内に人が出入りする出入口が存在する出入口領域の位置を適切に設定可能となり、人が視野範囲から退場した際の被制御機器の動作を適切に制御できる。
請求項10の発明によれば、静止領域となる可能性が少ない出入口領域に隣接する領域を、誤って静止領域と設定してしまうことを防ぐことができる。
請求項11の発明によれば、特定領域の近傍の領域において人の特定の挙動が検出される場合に、特定領域において人が特定の挙動を行った場合に近いオフディレイ時間を設定することが可能となり、被制御機器の誤動作を防止できる。
請求項12の発明によれば、学習による静止領域の設定が不十分なとき、オフディレイ時間が短く、被制御機器が短時間でオフになる誤動作を防止できる。
請求項13の発明によれば、静止領域又は出入口領域のどちらかと考えられる領域について、静止領域又は出入口領域のそれぞれの属性に応じた加点をすることが可能であり、効率的に学習することができる。
請求項14の発明によれば、領域を出入口領域として設定するまでに、この領域が静止領域として設定され、本来望ましくないオフディレイ時間を設定されるのを防止できる。
請求項15の発明によれば、移動する人が複数の領域にまたがって検出される場合において、人の位置する可能性が最も高い領域に加点することができるので、各領域間での点数の比較が容易となり、また信頼性の高い点数を基にして学習を行うことが可能となる。
請求項16の発明によれば、装置を取り付ける施工の際、施工作業など本来対象としない人の挙動が検出された場合に、その挙動を基に誤った学習を行うことを防止でき、信頼性を向上させることができる。
以下に、本発明の実施の形態について図面を参照しながら説明する。
図1は、本発明の実施形態の構成を示すものである。本実施形態の人体検知装置Aは、画像式人感センサ1、熱線式人感センサ2、及び信号処理部3を備え、TVカメラのような撮像手段10を用いた画像式人感センサ1によって、撮像手段10の視野内における人の存否を検知し、その存否に応じて被制御機器の負荷のオン/オフを制御する。本実施形態では、例えばトイレなどの室内において、トイレ内を照明する照明器具Bの照明負荷5などが負荷として考えられるが、本発明はこの用途に限るものではない。この種の用途では、室内への入室時に照明器具Bを点灯させた場合は、室内に人が存在する限りは照明器具Bの点灯を継続するが、退室後の比較的短時間で照明器具Bを消灯させることが要求される。また、本実施形態では、人体から放射される熱線を検出する焦電型赤外線センサ(焦電素子20)を用いた熱線式人感センサ2を、画像式人感センサ1と併用して、検知対象となる範囲において人の存否を検知する。
室内には被制御機器として照明器具Bが配置され、照明器具Bは照明負荷5(例えばランプあるいはランプと点灯装置との組合せ)を含む。本実施形態の人体検知装置Aは、商用電源と照明器具Bとの間の給電経路に挿入されるスイッチ回路4を備え、スイッチ回路4に設けたスイッチ要素を開閉することにより照明器具Bへの電源を入切する。つまり、スイッチ回路4にスイッチ要素を備えているため、スイッチ回路4を壁スイッチのような通常の機械式スイッチに代えて用いることができる。また、スイッチ回路4を商用電源に接続するので、内部回路の電源がスイッチ回路4を通して供給される構成を採用している。したがって、1組の電源端子に商用電源を接続するだけで、照明器具Bの電源の入切と、商用電源から内部回路への給電とが可能となる。
スイッチ回路4に設けたスイッチ要素は制御部31により開閉される。上述したように、本実施形態では、焦電素子20と撮像手段10とを併用して照明負荷5のオンオフを制御するものであり、焦電素子20を用いた熱線式人感センサ2による人検知と撮像手段10を用いた画像式人感センサ1による人検知とを組み合わせて室内への人の入室と退室とを判断するために検知処理部30を備える。すなわち、検知処理部30は、室内への人の入退室を判断し、判断結果を制御部31に与える。また、制御部31では照明器具Bの点灯と消灯とのタイミングを規定する制御信号を生成し、この制御信号によりスイッチ回路4を制御する。また、本実施形態では、室内が明るければ室内に人が存在していても照明器具Bを点灯させる必要がないので、熱線式人感センサ2には室内の照度を検出するCdSあるいはフォトダイオードからなる明るさセンサ23を設けてあり、検知処理部30は明るさセンサ23により検出されている室内の照度に応じて、照明器具Bを点灯させるか否かを判断する機能も備える。
焦電素子20を用いた熱線式人感センサ2による人検知は周知の技術であり、焦電素子20の出力を増幅器21により増幅し、比較器22において人の動きに相当するレベルの信号を抽出する。焦電素子20は受光する熱線量(赤外線量)の変化率に応じた電圧出力が得られる微分型のセンサであり、室内の室温変化などによって生じる熱線量の緩やかな変化に対しては焦電素子20からの出力は小さいので、比較器22を用いることにより、この種の雑音成分を除去する。また、比較器22は波形整形機能も兼ねており、焦電素子20で検出される人の動きに対応した比較器22の出力は矩形波状になる。図示していないが、焦電素子20の受光面の前方には、焦電素子20の視野内で感度ムラを付与した受光レンズを配置するのが望ましく、このような受光レンズを用いることにより、焦電素子20の視野内で人が手を動かす程度の動きでも焦電素子20に入射する熱線量が変化し、比較器22から人の動きに対応する出力が得られる。このような受光レンズは、集束レンズである小レンズの集合体として形成され、各小レンズの光軸近傍の領域は感度が高く、各小レンズの境界付近は感度が低くなるので、受光レンズを配置することにより、各小レンズの光軸近傍にそれぞれ焦電素子20の視野よりも幅狭であるビーム状の検知エリアを設定したことになる。このような各小レンズの光軸近傍の検知エリアを検知ビームと呼ぶ。焦電素子20は室内では天井に配置され、例えばトイレにおいては少なくとも便器を含む領域を視野としている。
上述した熱線式人感センサ2の出力である比較器22の出力及び明るさセンサ23の出力は、ともに検知処理部30に入力される。検知処理部30では、比較器22から入力される矩形波状の信号を用いて、焦電素子20の視野内での人の存否を判断する。検知処理部30では、例えば、矩形波状の信号が規定した時間内に規定した個数(例えば3個)が入力されると、焦電素子20の視野内に人が存在すると判断する。ただし、焦電素子20は微分型のセンサであり、人に動きのあるときにしか人検知と判断されないので、焦電素子20の出力に基づいて人検知と判断されたときには、その人検知情報を基に、制御部31は内蔵したタイマ回路を起動し、タイマ回路がオフディレイ時間を時限している間はスイッチ回路4をオンに保つ。タイマ回路はリトリガ可能となっており、タイマ回路の時限動作中に人検知が判断されると、タイマ回路はリトリガされ、その時点からオフディレイ時間を再度時限開始する。タイマ回路のオフディレイ時間は、通常は比較的長く設定されており、室内に人が存在する間にしばらく人の動きがなくとも、スイッチ回路4がオンに保たれる程度の長さとしてある。
検知処理部30には、明るさセンサ23の出力に対する閾値が設定されており、明るさセンサ23により検出される照度が閾値を超える期間には制御部31に対してスイッチ回路4をオフに保つように指示する。また、検知処理部30では、明るさセンサ23に対して2段階の閾値を用いてヒステリシスを付与しており、明るさセンサ23により検出される照度が、低いほうの閾値以下になると、次に高いほうの閾値を超える照度となるまでは人検知に対応したスイッチ回路4のオン/オフを行い、その後、照度が高いほうの閾値を越えると、次に低いほうの閾値以下になるまではスイッチ回路をオフに保つようになっている。したがって、照度変化がいずれかの閾値以下で振動しても動作が安定することになる。ここに、スイッチ回路4のオン/オフを行う期間において、人検知に対応して照明器具Bを点灯させると、明るさセンサ23により検出される照度が高いほうの閾値を超える場合があるが、人検知に対応してスイッチ回路4をオンにしたときには明るさセンサ23の出力を無効にすることによって、短時間のうちに照明器具Bの点灯と消灯とが繰り返されるような誤動作が防止される。
ところで、撮像手段10は例えばCCDイメージセンサやCMOSイメージセンサのような固体撮像素子であり、所定時間間隔で撮像した画像を出力する。また、撮像手段10から出力される画像のアナログ信号は、画像入力手段11においてA/D変換されることによってデジタル信号に変換される。ただし、デジタル信号を出力する機能を備えたCMOSイメージセンサを撮像手段10に用いる場合には、画像入力手段11におけるA/D変換は不要になる。撮像手段10で撮像する画像としては、カラー画像を用いることも可能であるが、本実施形態においてはモノクロの濃淡画像を用いるものとする。撮像手段10が撮像する時間間隔は、当該時間間隔で得られる時系列の画像から移動物体の存否を判断できる程度の範囲で適宜に設定すればよく、滑らかな動画像を得ることが目的ではないので、1秒間に30フレームの画像を出力する必要はない。
画像入力手段11の出力である濃淡画像は輪郭抽出手段12に入力され、濃淡画像から各画素の微分値と方向コードとが求められる。つまり、輪郭抽出手段12では、各画素の画素値が微分値となる微分画像と、各画素の画素値が方向コードとなる方向コード画像とが求められ、微分画像と方向コード画像とは濃淡画像とともに半導体メモリからなる記憶部13に格納される。
微分値を求める手法は種々提案されているが、基本的には、着目する画素の近傍画素(8近傍が広く採用されている)について、画像の垂直方向に関する輝度差を水平方向に関する輝度差で除算した値を微分値として用いる。ただし、濃淡画像から微分画像を生成するのは、画像内の物体と背景との輝度値の相違によって物体と背景との境界付近で微分値が大きくなることを利用し、物体の輪郭線の候補を抽出するためであるので、本実施形態では、輪郭線の強調のためにソーベル(SOBEL)フィルタを用いた重みつきの微分処理を行う。
また、方向コードは、微分値を輝度値の変化方向に対応付けた値であって、45度を単位として8方向に整数値のコードを対応付けたものである(ここでは、8近傍の画素から求めた通常の微分値に方向コードを対応付けている)。各画素の方向コードは、画像内において輝度値の変化が最大になる方向に直行する方向を表すように設定される。したがって、各画素において方向コードが示す方向は輪郭線の延長方向にほぼ一致する(各画素の方向コードが示す方向に対して±45度の範囲内で隣接する3画素が物体の輪郭線上の画素となる可能性が高い)。
上述のように輪郭抽出手段12において求めた微分画像では、コントラストの大きい部位が強調されるので、適宜の閾値で微分画像を2値化することによって、微分画像に含まれる物体の輪郭線の候補を抽出することができる。輪郭抽出手段12では、抽出した輪郭線の候補となる領域を1画素幅に細線化して、輪郭線の候補となるエッジの候補を抽出する。エッジの候補は途切れている可能性があるので、エッジの候補について方向コードを用いて画素を追跡し、物体の輪郭線とみなせるエッジの候補を連結したエッジからなる輪郭線画像を生成して、記憶部13に設けた輪郭画像記憶手段13aに一定期間格納する。記憶部13は輪郭線画像を求める際の作業領域としても用いられる。
輪郭画像記憶手段13aに格納された輪郭線画像は移動輪郭抽出手段14に入力され、移動輪郭抽出手段14では3枚または5枚の輪郭線画像から、移動物体に対応するエッジを抽出する。ここでは、図2を用いて3枚の輪郭線画像から移動物体に対応するエッジを抽出する技術について説明する。いま、図2(a)〜(c)のように、時刻T−△T、T、T+△Tに撮像された3枚の輪郭線画像E(T−△T)、E(T)、E(T+△T)が移動輪郭抽出手段14に与えられるものとする。図示例では、それぞれ移動物体Obを含んだ輪郭線画像E(T−△T)、E(T)、E(T+△T)を示している。
移動輪郭抽出手段14では、まず、時系列において隣接する各一対の輪郭線画像(つまり、E(T−△T)とE(T)、E(T)とE(T+△T))の差分を求める(この画像は、輪郭線画像の差分であるので、以下では、「差分輪郭線画像」と呼ぶ)。ただし、輪郭線画像は、エッジの部分とエッジ以外の部分とで異なる画素値をもつ2値画像であるから、移動輪郭抽出手段14では各一対の輪郭線画像について同じ位置の一対の画素ごとに排他的論理和を求める論理演算を行えば、着目する一対の輪郭線画像の差分を求めたことになる。図示例の輪郭線画像から求めた2枚の差分輪郭線画像では、各差分輪郭線画像にそれぞれ移動物体Obが2回ずつ現れたことになる。
次に、移動輪郭抽出手段14では、時刻Tの輪郭線画像Eに含まれる移動物体Obを抽出するために、2枚の差分輪郭線画像について同じ位置の一対の画素ごとに論理積を求める論理演算を行い、結果の画像を図2(d)のような候補画像として出力する。すなわち、2枚の差分輪郭線画像では背景はほぼ除去されているので、2枚の差分輪郭線画像について論理積の演算を行うと、共通部分である時刻Tの輪郭線画像E(T)について、背景を除去した候補画像が得られ、この候補画像には移動物体Obのほかにはノイズを含むだけになると考えられる。
ここに、本実施形態では3枚の輪郭線画像E(T−△T)、E(T)、E(T+△T)を用いる例を示しているが、4枚以上の輪郭線画像を用いて候補画像を生成することも可能である。例えば、5枚の輪郭線画像E(T−△2T)、E(T−△T)、E(T)、E(T+△T)、E(T+△2T)を用いる場合には、まず2枚ずつの輪郭線画像(E(T−△2T)とE(T−△T)、E(T+△T)とE(T+△2T))について、それぞれ論理積を求める論理演算によって、移動物体Obを除去した背景の輪郭線画像を生成する。このようにして得られる2枚の輪郭線画像をそれぞれ反転して、輪郭線画像E(T)との論理積を求める論理演算を行うと、輪郭線画像E(T−△2T)、E(T+△2T)において移動物体Obにより隠れていた背景と輪郭線画像E(T)における移動物体Obとを含む輪郭線画像と、輪郭線画像E(T−△T)、E(T+△T)において移動物体Obにより隠れていた背景と輪郭線画像E(T)における移動物体Obとを含む輪郭線画像とが得られる。このほかに、4枚以上の輪郭線画像を種々に組み合わせることによって、候補画像を生成することができる。
候補画像では濃淡画像から差分を求めるのではなく、2値の輪郭線画像について論理演算を行っており、しかも2枚の画像から移動物体Obを抽出するのではなく、3枚以上の輪郭線画像を用いて特定時刻の輪郭線画像に含まれる移動物体Obを抽出するようにしているので、候補画像の中では同じ移動物体Obが2箇所に現れることがなく、移動物体Obを含む変化の生じた領域のみを抽出することができる。移動輪郭抽出手段において求めた候補画像を移動領域検出手段15に入力し、移動領域検出手段15では画素が連結されている領域(連結領域)ごとにラベリングを施す。ここに、各連結領域に対して図2(e)のように外接矩形D1を設定し、外接矩形D1に対してラベリングを施すようにすれば、画素ごとにラベルを付与する場合に比較してデータ量を低減することができる。また、上述のように3枚以上の輪郭線画像を用いて候補画像を求めているので、濃淡画像についてフレーム間の差分を求める場合のような残像の発生がなく、移動物体のエッジのみを抽出することが可能になる。
移動輪郭抽出手段14から出力された図2(d)のような候補画像と、記憶部13に格納された方向コード画像とは領域特徴量検出手段16に入力され、領域特徴量検出手段16では、移動領域検出手段15によりラベルを付与された領域が、人に対応する領域か人以外の外乱かを評価する。領域特徴量検出手段16では、まず、移動輪郭抽出手段14の出力として得られた候補画像の中で、ラベルが付された領域ごとに、記憶部13に格納された方向コード画像を参照してエッジ上の画素の方向コードを求め、ラベルが付された領域ごとに方向コードに関する度数分布を求める。度数分布は、対象とする各エッジ上の画素の総数で正規化しておく。また、方向コードは、8種類の方向コードを用いるのではなく、同方向で互いに逆向きになる方向コードについては同じ方向コードとみなし、4種類の方向コードについて度数分布を求める。つまり、0度と180度とに対応する方向コード、45度と225度とに対応する方向コード、90度と270度とに対応する方向コード、135度と315度とに対応する方向コードとの4種類の方向コードを用いる。
領域特徴量検出手段16ではラベル付けされた領域ごとに度数分布を求めた後、度数分布の形状により人か外乱かを判断する。この判断には、人に対応するエッジには直線部分より曲線部分が多く、しかも人に対応するエッジは形状が複雑であるので、エッジ上の画素にはすべての方向コードについて出現頻度が比較的高いのに対して、構造物などによるエッジは直線部分が多く、特定の方向に偏った分布を示すことが多いという経験則を利用する。つまり、領域が人に対応するときの各方向コードの度数に関して、方向コードごとに上限値及び下限値による正常範囲を設定し、領域ごとに求めた度数分布について、各方向コードの度数のうち1つでも正常範囲を逸脱するものがあるときには、当該領域を人以外の外乱とみなす。
さらに、領域特徴量検出手段16では、度数分布において極端な分布の偏りがないと判断された領域(外乱とみなされなかった領域)について、当該領域が人を含むか否かを評価する。つまり、人に関するエッジの方向コードの度数分布を、予め記憶部13にテーブルとして登録してある基準データを用い、外乱とはみなされなかった各領域の度数分布を基準データの度数分布と比較し、両者の類似度を評価する。2つの度数分布間の類似度は種々の方法で評価可能であるが、各方向の度数の差の2乗和を評価値に用いると、簡単な方法ながら類似度の評価が可能になる。この評価値を適宜に設定した閾値と比較し、評価値が閾値以下である場合には、当該領域を人に対応する領域(人体候補枠)と判断する。この方法では、テンプレートマッチングによる場合に比較して、基準データのデータ量が少ない上に比較演算の演算量も少なくなる。
ここで、図3に示すように、移動領域検出手段15で設定する外接矩形D1をそのまま人体候補枠とはせず、検出された細かい矩形枠を統合して人体候補枠とする統合処理を行っても良い。これは、例えば人体の腕や頭の部分しか移動領域として検出されない場合などに有効であり、その場合においても検出する部分を1つの塊として処理することができる。このとき、人の移動の追跡は、新たに発生した矩形枠と、現時点での人体候補枠が重なっていたり、人体候補枠の移動距離が小さい場合に、人が移動しているとして人体候補枠を継承する処理を行う。
上述したように、撮像手段10により撮像した画像から移動物体に相当する領域を抽出することができ、しかも領域特徴量検出手段16では移動物体に相当する領域が人に対応する領域か否かを判断することができるので、撮像手段10により撮像した画像に基づいて人の存否を検出することが可能になる。すなわち、撮像手段10から領域特徴量検出手段16までの一連の処理によって、撮像手段10で撮像した画像に基づいて人を検出する画像式人感センサ1が構成される。画像式人感センサ1による判断結果、つまり領域特徴量検出手段16による判断結果は検知処理部30に入力される。なお、移動輪郭抽出手段14、移動領域検出手段15、領域特徴量検出手段16、検知処理部30、制御部31はマイクロコンピュータを用いて実現され、周辺回路とともに信号処理部3を構成している。
ここで、本実施形態の変形例として、画像式人感センサにおいて、人の停止を、人の移動とともに検出する場合について以下に説明する。図4はこの場合における画像式人感センサ6の構成を示すものであり、人体検知装置Aにおけるそのほかの部位の構成については、上述した構成と同様であるので、ここでは、人の停止を検出する場合の特徴となる部分についてのみ説明する。
図4に示した画像式人感センサ6は、所定の時間間隔で所定の視野を撮像する撮像手段60と、撮像手段60が撮像した画像を取り込む画像入力手段61と、入力した画像から輪郭を抽出する輪郭抽出手段62と、抽出した輪郭画像を記憶する輪郭画像記憶手段63と、輪郭画像記憶手段に記憶した時系列の輪郭画像を用いて、動きのあった輪郭を抽出する移動輪郭抽出手段64と、抽出した輪郭を移動領域として統合する移動領域検出手段65と、検出した領域の特徴量を検出する領域特徴量検出手段66と、移動後静止した領域である停止領域を抽出する停止領域抽出手段67とで構成される。ここで、上記撮像手段60、画像入力手段61、輪郭抽出手段62、輪郭画像記憶手段63a、移動輪郭抽出手段64、移動領域検出手段65、領域特徴量検出手段66は、それぞれ図1に示した、本実施形態の撮像手段10、画像入力手段11、輪郭抽出手段12、輪郭画像記憶手段13a、移動輪郭抽出手段14、移動領域検出手段15、領域特徴量検出手段16に対応するものである。
移動領域検出手段65では、移動輪郭抽出手段64において求めた候補画像が入力され、候補画像において画素が連結されている領域(連結領域)ごとにラベリングを施し、同一のラベリングが施された領域を移動領域として統合して検出する。そして、停止領域抽出手段67は、輪郭画像記憶手段63aに記憶した時刻(T)の輪郭線画像E(T)と、時刻(T−△T)の輪郭線画像E(T−△T)とを、移動領域検出手段65が時刻(T−△T)において抽出した移動領域情報を用いて、ラベリングされている領域に対する、輪郭線画像E(T)と、時刻(T−△T)の輪郭線画像E(T−△T)との領域の画像を、一致しているかどうか比較することにより、当該領域が停止しているのかどうかの判定を行う。
この判定においては、例えば図5のように、停止領域抽出手段67により画像が所定の大きさのブロックに分割され、比較する領域内の各ブロック間で白画素(輪郭あり)同士(あるいは黒画素(輪郭なし)同士)の数をカウントし、そのカウント値が所定の停止判定画素数の閾値よりも大きければ、両ブロックの一致度は高い、つまり当該ブロックにおいて動きがないと判断する一致度計算を行う。そして動きがないと判断されたブロックをラベリング処理により連結関係を調べてグループ化し、停止領域として判定する。
その後、領域特徴量検出手段66は、ラベル付けした移動領域及び停止領域の情報を基に、例えば移動領域と停止領域の対応する領域の論理和を計算して、その外接矩形や大きさといった特徴量を計算する。これにより移動と停止を繰り返す対象に対しても、精度よく領域を抽出することができ、その領域の特徴量は、対象の形状の特徴を精度よく示すものとなる。そして、画像式人感センサ6による判断結果、つまり領域特徴量検出手段66による判断結果は、検知処理部30に入力される。検知処理部30以降の処理は、後述のとおりであり、人の移動を検出する場合と同様となる。
ここで、図1のように、画像式人感センサ1により検知された人移動や人停止の情報が入力される検知処理部30には、画像式人感センサ1により撮像された画像を複数の領域に分割する領域分割手段30aと、分割された各領域から人の挙動を検出可能な属性を持つ特定領域を設定する領域設定手段30bと、この特定領域に応じてオフディレイ時間を設定する時間設定手段30dが設けられている。
図6は、領域分割と特定領域の設定の例を示す。領域分割手段30aにより分割される領域は、本実施形態において、例えば処理画素VF(撮像手段10により撮像された画像の画素)が240×256画素であるとき、これに合わせ、1つが32×32画素となる(上下1列は、調整のため縦を40画素とする)、縦7個×横8個の領域ブロックに分割される。このとき、例えば装置の標準施工高さを2.2mとした場合に、人体検出を行う高さ0.8mにおいては、約49cm×52cmの範囲を1つの領域が示すこととなり、人体検出するにあたり最適の大きさであると考えられるが、これに限らず、他のサイズに分割したり、他の分割方法により分割したりしてもよい。
領域分割手段30aにより、画像式人感センサ1からの出力画像が分割された後、領域設定手段30bにより、図6のように予め設定された種類の特定領域が各領域に設定される。この特定領域には、本実施例においては、静止領域(以下T領域とする)と、出入口領域(以下D領域とする)と、静止範囲Sの3種類の領域があり、T領域はその領域で人が静止する可能性が高い領域であり、D領域は、撮像手段10の視野内において、人が出入する領域であることを示す領域である。また、静止範囲Sは、T領域を所定値分拡大した領域である。特定領域は、これらの属性に限らず、このほかの属性を示す領域を予め設定することもできる。領域設定手段30bは、画像式人感センサ1が人を検知した履歴を基に、後述するような学習手段により、人の挙動の履歴を学習し、学習により選択された領域にこれら特性領域を設定する。特性領域は予め手動で設定可能であるが、このように学習によって自動的に特性領域の設定が行われるようにすることで、装置の使用に先立って特定領域を設定する必要がなくなり、また、装置を取り付ける際に、容易に施工可能となる。
検知処理部30の時間設定手段30dは、画像式人感センサ1が人の移動または静止を検知したとき、領域分割手段30aによって分割された領域のうち、どの領域で人移動または静止が検出されたのかを判断し、該当する領域に応じてオフディレイ時間を設定する。そして、検知処理部30は、熱線式人感センサ2による人検知の場合と同様に、制御部31へ人検知情報を出力するとともに、時間設定手段30dによって設定したオフディレイ時間も出力する。制御部31は、この人検知情報によりタイマ回路を起動し、指定されたオフディレイ時間を時限している間にはスイッチ回路4をオンに保つ。
オフディレイ時間長さは、特定領域に応じて予め設定されており、本実施例においては、例えばT領域については300秒を設定する。T領域は、その領域で人が静止する可能性が高く、オフディレイ時間を無限大にする、つまり照明を消灯しないことが理想的ではあるが、万が一、誤学習による設定や、誤検知があった場合に照明が消灯できないと良くないことから、通常人体が静止している最大時間と想定される時間が設定される。また、D領域については10秒、静止範囲Sについては60秒とし、これら以外の特定領域として設定されていない領域については30秒と設定する。
これによって、人が静止する可能性の高いT領域にて、画像式人感センサ1により検出された外接矩形の移動領域(人体候補枠)が消失した場合、時間設定手段30dは、人体はT領域にて静止していると検知してオフディレイ時間を300秒と設定し、制御部31は、300秒まで照明を点灯した状態で待機させる。また、D領域にて人体候補枠が消失した場合には、時間設定手段30dは、人体は室内から退室したと検知してオフディレイ時間を10秒に設定し、制御部31は、人体候補枠が消失した時点から10秒で照明を消灯させる。同様にして、それ以外の領域(通常領域)にて消失したときには、30秒間照明を点灯した状態で待機し、また、静止の可能性の高い静止範囲Sでは60秒待機する。ここで、このように静止範囲Sを設け、通常領域より長めのオフディレイ時間を設定することによって、例えば人体がT領域の付近で静止状態にあるが、人体候補枠の検出点としては通常領域にあたるため、時間設定手段30dが通常領域においての人体候補枠の消失と判断し、オフディレイ時間を30秒として、人が存在しているのに照明が誤って消灯してしまうなどの誤動作を防止することができる。
図7は、画像式人感センサ1(画像センサ)による人検知と、熱線式人感センサ2(熱線センサ)による人検知と、オフディレイタイマの作動と、照明器具Bの点灯消灯との関係を示す。この図を基に、画像式人感センサ1による人検知を基に照明器具Bの点灯消灯の制御を行う例を説明する。
まず、時刻t1に熱線式人感センサ2または画像式人感センサ1による人検知があり、検知処理部30により照明負荷5を点灯させたのち、人体が移動する間、画像式人感センサ1は人を検知する。時刻t2に人体が室内のT領域にあたる位置にて静止すると、画像式人感センサ1により検知されていた人体候補枠はT領域にて消失し、オフディレイ時間T11が300秒と指定されてタイマ回路が時限開始し、この間照明器具Bは点灯したままに保たれる。そして、時刻t3(時刻t3は時刻t2より300秒以内)に再び人体が移動すると、画像式人感センサ1が人移動を検知し、タイマ回路がリトリガされる状態となる。人体の移動が続き、時刻t4に人体が室内から退室すると、画像式人感センサ1により検知されていた人体候補枠はD領域にて消失し、オフディレイ時間T12が10秒と指定されてタイマ回路が時限開始し、時限開始から10秒後の時刻t5にタイマ回路の時限が満了すると、制御部31によりスイッチ回路4がオフとされ、照明器具Bは消灯される。このように、人の検知された領域に応じて、人が静止しているのか、または退室したのかなどの挙動を検知することが可能となり、その挙動に応じてオフディレイ時間を設定できるため、室内に人が静止しているにもかかわらず退室したと判断して照明器具Bを消灯したり、または人が退室しているにもかかわらず、照明器具Bを長時間点灯してしまったりなどの誤動作を防止することができる。
ここで、本実施形態において、領域設定手段30bが、画像式人感センサ1が人を検知した履歴を基に、人の挙動の履歴を学習し、それにより特定領域を設定する方法を説明する。
領域設定手段30bは、領域分割手段30aによって分割された各領域に付与される点数を記憶する記憶手段30cを持ち、各領域において予め設定された学習条件を満足したとき、当該領域に点数を加点する。例えばトイレ内における便器の位置など、人が静止する可能性の高いT領域を学習する場合において、画像式人感センサ1により検出される人の移動がなくなり、タイマ回路が時限動作中となったとき、所定時間(例えば2秒間)人の移動が検出されなければ、人体候補枠(移動検出領域)の重心が位置する領域に静止領域としての属性を持つ点数(以下静止点数と呼ぶ)を例えば1点付与する(T領域学習1)。このようにすることで、実際に人が静止する可能性が高い領域を学習することができる。また、このように特定領域を学習する際に、加点する領域を人体候補枠の重心が位置する領域とすることで、人の位置する可能性が最も高い領域に加点することができ、各領域間で点数を比較し特定領域を設定する際に比較が容易となる。
また、画像式人感センサが、人の移動とともに人の停止を検出可能なときには、人の停止の検出が、所定時間(例えば2秒間、停止検出処理の処理間隔400ms)に所定回数(例えば3回)あった場合、そのときの人体候補枠の重心が位置する領域に静止点数を例えば1点付与すると設定することもできる(T領域学習2)。このようにすることで、人が微動を繰り返すなど完全に静止していないが、大きく移動をしていないときにも静止点数を加点でき、より望ましい領域を効果的にT領域と設定することができる。なお、このT領域学習2と、上記のT領域学習1とは、両方の方法を行いながら学習してもよく、また、どちらか一方のみの方法でT領域を学習すると設定してもよい。
さらに、上記T領域学習1およびT領域学習2において、静止点数を加点する際に、人の移動や停止の学習条件が満足される前の、所定回数分(例えば5回)の移動検出処理において、人体候補枠の合計移動距離が所定値以内(例えば50画素以内)であったとき、加点する静止点数を通常より増やす。例えば、通常は領域に付与する静止点数が1点である場合、さらに1点追加して2点とし、通常の2倍の静止点数を加点する。このようにすることで、人が静止しようとする挙動をした領域に通常より多く加点され、より効率的に望ましい領域をT領域として学習することができる。
また、特定領域として、D領域を学習するとき、移動領域検出手段により検出される人体候補枠の移動が発生しなくなり、かつタイマ回路の時限動作が満了したときに、人は室内から退室したと判断し、そのときの人体候補枠の重心が位置する領域に、出入口領域としての属性を持つ点数(以下出入口点数と呼ぶ)を例えば5点付与する(D領域学習)。このようにすることで、望ましい領域をD領域として学習することができ、人の退出を確実に検知可能となる。
ここで、上記のように学習条件を設定すると、D領域学習をする過程で、必ずT領域学習1を行うため、静止点数が本来D領域と設定されるべき領域に加算されてしまう。この領域がD領域として設定されるより前に、T領域と設定されると、その後正しくD領域と設定されるまでに、人が退室したときに照明の点灯時間が長くなり好ましくない。そこで、D領域学習により出入口点数を加点するとき、その時のタイマ回路の時限動作中にT領域学習1により加点した静止点数キャンセルするように設定しておくことで、この不具合を解消することができる。このとき、念のため、1度の学習で加点できる点数も、静止領域学習1より出入口領域学習で加点する点数を大きく設定することが望ましい。
そして、領域設定手段30bは、上記のような学習を重ねて得られた、各領域の持つ静止点数と出入口点数を領域間で比較して、それぞれの点数が上位所定個数(例えば3領域)の領域をT領域またはD領域として設定する。設定されるT領域とD領域の個数が決まっているため、人の静止や退室を確実に検知したい領域でのみ、検知を行うことができ、誤検知を防止することが出来る。このとき、特定領域と設定されるときに必要な点数として最低点数基準(例えば30点)を定めており、万が一望ましくない領域に誤って点数が加算された場合でも、この最低点数基準以上の点数を持たなければ特定領域として設定されないため、照明器具Bの誤動作につながる誤ったオフディレイ時間を設定することを防止できる。
ここで、上記のように領域設定手段30bにて特定領域を設定する際、室内への人の入室を検知する入室検知手段により検知された人の入室回数が所定回数(例えば5回)未満であれば、上記のような領域設定を行わないようにしてもよい。入室回数を検知する手段としては、D領域学習を行った回数をカウントするなどの方法で実現でき、このとき、例えばD領域学習を5回行った後、初めて学習を有効として各点数の加算を開始する。これにより、装置が施工された後、例えば内装工事など本来検知対象ではないような人の挙動が検知されても、その挙動は学習されず、望ましくない領域が特定領域として設定されてしまう可能性が少なくなる。
また、D領域学習により設定されたD領域の隣の領域は、T領域である可能性は低いので、T領域学習によりT領域と設定することを予め禁止することができる。このように設定することで、D領域周辺にT領域が設定されて、退室を検知したい場合に誤って静止として検知してしまうなどの誤検知を防ぐことが可能となる。さらに、D領域の設定個数が1個もないときには、T領域を設定しないようにしてもよく、このときにも同様に退室を検知したい場合に静止を検知してしまうことを防ぐことができる。
次に、領域設定手段30bにおいて、特定領域が設定された後の再学習を行う例を説明する。図8は、T領域を設定する際の、再学習の際の処理を示す。この例においては、ある領域の静止点数が、最高点数基準(TPmax、例えば100点)に達し、T領域の個数(Ntp、例えば3個)としたとき、各領域の点数を調整し、再学習を開始する。ここで、最高点数基準とは、領域設定手段30bが定める、各領域が持つことのできる上限の点数であり、領域設定手段30bはこれを超える点数は記憶しない。これにより、記憶手段の記憶容量を節約することができ、コストが上がることを避けることができる。いま、ブロック1〜ブロック5の5つの領域(ブロック)の持つ静止点数が図8の(1)に示すようになり、静止点数が多い順に、ブロック1、ブロック2、ブロック3のNtp個、つまり3個のブロックがT領域として設定されている状態において、ブロック1の持つ点数がTPmaxに達したとする。このとき、静止点数が多い上位(Ntp−1)個、つまり上位2個であるブロック1とブロック2はT領域として設定された状態を維持するものとし、これらのブロックの静止点数を最低点数基準(TPmin、例えば30点)と同じ点数する。そして、静止点数が多い順にNtp個目、つまり3個目で、静止点数がTPmin以上の領域であるブロック3は、T領域としての設定を解除し、静止点数をTPminから事前に設定したマージン値(TPmar1)だけ下げた点数(TPmin−TPmar1)とする。また、静止点数がTPminより少なく、TPminの半分(TPmin/2)以上であるブロック4については、静止点数をTPmin/2から事前に設定したマージン値(TPmar2)だけ下げた点数(TPmin/2−TPmar2)とする。そして、静止点数がTPmin/2より少ない点数のブロック5については、静止点数が零点であるとする。上記のように処理を行った結果は、図8中の矢印70に示すようになり、この状態から、再学習を開始し、各領域に再度静止点数が加算される。
図8の(2)は、(1)の状態から、再学習が開始され、しばらく学習を続けた後にブロック1の静止点数が再びTPmaxに達したときの各ブロックが持つ静止点数の状態を示す。ここで、(1)の時点で、ブロック2は誤検知などの要因により静止点数を付与された結果としてT領域として設定されており、その後、誤検知が解消し、静止点数が付与されなくなったものとする。このとき、他のブロックは通常通りT学習により点数が加算され、ブロック1、ブロック3、ブロック4の順に静止点数が多くなり、ブロック4まではTPminを超えた静止点数を持つ。一方、ブロック2は再学習が開始する際に調整されたTPminと同じ点数のまま、静止点数が加算されていないため、ブロック4までの上位3個の領域がT領域として設定されており、ブロック2はT領域の設定を解除されている。ブロック1の静止点数がTPmaxに達して上記のような静止点数の調整処理が再び行われると、ブロック2の点数は次にTPmin−TPmar1の点数まで下げられる。このように再学習を繰り返すことで、最終的にブロック2の点数は零点まで下がる。このようにして、再学習を行うことで、望ましくない領域が設定されてしまっても、適切な領域を再設定できるので、より正確な領域設定を行うことができる。
また、図9には、施工条件が変更された場合に、上記のように再学習を行った結果の各ブロックが持つ静止点数の状態を示す。施工条件が変更されたり、いたずらなどに遭い装置を回転させられるなどして撮像する視野が変更した場合、変更以前に学習されていた位置とはT領域、D領域が異なり、それまでに行われた領域設定を解除しなければ領域が変化しない。そこで、領域設定手段30bにおいて上記のような静止点数の調整処理を行うことで、設定したT領域の個数より1個少ない領域をT領域として維持し、例えば以前T領域として設定されていた領域Rが施工条件変更以後は望ましいT領域ではない場合、領域Rには加点されず、そのほかのT領域として望ましい変更後の新しいブロックに静止点数が加算され、まず領域RはTPminを下回る静止点数と調整され、T領域としての設定を解除される。さらに学習が続けられると、領域Rの静止点数はTPmin/2も下回り、最終的には零点となる。この後しばらく学習を続けることで施工条件の変更以後の状態での領域設定が実現でき、図9のように、施工条件変更以前に静止点数を獲得していた領域であるブロック1〜ブロック4は、施工条件変更後には人が静止しない領域となり、静止点数はほぼ零点のままとなる。この方法においては、望ましい領域は加点が繰り返され、なんらかの理由により一時的にTPminを下回ったとしても、再学習の結果、T領域となる条件を満たすことができるため、特に問題にはならない。さらに、領域が点数を持っていたとき、この点数は学習が進行した結果減算されるので、誤検知などによる静止点数は減算されやすく、T領域となる可能性が高い領域の静止点数だけが確実に増えていくという理想的な学習が可能となる。なお、上記のような再学習の方法は、T領域に限らず、D領域やそのほかの特定領域を再学習する際にも適用可能である。
なお、本発明は上記実施形態の構成や、学習条件例に限定するものではなく、発明の範囲を変更しない範囲で適宜に種々の変形が可能である。例えば、被制御機器として照明器具を制御するだけではなく、室内にて人の異常がないか監視するシステムにおいての人体検知装置としても利用可能である。