JP5049027B2 - 警戒センサ - Google Patents

Description

本発明は、撮像した画像を元に画像中の人が登録者か否かを識別し、非登録者である場合にその位置や滞在時間等に応じて警戒レベルを設定する警戒センサに関するものである。

従来より、熱線を検知するセンサを用いた警戒センサがあった。この警戒センサは、警戒対象エリアに人が入ることで生じる熱線の変化を検出して警戒を行うものであり、例えば複数のセンサを建物からの距離に応じて熱線を検出するようにそれぞれ配置することで、建物からの距離に応じた複数の警戒レベルを設定することができる。

この警戒センサでは、警戒対象エリアに侵入した検出対象を熱源としてしか捉えることができないので、検出対象が人か否かを判別することができず、例えば猫が侵入した場合でも警戒状態となることがあった。また、検出対象が人である場合でも、その人が家人か否かを判別することはできず、家人は別途警戒を解除するための操作が必要であった。

そこで、警戒対象エリアに入ってきた人が家人か否かを判別するために、撮像装置を用いた不審者対策システムが提案されている（例えば、特許文献１参照）。この不審者対策システムは、例えばデジタルビデオカメラ等の撮像装置を備えており、この撮像装置で撮像した画像を元に家人か否かが判別される。

まず、撮像装置で撮像した画像から顔検出部が人の顔を検出し、検出された顔の位置や大きさや向き等を示す顔情報を特定する。この顔情報は人物追跡部に入力され、人物追跡部では顔情報を受け取ると顔照合部に対して検出した顔の人物の照合を指示する。顔照合部は、顔情報に基づいて予め登録された個人データベースとの照合を実行し、照合結果を人物追跡部に入力する。さらに人物追跡部では、顔照合部の照合結果を元に例えば人物の停滞時間等を算出し、停滞時間が閾値以上である場合には、この人物に対する警戒レベルを取得するように警戒レベル判断部に指示する。そして、警戒レベル判断部では、取得した停滞時間等に基づいて人物に対する警戒レベルを設定するとともに、対策処理装置に対して警戒レベルを出力する。対策処理装置では、警戒レベル判断部から出力された警戒レベルに応じて検出した人物に対する対策処理が実施される。
特開２００６−１１７２８号公報（第７頁−第１２頁、及び、第１図−第６図）

上述の特許文献１に示した不審者対策システムでは、撮像装置で撮像した画像から顔検出部が人の顔を検出することで警戒対象エリア内の人の存否を判断しているので、顔検出部が顔を検出できない場合には、人の存否を判断できず不審者が警戒対象エリアにいるにもかかわらず適切な警戒が行われない虞があった。

本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、誤動作を低減し且つ状況に応じて警戒レベルが設定できる警戒センサを提供することにある。

請求項１の発明は、対象空間を撮像する撮像手段と、撮像手段が撮像した画像において人の存否を検出する人検出手段と、画像において顔を検出する顔検出手段と、認証用の顔画像が予め登録されたデータベースと、検出した顔画像とデータベースに登録された顔画像とが一致するか否かを判断する認証手段と、人検出手段が人を検出したにもかかわらず顔検出手段が顔を検出できない場合又は正面顔を検出できない場合の少なくとも何れか一方において警戒レベルを高レベルに設定し、顔検出手段が顔を検出できた場合は認証手段の認証結果に応じて警戒レベルを設定する警戒レベル設定手段と、設定された警戒レベルに応じた警告を行う警告手段とを備えたことを特徴とする。ここに、上記警戒レベルとしては、「安全」レベル（警戒状態を解除するレベル）から最高度の警戒を行う「警告」レベルの間で複数のレベルが設定される。

請求項２の発明は、撮像手段は、所定周波数の変調信号で強度を変調した信号光を対象空間に照射する投光手段と、対象空間に存在する対象物で反射された信号光を受光する複数の画素を有し各画素毎に受光光量の変化に応じた受光出力を得る受光手段と、投光手段及び受光手段を変調信号の位相に同期させて制御する制御手段と、投光手段が対象空間に信号光を照射するときの受光出力と照射しないときの受光出力の差分を各画素毎に求め、当該差分を画素値とする振幅画像を生成する振幅画像生成手段とを備えたことを特徴とする。

請求項３の発明は、警告手段は、人検出手段が人を検出したにもかかわらず顔検出手段が顔を検出できない場合又は正面顔を検出できない場合の少なくとも何れか一方において、撮像手段側を向くように対象空間にいる人を誘導する誘導手段を備えたことを特徴とする。

請求項４の発明は、顔検出手段が顔を検出できた場合の動作モードを、認証手段の認証結果に応じて警戒レベルを設定する顔認証警戒モード、又は、顔検出手段が正面顔を検出すると警戒状態を解除するレベルに設定する簡易警戒モードの何れか一方に設定する警戒モード設定手段を設けたことを特徴とする。

請求項５の発明は、画像中の人の大きさを元に撮像手段から当該人までの概距離を推定する距離推定手段を有し、警戒レベル設定手段は、概距離に応じて警戒レベルを設定することを特徴とする。ここに、人の大きさとは、体全体の大きさのみならず、顔の大きさを含むものである。

請求項６の発明は、撮像手段から対象空間にいる人までの概距離を計測する距離計測手段を設け、警戒レベル設定手段は、概距離に応じて警戒レベルを設定することを特徴とする。

請求項７の発明は、警戒レベル設定手段は、概距離に応じてレベルが設定される複数の警戒レベルを有し、概距離が近いほど高レベルの警戒レベルに設定することを特徴とする。

請求項８の発明は、人検出手段は、画像中の人の大きさを元にズーム倍率を調整して画像中の顔の大きさをデータベースに登録された顔画像と略同サイズに拡大又は縮小の少なくとも何れか一方を行うズーム制御手段を備えたことを特徴とする。

請求項９の発明は、人検出手段は、画像中の人の滞在位置又は大きさの少なくとも何れか一方を元に概位置を推定する位置推定手段を有し、警戒レベル設定手段は、対象空間を複数のエリアに分割し各エリア毎に警戒レベルを設定可能とする警戒レベル設定テーブルを有し、概位置に対応するエリアに設定された警戒レベルを警戒レベル設定テーブルから取得し設定することを特徴とする。

請求項１０の発明は、人検出手段は、人が対象空間に留まる滞在時間を計測する滞在時間計測手段を有し、警戒レベル設定手段は、滞在時間が長いほど警戒レベルを高レベルに設定することを特徴とする。

請求項１１の発明は、人検出手段は、画像から背景を除く物体を検出する物体検出手段と、検出した物体の特徴量を抽出し当該特徴量を人の特徴量と比較して物体が人か否かを判別する人判別手段とからなり、人判別手段が人でないと判断した際の警告の要否を設定する警告設定手段を警告手段に設けたことを特徴とする。

請求項１の発明によれば、人検出手段及び顔検出手段を設けているので、人がいるにもかかわらず顔が検出できない状態を把握することができる。従って、顔が検出できない場合には、不審者であると判断して警戒レベルを高レベルに設定し、顔が検出できた場合には、認証手段の認証結果に応じて警戒レベルを設定することができるので、対象空間にいる人の状況に応じて柔軟に警戒を行うことができるという効果がある。

請求項２の発明によれば、投光手段が信号光を対象空間に照射しているときの受光出力と照射していないときの受光出力の差分を各画素毎に求め、この差分を画素値とする振幅画像を生成することで、外光による影響を除去して照射光の成分のみを抽出することができる。従って、対象空間が屋外等の外光の変動が激しい場所であっても高精度の画像を得ることができ、認証性能を向上させることができるという効果がある。

請求項３の発明によれば、人検出手段が人を検出したにもかかわらず顔検出手段が顔を検出できない場合又は顔は検出できたが正面顔を検出できない場合の少なくとも何れか一方において、誘導手段が対象空間にいる人に対して撮像手段側に顔を向けるように誘導するので正面顔を検出することができ、従って顔認証を精度よく且つ確実に行うことができるという効果がある。また、誘導手段により誘導しているにもかかわらず顔又は正面顔を検出できない場合は、対象者が意識的に撮像手段側に顔を向けないようにしており不審者である可能性が高いので、対象者に対して効果的な警告を行うことができるという効果がある。

請求項４の発明によれば、簡易警戒モードにおいて、顔検出手段が正面顔を検出できた場合には、撮像されているにもかかわらず撮像手段側に顔を向けているから不審者でないと判断して警戒状態を解除するので、顔認証を行う処理を省くことができ、処理速度が向上するとともに応答速度が向上するという効果がある。また、撮像手段側に顔を向けるだけで警戒状態を解除することができるので、警戒状態の解除操作を省くことができ、迅速に警戒状態を解除することができるという効果がある。さらに、対象空間にいる人が撮像手段から離れた位置にいる場合、顔画像が小さく顔認証が難しい場合があるが、顔画像が小さくても正面顔か否かの判断は可能であるため、正面顔を検出することで警戒状態を解除することができ、従って対象空間を広く設定することができるという効果もある。

請求項５の発明によれば、距離推定手段が画像中の人の大きさを元に撮像手段から対象空間にいる人までの概距離を推定し、警戒レベル設定手段が推定距離に応じて警戒レベルを設定しているので、対象空間にいる人がある一定距離以上撮像手段に近づいたら警告するように設定することができ、通りに面した場所に設置した場合でも通行人に対して誤って警告するような誤動作を低減させることができるという効果がある。

請求項６の発明によれば、距離計測手段が撮像手段から対象空間にいる人までの概距離を計測し、警戒レベル設定手段が計測距離に応じて警戒レベルを設定しているので、対象空間にいる人がある一定距離以上撮像手段に近づいたら警告するように設定することができ、通りに面した場所に設置した場合でも通行人に対して誤って警告するような誤動作を低減させることができるという効果がある。

請求項７の発明によれば、不審者が撮像手段に近づくほど建物に侵入される危険度が高まると判断できるので、距離に応じてレベルが設定される複数の警戒レベルを設け、警戒レベル設定手段により距離が近いほど高レベルの警戒レベルに設定することによって、警戒レベル設定手段は距離に応じてどの警戒レベルに設定するかを判断するだけでよく、危険度に応じた警告を簡易的に行うことができるという効果がある。

請求項８の発明によれば、人検出手段が人を検出した際に画像中の人の大きさを元に顔の大きさがデータベースに登録されている顔画像と略同サイズか否かを判断し、サイズが異なる場合には同サイズとなるようにズーム制御手段によりズーム倍率を調整するので、顔検出が容易になり且つ顔認証に適切な顔画像を得ることができる。従って、顔画像を元に顔認証が行えるエリアを拡げることができ、広範囲の警戒を行うことができるという効果がある。

請求項９の発明によれば、対象空間を複数のエリアに分割し、各エリア毎に警戒レベルを設定する警戒レベル設定テーブルを設けているので、各エリア毎に警戒レベルを設定することによって、対象空間全体の警戒レベルを設置場所等に応じて容易に設定することができるという効果がある。

請求項１０の発明によれば、滞在時間計測手段で人が対象空間に留まる滞在時間を計測し、この滞在時間が長くなるほど警戒レベルを高レベルに設定するので、不審者が警戒レベルの低い場所にいる場合であっても、長い時間留まっている場合には危険であると判断して警戒レベルを高レベルに設定することができ、危険度に応じた警告を行うことができるという効果がある。

請求項１１の発明によれば、物体検出手段により検出した物体が人以外の物体であると判別された場合には、警告を行わないようにすることができ、誤動作を低減することができるという効果がある。また、警告手段に人以外の物体を検出した際に警告を行うか否かの警告設定手段を設けているので、ユーザーが設置場所等に応じて警告するか否かを自由に選択することができるという効果がある。

（第１の実施形態）
第１の実施形態を図１〜図３に基づいて説明する。本発明に係る警戒センサＡは、図３に示すように、例えば住宅Ｃの玄関Ｅ付近に設置され、敷地Ｄ内に入ってくる人Ｐを撮像画像から検出して警戒を行うものである。

本実施形態の警戒センサＡは、図１に示すように敷地Ｄの内外に設定した警戒エリアＢを撮像する撮像部１と、撮像部１で撮像した画像から人を検出する人検出部２と、撮像部１で撮像した画像から顔を検出する顔検出部３と、認証用の顔画像を記憶する顔データベース７と、顔検出部３で検出した顔画像が顔データベース７に登録された顔画像と一致するか否かを判断する認証部４と、認証部４の認証結果に応じて警戒レベルを設定する警戒レベル設定部５と、設定された警戒レベルに応じて警告を行う警告部６と、警戒センサＡの動作モードを警戒エリアＢ内を警戒する警戒モード又は顔画像を登録する登録モードの何れかに設定するモード制御部９と、登録モードに設定されると検出した顔画像を登録し、顔データベース７に記憶させる登録部８とを備えている。ここに、人検出部２、顔検出部３、認証部４、警戒レベル設定部５等は、コンピュータの演算機能により実現されている。

まず、撮像部１について説明する。撮像部１は、例えばＣＣＤカメラからなり、警戒エリアＢを常時撮像する。尚、撮像部１は熱線検知センサ等（図示せず）からの入力信号（トリガ信号）により起動し、警戒エリアＢを撮像するように構成してもよい。そして、撮像部１で撮像した画像データは人検出部２に入力される。

次に、人検出部２について説明する。人検出部２は、撮像部１で撮像した画像から背景以外の物体を検出する物体検出部２０と、物体検出部２０で検出した物体から大きさや縦横比等の特徴量を抽出し、予め登録した人の特徴量と比較することでこの物体が人か否かを判別する人判別部２１とを有しており、撮像部１で撮像した画像データが入力されると当該画像中の人の存否を検出する処理を行う。検出方法としては、例えば時間的に異なる画像間の差分を各画素毎に求め、明るさに変化のあった画素を検出するフレーム間差分方式を用いる。この場合、画像間の差分が所定の閾値以上であれば明るさの変化があったことを示すが、物体検出部２０が明るさの変化があった画素を検出しグループ化することで明るさの変化があった領域、すなわち警戒エリアＢに存在する物体が抽出される。さらに、人判別部２１がこの検出物体からその大きさや縦横比等の特徴量を抽出し、これらの特徴量を予め登録された人の特徴量と比較することで人か否かを判別する。そして、人検出部２で人Ｐが検出されると、画像データは顔検出部３に入力される。

さらに、顔検出部３について説明する。顔検出部３は、人検出部２で人Ｐが検出されると人検出部２から画像データが入力され、入力画像から顔を検出する処理を行う。顔を検出する方法としては、例えば多数の人の顔から予め平均顔を生成しておき、この平均顔をテンプレートとして入力画像をスキャンする。そして、入力画像からテンプレートとの一致度が所定の閾値を超える部位を検出した上で、最も一致度が高い部位を顔位置として認識する。この際、入力画像に合わせてテンプレートの大きさを変えたり、回転させて向きを変えることで、顔の検出精度を向上させることができる。尚、本実施形態では人検出部２が人Ｐを検出した場合に顔検出部３に画像データを入力するように構成しているが、人検出部２が人Ｐを検出したか否かに関わらず、顔検出部３に画像データを入力するように構成してもよい。

次に、認証部４について説明する。認証部４は、顔検出部３で検出した顔画像（以下、検出画像という。）と、顔データベース７に予め登録された少なくとも１つ以上の顔画像（以下、登録画像という。）とを比較し、検出画像が登録画像の何れかに一致するか否かにより登録者か否かを判断する。認証方法としては、各登録画像をテンプレートとして、検出画像において顔が検出された位置付近をスキャンし、テンプレートとの一致度が所定の閾値を超えるか否かにより認証を行う。この際、検出画像の顔の大きさを登録画像の顔の大きさと略同じ大きさとなるように正規化を行ったり、検出画像を回転させて一致度を算出することで、認証精度を向上させることができる。尚、認証処理の精度を向上させるために、検出画像は正面顔であることが好ましい。

さらに、警戒レベル設定部５について説明する。警戒レベル設定部５は、認証部４による認証結果に応じて警戒エリアＢで検出された人Ｐに対する警戒レベルを設定する。例えば、警戒エリアＢにいる人が登録者である場合、すなわち認証に成功した場合には、警戒レベルを例えば「安全」に設定し警戒を解除する。逆に、警戒エリアＢ内にいる人が非登録者である場合、すなわち認証に失敗した場合には、警戒レベルを例えば「注意」に設定し、後述する警告部６を介して警告を行う。また、警戒レベル設定部５は、人検出部２が人Ｐを検出したにもかかわらず顔検出部３が顔を検出できない場合又は顔は検出できたが正面顔を検出できない場合に、警戒レベルを高レベル、例えば「警告」に設定し、警告部６を介して非登録者に対して威嚇を行う。

次に、警告部６について説明する。警告部６は、例えば音声合成部やスピーカー等で構成されており、警戒レベル設定部５が設定した警戒レベルに応じて警告を行う。例えば、警戒レベルが「安全」に設定されている場合には、警告部６は警告を行うことなく警戒が解除され、警戒レベルが「警告」に設定されている場合には、例えば「ここは立入り禁止です」等の音声や「ピーピー」等の警告音を組み合わせて威嚇を行う。また、警告部６は、人判別部２１で検出物体が人でないと判断された場合における警告の要否を設定する警告設定部２２が設けられており、警告設定部２２が警告要に設定されると、人判別部２１で検出物体が人でないと判断された場合でも、検出物体に対して例えば「ピーピー」等の音により威嚇を行う。逆に、警告設定部２２が警告不要に設定されると、警戒レベル設定部５により警戒レベルが「安全」に設定され警戒が解除される。従って、警戒設定部２２が警告不要に設定されている場合には、例えば犬や猫等が警戒エリアＢ内に入った際に誤って警告することがなく、誤動作を低減することができる。また、警告設定部２２で警告の要否を設定することで、家人等が警戒センサＡの設置場所等に応じて警告の要否を自由に選択することができる。

さらに、モード制御部９について説明する。モード制御部９は、切替スイッチ（図示せず）を有しており、切替スイッチを切り替えることで警戒センサＡの動作モードが警戒エリアＢ内を警戒する警戒モード又は撮像部１で撮像した画像から検出した顔画像を登録する登録モードの何れかに切り替えられる。このモード制御部９は、切替スイッチにより動作モードが設定されると、設定された動作モードに対応するモード信号を認証部４に出力する。尚、切替スイッチは、家人等が手動操作可能な位置に設けられていればよく、必ずしも警戒センサＡの筐体（図示せず）と一体的に設けなくてもよい。また、切替スイッチは、手動操作により切り替えるスイッチに限定されるものではなく、音声操作により切り替えるものであってもよい。

次に、登録部８について説明する。登録モードに対応するモード信号がモード制御部９から認証部４に入力されると、登録部８には認証部４から入力画像の登録要求信号が入力され、登録要求を受けた登録部８は、顔検出部３から入力された顔画像に例えば登録番号等を割付け、登録画像データを作成する。そして、登録画像データを顔データベース７に出力し、顔データベース７に記憶させる。尚、１人の登録者について登録する顔画像は、１枚でもいいし、複数枚であってもよい。

ここで、警戒センサＡの動作について説明する。最初に、登録モードに設定されている場合の動作について図２に基づいて説明する。まず、待機状態（Ｓ１）において、例えば熱線検知センサ（図示せず）等からの入力信号（トリガ信号）が入力されると（Ｓ２）、警戒エリアＢ内に入ってきた人Ｐが登録者か否かを同定する処理を開始する（Ｓ３）。次に、モード制御部９により警戒センサＡの動作モードが登録モードに設定されていると（Ｓ４）、撮像部１で撮像した画像データが人検出部２に入力される（Ｓ５）。そして、人検出部２で入力画像から人Ｐの検出が行われ（Ｓ６）、人Ｐが検出されない場合（Ｓ７）は、人Ｐが検出されるまでＳ６及びＳ７の処理を順次繰り返す。そして、人Ｐが検出されると（Ｓ７）、画像データが顔検出部３に入力され（Ｓ８）、顔検出部３でテンプレートを用いて顔の検出が行われる（Ｓ９）。顔検出部３で顔が検出できない場合又は正面顔を検出できない場合（Ｓ１０）は、正面顔が検出できるまでＳ９及びＳ１０の処理を繰り返し、顔が検出された場合（Ｓ１０）は、所定の大きさに正規化される。そして、Ｓ１０で正規化された顔画像は、登録部８に入力されて登録画像データが作成され（Ｓ１１）、登録部８は登録画像データを顔データベース７に記憶させる（Ｓ１２）。

次に、警戒エリアＢ内を警戒する警戒モードに設定されている場合の警戒センサＡの動作について図２に基づいて説明する。まず、待機状態（Ｓ１）において、熱線検知センサからのトリガ信号が入力されると（Ｓ２）、警戒エリアＢ内に入ってきた人Ｐが登録者か否かを同定する処理を開始する（Ｓ３）。次に、モード制御部９により警戒センサＡの動作モードが警戒モードに設定されていると（Ｓ４）、撮像部１で撮像した画像データが人検出部２に入力される（Ｓ１３）。そして、物体検出部２０で入力画像から物体の検出が行われ、物体が検出されない場合（Ｓ１４）は、所定時間が経過（Ｓ１６）するまでＳ１３、Ｓ１４、Ｓ１６の処理が順次繰り返され、所定時間が経過（Ｓ１６）すると警戒エリアＢ内に物体はないと判断して待機状態に戻る（Ｓ１）。また、物体検出部２０で物体が検出された場合（Ｓ１４）は、人判別部２１で人か否かが判別され、人判別部２１が人でないと判断した場合（Ｓ１５）は、警告設定部２２が警告要に設定されていると（Ｓ２７）警告部６が警告を行い（Ｓ２８）、警告設定部２２が警告不要に設定されていると（Ｓ２７）待機状態に戻る（Ｓ１）。さらに、人判別部２１が人だと判断した場合（Ｓ１５）は、画像データが顔検出部３に入力され（Ｓ１７）、顔検出部３でテンプレートを用いて顔の検出が行われる（Ｓ１８）。顔検出部３で顔が検出されない場合（Ｓ１９）は、所定時間が経過（Ｓ２０）するまでＳ１７〜Ｓ２０の処理が順次繰り返され、所定時間が経過（Ｓ２０）すると人が検出されているにもかかわらず顔又は正面顔が検出できないことから危険であると判断し、警戒レベル設定部５が警戒レベルを高レベルに設定する（Ｓ２３）。そして、設定された警戒レベルに応じて警告部６が警告を行う（Ｓ２４）。また、顔検出部３で顔が検出された場合（Ｓ１９）は、検出した顔画像が認証部４に入力され、認証部４で入力された顔画像について顔データベース７に登録された登録画像との照合が行われる（Ｓ２１）。そして、認証に成功した場合（Ｓ２２）には、警戒エリアＢにいる人が登録者であると判断し待機状態に戻り（Ｓ１）、認証に失敗した場合（Ｓ２２）には、警戒エリアＢにいる人が非登録者であると判断し、警戒レベル設定部５により警戒レベルが設定され（Ｓ２５）、設定された警戒レベルに応じて警告部６が警告を行う（Ｓ２６）。

本実施形態の警戒センサＡでは、人検出部２及び顔検出部３を設けているので、人Ｐがいるにもかかわらず顔が検出できない状態を把握することができる。従って、顔が検出できない場合には、人Ｐが不審者であると判断して警戒レベルを高レベルに設定し、顔が検出できた場合には、認証部４の認証結果に応じて警戒レベルを設定することができるので、警戒エリアＢ内にいる人Ｐの状況に応じて柔軟に警戒を行うことができる。

（第２の実施形態）
第２の実施形態を図４及び図５に基づいて説明する。本実施形態の警戒センサＡは、撮像部１と、人検出部２と、顔検出部３と、顔データベース７と、認証部４と、警戒レベル設定部５と、警告部６と、モード制御部９と、登録部８と、投光部１０と、制御部１１と、振幅画像生成部１２とを備えており、投光部１０、制御部１１及び振幅画像生成部１２以外の構成は第１の実施形態と同様であるので、同一の構成要素には同一の符号を付して説明は省略する。

投光部１０は、例えばＬＥＤのような発光素子からなり、所定周波数の変調信号で強度変調された信号光を警戒エリアＢ内に照射するものであり、この投光部１０及び撮像部１は制御部１１により変調信号の位相に同期するように制御されている。また、撮像部１は、警戒エリアＢ内に存在する対象物（例えば、人等）で反射された信号光を受光する複数のＣＣＤのような撮像素子からなり、各画素毎に受光光量の変化に応じた受光出力が得られる。

さらに、振幅画像生成部１２は、投光部１０が警戒エリアＢ内に信号光を照射しているときの受光出力（以下、高照度画像の画素値という。）と、投光部１０が警戒エリアＢ内に信号光を照射していないときの受光出力（以下、低照度画像の画素値という。）の差分を各画素毎に求め、これらの差分を画素値とする振幅画像を生成する。

ここで、高照度画像の画素値は、外光及び投光部１０から照射される信号光の両方に依存しており、低照度画像の画素値は、外光にのみ依存している。また、投光部１０の点灯／消灯の切り替えは、１０μｓ〜１００μｓの周期で行われるため、投光部１０から照射される信号光の強度変化は外光の強度変化に対して非常に速く、投光部１０の点灯／消灯の切り替えの間の外光の強度は殆ど変化していないとみなせる。そのため、振幅画像生成部１２において、高照度画像の画素値と低照度画像の画素値の差分を各画素毎に求め、この差分を画素値とする振幅画像を生成することによって、外光の影響を除去し、投光部１０から照射された信号光のみが反映された画像を得ることができる。従って、従来の撮像手段では外光の影響が強く（強度が強く）、顔の陰影がつぶれてしまうような場合（図５（ａ）参照）であっても、高照度画像の画素値と低照度画像の画素値の差分を画素値とする振幅画像を生成することによって、図５（ｂ）に示すように顔の陰影が明確になった画像を得ることができ、さらにこの振幅画像を認証処理に用いることによって、認証性能を向上させることができる。

（第３の実施形態）
第３の実施形態を図６〜図８に基づいて説明する。本実施形態の警戒センサＡは、撮像部１と、人検出部２と、顔検出部３と、顔データベース７と、認証部４と、警戒レベル設定部５と、警告部６と、モード制御部９と、登録部８と、投光部１０と、制御部１１と、振幅画像生成部１２と、誘導部１３とを備えており、誘導部１３以外の構成は第２の実施形態と同様であるので、同一の構成要素には同一の符号を付して説明は省略する。

顔検出部３は、入力画像を元に顔を検出する際又は検出後に、顔が正面を向いているか否かを判別し、正面を向いていないと判断した場合には、正面顔の検出不能を示す検出不能信号を警戒レベル設定部５に出力し、この検出不能信号は警戒レベル設定部５を介して警告部６に入力される。この時、警告部６から誘導部１３に誘導指示が出され、誘導部１３は警戒エリアＢ内にいる人Ｐに対して正面を向くように誘導する。

ここで、顔検出部３は、図７（ａ）に示すように検出した顔画像を顔画像の中心線に対して左右に分割し（以下、左領域、右領域という。）、その対称性を評価することで人が正面を向いているか否かを判別する。対称性の評価方法としては、左右各領域内において各画素の明るさ勾配をそれぞれ算出し、図８に示すように明るさ勾配の度数分布を作成して評価する。明るさ勾配は、例えば３×３画素の微分フィルタをかけ、水平方向の微分強度ΔＸと垂直方向の微分強度ΔＹから正接を求めることで計算できる。ここに、明るさ勾配を図７（ｂ）に示すように垂直上向きを基準（０°）になす角度とすると、明るさ勾配の絶対値が同じで符号が異なる場合（例えば、左領域が−θで、右領域が＋θ）に左右領域が対称であるといえる。従って、図８に示す度数分布を元に絶対値が同じで符号が異なる各角度の度数について左領域と右領域の差分を求め、各角度の差分を累積し、この累積値を所定の閾値と比較することで左右領域の対称性、すなわち顔が正面を向いているか否かを判別することができる。例えば、累積値が所定の閾値よりも小さい場合には、顔が正面を向いていると判断できる。

誘導部１３は、例えば音声合成部やスピーカー等で構成されており、顔検出部３が上述した方法により警戒エリアＢ内にいる人Ｐが正面を向いていないと判断した場合、例えば「正面を向いてください」とメッセージを流して人Ｐが正面を向くように誘導する。

本実施形態の警戒センサＡでは、人検出部２が人Ｐを検出したにもかかわらず顔検出部３が顔を検出できない場合又は顔は検出できたが正面顔を検出できない場合に、誘導部１３により警戒エリアＢ内にいる人Ｐに対して正面（撮像部１側）を向くように誘導するので、人Ｐが誘導に応じて正面を向けば顔検出部３で正面顔を検出することができ、従って顔認証を精度よく且つ確実に行うことができる。また、誘導部１３により誘導しているにもかかわらず顔又は正面顔を検出できない場合は、人Ｐが意識的に撮像部１側に顔を向けないようにしており不審者である可能性が高いので、人Ｐに対して効果的な警告を行うことができる。

また、本実施形態を示す別の例として、顔検出部３で顔が検出できた場合の動作モードとして認証部４の認証結果に応じて警戒レベルを設定する顔認証警戒モード（第１の実施形態で説明した顔認証を行う動作モード）と、顔検出部３により正面顔が検出できた場合に警戒状態を解除するレベルに設定する簡易警戒モードとを設け、モード制御部９の設定に応じて切替えるようにしてもよい。

通常、不審者（非登録者）は、撮像されないように撮像部１の方向に顔を向けることはないので、撮像されているにもかかわらず撮像部１側に顔を向けている場合には、登録者であると判断することができる。この警戒センサＡは、このような人の行動パターンを利用したものであり、簡易警戒モードに設定した場合に顔検出部３で正面顔を検出すると、認証部４による顔認証を行わずに警戒状態を解除する。従って、顔認証の処理を省くことができるので、処理速度が向上するとともに応答速度が向上する。また、撮像部１側に顔を向けるだけで警戒状態を解除することができるので、警戒状態の解除操作を省くことができ、迅速に警戒状態を解除することができる。さらに、警戒エリアＢ内にいる人Ｐが撮像部１から離れた位置にいる場合、顔画像が小さく顔認証が難しい場合があるが（認証するためには、例えば８０×８０画素程度が必要である。）、顔画像が小さくても正面顔か否かの判断は可能であるため（正面顔か否かの判別は、例えば２０×２０画素程度あれば可能である。）、正面顔を検出することで警戒状態を解除することができ、従って検出エリアＢを広く設定することができる。

（第４の実施形態）
第４の実施形態を図９に基づいて説明する。本実施形態の警戒センサＡは、撮像部１と、人検出部２と、顔検出部３と、顔データベース７と、認証部４と、警戒レベル設定部５と、警告部６と、モード制御部９と、登録部８と、投光部１０と、制御部１１と、振幅画像生成部１２と、距離推定部１４とを備えており、距離推定部１４以外の構成は第２の実施形態と同様であるので、同一の構成要素には同一の符号を付して説明は省略する。

距離推定部１４は、人検出部２に設けられており、入力画像から検出した人の大きさを元に撮像部１から検出対象である人Ｐまでの概距離を推定する。この概距離は、予め分かっている撮像部１の撮像素子の画素数やレンズの焦点距離等の情報と、人の実サイズの仮定条件（例えば、人の身長は１６０ｃｍと仮定）と、入力画像から検出された人の大きさの画素数とに基づいて算出される。

本実施形態の警戒センサＡでは、まず顔検出部３の顔検出結果に応じて警戒レベルが設定され、さらに予め設定した距離範囲に人Ｐが入っており（つまり予め設定した距離よりも推定した概距離が小さくなった場合）、既に設定された警戒レベルよりも高い警戒レベルの場合には、設定距離に対応する警戒レベルが設定される。従って、顔検出部３で顔が検出できた場合であっても、人Ｐがある一定距離以上撮像部１に近づいた場合には高い警戒レベルに設定することができ、さらに警戒センサＡを通りに面した場所に設置した場合でも通行人に対して誤って警告するような誤動作を低減させることができる。

尚、本実施形態では、人検出部２に距離推定部１４を設けた場合を例に説明しているが、距離推定部１４を顔検出部３に設け、顔検出部３で検出した顔の大きさを元に概距離を求めてもよい。この場合、概距離は撮像部１の撮像素子の画素数やレンズの焦点距離等の情報と、人の実サイズの仮定（例えば、顔の大きさは２０ｃｍ角と仮定）と、入力画像から検出された顔の大きさとに基づいて算出され、同様の効果が得られる。また、撮像部１から検出対象である人Ｐまでの概距離を測定する距離計測手段（例えば、超音波距離センサ等）を別途設けてもよく、同様の効果が得られる。

さらに、撮像部１から検出対象である人Ｐまでの概距離に応じてレベルが設定される複数の警戒レベルを設け、警戒レベル設定部５が、概距離が近いほど高レベルの警戒レベルに設定するように構成してもよい。この場合、顔検出部３の顔検出結果に応じた警戒レベルよりも概距離に応じた警戒レベルが高い場合には、高い警戒レベルでの警告を行うことができる。また、警戒レベル設定部５は、距離に応じてどの警戒レベルに設定するかを判断するだけでよく、危険度に応じた警告を簡易的に行うことができる。

（第５の実施形態）
第５の実施形態を図１０に基づいて説明する。本実施形態の警戒センサＡは、撮像部１と、人検出部２と、顔検出部３と、顔データベース７と、認証部４と、警戒レベル設定部５と、警告部６と、モード制御部９と、登録部８と、投光部１０と、制御部１１と、振幅画像生成部１２と、ズーム制御部１５とを備えており、ズーム制御部１５以外の構成は第２の実施形態と同様であるので、同一の構成要素には同一の符号を付して説明は省略する。

ズーム制御部１５は、人検出部２に設けられており、人検出部２が人Ｐを検出した際に入力画像中の人Ｐの大きさを元に顔の大きさが顔データベース７に登録されている顔画像と略同サイズか否かを判断し、サイズが異なる場合には同サイズとなるようにズーム倍率を調整する。従って、ズーム倍率を調整することで顔検出部３による顔検出が容易になり且つ顔認証に適切な顔画像（例えば、８０×８０画素程度の顔画像）を得ることができるので、顔画像を元に顔認証が行える警戒エリアＢを拡げることができ、広範囲の警戒を行うことができる。尚、ズーム倍率の調整は、画像を構成する画素を演算により拡大又は縮小することで行ってもよいし、レンズの焦点距離を変化させることで行ってもよい。

（第６の実施形態）
第６の実施形態を図１１に基づいて説明する。本実施形態の警戒センサＡは、撮像部１と、人検出部２と、顔検出部３と、顔データベース７と、認証部４と、警戒レベル設定部５と、警告部６と、モード制御部９と、登録部８と、投光部１０と、制御部１１と、振幅画像生成部１２と、ズーム制御部１５と、警戒レベルテーブル１６と、テーブル設定部１７と、位置推定部１８とを備えており、警戒レベルテーブル１６、テーブル設定部１７及び位置推定部１８以外の構成は第５の実施形態と同様であるので、同一の構成要素には同一の符号を付して説明は省略する。

位置推定部１８は、人検出部２に設けられており、撮像部１から検出対象である人Ｐまでの概距離を求め、この概距離と入力画像中の人の滞在位置とを元に警戒エリアＢ内での人Ｐの概位置を推定する。

また、テーブル設定部１７は、例えばディスプレイモニタやマトリクススイッチ等で構成されたタッチパネルからなり、警戒レベル設定部５はテーブル設定部１７で設定した警戒レベルに基づいて警戒レベルを設定する。このテーブル設定部１７は、振幅画像生成部１２で生成した振幅画像がディスプレイモニタに表示され、この振幅画像を複数の矩形領域に分割し、各領域毎に警戒レベルを設定できるように構成されており、警戒エリアＢにおいて画像中の各領域に対応する各エリアに警戒レベルを設定できる。

さらに、警戒レベル設定部５には、警戒レベルテーブル１６が設けられており、テーブル設定部１７で設定した警戒レベル情報が各エリア毎に警戒レベルテーブル１６に記録される。そして、警戒レベル設定部５では、位置推定部１８で推定した概位置に対応する警戒レベルを警戒レベルテーブル１６から取得し、設定する。

本実施形態の警戒センサＡでは、まず顔検出部３の顔検出結果に応じて警戒レベルが設定され、さらに人Ｐがいるエリアに設定された警戒レベルが既に設定された警戒レベルよりも高い場合には、エリアに設定された警戒レベルが設定される。従って、顔検出部３で顔が検出できた場合であっても、高い警戒レベルに設定された領域に人Ｐがいる場合には高い警戒レベルに設定することができ、さらに警戒レベルテーブル１６に記録された警戒レベルを変更することで警戒エリアＢ全体の警戒レベルを警戒センサＡの設置場所等に応じて容易に変更することができる。

（第７の実施形態）
第７の実施形態を図１２に基づいて説明する。本実施形態の警戒センサＡは、撮像部１と、人検出部２と、顔検出部３と、顔データベース７と、認証部４と、警戒レベル設定部５と、警告部６と、モード制御部９と、登録部８と、投光部１０と、制御部１１と、振幅画像生成部１２と、時間計測部１９とを備えており、時間計測部１９以外の構成は第２の実施形態と同様であるので、同一の構成要素には同一の符号を付して説明は省略する。

時間計測部１９は、人検出部２に設けられており、人検出部２で検出された人Ｐが警戒エリアＢ内に留まる滞在時間を計測する。

まず、人検出部２が警戒エリアＢ内にいる人Ｐを検出したときを計測開始時間として、人検出部２で抽出した人データを元に画像内で人Ｐの追跡処理を行い、追跡できている間の時間、すなわち人Ｐが警戒エリアＢ内に留まる滞在時間を計測する。

本実施形態の警戒センサＡでは、まず顔検出部３の顔検出結果に応じて警戒レベルが設定され、さらに滞在時間に対応する警戒レベルが既に設定された警戒レベルよりも高い場合には、滞在時間に対応する警戒レベルが設定される。従って、顔検出部３で顔検出ができた場合であっても、長い時間留まっている場合には危険であると判断して高い警戒レベルに設定することができ、危険度に応じた警告を行うことができる。

第１の実施形態の警戒センサのブロック図である。 同上のフローチャートである。 同上の設置状態を示す概略図である。 第２の実施形態の警戒センサのブロック図である。 （ａ）、（ｂ）は同上の動作説明図である。 第３の実施形態の警戒センサのブロック図である。 （ａ）、（ｂ）は同上の動作説明図である。 同上で検出した画像における明るさ勾配の度数分布図である。 第４の実施形態の警戒センサのブロック図である。 第５の実施形態の警戒センサのブロック図である。 第６の実施形態の警戒センサのブロック図である。 第７の実施形態の警戒センサのブロック図である。

符号の説明

１ 撮像部
２ 人検出部
３ 顔検出部
４ 認証部
５ 警戒レベル設定部
６ 警告部
７ 顔データベース
Ａ 警戒センサ

Claims (11)

1. 対象空間を撮像する撮像手段と、撮像手段が撮像した画像において人の存否を検出する人検出手段と、前記画像において顔を検出する顔検出手段と、認証用の顔画像が予め登録されたデータベースと、検出した顔画像とデータベースに登録された顔画像とが一致するか否かを判断する認証手段と、人検出手段が人を検出したにもかかわらず顔検出手段が顔を検出できない場合又は正面顔を検出できない場合の少なくとも何れか一方において警戒レベルを高レベルに設定し、顔検出手段が顔を検出できた場合は認証手段の認証結果に応じて警戒レベルを設定する警戒レベル設定手段と、設定された警戒レベルに応じた警告を行う警告手段とを備えたことを特徴とする警戒センサ。
2. 前記撮像手段は、所定周波数の変調信号で強度を変調した信号光を対象空間に照射する投光手段と、対象空間に存在する対象物で反射された信号光を受光する複数の画素を有し各画素毎に受光光量の変化に応じた受光出力を得る受光手段と、投光手段及び受光手段を変調信号の位相に同期させて制御する制御手段と、投光手段が対象空間に信号光を照射するときの受光出力と照射しないときの受光出力の差分を各画素毎に求め、当該差分を画素値とする振幅画像を生成する振幅画像生成手段とを備えたことを特徴とする請求項１記載の警戒センサ。
3. 前記警告手段は、前記人検出手段が人を検出したにもかかわらず前記顔検出手段が顔を検出できない場合又は正面顔を検出できない場合の少なくとも何れか一方において、前記撮像手段側を向くように対象空間にいる人を誘導する誘導手段を備えたことを特徴とする請求項１又は２の何れか１項に記載の警戒センサ。
4. 前記顔検出手段が顔を検出できた場合の動作モードを、前記認証手段の認証結果に応じて警戒レベルを設定する顔認証警戒モード、又は、前記顔検出手段が正面顔を検出すると警戒状態を解除するレベルに設定する簡易警戒モードの何れか一方に設定する警戒モード設定手段を設けたことを特徴とする請求項１〜３の何れか１項に記載の警戒センサ。
5. 画像中の人の大きさを元に前記撮像手段から当該人までの概距離を推定する距離推定手段を有し、前記警戒レベル設定手段は、前記概距離に応じて警戒レベルを設定することを特徴とする請求項１又は２の何れか１項に記載の警戒センサ。
6. 前記撮像手段から対象空間にいる人までの概距離を計測する距離計測手段を設け、前記警戒レベル設定手段は、前記概距離に応じて警戒レベルを設定することを特徴とする請求項１又は２の何れか１項に記載の警戒センサ。
7. 前記警戒レベル設定手段は、前記概距離に応じてレベルが設定される複数の警戒レベルを有し、前記概距離が近いほど高レベルの警戒レベルに設定することを特徴とする請求項５又は６の何れか１項に記載の警戒センサ。
8. 前記人検出手段は、画像中の人の大きさを元にズーム倍率を調整して画像中の顔の大きさを前記データベースに登録された顔画像と略同サイズに拡大又は縮小の少なくとも何れか一方を行うズーム制御手段を備えたことを特徴とする請求項１又は２の何れか１項に記載の警戒センサ。
9. 前記人検出手段は、画像中の人の滞在位置又は大きさの少なくとも何れか一方を元に概位置を推定する位置推定手段を有し、前記警戒レベル設定手段は、対象空間を複数のエリアに分割し各エリア毎に警戒レベルを設定可能とする警戒レベル設定テーブルを有し、前記概位置に対応するエリアに設定された警戒レベルを前記警戒レベル設定テーブルから取得し設定することを特徴とする請求項１、２又は８の何れか１項に記載の警戒センサ。
10. 前記人検出手段は、人が対象空間に留まる滞在時間を計測する滞在時間計測手段を有し、前記警戒レベル設定手段は、前記滞在時間が長いほど警戒レベルを高レベルに設定することを特徴とする請求項１又は２の何れか１項に記載の警戒センサ。
11. 前記人検出手段は、画像から背景を除く物体を検出する物体検出手段と、検出した物体の特徴量を抽出し当該特徴量を人の特徴量と比較して前記物体が人か否かを判別する人判別手段とからなり、人判別手段が人でないと判断した際の警告の要否を設定する警告設定手段を前記警告手段に設けたことを特徴とする請求項１又は２の何れか１項に記載の警戒センサ。