JP4509654B2

JP4509654B2 - センシング装置

Info

Publication number: JP4509654B2
Application number: JP2004160448A
Authority: JP
Inventors: 幸一尾坐; 清人藤井; 全史大津
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2004-05-31
Filing date: 2004-05-31
Publication date: 2010-07-21
Anticipated expiration: 2024-05-31
Also published as: JP2005341450A

Description

本発明は、画像情報及び音響情報に基づいて侵入者の検出を行うセンシング装置に関する。

近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されている。このようなセキュリティシステムで使用されるセンシング装置としては、画像センサ等の撮像装置で取得された画像を用いて侵入者等を検出するものがある。このような画像を用いたセンシング装置には、基準となる背景画像を記録しておき、時々刻々と撮像される撮像画像と背景画像との差分画像に基づいて侵入者を検出する方法や、撮像画像間における差分画像に基づいて侵入者を検出する方法がある。

例えば、特開平３−９７０８０号公報には、撮像画像と背景画像との輝度の差分画像を生成し、その差分値が所定の閾値以上である画素を変動画素として抽出し、連続する変動画素の個数が所定の判定値以上である場合に、変動画素で構成される変動領域を侵入者であると判定し、警報駆動信号を出力する技術が開示されている。さらに、複数の撮像画像間で変動領域を対応付けて、その移動状態を追跡（トラッキング）することによって、物体の移動距離や移動速度を算出し、これらの値に基づいて侵入者を検出する方法も用いられている。

特開平３−９７０８０号公報

従来の画像センサを用いた侵入者検出では、侵入者以外の光や影も撮像画像に写し込まれ、その画像領域が移動した場合にも侵入者として検出してしまい、誤報となることがあった。これを回避するために、基準となる背景画像と撮像画像との相関や変動領域のエッジの保存変化度合い等のテクスチャの類似度や変化度を利用して光や影と侵入者とを区別する方法が用いられている。

しかしながら、図１４に示すように、侵入者５０が光の領域５２に含まれて撮像されている場合や、図１５に示すように、侵入者５０と侵入者の影５４とが接触して撮像されている場合には上記方法でも光や影と侵入者とを区別することが困難であるという問題があった。

本発明は、上記従来技術の問題を鑑み、侵入者の検出確度を高めたセンシング装置を提供することを目的とする。

本発明は、監視対象空間を撮像した撮像画像を取得する撮像部と、前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、前記撮像部で取得された撮像画像と前記送受信部において受信された音響信号とに基づいて前記監視対象空間内の侵入者を検出するセンシング装置であって、撮像画像と基準となる背景画像との差分である差分画像、に基づいて撮像画像に含まれる変動領域を抽出する画像処理部と、前記変動領域に対応する実空間の位置に存在する物体、に対応する信号が前記送受信部において受信された音響信号に存在するか否かを判定し、前記変動領域に対応する実空間の位置に存在する物体、に対応する信号が前記送受信部において受信された音響信号に存在すると判断された場合に、前記変動領域を、前記音響信号に対応する実空間の位置に侵入者が存在している場合に得られるであろうサイズ、の複数の画像領域に区画し、当該区画された領域毎における所定の画像特徴量に基づいて侵入者の検出を行う情報処理部と、を備えることを特徴とする。

ここで、前記情報処理部は、前記変動領域が所定の画像面積以上であるか否かを判定し、前記変動領域が前記所定の画像面積以上である場合に区画処理を行うことが好適である。

また、前記情報処理部は、撮像画像と背景画像とにおける前記区画された領域のテクスチャの変化の度合いを用いて侵入者の検出を行うことが好適である。すなわち、前記情報処理部は、前記区画された領域群のうち、テクスチャの変化の度合いが最大の領域に基づいて侵入者の検出を行うことが好ましい。

本発明によれば、光や影に紛れて特徴が曖昧となった侵入者の画像から侵入者をより確実に検出することができる。

本発明の実施の形態におけるセンシング装置１００は、図１に示すように、撮像部１０、画像処理部１２、送受信部１４、音響処理部１６、記憶部１８及び情報処理部２０を含んで構成される。センシング装置１００は、画像センサやカメラなどの撮像装置及び音波の送受信装置等を備えたコンピュータによって構成することができる。

撮像部１０は、画像センサやカメラなどの撮像装置を含んで構成される。撮像部１０は、監視空間の光学的な映像を電気的な画像信号に変換して画像処理部１２へ出力する。撮像部１０は、画像信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に画像処理部１２に受け渡す機能を有することも好ましい。本実施の形態では、撮像画像は離散的な画素群からなるデジタル化された画像に変換され、各画素が輝度値で表現された撮像画像Ｉとして画像処理部１２に入力及び記憶部１８に格納及び保持される。以下、繰り返し撮像される撮像画像Ｉのうち第ｎ回目の測定で得られたものを撮像画像Ｉ⁽ⁿ⁾と示す。

送受信部１４は、超音波パルス送信器及び超音波センサを含んで構成される。送受信部１４は、超音波パルス送信器を用いて所定時間間隔で監視空間に超音波パルスを等方的に送信すると共に、監視空間から超音波を音響信号として受信する。このとき、監視空間に存在する物体や壁等によって反射された超音波パルスが時間変動する音響信号Ｓ（ｔ）として受信される。監視距離が十分に短い場合、超音波の送信から受信までの時間は無視でき、超音波の送信タイミングと撮像部１０での撮像タイミングとを一致させることによって、略同時刻における同一の監視空間の状況をセンシングすることができる。以下、繰り返し測定される音響信号Ｓ（ｔ）のうち第ｎ回目の撮像と同期して得られたものを信号Ｓ⁽ⁿ⁾（ｔ）と示す。

受信された音響信号Ｓ（ｔ）は音響処理部１６に送信されると共に、記憶部１８に格納及び保持される。また、送受信部１４は、音響信号Ｓ（ｔ）に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に音響処理部１６に受け渡す機能を有することも好ましい。

なお、本実施の形態では、超音波を測定用の信号として用いた場合を例として説明するが、これに限定されるものでなく、可聴範囲の音波を用いても良い。但し、超音波は人間に聞こえないという利点を有する。また、音響信号Ｓ（ｔ）の観測時間は監視したい距離に応じて変更することが好ましい。例えば、監視したい距離をＬ（ｍ）、音速をＣ（ｍ／ｓ）とすると、監視に必要な音響信号Ｓ（ｔ）の観測時間ｔ（秒）はｔ＝２Ｌ／Ｃで算出することができる。

以下、撮像部１０において取得された撮像画像Ｉと送受信部１４において取得された超音波の音響信号Ｓ（ｔ）とを用いて、監視空間から侵入者を検出する処理ついて説明を行う。センシング装置１００の各部の機能は、図２に示すフローチャートの各工程をコンピュータで実行可能な制御プログラムとすることによって、コンピュータの処理装置によって実行させることができる。

ステップＳ１０では、監視空間の画像が取得される。撮像部１０により所定の時間間隔で１フレームの撮像画像Ｉが取得される。ここでは、ｎ回目の撮像タイミングで撮像画像Ｉ⁽ⁿ⁾が取得されたものとする。撮像画像Ｉ⁽ⁿ⁾は画像処理部１２へ転送される。

ステップＳ１２では、画像処理部１２における変動領域抽出部２２において、撮像画像Ｉ⁽ⁿ⁾から変動領域の抽出が行われ、変動領域が含まれるか否かが判断される。ここで、画像処理部１２は、図１に示すように、変動領域抽出部２２、トラッキング部２４及び画像特徴量算出部２６を含んで構成される。画像処理部１２は、デジタル化された撮像画像を受けて、背景差分処理、２値化処理、トラッキング処理及び画像特徴量算出処理を行う。

変動領域抽出部２２では、撮像画像Ｉ⁽ⁿ⁾と基準となる背景画像Ｂとにおける互いに対応する画素同士の差分値をとって差分画像Ｄ⁽ⁿ⁾が生成される。背景画像Ｂは、監視空間に侵入者等が存在しない状態で撮像された画像であり、侵入者の検出処理を開始する前に予め取得され、記憶部１８に格納及び保持されているものとする。次に、得られた差分画像Ｄ⁽ⁿ⁾に含まれる各画素の輝度（特性値）と所定の閾値との大小関係に基づいて差分画像を２値化する。すなわち、撮像画像Ｉ⁽ⁿ⁾に含まれる各画像をＩ⁽ⁿ⁾（ｉ，ｊ）で表し、背景画像Ｂに含まれる各画素をＢ（ｉ，ｊ）で表し、閾値がＴ_hvであるとすると、差分画像Ｄ⁽ⁿ⁾に含まれる各画素Ｄ⁽ⁿ⁾（ｉ，ｊ）の値を数式（１）で決定することができる。

これによって、図３に示すように、特性値の変動が閾値Ｔ_hv以上の変動であった変動画素（１）と閾値Ｔ_hvより小さい変動であった非変動画素（０）とに２値化された差分画像Ｄ⁽ⁿ⁾として表現される。算出された差分画像Ｄ⁽ⁿ⁾は、次回の撮像画像に対するトラッキング処理の基準とするために記憶部１８に格納及び保持される。

なお、本実施の形態では、背景画像Ｂは侵入者がいない状況において監視空間を予め撮像した画像としたが、所定時間毎に撮像された画像で更新することも好適である。また、前回取得された撮像画像を背景画像Ｂとして用いることにより、連続するフレーム間における差分画像Ｄ⁽ⁿ⁾を求めて処理に供しても良い。

ここで、撮像画像Ｉ⁽ⁿ⁾に変動領域が含まれていればステップＳ１４に処理を移行させる。一方、撮像画像Ｉ⁽ⁿ⁾に変動領域が含まれていなければステップＳ１８に処理を移行させる。以下では、撮像画像Ｉ⁽ⁿ⁾に変動領域が含まれていた場合について説明を行う。

ステップＳ１４では、今回の撮像で取得された差分画像Ｄ⁽ⁿ⁾と過去に取得された差分画像との比較により変動領域のトラッキング処理が行われる。トラッキング部２４では、２値化された差分画像Ｄ⁽ⁿ⁾に含まれる略連続した変動画素群が１つの変動領域としてグループ化され、各変動領域が固有のラベル（番号）でラベリングされる。続いて、記憶部１８に保持されている過去の差分画像が読み出され、差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域の周囲に設定されたトラッキングの検索範囲に対応する過去の差分画像における領域に変動領域が存在すれば、その領域のサイズ、形状等の特徴量の類似度に基づいて互いに同一の被写体を撮像した領域であると推定される変動領域同士が対応付けられる。差分画像Ｄ⁽ⁿ⁾及びラベリングの情報は画像特徴量算出部２６へ送られる。

ステップＳ１６では、画像特徴量算出部２６において、差分画像Ｄ⁽ⁿ⁾及びラベリングの情報に基づいて画像に関する各種の特徴量が算出される。画像特徴量算出部２６は、例えば、画像距離算出部、領域サイズ算出部及び移動ベクトル算出部を含んで構成される。

画像距離算出部では、撮像部１０に含まれる撮像装置から各変動領域に撮像された物体までの距離が算出される。監視空間の床面が平坦であり、変動領域に写し込まれた物体が床面に接地しているものと仮定することによって、撮像部１０の撮像装置の俯角、設置高及び変動領域の画像内位置に基づいて撮像装置から変動領域に写し込まれた物体までの直線距離を推定することができる。

簡単の為、図４に示すように、撮像部１０の正面に変動領域が抽出された場合を説明する。差分画像Ｄの垂直方向のサイズがＹ、画像における変動領域の上端までの長さがｙ_h、画像における変動領域の下端まで長さがｙ_f、１画素間の距離がｐであり、図５に示すように、撮像装置の俯角がθ、設置高がＨ、焦点距離がＦとすると、数式（２）を用いて撮像装置から変動領域に写し込まれた物体の上端までの実空間における画像距離Ｒ_hを算出することができ、数式（３）を用いて撮像装置から変動領域に写し込まれた物体の下端までの実空間における画像距離Ｒ_fを算出することができる。より精度が必要とされる場合には、撮像部１０の特性（レンズ、ＣＣＤ）を考慮した補正を行っても良い。

以下では、ｎ回目の測定の差分画像Ｄ⁽ⁿ⁾に含まれる第ｉ番目の変動領域に対して求められた画像距離Ｒ_fを画像距離Ｒ_Vif ⁽ⁿ⁾、画像距離Ｒ_hを画像距離Ｒ_Vih ⁽ⁿ⁾、と表す。ｉは、変動領域のラベリング番号である。また、実空間における撮像装置から各変動領域に対応する位置までの位置ベクトルＰ_Vi ⁽ⁿ⁾も算出する。

領域サイズ算出部では、差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域の画像のサイズが算出される。例えば、各変動領域に外接する矩形領域を求め、その矩形領域の大きさを各変動領域のサイズとする。

移動ベクトル算出部では、トラッキング部２４で同一の被写体の画像であるとラベリングされた変動領域の移動ベクトルが算出される。移動ベクトルは、実空間における物体の移動の速さ及び方向であり、異なる時刻に撮影された撮像画像から得られた複数の差分画像間において、画像距離算出部において推定された位置ベクトルＰ_Vi ⁽ⁿ⁾の変動から算出することができる。

なお、上記画像距離算出部、領域サイズ算出部及び移動ベクトル算出部における処理は一例であり、同様の特徴量を算出できる方法であれば本実施の形態の処理方法に限定されるものではない。

ステップＳ１８では、受信波変動抽出部２８において、音響信号Ｓ⁽ⁿ⁾（ｔ）から差分波形が求められる。音響信号Ｓ⁽ⁿ⁾（ｔ）には、図６（ａ）に示すように、監視空間に存在する物体によって反射されたパルス信号が重畳されている。そこで、受信波変動抽出部２８では、前回の測定時に取得された音響信号Ｓ^(n-1)（ｔ）（図６（ｂ））を記憶部１８から読み出し、前回の測定時に取得された音響信号Ｓ^(n-1)（ｔ）と今回取得された音響信号Ｓ⁽ⁿ⁾（ｔ）の包絡信号を各々求める。包絡信号は既存の処理によって求めることができる。これらの差分を、数式（４）を用いてとることによって差分波形ｄ⁽ⁿ⁾（ｔ）（図６（ｃ））を求める。監視空間に新たに現れた物体がある場合や物体が移動した場合には差分波形ｄ⁽ⁿ⁾（ｔ）にピークが現れる。

ステップＳ２０では、差分波形ｄ⁽ⁿ⁾（ｔ）に含まれているピークが抽出され、ピークが含まれている場合にはピークに対応する位置までの距離が算出される。このステップＳ２０はサブルーチン化されており、受信波変動抽出部２８及び音響特徴量算出部３０において、図７に示すフローチャートに沿って実行される。

ステップＳ２０−１では、差分波形ｄ⁽ⁿ⁾（ｔ）のうち閾値Ｔ_hを超える領域をピークとして抽出する。ここで、送受信部１４からの超音波を反射してからの時間ｔの関数として表される閾値Ｔ_h（ｔ）を用いてピークの検出を行うことも好適である。閾値Ｔｈ（ｔ）は、音波の距離減衰に基づいて遠くの距離にある物体の反射波ほど、すなわち時間ｔが大きくなるほど小さな値に設定することが好ましい。さらには、閾値Ｔ_h（ｔ）は、ステップＳ１６で求めた画像特徴量に基づいて設定することもできる。

例えば、図８に示すように、差分波形ｄ⁽ⁿ⁾（ｔ）及び閾値Ｔ_h（ｔ）が表される場合、閾値Ｔ_h（ｔ）以上の振幅を有する領域ｔ_S0 ⁽ⁿ⁾＜ｔ＜ｔ_E0 ⁽ⁿ⁾，ｔ_S1 ⁽ⁿ⁾＜ｔ＜ｔ_E1 ⁽ⁿ⁾，・・・がピークの領域として抽出される。

ステップＳ２０−２では、各ピークの領域において最大値を有するピーク位置が抽出される。例えば、ｔ_S0 ⁽ⁿ⁾＜ｔ＜ｔ_E0 ⁽ⁿ⁾では最大値を有する時刻ｔ₀ ⁽ⁿ⁾がピーク位置となる。同様に、ｔ_S1 ⁽ⁿ⁾＜ｔ＜ｔ_E1 ⁽ⁿ⁾に対してはｔ₁ ⁽ⁿ⁾、・・・と各ピーク領域からピーク位置が決定される。

ステップＳ２０−３では、各ピーク位置に対応する物体までの距離が算出される。以下、画像信号に基づいて算出された画像距離Ｒ_Vif ⁽ⁿ⁾，Ｒ_Vih ⁽ⁿ⁾と区別するために、ピーク位置ｔ_i ⁽ⁿ⁾に対応する距離を音響距離Ｒ_Ai ⁽ⁿ⁾と示す。音響距離Ｒ_Ai ⁽ⁿ⁾は数式（５）を用いて算出することができる。ここで、Ｃ（ｍ／ｓ）は音速である。

ステップＳ２２では、カウンタｍが１に初期化される。カウンタｍは、以下の処理において、差分画像Ｄ⁽ⁿ⁾に含まれる各変動領域を順次特定して処理するためのラベルとして用いられる。ステップＳ２２〜ステップＳ３２までの処理は、情報処理部２０の代表領域抽出部３２において行われる。

ステップＳ２４では、第ｍ番目の変動領域の画像距離と音響距離とのマッチングが行われる。具体的には、差分画像Ｄ⁽ⁿ⁾上における第ｍ番目の変動領域の最小距離Ｒ_Vmf ⁽ⁿ⁾と最大距離Ｒ_Vmh ⁽ⁿ⁾との間にのピークが存在するか否かが調査され、そのピークまでの音響距離Ｒ_Aj ⁽ⁿ⁾が求められる。この処理は、図９に示すように、ステップＳ２０において抽出された音響信号のピーク群の中から、第ｍ番目の変動領域の最小距離Ｒ_Vmf ⁽ⁿ⁾と最大距離Ｒ_Vmh ⁽ⁿ⁾とに対応する領域（図９中、ハッチング示した領域）に対応するピークが差分波形Ｓ⁽ⁿ⁾（ｔ）に存在しているか否かを確認するものである。もし、いずれかの変動領域に対応するピークが存在した場合は変動領域と対応する音響距離Ｒ_Aj ⁽ⁿ⁾を抽出してステップＳ２６へ処理を移行させ、変動領域に対応するピークが存在しなかった場合にはステップＳ３８に処理を移行させる。変動領域に対応するピークが複数存在した場合は、音響距離の代表値を求める。代表値は、例えば、最大ピークを持つものとしても良いし、複数の音響距離の平均値としても良い。

ステップＳ２６では、面積領域サイズ算出部において求められた第ｍ番目の変動領域の画像サイズが予め定められた閾値よりも大きいか否かが判定される。第ｍ番目の変動領域が所定の閾値よりも大きい場合には侵入者等の画像が光や影に重なり合ったり、接触した状態で撮像されている可能性が高いと判断できる。一方、第ｍ番目の変動領域が所定の閾値以下である場合には侵入者等の画像は光や影と重畳したり、接触したりしていないと判断できる。第ｍ番目の変動領域が、所定の閾値以下の面積である場合にはステップＳ３２に処理を移行させ、所定の閾値よりも大きい面積である場合にはその変動領域を抽出してステップＳ２８に処理を移行させる。

ステップＳ２８では、ステップＳ２４において抽出された各音響距離Ｒ_Aj ⁽ⁿ⁾に一般的な人間のサイズの侵入者がいたとした場合に、侵入者として得られるであろう画像サイズが算出される。図１０に示すように、同一の大きさの人物を撮像した場合においても撮像部１０からの距離に応じて撮像領域のサイズは変化する。そこで、音響距離Ｒ_Aj ⁽ⁿ⁾に一般的な体格の人間（例えば、身長１６０ｃｍ、幅５０ｃｍの体格）が存在すると仮定し、その人間が撮像された場合の画像領域のサイズを求める。

このとき、音響距離Ｒ_Aj ⁽ⁿ⁾の方が画像距離Ｒ_Vmf ⁽ⁿ⁾，Ｒ_Vmh ⁽ⁿ⁾よりも物体までの距離を正しく示している可能性が高いので、一般的な人物に対応する画像領域のサイズを見積もる際には、音響距離Ｒ_Aj ⁽ⁿ⁾を用いて計算を行うことが好適である。

例えば、図１０に示すように、音響センサの正面に居る人物が映し出された変動領域の幅を算出する場合、一般的な人物の幅として考えられる実寸をＷ_min、音響距離をＲ_Aj ⁽ⁿ⁾、撮像画像Ｉ⁽ⁿ⁾の横幅をＨ_x、画像センサの水平方向の画角をφとすると、音響距離Ｒ_Aj ⁽ⁿ⁾に居る人間の画像領域の幅ｗは数式（６）によって簡易的に算出することができる。また、撮像部１０の特性等を考慮に入れた補正をすることにより、変動領域を正確に求めることができる。

同様に、人間の高さとして考えられる実寸をＨ_minとして、最小の人間が画像に映し出されたときの高さｈを求めることものできる。また、角度方向に補正を行うことによって、画像上の総ての領域における最小の人間のサイズを求めることもできる。

ステップＳ３０では、第ｍ番目の変動領域の領域において、最も侵入者を撮像した画像領域である可能性が高い画像領域が抽出され、侵入者の画像が撮像されているか否かが判定される。図１１に示すように、記憶部１８に記憶してある撮像画像Ｉ⁽ⁿ⁾及び背景画像Ｂにおける変動領域４２に対応する領域を、ステップＳ２８で算出された侵入者として得られるであろうサイズの区画領域４０に区画する。そして、撮像画像Ｉ⁽ⁿ⁾と背景画像Ｂとにおける各区画領域４０の画像のテクスチャの変化の度合いを求める。そして、テクスチャの変化の度合いが最も大きい区画領域を侵入者が撮像された代表領域として決定する。ここで、テクスチャの変化の度合いとは、撮像画像Ｉ⁽ⁿ⁾の区画領域４０とそれに対応する背景画像Ｂの区画領域４０との正規化相関値やエッジの増減度を用いることができる。

また、変動領域４２を区画する際に、図１１に示すように、音響距離Ｒ_Aj ⁽ⁿ⁾を中心として区画領域４０を所定量だけ重ね合わせて画像領域を区画することが好適である。侵入者を撮像した画像を含む画像領域をより確実に検出するためには、区画領域４０を重ね合わせる量をできるだけ多くすることが望ましい。しかしながら、処理速度を考慮すると重ね合わせる量はできるだけ少なくすることが望ましい。これらの兼ね合いから、重ね合わせる幅は、侵入者として得られるであろう画像サイズの幅の１／４以上２／３以下とすることが好適である。特に、重ね合わせる幅を侵入者として得られるであろう画像サイズの幅の１／２程度にすることがより好適である。

このように、画像距離と音響距離とのマッチングを行ったうえで、変動領域が大きい場合には複数の区画領域に区画して侵入者が撮像されたであろう領域を抽出することによって、侵入者を確実かつ高速に検出することを可能とする。

撮像画像Ｉ⁽ⁿ⁾と背景画像Ｂとにおける代表領域のテクスチャの変化の度合いが所定の閾値以上であればステップＳ３４に処理が移行される。所定の閾値より小さければステップＳ３６に処理が移行される。

ステップＳ３２では、第ｍ番目の変動領域が人間として最も小さいと考えられる人物を撮像した場合のサイズと比較される。人間として最も小さいと考えられる人物（例えば、身長１００ｃｍ、幅３０ｃｍの体格）を撮像した画像領域のサイズは、数式（６）において人物の幅Ｗ_minの値を変更することによって同様に求めることができる。第ｍ番目の変動領域が人間として最も小さいと考えられる人物を撮像した場合のサイズよりも大きければ、ステップＳ３４に処理が移行される。それ以外はステップＳ３６に処理が移行される。

ステップＳ３４では、瞬時属性度設定部３４においてその変動画像は人間に相当するものであるとして、瞬時人属性度が増加される。瞬時人属性度とは、１回の測定毎の撮像画像に人間が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に人間が撮像されている確からしさが高いことを示すものである。一方、ステップＳ３６では、撮像された物体が小動物（犬、猫、ねずみ等）であると判定されて、瞬時小動物属性度が増加される。瞬時小動物属性度とは、１回の測定毎の撮像画像に小動物が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に小動物が撮像されている確からしさが高いことを示すものである。

一方、画像距離と音響距離とのマッチングが失敗した場合、ステップＳ３８において、最小距離Ｒ_Vmf ⁽ⁿ⁾〜最大距離Ｒ_Vmh ⁽ⁿ⁾よりも小さい距離に対応する音響距離Ｒ_Aj ⁽ⁿ⁾が存在するか否かが判断される。図１２に示すように、最小距離Ｒ_Vmf ⁽ⁿ⁾〜最大距離Ｒ_Vmh ⁽ⁿ⁾の距離範囲よりも近い距離に音響距離Ｒ_Aj ⁽ⁿ⁾が存在する場合、図１３に示すように、画像センサの近傍にいる小鳥や虫などの小動物が撮像され、見かけ上は差分画像Ｄの画像距離Ｒ_Vj ⁽ⁿ⁾に物体が撮像されているように見えているに過ぎない可能性が高い。最小距離Ｒ_Vmf ⁽ⁿ⁾〜最大距離Ｒ_Vmh ⁽ⁿ⁾の距離範囲よりも近い距離に音響距離Ｒ_Aj ⁽ⁿ⁾が存在する場合にはステップＳ４０に処理を移行させ、存在しない場合にはステップＳ４２に処理を移行させる。

ステップＳ４０では、第ｍ番目の変動領域のサイズに基づいて、鳥や虫などの小動物を撮像したものであるか否かが調査される。音響距離Ｒ_Aj ⁽ⁿ⁾に小動物として考えられる最大の大きさの小動物が存在する場合に差分画像Ｄ⁽ⁿ⁾に現れるべき変動画像のサイズを求め、実際に差分画像Ｄに含まれる変動画像のサイズと比較することにより被写体が小動物であるか人間であるかを判定する。最大の小動物の画像上のサイズと変動領域のサイズとを比較し、変動領域のサイズが最大の小動物のサイズ以上であればステップＳ４４に処理が移行され、変動領域のサイズが最大の小動物のサイズよりも小さければステップＳ４６に処理が移行される。

一方、ステップＳ４２では、第ｍ番目の変動領域の輝度が調査される。変動領域の輝度（平均輝度）が所定の閾値以上である場合には実体のない光に起因する変動領域であるものとしてステップＳ４８に処理が移行され、変動領域の輝度（平均輝度）が所定の閾値より小さい場合には実体のない影に起因する変動領域であるものとしてステップＳ５０に処理が移行される。

ステップＳ４６では、瞬時属性度設定部３４において、瞬時小動物属性度が増加される。一方、ステップＳ４４では、撮像された物体が人間である可能性が高いとして、瞬時属性度設定部３４において、瞬時人属性度が増加される。ステップＳ４８では、瞬時属性度設定部３４において、瞬時光属性度が増加される。瞬時光属性度とは、１回の測定毎の撮像画像に実体のない光が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない光が撮像されている確からしさが高いことを示すものである。一方、ステップＳ５０では、瞬時属性度設定部３４において、瞬時影属性度が増加される。瞬時影属性度とは、１回の測定毎の撮像画像に実体のない影が撮像されている確からしさを示すパラメータであり、パラメータ値が高いほど撮像画像に実体のない影が撮像されている確からしさが高いことを示すものである。

ステップＳ５２では、差分画像Ｄ（ｎ）に含まれる総ての変動領域について処理が行われたか否かが確認される。総ての変動領域に対してステップＳ２４〜Ｓ５０までの処理が行われていればステップＳ５６に処理を移行させ、いずれかの変動領域が残っていればステップＳ５４に処理を移行させる。ステップＳ５４ではカウンタｍの値が１だけ増加され、次の変動領域についてステップＳ２４からの処理が繰り返される。

ステップＳ５６では、蓄積属性度算出部３６において、蓄積属性度が算出される。蓄積属性度とは、複数回の測定で求められた瞬時属性度及び音響特徴量に基づいて算出されるパラメータであり、変動領域が人物、小動物、光又は影であるか否かを示すものである。例えば、瞬時人属性度を所定の測定回数だけ足し合わせて蓄積人属性度として算出することができる。このように、瞬時人属性度を複数回分積算して求めた蓄積人属性度を用いることによって変動領域が人であるか否かをより正確に判定することができる。同様に、他の瞬時属性度を所定の測定回数分だけ積算することによって各瞬時属性度に対応する蓄積属性度を算出することもできる。

ステップＳ５８では、総合判定部３８において、瞬時属性度及び蓄積属性度の少なくとも１つを用いて監視空間に侵入者がいるか否かが判定される。例えば、蓄積人属性度が所定の閾値以上の値を有する場合に監視空間に侵入者がいるものと判断する。また、他の蓄積属性度、画像特徴量及び音響特徴量を組み合わせ判定を行うことも好ましい。侵入者が存在すると判断された場合にはステップＳ６０に処理を移行させて警報の発報等の処理を行い、侵入者が存在しないと判断された場合には処理を終了する。また、ステップＳ１０から処理を繰り返しても良い。

以上のように、本実施の形態によれば、監視空間に存在する物体を確実に検出できると共に、その物体が侵入者であるか否かを特定することができる。

本発明の実施の形態におけるセンシング装置を示すブロック図である。本発明の実施の形態における侵入者検出のフローチャートを示す図である。本発明の実施の形態における差分画像の生成方法を説明する図である。本発明の実施の形態における画像距離を算出する方法を説明する図である。本発明の実施の形態における画像距離を算出する方法を説明する図である。本発明の実施の形態における音響信号の差分波形の生成方法を説明する図である。本発明の実施の形態におけるステップＳ２０のサブルーチンのフローチャートを示す図である。本発明の実施の形態におけるピーク検出の方法を説明する図である。差分画像における最大距離と最小距離との関係を示す図である。撮像部からの距離に対する人物のサイズの変化の例を示す図である。本発明の実施の形態において変動領域を区画した区画領域群の例を示す図である。本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった場合を示す図である。本発明の実施の形態において画像距離と音響距離とのマッチングがとれなかった状況を示す図である。侵入者の画像と光とが重なり合って撮像された撮像画像の例を示す図である。侵入者の画像と侵入者の影とが接触して撮像された撮像画像の例を示す図である。

符号の説明

１０撮像部、１２画像処理部、１４送受信部、１６音響処理部、１８記憶部、２０情報処理部、２２変動領域抽出部、２４トラッキング部、２６画像特徴量算出部、２８受信波変動抽出部、３０音響特徴量算出部、３２代表領域抽出部、３４瞬時属性度設定部、３６蓄積属性度算出部、３８総合判定部、１００センシング装置。

Claims

監視対象空間を撮像した撮像画像を取得する撮像部と、
前記監視対象空間に音波を送出すると共に、前記監視対象空間から音波を音響信号として受信する送受信部と、を備え、
前記撮像部で取得された撮像画像と前記送受信部において受信された音響信号とに基づいて前記監視対象空間内の侵入者を検出するセンシング装置であって、
撮像画像と基準となる背景画像との差分である差分画像、に基づいて撮像画像に含まれる変動領域を抽出する画像処理部と、
前記変動領域に対応する実空間の位置に存在する物体、に対応する信号が前記送受信部において受信された音響信号に存在するか否かを判定し、
前記変動領域に対応する実空間の位置に存在する物体、に対応する信号が前記送受信部において受信された音響信号に存在すると判断された場合に、
前記変動領域を、前記音響信号に対応する実空間の位置に侵入者が存在している場合に得られるであろうサイズ、の複数の画像領域に区画し、当該区画された領域毎における所定の画像特徴量に基づいて侵入者の検出を行う情報処理部と、
を備えることを特徴とするセンシング装置。
請求項１に記載のセンシング装置において、
前記情報処理部は、前記変動領域が所定の画像面積以上であるか否かを判定し、
前記変動領域が前記所定の画像面積以上である場合に区画処理を行うことを特徴とするセンシング装置。
請求項１又は２に記載のセンシング装置において、
前記情報処理部は、撮像画像と背景画像とにおける前記区画された領域のテクスチャの変化の度合いを用いて侵入者の検出を行うことを特徴とするセンシング装置。
請求項３に記載のセンシング装置において、
前記情報処理部は、前記区画された領域群のうち、テクスチャの変化の度合いが最大の領域に基づいて侵入者の検出を行うことを特徴とするセンシング装置。