JP6461511B2 - 監視装置及びプログラム - Google Patents

Description

本発明は、監視装置及びプログラムに係り、特に、遠赤外画像を用いた監視装置及びプログラムに関する。

従来より、赤外線カメラ等で撮影された赤外画像から人物を検出する手法が提案され、防犯及び防災等、様々な分野へ適用されている。例えば、夜間等の低温環境下だけでなく夏の昼間等の高温環境下で撮影された赤外画像から人物を検出する手法が提案されている。

特開２００９−１５６７７６号公報

しかしながら、上記特許文献１に記載の技術では、赤外線カメラに、物体までの距離を測るための距離測定手段であるレーザレンジファインダが必要であり、赤外線カメラのコストが増大する、という問題がある。

本発明は、上記に示した問題点を鑑みてなされたものであり、遠赤外カメラのみを用いた場合であっても、遠赤外画像から精度よく人物を検出することができる監視装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る監視装置は、予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段と、受付手段によって受け付けた時系列データの遠赤外画像の各々について、遠赤外画像に基づいて予め生成された背景画像と比較することにより、遠赤外画像から熱源領域を抽出する抽出手段と、抽出手段により抽出された熱源領域の属性情報に基づいて、人物らしさを判定する第１の判定手段と、時系列データの遠赤外画像の各々について抽出された熱源領域について第１の判定手段により判定された判定結果に基づいて、熱源領域が、人物を表すか否かを判定する第２の判定手段と、を備え、第２の判定手段は、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、熱源領域が、遠赤外画像の下部に位置し、熱源領域の位置の変動量が、閾値より大きく、かつ、熱源領域の温度が、予め定められた範囲内であり、かつ、熱源領域の大きさが、閾値より小さい場合に、熱源領域がペットを表すと判定する。また、第２の発明に係る監視装置は、予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段と、受付手段によって受け付けた時系列データの遠赤外画像の各々について、遠赤外画像に基づいて予め生成された背景画像と比較することにより、遠赤外画像から熱源領域を抽出する抽出手段と、抽出手段によって時系列データの遠赤外画像の各々から抽出された熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、熱源領域が、遠赤外画像の下部に位置し、熱源領域の位置の変動量が、閾値より大きく、かつ、熱源領域の温度が、予め定められた範囲内であり、かつ、熱源領域の大きさが、閾値より小さい場合に、熱源領域がペットを表すと判定する判定手段と、を備えている。

第３の発明に係るプログラムは、コンピュータを、予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段、受付手段によって受け付けた時系列データの遠赤外画像の各々について、遠赤外画像に基づいて予め生成された背景画像と比較することにより、遠赤外画像から熱源領域を抽出する抽出手段、抽出手段により抽出された熱源領域の属性情報に基づいて、人物らしさを判定する第１の判定手段、及び時系列データの遠赤外画像の各々について抽出された熱源領域について第１の判定手段により判定された判定結果に基づいて、熱源領域が表す物体の種類を判定する際、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、熱源領域が、遠赤外画像の下部に位置し、熱源領域の位置の変動量が、閾値より大きく、かつ、熱源領域の温度が、予め定められた範囲内であり、かつ、熱源領域の大きさが、閾値より小さい場合に、熱源領域がペットを表すと判定する第２の判定手段、として機能させるためのプログラムである。また、第４の発明に係るプログラムは、コンピュータを、予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段、受付手段によって受け付けた時系列データの遠赤外画像の各々について、遠赤外画像に基づいて予め生成された背景画像と比較することにより、遠赤外画像から熱源領域を抽出する抽出手段、及び抽出手段によって時系列データの遠赤外画像の各々から抽出された熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、熱源領域が、遠赤外画像の下部に位置し、熱源領域の位置の変動量が、閾値より大きく、かつ、熱源領域の温度が、予め定められた範囲内であり、かつ、熱源領域の大きさが、閾値より小さい場合に、熱源領域がペットを表すと判定する判定手段として機能させるためのプログラムである。

第１の発明〜第４の発明によれば、予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付け、受け付けた時系列データの遠赤外画像の各々について、遠赤外画像に基づいて予め生成された背景画像と比較することにより、遠赤外画像から熱源領域を抽出する。

そして、抽出された熱源領域の属性情報に基づいて、人物らしさを判定し、時系列データの遠赤外画像の各々について抽出された熱源領域について人物らしさの判定結果に基づいて、熱源領域が、人物を表すか否かを判定する。

このように、遠赤外画像であっても、時系列データの遠赤外画像の各々に対して人物らしさを判定することで、遠赤外画像から人物を精度よく検出することができる。

また、第１の発明に係る第２の判定手段は、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、熱源領域が、遠赤外画像の下部に位置し、熱源領域の位置の変動量が、閾値より大きく、かつ、熱源領域の温度が、予め定められた範囲内であり、かつ、熱源領域の大きさが、閾値より小さい場合に、熱源領域がペットを表すと判定する。これによって、遠赤外画像からペットを検出することができる。

また、第１の発明に係る第２の判定手段は、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、熱源領域が、遠赤外画像の上部に位置し、かつ、熱源領域の位置の変動量が、閾値未満であると共に、夏期において熱源領域の温度が、閾値未満である場合、又は、冬期において熱源領域の温度が、閾値より高い場合に、熱源領域がエアコンを表すと判定する。これによって、遠赤外画像からエアコンを検出することができる。

また、第１の発明に係る第２の判定手段は、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、熱源領域が、遠赤外画像の下部に位置し、かつ、熱源領域の位置の変動量が、閾値未満であり、かつ、熱源領域の温度が、閾値より高く、かつ、熱源領域の大きさが、閾値未満である場合に、熱源領域が暖房器具を表すと判定する。これによって、遠赤外画像から暖房器具を検出することができる。

また、第１の発明に係る第２の判定手段は、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、熱源領域の位置の変動量が、閾値未満であり、かつ、昼間の熱源領域の温度が、夜間の熱源領域の温度より高く、かつ、熱源領域の大きさが、閾値より大きい場合に、熱源領域が窓を表すと判定する。これによって、遠赤外画像から窓を検出することができる。

また、第１の発明に係る第２の判定手段は、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、熱源領域の位置の変動量が、閾値未満であり、かつ、熱源領域の大きさが、閾値より大きく、かつ、熱源領域が含まれる同じ時刻の遠赤外画像に第１の判定手段によって人物らしい物体が存在すると判定された際、熱源領域の温度が、閾値より高くなる場合に、熱源領域がテレビを表すと判定する。これによって、遠赤外画像からテレビを検出することができる。

また、第１の発明に係る第２の判定手段は、時系列データの遠赤外画像の各々について抽出された熱源領域の属性情報に基づいて、熱源領域の位置の変動量が、閾値未満であり、かつ、熱源領域の大きさが、閾値より小さく、かつ、熱源領域が含まれる同じ時刻の遠赤外画像に第１の判定手段によって人物らしい物体が存在すると判定された際、熱源領域の温度が、閾値より高くなる場合に、熱源領域が灰皿を表すと判定する。これによって、遠赤外画像から灰皿を検出することができる。

更に、第１の発明に係る監視装置は、第２の判定手段により熱源領域が人物を表すと判定された場合、警報を出力する出力手段を更に含む。これによって、留守中であっても不審者の存在を外部に通報することができる。

また、第１の発明に係る背景画像は、受付手段により遠赤外画像を受け付ける度に更新される。これによって、遠赤外画像から人物を検出する検出精度を更に向上させることができる。

以上説明したように、本発明の監視装置及びプログラムによれば、遠赤外カメラのみを用いた場合であっても、遠赤外画像から人物を精度よく検出することができ、更には遠赤外画像の解像度が高くない場合においても、遠赤外画像から人物を精度よく検出することができる、という効果が得られる。

図１は、監視システムの構成を示すブロック図である。 図２は、遠赤外カメラの設置例を説明するための模式図である。 図３は、遠赤外カメラで撮影された遠赤外画像の一例を説明するための模式図である。 図４は、遠赤外カメラで撮影された遠赤外画像の一例を説明するための模式図である。 図５は、入力画像から物体領域を抽出する処理の一例を説明するための模式図である。 図６は、属性情報の一例を示す図である。 図７は、属性情報を説明するための模式図である。 図８は、予備判定の判定項目及び判定条件の一例を示す図である。 図９は、物体の種別毎に予め定めた判定式の一例を示す図である。 図１０は、人物を判定するための判定式の一例を説明した図である。 図１１は、人物を判定するための他の判定式の一例を説明した図である。 図１２は、人物を判定するための他の判定式の一例を説明した図である。 図１３は、本実施の形態に係る監視装置における背景画像算出ルーチンの内容を示すフローチャートである。 図１４は、本実施の形態に係る監視装置における人物判定ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１に示すように、本実施の形態に係る監視システム５は、遠赤外カメラ９０及び監視装置１０を備えている。

遠赤外カメラ９０は、例えば、遠赤外線領域に相当する３μｍ〜１０００μｍの波長を捉えるカメラである。本発明に従えば、数万ピクセルの高解像度な遠赤外カメラを用いてもよいが、数百〜数千ピクセル程度の低解像度の遠赤外カメラを用いても効果を得られる。ここでは一例として、遠赤外カメラ９０は、数百〜数千ピクセル程度の低解像度の遠赤外カメラであるものとして説明する。

遠赤外カメラ９０は図２に示すように、例えば、住宅の部屋等の予め定めた箇所に固定して取り付けられ、予め定めた範囲内の遠赤外画像を撮影する。図２の例では、遠赤外カメラ９０の撮影範囲内に、エアコン１００、暖房器具１０２、窓１０４、テレビ１０６、ペット１０８、及び人物１１０が存在している。

図３は、図２に示した部屋の様子を遠赤外カメラ９０で撮影した際の遠赤外画像の一例を示した図である。

遠赤外カメラ９０は、遠赤外線領域の波長を捉える低解像度のカメラであるため可視光カメラや高解像度の遠赤外カメラとは異なり、図３に示すように、撮影した遠赤外画像に含まれる物体の輪郭はぼやけ、遠赤外画像を目視しただけでは、遠赤外画像に含まれる物体の種別を特定することができない。一方、物体の温度に応じて物体から放射される遠赤外線量が異なるため、遠赤外カメラ９０の各画素は、この遠赤外線量から物体の温度を検知し、検知した温度に応じた画素値を出力することで遠赤外画像から物体の温度情報を出力する。なお、一例として、物体の温度が高くなるに従って遠赤外カメラ９０の画素が出力する画素値が大きくなる。また、遠赤外カメラ９０の各画素は、撮影した遠赤外画像の水平方向の画素数がＷ_{ｉｍａｇｅ}、垂直方向の画素数がＨ_{ｉｍａｇｅ}となるように、矩形に配置されているものとする。

なお、遠赤外カメラ９０によって撮影される遠赤外画像は、静止画又は動画の何れであってもよい。

一方、図１における監視装置１０は、ＣＰＵと、ＲＡＭと、後述する背景画像算出ルーチン及び人物判定ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

監視装置１０は、受付部２０と、演算部２５と、出力部７０と、記憶部８０とを備えている。また、演算部２５は、抽出部３０と、取得部４０と、蓄積部５０、判定部６０とを備えている。

受付部２０は、遠赤外カメラ９０により撮影された遠赤外画像を受け付ける。既に説明したように、遠赤外画像の各画素値は温度を表すため、図４に示すように、遠赤外カメラ９０の撮影範囲内の温度分布を示した遠赤外画像が取得できる。なお、図４に示した遠赤外画像の例では、遠赤外画像中央部に周囲の温度とは異なる２５℃〜３５℃の範囲の温度を有する何らかの物体が認められる。また、図４に示した遠赤外画像の例は、遠赤外画像に含まれる物体の１つに注目したものであり、実際の遠赤外画像には図３に示したように複数の物体が含まれる。

また、受付部２０は、例えば監視装置１０の起動又は停止等の、監視装置１０の動作に関する指示を更に受け付ける。

抽出部３０は、受付部２０で受け付けた遠赤外画像から背景画像１４を生成し、生成した背景画像１４と、背景画像生成後に受付部２０で受け付けた遠赤外画像である入力画像１２とを比較して、入力画像１２から背景画像１４の温度分布と異なる領域、すなわち、背景画像１４の温度より高い或いは低い領域が一定の大きさでまとまっている領域である熱源領域１６を抽出する。図５はこの処理を模式的に説明した図であり、背景画像１４を用いて入力画像１２から熱源領域１６を抽出する様子を示している。

ここで背景画像１４とは、受付部２０で受け付けた、予め定めた枚数Ｎの遠赤外画像から算出される画像である。

具体的には、遠赤外画像の各画素の配置を、図４に示すように遠赤外画像の左上の頂点に位置する画素を原点とした、遠赤外画像の水平方向をＸ軸、遠赤外画像の垂直方向をＹ軸とする（ｘ、ｙ）座標で表した場合、背景画像１４は（１）式及び（２）式によって算出される。

ここで、Ｉ_ｎ（ｘ，ｙ）は、Ｎ枚の遠赤外画像のうちｎ枚目（ｎ＝１,・・・,Ｎ）の遠赤外画像の座標（ｘ，ｙ）における画素の画素値、Ｉ^＾（ｘ，ｙ）は、背景画像１４の座標（ｘ，ｙ）における画素の平均値、σ（ｘ，ｙ）は背景画像１４の座標（ｘ，ｙ）における画素の標準偏差を表す。

そして、抽出部３０は、入力画像１２と背景画像１４との差分を（３）式に従って計算し、入力画像１２から熱源領域１６を抽出するためのフィルタＦ（ｘ，ｙ）を算出する。

ここで、Ｉ（ｘ，ｙ）は入力画像１２の座標（ｘ，ｙ）における画素の画素値、Ｍは熱源領域１６を抽出するための画素値マージンを表す。これはすなわち、画素の値は温度情報を示すため、画素値マージンは温度マージンを表しているとも言うことができる。

抽出部３０は、フィルタＦ（ｘ，ｙ）の値に基づいて、入力画像１２からＦ（ｘ，ｙ）＝１となる領域を熱源領域１６として抽出する。そして、抽出部３０は、背景画像１４及び熱源領域１６を記憶部８０に記憶する。

取得部４０は、抽出部３０で抽出された熱源領域１６毎に属性情報を取得する。ここで、熱源領域１６の属性情報とは、各熱源領域１６の温度分布から得られる定量的な値をいう。図６は、熱源領域１６の属性情報の一例を示した図であり、取得部４０は、熱源領域１６から例えば位置、寸法、面積、及び温度に関する情報を属性情報として取得する。

熱源領域１６の位置に関する属性情報として、例えば、熱源領域１６の中央点Ｐ_Ｃ及び重心点Ｐ_Ｇがある。熱源領域１６の中央点Ｐ_Ｃとは、図７に示すように、４辺が熱源領域１６に接する長方形の対角線が交差する位置における入力画像１２上の座標点をいう。また、熱源領域１６の重心点Ｐ_Ｇとは、熱源領域１６の質量中心における入力画像１２上の座標点をいう。

そして、熱源領域１６の寸法に関する属性情報として、例えば、熱源領域１６の幅Ｗ及び高さＨがある。熱源領域１６の幅Ｗとは、図７に示すように、４辺が熱源領域１６に接する長方形の水平方向の画素数をいう。また、熱源領域１６の高さＨとは、当該長方形の垂直方向の画素数をいう。

そして、熱源領域１６の面積に関する属性情報として、例えば、熱源領域１６の画素数Ｓがある。なお、熱源領域１６の画素数Ｓは、入力画像１２から熱源領域１６を抽出する際に算出したフィルタＦ（ｘ，ｙ）において、Ｆ（ｘ，ｙ）＝１である画素数を計測することで取得することができる。

そして、熱源領域１６の温度に関する属性情報として、例えば、熱源領域１６の平均温度Ｔ_ａｖｅ、最高温度Ｔ_ｍａｘ、及び最低温度Ｔ_ｍｉｎがある。熱源領域１６の平均温度Ｔ_ａｖｅは、熱源領域１６に含まれる各画素における画素値の平均値、熱源領域１６の最高温度Ｔ_ｍａｘは、熱源領域１６に含まれる画素のうち最大の画素値、熱源領域１６の最低温度Ｔ_ｍｉｎは、熱源領域１６に含まれる画素のうち最小の画素値として取得することができる。

蓄積部５０は、取得部４０で取得した熱源領域１６の属性情報と、当該属性情報の時間経過を表す時刻情報と、を関連付けて、熱源領域１６の属性情報及び時刻情報を記憶部８０へ蓄積する。

なお、入力画像１２に複数の熱源領域１６が含まれ、各々の熱源領域１６から属性情報が取得された場合、これらの属性情報は同時刻に撮影された入力画像１２から得られた属性情報であるため、各々の属性情報に同じ時刻情報を関連づける。このように本実施形態では、一例として時系列を時刻で表すものとして説明を行うが、例えば連番等、他の時系列を表す指標を用いるようにしてもよい。

判定部６０は、予め定めた期間に亘って記憶部８０に熱源領域１６の属性情報が蓄積された後、例えば受付部２０で入力画像１２を受け付ける毎に、受け付けた入力画像１２に含まれる熱源領域１６の属性情報、及びこれまで記憶部８０に蓄積された過去の入力画像１２に含まれる熱源領域１６の属性情報に基づいて、新たに受け付けた入力画像１２に含まれる熱源領域１６が示す物体の種別を判定する。

そのため、まず判定部６０は、熱源領域１６に対して、取得部４０で取得された属性情報に基づいて予備判定を実施する。

予備判定は、熱源領域１６が示す物体が人物である可能性、すなわち「人らしさ」を判定する。従って、予備判定により熱源領域１６が示す物体が人らしいと判定された場合であっても、直ちに熱源領域１６が人物であると確定されるわけではない。

図８は、予備判定の判定項目及び判定条件の一例を示した図である。図８に示すように、例えば、予備判定は属性情報に対して縦横比、面積、及び温度に関する各判定項目を含む。

一般的に、人物の形状は上下方向に長い縦長である場合が多いことから、属性情報に含まれる幅Ｗ及び高さＨが、判定条件Ｈ＞αＷを満たすか否かを判定する。ここでαは、幅Ｗと高さＨとの大小関係を調整するための予め定めた係数である。

また、人物であれば入力画像１２内に一定以上の面積を有し、且つ、通常取りうる体温の範囲も予め予測できることから、属性情報に含まれる面積Ｓに対してＳ＞Ｓ_ｔｈの条件を満たし、属性情報に含まれる平均温度Ｔ_ａｖｅに対して、Ｔ_ｔｈ１＜Ｔ_ａｖｅ＜Ｔ_ｔｈ２の条件を満たすか否かを判定する。ここで、Ｓ_ｔｈは入力画像１２において、熱源領域１６を人物と判定するのに必要な面積、Ｔ_ｔｈ１は熱源領域１６を人物と判定するための下限温度、Ｔ_ｔｈ２は熱源領域１６を人物と判定するための上限温度を表す。

ここで、面積Ｓに対するＳ＞Ｓ_ｔｈの条件の替わりに、Ｓ_ｍａｘ＞Ｓ＞Ｓ_ｔｈのように面積Ｓに対して上限値Ｓ_ｍａｘを設けるようにしてもよい。Ｓ_ｍａｘは入力画像１２において人物の面積として考えられる上限の面積値である。面積Ｓに対して上限値Ｓ_ｍａｘを設けることで、人物としてあり得ない大きさの熱源領域１６を人らしいと判定してしまうことを防止することができる。

なお、係数α、面積Ｓ_ｔｈ、Ｓ_ｍａｘ、下限温度Ｔ_ｔｈ１、上限温度Ｔ_ｔｈ２、は、遠赤外カメラ９０の画素数や撮影範囲、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて決定する。一例として、遠赤外カメラ９０の水平方向×垂直方向における画素数が５０×５０、撮影範囲が６０度のカメラを室内の天井に設置した場合、α＝１．０、Ｓ_ｔｈ＝０．００８×Ｗ_{ｉｍａｇｅ}×Ｈ_{ｉｍａｇｅ}、Ｔ_ｔｈ１＝２０、Ｔ_ｔｈ２＝４０となる。

そして、判定部６０は縦横比、面積、及び温度に関する全ての判定条件を満足する属性情報に対してＲ＝１、それ以外の属性情報に対してＲ＝０の情報を関連付ける。

そして、判定部６０は、あるタイミングにおける熱源領域１６の属性情報に関連付けられた時刻情報をｔとした場合、当該熱源領域１６が示す物体の種別を、物体の種別毎に予め定めた判定式に従って判定する。

図９は、物体の種別毎に予め定めた判定式の一例を示した図である。

図９におけるＮｏ．１の判定式１）は、熱源領域１６が示す物体が人物か否かを判定する判定式であり、図１０は、判定式１）が表す状況の一例を示した図である。

判定式１）は、最新の時刻ｔからｐａｒａｍ１で表される予め定めた時点ｎまで過去に遡った範囲に含まれる各時刻における属性情報の「人らしさ」を表すＲ（ｔ−ｎ）の総和が、ｐａｒａｍ２より大きく、かつ、Ｒ（ｔ）＝１、すなわち、最新の時刻ｔにおける熱源領域１６が人らしいと判定された場合に、最新の時刻ｔにおいて抽出された熱源領域１６が示す物体の種別を人物と判定するための判定式である。

図１０は、Ｒ（ｔ−ｎ）の総和が５となった例で、最新の時刻からｐａｒａｍ１時点まで遡った範囲のうち、時刻ｔ、（ｔ−ｎ１）、（ｔ−ｎ２）、（ｔ−ｎ３）、及び（ｔ−ｎ４）における熱源領域１６が人らしいと判定された例を示している。ここで、ｎ１〜ｎ４は１以上ｐａｒａｍ１以下、かつ、ｎ１＜ｎ２＜ｎ３＜ｎ４の大小関係を有する任意の自然数を表し、図１０の“・・・”は、人らしいと判定されなかった時刻の範囲を示す。

判定式１）を満足する場合、入力画像１２内に人物がいると判定する。しかし、熱源領域１６が示す物体が人物か否かを判定する判定式は判定式１）に限られない。

例えば、図１１に示すように、最新の時刻から過去に遡ったｐａｒａｍ１Ａ個の各時点での熱源領域１６が連続して人らしいと判定された場合に、最新の時刻ｔから抽出された熱源領域１６が示す物体の種別を人物と判定するようにしてもよい。図１１の例では、最新の時刻から過去に遡った５個の各時点での熱源領域１６が人らしいと連続して判定された状況を示している。

また、例えば、図１２に示すように、最新の時刻ｔからｐａｒａｍ１Ｂで表される時点まで過去に遡った範囲において、熱源領域１６が複数回連続して人らしいと判定された回数がｐａｒａｍ２Ｂ以上となり、かつ、最新の時刻ｔにおける熱源領域１６が人らしいと判定された場合に、最新の時刻ｔにおいて抽出された熱源領域１６が示す物体の種別を人物と判定するようにしてもよい。図１２の例では、最新の時刻からｐａｒａｍ１Ｂで表される時点まで過去に遡った範囲において、２回連続して人らしいと判定された回数が３回ある状況を示している。図１２における“・・・”は、図１０と同様に、人らしいと判定されなかった時刻の範囲を示す。

なお、図１２の例では、２回連続して人らしいと判定された回数がｐａｒａｍ２Ｂ以上か否か判定しているが、人らしいと判定される連続数は２回に限られない。例えばＰ（Ｐは２以上の自然数）回連続して人らしいと判定された回数がｐａｒａｍ２Ｂ以上か否か判定するようにしてもよいことは言うまでもない。

また、図１０〜図１２におけるｐａｒａｍ１、ｐａｒａｍ２、ｐａｒａｍ１Ａ、ｐａｒａｍ１Ｂ、及びｐａｒａｍ２Ｂの各パラメータは自然数を表し、遠赤外カメラ９０の画素数や撮影範囲、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて予め決定される。

人は住宅の部屋等の住居内においては立って移動するだけでなく、例えば椅子に座ったり、床に寝転がったりするため、遠赤外カメラ９０で撮影される人物の形状は、上下方向に長い縦長であるとは限らない。従って、熱源領域１６が示す物体が人物であったとしても、図８に示した予備判定の縦横比に関する判定項目が満足されないことから、人物を表す熱源領域１６を人物ではないと判定し、入力画像１２から人物を見失う可能性が考えられる。また、例えば遠赤外カメラ９０の性能が悪い場合や、人物が家具の後ろに隠れてしまった場合等にも、人物を表す熱源領域１６を人物ではないと判定し、入力画像１２から人物を見失う可能性が考えられる。

しかし、入力画像１２から人物を見失ってしまった場合でも、人物が部屋に入るタイミングや出るタイミング等、人物が部屋にいる間には、複数回の期間に亘って人物が立って部屋を移動する状況が発生する。従って、上記図１０〜図１２に示した人物の判定方法は、人物が部屋に入ってから出るまでの期間の途中で、人物の姿勢の変化等から図８に示した予備判定の判定項目の何れかを満足せずに、入力画像１２から人物を見失った場合であっても、最新の時刻ｔにおいて抽出された熱源領域１６が示す物体の種別を人物と判定することができる。

上記の理由から、ｐａｒａｍ１を、１秒〜１０秒程度に対応する回数に設定すればよいが、ｐａｒａｍ１Ｂの値は、１０秒〜数分程度のオーダーに対応する回数に設定する。

なお、熱源領域１６が示す物体が人物か否かを判定する図９におけるＮｏ．１の判定式１）では、特に熱源領域１６の位置の変化に関する判定を行っていないが、例えば、熱源領域１６の位置の変化量が予め定めた閾値より大きい場合に、熱源領域１６が示す物体の種別を人物と判定する判定条件を追加するようにしてもよい。

状況によっては、人物と後述する窓等の静止物との大きさが同程度となる場合が考えられることから、判定式１）に熱源領域１６の位置の変化量に関する判定条件を追加することで、窓等の静止物と人物との誤判定を低減する効果が期待できる。なお、熱源領域１６の位置の変化量に関する判定条件は、図１１及び図１２を用いて説明した人物の判定方法に追加してもよいことは言うまでもない。

また、遠赤外カメラ９０の設置位置によっては、遠赤外カメラ９０のレンズの真下に人物が来てしまい、人物に対応した熱源領域１６の縦横比がほぼ１：１、すなわち熱源領域１６の形状が円形に近い形状となることがある。こうした状況は、例えば広角レンズを装着した遠赤外カメラ９０を部屋の中央付近の天井に設置して、より広い範囲を撮影しようとする場合に発生しやすい。

従って、遠赤外カメラ９０の入力画像１２において、遠赤外カメラ９０のレンズの真下に相当する範囲を示す情報を予め記憶部８０に記憶しておき、当該範囲に熱源領域１６が存在する場合には、図８に示した縦横比の判定条件を調整するαの値を、より“１”に近づけた値に変更するようにしてもよい。

この様に、遠赤外カメラ９０の設置位置に関する情報、及び遠赤外カメラ９０が装着するレンズ等の設定に関する情報からαの値を調整することで、入力画像１２に人物が含まれるか否かの判定精度を向上させることができる。

図９におけるＮｏ．２の判定式２）〜４）は、熱源領域１６が示す物体がエアコンか否かを判定する判定式である。エアコンは、入力画像１２の比較的上部に固定して設置され、夏期には周囲の温度、すなわち室温より低い温度を示し、冬期には室温より高い温度を示す傾向が見られる。

従って、判定式２）は、属性情報の中央点Ｐ_Ｃが入力画像１２の上半分にあることを示した判定式である。ここでＰ_ｃｙ（ｔ）は、時刻ｔにおける属性情報の中央点Ｐ_Ｃのｙ座標を表す。以下、何れかの属性情報を表す記号Ｚに対して、Ｚ（ｔ）は時刻ｔにおける属性情報を表すものとする。

判定式３）は、属性情報の中央点Ｐ_Ｃが変動していないことを示した判定式である。ここで、ｄＰ_ｃｙ（ｔ）／ｄｔは、例えば、時刻（ｔ−ｎ）における中央点Ｐ_Ｃのｙ座標から時刻ｔにおける中央点Ｐ_Ｃのｙ座標の時間変化を表す値である。なお、時刻（ｔ−ｎ）（ｎは０以上の整数）は、時刻ｔよりｎ個過去に遡った時点の時刻を表す。

判定式４）は、時刻ｔにおける属性情報の平均温度Ｔ_ａｖｅと、室温Ｔ_ｒｏｏｍとの関係を判定するための判定式である。判定式４）は、季節に応じて判定に用いられる判定式が異なる。例えば、６月から９月までの夏期の間では、（４）式が用いられ、１２月から３月までの冬期の間では、（５）式が用いられる。

（４）式は、時刻ｔにおける属性情報の平均温度Ｔ_ａｖｅが、室温Ｔ_ｒｏｏｍより低いことを示した判定式である。一方、（５）式は、平均温度Ｔ_ａｖｅが室温Ｔ_ｒｏｏｍより高いことを示した判定式である。

ここで、ｐａｒａｍ４は室温Ｔ_ｒｏｏｍを調整するためのマージンである。なお、図９におけるｐａｒａｍβ（βは自然数）及び室温Ｔ_ｒｏｏｍは、遠赤外カメラ９０の画素数や撮影範囲、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて予め決定しておく。

そして、判定部６０は、時刻ｔにおける属性情報が判定式２）〜４）を全て満足する場合、当該熱源領域１６が示す物体は、エアコンであると判定する。なお、上記に示した夏期及び冬期の期間は一例であり、夏期が６月から９月の期間に、また、冬期が１２月から３月の期間に限定されるものではない。

図９におけるＮｏ．３の判定式５）〜８）は、熱源領域１６が示す物体が暖房器具か否かを判定する判定式である。

暖房器具は、室内の比較的下部に固定して設置され、周囲の温度、すなわち室温より高い温度を示すと共に、当該室温より高い温度を示す範囲が比較的狭い範囲に限定される傾向が見られる。判定式５）〜８）は、こうした暖房器具に特徴的な属性情報の傾向を定式化したものであり、判定部６０は、時刻ｔにおける熱源領域１６の属性情報が判定式５）〜８）を全て満足する場合、当該熱源領域１６が示す物体は、暖房器具であると判定する。

また、図９におけるＮｏ．４の判定式９）〜１１）は、熱源領域１６が示す物体が窓か否かを判定する判定式である。

窓は建物に固定して設置され、昼間の温度が夜間の温度より高く、その大きさは比較的大きいという傾向が見られる。判定式９）〜１１）は、こうした窓に特徴的な属性情報の傾向を定式化したものであり、判定部６０は、時刻ｔにおける熱源領域１６の属性情報が判定式９）〜１１）を全て満足する場合、当該熱源領域１６が示す物体は、窓であると判定する。

なお、判定式１０）において、平均温度Ｔ_ａｖｅ（night）とは、夜間に相当する時刻に対応した時刻における属性情報の平均温度を表し、平均温度Ｔ_ａｖｅ（ｄａｙ）とは、昼間に相当する時刻に対応した時刻における属性情報の平均温度を表す。例えば、６時以降から１８時未満までの期間を昼間、１８時以降から６時未満までの期間を夜間とし、判定式９）を判定するが、昼間及び夜間の期間設定はこれに限定されるものではない。

また、図９におけるＮｏ．５の判定式１２）〜１４）は、熱源領域１６が示す物体がテレビか否かを判定する判定式である。

テレビは室内に固定して設置され、人物がいる場合に電源が投入され視聴される場合が多いことから、人物がいる間、室温より高い温度を示し、その大きさは比較的大きいという傾向が見られる。判定式１２）〜１４）は、こうしたテレビに特徴的な属性情報の傾向を定式化したものであり、判定部６０は、時刻ｔにおける熱源領域１６の属性情報が判定式１２）〜１４）を全て満足する場合、当該熱源領域１６が示す物体は、テレビであると判定する。

なお、判定式１３）において、“Ｔ_ａｖｅ（ｔ）＞ｐａｒａｍ１１ ｉｆ Ｒ（ｔ）＝１”とは、時刻が同じ属性情報で、且つ、現在注目している物体の種別の判定対象である属性情報、すなわち特定属性情報とは異なる属性情報に予備判定の結果がＲ＝１である属性情報が存在する場合に、特定属性情報の平均温度Ｔ_ａｖｅ（ｔ）がｐａｒａｍ１１より高いか否かを表す判定式である。

また、図９におけるＮｏ．６の判定式１５）〜１７）は、熱源領域１６が示す物体が灰皿か否かを判定する判定式である。

灰皿は、例えば使用中はテーブル等の一定の位置に置かれ、喫煙中に火のついたタバコが置かれる場合が多いことから、人物がいる間、室温よりかなり高い温度を示し、その大きさは小さいという傾向が見られる。判定式１５）〜１７）は、こうした灰皿に特徴的な属性情報の傾向を定式化したものであり、判定部６０は、時刻ｔにおける熱源領域１６の属性情報が判定式１５）〜１７）を全て満足する場合、当該熱源領域１６が示す物体は、灰皿であると判定する。

また、図９におけるＮｏ．７の判定式１８）〜２２）は、熱源領域１６が示す物体がペットか否かを判定する判定式である。

ペットの形状は縦及び横の長さが同一、すなわち縦横比が１、又は左右方向に長い横長であり、ペットは、室内の床を移動することから入力画像１２の比較的下部に位置し、移動量が多く、その大きさは人物よりは小さく、かつ、取りうる体温の範囲が決まっているという傾向が見られる。判定式１８）〜２２）は、こうしたペットに特徴的な属性情報の傾向を定式化したものであり、判定部６０は、時刻ｔにおける熱源領域１６の属性情報が判定式１８）〜２２）を全て満足する場合、当該熱源領域１６が示す物体は、ペットであると判定する。

なお、図９の判定結果欄に示したｐａｒａｍ１〜ｐａｒａｍ１９の値は一例であり、使用する遠赤外カメラ９０の種類、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて変更される。

また、図９の例では、Ｎｏ．１〜Ｎｏ．７までの７つの物体の種別を判定する判定式を示したが、判定部６０で判定する物体の種別は、これら７つの物体に限られない。遠赤外カメラ９０を設置する場所や環境に応じて判定式を追加すれば、判定部６０は様々な物体の種別を判定することができる。

出力部７０は、例えば判定部６０によって入力画像１２に人物が含まれると判定された場合に、その旨を監視システム５の管理者等へ通知する。なお、入力画像１２に人物が含まれる場合に限らず、その他の物体、例えばペット等が含まれる場合に、その旨を監視システム５の管理者等へ通知するようにしてもよい。

記憶部８０は、例えば、遠赤外カメラ９０から受け付けた遠赤外画像、背景画像１４、時刻情報と関連付けられた熱源領域１６の属性情報、及び物体の種別毎に予め定めた判定式等、監視装置１０における物体の検出に必要なデータを記憶する。

次に、本実施の形態に係る監視装置１０の作用について説明する。なお、ここでは記憶部８０に背景画像１４はまだ記憶されていないものとする。まず、監視装置１０の起動後に図１３に示す背景画像算出ルーチンが実行される。

ステップＳ１０では、遠赤外カメラ９０で撮影された遠赤外画像を取得する。なお、遠赤外カメラ９０から予め定めたフレームレートの動画が出力される場合、１フレーム分の画像を遠赤外画像として受け付ける。

次にステップＳ２０において、ステップＳ１０の処理で取得した遠赤外画像に対して平滑化処理を実施する。平滑化処理とは、遠赤外画像に含まれる画素値の変化を滑らかにし、遠赤外画像の各画素に含まれるノイズ成分を除去する処理である。平滑化処理には、例えば移動平均フィルタやガウシアンフィルタを用いた公知の技術が適用される。

ステップＳ３０では、これまで取得した遠赤外画像の枚数を計測し、遠赤外画像の取得枚数が規定枚数Ｎ以上か否かを判定する。肯定判定の場合にはステップＳ５０へ移行し、否定判定の場合にはステップＳ４０へ移行する。

ここで、遠赤外画像の規定枚数Ｎとは、背景画像１４を生成するのに必要な遠赤外画像の枚数を規定した値であり、例えば、使用する遠赤外カメラ９０の種類、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて設定する。

ステップＳ４０では、ステップＳ２０の処理により平滑化された遠赤外画像を記憶部８０へ記憶し、ステップＳ１０へ移行する。そして、ステップＳ１０〜ステップＳ４０の処理を繰り返すことにより、記憶部８０に規定枚数Ｎに達するまで遠赤外画像が記憶される。

一方、ステップＳ３０の処理において肯定判定、すなわち、規定枚数Ｎ以上の遠赤外画像を受け付けた場合、ステップＳ５０で前述した（１）式に基づいて、画素毎にＮ枚の遠赤外画像の画素値を平均した平均値を算出する。

また、ステップＳ６０では、前述した（２）式に基づいて、画素毎にＮ枚の遠赤外画像及びステップＳ５０の処理で算出した画素毎の平均値から算出した標準偏差を算出する。

ステップＳ７０では、ステップＳ５０の処理で算出した平均値及びステップＳ６０の処理で算出した標準偏差を有する背景画像１４を生成し、記憶部８０に記憶する。

以上の処理により、図１３に示した背景画像算出ルーチンを終了する。そして、背景画像算出ルーチン終了後に図１４に示す人物判定ルーチンが実行される。

ステップＳ１００では、例えば、監視装置１０に設けられた図示しない遠赤外画像取得終了ボタンの押下等により、人物判定ルーチンの停止指示を受け付けたか否かを判定し、肯定判定の場合には人物判定ルーチンを終了する。一方、否定判定の場合にはステップＳ１１０へ移行する。なお、人物判定ルーチンの停止指示は遠赤外画像取得終了ボタンの押下に限られず、例えば、監視装置１０に接続された図示しないインターネット等の通信回線を介して受信されるものであってもよい。

ステップＳ１１０では、遠赤外カメラ９０で撮影された遠赤外画像を取得する。以降、図１３に示した背景画像算出ルーチンのステップＳ１０の処理で取得した遠赤外画像と区別するため、本ステップで取得した遠赤外画像を特に入力画像１２と称する。

そして、ステップＳ１２０において、図１３に示した背景画像算出ルーチンのステップＳ２０の処理と同様に、ステップＳ１１０の処理で取得した入力画像１２に対して平滑化処理を実施する。

ステップＳ１３０では、ステップＳ７０の処理で記憶部８０に記憶した背景画像１４を読み出し、前述した（３）式に基づいて、画素毎に背景画像１４とステップＳ１２０の処理で平滑化された入力画像１２との差分を算出する。そして、当該差分が“σ（ｘ，ｙ）＋Ｍ”以上となる座標のフィルタ値を「１」、そうでない座標のフィルタ値を「０」に設定したフィルタＦ（ｘ，ｙ）を生成する。なお、使用する遠赤外カメラ９０の種類、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて画素値マージンＭを調整することで、フィルタＦ（ｘ，ｙ）のフィルタ値が１となる領域の大きさを調整することができる。

そして、ステップＳ１４０において、画素毎にステップＳ１２０の処理で平滑化された入力画像１２に含まれる画素の画素値と、フィルタＦ（ｘ，ｙ）のフィルタ値とを乗算し、入力画像１２から、背景画像１４と予め定めた差分、すなわち“σ（ｘ，ｙ）＋Ｍ”以上離れた画素値を有する画素を抽出する。

このようにして抽出された画素が隣接して形成される領域は、背景画像１４の温度分布とは異なる領域であり、遠赤外カメラ９０の撮影範囲内に位置する何らかの物体を表す熱源領域１６と捉えることができる。なお、入力画像１２に背景画像１４の温度分布とは異なる複数の物体が含まれる場合には、入力画像１２から複数の熱源領域１６が抽出される。

ステップＳ１５０において、ステップＳ１４０の処理で入力画像１２から抽出した熱源領域１６の各々について、例えば図６に示した属性情報を取得する。そして、熱源領域１６の各々に対して、取得した属性情報に基づいて、図８に示した予備判定を実行し、熱源領域１６が示す物体が人らしいか否かを判定する。熱源領域１６が示す物体が人らしいと判定された場合には、当該熱源領域の属性情報に、Ｒ＝１に設定した予備判定結果の情報を含める。一方、熱源領域１６が示す物体が人らしいと判定されなかった場合には、当該熱源領域の属性情報に、Ｒ＝０に設定した予備判定結果の情報を含める。

そして、ステップＳ１５５において、各熱源領域１６の属性情報と現在の時刻情報とを関連付けて記憶部８０へ蓄積する。なお、属性情報に関連付ける時刻情報は、入力画像１２の時刻を明確に示す時刻であればよく、例えば、入力画像１２の受付時刻や、熱源領域１６の抽出時刻等であってもよい。また、時刻情報は、例えばＣＰＵに内蔵されるカレンダー機能を利用して取得することができる。

次に、ステップＳ１６０において、ステップＳ１２０の処理で平滑化された入力画像１２を用いて背景画像１４を更新する。具体的には、ステップＳ１２０の処理で平滑化された入力画像１２と、図１３に示したステップＳ４０の処理で記憶部８０に記憶された遠赤外画像とを用いて、（１）式に基づいて、背景画像１４の画素毎の平均値を更新すると共に、（２）式に基づいて、背景画像１４の画素毎の標準偏差を更新する。

この際、背景画像１４の更新に入力画像１２が１枚追加されることから、（１）式及び（２）式におけるＮを（Ｎ＋１）に読み替える。そして、ステップＳ１２０の処理で平滑化された入力画像１２、及び本ステップで更新した平均値及び標準偏差を有する背景画像１４を記憶部８０に記憶する。

そして、ステップＳ１７０において、これまで取得した入力画像１２の枚数を計測し、入力画像１２の取得枚数が規定枚数Ｊ以上か否かを判定する。否定判定の場合にはステップＳ１００へ移行し、入力画像１２の取得枚数が規定枚数Ｊ以上になるまでステップＳ１００〜Ｓ１７０の処理を繰り返す。この際、ステップＳ１６０の処理では、入力画像１２を取得する度に取得した入力画像１２の枚数Ｋを計測し、（１）式及び（２）式におけるＮを（Ｎ＋Ｋ）に読み替え、新たに受け付けた入力画像１２と、記憶部８０に記憶される遠赤外画像及び入力画像１２とに基づいて、背景画像１４を更新する。

ここで、入力画像１２の規定枚数Ｊとは、後述するステップＳ１８０の処理において、入力画像１２から精度よく物体を抽出するために必要な入力画像１２の枚数を規定した値であり、例えば、使用する遠赤外カメラ９０の種類、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて設定する。なお、入力画像１２の規定枚数Ｊの替わりに、例えば１時間や１日といった入力画像１２の規定時間を規定し、規定時間以上に亘って入力画像１２を取得した場合にステップＳ１８０へ移行するようにしてもよい。

一方、ステップＳ１７０の判定において、肯定判定となった場合にはステップＳ１８０へ移行する。

ステップＳ１８０では、最も直近に取得した入力画像１２に対応した属性情報に関連付けられた時刻情報をｔとした場合、時刻情報ｔにおける属性情報に対応した熱源領域１６が示す物体の種別を、図９に示した判定式に従って判定する。

例えば、まず、規定枚数Ｊの入力画像１２に対して上記ステップＳ１５０で判定された判定結果に基づいて、熱源領域１６が人物を表すか否かを判定するため、図９におけるＮｏ．１の判定式１）を評価する。その後、規定枚数Ｊの入力画像１２に対して上記ステップＳ１４０で抽出された熱源領域１６であって、時間が経過しても位置が変動しない熱源領域１６について、当該熱源領域１６が表す物体の種別を判定する。具体的には、図９のペットを判定するためのＮｏ．７の判定式以外、すなわちＮｏ．２〜Ｎｏ．６の各判定式を評価し、熱源領域１６が示す物体の種別を特定する。

なお、本ステップでは熱源領域１６が人物を表す熱源領域か否かの判定を、図９における判定式１）、すなわち、図１０に示した判定方法に従って判定したが、図１１又は図１２に示した判定方法に従って判定するようにしてもよい。

そして、規定枚数Ｊの入力画像１２に対して上記ステップＳ１４０で抽出された熱源領域１６であって、位置が変動している熱源領域１６のうち、上記ステップ１５０の予備判定の結果としてＲ＝０の情報が付加された熱源領域１６について、図９におけるＮｏ．７の判定式１８）〜２２）を評価して、熱源領域１６が示す物体がペットであるか否かを判定する。

なお、規定枚数Ｊの入力画像１２に対して上記ステップＳ１４０で抽出された熱源領域１６について追跡処理を行い、追跡された熱源領域１６に対して、上記ステップ１８０の判定を行うようにしてもよい。追跡処理には、例えば、物体の運動モデルを用いて物体の位置、大きさを推定する手法、又は、熱源領域１６の形状の類似性に着目する手法等、公知の追跡処理方法が適用される。

なお、図９に示した判定式３）、６）、９）、１２）、１５）、及び２０）には、属性情報の中央点Ｐ_Ｃに関して、時間経過に伴う変動を判定するための判定式が含まれている。従って、より多くの時刻における属性情報の中央点Ｐ_Ｃを用いて時間経過に伴う変動状況を判定した方が、より正確に判定式を満たすか否かを判定することができる。すなわち、ステップＳ１７０の処理で参照した規定枚数Ｊを大きく設定するに従い、物体の判定精度を向上させることができる。

なお、図９に示した物体の種別毎の判定式の例では、中央点Ｐ_Ｃに関しての時間変化を判定する判定式しか示されていないが、物体の種別によっては属性情報の他の項目、例えば温度に関しての時間変化を判定する判定式が規定される場合がある。

そして、例えば、入力画像１２に人物が含まれると判定した場合、監視装置１０の外部へ通知する。具体的には、室内に人物がいない時間帯であるにも関わらず入力画像１２から人物を検出した場合、監視装置１０に内蔵された図示しないスピーカーから警報音を出力すると共に、監視装置１０に接続された図示しないインターネット等の通信回線を介して、監視システム５の管理者等へ通報するようにしてもよい。このように、例えば防犯の目的で監視システム５を利用することができる。

なお、入力画像１２から人物を検出した場合に限らず、その他の物体、例えばペット等を検出した場合に、その旨を監視システム５の管理者等へ通知するようにしてもよい。

このようにして、時刻ｔにおける属性情報に対応した熱源領域１６が示す物体の種別を判定した後、ステップＳ１００へ移行する。そして、ステップＳ１００〜ステップＳ１８０の処理を繰り返すことにより、順次入力画像１２に含まれる熱源領域１６が示す物体の種別の判定を実行し、ステップＳ１００の判定が肯定判定となった場合に、図１４に示す人物判定ルーチンを終了する。

なお、本実施の形態に係る監視装置１０は、炎等予め定めた形状を持たない物体であっても物体の種別を判定することができる。炎の特性としては、時間と共に位置及び面積が変動し、温度が高温であることから、例えば炎に対する判定式を（６）式〜（８）式によって表すことができる。

ここで、ｐａｒａｍ２０は熱源領域１６の中央点Ｐ_Ｃの移動量、Ｔ_ｆｉｒｅは物体を炎と特定するために必要な下限温度、ｐａｒａｍ２１は熱源領域１６の画素数の変動量を規定するパラメータであり、例えば、使用する遠赤外カメラ９０の種類、及び遠赤外カメラ９０の設置箇所周辺の温度等の環境条件等に応じて設定すればよい。

例えば、図９に示した何れの物体の判定式も満たさず、かつ、予備判定の結果がＲ＝０である熱源領域１６に対して、（６）式〜（８）式に示した判定式を評価し、（６）式〜（８）式の全ての判定式を満たす場合に、熱源領域１６が示す物体を炎と判定する。この場合、火災が発生している可能性が考えられるため、監視装置１０に内蔵された図示しないスピーカーから警報音を出力すると共に、監視装置１０に接続された図示しないインターネット等の通信回線を介して、監視システム５の管理者等へ通報してもよい。

以上説明したように、本実施の形態に係る監視装置１０によれば、予め定めた期間に亘り予め定めた範囲を定点監視し、入力画像１２を取得する度に、入力画像１２に含まれる物体の温度から得られる属性情報を取得する。そして、属性情報と、予め定めた期間に亘り蓄積した属性情報の時間変化に基づいて設定された判定式に従って、入力画像１２に人物が含まれるか否かを判定する。

従って、撮影された入力画像１２からは、入力画像１２に含まれる物体の種別を特定することができない程度に物体の輪郭が不鮮明となる低解像度の遠赤外カメラ９０を用いた場合であっても、入力画像１２に含まれる人物を精度よく検出することができる。また、上記のような低解像度の遠赤外カメラ９０は、物体の輪郭から物体の種別を判定することができる赤外線カメラより安価であるため、監視システム５の構築に必要な費用を低減することができる。

更に、本実施の形態に係る監視システム５は、遠赤外カメラ９０に一部の波長帯域をカットするフィルタ等を装着する必要がなく、しかも１台の遠赤外カメラ９０で構築することができる。従って、監視システム５の構築に必要な費用を低減することができる。

また、属性情報の時間変化に基づいて物体の種別を判定するため、時間の経過と共に属性情報が蓄積されるに従って、物体の検出精度が向上する。更に、入力画像１２を取得する毎に、熱源領域１６を抽出する際に用いられる背景画像１４が更新されるため、図１３におけるステップＳ５０及びＳ６０で算出した背景画像１４の平均値及び標準偏差を更新せずに入力画像１２から物体を抽出する場合と比較して、物体の検出精度が向上する。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、発明の要旨を逸脱しない範囲で、図１３に示した背景画像算出ルーチン及び図１４に示した人物判定ルーチンの各処理の順序を変更してもよい。

また、上記では背景画像算出ルーチン及び人物判定ルーチンを実行するためのプログラムがコンピュータのＲＯＭに予め記憶されている態様を説明したが、これに限定されるものではない。本実施の形態に係るプログラムは、コンピュータ読取可能な記録媒体に記録されている形態で提供することも可能である。例えば、本実施の形態に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、及びＵＳＢメモリ等の可搬型記録媒体に記録されている形態で提供することも可能である。また、本実施の形態に係るプログラムは、フラッシュメモリ等の半導体メモリ等に記録されている形態で提供することも可能である。

また、本実施の形態に係る監視装置１０では、背景画像算出ルーチン及び人物判定ルーチンをソフトウエア構成によって実現した場合について説明したが、本発明はこれに限定されるものではなく、例えば背景画像算出ルーチン及び人物判定ルーチンを、ＡＳＩＣ（Application Specific Integrated Circuit)等を用いたハードウエア構成により実現するようにしてもよい。この場合、上記実施の形態に比較して、処理の高速化が期待される。

５ 監視システム
１０ 監視装置
１２ 入力画像
１４ 背景画像
１６ 熱源領域
２０ 受付部
２５ 演算部
３０ 抽出部
４０ 取得部
５０ 蓄積部
６０ 判定部
７０ 出力部
８０ 記憶部
９０ 遠赤外カメラ

Claims (11)

1. 予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段と、
   前記受付手段によって受け付けた前記時系列データの遠赤外画像の各々について、前記遠赤外画像に基づいて予め生成された背景画像と比較することにより、前記遠赤外画像から熱源領域を抽出する抽出手段と、
   前記抽出手段により抽出された熱源領域の属性情報に基づいて、人物らしさを判定する第１の判定手段と、
   前記時系列データの遠赤外画像の各々について抽出された前記熱源領域について前記第１の判定手段により判定された判定結果に基づいて、前記熱源領域が、人物を表すか否かを判定する第２の判定手段と、
   を備え、
   前記第２の判定手段は、前記時系列データの遠赤外画像の各々について抽出された前記熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、前記熱源領域が、前記遠赤外画像の下部に位置し、前記熱源領域の位置の変動量が、閾値より大きく、かつ、前記熱源領域の温度が、予め定められた範囲内であり、かつ、前記熱源領域の大きさが、閾値より小さい場合に、前記熱源領域がペットを表すと判定する
   監視装置。
2. 前記第２の判定手段は、前記時系列データの遠赤外画像の各々について抽出された前記熱源領域の属性情報に基づいて、前記熱源領域が、前記遠赤外画像の上部に位置し、かつ、前記熱源領域の位置の変動量が、閾値未満である場合であって、かつ、夏期において前記熱源領域の温度が閾値未満であるか、又は、冬期において前記熱源領域の温度が閾値より高い場合に、前記熱源領域がエアコンを表すと判定する
   請求項１記載の監視装置。
3. 前記第２の判定手段は、前記時系列データの遠赤外画像の各々について抽出された前記熱源領域の属性情報に基づいて、前記熱源領域が、前記遠赤外画像の下部に位置し、かつ、前記熱源領域の位置の変動量が、閾値未満であり、かつ、前記熱源領域の温度が、閾値より高く、かつ、前記熱源領域の大きさが、閾値未満である場合に、前記熱源領域が暖房器具を表すと判定する
   請求項１又は請求項２記載の監視装置。
4. 前記第２の判定手段は、前記時系列データの遠赤外画像の各々について抽出された前記熱源領域の属性情報に基づいて、前記熱源領域の位置の変動量が、閾値未満であり、かつ、昼間の前記熱源領域の温度が、夜間の前記熱源領域の温度より高く、かつ、前記熱源領域の大きさが、閾値より大きい場合に、前記熱源領域が窓を表すと判定する
   請求項１〜請求項３の何れか１項に記載の監視装置。
5. 前記第２の判定手段は、前記時系列データの遠赤外画像の各々について抽出された前記熱源領域の属性情報に基づいて、前記熱源領域の位置の変動量が、閾値未満であり、かつ、前記熱源領域の大きさが、閾値より大きく、かつ、前記熱源領域が含まれる同じ時刻の遠赤外画像に前記第１の判定手段によって人物らしい物体が存在すると判定された際、前記熱源領域の温度が、閾値より高くなる場合に、前記熱源領域がテレビを表すと判定する
   請求項１〜請求項４の何れか１項に記載の監視装置。
6. 前記第２の判定手段は、前記時系列データの遠赤外画像の各々について抽出された前記熱源領域の属性情報に基づいて、前記熱源領域の位置の変動量が、閾値未満であり、かつ、前記熱源領域の大きさが、閾値より小さく、かつ、前記熱源領域が含まれる同じ時刻の遠赤外画像に前記第１の判定手段によって人物らしい物体が存在すると判定された際、前記熱源領域の温度が、閾値より高くなる場合に、前記熱源領域が灰皿を表すと判定する
   請求項１〜請求項５の何れか１項に記載の監視装置。
7. 前記第２の判定手段により前記熱源領域が人物を表すと判定された場合、警報を出力する出力手段を更に含む
   請求項１〜請求項６の何れか１項に記載の監視装置。
8. 前記背景画像は、前記受付手段により遠赤外画像を受け付ける度に更新される
   請求項１〜請求項７の何れか１項に記載の監視装置。
9. 予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段と、
   前記受付手段によって受け付けた前記時系列データの遠赤外画像の各々について、前記遠赤外画像に基づいて予め生成された背景画像と比較することにより、前記遠赤外画像から熱源領域を抽出する抽出手段と、
   前記抽出手段によって前記時系列データの遠赤外画像の各々から抽出された前記熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、前記熱源領域が、前記遠赤外画像の下部に位置し、前記熱源領域の位置の変動量が、閾値より大きく、かつ、前記熱源領域の温度が、予め定められた範囲内であり、かつ、前記熱源領域の大きさが、閾値より小さい場合に、前記熱源領域がペットを表すと判定する判定手段と、
   を備えた監視装置。
10. コンピュータを、
    予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段、
    前記受付手段によって受け付けた前記時系列データの遠赤外画像の各々について、前記遠赤外画像に基づいて予め生成された背景画像と比較することにより、前記遠赤外画像から熱源領域を抽出する抽出手段、
    前記抽出手段により抽出された熱源領域の属性情報に基づいて、人物らしさを判定する第１の判定手段、及び
    前記時系列データの遠赤外画像の各々について抽出された前記熱源領域について前記第１の判定手段により判定された判定結果に基づいて、前記熱源領域が表す物体の種類を判定する際、前記時系列データの遠赤外画像の各々について抽出された前記熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、前記熱源領域が、前記遠赤外画像の下部に位置し、前記熱源領域の位置の変動量が、閾値より大きく、かつ、前記熱源領域の温度が、予め定められた範囲内であり、かつ、前記熱源領域の大きさが、閾値より小さい場合に、前記熱源領域がペットを表すと判定する第２の判定手段
    として機能させるためのプログラム。
11. コンピュータを、
    予め定めた範囲を撮影する遠赤外カメラによって撮影された遠赤外画像の時系列データを受け付ける受付手段、
    前記受付手段によって受け付けた前記時系列データの遠赤外画像の各々について、前記遠赤外画像に基づいて予め生成された背景画像と比較することにより、前記遠赤外画像から熱源領域を抽出する抽出手段、及び
    前記抽出手段によって前記時系列データの遠赤外画像の各々から抽出された前記熱源領域の属性情報に基づいて、形状が、縦横比が１となる形状又は左右方向に長い横長形状であり、前記熱源領域が、前記遠赤外画像の下部に位置し、前記熱源領域の位置の変動量が、閾値より大きく、かつ、前記熱源領域の温度が、予め定められた範囲内であり、かつ、前記熱源領域の大きさが、閾値より小さい場合に、前記熱源領域がペットを表すと判定する判定手段
    として機能させるためのプログラム。