JP5897950B2

JP5897950B2 - 画像監視装置

Info

Publication number: JP5897950B2
Application number: JP2012071993A
Authority: JP
Inventors: 佳孝濱石
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2012-03-27
Filing date: 2012-03-27
Publication date: 2016-04-06
Anticipated expiration: 2032-03-27
Also published as: JP2013207392A

Description

本発明は、監視空間を撮像した熱画像を順次取得し、この順次取得した熱画像を画像処理して監視空間における目標移動物体の有無を判定する画像監視装置に関する。

従来、熱画像カメラにて取得した熱画像における温度変化領域を画像処理によって抽出し、当該温度変化領域の特徴と予め定めた目標移動物体（例えば侵入者）の特徴との比較により、監視空間における侵入者の存在を検知する画像監視装置が知られている。この種の画像監視装置では、例えば熱画像カメラが現在取得した熱画像と、人物がいない状態を撮像した熱画像などの予め記憶した背景画像とを比較して、両画像の差分値が所定の抽出閾値以上である領域を温度変化領域として抽出している。

このような背景画像との差分に基づく温度変化領域の抽出方法では、過去に取得した背景画像や抽出閾値を長期間利用し続けると、監視空間における日照量の変化、監視空間外の物体からの放射熱、監視空間内の物体自体の発熱などといった環境変化に伴って、監視空間内に元々存在する物体（以下、「背景物体」という）が温度変化し、このような温度変化した場合に、背景物体を誤って抽出してしまい、適切に目標移動物体を検知することが困難となる。

そのため、従来は、このような環境変化に応じて背景画像を現在取得した熱画像を用いて動的に更新することにより、誤抽出を低減する技術が用いられてきた（例えば、特許文献１）。このような従来技術においては、例えば、Ｂ_ｎ＝αＩ_ｎ＋（１−α）Ｂ_ｎ−１
・・・（１）に示すようなデジタルフィルタによって得られる値を用いて、背景画像における温度変化領域以外の領域の各画素の画素値を動的に更新していく。ここである画素について着目したとき、Ｂ_ｎはｎフレームにおける背景画像中の当該画素の画素値、Ｉ_ｎはｎフレームにおける熱画像中の当該画素の温度値、αはデジタルフィルタの時定数（１＞α＞０）である。

特開昭６２−１１４０６４号公報

しかしながら、上記のような背景画像の更新を行った場合であっても、背景物体において式（１）のデジタルフィルタによって追従できない温度変化、すなわち、監視空間に侵入した人物による温度変化に類似する急な温度変化が生じることがある。上記従来技術では、この場合、温度変化の要因を区別できないため、誤抽出が発生してしまうことがあった。特に、屋外環境において、日中、太陽が雲に見え隠れして日照量が変化した場合などには、背景物体の急な温度変化が発生しやすく、結果として誤抽出が広範囲にわたって発生し、監視空間に侵入した人物と誤判定することがあった。

ところで、熱画像のある画素に着目した場合、移動物体の存在する領域の画素における時間的な温度変化は、ある短期間で観察したとき、温度上昇と温度下降との組をなす変化パターンとなる。すなわち、背景物体よりも移動物体の温度の方が高いとき、移動物体が当該画素位置に位置したとき温度上昇を検出し、当該画素位置から去ったとき温度下降を検出する。一方、環境変化に起因して温度変化する背景物体の画素においては、前記短期間に温度が上下することはなく、上昇のみ（又は下降のみ）といった一方向の温度変化パターンとなる。

そこで、本発明は、上記の温度変化パターンの違いに着目して、ある画素の温度変化が背景物体の温度変化であるか否かといった温度変化の要因を判定することにより、環境変化によって背景物体が温度変化した際に発生する誤抽出を削減し、目標移動物体の検知性能を向上させることを目的としたものである。

上記した目的を達成するために、本願請求項１に係る画像監視装置は、
監視空間を撮像した熱画像を順次取得し、該熱画像を画像処理して監視空間における目標移動物体の有無を判定する画像監視装置であって、
前記熱画像から環境変化による背景物体の温度変化に起因する画像領域を背景温度変化領域として判定する背景温度変化判定部と、前記背景温度変化領域が含まれないよう前記熱画像から温度変化領域を抽出する抽出部と、前記温度変化領域の特徴から前記目標移動物体の有無を判定する判定部と、を具備し、
前記背景温度変化判定部は、予め定めた目標移動物体の想定移動速度に応じて設定した過去の所定期間である変化要因判定期間において、温度上昇のみの温度変化を示す画像領域又は温度下降のみの温度変化を示す画像領域を前記背景温度変化領域として判定することを特徴としている。

前述のように、背景温度変化領域の画素の時間温度変化は、変化要因判定期間において上昇のみ又は下降のみといった一方向の温度変化パターンとなり、その一方で、移動物体の存在する画像領域の各画素の時間温度変化は、変化要因判定期間において温度上昇と温度下降との組をなす温度変化パターンとなる。そのため、本発明の背景温度変化判定部は、目標移動物体の想定移動速度を基に予め設定された変化要因判定期間における各画素の過去の温度変化パターンを解析して、温度上昇のみ又は温度下降のみの一方向の温度変化パターンとなる画素からなる画像領域を背景温度変化領域として判定する。そして、本発明の抽出部は、背景温度変化判定部にて判定した背景温度変化領域が含まれないよう熱画像から温度変化領域を抽出する。例えば、背景温度変化領域として判定した画像領域の（背景画像などの）基準画像の画素値や抽出閾値を変更することにより、以降に取得する熱画像において背景温度変化領域が含まれないよう温度変化領域を抽出する。または、背景画像など予め記憶した基準画像と現在フレームの熱画像とを比較して抽出した変化領域から、背景温度変化領域を除いた画像領域を温度変化領域として抽出してもよい。そして、本発明の判定部は、抽出部にて抽出した温度変化領域の特徴と目標移動物体の特徴との比較により、目標移動物体であるか否かを判定する。このように、背景温度変化判定部にて判定した背景温度変化領域が含まれないよう温度変化領域を抽出することにより、環境変化によって背景物体が温度変化した際に発生する誤抽出を削減でき、監視空間における目標移動物体の検知性能を向上させることができる。

本願請求項２に係る画像監視装置は、請求項１の画像監視装置において、
前記背景温度変化判定部は、前記熱画像の各画素の画素値の時間変化を周波数解析して前記想定移動速度に対応する周波数成分の強度を求め、該強度の絶対値が予め定めた強度閾値以上の画素であって、該強度の符号が前記変化要因判定期間に正又は負のみである画素からなる画像領域を前記背景温度変化領域として判定することを特徴としている。

かかる構成により、本発明の背景温度変化判定部は、変化要因判定期間における画素の過去の温度変化パターンが一方向であるか否かを判定するにあたって、各画素の画素値の時間変化を周波数解析する。例えば、ある画素について、画素値の時間変化を離散ウェーブレット変換することにより、周波数成分毎の強度（パワー）を求める。そして、複数の周波数成分の中から、目標移動物体の想定移動速度に対応する周波数帯域（以下、「目標温度変化帯域」という）の帯域成分の強度を求める。そして、当該強度の絶対値が強度閾値以上の場合であって、その符号が正のとき当該画素は温度上昇したと判定し、その符号が負のとき当該画素は温度上昇したと判定する。そして、変化要因判定期間において当該符号が正のみ（又は負のみ）であったとき、変化要因判定期間の間に当該画素の温度変化は一方向であることを意味するため、当該画素における温度変化は、背景温度変化に起因する温度変化であると判定する。上記処理を全ての画素について実施することにより、背景温度変化判定部は、背景温度変化領域を判定する。このように、目標温度変化帯域の周波数成分から温度変化を判定することは、目標移動物体の移動による温度変化に相当する情報のみを取り出すことに等しい。したがって、ノイズなどの目標移動物体以外による温度変化の影響を受けにくいため、人物の移動による温度変化を精度よく判定することが可能となり、ひいては背景温度変化領域を精度良く判定することが可能となる。

本願請求項３に係る画像監視装置は、請求項１又は請求項２の画像監視装置において、
前記抽出部は、前記熱画像と予め記憶した監視空間の基準画像とを比較して所定の抽出閾値以上の温度差を有する画像領域を前記温度変化領域として抽出する抽出手段と、前記背景温度変化領域の各画素に対応する前記抽出閾値又は対応する前記基準画像の画素値を、該画素の前記変化要因判定期間における温度変化量に基づいて変更する変更手段と、を有することを特徴としている。

かかる構成により、本発明の抽出部の変更手段は、背景温度変化判定部において判定された背景温度変化領域の各画素（以下、「背景温度変化画素」という）の抽出閾値（又は基準画像の画素値）を変更する処理を行う。この際、変更手段は、各画素の変化要因判定期間における温度変化量に比例する値を用いて、各背景温度変化画素に対応する抽出閾値（又は基準画像の画素値）を変更する。そして、本発明の抽出部の抽出手段は、変更された抽出閾値（又は基準画像）を用いて、現在フレームの熱画像と基準画像とを比較することによって、温度変化領域を抽出する。ここで、温度変化量が大きいときは、変化要因判定期間中で比較的急な温度変化が起こっていることを意味する。したがって、当該温度変化量に応じて抽出閾値（又は基準画像）を変更することにより、日照量変化などの環境変化によって背景物体が急激に温度変化した場合であっても、その温度変化に好適に追従できるよう抽出閾値（又は基準画像）を変更できる。結果として、抽出部は、背景温度変化領域が含まれないよう熱画像から温度変化領域を抽出できるため、背景物体の急激な温度変化による誤抽出を抑制することができる。

本願請求項４に係る画像監視装置は、請求項３の画像監視装置において、
前記変更手段は、前記変化要因判定期間における過去フレームにおける前記熱画像と現在フレームにおける前記熱画像との差分演算により求まる各画素の差分値から前記温度変化量を算出することを特徴としている。

かかる構成により、本発明の変更手段は、変化要因判定期間における過去と現在のフレーム間の差分値を求め、当該差分値を用いることにより、変化要因判定期間中における各画素の温度変化量を簡易的に得ることができる。

本願請求項５に係る画像監視装置は、請求項３の画像監視装置において、
前記変更手段は、前記背景温度変化判定部にて求めた前記強度から前記温度変化量を算出することを特徴としている。

かかる構成により、本発明の変更手段は、背景温度変化判定部にて求めた目標移動物体の想定移動速度に対応する周波数帯域（目標温度変化帯域）成分の強度を用いて、例えば、当該強度に比例する値から温度変化量を算出する。このように、目標温度変化帯域の強度を利用することによって、温度値に含まれるノイズなどの影響を受けにくくなることから、変化要因判定期間中での温度変化量をより好適に得ることができる。

本発明に係る画像監視装置によれば、ある画素の温度変化が背景物体の温度変化であるか否かといった温度変化の要因を判定することにより、環境変化によって背景物体が温度変化した際に発生する誤抽出を削減でき、ひいては目標移動物体の検知性能を向上させることができる。

画像監視装置の全体構成を示すブロック構成図熱画像中のある画素における温度変化パターンの違いを説明する図背景温度変化領域判定処理を説明する図画像監視装置による全体動作の処理手順を示すフローチャート背景温度変化領域判定処理の具体的処理手順を示すフローチャート周波数解析処理を説明する図変更処理の具体的処理手順を示すフローチャート

以下、本発明を監視空間における侵入者を検出する画像監視装置に適用した実施形態について、添付した図面を参照しながら詳細に説明する。

（画像監視装置の全体構成について）
本発明に係る画像監視装置は、監視空間を撮像した熱画像を順次取得し、この順次取得した熱画像を画像処理して監視空間における目標移動物体（例えば侵入者）の有無を判定するものである。特に、本実施形態は、監視空間を撮像した熱画像の各画素の温度変化パターンが、温度上昇（又は温度下降）のみの一方向であるか否かを判定することにより、当該温度変化が環境変化による背景物体の温度変化に起因して生じたものであるか否かを判定する機能を含む画像監視装置を提供するものである。そして、このような背景物体の温度変化によって生じた温度変化画素（背景温度変化画素）からなる領域（背景温度変化領域）に対応する基準画像を、当該温度変化に追従できるよう変更することにより、当該背景温度変化領域の誤抽出を抑制できる機能を含む画像監視装置を提供するものである。

図１に示すように、本実施形態の画像監視装置１は、上述した機能を実現するべく、撮像部２、記憶部３、画像処理部４、出力部５を含んで概略構成される。

撮像部２は、例えば所定画素数（例えば３２０×３２０画素）の２次元赤外線検出素子を有し、監視領域から放射される赤外線をレンズやミラーなどの光学系により集光して検出し、検出した赤外線量に応じた監視領域の温度分布を熱画像（以下、画像とも言う）として画像処理部４に出力する熱画像カメラである。撮像部２は、天井や壁に設置され上から斜め下方の空間を撮像している。

記憶部３は、画像監視装置１に関する設定情報（例えば撮像部２の設置高、俯角など）、画像処理部４の各種処理に使用される情報を記憶している。画像処理部４の各種処理に使用される情報としては、例えば撮像部２で取得するフレーム毎の熱画像、抽出手段４ａで熱画像から変化領域を抽出するために用いる基準画像の他、画像処理部４の各処理に用いられる設定値（例えば、抽出手段４ａで用いる抽出閾値、背景温度変化判定手段４ｂで用いる強度閾値、変化状態判定期間、変化要因判定期間、判定手段４ｆで用いる判定条件閾値など）が含まれる。

画像処理部４は、ＣＰＵ等を備えたコンピュータで構成され、撮像部２からデジタル化された画像の入力を受け、後述する図４、図５、図７に示す一連の処理として、抽出処理、ラベリング処理、特徴量算出処理、侵入者判定処理、背景温度変化領域判定処理、変更処理を実行するべく、抽出手段４ａ、背景温度変化判定手段４ｂ、変更手段４ｃ、ラベリング手段４ｄ、特徴量算出手段４ｅ、判定手段４ｆを含んでいる。

抽出手段４ａは、撮像部２で取得された熱画像の中から温度変化のある領域を温度変化領域として抽出する抽出処理を行っている。本実施例では、移動物体の存在しない過去の熱画像を基準画像として予め記憶部３に保存しておき、今回取得した熱画像と基準画像との差分が記憶部３に記憶された所定の抽出閾値以上である領域を温度変化があると判定し、この温度変化がある領域を温度変化領域として抽出する。この際、基準画像として監視空間の背景の熱画像や、過去に取得した熱画像などを適宜選択して採用することができる。なお、本実施形態において、基準画像は変更手段４ｃによって適宜更新される。

背景温度変化判定手段４ｂは、熱画像中の各画素における温度値の時系列データを解析し、予め記憶部３に記憶した過去の所定期間である変化要因判定期間における温度変化パターンが一方向の温度変化となっているかを調べ、当該画素における温度変化が背景物体の温度変化によるものか否かを判定することにより、背景温度変化領域を求める背景温度変化領域判定処理を行うものであり、本発明における背景温度変化判定部に対応する。以下、背景温度変化領域判定処理を概略説明する。

図２（ａ）は、熱画像中のある画素に着目した場合において人物が移動したときの温度変化パターンを例示したものであり、同図（ｂ）は、日照量変化に起因して背景物体が温度変化したときの温度変化パターンを例示したものである。図２（ａ）に示すように、背景物体の温度より高い温度の移動物体が当該画素の視野内に進入したとき、当該画素の温度値は上昇し、視野から移動物体が退出すると下降するといった温度変化パターンを示す（なお、背景物体の温度よりも低い温度の移動物体である場合は、これとは反対に温度下降から温度上昇といった温度変化パターンとなる）。一方、図２（ｂ）に示すように、環境変化などに起因して背景物体が温度変化する場合には、当該画素の視野内で物体の移動はなく、視野内全体が一律に温度変化するため、当該画素の温度変化は、温度上昇（あるいは温度下降）のみの一方向の温度変化パターンを示す。そこで、背景温度変化領域判定処理では、まず、熱画像中の各画素値の時系列データを解析し、その温度変化パターンと図２に示した温度変化パターンの特徴とを照らし合わせることで、当該画素の温度変化の要因を判定している。

背景温度変化領域判定処理をより具体的に説明するために図３を用いて説明する。図３（ａ）（ｂ）は、図２（ａ）（ｂ）の温度変化パターンを本処理で判定するときの処理内容を模式的に表した説明図である。背景温度変化判定手段４ｂは、熱画像中の各画素値の時系列データについて、図３の符号１０に示す所定期間（以下、「変化状態判定期間」という）毎に温度変化の状態を判定する。すなわち、変化状態判定期間１０において、一定以上の温度変化の有無と、温度変化があった場合における温度変化の方向（温度上昇／温度下降）とを判定し、判定結果を温度変化状態データ１１として記憶部３に記憶する。図３の例では、温度上昇があったと判定されたときに“＋”が、温度下降があったと判定されたときに“−”が、温度変化無しと判定されたときに“０”が、記憶される。なお、本実施形態では、温度変化の状態を判定するにあたって、後述する周波数解析処理の結果に基づいて行なう。そして、背景温度変化判定手段４ｂは、変化要因判定期間１２内における一連の温度変化状態データ１１を記憶部３から読み出し、温度変化パターンを把握することにより、当該画素の温度変化の要因を判定する。例えば、図３（ａ）のように、変化要因判定期間１２内における一連の温度変化状態データ１１に、温度上昇判定結果と温度下降判定結果の両方が存在しているとき、当該画素の温度変化の要因を移動物体によるものと判定する。一方、図３（ｂ）のように、一定回数（例えば３回）以上の温度上昇判定結果（あるいは温度下降判定結果）のみが存在しているとき、当該画素の温度変化の要因を環境変化に起因する背景物体の温度変化によるものと判定する。なお、本実施形態では、変化状態判定期間１０を熱画像４フレームからなる期間として画素の温度変化状態を判定する。

変化要因判定期間１２は、目標移動物体である人物の想定移動速度に応じて設定され、記憶部３に記憶されている。ある画素において、想定移動速度の大きい（速く移動する）目標移動物体であるほど、短い変化要因判定期間１２の間に温度上昇と温度下降とからなる温度変化パターンを観測することができる反面、想定移動速度の小さい（ゆっくり移動する）目標移動物体であるほど、当該温度変化パターンを観測するには長い変化要因判定期間１２を要する。したがって、本実施形態では、目標移動物体である人物の想定移動速度の幅に基づいて、当該幅における最小の想定移動速度で移動した場合に、上記温度変化パターンを検出できる程度の時間幅となる変化要因判定期間１２を実験により求め、予め記憶部３に設定している。なお、本実施形態では、変化要因判定期間１２を熱画像８フレームからなる期間として設定している。

変更手段４ｃは、背景温度変化判定手段４ｂの判定結果に基づいて、抽出手段４ａにおける抽出処理にて背景温度変化領域を誤抽出しないよう、背景画像を変更する変更処理を行う。なお、変更手段４ｃにおける変更処理の詳細については後述する。

ラベリング手段４ｄは、抽出手段４ａにて抽出された温度変化領域を用いて、ラベリング処理を行う。ラベリング処理とは、温度変化領域のある抽出画素に注目したときに、注目抽出画素に隣接している抽出画素を一塊の抽出画素領域とみなし、各一塊の抽出画素領域に対して、画像内でユニークなラベルを割り当てる処理である。以下、ラベルが割り当てられた一塊の抽出画素領域のことをラベル領域と呼ぶ。

特徴量算出手段４ｅは、ラベリング手段４ｄにて求めたラベル領域について、侵入者か否かを判定するための特徴量を算出する処理を実行する。ここで算出される特徴量とは、個々のラベル領域について、ラベル領域の外接矩形のアスペクト比、記憶部３に記憶されている装置の設置高や俯角などを用いて算出される実空間での推定サイズ（推定面積）である。

判定手段４ｆは、特徴量算出手段４ｅにて算出されたラベル領域の特徴量を元に、予め定められた判定条件に従って、個々のラベル領域が侵入者か否かを判定する侵入者判定処理を行う。具体的には、ラベル領域の特徴（外接矩形のアスペクト比と推定サイズ）と、予め記憶部３に記憶した目標移動物体の特徴（想定アスペクト比と想定サイズ）とを比較し、両特徴が略一致しているとき、当該ラベル領域を侵入者であると判定する。なお、侵入者と判定されたラベル領域が存在する場合、判定手段４ｆは、侵入者ありという信号を出力部５に出力する。

出力部５は、画像処理部４の判定手段４ｆにて侵入者ありと判定された旨の判定信号を外部に出力するもので、例えば表示器やブザーなどで構成される。出力部５は、画像処理部４の判定手段４ｆから侵入者ありの判定信号が入力されると、表示器やブザーを駆動して侵入者ありの旨を報知する。なお、出力部５は、不図示の警備装置や遠隔の監視センタなどと通信線を介して接続され、画像処理部４の判定手段４ｆから入力された侵入者ありの判定信号を通信線に出力する通信Ｉ／Ｆとして構成することもできる。

（画像監視装置１による侵入者有無の判定処理について）
次に、上記構成による画像監視装置１を用いて監視空間における侵入者の有無を判定する場合の画像処理部４の処理動作について図４を参照しながら説明する。

画像処理部４は、画像監視装置１が起動されると、設定情報取得処理を実行する（ＳＴ１）。設定情報取得処理では、予め設定される画像監視装置１に関する設定情報や画像処理部４の各種処理に使用される情報を取得し、取得した情報を記憶部３に格納する。ここで言う情報とは、撮像部２の設置高や撮影方向、撮像部２より得られる画像の垂直方向及び水平方向の画素数、垂直画角や水平画角、基準画像、各種閾値などである。

次に、画像処理部４は、熱画像取得処理を実行する（ＳＴ２）。熱画像取得処理では、撮像部２が監視空間の監視範囲を撮像した熱画像の取得を行う。なお、画像監視装置１の起動直後においては、抽出手段４ａで使用する基準画像の各画素値を、初めに取得した熱画像の温度値で初期化して、記憶部３に記憶する処理を行う。

次に、画像処理部４の抽出手段４ａにより抽出処理を実行する（ＳＴ３）。抽出処理では、熱画像取得処理で取得された画像から温度変化領域を抽出する。本実施形態では、今回取得した熱画像と基準画像との差分をとり、閾値判定することにより温度変化領域を抽出する。

次に、画像処理部４のラベリング手段４ｄは、抽出手段４ａにて抽出された温度変化領域に対してラベリング処理を行う（ＳＴ４）。本実施形態では、注目抽出画素の８近傍に隣接している抽出画素を一塊の抽出画素領域とみなし、ラベル付けするラベリング処理を行う。また、ラベリング処理では、所定範囲にある複数のラベル領域を一つのラベル領域に統合するラベル統合処理や一つのラベル領域を所定の条件に従って複数に分割するラベル分割処理を行ってもよい。

次に、画像処理部４の特徴量算出手段４ｅは、ラベリング処理で求めた個々のラベル領域について、侵入者かどうかを判定するための特徴量を算出する特徴量算出処理を行う（ＳＴ５）。本実施形態では、ラベル領域の外接矩形のアスペクト比、記憶部３に記憶されている装置の設置高や俯角などを用いて算出される実空間での推定サイズ（推定面積）を求める。

次に、画像処理部４の判定手段４ｆは、特徴量算出手段４ｅで求めた特徴量を用いて、ラベル領域が侵入者によるものか否かの判定を行う侵入者判定処理を行う（ＳＴ６）。本実施形態では、ラベル領域の外接矩形のアスペクト比が予め記憶部３に記憶した値の範囲内（例えば、０．２〜１）であって、ラベル領域の実空間での推定サイズ（推定面積）が予め記憶部３に記憶した値の範囲内（例えば、０．３〜２．５ｍ＾２）のときに、当該ラベル領域を侵入者によるものであると判定する。侵入者判定処理の判定結果は出力部５に出力され、侵入者ありと判定されていた場合には、出力部５から外部に情報が出力される。

次に、画像処理部４の背景温度変化判定手段４ｂは、熱画像中の各画素における温度値の時系列データを周波数解析して、当該画素における温度変化が背景物体の温度変化によるものか否かを判定する背景温度変化領域判定処理を行う。本処理の詳細については追って説明する。

次に、画像処理部４の変更手段４ｃは、背景温度変化判定手段４ｂの判定結果と抽出手段４ａの抽出結果とを用いて、背景画像を変更する処理を行う。本処理の詳細については追って説明する。

なお、図４のフローチャートにおいて、ループ１はＳＴ２〜ＳＴ８の各処理を１フレームの熱画像を取得する毎に実行することを意味し、ループ２はＳＴ５〜ＳＴ６の各処理をラベル領域の数だけ実行することを意味している。

（背景温度変化領域判定処理の詳細について）
次に、図４のフローチャートのＳＴ７における、画像処理部４の背景温度変化判定手段４ｂが実行する背景温度変化領域判定処理の詳細について図５を参照しながら説明する。なお、本処理は、ＳＴ２で取得した熱画像の各画素に対して実施される。すなわち、図４のループ３は、ＳＴ１０〜ＳＴ２２の各処理を熱画像の画素数分だけ実行することを意味している。なお、本処理の説明において、選択画素とは、ループ３にて処理対象となっている画素をいう。

背景温度変化領域判定処理では、画像処理部４の背景温度変化判定手段４ｂは、まず、後述するＳＴ１２における周波数解析処理の解析対象となる時系列データとして、選択画素の画素値から求まる温度値を熱画像の取得時刻と対応付けて記憶部３に記憶する処理を行う（ＳＴ１０）。具体的には、記憶部３に、変化状態判定期間１０に相当するデータ数（以下、「変化状態判定データ数」という）分の温度値を保存できる領域を記憶部３に確保しておき、選択画素の温度値を当該領域に記憶する。この時、当該領域に空きがない場合には、記憶した時刻が最も古い温度値を消去し、その領域に現在の温度値を保存する。以下では、当該領域に記憶されている温度値の時系列データのことを、記憶時系列データという。

次に、記憶時系列データのデータ数が、変化状態判定データ数に等しいか否かを判定する（ＳＴ１１）。画像監視装置１の起動直後のように、記憶時系列データのデータ数が変化状態判定データ数に等しくないとき（ＳＴ１１−Ｎｏ）、選択画素は背景物体の温度変化ではないという結果を記憶部３に記憶し（ＳＴ２２）、背景温度変化領域判定処理にてまだ処理対象となっていない他の画素を選択画素に変更して、ＳＴ１０からの処理を行う。

一方、記憶時系列データのデータ数が、変化状態判定データ数に等しいと判定されると（ＳＴ１１−Ｙｅｓ）、記憶部３に記憶された記憶時系列データを周波数解析する（ＳＴ１２）。本実施形態では、周波数解析処理として離散ウェーブレット変換を用いている。図６は、変化状態判定データ数を変化状態判定期間１０のフレーム数に相当する４とした場合における周波数解析処理の説明図である。図６（ａ）が記憶時系列データを示す図であり、同図（ｂ）が記憶時系列データをウェーブレット変換することによって得られた周波数スペクトルを示す図である。図６（ｂ）では、ウェーブレット変換によって分割した周波数帯域を低周波数側から順にＬＬ帯域、ＬＨ帯域、ＨＬ帯域、ＨＨ帯域と呼んでいる。ウェーブレット変換によって得られた各周波数帯域の成分は、その絶対値が当該帯域成分の強度（パワー）を示し、その符号が当該帯域成分による温度の変化方向を示す（＋であれば上昇、−であれば下降）。なお、離散ウェーブレット変換による周波数帯域成分の分割数は４に限らず、他の分割数（ただし、１より大きな分割数とする）を用いてもよい。また、本実施形態では、離散ウェーブレット変換を用いて周波数解析処理を行っているが、これに限らず、離散フーリエ変換やデジタルフィルタリングなどを用いて周波数解析処理を行ってもよい。

次に、ＳＴ１２の周波数解析処理にて得られた周波数スペクトルを用いて、選択画素の温度変化の状態を判定する温度変化状態判定処理を行う（ＳＴ１３〜ＳＴ１８）。温度変化状態判定処理では、ＳＴ１２の周波数解析処理により得られた周波数スペクトルの複数の周波数帯域成分のうち、人物の移動による温度変化に相当する周波数帯域（目標温度変化帯域）の成分を用いて、当該変化状態判定期間中での温度変化の状態を判定する。目標温度変化帯域は、例えば、ある距離をある速度で移動している人物が熱画像中の１画素を横切るのに必要な時間を用いて求めることができる。熱画像中のある画素を横切る人物が当該画素に映っている時間ｔ［ｓ］は、人物と撮像部２との直線距離をｄ［ｍ］、人物の移動速度をｖ［ｍ／ｓ］、人物の幅をｗ［ｍ］、撮像部の水平画素数をＹ［ｐｉｘｅｌ］、撮像部の水平画角をθ［ｒａｄ］とすると、ｔ＝（ｗ＋ｄθ／Ｙ）／ｖ
・・・（２）で得られる。式（２）で求めたｔについて、その逆数を定数倍することで、当該画素における人物の移動による温度変化の最大周波数を算出することができる。なお、本実施形態では、人物と撮像部２との距離ｄや移動速度ｖについてそれぞれ所定の範囲を考慮しておき、当該範囲において式（２）の計算を行なうことにより得られた周波数範囲を目標温度変化帯域として求める。ここでは、目標温度変化帯域が図６（ｂ）のＬＨ成分に含まれると算出されたものとする。

温度変化状態判定処理では、まず、選択画素において、一定以上の温度変化が起こったかどうかを判定するため、目標温度変化帯域成分（ＬＨ成分）の強度が予め記憶部３に記憶した所定の強度閾値以上か否かを判定する（ＳＴ１３）。目標温度変化帯域成分（ＬＨ成分）の強度が強度閾値以上ではないと判定すると（ＳＴ１３−Ｎｏ）、選択画素は変化状態判定期間において温度変化していないと判定する（ＳＴ１５）。一方、目標温度変化帯域成分（ＬＨ成分）の強度が強度閾値以上であると判定すると（ＳＴ１３−Ｙｅｓ）、背景温度変化判定手段４ｂは、選択画素が変化状態判定期間において温度変化したと判定し、目標温度変化帯域成分の符号が正であるか否かを判定する（ＳＴ１４）。目標温度変化帯域成分（ＬＨ成分）の符号が正であると判定すると（ＳＴ１４−Ｙｅｓ）、背景温度変化判定手段４ｂは、選択画素が変化状態判定期間において温度上昇したと判定する（ＳＴ１６）。一方、目標温度変化帯域成分（ＬＨ成分）の符号が正ではなく負であると判定すると（ＳＴ１４−Ｎｏ）、背景温度変化判定手段４ｂは、選択画素が変化状態判定期間において温度下降したと判定する（ＳＴ１７）。図６（ｂ）の例では、目標温度変化帯域成分（ＬＨ成分）の強度が強度閾値１３以上であり、その符号が正であるため、選択画素は変化状態判定期間において温度上昇したと判定される。

続いて、温度変化状態判定処理では、ＳＴ１３〜ＳＴ１７の処理で得られた判定結果を、温度変化状態データ１１として、記憶部３に記憶する処理を行う（ＳＴ１８）。具体的には、記憶部３に、変化要因判定期間１２に相当するデータ数（以下、「変化要因判定データ数」という）分の判定結果を記憶できる領域を確保しておき、選択画素の変化状態の判定結果を時刻（変化状態判定期間１０における最新フレームの時刻）とともに当該領域に記憶する。記憶時に、当該領域に空きがない場合には、最も古い判定結果を削除し、その領域に現在の判定結果を記憶する。なお、本実施例では、変化要因判定データ数を５として処理している。

次に、温度変化状態判定処理にて得られた温度変化状態データ１１を用いて、選択画素の温度変化パターンを調べることにより、選択画素の温度変化の要因が背景物体の温度変化によるものか否かを判定する温度変化要因判定処理を行う（ＳＴ１９〜ＳＴ２２）。

温度変化要因判定処理では、まず、温度変化状態データ１１のデータ数が、予め定めた変化要因判定データ数に等しいかどうかを判定する（ＳＴ１９）。画像監視装置１の起動直後のように、温度変化状態データ１１のデータ数が、変化要因判定データ数に等しくないと判定されると（ＳＴ１９−Ｎｏ）、選択画素は背景物体の温度変化ではないという結果を記憶部３に記憶し（ＳＴ２２）、背景温度変化領域判定処理にてまだ処理対象となっていない他の画素を選択画素に変更して、ＳＴ１０からの処理を行う。

一方、温度変化状態データ１１のデータ数が、変化要因判定データ数に等しいと判定されると（ＳＴ１９−Ｙｅｓ）、背景温度変化判定手段４ｂは温度変化状態データ１１を用いて選択画素の温度変化パターンが一方向であるか否かを判定する（ＳＴ２０）。具体的には、図３に示したように、温度変化状態データ１１において、一定回数以上の温度上昇判定結果（あるいは温度下降判定結果）のみ存在している場合には、選択画素の温度変化パターンが一方向であると判定し、それ以外の場合には、選択画素の温度変化パターンが一方向ではないと判定する。選択画素の温度変化パターンが一方向であると判定されると（ＳＴ２０−Ｙｅｓ）、当該選択画素は背景物体の温度変化に起因する温度変化であると判定し、当該判定結果を選択画素に対応付けて記憶部３に記憶する処理を行う（ＳＴ２１）。一方、選択画素の温度変化パターンが一方向ではないと判定されると（ＳＴ２０−Ｎｏ）、当該選択画素は背景物体の温度変化に起因する温度変化ではないと判定し、当該判定結果を選択画素に対応付けて記憶部３に記憶する処理を行う（ＳＴ２２）。このように、撮像部２にて取得した熱画像の各画素について背景温度変化要因判定処理を行うことにより、背景温度変化判定手段４ｂは、環境変化による背景物体の温度変化に起因して生じた画像領域（背景温度変化領域）を得ることができる。

（変更処理の詳細について）
次に、図４のフローチャートのＳＴ８における、画像処理部４の変更手段４ｃが実行する変更処理の詳細について図７を参照しながら説明する。なお、本処理は、ＳＴ２で取得した熱画像の画素毎に実施される。すなわち、図７のループ４は、ＳＴ３０〜ＳＴ３３の各処理を熱画像の画素数分だけ実行することを意味している。なお、本処理の説明において、選択画素とは、ループ４にて処理対象となっている画素をいう。

背景温度変化領域判定処理では、画像処理部４の変更手段４ｃは、まず、選択画素がＳＴ３の抽出処理にて抽出された画素であるか否かを判定する（ＳＴ３０）。選択画素が抽出画素であるとき（ＳＴ３０−Ｙｅｓ）、移動物体が基準画像に取り込まれないよう、選択画素に対応する基準画像の画素値を更新せず、変更処理にてまだ処理対象となっていない他の画素を選択画素に変更して、ＳＴ３０からの処理を行う。

選択画素が抽出画素でないとき（ＳＴ３０−Ｎｏ）、選択画素がＳＴ１７で求めた背景温度変化領域の画素（背景温度変化画素）であるか否かを判定する（ＳＴ３１）。選択画素が背景温度変化画素でないとき（ＳＴ３１−Ｎｏ）、前述の従来技術である式（１）のデジタルフィルタによって得られる値を用いて、選択画素に対応する基準画像の画素値を変更する（ＳＴ３２）。一方、選択画素が背景温度変化画素であるとき（ＳＴ３１−Ｙｅｓ）、Ｂ_ｎ＝γＩ_ｎ＋（１−γ）Ｂ_ｎ−１
・・・（３）に示すデジタルフィルタによって得られる値を用いて、選択画素に対応する基準画像の画素値を変更する（ＳＴ３３）。このとき、式（３）におけるデジタルフィルタの時定数γを従来のαよりも大きな値とすることで、従来手法よりも急な温度変化にも追従することができるようになる。したがって、基準画像中の選択画素に対応する画素の温度値を、現在フレームの熱画像の温度値に近づけることができるため、背景物体の急激な温度変化による誤抽出を抑制できる。

本実施形態では、ＳＴ３３にて時定数γを、変化要因判定期間１２における温度変化量を求めて、温度変化量に比例する値を用いて変更する。具体的には、背景温度変化画素の温度値は、変化状態判定期間１０において、温度上昇（あるいは温度下降）が継続していることから、現在フレームの熱画像と変化要因判定期間１２だけ過去の熱画像との差分を求めることで、選択画素における変化要因判定期間中の温度変化量（温度上昇量又は温度下降量）を簡易的に得ることができる。すなわち、現在フレームの熱画像における選択画素の温度値をＩ_ｎ、変化要因判定期間分だけ過去（変化要因判定データ数だけ過去）の過去フレームの熱画像における選択画素の温度値をＩ_ｎ−ｊとしたとき、（Ｉ_ｎ−Ｉ_ｎ−ｊ）を簡易的に温度変化量として算出する。この温度変化量が大きいときは、変化状態判定期間中で比較的急な温度変化が起こっており、温度変化量が小さいときは比較的緩やかな温度変化が起こっていることを意味する。したがって、このようにして求めた温度変化量に比例するよう時定数γを調整することにより、基準画像中の選択画素に対応する画素の温度値を、現在フレームの熱画像の温度値に近づけることができる

以上に本発明における一実施形態について説明した。なお、本実施形態では、ラベリング手段４ｄ、特徴量算出手段４ｅ、判定手段４ｆが、本発明の判定部として機能している。

ところで、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施形態で実施されてもよいものである。また、実施形態に記載した効果は、これに限定されるものではない。

上記実施形態では、変更手段４ｃにおいて背景温度変化領域の各画素（背景温度変化画素）に対応する基準画像の画素値を温度変化量に比例する値を用いて変更している。しかし、これに限らず、他の実施形態として、変更手段４ｃにおいて背景温度変化画素に対応する画素の抽出閾値を温度変化量に比例する値を用いて変更してもよい。例えば、熱画像の選択画素の温度値を現在から過去に渡って所定期間分だけ保持しておき、当該所定期間中の温度値の標準偏差値σを求め、標準偏差σの定数倍の値を抽出閾値として利用する。そして、このとき、図７の変更処理において、選択画素が背景温度変化画素でないとき（ＳＴ３１−Ｎｏ）、ＳＴ３２にてｎフレームにおける抽出閾値Ｔｈ_ｎをＴｈ_ｎ＝ｍσ・・・（１）’（ｍは定数）により求まる値を用いて更新する。一方、選択画素が背景温度変化画素であるとき（ＳＴ３１−Ｙｅｓ）、ＳＴ３３にてｎフレームにおける抽出閾値Ｔｈ_ｎをＴｈ_ｎ＝ｋσ・・・（３）’（ｋは定数）により求まる値を用いて更新する。この際、定数ｋはｋ＞ｍとなる値であり、前述した実施形態と同様に、変化要因判定期間１２における温度変化量を求めて、温度変化量に比例する値を用いて算出するものとする。このような処理により、背景温度変化画素では、通常の抽出閾値に比べて大きな値に変更できるため、背景物体の急激な温度変化による誤抽出を抑制できる。なお、上記他の実施形態に限らず、変更手段４ｃにおいて背景温度変化画素に対応する画素の基準画像の画素値及び抽出閾値の両方を温度変化量に比例する値を用いて変更してもよい。

上記実施形態では、変更手段４ｃにおいて背景温度変化画素に対応する基準画像の画素値（又は抽出閾値）を変更する際に用いる温度変化量を、現在フレームの熱画像と変化要因判定期間１２だけ過去の熱画像との差分を求めることによって算出している。しかし、これに限らず、背景温度変化判定処理にて求めた目標温度変化帯域成分の強度を用いて、温度変化量を算出し、前述した式（３）又は式（３）’における時定数γ又は定数ｋを算出してもよい。目標温度変化帯域成分の強度が大きいときは、当該強度が算出された変化状態判定期間１０中で比較的急な温度変化が起こっており、逆に強度が小さいときは比較的緩やかな温度変化が起こっていることを意味する。したがって、ＳＴ３３において、選択画素のＳＴ１２で求めた現在時刻に最も近い時刻における目標温度変化帯域成分の強度を記憶部３から読み出し、当該強度に比例する値を温度変化量として算出する。あるいは、選択画素のＳＴ１２で求めた目標温度変化帯域成分の強度を、記憶部３から変化要因判定期間１２分（変化要因判定データ数分）だけ読み出し、その平均値に比例する値を温度変化量として算出する。このように、目標温度変化帯域の強度を利用することで、温度値に含まれるノイズなどの影響を受けずに、変化状態期間中での温度変化量を得ることができるので、より適切な更新パラメータを設定することができる。

上記実施形態では、背景温度変化判定手段４ｂにて、熱画像中の各画素における温度値の時系列データを周波数解析することによって、各画素における温度変化パターンを調べ、温度変化が背景物体の温度変化によるものか否かを判定している。すなわち、上記実施形態では、記憶部３に記憶された変化状態判定期間１０の温度値の時系列データ（記憶時系列データ）を周波数解析処理し、目標温度変化帯域成分の強度と符号とから、選択画素の温度変化の状態を判定している。しかし、これに限らず、熱画像中の各画素における温度値の時系列データの差分値を求めることによって、簡易的に温度変化パターンを調べる方法を用いてもよい。具体的には、背景温度変化領域判定処理（図５）のＳＴ１２にて、記憶部３に記憶された変化状態判定期間１０の温度値の時系列データ（記憶時系列データ）から、最も古い時刻の温度値と最新の温度値とを読み出し、それらの差分値を求める。そして、ＳＴ１３にて、当該差分値が予め定めた差分閾値以上であるか否かを判定する。当該差分値が差分閾値以上ではないと判定すると（ＳＴ１３−Ｎｏ）、選択画素は変化状態判定期間において温度変化していないと判定する（ＳＴ１５）。一方、当該差分値が差分閾値以上であると判定すると（ＳＴ１３−Ｙｅｓ）、背景温度変化判定手段４ｂは、選択画素が変化状態判定期間１０において温度変化したと判定し、当該差分値の符号が正であるか否かを判定する（ＳＴ１４）。当該差分値の符号が正であると判定すると（ＳＴ１４−Ｙｅｓ）、背景温度変化判定手段４ｂは、選択画素は、変化状態判定期間１０において温度上昇したと判定する（ＳＴ１６）。一方、当該差分値の符号が正ではなく負であると判定すると（ＳＴ１４−Ｎｏ）、背景温度変化判定手段４ｂは、選択画素は、変化状態判定期間において温度下降したと判定する（ＳＴ１７）。

上記実施形態では、背景温度変化判定手段４ｂにて求めた背景温度変化領域の基準画像（又は抽出閾値）を、変更手段４ｃにて変更することにより、抽出手段４ａにて背景温度変化領域が誤抽出されないよう処理している。しかし、これに限らず、上記実施形態における変更手段４ｃにおける変更処理を省略して、抽出手段４ａにて抽出した変化領域から、背景温度変化判定手段４ｂにて求めた背景温度変化領域を除いた画像領域を温度変化領域として抽出する他の実施形態を用いてもよい。当該他の実施形態は、撮像部２にて現在取得している熱画像からリアルタイムに目標移動物体を検出する用途ではなく、過去に取得し記憶部３に記憶された蓄積画像に対して目標移動物体を検出する処理に有効に利用できる。すなわち、背景温度変化判定手段４ｂは、記憶部３に記憶された過去の熱画像の中から、解析したい時刻のフレームの前後の所定期間であって、上記実施形態の変化状態判定期間１０に相当する期間の熱画像を読み出す。そして、背景温度変化判定手段４ｂは、当該期間における各画素の温度変化パターンを上記実施形態と同様の方法を用いて調べることにより、背景温度変化領域を求める。一方、抽出手段４ａは、解析したい時刻のフレームの熱画像と基準画像とを比較することにより、変化領域を抽出する。このとき、抽出手段４ａは、当該変化領域から、背景温度変化判定手段４ｂにて求めた背景温度変化領域を除いた画像領域を、本発明における温度変化領域として抽出する。

上記実施形態では、目標移動物体である人物の想定移動速度から実験的に求めた値を変化要因判定期間１２として予め記憶部３に設定している。しかし、これに限らず、目標移動物体である人物の想定移動速度を用いて、式（２）によって得られる熱画像中のある画素を横切る人物が映っている時間ｔ［ｓ］を用いて、ｔを定数倍することにより変化要因判定期間１２を算出し、記憶部３に予め設定してもよい。

１・・・画像監視装置
２・・・撮像部
３・・・記憶部
４・・・画像処理部
５・・・出力部
４ａ・・・抽出手段
４ｂ・・・背景温度変化判定手段
４ｃ・・・変更手段
４ｄ・・・ラベリング手段
４ｅ・・・特徴量算出手段
４ｆ・・・判定手段
１０・・・変化状態判定期間
１１・・・温度変化状態データ
１２・・・変化要因判定期間
１３・・・強度閾値

Claims

監視空間を撮像した熱画像を順次取得し、該熱画像を画像処理して監視空間における目標移動物体の有無を判定する画像監視装置であって、
前記熱画像から環境変化による背景物体の温度変化に起因する画像領域を背景温度変化領域として判定する背景温度変化判定部と、
前記背景温度変化領域が含まれないよう前記熱画像から温度変化領域を抽出する抽出部と、
前記温度変化領域の特徴から前記目標移動物体の有無を判定する判定部と、を具備し、
前記背景温度変化判定部は、
予め定めた目標移動物体の想定移動速度に応じて設定した過去の所定期間である変化要因判定期間において、前記熱画像の各画素の画素値の時間変化を周波数解析して前記想定移動速度に対応する周波数成分の強度を求め、該強度の絶対値が予め定めた強度閾値以上の画素であって、該強度の符号が前記変化要因判定期間に正又は負のみである画素からなる画像領域を前記背景温度変化領域として判定することを特徴とする画像監視装置。
前記抽出部は、
前記熱画像と予め記憶した監視空間の基準画像とを比較して所定の抽出閾値以上の温度差を有する画像領域を前記温度変化領域として抽出する抽出手段と、
前記背景温度変化領域の各画素に対応する前記抽出閾値又は対応する前記基準画像の画素値を、該画素の前記変化要因判定期間における温度変化量に基づいて変更する変更手段と、を有する請求項１に記載の画像監視装置。
前記変更手段は、前記変化要因判定期間における過去フレームにおける前記熱画像と現在フレームにおける前記熱画像との差分演算により求まる各画素の差分値から前記温度変化量を算出する請求項２に記載の画像監視装置。
前記変更手段は、前記背景温度変化判定部にて求めた前記強度から前記温度変化量を算出する請求項２に記載の画像監視装置。