JP7243707B2 - 監視システムおよび監視システムの制御方法 - Google Patents

Description

本発明は、監視システムおよび監視システムの制御方法に関する。

従来、所定領域内の安全を確保する技術としては、ライダー（レーザーレーダーともいわれている）から取得したレーダー画像と、監視カメラから取得したカメラ画像とを用いるものがある。この技術では、レーダー画像の座標系とカメラ画像の座標系とを重ね合わせ、移動物体を特定する補助情報をカメラ画像上に重ねて表示させる。この表示によって、監視用域内の状況を容易に把握できるようにしている（特開２００４－２１２１２９号公報）。

また、空間における熱物体の移動状況や位置などを検知する技術として、複数の赤外線検出エレメントから構成される赤外線センサーを用いるものがある。この技術によれば、温度の高い物体の移動状況や位置などを容易に把握できるようになる（特開平９－２９７０５７号公報）。

特開２００４－２１２１２９号公報に記載された技術では、監視対象の領域内に存在する移動体の状況を把握することができる。しかし、この従来の技術は、監視対象の領域内に存在する多くの物体のなかから温度の高い物体を認識して、その移動状況を把握したり、温度の高い物体と他の物体との距離を把握したりできない。

また、特開平９－２９７０５７号公報に記載された技術では、温度の高い物体の移動状況や位置などを２次元方向に把握することはできる。しかし、この従来の技術では、３次元方向に移動する温度の高い物体の移動状況や位置は把握することができない。

そこで、本発明の目的は、３次元的な物体の位置と、その物体の温度が視覚的にわかりやすく表示される監視システム、および監視システムの制御方法を提供することである。

上記の目的は、以下の手段により達成される。

（１）第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、
前記ライダーから前記距離画像を取得し、取得した前記距離画像から物体を検出すると共に、前記赤外線カメラから前記赤外線画像を取得して、検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けして、前記物体の前記３次元座標系内の位置の情報および前記温度の情報を前記物体と共に表示させる画像を出力する制御部と、
前記制御部からの前記画像を表示するディスプレイと、
を有し、
前記ライダーと前記赤外線カメラとが１台ずつで１セットの監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
前記制御部は、前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる前記画像を出力する、監視システム。

（２）前記制御部は、
前記位置の情報を、前記３次元座標系における前記ライダーから前記物体までの距離とし、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けた前記画像を出力する、上記（１）に記載の監視システム。

（３）前記制御部は、
前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けた前記画像を出力する、上記（１）または（２）に記載の監視システム。

（４）前記制御部は、
所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けた前記画像を出力する、上記（１）～（３）のいずれか１つに記載の監視システム。

（５）前記制御部は、
前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体にのみ、前記温度の情報を付ける、上記（１）～（４）のいずれか１つに記載の監視システム。

（６）前記制御部は、
前記物体に対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、上記（１）～（５）のいずれか１つに記載の監視システム。

（７）第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、を有する監視システムの制御方法であって、
前記監視システムは、前記ライダーと前記赤外線カメラとが１台ずつで１セットの監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
前記制御方法は、
前記ライダーから前記距離画像を取得し、前記赤外線カメラから前記赤外線画像を取得する段階（ａ）と、
取得した前記距離画像から物体を検出する段階（ｂ）と、
検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けする段階（ｃ）と、
前記物体の前記３次元座標系内の位置の情報および前記温度の情報を前記物体と共にディスプレイに表示させる段階（ｄ）と、
を有し、
前記段階（ｄ）においては、
前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる、監視システムの制御方法。

（８）前記段階（ｄ）においては、
前記位置の情報は、前記３次元座標系における前記ライダーから前記物体までの距離であり、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けて表示する、上記（７）に記載の監視システムの制御方法。

（９）前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｅ）を有し、
前記段階（ｄ）においては、
前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けて表示する、上記（７）または（８）に記載の監視システムの制御方法。

（１０）前記段階（ｄ）においては、
所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けて表示する、上記（７）～（９）のいずれか１つに記載の監視システムの制御方法。

（１１）前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｆ）を有し、
前記段階（ｄ）においては、
前記動体であると判断された前記物体にのみ、前記位置および温度の情報を付けて表示する、上記（７）～（１０）のいずれか１つに記載の監視システムの制御方法。

（１２）前記段階（ｃ）においては、
前記物体に対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、上記（７）～（１１）のいずれか１つに記載の監視システムの制御方法。

実施形態１の監視システムの構成を示すブロック図である。 ライダーが第１領域を走査することによって得られた距離画像を説明するための説明図である。 赤外線カメラが第２領域を撮影して得られた赤外線画像を説明するための説明図である。 距離画像および赤外線画像を単純に重ね合わせた例を説明するための説明図である。 座標変換係数算出の処理手順を示すフローチャートである。 座標変換係数算出の説明図である。 座標変換係数算出の説明図である。 制御部による監視動作の処理手順を示すフローチャートである。 表示例を示す画面例図である。 特定温度物体を説明するための説明図である。 特定温度物体の周囲に設ける警報領域を説明するための説明図である。 特定温度物体の周囲に設ける警報領域を説明するための説明図である。 実施形態２の監視システムの構成を示すブロック図である。 監視部の配置を示す鳥瞰図である。 実施形態２における表示処理段階の手順を示すサブルーチンフローチャートである。

以下、添付した図面を参照しながら、本発明の実施形態を説明する。本発明は以下の実施形態には限定されない。なお、図面の説明において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面は、本発明の理解を容易にすることを目的として作成しているため、誇張して記載されており、図面の寸法比率などは実際の寸法比率とは異なる場合がある。

（実施形態１）
（監視システムの構成）
図１は、実施形態１の監視システムの構成を示すブロック図である。

監視システム１００は、監視部１１０、制御部１２０、ディスプレイ１３０、および警報器１４０を有する。監視部１１０は、物体（たとえば、高温の物体や、人、車両、その他の物などの物体）をとらえることができる位置に設置される。

監視部１１０は、ライダー１０２（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）と赤外線カメラ１０４とが同一の筐体に取り付けられて一体化されている。このようにすることで、たとえば、ライダー１０２と赤外線カメラ１０４は光軸の向きを一致させている（Ｚ方向（後述の図２、３参照）が同一方向）。また、ライダー１０２と赤外線カメラ１０４はＹ方向（縦方向（後述の図２、３参照））に隣接して配置され、Ｘ方向（横方向）において光軸を一致させている。

ライダー１０２は、第１領域の空間に向けてレーザー光を走査してその反射光から走査する空間内に存在する物体までの距離を計測する。得られた距離値の分布を点群データとも称しており、ライダー１０２の設置位置から物体までの距離、および物体の大きさや形がわかる。ライダー１０２がレーザー光を１フレーム分走査することによって、その空間に存在する物体までの距離、または反射光がない部分では無限遠の距離となる距離値の分布からなる画像が得られる。このようなライダー１０２から出力される画像は、物体までの距離の情報も含まれているため距離画像と称される（ライダー画像と称されることもある）。ライダー１０２からは、この距離画像が３次元座標系の画像として制御部１２０へ出力される。

赤外線カメラ１０４は、第２領域の空間の物体を撮影して、撮影した空間内の温度分布をモノクロ濃淡による２次元座標系の赤外線画像として出力する。赤外線カメラ１０４は、温度の高い部分をとらえた画素の出力値は高く、温度の低い部分をとらえた画素の出力値は低い。デジタルデータとしての出力の場合、温度が高い部分をとらえた画素ほど出力階調値が高くなる。

ライダー１０２が走査する第１領域と赤外線カメラ１０４が撮影する第２領域は、少なくとも一部で重複している。この重複領域は、監視システム１００としての監視範囲となる。この重複領域は、できるだけ無駄をなくすために、第１領域と第２領域をできるだけ多く重複させることが好ましい。

ライダー１０２の距離画像と赤外線カメラ１０４の赤外線画像とは、重複領域内に存在する物体の３次元空間位置と温度情報とを把握するために用いられる。ライダー１０２の１フレーム分の走査間隔と赤外線カメラ１０４の撮像間隔は、完全に同期させる必要はない。たとえば、ライダー１０２は、１０フレーム／秒程度の走査間隔であるのに対し、赤外線カメラ１０４は、数分の１秒～数千分の１秒程度の間隔で撮影が可能である。しかし、好ましくはこれらを同期させることで、同一時刻に取得された距離画像から物体の３次元位置を把握して、その物体の温度情報を一致させることができる。

ライダー１０２から出力される距離画像を時系列に複数並べることで動画となる。赤外線カメラ１０４の赤外線画像も同様に、時系列に複数並べることで動画となる。動画内の１枚の画像をフレームという。

制御部１２０はコンピューターである。制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２４などを有する。ＣＰＵ１２１は、ＨＤＤ１２４から処理内容に応じたプログラムを呼び出して、ライダー１０２および赤外線カメラ１０４の動作を制御すると共に、物体の３次元位置の検知、物体の温度、警報動作、温度情報の表示などを行う。ＨＤＤ１２４はＲＡＭ１２３と共に記憶部となり、各処理に必要なプログラムやデータなどを記憶している。なお、図１ではＨＤＤ１２４を用いているが、ＨＤＤ１２４に代えて、たとえばフラッシュメモリーなどの不揮発性の半導体メモリーを使用しても良い。

制御部１２０は、タッチパネル、ボタン、マウスなどの入力装置１２５、およびたとえばサーバー等の外部機器を接続するためのネットワークインターフェース１２６（ＮＩＦ：Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ）を有する。

監視システム１００は、ディスプレイ１３０、および警報器１４０を備える。本実施形態ではディスプレイ１３０をたとえば工場の監視ルームに設置するために制御部１２０とは分離させて設けることができる。もちろん制御部１２０と一体化させても良い。また、ディスプレイ１３０と警報器１４０も、監視する環境によっては一体化させても良い。警報器１４０は、たとえば、音、フラッシュライトや回転灯などの光、そのほか人が認知できるような方法で警報を発する。なお、監視システム１００は、警報器１４０による警報に代えて、他の処理を行わせるようにしてもよい。他の処理とは、たとえば赤外線カメラ１０４とライダー１０２から得られた画像の録画を開始する処理である。録画が開始されることで、重複領域内の物体の動きやディスプレイ１３０の表示を確実に記録しておくことができる。また、他の処理としては、たとえば、ロボット、工作機械、搬送車などの自動機械の停止などがある。

本実施形態では、ライダー１０２および赤外線カメラ１０４が一体化された場合を例示した。しかし、ライダー１０２および赤外線カメラ１０４が分離して設置され、それぞれが制御部１２０に専用線またはネットワークを介して接続するようにしても良い。ただし、ライダー１０２および赤外線カメラ１０４が分離している場合は、ライダー１０２が走査する範囲と赤外線カメラ１０４が撮影する範囲を重複させる。

また、制御部１２０は、専用のコンピューターではなく汎用のコンピューターを用いても良い。また、逆に、赤外線カメラ１０４、ライダー１０２、および制御部１２０が一体化されていてもよい。また、制御部１２０は、ここではＣＰＵやＲＡＭ、ＲＯＭを主体とした形態として示したが、たとえば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ
Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの集積回路によって構成されていてもよい。

監視システム１００の動作を説明する。監視システム１００の動作は、大別して、初期設定動作と監視動作である。

（初期設定動作）
初期設定動作について説明する。図２は、ライダー１０２が第１領域を走査することによって得られた距離画像を説明するための説明図である。図３は、赤外線カメラ１０４が第２領域を撮影して得られた赤外線画像を説明するための説明図である。図４は、図２の距離画像および図３の赤外線画像を単純に重ね合わせた例を説明するための説明図である。なお、図２と図３では、同一の領域（空間）をとらえている。

ライダー１０２は、図２に示すように、第１領域に存在する物や人などの物体ｏｂ１～ｏｂ４や地面（室内においては床。以下同様）ｇｒなどからの反射光から（空などの反射しない部分では無限遠となる。以下同様）、図に示すような３次元座標系による距離画像Ｉｍ１を出力する。この距離画像Ｉｍ１は３次元の点群データによって構成された画像であり、図のような３次元座標系（Ｘ１、Ｙ１、Ｚ１）を有している。したがって、距離画像Ｉｍ１を構成する各点は、Ｘ、Ｙ、およびＺ軸からなる３次元座標系において位置が特定される。なお、ここで、物体ｏｂ１～ｏｂ３は人であり、ｏｂ４は後述する特定温度物体となる物体である。

赤外線カメラ１０４は、図３に示すように、第２領域に存在する物や人などの物体ｏｂ１～ｏｂ４や地面ｇｒなどから放射されている赤外線をとらえ、図に示すような赤外線画像Ｉｍ２を出力する。この赤外線画像Ｉｍ２において物体ｏｂ１～ｏｂ４はいずれも周辺温度（ここでは地面ｇｒや背景などの温度）より温度の高い物体である。赤外線画像Ｉｍ２を構成する各画素は、Ｘ軸およびＹ軸からなる２次元座標系において位置（座標値）が特定される。

このように距離画像Ｉｍ１は３次元座標系（Ｘ１、Ｙ１、Ｚ１）を有し、赤外線画像Ｉｍ２は２次元座標系（Ｘ２、Ｙ２）を有している。このままでは両者の座標系が合っていないため、これらを単純に重ね合わせると、図４に示すように、本来、同じ位置にある物体ｏｂ１～ｏｂ４がずれてしまう。

そこで、２次元座標系（Ｘ２、Ｙ２）のＸ軸とＹ軸を３次元座標系（Ｘ１、Ｙ１、Ｚ１）のＸ軸とＹ軸に対応させるための処理を行う。このような処理をここでは座標変換といい、対応させるために必要となる係数を座標変換係数という。初期設定動作は、この座標変換係数を算出するための動作である。

座標変換係数の算出は、次のようにして行う。図５は、座標変換係数算出のための処理手順を示すフローチャートである。図６および７は座標変換係数算出の説明図である。この座標変換係数算出（初期設定動作）の処理は制御部１２０が座標変換係数算出のためのプログラムを実行することで行われる。

まず、制御部１２０は、ライダー１０２が重複領域となる部分を含む第１領域を走査して出力した距離画像Ｉｍ１を取得する（Ｓ１）。ライダー１０２が走査する第１領域には、あらかじめ少なくとも２点の基準点となる物体を設置しておく。

ここでは、基準点として棒の頭（先端）に、たとえば白熱電球やヒーターなどの発熱体や、赤外線ＬＥＤなど赤外線放射物体を取り付けている。

基準点は静止物であることが好ましいが、既に説明したように、ライダー１０２の走査時刻と赤外線カメラ１０４の撮影時刻を一致（同期）させていれば動体に基準点を設定してもよい。

取得した距離画像例を図６に示した。図示するようにこの距離画像Ｉｍ１においては、画像上での基準点Ｐ１およびＰ２として写っている。

続いて、制御部１２０は、赤外線カメラ１０４が重複領域となる部分を含む第２領域を撮影して出力した赤外線画像Ｉｍ２を取得する（Ｓ２）。取得した赤外線画像例を図７に示した。図示するようにこの赤外線画像Ｉｍ２においては、基準点ＰＰ１およびＰＰ２が写っている。これは、設置した基準点となる棒の先端に赤外線放射体が取り付けられているので、この部分が赤外線画像Ｉｍ２では輝度（階調値）の高い部分となる。なお、Ｓ１とＳ２の処理順番は逆でもよい（同時でもよい）。

続いて、制御部１２０は、得られた赤外線画像Ｉｍ２の２次元座標系を距離画像Ｉｍ１の３次元座標系へ合わせるための変換係数を算出する（Ｓ３）。距離画像Ｉｍ１と赤外線画像Ｉｍ２とは同じ領域（空間）を走査また撮影して得られた画像である。このため両者の画像に存在する物体の実物の大きさや距離（基準点間の距離）は同じである。しかし、それらの画像では、走査や撮影する機材が異なるために画像ごとに縮尺が異なる。このため両者を単純に重ね合わせると（図４参照）、物体の位置がずれたり、大きさが違ったりしてしまうのである。

赤外線画像Ｉｍ２の２次元座標系を距離画像Ｉｍ１の３次元座標系へ合わせるためには、両者の座標系の縮尺が同じになるように変換すればよい。ここでは、赤外線画像Ｉｍ２のＸ軸およびＹ軸の縮尺を距離画像Ｉｍ１のＸ軸およびＹ軸に合わせることにした。このために基準点を２つ設けた。

具体的には、まず、距離画像Ｉｍ１に写っている基準点Ｐ１およびＰ２の画像内におけるＸ軸およびＹ軸方向の距離を求める。Ｐ１とＰ２のＸ軸方向の距離をΔ（Ｐ１－Ｐ２）ｘとする。同様に、Ｐ１とＰ２のＹ軸方向の距離をΔ（Ｐ１－Ｐ２）ｙとする。

同様にして、赤外線画像Ｉｍ２に写っている基準点ＰＰ１およびＰＰ２の画像内におけるＸ軸およびＹ軸方向の距離を求める。たとえば、ＰＰ１とＰＰ２のＸ軸方向の距離をΔ（ＰＰ１－ＰＰ２）ｘ、ＰＰ１とＰＰ２のＹ軸方向の距離をΔ（ＰＰ１－ＰＰ２）ｙとする。

そして、Ｘ軸、Ｙ軸の変換係数を求める。Ｘ軸の変換係数をαｘとすると、αｘ＝Δ（Ｐ１－Ｐ２）ｘ／Δ（ＰＰ１－ＰＰ２）ｘとなる。Ｙ軸の変換係数をαｙとすると、αｙ＝Δ（Ｐ１－Ｐ２）ｙ／Δ（ＰＰ１－ＰＰ２）ｙとなる。

このように、本実施形態では、赤外線画像Ｉｍ２の２次元座標系を距離画像Ｉｍ１の３次元座標系へ変化するために、Ｘ軸およびＹ軸のそれぞれの変換係数を求めている。得られた変換係数は、ＲＡＭ１２３またはＨＤＤ１２４に記憶しておく。

なお、基準点の数は、特に限定されない。また、座標変換のために基準点を重複領域となる空間に設置するのではなく、空間に存在している物体を基準点としてもよい。たとえば、画像内で見分けやすいように物体の角などを基準点として指定する。ただし、基準点とする物体は、赤外線画像内に基準点を写り込ませるために、基準点は赤外線放射物体である必要がある。

変換係数を求めた後、座標変換係数算出（初期設定動作）の処理は終了する。以降は、この変換係数を用いて、赤外線画像における２次元座標系（Ｘ－Ｙ）にある物体の座標値（または画面全体）を距離画像における３次元座標系のＸ－Ｙ平面と同じ座標系に変換することができる。

また、この初期設定動作においては、赤外線カメラ１０４の画像の歪みの補正も行っている。赤外線カメラ１０４は、通常のカメラ同様にレンズを使用している。このため、どうしてもレンズの端とレンズの光学的な中心との屈折率のわずかな違いから、画像に歪みが出てしまう。このような歪みによって、仮に、同じ物体が同じ距離にあったとしても、それを撮影した赤外線画像では、周辺部に写った場合と中央部に写った場合とで、大きさや位置が微妙に違ってしまうことになる。

そこで、このようなレンズ起因の赤外線画像における歪みも初期設定動作において補正する。補正動作自体は、レンズの設計データから得られるレンズ全体の屈折率などから画像を補正してもよい。また、上述した座標変換に用いた基準点が赤外線画像の中央部に来るように撮影した赤外線画像と、周辺部に来るように撮影した赤外線画像とを用いて、両者の赤外線画像を比較して基準点の位置や基準点間距離の違いから補正するようにしてもよい。

もちろん、この歪みのないレンズ中央部のみ使用するようにして補正は行わないようにしてもよい。この場合、たとえば、赤外線カメラ１０４において、歪みが発生しないレンズ中央部に写る範囲がライダー１０２の走査範囲となるように調整する（または、赤外線カメラ自体の構成として、大口径のレンズを使用し、歪みが発生しないレンズ中央部だけからの光を赤外線撮像素子（ボロメーター）で受けるようにする）。

この座標変換係数算出（初期設定動作）の処理は、所定の時期、たとえば、監視システム１００を現場に設置する時、定期的なメンテナンス時、またはユーザーが決めた任意な時期（不具合の発見時など）に行う。

なお、ここでは、３次元座標系も２次元座標系も、直交座標系を用いたが、極座標系を用いてもよい。

（監視動作）
監視動作について説明する。図８は、制御部１２０による監視動作の処理手順を示すフローチャートである。以下の説明において現在フレームとは現在時点で取得したフレームをいい、前フレームとは、時系列的に現在フレームに対して１つ前のフレームをいう。なお、この手順は、繰り返し処理を含むため、説明の都合上、後から行われる段階の処理の結果を使用した処理を先に説明することがある。

ここでは、ライダー１０２の走査間隔と赤外線カメラ１０４の撮影間隔は同期させている。

まず、制御部１２０は、ライダー１０２から現在時点の１フレーム分の距離画像を取得し、赤外線カメラ１０４から同じく現在時点の１フレーム分の赤外線画像を取得する（Ｓ１１）。なお、距離画像と赤外線画像を取得する順番はどちらが先でもよい（同時でもよい）。

続いて、制御部１２０は、背景差分法を用いて、距離画像内で検出される物体をクラスタリングする（Ｓ１２）。背景差分法は周知のように、あらかじめ背景画像として登録してある画像と、取得したフレームの画像（ここではＳ１１で取得したフレームの画像）を比較して、背景画像と異なる部分があれば、その部分を新たに出現した物体として検出する。背景画像は、ライダー１０２によって走査する範囲（第１領域の空間）に、物体がない状態で走査して取得した距離画像を記憶しておくとよい。背景画像は、たとえばＨＤＤ１２４に記憶して、ＲＡＭ１２３に読み出して使用する。

クラスタリングは、検出した物体をその後の処理において追跡しやすいようにするためであり、周知の方法を用いることができる。たとえば、クラスタリングは、検出した物体の画素数や３次元座標系における座標値から得られる物体の大きさなど（物体の３次元座標系内におけるＸ，Ｙ，Ｚ各方向の長さや、面積、体積など）によって、距離画像内で、各物体を一塊のクラスターにする。各クラスターは、その位置として、たとえば、クラスター中心の座標値やクラスター外形線の座標値などをＲＡＭ１２３に記憶する。

続いて、制御部１２０は、クラスタリングされた物体について動体追跡を行う（Ｓ１３）。動体追跡は、現在フレームの距離画像でクラスタリングした物体と同じクラスターの物体が前フレームにあったか否かを検索する。そして、前フレームに同じクラスターの物体があれば、その物体の前フレームの位置と現在フレームの位置を比較して、その物体の移動距離、移動方向、および速度（速度は距離をフレーム間の時間で除することで得られる）を求める。これにより、物体ごとに移動距離、移動方向、および速度がわかるので、これらを物体ごとにＲＡＭ１２３に記憶する。また、前フレームには存在しないが現在フレームで検出された物体があれば、その物体は現在フレームにおいて出現した物体として、ＲＡＭ１２３に座標値（位置）を記憶する。

なお、物体の移動距離、移動方向、および速度を使った処理については後述するが、これらを使用しなければ、Ｓ１３の処理は行わなくてもよく、クラスタリングと共に現在フレームにおける物体の３次元座標系の座標値（位置）求めるだけでもよい。

続いて、制御部１２０は、赤外線画像内で周辺（地面や背景など）より温度の高い部分と距離画像内で検出された物体とを対応付ける（Ｓ１４）。赤外線画像は、様々な温度物体から放射されている赤外線を撮影したものである。このため、赤外線画像から、撮影した領域（ここでは第２領域）の温度分布がわかる。そして、既に説明したように、赤外線画像内の物体と距離画像内の物体とは座標変換によって対応させることができる。

具体的には、制御部１２０は、赤外線画像において周辺より温度の高い部分（たとえば図３に示したｏｂ１～ｏｂ４）を占める画素の２次元座標系の座標値を抽出する。たとえば、２次元座標系における１つの画素の座標値を（ｘ１，ｙ１）とすると、既に求めている変換係数αｘ，αｙを用いて変換すると、（αｘ×ｘ１，αｙ×ｙ１）となる。他の各画素についても同じ変換をする。

なお、このような画像変換は、赤外線画像において周辺より温度の高い部分を示している画素だけ、すなわち、画素の階調値が０以外、またはあらかじめ決められた閾値以上の画素を変換してもよいし、赤外線画像のすべての画素を変換してもよい。

そして、制御部１２０は、変換後の座標値の画素と重なる距離画像内の物体とを対応付けする。このとき、制御部１２０は、距離画像内の物体として示されている点群データの座標値の範囲と、変換後の温度の高い部分の座標値の画素とが少しでも重なっていれば、赤外線画像内の温度の高い部分と距離画像内の物体とが対応しているものとする。

これは、高温物体の場合、物体からの輻射熱によって床面やその物体の周辺も熱くなり物体の周辺からも赤外線が放射されていることがある。このような場合、赤外線カメラで撮影した赤外線画像には、高温物体と共にその周辺も温度が高い部分として写る。また逆に、人のような物体を赤外線カメラで撮影した赤外線画像には、顔は温度の高い部分として写り、身体は顔よりも低温の部分として写る。これらの場合、赤外線画像内での温度の高い部分の大きさと、ライダーから取得した距離画像内の物体の点群（実際の物体の大きさ）の大きさとは一致しないことがある。そこで、本実施形態では、赤外線画像中における温度の高い部分と距離画像内の物体とで一部でも重なる部分があれば、それらは対応するものとしたのである。なお、重なりの割合に限定はない。たとえば、人の場合、衣服から肌の露出の程度によって異なるものの、温度が高く写る部分（顔など）は人全体に対して１～２０％程度であるので、１％以上重なりがあれば、対応するものとする。

対応付けした各物体には、その対応付けした温度をその物体の温度としてＲＡＭ１２３に記憶しておく。なお、一つの物体の範囲内で温度分布があるような場合、たとえば、人の顔部分は身体より高い温度となり、人全体として温度分布がある。このような場合には、その温度分布のなかの最高温度をその物体全体の温度として記憶するとよい（この記憶した温度は後述する画像表示の際に使用する）。

続いて、制御部１２０は、ディスプレイ１３０に赤外線画像を元にして、物体に温度と距離に応じた色を付けてディスプレイ１３０に表示させる（Ｓ１５）。このときの表示は、赤外線画像（２次元座標系）を基にしており、そのなかに、距離画像（３次元座標系）から得られた物体の位置がわかるように、赤外線画像内の物体の位置に相当する部分に枠線を描いて表示させる。赤外線画像における物体の位置は、すでに説明した座標変換によって、距離画像内のある物体について、その３次元座標系のＸ－Ｙ平面の座標を赤外線画像の座標に変換することで得られる。枠線は、クラスターとなっている物体では、３次元座標系の距離画像のＸ－Ｙ平面におけるクラスターの外形を抽出して、抽出した外形の座標値に合わせて、枠線を表示させる。

物体に付ける枠線は第１の関連情報像であり、このような枠線を付けることで、視覚的に物体の存在がわかりやすくなる。特に動体については、物体が動いているため画面から視線を離したあとに見失うこともあるが、このように枠線を付けておくことで、わかりやすくなる。なお、第１の関連情報像としては、枠線に限らず、たとえば、物体を指し示す矢印や三角印などでもよい。また、枠線などと共に、物体までの距離や温度などの数値を表示させてもよい。

さらに、この表示の際には、表示される物体に、位置の情報および温度の情報を基に色付けする。位置の情報は、ライダー１０２から得られる３次元座標系の距離画像から得られる情報である。ここでは上述の枠線（第１の関連情報像）もその一つであるが、さらに監視部１１０の設置位置（すなわちライダー１０２の設置位置）からの距離に応じて物体に付ける色を変えている。

一方、温度の情報は、２次元座標系の赤外線画像から得られる温度であり、この温度の情報によっても物体に付ける色を変えている。

これらにより、物体には、位置の情報と温度の情報に基づいて色分け表示がなされる。具体的にはたとえば、温度が低い方から高い方へ青、黄、赤などの色とする。さらに、監視部１１０からの距離が近いほど色の明度を高くし（すなわち表示する画素の階調値を高くし）、遠いほど色が明度を低く（表示する画素の階調値を低く）する、などである。

図９は、表示例を示す画面例図である。表示される色を（Ｒ，Ｇ，Ｂ）の階調値として、各色０～２５５とする。図において、高温の物体（後述の特定温度物体となる物体）ｏｂ４は、温度が高いが距離が遠いので中程度の明度の赤（１５０，０，０）で表示する。特定温度物体ｏｂ４以外の物体ｏｂ１～ｏｂ３は人であり、特定温度物体ｏｂ４に比べて温度が低いので、黄色に近い色で、さらにそれぞれの距離に応じてそれらの色の明度が異なるように表示する。たとえば、最も近い物体ｏｂ１は明るい黄色（２２４，２５０，０）、中くらいの距離にある物体ｏｂ２は中くらいの明るさの黄色（１８０，１９０，０）、最も遠い物体ｏｂ３は暗い黄色（１００，１２０，０）で表示される。このとき物体の範囲内、すなわち、１の物体にクラスタリングされた位置（画素）に対応する赤外線画像に温度分布がある場合は、前述の物体全体の温度として記憶した温度で、物体全体に同じ色を施す。これにより、人など部分的に温度が高いような物体でも、画面を見て認識しやすくなる。また、物体ｏｂ１～ｏｂ４には、その温度にかかわらず、上述のとおり、物体であることを示す枠線ｆｂが付けられて表示される。このため、物体であることがわかりやすくなり、特に動体の視認性が向上する。

続いて、制御部１２０は、赤外線画像のなかに特定温度部分があるか否かを判断する（Ｓ１６）。特定温度部分とは、所定の温度範囲（所定の温度以上とする場合を含む）となっている部分である。たとえば、監視対象として人に危害が及ぶような温度の物体に人が近付かないように監視し、近付いた場合に警報するような場合は、特定温度部分となる所定の温度範囲としては５０℃以上を設定する（この場合、上限はたとえば赤外線カメラの各画素が飽和する温度でよい）。もちろん、特定温度部分とする温度範囲を何度にするかは任意であり、監視対象の物体（たとえば人に危害を及ぼす高温物体）の温度や環境（室内か室外かなど）の温度などにより決めればよい。

ここで、特定温度部分がなければ、制御部１２０は、次のフレームを取得するためにＳ１１へ戻る（Ｓ１６：ＮＯ）。なお、詳細は図示省略したが、Ｓ１２において物体が検出されない場合、当然のことながらＳ１４での対応付けは行われず、Ｓ１５では物体が存在しない画面が表示され、その後Ｓ１６でＮＯとなってＳ１１へ戻り、処理を継続することになる。また、Ｓ１６でＮＯと判断された場合は、後述する警報領域を設定したことを示すデータがあれば、クリアして警報領域が設定されてないことを示すようにしておく（これは後述するＳ１７の処理で必要となる）。

制御部１２０は、特定温度部分を検出したなら（Ｓ１６：ＹＥＳ）、続いて、制御部１２０は警報領域が既に存在しているか否かを判断する（Ｓ１７）。ここで警報領域の有無は、後述するＳ１９において警報領域を設定した際に記憶させる、警報領域が設定された旨のデータを確認することで判断する。ここで既に警報領域が設定されている場合はＳ２０へ進むことになる。Ｓ２０の処理は後述する。

Ｓ１７において、警報領域が存在しなければ（Ｓ１７：ＮＯ）、制御部１２０は、距離画像（３次元座標系）内の物体のうち、Ｓ１６で検出した特定温度部分に対応した物体を特定温度物体として特定する（Ｓ１８）。この段階では、既に、距離画像内の物体はクラスタリングされ、かつ、周辺温度よりも温度の高い部分と対応付けされている。そして動体の場合は動体追跡されている（上述のＳ１２～Ｓ１４）。このため、このＳ１８では、赤外線画像のなかから特定温度部分を検索して、それに対応している物体の座標値（位置）を特定すればよい。

しかし、このとき、特定温度部分にＳ１３で動体追跡されている物体または現在フレームで新たに出現した物体と対応付けできない場合がある。たとえば、背景画像を取得（記憶）した時点では、低温であったが、その後温度が高くなったような静止物（移動しない物体）である。このような場合は、Ｓ１３に背景画像のなかに存在している何らかの物体（背景差分法では検出できない物体）が発熱したものとして、Ｓ１１で取得した３次元座標系の距離画像のなかから、Ｓ１２で物体として検出されていない静止物（以下単に静止物という）と特定温度部分を対応付ければよい。このとき、その静止物の座標値を特定温度物体の座標値としてＲＡＭ１２３に記憶する。

このような事例は、たとえば、第１領域内にボイラー（移動しない接地型のもの）があった場合、背景画像取得時にも当然にボイラーは写っている。このため背景差分法では、ボイラーをＳ１２において物体とは検出できない。一方、背景画像取得時に停止していたボイラー、監視動作中のある時点から稼働し始めて熱くなると、特定温度部分として赤外線画像に写ることになる。このような事例では、上記のとおり、静止物であるボイラーを示している点群データに特定温度部分を対応付けすれば、以後、静止物であるボイラーも特定温度物体として認識できる。

続いて、制御部１２０は、特定温度物体ｏｂ４の周囲に警報領域を設定する（Ｓ１９）。この警報領域の大きさは、特定温度部分を検出した赤外線画像から特定温度部分の温度（特定温度物体ｏｂ４内で温度分布がある場合は特に高い温度の部分）を特定し、その温度に応じて警報領域の大きさを可変とする。

図１０は特定温度物体を説明するための説明図である。図１０は、３次元座標系の距離画像と座標変換後の２次元座標系の赤外線画像とを重ね合わせて示している。図１０に示すように、特定温度物体は、たとえば、その形状の端部の座標値（ｘ、ｙ、ｚ）で示すと、（ｘｍｉｎ，ｙｍｉｎ，ｚｍｉｎ），（ｘｍａｘ，ｙｍｉｎ，ｚｍｉｎ），（ｘｍａｘ，ｙｍａｘ，ｚｍｉｎ），（ｘｍｉｎ，ｙｍａｘ，ｚｍｉｎ），（ｘｍｉｎ，ｙｍｉｎ，ｚｍａｘ），（ｘｍａｘ，ｙｍｉｎ，ｚｍａｘ），（ｘｍａｘ，ｙｍａｘ，ｚｍａｘ），（ｘｍｉｎ，ｙｍａｘ，ｚｍａｘ）となる。ここでは、特定温度物体は接地している物体であるので、３次元座標系のＹ軸の原点（０）を地面（床面）に取れば、Ｙ軸方向の下端（ｙｍｉｎ）は０（ゼロ）となる。

図１１および１２は、特定温度物体の周囲に設ける警報領域を説明するための説明図である。ここでは、３次元座標系における特定温度物体の周囲のみ示した。図１１は特定温度物体の温度Ｔ１の場合であり、図１２は特定温度物体の温度Ｔ２の場合である。ここではそれぞれの温度はＴ１＜Ｔ２である。そして警報領域を設定するための所定距離を温度に対応させて距離Ｄ１＜Ｄ２としている。

特定温度物体の温度がＴ１の場合は、図１１に示すように、警報領域ｍ１は、特定温度物体ｏｂ４の周囲に特定温度物体ｏｂ４の外周から所定距離Ｄ１の範囲となるように設定する。具体的には、警報領域ｍ１は、特定温度物体ｏｂ４の外周端の座標値からＸ，Ｙ，Ｚ各軸について、いずれも距離Ｄ１の範囲を設定する。したがって、警報領域ｍ１を座標値（ｘ、ｙ、ｚ）で示すと（ｘｍｉｎ－Ｄ１，ｙｍｉｎ－Ｄ１，ｚｍｉｎ－Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍｉｎ＋Ｄ１，ｚｍｉｎ＋Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍｉｎ＋Ｄ１），（ｘｍｉｎ＋Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍｉｎ＋Ｄ１），（ｘｍｉｎ－Ｄ１，ｙｍｉｎ－Ｄ１，ｚｍａｘ＋Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍｉｎ－Ｄ１，ｚｍａｘ＋Ｄ１），（ｘｍａｘ＋Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍａｘ＋Ｄ１），（ｘｍｉｎ－Ｄ１，ｙｍａｘ＋Ｄ１，ｚｍａｘ＋Ｄ１）の範囲となる。ただし、ここでは前記のとおり特定温度物体は接地している物体であるので、Ｙ軸を原点（０）とすれば、Ｙ軸のマイナス方向に警報領域を設定する必要はない。このため、各座標値のなかのｙｍｉｎ－Ｄ１＝０となる。

また、特定温度物体ｏｂ４の温度がＴ２の場合は、図１２に示すように、警報領域ｍ２は特定温度物体ｏｂ４の周囲に特定温度物体ｏｂ４の外周から所定距離Ｄ２の範囲となるように設定する。具体的には、警報領域ｍ２は、特定温度物体ｏｂ４の外周端の座標値からＸ，Ｙ，Ｚ各軸について、いずれも距離Ｄ２の範囲である。したがって、警報領域ｍ２を座標値（ｘ、ｙ、ｚ）で示すと（ｘｍｉｎ－Ｄ２，ｙｍｉｎ－Ｄ２，ｚｍｉｎ－Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍｉｎ＋Ｄ２，ｚｍｉｎ＋Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍｉｎ＋Ｄ２），（ｘｍｉｎ＋Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍｉｎ＋Ｄ２），（ｘｍｉｎ－Ｄ２，ｙｍｉｎ－Ｄ２，ｚｍａｘ＋Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍｉｎ－Ｄ２，ｚｍａｘ＋Ｄ２），（ｘｍａｘ＋Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍａｘ＋Ｄ２），（ｘｍｉｎ－Ｄ２，ｙｍａｘ＋Ｄ２，ｚｍａｘ＋Ｄ２）の範囲となる。ただし、ここでは前記のとおり、特定温度物体は接地している物体であるので、Ｙ軸を原点（０）とすれば、Ｙ軸のマイナス方向に警報領域を設定する必要はない。このため、各座標値のなかのｙｍｉｎ－Ｄ２＝０となる。

このように本実施形態では、特定温度物体の温度が高い方が警報領域の範囲が広くなるように設定している。このような温度と所定距離との関係は、たとえば、あらかじめＨＤＤ１２４に温度対所定距離のテーブルデータなどとして記憶しておいて、ＲＡＭ１２３に読み出して使用するとよい。そして処理の際に、Ｓ１９において赤外線画像から検出された特定温度部分の温度からテーブルデータを参照して所定距離を抽出する。そして抽出した所定距離分離した警報領域を設定する。

Ｓ１９においては、警報領域を設定後、警報領域を設定したことを示すデータをＲＡＭ１２３に記憶しておく。

なお、上記説明では、特定温度物体が接地している（地面（床面を含む）に着いている）場合を例に説明したが、たとえば、特定温度物体が空中にある場合（たとえば、特定温度物体が吊り下げ搬送などされているような場合）、特定温度物体の下面（Ｙ軸のマイナス方向）にも広がるように警報領域を設定する。ただし、この場合も、Ｙ軸の原点を地面とすれば、ｙｍｉｎ－Ｄ２が０より小さくなる場合は０にしてよい。

また、ここでは、特定温度物体が３次元座標系で直方体となっている場合を例に説明したが、特定温度物体の形状は直方体に限らず、その他の形状であってもよい。その場合、警報領域は、特定温度物体の形状に合わせて、特定温度物体の外周から所定距離（Ｄ１、Ｄ２など）の範囲として設定すればよい。

また、ここでは、警報領域は、特定温度物体の外周端から所定距離（Ｄ１、Ｄ２など）の範囲として設定したが、これに代えて、たとえば、特定温度物体の中心から所定距離（ただし所定距離は特定温度物体の中心から外形までの距離より長い）の範囲としてもよい。これにより球体やそれに近い形状の場合に、クラスタリングした特定温度物体のクラスター中心から球体の範囲を警報領域として設定すればよいので、計算が容易になる（処理の高速化を図れる）。

また、たとえば、特定温度部分として温度分布があるような場合に、特定温度物体のなかで最も温度の高い部分に対応する位置から所定距離の範囲としてもよい。これにより、特定温度物体のなかで、温度分布があるような場合でも、高温部分を中心にして警報領域を設定することができる。

このように警報領域を特定温度物体から一定の距離または温度に応じた距離離すように設定することで、特定温度物体が動体の場合に、その移動に合わせて警報領域も移動させることができる（後述Ｓ２０参照）。

なお、警報領域はこのような設定方法以外にも、たとえば、特定温度物体が移動しないことがわかっている場合（上記静止物の場合）や、移動する範囲がわかっている場合には、それらに合わせて、特定温度物体の周囲に、固定された所定距離の範囲を警報領域としてもよい。このような固定された警報領域を設定する場合、たとえば、特定温度物体が動体であれば、所定距離は、移動しない方向は短く、移動する方向は長くしてもよい。

フローチャートに戻り説明を続ける。警報領域の設定後、制御部１２０は、特定温度物体ｏｂ４および警報領域ｍ１（またはｍ２）を色分けまたは線種分けした枠や線、または印を付けて表示させるように、ディスプレイ１３０に表示される画面を更新する（Ｓ２１）。このとき警報領域を示す枠線を第２の関連情報像とする。これにより、所定の温度範囲となっている物体（特定温度物体）が視覚的にわかりやすくなる。このため、特定温度物体に近付くような他の物体（人や物）がある場合にも、画面上で特定温度物体と他の物体との距離が把握しやすくなる。なお、第２の関連情報像としては、図示した枠線に限らず、たとえば、物体を指し示す矢印や三角印、さらに警報領域全体を薄く色付けするようなことでもよい（たとえば特定温度物体がその色から透けて見える程度の濃さ）。

続いて、制御部１２０は、特定温度物体と異なる、他の物体（人やそのほかの物など）が警報領域内にあるか否かを判断する（Ｓ２２）。この比較は、Ｓ１２でクラスタリングした物体（すなわち背景差分法で検出された物体）の、クラスターの外形の座標値と警報領域を示している座標値で囲まれた範囲を比較する。そして、他の物体のクラスターの外形の座標値が警報領域内に入っていれば、他の物体が警報領域内にあると判断する。

ここで、他の物体が警報領域内にあると判断されなければ（Ｓ２２：ＮＯ）、制御部１２０は、Ｓ１１へ戻り、次のフレームの各画像を取得し、その後の処理を継続する。

一方、他の物体が警報領域内にあると判断されたなら（Ｓ２２：ＹＥＳ）、制御部１２０は、警報器１４０に対して警報信号を出力する（Ｓ２３）。これにより、警報信号を受信した警報器１４０から警報音が鳴る。また、ディスプレイ１３０に、警報領域内に入ったと判断された物体（または物体を囲む枠や印など）を点滅させたり、画面全体の色を変えたり、点滅させたり、さらには、警告文を表示させたりして、視覚的にも警報が発せられていることがわかるようにするとよい。また、警報器１４０と合わせて、回転灯を点灯させたり、色分けされた積層表示灯の色を青から赤に変化させたり、その他のランプを点灯や点滅させたりするなど、様々な警報動作を行ってもよい。

その後、Ｓ１２へ戻り、処理を継続することになる。Ｓ２３からＳ１２へ戻って以降、特定温度部分が消失した場合（Ｓ１６：ＮＯとなった場合）、または、他の物体が警報領域から抜けた場合（Ｓ２２：ＮＯとなった場合）は、警報信号を止めるようにしてもよい。また、警報信号の出力後は、たとえば手動によって警報を切らない限り鳴り続けるようにしてもよい。

Ｓ２０の処理を説明する。Ｓ２０では、前フレームまでで既に警報領域が設定されている状態である。しかも、その時点で取得されている現在フレームにおいて動体追跡（Ｓ１３）も行われている。このため、特定温度物体が動体であれば、その移動距離、方向、および速度がわかっている。そこで、Ｓ２０においては、既に設定されている警報領域の座標値を、特定温度物体の移動距離および方向を用いて移動させる。これにより、前フレームまでで既に警報領域が設定されていたなら、特定温度物体が動体であっても、その移動に合わせて警報領域を移動させるだけでよい。このためＳ１８～Ｓ１９のように、現在フレーム内の特定温度物体の座標値から警報領域を設定するよりは、計算が簡単になる（処理の高速化を図れる）。

Ｓ２０の後は、制御部１２０は、Ｓ２１へ進み、移動させた警報領域などを表示させるように画面を更新し、以降の処理を継続する。

このようにして監視動作は、繰り返し処理として実行される。

上記説明では、特定温度物体の周囲にあらかじめ決められた所定距離の範囲を警報領域として設定することとした。これに代えて、特定温度物体と他の物体との相対距離および相対速度に応じて警報領域を設定するための所定距離の長さを変更するようにしてもよい。

物体の移動方向、および速度は、既に説明したように、Ｓ１３の段階で得られる。特定温度物体についても、Ｓ１３での動体追跡の値として判明している。また特定温度物体が静止物の場合でもその位置は判明している（Ｓ１８で特定温度物体として静止物を特定した場合）。

そこで、これらの移動方向および速度から、特定温度物体と他の物体とが相対的に接近する方向に移動している場合で、かつ相対速度（接近速度）が速い場合には、既に設定されている警報領域を広げる。これにより、特定温度物体と他の物体のうち、少なくともいずれか一方が動体の場合に、特定温度物体の温度だけではなく、それらの移動速度なども考慮していち速く警報信号を出すことができる。

以上説明した実施形態１によれば、以下のような効果を奏する。

本実施形態１では、ライダーからの距離画像から物体を検出し、赤外線カメラからの赤外線画像の温度分布を検出した物体に対応付けして、３次元座標系内の位置の情報および温度の情報を物体と共にディスプレイに表示させることとした。これにより、物体の位置と共にその物体の温度も視覚的にわかりやすくなる。

このように、本実施形態１では、視覚的に物体の位置と温度がわかることで、たとえば、高温の物体を扱うような現場においても、単純な危険温度での警報発報ではなく、高温の物体（たとえば特定温度物体）と他の物体との位置関係を含めた危険度の判断が実現できる。

しかも、本実施形態１では、物体の温度を検出できる２次元座標系の赤外線画像と、空間内の３次元的な位置を３次元座標系としてとらえるライダー１０２の距離画像との座標系を座標変換により合わせたうえで、赤外線画像からの温度と距離画像からの物体の位置（ライダー設置位置からの距離）を対応付けることとしたので、表示される画像内での位置と温度と、見た目の位置の違いもほとんどない。

また、物体の位置および温度の情報は、ライダー１０２から物体までの距離と温度に応じて、物体を色分けして表示させることとしたので、ディスプレイ１３０に映し出された画像から、視覚的、かつ直観的に物体の位置および温度がわかるようになる。これは、たとえば、物体の座標値および温度が数値として、画面に映っている物体とは別に表示されている場合のように、画面を見ているユーザーが一々物体と数値を対照する必要がなくなる。

また、動体に対しては、第１の関連情報像を付けて表示させることとしたので、移動している物体が視覚的にわかりやすくなる。

また、所定の温度範囲の温度と対応付けされた物体には第２の関連情報像を付けて表示させることとしたので、あらかじめ決められた温度範囲、たとえば、高温の物体が視覚的にわかりやすくなる。

また、この所定の温度範囲の温度を特定温度部分とし、それに対応付けされた物体を特定温度物体として、その周囲に警報領域を設けて、そのなかに物体が入った時には、警報させることとした。これにより温度の高い特定温度物体と他の物体との接近を確実にとらえて、安全を確保するための警報を出すことができる。

特に、特定温度部分は、たとえば人に危険があるような高い温度の部分とすることで、他の物体は、たとえば人である場合に、温度の高い物体と人との接近を未然に防ぐために警報することができる。

また、本実施形態では、Ｓ１３の動体追跡の後に、Ｓ１４において物体と温度との対応付けを行って、Ｓ１５で物体の色分け表示を行っている。このため背景差分法で一時的に検出されたが、その後動体追跡の段階では消えているような物体は、色分け表示させないようになっている。このため、動体のみ色分け表示されるので、動体の判別もし易くなる。

また、物体に温度を対応付ける際には、その物体の範囲内で温度分布がある場合、最高温度を対応付けることとした。これにより、たとえば高温物体の場合に最も危険な温度が視覚的にわかるようになる。

（実施形態２）
（監視システムの構成）
図１３は、実施形態２の監視システムの構成を示すブロック図である。図１４は、監視部の配置を示す鳥瞰図である。

実施形態２の監視システム２００は２台の監視部を備える。２台の監視部は、第１監視部２１１と第２監視部２１２である。第１監視部２１１と第２監視部２１２は同じ監視対象となる空間を別な方向から監視するように配置されている。第１監視部２１１と第２監視部２１２の内部構成は共に実施形態１同様であり、それぞれに赤外線カメラ１０４とライダー１０２を有する。

制御部２２０は、第１監視部２１１と第２監視部２１２を一度に制御すること以外、その構成は実施形態１と同じである。このため制御部２２０には、第１監視部２１１と第２監視部２１２が接続されている。その他の構成は、実施形態１を同じであるので、説明は省略する。

制御部２２０による座標変換動作および監視動作は、第１監視部２１１と第２監視部２１２ごとにそれぞれ行われるが、その処理手順は実施形態１と同じであるので、説明は省略する。

本実施形態２においては、表示処理の段階、すなわち、実施形態１で説明した監視動作の処理手順のうち、Ｓ１５およびＳ２１（Ｓ２３でディスプレイに警報を表示させる場合も含む、以下同様）の処理が実施形態１と異なる。

本実施形態２では、図１４に示したように、第１監視部２１１と第２監視部２１２が同じ領域（空間）をそれぞれ異なる方向から監視している。つまり、第１監視部２１１と第２監視部２１２のそれぞれのライダー１０２が走査する第１領域および赤外線カメラ１０４が撮影する第２領域は、それぞれ少なくとも一部が重複するように配置されている。そして、第１監視部２１１と第２監視部２１２は、異なる方向から重複する領域をとらえている。このため同じ物体であっても、見えている部分（面）が異なる。特に赤外線カメラ１０４によって検知される温度は、物体の面によって異なる場合がある。つまり、１つの物体であっても、ある面は温度が高く、他の面は温度が低い場合などである（温度が低い面とは、物体のある面が赤外線遮蔽物に覆われている場合も含む）。

たとえば図１４に示した物体ｏｂ５は一面ｈｏの温度が他の面ｃｏより高い。この場合、第１監視部２１１の赤外線カメラ１０４は温度の高い面ｈｏを撮影し、第２監視部２１２の赤外線カメラ１０４では温度の低い面ｃｏを撮影することになる。一方、それぞれのライダー１０２は同じ物体ｏｂ５をそれぞれの位置から走査して距離画像を出力している。

このような場合、同じ物体に対して、温度の低い物体として表示させるよりも、温度の高い物体として表示させた方が、その物体が持つ固有の温度が画面内でわかりやすい。そこで、本実施形態２では、表示処理の段階で、温度が高い面ｈｏをとらえている方の監視部（図１４においては第１監視部２１１）の画像をディスプレイ１３０に表示させるようにした。

このために、本実施形態２では、制御部２２０が表示処理段階であるＳ１５およびＳ２１（Ｓ２３）において、実施形態１とは異なる処理を行う。図１５は、実施形態２における表示処理段階（図８中のＳ１５およびＳ２１（Ｓ２３））の手順を示すサブルーチンフローチャートである。

まず、制御部２２０は、実施形態１同様に、第１監視部２１１から取得した距離画像と赤外線画像、および第２監視部２１２から取得した距離画像と赤外線画像のそれぞれを用いて、図８に示したＳ１１からの処理を同時並行的に実施する。

そして、Ｓ１５またはＳ２１（またはＳ２３）に処理が進むと、図１５に示したサブルーチンに移り、制御部２２０は、第１監視部２１１の赤外線カメラ１０４が撮影した赤外線画像内の最高温度を抽出し、これを第１画面温度Ｓｔ１とする（Ｓ３１）。

続いて、制御部２２０は、第２監視部２１２の赤外線カメラ１０４が撮影した赤外線画像内の最高温度を抽出し、これを第２画面温度Ｓｔ２とする（Ｓ３２）。なお、Ｓ３１とＳ３２の処理の順番は逆でもよい（同時でもよい）。

続いて、制御部２２０は、最高温度の高い方の画面を表示させる。ここでの処理は、Ｓｔ１≧Ｓｔ２か否かを判断する（Ｓ３３）。

ここで、Ｓｔ１≧Ｓｔ２であれば（Ｓ３３：ＹＥＳ）、制御部２２０は、第１監視部２１１側の画像をディスプレイ１３０に表示させる。表示される画像は、第１監視部２１１から取得した距離画像と赤外線画像を用いて、実施形態１で説明したとおり、物体に色や枠を付けて表示させる。

一方、Ｓｔ１≧Ｓｔ２でなければ（Ｓ３３：ＮＯ）、制御部２２０は、第２監視部２１２側の画像をディスプレイ１３０に表示させる。表示される画像は、第２監視部２１２から取得した距離画像と赤外線画像を用いて、実施形態１で説明したとおり、物体に色や枠を付けて表示させる。以上により本実施形態２におけるサブルーチンは終了するので、メインルーチン（図８および９に示したフローチャート）に戻ることになる。

なお、特定温度物体の検出、警報領域の設定、および警報領域内の他の物体の有無の検出、警報の各段階（Ｓ１８～２３）も、第１監視部２１１から取得した距離画像と赤外線画像、および第２監視部２１２から取得した距離画像と赤外線画像のそれぞれを用いて行われる。このとき、仮に、第１監視部２１１と第２監視部２１２のいずれか一方でしか警報領域の設定が行われない場合も、その警報領域に対する監視動作を実行して警報などを行うようにすればよい。

本実施形態２によれば、実施形態１の効果に加えて、以下の効果を奏する。

複数のセットの監視部（実施形態２では２台）を用いて監視動作を行う場合に、それぞれから取得した赤外線画像の内、より温度の高い部分をとらえている方の監視部の画像を使用して表示させることとした。これにより最高温度を有する温度の情報を物体と共に表示させることができる。たとえば人の場合、顔が向いた方をとらえた画像（通常、顔は後ろ姿の頭よりが温度が高い）をディスプレイ１３０に表示させることができる。

なお、本実施形態２では、２台の監視部としたが、さらに多くの監視部を設けてもよい。また、本実施形態２では２台の監視部に対して１つの制御部２２０でこれらを制御することとしたが、２台の監視部に対してそれぞれに制御部２２０を設け、画面表示の切り換えだけを行う画面切り替え専用の制御部（コンピューター）をさらに設けるようにしてもよい。

また、実施形態２においては、特定温度物体の検出、警報領域の設定、および警報領域内の他の物体の有無の検出、警報の各段階（Ｓ１８～２３）は、第１監視部２１１と第２監視部２１２のそれぞれ赤外線画像から、先に特定温度部分があるか否か判定して、以後、処理を特定温度部分を検出した方の距離画像と赤外線画像を用いて実行するようにしてもよい。

また、実施形態２においては、単に、距離と温度に基づいて色分け表示させた画像を、温度の高い面がわかるような画像として提供するだけとしてもよい。この場合、特定温度物体の検出、警報領域の設定、および警報領域内の他の物体の有無の検出、警報の各段階（Ｓ１８～２３）は行わなくてもよい。

以上本発明を適用した実施形態を説明したが、本発明は、これら実施形態に限定されるものではない。

たとえば、上述した実施形態では、特定温度部分を１つ検出した場合を例に説明したが、特定温度部分を複数検出した場合、それらに対応させて、複数の特定温度物体に対して、それぞれ第２の関連情報像を表示させるとよい。

また、たとえば、上述した実施形態では、赤外線画像の２次元座標系を距離画像の３次元座標系に変換する座標変換係数を初期設定として求めることとしたが、このような座標変換に代えて赤外線カメラの画角と、ライダーの走査によって得られる距離画像の画角が同じになるようにしてもよい。たとえば、赤外線カメラのレンズの焦点距離（または倍率）を変えるなどすることで赤外線カメラの画角を距離画像の画角に合わせる。このようにしても、赤外線画像の２次元座標系と距離画像の３次元画像内のＸ－Ｙ平面の座標系を同じにすることができる。

また、たとえば、上述した実施形態では、特定温度物体の周囲に警報領域を設定することとしたが、特定温度物体の検出後に、特定温度物体と他の物体との距離を逐一算出して、その距離が所定距離以下か否かを判断することで、警報信号を出力するようにしてもよい。

そのほか、本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

本出願は、２０１８年２月２２日に出願された日本国特許出願番号２０１８－０２９９２８号に基づいており、その開示内容は、参照により全体として組み入れられている。

１００、２００ 監視システム、
１０２ ライダー、
１０４ 赤外線カメラ、
１１０、２１１、２１２ 監視部、
１２０、２２０ 制御部、
１３０ ディスプレイ、
１４０ 警報器、
２１１ 第１監視部、
２１２ 第２監視部。

Claims (12)

1. 第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
   前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、
   前記ライダーから前記距離画像を取得し、取得した前記距離画像から物体を検出すると共に、前記赤外線カメラから前記赤外線画像を取得して、検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けして、前記物体の前記３次元座標系内の位置の情報および前記温度の情報を前記物体と共に表示させる画像を出力する制御部と、
   前記制御部からの前記画像を表示するディスプレイと、
   を有し、
   前記ライダーと前記赤外線カメラとが１台ずつで１セットの監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
   前記制御部は、前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる前記画像を出力する、監視システム。
2. 前記制御部は、
   前記位置の情報を、前記３次元座標系における前記ライダーから前記物体までの距離とし、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けた前記画像を出力する、請求項１に記載の監視システム。
3. 前記制御部は、
   前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けた前記画像を出力する、請求項１または２に記載の監視システム。
4. 前記制御部は、
   所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けた前記画像を出力する、請求項１～３のいずれか１つに記載の監視システム。
5. 前記制御部は、
   前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断し、前記動体であると判断された前記物体にのみ、前記温度の情報を付ける、請求項１～４のいずれか１つに記載の監視システム。
6. 前記制御部は、
   前記物体に対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、請求項１～５のいずれか１つに記載の監視システム。
7. 第１領域に向けてレーザー光を走査することによって得られた距離値の分布が３次元座標系で示された距離画像を出力するライダーと、
   前記第１領域と少なくとも一部の領域が重複する第２領域を撮影して２次元座標系で示された赤外線画像を出力する赤外線カメラと、を有する監視システムの制御方法であって、
   前記監視システムは、前記ライダーと前記赤外線カメラとが１台ずつで１セットの監視部を構成し、当該監視部を複数セット含み、当該複数セットの前記監視部それぞれの前記ライダーが走査する前記第１領域および前記赤外線カメラが撮影する前記第２領域は、それぞれ少なくとも一部が重複するように配置されていて、
   前記制御方法は、
   前記ライダーから前記距離画像を取得し、前記赤外線カメラから前記赤外線画像を取得する段階（ａ）と、
   取得した前記距離画像から物体を検出する段階（ｂ）と、
   検出した前記物体の位置に対応する温度を前記赤外線画像から得られる温度分布から対応付けする段階（ｃ）と、
   前記物体の前記３次元座標系内の位置の情報および前記温度の情報を前記物体と共にディスプレイに表示させる段階（ｄ）と、
   を有し、
   前記段階（ｄ）においては、
   前記複数セットの前記監視部それぞれから取得した赤外線画像の内、前記少なくとも一部が重複する領域内の最高温度を有する前記温度の情報を前記物体と共に表示させる、監視システムの制御方法。
8. 前記段階（ｄ）においては、
   前記位置の情報は、前記３次元座標系における前記ライダーから前記物体までの距離であり、前記位置および温度の情報として前記距離および前記温度に応じて生成した色を前記物体に付けて表示する、請求項７に記載の監視システムの制御方法。
9. 前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｅ）を有し、
   前記段階（ｄ）においては、
   前記動体であると判断された前記物体の周囲に前記動体であることを示す第１の関連情報像を付けて表示する、請求項７または８に記載の監視システムの制御方法。
10. 前記段階（ｄ）においては、
    所定の温度範囲内の前記温度に対応付けされた前記物体の周囲に、前記所定の温度範囲の前記物体であることを示す第２の関連情報像を付けて表示する、請求項７～９のいずれか１つに記載の監視システムの制御方法。
11. 前記ライダーから時系列に取得した複数の前記距離画像から前記物体が動体か否かを判断する段階（ｆ）を有し、
    前記段階（ｄ）においては、
    前記動体であると判断された前記物体にのみ、前記位置および温度の情報を付けて表示する、請求項７～１０のいずれか１つに記載の監視システムの制御方法。
12. 前記段階（ｃ）においては、
    前記物体に対応付ける前記温度は前記距離画像によって検出される物体の範囲内の最高温度である、請求項７～１１のいずれか１つに記載の監視システムの制御方法。

Images