JP5658372B2 - 監視装置、監視システム及び監視方法 - Google Patents

Description

本発明は、建物内の設備要素を監視する技術に関する。

監視装置を用いて建物内の設備要素を監視するにあたっては、建物内における監視装置の自己位置を推定する必要がある。

建物内では、ＧＰＳ（全地球測位システム）を利用することができないので、これに代わる自己位置推定方法が必要であり、そのような方法の一つとして、非特許文献１に開示される自立走行ロボットのための自己位置推定方法を利用することができる。

この方法によれば、特許文献１に開示されるようなレーザレンジファインダを用いて周囲の物体の形状や配置を計測し、計測結果と予め用意された地図とを照合（マッチング）することによって、自己位置を推定することができる。このような自己位置推定方法はスキャンマッチングと呼ばれる。

特開２００９−２３６７７４号公報

Sebastian Thrun, Wolfram Burgard, Dieter Fox, "Probabilistic Robotics", The MIT Press, 2005

しかしながら、非特許文献１が開示する方法では自己位置を推定することができるが、監視中の設備要素が何であるかを特定することができない。有用な監視のためには、自己位置の推定に加え、監視中の設備要素が何であるかを特定することが望ましい。

本発明の目的は、建物内の設備要素を監視する監視装置において、監視中の設備要素が何であるかを特定できるようにすることである。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、建物内の設備要素を監視する監視装置であって、前記監視装置の周囲の三次元形状を計測する三次元計測部と、計測された前記三次元形状を、前記設備要素以外の前記建物内の構造物の形状及び位置を含む自己位置推定用地図と照合することによって、前記監視装置の自己位置を推定する自己位置推定部と、推定された前記自己位置の周辺の設備要素を、前記建物内の設備要素の形状及び位置を含む設備要素照合用地図から抽出する周辺設備要素抽出部と、計測された前記三次元形状から設備要素候補の形状及び位置を抽出する設備要素候補抽出部と、前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素の形状及び位置と計測された前記三次元形状から抽出された前記設備要素の候補の形状及び位置との一致度を、前記自己位置の周辺の設備要素の形状及び位置の誤差分布及び計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置の誤差分布に基づき算出する一致度評価部と、算出された前記一致度に基づき、計測された前記三次元形状から抽出された前記設備要素候補の形状が前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素のいずれであるかを特定する設備要素特定部と、を備えたことを特徴とする監視装置が提供される。

本発明の代表的な実施形態によれば、自己位置を推定することができることに加え、監視中の設備要素が何であるかまで特定することができる。

第１実施形態における監視装置の外観構成図である。 図１のＡ矢視図である。 第１実施形態における監視装置及びサーバによって構成される監視システムのハードウェア構成を示すブロック図である。 第１実施形態における監視装置の論理的な構成を示す機能ブロック図である。 第１実施形態における設備要素特定部の詳細を示す機能ブロック図である。 第１実施形態における構造物ＣＡＤに格納されるデータの例である。 構造物ＣＡＤに格納されるデータから生成される自己位置推定用地図の例である。 第１実施形態における設備要素照合用地図の構成を説明する図である。 第１実施形態における設置誤差統計モデルの構成を説明する図である。 第１実施形態における標準温度データの構成を説明する図である。 第１実施形態における系統図データの構成を説明する図である。 第１実施形態における自己位置推定処理のフローチャートである。 第１実施形態における監視装置によって監視される設備要素の例である。 第１実施形態における自己位置推定処理を説明する図である。 第１実施形態における自己位置推定処理を説明する図である。 第１実施形態における自己位置推定処理を説明する図である。 第１実施形態における自己位置推定処理を説明する図である。 第１実施形態における設備要素特定処理のフローチャートである。 第１実施形態における設備要素特定処理を説明する図である。 第１実施形態における設備要素特定処理を説明する図である。 第１実施形態における設備要素特定処理を説明する図である。 第１実施形態における設備要素特定処理を説明する図である。 第１実施形態におけるディスプレイの画面表示例を示す図である。 第２実施形態における監視装置の論理的な構成を示す機能ブロック図である。 第３実施形態における監視装置の論理的な構成を示す機能ブロック図である。

以下、本発明の実施形態を図面を用いて説明する。

＜第１実施形態＞
本発明の第１実施形態では、本発明の典型的な例を説明する。

電力・配電設備、化学プラント等の設備要素の動作状況はＳＣＡＤＡ（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ Ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）等の監視システムで監視されることが多く、監視作業においては、監視中の設備要素と監視システムで管理されている設備要素との対応関係を高い信頼度でとることが要求される。

これは、計測された監視中の設備要素のある物理量に基づき当該設備要素の異常を判定するためには、当該設備要素が何であるかを特定し、正常か異常かを判定するための当該物理量の正常範囲をデータベースから取得する必要があるからである。また、異常が検知された場合には、当該設備要素に応じた適切な措置（現場における調査、修理等）をとる必要があるからである。

そこで、本発明の第１実施形態における監視装置は、監視装置の自己位置を推定するだけでなく、監視中の設備要素が何であるかまで特定する。さらに、計測された監視中の設備要素の物理量に基づき、当該設備要素の異常を判定する。

図１は、本発明の第１実施形態における監視装置１００の外観構成を示している。

監視装置１００は、本体１０１、センサ１０２〜１０５及び無線通信装置１０６を有する。監視作業中は、作業者が本体１０１を把持してセンサ１０２〜１０５を前方に向け、センサ１０２〜１０５によって監視装置１００の周囲を計測する。ここで、「建物」とは電力・配電設備、化学プラント等の建屋であり、「設備要素」とは、建物内部に設置される配管、ポンプ、バルブ等の要素である。

センサ１０２〜１０５は、本体１０１の正面に取り付けられている。センサ１０２〜１０５は、レーザレンジファインダ（「スキャナ式レンジセンサ」ともいう。）１０２、熱赤外線カメラ１０３、可視光カメラ１０４及び加速度センサ１０５を含む。

レーザレンジファインダ１０２は、レーザ照射部と受光部を有する。レーザレンジファインダ１０２は、回転式の反射鏡等を用いてレーザ照射部からのレーザビームを放射状に放射し、レーザビームが直近の物体の表面で反射して受光部まで戻ってくるまでの時間を計測することで、直近の物体までの距離を計測する。様々な方向について計測を行うことによって、レーザレンジファインダ１０２は監視装置１００の周囲の三次元形状を計測する。ここで「周囲」とは、監視装置１００を中心とした所定半径の領域（例えば、レーザレンジファインダ１０２によって距離を計測可能な範囲）を意味する。

熱赤外線カメラ１０３は、赤外線領域に感度分布を持つＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサで構成される。熱赤外線カメラ１０３は、監視中の設備要素からの放射熱の強度（又は波長）、すなわち、監視中の設備要素の温度を計測する。

可視光カメラ１０４は、可視光領域に感度分布を持つＣＣＤイメージセンサで構成される。可視光カメラ１０４は、監視中の設備要素の可視光画像を取得する。なお、熱赤外線カメラ１０３と可視光カメラ１０４とは一つのＣＣＤイメージセンサで構成することも可能である。

加速度センサ１０５は、半導体式の加速度計とジャイロスコープとで構成され、監視装置１００の３軸方向の加速度と３軸周りの回転加速度とを計測する。

無線通信装置１０６は、監視装置１００を外部のサーバ１２０と接続し、サーバ１２０とデータ（例えば、監視中の設備要素の設備ＩＤ、位置、温度、異常検知結果等）を交換するための装置である。無線通信装置１０６は、例えば、無線ＬＡＮの送受信モジュールである。

監視装置１００とサーバ１２０とは有線で接続されていてもよく、その場合、監視装置１００とサーバ１２０とは、有線ＬＡＮインターフェース、ＵＳＢ等のシリアルインターフェース等で接続される。また、監視装置１００とサーバ１２０とは、リアルタイムに通信してもよいし、必要に応じて通信してもよい。

本体１０１は、データ処理用のプロセッサ、データ記憶用のメモリ等を内部に有する。また、本体１０１は、図２に示すように、ディスプレイ２０１及びボタン類からなる操作部２０２を例えばその背面に有する。

サーバ１２０は、監視装置１００とデータを交換するための無線通信装置１２１を有する。無線通信装置１２１は、例えば、無線ＬＡＮモジュールである。

図３は、監視装置１００及びサーバ１２０によって構成される監視システム１のハードウェア構成を示すブロック図である。

監視装置１００は、プロセッサ３０１、メモリ３０２、記憶装置３０３、入力インターフェース３０４、出力インターフェース３０５及び無線通信装置１０６を有する計算機である。これらの構成３０１〜３０５及び１０６はバス３０６によって相互に接続される。プロセッサ３０１は、メモリ３０２に格納されたプログラムを実行する。

メモリ３０２は、ＤＲＡＭ等の揮発性の記憶装置で、プロセッサ３０１が実行するプログラムを格納する。具体的には、メモリ３０２は、図４に示す自己位置推定部４０１、設備要素特定部４０２、座標系補正部４０３、３Ｄマッピング部４０４、４０５、異常検知部４０６及び画像重畳部４０７を実装するためのプログラムを格納する。また、メモリ３０２は、オペレーティングシステム（ＯＳ）を格納する。プロセッサ３０１が、オペレーティングシステムを実行することによって、計算機の基本機能が実現される。

記憶装置３０３は、磁気ディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置で、プロセッサ３０１がプログラムを実行する時に使用するデータを格納する。具体的には、記憶装置３０３は、図４に示す自己位置推定用地図４１１、設備要素照合用地図４１２、設置誤差統計モデル４１３、設備ＣＡＤ座標系４１４、標準温度データ４１５及び系統図データ４１６を格納する。

なお、ここでは、メモリ３０２が、監視装置１００の機能部４０１〜４０７を実装するためのプログラムを格納し、記憶装置３０３が、機能部４０１〜４０７で使用されるデータ４１１〜４１６を格納するとして説明したが、機能部４０１〜４０７に対応するプログラムは記憶装置３０３に格納されており、プログラムを実行する時に記憶装置３０３から読み出されメモリ３０２にロードされる。また、データ４１１〜４１６も、プログラムが必要とする際に、記憶装置３０３から読み出され、メモリ３０２にロードされる。

入力インターフェース３０４には、センサ１０２〜１０５が接続される。出力インターフェース３０５にはディスプレイ２０１が接続される。

サーバ１２０は、プロセッサ３１１、メモリ３１２、記憶装置３１３、入力インターフェース３１４、出力インターフェース３１５及び無線通信装置１２１を有する計算機である。これらの構成３１１〜３１５及び１２１はバス３１６によって相互に接続される。プロセッサ３１１は、メモリ３１２に格納されたプログラム（設備要素及び監視装置１００を管理するためのソフトウェア等）を実行する。

メモリ３１２は、ＤＲＡＭ等の揮発性の記憶装置で、プロセッサ３１１が実行するプログラムを格納する。また、メモリ３１２は、オペレーティングシステム（ＯＳ）を格納する。プロセッサ３１１が、オペレーティングシステムを実行することによって、計算機の基本機能が実現される。

記憶装置３１３は、磁気ディスクドライブ、フラッシュメモリ等の不揮発性の記憶装置で、プロセッサ３１１がプログラムを実行する時に使用するデータを格納する。

なお、プログラムは、記憶装置３１３に格納されており、プログラムの実行時に記憶装置３１３から読み出されメモリ３１２にロードされる。また、データも、プログラムが必要とする際に、記憶装置３１３から読み出されメモリ３１２にロードされる。

入力インターフェース３１４には、キーボード、マウス等の入力装置３１７が接続される。出力インターフェース３１５には、ディスプレイ３１８が接続される。

図４は、監視装置１００の論理的な構成を示す機能ブロック図である。

監視装置１００は、図中破線で囲まれた部分に対応し、センサ１０２〜１０５、ディスプレイ２０１、機能部４０１〜４０７及びデータ４１１〜４１６を含む。

まず、機能部４０１〜４０７が利用するデータ４１１〜４１６の構造について説明する。データ４１１〜４１６は監視作業に先立って予め作成され、監視装置１００の記憶装置３１３に格納される。なお、以下に説明するデータの構成は一例であり、その他の形式で構成されてもよい。

自己位置推定用地図４１１は、壁、柱等の建物内の構造物（設置誤差が少なく、位置及び向きが不変の固定物）の形状及び位置を含む地図である。自己位置推定用地図４１１は、建物の設計データである構造物ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）４２１で管理されている壁、柱等のデータを変換処理４２２によって自己位置推定に適した形式に変換して作成される。

自己位置推定に適した形式とは、レーザレンジファインダ１０２によって計測される三次元形状との照合に適した形式である。例えば、自己位置推定用地図４１１は、建物内の構造物の表面形状に関するデータのみを含む。

図６Ａ及び図６Ｂは構造物ＣＡＤ４２１及び自己位置推定用地図４１１の具体例である。構造物ＣＡＤ４２１は、図６Ａに示されるように、壁６０１、柱６０２等の構造物のデータを有し、自己位置推定用地図４０１は、図６Ｂに示されるように、構造物の表面６０３のデータのみを有する。

なお、自己位置推定用地図４１１は構造物ＣＡＤ４２１から生成される地図なので、自己位置推定用地図４１１には配管、ポンプ、バルブ等の設備要素についてのデータは含まれない。

設備要素照合用地図４１２は、設備ＣＡＤ４２３で管理される配管、ポンプ、バルブ等の設備要素の形状、位置等を変換処理４２４によって変換して作成される。

変換処理４２４は、設備ＣＡＤ座標系４１４に格納されている数値（自己位置推定用地図４１１と設備要素照合用地図４１２との位置合わせに必要な位置ずれ、方向ずれ、スケールずれ等）に基づき、自己位置推定用地図４１１と設備要素照合用地図４１２との位置合わせをするための座標変換を含む。

図７は、設備要素照合用地図４１２の構成を説明する図である。

設備要素照合用地図４１２は、設備ＩＤ７０１、形状タイプ７０２及び位置・大きさ７０３を含むテーブルである。

設備ＩＤ７０１は、配管、ポンプなどの各設備要素に固有に付与された識別子を格納する。設備ＩＤ７０１は、後述する、設備誤差統計モデル４１３、標準温度データ４１５及び系統図データ４１６と共通である。

形状タイプ７０２は、設備要素の形状タイプに応じて付与された識別子を格納する。例えば、円柱なら１が付与され、直方体なら２が付与される。

位置・大きさ７０３は、設備要素の形状タイプに応じて、位置、大きさ等を定義するための数値群を格納する。位置・大きさ７０３は、例えば、円柱の場合は中心座標ｘ、ｙと半径ｒである。

図８は、設置誤差統計モデル４１３の構成を説明する図である。

設置誤差統計モデル４１３は、設備ＩＤ８０１、分散８０２及び補正係数８０３を含むテーブルである。

設備ＩＤ８０１は、配管、ポンプなどの各設備要素に固有に付与された識別子を格納する。設備ＩＤ８０１は、設備要素照合用地図４１２等と共通である。

分散８０２は、設備要素の設置位置の誤差分布を表すパラメータを格納する。ここでは、誤差分布を二次元の確率密度分布で表現するとし、例えば、設備要素が鉛直に配置される配管（円柱）の場合、分散８０２は、配管の中心軸に直交する平面での分散値σ_１ ^２、σ_２ ^２を格納する。

補正係数８０３は、設備要素の設置場所、設置工法等の影響で、誤差分布の形状が変わる場合の補正係数を格納する。補正係数８０３は、例えば、壁に沿って配管を設置する場合であって、壁から配管までの距離は厳密に守られるが壁に沿った方向の設置誤差は許容される場合は、誤差分布が壁に沿って長い楕円となるように誤差分布を補正するための補正係数を格納する。

分散８０２及び補正係数８０３は、過去の実績を元に、設備要素の種類、設置場所、設置工法等に応じて設定されるが、設備要素毎に作成してもよい。

設備ＣＡＤ座標系４１４は、図示を省略するが、自己位置推定用地図４１１と設備要素照合用地図４１２との位置合わせに必要な、位置ずれ、方向ずれ、スケール等の数値を含む。

図９は、標準温度データ４１５の構成を説明する図である。

標準温度データ４１５は、設備ＩＤ９０１、下限温度９０２及び上限温度９０３を含むテーブルである。

設備ＩＤ９０１は、配管、ポンプなどの各設備要素に固有に付与された識別子を格納する。設備ＩＤ９０１は、設備要素照合用地図４１２等と共通である。

下限温度９０２は、各設備要素の下限温度を格納し、上限温度９０３は、各設備要素の上限温度を格納する。下限温度９０２及び上限温度９０３によって、各設備要素について正常運転と判定できる温度範囲が規定される。

図１０は、系統図データ４１６の構成を説明する図である。

系統図データ４１６は、設備ＩＤ１００１、接続元１００２、接続先１００３を含むテーブルである。

設備ＩＤ１００１は、配管、ポンプなどの各設備要素に固有に付与された識別子を格納する。設備ＩＤ１００１は、設備要素照合用地図４１２等と共通である。

接続元１００２は、設備要素の上流側に接続する設備要素の識別子を格納する。当該設備要素の上流側に複数の設備要素が接続されている場合は、接続元１００２は、複数の識別子を格納する。

接続先１００３は、設備要素の下流側に接続する設備要素の識別子を格納する。当該設備要素の下流側に複数の設備要素が接続されている場合は、接続先１００３は、複数の識別子を格納する。

次に、図４に戻り、監視装置１００の機能部４０１〜４０７の機能について説明する。

自己位置推定部４０１は、監視装置１００の自己位置（「位置」には監視装置１００の「向き」が含まれる、以下同じ。）を複数の計測結果に基づき推定する。具体的には、加速度センサ１０５によって計測される加速度を２回積分して第１の予測自己位置を算出するとともに、レーザレンジファインダ１０２によって計測される周囲の三次元形状を自己位置推定要地図４０１と照合して第２の予測自己位置を算出する。そして、自己位置推定部４０１は、統計的な誤差に基づくばらつきを含んだこれら二つの予測自己位置をカルマンフィルタを用いて統合し、最も確からしい自己位置を推定する。

なお、自己位置推定処理の詳細については具体例を挙げながら後で説明する。

設備要素特定部４０２は、自己位置推定部４０１によって推定された自己位置とレーザレンジファインダ１０２による三次元計測の結果とを用いて、監視中の設備要素の設備ＩＤ及び位置を特定する。

図５は、設備要素特定部４０２の詳細を示す機能ブロック図である。

設備要素特定部４０２は、周辺設備要素抽出部５０１、設置誤差分布算出部５０２、差分抽出部５０３、設備要素候補抽出部５０４、一致度評価部５０５及び設備要素特定部５０６を含む。

周辺設備要素抽出部５０１は、自己位置推定部４０１によって推定された自己位置に基づき、設備要素照合用地図４１３から自己位置の周辺の設備要素の形状タイプ及び位置・大きさ、すなわち形状及び位置を検索し、周辺設備要素として抽出する。

設置誤差分布算出部５０２は、周辺設備要素抽出部５０１によって抽出された周辺設備要素それぞれについて、設置誤差統計モデル４１３を参照して対応する設備ＩＤの分散及び補正係数を検索し、検索された分散及び補正係数に基づき設置誤差分布を算出する。

差分抽出部５０３は、レーザレンジファインダ１０２による三次元計測結果と自己位置推定要地図４１１との差分を算出する。これにより、三次元計測結果から、壁、柱等の建物の構造物についての計測点群が除かれ、建物の構造物以外の物体、すなわち、設備要素についての計測点群のみが差分として抽出される。

設備要素候補抽出部５０４は、差分抽出部５０３で抽出された差分から、平面、円柱等の設備要素に対応する形状及びその位置を最小二乗法、ハフ変換等によって検出し、これを設備要素候補として抽出する。

最小二乗法を用いる場合は、周辺設備要素抽出部５０１によって抽出された周辺設備要素の形状及び位置等に基づき自己位置周辺に存在する形状をある程度予測し、予測される形状及び位置を変化させながら二乗誤差を最小とする形状及び位置を検索し、二乗誤差を最小とする形状及び位置を設備要素候補として抽出する。

ハフ変換を用いる場合は、検索する形状に応じたパラメータを用いた投票を行い、その結果に基づいて形状を検索する。例えば、円柱の場合は、任意の半径ｒと中心座標ｘ、ｙとの三つのパラメータで計測点毎に投票を行い、最も投票が集中したパラメータを持つ円柱が存在すると推測し、当該円柱の形状及び位置を設備要素候補として抽出する。

なお、設備要素候補抽出部５０４は、抽出された設備要素候補に含まれる統計的な誤差である予測誤差分布も併せて算出する。例えば、最小二乗法を用いて設備要素候補を抽出する場合は、二乗誤差の和に、既知である自己位置推定の誤差を加味することによって予測誤差分布を算出する。

一致度評価部５０５は、設置誤差分布算出部５０２で得られた周辺設備要素の設置誤差分布と、設備要素候補抽出部５０４で抽出された設備要素候補の予測誤差分布との間で、全ての組み合わせについて一致度を算出する。一致度は、設置誤差分布と予測誤差分布とを統合し、統合された誤差分布の最大値である。

設備要素特定部５０６では、全ての組み合わせの中から、一致度が最大になる組み合わせを抽出する。一致度が最大になる組み合わせが最も確からしいことから、設備要素候補抽出部５０４で抽出された設備要素候補が周辺設備要素のどれに対応するかを特定することができる。すなわち、監視中の設備要素の設備ＩＤを特定することができる。また、統合された誤差分布において最大値をとる位置が、監視中の設備要素の位置として最も確からしいことから、監視中の設備要素の位置も特定することができる。

なお、設備要素特定処理の詳細については具体例を挙げながら後で説明する。

図４に戻り、監視装置１００の機能部４０１〜４０７の機能についての説明を続けると、座標系補正部４０３は、設備要素特定部４０２によって特定された設備要素の位置に基づき、自己位置推定用地図４１１と設備要素照合用地図４１２とのずれを算出し、設備ＣＡＤ座標系４１４に格納されている数値（自己位置推定用地図４１１と設備要素照合用地図４１２との位置合わせに必要な位置ずれ、方向ずれ、スケールずれ等）を修正する。これにより、変換処理４２４によって設備要素照合用地図４１２が次回生成される際の自己位置推定用地図４１１と設備要素照合用地図４１２とのずれを減少させる。

３Ｄマッピング部４０４は、熱赤外線カメラ１０３で計測された監視中の設備要素の温度とレーザレンジファインダ１０２で計測された監視中の設備要素までの距離・方向とを統合し、三次元的な温度分布を算出する。

３Ｄマッピング部４０５は、可視光カメラ１０４で取得された監視中の設備要素の可視光画像とレーザレンジファインダ１０２で計測された監視中の設備要素までの距離・方向とを統合し、可視光画像を三次元画像に変換する。

異常検知部４０６は、標準温度データ４１５を参照して、監視中の設備要素の設備ＩＤに対応する下限温度及び上限温度を検索して取得するとともに、監視中の設備要素の温度を３Ｄマッピング部４０４から取得する。そして、異常検知部４０６は、両者を比較し、監視中の設備要素の温度が下限温度よりも低い、又は、上限温度よりも高い場合は、当該設備要素が異常であると判定する。

画像重畳部４０７は、３Ｄマッピング部４０５によって三次元画像に変換された可視光画像の上に、３Ｄマッピング部４０４によって算出された三次元的な温度分布を重畳した重畳画像を生成する。そして、画像重畳部４０７は、生成した重畳画像を平面に投影して二次元に変換し、ディスプレイ２０１に出力する。

重畳する温度分布は、上限温度よりも温度が高い部位が赤色、その他の部位が無色となるように、温度によって色分けされる。温度に応じて連続的に色が変化するように色分けをしてもよい。また、可視光画像の上に温度分布を重ね合わせた状態であっても可視光画像を作業者が確認できるように、温度分布には適度な透過率が設定される。

また、画像重畳部４０７は、系統図データ４１６に格納されている設備要素間の接続情報に基づき、各設備要素の接続関係を視覚的に表した系統図を生成する。そして、異常検知部４０６で異常が検知された設備要素に対応する部位に印（例えば、色付きの丸）を付け、ディスプレイ２０１に出力する。

ディスプレイ２０１は、画像重畳部４０７から入力される重畳画像及び系統図を表示する。表示の具体例を図２２に示すが、これについては後で説明する。

続いて、自己位置推定処理及び設備要素特定処理の詳細について具体例を挙げながら説明する。

具体例では、図１２に示すように、監視装置１００の周辺に、壁１２０１及び１２０２によって形成されるコーナ、壁１２０２の脇に立設された配管１２０３及び配管１２０３の側面に取り付けられたバルブ１２０４が存在する状況を想定する。

図１１は、自己位置推定処理のフローチャートである。この自己位置推定処理は、監視装置１００の自己位置推定部４０１によって、すなわち、プロセッサ３０１がメモリ３０２に格納されたプログラムを実行することによって行われる。

まず、プロセッサ３０１は、加速度センサ１０５で検出された加速度を２回積分し、これを自己位置の前回値に加えることで、現在の自己位置を推定する（１１０１）。以下、処理１１０１によって推定された自己位置を「第１の推定自己位置」と称する。

次に、プロセッサ３０１は、様々な自己位置を仮定した際の壁、柱等の建物の配置を想定し、想定した壁、柱等の建物の構造物とレーザレンジファインダ１０２による三次元計測結果とを照合（スキャンマッチング）する。そして、一致度が最も高くなる位置を自己位置と推定する（１１０２）。処理１１０２によって推定された自己位置を「第２の推定自己位置」と称する。また、一致度が最も高くなる位置から推定された自己位置がずれた場合の一致度に基づき、第２の推定自己位置の統計的な誤差分布を算出する。

例えば、図１２に示した状況では、自己位置推定用地図４１１は、図１３に示すような壁１２０１及び１２０２に対応する壁データ１２０１ａ及び１２０２ａを含む。

図１４は、レーザレンジファインダ１０２による三次元計測の結果１４０１を太線で示している。三次元計測の結果１４０１は、レーザが照射される壁１２０１及び１２０２の一部と配管１２０３の一部に対応する多数の計測点の集合である。図中１４０２はレーザレンジファインダ１０２の位置、すなわち自己位置である。

プロセッサ３０１は、図１５に示すように、自己位置推定用地図４１１から読み出した壁データ１２０１ａ及び１２０２ａを、アフィン変換によって平行移動及び回転し、図中破線で示すように様々な配置を想定する。

プロセッサ３０１は、想定した壁データ１２０１ａ及び１２０２ａの配置それぞれを三次元計測の結果１４０１と照合し、一致度を算出する。そして、プロセッサ３０１は、最も一致度が高くなる配置１５０１を求める。図１４に示すように、三次元計測の結果１４０１と自己位置１４０２との関係が既知なので、三次元計測の結果１４０１とこれと最も一致度の高い配置１５０１とから、自己位置１４０２を推定することができる。

また、プロセッサ３０１は、最も一致度が高くなる配置１５０１から位置がずれた場合の一致度の分布から、推定された自己位置（第２の推定自己位置）の誤差分布を算出する。

次に、プロセッサ３０１は、カルマンフィルタによって、第１の推定自己位置と第２の推定自己位置とを統合し、最も確からしい位置を自己位置として推定する（１１０３）。

図１６は、上記自己位置推定処理の例を説明する図である。なお、この図は二次元であるが、実際の処理は三次元で行われる。

第１の推定自己位置は、前回推定された自己位置１６０１に加速度センサ１０５によって計測された加速度の値を２回積分した値を加算することで得られる。加速度センサ１０５によって計測される値は統計的な誤差を含んでおり、このため、第１の推定自己位置もばらつきがある。楕円１６０２は、第１の推定自己位置の誤差分布を示している。

第２の推定自己位置は、レーザレンジファインダ１０２による三次元計測の結果を自己位置推定用地図４１１と照合（スキャンマッチング）することによって推定され、第２の推定自己位置も第１の推定自己位置と同様に統計的な誤差に基づくばらつきがある。楕円１６０３は、第２の推定自己位置の誤差分布を示している。

上記自己位置推定処理では、それぞればらつきを有する第１の推定自己位置及び第２の推定自己位置をカルマンフィルタによって統合し、最も確からしい位置、すなわち、統合後の誤差分布において最も大きな値をとる位置を自己位置として推定する。この例では、統合後の誤差分布において最も大きな値をとる位置１６０４が自己位置と推定される。

上記自己位置推定処理は、上記処理を繰り返すことで、自己位置を刻々と推定する。

図１７は、設備要素特定処理のフローチャートである。この設備要素特定処理は、監視装置１００の設備要素特定部４０２によって、すなわち、プロセッサ３０１がメモリ３０２に格納されたプログラムを実行することによって行われる。

まず、プロセッサ３０１は、自己位置推定処理によって推定された自己位置に基づき、設備要素照合用地図４１２を参照して周辺設備要素の設備ＩＤ、形状タイプ及び位置・大きさを抽出する（１７０１）。図１２に示した状況では、配管１２０３及びバルブ１２０４が周辺設備要素として抽出される。

次に、プロセッサ３０１は、レーザレンジファインダ１０２による三次元計測の結果（計測点群）と自己位置推定用地図４１１との差分を抽出する（１７０２）。これによって、三次元計測によって得られた計測点群から壁、柱等の建物の構造物に対応する計測点群が除かれ、設備要素に対応する計測点群のみが抽出される。

図１８は、図１２に示した例において、処理１７０２によって抽出された差分を示している。差分は、配管１２０３の一部に対応する曲面１８０１のみを含む。なお、バルブ１２０４に対応する部分が本来差分には含まれるが、ここでは簡単のため省略している。

また、図１８に示した例は、レーザレンジファインダ１０２が１回スキャンすることで得られる三次元計測結果から抽出された差分であるが、図１９に示すように複数の位置においてスキャンした結果を重畳し、重畳した結果から差分１９０１を抽出するようにしてもよい。重畳した結果を用いることで次の処理１７０２における設備要素候補の抽出精度が向上する。

次に、プロセッサ３０１は、処理１７０２で抽出された差分から、平面、円柱等の設備要素候補の形状及び位置を最小二乗法、ハフ変換等によって検出し抽出する。また、抽出された設備要素候補に含まれる統計的な誤差である予測誤差分布も算出する（１７０３）。例えば、最小二乗法を用いて設備要素候補を抽出する場合は、プロセッサ３０１は、二乗誤差の和に、既知である自己位置推定の誤差を加味することによって予測誤差分布を算出する。

図２０は、図１８に示した差分から設備要素候補の形状及び位置を検出し抽出した結果を示している。この例では、差分から配管１２０３に対応する円柱２００１及びその位置が検出され、抽出されている。

次に、プロセッサ３０１は、処理１７０１で抽出された周辺設備要素それぞれについて、設置誤差統計モデル４１３を参照して設置誤差に関するパラメータ（分散及び補正係数）を取得し、予測される設置誤差分布を算出する（１７０６）。そして、プロセッサ３０１は、処理１７０１で抽出された周辺設備要素と処理１７０３で抽出された設備要素候補との全ての組み合わせについて、設置誤差分布と予測誤差分布とを統合し、両者の一致度を算出する（１７０９）。一致度は、統合された誤差分布の最大値である。

実際の処理では、プロセッサ３０１は、カウンタｉ、ｊを用い、処理１７０１で抽出された周辺設備要素と処理１７０３で抽出された設備要素候補との全ての組み合わせについて一致度を算出する（処理１７０４〜１７１１）。

そして、プロセッサ３０１は、一致度が最も大きくなる周辺設備要素と設備要素候補との組み合わせを算出し、処理１７０３で抽出された設備要素候補が、処理１７０１で抽出された周辺設備要素のどれに対応するかを特定する。すなわち、監視中の設備要素の設備ＩＤを特定する。また、当該組み合わせにおける誤差分布において最大値をとる位置を、監視中の設備要素の位置として特定する（１７１２）。

図２１は、上記設備要素特定処理によって、図１２に示す状況において、設備要素の設備ＩＤ及び位置が特定される様子を示している。

図１２に示す状況では、三次元計測の結果から配管１２０３に対応する部分が設備要素候補（円柱）として抽出され、その予測誤差分布は、円柱の中心軸を中心とした同心円状の等高線２１０１となる。

一方、周辺設備要素として設備要素照合用地図４１２から配管１２０３が抽出され、その設置誤差分布は、設置誤差統計モデル４１３から取得される設置誤差に関するパラメータに基づき、配管１２０３の中心軸を中心とした楕円の等高線２１０２で表される。設置誤差分布の形状が楕円になっているのは、例えば、配管１２０３の設置時の工法上の制約で、壁からの距離は厳密に守られるが、壁に平行な方向の位置の設置誤差は許容されているからである。

プロセッサ３０１は、二つの誤差分布を各位置について乗じることで統合し、統合後の誤差分布の最大値を設備要素候補と配管１２０３との一致度として算出する。そして、その組み合わせの一致度が他の組み合わせにおける一致度よりも高い場合は、監視中の設備要素が配管１２０３であると特定し、かつ、誤差分布が最大値となる位置２１０３を配管１２０３の位置であると特定する。

図２２は、図１２に示す状況でのディスプレイ２０１への表示例である。

ディスプレイ２０１の左側領域には、画像重畳部４０７で生成された可視光画像と温度分布との重畳画像が表示される。各設備要素の上限温度を超える部分２２０１は色付きで表示される。この例では、バルブ１２０４がその上限温度を超えており、バルブ１２０４が赤色で表示される。

また、ディスプレイ２０１の右側領域には、画像重畳部４０７で生成された系統図２２０２が表示される。この例では、バルブ１２０４がその上限温度を超え、異常であると判定されるので、系統図２２０２においてバルブ１２０４に対応する部分が赤丸２２０３で囲まれている。

ディスプレイ２０１に表示されるこれら画像に基づき、作業者は、監視中の設備要素が配管１２０３及びバルブ１２０４であることを確認することができ、また、バルブ１２０４に異常が生じていることを確認することができる。

以上に説明したように、本発明の第１実施形態によれば、監視装置１００は、自己位置置を推定することができるだけでなく、監視中の設備要素が何であるか、及び、その位置まで特定することができる。すなわち、監視中の設備要素と監視システム１で管理されている設備要素との対応関係を高い信頼度でとることができる。

自己位置の推定においては、複数のセンサ（レーザレンジファインダ１０２及び加速度センサ１０５）による計測結果から推定される複数の自己位置を統計的に統合し、最終的な自己位置を推定するようにし、また、自己位置推定のために用いられる自己位置推定用地図が、設置誤差の少ない建物内の構造物のみを含むようにした。これにより、自己位置を高い精度で推定することができ、ひいては、自己位置の推定結果を利用する設備要素の特定の精度も高めることができる。

また、設備要素が実際に配置されている位置は、設置誤差により、設備ＣＡＤに格納されている位置とずれている可能性があり、三次元計測結果と設備ＣＡＤとを照合するだけでは、設備要素を特定することは難しい。しかしながら、本発明の第１実施形態によれば、設備要素の設置誤差分布を考慮に入れて設備要素が特定されるので、設置誤差があっても、設備要素の特定を行うことができる。

また、監視中の設備要素候補の何であるかを特定できるので、計測された温度とその設備要素について予め設定されている正常な温度範囲とを比較し、当該設備要素の異常を判定することができ、作業者は、当該設備装置に応じた適切な措置をとることができる。

＜第２実施形態＞
続いて、本発明の第２実施形態について説明する。

図２３は、本発明の第２実施形態における監視装置１００の論理的な構成を示す機能ブロック図である。破線で囲まれた部分が監視装置１００に実装される部分である。

第１実施形態では、データ４１１〜４１５が監視装置１００の記憶装置３０３に格納されていたが、第２実施形態では、データ４１１〜４１５がサーバ１２０の記憶装置３１３に格納されている。

監視装置１００は、データ４１１〜４１５うち、機能部４０１〜４０７での処理に必要な部分を送信するようサーバ１２０に要求し、サーバ１２０は要求されたデータを監視装置１００に送信する。監視装置１００は受信したデータを用いて機能部４０１〜４０７での処理を実行する。

その他の構成（ハードウェア構成、機能部４０１〜４０７における処理内容）については第１実施形態と同じなので、それらの説明を省略する。

なお、第２実施形態では、データ４１１〜４１５の全てをサーバ１２０側で持つようにしているが、データ４１１〜４１５の一部を監視装置１００が持つようにしてもよい。また、系統図データ４１６をサーバ１２０側で持つようにしてもよい。

＜第３実施形態＞
続いて、本発明の第３実施形態について説明する。

図２４は、本発明の第３実施形態における監視装置１００の論理的な構成を示す機能ブロック図である。破線で囲まれた部分が監視装置１００に実装される部分である。

第３実施形態では、データ４１１〜４１６の全てと、自己位置推定部４０１、設備要素特定部４０２、座標系補正部４０３及び異常検知部４０６を実装するためのプログラムがサーバ１２０の記憶装置３１３に格納されている。これらプログラムがサーバ１２０のメモリ３１２に読み出されてプロセッサ３１１によって実行されることによって、これら機能部４０１〜４０３及び４０６がサーバ１２０に実装される。

設備要素の監視作業中、監視装置１００は、センサ１０２〜１０５の計測結果をサーバ１２０に送信し、サーバ１２０は、監視装置１００から受信した計測結果に基づき自己位置推定処理、設備要素特定処理等の各種処理を実行する。そして、サーバ１２０は、処理の結果（自己位置推定の結果、設備要素の特定結果及び異常検知結果等）を、監視装置１００に送信する。監視装置１００は、サーバ１２０から受信した処理の結果を画像重畳部４０７において加工し、ディスプレイ２０１に表示する。

その他の構成（ハードウェア構成、機能部４０１〜４０７における処理内容）については第１実施形態と同じなので、それらの説明を省略する。

なお、第３実施形態では、自己位置推定部４０１、設備要素特定部４０２、座標系補正部４０３及び異常検知部４０６をサーバ１２０に実装しているが、これらの一部を監視装置１００に実装してもよい。

また、３Ｄマッピング部４０４、３Ｄマッピング部４０５及び画像重畳部４０７を監視装置１００に実装しているが、これらの一部又は全部をサーバ１２０に実装してもよい。

以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。

例えば、上記実施形態では、周囲の三次元形状を計測するのにレーザレンジファインダ１０２を用いているが、その他のセンサを用いて周囲の三次元形状を計測するようにしてもよい。例えば、２台のカメラによって取得した画像から生成される視差画像を用いる方法、１台のカメラを移動しながら取得した複数の画像に基づき特徴点の変化を解析する方法等を用いてもよい。

また、自己位置推定用地図４０１は、監視に先立ち、作業者が建物内を移動することでレーザレンジファインダ１０２によって建物内を三次元計測し、この計測結果から壁、柱等の構造物に対応する部分のみを抽出することで生成するようにしてもよい。

また、上記実施形態では、監視装置１００は、設備要素の温度を計測し、計測された温度と下限温度及び上限温度とを比較して設備要素の異常を判定するが、その他の物理量（音、振動、色等）を計測し、計測されたその他の物理量に基づき設備要素の異常を判定するようにしてもよい。

Claims (15)

1. 建物内の設備要素を監視する監視装置であって、
   前記監視装置の周囲の三次元形状を計測する三次元計測部と、
   計測された前記三次元形状を、前記設備要素以外の前記建物内の構造物の形状及び位置を含む自己位置推定用地図と照合することによって、前記監視装置の自己位置を推定する自己位置推定部と、
   推定された前記自己位置の周辺の設備要素を、前記建物内の設備要素の形状及び位置を含む設備要素照合用地図から抽出する周辺設備要素抽出部と、
   計測された前記三次元形状から設備要素候補の形状及び位置を抽出する設備要素候補抽出部と、
   前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素の形状及び位置と計測された前記三次元形状から抽出された前記設備要素の候補の形状及び位置との一致度を、前記自己位置の周辺の設備要素の形状及び位置の誤差分布及び計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置の誤差分布に基づき算出する一致度評価部と、
   算出された前記一致度に基づき、計測された前記三次元形状から抽出された前記設備要素候補の形状が前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素のいずれであるかを特定する設備要素特定部と、
   を備えたことを特徴とする監視装置。
2. 請求項１に記載の監視装置であって、
   可視光画像を取得する可視光カメラと、
   特定された前記設備要素の物理量を測定する物理量測定部と、
   測定された前記物理量と特定された前記設備要素の標準物理量とを比較することによって特定された前記設備要素の異常を検知する異常検知部と、
   検知された前記異常を、特定された前記設備要素の位置に基づき、前記可視光カメラによって取得された前記可視光画像に重畳して表示する画像表示部と、
   をさらに備えたことを特徴とする監視装置。
3. 請求項１に記載の監視装置であって、
   前記一致度評価部は、
   前記自己位置の周辺の設備要素の形状及び位置の誤差分布と、計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置の誤差分布とを乗じて統合し、
   統合後の誤差分布の最大値を前記一致度として算出する、
   ことを特徴とする監視装置。
4. 請求項１に記載の監視装置であって、
   前記設備要素特定部は、特定された前記設備要素の位置を前記一致度に基づき特定し、
   前記監視装置が、
   前記設備要素特定部によって特定された前記設備要素の位置に基づき、前記自己位置推定用地図と前記設備要素照合用地図とのずれを算出し、当該ずれが減少するように前記設備要素照合用地図を修正する座標系補正部をさらに備えた、
   ことを特徴とする監視装置。
5. 請求項１に記載の監視装置であって、
   前記自己位置推定用地図及び前記設備要素照合用地図の少なくとも一つは、サーバによって保持され、
   前記監視装置は、前記自己位置推定用地図及び前記設備要素照合用地図の少なくとも一つを前記サーバから取得する、
   ことを特徴とする監視装置。
6. 建物内の設備要素を監視する監視装置と、前記監視装置と接続されるサーバとを備える監視システムであって、
   前記監視装置の周囲の三次元形状を計測する三次元計測部と、
   計測された前記三次元形状を、前記設備要素以外の前記建物内の構造物の形状及び位置を含む自己位置推定用地図と照合することによって、前記監視装置の自己位置を推定する自己位置推定部と、
   推定された前記自己位置の周辺の設備要素を、前記建物内の設備要素の形状及び位置を含む設備要素照合用地図から抽出する周辺設備要素抽出部と、
   計測された前記三次元形状から設備要素候補の形状及び位置を抽出する設備要素候補抽出部と、
   前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素の形状及び位置と計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置との一致度を、前記自己位置の周辺の設備要素の形状及び位置の誤差分布及び計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置の誤差分布に基づき算出する一致度評価部と、
   算出された前記一致度に基づき、計測された前記三次元形状から抽出された前記設備要素候補の形状が前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素のいずれであるかを特定する設備要素特定部と、
   を備えたことを特徴とする監視システム。
7. 請求項６に記載の監視システムであって、
   前記監視装置は、
   可視光画像を取得する可視光カメラと、
   特定された前記設備要素の物理量を測定する物理量測定部と、
   を有し、
   前記監視システムは、
   測定された前記物理量と特定された前記設備要素の標準物理量とを比較することによって特定された前記設備要素の異常を検知する異常検知部と、
   検知された前記異常を、特定された前記設備要素の位置に基づき、前記可視光カメラによって取得された前記可視光画像に重畳して表示する画像表示部と、
   をさらに備えたことを特徴とする監視システム。
8. 請求項６に記載の監視システムであって、
   前記一致度評価部は、
   前記自己位置の周辺の設備要素の形状及び位置の誤差分布と、計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置の誤差分布とを乗じて統合し、
   統合後の誤差分布の最大値を前記一致度として算出する、
   ことを特徴とする監視システム。
9. 請求項６に記載の監視システムであって、
   前記設備要素特定部は、特定された前記設備要素の位置を前記一致度に基づき特定し、
   前記監視システムが、
   前記設備要素特定部によって特定された前記設備要素の位置に基づき、前記自己位置推定用地図と前記設備要素照合用地図とのずれを算出し、当該ずれが減少するように前記設備要素照合用地図を修正する座標系補正部をさらに備えた、
   ことを特徴とする監視システム。
10. 請求項６に記載の監視システムであって、
    前記監視装置は、前記三次元計測部、前記自己位置推定部、前記周辺設備要素抽出部、前記一致度評価部及び前記設備要素特定部を含み、
    前記サーバは、前記自己位置推定用地図及び前記設備要素照合用地図の少なくとも一つを保持する、
    ことを特徴とする監視システム。
11. 請求項６に記載の監視システムであって、
    前記サーバは、
    前記三次元計測部、前記自己位置推定部、前記周辺設備要素抽出部、前記一致度評価部及び前記設備要素特定部の少なくとも一つを含み、
    前記自己位置推定用地図及び前記設備要素照合用地図の少なくとも一つを保持する、
    ことを特徴とする監視システム。
12. 監視装置によって建物内の設備要素を監視する監視方法であって、
    前記監視装置の周囲の三次元形状を計測する三次元計測ステップと、
    計測された前記三次元形状を、前記設備要素以外の前記建物内の構造物の形状及び位置を含む自己位置推定用地図と照合することによって、前記監視装置の自己位置を推定する自己位置推定ステップと、
    推定された前記自己位置の周辺の設備要素を、前記建物内の設備要素の形状及び位置を含む設備要素照合用地図から抽出する周辺設備要素抽出ステップと、
    計測された前記三次元形状から設備要素候補の形状及び位置を抽出する設備要素候補抽出ステップと、
    前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素の形状及び位置と計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置との一致度を、前記自己位置の周辺の設備要素の形状及び位置の誤差分布及び計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置の誤差分布に基づき算出する一致度評価ステップと、
    算出された前記一致度に基づき、計測された前記三次元形状から抽出された前記設備要素候補の形状が前記設備要素照合用地図から抽出された前記自己位置の周辺の設備要素のいずれであるかを特定する設備要素特定ステップと、
    を含むことを特徴とする監視方法。
13. 請求項１２に記載の監視方法であって、
    可視光画像を取得する可視光画像取得ステップと、
    特定された前記設備要素の物理量を測定する物理量測定ステップと、
    測定された前記物理量と特定された前記設備要素の標準物理量とを比較することによって特定された前記設備要素の異常を検知する異常検知ステップと、
    検知された前記異常を、特定された前記設備要素の位置に基づき、前記可視光カメラによって取得された前記可視光画像に重畳して表示する画像表示ステップと、
    をさらに含むことを特徴とする監視方法。
14. 請求項１２に記載の監視方法であって、
    前記一致度評価ステップでは、
    前記自己位置の周辺の設備要素の形状及び位置の誤差分布と、計測された前記三次元形状から抽出された前記設備要素候補の形状及び位置の誤差分布とを乗じて統合し、
    統合後の誤差分布の最大値を前記一致度として算出する、
    ことを特徴とする監視方法。
15. 請求項１２に記載の監視方法であって、
    前記設備要素特定ステップでは、特定された前記設備要素の位置を前記一致度に基づき特定し、
    前記監視方法は、
    前記設備要素特定ステップによって特定された前記設備要素の位置に基づき、前記自己位置推定用地図と前記設備要素照合用地図とのずれを算出し、当該ずれが減少するように前記設備要素照合用地図を修正する座標系補正ステップをさらに含む、
    ことを特徴とする監視方法。

Images