JP7407648B2 - 物体認識装置及び物体認識方法 - Google Patents

Description

本発明は、物体認識装置及び物体認識方法に関するものである。

従来から、発電プラントや化学プラント等の大規模構造物のメンテナンスや解体などの工事において、事前に機器の状況を把握することが行われている。機器の状況を把握するためには、まずレーザスキャナやデプスカメラ等の計測装置によってプラント内を計測する。そして、計測により得られた複数の計測点の集まりである点群データを機器ごとに分類することで、プラント内に設置された物体を認識している。

このような、点群データを機器ごとに分類する技術としては、例えば、特許文献１に記載されているようなものがある。特許文献１には、対象物を測定した三次元点群データを取得するデータ取得手段と、対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、を備えた技術が記載されている。また、特許文献１には、対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、算出した分布特性の数値に基づいて、対象物を推定する推定手段と、を備えた技術が記載されている。

特開２０１９－１９２０５９号公報

また、発電プラントや化学プラント等の大規模構造物内には、多数の機器が設置されているため、機器が重なり合っている。そのため、レーザスキャナ等の計測装置で機器を計測した際に、機器の重なりにより、死角となり計測ができない箇所（以下、オクルージョンという）が発生していた。しかしながら、特許文献１に記載された技術では、オクルージョンを考慮していないため、分類できない点群データが発生し、分類精度が低下する、という問題を有していた。

本目的は、上記の問題点を考慮し、点群データを高精度に分類できる物体認識装置及び物体認識方法を提供することにある。

上記課題を解決し、目的を達成するため、物体認識装置は、データ取得部と、分割部と、統計量計算部と、分割最適化部と、照合部と、を備えている。データ取得部は、計測装置が機器群を計測することで作成された複数の計測点の集合である点群データを取得する。分割部は、データ取得部が取得した点群データを一次分割する。統計量計算部は、分割部により一次分割された点群データに対して分割領域ごとに、計測点の特徴量の統計量を計算する。分割最適化部は、統計量計算部により計算された統計量に基づいて、一次分割された点群データを二次分割及び／又は統合する。照合部は、分割最適化部により二次分割及び／又は統合された点群データの点群と予め格納された機器のモデルデータとの照合を行う。

また、物体認識方法は、以下（１）から（５）の処理を含む。
（１）計測装置が機器群を計測することで作成された複数の計測点の集合である点群データを取得する処理。
（２）取得した点群データを一次分割する処理。
（３）一次分割された点群データに対して分割領域ごとに、計測点の特徴量の統計量を計算する処理。
（４）計算された統計量に基づいて、一次分割された点群データを二次分割及び／又は統合する処理。
（５）二次分割及び／又は統合された点群データの点群と予め格納された機器のモデルデータとの照合を行う処理。

上記構成の物体認識装置及び物体認識方法によれば、点群データを高精度に分類できる。

実施の形態例にかかる物体認識装置の全体構成を示す機能ブロック図である。 実施の形態例にかかる物体認識装置のハードウエア構成を示す構成図である。 実施の形態例にかかる物体認識装置の分類動作を示す概略図である。 実施の形態例にかかる物体認識装置の分類動作を示すフローチャートである。 実施の形態例にかかる物体認識装置のデータ取得部が取得した点群データの一例を示す説明図である。 実施の形態例にかかる物体認識装置におけるＣＡＤデータからシミュレーション点群データを生成する例を示す説明図である。 実施の形態例にかかる物体認識装置における点群データから床面を抽出する例を示す説明図である。 実施の形態例にかかる物体認識装置におけるボクセルグリッド法を用いて点群データとＣＡＤモデルを分割する例を示す説明図である。 実施の形態例にかかる物体認識装置における領域成長法を用いて点群データを分割する例を示す説明図である。 領域成長法の結合距離の違いによる分割結果の差異を示すもので、図１０Ａは結合距離が小さい例を示し、図１０Ｂは結合距離が大きい例を示す。 曲率計算における近傍半径（パラメータ）の最適化について示すもので、図１１Ａは、近傍半径と曲率の標準偏差の関係を示す図、近傍半径の違いによる曲率の差異を示す図である。 実施の形態例にかかる物体認識装置におけるパラメータの最適化結果の表示例である。 実施の形態例にかかる物体認識装置における分割最適化部により分割領域がさらに分割される例を示す説明図である。 実施の形態例にかかる物体認識装置における分割最適化部により分割領域を統合する例を示す説明図である。 実施の形態例にかかる物体認識装置におけるボクセルグリッド法での分割領域の統合処理を示す説明図である。 実施の形態例にかかる物体認識装置における計測シミュレーション動作を示す概略図である。 実施の形態例にかかる物体認識装置における過去の点群データとＣＡＤデータとの照合実績を用いてシミュレーション点群データを生成する例を示す説明図であり、オクルージョンを考慮した例を示す説明図である。 実施の形態例にかかる物体認識装置における過去の点群データとＣＡＤデータとの照合実績を用いてシミュレーション点群データを生成する例を示す説明図であり、オクルージョンパターン及び形状誤差を考慮した例を示す説明図である。 実施の形態例にかかる物体認識装置におけるミュレーション点群データにオクルージョンを付与する例を示す説明図である。 図２０Ａ及び図２０Ｂ、図２０Ｃは、実施の形態例にかかる物体認識装置におけるオクルージョンのパターンを示す説明図である。 実施の形態例にかかる物体認識装置におけるボクセルごとの特徴量を示す説明図である。 実施の形態例にかかる物体認識装置におけるシミュレーション点群データに形状（計測）誤差を付与する例を示す説明図である。 実施の形態例にかかる物体認識装置における点群データとＣＡＤデータの照合処理を示すイメージ図である。 実施の形態例にかかる物体認識装置における照合処理動作を示すフローチャートである。 実施の形態例にかかる物体認識装置におけるＣＡＤデータの絞り込み作業を示す説明図である。 実施の形態例にかかる物体認識装置における点群データとＣＡＤモデルの位置合せ処理を示すもので、図２６Ａ及び図２６Ｂは、計測点とＣＡＤモデルとの距離を示す説明図である。図２６Ｃは、計測点とＣＡＤモデルとの絶対距離の分布を示すグラフである。 実施の形態例にかかる物体認識装置における照合結果の表示例を示す図である。

以下、物体認識装置及び物体認識方法の実施の形態例について、図１～図２７を参照して説明する。なお、各図において共通の部材には、同一の符号を付している。

１．実施の形態例
１－１．物体認識装置の構成
まず、実施の形態例（以下、「本例」という。）にかかる物体認識装置の構成について図１を参照して説明する。
図１は、物体認識装置の全体構成を示す機能ブロック図である。

図１に示す物体認識装置１００は、発電プラントや化学プラント等の各種プラント内を計測することで得られた点群データを、機器ごとに分類する装置である。図１に示すように、物体認識装置１００は、計算装置１と、記憶装置２と、入力装置３と、表示装置４と、を備えている。計算装置１及び記憶装置２は、各種情報を送受信可能に接続されている。入力装置３及び表示装置４は、計算装置１に接続されている。

計算装置１は、データ取得部１１と、３Ｄ分割部１２と、統計量計算部１３と、パラメータ最適化部１４と、分割最適化部１５と、計測シミュレーション部１６と、照合部１７と、表示処理部１８と、を有している。

データ取得部１１は、後述する記憶装置２や入力装置３から点群データや、照合するＣＡＤデータ等の各種データを取得する。点群データとしては、例えば、レーザスキャナやデプスカメラ等の計測装置によってプラント内を計測することで作成される。また、点群データは、計測装置が機器を計測することで得られた複数の計測点Ｐ１（図５参照）の集まりである。

ＣＡＤデータは、照合する機器を示すもので、例えば、３次元のＣＡＤモデルである。データ取得部１１は、取得したデータを、３Ｄ分割部１２や統計量計算部１３、計測シミュレーション部１６、照合部１７等に出力する。

分割部を示す３Ｄ分割部１２は、データ取得部１１から出力された点群データやＣＡＤデータを一次分割する。分割方法については、後述する。そして、３Ｄ分割部１２は、分割した点群データやＣＡＤデータを統計量計算部１３や、パラメータ最適化部１４、分割最適化部１５、計測シミュレーション部１６等に出力する。

統計量計算部１３は、分割された点群データに対して分割領域ごとに、ＣＡＤデータの特徴量の統計量を計算する。また、統計量にしては、後述する。そして、統計量計算部１３は、計算した統計量に関する情報をパラメータ最適化部１４及び分割最適化部１５、計測シミュレーション部等に出力する。

パラメータ最適化部１４は、統計量計算部１３から出力された分割領域ごとの統計量に基づいて、特徴量を算出する際に用いられる特徴量であるパラメータの最適化を行う。パラメータ最適化部１４は、分割領域ごとの統計量を比較し、最適なパラメータを選択する。なお、パラメータの最適化の方法については、後述する。そして、パラメータ最適化部１４は、選択したパラメータ情報を分割最適化部１５に出力する。

分割最適化部１５は、パラメータ最適化部１４から出力されたパラメータ情報に基づいて、分割単位の最適化を行う。そして、分割最適化部１５は、最適化を行った分割単位に基づいて、３Ｄ分割部１２により分割された点群データやＣＡＤデータに対して、統合及び／又は二次分割を行う。分割最適化部１５による分割単位の最適化の方法については、後述する。そして、分割最適化部１５は、統合及び／又は二次分割を行った点群データやＣＡＤデータを計測シミュレーション部１６や照合部１７に出力する。

計測シミュレーション部１６は、モデルデータに対して、実際の計測において発生するオクルージョンや誤差を付与し、シミュレーションデータを生成する。モデルデータとしては、データ取得部１１から出力されたＣＡＤデータや、このＣＡＤデータに基づいて生成された点群データ（以下、シミュレーション点群データという）が適用される。また、計測シミュレーション部１６は、データ取得部１１から出力されたＣＡＤデータに基づいてシミュレーション点群データを生成する。さらに、計測シミュレーション部１６は、誤差を付与するために形状誤差発生器２７（図１６参照）を有している。なお、計測シミュレーション部１６におけるシミュレーション方法については、後述する。

計測シミュレーション部１６は、生成したシミュレーションデータを照合部１７や、記憶装置２等に出力する。照合部１７は、分割最適化部１５により二次分割及び／又は統合された点群データと、計測シミュレーション部１６で生成されたシミュレーションデータとを比較する。また、照合部１７は、点群データとＣＡＤデータを照合し、点群データを機器ごとに分類する。そして、照合部１７は、照合結果を、記憶装置２や表示処理部１８に出力する。

表示処理部１８は、照合部１７から出力された照合結果や、計算装置１で実行された処理結果に基づいて画像データを作成する。そして、表示処理部１８は、作成した画像データを表示装置４や外部の装置に出力する。

出力装置の一例を示す表示装置４は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等からなる表示モニタを有している。そして、表示装置４は、表示処理部１８から出力された画像データを表示モニタに表示する。なお、出力装置として表示装置４を適用した例を説明したが、これに限定されるものではなく、出力装置としては、計算装置１の処理結果を外部のネットワークや他の機器に出力する出力部であってもよい。

入力装置３としては、例えば、キーボードやマウス等が用いられる。また、入力装置３として、表示装置４の表示部に設けられたタッチパネルを適用してもよい。そして、入力装置３によって入力された情報は、計算装置１に出力される。

記憶装置２は、計算装置１で用いられる各種データが格納されている。記憶装置２は、点群データベース２１と、ＣＡＤデータベース２２と、点群－ＣＡＤ照合結果データベース２３と、シミュレーション結果データベース２５等を有している。

点群データベース２１には、計測装置によってプラント内を撮影することで作成された点群データが格納される。点群データを構成する各計測点Ｐ１は、例えば、計測データを区別するための計測ＩＤや計測時刻、各点の空間座標値等の情報を有している。また、各計測点Ｐ１は、物体表面の色をＲＧＢで表現した色に着色されている。さらに、点群データベースでは、計測を行ったプラント固有のＩＤが点群データごとに割り付けられている。

ＣＡＤデータベース２２には、照合する機器のＣＡＤデータが格納されている。また、ＣＡＤデータは、プラント固有のＩＤや、プラント内に設置される躯体や配管等のプラント構造物としての種類を表す名称、機器固有のＩＤ及び名称、ＣＡＤモデル固有のＩＤ、円柱や直方体等の形状名、形状の空間座標値等を有している。また、ＣＡＤデータは、プラント名やフロア名、部屋名等によって複数のカテゴリに分類してＣＡＤデータベースに格納されている。

点群－ＣＡＤ照合結果データベース２３は、照合部１７の照合処理により点群データとこの点群データに対応するＣＡＤデータが格納される。なお、点群－ＣＡＤ照合結果データベース２３に格納されたデータは、次に点群データの分類を行う際に、教師データとして用いられる。

シミュレーション結果データベース２５は、計測シミュレーション部１６によりシミュレーションを行ったシミュレーションデータ、すなわちモデルデータにオクルージョンや誤差を付与したデータが格納される。そして、シミュレーション結果データベース２５に格納されたシミュレーションデータは、照合部１７において点群データとの照合処理時に用いられる。

上述した構成を有する物体認識装置１００としては、例えば、コンピュータ装置が適用される。

１－２．物体認識装置のハードウエア構成例
次に、図２を参照して物体認識装置のハードウエア構成について説明する。図２は物体認識装置１００のハードウエア構成を示す構成図である。

図２に示すように、物体認識装置１００は、ＣＰＵ（Central Processing Unit：中央処理装置）１０１、ＲＯＭ（Read Only Memory）１０２、およびＲＡＭ（Random Access Memory）１０３を備える。さらに、物体認識装置１００は、不揮発性ストレージ１０４、ネットワークインタフェース１０５、入力装置３、および表示装置４を備える。そして、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、不揮発性ストレージ１０４、ネットワークインタフェース１０５は、それぞれシステムバスを介して接続される。

ＣＰＵ１０１は、計算装置１が有する各処理部１１～１８を実現するためのソフトウエアのプログラムコードをＲＯＭ１０２から読み出して実行する。また、ＲＡＭ１０３には、ＣＰＵ１０１の演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。

不揮発性ストレージ１０４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量情報記憶媒体が用いられる。不揮発性ストレージ１０４には、計算装置１の処理機能を実行するプログラムが記録される。また、不揮発性ストレージ１０４には、記憶装置２の各データベース２１、２２、２３、２５が設けられる。なお、記憶装置２を、計算装置１として機能するコンピュータ装置とは別の記憶装置に設けてもよい。

ネットワークインタフェース１０５としては、例えば、ＮＩＣ（Network Interface Card）などが用いられる。ネットワークインタフェース１０５は、ＬＡＮ（Local Area Network）専用線などを介して外部と各種情報の送受信を行う。

また、本例では、計算装置１としてコンピュータ装置を適用した例を説明したが、これに限定されるものではない。計算装置１の各構成要素、機能、処理部等の一部又は全部を、例えば集積回路の設計などによりハードウエアで実現してもよい。また、上記の各構成要素、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

２．物体認識装置の分類動作例
次に、上述した構成を有する物体認識装置１００における分類動作について図３から図２７を参照して説明する。
図３は、分類動作を示す概略図である。

図３に示すように、物体認識装置１００は、点群データベース２１から分類を行う点群データを取得し、取得した点群データを一次分割する。さらに、物体認識装置１００は、一次分割した点群データを、分割領域ごとに特徴量のパラメータの最適化を行い、この最適化された特徴量のパラメータに基づいて点群データの二次分割及び統合を行う。そして、物体認識装置１００は、分割及び統合された点群データとシミュレーション結果データベース２５に格納されたシミュレーションデータを用いて点群データとＣＡＤデータの照合を行う。これにより、物体認識装置１００は、点群データを機器ごとに分類し、点群データ内に存在する物体を認識する。

図４は、物体認識装置１００における分類動作を示すフローチャートである。
図４に示すように、データ取得部１１は、点群データベース２１から分類を行う点群データを取得する（ステップＳ１１）。ステップＳ１１の処理では、例えば、ユーザが、入力装置３を操作し、表示装置４の表示部に表示されたデータから分類を行う点群データを選択してもよい。

図５は、ステップＳ１１の処理で取得した点群データの一例を示す説明図である。
図５に示す点群データでは、熱交換器５１と、空調機５２と、配管５３を計測したデータである。図５に示すように、熱交換器５１の上下方向の上部は、配管５３と重なっているため、オクルージョンが発生している。そのため、熱交換器５１の点群データは、上下方向の上部の計測点Ｐ１が欠けている。さらに、点群データには、躯体５４の床面５４ａを示す床計測点Ｐ３が含まれる。

次に、データ取得部１１は、点群データと照合する際に用いられるＣＡＤデータをＣＡＤデータベース２２から取得する（ステップＳ１２）。ステップＳ１２の処理では、ユーザは、表示装置４の表示部に表示されたデータから、プラント名やフロア名、部屋名等のカテゴリから少なくとも１つを選択する。そして、データ取得部１１は、選択されたカテゴリに該当するＣＡＤデータをＣＡＤデータベースから取得する。または、ステップＳ１１の処理で取得した点群データに付与されたプラント固有のＩＤと同じＩＤのＣＡＤデータをＣＡＤデータベースからデータ取得部１１が自動的に取得してもよい。

次に、計測シミュレーション部１６は、ステップＳ１２の処理で取得したＣＡＤデータからシミュレーション点群データを生成する（ステップＳ１３）。

図６は、ＣＡＤデータからシミュレーション点群データを生成する例を示す説明図である。
図６に示すように、計測シミュレーション部１６は、ＣＡＤデータから３次元のＣＡＤモデル７０を取得する。そして、計測シミュレーション部１６は、ＣＡＤモデル７０をメッシュ分割し、各メッシュの頂点又は中心点にシミュレーション点Ｐ２を生成する。これにより、ＣＡＤモデルの表面に沿う理想的なシミュレーション点群データを生成することができる。

次に、３Ｄ分割部１２は、ステップＳ１１で取得した点群データ、ステップＳ１３でＣＡＤデータから生成したシミュレーション点群データを予め設定した所定の条件に基づいて一次分割する（ステップＳ１４）。なお、ステップＳ１３でシミュレーション点群データを生成し、このシミュレーション点群データを分割する例を説明したが、これに限定されるものではない。例えば、ステップＳ１３の処理を行わずに、ステップＳ１２の処理で取得したＣＡＤモデル７０を分割してもよい。

図７は、点群データから床面を抽出する例を示す説明図である。
図７に示すように、３Ｄ分割部１２は、点群データから床面５４ａを示す床計測点Ｐ３を抽出する。床計測点Ｐ３の抽出方法としては、例えば、平面や円柱、球体といった基本形状を推定して分割するＲＡＮＳＡＣ（Random sample consensus）を用いて点群データから平面を抽出する。これにより、分類を行う機器群５０に相当する計測点Ｐ１から平面である床面５４ａに相当する床計測点Ｐ３を分離することができる。

そして、３Ｄ分割部１２は、床計測点Ｐ３を分離した点群データや、ＣＡＤデータを所定の条件で分割する。分割方法としては、例えば、空間全体を直方体で均等に分割するボクセルグリッド法や、計測点Ｐ１の領域成長法等その他各種の方法が挙げられる。また、ボクセルグリッド法、領域成長法、上述したＲＡＮＳＡＣを組み合わせてもよい。

まず、図８を参照してボクセルグリッド法による分割例について説明する。
図８は、ボクセルグリッド法を用いて点群データとＣＡＤモデルを分割する例を示す説明図である。
図８に示すように、ボクセルグリッド法では、点群データのうち分割対象（熱交換器５１）を構成する計測点Ｐ１や、ＣＡＤモデル７０全体を覆うバウディングボックスを計算する。そして、このバウンディングボックスＲを予め設定した所定の分割数又はボクセルサイズに分割する。この分割数及びボクセルサイズがステップＳ１３に示す所定の条件である。これにより、点群データやＣＡＤモデル７０は、所定サイズのボクセルＲ１に分割される。

次に、図９を参照して領域成長法による分割例について説明する。
図９は、領域成長法を用いて点群データを分割する例を示す説明図である。
図９に示すように、領域成長法では、まず、複数の計測点Ｐ１のうち予め設定した結合距離以内に存在する近接点を順次連結する。この結合距離が、ステップＳ１３に示す所定の条件である。次に、連結した計測点Ｐ１ごとに分割し、グループ化する。連結させるためのパラメータは、隣り合う２つの計測点Ｐ１（隣接点）の距離に限定されるものではなく例えば、隣接点の法線ベクトルのなす角度や、色の変化量等を適用してもよい。ここで示す色は、色相（Hue）、彩度（Saturation）、明度（Value・Brightness）の３要素で表現するＨＳＶ色空間であり、ＲＧＢから変換される。

点群データの分割が完了すると、統計量計算部１３により、分割された点群データやＣＡＤデータにおける分割領域ごとの特徴量の統計量を計算する（ステップＳ１５）。特徴量としては、面法線ベクトルのＺ軸からの傾きや、曲率、色（ＨＳＶ色空間）の数値等が挙げられる。そして、統計量計算部１３は、分割領域ごとの特徴量の平均値や最頻値、標準偏差等を算出することで統計量を計算する。

次に、パラメータ最適化部１４は、ステップＳ１５の処理で計算した統計量に基づいて、特徴量であるパラメータを最適化する（ステップＳ１６）。ステップＳ１６の処理では、例えば、まず複数パターンのパラメータを用いて、点群データやＣＡＤデータを複数のパターンで分割する。そして、パラメータ最適化部１４は、得られた分割結果に対して、統計量計算部１３で計算された統計量を比較し、特定の指標に基づいて最適なパラメータを選択する。

パラメータとしては、例えば、領域成長法における結合距離や、ボクセルグリッド法におけるボクセルサイズ、曲率計算における近傍半径等が挙げられる。

領域成長法における結合距離（パラメータ）の最適化について図１０Ａ及び図１０Ｂを参照して説明する。
図１０Ａ及び図１０Ｂは、領域成長法の結合距離の違いによる分割結果の差異を示す例であり、図１０Ａは結合距離が小さい例を示し、図１０Ｂは結合距離が大きい例を示している。図１０Ａに示すように、計測点Ｐ１の結合距離を小さく設定した場合、点群データは、グループ１、グループ２、グループ３及びグループ４の４つのグループに分割される。これに対して、図１０Ｂに示すように、計測点Ｐ１の結合距離を大きく設定した場合、点群データは、グループ１、グループ２の２つのグループに分割される。

ここで、類似した特徴を持つ計測点Ｐ１同士がグループ化できていれば、分割されたグループ（分割領域）内での特徴量のばらつきが小さくなる。そのため、パラメータ最適化部１４は、各分割領域での特徴量のばらつきが最小となる結合距離（パラメータ）を算出する。具体的には、パラメータ最適化部１４は、分割領域ごとに計算される特徴量分布の標準偏差について、その平均値が最小となる結合距離（パラメータ）を選択する。これにより、パラメータの最適化を行うことができる。

また、曲率計算における近傍半径（パラメータ）の最適化について図１１Ａ及び図１１Ｂを参照して説明する。
図１１Ａは、近傍半径と曲率の標準偏差の関係を示す図であり、横軸が近傍半径を示し、縦軸が曲率の標準偏差として特徴量の分散を示している。図１１Ｂは近傍半径の違いによる曲率の差異を示す図である。図１１Ｂに示すように、近傍半径が小さい場合は、曲率計算時の計測点Ｐ１の数が少なくなり、適切な曲率の計算ができない。一方、近傍半径が大きい場合は、曲率計算時の計測点Ｐ１の数が多くなるが、実際の物体曲面と関係ない計測点Ｐ１も含まれる。そのため、計算した曲率と実際の物体の曲率との誤差が大きくなる。

そのため、パラメータ最適化部１４は、領域成長法と同様に、複数の近傍半径を用いて特徴量を計算し、分割領域ごとに特徴量の標準偏差の平均値を計算する。図１１Ａに示すように、適切な近傍半径の周辺で標準偏差が小さくなるため、分割領域ごとの分散が最小となる近傍半径ｄ_０を選択する。これにより、最適な近傍半径を計算することができ、計算した曲率と実際の物体の曲率との誤差を小さくすることができる。

また、パラメータ最適化部１４は、パラメータの最適化結果を表示処理部１８に出力する。そして、表示処理部１８は、表示装置４の表示部に最適化結果を表示する。図１２は、パラメータの最適化結果の表示例である。

図１２に示すように、表示画面には、対象となる点群データ及び分割されたボクセルＲ１が３次元的に表示される。そして、ユーザにより任意のボクセルＲ１が選択されると、表示画面には、選択されたボクセルＲ１の近傍距離に関する詳細情報を示すグラフが表示される。グラフにおける横軸は近傍距離を示し、縦軸は特徴量の分散を示す。また、グラフ上には、パラメータ最適化部１４により得られた最適化された近傍距離ｄ_０が表示される。

この近傍距離ｄ_０は修正可能に設定される。例えば、ユーザは、マウスやキーボード等の入力装置３を用いて分割に用いる近傍距離ｄ_０を入力し、修正ボタンを押下する。そして、パラメータ最適化部１４は、修正された近傍距離ｄ_０に基づいて、点群データを分割し、特徴量を算出する。これにより、パラメータをより最適な値に設定することができる。

ステップＳ１６におけるパラメータの最適化処理が完了すると、ステップＳ１６の処理で最適化されたパラメータに基づいて、分割最適化部１５は、ステップＳ１４の処理で一次分割された点群データを二次分割及び統合する（ステップＳ１７）。これにより、点群データの分割領域の最適化を行うことができる。

具体的には、分割最適化部１５は、分割領域を二次分割する。図１３は、分割最適化部１５により分割領域がさらに分割される例を示す説明図である。
図１３示すように、分割最適化部１５は、分割領域の計測点Ｐ１の座標値の標準偏差や、曲率などの特徴量の標準偏差を算出する。そして、算出した標準偏差が予め設定した閾値を超過する場合、分割最適化部１５は、分割領域をさらに分割する。これにより、図１１に示すように、グループ１は、熱交換器５１に相当するグループ１ａと、配管５２に相当するグループ１ｂに二次分割される。分割方法としては、例えば、混合正規分布を仮定したＥＭアルゴリズムなどが適用される。

次に、分割最適化部１５は、分割領域の統合を行う。図１４は、分割最適化部１５により分割領域を統合する例を示す説明図である。
図１４に示すように、分割最適化部１５は、一次分割した各分割領域（図１２に示す例ではグループ１、２、３）の計測点Ｐ１間の最小距離を計算する。ここで、グループ１及びグループ２は、熱交換器に相当し、グループ３は、配管に相当する。そして、この最小距離が予め設定した閾値以下となる分割領域のペアを選択する。図１２に示す例では、グループ１とグループ２、グループ２とグループ３。

次に、分割最適化部１５は、ペアに選択した分割領域間における曲率などの特徴量分布の平均値及び標準偏差を算出する。そして、分割最適化部１５は、算出した値が平均値及び標準偏差が予め設定した閾値以下の場合には、当該分割領域を統合する。これにより、図１２に示すように、熱交換器に相当するグループ１とグループ２が統合されて、グループ１’となる。

また、図１５を参照してボクセルグリッド法での分割及び統合の最適化処理について説明する。図１５は、ボクセルグリッド法での分割領域の統合処理を示す説明図である。
図１５に示すように、分割最適化部１５は、各ボクセルＲ１の計測点Ｐ１の曲率などの特徴量を算出する。次に、分割最適化部１５は、各ボクセルＲ１の特徴量の統計分布を比較する。そして、分割最適化部１５は、統計分布が類似しているボクセルＲ１を統合する。これにより、点群データを機器の構成要素ごとに二次分割及び統合することができる。図１５に示す例では、グループ１は熱交換器５１の本体部に相当し、グループ２は、熱交換器５１の脚部に相当する点群データとなる。

このように、本例の物体認識装置１００及び物体認識方法によれば、分割最適化部１５により分割された点群データを、その分割領域ごとの特徴量に基づいて、詳細に分割及び統合している。これにより、機器間の重なりによりオクルージョンが発生し、計測点Ｐ１が欠けた場合でも、点群データを、機器ごとに正確に分割することができる。その結果、後述するステップＳ１９の処理において、点群データを高精度に分類することができる。

ステップＳ１７における分割の最適化処理が完了すると、計測シミュレーション部１６は、ステップＳ１２で取得したＣＡＤデータ又はステップＳ１３で生成したシミュレーション点群データを用いて計測シミュレーションを行う（ステップＳ１８）。なお、ステップＳ１８の処理は、ステップＳ１７の処理を行う前で、ステップＳ１２又はステップＳ１３の処理が完了した後に行ってもよい。さらに、ステップＳ１８の処理は、点群データの分類動作を行う前に事前に行っていてもよい。

ここで、図１６から図２２を参照して計測シミュレーション部１６により計測シミュレーション動作について説明する。
図１６は、計測シミュレーション動作を示す概略図である。
図１６に示すように、物体認識装置１００は、過去に行った点群データとＣＡＤデータの照合結果を点群－ＣＡＤ照合結果データベース２３と、シミュレーション結果データベース２５に格納する。また、物体認識装置１００は、点群データとＣＡＤデータの照合結果に基づいて、形状誤差を分析する。そして、計測シミュレーション部１６は、分析した形状誤差を形状誤差発生器２７に格納する。

また、物体認識装置１００は、ＣＡＤモデルの表面にシミュレーション点Ｐ２を付与し、シミュレーション点群データを生成する。なお、この処理は、ステップＳ１３の処理で行われる。そして、計測シミュレーション部１６は、生成したシミュレーション点群データに、形状誤差発生器２７に格納された形状誤差を付与し、形状誤差シミュレーションを行う。次に、計測シミュレーション部１６は、シミュレーション点群データにオクルージョンを付与するオクルージョンシミュレーションを行う。

次に、計測シミュレーション部１６は、形状誤差シミュレーション及びオクルージョンシミュレーションを行ったシミュレーション点群データをシミュレーション結果データベース２５に格納する。このシミュレーション結果データベース２５に格納されたシミュレーション点群データが照合処理で用いられる教師データとなる。

次に、図１７から図２２を参照して具体的なシミュレーション動作について説明する。
図１７は、過去の点群データとＣＡＤデータとの照合実績を用いてシミュレーション点群データを生成する例を示す説明図である。また、図１７は、オクルージョンを考慮する例を示す説明図である。
図１７に示すように、計測シミュレーション部１６は、ＣＡＤモデル７０と過去に照合を行った点群データの計測点Ｐ４（以下、過去計測点という）を重ね合わせる。次に、点群データをボクセルＲ１ごとに分割する。

そして、計測シミュレーション部１６は、分割した点群データからオクルージョン領域Ｒ２を特定する。例えば、分割した領域（ボクセルＲ１）の中で、ＣＡＤモデル７０のメッシュ数に対する過去計測点Ｐ４の比率が閾値以下となる場合には、過去計測点Ｐ４が存在しないと判断する。そして、計測シミュレーション部１６は、当該領域をオクルージョン領域Ｒ２に特定する。次に、計測シミュレーション部１６は、分割した領域（ボクセルＲ１）ごとに、過去計測点Ｐ４とＣＡＤモデル７０の形状の誤差分布を計算し、教師データとしてシミュレーション結果データベース２５に格納する。これにより、オクルージョンを考慮したシミュレーション点群データを生成することができる。

図１８は、過去の点群データとＣＡＤデータとの照合実績を用いてシミュレーション点群データを生成する例を示す説明図である。また、図１８は、オクルージョンパターン及び形状誤差を考慮した説明図である。
図１８に示すように、計測シミュレーション部１６は、ＣＡＤモデル７０と過去計測点Ｐ４を重ね合わせる。次に、ＣＡＤモデル７０と過去計測点Ｐ４との距離を計測する。この間隔がＣＡＤモデル７０との形状誤差となる。

また、計測シミュレーション部１６は、ＣＡＤモデル７０及び過去計測点Ｐ４を機器の構成要素７１～７７ごとに分解する。次に、各構成要素７１～７７におけるＣＡＤモデル７０のメッシュ数に対する過去計測点Ｐ４の数の比率、及び過去計測点Ｐ４とＣＡＤモデル７０との距離の統計量（平均値及び標準偏差）を計算する。そして、過去計測点Ｐ４の比率は、オクルージョン領域の推定に用いられる。また、計測シミュレーション部１６は、計算した構成要素７１～７７ごとの統計量を、教師データとしてシミュレーション結果データベース２５に格納する。これにより、点群データを分類する際に、機器の構成要素７１～７７まで細かく分類することができる。

次に、図１９から図２１Ｂを参照してＣＡＤデータから生成されたシミュレーション点群データにオクルージョンを付与する例について説明する。
図１９は、シミュレーション点群データにオクルージョンを付与する例を示す説明図、図２０Ａから図２０Ｃは、オクルージョンのパターンを示す説明図、図２１は、ボクセルＲ１ごとの特徴量を示す説明図である。

図１９に示すように、計測シミュレーション部１６は、ＣＡＤモデル７０をメッシュ分割し、各メッシュの頂点又は中心点にシミュレーション点Ｐ２を生成し、シミュレーション点群データを生成する。そして、３Ｄ分割部１２により、シミュレーション点群データを所定サイズのボクセルＲ１に分割する。

また、計測シミュレーション部１６は、過去の点群データとＣＡＤデータとの照合実績を用いてオクルージョンパターンを取得する。具体的には、点群データとＣＡＤデータとの照合実績からオクルージョン領域Ｒ２を特定する。そして、シミュレーション点群データからオクルージョン領域Ｒ２に該当するシミュレーション点Ｐ２を除去する。これにより、シミュレーション点群データにオクルージョンを付与することができる。

また、図２０Ａから図２０Ｃに示すように、計測シミュレーション部１６は、複数のオクルージョンパターンを生成してもよい。すなわち、図２０Ａに示す例では、機器の左上部にオクルージョン領域Ｒ２が発生したパターンを示し、図２０Ｂに示す例では、機器の右半分にオクルージョン領域Ｒ２が発生したパターンを示している。そして、図２０Ｃに示す例では、機器の上半分にオクルージョン領域Ｒ２が発生したパターンを示している。このように、複数のオクルージョンパターンをシミュレーションすることで、後述するステップＳ１９の処理において、点群データを高精度に分類することができる。

さらに、図２１Ａ及び図２１Ｂに示すように、計測シミュレーション部１６は、各オクルージョンパターンに対して、分割した領域（ボクセルＲ１）ごとの特徴量の分布を計測する。これにより、オクルージョン領域Ｒ２の特徴量を判別することができる。

次に、図２２を参照してＣＡＤデータから生成されたシミュレーション点群データに形状誤差を付与する例について説明する。
図２２は、シミュレーション点群データに形状（計測）誤差を付与する例を示す説明図である。

図２２に示すように、計測シミュレーション部１６は、ＣＡＤモデル７０の各メッシュの頂点又は中心点にシミュレーション点Ｐ２を生成し、シミュレーション点群データを生成する。そして、３Ｄ分割部１２により、シミュレーション点群データを所定サイズのボクセルＲ１に分割する。

次に、計測シミュレーション部１６は、各ボクセルＲ１内のシミュレーション点Ｐ２の座標値に対しして、過去の照合実績から得られた形状誤差に基づいて、ランダムに誤差を付与する。具体的には、取得した統計量の平均値と分散を用いて、例えば、正規分布を用いてシミュレーション点群データに誤差を加算する。このとき、誤差を加算する方向は、各シミュレーション点Ｐ２における面法線ベクトルの向きとする。また、面法線ベクトルは、ＣＡＤモデル７０のメッシュの各面が有する法線ベクトルを用いてもよく、あるいはシミュレーション点群データに対して一般的な点群の面法線ベクトル計算方法を用いて計算してもよい。

なお、形状誤差の大きさは、機器の表面形状や材質によって変わるため、ボクセルＲ１ごとの誤差の統計量だけでなく、ボクセルＲ１内の３Ｄモデルの表面形状に応じて統計量及び加算する誤差を計算してもよい。例えば、ボクセルＲ１ごとに内部に存在するＣＡＤモデル７０の曲率に関する統計分布を計算し、当該統計分布が類似するボクセルＲ１同士を統合する。そして、統合したボクセルＲ１における誤差の統計量を計算して、誤差パターンを作成する。

また、シミュレーション点Ｐ２に誤差を付与する差異は、ボクセルＲ１内のシミュレーション点Ｐ２の曲率の統計分布を計算し、当該統計分布に最も近い統計分布を有する誤差パターンを用いて誤差を付与する。

このように、本例の物体認識装置１００及び物体認識方法によれば、計測シミュレーション部１６によりオクルージョンや形状誤差を付与したシミュレーション点群データを生成している。この誤差を考慮したシミュレーション点群データを教師データとして使用することで、後述するステップＳ１９の処理において、点群データを高精度に分類することができる。

ステップＳ１７における分割の最適化処理及びステップＳ１８における計測シミュレーション処理が完了すると、照合部１７は、図２３に示すように、点群データとＣＡＤデータの照合処理を行う（ステップＳ１９）。図２３は、照合処理を示すイメージ図である。

次に、図２４及び図２５を参照して照合処理について説明する。
図２４は、照合処理動作を示すフローチャートである。図２５は、ＣＡＤデータの絞り込み作業を示す説明図である。
図２４に示すように、照合部１７は、点群データの中から照合を行う点群を選択する（ステップＳ３１）。ステップＳ３１の処理で選択される点群は、ステップＳ１７の処理で二次分割及び統合された点群である。また、ステップＳ３１の処理は、例えば、ユーザが表示装置４の表示部に表示された点群データからマウスやタッチパネル等の入力装置３を用いて行ってもよく、又は照合部１７が二次分割及び統合された点群の全てを対象として、順番に自動的に選択してもよい。

次に、照合部１７は、計測シミュレーション部１６によって生成されたシミュレーション点群データを用いて、照合対象となるＣＡＤデータを絞り込む（ステップＳ３１）。図２５に示すように、照合部１７は、シミュレーション結果データベース２５に格納されたシミュレーション点群データにおけるバウンディングボックスの体積やボクセルＲ１内の曲率の平均値や標準偏差等の統計量の分布と、点群データのバウンディングボックスの体積や統計量の分布を比較する。

照合部１７は、分布や体積の差が予め設定した閾値以下となるＣＡＤデータを抽出する。抽出するＣＡＤデータは、一つだけでもよく、あるいは複数でもよい。

ここで、シミュレーション点群データは、オクルージョンを付与したパターンを有している。そのため、分類を行う点群データにオクルージョンが生じていても高精度にＣＡＤデータを抽出することができる。

次に、照合部１７は、点群データと、抽出したＣＡＤデータのＣＡＤモデル７０の位置合わせを行う（ステップＳ３３）。ステップＳ３３の処理において、照合部１７は、まず、ＲＡＮＳＡＣ法により円柱や平面を抽出し、円柱の中心線や平面の位置が一致するように合わせる方法や、ＳＨＯＴなどの特徴点を照合して位置合わせする方法が用いて大まかな位置合わせを行う。次に、点群データの計測点Ｐ１とＣＡＤモデル７０の表面との距離を最小化するように微小な回転お平行移動を繰り返し、点群データとＣＡＤモデル７０を精密に位置合わせする。

次に、照合部１７は、位置合わせを行った点群データとＣＡＤモデル７０の照合を判定する（ステップＳ３４）。ここで、図２６Ａから図２６Ｃを参照して判定処理について説明する。
図２６Ａ及び図２６Ｂは、計測点Ｐ１とＣＡＤモデル７０との距離を示す説明図である。図２６Ｃは、計測点Ｐ１とＣＡＤモデル７０との絶対距離の分布を示すグラフである。

図２６Ａに示すように、ステップＳ３４の判定処理では、点群データの計測点Ｐ１とＣＡＤモデル７０の表面との最小距離、すなわち絶対距離を計測点Ｐ１ごとに計算する。また、図２６Ｂに示すように、ＣＡＤモデル７０からシミュレーション点群データを生成した場合では、シミュレーション点群データのシミュレーション点Ｐ２と、計測点Ｐ１との最小距離を計算する。シミュレーション点群データを用いることで、オクルージョンや形状誤差を考慮した教師データと比較することができ、判定処理の精度を高めることができる。

次に、照合部１７は、図２６Ｃに示すように、計測点Ｐ１とＣＡＤモデル７０との絶対距離の分布を計算する。照合部１７は、各計測点Ｐ１の最小距離の平均値μを計算し、当該平均値μが閾値Ｋ以下となる点群データとＣＡＤモデルのペアを抽出する。そして、照合部１７は、抽出した点群データとＣＡＤモデルのペアのうち当該平均値μが再送のペアを照合（合致）すると判定する。これにより、照合部１７による照合処理が完了する。

次に、照合部１７は、照合結果を表示処理部１８に出力する。そして、表示処理部１８は、照合部１７から出力された照合結果を画像データに変換し、表示装置４に出力し、表示部に照合結果を表示させる（ステップＳ２０）。これにより、点群データの分類動作が完了する。

図２７は、照合結果の表示例を示す図である。
図２７に示すように、例えば、表示装置４の表示部の左側には、分類の対象となる点群データが三次元的に表示される。また、点群データのＩＤも一緒に表示される。また、表示部の右側には、点群データから推定される機器のＣＡＤデータとして、三次元のＣＡＤモデル７０と、機器の名称が表示される。そして、表示部の下部には、点群データと推定したＣＡＤモデル７０が重畳させて表示される。これにより、ユーザは、分類を行う点群データが、どの機器であるかを容易に確認することができる。

また、照合部１７は、照合結果を、点群－ＣＡＤ照合結果データベース２３に格納する。これにより、次に点群データの分類動作を行う際に、この格納した照合結果を用いてシミュレーション点群データを生成することで、点群データの分類精度をより高めることができる。

なお、上述しかつ図面に示した実施の形態に限定されるものではなく、特許請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。

また、上述した実施の形態例では、パラメータ最適化部１４により特徴量のパラメータの最適化を行う例を説明したが、これに限定されるものではなく、パラメータの最適化を行うことなく、分割最適化部１５によって分割領域の最適化処理を行ってもよい。

さらに、計測シミュレーション部１６によりＣＡＤデータにオクルージョンや形状誤差を付与することでシミュレーション点群データを生成した例を説明したが、これに限定されるものではない。上述したように、分割最適化部１５により点群データを機器ごとに正確に分割することができる。そのため、計測シミュレーション部１６により計測シミュレーションを行わなくても、点群データの分類動作を行うことが可能である。

１…計算装置、 ２…記憶装置、 ３…入力装置、 ４…表示装置（出力装置）、 １１…データ取得部、 １２…３Ｄ分割部（分割部）、 １３…統計量計算部、 １４…パラメータ最適化部、 １５…分割最適化部、 １６…計測シミュレーション部、 １７…照合部、 １８…表示処理部、 ２１…点群データベース、 ２２…ＣＡＤデータベース、 ２３…点群－ＣＡＤ照合結果データベース、 ２５…シミュレーション結果データベース、 ２７…形状誤差発生器、 ５０…機器群、 ５１…熱交換器、 ５２…空調機、 ５３…配管、 ５４…躯体、 ５４ａ…床面、 ７０…ＣＡＤモデル、 Ｐ１…計測点、 Ｐ２…シミュレーション点、 Ｐ４…過去計測点、 Ｒ１…ボクセル、 Ｒ２…オクルージョン領域、 １００…物体認識装置

Claims (8)

1. 計測装置が機器群を計測することで作成された複数の計測点の集合である点群データが、前記計測装置から出力され、前記点群データを格納する記憶部と、
   前記記憶部から前記点群データを取得するデータ取得部と、
   前記データ取得部が取得した前記点群データを一次分割する分割部と、
   前記分割部により一次分割された前記点群データに対して分割領域ごとに、前記計測点の特徴量の統計量を計算する統計量計算部と、
   前記統計量計算部により計算された前記統計量に基づいて、一次分割された前記点群データを二次分割及び／又は統合する分割最適化部と、
   前記分割最適化部により二次分割及び／又は統合された前記点群データの点群と予め前記記憶部に格納された機器のモデルデータとの照合を行う照合部と、
   前記モデルデータに、死角となり前記計測装置が計測できない箇所であるオクルージョン及び／又は形状誤差を付与し、シミュレーションデータを生成する計測シミュレーション部と、
   を備え、
   前記モデルデータとしては、照合する機器のＣＡＤデータが適用され、
   前記データ取得部は、前記点群データと共に前記モデルデータを取得し、
   前記照合部は、前記シミュレーションデータを用いて、前記分割最適化部により二次分割または統合された前記点群データの点群と前記モデルデータとの照合を行う
   物体認識装置。
2. 前記計測シミュレーション部は、
   前記モデルデータにシミュレーション点を付与することで、シミュレーション点群データを生成し、前記シミュレーション点群データに、オクルージョン及び／又は形状誤差を付与し、前記シミュレーションデータを生成する
   請求項１に記載の物体認識装置。
3. 前記統計量計算部により計算された前記分割領域ごとの前記統計量の分布を計算し、当該統計量の分布に基づいて、前記統計量の算出に必要なパラメータを調整するパラメータ最適化部をさらに備えた
   請求項１に記載の物体認識装置。
4. 前記特徴量は、曲率、面法線ベクトルの向き又は前記計測点の色である
   請求項１に記載の物体認識装置。
5. 前記統計量は、前記特徴量の平均又は標準偏差である
   請求項４に記載の物体認識装置。
6. 前記分割最適化部は、前記分割領域内の前記計測点の前記特徴量の平均又は標準偏差を用いて、二次分割の可否を判定する
   請求項５に記載の物体認識装置。
7. 前記分割最適化部は、２つの前記分割領域における前記計測点の距離と、前記分割領域ごとの前記計測点の前記特徴量の平均又は標準偏差を用いて、２つの前記分割領域の統合の可否を判定する
   請求項６に記載の物体認識装置。
8. 計測装置が機器群を計測することで作成された複数の計測点の集合である点群データが、前記計測装置から出力され、前記点群データを記憶部に格納する処理と、
   前記記憶部から前記点群データを取得する処理と、
   取得した前記点群データを一次分割する処理と、
   一次分割された前記点群データに対して分割領域ごとに、前記計測点の特徴量の統計量を計算する処理と、
   計算された前記統計量に基づいて、一次分割された前記点群データをさらに二次分割または統合する処理と、
   予め前記記憶部に格納された機器のモデルデータに、死角となり前記計測装置が計測できない箇所であるオクルージョン及び／又は形状誤差を付与し、シミュレーションデータを生成する処理と、
   前記シミュレーションデータを用いて、二次分割または統合された前記点群データの点群と前記モデルデータとの照合を行う処理と、
   を含み、
   前記モデルデータとしては、照合する機器のＣＡＤデータが適用され、
   前記点群データを取得する際に、前記モデルデータを取得する
   物体認識方法。

Images