JP7201091B2 - 処理装置、処理方法及びプログラム - Google Patents

Description

本発明は、処理装置、処理方法及びコンピュータ可読媒体に関する。

工場設備などの検査対象構造物の検査に関して、検査対象構造物の形状を検出する技術の開発が進められている。例えば、特許文献１には、３次元レーザスキャナを用いて検査対象構造物の点群データを取得し、取得した点群データに基づいて検査対象構造物の形状を検出する技術が開示されている。

特開２０１０－１５１５７７号公報

ところで、検査対象構造物の形状を検出するために、取得された検査対象構造物の点群データに対し、点群の位置情報に基づいてクラスタリング処理を行う必要がある。クラスタリング処理とは、同一構造物と考えられる点群をクラスタとして分類する処理である。しかしながら、配管類が複雑に入り組んだ設備など、検査対象構造物の形状が複雑である場合、クラスタリング処理において、同一構造物が複数のクラスタに分類されてしまったり、異なる構造物が同一のクラスタに分類されてしまったりすることがあった。このようにクラスタリング処理の精度が良くない場合、検査対象構造物の異常検知を精度良く行なうことができないおそれがあった。

本発明は、以上の背景に鑑みなされたものであり、検査対象構造物の異常検知を精度良く行なうことが可能になるように当該検査対象構造物から取得された点群データを処理することができる処理装置を提供することを目的とする。

本発明の第１の態様に係る処理装置は、光照射された検査対象構造物からの反射光に基づいて取得された三次元点群データを、前記データの各点における位置情報に基づいて、前記構造物に対応する形状単位であるクラスタに分類する分類手段と、前記分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の前記構造物に対応するか否かを、前記分類されたクラスタ間の位置関係に基づいて判定するクラスタ対応付け手段と、を備える。

本発明の第２の態様に係る処理方法は、光照射された検査対象構造物からの反射光に基づいて取得された三次元点群データを、前記データの各点における位置情報に基づいて、前記構造物に対応する形状単位であるクラスタに分類するステップと、前記分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の前記構造物に対応するか否かを、前記分類されたクラスタ間の位置関係に基づいて判定するステップと、を備える。

本発明の第３の態様に係る非一時的なコンピュータ可読媒体は、光照射された検査対象構造物からの反射光に基づいて取得された三次元点群データを、前記データの各点における位置情報に基づいて、前記構造物に対応する形状単位であるクラスタに分類するステップと、前記分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の前記構造物に対応するか否かを、前記分類されたクラスタ間の位置関係に基づいて判定するステップと、をコンピュータに実行させるプログラムが格納されている。

本発明によれば、検査対象構造物の異常検知を精度良く行なうことが可能になるように当該検査対象構造物から取得された点群データを処理することができる。

実施の形態１に係る処理装置の構成を示すブロック図である。 実施の形態２に係る処理装置の構成を示すブロック図である。 実施の形態２に係る処理装置における、検査対象構造物から取得された点群データを処理する流れについて説明するフローチャートである。 図３のステップＳ２におけるサブルーチンの処理の流れについて示すフローチャートである。 図４のステップＳ１０１において、第１の射影クラスタと第２の射影クラスタとを生成する方法の一例について説明する模式図である。 図４のステップＳ１０２において第１のクラスタと第２のクラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない場合について説明する模式図である。 第１のクラスタと第２のクラスタとの間に点群を補完する方法について説明する模式図である。 第１のクラスタと第２のクラスタとの間に点群を補完する方法について説明する模式図である。 変形例１に係る、第１の射影クラスタと第２の射影クラスタとを生成する方法を実現するための処理装置の構成を示すブロック図である。 図４のステップＳ１０１において、第１の射影クラスタと第２の射影クラスタとを生成する方法の別の一例について説明する模式図である。 変形例２に係る、第１の射影クラスタと第２の射影クラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない処理を実現するための処理装置の構成を示すブロック図である。 図４のステップＳ１０２において第１の射影クラスタと第２の射影クラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない処理の別の一例について説明する模式図である。 変形例３に係る、図３のステップＳ２におけるサブルーチンの処理を実現するための処理装置の構成を示すブロック図である。 変形例３に係る、図３のステップＳ２におけるサブルーチンの処理の流れについて示すフローチャートである。 図１４のステップＳ２０６における、第１輪郭線群と第２輪郭線群とで一致する輪郭線の数が閾値以上か否かの判定について、具体的に説明する模式図である。 輪郭に曲線部分を有するクラスタから輪郭線を抽出する方法の一例について説明する模式図である。 変形例４に係る、図３のステップＳ２におけるサブルーチンの処理を実現するための処理装置の構成を示すブロック図である。 変形例４に係る、図３のステップＳ２におけるサブルーチンの処理の流れについて示すフローチャートである。 第１のクラスタより検出された最短方向と第２のクラスタより検出された最短方向とのなす角のうち小さい方の角度、及び第２平面について説明する模式図である。

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。なお、図に示した右手系ＸＹＺ座標は、構成要素の位置関係を説明するための便宜的なものである。

［実施の形態１］
以下、実施の形態１について説明する。
図１は、実施の形態１に係る処理装置１０の構成を示すブロック図である。図１に示すように、処理装置１０は、分類手段１２と、クラスタ対応付け手段１３と、を備えている。

分類手段１２は、光照射された検査対象構造物からの反射光に基づいて取得された三次元点群データを、当該三次元点群データの各点における位置情報に基づいて、構造物に対応する形状単位であるクラスタに分類するものである。

クラスタ対応付け手段１３は、分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の検査対象構造物に対応するか否かを、分類されたクラスタ間の位置関係に基づいて判定する。

上述のように構成された処理装置１０によれば、検査対象構造物の異常検知を精度良く行なうことが可能になるように当該検査対象構造物から取得された点群データを処理することができる。

［実施の形態２］
以下、実施の形態２について説明する。
まず、実施の形態２にかかるに係る処理装置の構成例について説明する。図２は、実施の形態２に係る処理装置１１０の構成を示すブロック図である。図２に示すように、処理装置１１０は、分類手段１１２と、クラスタ対応付け手段１１３と、点群補完手段１１４と、を備えている。

分類手段１１２は、三次元センサ１１１により光照射された検査対象構造物からの反射光に基づいて取得された点群データ（三次元点群データ）を、当該点群データの各点における位置情報に基づいて、当該構造物に対応する形状単位であるクラスタに分類するものである。

ここで、三次元センサ１１１は、少なくとも光の振幅情報をもとに距離を測ることができるもので、検査対象構造物に対して光を照射して点群データを取得する。三次元センサ１１１は、例えば３Ｄ－ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ)センサである。

クラスタ対応付け手段１１３は、射影クラスタ生成手段１１３ａと、判定手段１１３ｂと、を有する。射影クラスタ生成手段１１３ａは、所定の第１平面に第１のクラスタを射影した第１の射影クラスタと第１平面に第２のクラスタを射影した第２の射影クラスタとを生成する。第１のクラスタと第２のクラスタは、分類手段１１２によって分類されたクラスタに含まれる任意の２つのクラスタである。なお、所定の第１平面については後述する。

判定手段１１３ｂは、クラスタ間の位置関係に基づいて、第１のクラスタと第２のクラスタとを、同一構造物として対応付けするか否かを判定する。判定手段１１３ｂは、第１のクラスタと第２のクラスタとの対応付けにおいて、第１の射影クラスタと第２の射影クラスタとが一致するか否かについての判定結果を考慮する。

点群補完手段１１４は、クラスタ対応付け手段１１３において第１のクラスタと第２のクラスタとを対応付けすると判定された場合に、第１のクラスタと第２のクラスタとの間に点群を補完する。

次に、図２に示す処理装置１１０における、検査対象構造物から取得された点群データを処理する流れについて説明する。なお、以下の説明では図２についても適宜参照する。

図３は、処理装置１１０における、検査対象構造物から取得された点群データを処理する流れについて説明するフローチャートである。図３に示すように、まず、分類手段１１２が、光照射された検査対象構造物からの反射光に基づいて取得された点群データを、当該点群データの各点における位置情報に基づいて、当該構造物に対応する形状単位であるクラスタに分類する（ステップＳ１）。続いて、クラスタ対応付け手段１１３が、分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の構造物に対応するか否かを、分類されたクラスタ間の位置関係に基づいて判定する（ステップＳ２）。続いて、点群補完手段１１４が、クラスタ対応付け手段１１３において第１のクラスタと第２のクラスタとを対応付けすると判定された場合に、第１のクラスタと第２のクラスタとの間に点群を補完する（ステップＳ３）。

次に、図３のステップＳ２における、第１のクラスタと第２のクラスタとが、同一の構造物に対応するか否かを判定する方法について具体的に説明する。

図４は、図３のステップＳ２におけるサブルーチンの処理の流れについて示すフローチャートである。図４に示すように、まず、射影クラスタ生成手段１１３ａが、所定の第１平面に第１のクラスタを射影した第１の射影クラスタと第１平面に第２のクラスタを射影した第２の射影クラスタとを生成する（ステップＳ１０１）。続いて、判定手段１１３ｂが、第１の射影クラスタと第２の射影クラスタとが一致するか否かについて判定する（ステップＳ１０２）。ステップＳ１０２において、第１の射影クラスタと第２の射影クラスタとが一致する場合には、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物として対応付けする（ステップＳ１０３）。ステップＳ１０２において、第１の射影クラスタと第２の射影クラスタとが一致しない場合には、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物としての対応付けしない（ステップＳ１０４）。

図５は、図４のステップＳ１０１において、第１の射影クラスタと第２の射影クラスタとを生成する方法の一例について説明する模式図である。ここで説明する例では、第１平面は、第１のクラスタの重心と第２のクラスタの重心とを結ぶ直線に垂直な平面である。

まず、クラスタＣ１１を第１のクラスタ、クラスタＣ１２を第２のクラスタとする場合について説明する。図５の上段に示すように、第１平面は、クラスタＣ１１の重心ＧＧ１１とクラスタＣ１２の重心ＧＧ１２とを結ぶ直線Ｌ１に垂直な平面Ｐ１である。図５の中段に示すように、クラスタＣ１１を平面Ｐ１に射影することで第１のクラスタに相当する射影クラスタＳＣ１１ａが生成される。同様に、図５の中段に示すように、クラスタＣ１２を平面Ｐ１に射影することで第２のクラスタに相当する射影クラスタＳＣ１２ａが生成される。なお、図５の中段において、左側にはクラスタＣ１１、クラスタＣ１２の平面Ｐ１への射影が、右側にはクラスタＣ１１、クラスタＣ１２の平面Ｐ１への射影の輪郭が示されている。

図５の中段より、射影クラスタＳＣ１１ａと射影クラスタＳＣ１２ａは一致の程度が高いので、図４のステップＳ１０２において、射影クラスタＳＣ１１ａと射影クラスタＳＣ１２ａとが一致すると判断される。よって、クラスタＣ１１とクラスタＣ１２は、同一の構造物として対応付けされる（図４のステップＳ１０３の処理）。

次に、クラスタＣ１１を第１のクラスタ、クラスタＣ１３を第２のクラスタとする場合について説明する。図５の上段に示すように、第１平面は、クラスタＣ１１の重心ＧＧ１１とクラスタＣ１３の重心ＧＧ１３とを結ぶ直線Ｌ２に垂直な平面Ｐ２である。図５の下段に示すように、クラスタＣ１１を平面Ｐ２に射影することで第１のクラスタに相当する射影クラスタＳＣ１１ｂが生成される。同様に、図５の下段に示すように、クラスタＣ１２を平面Ｐ２に射影することで第２のクラスタに相当する射影クラスタＳＣ１３ｂが生成される。なお、図５の下段において、左側にはクラスタＣ１１、クラスタＣ１３の平面Ｐ２への射影が、右側にはクラスタＣ１１、クラスタＣ１３の平面Ｐ２への射影の輪郭が示されている。

図５の下段より、射影クラスタＳＣ１１ｂと射影クラスタＳＣ１３ｂは一致の程度が低いので、図４のステップＳ１０２において、射影クラスタＳＣ１１ｂと射影クラスタＳＣ１３ｂとが一致すると判断される。よって、クラスタＣ１１とクラスタＣ１３は、同一の構造物としての対応付けはされない（図４のステップＳ１０４の処理）。

なお、図４のステップＳ１０２における、第１の射影クラスタと第２の射影クラスタとが一致するか否かの判断（一致の程度が高いか低いかの判断）は、具体的には、例えば次のような方法による。まず、第１の射影クラスタに含まれる点のそれぞれについて、第１の射影クラスタに含まれる点と当該点の最も近くに位置する第２の射影クラスタに含まれる点との距離を算出する。そして、これらの算出された距離の平均（平均距離）を求める。この平均距離が所定値以下であれば第１のクラスタと第２のクラスタが一致していると判定する。

次に、図４のステップＳ１０２において第１の射影クラスタと第２の射影クラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない場合について説明する。

図６は、図４のステップＳ１０２において第１のクラスタと第２のクラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない場合について説明する模式図である。ここで、クラスタＣ１の射影クラスタと、クラスタＣ２の射影クラスタと、が一致しているとする。また、クラスタＣ２の射影クラスタと、クラスタＣ３の射影クラスタと、が一致しているとする。

図６に示すように、クラスタＣ１とクラスタＣ２はいずれも構造物Ｂ１から取得された点群、クラスタＣ３は構造物Ｂ２から取得された点群、クラスタＣ４は構造物Ｂ３から取得された点群である。クラスタＣ１とクラスタＣ２は同一の構造物なので、同一構造物として対応付けする必要がある。一方、クラスタＣ２とクラスタＣ３は別々の構造物なので、同一の構造物としての対応付けはしないようにする必要がある。

構造物Ｂ１における、三次元センサ１１１に対して手前側の位置には構造物Ｂ３が存在している。このため、構造物Ｂ１の領域Ｔ１からは、構造物Ｂ３の影になって三次元センサ１１１からの光が当たらないので、点群が取得されない。領域Ｔ１の三次元センサ１１１に対して手前側の位置には構造物Ｂ３が存在しているので、当該位置からは点群が取得される。

一方、構造物Ｂ１と構造物Ｂ２とは別々の構造物である。このため、構造物Ｂ１と構造物Ｂ２の間の領域Ｔ２からは点群が取得されない。領域Ｔ２の三次元センサ１１１に対して手前側の位置には構造物が存在していないので、当該位置からも点群が取得されない。

クラスタＣ２とクラスタＣ３のように、別々の構造物から取得された２つのクラスタから生成された射影クラスタが、偶然、一致してしまう場合もあり得る。そこで、クラスタ対応付け手段１１３は、第１のクラスタと第２のクラスタとの間の三次元センサに対して手前側の位置に、所定数以上の点が含まれる第３のクラスタが存在しているか否かを判定する。そして、第３のクラスタが存在している場合には、第１のクラスタと第２のクラスタを対応付けし、第３のクラスタが存在していない場合には、第１のクラスタと第２のクラスタを対応付けしないようにする。

つまり、クラスタＣ１とクラスタＣ２との間の三次元センサ１１１に対して手前側の位置には、所定数以上の点が含まれるクラスタＣ４が存在するので、クラスタＣ１とクラスタＣ２を対応付けする。一方、クラスタＣ２とクラスタＣ３との間の三次元センサ１１１に対して手前側の位置には、所定数以上の点が含まれるクラスタが存在しないので、クラスタＣ２とクラスタＣ３は対応付けしない。そして、点群補完手段１１４（図２参照）により、対応付けされたクラスタＣ１とクラスタＣ２との間の領域Ｔ１に点群を補完する。これにより、構造物Ｂ１に対応するクラスタＣ５が得られる。

次に、図３のステップＳ３において、第１のクラスタと第２のクラスタとの間に点群を補完する方法について説明する。
図７及び図８は、第１のクラスタと第２のクラスタとの間に点群を補完する方法について説明する模式図である。図７に示されている、クラスタＣ６とクラスタＣ７は、クラスタの輪郭における輪郭線が１本一致しているとする（輪郭線ｑ１が一致）。また、図８に示されている、クラスタＣ９とクラスタＣ１０は、クラスタの輪郭における輪郭線が２本一致しているとする（輪郭線ｑ２、輪郭線ｑ３が一致）。

図７に示すように、クラスタの輪郭における輪郭線が１本一致している場合、対応付けする２つのクラスタである、クラスタＣ６とクラスタＣ７の間において、クラスタＣ６の重心ＧＧ６とクラスタＣ７の重心ＧＧ７とを結ぶ直線Ｌ３の方向に沿って点群を補間する。これにより、クラスタＣ６とクラスタＣ７とを同一の構造物として対応付けしたクラスタＣ８が生成される。

一方、図８に示すように、クラスタの輪郭における輪郭線が２本以上一致している場合、対応付けする２つのクラスタである、クラスタＣ９とクラスタＣ１０の間において、一致している輪郭線うちで互いに対向する２つの輪郭線の間（ここでは輪郭線ｑ２と輪郭線ｑ３の間）に点群を補間する。これにより、クラスタＣ９とクラスタＣ１０とを同一の構造物として対応付けしたクラスタＣ１１が生成される。

［変形例１］
図４のステップＳ１０１において、第１の射影クラスタと第２の射影クラスタとを生成する方法の別の一例について説明する。
図９は、変形例１に係る、第１の射影クラスタと第２の射影クラスタとを生成する方法を実現するための処理装置２１０の構成を示すブロック図である。図９に示すように、処理装置２１０のクラスタ対応付け手段２１３は、図２に示す処理装置１１０のクラスタ対応付け手段１１３に対して、最長方向検出手段１１３ｃをさらに備えている。最長方向検出手段１１３ｃは、分類手段によって分類された全てのクラスタについて、それぞれ、点の数が最も多く並んでいる最長方向を検出する。

クラスタから最長方向を検出する方法として、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）の手法を適用することができる。主成分分析の手法では、主成分（固有ベクトル）の固有値が分散である。主成分分析の手法では、固有値が大きいから順に第１主成分、第２主成分、・・・と呼ぶ。クラスタは３つのパラメータ（ｘ、ｙ、ｚ）から成るため、第１主成分、第２主成分、第３主成分と、３つの主成分が得られる。

上述したように、最長方向は、クラスタにおいて最も点の数が多く並んでいる方向である。主成分分析の手法では、クラスタにおいて最も点の数が多く並んでいる方向である最長方向において、点の分散に相当する、主成分の固有値が最大になる。つまり、主成分の固有値が最大となる第１主成分が最長方向である。よって、主成分分析の手法によって第１主成分を検出することで最長方向を検出することができる。なお、クラスタにおいて最も点の数が少なく並んでいる方向である最短方向は、主成分の固有値が最小となる第３主成分である。ここで、クラスタにおいて最も点の数が少なく並んでいる、とは点の数がゼロの場合を含まないものとする。

図１０は、図４のステップＳ１０１において、第１の射影クラスタと第２の射影クラスタとを生成する方法の別の一例について説明する模式図である。ここで説明する例では、第１平面は、第１のクラスタの最長方向に垂直な平面である。

まず、クラスタＣ２１を第１のクラスタ、クラスタＣ２２を第２のクラスタとする場合について説明する。図１０の上段に示すように、第１平面は、クラスタＣ２１の最長方向に垂直な平面Ｐ３である。図１０の中段に示すように、クラスタＣ２１を平面Ｐ３に射影することで第１のクラスタに相当する射影クラスタＳＣ２１ａが生成される。同様に、図５の中段に示すように、クラスタＣ２２を平面Ｐ３に射影することで第２のクラスタに相当する射影クラスタＳＣ２２ａが生成される。なお、図１０の中段において、左側にはクラスタＣ２１、クラスタＣ２２の平面Ｐ３への射影が、右側にはクラスタＣ２１、クラスタＣ２２の平面Ｐ３への射影の輪郭が示されている。

図１０の中段より、射影クラスタＳＣ２１ａと射影クラスタＳＣ２２ａは一致している程度が高いので、図４のステップＳ１０２において、射影クラスタＳＣ２１ａと射影クラスタＳＣ２２ａとが一致すると判断される。よって、クラスタＣ２１とクラスタＣ２２は、同一の構造物として対応付けされる（図４のステップＳ１０３の処理参照）。

次に、クラスタＣ２１を第１のクラスタ、クラスタＣ２３を第２のクラスタとする場合について説明する。図１０の上段に示すように、第１平面は、クラスタＣ２１の最長方向に垂直な平面Ｐ３である。図１０の下段に示すように、クラスタＣ２１を平面Ｐ３に射影することで第１のクラスタに相当する射影クラスタＳＣ２１ａが生成される。同様に、図１０の下段に示すように、クラスタＣ２２を平面Ｐ３に射影することで第２のクラスタに相当する射影クラスタＳＣ２３ａが生成される。なお、図１０の下段において、左側にはクラスタＣ２１、クラスタＣ２３の平面Ｐ３への射影が、右側にはクラスタＣ２１、クラスタＣ２３の平面Ｐ３への射影の輪郭が示されている。

図１０の下段より、射影クラスタＳＣ２１ａと射影クラスタＳＣ２３ａは一致している程度が低いので、図４のステップＳ１０２において、射影クラスタＳＣ２１ａと射影クラスタＳＣ２３ａとが一致すると判断される。よって、クラスタＣ２１とクラスタＣ２３は、同一の構造物としての対応付けはされない（図４のステップＳ１０４の処理参照）。なお、一致の程度が高いか低いかの判定については前述した方法などにより行う。

［変形例２］
次に、図４のステップＳ１０２において第１の射影クラスタと第２の射影クラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない処理の別の一例について説明する。
図１１は、変形例２に係る、第１の射影クラスタと第２の射影クラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない処理を実現するための処理装置３１０の構成を示すブロック図である。図１１に示すように、処理装置３１０のクラスタ対応付け手段３１３は、図２に示す処理装置１１０のクラスタ対応付け手段１１３に対して、画素値平均算出手段１１３ｄをさらに備えている。画素値平均算出手段１１３ｄは、点群データから距離画像を生成し、生成した距離画像における、第１のクラスタと第２のクラスタとの間の領域に含まれる画素の画素値の平均を算出する。

図１２は、図４のステップＳ１０２において第１の射影クラスタと第２の射影クラスタが一致していると判定されても、第１のクラスタと第２のクラスタとを対応付けしない処理の別の一例について説明する模式図である。ここで、クラスタＣ１の射影クラスタと、クラスタＣ２の射影クラスタと、が一致しているとする。また、クラスタＣ２の射影クラスタと、クラスタＣ３の射影クラスタと、が一致しているとする。

図１２に示すように、クラスタＣ１とクラスタＣ２はいずれも構造物Ｂ１から取得された点群、クラスタＣ３は構造物Ｂ２から取得された点群、クラスタＣ４は構造物Ｂ３から取得された点群である。クラスタＣ１とクラスタＣ２は同一の構造物なので、同一構造物として対応付けする必要がある。一方、クラスタＣ２とクラスタＣ３は別々の構造物なので、同一の構造物としての対応付けはしないようにする必要がある。

三次元センサ１１１により取得された点群データから生成された距離画像は、三次元センサ１１１に正対する二次元画像である。ここでは、距離画像はＸ－Ｚ平面に拡がっている。画素群Ｇ１はクラスタＣ１から得られた画素群、画素群Ｇ２はクラスタＣ４から得られた画素群、画素群Ｇ３はクラスタＣ２から得られた画素群、画素群Ｇ５はクラスタＣ３から得られた画素群である。画素における画素値は、当該画素に対応する位置にある構造物と三次元センサ１１１との距離が遠くなればなるほど大きくなる。画素群Ｇ１、画素群Ｇ３、画素群Ｇ５は、画素群に対応する位置にある構造物と三次元センサ１１１との距離がほぼ同じであるため、画素値の平均がほぼ同じになる。これに対し、画素群Ｇ２は、画素群Ｇ１、画素群Ｇ３、画素群Ｇ５よりも、画素群に対応する位置にある構造物と三次元センサ１１１との距離が近い。よって、画素群Ｇ２は、画素群Ｇ１、画素群Ｇ３、画素群Ｇ５よりも画素値の平均が小さくなっている。

画素に対応する位置に三次元センサ１１１と正対する構造物がない場合には画素値は最大になる。画素群Ｇ４は、画素群Ｇ４に対応する位置に三次元センサ１１１と正対する構造物がないので画素値は最大になっている。つまり、画素値Ｇ４は、画素群Ｇ１、画素値Ｇ３、画素値Ｇ５よりも画素値の平均が著しく大きくなっている。仮に、画素値Ｇ４に対応する位置に構造物があったとしても、画素群Ｇ１、画素群Ｇ３、画素群Ｇ５と比べて、構造物と三次元センサ１１１との距離が遠ければ、画素値の平均は、画素値Ｇ４の方が画素群Ｇ１、画素値Ｇ３、画素値Ｇ５よりも大きくなる。

そこで、判定手段１１３ｂは、距離画像において、第１のクラスタと第２のクラスタとの間の位置に対応する画素群における画素値の平均が所定の閾値より大きい場合には第１のクラスタと第２のクラスタとを対応付けしないようにする。ここで、所定の閾値は、例えば、第１のクラスタの画素値の平均と、第２のクラスタの画素値の平均と、のうち大きい方にする。第１のクラスタに対応する構造物と第２のクラスタに対応する構造物は、三次元センサ１１１からの距離がほぼ同じであるとすれば、閾値は第１のクラスタに対応する位置における画素群の画素値の平均とすればよい。第１のクラスタと第２のクラスタの間の構造物が、三次元センサ１１１に対し手前であるか否かは、第１のクラスタと第２のクラスタの間に対応する位置における画素群と第１のクラスタに対応する位置における画素群との画素値の平均を比較することで判定できる。

図１２に示す例では、画素群Ｇ２の方が、画素群Ｇ１、画素群Ｇ２と比べて、画素値の平均が小さいので、領域Ｔ１には点群を補完する。一方、画素群Ｇ４の方が、画素群Ｇ１、画素群Ｇ２と比べて、画素値の平均が大きいので、領域Ｔ２には点群を補完しない。

［変形例３］
図３のステップＳ２におけるサブルーチンの処理の別の一例について説明する。
図１３は、変形例３に係る、図３のステップＳ２におけるサブルーチンの処理を実現するための処理装置４１０の構成を示すブロック図である。図１３に示すように、処理装置４１０のクラスタ対応付け手段４１３は、図２に示す処理装置１１０のクラスタ対応付け手段１１３に対して、輪郭線抽出手段１１３ｆと、輪郭線一致数算出手段１１３ｇと、をさらに備えている。輪郭線抽出手段１１３ｆは、第１のクラスタと第２のクラスタの輪郭線を抽出する。輪郭線一致数算出手段１１３ｇは、第１のクラスタと第２のクラスタとで一致する輪郭線の数を算出する。

図１４は、変形例３に係る、図３のステップＳ２におけるサブルーチンの処理の流れについて示すフローチャートである。図１４に示すように、まず、射影クラスタ生成手段１１３ａが、所定の第１平面に第１のクラスタを射影した第１の射影クラスタと第１平面に第２のクラスタを射影した第２の射影クラスタとを生成する（ステップＳ２０１）。続いて、判定手段１１３ｂが、第１の射影クラスタと第２の射影クラスタとが一致するか否かについて判定する（ステップＳ２０２）。ステップＳ２０２において、第１の射影クラスタと第２の射影クラスタとが一致しない場合には、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物としての対応付けしない（ステップＳ２０３）。

ステップＳ２０２において、第１の射影クラスタと第２の射影クラスタとが一致する場合には、輪郭線抽出手段１１３ｆが、第１のクラスタと第２のクラスタの輪郭線を抽出する（ステップＳ２０４）。続いて、輪郭線一致数算出手段１１３ｇが、第１のクラスタから抽出された複数の輪郭線である第１輪郭線群と第２のクラスタから抽出された複数の輪郭線である第２輪郭線群との照合を行ない、第１輪郭線群と第２輪郭線群とで一致する輪郭線の数を算出する（ステップＳ２０５）。

ステップＳ２０５に続いて、判定手段１１３ｂが、第１のクラスタと第２のクラスタとで一致する輪郭線の数が閾値以上か否かを判定する（ステップＳ２０６）。ステップＳ２０６において、第１のクラスタと第２のクラスタとで一致する輪郭線の数が閾値以上の場合、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物として対応付けする（ステップＳ２０７）。ステップＳ２０６において、第１のクラスタと第２のクラスタとで一致する輪郭線の数が閾値未満の場合、処理をステップＳ２０３に進め、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物としての対応付けしない。

図１５は、図１４のステップＳ２０６における、第１輪郭線群と第２輪郭線群とで一致する輪郭線の数が閾値以上か否かの判定について、具体的に説明する模式図である。ここで、一致する輪郭線の数の閾値を２本とする。

図１５に示すように、クラスタＣ２１からは輪郭線Ｌ２１ａ、Ｌ２１ｂ、Ｌ２１ｃ、Ｌ２１ｄ、クラスタＣ２２からは輪郭線Ｌ２２ａ、Ｌ２２ｂ、Ｌ２２ｃ、Ｌ２２ｄ、クラスタＣ２３からは輪郭線Ｌ２３ａ、Ｌ２３ｂ、Ｌ２３ｃ、Ｌ２３ｄと、４本ずつ輪郭線が抽出されている。

まず、第１のクラスタがクラスタＣ２１、第２のクラスタがクラスタＣ２２であるとして検討する。第１輪郭線群は、第１のクラスタであるクラスタＣ２１から抽出された輪郭線Ｌ２１ａ、Ｌ２１ｂ、Ｌ２１ｃ、Ｌ２１ｄである。第２輪郭線群は、第２のクラスタであるクラスタＣ２２から抽出された輪郭線Ｌ２２ａ、Ｌ２２ｂ、Ｌ２２ｃ、Ｌ２２ｄである。第１輪郭線群と第２輪郭線群とでは、輪郭線Ｌ２１ａと輪郭線Ｌ２２ａ、輪郭線Ｌ２１ｂと輪郭線Ｌ２２ｂ、が一致している。つまり、第１輪郭線群と第２輪郭線群とで一致する輪郭線の数は２本で、閾値以上である。よって、クラスタＣ２１とクラスタＣ２２は同一の構造物として対応付けする。

次に、第１のクラスタがクラスタＣ２１、第２のクラスタがクラスタＣ２３であるとして検討する。第１輪郭線群は、第１のクラスタであるクラスタＣ２１から抽出された輪郭線Ｌ２１ａ、Ｌ２１ｂ、Ｌ２１ｃ、Ｌ２１ｄである。第２輪郭線群は、第２のクラスタであるクラスタＣ２３から抽出された輪郭線Ｌ２３ａ、Ｌ２３ｂ、Ｌ２３ｃ、Ｌ２３ｄである。第１輪郭線群と第２輪郭線群とでは、輪郭線Ｌ２１ａと輪郭線Ｌ２３ａのみが一致している。つまり、第１輪郭線群と第２輪郭線群とで一致する輪郭線の数は１本で、閾値未満である。よって、クラスタＣ２１とクラスタＣ２３は同一の構造物としての対応付けはしない。

図１６は、輪郭に曲線部分を有するクラスタから輪郭線を抽出する方法の一例について説明する模式図である。図１６に示すように、まず、輪郭に曲線部分を有するクラスタＣ１３の最短方向を検出する。なお、クラスタＣ１３の最短方向は、例えば、前述した主成分分析の手法により検出する。続いて、クラスタＣ１３を最短方向に垂直な平面Ｐ４に射影する。続いて、クラスタＣ１３を平面Ｐ４に射影することにより得られた射影クラスタＳＣ１３ｃから輪郭線（Ｌ１３ａ、Ｌ１３ｂ、Ｌ１３ｃ、Ｌ１３ｄ）を抽出する。

［変形例４］
図３のステップＳ２におけるサブルーチンの処理の別の一例について説明する。
図１７は、変形例４に係る、図３のステップＳ２におけるサブルーチンの処理を実現するための処理装置５１０の構成を示すブロック図である。図１７に示すように、処理装置５１０のクラスタ対応付け手段５１３は、図２に示す処理装置１１０のクラスタ対応付け手段１１３に対して、最短方向検出手段１１３ｈと、角度算出手段１１３ｉと、差分算出手段１１３ｊと、をさらに備えている。

最短方向検出手段１１３ｈは、分類手段によって分類された全てのクラスタについて、それぞれ、点の数が最も少なく並んでいる最短方向を検出する。なお、クラスタＣ１３の最短方向は、例えば、前述した主成分分析の手法により検出する。角度算出手段１１３ｉは、第１のクラスタより検出された最短方向と第２のクラスタより検出された最短方向とのなす角のうち小さい方の角度を算出する。差分算出手段１１３ｊは、第１平均距離と第２平均距離との差分を算出する。ここで、第２平面は第１のクラスタより検出された最短方向に垂直な平面である。第１平均距離は、第１のクラスタに含まれる各点の第２平面からの距離を平均したものである。第２平均距離は、第２のクラスタに含まれる各点の第２平面からの距離を平均したものである。

図１８は、変形例４に係る、図３のステップＳ２におけるサブルーチンの処理の流れについて示すフローチャートである。図１８に示すように、まず、射影クラスタ生成手段１１３ａが、所定の第１平面に第１のクラスタを射影した第１の射影クラスタと第１平面に第２のクラスタを射影した第２の射影クラスタとを生成する（ステップＳ３０１）。続いて、判定手段１１３ｂが、第１の射影クラスタと第２の射影クラスタとが一致するか否かについて判定する（ステップＳ３０２）。ステップＳ３０２において、第１の射影クラスタと第２の射影クラスタとが一致しない場合には、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物としての対応付けしない（ステップＳ３０３）。

ステップＳ３０２において、第１の射影クラスタと第２の射影クラスタとが一致する場合、最短方向検出手段１１３ｈが、分類手段によって分類された全てのクラスタについて、それぞれ、点の数が最も少なく並んでいる最短方向を検出する（ステップＳ３０４）。続いて、角度算出手段１１３ｉが、第１のクラスタより検出された最短方向と第２のクラスタより検出された最短方向とのなす角のうち小さい方の角度を算出する（ステップＳ３０５）。続いて、差分算出手段１１３ｊが、第１のクラスタに含まれるそれぞれの点における最短方向に垂直な第２平面からの距離を平均した第１平均距離と、第２のクラスタに含まれるそれぞれの点における最短方向に垂直な第２平面からの距離を平均した第２平均距離と、の差分を算出する（ステップＳ３０６）。

ステップＳ３０６に続いて、判定手段１１３ｂが、角度が角度閾値以下で、かつ、差分が差分閾値以下であるか否かについて判定する（ステップＳ３０７）。ステップＳ３０７において、角度が角度閾値以下で、かつ、差分が差分閾値以下である場合、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物として対応付けする（ステップＳ３０８）。ステップＳ３０７において、角度が角度閾値より大きいか、または、差分が差分閾値より大きい場合、処理をステップＳ３０３に進め、判定手段１１３ｂにおいて、第１のクラスタと第２のクラスタを同一の構造物としての対応付けしない。

図１９は、第１のクラスタより検出された最短方向と第２のクラスタより検出された最短方向とのなす角のうち小さい方の角度、及び第２平面について説明する模式図である。ここで、クラスタＣ３１より検出された最短方向を最短方向Ｍ３１、クラスタＣ３２より検出された最短方向を最短方向Ｍ３２、クラスタＣ３３より検出された最短方向を最短方向Ｍ３３とする。

第１のクラスタをクラスタＣ３１、第２のクラスタをクラスタＣ３２とする。図１９に示すように、角度θ１が、最短方向Ｍ３１と最短方向Ｍ３２とのなす角のうち小さい方の角度、すなわち、第１のクラスタより検出された最短方向と第２のクラスタより検出された最短方向とのなす角のうち小さい方の角度である。第２平面は、クラスタＣ３１より検出された最短方向Ｍ３１に垂直な平面である平面Ｐ５である。

クラスタＣ３１とクラスタＣ３２は、角度θ１が角度閾値以下であるとする。クラスタＣ３１とクラスタＣ３２は、クラスタＣ３１の各点の平面Ｐ５からの距離の平均と、クラスタＣ３２の各点の平面Ｐ５からの距離の平均と、の差分が差分閾値以下であれば同一の構造物として対応付けされる。

また、図１９に示すように、第１のクラスタをクラスタＣ３１、第２のクラスタをクラスタＣ３３とする。角度θ２が、最短方向Ｍ３１と最短方向Ｍ３３とのなす角のうち小さい方の角度、すなわち、第１のクラスタより検出された最短方向と第２のクラスタより検出された最短方向とのなす角のうち小さい方の角度である。第２平面は、クラスタＣ３１より検出された最短方向Ｍ３１に垂直な平面である平面Ｐ５である。

クラスタＣ３１とクラスタＣ３３は、角度θ２が角度閾値より大きいとする。クラスタＣ３１とクラスタＣ３３は、クラスタＣ３１の各点の平面Ｐ５からの距離の平均と、クラスタＣ３３の各点の平面Ｐ５からの距離の平均と、の差分を算出するまでもなく、同一の構造物としての対応付けはされない。

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、各処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にプログラムを実行させることにより実現することも可能である。

上述の処理を実現するためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、以上で説明した複数の例は、適宜組み合わせて実施されることもできる。

１０、１１０、２１０、３１０、４１０、５１０ 処理装置
１２、１１２ 分類手段
１３、１１３、２１３、３１３、４１３、５１３ クラスタ対応付け手段
１１１ 三次元センサ
１１３ａ 射影クラスタ生成手段
１１３ｂ 判定手段
１１３ｃ 最長方向検出
１１３ｄ 画素値平均算出手段
１１３ｆ 輪郭線抽出手段
１１３ｇ 輪郭線一致数算出手段
１１３ｈ 最短方向検出手段
１１３ｉ 角度算出手段
１１３ｊ 差分算出手段
１１４ 点群補完手段

Claims (10)

1. 光照射された検査対象構造物からの反射光に基づいて取得された三次元点群データを、前記データの各点における位置情報に基づいて、前記構造物に対応する形状単位であるクラスタに分類する分類手段と、
   前記分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の前記構造物に対応するか否かを、前記分類されたクラスタ間の位置関係に基づいて判定するクラスタ対応付け手段と、を備える、処理装置。
2. 前記クラスタ対応付け手段は、所定の第１平面に前記第１のクラスタを射影した第１の射影クラスタと前記第１平面に前記第２のクラスタを射影した第２の射影クラスタとを生成する射影クラスタ生成手段をさらに有し、
   前記第１平面は、前記第１のクラスタの重心と前記第２のクラスタの重心とを結ぶ直線に垂直であり、
   前記クラスタ対応付け手段は、前記第１のクラスタと前記第２のクラスタとの対応付けにおいて、前記第１の射影クラスタと前記第２の射影クラスタとが一致するか否かについての判定結果を考慮する、請求項１に記載の処理装置。
3. 前記クラスタ対応付け手段は、
   所定の第１平面に前記第１のクラスタを射影した第１の射影クラスタと前記第１平面に前記第２のクラスタを射影した第２の射影クラスタとを生成する射影クラスタ生成手段と、
   前記分類手段によって分類された全てのクラスタについて、それぞれ、点の数が最も多く並んでいる最長方向を検出する最長方向検出手段と、をさらに有し、
   前記第１平面は前記最長方向に垂直であり、
   前記クラスタ対応付け手段は、前記第１のクラスタと前記第２のクラスタとの対応付けにおいて、前記第１の射影クラスタと前記第２の射影クラスタとが一致するか否かについての判定結果を考慮する、請求項１に記載の処理装置。
4. 前記クラスタ対応付け手段は、
   前記分類手段によって分類された全てのクラスタについて、それぞれ、存在する複数の輪郭線を抽出する輪郭線抽出手段と、
   前記全てのクラスタに含まれる第１のクラスタと第２のクラスタとについて、前記第１のクラスタから抽出された複数の輪郭線である第１輪郭線群と前記第２のクラスタから抽出された複数の輪郭線である第２輪郭線群との照合を行ない、前記第１輪郭線群と前記第２輪郭線群とで一致する輪郭線の数を算出する輪郭線一致数算出手段と、をさらに有し、
   前記クラスタ対応付け手段は、前記第１のクラスタと前記第２のクラスタとの対応付けにおいて、前記一致する輪郭線の数を考慮する、請求項２または３に記載の処理装置。
5. 前記クラスタ対応付け手段は、
   前記分類手段によって分類された全てのクラスタについて、それぞれ、点の数が最も少なく並んでいる最短方向を検出する最短方向検出手段と、
   前記第１のクラスタより検出された最短方向と前記第２のクラスタより検出された最短方向とのなす角のうち小さい方の角度を算出する角度算出手段と、
   前記第１のクラスタに含まれる各点の第２平面からの距離を平均した第１平均距離と、前記第２のクラスタに含まれる各点の前記第２平面からの距離を平均した第２平均距離と、の差分を算出する差分算出手段と、をさらに有し、
   前記第２平面は前記第１のクラスタより検出された最短方向に垂直な平面であり、
   前記クラスタ対応付け手段は、前記第１のクラスタと前記第２のクラスタとの対応付けにおいて、前記角度と前記差分を考慮する、請求項２から４のいずれか一項に記載の処理装置。
6. 前記クラスタ対応付け手段は、前記第１のクラスタと前記第２のクラスタとの間の前記検査対象構造物に対して光照射する三次元センサに対して手前側の位置に、所定数以上の点が含まれる第３のクラスタが存在しているか否かを判定し、前記第３のクラスタが存在していない場合には、前記第１のクラスタと前記第２のクラスタとを対応付けしない、請求項１から５のいずれか一項に記載の処理装置。
7. 前記クラスタ対応付け手段は、点群データから距離画像を生成し、生成した前記距離画像における、前記第１のクラスタと前記第２のクラスタとの間の領域に含まれる画素の画素値の平均を算出する画素値平均算出手段をさらに有し、
   前記クラスタ対応付け手段は、前記平均が所定の閾値より大きい場合に前記第１のクラスタと前記第２のクラスタとを対応付けしない、請求項１から５のいずれか一項に記載の処理装置。
8. 前記クラスタ対応付け手段において前記第１のクラスタと前記第２のクラスタとを対応付けすると判定された場合に、前記第１のクラスタと前記第２のクラスタとの間に点群を補完する点群補完手段をさらに備える、請求項１から４のいずれか一項に記載の処理装置。
9. 光照射された検査対象構造物からの反射光に基づいて取得された三次元点群データを、前記データの各点における位置情報に基づいて、前記構造物に対応する形状単位であるクラスタに分類するステップと、
   前記分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の前記構造物に対応するか否かを、前記分類されたクラスタ間の位置関係に基づいて判定するステップと、を備える、処理方法。
10. 光照射された検査対象構造物からの反射光に基づいて取得された三次元点群データを、前記データの各点における位置情報に基づいて、前記構造物に対応する形状単位であるクラスタに分類するステップと、
    前記分類されたクラスタに含まれる第１のクラスタと第２のクラスタとが、同一の前記構造物に対応するか否かを、前記分類されたクラスタ間の位置関係に基づいて判定するステップと、をコンピュータに実行させるプログラム。

Images