JP7306192B2 - 合成処理装置、合成処理システム及び合成処理方法 - Google Patents

合成処理装置、合成処理システム及び合成処理方法 Download PDF

Info

Publication number
JP7306192B2
JP7306192B2 JP2019176638A JP2019176638A JP7306192B2 JP 7306192 B2 JP7306192 B2 JP 7306192B2 JP 2019176638 A JP2019176638 A JP 2019176638A JP 2019176638 A JP2019176638 A JP 2019176638A JP 7306192 B2 JP7306192 B2 JP 7306192B2
Authority
JP
Japan
Prior art keywords
cloud data
point cloud
point
scan matching
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019176638A
Other languages
English (en)
Other versions
JP2021056017A (ja
Inventor
美智代 松井
真隆 福泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2019176638A priority Critical patent/JP7306192B2/ja
Publication of JP2021056017A publication Critical patent/JP2021056017A/ja
Application granted granted Critical
Publication of JP7306192B2 publication Critical patent/JP7306192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、複数の点群のマッチングを行う合成処理装置、合成処理システム及び合成処理方法に関する。
対象物の位置や形状を多角的に計測するため、互いに異なる位置に配置された複数のレーザセンサによって計測されたデータを重ね合わせることが行われている。例えば、2つのレーザセンサの各々によって取得された共通の対象物についての複数の3次元座標のデータ(以下、点群と称する)を共通の座標系に統合する方法として、ICP(Interative Closest Points)という技術が知られている(例えば、非特許文献1)。
ICPは、2つの点群の間で点の対応づけと位置推定とを繰り返すことにより、2つの点群のマッチングを行う技術である。点の対応づけはユークリッド距離を用いて行い、点の対応づけにおけるズレ量(各点のユークリッド距離の平均値等)をコスト関数とし、反復的にコスト関数を最適化することによってマッチングを行う。
友納正裕,「SLAM入門:ロボットの自己位置推定と地図構築の技術」,オーム社,2018年
ICPのアルゴリズムによるスキャンマッチング処理は、2つの点群同士が非常に近い位置にあり、且つ高密度な点群が得られていることを前提としている。従って、その前提が不十分である場合、コスト関数を最適化するときの解が局所解に陥ってしまい、正確なマッチングができなくなる。例えば、2つのレーザセンサを物理的に離れた位置に配置して互いに対向する方向から対象物の測距を行った場合のように、取得された2つの点群の距離が離れている場合や、点群データが低密度である場合には、このような問題が発生しやすいという問題があった。
また、例えば建物の外壁やトンネルの内壁等の壁が対象物の背後に存在する場合、その壁がマッチングの基準となる。このため、壁に垂直な方向のマッチングは比較的容易に行うことができるが、壁と平行な方向(すなわち、壁に沿った方向)のマッチングは困難であるという問題があった。
本発明は上記問題点に鑑みてなされたものであり、点群の密度や点群間の距離に関わらず、複数の点群についての適切なマッチングを行うことが可能な合成処理装置を提供することを目的とする。
本発明に係る合成処理装置は、第1の地点から見た対象物の表面上の複数の位置を示す第1の点群データと、第2の地点から見た前記対象物の表面上の複数の位置を示す第2の点群データと、を取得する点群データ取得部と、第1の点群データ及び前記第2の点群データを共通の座標上に表示するための座標変換を行い、当該共通の座標上で前記第1の点群データと前記第2の点群データとのスキャンマッチング処理を実行するスキャンマッチング処理部と、前記スキャンマッチング処理の結果に基づいて、前記第1の点群データ及び前記第2の点群データを、隣接する点同士の距離が所定距離以下である点群からなるクラスタに分類するクラスタリング処理を行うクラスタリング処理部と、前記クラスタリング処理の処理結果に基づいて、前記スキャンマッチング処理の終了条件が達成されたか否かを判定する判定部と、を有し、前記終了条件が達成されるまで、前記スキャンマッチング処理部による前記スキャンマッチング処理及び前記クラスタリング処理部による前記クラスタリング処理を繰り返し実行し、前記終了条件が達成されたと判定した場合に、前記スキャンマッチング処理の処理結果を示す合成点群データの情報を出力することを特徴とする。
また、本発明に係る合成処理システムは、第1の地点に配置され、当該第1の地点を基準とする対象物の位置を測定する第1のレーザセンサ装置と、第2の地点に配置され、当該第2の地点を基準とする対象物の位置を測定する第2のレーザセンサ装置と、前記第1の地点から見た前記対象物の表面上の複数の位置を示す第1の点群データを前記第1のレーザセンサ装置から取得し、前記第2の地点から見た前記対象物の表面上の複数の位置を示す第2の点群データを前記第2のレーザセンサ装置から取得する点群データ取得部と、第1の点群データ及び前記第2の点群データを共通の座標上に表示するための座標変換を行い、当該共通の座標上で前記第1の点群データと前記第2の点群データとのスキャンマッチング処理を実行するスキャンマッチング処理部と、前記スキャンマッチング処理の結果に基づいて、前記第1の点群データ及び前記第2の点群データを、隣接する点同士の距離が所定距離以下である点群からなるクラスタに分類するクラスタリング処理を行うクラスタリング処理部と、前記クラスタリング処理の処理結果に基づいて、前記スキャンマッチング処理の終了条件が達成されたか否かを判定する判定部と、前記終了条件が達成されたと判定した場合に、前記スキャンマッチング処理の処理結果を示す合成点群データの情報を表示する表示装置と、を含み、前記スキャンマッチング処理部及び前記クラスタリング処理部の各々は、前記終了条件が達成されるまで、前記スキャンマッチング処理及び前記クラスタリング処理を繰り返し実行することを特徴とする。
また、本発明に係る合成処理方法は、第1の地点から見た対象物の表面上の複数の位置を示す第1の点群データを取得するステップと、第2の地点から見た前記対象物の表面上の複数の位置を示す第2の点群データと、を取得するステップと、第1の点群データ及び前記第2の点群データを共通の座標上に表示するための座標変換を行うステップと、前記共通の座標上で前記第1の点群データと前記第2の点群データとのスキャンマッチング処理を実行するステップと、前記スキャンマッチング処理の結果に基づいて、前記第1の点群データ及び前記第2の点群データを、隣接する点同士の距離が所定距離以下である点群からなるクラスタに分類するクラスタリング処理を行うステップと、前記クラスタリング処理の処理結果に基づいて、前記スキャンマッチング処理の終了条件が達成されたか否かを判定するステップと、前記終了条件が達成されたと判定した場合に、前記スキャンマッチング処理の処理結果を示す合成点群データの情報を出力するステップと、を含み、前記終了条件が達成されるまで、前記スキャンマッチング処理を実行するステップ及び前記クラスタリング処理を行うステップを繰り返すことを特徴とする。
本発明によれば、点群の密度や点群間の距離に関わらず、複数の点群についての適切なマッチングを行うことが可能となる。
本発明に係る合成処理装置の構成を示す図である。 第1及び第2レーザセンサと対象物との位置関係を模式的に示す図である。 第1レーザセンサによって取得された第1点群データの例を示す図である。 第2レーザセンサによって取得された第2点群データの例を示す図である。 本実施例の合成処理の処理ルーチンを示すフローチャートである。 図2を上面視した位置関係を座標として示す図である。 座標変換後の第1点群データ及び第2点群データを示す図である。 座標上におけるターゲット領域の指定を模式的に示す図である。 スキャンマッチング処理の工程におけるデータの対応づけを模式的に示す図である。 クラスタ数が2と判定される場合の合成点群データを模式的に示す図である。 クラスタ数が1と判定される場合の合成点群データを模式的に示す図である。 クラスタ数が1で且つターゲットの幅が閾値よりも大きい場合の合成点群データを模式的に示す図である。 クラスタ数が1で且つターゲットの幅が閾値以下である場合の合成点群データを模式的に示す図である。
以下、本発明の実施例について、図面を参照して説明する。なお、以下の各実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
図1は、本発明にかかる合成処理装置10を含む合成処理システム100の構成を示すブロック図である。合成処理システム100は、第1レーザセンサL1及び第2レーザセンサL2と、合成処理装置10と、表示装置20と、から構成されている。
第1レーザセンサL1及び第2レーザセンサL2は、対象物にレーザ光を照射してその反射光を受光し、受光結果に基づいて対象物までの距離を測定する計測装置である。第1レーザセンサL1及び第2レーザセンサL2の各々は、例えばLiDAR(Laser Imaging Detection and Ranging)装置によって構成されている。以下の説明では、第1レーザセンサL1及び第2レーザセンサL2の各々が掘削工事中のトンネル内の地面に置かれている場合を例として説明を行う。
図2は、第1レーザセンサL1及び第2レーザセンサL2の配置位置と、対象物OBとの位置関係を模式的に示す図である。対象物OBは、トンネル内の物体の位置を測定するためのキャリブレーションに用いるターゲットであり、ここでは工事に使用される車両(例えばバン)を対象物OBの例として示している。
第1レーザセンサL1及び第2レーザセンサL2は、対象物OBを挟んで対向するように配置されている。対象物OBは、トンネル内の壁WL1と壁WL2とに挟まれた地面に配置されている。第1レーザセンサL1は壁WL1と対象物OBとの間の領域にある第1の地点、第2レーザセンサL2は壁WL2と対象物OBとの間の領域にある第2の地点にそれぞれ配置されている。
第1レーザセンサL1及び第2のレーザセンサL2は、照射方向を経時的に変化させつつレーザ光の照射を行い、当該レーザ光が物体に反射されることにより生じた反射光を受光して、レーザ光が反射した位置である反射位置の3次元座標のデータを得る。例えば、本実施例では、第1レーザセンサL1及び第2のレーザセンサL2は、水平方向に360度、垂直方向に180度照射方向を変化させることが可能に構成されている。第1レーザセンサL1及び第2レーザセンサL2の各々は、対象物OB、壁WL1及び壁WL2の位置を示す複数の3次元座標のデータ(以下、点群データと称する)を得る。
図3Aは、第1レーザセンサL1によって取得された、ある高さにおける2次元の点群データを第1点群データP(1)として示す図である。第1点群データP(1)は、第1レーザセンサL1の位置を基準とする第1の座標上の複数の点(Pi(1)(xyz)として示す)から構成されている。第1レーザセンサL1は壁WL1と対象物OBとの間に配置されているため、第1点群データP(1)は、例えば壁WL1に対応する点群P1(WL1)と、第1レーザL1から見た対象物OBの正面及び側面に対応する点群P1(OB)と、壁WL2の第1レーザL1から見て対象物OBと重なる領域を除いた部分に対応する点群P1(WL2)と、から構成される。
図3Bは、第2レーザセンサL2によって取得された、ある高さにおける2次元の点群データを第2点群データP(2)として示す図である。第2点群データP(2)は、第2レーザセンサL2の位置を基準とする第2の座標上の複数の点(Pi(2)(xyz)として示す)から構成されている。第2レーザセンサL2は壁WL2と対象物OBとの間に配置されているため、第2点群データP(2)は、例えば壁WL2に対応する点群P2(WL2)と、第2レーザL2から見た対象物OBの正面及び側面に対応する点群P2(OB)と、壁WL1の第2レーザL2から見て対象物OBと重なる領域を除いた部分に対応する点群P2(WL1)と、から構成される。
再び図1を参照すると、合成処理装置100は、第1レーザセンサL1が取得した第1点群データP(1)及び第2レーザセンサL2が取得した第2点群データP(2)を合成する合成処理を行う装置である。合成処理装置100は、当該合成処理の処理結果を示すデータを表示装置20に供給する。
合成処理装置100は、CPU(Central Processing Unit)等の処理装置から構成されており、所定のプログラムを実行することにより形成された各種の機能ブロックを有する。例えば、合成処理装置100は、図1に示すように、第1点群取得部11、第2点群取得部12、初期位置情報取得部13、ターゲットエリア画定部14、スキャンマッチング処理部15、物体抽出部16及び判定部17を有する。
第1点群取得部11は、第1レーザセンサL1から第1点群データP(1)を取得し、スキャンマッチング処理部15に供給する。第2点群取得部12は、第2レーザセンサL2から第2点群データP(2)を取得し、スキャンマッチング処理部15に供給する。
初期位置情報取得部13は、第1レーザセンサL1及び第2レーザセンサL2の相対的な位置関係の概算値を示す初期位置情報を取得する。例えば、初期位置情報取得部13は、合成処理装置10を使用するユーザから、図示せぬ操作部を介して入力を受け付けることにより初期位置情報を取得する。なお、初期位置情報の取得方法はこれに限られず、初期位置情報取得部13は、例えば図示せぬ記憶装置に予め記憶されたデータを読み出すことにより初期位置情報を取得してもよい。
ターゲットエリア画定部14は、物体抽出部16によるクラスタリング処理の処理対象とする座標上の領域(すなわち、クラスタリング評価領域)であるターゲットエリアを画定する。例えば、ターゲットエリア画定部14は、合成処理装置10を使用するユーザから、マウス等の図示せぬ操作手段を用いて座標指定を受けることにより、ターゲットエリアを画定する。なお、ターゲットエリアを画定するための方法はこれに限られず、ターゲットエリア画定部14は、例えばカメラ等の撮像手段により得られた対象物OB及びその周辺の画像に基づいて、ターゲットエリアを画定するように構成されていてもよい。
スキャンマッチング処理部15は、第1点群データP(1)と第2点群データP(2)とをマッチングするスキャンマッチング処理を実行する。スキャンマッチング処理は、第2点群データP(2)を第1点群データP(1)の座標系に変換する座標変換処理、第1点群データP(1)を構成する各点と第2点群データP(2)を構成する各点との対応づけを行う対応づけ処理、及びICP(Interative Closest Points)のアルゴリズムを用いた演算処理を含む。
スキャンマッチング処理部15は、初期位置情報取得部13により取得された初期位置情報に基づいて最初の座標変換処理を行い、以降は対応づけ処理及びICPの演算処理の処理結果に基づいて座標変換処理を行う。
また、スキャンマッチング処理部15は、第1点群データP(1)を参照点群とし、座標変換後の第2点群データP´(2)を構成する各点の距離に最も近い第1点群データP(1)の点を検索することにより、対応づけ処理を行う。そして、スキャンマッチング処理部15は、対応づけた点同士の距離を最小化するようにICPのアルゴリズムに基づく演算を実行する。
物体抽出部16は、スキャンマッチング処理部15の処理結果に対してクラスタリング処理を実行し、対象物OBを含むターゲットエリア内の物体のクラスタ数(すなわち、ターゲットエリア内の物体数)の情報を得る。クラスタリング処理に用いる最大点間距離Dmaxは、例えば図示せぬ操作入力手段(例えば、キーボード等)を用いたユーザの入力により、予め指定される。
判定部17は、スキャンマッチング処理及びクラスタリング処理を終了させるための終了条件が満たされたか否かの判定を行う。具体的には、判定部17は、第1の終了条件の判定として、物体抽出部16の処理により得られたクラスタ数が所定数と一致するか否かを判定する。なお、クラスタ数の比較対象となる所定数は、ターゲットエリア内に実際に存在する物体の数が、ユーザによるキーボード等の操作入力手段を用いた入力により、予め指定される。
また、判定部17は、第1の終了条件が達成されたと判定された場合、すなわちクラスタリング処理により得られたクラスタ数と所定数とが一致したと判定された場合、第2の終了条件の判定を行う。具体的には、判定部17は、座標上の対象物OBの幅Wと所定の閾値Wthとを比較し、比較結果に基づいて、対象物OBの幅が所定の閾値以下であるか否かを判定する。
第1の終了条件及び第2の終了条件が達成された場合、すなわちクラスタ数が所定数と一致し且つ対象物OBの幅が閾値以下であると判定部17により判定された場合、合成処理装置10はスキャンマッチング処理部15によるスキャンマッチング処理を終了させる。そして、合成処理装置10は、最終結果を表示装置20に出力し、スキャンマッチング処理の処理結果示す画像を表示装置20に表示させる。
なお、第1の終了条件の判定に用いるクラスタについての上記所定数は、例えばキーボード等の操作入力手段を用いたユーザの入力により、予め指定される。同様に、第2の終了条件の判定に用いる対象物OBの幅についての上記閾値も、例えば操作入力手段を用いたユーザの入力により、予め指定される。
表示装置20は、合成処理装置100による処理結果を3次元座標の画像としてディスプレイに表示させる。なお、表示装置20は、最終的な処理結果だけでなく、途中で行われる座標変換処理、スキャンマッチング処理及びクラスタリング処理の各々の過程における処理結果を逐次ディスプレイに表示させる。
次に、本実施例の合成処理装置10の動作について、図4のフローチャートを参照して説明する。
まず、第1レーザセンサL1及び第2レーザセンサL2は、レーザ光の照射及び反射光の受光を行う。例えば、第1レーザセンサL1は、所定の高さ位置において照射方向を360°変更しつつレーザ光の照射を行い、これに対応する反射光の受光結果を得る。合成処理装置100の第1点群取得部11は、第1レーザセンサL1の受光結果に基づいて、第1点群データP(1)を取得する(STEP101)。
第2レーザセンサL2は、例えば所定の高さ位置において照射方向を360°変更しつつレーザ光の照射を行い、これに対応する反射光の受光結果を得る。合成処理装置100の第2点群取得部12は、第2レーザセンサL2の受光結果に基づいて、第2点群データP(2)を取得する(STEP102)。
初期位置情報取得部13は、第1レーザセンサL1及び第2レーザセンサL2の相対的な位置関係の概算値を示す初期位置情報を取得する(STEP103)。
図5は、第1レーザセンサL1及び第2レーザセンサL2の配置位置を模式的に示す上面図である。ここでは、第2レーザセンサL2を、第1レーザセンサL1の中心部からx軸方向にL1[m]、y軸方向にL2[m]離れ、且つθ[rad]=(θx θy θz)=(0 0 π)だけ回転して配置する場合を示している。なお、これらの機器を実際に配置する際は、各要素に必ずズレが存在する。初期位置情報取得部13は、このズレを推定するための初期値として、上記の情報を含む初期位置情報を取得し、スキャンマッチング処理部15に供給する。
スキャンマッチング処理部15は、第2レーザセンサL2により得られた点群データである第2点群データP(2)を、第1レーザセンサL1の座標系に変換する(STEP104)。座標変換は、次の数式(1)の変換行列式Tr(n)を用いて行う(nは、繰り返し数)。
Figure 0007306192000001
ここで、Rは次の数式(2)~(5)、tは数式(6)で表される行列である。
Figure 0007306192000002
Figure 0007306192000003
Figure 0007306192000004
Figure 0007306192000005
Figure 0007306192000006
なお、スキャンマッチング処理部15は、STEP103で得られたL1、L2の値を用いて、次の数式(7)の変換行列式Tr(0)に基づく行列演算を実行することにより、最初の座標変換を行う。
Figure 0007306192000007
この座標変換処理により、図6に示すように、第1点群データP(1)及び第2点群データP(2)を共通の座標系(本実施例では、第1レーザセンサL1の座標系)にプロットすることが可能となる。以下の説明では、座標変換後の第2点群データを第2点群データP´(2)とする。また、第1点群データP(1)及び第2点群データP(2)を合わせた点群を合成点群Q(1)(n)と称する。
ターゲットエリア画定部14は、ユーザによるマウスを用いた操作入力によりターゲットエリアの範囲を示す座標指定を受け、ターゲットエリアを画定する(STEP105)。なお、ユーザが当該座標指定を行う間、表示装置20には第1レーザセンサL1を基準とする座標及び合成点群Q(1)(n)が表示される。
図7は、ターゲットエリアTAと、合成点群Q(1)(n)のうちターゲットエリアTA内に含まれる点群q(1)(n)とを模式的に示す図である。このように、例えばターゲットエリアTAを示す長方形の内側に位置する点群が点群q(1)(n)として抜き出される。ターゲットエリアTAは、例えばユーザがマウスを用いて長方形を描画することにより指定される。
判定部17は、判定終了条件に関する情報、すなわち本実施例ではクラスタ数についての判定のための所定数及び対象物OBの幅についての判定のための閾値Wthの情報を取得する(STEP106)。上記の通り、判定部17は、ユーザによるキーボード等を用いた入力を受け付けることにより、これらの判定終了条件に関する情報を取得する。
物体抽出部16は、クラスタリング処理を行う際の対応付けに用いる点群の最大点間距離Dmaxの情報を取得する(STEP107)。例えば物体抽出部16は、判定終了条件に関する情報の取得と同様、ユーザによるキーボード等を用いた入力を受け付けることにより、最大点間距離Dmaxの情報を取得する。
スキャンマッチング処理部15は、スキャンマッチング処理の処理回数を示す値nを、n=0に設定する(STEP108)。
スキャンマッチング処理部15は、ICPのアルゴリズムを用いて第1点群データP(1)及び第2点群データP´(2)の各々を構成する各点の対応づけを行う(STEP109)。
図8は、各点の対応づけの例を模式的に示す図である。例えば、スキャンマッチング処理部15は、第1点群データP(1)を参照点群とし、第2点群データP´(2)の各点に最も距離が近い第1点群データP(1)の点Pi(1)を検出することにより、対応づけを行う。
スキャンマッチング処理部15は、ICPのアルゴリズムに基づく演算を1回実行し、対応づけた点の距離を最小化するような変換行列Tr(n)を算出する(STEP110)。
スキャンマッチング処理部15は、第2点群データP(2)を変換行列Tr(n)を用いて第1レーザセンサL1を基準とする座標系に変換し、第1点群データP(1)にマージして合成点群Q(1)(n)を生成する。さらに、スキャンマッチング処理部15は、合成点群Q(1)(n)から、STEP105で画定されたターゲットエリアに含まれる点群q(1)(n)を抜き出す(STEP111)。これにより、図7に示すような点群q(1)(n)が抜き出される。
物体抽出部16は、最大点間距離Dmaxを用いた点間距離によるクラスタリング処理を実行する(STEP112)。
判定部17は、クラスタリング処理の処理結果に基づいて、点群q(1)(n)のクラスタ数Nqの情報を取得する(STEP113)。
判定部17は、クラスタリング処理の処理結果に基づくクラスタ数Nqが、所定数Npと一致するか否かを判定する(STEP114)。なお、本実施例では、ターゲットエリア内に実際に存在している物体の数が予め所定数Npとして指定されている。
図9は、クラスタリング処理の処理結果に基づくクラスタ数NqがNq=2である場合の点群及びクラスタを模式的に示す図である。中央部の点群は、クラスタ領域CL1及びクラスタ領域CL2にそれぞれ含まれる異なるクラスタの点群としてクラスタリング処理がなされ、クラスタ数Nq=2と判定される。
図10は、クラスタリング処理の処理結果に基づくクラスタ数NqがNq=1である場合の点群及びクラスタを模式的に示す図である。中央部の点群は、クラスタ領域CL1に含まれる同じクラスタの点群としてクラスタリング処理がなされ、クラスタ数Nq=1と判定される。
クラスタ数Nqが所定数Npと一致していないと判定された場合(STEP114:No)、スキャンマッチング処理部15は、スキャンマッチング処理の処理回数を示す値nの値を「+1」だけインクリメントし(STEP115)、STEP109に戻って再びスキャンマッチング処理を実行する。
一方、クラスタ数Nqが所定数Npと一致したと判定された場合(STEP114:Yes)、判定部17は、STEP112のクラスタリング処理の処理結果に基づいて、クラスタを構成するクラスタ点群q(1) s(n)(s=1,2・・・Nq)を取得する。例えば、クラスタ数Nq=1である場合、図11に示すクラスタCL1を構成するクラスタ点群q(1) 1(n)が取得される。
判定部17は、クラスタ点群q(1) 1(n)に基づいて、対象物OBの幅Wを求める。例えば、判定部17は、次の数式(2)~(5)を用いてx軸方向の最大値xmaxと最小値xminとの差分を算出することにより、対象物OBの幅Wを得る。
Figure 0007306192000008
Figure 0007306192000009
Figure 0007306192000010
判定部17は、対象物OBの幅Wが所定の閾値Wth以下であるか否かを判定する(STEP116)。
図11は、対象物OBの幅Wが閾値Wthよりも大きい場合の点群を模式的に示す図である。クラスタ数Nqが所定数Npと一致した場合であっても、第1点群データP(1)及び第2点群データP(2)の重なり合いが不十分である場合には、対象物OBの幅Wが閾値Wthよりも大きいと判定される。
一方、図12は、対象物OBの幅Wが閾値Wth以下である場合の点群を模式的に示す図である。第1点群データP(1)及び第2点群データP(2)が十分に重なり合った場合には、対象物OBの幅Wが閾値Wth以下であると判定される。
対象物OBの幅Wが閾値Wthよりも大きい(すなわち、閾値Wth以下ではない)と判定された場合(STEP116:No)、スキャンマッチング処理部15は、スキャンマッチング処理の処理回数を示す値nの値を「+1」だけインクリメントし(STEP115)、STEP109に戻って再びスキャンマッチング処理を実行する。
一方、対象物OBの幅Wが閾値Wth以下であると判定された場合(STEP116:Yes)、合成処理装置10はスキャンマッチング処理部15によるスキャンマッチング処理を終了させ、最終結果を示す画像を表示装置20に表示させる。
以上のように、本実施例の合成処理装置10は、クラスタリング処理の結果、クラスタ数Nqが所定数Npと一致し、且つ点群の広がり(すなわち、対象物OBの幅W)が閾値Wth以下となった場合に、スキャンマッチング処理を終了する。すなわち、本実施例の合成処理装置10では、スキャンマッチング処理とクラスタリング処理とを組み合わせ、クラスタリング処理の結果をスキャンマッチング処理の終了条件の判定に用いる。
かかる構成によれば、スキャンマッチングの対象となる点群同士が離れた位置にあるような場合や、点群の密度が低い場合にも、適切な時点でスキャンマッチング処理を終了させることができる。特に、対象物の背後に建物の外壁やトンネルの内壁等の壁が存在するような場合に、壁に垂直な方向のマッチングのみならず、壁と平行な方向におけるマッチングを適切に行うことが可能となる。
従って、本実施例の合成処理装置10によれば、点群の密度や点群間の距離に関わらず、複数の点群についての適切なマッチングを行うことが可能となる。
なお、本発明の実施形態は、上記実施例に記載したものに限られない。例えば、上記実施例では、第1レーザセンサL1により取得された第1の点群データと、第2レーザセンサL2により取得された第2の点群データとのマッチングを行う場合を例として説明した。しかし、対象とするレーザセンサの数及び点群データの数はこれに限られず、3台以上のレーザセンサを用いて取得された3つ以上の点群データのマッチングを行う場合にも本発明を適用することが可能である。
また、第1レーザセンサL1及び第2レーザセンサL2の各々は、3次元をスキャン可能なLiDAR装置であってもよく、2次元のみスキャン可能なLiDAR装置であってもよい。
なお、上記実施例では、ある高さにおける点群データを2次元の点群データとして図示してスキャンマッチング処理の説明を行ったが、実際には2次元の点群データのスキャンマッチング処理を行うことが可能である。すなわち、本発明の合成処理装置は、3次元座標としての点群データのマッチング及び2次元座標としての点群データのマッチングのいずれにも用いることが可能である。
また、上記実施例では、第1レーザセンサL1及び第2レーザセンサL2が地面に配置されている場合を例として説明したが、例えば車等の移動体に搭載されていてもよい。
また、上記実施例では、トンネル内の位置測定におけるキャリブレーションのためのターゲットとして、トンネル内に位置するバンを用いる例について説明したが、これに限られず、ブルドーザ等の作業機械をターゲットとして用いてもよい。
また、上記実施例では、掘削工事中のトンネル内での対象物OBの測距及び点群データのマッチングを行う場合を例として説明したが、本願発明の合成処理装置の適用場面はこれに限られない。例えば、周囲を建物に囲まれた場所での測距等、マッチングの基準となる壁等が存在する場面に広く適用することが可能である。
100 合成処理システム
L1 第1レーザセンサ
L2 第2レーザセンサ
10 合成処理装置
11 第1点群取得部
12 第2点群取得部
13 初期位置情報取得部
14 ターゲットエリア画定部
15 スキャンマッチング処理部
16 物体抽出部
17 判定部
20 表示装置

Claims (9)

  1. 第1の地点から見た対象物の表面上の複数の位置を示す第1の点群データと、第2の地点から見た前記対象物の表面上の複数の位置を示す第2の点群データと、を取得する点群データ取得部と、
    第1の点群データ及び前記第2の点群データを共通の座標上に表示するための座標変換を行い、当該共通の座標上で前記第1の点群データと前記第2の点群データとのスキャンマッチング処理を実行するスキャンマッチング処理部と、
    前記スキャンマッチング処理の結果に基づいて、前記第1の点群データ及び前記第2の点群データを、隣接する点同士の距離が所定距離以下である点群からなるクラスタに分類するクラスタリング処理を行うクラスタリング処理部と、
    前記クラスタリング処理の処理結果に基づいて、前記スキャンマッチング処理の終了条件が達成されたか否かを判定する判定部と、
    を有し、
    前記終了条件が達成されるまで、前記スキャンマッチング処理部による前記スキャンマッチング処理及び前記クラスタリング処理部による前記クラスタリング処理を繰り返し実行し、
    前記終了条件が達成されたと判定した場合に、前記スキャンマッチング処理の処理結果を示す合成点群データの情報を出力することを特徴とする合成処理装置。
  2. 前記判定部は、前記共通の座標上の検出エリア内におけるクラスタ数が所定数と一致するか否かを前記スキャンマッチング処理の前記終了条件の1つとして判定することを特徴とする請求項1に記載の合成処理装置。
  3. 前記判定部は、前記クラスタ数が前記所定数と一致すると判定された場合に、前記検出エリア内の1のクラスタの前記共通の座標上における幅が閾値以下であるか否かを前記終了条件の1つとしてさらに判定することを特徴とする請求項2に記載の合成処理装置。
  4. 前記点群データ取得部は、前記第1の地点に配置された第1のレーザセンサ装置が前記対象物の位置を測定したデータを前記第1点群データとして取得し、前記第2の地点に配置された第2のレーザセンサ装置が前記対象物の位置を測定したデータを前記第2点群データとして取得することを特徴とする請求項1乃至3のいずれか1に記載の合成処理装置。
  5. 前記スキャンマッチング処理部は、ICP(Interative Closest Points)のアルゴリズムを用いて、前記第1の点群データを構成する各々の点と前記第2の点群データを構成する各々の点との対応づけを行い、対応づけられた点同士の距離を縮小する演算を行うことにより、前記スキャンマッチング処理を実行することを特徴とする請求項1乃至4のいずれか1に記載の合成処理装置。
  6. 前記共通の座標上における前記検出エリアの範囲を示す座標指定を受け、当該座標指定に基づいて前記検出エリアを画定するエリア画定部を有することを特徴とする請求項2又は3に記載の合成処理装置。
  7. 前記第1の地点及び前記第2の地点の相対的な位置関係を示す相対位置情報を取得する位置情報取得部を有し、
    前記スキャンマッチング処理部は、前記相対位置情報に基づいて、前記第2の地点を基準とする座標系を前記第1の地点を基準とする座標系に変換する座標変換処理を行うことを特徴とする請求項1乃至6のいずれか1に記載の合成処理装置。
  8. 第1の地点に配置され、当該第1の地点を基準とする対象物の位置を測定する第1のレーザセンサ装置と、
    第2の地点に配置され、当該第2の地点を基準とする対象物の位置を測定する第2のレーザセンサ装置と、
    前記第1の地点から見た前記対象物の表面上の複数の位置を示す第1の点群データを前記第1のレーザセンサ装置から取得し、前記第2の地点から見た前記対象物の表面上の複数の位置を示す第2の点群データを前記第2のレーザセンサ装置から取得する点群データ取得部と、
    第1の点群データ及び前記第2の点群データを共通の座標上に表示するための座標変換を行い、当該共通の座標上で前記第1の点群データと前記第2の点群データとのスキャンマッチング処理を実行するスキャンマッチング処理部と、
    前記スキャンマッチング処理の結果に基づいて、前記第1の点群データ及び前記第2の点群データを、隣接する点同士の距離が所定距離以下である点群からなるクラスタに分類するクラスタリング処理を行うクラスタリング処理部と、
    前記クラスタリング処理の処理結果に基づいて、前記スキャンマッチング処理の終了条件が達成されたか否かを判定する判定部と、
    前記終了条件が達成されたと判定した場合に、前記スキャンマッチング処理の処理結果を示す合成点群データの情報を表示する表示装置と、
    を含み、
    前記スキャンマッチング処理部及び前記クラスタリング処理部の各々は、前記終了条件が達成されるまで、前記スキャンマッチング処理及び前記クラスタリング処理を繰り返し実行することを特徴とする合成処理システム。
  9. 第1の地点から見た対象物の表面上の複数の位置を示す第1の点群データを取得するステップと、
    第2の地点から見た前記対象物の表面上の複数の位置を示す第2の点群データと、を取得するステップと、
    第1の点群データ及び前記第2の点群データを共通の座標上に表示するための座標変換を行うステップと、
    前記共通の座標上で前記第1の点群データと前記第2の点群データとのスキャンマッチング処理を実行するステップと、
    前記スキャンマッチング処理の結果に基づいて、前記第1の点群データ及び前記第2の点群データを、隣接する点同士の距離が所定距離以下である点群からなるクラスタに分類するクラスタリング処理を行うステップと、
    前記クラスタリング処理の処理結果に基づいて、前記スキャンマッチング処理の終了条件が達成されたか否かを判定するステップと、
    前記終了条件が達成されたと判定した場合に、前記スキャンマッチング処理の処理結果を示す合成点群データの情報を出力するステップと、
    を含み、
    前記終了条件が達成されるまで、前記スキャンマッチング処理を実行するステップ及び前記クラスタリング処理を行うステップを繰り返すことを特徴とする合成処理方法。
JP2019176638A 2019-09-27 2019-09-27 合成処理装置、合成処理システム及び合成処理方法 Active JP7306192B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019176638A JP7306192B2 (ja) 2019-09-27 2019-09-27 合成処理装置、合成処理システム及び合成処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019176638A JP7306192B2 (ja) 2019-09-27 2019-09-27 合成処理装置、合成処理システム及び合成処理方法

Publications (2)

Publication Number Publication Date
JP2021056017A JP2021056017A (ja) 2021-04-08
JP7306192B2 true JP7306192B2 (ja) 2023-07-11

Family

ID=75270482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019176638A Active JP7306192B2 (ja) 2019-09-27 2019-09-27 合成処理装置、合成処理システム及び合成処理方法

Country Status (1)

Country Link
JP (1) JP7306192B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414290B2 (ja) 2021-06-01 2024-01-16 Necプラットフォームズ株式会社 測定装置、測定システム、制御方法、及びプログラム
CN113870192A (zh) * 2021-09-03 2021-12-31 佛山中科云图智能科技有限公司 一种基于高度变化检测的违建点获取方法和获取系统
CN115220446B (zh) * 2022-06-30 2023-12-08 北京三快在线科技有限公司 机器人寻桩方法、装置及机器人
KR102525568B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 반사판을 이용한 원거리 라이다 위치 보정 시스템 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250906A (ja) 2007-03-30 2008-10-16 Sogo Keibi Hosho Co Ltd 移動ロボット、自己位置補正方法および自己位置補正プログラム
JP2009198382A (ja) 2008-02-22 2009-09-03 Mitsubishi Electric Corp 環境地図取得装置
JP2011198330A (ja) 2010-03-24 2011-10-06 National Institute Of Advanced Industrial Science & Technology 3次元位置合わせにおける照合方法およびそのプログラム
JP2011221988A (ja) 2010-03-24 2011-11-04 National Institute Of Advanced Industrial & Technology ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム
JP2013228259A (ja) 2012-04-25 2013-11-07 Toyota Motor Corp 物体識別装置及び物体識別方法
JP2017067756A (ja) 2015-10-02 2017-04-06 パナソニック株式会社 物体検出装置及び物体検出方法
JP2017166846A (ja) 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置
WO2019040997A1 (en) 2017-09-04 2019-03-07 Commonwealth Scientific And Industrial Research Organisation METHOD AND SYSTEM FOR USE IN REALIZING LOCATION

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6135817B1 (ja) * 2016-03-09 2017-05-31 東洋インキScホールディングス株式会社 熱伝導性絶縁シート、およびその製造方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250906A (ja) 2007-03-30 2008-10-16 Sogo Keibi Hosho Co Ltd 移動ロボット、自己位置補正方法および自己位置補正プログラム
JP2009198382A (ja) 2008-02-22 2009-09-03 Mitsubishi Electric Corp 環境地図取得装置
JP2011198330A (ja) 2010-03-24 2011-10-06 National Institute Of Advanced Industrial Science & Technology 3次元位置合わせにおける照合方法およびそのプログラム
JP2011221988A (ja) 2010-03-24 2011-11-04 National Institute Of Advanced Industrial & Technology ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム
JP2013228259A (ja) 2012-04-25 2013-11-07 Toyota Motor Corp 物体識別装置及び物体識別方法
JP2017067756A (ja) 2015-10-02 2017-04-06 パナソニック株式会社 物体検出装置及び物体検出方法
JP2017166846A (ja) 2016-03-14 2017-09-21 株式会社デンソー 物体認識装置
WO2019040997A1 (en) 2017-09-04 2019-03-07 Commonwealth Scientific And Industrial Research Organisation METHOD AND SYSTEM FOR USE IN REALIZING LOCATION

Also Published As

Publication number Publication date
JP2021056017A (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
JP7306192B2 (ja) 合成処理装置、合成処理システム及び合成処理方法
CN110503040B (zh) 障碍物检测方法及装置
Liu et al. Automated matching of multiple terrestrial laser scans for stem mapping without the use of artificial references
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US9229106B2 (en) Enhancement of range measurement resolution using imagery
US8571303B2 (en) Stereo matching processing system, stereo matching processing method and recording medium
US6789039B1 (en) Relative range camera calibration
JP6456141B2 (ja) 地図データの生成
EP1986154A1 (en) Model-based camera pose estimation
US8831335B2 (en) Stereo matching processing apparatus, stereo matching processing method and computer-readable recording medium
Abbas et al. Improvements to the accuracy of prototype ship models measurement method using terrestrial laser scanner
JP2006091011A (ja) マルチビュー視差表示
CA2577840A1 (en) A method for automated 3d imaging
KR101715780B1 (ko) 복셀 맵 생성기 및 그 방법
JP5384316B2 (ja) 変位計測装置、変位計測方法、及び変位計測プログラム
JP2006214893A (ja) 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
KR102180872B1 (ko) 레이저와 광학 영상을 접목한 3차원 변위측정계
JP6289317B2 (ja) モデル化データ算出方法及びモデル化データ算出装置
KR101074277B1 (ko) 구조물 윤곽선 추출장치 및 방법
JP4935769B2 (ja) 平面領域推定装置及びプログラム
Rashidi et al. Capturing geometry for labeling and mapping built infrastructure: an overview of technologies
US20020114509A1 (en) Three-dimensional data processing device, three-dimensional data processing method,and program providing medium
JP7133971B2 (ja) 3次元モデル生成装置及び3次元モデル生成方法
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7306192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150