JPWO2019040997A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2019040997A5 JPWO2019040997A5 JP2020512849A JP2020512849A JPWO2019040997A5 JP WO2019040997 A5 JPWO2019040997 A5 JP WO2019040997A5 JP 2020512849 A JP2020512849 A JP 2020512849A JP 2020512849 A JP2020512849 A JP 2020512849A JP WO2019040997 A5 JPWO2019040997 A5 JP WO2019040997A5
- Authority
- JP
- Japan
- Prior art keywords
- intensity
- descriptor
- point cloud
- processing devices
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Description
一実施形態では、ローカル点群セグメントは、
ａ）複数の同心球状領域と、
ｂ）八分空間にセグメント化された少なくとも２つの同心球状領域と
のうちの少なくとも１つを含む。
In one embodiment, the local point cloud segment is
a) Multiple concentric spherical regions and
b) Includes at least one of at least two concentric spherical regions segmented into an octagonal space .
一実施形態では、外側球状領域の半径は、センサの距離に基づいており、１つ以上の内側球状領域の半径は、各球状領域が類似数のローカル点群点を含有するように選択される。
In one embodiment, the radius of the outer spherical region is based on the distance of the sensor, and the radius of one or more inner spherical regions is selected so that each spherical region contains a similar number of local point cloud points. ..
本発明の広範な形態およびその個別の特徴は、相互互換的におよび／または独立して併用されることができ、別個の広範な形態の参照は、限定することを意図するものではないことを理解されたい。
例えば、本願は以下の項目を提供する。
（項目１）
３次元（３Ｄ）環境内で位置特定を実施する際に使用するための方法であって、前記方法は、１つ以上の電子処理デバイスにおいて、
ａ）少なくとも１つのレーザセンサによって実施されるローカル走査から、少なくとも部分的に、前記ローカル走査から取得されるローカル点群内の点から前記少なくとも１つのレーザセンサに返される放射のパワーに基づいて、強度データを決定することと、
ｂ）前記強度データを使用して、前記ローカル点群に関する第１の強度記述子を計算することと、
ｃ）複数の事前に計算された第２の強度記述子を読み出すことであって、前記複数の事前に計算された第２の強度記述子は、それぞれが前記３Ｄ環境のマップの個別の部分と関連付けられる、ことと、
ｄ）前記第１の強度記述子と前記第２の強度記述子のうちの少なくともいくつかとを比較することと、
ｅ）少なくとも部分的に、前記比較の結果に従って、前記マップに対する場所を決定することと
を含む、方法。
（項目２）
前記方法は、前記１つ以上の電子処理デバイスにおいて、前記ローカル点群内の強度データの分布に関する少なくとも１つの統計的測定値に基づいて、前記第１の強度記述子を計算することを含む、項目１に記載の方法。
（項目３）
前記方法は、前記１つ以上の電子処理デバイスにおいて、前記第１の強度記述子を計算することを含み、前記第１の強度記述子を計算することは、
ａ）前記ローカル点群を複数の空間的に分散されたローカル点群セグメントに分割することと、
ｂ）各ローカル点群セグメントに対し、前記ローカル点群セグメント内の強度データの分布に関する統計的測定値に基づいて、第１の強度記述子セグメントを計算することと、
ｃ）各第１の強度記述子セグメントを使用して、前記第１の強度記述子を計算することと
によって行われる、項目２に記載の方法。
（項目４）
前記統計的測定値は、複数の強度値のそれぞれの周波数の分布を示す、項目２または項目３に記載の方法。
（項目５）
前記ローカル点群セグメントは、少なくとも部分的に、球状構造を有する、項目４に記載の方法。
（項目６）
前記ローカル点群セグメントは、
ａ）複数の同心球状領域と、
ｂ）八分空間にセグメント化された少なくとも２つの同心球状領域と
のうちの少なくとも１つを含む、項目５に記載の方法。
（項目７）
外側球状領域の半径は、前記センサの距離に基づいており、１つ以上の内側球状領域の半径は、各球状領域が類似数のローカル点群点を含有するように選択される、項目６に記載の方法。
（項目８）
前記第２の強度記述子は、前記３Ｄ環境のマップに対応する点群内の点と関連付けられた強度データを使用して、事前に計算され、前記強度データは、少なくとも部分的に、前記３Ｄ環境の事前に実施された走査内の前記点群内の点から前記少なくとも１つのレーザセンサに返される放射のパワーに基づいている、前記項目のいずれか１項に記載の方法。
（項目９）
各第２の強度記述子は、前記マップの個別の部分に対応する前記点群の一部の点群セグメントに関して取得される第２の強度記述子セグメントを含む、項目８に記載の方法。
（項目１０）
前記複数の第２の強度記述子は、データ記憶装置内に記憶され、前記方法は、前記１つ以上の電子処理デバイスにおいて、前記複数の第２の強度記述子を前記データ記憶装置から読み出すことを含む、項目９に記載の方法。
（項目１１）
前記方法は、前記１つ以上の電子処理デバイスにおいて、
ａ）前記第１の強度記述子を第２の強度記述子と比較することであって、前記第１の強度記述子を第２の強度記述子と比較することは、
ｉ）前記第１の強度記述子セグメントと前記第２の強度記述子セグメントとを比較することと、
ｉｉ）前記比較の結果に基づいて、類似性値を決定することと
によって行われる、ことと、
ｂ）前記類似性値に基づいて、１つ以上の第２の強度記述子を選択することと
を含む、項目９または項目１０に記載の方法。
（項目１２）
前記方法は、前記１つ以上の電子処理デバイスにおいて、
ａ）前記第１の強度記述子と第２の強度記述子との間の各比較に対し、
ｉ）前記第２の強度記述子の複数の相対的配向を決定することと、
ｉｉ）前記第２の強度記述子の複数の相対的配向の各々に対し、前記第１の強度記述子セグメントと前記第２の強度記述子セグメントとを比較することと、
ｂ）各配向に対し、類似性値を決定することと、
ｃ）最小類似性値を選択することと
を含む、項目１１に記載の方法。
（項目１３）
前記方法は、前記１つ以上の電子処理デバイスにおいて、前記第１の強度記述子と個別の第２の強度記述子との間の類似性値を使用して、前記マップの部分を潜在的場所としてランク付けすることを含む、項目１１または項目１２に記載の方法。
（項目１４）
前記方法は、前記１つ以上の電子処理デバイスにおいて、
ａ）前記マップの部分の潜在的場所としてのランク付けに基づいて選択された前記マップの少なくとも一部を使用して、サブマップを生成することと、
ｂ）幾何学的認識を前記サブマップ内で実施することと
を含む、項目１３に記載の方法。
（項目１５）
前記方法は、前記１つ以上の電子処理デバイスにおいて、前記幾何学的認識を実施することを含み、前記幾何学的認識を実施することは、
ａ）ローカル特徴点を前記ローカル点群から抽出することと、
ｂ）各ローカル特徴点に対し、ローカル幾何学的記述子を計算することと、
ｃ）前記サブマップ内に含まれる前記マップの部分と関連付けられたサブマップ特徴点を使用して計算された事前に計算されたサブマップ幾何学的記述子を読み出すことと、
ｄ）ローカル幾何学的記述子とサブマップ幾何学的記述子との間の対応を決定することと、
ｅ）幾何学的一貫性に基づいて、対応をクラスタ化し、１つ以上の候補クラスタを形成することと、
ｆ）各候補クラスタに対し、変換を決定することと
によって行われる、項目１４に記載の方法。
（項目１６）
前記方法は、前記１つ以上の電子処理デバイスにおいて、
ａ）最高数の対応を有する候補クラスタを選択することと、
ｂ）前記選択された候補クラスタ内の対応の数を第１の閾値と比較することと、
ｃ）ｉ）対応の数が前記第１の閾値を下回る場合、前記選択された候補クラスタが偽マッチングであることを決定すること、および
ｉｉ）対応の数が前記第１の閾値を上回る場合、前記選択された候補クラスタが最も可能性が高い場所を示すことを決定すること
のうちの少なくとも１つと
を含む、項目１５に記載の方法。
（項目１７）
最も可能性が高い場所を示す前記候補クラスタに関して、前記方法は、前記１つ以上の電子処理デバイスにおいて、前記変換を精緻化し、前記ローカル点群と前記サブマップと関連付けられたサブマップ点群とを整合させることを含む、項目１６に記載の方法。
（項目１８）
前記方法は、前記１つ以上の電子処理デバイスにおいて、反復最近傍点（ＩＣＰ）を前記ローカルおよびサブマップ点群の少なくとも一部上で実施し、前記変換を精緻化し、姿勢を決定することを含む、項目１７に記載の方法。
（項目１９）
前記方法は、前記１つ以上の電子処理デバイスにおいて、
ａ）前記ローカルおよびサブマップ点群が整合される程度を示す適合性スコアを決定することと、
ｂ）前記適合性スコアを第２の閾値と比較することと、
ｃ）前記比較の結果に応じて、前記場所を選択的に照合することと
を含む、項目１８に記載の方法。
（項目２０）
前記方法は、前記１つ以上の電子処理デバイスにおいて、新しいサブマップを生成することを含み、前記新しいサブマップを生成することは、
ａ）対応の数が前記第１の閾値を下回ることと、
ｂ）前記適合性スコアが前記第２の閾値を上回ることと
のうちの１つの場合に行われる、項目１９に記載の方法。
（項目２１）
前記方法は、前記１つ以上の電子処理デバイスにおいて、少なくとも部分的に、前記マップの部分の潜在的場所としてのランク付けに基づいて選択された前記マップの他の部分を使用して、新しいサブマップを生成することを含む、項目２０に記載の方法。
（項目２２）
前記方法は、前記１つ以上の処理デバイスにおいて、
ａ）前記サブマップ内に含まれている潜在的場所の数を決定することと、
ｂ）ｉ）潜在的場所の数が定義された最大値に到達した場合、前記位置特定方法を終了することと、
ｉｉ）潜在的場所の数が前記定義された最大値を下回る場合、前記サブマップのサイズを増加させることと
のうちの少なくとも１つと
を含む、項目２１に記載の方法。
（項目２３）
前記ローカル走査は、
ａ）定常走査と、
ｂ）モバイルロボットまたは自律車両と関連付けられたウェイクアップ走査と、
ｃ）ループ閉鎖走査と
のうちの少なくとも１つである、前記項目のいずれか１項に記載の方法。
（項目２４）
前記少なくとも１つのレーザセンサは、光結像検出および測距（ＬｉＤＡＲ）センサである、前記項目のいずれか１項に記載の方法。
（項目２５）
前記マップの部分は、マッピング軌道に沿って前記マップから抽出される、前記項目のいずれか１項に記載の方法。
（項目２６）
前記マッピング軌道は、事前に定義された長さのセグメントに分割され、前記マップの各部分は、前記マッピング軌道の個別のセグメントに沿って進行されるにつれて前記少なくとも１つのセンサから取得される点群として定義される、項目２５に記載の方法。
（項目２７）
３次元（３Ｄ）環境内で位置特定を実施する際に使用するためのシステムであって、前記システムは、１つ以上の電子処理デバイスを含み、前記１つ以上の電子処理デバイスは、
ａ）少なくとも１つのレーザセンサによって実施されるローカル走査から、少なくとも部分的に、前記ローカル走査から取得されるローカル点群内の点から前記少なくとも１つのレーザセンサに返される放射のパワーに基づいて、強度データを決定することと、
ｂ）前記強度データを使用して、前記ローカル点群に関する第１の強度記述子を計算することと、
ｃ）複数の事前に計算された第２の強度記述子を読み出すことであって、前記複数の事前に計算された第２の強度記述子は、それぞれが前記３Ｄ環境のマップの個別の部分と関連付けられる、ことと、
ｄ）前記第１の強度記述子と前記第２の強度記述子のうちの少なくともいくつかとを比較することと、
ｅ）少なくとも部分的に、前記比較の結果に従って、前記マップに対する場所を決定することと
を行うように構成される、システム。
（項目２８）
前記システムは、前記ローカル走査を実施するように構成される少なくとも１つのレーザセンサを含む、項目２７に記載のシステム。
（項目２９）
前記少なくとも１つのセンサは、光結像検出および測距（ＬｉＤＡＲ）センサである、項目２８に記載のシステム。
（項目３０）
前記システムはさらに、前記複数の第２の強度記述子を含有するデータ記憶装置を含み、前記データ記憶装置は、前記複数の第２の強度記述子を読み出すために、１つ以上の電子処理デバイスによってアクセス可能である、項目２７－２９のいずれか１項に記載のシステム。
（項目３１）
前記少なくとも１つのレーザセンサ、１つ以上の電子処理デバイス、およびデータ記憶装置は、モバイルロボットまたは自律車両にオンボードで位置する、項目２７または項目３０に記載のシステム。
It is noted that the broad form of the invention and its individual features may be used in combination interchangeably and / or independently, and the separate broad form of reference is not intended to be limiting. I want you to understand.
For example, the present application provides the following items.
(Item 1)
A method for use when performing position determination in a three-dimensional (3D) environment, wherein the method is used in one or more electronic processing devices.
a) From a local scan performed by at least one laser sensor, at least in part, based on the power of radiation returned to the at least one laser sensor from a point in the local point cloud obtained from said local scan. Determining intensity data and
b) Using the intensity data to calculate the first intensity descriptor for the local point cloud,
c) Reading a plurality of pre-computed second intensity descriptors, each of which is a separate part of the map of the 3D environment. To be associated with
d) Comparing the first intensity descriptor with at least some of the second intensity descriptors.
e) At least in part, determining the location for the map according to the results of the comparison.
Including, how.
(Item 2)
The method comprises calculating the first intensity descriptor in the one or more electronic processing devices based on at least one statistical measurement of the distribution of intensity data within the local point cloud. The method according to item 1.
(Item 3)
The method comprises calculating the first intensity descriptor in the one or more electronic processing devices, and calculating the first intensity descriptor may include calculating the first intensity descriptor.
a) Dividing the local point cloud into a plurality of spatially dispersed local point cloud segments, and
b) For each local point cloud segment, calculate a first intensity descriptor segment based on statistical measurements of the distribution of intensity data within the local point cloud segment.
c) Using each first intensity descriptor segment to calculate the first intensity descriptor.
Item 2. The method according to item 2.
(Item 4)
The method according to item 2 or item 3, wherein the statistical measurement indicates the distribution of each frequency of a plurality of intensity values.
(Item 5)
The method according to item 4, wherein the local point cloud segment has a spherical structure at least partially.
(Item 6)
The local point cloud segment is
a) Multiple concentric spherical regions and
b) With at least two concentric spherical regions segmented into eight-quarter space
5. The method of item 5, comprising at least one of.
(Item 7)
The radius of the outer spherical region is based on the distance of the sensor, and the radius of one or more inner spherical regions is selected so that each spherical region contains a similar number of local point cloud points, item 6. The method described.
(Item 8)
The second intensity descriptor is pre-calculated using the intensity data associated with the points in the point cloud corresponding to the map of the 3D environment, and the intensity data is at least partially the 3D. The method of any one of the above items, which is based on the power of radiation returned from a point in the point cloud within a pre-performed scan of the environment to the at least one laser sensor.
(Item 9)
8. The method of item 8, wherein each second intensity descriptor comprises a second intensity descriptor segment obtained for some point cloud segments of the point cloud corresponding to individual parts of the map.
(Item 10)
The plurality of second intensity descriptors are stored in the data storage device, and the method is to read the plurality of second intensity descriptors from the data storage device in the one or more electronic processing devices. 9. The method according to item 9.
(Item 11)
The method is described in the one or more electronic processing devices.
a) Comparing the first intensity descriptor with the second intensity descriptor, and comparing the first intensity descriptor with the second intensity descriptor, is to compare.
i) Comparing the first intensity descriptor segment with the second intensity descriptor segment,
ii) To determine the similarity value based on the result of the comparison.
What is done by
b) Choosing one or more second intensity descriptors based on the similarity value.
Item 9. The method according to item 9 or item 10.
(Item 12)
The method is described in the one or more electronic processing devices.
a) For each comparison between the first intensity descriptor and the second intensity descriptor
i) Determining multiple relative orientations of the second intensity descriptor and
ii) Comparing the first intensity descriptor segment with the second intensity descriptor segment for each of the plurality of relative orientations of the second intensity descriptor.
b) Determining the similarity value for each orientation and
c) Choosing the minimum similarity value
The method according to item 11.
(Item 13)
The method uses a similarity value between the first intensity descriptor and a separate second intensity descriptor in the one or more electronic processing devices to potentially locate a portion of the map. The method of item 11 or item 12, comprising ranking as.
(Item 14)
The method is described in the one or more electronic processing devices.
a) Using at least a portion of the map selected based on its ranking as a potential location for a portion of the map to generate a submap.
b) Performing geometric recognition within the submap
The method according to item 13.
(Item 15)
The method comprises performing the geometric recognition in the one or more electronic processing devices, and performing the geometric recognition may include performing the geometric recognition.
a) Extracting local feature points from the local point cloud,
b) Compute the local geometric descriptor for each local feature point,
c) Reading a pre-computed submap geometric descriptor calculated using the submap feature points associated with the part of the map contained within the submap.
d) Determining the correspondence between the local geometric descriptor and the submap geometric descriptor,
e) To cluster the correspondence based on geometrical consistency and to form one or more candidate clusters.
f) To decide the conversion for each candidate cluster
14. The method of item 14, which is performed by.
(Item 16)
The method is described in the one or more electronic processing devices.
a) Select the candidate cluster with the highest number of correspondences and
b) Comparing the number of correspondences in the selected candidate cluster with the first threshold
c) i) If the number of correspondences is below the first threshold, it is determined that the selected candidate cluster is a false match, and
ii) If the number of correspondences exceeds the first threshold, determine that the selected candidate cluster indicates the most likely location.
With at least one of
15. The method of item 15.
(Item 17)
With respect to the candidate cluster indicating the most likely location, the method refines the transformation in the one or more electronic processing devices with the local point cloud and the submap point cloud associated with the submap. 16. The method of item 16, comprising aligning.
(Item 18)
The method comprises performing iterative nearest point (ICP) on at least a portion of the local and submap point clouds in the one or more electronic processing devices to refine the transformation and determine orientation. , Item 17.
(Item 19)
The method is described in the one or more electronic processing devices.
a) Determining a suitability score that indicates the degree to which the local and submap point clouds are aligned.
b) Comparing the suitability score with the second threshold
c) To selectively collate the locations according to the results of the comparison.
18. The method of item 18.
(Item 20)
The method comprises generating a new submap in the one or more electronic processing devices, and generating the new submap
a) The number of correspondences is below the first threshold,
b) The suitability score exceeds the second threshold.
19. The method of item 19, which is performed in one of the cases.
(Item 21)
The method is a new sub using the other part of the map selected based on the ranking of the part of the map as a potential location, at least in part, in the one or more electronic processing devices. 20. The method of item 20, comprising generating a map.
(Item 22)
The method is described in the one or more processing devices.
a) Determining the number of potential locations contained within the submap and
b) i) When the number of potential locations reaches the defined maximum value, the above-mentioned positioning method is terminated.
ii) If the number of potential locations is below the defined maximum, increase the size of the submap.
With at least one of
21. The method of item 21.
(Item 23)
The local scan
a) Steady scanning and
b) Wake-up scanning associated with mobile robots or autonomous vehicles,
c) With loop closure scan
The method according to any one of the above items, which is at least one of the above items.
(Item 24)
The method according to any one of the above items, wherein the at least one laser sensor is a photoimaging detection and range-finding (LiDAR) sensor.
(Item 25)
The method according to any one of the above items, wherein the portion of the map is extracted from the map along a mapping trajectory.
(Item 26)
The mapping trajectory is divided into segments of predefined length, and each portion of the map is a point cloud acquired from the at least one sensor as it travels along the individual segments of the mapping trajectory. 25. The method of item 25, defined as.
(Item 27)
A system for use when performing location determination in a three-dimensional (3D) environment, wherein the system includes one or more electronic processing devices, and the one or more electronic processing devices include.
a) From a local scan performed by at least one laser sensor, at least in part, based on the power of radiation returned to the at least one laser sensor from a point in the local point cloud obtained from said local scan. Determining intensity data and
b) Using the intensity data to calculate the first intensity descriptor for the local point cloud,
c) Reading a plurality of pre-computed second intensity descriptors, each of which is a separate part of the map of the 3D environment. To be associated with
d) Comparing the first intensity descriptor with at least some of the second intensity descriptors.
e) At least in part, determining the location for the map according to the results of the comparison.
A system that is configured to do.
(Item 28)
27. The system of item 27, wherein the system comprises at least one laser sensor configured to perform the local scan.
(Item 29)
28. The system of item 28, wherein the at least one sensor is a photoimaging detection and range-finding (LiDAR) sensor.
(Item 30)
The system further includes a data storage device containing the plurality of second intensity descriptors, wherein the data storage device is one or more electronic processing devices for reading the plurality of second intensity descriptors. The system according to any one of items 27-29, accessible by.
(Item 31)
28. The system of item 27 or item 30, wherein the at least one laser sensor, one or more electronic processing devices, and a data storage device are located onboard a mobile robot or autonomous vehicle.
第１の強度記述子の構造が、ここで、説明されるであろう。典型的には、ローカル点群セグメントは、少なくとも部分的に、球状構造を有する。ローカル点群セグメントは、複数の同心球状領域と、八分空間にセグメント化された少なくとも２つの同心球状領域とのうちの少なくとも１つを含む。複数の同心球状領域の場合、記述子は、空間セグメント化を伴わない記述子より良好に性能を発揮するであろうが、しかしながら、原点から同一距離であるが、異なる側上に位置する、類似物体を有する、群を区別することに失敗し得る。球状領域を八分空間に分割する（すなわち、球体を半球に分割し、次いで、方位角分割を適用する）ことによって、点群内の「左」、「右」、「上」、および「下」の場所を定義することが可能となる。
The structure of the first intensity descriptor will be described here. Typically, the local point cloud segment has a spherical structure, at least in part. The local point cloud segment comprises at least one of a plurality of concentric spherical regions and at least two concentric spherical regions segmented into octets . For multiple concentric regions, the descriptor will perform better than the descriptor without spatial segmentation, however, the same distance from the origin but similar, located on different sides. Having objects, it can fail to distinguish groups. By dividing the spherical region into eight-quarter spaces (ie, dividing the sphere into hemispheres and then applying the azimuth division), "left", "right", "top", and "bottom" in the point cloud. It becomes possible to define the location of.
一実施例では、外側球状領域の半径は、センサの距離に基づき、１つ以上の内側球状領域の半径は、各球状領域が類似数のローカル点群点を含有するように選択される。 In one embodiment, the radius of the outer spherical region is based on the distance of the sensor, and the radius of one or more inner spherical regions is selected such that each spherical region contains a similar number of local point cloud points.
Claims (28)
ａ）少なくとも１つのレーザセンサによって実行されるローカル走査から、前記ローカル走査から取得されるローカル点群内の点から前記少なくとも１つのレーザセンサに返される放射のパワーに少なくとも部分的に基づいて、強度データを決定することと、
ｂ）前記強度データを使用して、前記ローカル点群に関する第１の強度記述子を計算することであって、前記第１の強度記述子は、ローカル点群全体に関する単一の記述子に対応する、ことと、
ｃ）事前に計算された複数の第２の強度記述子を読み出すことであって、前記複数の第２の強度記述子のそれぞれは、前記３Ｄ環境のマップの個別の部分に関連付けられた点群に関する単一のグローバル記述子に対応する、ことと、
ｄ）前記第１の強度記述子と前記複数の第２の強度記述子のうちの少なくともいくつかとを比較することと、
ｅ）前記比較の結果に少なくとも部分的に従って、前記マップに対する前記少なくとも１つのレーザセンサの場所を決定することと
を含み、
前記少なくとも１つのレーザセンサは、光結像検出および測距（ＬｉＤＡＲ）センサである、方法。 A method used to perform location determination in a three-dimensional (3D) environment, wherein the method is used in one or more electronic processing devices.
a) Intensity from a local scan performed by at least one laser sensor, at least partially based on the power of radiation returned from a point in the local point cloud obtained from said local scan to said at least one laser sensor. Determining the data and
b) Using the intensity data to calculate a first intensity descriptor for the local point cloud, the first intensity descriptor corresponds to a single descriptor for the entire local point cloud. To do, to do ,
c) Reading a plurality of pre -computed second intensity descriptors, each of which is associated with a separate portion of the map of the 3D environment. Corresponds to a single global descriptor for a group, and
d) Comparing the first intensity descriptor with at least some of the plurality of second intensity descriptors.
e) Including determining the location of the at least one laser sensor with respect to the map, at least partially according to the results of the comparison.
The method, wherein the at least one laser sensor is a photoimaging detection and range-finding (LiDAR) sensor .
ａ）前記ローカル点群を空間的に分散された複数のローカル点群セグメントに分割することと、
ｂ）各ローカル点群セグメントに対して、第１の強度記述子セグメントを計算することであって、前記第１の強度記述子セグメントは、前記ローカル点群セグメント内の強度データの分布のヒストグラムを含むデータである、ことと、
ｃ）各第１の強度記述子セグメントを使用して、前記第１の強度記述子を計算することと
によって行われる、請求項２に記載の方法。 The method comprises calculating the first intensity descriptor in the one or more electronic processing devices, and calculating the first intensity descriptor may include calculating the first intensity descriptor.
a) Dividing the local point cloud into a plurality of spatially dispersed local point cloud segments, and
b) For each local point cloud segment , a first intensity descriptor segment is calculated, wherein the first intensity descriptor segment is a histogram of the distribution of intensity data in the local point cloud segment. It is data that includes
c) The method of claim 2, wherein each first intensity descriptor segment is used to calculate the first intensity descriptor.
ａ）複数の同心球状領域と、
ｂ）八分空間にセグメント化された少なくとも２つの同心球状領域と
のうちの少なくとも１つを含む、請求項４に記載の方法。 The plurality of local point cloud segments are
a) Multiple concentric spherical regions and
b) The method of claim 4 , wherein the method comprises at least one of at least two concentric spherical regions segmented into an eight-quarter space .
ａ）前記第１の強度記述子と第２の強度記述子とを比較することであって、前記第１の強度記述子と第２の強度記述子とを比較することは、
ｉ）前記第１の強度記述子セグメントと前記第２の強度記述子セグメントとを比較することと、
ｉｉ）前記比較の結果に基づいて、類似性値を決定することと
によって行われる、ことと、
ｂ）前記類似性値に基づいて、１つ以上の第２の強度記述子を選択することと
を含む、請求項８または請求項９に記載の方法。 The method is described in the one or more electronic processing devices.
a) Comparing the first intensity descriptor with the second intensity descriptor, and comparing the first intensity descriptor with the second intensity descriptor is to compare.
i) Comparing the first intensity descriptor segment with the second intensity descriptor segment,
ii) It is done by determining the similarity value based on the result of the comparison, and
b) The method of claim 8 or 9 , comprising selecting one or more second intensity descriptors based on the similarity value.
ａ）前記第１の強度記述子と第２の強度記述子との間の各比較に対して、
ｉ）前記第２の強度記述子の複数の相対的配向を決定することと、
ｉｉ）前記第２の強度記述子の複数の相対的配向の各々に対して、前記第１の強度記述子セグメントと前記第２の強度記述子セグメントとを比較することと、
ｂ）各配向に対して、類似性値を決定することと、
ｃ）最小類似性値を選択することと
を含む、請求項１０に記載の方法。 The method is described in the one or more electronic processing devices.
a) For each comparison between the first intensity descriptor and the second intensity descriptor
i) Determining multiple relative orientations of the second intensity descriptor and
ii) Comparing the first intensity descriptor segment with the second intensity descriptor segment for each of the plurality of relative orientations of the second intensity descriptor.
b) Determining the similarity value for each orientation and
c) The method of claim 10 , comprising selecting the minimum similarity value.
ａ）前記マップの部分の潜在的場所としてのランク付けに基づいて選択された前記マップの少なくとも一部を使用して、サブマップを生成することと、
ｂ）幾何学的認識を前記サブマップ内で実行することと
を含む、請求項１２に記載の方法。 The method is described in the one or more electronic processing devices.
a) Using at least a portion of the map selected based on its ranking as a potential location for a portion of the map to generate a submap.
b) The method of claim 12 , comprising performing geometric recognition within the submap.
ａ）複数のローカル特徴点を前記ローカル点群から抽出することと、
ｂ）各ローカル特徴点に対して、ローカル幾何学的記述子を計算することと、
ｃ）前記サブマップ内に含まれる前記マップの部分に関連付けられた複数のサブマップ特徴点を使用して計算された事前に計算された複数のサブマップ幾何学的記述子を読み出すことと、
ｄ）ローカル幾何学的記述子とサブマップ幾何学的記述子との間の対応を決定することと、
ｅ）幾何学的一貫性に基づいて、対応をクラスタ化することにより、１つ以上の候補クラスタを形成することと、
ｆ）各候補クラスタに対して、変換を決定することと
によって行われる、請求項１３に記載の方法。 The method comprises performing the geometric recognition in the one or more electronic processing devices, and performing the geometric recognition may include performing the geometric recognition.
a) Extracting a plurality of local feature points from the local point cloud,
b) Compute the local geometric descriptor for each local feature point,
c) Reading multiple pre-computed submap geometric descriptors calculated using the multiple submap feature points associated with the part of the map contained within the submap.
d) Determining the correspondence between the local geometric descriptor and the submap geometric descriptor,
e) To form one or more candidate clusters by clustering the correspondence based on geometric consistency.
f) The method of claim 13 , which is performed by determining the conversion for each candidate cluster.
ａ）最高数の対応を有する候補クラスタを選択することと、
ｂ）前記選択された候補クラスタ内の対応の数と第１の閾値とを比較することと、
ｃ）ｉ）対応の数が前記第１の閾値を下回る場合、前記選択された候補クラスタが偽マッチングであることを決定すること、および
ｉｉ）対応の数が前記第１の閾値を上回る場合、前記選択された候補クラスタが最も可能性が高い場所を示すことを決定すること
のうちの少なくとも１つと
を含む、請求項１４に記載の方法。 The method is described in the one or more electronic processing devices.
a) Select the candidate cluster with the highest number of correspondences and
b) Comparing the number of correspondences in the selected candidate cluster with the first threshold.
c) i) If the number of correspondences is below the first threshold, it is determined that the selected candidate cluster is false matching, and ii) if the number of correspondences is above the first threshold. 14. The method of claim 14 , comprising at least one of determining that the selected candidate cluster indicates the most likely location.
ａ）前記ローカル点群および前記サブマップ点群が整合される程度を示す適合性スコアを決定することと、
ｂ）前記適合性スコアと第２の閾値とを比較することと、
ｃ）前記比較の結果に応じて、前記場所を選択的に照合することと
を含む、請求項１７に記載の方法。 The method is described in the one or more electronic processing devices.
a) Determining a suitability score that indicates the degree to which the local point cloud and the submap point cloud are matched.
b) Comparing the suitability score with the second threshold,
c) The method of claim 17 , comprising selectively collating the locations according to the results of the comparison.
ａ）対応の数が前記第１の閾値を下回ることと、
ｂ）前記適合性スコアが前記第２の閾値を上回ることと
のうちの１つの場合に行われる、請求項１８に記載の方法。 The method comprises generating a new submap in the one or more electronic processing devices, and generating the new submap
a) The number of correspondences is below the first threshold,
b) The method of claim 18 , which is performed when the suitability score exceeds the second threshold.
ａ）前記サブマップ内に含まれている潜在的場所の数を決定することと、
ｂ）ｉ）潜在的場所の数が定義された最大値に到達した場合、前記位置特定方法を終了することと、
ｉｉ）潜在的場所の数が前記定義された最大値を下回る場合、前記サブマップのサイズを増加させることと
のうちの少なくとも１つと
を含む、請求項２０に記載の方法。 The method is described in the one or more processing devices.
a) Determining the number of potential locations contained within the submap and
b) i) When the number of potential locations reaches the defined maximum value, the above-mentioned positioning method is terminated.
ii) The method of claim 20 , comprising increasing the size of the submap if the number of potential locations is below the defined maximum.
ａ）定常走査と、
ｂ）モバイルロボットまたは自律車両に関連付けられたウェイクアップ走査と、
ｃ）ループ閉鎖走査と
のうちの少なくとも１つである、請求項１～２１のいずれか１項に記載の方法。 The local scan
a) Steady scanning and
b) Wake-up scanning associated with mobile robots or autonomous vehicles ,
c) The method of any one of claims 1-21 , which is at least one of loop closure scans.
ａ）少なくとも１つのレーザセンサによって実行されるローカル走査から、前記ローカル走査から取得されるローカル点群内の点から前記少なくとも１つのレーザセンサに返される放射のパワーに少なくとも部分的に基づいて、強度データを決定することと、
ｂ）前記強度データを使用して、前記ローカル点群に関する第１の強度記述子を計算することであって、前記第１の強度記述子は、ローカル点群全体に関する単一の記述子に対応する、ことと、
ｃ）事前に計算された複数の第２の強度記述子を読み出すことであって、前記複数の第２の強度記述子のそれぞれは、前記３Ｄ環境のマップの個別の部分に関連付けられた点群に関する単一のグローバル記述子に対応する、ことと、
ｄ）前記第１の強度記述子と前記複数の第２の強度記述子のうちの少なくともいくつかとを比較することと、
ｅ）前記比較の結果に少なくとも部分的に従って、前記マップに対する前記少なくとも１つのレーザセンサの場所を決定することと
を行うように構成されており、
前記少なくとも１つのレーザセンサは、光結像検出および測距（ＬｉＤＡＲ）センサである、システム。 A system used to perform location determination in a three-dimensional (3D) environment, wherein the system includes one or more electronic processing devices, and the one or more electronic processing devices are.
a) Intensity from a local scan performed by at least one laser sensor, at least partially based on the power of radiation returned from a point in the local point cloud obtained from said local scan to said at least one laser sensor. Determining the data and
b) Using the intensity data to calculate a first intensity descriptor for the local point cloud, the first intensity descriptor corresponds to a single descriptor for the entire local point cloud. To do, to do ,
c) Reading a plurality of pre -computed second intensity descriptors, each of which is associated with a separate portion of the map of the 3D environment. Corresponds to a single global descriptor for a group, and
d) Comparing the first intensity descriptor with at least some of the plurality of second intensity descriptors.
e) Configured to determine the location of the at least one laser sensor with respect to the map, at least partially according to the results of the comparison .
The system , wherein the at least one laser sensor is a photoimaging detection and range-finding (LiDAR) sensor .
25. The system of claim 27 , wherein the at least one laser sensor and one or more electronic processing devices and data storage devices are located onboard a mobile robot or autonomous vehicle.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| AU2017903569A AU2017903569A0 (en) | 2017-09-04 | Method and system for use in performing localisation | |
| AU2017903569 | 2017-09-04 | ||
| PCT/AU2018/050948 WO2019040997A1 (en) | 2017-09-04 | 2018-09-03 | Method and system for use in performing localisation |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020532734A JP2020532734A (en) | 2020-11-12 |
| JPWO2019040997A5 true JPWO2019040997A5 (en) | 2022-07-13 |
| JP7278263B2 JP7278263B2 (en) | 2023-05-19 |
Family
ID=65524585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020512849A Active JP7278263B2 (en) | 2017-09-04 | 2018-09-03 | Method and system for use in performing localization |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11402509B2 (en) |
| EP (1) | EP3707530A4 (en) |
| JP (1) | JP7278263B2 (en) |
| KR (1) | KR102607113B1 (en) |
| CN (1) | CN111133336B (en) |
| AU (2) | AU2018326401C1 (en) |
| WO (1) | WO2019040997A1 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7039420B2 (en) * | 2018-08-27 | 2022-03-22 | 株式会社日立ソリューションズ | Antenna extraction system and method |
| CN110189400B (en) * | 2019-05-20 | 2023-04-14 | 深圳大学 | Three-dimensional reconstruction method, three-dimensional reconstruction system, mobile terminal and storage device |
| DE102019208504A1 (en) * | 2019-06-12 | 2020-12-17 | Robert Bosch Gmbh | Position determination based on environmental observations |
| US11514682B2 (en) | 2019-06-24 | 2022-11-29 | Nvidia Corporation | Determining weights of points of a point cloud based on geometric features |
| US11619724B2 (en) * | 2019-06-26 | 2023-04-04 | Nvidia Corporation | Calibration of multiple lidars mounted on a vehicle using localization based on a high definition map |
| WO2021046829A1 (en) * | 2019-09-12 | 2021-03-18 | 华为技术有限公司 | Positioning method, device and system |
| JP7306192B2 (en) * | 2019-09-27 | 2023-07-11 | 沖電気工業株式会社 | Synthesis processing device, synthesis processing system, and synthesis processing method |
| CN111076733B (en) * | 2019-12-10 | 2022-06-14 | 亿嘉和科技股份有限公司 | Robot indoor map building method and system based on vision and laser slam |
| CN111026163B (en) * | 2019-12-20 | 2021-10-26 | 华南理工大学 | Indoor-oriented uncontrolled radioactive source autonomous searching robot and searching method thereof |
| KR20230049585A (en) * | 2020-05-11 | 2023-04-13 | 코그넥스코오포레이션 | Method and Apparatus for Generating Point Cloud Histograms |
| EP3916656A1 (en) * | 2020-05-27 | 2021-12-01 | Mettler-Toledo GmbH | Method and apparatus for tracking, damage detection and classi-fication of a shipping object using 3d scanning |
| CN111798536B (en) * | 2020-06-15 | 2024-03-22 | 北京三快在线科技有限公司 | Construction method and device of positioning map |
| CN111998846B (en) * | 2020-07-24 | 2023-05-05 | 中山大学 | Unmanned system rapid repositioning method based on environment geometry and topological characteristics |
| US11740360B2 (en) * | 2020-11-02 | 2023-08-29 | Motional Ad Llc | Light detection and ranging (LiDaR) scan smoothing |
| CN113325435B (en) * | 2021-05-25 | 2024-01-09 | 武汉大学 | Positioning method, device, equipment and readable storage medium |
| CN115509214B (en) * | 2021-06-04 | 2024-03-15 | 同方威视技术股份有限公司 | Positioning control method and device, and autonomous charging control device, method and system |
| CN115727836A (en) * | 2022-11-23 | 2023-03-03 | 锐趣科技(北京)有限公司 | Fusion positioning method and system based on laser reflector and odometer |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6711293B1 (en) * | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
| JP3664127B2 (en) * | 2001-06-07 | 2005-06-22 | 日産自動車株式会社 | Object detection device |
| US8699755B2 (en) | 2009-02-20 | 2014-04-15 | Navteq B.V. | Determining travel path features based on retroreflectivity |
| US8396293B1 (en) * | 2009-12-22 | 2013-03-12 | Hrl Laboratories, Llc | Recognizing geometrically salient objects from segmented point clouds using strip grid histograms |
| KR20110097140A (en) * | 2010-02-24 | 2011-08-31 | 삼성전자주식회사 | Apparatus for estimating location of moving robot and method thereof |
| JP5822255B2 (en) * | 2011-04-14 | 2015-11-24 | 株式会社豊田中央研究所 | Object identification device and program |
| GB201116960D0 (en) | 2011-09-30 | 2011-11-16 | Bae Systems Plc | Monocular camera localisation using prior point clouds |
| US20140031980A1 (en) | 2011-11-11 | 2014-01-30 | Jens-Steffen Gutmann | Systems and methods for extending slam to multiple regions |
| US8736463B1 (en) * | 2012-01-30 | 2014-05-27 | Google Inc. | Object bounding box estimation |
| US9037403B2 (en) * | 2013-03-26 | 2015-05-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Intensity map-based localization with adaptive thresholding |
| EP2884364B1 (en) * | 2013-12-12 | 2018-09-26 | Hexagon Technology Center GmbH | Autonomous gardening vehicle with camera |
| GB2526342A (en) | 2014-05-22 | 2015-11-25 | Nokia Technologies Oy | Point cloud matching method |
| JP6336825B2 (en) * | 2014-06-04 | 2018-06-06 | 株式会社デンソー | POSITION ESTIMATION DEVICE, POSITION ESTIMATION METHOD, AND POSITION ESTIMATION PROGRAM |
| WO2016118499A1 (en) | 2015-01-19 | 2016-07-28 | The Regents Of The University Of Michigan | Visual localization within lidar maps |
| JP6601613B2 (en) * | 2015-06-08 | 2019-11-06 | 株式会社パスコ | POSITION ESTIMATION METHOD, POSITION ESTIMATION DEVICE, AND POSITION ESTIMATION PROGRAM |
| US11137255B2 (en) | 2015-08-03 | 2021-10-05 | Tomtom Global Content B.V. | Methods and systems for generating and using localization reference data |
| JP2017072422A (en) * | 2015-10-05 | 2017-04-13 | パイオニア株式会社 | Information processing device, control method, program, and storage medium |
| CN105389538B (en) * | 2015-10-09 | 2018-07-13 | 南京大学 | A method of based on a cloud hemisphere slice estimation Forest Leaf Area Index |
| CN105204510B (en) * | 2015-10-09 | 2016-06-22 | 福州华鹰重工机械有限公司 | A kind of generation method for pinpoint probability map and device |
| CN105180955A (en) * | 2015-10-21 | 2015-12-23 | 福州华鹰重工机械有限公司 | Real-time precise positioning method and real-time precise positioning device of motor vehicles |
| CN105911518A (en) * | 2016-03-31 | 2016-08-31 | 山东大学 | Robot positioning method |
| CN106023210B (en) * | 2016-05-24 | 2017-12-12 | 百度在线网络技术（北京）有限公司 | Unmanned vehicle, unmanned vehicle localization method, device and system |
| CN106908775B (en) * | 2017-03-08 | 2019-10-18 | 同济大学 | A kind of unmanned vehicle real-time location method based on laser reflection intensity |
-
2018
- 2018-09-03 WO PCT/AU2018/050948 patent/WO2019040997A1/en unknown
- 2018-09-03 CN CN201880056871.1A patent/CN111133336B/en active Active
- 2018-09-03 EP EP18852620.6A patent/EP3707530A4/en active Pending
- 2018-09-03 JP JP2020512849A patent/JP7278263B2/en active Active
- 2018-09-03 US US16/644,280 patent/US11402509B2/en active Active
- 2018-09-03 KR KR1020207008525A patent/KR102607113B1/en active IP Right Grant
- 2018-09-03 AU AU2018326401A patent/AU2018326401C1/en active Active
-
2023
- 2023-07-10 AU AU2023204563A patent/AU2023204563A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2019040997A5 (en) | ||
| US8830229B2 (en) | Recognition and pose determination of 3D objects in 3D scenes | |
| US8798357B2 (en) | Image-based localization | |
| KR102607113B1 (en) | Methods and systems for use in performing localization | |
| JP5705147B2 (en) | Representing 3D objects or objects using descriptors | |
| US8994723B2 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
| US20180074203A1 (en) | Lidar Object Detection System for Automated Vehicles | |
| US11506755B2 (en) | Recording medium recording information processing program, information processing apparatus, and information processing method | |
| Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
| CN110942473A (en) | Moving target tracking detection method based on characteristic point gridding matching | |
| Bogoslavskyi et al. | Analyzing the quality of matched 3D point clouds of objects | |
| KR20200057586A (en) | Matching Method for Laser Scanner Considering Movement of Ground Robot and Apparatus Therefor | |
| Sun et al. | Oriented point sampling for plane detection in unorganized point clouds | |
| CN111736167B (en) | Method and device for obtaining laser point cloud density | |
| Yoshiki et al. | Scalable change detection from 3d point cloud maps: Invariant map coordinate for joint viewpoint-change localization | |
| CN112581511A (en) | Three-dimensional reconstruction method and system based on approximate vertical scanning point cloud rapid registration | |
| Kordelas et al. | Viewpoint independent object recognition in cluttered scenes exploiting ray-triangle intersection and SIFT algorithms | |
| KR102114558B1 (en) | Ground and non ground detection apparatus and method utilizing lidar | |
| US20220358665A1 (en) | Method and system for localization | |
| KR102450139B1 (en) | GLOBAL LOCALIZTION APPARATUS AND METHOD IN DYNAMIC ENVIRONMENTS USING 3D LiDAR SCANNER | |
| CN115375699A (en) | Point cloud segmentation method, mobile robot and computer-readable storage medium | |
| Hungar et al. | Detection of feature areas for map-based localization using LiDAR descriptors | |
| Yoshiki et al. | Cross-season vehicle localization using bag of local 3d features | |
| Zrira et al. | Evaluation of PCL's Descriptors for 3D Object Recognition in Cluttered Scene | |
| WO2021240045A1 (en) | Method for improving localization accuracy of a self-driving vehicle |