WO2016201671A1 - 一种三维点云的局部特征提取方法及装置 - Google Patents

一种三维点云的局部特征提取方法及装置 Download PDF

Info

Publication number
WO2016201671A1
WO2016201671A1 PCT/CN2015/081790 CN2015081790W WO2016201671A1 WO 2016201671 A1 WO2016201671 A1 WO 2016201671A1 CN 2015081790 W CN2015081790 W CN 2015081790W WO 2016201671 A1 WO2016201671 A1 WO 2016201671A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
local feature
local
point cloud
extracted
Prior art date
Application number
PCT/CN2015/081790
Other languages
English (en)
French (fr)
Inventor
王文敏
镇明敏
王荣刚
李革
董胜富
王振宁
李英
高文
Original Assignee
北京大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学深圳研究生院 filed Critical 北京大学深圳研究生院
Priority to PCT/CN2015/081790 priority Critical patent/WO2016201671A1/zh
Priority to US15/575,897 priority patent/US10339409B2/en
Publication of WO2016201671A1 publication Critical patent/WO2016201671A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present application relates to a local feature extraction method and apparatus for a three-dimensional point cloud.
  • 3D digital geometric model has become the fourth digital media form after digital audio, digital image and digital video.
  • Its related basic theory and key technology research has developed into a new discipline - Digital geometry processing, and gradually in the field of computer-aided design, dynamic roaming industry, biomedicine, digital cultural heritage protection and other fields have been widely used.
  • hardware devices such as Microsoft Kinect and Primesense (a somatosensory technology device)
  • 3D (3 Dimensions, 3D) point cloud information acquisition becomes more convenient and faster.
  • 3D vision local feature extraction has always been the most critical part of point cloud processing, and local feature descriptors are used to describe the local features of the extracted point cloud. Therefore, whether it is 3D object recognition or 3D reconstruction, local feature descriptors play a very important role.
  • 3D local feature descriptors 3D local feature extraction
  • signature which calculates a signature for the local point cloud as its feature description, mainly including points.
  • Signature (3D Point Fingerprint), 3D-SURF, etc.
  • histogram which is a local feature description of the local point cloud computing histogram, mainly including rotating images ( Spin Image), 3D Shape Contexts
  • SHOT 3D local feature descriptor
  • the SHOT descriptor has the advantages of both signature and histogram. Good to use in 3D point cloud processing.
  • the three 3D local feature descriptors ignore the concavo-convex features of the point cloud surface, so that the extracted local features are easy to produce ambiguity, and thus the estimation is often inaccurate in the processing of the three-dimensional point cloud. The situation happened.
  • the accuracy of prior art local feature extraction needs to be improved.
  • the present application provides a local feature extraction method and device for a three-dimensional point cloud, which can improve the extraction accuracy of local features of a three-dimensional point cloud.
  • a local feature extraction method for a three-dimensional point cloud includes: separately calculating a local feature point to be extracted and each voxel in a preset point cloud sphere The angle information of the point of the prime and the concave and convex information of the curved surface between the local feature point to be extracted and the point of each of the body elements, the preset point cloud sphere containing a plurality of individual elements, the body An element is adjacent to the local feature point to be extracted; performing histogram statistics according to the angle information and the concave and convex information, generating a histogram corresponding to each of the body elements; and a preset point cloud sphere Each of the histograms corresponding to each of the body elements is connected to obtain an extraction vector; the extraction vector is subjected to exponential normalization processing and second normalization normalization processing.
  • a local feature extraction device for a three-dimensional point cloud includes: a first calculation unit, configured to separately calculate a local feature point to be extracted and each body element in a preset point cloud sphere An angle calculation information of the point; and a second calculation unit, configured to calculate concave and convex information of the curved surface between the local feature point to be extracted and the point of the body element, where the preset point cloud sphere includes several individuals An element, the body element is adjacent to the local feature point to be extracted; a statistical unit, configured to perform a histogram according to the angle information calculated by the first calculating unit and the concave and convex information calculated by the second calculating unit a graph, generating a histogram corresponding to each of the body elements, and a vector extracting unit, configured to compare the statistics of the statistical unit with each of the body elements in the preset point cloud sphere Each of the histograms is connected to obtain an extraction vector; a normalization processing unit is configured to
  • the local feature extraction method and apparatus for the three-dimensional point cloud calculates the angle information and the concave and convex information of the point of the feature point to be extracted and the adjacent body element based on the local reference frame corresponding to the point of each body element, and can accurately Calculate the characteristic relationship between two points, which has the property of translation and rotation invariance, and because the extraction also includes the concave and convex information of the local point cloud, it solves the previous 3D local feature description and ignores the ambiguity of the concave and convex, which leads to the extraction inaccuracy.
  • the problem In the normalization process, the exponential normalization process and the second paradigm normalization process are used to solve the problem that the similarity calculation caused by the small or too small elements in the vector is inaccurate when the feature extraction is performed, so that Improve the accuracy of the extracted three-dimensional local features.
  • FIG. 1 is a flow chart of a method for extracting local features of a three-dimensional point cloud according to the present invention
  • FIG. 2 is another flow chart of a method for extracting local features of a three-dimensional point cloud according to the present invention
  • 3 is a flow chart of determining a local reference frame where points of each body element are located
  • Figure 4 is a calculation of the local feature points to be extracted and each body element in the preset point cloud sphere Point angle information flow chart
  • Figure 5 is a schematic diagram of angle information between local reference frames between two points
  • Figure 6a is a characterization sub-histogram obtained by normalization using the second normal form
  • Figure 6b is a characterization sub-histogram obtained by exponential normalization and second normal normalization
  • Figure 7a is a line graph of recall and accuracy for different parameters a in a data set colorless point cloud
  • Figure 7b is a line graph of recall rates and accuracy rates for different parameters a in a real point cloud scenario
  • 11 is a comparison result of a local feature descriptor obtained by using an application method in a real scene and other feature descriptors;
  • FIG. 12 is a schematic structural diagram of a device according to an embodiment of the present invention.
  • FIG. 13 is a schematic structural diagram of another device according to an embodiment of the present invention.
  • a local feature extraction method for a three-dimensional point cloud is provided, which can improve the extraction accuracy of local features of the three-dimensional point cloud.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • FIG. 1 is a flowchart of a method for extracting local features of a three-dimensional point cloud according to an embodiment of the present invention.
  • a local feature extraction method for a three-dimensional point cloud may include the following steps:
  • the preset point cloud sphere includes a plurality of individual elements, and the body element is adjacent to the local feature points to be extracted.
  • the angle information of the point of each body element in the preset point cloud sphere and the point of the surface point between each local element point and each body element are calculated. It is not calculated based on the traditional coordinate system.
  • the embodiment of the present application designs different local reference systems for the points of each body element. Specifically, the covariance matrix is first calculated, and then the eigen decomposition is performed on the matrix to obtain the values of the three eigenvectors, and then the eigenvectors are scaled from large to large. Small order sorting, final alignment to do ambiguity calculation, get the local reference system where the points of the body element are located.
  • a histogram corresponding to each body element is generated.
  • the local feature extraction method of the three-dimensional point cloud calculates the angle information and the concave and convex information of the point of the feature point to be extracted and the adjacent body element based on the local reference system corresponding to the point of each body element, and can accurately calculate two
  • the characteristic relationship between points has the property of translation and rotation invariance, and the extraction of the concave and convex information of the local point cloud is also included in the extraction, which solves the problem of negligible ambiguity caused by the previous 3D local feature description. .
  • the exponential normalization process and the second paradigm normalization process are used to solve the problem that the similarity calculation caused by the small or too small elements in the vector is inaccurate when the feature extraction is performed. Therefore, the three-dimensional local features extracted by the method of the present application are more accurate.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • FIG. 2 is a flowchart of a method for extracting local features of a three-dimensional point cloud according to an embodiment of the present invention. As shown in FIG. 2, the embodiment may include the following steps:
  • the point cloud sphere is segmented along the direction angle, the elevation angle, and the radius of the point cloud sphere to obtain a plurality of body elements adjacent to the local feature points to be extracted.
  • R is the radius of the point cloud sphere
  • p' is the point of the body element
  • p is the local feature point
  • di
  • the specific process is as follows: 204A, determining an angle ⁇ between a roll axis of a local reference frame where a point of a body element is located and a roll axis of a coordinate system in which the local feature point is located, and a local reference frame The angle ⁇ between the heading axis and the heading axis of the coordinate system in which the local feature point is located, and the angle ⁇ between the pitch axis of the local reference system and the pitch axis of the coordinate system in which the local feature point is located.
  • a KD tree (a k-dimensional tree, a data structure that splits the k-dimensional data space) is used to search for the domain points of the feature points. What is determined in this way is a point cloud sphere with a feature point as the center of the sphere.
  • the bump information and angle information between each point and the feature point are calculated, and then a histogram of the body element is obtained.
  • a local reference system for points of each body element is used in the calculation process.
  • the estimation of the local reference system mainly includes the following steps:
  • R is the radius of the point cloud sphere
  • p' is the point of the body element
  • p is the local feature point
  • di
  • the feature values corresponding to the feature vector are sorted in descending order, and the corresponding three feature vectors are the roll axis x of the local reference system, the heading axis y, and the pitch axis z.
  • N(x), N(y) represent the normals of points x and y, respectively.
  • D the concavity and convexity of the surface between the two points, where the judgment of the symbol D is as follows:
  • p denotes the local feature point to be extracted and p' denotes the point of the body element.
  • the histogram ⁇ corresponding to the body element is calculated by combining the two pieces of information:
  • ⁇ is the last used to describe the angle information and the bump information between the neighborhood point and the feature point. Based on the obtained ⁇ , the histogram position at which the neighborhood point falls can be determined.
  • the final operation for the descriptor is normalization, where the exponential normalization and the second normalization are used.
  • the index normalization is actually the index calculation of each component of the feature, which is represented by the function f as follows:
  • the function f is used for calculation, and the obtained descriptor is normalized by the second normal form to obtain the final 3D local feature descriptor based on the unique angle histogram signature.
  • the histogram is normalized using only the second normal form, as shown in Fig. 6b, the histogram is normalized by exponential normalization and second normal. It can be seen that the histogram normalized by the index (Fig. 6b) appears smoother, which is more accurate for the characterization, and does not make the descriptor affect the last because some descriptor components are too high or too low. Match results.
  • 3D local feature descriptors based on unique angle histogram signatures it can be used not only for local feature description of point clouds without RGB (a color standard of industry), but also for point clouds with RGB information. Describe.
  • the 3D local feature descriptor (SUAH) obtained by the method of the present application has better results than other feature descriptors (SHOT, ISI) under different noises;
  • the 3D local feature descriptors (SUAH and CSUAH) obtained by the method of the present application have better effects than other feature descriptors (SHOT, CSHOT, ISI).
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • FIG. 12 is a schematic structural diagram of a device according to an embodiment of the present invention.
  • a local feature extraction device for a three-dimensional point cloud may include:
  • a first calculating unit 60A configured to separately calculate angle information of a point of the local feature point to be extracted and a point of each body element in the preset point cloud sphere
  • a second calculating unit 60B configured to calculate the part to be extracted
  • the concave and convex information of the curved surface between the feature point and the point of the body element, the preset point cloud sphere includes a plurality of individual elements adjacent to the local feature point to be extracted.
  • the statistic unit 61 is configured to perform histogram statistics according to the angle information calculated by the first calculating unit 60A and the concave and convex information calculated by the second calculating unit 60B, and generate a histogram corresponding to each of the body elements.
  • the vector extraction unit 62 is configured to connect the respective histograms corresponding to each of the body elements in the preset point cloud sphere, which are counted by the statistics unit 61, to obtain an extraction vector;
  • the normalization processing unit 63 is configured to perform an exponential normalization process and a second normalization normalization process on the extracted vector extracted by the vector extracting unit 62.
  • the apparatus of the embodiment of the present invention may further include: a constructing unit 64, configured to construct a point cloud sphere with the local feature point to be extracted as a center of the sphere and a preset length as a radius.
  • a constructing unit 64 configured to construct a point cloud sphere with the local feature point to be extracted as a center of the sphere and a preset length as a radius.
  • the dividing unit 65 is configured to divide the point cloud sphere along a direction angle, an elevation angle, and a radius of the point cloud sphere to obtain a plurality of body elements adjacent to the local feature point to be extracted.
  • the apparatus of the embodiment of the present invention further includes: a determining unit 66, configured to determine a local reference system where a point of each body element is located, and the determining unit 66 specifically includes:
  • the calculating module 660 is configured to calculate the covariance matrix M according to the formula (1):
  • R is the radius of the point cloud sphere
  • p' is the point of the body element
  • p is the local feature point
  • di
  • the decomposition module 661 is configured to perform feature decomposition on the matrix M to obtain values of three feature vectors.
  • the sorting module 662 is configured to sort the feature vectors in descending order, as the roll axis x, the heading axis y, and the pitch axis z of the local reference system, respectively.
  • the first calculating unit 60A is specifically configured to:
  • the second calculating unit 60B is specifically configured to:
  • the statistic unit 61 is specifically configured to calculate each of the bodies according to the angle information ⁇ calculated by the second calculating unit 60B and the angle information ⁇ calculated by the first calculating unit 60A, in combination with the formula (3).
  • the histogram ⁇ corresponding to the elements one by one.

Abstract

一种三维点云的局部特征提取方法及装置，基于与每个体元素的点对应的局部参考系来计算待提取特征点与相邻体元素的点的角度信息和凹凸信息，能够准确的计算两点之间的特征关系，具有平移、旋转不变的性质，并且由于提取同时将局部点云的凹凸信息包含进去，解决了以往3D局部特征描述时忽略凹凸二义性而导致提取不准的问题。在归一化处理时，采用指数归一化处理及第二范式归一化处理，解决了特征提取时，向量中少量元素过大或过小所导致的相似度计算不准确的问题，从而能提高所提取的三维局部特征的准确性。

Description

一种三维点云的局部特征提取方法及装置 技术领域
本申请涉及一种三维点云的局部特征提取方法及装置。
背景技术
随着三维激光扫描技术的快速发展，三维数字几何模型已成为数字音频、数字图像、数字视频之后的第四种数字媒体形式，其相关基础理论和关键技术研究已经发展成为一门新的学科—数字几何处理，并逐渐在计算机辅助设计、动漫游产业、生物医药、数字文化遗产保护等领域取得了广泛的应用。另外，微软Kinect以及Primesense(一种体感技术设备)等硬件设备的兴起，3D(3 Dimensions，三维)点云信息的获取变得更为方便快捷。在3D视觉中，局部特征提取一直是点云处理的最关键部分，局部特征描述子则是用于描述提取到的点云的局部特征性。因而无论是3D物体识别，还是3D重建领域，局部特征描述子都起到了非常重要的作用。
目前，对3D局部特征描述子(3D局部特征提取)的研究成果基本分为三类：一种是基于签名的，该方式对局部点云去计算出一个签名作为它的特征描述，主要包括点签名(Point Signature)，3D点指纹(3D Point Fingerprint)，3D-SURF等；另一种是基于直方图的，该方式是对局部点云计算直方图得到局部特征描述的，主要包括旋转图像(Spin Image)，3D形状内容描述子(3D Shape Contexts)；还有一种是新近提出的一种包含签名和直方图的3D局部特征描述子SHOT，SHOT描述子同时具有签名和直方图的优点，能够很好地使用在3D点云处理中。
但是，现有技术中三种3D局部特征描述子均忽略了点云表面的凹凸性特征，使得提取的局部特征容易产生二义性，因而应用在三维点云的处理上常常会出现估计不准确的情况发生。现有技术的局部特征提取的准确性还有待提高。
发明内容
本申请提供一种三维点云的局部特征提取方法及装置，能够提高三维点云的局部特征的提取精确度。
根据本申请的第一方面，本申请提供的三维点云的局部特征提取方法，包括：分别计算待提取的局部特征点与预设的点云球体中每个体元 素的点的角度信息以及计算所述待提取的局部特征点与每个所述体元素的点之间的曲面的凹凸信息，所述预设的点云球体中包含若干个体元素，所述体元素与所述待提取局部特征点相邻；根据所述角度信息以及所述凹凸信息进行直方图统计，生成与每个所述体元素一一对应的直方图；将与预设的点云球体中各个所述体元素一一对应的各个直方图连接，得到提取向量；对所述提取向量进行指数归一化处理以及第二范式归一化处理。
根据本申请的第二方面，本申请提供的三维点云的局部特征提取装置，包括：第一计算单元，用于分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息；以及，第二计算单元，用于计算所述待提取的局部特征点与所述体元素的点之间的曲面的凹凸信息，所述预设的点云球体中包含若干个体元素，所述体元素与所述待提取局部特征点相邻；统计单元，用于根据所述第一计算单元计算得到的角度信息以及所述第二计算单元计算得到的所述凹凸信息进行直方图统计，生成与每个所述体元素一一对应的直方图；向量提取单元，用于将所述统计单元统计出的与所述预设的点云球体中各个所述体元素一一对应的各个直方图连接，得到提取向量；归一化处理单元，用于对所述向量提取单元提取得到的所述提取向量进行指数归一化处理以及第二范式归一化处理。
本申请提供的三维点云的局部特征提取方法及装置，基于与每个体元素的点对应的局部参考系来计算待提取特征点与相邻体元素的点的角度信息和凹凸信息，能够准确的计算两点之间的特征关系，具有平移、旋转不变的性质，并且由于提取同时将局部点云的凹凸信息包含进去，解决了以往3D局部特征描述时忽略凹凸二义性而导致提取不准的问题。在归一化处理时，采用指数归一化处理及第二范式归一化处理，解决了特征提取时，向量中少量元素过大或过小所导致的相似度计算不准确的问题，从而能提高所提取的三维局部特征的准确性。
附图说明
图1为本发明的三维点云的局部特征提取方法的流程图；
图2为本发明的三维点云的局部特征提取方法的另一种流程图；
图3为确定每个体元素的点所在的局部参考系的流程图；
图4为计算待提取的局部特征点与预设的点云球体中每个体元素的 点的角度信息流程图；
图5为两个点之间的局部参考系之间的角度信息示意图；
图6a为采用第二范式归一化后得到的特征描述子直方图；
图6b为采用指数归一化和第二范式归一化得到的特征描述子直方图；
图7a是对不同参数α在数据集无色彩点云中的召回率和准确率折线图；
图7b是对不同参数α在真实点云场景中的召回率和准确率的折线图；
图8为一种在噪声下采用申请方法得到的局部特征描述子与其他特征描述子的比较结果图；
图9为一种在噪声下采用申请方法得到的局部特征描述子与其他特征描述子的比较结果图；
图10为一种在噪声下采用申请方法得到的局部特征描述子与其他特征描述子的比较结果图；
图11为一种在真实场景中采用申请方法得到的局部特征描述子与其他特征描述子的比较结果图；
图12为本发明实施例的装置结构示意图；
图13为本发明实施例的另一种装置结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
在本申请实施例中，提供一种三维点云的局部特征提取方法，能够提升三维点云的局部特征的提取精确度。
实施例一：
请参考图1，图1为本发明实施例的三维点云的局部特征提取方法流程图。如图1所示，一种三维点云的局部特征提取方法，可以包括以下步骤：
101、分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息以及计算待提取的局部特征点与每个体元素的点之间的曲面的凹凸信息。
其中，预设的点云球体中包含若干个体元素，体元素与待提取局部特征点相邻。
值得指出的是，在计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息以及计算待提取的局部特征点与每个体元素的点之间的曲面的凹凸信息时，并不是基于传统的坐标系下进行计算的。本申请实施例针对每个体元素的点设计不同的局部参考系，具体地，先计算协方差矩阵，再对矩阵进行特征分解，得到的三个特征向量的值，然后将特征向量按照从大到小的顺序排序，最后对齐做去二义性计算，得到体元素的点所在的局部参考系。
102、根据角度信息以及凹凸信息进行直方图统计。
生成与每个体元素一一对应的直方图。
103、将与预设的点云球体中各个体元素一一对应的各个直方图连接，得到提取向量。
104、对提取向量进行指数归一化处理以及第二范式归一化处理。
本申请提供的三维点云的局部特征提取方法，基于与每个体元素的点对应的局部参考系来计算待提取特征点与相邻体元素的点的角度信息和凹凸信息，能够准确的计算两点之间的特征关系，具有平移、旋转不变的性质，并且由于提取同时将局部点云的凹凸信息包含进去，解决了以往3D局部特征描述时忽略凹凸二义性而导致提取不准的问题。在归一化处理时，采用指数归一化处理及第二范式归一化处理，解决了特征提取时，向量中少量元素过大或过小所导致的相似度计算不准确的问题。从而本申请方法提取得到的三维局部特征更准确。
实施例二：
本实施例过程与实施例一基本相同，区别在于，本实施例在计算待角度信息以及凹凸信息之前，先为局部特征点构建云球体，并将云球体分割成若干个与局部特征点相邻的体元素。请参考图2，图2为本发明实施例的三维点云的局部特征提取方法流程图。如图2所示，本实施例可以包括以下步骤：
201、构建点云球体。
构建一个以待提取的局部特征点为球心，预设长度为半径的点云球体。
202、对点云球体进行分割。
沿方向角、仰角和以及点云球体的半径，将点云球体进行分割，得到若干个与待提取局部特征点相邻的体元素。
203、确定每个体元素的点所在的局部参考系。
其中，如图3所示，确定局部参考系的过程如下：
203A、根据公式(1)计算协方差矩阵M。
Figure PCTCN2015081790-appb-000001
其中，R表示点云球体的半径，p’表示体元素的点，p表示局部特征点，di＝||p’-p||2，
Figure PCTCN2015081790-appb-000002
203B、对矩阵M进行特征分解，得到的三个特征向量的值。
203C、将特征向量按照从大到小的顺序排序，分别作为局部参考系的横滚轴x,航向轴y,俯仰轴z。
203D、对齐做去二义性计算，得到体元素的点所在的局部参考系。
204、分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息。
如图4所示，具体过程如下：204A、确定在体元素的点所在的局部参考系的横滚轴与所述局部特征点所在坐标系的横滚轴之间的角度α、局部参考系的航向轴与局部特征点所在坐标系的航向轴之间的角度β以及局部参考系的俯仰轴与所述局部特征点所在坐标系的俯仰轴之间的角度θ。
204B、分别计算角度α、β、θ的余弦值，即cosα、cosβ以及cosθ。
204C、求平均值，得到所述体元素的点的角度信息，如下：
Figure PCTCN2015081790-appb-000003
205、计算所述待提取的局部特征点与每个所述体元素的点之间的曲面的凹凸信息。
具体过程如下：
1、计算κ(p,p')＝<p-p',N(p)-N(p')>，其中，p表示所述待提取的局部特征点，p’表示所述体元素的点，N(p)，N(p’)分别表示点p和p’的法线；
2、根据公式(2)计算凹凸信息D。
Figure PCTCN2015081790-appb-000004
可以理解的是，步骤204-205的实施不分先后，可以以任一顺序执行，本申请实施例对此不作限定。
206、根据角度信息以及凹凸信息进行直方图统计。
根据步骤205得到的凹凸信息D，以及步骤204得到的角度信息τ，结合公式(3)计算每个所述体元素一一对应的直方图φ；
φ＝D(τ+1)……(3)。
207、将与预设的点云球体中各个体元素一一对应的各个直方图连接，得到提取向量。
208、对提取向量进行指数归一化处理以及第二范式归一化处理。
下面举一具体例子，对本申请的三维点云的局部特征提取方法的过程进行介绍。
根据给定的邻域半径(这里一般是点云分辨率的15倍)，使用KD树(k-dimensional树，一种分割k维数据空间的数据结构)搜索特征点的领域点。通过这种方式确定的是一个以特征点为球心的点云球体。
对于点云球体，按照方向角、仰角和半径进行分割。这里将方向角分为8部分，仰角分为2部分，半径分为2部分，所以最后将球体分为了32个体元素。
对于每个体元素中的点，计算每个点与特征点之间的凹凸信息和角度信息，然后得到该体元素的直方图。
1、在计算过程用到了每个体元素的点的局部参考系，该局部参考系的估计主要包括以下步骤：
30、计算一个协方差矩阵M:
Figure PCTCN2015081790-appb-000005
其中，R表示点云球体的半径，p’表示体元素的点，p表示局部特 征点，di＝||p’-p||2，并且
Figure PCTCN2015081790-appb-000006
31、对矩阵M进行特征分解，对于得到的特征向量。
32、按照特征向量对应的特征值从大到小的顺序排序，对应的三个特征向量为局部参考系的横滚轴x,航向轴y,俯仰轴z。
33、对齐做去二义性计算，得到了最后的独特局部参考系。
2、在得到每个点的局部参考系后，计算体元素中的点和特征点之间的角度信息。这里采用计算平均余弦值的方法。如图5所示，点p和点p’的局部参考系之间的角度分别为α，β和θ，这里直接计算三个角度的余弦值的平均值
Figure PCTCN2015081790-appb-000007
3、对于计算凹凸信息问题，这里首先计算：
κ(p,p')＝<p-p',N(p)-N(p')>
其中N(x)，N(y)分别表示点x和y的法线。然后用符号D来表示两个点之间曲面的凹凸性，这里符号D的判断如下所示：
Figure PCTCN2015081790-appb-000008
其中，p表示所述待提取的局部特征点，p’表示所述体元素的点。
4、对体元素中的点与特征点之间的参考系角度信息τ和凹凸信息D得到以后，最后结合这两个信息计算与体元素一一对应的直方图φ：
φ＝D(τ+1)
其中φ就是最后用来描述邻域点与特征点之间的角度信息和凹凸信息。根据得到的φ可以判断该邻域点所落入的直方图位置。
将各个体元素所对应的直方图向量连接起来，得到一个针对特征点 进行描述的向量。
对于描述子最后要进行的操作是归一化，这里采用指数归一化和第二范式归一化。
指数归一化实际上是特征的各个成分进行指数计算，这里用函数f来表示如下：
f(c)＝cα，C表示体元素。
对于特征描述子的各个体元素，都采用函数f来进行计算，得到的描述子经过第二范式归一化就得到最后的基于独特角度直方图签名的3D局部特征描述子。
由图6a可以看到，对于实验中随机选择的一个点，直方图是仅仅采用第二范式归一化，由图6b所示，直方图是采用指数归一化和第二范式归一化，可以看到采用指数归一化后的直方图(图6b)显得更为平滑，这对特征描述是更为准确的，不会使得描述子因为某些描述子成分过高或过低而影响最后的匹配结果。
对于基于独特角度直方图签名的3D局部特征描述子，不仅可以用来对无RGB(工业界的一种颜色标准)信息的点云进行局部特征描述，也可以用来对有RGB信息的点云进行描述。
在实验过程中，主要采用的数据是两个：合成的无色彩点云场景和用3D设备采集的真实场景。对于指数归一化中的参数α，在图7a-7b中显示了实验结果，图7a是对不同参数α在数据集无色彩点云中的召回率和准确率折线图，图7b是对不同参数α在真实点云场景中的召回率和准确率的折线图。可以看到的是，当α取值为0.5时，特征描述子的效果最好。
在图8，图9和图10中，在不同噪声下，采用本申请方法得到的3D局部特征描述子(SUAH)比其他特征描述子(SHOT,ISI)都要更好的结果；在图11中，对于真实场景中的局部特征描述，采用本申请方法得到的3D局部特征描述子(SUAH和CSUAH)比其他特征描述子(SHOT,CSHOT,ISI)同样效果要好。
实施例三：
请参考图12，图12为本发明实施例的装置结构示意图。如图12所示，一种三维点云的局部特征提取装置，可以包括：
第一计算单元60A，用于分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息，以及，第二计算单元60B，用于计算所述待提取的局部特征点与所述体元素的点之间的曲面的凹凸信息，所述预设的点云球体中包含若干个体元素，所述体元素与所述待提取局部特征点相邻。
统计单元61，用于根据第一计算单元60A计算得到的角度信息以及第二计算单元60B计算得到的所述凹凸信息进行直方图统计，生成与每个所述体元素一一对应的直方图。
向量提取单元62，用于将统计单元61统计出的与所述预设的点云球体中各个所述体元素一一对应的各个直方图连接，得到提取向量；
归一化处理单元63，用于对向量提取单元62提取得到的所述提取向量进行指数归一化处理以及第二范式归一化处理。
如图13所示，本发明实施例装置还可以包括：构建单元64，用于构建一个以所述待提取的局部特征点为球心，预设长度为半径的点云球体。
分割单元65，用于沿方向角、仰角和以及所述点云球体的半径，将所述点云球体进行分割，得到若干个与所述待提取局部特征点相邻的体元素。
一个优选的实施例，本发明实施例装置还包括：确定单元66，用于确定每个体元素的点所在的局部参考系，确定单元66具体包括：
计算模块660，用于根据公式(1)计算协方差矩阵M：
Figure PCTCN2015081790-appb-000009
其中，R表示点云球体的半径，p’表示体元素的点，p表示局部特征点，di＝||p’-p||2，
Figure PCTCN2015081790-appb-000010
分解模块661，用于对矩阵M进行特征分解，得到的三个特征向量的值。
排序模块662，用于将所述特征向量按照从大到小的顺序排序，分别作为局部参考系的横滚轴x,航向轴y,俯仰轴z。
去二义性计算模块663，用于对齐做去二义性计算，得到局部参考 系。
一个优选的实施例，本发明实施例装置中，第一计算单元60A具体用于：
确定在体元素的点所在的局部参考系的横滚轴与所述局部特征点所在坐标系的横滚轴之间的角度α、所述局部参考系的航向轴与所述局部特征点所在坐标系的航向轴之间的角度β以及所述局部参考系的俯仰轴与所述局部特征点所在坐标系的俯仰轴之间的角度θ。
分别计算所述角度α、β、θ的余弦值，cosα、cosβ以及cosθ。
求平均值，得到所述体元素的点的角度信息
Figure PCTCN2015081790-appb-000011
一个优选的实施例，本发明实施例装置中，第二计算单元60B具体用于：
计算κ(p,p')＝<p-p',N(p)-N(p')>，其中，p表示所述待提取的局部特征点，p’表示所述体元素的点，N(p)，N(p’)分别表示点p和p’的法线；
根据公式(2)计算凹凸信息D；
Figure PCTCN2015081790-appb-000012
一个优选的实施例，统计单元61具体用于：根据第二计算单元60B计算得到的凹凸信息D，以及第一计算单元60A计算得到的角度信息τ，结合公式(3)计算每个所述体元素一一对应的直方图φ。
φ＝D(τ+1)……(3)。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

  1. 一种三维点云的局部特征提取方法，包括：其特征在于，包括：
    分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息以及计算所述待提取的局部特征点与每个所述体元素的点之间的曲面的凹凸信息，所述预设的点云球体中包含若干个体元素，所述体元素与所述待提取局部特征点相邻；
    根据所述角度信息以及所述凹凸信息进行直方图统计，生成与每个所述体元素一一对应的直方图；
    将与预设的点云球体中各个所述体元素一一对应的各个直方图连接，得到提取向量；
    对所述提取向量进行指数归一化处理以及第二范式归一化处理。
  2. 如权利要求1所述的三维点云的局部特征提取方法，其特征在于，所述分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息以及计算所述待提取的局部特征点与每个所述体元素的点之间的曲面的凹凸信息之前包括：
    构建一个以所述待提取的局部特征点为球心，预设长度为半径的点云球体；
    沿方向角、仰角和以及所述点云球体的半径，将所述点云球体进行分割，得到若干个与所述待提取局部特征点相邻的体元素。
  3. 如权利要求2所述的三维点云的局部特征提取方法，其特征在于，所述分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息以及计算所述待提取的局部特征点与每个所述体元素的点之间的曲面的凹凸信息之前包括：
    确定每个体元素的点所在的局部参考系，具体包括：
    根据公式(1)计算协方差矩阵M：
    Figure PCTCN2015081790-appb-100001
    其中，R表示点云球体的半径，p’表示体元素的点，p表示局部特征点，di＝||p’-p||2，
    Figure PCTCN2015081790-appb-100002
    对矩阵M进行特征分解，得到的三个特征向量的值；
    将所述特征向量按照从大到小的顺序排序，分别作为局部参考系的横滚轴x,航向轴y,俯仰轴z；
    对齐做去二义性计算，得到体元素的点所在的局部参考系。
  4. 如权利要求3所述的三维点云的局部特征提取方法，其特征在于，所述分别计算待提取的局部特征点与预设的点云球体中每个体元素的点的角度信息包括：确定在体元素的点所在的局部参考系的横滚轴与所述局部特征点所在坐标系的横滚轴之间的角度α、所述局部参考系的航向轴与所述局部特征点所在坐标系的航向轴之间的角度β以及所述局部参考系的俯仰轴与所述局部特征点所在坐标系的俯仰轴之间的角度θ；
    分别计算所述角度α、β、θ的余弦值，cosα、cosβ以及cosθ；
    求平均值，得到所述体元素的点的角度信息
    Figure PCTCN2015081790-appb-100003
    所述计算所述待提取的局部特征点与每个所述体元素的点之间的曲面的凹凸信息包括：
    计算κ(p,p')＝<p-p',N(p)-N(p')>，其中，p表示所述待提取的局部特征点，p’表示所述体元素的点，N(p)，N(p’)分别表示点p和p’的法线；
    根据公式(2)计算凹凸信息D；
    Figure PCTCN2015081790-appb-100004
  5. 如权利要求4所述的三维点云的局部特征提取方法，其特征在于，根据所述角度信息以及所述凹凸信息进行直方图统计包括：
    根据所述凹凸信息D，以及所述角度信息τ，结合公式(3)计算每个所述体元素一一对应的直方图φ；
    φ＝D(τ+1)  ……(3)。
  6. 一种三维点云的局部特征提取装置，其特征在于，包括：
    第一计算单元，用于分别计算待提取的局部特征点与预设的点云球 体中每个体元素的点的角度信息，以及，第二计算单元，用于计算所述待提取的局部特征点与所述体元素的点之间的曲面的凹凸信息，所述预设的点云球体中包含若干个体元素，所述体元素与所述待提取局部特征点相邻；
    统计单元，用于根据所述第一计算单元计算得到的角度信息以及所述第二计算单元计算得到的所述凹凸信息进行直方图统计，生成与每个所述体元素一一对应的直方图；
    向量提取单元，用于将所述统计单元统计出的与所述预设的点云球体中各个所述体元素一一对应的各个直方图连接，得到提取向量；
    归一化处理单元，用于对所述向量提取单元提取得到的所述提取向量进行指数归一化处理以及第二范式归一化处理。
  7. 如权利要求6所述的三维点云的局部特征提取装置，其特征在于，还包括：构建单元，用于构建一个以所述待提取的局部特征点为球心，预设长度为半径的点云球体；
    分割单元，用于沿方向角、仰角和以及所述点云球体的半径，将所述点云球体进行分割，得到若干个与所述待提取局部特征点相邻的体元素。
  8. 如权利要求7所述的三维点云的局部特征提取装置，其特征在于，还包括：确定单元，用于确定每个体元素的点所在的局部参考系，具体包括：
    计算模块，用于根据公式(1)计算协方差矩阵M：
    Figure PCTCN2015081790-appb-100005
    其中，R表示点云球体的半径，p’表示体元素的点，p表示局部特征点，di＝||p’-p||2，
    Figure PCTCN2015081790-appb-100006
    分解模块，用于对矩阵M进行特征分解，得到的三个特征向量的值；
    排序模块，用于将所述特征向量按照从大到小的顺序排序，分别作为局部参考系的横滚轴x,航向轴y,俯仰轴z；
    去二义性计算模块，用于对齐做去二义性计算，得到局部参考系。
  9. 如权利要求8所述的三维点云的局部特征提取装置，其特征在于， 所述第一计算单元具体用于：
    确定在体元素的点所在的局部参考系的横滚轴与所述局部特征点所在坐标系的横滚轴之间的角度α、所述局部参考系的航向轴与所述局部特征点所在坐标系的航向轴之间的角度β以及所述局部参考系的俯仰轴与所述局部特征点所在坐标系的俯仰轴之间的角度θ；
    分别计算所述角度α、β、θ的余弦值，cosα、cosβ以及cosθ；
    求平均值，得到所述体元素的点的角度信息
    Figure PCTCN2015081790-appb-100007
    所述第二计算单元具体用于：计算κ(p,p')＝<p-p',N(p)-N(p')>，其中，p表示所述待提取的局部特征点，p’表示所述体元素的点，N(p)，N(p’)分别表示点p和p’的法线；
    根据公式(2)计算凹凸信息D；
    Figure PCTCN2015081790-appb-100008
  10. 如权利要求9所述的三维点云的局部特征提取装置，其特征在于，所述统计单元具体用于：根据所述凹凸信息D，以及所述角度信息τ，结合公式(3)计算每个所述体元素一一对应的直方图φ；
    φ＝D(τ+1)  ……(3)。
PCT/CN2015/081790 2015-06-18 2015-06-18 一种三维点云的局部特征提取方法及装置 WO2016201671A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2015/081790 WO2016201671A1 (zh) 2015-06-18 2015-06-18 一种三维点云的局部特征提取方法及装置
US15/575,897 US10339409B2 (en) 2015-06-18 2015-06-18 Method and a device for extracting local features of a three-dimensional point cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/081790 WO2016201671A1 (zh) 2015-06-18 2015-06-18 一种三维点云的局部特征提取方法及装置

Publications (1)

Publication Number Publication Date
WO2016201671A1 true WO2016201671A1 (zh) 2016-12-22

Family

ID=57544673

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/081790 WO2016201671A1 (zh) 2015-06-18 2015-06-18 一种三维点云的局部特征提取方法及装置

Country Status (2)

Country Link
US (1) US10339409B2 (zh)
WO (1) WO2016201671A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424166A (zh) * 2017-07-18 2017-12-01 深圳市速腾聚创科技有限公司 点云分割方法及装置
CN108564096A (zh) * 2018-04-26 2018-09-21 电子科技大学 一种邻域拟合rcs序列特征提取方法
CN109215129A (zh) * 2017-07-05 2019-01-15 中国科学院沈阳自动化研究所 一种基于三维点云的局部特征描述方法
CN112750144A (zh) * 2020-12-28 2021-05-04 西安理工大学 点云匹配中一种基于特征直方图的点云特征提取方法
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113177477A (zh) * 2021-04-29 2021-07-27 湖南大学 一种基于三维点云分析的目标检测识别方法
CN113837952A (zh) * 2020-06-24 2021-12-24 影石创新科技股份有限公司 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302234B (zh) * 2018-10-26 2020-03-10 西安电子科技大学 一种室内可见光通信系统复杂信道冲激响应的计算方法
WO2020102772A1 (en) * 2018-11-15 2020-05-22 Qualcomm Incorporated Coordinate estimation on n-spheres with spherical regression
CN111553343B (zh) * 2020-04-01 2023-04-25 青岛联合创智科技有限公司 一种激光点云特征的提取方法
CN113486741B (zh) * 2021-06-23 2022-10-11 中冶南方工程技术有限公司 一种料场料堆点云台阶识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100998275A (zh) * 2007-01-08 2007-07-18 吉林大学 仿生减阻起垄器铲面及其设计方法
CN103810751A (zh) * 2014-01-29 2014-05-21 辽宁师范大学 基于IsoRank算法的三维耳廓点云形状特征匹配方法
CN105160344A (zh) * 2015-06-18 2015-12-16 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011265429B2 (en) * 2011-12-21 2015-08-13 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence
US10013507B2 (en) * 2013-07-01 2018-07-03 Here Global B.V. Learning synthetic models for roof style classification using point clouds
US9436987B2 (en) * 2014-04-30 2016-09-06 Seiko Epson Corporation Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
US20160217423A1 (en) * 2015-01-23 2016-07-28 Magnan Technologies, Llc Systems and methods for automatically generating application software

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100998275A (zh) * 2007-01-08 2007-07-18 吉林大学 仿生减阻起垄器铲面及其设计方法
CN103810751A (zh) * 2014-01-29 2014-05-21 辽宁师范大学 基于IsoRank算法的三维耳廓点云形状特征匹配方法
CN105160344A (zh) * 2015-06-18 2015-12-16 北京大学深圳研究生院 一种三维点云的局部特征提取方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215129A (zh) * 2017-07-05 2019-01-15 中国科学院沈阳自动化研究所 一种基于三维点云的局部特征描述方法
CN109215129B (zh) * 2017-07-05 2022-10-04 中国科学院沈阳自动化研究所 一种基于三维点云的局部特征描述方法
CN107424166A (zh) * 2017-07-18 2017-12-01 深圳市速腾聚创科技有限公司 点云分割方法及装置
CN108564096A (zh) * 2018-04-26 2018-09-21 电子科技大学 一种邻域拟合rcs序列特征提取方法
CN113837952A (zh) * 2020-06-24 2021-12-24 影石创新科技股份有限公司 基于法向量的三维点云降噪方法、装置、计算机可读存储介质及电子设备
CN112750144A (zh) * 2020-12-28 2021-05-04 西安理工大学 点云匹配中一种基于特征直方图的点云特征提取方法
CN112750144B (zh) * 2020-12-28 2023-03-28 西安理工大学 点云匹配中一种基于特征直方图的点云特征提取方法
CN113177477A (zh) * 2021-04-29 2021-07-27 湖南大学 一种基于三维点云分析的目标检测识别方法
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113177555B (zh) * 2021-05-21 2022-11-04 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置

Also Published As

Publication number Publication date
US10339409B2 (en) 2019-07-02
US20180150714A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
WO2016201671A1 (zh) 一种三维点云的局部特征提取方法及装置
Tran et al. Regressing robust and discriminative 3d morphable models with a very deep neural network
US9824258B2 (en) Method and apparatus for fingerprint identification
Spreeuwers Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers
CN110807473B (zh) 目标检测方法、装置及计算机存储介质
WO2015161816A1 (en) Three-dimensional facial recognition method and system
CN108009472B (zh) 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法
CN105160344B (zh) 一种三维点云的局部特征提取方法及装置
CN108830888B (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
Gao et al. 3D object retrieval with bag-of-region-words
US20180189582A1 (en) Multi-stage tattoo matching techniques
Gandhani et al. Content based image retrieval: survey and comparison of CBIR system based on combined features
Sahin et al. A learning-based variable size part extraction architecture for 6D object pose recovery in depth images
CN105139013A (zh) 一种融合形状特征和兴趣点的物体识别方法
Yi et al. Illumination normalization of face image based on illuminant direction estimation and improved retinex
CN111563423A (zh) 基于深度去噪自动编码器的无人机图像目标检测方法及系统
Proença et al. SHREC’15 Track: Retrieval of Oobjects captured with kinect one camera
CN107229935B (zh) 一种三角形特征的二进制描述方法
Zhang et al. Region constraint person re-identification via partial least square on riemannian manifold
Huang et al. Whole-body detection, recognition and identification at altitude and range
Hui et al. Determining shape and motion from monocular camera: A direct approach using normal flows
Bingöl et al. A new approach stereo based palmprint extraction in unrestricted postures
Chattopadhyay et al. Exploiting pose information for gait recognition from depth streams
CN113628258B (zh) 一种基于自适应特征点提取的点云粗配准方法
Tashiro et al. Super-vector coding features extracted from both depth buffer and view-normal-angle images for part-based 3D shape retrieval

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15895244

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15575897

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 16.04.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15895244

Country of ref document: EP

Kind code of ref document: A1