WO2022237225A1 - 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 - Google Patents

针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 Download PDF

Info

Publication number
WO2022237225A1
WO2022237225A1 PCT/CN2022/072166 CN2022072166W WO2022237225A1 WO 2022237225 A1 WO2022237225 A1 WO 2022237225A1 CN 2022072166 W CN2022072166 W CN 2022072166W WO 2022237225 A1 WO2022237225 A1 WO 2022237225A1
Authority
WO
WIPO (PCT)
Prior art keywords
plane
model
standard model
point cloud
primitive
Prior art date
Application number
PCT/CN2022/072166
Other languages
English (en)
French (fr)
Inventor
颜昌亚
卢少武
周向东
李振瀚
唐小琦
张庆祥
陈英滔
谭辉
汤胜水
郑晓泽
Original Assignee
广东三姆森科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广东三姆森科技股份有限公司 filed Critical 广东三姆森科技股份有限公司
Publication of WO2022237225A1 publication Critical patent/WO2022237225A1/zh
Priority to ZA2023/09569A priority Critical patent/ZA202309569B/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the invention relates to the relevant technical field of applying a part point cloud model obtained by a three-dimensional scanning device to an automatic manufacturing process. More specifically, it relates to an algorithm for online real-time registration of point cloud data obtained by using a 3D scanning device and a preset standard model in an automatic manufacturing workstation.
  • 3D scanning equipment In recent years, the technology of using 3D scanning equipment to obtain point cloud data of actual parts to form digital models of parts has matured. With the help of 3D scanning equipment, 3D scanning is performed on a large number of parts on the production line to obtain a real-time 3D model of the part, which provides the basic conditions for manufacturing automation. Taking the production of 3C (computer, communication and consumer electronics) products as an example, it has the characteristics of large flexibility, high precision, high efficiency, short production cycle, and frequent changes in product lines. There is a huge demand for online automatic testing of its product parts. The part data information formed after automatic detection can further support subsequent manufacturing processes such as automatic processing and automatic assembly.
  • 3C computer, communication and consumer electronics
  • the part point cloud model obtained by 3D scanning needs to be reconstructed, not only the shape data of the part shape, but also its characteristic (process-related) data must be obtained, so that it can be used for quality inspection and subsequent processes.
  • One of the key issues is to register the standard part model with the actual point cloud part model. After the registration is completed, not only can the clamping posture of the actual part be obtained, but also help the subsequent process to perform feature recognition and geometric reconstruction.
  • the scanned data may include environmental (such as clamping) data, which needs to be excluded from interfering with the registration results.
  • environmental (such as clamping) data which needs to be excluded from interfering with the registration results.
  • ICP Intelligent Cloased Point
  • NDT Normal Distribute Transform
  • the researchers further disclosed a registration method based on feature learning, using the RANSAC (Random Consistent Sampling) algorithm as a feature extraction tool, and estimating the registration relationship through feature learning.
  • RANSAC Random Consistent Sampling
  • These methods require a large amount of training data, and if the scene is consistent with the training When the distribution of data parameters is different, the registration performance will drop sharply.
  • the algorithm published in literature [1] first finds the feature point pairs in the two sets of registered point clouds, uses the RANSAC algorithm to eliminate the wrong pairing relationship to complete the rough registration, and finally realizes the fine registration by improving the normal abdomen transformation algorithm .
  • Literature [2] uses RANSAC for basic primitive recognition in unordered point clouds, which can efficiently identify planes, spheres, cylinders, cones, and rings from large-scale point clouds, providing a basis for point cloud registration algorithms based on feature matching.
  • Basic feature extraction function uses RANSAC for basic primitive recognition in unordered point clouds, which can efficiently identify planes, spheres, cylinders, cones, and rings from large-scale point clouds, providing a basis for point cloud registration algorithms based on feature matching.
  • Basic feature extraction function Basic feature extraction function.
  • the present invention provides an efficient registration algorithm for incomplete point cloud models with standard models, so as to meet the requirements of online real-time operation.
  • the applicable scenario of the present invention is for industrial parts with manufacturing references (including multiple plane references) and standard reference model data.
  • the actual point cloud model data is obtained by 3D scanning equipment. Due to the fact that in the manufacturing process, it may not be complete The entire part is scanned, so the obtained point cloud model data is likely to be incomplete.
  • An online real-time registration method for incomplete 3D scanned point clouds with planar fiducials comprising the following steps:
  • S1 Standard model preprocessing, input the standard model, obtain the set of planar primitives in the standard model and the relevant geometric information of each primitive, including the following sub-steps:
  • S11 Input a standard model file, which supports two formats, the first is a CAD model file, and the other is a discrete model format, such as point cloud data or Facet (facet structure) model files, etc.;
  • S12 Determine the input standard model file format, if it is a CAD model, go to S13, if not, go to S14.
  • S15 Record the position of the geometric center of the plane primitive in the standard model, the normal of the plane, the boundary shape and the area data; calculate the plane feature recognition index of each primitive, and sort them; form the standard model feature template file data;
  • T i the fitting error of the identified plane
  • the comprehensive plane feature recognition value R mnl sorts and updates the order of the three-plane graph tuple ⁇ (plane m , plane n , plane l ) ⁇ from high to low;
  • the optimal registration homogeneous coordinate transformation matrix is obtained by performing registration calculations between the three-plane combinations of the point cloud model and all possible three-plane combinations corresponding to the standard model.
  • the plane primitive recognition degree index R in the present invention is proposed by the inventor for the convenience of description, a typical realization of the value calculation formula of the plane primitive recognition degree index R and the outline area of the plane, and in the model and described
  • the number of plane primitives in the plane row is related, the value of the plane primitive is always greater than 1, and the larger the value, the higher the plane recognition index R of the plane outline in the existing model;
  • the plane pair similarity index S in the present invention is proposed by the inventor for the convenience of description, and the plane pair similarity index S between the plane one in the point cloud and the plane two in the standard model is proposed, and the plane pair similarity A typical realization of the index S value calculation formula only needs to consider the area ratio between plane pairs, and the value of the plane pair similarity index S is always greater than 0 and less than 1;
  • the main purpose of proposing the plane primitive recognition index R and the plane similarity index S is to provide saliency and similarity reference indexes for the plane feature matching process in the standard model and the point cloud model, so as to speed up the convergence speed of the search iteration.
  • the beneficial effects produced by the present invention are: no need to consider the registration of all point cloud data, only need to consider the plane features in the standard model and the actual point cloud model to identify and match; can compare the plane identification index and the plane similarity index , to reduce the number of search cycles to reach the goal of acceleration; at the same time, the present invention only requires that the scanned point cloud contains at least three reference plane data (not parallel to each other), all can adapt to the incomplete point cloud data Adverse situation.
  • the results provided by the invention can be used in the subsequent manufacturing process to realize automatic feature extraction, automatic detection and analysis, automatic programming and processing, etc., and have high practical value.
  • Fig. 1 is the flowchart of the online real-time registration method for an incomplete point cloud model and a standard model provided by the present invention
  • Fig. 2 is the flowchart of step S1 in Fig. 1 of the present invention.
  • Fig. 3 is a schematic diagram of a standard model and its set of planar primitives
  • Fig. 4 is a schematic diagram of the three-dimensional scanning process and the obtained point cloud data
  • Fig. 5 is a schematic diagram of the pose coordinate transformation after the point cloud and the standard model are registered and calculated.
  • each plane Plane i includes:
  • V i the normal direction of the plane, pointing to the outside of the entity where the plane is located;
  • a i the area of the plane profile
  • M i represents the number of planes (including this plane) that this plane has a parallel relationship in ⁇ Plane i ⁇ , and it is 1 if this plane has no other parallel planes in ⁇ Plane i ⁇ .
  • the plane data set can be expanded, for example, the specific data (PtSet i ) of the outline point set of each plane can be added, so as to realize more efficient plane correspondence reasoning. It can be seen from formula (1) that the recognition index R i of the i-th plane primitive is always greater than zero, and the larger the value, the higher the recognition degree of its plane features. The above formula is just a way to realize the recognition index R of the plane primitive.
  • PLANE i (P i , V i , A i , T i , M i , PtSet i ), as shown in Figure 3 Show.
  • plane j (p_j, v_j, a_j, t_j, m_j, ptset j );
  • Equation (2) mainly considers the influence of the area on the plane similarity, and it is just a simpler implementation of the similarity index S ij .
  • Other options include considering the shape similarity information of the plane profile (such as the matching degree between PtSet i and ptset j ), and introducing this index to describe the similarity of the plane profile more accurately.
  • the standard model preprocessing process S1 is introduced below, referring to FIG. 2 .
  • S11 Input standard model files. Two formats are supported, the first is CAD model files, such as IGES, STEP, etc., and the other is discrete model formats, such as point cloud data or Facet (facet structure) model files, etc.
  • CAD model files such as IGES, STEP, etc.
  • discrete model formats such as point cloud data or Facet (facet structure) model files, etc.
  • S12 Determine the input standard model file format. If it is a CAD model, go to S13, if not, go to S14.
  • S14 call the RANSAC shape recognition algorithm to identify the planar primitives in the discrete model, and obtain the set of planar primitives and fitting error data.
  • the optimal registration homogeneous coordinate transformation matrix is obtained by performing registration calculations between the three-plane combinations of the point cloud model and all possible three-plane combinations corresponding to the standard model.
  • the pseudo code of the algorithm in this step is as follows:
  • the TriplePlaneRegistration function calculates the registration calculation between two three-plane groups, and its program description is as follows:
  • ComputePlaneFeatureRegistrionTolerance calculates the registration error value between the two plane groups after the homogeneous coordinate matrix transformation between the two plane groups, which is used to describe the registration effect. Its procedure is described as follows:
  • the online registration method proposed by the present invention for the incomplete 3D scanning point cloud model with a plane reference can realize fast registration by using the corresponding relationship of plane features and registration calculation within a controllable number of cycles. (as shown in Figure 5) to achieve the effect of online real-time computing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种针对具有平面基准但不完整的三维扫描点云的在线实时配准方法，包括S1：标准模型预处理，输入标准模型，得到标准模型中的平面图元集合以及每个图元的相关几何信息；S2：数据准备，输入三维扫描点云模型数据；标准模型文件；标准模型特征模板文件；S3：对三维扫描点云模型数据调用RANSAC形状识别算法识别出其中的平面图元；S4：为三维扫描的点云模型的每个平面图元，建立与标准模型中的所有平面图元配对列表；S5：根据平面图元，建立所有的三平面图元组；S6：通过在点云模型的三平面组合与标准模型中对应的所有可能的三平面组合之间进行配准计算，来获最优配准齐次坐标变换矩阵。本发明无须考虑所有点云数据的配准，只需考虑标准模型与实际点云模型中的平面特征进行识别和匹配；以此来减低搜索循环的次数，以到达加速的目标。

Description

针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 技术领域
本发明涉及将三维扫描设备获得的零件点云模型应用到自动制造过程中的相关技术领域。更具体地，涉及一种在自动制造工作站中，对利用三维扫描设备获得的点云数据与预先设定的标准模型进行在线实时配准的算法。
背景技术
近年来利用三维扫描设备获取实际零件的点云数据来形成零件数字模型的技术已经成熟。借助三维扫描设备的帮助，针对生产线上的大批量零件进行三维扫描，可以获得零件的实时三维模型，从而为制造自动化提供了基本条件。以3C(电脑、通信和消费类电子产品)产品生产为例，其具有柔性大、精度高、效率高、生产周期短、产品线变化频繁等特点，针对其产品零件的在线自动化检测需求巨大，而自动检测后形成的零件数据信息，可以进一步支持后续制造工艺如自动加工、自动装配等。
三维扫描获得的零件点云模型需要进行模型重构，不仅要获得其零件外形的形状数据，而且要获得其特征(与工艺有关)数据，才能供质量检测以及后续工艺使用。其中一个关键问题，是将标准的零件模型与实际的点云零件模型进行配准，完成配准后，不仅可以获得实际零件的装夹姿态， 还能帮助后续工艺进行特征识别和几何重构。但针对零件点云数据与标准零件模型的配准方法存在以下问题：1)针对零件的三维扫描的数据可能不完整；2)由于精度要求高，扫描的数据点数量巨大，计算效率上可能不满足在线计算的需求。3)扫描的数据可能包括环境(如装夹)数据，需要排除其对配准结果的干扰。克服以上问题，实现不完整点云数据与标准零件模型的配准，对于大批量高精度零件在线检测，具有重要的意义。考虑到大批量零件在设计、制造和装配中，都需要设定平面基准，那么在零件的标准模型中，可以合理的假设一定存在平面基准。所以本发明针对具有平面基准的不完整扫描点云零件提供在线实时配准算法。
关于点云的配准已经有大量的文献，其中应用最广泛的是ICP(Iterative Cloased Point)以及ICP的各种改进算法。ICP通过欧式变换求解出两片点云的旋转平移矩阵及对应的配准误差。但ICP算法在处理大规模点云时存在效率问题，配准结果受初值影响且无法处理模型不完整的问题。后期Biber等基于概率密度模型提出了Normal Distribute Transform(NDT)算法，计算复杂度降低，但仍然无法处理模型不完整问题。研究者进一步公开了基于特征学习的配准方法，利用RANSAC(随机一致性采样)算法，作为特征提取工具，并通过特征学习来估计配准关系，这些方法需要大量训练数据，且如果场景与训练数据参在分布差异时，配准性能会急剧下降。文献[1]公布的算法先在两组配准的点云中找到特征点对，利用RANSAC算法消除错误的配对关系，来完成粗配准，最后通过改进法线腹部变换算法来实现精配准。文献[2]将RANSAC用于无序点云中的基本图元识别，能从大规模点云中高效识别平面，球面，圆柱，圆锥以及圆环，为基于特征匹配的点云 配准算法提供了基础的特征提取功能。
综上，在处理具有标准模型的不完整点云模型的配准上，需要提供能在线实时完成的高效算法，以满足自动制造过程中的工序节拍要求，配准后的信息可用于后续的自动检测或者加工流程。
发明内容
为避免现有技术的不足，本发明提供了一种针对具有标准模型的不完整点云模型的高效配准算法，以满足在线实时运行的需求。本发明适用的场景是针对具有制造基准的工业零件(含多个平面基准)，并具有标准参考模型数据，其实际的点云模型数据由三维扫描设备获取，由于在制造过程中，可能无法完整扫描整个零件，所以所获得的点云模型数据大概率是不完整的。
本发明的技术方案是：
提供一种针对具有平面基准但不完整的三维扫描点云的在线实时配准方法，包括以下步骤：
S1：标准模型预处理，输入标准模型，得到标准模型中的平面图元集合以及每个图元的相关几何信息，包括以下子步骤：
S11：输入标准模型文件，支持两种格式，第一种为CAD模型文件，另外一种为离散模型格式，如点云数据或者Facet(面片结构)模型文件等；
S12：判断输入的标准模型文件格式，如果是CAD模型，进入S13，如果不是，则进入S14。
S13：对CAD模型中的曲面几何对象进行遍历，获取其平面图元集合；
S14：调用RANSAC形状识别算法对离散模型中的平面图元进行识别，获取其平面图元集合以及拟合误差数据；
S15：记录标准模型中平面图元的几何中心的位置、平面的法线，边界形状以及面积数据；计算各图元的平面特征辨识度指标，并进行排序；形成标准模型特征模板文件数据；
S16：对标准模型的特征模板文件进行审查和优化，特别是当输入为离散模型时，可以人工干预识别结果，排除误识别或者不显著的平面图元；
S17：输出标准模型的特征模板文件，作为后续配准算的输入数据；
S2：数据准备，输入以下数据：三维扫描点云模型数据{CP i}；标准模型文件；标准模型特征模板文件，其中提供标准模型平面集合{PLANE i}，PLANE i＝(P i，V i，A i，T i，M i)，其中，P i：平面轮廓的几何中心；V i：平面法线方向，指向平面所在实体的外侧；A i：平面轮廓的面积；
T i：平面被识别出来的拟合误差；
S3：对三维扫描点云模型数据调用RANSAC形状识别算法识别出其中的平面图元，平面图元记为{plane j}，j＝1，...，n，其中plane j＝(p j，v j，a j，t j，m j)，对每个平面图元建立平面特征辨识度指标R，并进行排序，更新平面图元{plane j}的顺序，使之按照平面图元辨识度指标R从高到低排列，保证平面图元{plane j}中至少有三个两两之间互不平行的平面，否则说明扫描的数据太少或者扫描到的平面特征不具有代表性，无法执行配准过程，给出算法报警提示；
S4：为三维扫描的点云模型的每个平面图元plane j，建立与标准模型中的所有平面图元配对列表{(plane j，PLANE i)}，i＝1，...，N，并计算每个平面对的特征相似度值S ji，并按平面相似度值更新{(plane j，PLANE i)}的顺序，使之按照平面 相似度值从高到低排列；为了控制算法的计算效率，需要限制与平面图元plane j配对的标准模型中的平面列表的数量；
S5：根据平面图元{plane j}，建立所有的三平面图元组{(plane m，plane n，plane l)}，其中(m，n，l)代表平面的标识下标，为1，...，n，且组成每个三平面图元组的plane m，plane n，plane l三者互不相等，且互不平行；计算综合平面特征辨识度值R mnl＝R mR nR l，按综合平面特征辨识度值R mnl从高到低为三平面图元组{(plane m，plane n，plane l)}排序并更新顺序；
S6：本步骤通过在点云模型的三平面组合与标准模型中对应的所有可能的三平面组合之间进行配准计算，来获最优配准齐次坐标变换矩阵。
首先按顺序为三平面组合列表中的每一个组合，按平面相似度高低，在标准模型中选择对应的三平面组合，计算两组三平面组合之间的最优配准齐次坐标变换矩阵；并计算在该齐次坐标变换矩阵下，所有点云模型与标准模型之间平面对的配准误差值；若配准误差值小于预先设定的阈值，则循环结束；否则在标准模型中按平面相似度高低，重新选择三平面组合，重复计算两组三平面组合之间的最优配准齐次坐标变换矩阵；直到找到最优的配准齐次坐标变换矩阵。
本发明中的平面图元辨识度指标R是本发明人为了叙述的方便而提出的，平面图元辨识度指标R的值计算公式的一个典型实现与该平面的轮廓面积，以及在模型中与所述平面行的平面图元的个数相关，平面图元的值始终大于1，且值越大，表明该平面轮廓在现有模型中的平面辩识度指标R越高；
本发明中的平面对相似度指标S是本发明人为了叙述的方便而提出的， 提出点云中的平面一与标准模型中的平面二之间的平面对相似度指标S，平面对相似度指标S值计算公式的一个典型实现只需考虑平面对之间的面积比，平面对相似度指标S的值始终大于0且小于1；
提出平面图元辨识度指标R和平面对相似度指标S的主要目的是为标准模型与点云模型中的平面特征匹配过程提供显著性和相似性参考指标，以加快搜索迭代的收敛速度。
本发明产生的有益效果是：无须考虑所有点云数据的配准，只需考虑标准模型与实际点云模型中的平面特征进行识别和匹配；可以通过比较平面标识度指标和平面对相似度指标，来减低搜索循环的次数，以到达加速的目标；同时本发明只要求扫描到的点云包含至少三个基准平面数据(两两之间互不平行)，所有能适应点云数据不完整的不利情况。本发明提供的结果，可用于后续制造过程中，实现自动特征提取、自动检测分析、以及自动编程加工等，具有较高的实用价值。
附图说明
图1为本发明所提供的针对不完整点云模型与标准模型在线实时配准方法的流程图；
图2为本发明图1中步骤S1的流程图；
图3为标准模型以及其平面图元集合示意图；
图4为三维扫描过程以及所获得的点云数据示意图；
图5为点云与标准模型配准计算后完成位姿坐标变换后的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明做进一步详细说明。
首先建立平面图元辨识度指标R：
给定平面图元集合{PLANe i}，i＝1，...，N，每个平面Plane i的数据包括：
P i：平面轮廓的几何中心；
V i：平面法线方向，指向平面所在实体的外侧；
A i：平面轮廓的面积；
T i：平面被识别出来的拟合误差。平面若来自于CAD模型(BREP或者IGES格式)，则T i＝0；若是用RANSAC算法识别的平面，则T i为平面被识别出的拟合误差值；
M i：代表该平面在{Plane i}中具有平行关系的平面个数(包括该平面)，如果该平面在{Plane i}中没有其他平行平面，则为1。
Figure PCTCN2022072166-appb-000001
该平面数据集可以扩展，比如可以增加每个平面的轮廓点集的具体数据(PtSet i)，以实现更高效的平面对应关系推理。从式(1)可以看出第i个平面图元辨识度指标R i始终大于零，其值越大代表其平面特征辨识度越高。上式只是平面图元辨识度指标R的一种实现方式。
其次建立点云模型中识别的平面与标准模型中的平面之间的平面对相似度指标S。
给定标准模型的平面集合{PLANE i}，i＝1，...，N，其中PLANE i＝(P i，V i，A i，T i，M i，PtSet i)，如图3所示。
给定点云中识别出的平面集合{plane j}，j＝1，...，n，其中plane j＝(p_j，v_j，a_j，t_j，m_j，ptset j)；
给定平面对(PLANE i，plance j)，其特征相似度指标S ij∈[0，1]为
Figure PCTCN2022072166-appb-000002
式(2)主要考虑面积对平面相似性的影响，只是相似度指标S ij的一个较简洁的实现方式。其他可选择的方式包括考虑平面轮廓的形状相似信息(如PtSet i与ptset j之间的匹配程度)，引入该指标以更准确地刻画平面轮廓的相似性。
下面介绍标准模型预处理过程S1，参考图2。
S11：输入标准模型文件。支持两种格式，第一种为CAD模型文件，如IGES，STEP等，另外一种为离散模型格式，如点云数据或者Facet(面片结构)模型文件等。
S12：判断输入的标准模型文件格式。如果是CAD模型，进入S13，如果不是，则进入S14。
S13：对CAD模型中的曲面几何对象进行遍历，获取其平面图元集合；
S14：调用RANSAC形状识别算法对离散模型中的平面图元进行识别，获取其平面图元集合以及拟合误差数据。
S15：记录标准模型中平面图元的儿何中心的位置、平面的方位，边界形状以及面积数据；计算各图元的平面特征辨识度指标，并进行排序；形 成标准模型特征模板文件数据，可记为{PLANE i}，i＝1，...，N。
S16：对标准模型的特征模板文件进行审查和优化，特别是当输入为离散模型时，可以人工干预识别结果，排除误识别或者不显著的平面图元。
S17：输出标准模型的特征模板文件，作为后续配准算的输入数据。
然后，对在线执行的点云模型与标准模型之间的配准流程进行介绍。
S2：数据准备。输入以下数据，(1)三维扫描点云模型数据{CP i}；(2)标准模型文件；(3)标准模型特征模板文件，其中提供了标准模型的平面集合{PLANE i}，PLANE i＝(P i，V i，A i，T i，M i)。其中(1)由图4所示的三维扫描设备获得。(2)和(3)由S1的标准模型预处理过程创建。
S3：对三维扫描点云模型调用RANSAC算法，识别出其中的平面图元，记为{plane j}，j＝1，...，n，其中plane j＝(p j，v j，a j，t j，m j)，如图4所示；对每个图元建立平面特征辨识度指标，并进行排序，记为set(R j)，更新{plane j}的顺序，使之按照R从高到低排列。需要保证{plane j}至少有三个两两之间互不平行的平面，否则说明扫描的数据太少或者扫描到的平面特征不具有代表性，无法执行配准过程，给出算法报警提示。
S4：为三维扫描点云模型的每个平面图元plane j，建立与标准模型中的所有平面图元配对列表{(plane j，PLANE i)}，i＝1，...，N，并计算每个平面对的特征相似度值S ji，并按平面相似度值排序，记为set(R ji)，更新{(plane j，PLANE i)}的顺序，使之按照平面相似度值从高到低排列。将{(plane j，PLANE i)}，i＝1，...，N，记为Map＜plane，Vector＜PLANE＞＞mapOfPairPlane。为了控制算法的计算效率，需要控制每个set(R ji)的大小，一个推荐的策略是，set(R ji)的大小不超过10， 并且参考最大和最小相似度值(R max和R min)，选定一个相似度阈值比如R threshold＝R min+0.7(R max-R min)，将所有相似度小于R threshold的平面对都舍弃。
S5：根据{plane j}，建立所有的三平面图元组{(plane m，plane n，plane l)}，其中(m，n，l)代表平面的标识下标，为1，...，n，且组成每个三平面图元组的plane m，plane n，plane l三者互不相等，且互不平行。计算综合平面特征辨识度值R mnl＝R mR nR l，按综合平面特征辨识度值R mnl从高到低为{(plane m，plane n，plane l)}排序并更新顺序。
S6：本步骤通过在点云模型的三平面组合与标准模型中对应的所有可能的三平面组合之间进行配准计算，来获最优配准齐次坐标变换矩阵。本步骤的算法伪代码如下：
Figure PCTCN2022072166-appb-000003
其中TriplePlaneRegistration函数计算两个三平面组之间配准计算，其程序说明如下：
Figure PCTCN2022072166-appb-000004
另一个函数ComputePlaneFeatureRegistrionTolerance计算两个平面组之间通过齐次坐标矩阵变换后，两个平面组之间的配准误差值，用于刻画配准效果。其程序说明如下：
Figure PCTCN2022072166-appb-000005
综上，本发明提出的针对具有平面基准但不完整的三维扫描点云模型的在线配准方法，可以在可控的循环次数内，利用平面特征的对应关系和配准计算，来实现快速配准(如图5所示)，以达到在线实时运算的效果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

  1. 一种针对具有平面基准但不完整的三维扫描点云的在线实时配准方法，其特征在于，包括如下步骤，
    S1：标准模型预处理，输入标准模型，得到标准模型中的平面图元集合以及每个图元的相关几何信息；
    S2：数据准备，输入以下数据：三维扫描点云模型数据{CP i}；标准模型文件；标准模型特征模板文件，其中提供标准模型平面集合{PLANE i}，PLANE i＝(P i，V i，A i，T i，M i)，其中，P i：平面轮廓的几何中心；V i：平面法线方向，指向平面所在实体的外侧；A i：平面轮廓的面积；T i：平面被识别出来的拟合误差；
    S3：对三维扫描点云模型数据调用RANSAC形状识别算法识别出其中的平面图元，平面图元记为{plane j}，j＝1，...，n，其中plane j＝(p j，v j，a j，t j，m j)，对每个平面图元建立平面特征辨识度指标R，并进行排序，更新平面图元{plane j}的顺序，使之按照平面图元辨识度指标R从高到低排列，保证平面图元{plane j}中至少有三个两两之间互不平行的平面，否则说明扫描的数据太少或者扫描到的平面特征不具有代表性，无法执行配准过程，给出算法报警提示；
    S4：为三维扫描的点云模型的每个平面图元plane j，建立与标准模型中的所有平面图元配对列表{(plane j，PLANE i)}，i＝1，...，N，并计算每个平面对的特征相似度值S ji，并按平面相似度值更新{(plane j，PLANE i)}的顺序，使之按照平面相似度值从高到低排列；为了控制算法的计算效率，需要限制与平面图元plane j配对的标准模型中的平面列表的数量；
    S5：根据平面图元{plane j}，建立所有的三平面图元组{(plane m，plane n，plane l)}，其中(m，n，l)代表平面的标识下标，为1，...，n，且组成每个三平面图元组的plane m，plane n，plane l三者互不相等，且互不平行；计算综合平面特征辨识度值R mnl＝R mR nR l，按综合平面特征辨识度值R mnl从高到低为三平面图元组{(plane m，plane n，plane l)}排序并更新顺序；
    S6：通过在点云模型的三平面组合与标准模型中对应的所有可能的三平面组合之间进行配准计算，来获最优配准齐次坐标变换矩阵。
  2. 根据权利要求1所述的针对具有平面基准但不完整的三维扫描点云的在线实时配准方法，其特征在于：所述S1步包括如下子步骤，
    S11：输入标准模型文件，支持两种格式，第一种为CAD模型文件，另外一种为离散模型格式；
    S12：判断输入的标准模型文件格式，如果是CAD模型，进入S13，如果不是，则进入S14；
    S13：对CAD模型中的曲面几何对象进行遍历，获取其平面图元集合；
    S14：调用RANSAC形状识别算法对离散模型中的平面图元进行识别，获取其平面图元集合以及拟合误差数据；
    S15：记录标准模型中平面图元的几何中心的位置、平面的法线，边界形状以及面积数据；计算各图元的平面特征辨识度指标，并进行排序；形成标准模型特征模板文件数据；
    S16：对标准模型的特征模板文件进行审查和优化，特别是当输入为离散模型时，可以人工干预识别结果，排除误识别或者不显著的平面图元；
    S17：输出标准模型的特征模板文件，作为后续配准算的输入数据。
  3. 根据权利要求1或2所述的针对具有平面基准但不完整的三维扫描点云的在线实时配准方法，其特征在于：所述S6步中的三平面组合的方法为，首先按顺序为三平面组合列表中的每一个组合，按平面相似度高低，在标准模型中选择对应的三平面组合，计算两组三平面组合之间的最优配准齐次坐标变换矩阵；并计算在该齐次坐标变换矩阵下，所有点云模型与标准模型之间平面对的配准误差值；若配准误差值小于预先设定的阈值，则循环结束；否则在标准模型中按平面相似度高低，重新选择三平面组合，重复计算两组三平面组合之间的最优配准齐次坐标变换矩阵；直到找到最优的配准齐次坐标变换矩阵。
PCT/CN2022/072166 2021-05-08 2022-01-14 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 WO2022237225A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ZA2023/09569A ZA202309569B (en) 2021-05-08 2023-10-12 Online real-time registration method for incomplete three-dimensional scanning point cloud having plane reference

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110498865.5A CN113223067B (zh) 2021-05-08 2021-05-08 针对具有平面基准的非完整三维扫描点云的在线配准方法
CN202110498865.5 2021-05-08

Publications (1)

Publication Number Publication Date
WO2022237225A1 true WO2022237225A1 (zh) 2022-11-17

Family

ID=77091752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/072166 WO2022237225A1 (zh) 2021-05-08 2022-01-14 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法

Country Status (3)

Country Link
CN (1) CN113223067B (zh)
WO (1) WO2022237225A1 (zh)
ZA (1) ZA202309569B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738572A (zh) * 2023-06-19 2023-09-12 北京知元创通信息技术有限公司 飞行器构型模块化装配方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223067B (zh) * 2021-05-08 2021-11-19 广东三姆森科技股份有限公司 针对具有平面基准的非完整三维扫描点云的在线配准方法
CN114882087B (zh) * 2022-07-12 2022-10-04 武汉瀚迈科技有限公司 针对具有不完整基本图元的三维扫描点云实时配准方法
CN115661220B (zh) * 2022-12-28 2023-03-17 深圳煜炜光学科技有限公司 点云数据配准方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915986A (zh) * 2015-06-26 2015-09-16 北京航空航天大学 一种实体三维模型自动建模方法
US20160372156A1 (en) * 2015-06-18 2016-12-22 Apple Inc. Image fetching for timeline scrubbing of digital media
US20190130525A1 (en) * 2017-03-29 2019-05-02 Zhijing George Mou Methods and systems for real time 3d-space search and point-cloud registration using a dimension-shuffle transform
CN109872350A (zh) * 2019-02-18 2019-06-11 重庆市勘测院 一种新的点云自动配准方法
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN110442917A (zh) * 2019-07-09 2019-11-12 武汉工程大学 基于点云的参数化模型重建方法
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN112001955A (zh) * 2020-08-24 2020-11-27 深圳市建设综合勘察设计院有限公司 一种基于二维投影平面匹配约束的点云配准方法及系统
CN113223067A (zh) * 2021-05-08 2021-08-06 东莞市三姆森光电科技有限公司 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9472022B2 (en) * 2012-10-05 2016-10-18 University Of Southern California Three-dimensional point processing and model generation
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN106023298B (zh) * 2016-06-22 2018-06-19 山东理工大学 基于局部泊松曲面重建的点云刚性配准方法
CN107610084B (zh) * 2017-09-30 2020-09-01 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN111882658B (zh) * 2020-07-02 2022-08-09 电子科技大学 一种针对核电厂房内核设施的自动重构方法
CN112489207B (zh) * 2021-02-07 2021-07-13 深圳大学 一种空间约束的密集匹配点云平面基元提取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160372156A1 (en) * 2015-06-18 2016-12-22 Apple Inc. Image fetching for timeline scrubbing of digital media
CN104915986A (zh) * 2015-06-26 2015-09-16 北京航空航天大学 一种实体三维模型自动建模方法
US20190130525A1 (en) * 2017-03-29 2019-05-02 Zhijing George Mou Methods and systems for real time 3d-space search and point-cloud registration using a dimension-shuffle transform
CN109965979A (zh) * 2017-12-27 2019-07-05 上海复旦数字医疗科技股份有限公司 一种无需标志点的稳健的神经导航自动注册方法
CN109872350A (zh) * 2019-02-18 2019-06-11 重庆市勘测院 一种新的点云自动配准方法
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN110442917A (zh) * 2019-07-09 2019-11-12 武汉工程大学 基于点云的参数化模型重建方法
CN112001955A (zh) * 2020-08-24 2020-11-27 深圳市建设综合勘察设计院有限公司 一种基于二维投影平面匹配约束的点云配准方法及系统
CN113223067A (zh) * 2021-05-08 2021-08-06 东莞市三姆森光电科技有限公司 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738572A (zh) * 2023-06-19 2023-09-12 北京知元创通信息技术有限公司 飞行器构型模块化装配方法及系统
CN116738572B (zh) * 2023-06-19 2024-03-01 北京知元创通信息技术有限公司 飞行器构型模块化装配方法及系统

Also Published As

Publication number Publication date
ZA202309569B (en) 2023-11-29
CN113223067A (zh) 2021-08-06
CN113223067B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
WO2022237225A1 (zh) 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法
CN109767463B (zh) 一种三维点云自动配准方法
CN105740899B (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN109064502B (zh) 基于深度学习和人工设计特征相结合的多源图像配准方法
CN108665491B (zh) 一种基于局部参考点的快速点云配准方法
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
CN112348864B (zh) 一种融合线激光轮廓特征的三维点云自动配准方法
CN109903319B (zh) 一种基于多分辨率的快速迭代最近点配准算法
CN109344845B (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN112132752B (zh) 一种大型复杂曲面多视扫描点云的精拼接方法
CN105046694A (zh) 一种基于曲面拟合系数特征的点云快速配准方法
CN111027140B (zh) 基于多视角点云数据的飞机标准件模型快速重构方法
CN106373118A (zh) 可有效保留边界和局部特征的复杂曲面零件点云精简方法
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN114743259A (zh) 位姿估计方法、位姿估计系统、终端、存储介质及应用
CN112581368B (zh) 一种基于最优图匹配的多机器人栅格地图拼接方法
LU503034B1 (en) Palmprint Recognition Method Based on Fusion Depth Network
CN114119922A (zh) 基于点云三维重构的复杂轮廓缺陷校验方法
CN115147599A (zh) 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法
CN115471682A (zh) 一种基于SIFT融合ResNet50的图像匹配方法
CN117132630A (zh) 一种基于二阶空间兼容性度量的点云配准方法
CN114332172A (zh) 一种基于协方差矩阵改进的激光点云配准方法
CN111553410B (zh) 基于关键点局部曲面特征直方图和空间关系的点云识别方法
CN113313200A (zh) 一种基于法向约束的点云精匹配方法
CN112418250A (zh) 一种复杂3d点云的优化匹配方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22806202

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE