WO2024060395A1 - 一种基于深度学习的高精度点云补全方法及装置 - Google Patents
一种基于深度学习的高精度点云补全方法及装置 Download PDFInfo
- Publication number
- WO2024060395A1 WO2024060395A1 PCT/CN2022/133946 CN2022133946W WO2024060395A1 WO 2024060395 A1 WO2024060395 A1 WO 2024060395A1 CN 2022133946 W CN2022133946 W CN 2022133946W WO 2024060395 A1 WO2024060395 A1 WO 2024060395A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- point cloud
- point
- feature
- completion
- module
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008521 reorganization Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的高精度点云补全方法及装置，包括：在特征提取模块引入动态核卷积PAConv，可以根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核。在特征融合模块添加了空间注意力机制，有助于解码器更好学到多种特征之间的相互关系，从而更好的表示这些特征信息。鉴别器模块包含全局和局部注意力鉴别器模块，利用多层全连接进行分类，分别从整体和局部来判断生成结果是否符合真实点云分布，进而优化生成结果。从而提高点云补全的精度，得到完整准确的点云补全结果，这也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
Description
本发明涉及计算机三维点云补全和深度学习技术领域，具体涉及一种基于深度学习的高精度点云补全方法及装置。
在3D计算机视觉应用中，由于遮挡和有限的传感器分辨率，3D扫描仪和深度相机捕获的原始点云通常是稀疏且不完整的。点云模型形状上的缺损，极大地限制了视觉和AI的感知能力。点云补全就是将一个残缺的点云，通过算法模型补全完整，它是3D视觉领域的一项基础技术。同时，它也是获取3D对象完整点云模型的必要步骤，是后续相关工作的基础。
现有的基于深度学习的点云补全方法可以推测出相对完整且合理的点云模型，但是往往在补全局部细节特征方面存在缺陷。
为此，弥补基于深度学习的点云补全方法在局部特征提取上的欠缺，将有益于表征点云空间复杂的变化关系以提高点云补全的精度。
发明内容
为了解决现有技术中存在的不足，解决当前点云补全方法存在局部特征提取不足的问题，本发明提供了一种基于深度学习的高精度点云补全方法，在特征提取模块引入动态核卷积PAConv，可以根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核。在特征融合模块添加了空间注意力机制，有助于解码器更好学到多种特征之间的相互关系，从而更好的表示这些特征信息。鉴别器模块包含全局和局部注意力鉴别器模块，利用多 层全连接进行分类，分别从整体和局部来判断生成结果是否符合真实点云分布，进而优化生成结果。从而提高点云补全的精度，得到完整准确的点云补全结果，这也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，提供一种基于深度学习的高精度点云补全方法，包括：
获取待处理的点云数据；
对所述点云数据进行预处理，得到预处理后的点云数据；
将预处理后的点云数据输入训练好的点云补全模型，其中所述点云补全模型包括多分辨率编码器模块、金字塔解码器模块和注意力鉴别器模块；
所述多分辨率编码器模块，被配置为：对输入的点云数据进行特征提取、融合，得到特征向量；
所述金字塔解码器模块，被配置为：对所述特征向量进行处理得到三个尺度的点云补全结果；
所述注意力鉴别器模块，被配置为：使用生成对抗网络的思想，通过生成模型和判别模型相互博弈学习来产生全局和局部特征一致性的结果；
根据所述点云补全模型的输出，确定高精度点云补全结果。
在一些实施例中，所述多分辨率编码器模块包括特征提取模块和特征融合模块，
特征提取模块中在共享权重的多层感知机MLP嵌入动态卷积层PAConv，根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核，提高局部细节特征提取能力；
在特征融合模块添加空间注意力机制，实现空间维度上的特征聚焦；
将最远点采样生成三个不同尺度的缺失点云输入多分辨率编码器模块；
使用嵌入动态核卷积PAConv的多层感知机的特征提取模块对三个不同尺度的缺失点云进行特征提取，生成多维特征向量V
1，V
2，V
3；输出的多维特征向量V
1，V
2，V
3输入由空间注意力机制构成的特征融合模块，空间注意力机制学习综合局部特征和全局信息的1024维抽象特征，输出加权后每个位置的特征；再以拼接数组将3个1024维度的抽象特征拼接，最后使用MLP将潜在特征映射整合到最终的特征向量V，维度为1024。
进一步地，所述动态核卷积PAConv的构建方法包括：
初始化一个由K个大小为C
in×C
out的权重矩阵组成的权重库W＝{W
k|k＝1，2，...，K}，其中C
in表示网络在当前层的输入维度，C
out表示网络在当前层的输出维度；
计算输入点云中每一个点p
i与邻域点p
j的相对位置关系，学习不同位置的权重系数
表示为：
E
ij＝Softmax(θ(p
i，p
j))
其中θ是核大小为1×1的卷积实现的非线性函数；使用Softmax函数进行规范化操作确保输出分数在范围(0，1)之间；较高的分数意味着对应的位置具有更重要的局部信息；
PAConv的内核是通过组合权重矩阵W
k和从点位置学习到的权重系数
构成的，
至此，动态核卷积PAConv完成自适应地构建卷积内核的工作，用于捕获输入特征局部区域的信息，输出具有局部关联性的特征。
优选地，K取值为16。
在一些实施例中，对所述特征向量进行处理得到三个尺度的点云补全结果，包括：特征向量V经过全连接层得到三个不同分辨率的子特征向量U
1，U
2，U
3，每个子特征向量负责补全不同分辨率的点云；利用U
3预测初级点云P
3，用U
2预测次级点云P
2距离P
3中心点的相对坐标，使用重组和全连接操作根据P
3生成次级点云P
2；利用U
1和P
2预测最终点云P
1距离P
2中心点的相对坐标，以此补充最终点云P
1。
在一些实施例中，所述注意力鉴别器模块包括全局注意力鉴别器和全局注意力鉴别器；全局鉴别器用于查看整个点云补全结果来评估其整体一致性，局部鉴别器模块查看以已完成区域为中心的小区域，以确保生成点云的局部一致性。
在一些实施例中，所述注意力鉴别器模块的处理过程包括：将整体或局部生成点云和真实点云送入注意力鉴别器，通过其中的自编码器获得维度为512 的特征向量，再通过连续的全连接层降低维度[512-256-128-16-1],输出最终fake或real的二值结果。
在一些实施例中，所述点云补全模型的训练方法，包括：
损失函数包括两个部分：生成损失和对抗损失；
利用倒角距离CD计算生成点云和地面真实点云之间平均最短点距离，计算公式为：
其中，x、y表示生成点云或真实点云中的某个点；P*P表示距离；CD计算了生成点云S
1和真实点云S
2之间的平均最近平方距离，最终的生成结果是三个不同尺度的生成点云P
1、P
2、P
3，生成损失也由三部分构成，
分别对应三个不同尺度生成点云的CD值，其中α表示生成损失中的求和权重；
生成损失L
com表达式为：
其中，P
1gt、P
2gt、P
3gt分别为三个不同尺度的生成点云所对应的真实点云；
对抗损失借鉴对抗性网络GAN，对抗损失L
adv为：
L
adv＝∑
1≤i≤Slog
10(G(y
i))+∑
1≤j≤Slog
10(1-G(E(D(x
i))))
其中，y
i和x
i分别属于原始残缺点云和真实点云，S表示数据集尺寸；E、D、G 分别表示多分辨率编码器、金字塔解码器和注意力鉴别器；
总损失函数L由生成损失和对抗损失共同构成：
L＝βL
com+λL
adv
β和λ分别是生成损失L
com和对抗损失L
adv的权重，满足以下条件：β+λ＝1；倒角距离CD也作为测试补全性能的评估指标。
第二方面，本发明提供了一种基于深度学习的高精度点云补全装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
本发明的优点在于：本发明提供的方法，与现技术相比，具有以下技术效果：(1)本发明在特征提取模块引入卷积层PAConv，可以根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核，所以可以灵活地捕获局部区域的信息。
(2)本发明在特征融合模块添加了空间注意力机制，使解码器更好学习各种特征之间的相互关系，提高点云补全的精度。
(3)本发明在鉴别器模块包含全局和局部鉴别器模块，利用多层全连接进行分类，分别从整体和局部来判断生成结果是否符合真实点云分布，进而优化生成结果。
本发明的优点是弥补了基于深度学习的点云补全方法在局部特征提取上的欠缺，通过引入PAConv卷积层和空间注意力机制，可以提高点云补全的精度，得到更为完整准确的点云补全结果；引入全局和局部注意力鉴别器模块，来保证生成点云与真实点云之间的整体和局部一致性。同时，点云补全也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
图1为本发明实施例中整体网络框架示意图。
图2为本发明实施例中空间注意力机制示意图。
图3为本发明实施例中PAConv结构示意图。
图4为本发明实施例中缺失点云补全过程示意图。
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式进一步阐述本发明。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且， 描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
实施例1
一种基于深度学习的高精度点云补全方法，包括：
获取待处理的点云数据；
对所述点云数据进行预处理，得到预处理后的点云数据；
将预处理后的点云数据输入训练好的点云补全模型，其中所述点云补全模型包括多分辨率编码器模块、金字塔解码器模块和注意力鉴别器模块；
所述多分辨率编码器模块，被配置为：对输入的点云数据进行特征提取、融合，得到特征向量；
所述金字塔解码器模块，被配置为：对所述特征向量进行处理得到三个尺度的点云补全结果；
所述注意力鉴别器模块，被配置为：使用生成对抗网络的思想，通过生成模型和判别模型相互博弈学习来产生全局和局部特征一致性的结果；
根据所述点云补全模型的输出，确定高精度点云补全结果。
在一些实施例中，一种基于深度学习的高精度点云补全方法，如图1所示，点云补全方法整体框架包括多分辨率编码器、金字塔解码器和注意力鉴别器三个部分。多分辨率编码器对输入点云的特征进行提取；金字塔解码器将融合后的特征向量进行处理得到三个尺度的点云补全结果；注意力鉴别器计算出对抗损失，通过相互博弈学习来产生好的输出，保证生成点云与真实点云之间的整体和局部一致性。以下详细叙述各模块实现方法及功能：
首先通过最远点采样，不断迭代地选择距离已有采样点集合的最远点，用 于获取一组骨架点。这可以更均匀的表示点集的分布，并且不会破坏点云模型的结构。将最远点采样生成三个不同尺度的缺失点云输入多分辨率编码器进行特征提取，使用嵌入动态核卷积PAConv的多层感知机，生成多维特征向量V
1，V
2，V
3。输出的多维特征向量V
1，V
2，V
3输入由空间注意力机制构成的特征融合模块，结构如图2所示，空间注意力机制学习综合局部特征和全局信息的1024维抽象特征，实现空间维度上的特征聚焦，输出加权后每个位置的特征。再以拼接数组将3个1024维度的抽象特征拼接，最后使用MLP将潜在特征映射整合到最终的特征向量V，维度为1024。
其中，PAConv部分首先初始化了一个由K个大小为C
in×C
out的权重矩阵组成的权重库W＝{W
k|k＝1，2，...，K}，其中C
in表示网络在当前层的输入维度，C
out表示网络在当前层的输出维度。较大的K可以使得保证卷积内核的多样性，但也会增加模型的负担。因此，在我们的网络模型中，我们将K取值为16。接下来计算输入点云中每一个点p
i与其邻域点p
j的相对位置关系，学习不同位置的权重系数
这个过程可以表示为
E
ij＝Softmax(θ(p
i，p
j))# (1)
其中θ是核大小为1×1的卷积实现的非线性函数。使用Softmax对其进行规范化操作可以确保输出分数在范围(0，1)之间。较高的分数意味着对应的 位置具有更重要的局部信息。PAConv的内核是通过组合权重矩阵W
k和从点位置学习到的权重系数
构成的，
至此，PAConv完成了自适应地构建卷积内核的工作。它可以灵活地捕获输入特征局部区域的信息，输出具有局部关联性的特征。
金字塔解码器模由全连接层和重组层构成，采用特征金字塔网络思想，由粗到细逐步补全缺失点云，输入是多分辨率编码器的输出特征向量V，通过全连接层得到三个不同分辨率的子特征向量U
1，U
2，U
3，维度为1024，512，256，每个子特征向量负责补全不同分辨率的点云。首先利用U
3预测初级点云P
3，然后用U
2预测次级点云P
2距离P
3中心点的相对坐标，然后使用重组和全连接操作，根据P
3生成次级点云P
2。同理，利用U
1和P
2可以预测最终点云P
1距离P
2中心点的相对坐标，以此可以补充最终点云P
1。
注意力鉴别器模块使用生成对抗网络的思想，由框架中的生成模型和判别模型相互博弈学习来产生好的输出。模块由全局注意力鉴别器和全局注意力鉴别器两部分组成，全局鉴别器查看整个点云补全结果来评估其整体一致性，局部鉴别器模块仅查看以已完成区域为中心的小区域，以确保生成点云的局部一致性。具体做法为：将整体或局部生成点云和真实点云送入鉴别器，通过其中 的自编码器获得维度为512的特征向量，再通过连续的全连接层降低维度[512-256-128-16-1],输出最终fake或real的二值结果。
本发明算法的损失函数包括两个部分：生成损失和对抗损失。
利用倒角距离CD计算生成点云和地面真实点云之间平均最短点距离，计算公式为：
式(3)中，CD计算了生成点云S
1和真实点云S
2之间的平均最近平方距离，由于我们最终的生成结果是三个不同尺度的生成点云P
1、P
2、P
3，所以总损失也由三部分构成，
分别对应三个不同尺度生成点云的CD值，其中α表示生成损失中的求和权重。总损失表达式为：
式(4)中，P
1gt、P
2gt、P
3gt分别为三个不同尺度的生成点云所对应的真实点云。
本文中的对抗损失借鉴对抗性网络GAN，计算公式如下：
L
adv＝∑
1≤i≤Slog
10(G(y
i))+∑
1≤j≤Slog
10(1-G(E(D(x
i))))#(5)
式(5)中,y
i和x
i分别属于原始残缺点云和真实点云。E、D、G分别表示多分辨率编码器、金字塔解码器和注意力鉴别器。总损失是由生成损失和对抗损失共同构成，计算公式如式(6)所示：
L＝βL
com+λL
adv #(6)
β和λ分别是生成损失L
com和对抗损失L
adv的权重，满足以下条件：β+λ＝1；倒角距离CD也作为测试补全性能的评估指标。
本发明所提出的系统，其优点在于：
(1)为弥补了基于深度学习的点云补全方法在局部特征提取上的欠缺提出了可行方案。
(2)可以得到补全精度较高的点云模型，这为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
本发明公开的一种基于深度学习的点云补全方法，可以对点云全局和局部特征进行提取并综合关键点的局部关联性和全局信息，弥补了基于深度学习的点云补全方法在局部特征提取方面的不足，提升了点云补全的准确度，同时也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
实施例2
第二方面，本实施例提供了一种基于深度学习的高精度点云补全装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
实施例3
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计 算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均 被本发明包含。
Claims (10)
- 一种基于深度学习的高精度点云补全方法，其特征在于，包括：获取待处理的点云数据；对所述点云数据进行预处理，得到预处理后的点云数据；将预处理后的点云数据输入训练好的点云补全模型，其中所述点云补全模型包括多分辨率编码器模块、金字塔解码器模块和注意力鉴别器模块；所述多分辨率编码器模块，被配置为：对输入的点云数据进行特征提取、融合，得到特征向量；所述金字塔解码器模块，被配置为：对所述特征向量进行处理得到三个尺度的点云补全结果；所述注意力鉴别器模块，被配置为：使用生成对抗网络的思想，通过生成模型和判别模型相互博弈学习来产生全局和局部特征一致性的结果；根据所述点云补全模型的输出，确定高精度点云补全结果。
- 根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，所述多分辨率编码器模块包括特征提取模块和特征融合模块，特征提取模块中在共享权重的多层感知机MLP嵌入动态卷积层PAConv，根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核，提高局部细节特征提取能力；在特征融合模块添加空间注意力机制，实现空间维度上的特征聚焦；将最远点采样生成三个不同尺度的缺失点云输入多分辨率编码器模块；使用嵌入动态核卷积PAConv的多层感知机的特征提取模块对三个不同尺度的缺失点云进行特征提取，生成多维特征向量V 1，V 2，V 3；输出的多维特征向 量V 1，V 2，V 3输入由空间注意力机制构成的特征融合模块，空间注意力机制学习综合局部特征和全局信息的1024维抽象特征，输出加权后每个位置的特征；再以拼接数组将3个1024维度的抽象特征拼接，最后使用MLP将潜在特征映射整合到最终的特征向量V，维度为1024。
- 根据权利要求2所述的基于深度学习的高精度点云补全方法，其特征在于，所述动态核卷积PAConv的构建方法包括：初始化一个由K个大小为C in×C out的权重矩阵组成的权重库W＝{W k|k＝1，2，...，K}，其中C in表示网络在当前层的输入维度，C out表示网络在当前层的输出维度；计算输入点云中每一个点p i与邻域点p j的相对位置关系，学习不同位置的权重系数表示为：
E ij＝Softmax(θ(p i，p j))其中θ是核大小为1×1的卷积实现的非线性函数；使用Softmax函数进行规范化操作确保输出分数在范围(0，1)之间；较高的分数意味着对应的位置具有更重要的局部信息；PAConv的内核是通过组合权重矩阵W k和从点位置学习到的权重系数构成的，
至此，动态核卷积PAConv完成自适应地构建卷积内核的工作，用于捕获输入特征局部区域的信息，输出具有局部关联性的特征。 - 根据权利要求3所述的基于深度学习的高精度点云补全方法，其特征在于，K取值为16。
- 根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，对所述特征向量进行处理得到三个尺度的点云补全结果，包括：特征向量V经过全连接层得到三个不同分辨率的子特征向量U 1，U 2，U 3，每个子特征向量负责补全不同分辨率的点云；利用U 3预测初级点云P 3，用U 2预测次级点云P 2距离P 3中心点的相对坐标，使用重组和全连接操作根据P 3生成次级点云P 2；利用U 1和P 2预测最终点云P 1距离P 2中心点的相对坐标，以此补充最终点云P 1。
- 根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，所述注意力鉴别器模块包括全局注意力鉴别器和全局注意力鉴别器；全局鉴别器用于查看整个点云补全结果来评估其整体一致性，局部鉴别器模块查看以已完成区域为中心的小区域，以确保生成点云的局部一致性。
- 根据权利要求6所述的基于深度学习的高精度点云补全方法，其特征在于，所述注意力鉴别器模块的处理过程包括：将整体或局部生成点云和真实点云送入注意力鉴别器，通过其中的自编码器获得维度为512的特征向量，再通过连续的全连接层降低维度[512-256-128-16-1],输出最终fake或real的二值 结果。
- 根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，所述点云补全模型的训练方法，包括：损失函数包括两个部分：生成损失和对抗损失；利用倒角距离CD计算生成点云和地面真实点云之间平均最短点距离，计算公式为：
其中，x、y表示生成点云或真实点云中的某个点；P*P表示距离；CD计算了生成点云S 1和真实点云S 2之间的平均最近平方距离，最终的生成结果是三个不同尺度的生成点云P 1、P 2、P 3，生成损失也由三部分构成，d CD3分别对应三个不同尺度生成点云的CD值，其中α表示生成损失中的求和权重；
生成损失L com表达式为：
其中，P 1gt、P 2gt、P 3gt分别为三个不同尺度的生成点云所对应的真实点云；对抗损失借鉴对抗性网络GAN，对抗损失L adv为：
其中，y i和x i分别属于原始残缺点云和真实点云，S表示数据集尺寸；E、D、G分别表示多分辨率编码器、金字塔解码器和注意力鉴别器；总损失函数L由生成损失和对抗损失共同构成：L＝βL com+λL advβ和λ分别是生成损失L com和对抗损失L adv的权重，满足以下条件：β+λ＝1；倒角距离CD也作为测试补全性能的评估指标。 - 一种基于深度学习的高精度点云补全装置，其特征在于，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。
- 一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/094,867 US20230206603A1 (en) | 2022-09-19 | 2023-01-09 | High-precision point cloud completion method based on deep learning and device thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211135259.8A CN115439694A (zh) | 2022-09-19 | 2022-09-19 | 一种基于深度学习的高精度点云补全方法及装置 |
| CN202211135259.8 | 2022-09-19 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US18/094,867 Continuation US20230206603A1 (en) | 2022-09-19 | 2023-01-09 | High-precision point cloud completion method based on deep learning and device thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024060395A1 true WO2024060395A1 (zh) | 2024-03-28 |
Family
ID=84249775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/133946 WO2024060395A1 (zh) | 2022-09-19 | 2022-11-24 | 一种基于深度学习的高精度点云补全方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115439694A (zh) |
| WO (1) | WO2024060395A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620001B (zh) * | 2022-12-15 | 2023-04-07 | 长春理工大学 | 基于3d点云双边扩增算法的视觉辅助系统 |
| CN115880183B (zh) * | 2022-12-28 | 2024-03-15 | 广州极点三维信息科技有限公司 | 基于深度网络的点云模型修复方法、系统、装置及介质 |
| CN116777848A (zh) * | 2023-06-06 | 2023-09-19 | 北京师范大学 | 一种玉石器相似度分析方法及系统 |
| CN117132501B (zh) * | 2023-09-14 | 2024-02-23 | 武汉纺织大学 | 一种基于深度相机的人体点云空洞修复方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205104A (zh) * | 2021-04-23 | 2021-08-03 | 广西大学 | 一种基于深度学习的点云补全方法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
| CN114638751A (zh) * | 2022-02-24 | 2022-06-17 | 南京邮电大学 | 基于生成对抗网络的端到端点云补全方法 |
| CN114842180A (zh) * | 2022-07-06 | 2022-08-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
| WO2022166400A1 (zh) * | 2021-02-05 | 2022-08-11 | 中国科学院深圳先进技术研究院 | 一种处理三维点云的方法、装置、设备以及存储介质 |
-
2022
- 2022-09-19 CN CN202211135259.8A patent/CN115439694A/zh active Pending
- 2022-11-24 WO PCT/CN2022/133946 patent/WO2024060395A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022166400A1 (zh) * | 2021-02-05 | 2022-08-11 | 中国科学院深圳先进技术研究院 | 一种处理三维点云的方法、装置、设备以及存储介质 |
| CN113205104A (zh) * | 2021-04-23 | 2021-08-03 | 广西大学 | 一种基于深度学习的点云补全方法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
| CN114638751A (zh) * | 2022-02-24 | 2022-06-17 | 南京邮电大学 | 基于生成对抗网络的端到端点云补全方法 |
| CN114842180A (zh) * | 2022-07-06 | 2022-08-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115439694A (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qiu et al. | Geometric back-projection network for point cloud classification | |
| WO2024060395A1 (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| US20230206603A1 (en) | High-precision point cloud completion method based on deep learning and device thereof | |
| Zhu et al. | Vpfnet: Improving 3d object detection with virtual point based lidar and stereo data fusion | |
| Xie et al. | Point clouds learning with attention-based graph convolution networks | |
| CN112927357B (zh) | 一种基于动态图网络的3d物体重建方法 | |
| CN111627065B (zh) | 一种视觉定位方法及装置、存储介质 | |
| Kanezaki et al. | Rotationnet for joint object categorization and unsupervised pose estimation from multi-view images | |
| CN111625667A (zh) | 一种基于复杂背景图像的三维模型跨域检索方法及系统 | |
| CN113379646A (zh) | 一种利用生成对抗网络进行稠密点云补全的算法 | |
| CN111127538A (zh) | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 | |
| CN104637090A (zh) | 一种基于单张图片的室内场景建模方法 | |
| CN114612660A (zh) | 一种基于多特征融合点云分割的三维建模方法 | |
| Li et al. | SHREC'16 Track: 3D Sketch-Based 3D Shape Retrieval | |
| CN114758152A (zh) | 一种基于注意力机制和邻域一致性的特征匹配方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| Li et al. | Multi-view-based siamese convolutional neural network for 3D object retrieval | |
| Samavati et al. | Deep learning-based 3D reconstruction: a survey | |
| Ge et al. | Point2MM: Learning medial mesh from point clouds | |
| Li et al. | Multi-view convolutional vision transformer for 3D object recognition | |
| CN116385660A (zh) | 室内单视图场景语义重建方法及系统 | |
| CN111597367A (zh) | 基于视图和哈希算法的三维模型检索方法 | |
| Hu et al. | Learning structural graph layouts and 3D shapes for long span bridges 3D reconstruction | |
| CN115830375A (zh) | 点云分类方法及装置 | |
| Cao et al. | Label-efficient deep learning-based semantic segmentation of building point clouds at LOD3 level |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22959395 Country of ref document: EP Kind code of ref document: A1 |