WO2023082415A1 - 一种点云补全方法和装置 - Google Patents

一种点云补全方法和装置 Download PDF

Info

Publication number
WO2023082415A1
WO2023082415A1 PCT/CN2021/138550 CN2021138550W WO2023082415A1 WO 2023082415 A1 WO2023082415 A1 WO 2023082415A1 CN 2021138550 W CN2021138550 W CN 2021138550W WO 2023082415 A1 WO2023082415 A1 WO 2023082415A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
network
scale
point
feature
Prior art date
Application number
PCT/CN2021/138550
Other languages
English (en)
French (fr)
Inventor
徐名业
王亚立
乔宇
Original Assignee
深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳先进技术研究院 filed Critical 深圳先进技术研究院
Publication of WO2023082415A1 publication Critical patent/WO2023082415A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to the technical field of three-dimensional data processing, and more specifically, to a point cloud completion method and device.
  • MVP Multi-View Space
  • the purpose of the present invention is to overcome the defects of the above-mentioned prior art, and provide a method and device for point cloud completion.
  • a point cloud completion device includes:
  • Data collection module used to obtain the original point cloud data of the target to be completed
  • the first point cloud generation module used to input the original point cloud data into the first generation network to obtain the first complete point cloud data; the first generation network is obtained by using enhanced training data set training;
  • the second point cloud generation module used to input the first complete point cloud data into the second generation network to obtain the second complete point cloud data as a completion result; wherein the second generation network uses semantic representation to guide the generation of the second complete point cloud data.
  • Fig. 1 is the flow chart of the point cloud completion method according to one embodiment of the present invention.
  • Fig. 2 is a schematic diagram of the overall process of a point cloud completion method according to an embodiment of the present invention
  • Fig. 3 is a schematic diagram of "incomplete-incomplete" data enhancement according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of a conditional refinement network according to an embodiment of the present invention.
  • Fig. 5 is a schematic diagram of a characteristic modulation network according to an embodiment of the present invention.
  • Fig. 6 is a schematic diagram of a multi-scale snowflake point deconvolution module according to an embodiment of the present invention.
  • Fig. 7 is a comparison diagram of point cloud completion effects according to an embodiment of the present invention.
  • the present invention proposes a general and unique two-stage point cloud completion framework, the first stage is robust point cloud generation, and the second stage is semantically guided point cloud refinement.
  • the first stage employs a concise "incomplete-incomplete" data augmentation module, which further crops the original incomplete cloud into a new incomplete input and converts the original incomplete cloud into Processed as full input.
  • the second stage employs a novel conditional guidance network that can effectively leverage semantic representations as dynamic guidance, using discriminative category information to improve point cloud accuracy.
  • conditional guided network is a lightweight conditional modulation module that can fuse the underlying shape attributes (semantic information and shape information) into point-wise local representations instead of directly connecting the global features of point clouds, which can be achieved through semantic Guidance improves the local distribution of point clouds.
  • the provided point cloud completion method includes the following steps.
  • Step S110 constructing an overall network architecture composed of a generation network and a conditional refinement network.
  • the overall network architecture includes a generation network and a refinement network.
  • the generation network is a VRCNet (variational correlation point cloud completion network) with "incomplete-incomplete" data enhancement
  • the conditional refinement network is an improved SnowFlakeNet (snowflake point deconvolution network).
  • incomplete-incomplete data refers to the enhanced or expanded data obtained after further defect processing of the original incomplete defect cloud.
  • Data augmentation can increase the diversity of incomplete point clouds and improve the generality of the generated network. sex.
  • the conditional refinement network conducts more detailed refinement with the help of semantic category information and shape information to further improve the quality of generated point clouds.
  • the generation phase of the overall network architecture generates complete point clouds for various incomplete point cloud structures, which improves the robustness of point cloud completion.
  • a refinement stage is used to refine the full point cloud with class labels and discriminative base attributes of the global representation.
  • Step S120 training a generative network with "incomplete-incomplete" data augmentation for generating a robust and complete point cloud.
  • the network consists of two consecutive encoder-decoder sub-networks, which are used as "probabilistic modeling” (PMNet) and “relational enhancement” (RENet).
  • PMNet embeds global shape representations and latent distributions from partial inputs and generates coarse skeletons.
  • RENet strives to enhance structural relations by learning multi-scale local point features and reconstruct fine full point clouds on the coarse skeleton. It should be understood that more RENets can be set to further enhance the structural relationship, and the present invention does not limit the number and specific structure of sub-networks.
  • the new data of the dataset used to train the generation network is obtained using the "incomplete-incomplete" data augmentation method.
  • the original incomplete point cloud i.e., incomplete point cloud
  • the model e.g., randomly excavated
  • This enhancement can increase the diversity of global features and latent distributions of PMNet, and make RENet more general to variations of incomplete structures.
  • the enhanced training data set includes the correspondence between the original defect cloud and the refined standard complete point cloud (corresponding to the basic data in Table 1 below), and the enhanced defect cloud and the refined standard defect cloud Correspondence between (corresponding to the enhanced data in Table 1 below).
  • the enhanced defect cloud can be obtained by performing secondary defect processing on the defect cloud (defect marked as defect), and the secondary defect processing adopts random clipping or random digging, for example.
  • this way of constructing the training data set can not only improve the efficiency of subsequent model training or model application, but also enhance the robustness of the model.
  • This is mainly reflected in the fact that, on the one hand, the fine-standard defect cloud has a richer shape structure than the fine-standard complete point cloud, which is conducive to improving robustness.
  • the training data pair does not include the corresponding relationship between the incomplete-incomplete point cloud and the refined standard complete point cloud, thereby avoiding the influence of the model training due to the large gap between the input image and the output image. Complexity or efficiency of the model application process.
  • the above data enhancement is to perform secondary incomplete processing on some of the existing defective cloud data.
  • This data enhancement method obtains a variety of defective forms without collecting too many original defective clouds.
  • various types of defect forms and various defect ratios can be obtained through random cropping, which can correspond to various scenarios of point cloud data collection in real-world applications (such as occlusion, noise, different viewing angles, etc.), and then make the generated network for different
  • the crippled form of is more robust and increases the generalization performance of the network.
  • the traditional data enhancement methods such as flipping and displacement only have a certain effect on two-dimensional images, and have little significance for three-dimensional point cloud representation.
  • self-supervised reconstruction pre-training of generative networks can achieve good initial points in downstream fine-tuning completion tasks.
  • Self-supervision enables a wider range of optimizations and is easier to optimize than training from scratch.
  • Step S130 taking the predicted complete point cloud output by the generating network as input, and performing discriminative point cloud refinement using the conditional refinement network based on semantic guidance.
  • the point cloud generation model used in the second stage is labeled as conditional refinement network or conditional refinement network, which aims to refine the full point cloud with more geometric details and semantic information.
  • Figure 4 is the structure of the conditional refinement network, in which the feature modulation module (or feature modulation network) can effectively perform point representation through semantic guidance, and the multi-scale SPD module (snowflake point deconvolution module) can be aggregated through multi-scale context Refine the point cloud to reveal more geometry.
  • the feature modulation module or feature modulation network
  • the multi-scale SPD module snowflake point deconvolution module
  • Utilizing the shape attributes of objects can encourage the fragmented representation to be closer to the overall discriminative representation of the same object, which can serve as a guide for point cloud refinement.
  • Existing methods only incorporate global information through connections and local representations, but connections are not effective enough, and it significantly increases the weight of MLP (Multilayer Perceptron) (as model F in Table 3).
  • MLP Multilayer Perceptron
  • Existing methods also ignore important category information that contains discriminative semantics.
  • a lightweight conditional modeling module i.e. feature modulation module
  • this module is easily extensible to learn about local enhancement effects to redefine point clouds.
  • this embodiment uses a feature modulation module to adjust the intermediate displacement features of the conditional refinement network .
  • the conditional vector ⁇ is used to influence the cluster centers of the local feature representations, and the conditional vector ⁇ is used to fine-tune the variance in the feature space. Therefore, global tuning of point features can be achieved with few parameters. Local features are considered to be closer to the same object than features of other objects, thus, the local representation of each object is affected by different semantic information and global shape information. Therefore, the provided feature modulation modules are not easily confused with similar local structures under different semantic information.
  • the conditional refinement network of the present invention aims to refine the local geometric details of the complete point cloud, and SnowflakeNet is improved for this purpose.
  • the coordinate change of each point in the multi-scale SPD module is obtained, as shown in Fig. 6.
  • three multi-scale SPDs are used in the conditional refinement network, as shown in Fig. 4.
  • multiple skip transformers are used to learn and refine spatial context from different layers.
  • a multi-scale skip connection transformer with different local regions is adopted in the multi-scale SPD module.
  • feature modulation networks can employ better feature extractors.
  • the generation network or conditional refinement network can be replaced with other types of point cloud completion networks.
  • other types of nonlinear activation functions can also be used.
  • the present invention also provides a point cloud completion device, which is used to realize one or more aspects of the above method.
  • the device includes: a data acquisition module, which is used to obtain the original point cloud data of the target to be completed; a first point cloud generation module, which is used to input the original point cloud data into the first generation network, and obtain the second point cloud data.
  • a complete point cloud data, the first generation network is obtained by using enhanced training data set training; the second point cloud generation module is used to input the first complete point cloud data into the second generation network to obtain the second complete point Cloud data, as a completion result, wherein the second generation network uses semantic representation to guide the generation of the second complete point cloud data.
  • Each module involved in the device can be realized by using a processor, special hardware or FPGA.
  • the training process of deep learning models such as generative networks involved in the present invention can be performed offline on a server or cloud, and real-time point cloud completion can be realized by embedding the trained model into an electronic device.
  • the electronic device can be a terminal device or a server, and the terminal device includes a mobile phone, a tablet computer, a personal digital assistant (PDA), a sales terminal (POS), a vehicle computer, a smart wearable device (smart watch, virtual reality glasses, a virtual reality helmet, etc. ) and other arbitrary terminal equipment.
  • Servers include but are not limited to application servers or web servers, and may be independent servers, cluster servers, or cloud servers.
  • the terminal device can directly obtain the original point cloud data of the target to be completed from the point cloud data acquisition device.
  • the point cloud data acquisition device can send the target original point cloud data to the terminal device through the network.
  • the point cloud data acquisition device may also send data in response to the request of the terminal device, so as to return the target original point cloud data to the terminal device.
  • the terminal device can also obtain the target original point cloud data from a database dedicated to storing the original point cloud data. The present invention does not limit the manner in which the terminal device acquires the original point cloud data of the target.
  • Table 2 is a comparison of point cloud completion results on the MVP dataset (16384 points), where the average chamfering distance is the result of multiplying by 10000.
  • Table 3 is a comparison of point cloud completion results on the MVP dataset (2048 points), where the average chamfering distance is the result of multiplying by 10000.
  • the proposed data augmentation can indeed improve the performance of the complement network.
  • the feature modulation module with only 43k parameters can reduce the average chamfer distance from 5.41 to 5.32.
  • the refined network in Model G has fewer parameters (2.27M) than that of Model F (2.33M). Therefore, it can be proved that the present invention can achieve a better balance between precision and efficiency.
  • the present invention has at least the following advantages:
  • the present invention proposes a two-stage point cloud completion framework, in which the first stage (generating network) is used to enhance the robustness of generating the complete point cloud, The second stage uses "incomplete-incomplete" augmentation (refinement network) to effectively utilize semantic representation as dynamic guidance, using classification information to facilitate point cloud refinement.
  • the refined network of the present invention can also make the distribution of missing parts more uniform (as shown in Figure 7). It has been verified that the present invention has achieved top performance on the MVP data set, and at the same time, the quality of the completed point cloud is relatively good.
  • a novel conditional modulation model is proposed to effectively use semantic representation as dynamic guidance, using discriminative category information to promote point cloud refinement, encouraging local representations to be closer to the same object than other object features.
  • point cloud completion method can be applied to various point cloud processing scenarios, for example, for modeling virtual objects or virtual scenes in games, or for traffic environment modeling, medical image construction, etc. models, product design and other scenarios.
  • the present invention does not impose any limitations on applicable application scenarios.
  • the present invention can be a system, method and/or computer program product.
  • a computer program product may include a computer readable storage medium having computer readable program instructions thereon for causing a processor to implement various aspects of the present invention.
  • a computer readable storage medium may be a tangible device that can retain and store instructions for use by an instruction execution device.
  • a computer readable storage medium may be, for example, but is not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing.
  • Computer-readable storage media include: portable computer diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM), or flash memory), static random access memory (SRAM), compact disc read only memory (CD-ROM), digital versatile disc (DVD), memory stick, floppy disk, mechanically encoded device, such as a printer with instructions stored thereon A hole card or a raised structure in a groove, and any suitable combination of the above.
  • RAM random access memory
  • ROM read-only memory
  • EPROM erasable programmable read-only memory
  • flash memory static random access memory
  • SRAM static random access memory
  • CD-ROM compact disc read only memory
  • DVD digital versatile disc
  • memory stick floppy disk
  • mechanically encoded device such as a printer with instructions stored thereon
  • a hole card or a raised structure in a groove and any suitable combination of the above.
  • computer-readable storage media are not to be construed as transient signals per se, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other transmission media (e.g., pulses of light through fiber optic cables), or transmitted electrical signals.
  • Computer-readable program instructions described herein may be downloaded from a computer-readable storage medium to a respective computing/processing device, or downloaded to an external computer or external storage device over a network, such as the Internet, a local area network, a wide area network, and/or a wireless network.
  • the network may include copper transmission cables, fiber optic transmission, wireless transmission, routers, firewalls, switches, gateway computers, and/or edge servers.
  • a network adapter card or a network interface in each computing/processing device receives computer-readable program instructions from the network and forwards the computer-readable program instructions for storage in a computer-readable storage medium in each computing/processing device .
  • Computer program instructions for carrying out operations of the present invention may be assembly instructions, instruction set architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or Source or object code written in any combination, including object-oriented programming languages—such as Smalltalk, C++, Python, etc., and conventional procedural programming languages—such as the “C” language or similar programming languages.
  • Computer readable program instructions may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server implement.
  • the remote computer can be connected to the user computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computer (such as via the Internet using an Internet service provider). connect).
  • LAN local area network
  • WAN wide area network
  • an electronic circuit such as a programmable logic circuit, field programmable gate array (FPGA), or programmable logic array (PLA)
  • FPGA field programmable gate array
  • PDA programmable logic array
  • These computer-readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a machine such that when executed by the processor of the computer or other programmable data processing apparatus , producing an apparatus for realizing the functions/actions specified in one or more blocks in the flowchart and/or block diagram.
  • These computer-readable program instructions can also be stored in a computer-readable storage medium, and these instructions cause computers, programmable data processing devices and/or other devices to work in a specific way, so that the computer-readable medium storing instructions includes An article of manufacture comprising instructions for implementing various aspects of the functions/acts specified in one or more blocks in flowcharts and/or block diagrams.
  • each block in a flowchart or block diagram may represent a module, a portion of a program segment, or an instruction that includes one or more Executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented by a dedicated hardware-based system that performs the specified function or action , or may be implemented by a combination of dedicated hardware and computer instructions. It is well known to those skilled in the art that implementation by means of hardware, implementation by means of software, and implementation by a combination of software and hardware are all equivalent.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种点云补全方法和装置。该方法包括：获取待补全目标的原始点云数据；将所述原始点云数据输入到第一生成网络，获得第一完整点云数据，所述第一生成网络是采用增强的训练数据集训练获得；将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果，其中第二生成网络利用语义表示引导生成第二完整点云数据。本发明提高了点云补全的通用性和鲁棒性，并使重建点云的局部结构更清晰、准确。

Description

一种点云补全方法和装置 技术领域
本发明涉及三维数据处理技术领域，更具体地，涉及一种点云补全方法和装置。
背景技术
点云是指在逆向工程中通过测量仪器得到的产品外观表面的点数据集合，通常使用三维坐标测量机得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。随着深度相机和激光雷达3D扫描设备的普及，点云的获取变得越来越容易，最近吸引了视觉和机器人界的大量研究兴趣。然而，由于遮挡、噪声等原因，扫描的三维点云通常是不完整的，这阻碍了实际应用。因此，点云补全变得尤为关键，其目的是通过局部观测预测完整的形状，并且预测形状的局部结构应清晰、准确且无噪声。
在现有技术中，为实现点云补全，引入了多视图空间(MVP)数据集，其中包含100000多个高质量扫描的部分和完整点云。与其他数据集相比，MVP数据集在统一视图和丰富类别的数据多样性方面更具挑战性。这是因为：(1)对于每个完整物体，其对应的残缺物体从26个视角中随机渲染，残缺点云的结构差异很大，从而限制了现有方法的通用性。(2)16个物体类别进一步增加了数据的多样性。可以观察到，尽管每个残缺物体都是从不同的视图渲染的，但所有残缺点云都共享对象的基本形状属性(全局形状代码和语义类别信息)。基于这一事实，利用底层形状属性在点云补全中尤为关键，这些形状属性还可以引导局部表示更接近同一对象的整体区分性特征。当前主流方法通常将全局表示作为附加特征，连接到生成阶段的每个点。但是，此操作不能直接有效地影响逐点表示。
综上，由于视点、遮挡和噪声，实际扫描的点云通常不完整。现有的点云补全方法倾向于生成全局形状骨架，而缺乏精细的局部细节。此外，同一个点云的不同残缺形式都共享对象的基本形状属性(整体的形状信息和语义类别信息)。基于这一事实，利用基本形状属性尤为关键，这些形状属性还可以引导局部表示更接近同一对象的整体性的区分表示。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种点云补全方法和装置。
根据本发明的第一方面，提供一种点云补全方法。该方法包括以下步骤：
获取待补全目标的原始点云数据；
将所述原始点云数据输入到第一生成网络，获得第一完整点云数据；所述第一生成网络是采用增强的训练数据集训练获得；
将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果；其中第二生成网络利用语义表示引导生成第二完整点云数据。
根据本发明的第二方面，提供一种点云补全装置。该装置包括：
数据采集模块：用于获取待补全目标的原始点云数据；
第一点云生成模块：用于将所述原始点云数据输入到第一生成网络，获得第一完整点云数据；所述第一生成网络是采用增强的训练数据集训练获得；
第二点云生成模块：用于将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果；其中第二生成网络利用语义表示引导生成第二完整点云数据。
与现有技术相比，本发明的优点在于，现有方法基本上都是只有进行点云补全的生成阶段，不会去做二次的精细化处理，也没有语义引导，本发明设计了多阶段补全的网络结构，第一阶段利用“残缺-残缺”数据增强增加点云补全模型的对于残缺结构的鲁棒性，第二阶段利用语义引导的精细化处理进一步提升补全点云的质量。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的点云补全方法的流程图；
图2是根据本发明一个实施例的点云补全方法的整体过程示意图；
图3是根据本发明一个实施例的“残缺-残缺”数据增强示意图；
图4是根据本发明一个实施例的条件精细化网络示意图；
图5是根据本发明一个实施例的特征调制网络示意图；
图6是根据本发明一个实施例的多尺度雪花点反褶积模块示意图；
图7是根据本发明一个实施例的点云补全效果对比图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明提出了通用且独特的两阶段点云补全框架，第一阶段是鲁棒的 点云生成，第二阶段是语义引导的点云细化处理。例如，为了提高生成的点云的鲁棒性，第一阶段采用一个简洁的“残缺-残缺”数据增强模块，该模块进一步将原始残缺点云裁剪为新的残缺输入，并将原始残缺点云处理为完整输入。通过这种方式，可以增加不完整点云的多样性，以提高点云生成网络的泛化能力。第二阶段采用一种新的条件引导网络，该网络可以有效地利用语义表示作为动态指导，使用区分性类别信息来提高点云的精确性。此外，条件引导网络是轻量级的条件调制模块，可以将底层形状属性(语义信息和形状信息)融合到逐点局部表示中，而不是直接连接点云的全局特征，这种方式可以通过语义指导改善点云的局部分布。
具体地，结合图1和图2所示，所提供的点云补全方法包括以下步骤。
步骤S110，构建由生成网络和条件细化网络组成的总体网络架构。
参见图2所示，总体网络架构包括生成网络和精细化网络。在该实施例中，生成网络是设有“残缺-残缺”数据增强的VRCNet(变分关联点云补全网络)，条件精细化网络是改进的SnowFlakeNet(雪花点反褶积网络)，改进之处将在下文介绍。
在本文的描述中，“残缺-残缺”数据是指对原始残缺点云进行进一步缺陷处理后获得的增强或扩充的数据，通过数据扩充可以增加不完整点云的多样性，提高生成网络的通用性。条件精细化网络借助语义类别信息和形状信息进行更详细的细化，以进一步改善生成点云的质量。
综上，总体网络架构的生成阶段针对多种不完整点云结构生成完整点云，提高了点云补全的鲁棒性。随后，细化阶段用于细化具有类别标签和全局表示的区分性基本属性的完整点云。
步骤S120，训练设有“残缺-残缺”数据增强的生成网络，用于生成具有鲁棒性的完整点云。
以生成网络基于VRCNet构建为例，该网络由两个连续的编码器-解码器子网络组成，分别用作“概率建模”(PMNet)和“关系增强”(RENet)。PMNet从部分输入中嵌入全局形状表示和潜在分布，并生成粗骨架。然后，RENet努力通过学习多尺度局部点特征来增强结构关系，并在粗骨架上重建精细的完整点云。应理解的是，可设置更多的RENet以进一步增强结构 关系，本发明对子网络的数目和具体结构不进行限制。
为了提高点云生成的鲁棒性，训练生成网络的数据集的新增数据采用“残缺-残缺”数据扩充方法获得。如图3所示，可以对原始不完整点云(即残缺点云)进行随机裁剪(如随机挖除)获得残缺的残缺点云，并将其提供给模型以重建原始的不完整点云。这种增强可以增加PMNet的全局特征和潜在分布的多样性，并使RENet对不完整结构的变化具有更大的通用性。
在一个实施例中，增强后的训练数据集包含原始残缺点云与精标准完整点云之间的对应关系(对应下表1中的基础数据)，以及增强残缺点云与精标准残缺点云之间的对应关系(对应下表1的增强数据)。在该实施例中，所述的增强残缺点云可通过对残缺点云进行二次缺陷处理获得(标记为残缺的残缺)，二次缺陷处理例如采用随机裁剪或随机挖除方式。
表1增强的训练数据集
Figure PCTCN2021138550-appb-000001
应理解的是，这种训练数据集构建方式，既能够提高后续模型训练或模型应用的效率，也能够增强模型的鲁棒性。这主要体现在，一方面引入精标准的残缺点云相比于精标准的完整点云，具有更丰富的形状结构，有利于提升鲁棒性。另一方面，优选地，训练数据对中不包含残缺-残缺点云与精标准完整点云之间的对应关系，从而避免了由于输入图像和输出图像之间的差距过大，影响模型训练的复杂度或模型应用过程的效率。
需说明的是，上述数据增强是将已有的部分残缺点云数据进行二次残缺处理，这种数据增强方式在不需要采集过多原始残缺点云的前提下，获得了多样性的残缺形式，并且通过随机裁剪可以获得多种类型的缺陷形式，以及多种缺陷比率，可对应现实应用中采集点云数据的多种场景(如遮挡、噪声、不同视角等)，进而使生成网络对不同的残缺形式更具鲁棒性，并增加了网络的泛化性能。而传统的翻转，位移等数据增强方式仅对二维图 像具有一定的效果，对于三维点云表示的意义不大。
此外，通过对生成网络进行自监督重建预训练可以在下游微调完成任务中达到良好的初始点。与从头开始的训练相比，自监督可以实现更广泛的优化，并且更容易优化。
步骤S130，以生成网络输出的预测完整点云为输入，利用基于语义指导的条件细化网络进行区分性点云细化。
为了与上述生成网络进行区分，将第二阶段使用的点云生成模型标记为条件细化网络或条件精细化网络，旨在细化具有更多几何细节和语义信息的完整点云。图4是条件细化网络的结构，其中特征调制模块(或称特征调制网络)可以通过语义引导有效地进行点表示，而多尺度SPD模块(雪花点反褶积模块)可以通过多尺度上下文聚合细化点云以显示更多的几何结构。将在下文详细描述特征调制模块和多尺度SPD模块。
利用物体的形状属性(全局形状信息和语义类别信息)可以鼓励残缺表示更接近同一对象的整体区分性表示，这可以作为点云细化的指导。现有的方法仅通过连接和局部表示来合并全局信息，但是连接不够有效，并且它显著增加了MLP(多层感知器)的权重(如表3中的模型F)。现有方法也忽略了包含区分语义的重要类别信息。为此，在一个实施例中，提出了用于点云细化的轻量级条件建模模块(即特征调制模块)。除了实现对全局点云表示的调整外，该模块还便于扩展，以了解局部增强效果，从而重新定义点云。
如图5所示，为了使网络能够处理需要语义类别信息(以MVP数据集16个类别为例)和全局形状信息的操作，该实施例利用特征调制模块来调整条件细化网络的中间位移特征。具体地，使用条件向量ω来影响局部特征表示的聚类中心，并使用条件向量β来微调特征空间中的方差。因此，可以用很少的参数实现点特征的全局调整。局部特征被认为比其他对象的特征更接近同一对象，因此，每个对象的局部表示都会受到不同的语义信息和全局形状信息的影响。因此，所提供的特征调制模块不容易与不同语义信息下的相似局部结构相混淆。
为了揭示完整形状上的精细局部几何细节，现有方法通常采用基于折 叠的策略来获得变化，以学习重复点的不同位移。但是，基于折叠的策略忽略了原始点中包含的局部形状特征，因为采样的二维网格相同。与基于折叠的策略不同，SnowflakeNet使用SPD将从父点生成的子点重新构造为雪花的生长过程，其中，父点特征嵌入的形状特征通过逐点拆分操作被提取并继承到子点中。并且还引入了一种新的跳跃transformer(转换器)来学习SPD模块中的分裂模式，该SPD模块可以学习形状上下文以及子点和父点之间的特殊关系。
本发明的条件精细化网络旨在完善完整点云的局部几何细节，为实现这一目的，对SnowflakeNet进行了改进。尽管使用了与SPD类似的结构，但不同的是，本发明的输入是来自生成网络的N＝2048个点的预测完成点云，并且没有使用逐点分裂操作来增加点的数量，本发明只获得多尺度SPD模块中每个点的坐标变化，如图6所示。为了进一步细化局部几何细节，在条件细化网络中使用了三个多尺度SPD，如图4所示。为了便于连续多尺度SPD以连贯的方式细化点，优选地，使用多个skip transformer(跳跃转换器)从不同层学习和细化空间上下文。此外，为了提高对分级局部结构变化的鲁棒性，在多尺度SPD模块中采用了具有不同局部区域的多尺度跳连transformer。
结合图6所示，在第i个多尺度SPD模型中，将前一层的细化点云作为P i-1∈R N×？，提取的每点特征
Figure PCTCN2021138550-appb-000002
来自P i-1∈R N×？。然后发送位移特征
Figure PCTCN2021138550-appb-000003
来自先前的特征调制模块和
Figure PCTCN2021138550-appb-000004
分为两个具有不同局部区域的跳跃转换器，用于局部特征学习。然后将多尺度局部特征反馈给MLP，得到当前层的位移特征K i。在一个实施例中，可以使用K i生成点坐标的偏移量表示为：
Figure PCTCN2021138550-appb-000005
其中tanh是hyper-tangent激活，MLP是多层感知器。最后精细化的点云更新为：
Figure PCTCN2021138550-appb-000006
应理解的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的改变或变型。例如，特征调制网络可以采用更优秀的特征提取器。又如，可以将生成网络或条件细化网络更换为其他类型的点云补全网络。或者除了Relu、tanh激活函数外，也可采用其他类型 的非线性激活函数等。
相应地，本发明还提供一种点云补全装置，用于实现上述方法的一个方面或多个方面。例如，该装置包括：数据采集模块，其用于获取待补全目标的原始点云数据；第一点云生成模块，其用于将所述原始点云数据输入到第一生成网络，获得第一完整点云数据，所述第一生成网络是采用增强的训练数据集训练获得；第二点云生成模块，其用于将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果，其中第二生成网络利用语义表示引导生成第二完整点云数据。该装置涉及的各模块可采用处理器、专用硬件或FPGA等实现。
需说明的是，本发明涉及的生成网络等深度学习模型的训练过程可在服务器或云端离线进行，将经训练的模型嵌入到电子设备即可实现实时的点云补全。该电子设备可以是终端设备或者服务器，终端设备包括手机、平板电脑、个人数字助理(PDA)、销售终端(POS)、车载电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)等任意终端设备。服务器包括但不限于应用服务器或Web服务器，可以为独立服务器或者集群服务器或云服务器等。在实际的模型应用中，终端设备可以直接从点云数据采集设备处获取待补全目标的原始点云数据。例如，点云数据采集设备扫描特定的对象(物体或场景)得到目标原始点云数据后，可以将该目标原始点云数据通过网络发送给终端设备。又如，点云数据采集设备也可以响应于终端设备的请求而发送数据，从而向终端设备返回目标原始点云数据。或者终端设备也可以从专用于存储原始点云数据的数据库中获取目标原始点云数据。本发明对终端设备获取目标原始点云数据的方式不作限定。
为进一步验证本发明的效果，进行了消融研究和定性可视化实验，参见下表2、表3、表4和图7所示。经验证，本发明可以在官方公共测试集上实现5.01平均倒角距离的精度。此外，在16384个点的MVP原始数据集上执行了本发明的方法，平均倒角距离为2.51，这证明了本发明的有效性和鲁棒性。
表2本发明和现有模型的点云补全对比
Figure PCTCN2021138550-appb-000007
表2是MVP数据集(16384点)上点云补全结果对比，其中平均倒角距离是乘以10000的结果。
表3本发明和现有模型的点云补全对比
Figure PCTCN2021138550-appb-000008
表3是MVP数据集(2048点)上点云补全结果对比，其中平均倒角距离是乘以10000的结果。
在表2和表3中，将本发明的方法与MVP原始数据集上的其他评估方法进行比较，由评估的平均倒角距离和F1分数可知，本发明的方法在平均倒角距离和F1分数指标上优于其他现有方法。
表4本发明在MVP补全任务中的消融研究
Figure PCTCN2021138550-appb-000009
Figure PCTCN2021138550-appb-000010
通过表4中的实验验证，提出的数据扩充确实可以提高补码网络的性能。此外，只有43k参数的特征调制模块可以将平均倒角距离从5.41降低到5.32。除了模型G中特征调制模块的有效性之外，模型G中的细化网络的参数(2.27M)比模型F的参数(2.33M)少。由此可以证明，本发明能实现更好的精度和效率平衡。
此外，为了验证增强训练数据集的效果，分别对比了基础数据(即现有技术)以及三种数据增强方式下的效果，参见下表5和表6。
表5数据增强形式对比
Figure PCTCN2021138550-appb-000011
Figure PCTCN2021138550-appb-000012
表6“残缺-残缺”数据增强残缺比率最大阈值对比
残缺比率(最大阈值设置) 0.1 0.3 0.5 0.7 0.9
倒角距离 6.03 5.92 5.82 5.88 5.91
由表5可以看出，本发明实施例通过增加残缺-残缺点云与精标准残缺点云数据对，实现了最优的倒角距离(即5.82)，相对于其他两种数据增强方式，可以获得更好的点云补全效果。表6证明了在不同残缺比率下，本发明的数据增强方式均优于其他方式，也说明了通过设置残缺比率可以进一步优化模型训练。
综上所述，相对于现有技术，本发明至少具有以下方面的优势：
1)、为了通过区分语义信息揭示完整形状上的精细局部几何细节，本发明提出了一个两阶段点云完成框架，其中第一阶段(生成网络)用于增强生成完整点云的鲁棒性，第二阶段使用“残缺-残缺”增强(细化网络)可以有效地利用语义表示作为动态指导，使用分类信息促进点云细化。此外，本发明的细化网络还可以使缺失部分的分布更加均匀(如图7所示)。经验证，本发明在MVP数据集上取得了顶尖的性能，同时补全的点云质量比较好。
2)、提出了一个用于点云完成的简洁的“残缺-残缺”数据增强模块，可以增加不完整结构的多样性，提高生成网络的通用性和鲁棒性。表3中的烧蚀研究证实，这种数据增强可以改善生成网络的性能。
3)、提出了一种新的条件调制模型，以有效地利用语义表示作为动态指导，使用区分性类别信息促进点云细化，鼓励局部表示比其他对象的特征更接近同一对象。
4)、经验证本发明的推理时间是有效的。对于测试点云，生成阶段 的平均推理时间为0.192s，而细化阶段的推理时间为0.008s。推理时间是有效的。
需要说明的是，本发明提供的点云补全方法可以应用于多种点云处理场景，例如，用于建模游戏中的虚拟物体或者虚拟场景，或者应用于交通环境建模、医学图像建模、产品设计等场景。本发明对适用的应用场景做任何限定。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构 (ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图 中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (17)

  1. 一种点云补全方法，包括以下步骤：
    获取待补全目标的原始点云数据；
    将所述原始点云数据输入到第一生成网络，获得第一完整点云数据；所述第一生成网络是采用增强的训练数据集训练获得；
    将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果；其中第二生成网络利用语义表示引导生成第二完整点云数据。
  2. 根据权利要求1所述的方法，其特征在于，所述增强的训练数据集表征原始残缺点云与精标准完整点云之间的对应关系、增强残缺点云与精标准残缺点云之间的对应关系；所述增强残缺点云通过对残缺点云进行二次缺陷处理获得
  3. 根据权利要求2所述的方法，其特征在于，所述增强残缺点云是对原始残缺点云进行随机挖除获得，所述精标准残缺点云通过补全原始残缺点云获得。
  4. 根据权利要求1所述的方法，其特征在于，所述第一生成网络基于点云补全网络构建，包括两个连续的子网络，其中第一子网络用于生成粗骨架；第二子网络在粗骨架上重建第一完整点云数据。
  5. 根据权利要求1所述的方法，其特征在于，所述第二生成网络是条件精细化网络，其包含多个多尺度雪花点反褶积模块和特征调制网络；所述多尺度雪花点反褶积模块用于学习输入点云的中间特征，并通过多尺度上下文聚合细化点云结构。
  6. 根据权利要求5所述的方法，其特征在于，对于各多尺度雪花点反褶积模块，其输出的位移特征利用所述特征调制网络通过语义引导进行点表示。
  7. 根据权利要求5所述的方法，其特征在于，对于连续多尺度雪花点反褶积模块，利用多尺度的跳跃转换器从不同层学习和细化空间上下文。
  8. 根据权利要求7所述的方法，其特征在于，针对多尺度雪花点反褶积模块i，执行以下步骤
    针对前一层的输出的点云P i-1∈R N×3，提取每点特征
    Figure PCTCN2021138550-appb-100001
    将位移特征
    Figure PCTCN2021138550-appb-100002
    和
    Figure PCTCN2021138550-appb-100003
    发送至两个具有不同局部区域的跳跃转换器，获得多尺度局部特征；
    将所述多尺度局部特征反馈给多层感知器，得到当前层的位移特征K i；
    使用K i生成点坐标的偏移量
    Figure PCTCN2021138550-appb-100004
    进而将当前层的点云更新为
    Figure PCTCN2021138550-appb-100005
  9. 根据权利要求5所述的方法，其特征在于，所述特征调制网络基于目标的类别信息和第一生成网络学习到的全局形状特征获得条件变量ω和条件变量β，其中条件变量ω与目标类别信息相关，用于调节局部特征表示的聚类中心；条件变量β与目标类别信息以及第一生成网络学习到的全局形状特征相关，用于调节特征空间中的方差。
  10. 一种点云补全装置，包括：
    数据采集模块：用于获取待补全目标的原始点云数据；
    第一点云生成模块：用于将所述原始点云数据输入到第一生成网络，获得第一完整点云数据；所述第一生成网络是采用增强的训练数据集训练获得；
    第二点云生成模块：用于将第一完整点云数据输入第二生成网络，获得第二完整点云数据，作为补全结果；其中第二生成网络利用语义表示引导生成第二完整点云数据。
  11. 根据权利要求10所述的装置，其特征在于，所述第二生成网络是条件精细化网络，其包含多个多尺度雪花点反褶积模块和特征调制网络；所述多尺度雪花点反褶积模块用于学习输入点云的中间特征，并通过多尺度上下文聚合细化点云结构。
  12. 根据权利要求11所述的装置，其特征在于，对于各多尺度雪花点反褶积模块，其输出的位移特征利用所述特征调制网络通过语义引导进行点表示。
  13. 根据权利要求10所述的装置，其特征在于，对于连续多尺度雪花点反褶积模块，利用多尺度的跳跃转换器从不同层学习和细化空间上下文。
  14. 根据权利要求13所述的装置，其特征在于，针对多尺度雪花点反褶积模块i，执行以下步骤：
    针对前一层的输出的点云P i-1∈R N×3，提取每点特征
    Figure PCTCN2021138550-appb-100006
    将位移特征
    Figure PCTCN2021138550-appb-100007
    和
    Figure PCTCN2021138550-appb-100008
    发送至两个具有不同局部区域的跳跃转换器，获得多尺度局部特征；
    将所述多尺度局部特征反馈给多层感知器，得到当前层的位移特征K i；
    使用K i生成点坐标的偏移量
    Figure PCTCN2021138550-appb-100009
    进而将当前层的点云更新为
    Figure PCTCN2021138550-appb-100010
  15. 根据权利要求11所述的装置，其特征在于，所述特征调制网络基于目标的类别信息和第一生成网络学习到的全局形状特征获得条件变量ω和条件变量β，其中条件变量ω与目标类别信息相关，用于调节局部特征表示的聚类中心；条件变量β与目标类别信息以及第一生成网络学习到的全局形状特征相关，用于调节特征空间中的方差。
  16. 一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至9中任一项所述方法的步骤。
  17. 一种电子设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9中任一项所述的方法的步骤。
PCT/CN2021/138550 2021-11-15 2021-12-15 一种点云补全方法和装置 WO2023082415A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111349742.1A CN113902061A (zh) 2021-11-15 2021-11-15 一种点云补全方法和装置
CN202111349742.1 2021-11-15

Publications (1)

Publication Number Publication Date
WO2023082415A1 true WO2023082415A1 (zh) 2023-05-19

Family

ID=79194373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/138550 WO2023082415A1 (zh) 2021-11-15 2021-12-15 一种点云补全方法和装置

Country Status (2)

Country Link
CN (1) CN113902061A (zh)
WO (1) WO2023082415A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630721A (zh) * 2023-06-14 2023-08-22 电子科技大学中山学院 基于局部特征补全的图像分类方法、装置、设备及介质
CN116721399A (zh) * 2023-07-26 2023-09-08 之江实验室 一种量化感知训练的点云目标检测方法及装置
CN117408999A (zh) * 2023-12-13 2024-01-16 安格利(成都)仪器设备有限公司 一种利用点云补全自动检测容器和管道腐蚀坑的方法
CN117975202A (zh) * 2024-04-01 2024-05-03 之江实验室 模型训练方法、业务执行方法、装置、介质及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496881B (zh) * 2022-10-19 2023-09-22 南京航空航天大学深圳研究院 单目图像辅助的大型飞机点云补全方法
CN116402953B (zh) * 2023-04-26 2024-04-19 华中科技大学 一种浮式平台上基于双立目数据的波面重构方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184589A (zh) * 2020-09-30 2021-01-05 清华大学 一种基于语义分割的点云强度补全方法及系统
CN112529015A (zh) * 2020-12-17 2021-03-19 深圳先进技术研究院 一种基于几何解缠的三维点云处理方法、装置及设备
CN113052955A (zh) * 2021-03-19 2021-06-29 西安电子科技大学 一种点云补全方法、系统及应用
CN113240594A (zh) * 2021-04-27 2021-08-10 四川大学 一种基于多层级的高质量点云补全方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184589A (zh) * 2020-09-30 2021-01-05 清华大学 一种基于语义分割的点云强度补全方法及系统
CN112529015A (zh) * 2020-12-17 2021-03-19 深圳先进技术研究院 一种基于几何解缠的三维点云处理方法、装置及设备
CN113052955A (zh) * 2021-03-19 2021-06-29 西安电子科技大学 一种点云补全方法、系统及应用
CN113240594A (zh) * 2021-04-27 2021-08-10 四川大学 一种基于多层级的高质量点云补全方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PENG XIANG; XIN WEN; YU-SHEN LIU; YAN-PEI CAO; PENGFEI WAN; WEN ZHENG; ZHIZHONG HAN: "SnowflakeNet: Point Cloud Completion by Snowflake Point Deconvolution with Skip-Transformer", ARXIV.ORG, 27 October 2021 (2021-10-27), XP091067388 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630721A (zh) * 2023-06-14 2023-08-22 电子科技大学中山学院 基于局部特征补全的图像分类方法、装置、设备及介质
CN116630721B (zh) * 2023-06-14 2024-02-13 电子科技大学中山学院 基于局部特征补全的图像分类方法、装置、设备及介质
CN116721399A (zh) * 2023-07-26 2023-09-08 之江实验室 一种量化感知训练的点云目标检测方法及装置
CN116721399B (zh) * 2023-07-26 2023-11-14 之江实验室 一种量化感知训练的点云目标检测方法及装置
CN117408999A (zh) * 2023-12-13 2024-01-16 安格利(成都)仪器设备有限公司 一种利用点云补全自动检测容器和管道腐蚀坑的方法
CN117408999B (zh) * 2023-12-13 2024-02-20 安格利(成都)仪器设备有限公司 一种利用点云补全自动检测容器和管道腐蚀坑的方法
CN117975202A (zh) * 2024-04-01 2024-05-03 之江实验室 模型训练方法、业务执行方法、装置、介质及设备

Also Published As

Publication number Publication date
CN113902061A (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
WO2023082415A1 (zh) 一种点云补全方法和装置
US9916524B2 (en) Determining depth from structured light using trained classifiers
Song et al. A novel partial point cloud registration method based on graph attention network
Samavati et al. Deep learning-based 3D reconstruction: a survey
Wu et al. LRA-Net: local region attention network for 3D point cloud completion
Lu et al. Pyramid frequency network with spatial attention residual refinement module for monocular depth estimation
Shi et al. Context‐guided ground truth sampling for multi‐modality data augmentation in autonomous driving
Tan et al. 3D detection transformer: Set prediction of objects using point clouds
Yuan et al. A survey of recent 3D scene analysis and processing methods
CN116433904A (zh) 一种基于形状感知和像素卷积的跨模态rgb-d语义分割方法
JP2023095806A (ja) 三次元データ強化、モデルトレーニング検出方法、機器および自動運転車両
Feng et al. Exploring the potential of Siamese network for RGBT object tracking
El Hazzat et al. Improvement of 3D reconstruction based on a new 3D point cloud filtering algorithm
CN114266850A (zh) 一种基于连续标准化流及对抗精细化网络的点云补全方法
Shao et al. CSNet: Cascade stereo matching network using multi‐information cost volume
Chen et al. Point cloud 3D object detection method based on density information-local feature fusion
Chen et al. Monocular 3D Pedestrian Localization Fusing with Bird's Eye View
Mu Pose Estimation‐Assisted Dance Tracking System Based on Convolutional Neural Network
Hu et al. Constructing an efficient and adaptive learning model for 3D object generation
An et al. OL-Reg: Registration of Image and Sparse LiDAR Point Cloud with Object-Level Dense Correspondences
Jiang et al. DeepGCNs-Att: Point cloud semantic segmentation with contextual point representations
Wang et al. Learning multiscale spatial context for three-dimensional point cloud semantic segmentation
Hamzah et al. Improvement of disparity map refinement stage using adaptive least square plane fitting technique
US20240153046A1 (en) Multi-view segmentation and perceptual inpainting with neural radiance fields
Feng et al. [Retracted] 3D Point Cloud Data Registration Algorithm Based on Augmented Reality Technology