WO2025152142A1 - 码率可变的点云压缩方法、装置、设备及存储介质 - Google Patents

码率可变的点云压缩方法、装置、设备及存储介质

Info

Publication number
WO2025152142A1
WO2025152142A1 PCT/CN2024/073219 CN2024073219W WO2025152142A1 WO 2025152142 A1 WO2025152142 A1 WO 2025152142A1 CN 2024073219 W CN2024073219 W CN 2024073219W WO 2025152142 A1 WO2025152142 A1 WO 2025152142A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
bit rate
probability matrix
compressed
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/073219
Other languages
English (en)
French (fr)
Inventor
高伟
祁志洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to PCT/CN2024/073219 priority Critical patent/WO2025152142A1/zh
Priority to CN202480000084.0A priority patent/CN118140251A/zh
Publication of WO2025152142A1 publication Critical patent/WO2025152142A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Definitions

  • the present application relates to the technical field of point cloud data processing, and in particular to a point cloud compression method, device, equipment and storage medium with variable bit rate.
  • Three-dimensional point cloud is an important form of digitalization of the real world, and has been widely used in fields such as autonomous driving and virtual reality.
  • the resolution of point cloud is gradually improving, which leads to an increase in the amount of point cloud data. Therefore, how to compress point cloud data and reduce the amount of point cloud data is an urgent problem to be solved.
  • a point cloud compression framework based on a neural network structure is usually used to achieve compression of point clouds.
  • the point cloud compression framework of the neural network structure uses a convolutional neural network to form an encoder and a decoder, and then trains the entire framework by jointly optimizing the bit rate and distortion, thereby achieving the effect of compression and restoration of the point cloud.
  • this method can only achieve one compression code rate in the trained neural network model.
  • this method needs to train multiple neural network models to meet the requirements of different scenarios. Training multiple neural network models requires a large amount of computing resources and occupies a large amount of storage resources, resulting in high resource consumption.
  • the main purpose of this application is to provide a point cloud compression method, device, equipment and storage medium with variable bit rate, aiming to solve the technical problem of high resource consumption in the prior art.
  • the present application provides a point cloud compression method with variable bit rate, and the point cloud compression method with variable bit rate includes:
  • point cloud compression of the scale corresponding to the scaling factor is performed through a preset point cloud compression model and a scale linear transformation module of the point cloud compression model to obtain a compressed point cloud that meets the required bit rate, wherein the training configuration parameters of the point cloud compression model include the scaling factor, and the point cloud compression model includes a scale linear transformation module, and the scale linear transformation module is used to achieve feature scaling of different scales.
  • the step of compressing the point cloud to be compressed by a preset point cloud compression model and a scale linear transformation module of the point cloud compression model to obtain a compressed point cloud meeting the required bit rate includes:
  • the potential representation is compressed to obtain a compressed point cloud that meets the required bit rate.
  • the method comprises:
  • the point cloud features after the first convolution are compressed at a scale corresponding to the scaling factor, and a first probability matrix of the potential representation is output, wherein the first probability matrix reflects the side information of the point cloud to be compressed.
  • the step of compressing the potential representation based on a preset first encoding module to obtain a compressed point cloud that meets the required bit rate includes:
  • the potential representation and the first probability matrix are compressed to obtain a compressed point cloud that meets the required bit rate.
  • the method comprises:
  • the compressed first probability matrix is decompressed to obtain a decompressed first probability matrix, so as to transmit the first probability matrix to a preset first encoding module.
  • the step of compressing the potential representation based on a preset first encoding module to obtain a compressed point cloud that meets the required bit rate includes:
  • the potential representation and the decompressed first probability matrix are compressed to obtain a compressed point cloud that meets the required bit rate.
  • the method comprises:
  • the first probability matrix and the target probability matrix are compressed to obtain a compressed first probability matrix.
  • determining a first probability matrix of the potential representation Based on a preset super-prior network, determining a first probability matrix of the potential representation, wherein the first probability matrix reflects the side information of the point cloud to be compressed, and the processing process of the potential representation by the channel context conversion network and the super-prior network is synchronously performed;
  • the first probability matrix and the second probability matrix are aggregated to obtain a third probability matrix.
  • the step of compressing the potential representation based on a preset first encoding module to obtain a compressed point cloud that meets the required bit rate includes:
  • the potential representation and the third probability matrix are compressed to obtain a compressed point cloud that meets the required bit rate.
  • the aggregation module includes a mixed reference mean aggregation module and a mixed reference variance aggregation module, and the step of aggregating the first probability matrix and the second probability matrix based on the preset aggregation module to obtain a third probability matrix includes:
  • a serial convolution module used for performing serial iterative feature convolution on the potential representation based on a preset channel context conversion network to obtain a point cloud feature after the second convolution;
  • the third encoding module is used to compress the potential representation and the third probability matrix based on the preset first encoding module to obtain a compressed point cloud that meets the required bit rate.
  • the aggregation module includes:
  • a mean aggregation module configured to extract, based on a preset hybrid reference mean aggregation module, a first mean of the first probability matrix and a second mean of the second probability matrix, respectively, and aggregate the first mean and the second mean to obtain an aggregated target mean;
  • a variance aggregation module used for respectively extracting a first variance entropy parameter of the first probability matrix and a second variance entropy parameter of the second probability matrix based on a preset mixed reference variance aggregation module, and aggregating the first variance entropy parameter and the second variance entropy parameter to obtain an aggregated target variance entropy parameter;
  • the determining module 20 includes:
  • the point cloud features are compressed at a scale corresponding to the scaling factor to obtain a potential representation of the point cloud to be compressed;
  • the method comprises:
  • the point cloud features after the first convolution are compressed at a scale corresponding to the scaling factor, and a first probability matrix of the potential representation is output, wherein the first probability matrix reflects the side information of the point cloud to be compressed.
  • the step of compressing the potential representation based on a preset first encoding module to obtain a compressed point cloud that meets the required bit rate includes:
  • the preset first encoding module compresses the potential representation to obtain a compressed code satisfying the required code rate.
  • the steps of point cloud include:
  • the method comprises:
  • the aggregation module includes a mixed reference mean aggregation module and a mixed reference variance aggregation module, and the step of aggregating the first probability matrix and the second probability matrix based on the preset aggregation module to obtain a third probability matrix includes:
  • the step of determining a scaling factor corresponding to the required bit rate includes:
  • scaling factors are training configuration parameters obtained after the point cloud compression model training is completed;
  • the target scaling factor is adjusted and calculated to obtain an adjusted scaling factor, and the adjusted scaling factor is used as the scaling factor corresponding to the required bit rate.
  • the present application also provides a computer program product, including a computer program, which, when executed by a processor, implements the steps of the above-mentioned variable bit rate point cloud compression method.
  • the technical solution of the present application is essentially or the part that contributes to the prior art can be embodied in the form of a software product, which is stored in a storage medium (such as ROM/RAM, magnetic disk, optical disk) as described above, and includes a number of instructions for a terminal device (which can be a mobile phone, computer, server, air conditioner, or network device, etc.) to execute the methods described in each embodiment of the present application.
  • a storage medium such as ROM/RAM, magnetic disk, optical disk
  • a terminal device which can be a mobile phone, computer, server, air conditioner, or network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种码率可变的点云压缩方法、装置、设备及存储介质，所述码率可变的点云压缩方法包括：获取待压缩点云和需求码率；确定所述需求码率对应的缩放因子；基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。本申请通过点云压缩模型的尺度线性变换模块，对待压缩点云进行缩放因子的缩放，得到满足用户需求码率的压缩点云，只需训练一个点云压缩模型，从而降低资源的消耗。

Description

码率可变的点云压缩方法、装置、设备及存储介质 技术领域
本申请涉及点云数据处理技术领域，尤其涉及一种码率可变的点云压缩方法、装置、设备及存储介质。
背景技术
三维点云是现实世界数字化的重要表现形式，目前已经被广泛应用于自动驾驶和虚拟现实等领域。目前，随着点云技术的发展，点云的分辨率逐渐提高，进而导致点云的数据量增加，因此如何压缩点云数据，降低点云的数据量是当下急需解决的问题。
相关技术中，通常是采用基于神经网络结构的点云压缩框架，实现对点云的压缩，其中，该神经网络结构的点云压缩框架采用的是用卷积神经网络来组成编码器和解码器，然后通过联合优化比特率和失真来训练整个框架，进而实现点云的压缩复原的效果。但是该方法只能在训练好的神经网络模型实现一种压缩码率，为了实现不同压缩率，该方法需要训练多个神经网络模型来满足不同场景的要求，而训练多个神经网络模型需要消耗大量的计算资源，以及占用大量的存储资源，导致资源的消耗高。
发明内容
本申请的主要目的在于提供一种码率可变的点云压缩方法、装置、设备及存储介质，旨在解决现有技术中资源的消耗高的技术问题。
为实现以上目的，本申请提供一种码率可变的点云压缩方法，所述码率可变的点云压缩方法包括：
获取待压缩点云和需求码率；
确定所述需求码率对应的缩放因子；
基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。
可选地，所述基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云的步骤，包括：
基于所述待压缩点云，通过预设的点云压缩模型进行特征提取，得到点云特征；
基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示；
基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
基于预设的超先验网络，对所述潜在表示进行并行的特征卷积，得到第一卷积后的点云特征；
基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息。
可选地，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
基于预设的第一编码模块，对所述潜在表示和所述第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵的步骤之后，所述方法包括：
基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵；
基于预设的第一解码模块，对所述压缩后的第一概率矩阵进行解压，得到解压后的第一概率矩阵，以实现将第一概率矩阵传输至预设的第一编码模块。
可选地，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
基于预设的第一编码模块，对所述潜在表示和所述解压后的第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵的步骤之后，所述方法包括：
将所述第一概率矩阵输入至预设的分解密度熵模型，基于所述分解密度熵模型和所述分解密度熵模型的预设数量的熵参数，对所述第一概率矩阵进行概率计算，得到相应数量的所述第一概率矩阵的概率矩阵集合；
计算所述概率矩阵集合下各概率矩阵的传输码率值，并选取最小传输码率值对应的概率矩阵作为目标概率矩阵。
可选地，所述基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵的步骤，包括：
基于预设的第二编码模块，对所述第一概率矩阵和所述目标概率矩阵进行压缩，得到压缩后的第一概率矩阵。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
基于预设的信道上下文转换网络，对所述潜在表示进行串行迭代的特征卷积，得到第二卷积后的点云特征；
基于所述点云压缩模型的尺度线性变换模块，对所述第二卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第二概率矩阵，其中，所述第二概率矩阵反映了待压缩点云的信道上下文信息；
基于预设的超先验网络，确定所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息，所述信道上下文转换网络和所述超先验网络对潜在表示的处理过程是同步进行的；
基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵。
可选地，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
基于预设的第一编码模块，对所述潜在表示和所述第三概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述聚合模块包括混合参考均值聚合模块和混合参考方差聚合模块，所述基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵的步骤，包括：
基于预设的混合参考均值聚合模块，分别提取所述第一概率矩阵的第一均值和所述第二概率矩阵的第二均值，并将所述第一均值和所述第二均值进行聚合，得到聚合后的目标均值；
基于预设的混合参考方差聚合模块，分别提取所述第一概率矩阵的第一方差熵参数和所述第二概率矩阵的第二方差熵参数，并将所述第一方差熵参数和所述第二方差熵参数进行聚合，得到聚合后的目标方差熵参数；
基于所述聚合后的目标均值和所述聚合后的目标方差熵参数，组成第三概率矩阵。
可选地，所述确定所述需求码率对应的缩放因子的步骤，包括：
获取缩放因子集合，其中，缩放因子是在点云压缩模型训练完成后所训练得到的训练配置参数；
基于所述缩放因子集合，确定最接近所述需求码率的目标缩放因子；
基于预设的插值，对所述目标缩放因子进行调整计算，得到调整后的缩放因子，并将所述调整后的缩放因子作为所述需求码率对应的缩放因子。
本申请还提供一种码率可变的点云压缩装置，所述码率可变的点云压缩装置包括：
获取模块，用于获取待压缩点云和需求码率；
确定模块，用于确定所述需求码率对应的缩放因子；
压缩模块，用于基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。
本申请还提供一种码率可变的点云压缩设备，所述码率可变的点云压缩设备包括：存储器、处理器以及存储在存储器上的用于实现所述码率可变的点云压缩方法的程序，
所述存储器用于存储实现码率可变的点云压缩方法的程序；
所述处理器用于执行实现所述码率可变的点云压缩方法的程序，以实现所述码率可变的点云压缩方法的步骤。
本申请还提供一种存储介质，所述存储介质上存储有实现码率可变的点云压缩方法的程序，所述实现码率可变的点云压缩方法的程序被处理器执行以实现所述码率可变的点云压缩方法的步骤。
本申请在预训练的点云压缩模型的结构上设置有尺度线性变换模块，以及在点云压缩模型的训练配置参数上设置多个缩放因子，从而通过点云压缩模型的尺度线性变换模块，对待压缩点云进行缩放因子的缩放，得到满足用户需求码率的压缩点云，该方法只需训练一个点云压缩模型，无需训练多个神经网络模型，从而降低资源的消耗。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请码率可变的点云压缩方法第一实施例的流程示意图；
图2为本申请码率可变的点云压缩方法的点云压缩模型结构示意图；
图3为本申请码率可变的点云压缩方法第二实施例的流程示意图；
图4为本申请码率可变的点云压缩方法的点云压缩模型中各模块的结构示意图；
图5为本申请码率可变的点云压缩装置的模块示意图；
图6是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请码率可变的点云压缩方法第一实施例的流程示意图。
在第一实施例中，所述码率可变的点云压缩方法包括以下步骤：
步骤S100，获取待压缩点云和需求码率；
需要说明的是，所述码率可变的点云压缩方法的执行主体为码率可变的点云压缩装置，优选地，码率可变的点云压缩装置为软件客户端，也可以是其他具备数据传输、数据处理功能的终端，在此不做具体限制。
可理解的是，所述待压缩点云是指需求进行压缩到指定比特率的点云/或点云集合，所述需求码率是指用户对于点云压缩所需求的码率值，例如，用户的需求码率为0.3bpp，装置就需要将待压缩点云转换码率为0.3bpp的压缩点云。
在具体实现中，装置获取待压缩点云的方式可以是通过用户上传以获取待压缩点云，也可以是接收预设的点云采集装置所采集到的待压缩点云；装置获取需求码率的方式通常是通过用户根据自身需求上传需求码率信息以获取需求码率，也可以是其他方式，对于以上装置待压缩点云和需求码率的方式在此不做具体限定。
步骤S200，确定所述需求码率对应的缩放因子；
需要说明的是，所述缩放因子是神经网络模型(在本实施例中具体为点云压缩模型)中的训练配置参数，用于控制点云压缩模型所输出的压缩点云的码率值，通常点云压缩模型中设置多个对应不同码率的缩放因子，但为控制模型训练所消耗的计算资源，缩放因子数量不会设置很多，通常是用户需求码率最多的几个缩放因子。具体地，装置虽然可以将向量的数量设置的非常多来实现具有精细间隔的比特率，但是这样会增加SLT和ISLT模块的参数，会消耗大量的训练资源和存储资源，因此通常设置少量缩放因子。
例如，点云压缩模型中训练有0.1、0.3、0.5以及0.7四个码率的缩放因子，当需求码率为0.3时，装置选择0.3的缩放因子。
进一步地，由于缩放因子存在一定的间隔，因此存在需求码率与缩放因子不完全对应的情况，通常会使用最接近需求码率的缩放因子作为当前待压缩点云的缩放因子。
例如，点云压缩模型中训练有0.1、0.3、0.5以及0.7四个码率的缩放因子，当需求码率为0.45时， 装置选择0.5的缩放因子。
在具体实现中，装置确定所述需求码率对应的缩放因子的方法还包括以下步骤：
装置获取缩放因子集合，其中，缩放因子是在点云压缩模型训练完成后所训练得到的训练配置参数；基于所述缩放因子集合，确定最接近所述需求码率的目标缩放因子；基于预设的插值，对所述目标缩放因子进行调整计算，得到调整后的缩放因子，并将所述调整后的缩放因子作为所述需求码率对应的缩放因子。
需要说明的是，所述缩放因子集合是指神经网络模型中所配置的缩放因子的集合，即包括多个不同码率的缩放因子。由于装置仅设置少量的缩放因子，缩放因子存在一定的间隔，因此存在需求码率与缩放因子不完全对应的情况，基于此，本申请提出一种无需要训练的插值方法来解决这个问题，在预训练的码率的基础上，为了实现不在预训练码率点上的比特率，可以使用插值的方法来逼近给定比特率。
具体地，装置首先从所述缩放因子集合中确定最接近所述需求码率的目标缩放因子，该目标缩放因子具体为最接近所述需求码率的两个缩放因子，其中一个目标缩放因子为最接近所述需求码率且小于所述需求码率的缩放因子，另一个目标缩放因子为最接近所述需求码率且大于所述需求码率的缩放因子，例如，点云压缩模型中训练有0.1、0.3、0.5以及0.7四个码率的缩放因子，当需求码率为0.45时，目标缩放因子包括0.3和0.5。
在具体实现中，所述插值是人工设定的用于调整目标缩放因子的计算参数，范围为0-1，为了近似给定的码率，装置需要对目标缩放因子进行如下插值公式的转换：
Y＝(1-β)v1+βv2
其中，Y代表调整后的缩放因子，v1和v2代表两个目标缩放因子，β代表插值。
进一步地，插值调整的方法还可以在特征缩放过程中进行使用，具体地，特征需要做如下公式的变换：
其中表示通道级别的乘法，V′代表变换后特征，V代表变换前的特征，v1和v2代表两个目标缩放因子，β代表插值。
可理解的是，整个过程相当于生成了一个新的尺度因子来对特征进行缩放。为了更加准确的估计插值后的特征，超先验网络和混合信道先验模块也都进行了插值，来使得插值后的特征与插值后的熵参数相匹配。
在具体实现中，本申请设计了一种无需训练的插值方法，覆盖宽范围的比特率，实现任意的码率压缩，满足不同场景的要求。插值方法根据已经训练出的码率来插值生成新的码率，并且同时对熵参数插值，来匹配插值后的特征。
进一步地，利用插值的方法可以实现任意环境所要求的码率，对于给定的码率，本方法可以无限接近要求的码率，并且不需要重训练。与其他方法相比，其他方法只能从预训练的有限的几套参数里选择一套参数来满足给定的码率要求，并且不能无限的接近给定的码率，这会造成比特的浪费，并且不够灵活。
步骤S300，基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。
在具体实现中，本申请在点云压缩模型的模型结构上设置用于实现不同尺度的特征缩放的尺度线性变换模块，该尺度线性变换模块能够实现对所述待压缩点云进行相应所述缩放因子的尺度的点云缩放，以此得到满足所述需求码率的压缩点云。
具体地，参照图2的点云压缩模型结构示意图，编码器是包括特征提取模块(FEM)和尺度线性变换模块(SLT)的下采样网络，其中特征提取模块用于消除待压缩点云的特征中的冗余，并保留了用于重建的关键信息；解码器是包含特征重构模块(FRM)和逆尺度线性变换模块(ISLT)的上采样网络，其中特征重构模块基于保留的特征逐渐生成点云；Q在图中表示量化过程，Conv表示卷积神经网络，ReLU是一种激活函数，用于非线性变换；图2中的x代表输入点云，表示重建的点云；y和z代表被提取后的特征，被提取后的点云特征分为两部分，一部分几何特征使用八叉树无损编码，其中OE代表八叉树编码器，OD代表八叉树解码器；另一部分特征使用有损熵编码来进行压缩，其中AE代表算数编码器，AD代表算数解码器。
在具体实现中，装置基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云的方法还包括 以下步骤：
装置基于所述待压缩点云，通过预设的点云压缩模型进行特征提取，得到点云特征；基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示；基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云。
在具体实现中，参照图2，通过预设的点云压缩模型中的特征提取模块(FEM)对所述待压缩点云进行特征提取，得到点云特征，再通过所述点云压缩模型的尺度线性变换模块(SLT)对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示，其中所述潜在表示是包含待压缩点云重要特征的部分特征。进一步地，所述第一编码模块包括八叉树编码器OE以及算数编码器AE，将所述待压缩点云的潜在表示的一部分几何特征使用八叉树无损编码进行压缩，另一部分特征使用有损熵编码来进行压缩，得到满足所述需求码率的压缩点云。
在具体实现中，装置在基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
装置基于预设的超先验网络，对所述潜在表示进行并行的特征卷积，得到第一卷积后的点云特征；基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息；基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵，并基于预设的第一解码模块，对所述压缩后的第一概率矩阵进行解压，得到解压后的第一概率矩阵，以实现将第一概率矩阵传输至预设的第一编码模块；基于预设的第一编码模块，对所述潜在表示和所述解压后的第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
需要说明的是，在潜在表示进行算术编码和算术解码时，需要使用潜在表示的概率矩阵。本申请对于待压缩点云的概率矩阵的计算主要是通过预设的超先验网络，确定待压缩点云的边信息，进而得到潜在表示的第一概率矩阵，其中超先验网络在确定待压缩点云的边信息的过程中也需要进行尺度线性变换模块的压缩。
在具体实现中，装置在确定所述潜在表示的第一概率矩阵后，还需要将该第一概率矩阵传输至第一编码模块，以供装置基于预设的第一编码模块，对所述潜在表示和所述解压后的第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
基于此，参照图2，装置将第一概率矩阵z通过第二编码模块进行压缩，得到压缩后的第一概率矩阵，再基于预设的第一解码模块，对所述压缩后的第一概率矩阵进行解压，得到解压后的第一概率矩阵，以实现将第一概率矩阵传输至预设的第一编码模块，其中，第二编码模块与上述的第一编码模块的结构相同。本申请基于以上的传输，降低了第一概率矩阵传输的计算资源和存储资源。
在具体实现中，装置基于所述点云压缩模型的尺度线性变换模块，对所述卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵的步骤之后，所述方法包括：
装置将所述第一概率矩阵输入至预设的分解密度熵模型，基于所述分解密度熵模型和所述分解密度熵模型的预设数量的熵参数，对所述第一概率矩阵进行概率计算，得到相应数量的所述第一概率矩阵的概率矩阵集合；计算所述概率矩阵集合下各概率矩阵的传输码率值，并选取最小传输码率值对应的概率矩阵作为目标概率矩阵；基于预设的第二编码模块，对所述第一概率矩阵和所述目标概率矩阵进行压缩，得到压缩后的第一概率矩阵。
在具体实现中，尺度线性变换模块SLT模块和逆尺度线性变换模块ISLT模块被设计用来一个网络中实现离散的多个比特率。直接缩放潜在表示的数据范围将严重降低率失真性能，因此，装置对中间特征、潜在表示和熵参数进行缩放，以将特征与概率估计参数相匹配。其中SLT和ISLT模块是由多个矢量组成的矩阵，不同的矢量对应于不同的比特率。当压缩点云时，仅使用一个向量来缩放通道维度上的激活值。ISLT和SLT也会被嵌入到超先验网络和合信道先验模块网络中，实现熵参数的缩放。并且超先验网络生成的潜在表示也会消耗比特来用于传输数据。
基于此，本申请设计了一种分解密度熵模型(Factorized Model)来估计超先验网络生成的潜在表示的概率。多因子分解熵模型包含多组参数，用于估计不同比特率下潜在表示的概率。值得注意的是，因子分解密度模型的参数很少，因此多组参数不会消耗太多的存储资源。端到端的训练过程的目标降低消耗的比特率以及重构的点云的失真，二元交叉熵损失在梯度下降过程中作为损失函数。
进一步地，对于不同码率下的第一概率矩阵，多套分解密度熵模型会有多套参数对第一概率矩阵生成多个概率，然后对计算每个概率下传输第一概率矩阵所需要码率，并从中选出消耗码率最小的概率，即目标概率矩阵。这个目标概率矩阵和第一概率矩阵最终会输入到AE，即分解密度熵模型可以对不同的第一概率矩阵进行更准确的概率估计，更加节省比特，节省码率，降低传输资源和存储资源。
在具体实现中，本申请设计了一种尺度变换模块，来实现将多个码率嵌入到一套神经网络参数中。这种尺度变化模块被嵌入到点云编码网络的主编码网络，主解码网络和超先验网络中，不仅可以变化提取出的潜在特征，还能更好的实现与特征相匹配的熵估计。
本申请在预训练的点云压缩模型的结构上设置有尺度线性变换模块，以及在点云压缩模型的训练配置参数上设置多个缩放因子，从而通过点云压缩模型的尺度线性变换模块，对待压缩点云进行缩放因子的缩放，得到满足用户需求码率的压缩点云，该方法只需训练一个点云压缩模型，无需训练多个神经网络模型，从而降低资源的消耗。
基于上述的第一实施例，本申请还提供另一实施例，参照图3，所述码率可变的点云压缩方法包括：
装置在基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
步骤A100，基于预设的信道上下文转换网络，对所述潜在表示进行串行迭代的特征卷积，得到第二卷积后的点云特征；
步骤A200，基于所述点云压缩模型的尺度线性变换模块，对所述第二卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第二概率矩阵，其中，所述第二概率矩阵反映了待压缩点云的信道上下文信息；
在具体实现中，参照图2，本申请提出对通过预设的信道上下文转换网络CTT，确定待压缩点云的信道上下文信息，进而估计得到潜在表示的第二概率矩阵。
步骤A300，基于预设的超先验网络，确定所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息，所述信道上下文转换网络和所述超先验网络对潜在表示的处理过程是同步进行的；
在具体实现中，参照以上第一实施例中关于基于预设的超先验网络估算得到所述潜在表示的第一概率矩阵的步骤，在此不再赘述。
步骤A400，基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵；
在具体实现中，装置基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵的方法，还包括以下步骤：
装置基于预设的混合参考均值聚合模块，分别提取所述第一概率矩阵的第一均值和所述第二概率矩阵的第二均值，并将所述第一均值和所述第二均值进行聚合，得到聚合后的目标均值；基于预设的混合参考方差聚合模块，分别提取所述第一概率矩阵的第一方差熵参数和所述第二概率矩阵的第二方差熵参数，并将所述第一方差熵参数和所述第二方差熵参数进行聚合，得到聚合后的目标方差熵参数；基于所述聚合后的目标均值和所述聚合后的目标方差熵参数，组成第三概率矩阵。
在具体实现中，本申请还设计了混合先验网络来捕获边信息和信道上下文信息，以估计潜在表示的概率。具体地，混合先验网络包含一种混合信道先验模块(HCPM)来混合边信息和信道上下文信息，以获得更好的概率估计。边信息由超先验网络来捕获。混合信道先验模块包含信道上下文转换模块(CCT)、混合参考均值聚合模块(MRMA)和混合参考方差聚合模块(MRSA)组成。CCT捕获信道先验信息，以更好地消除出现的概率，而不消耗比特率。MRMA和MRSA分别聚合平均值和方差参数，分别对超先验网络生成的均值和方差熵参数和HCPM模块生成的均值和方差熵参数进行聚合。具体地，所有模块的组成可以参照图4。
步骤A500，基于预设的第一编码模块，对所述潜在表示和所述第三概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
本申请还提供一种码率可变的点云压缩装置，参照图5，所述码率可变的点云压缩装置包括：
获取模块10，用于获取待压缩点云和需求码率；
确定模块20，用于确定所述需求码率对应的缩放因子；
压缩模块30，用于基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。
可选地，所述压缩模块30，包括：
提取模块，用于基于所述待压缩点云，通过预设的点云压缩模型进行特征提取，得到点云特征；
特征压缩模块，用于基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩 放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示；
第一编码模块，用于基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述码率可变的点云压缩装置还包括：
并行卷积模块，用于基于预设的超先验网络，对所述潜在表示进行并行的特征卷积，得到第一卷积后的点云特征；
第一概率矩阵计算模块，用于基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息；
矩阵压缩模块，用于基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵；
解压模块，用于基于预设的第一解码模块，对所述压缩后的第一概率矩阵进行解压，得到解压后的第一概率矩阵，以实现将第一概率矩阵传输至预设的第一编码模块；
第二编码模块，用于基于预设的第一编码模块，对所述潜在表示和所述解压后的第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述码率可变的点云压缩装置还包括：
概率计算模块，用于将所述第一概率矩阵输入至预设的分解密度熵模型，基于所述分解密度熵模型和所述分解密度熵模型的预设数量的熵参数，对所述第一概率矩阵进行概率计算，得到相应数量的所述第一概率矩阵的概率矩阵集合；
选取模块，用于计算所述概率矩阵集合下各概率矩阵的传输码率值，并选取最小传输码率值对应的概率矩阵作为目标概率矩阵；
第三编码模块，用于基于预设的第二编码模块，对所述第一概率矩阵和所述目标概率矩阵进行压缩，得到压缩后的第一概率矩阵。
可选地，所述码率可变的点云压缩装置还包括：
串行卷积模块，用于基于预设的信道上下文转换网络，对所述潜在表示进行串行迭代的特征卷积，得到第二卷积后的点云特征；
第二概率矩阵计算模块，用于基于所述点云压缩模型的尺度线性变换模块，对所述第二卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第二概率矩阵，其中，所述第二概率矩阵反映了待压缩点云的信道上下文信息；
第一概率矩阵确定模块，用于基于预设的超先验网络，确定所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息，所述信道上下文转换网络和所述超先验网络对潜在表示的处理过程是同步进行的；
聚合模块，用于基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵；
第三编码模块，用于基于预设的第一编码模块，对所述潜在表示和所述第三概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述聚合模块，包括：
均值聚合模块，用于基于预设的混合参考均值聚合模块，分别提取所述第一概率矩阵的第一均值和所述第二概率矩阵的第二均值，并将所述第一均值和所述第二均值进行聚合，得到聚合后的目标均值；
方差聚合模块，用于基于预设的混合参考方差聚合模块，分别提取所述第一概率矩阵的第一方差熵参数和所述第二概率矩阵的第二方差熵参数，并将所述第一方差熵参数和所述第二方差熵参数进行聚合，得到聚合后的目标方差熵参数；
组合模块，用于基于所述聚合后的目标均值和所述聚合后的目标方差熵参数，组成第三概率矩阵。
可选地，所述确定模块20，包括：
缩放因子集合获取模块，用于获取缩放因子集合，其中，缩放因子是在点云压缩模型训练完成后所训练得到的训练配置参数；
目标缩放因子确定模块，用于基于所述缩放因子集合，确定最接近所述需求码率的目标缩放因子；
插值调整模块，用于基于预设的插值，对所述目标缩放因子进行调整计算，得到调整后的缩放因子，并将所述调整后的缩放因子作为所述需求码率对应的缩放因子。
本申请码率可变的点云压缩装置具体实施方式与上述码率可变的点云压缩方法各实施例基本相同，在此不再赘述。
参照图6，图6是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图6所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，该码率可变的点云压缩设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图5中示出的码率可变的点云压缩设备结构并不构成对码率可变的点云压缩设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块以及码率可变的点云压缩程序。操作系统是管理和控制码率可变的点云压缩设备硬件和软件资源的程序，支持码率可变的点云压缩程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与码率可变的点云压缩系统中其它硬件和软件之间通信。
在图6所示的码率可变的点云压缩设备中，处理器1001用于执行存储器1005中存储的码率可变的点云压缩程序，实现上述任一项所述的码率可变的点云压缩方法的步骤。
本申请码率可变的点云压缩设备具体实施方式与上述码率可变的点云压缩方法各实施例基本相同，在此不再赘述。
本申请还提供一种存储介质，所述存储介质上存储有实现码率可变的点云压缩方法的程序，所述实现码率可变的点云压缩方法的程序被处理器执行以实现如下所述码率可变的点云压缩方法：
获取待压缩点云和需求码率；
确定所述需求码率对应的缩放因子；
基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。
可选地，所述基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云的步骤，包括：
基于所述待压缩点云，通过预设的点云压缩模型进行特征提取，得到点云特征；
基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示；
基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
基于预设的超先验网络，对所述潜在表示进行并行的特征卷积，得到第一卷积后的点云特征；
基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息。
可选地，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
基于预设的第一编码模块，对所述潜在表示和所述第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵的步骤之后，所述方法包括：
基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵；
基于预设的第一解码模块，对所述压缩后的第一概率矩阵进行解压，得到解压后的第一概率矩阵，以实现将第一概率矩阵传输至预设的第一编码模块。
可选地，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩 点云的步骤，包括：
基于预设的第一编码模块，对所述潜在表示和所述解压后的第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵的步骤之后，所述方法包括：
将所述第一概率矩阵输入至预设的分解密度熵模型，基于所述分解密度熵模型和所述分解密度熵模型的预设数量的熵参数，对所述第一概率矩阵进行概率计算，得到相应数量的所述第一概率矩阵的概率矩阵集合；
计算所述概率矩阵集合下各概率矩阵的传输码率值，并选取最小传输码率值对应的概率矩阵作为目标概率矩阵。
可选地，所述基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵的步骤，包括：
基于预设的第二编码模块，对所述第一概率矩阵和所述目标概率矩阵进行压缩，得到压缩后的第一概率矩阵。
可选地，所述基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
基于预设的信道上下文转换网络，对所述潜在表示进行串行迭代的特征卷积，得到第二卷积后的点云特征；
基于所述点云压缩模型的尺度线性变换模块，对所述第二卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第二概率矩阵，其中，所述第二概率矩阵反映了待压缩点云的信道上下文信息；
基于预设的超先验网络，确定所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息，所述信道上下文转换网络和所述超先验网络对潜在表示的处理过程是同步进行的；
基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵。
可选地，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
基于预设的第一编码模块，对所述潜在表示和所述第三概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
可选地，所述聚合模块包括混合参考均值聚合模块和混合参考方差聚合模块，所述基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵的步骤，包括：
基于预设的混合参考均值聚合模块，分别提取所述第一概率矩阵的第一均值和所述第二概率矩阵的第二均值，并将所述第一均值和所述第二均值进行聚合，得到聚合后的目标均值；
基于预设的混合参考方差聚合模块，分别提取所述第一概率矩阵的第一方差熵参数和所述第二概率矩阵的第二方差熵参数，并将所述第一方差熵参数和所述第二方差熵参数进行聚合，得到聚合后的目标方差熵参数；
基于所述聚合后的目标均值和所述聚合后的目标方差熵参数，组成第三概率矩阵。
可选地，所述确定所述需求码率对应的缩放因子的步骤，包括：
获取缩放因子集合，其中，缩放因子是在点云压缩模型训练完成后所训练得到的训练配置参数；
基于所述缩放因子集合，确定最接近所述需求码率的目标缩放因子；
基于预设的插值，对所述目标缩放因子进行调整计算，得到调整后的缩放因子，并将所述调整后的缩放因子作为所述需求码率对应的缩放因子。
本申请存储介质具体实施方式与上述码率可变的点云压缩方法各实施例基本相同，在此不再赘述。
本申请还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述的码率可变的点云压缩方法的步骤。
本申请计算机程序产品的具体实施方式与上述码率可变的点云压缩方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种码率可变的点云压缩方法，其特征在于，所述码率可变的点云压缩方法包括：
    获取待压缩点云和需求码率；
    确定所述需求码率对应的缩放因子；
    基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。
  2. 如权利要求1所述的码率可变的点云压缩方法，其特征在于，所述基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云的步骤，包括：
    基于所述待压缩点云，通过预设的点云压缩模型进行特征提取，得到点云特征；
    基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示；
    基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云。
  3. 如权利要求2所述的码率可变的点云压缩方法，其特征在于，所述基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
    基于预设的超先验网络，对所述潜在表示进行并行的特征卷积，得到第一卷积后的点云特征；
    基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息。
  4. 如权利要求3所述的码率可变的点云压缩方法，其特征在于，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
    基于预设的第一编码模块，对所述潜在表示和所述第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
  5. 如权利要求3所述的码率可变的点云压缩方法，其特征在于，所述基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵的步骤之后，所述方法包括：
    基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵；
    基于预设的第一解码模块，对所述压缩后的第一概率矩阵进行解压，得到解压后的第一概率矩阵，以实现将第一概率矩阵传输至预设的第一编码模块。
  6. 如权利要求5所述的码率可变的点云压缩方法，其特征在于，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
    基于预设的第一编码模块，对所述潜在表示和所述解压后的第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
  7. 如权利要求3所述的码率可变的点云压缩方法，其特征在于，所述基于所述点云压缩模型的尺度线性变换模块，对所述卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵的步骤之后，所述方法包括：
    将所述第一概率矩阵输入至预设的分解密度熵模型，基于所述分解密度熵模型和所述分解密度熵模型的预设数量的熵参数，对所述第一概率矩阵进行概率计算，得到相应数量的所述第一概率矩阵的概率矩阵集合；
    计算所述概率矩阵集合下各概率矩阵的传输码率值，并选取最小传输码率值对应的概率矩阵作为目标概率矩阵。
  8. 如权利要求7所述的码率可变的点云压缩方法，其特征在于，所述基于预设的第二编码模块， 对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵的步骤，包括：
    基于预设的第二编码模块，对所述第一概率矩阵和所述目标概率矩阵进行压缩，得到压缩后的第一概率矩阵。
  9. 如权利要求2所述的码率可变的点云压缩方法，其特征在于，所述基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示的步骤之后，所述方法包括：
    基于预设的信道上下文转换网络，对所述潜在表示进行串行迭代的特征卷积，得到第二卷积后的点云特征；
    基于所述点云压缩模型的尺度线性变换模块，对所述第二卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第二概率矩阵，其中，所述第二概率矩阵反映了待压缩点云的信道上下文信息；
    基于预设的超先验网络，确定所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息，所述信道上下文转换网络和所述超先验网络对潜在表示的处理过程是同步进行的；
    基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵。
  10. 如权利要求9所述的码率可变的点云压缩方法，其特征在于，所述基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码率的压缩点云的步骤，包括：
    基于预设的第一编码模块，对所述潜在表示和所述第三概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
  11. 如权利要求9所述的码率可变的点云压缩方法，其特征在于，所述聚合模块包括混合参考均值聚合模块和混合参考方差聚合模块，所述基于预设的聚合模块，将所述第一概率矩阵和所述第二概率矩阵进行聚合处理，得到第三概率矩阵的步骤，包括：
    基于预设的混合参考均值聚合模块，分别提取所述第一概率矩阵的第一均值和所述第二概率矩阵的第二均值，并将所述第一均值和所述第二均值进行聚合，得到聚合后的目标均值；
    基于预设的混合参考方差聚合模块，分别提取所述第一概率矩阵的第一方差熵参数和所述第二概率矩阵的第二方差熵参数，并将所述第一方差熵参数和所述第二方差熵参数进行聚合，得到聚合后的目标方差熵参数；
    基于所述聚合后的目标均值和所述聚合后的目标方差熵参数，组成第三概率矩阵。
  12. 如权利要求1所述的码率可变的点云压缩方法，其特征在于，所述确定所述需求码率对应的缩放因子的步骤，包括：
    获取缩放因子集合，其中，缩放因子是在点云压缩模型训练完成后所训练得到的训练配置参数；
    基于所述缩放因子集合，确定最接近所述需求码率的目标缩放因子；
    基于预设的插值，对所述目标缩放因子进行调整计算，得到调整后的缩放因子，并将所述调整后的缩放因子作为所述需求码率对应的缩放因子。
  13. 一种码率可变的点云压缩装置，其特征在于，所述码率可变的点云压缩装置包括：
    获取模块，用于获取待压缩点云和需求码率；
    确定模块，用于确定所述需求码率对应的缩放因子；
    压缩模块，用于基于所述待压缩点云，通过预设的点云压缩模型和所述点云压缩模型的尺度线性变换模块进行相应所述缩放因子的尺度的点云压缩，得到满足所述需求码率的压缩点云，其中，所述点云压缩模型的训练配置参数包括缩放因子，所述点云压缩模型包括尺度线性变换模块，所述尺度线性变换模块用于实现不同尺度的特征缩放。
  14. 如权利要求13所述的码率可变的点云压缩装置，其特征在于，所述压缩模块，包括：
    提取模块，用于基于所述待压缩点云，通过预设的点云压缩模型进行特征提取，得到点云特征；
    特征压缩模块，用于基于所述点云压缩模型的尺度线性变换模块，对所述点云特征进行相应所述缩放因子的尺度的点云压缩，得到所述待压缩点云的潜在表示；
    第一编码模块，用于基于预设的第一编码模块，对所述潜在表示进行压缩，得到满足所述需求码 率的压缩点云。
  15. 如权利要求14所述的码率可变的点云压缩装置，其特征在于，所述码率可变的点云压缩装置还包括：
    并行卷积模块，用于基于预设的超先验网络，对所述潜在表示进行并行的特征卷积，得到第一卷积后的点云特征；
    第一概率矩阵计算模块，用于基于所述点云压缩模型的尺度线性变换模块，对所述第一卷积后的点云特征进行相应所述缩放因子的尺度的点云压缩，输出所述潜在表示的第一概率矩阵，其中，所述第一概率矩阵反映了待压缩点云的边信息。
  16. 如权利要求15所述的码率可变的点云压缩装置，其特征在于，所述第一编码模块，包括：
    第二编码模块，用于基于预设的第一编码模块，对所述潜在表示和所述解压后的第一概率矩阵进行压缩，得到满足所述需求码率的压缩点云。
  17. 如权利要求15所述的码率可变的点云压缩装置，其特征在于，所述码率可变的点云压缩装置还包括：
    矩阵压缩模块，用于基于预设的第二编码模块，对所述第一概率矩阵进行压缩，得到压缩后的第一概率矩阵；
    解压模块，用于基于预设的第一解码模块，对所述压缩后的第一概率矩阵进行解压，得到解压后的第一概率矩阵，以实现将第一概率矩阵传输至预设的第一编码模块。
  18. 如权利要求15所述的码率可变的点云压缩装置，其特征在于，所述码率可变的点云压缩装置还包括：
    概率计算模块，用于将所述第一概率矩阵输入至预设的分解密度熵模型，基于所述分解密度熵模型和所述分解密度熵模型的预设数量的熵参数，对所述第一概率矩阵进行概率计算，得到相应数量的所述第一概率矩阵的概率矩阵集合；
    选取模块，用于计算所述概率矩阵集合下各概率矩阵的传输码率值，并选取最小传输码率值对应的概率矩阵作为目标概率矩阵。
  19. 一种码率可变的点云压缩设备，其特征在于，所述码率可变的点云压缩设备包括：存储器、处理器以及存储在存储器上的用于实现所述码率可变的点云压缩方法的程序，
    所述存储器用于存储实现码率可变的点云压缩方法的程序；
    所述处理器用于执行实现所述码率可变的点云压缩方法的程序，以实现如权利要求1所述码率可变的点云压缩方法的步骤。
  20. 一种存储介质，其特征在于，所述存储介质上存储有实现码率可变的点云压缩方法的程序，所述实现码率可变的点云压缩方法的程序被处理器执行以实现如权利要求1所述码率可变的点云压缩方法的步骤。
PCT/CN2024/073219 2024-01-19 2024-01-19 码率可变的点云压缩方法、装置、设备及存储介质 Pending WO2025152142A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2024/073219 WO2025152142A1 (zh) 2024-01-19 2024-01-19 码率可变的点云压缩方法、装置、设备及存储介质
CN202480000084.0A CN118140251A (zh) 2024-01-19 2024-01-19 码率可变的点云压缩方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2024/073219 WO2025152142A1 (zh) 2024-01-19 2024-01-19 码率可变的点云压缩方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
WO2025152142A1 true WO2025152142A1 (zh) 2025-07-24

Family

ID=91248512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/073219 Pending WO2025152142A1 (zh) 2024-01-19 2024-01-19 码率可变的点云压缩方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN118140251A (zh)
WO (1) WO2025152142A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119135925B (zh) * 2024-11-14 2025-05-23 中国计量大学 一种基于高效采样与优化熵模型的点云端到端压缩方法
CN119625091B (zh) * 2025-02-12 2025-06-03 鹏城实验室 三维点云编码方法、三维点云解码方法、装置、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047189A (ko) * 2020-10-08 2022-04-15 한국전자통신연구원 조인트 비트 할당을 통한 포인트 클라우드 압축 방법 및 장치
CN115661275A (zh) * 2022-10-20 2023-01-31 浙江工商大学 一种基于通道增益的可变速率稀疏点云压缩方法
CN117315189A (zh) * 2023-07-18 2023-12-29 北京大学深圳研究生院 点云重建方法、系统、终端设备及计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047189A (ko) * 2020-10-08 2022-04-15 한국전자통신연구원 조인트 비트 할당을 통한 포인트 클라우드 압축 방법 및 장치
CN115661275A (zh) * 2022-10-20 2023-01-31 浙江工商大学 一种基于通道增益的可变速率稀疏点云压缩方法
CN117315189A (zh) * 2023-07-18 2023-12-29 北京大学深圳研究生院 点云重建方法、系统、终端设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANG, JUNTENG ET AL.: "YOGA: Yet Another Geometry-based Point Cloud Compressor", IN PROCEEDINGS OF THE 31ST ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA (MM'23, 27 October 2023 (2023-10-27), pages 9070 - 9081, XP098077700, DOI: 10.1145/3581783.3613847 *

Also Published As

Publication number Publication date
CN118140251A (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
US11153566B1 (en) Variable bit rate generative compression method based on adversarial learning
CN113132723B (zh) 一种图像压缩方法及装置
WO2025152142A1 (zh) 码率可变的点云压缩方法、装置、设备及存储介质
CN103947206B (zh) 基于区域的图像压缩的方法和装置
US11863799B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and chip
EP4568246A1 (en) Image compression method and apparatus, electronic device, computer program product, and storage medium
WO2020237646A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN115866253B (zh) 一种基于自调制的通道间变换方法、装置、终端及介质
CN115866252B (zh) 一种图像压缩方法、装置、设备及存储介质
CN113554719A (zh) 一种图像编码方法、解码方法、存储介质及终端设备
WO2023169319A1 (zh) 一种特征图编码、特征图解码方法及装置
TWI694332B (zh) 資料備份系統以及資料備份方法
CN110717948A (zh) 一种图像后处理方法、系统及终端设备
CN110730347A (zh) 图像压缩方法、装置及电子设备
CN112637609B (zh) 图像实时传输方法、发送端及接收端
CN118827990B (zh) 一种基于窄带图传器的图像压缩方法、装置、计算设备及存储介质
CN120263194A (zh) 一种基于概率模型的无损压缩与解压方法及系统
CN116260969B (zh) 一种自适应的通道渐进式编解码方法、装置、终端及介质
KR20130079253A (ko) 이미지 압축 방법 및 장치
WO2024131692A1 (zh) 图像处理方法、装置及设备
WO2024234593A1 (zh) 数据编码、解码方法、装置、计算机设备和存储介质
Ridge Efficient transform-domain size and resolution reduction of images
CN115225896A (zh) 图像压缩方法、装置、终端设备及计算机可读存储介质
CN115474046A (zh) 点云属性信息编码方法、解码方法、装置及相关设备
CN101212543A (zh) 基于图像质量和码率约束的jpeg2000码率控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24917766

Country of ref document: EP

Kind code of ref document: A1