WO2019114024A1 - 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置 - Google Patents

一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置 Download PDF

Info

Publication number
WO2019114024A1
WO2019114024A1 PCT/CN2017/117857 CN2017117857W WO2019114024A1 WO 2019114024 A1 WO2019114024 A1 WO 2019114024A1 CN 2017117857 W CN2017117857 W CN 2017117857W WO 2019114024 A1 WO2019114024 A1 WO 2019114024A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
lagrangian multiplier
mapping
module
encoding
Prior art date
Application number
PCT/CN2017/117857
Other languages
English (en)
French (fr)
Inventor
王苫社
徐逸群
马思伟
罗法蕾
Original Assignee
北京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学 filed Critical 北京大学
Publication of WO2019114024A1 publication Critical patent/WO2019114024A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Definitions

  • the invention relates to the field of point cloud digital signal processing, in particular to a point cloud intraframe coding optimization method and device based on a Lagrangian multiplier model.
  • 3D point cloud is a more efficient data representation, which consists of a large number of three-dimensional unordered points, each of which includes position information (X, Y, Z) and several attribute information. (color, normal vector, etc.).
  • the 3D point cloud has the advantages of small data volume and convenient processing in free view rendering.
  • the acquisition of 3D point cloud data is more and more convenient, for the convenience of point cloud data. Storage and transmission, point cloud compression technology has gradually become the focus of attention.
  • MPEG Moving Pictures Experts Group/Motion Pictures Experts Group
  • MP3DG-PCC is a point cloud coding recommended by MPEG.
  • the software, for encoding the location information and the color information of the point cloud can be referred to the following document 2; wherein, when encoding the color information, the mapping is first performed, that is, the three-dimensional point cloud information is mapped to the two-dimensional by a single mapping method.
  • Document 1 "Draft call for proposals for point cloud compression," in ISO/IECJTC1/SC29/WG11 (MPEG) output document N16538, Oct.2016.
  • the present invention provides a point cloud intraframe coding optimization method and apparatus based on a Lagrangian multiplier model.
  • the present invention provides a point cloud intraframe coding optimization method based on a Lagrangian multiplier model, including:
  • Step S1 offline training the point cloud data to obtain a Lagrangian multiplier model
  • Step S2 mapping the point cloud data according to different modes to obtain different mapping data, and separately encoding each mapping data to obtain corresponding coding results;
  • Step S3 Filter out the optimal mode in the different modes according to the Lagrangian multiplier model and the respective coding results.
  • step S1 includes:
  • Step S1-1 converting the calculation formula of the distortion cost to obtain a Lagrangian multiplier expression
  • Step S1-2 transform the Lagrangian multiplier expression according to the geometric meaning of the Lagrangian multiplier expression
  • Step S1-3 After setting a preset number of encoding quality parameters in the preset encoding software, encoding the point cloud data to obtain the preset number of first distortion and code rate combinations;
  • Step S1-4 calculating a preset number of first distortion and code rate combinations to obtain multiple slopes, and using the obtained multiple slopes to perform data fitting on the transformed Lagrangian multiplier expression, Lagrange multiplier model.
  • step S2 includes:
  • Step S3-1 mapping the point cloud data to a preset size grid according to different modes to obtain different mapping data
  • Step S3-2 Perform independent JPEG encoding on each mapping data according to the preset encoding quality parameter, and obtain corresponding second distortion and code rate combinations.
  • step S3 specifically includes:
  • Step S4-1 Calculate a corresponding Lagrangian multiplier according to the preset encoding quality parameter and the Lagrangian multiplier model
  • Step S4-2 calculating a distortion cost of each mode according to the calculated Lagrangian multiplier, the calculation formula of the distortion cost, and the second distortion and code rate combination;
  • Step S4-3 Align the distortion cost of each mode, and use the mode corresponding to the minimum distortion cost as the optimal mode.
  • the present invention provides a point cloud intraframe coding optimization apparatus based on a Lagrangian multiplier model, including:
  • An offline training module for offline training of point cloud data to obtain a Lagrangian multiplier model
  • mapping module configured to separately map the point cloud data according to different modes to obtain different mapping data
  • An encoding module configured to independently code each mapping data obtained by the mapping module to obtain corresponding coding results
  • a screening module configured to filter out an optimal mode in the different modes according to the Lagrangian multiplier model obtained by the offline training module and each coding result obtained by the coding module.
  • the offline training module specifically includes: a conversion submodule, a transformation submodule, a setting submodule, an encoding submodule, and a fitting submodule;
  • the conversion submodule is configured to convert a calculation formula of a distortion cost to obtain a Lagrangian multiplier expression
  • the transform submodule is configured to transform the Lagrangian multiplier expression according to a geometric meaning of a Lagrangian multiplier expression obtained by the conversion submodule;
  • the setting submodule is configured to set a preset number of encoding quality parameters in a preset encoding software configuration
  • the encoding submodule is configured to encode the point cloud data according to the encoding quality parameter set by the setting submodule, to obtain the preset number of first distortion and code rate combinations;
  • the fitting submodule is configured to calculate a preset number of first distortion and code rate combinations obtained by the encoding submodule to obtain a plurality of slopes, and use the obtained multiple slopes to transform the transform submodule
  • the Lagrange multiplier expression is used to fit the data to obtain a Lagrangian multiplier model.
  • the mapping module is specifically configured to: map the point cloud data to a preset size grid according to different modes, to obtain different mapping data;
  • the encoding module is configured to perform independent JPEG encoding on each mapping data obtained by the mapping module according to a preset encoding quality parameter, to obtain corresponding second distortion and code rate combinations.
  • the screening module specifically includes: a first computing submodule, a second computing submodule, and a comparison submodule;
  • the first calculating submodule is configured to calculate a corresponding Lagrangian multiplier according to the preset encoding quality parameter and a Lagrangian multiplier model obtained by the offline training module;
  • the second calculation sub-module is configured to calculate, according to the Lagrangian multiplier calculated by the first calculation sub-module, the calculation formula of the distortion cost, and each second distortion and code rate combination obtained by the coding module, Calculating the distortion cost of each corresponding mode;
  • the comparison submodule is configured to compare a distortion cost of each mode calculated by the second calculation submodule, and use a mode corresponding to the minimum distortion cost as an optimal mode.
  • the point cloud data is mapped in different modes, and more coding options are provided than the single mode mapping, which fully utilizes the correlation between the out-of-order point cloud data; meanwhile, by performing point cloud data Offline training, get the Lagrangian multiplier model, and encode the point cloud data after different pattern mapping to obtain the corresponding coding result (distortion and code rate combination), based on the trained Lagrangian multiplier model (The ⁇ -Q model and each coding result determine the distortion cost of different mapping modes, and then determine the optimal mode in different mapping modes according to each distortion cost, thereby improving the coding performance and improving the overall coding effect of the point cloud data.
  • FIG. 1 is a schematic diagram of a mapping manner when encoding color information of point cloud data in the prior art
  • FIG. 2 is a flow chart of a method for determining a point cloud intraframe coding based on a Lagrangian multiplier model according to the present invention
  • FIG. 3 is a schematic diagram of each first distortion and code rate combination provided by the present invention.
  • FIG. 5 is a schematic diagram of a mapping manner when encoding color information of point cloud data according to the present invention.
  • FIG. 6 and FIG. 7 are performance comparison diagrams of the method in the present invention and the MP3DG-PCC encoding method
  • FIG. 8 is a block diagram of a module for a point cloud intraframe coding decision device based on a Lagrangian multiplier model according to the present invention.
  • a point cloud intraframe coding optimization method based on a Lagrangian multiplier model is provided, as shown in FIG. 2, including:
  • Step 101 Perform offline training on the point cloud data to obtain a Lagrangian multiplier model
  • step 101 specifically includes:
  • Step 101-1 Converting a calculation formula of the distortion cost to obtain a Lagrangian multiplier expression
  • Step 101-1 is specifically: calculating a distortion cost calculation formula for ⁇ , and obtaining Thus the expression of the Lagrangian multiplier ⁇ is:
  • Step 101-2 transform the Lagrangian multiplier expression according to the geometric meaning of the Lagrange multiplier expression
  • the distortion and the code rate belong to different dimensions, a combination of distortion and code rate obtained by the encoding corresponds to one point, and the distortion is the ordinate of the point, and the code rate is the abscissa of the point; thus the Lagrangian multiplication Sub- ⁇ expression
  • the geometric meaning is the slope of the RD curve, which transforms the expression of the Lagrange multiplier into: That is, the ratio of the difference between the ordinates of two adjacent points and the difference between the abscissas.
  • Step 101-3 After setting a preset number of encoding quality parameters in the preset encoding software configuration, encoding the point cloud data to obtain a corresponding preset number of first distortion and code rate combinations;
  • the preset encoding software specifically MP3DG-PCC encoding software
  • the preset number is between 1 and 100, and can be set according to requirements
  • each distortion is the average of the distortion of the three channels R, G, and B;
  • the preset number is 25, and the point cloud frames named Facade_00009, Shiva_00035, and Stanford_Area_2 are respectively encoded, and the obtained first distortion and code rate combination are as shown in FIG. 3.
  • Step 101-4 Calculate a plurality of slopes by using the obtained preset number of first distortion and code rate combinations, and perform data fitting on the transformed Lagrangian multiplier expression by using the obtained multiple slopes.
  • Lagrange multiplier model
  • the preset number of first distortion and code rate combinations correspond to a preset number of points, respectively calculate a slope between two adjacent points, and obtain a “preset number of ⁇ 1” slopes, and use the obtained multiple The slope is used to fit the transformed Lagrangian multiplier expression to obtain a Lagrangian multiplier model.
  • the first distortion and the code rate combination obtained by encoding the point cloud frames named Facade_00009, Shiva_00035, and Stanford_Area_2 are used to fit the transformed Lagrangian multiplier expression.
  • the result is shown in Figure 4.
  • Step 102 Mapping the point cloud data according to different modes to obtain different mapping data, and separately encoding each mapping data to obtain corresponding coding results;
  • step 102 specifically includes:
  • Step 102-1 mapping the point cloud data to a preset size grid according to different modes, to obtain different mapping data
  • the point cloud data is respectively mapped into 8*8 grids according to 8 different modes, as shown in FIG. 5, different 8 kinds of mapping data are obtained, wherein The point inside the dotted line is the starting point at the time of mapping.
  • the 8*8 mesh mapping acts as the first grid in the first row, and in the order from left to right, continues to the right of the first grid, and arranges the next 8*8 grid in turn until it is full of 256 points.
  • the next row is arranged, that is, a N*256 photo is finally obtained, where N is the number of rows.
  • mapping methods are provided, providing more coding options than existing single mode mapping.
  • Step 102-2 Perform independent JPEG encoding on each mapping data according to the preset encoding quality parameter, and obtain corresponding second distortion and code rate combinations.
  • the obtained eight different mapping data are respectively independently JPEG encoded according to the preset encoding quality parameter, and corresponding eight encoding results are obtained, that is, corresponding eight second distortions and code rates. combination.
  • Step 103 Filter out the optimal modes in different modes according to the Lagrangian multiplier model and the obtained coding results.
  • step 103 includes:
  • Step 103-1 Calculate a corresponding Lagrangian multiplier according to a preset encoding quality parameter and a Lagrangian multiplier model
  • Step 103-2 Calculate the distortion cost of each mode according to the calculated Lagrangian multiplier, the calculation formula of the distortion cost, and the second distortion and code rate combination;
  • Step 103-3 Align the obtained distortion cost of each mode, and use the mode corresponding to the minimum distortion cost as the optimal mode.
  • the eight distortion costs obtained are compared, and the mapping mode corresponding to the minimum distortion cost is taken as the optimal mode, that is, the optimal coding mode is obtained.
  • the distortion cost calculation of each mapping mode is performed, and the optimal mode is determined in each mapping mode, thereby improving the coding performance and improving the coding performance.
  • the method using the present invention and the existing method MP3DG-PCC are respectively given at a medium high code rate (the encoding quality parameter QF is ⁇ 85, 75, 65, 55 ⁇ ) and the medium and low bit rate (the encoding quality parameter QF is ⁇ 55, 45, 35, 25 ⁇ ), the point cloud frame named "Egyptian_mask, Landscape(00014)...Standford_Area4 is in R,
  • the performance comparison results of coding on the three channels G and B, the data shows that the method in the present invention is better than the existing MP3DG-PCC method, and the larger the value, the method in the present invention is compared with the existing method. The better the method.
  • a point cloud intraframe coding optimization apparatus based on a Lagrangian multiplier model is provided. As shown in FIG. 8, the method includes:
  • the offline training module 201 is configured to perform offline training on the point cloud data to obtain a Lagrangian multiplier model
  • the mapping module 202 is configured to separately map the point cloud data according to different modes to obtain different mapping data.
  • the encoding module 203 is configured to independently code each mapping data obtained by the mapping module 202 to obtain corresponding coding results;
  • the screening module 204 is configured to filter out the optimal modes in different modes according to the Lagrangian multiplier model obtained by the offline training module 201 and the coding results obtained by the encoding module 203.
  • the offline training module 201 specifically includes: a conversion submodule, a transformation submodule, a setting submodule, an encoding submodule, and a fitting submodule, wherein:
  • a conversion submodule for converting a calculation formula of distortion cost to obtain a Lagrangian multiplier expression
  • the conversion sub-module is specifically configured to: calculate a distortion cost calculation formula for ⁇ , and obtain Further, the expression of the Lagrangian multiplier ⁇ is:
  • a transform submodule for transforming a Lagrangian multiplier expression according to a geometric meaning of a Lagrangian multiplier expression obtained by the conversion submodule
  • a combination of distortion and code rate obtained by the encoding corresponds to one point, and the distortion is the ordinate of the point, and the code rate is the abscissa of the point; thus pulling Expression of the Grande Multiplier ⁇
  • the geometric meaning is the slope of the RD curve;
  • the transform submodule is specifically configured to: transform the expression of the Lagrange multiplier into: That is, the ratio of the difference between the ordinates of two adjacent points and the difference between the abscissas.
  • the preset encoding software specifically MP3DG-PCC encoding software
  • the preset number can be set according to requirements
  • An encoding submodule configured to encode the point cloud data according to the encoding quality parameter set by the setting submodule, to obtain the preset number of first distortion and code rate combinations;
  • a fitting sub-module configured to calculate a preset number of first distortion and a combination of code rates obtained by the encoding sub-module to obtain a plurality of slopes, and use the obtained plurality of slopes to transform the Lagrangian multiplier after the transformation sub-module
  • the expression is fitted to the data to obtain a Lagrangian multiplier model.
  • the mapping module 202 is specifically configured to: map the point cloud data to a preset size grid according to different modes, to obtain different mapping data;
  • mapping module 202 is configured to map the point cloud data into 8*8 grids according to the depth-priority principle, and obtain different 8 types of mapping data.
  • the encoding module 203 is specifically configured to perform independent JPEG encoding on each mapping data obtained by the mapping module 202 according to the preset encoding quality parameter, to obtain corresponding second distortion and code rate combinations.
  • the encoding module 203 is configured to perform independent JPEG encoding on the eight different mapping data obtained by the mapping module 202 according to the preset encoding quality parameter, to obtain corresponding eight encoding results, that is, corresponding eight seconds. Distortion and bit rate combination.
  • the screening module 204 specifically includes: a first computing submodule, a second computing submodule, and a comparison submodule, wherein:
  • a first calculation submodule configured to calculate a corresponding Lagrangian multiplier according to the preset coding quality parameter and the Lagrangian multiplier model obtained by the offline training module;
  • a second calculation sub-module configured to calculate a distortion of each mode according to a Lagrangian multiplier calculated by the first calculation sub-module, a calculation formula of a distortion cost, and a second distortion and a code rate combination obtained by the coding module 203 cost;
  • the comparison submodule is configured to compare the distortion cost of each mode calculated by the second calculation submodule, and use the mode corresponding to the minimum distortion cost as the optimal mode.
  • the point cloud data is mapped in different modes, and more coding options are provided than the single mode mapping, which fully utilizes the correlation between the out-of-order point cloud data; meanwhile, by performing point cloud data Offline training, get the Lagrangian multiplier model, and encode the point cloud data after different pattern mapping to obtain the corresponding coding result (distortion and code rate combination), based on the trained Lagrangian multiplier model (The ⁇ -Q model and each coding result determine the distortion cost of different mapping modes, and then determine the optimal mode in different mapping modes according to each distortion cost, thereby improving the coding performance and improving the overall coding effect of the point cloud data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置，属于点云数字信号处理领域。所述方法包括：对点云数据进行离线训练得到拉格朗日乘子模型；将点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；根据拉格朗日乘子模型及各编码结果，筛选出不同模式中的最优模式。本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时基于训练得到的拉格朗日乘子模型在不同的映射模式中确定最优模式，提高了编码性能，提升了点云数据的整体编码效果。

Description

一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置 技术领域
本发明涉及点云数字信号处理领域，尤其涉及一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置。
背景技术
对比多路纹理加深度的数据格式，三维点云是一种更加高效的数据表示形式，其由大量的三维无序点组成，每一个点包括位置信息(X，Y，Z)以及若干属性信息(颜色，法向量等)。三维点云在自由视点渲染方面具有数据量小，处理方便等优点；同时，随着计算机硬件及算法的不断发展，三维点云数据的获取也越来越方便，为了方便的对点云数据进行存储与传输，点云压缩技术逐渐成为人们关注的焦点。
MPEG(Moving Pictures Experts Group/Motion Pictures Experts Group，动态图像专家组)成立工作组3DG，对于点云编码方案做了研究和征集，可参见以下文献1；MP3DG-PCC是MPEG推荐的一个点云编码软件，对于点云的位置信息以及颜色信息进行编码，可参见以下文献2；其中，对于颜色信息进行编码时，首先进行映射，即采用单种映射方式将三维的点云信息，映射到二维平面，如图1所示，其中虚线内的点为映射时的起点，然后通过JPEG对于映射后的点云颜色信息进行编码。然而，对于不同的点云数据，单种映射方式无法充分利用点云数据间的相关性，从而响应了点云数据整体的编码效果。再者， 在现有的视频编码中，拉格朗日优化算法被大量的应用于模式决策中，可参见以下文献3和文献4，然而，并没有一种基于点云数据的决策模型，即没有一种基于点云数据特征的拉格朗日乘子模型，因而即使采用多种映射方式对点云数据进行映射，也无法确定其中最优的模式。
文献1：“Draft call for proposals for point cloud compression,”in ISO/IECJTC1/SC29/WG11(MPEG)output document N16538,Oct.2016.
文献2：R.Mekuria,K.Blom,and P.Cesar,“Design,implementation andevaluation of a point cloud codec for tele-immersive video,”IEEETransactions on Circuits and Systems for Video Technology,vol.PP,no.99,pp.1–1,2016.
文献3：G.J.Sullivan and T.Wiegand,“Rate-distortion optimization for videocompression,”IEEE Signal Processing Magazine,vol.15,no.6,pp.74–90,1998.
文献4：J.Liu,Y.Cho,Z.Guo,and J.Kuo,“Bit allocation for spatial scalabilitycoding of h.264/svc with dependent rate-distortion analysis,”IEEETransactions on Circuits and Systems for Video Technology,vol.20,no.7,pp.967–981,2010.
发明内容
为解决现有技术的不足，本发明提供一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置。
一方面，本发明提供了一种基于拉格朗日乘子模型的点云帧内编码优化方法，包括：
步骤S1：对点云数据进行离线训练得到拉格朗日乘子模型；
步骤S2：将所述点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；
步骤S3：根据所述拉格朗日乘子模型及所述各编码结果，筛选出所述不同模式中的最优模式。
可选地，所述步骤S1，具体包括：
步骤S1-1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
步骤S1-2：根据所述拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；
步骤S1-3：在预设编码软件中，设置预设数量的编码质量参数后，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
步骤S1-4：对所述预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
可选地，所述步骤S2，具体包括：
步骤S3-1：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
步骤S3-2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
可选地，所述步骤S3，具体包括：
步骤S4-1：根据所述预设编码质量参数和所述拉格朗日乘子模型计算对应的拉格朗日乘子；
步骤S4-2：根据计算得到的拉格朗日乘子、所述失真代价的计算公式及所述各第二失真和码率组合，计算对应的各模式的失真代价；
步骤S4-3：比对所述各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
另一方面，本发明提供一种基于拉格朗日乘子模型的点云帧内编码优化装置，包括：
离线训练模块，用于对点云数据进行离线训练得到拉格朗日乘子模型；
映射模块，用于将所述点云数据按照不同模式分别进行映射，得到不同的映射数据；
编码模块，用于对所述映射模块得到的各映射数据分别进行独立编码得到对应的各编码结果；
筛选模块，用于根据所述离线训练模块得到的拉格朗日乘子模型及所述编码模块得到的各编码结果，筛选出所述不同模式中的最优模式。
可选地，所述离线训练模块，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块；
所述转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
所述变换子模块，用于根据所述转换子模块得到的拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；
所述设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量参数；
所述编码子模块，用于根据所述设置子模块设置的编码质量参数，对点云 数据进行编码，得到所述预设数量的第一失真和码率组合；
所述拟合子模块，用于对所述编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对所述变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
可选地，所述映射模块，具体用于：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
可选地，所述编码模块，用于根据预设编码质量参数对所述映射模块得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
可选地，所述筛选模块，具体包括：第一计算子模块、第二计算子模块和比对子模块；
所述第一计算子模块，用于根据所述预设编码质量参数和所述离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；
所述第二计算子模块，用于根据所述第一计算子模块计算的拉格朗日乘子、所述失真代价的计算公式及所述编码模块得到的各第二失真和码率组合，计算对应的各模式的失真代价；
所述比对子模块，用于比对所述第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
本发明的优点在于：
本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时，通过对点云数据进行离线训练，得到拉格朗日乘子模型，并对不同模式映射后的点云数据分别进行编码得到对应的编码结果(失真和码率组合)，基于训练得到的拉格朗日 乘子模型(λ-Q模型)以及各编码结果确定不同映射模式的失真代价，进而根据各失真代价在不同映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1为现有技术中对点云数据的颜色信息进行编码时的映射方式示意图；
附图2为本发明提供的一种基于拉格朗日乘子模型的点云帧内编码决策方法流程图；
附图3为本发明提供的各第一失真和码率组合的示意图；
附图4为本发明提供的对变换后的拉格朗日乘子表达式进行数据拟合的结果示意图；
附图5为本法发明提供的对点云数据的颜色信息进行编码时的映射方式示意图；
附图6和附图7为本发明中的方法与MP3DG-PCC编码方法的性能比对图；
附图8为本发明提供的一种基于拉格朗日乘子模型的点云帧内编码决策装置模块组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
根据本发明的实施方式，提供一种基于拉格朗日乘子模型的点云帧内编码优化方法，如图2所示，包括：
步骤101：对点云数据进行离线训练得到拉格朗日乘子模型；
根据本发明的实施方式，步骤101，具体包括：
步骤101-1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
本发明中，从视频编码领域引入拉格朗日优化方法，将编码得到编码结果，即失真和码率，作为编码性能的评价指标计算失真代价，其中，失真代价的计算公式，具体为J＝D+λR，其中，J为失真代价(Rate-Distortion cost，简称RD cost)，D为失真，R为码率，λ为拉格朗日乘子；
步骤101-1具体为：将失真代价的计算公式对λ求导，得到
Figure PCTCN2017117857-appb-000001
从而可得拉格朗日乘子λ的表达式为：
Figure PCTCN2017117857-appb-000002
步骤101-2：根据拉格朗日乘子表达式的几何含义，对拉格朗日乘子表达式进行变换；
具体地，由于失真和码率属于不同的维度，通过编码得到的一个失真和码率组合对应于一个点，且失真为点的纵坐标，码率为点的横坐标；因而拉格朗日乘子λ的表达式
Figure PCTCN2017117857-appb-000003
的几何含义为RD曲线的斜率，从而对拉格朗日乘子 的表达式进行变换为：
Figure PCTCN2017117857-appb-000004
即相邻两个点的纵坐标之差与横坐标之差的比。
步骤101-3：在预设编码软件配置中，设置预设数量的编码质量参数后，对点云数据进行编码，得到相应预设数量的第一失真和码率组合；
其中，预设编码软件，具体为MP3DG-PCC编码软件，预设数量介于1至100之间，可以根据需求自行设定；
其中，每个失真
Figure PCTCN2017117857-appb-000005
即，每一个失真为R、G、B三个通道失真的平均值；
例如，在本实施例中，预设数量为25，分别对名称为Facade_00009、Shiva_00035、Stanford_Area_2的点云帧进行编码，得到的各第一失真和码率组合如图3所示。
步骤101-4：对得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
具体地，预设数量的第一失真和码率组合对应了预设数量的点，分别计算相邻两点之间的斜率，得到“预设数量-1”个斜率，并使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
在本实施例中，得到的拉格朗日乘子模型(λ-Q模型)，具体为
Figure PCTCN2017117857-appb-000006
其中，λ Q为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值，其中α＝0.7121，β＝-1.002。
例如，在本实施例中，使用对名称为Facade_00009、Shiva_00035、Stanford_Area_2的点云帧进行编码得到的各第一失真和码率组合对变换后的拉 格朗日乘子表达式进行数据拟合，其结果如图4所示。
步骤102：将点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；
根据本发明的实施方式，步骤102，具体包括：
步骤102-1：将点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
优选地，在本实施例中，按照深度优先的原则，将点云数据按照8种不同模式分别映射到8*8的网格中，如图5所示，得到不同的8种映射数据，其中，虚线内的点为映射时的起点。
进一步地，在本实施例中，将点云数据按照某一模式进行映射时，当一个8*8的网格映射完成时，如仍有尚未映射的点云数据，则将该8*8的网格作为第一排的第一个网格，并按照从左到右的顺序，继续在第一个网格的右侧，依次排布下一个8*8的网格，直至排满256个点时，进行下一排的排布，即最终得到一个N*256的照片，其中，N是排的数量。
本发明中，提供多种不同的映射方式，相比于现有的单模式映射，提供了更多的编码选择。
步骤102-2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
具体地，在本实施例中，根据预设编码质量参数对得到的8种不同的映射数据分别进行独立的JPEG编码，得到对应的8个编码结果，即对应的8个第二失真和码率组合。
步骤103：根据拉格朗日乘子模型及得到的各编码结果，筛选出不同模式 中的最优模式。
根据本发明的实施方式，步骤103，具体包括：
步骤103-1：根据预设编码质量参数和拉格朗日乘子模型计算对应的拉格朗日乘子；
具体地，将预设编码质量参数带入拉格朗日乘子模型λ Q＝αQ β中，其中α＝0.7121，β＝-1.002，计算预设编码质量参数对应的拉格朗日乘子。
步骤103-2：根据计算得到的拉格朗日乘子、失真代价的计算公式及各第二失真和码率组合，计算对应的各模式的失真代价；
在本实施例中，由于按照多种不同的模式进行映射，故失真代价的计算公式J＝D+λR，可以进一步表示为J(m i)＝D(m i)+λR(m i)，其中，J(m i)为在映射模式m i下的失真代价，D(m i)为在映射模式m i下的失真，R(m i)为在映射模式m i下的码率；
具体地，分别将计算得到的拉格朗日乘子和各第二失真和码率组合，通过公式J(m i)＝D(m i)+λR(m i)计算出映射模式m i下的失真代价。
步骤103-3：比对得到的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
具体地，比对得到的8个失真代价，并将最小失真代价对应的映射模式作为最优模式，即得到最优的编码模式。
本发明中，通过将编码结果，即失真和码率组合作为编码性能的评价指标，进行各映射模式的失真代价计算，进而在各映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。
进一步地，为体现本发明技术方案的优势，如图6和图7所示，分别给出 了使用本发明中的方法与现有的方法MP3DG-PCC在中高码率(编码质量参数QF为{85，75，65，55})和中低码率(编码质量参数QF为{55，45，35，25})上，对名称为Egyptian_mask、Landscape(00014)…Standford_Area4的点云帧在R、G、B三个通道上进行编码的性能对比结果，其中的数据表明，本发明中的方法要好于现有的MP3DG-PCC方法，并且数值越大，表明本发明中的方法相对于现有的方法越好。
实施例二
根据本发明的实施方式，提供一种基于拉格朗日乘子模型的点云帧内编码优化装置，如图8所示，包括：
离线训练模块201，用于对点云数据进行离线训练得到拉格朗日乘子模型；
映射模块202，用于将点云数据按照不同模式分别进行映射，得到不同的映射数据；
编码模块203，用于对映射模块202得到的各映射数据分别进行独立编码得到对应的各编码结果；
筛选模块204，用于根据离线训练模块201得到的拉格朗日乘子模型及编码模块203得到的各编码结果，筛选出不同模式中的最优模式。
根据本发明的实施方式，离线训练模块201，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块，其中：
转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
根据本发明的实施方式，失真代价的计算公式，具体为J＝D+λR，其中， J为失真代价(Rate-Distortion cost，简称RD cost)，D为失真，R为码率，λ为拉格朗日乘子；
在本实施例中，转换子模块，具体用于：将失真代价的计算公式对λ求导，得到
Figure PCTCN2017117857-appb-000007
进而可得拉格朗日乘子λ的表达式为：
Figure PCTCN2017117857-appb-000008
变换子模块，用于根据转换子模块得到的拉格朗日乘子表达式的几何含义，对拉格朗日乘子表达式进行变换；
根据本发明的实施方式，由于失真和码率属于不同的维度，通过编码得到的一个失真和码率组合对应于一个点，且失真为点的纵坐标，码率为点的横坐标；因而拉格朗日乘子λ的表达式
Figure PCTCN2017117857-appb-000009
的几何含义为RD曲线的斜率；
对应地，变换子模块，具体用于：将拉格朗日乘子的表达式变换为：
Figure PCTCN2017117857-appb-000010
即相邻两个点的纵坐标之差与横坐标之差的比。
设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量参数；
其中，预设编码软件，具体为MP3DG-PCC编码软件，预设数量可以根据需求自行设定；
编码子模块，用于根据设置子模块设置的编码质量参数，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
拟合子模块，用于对编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
在本实施例中，拟合子模块得到的拉格朗日乘子模型，具体为：λ Q＝αQ β，其中，λ Q为在编码质量参数Q下的拉格朗日乘子，Q为设置的编码质量参数(QF)，α和β为在数据拟合过程中得出的固定值，其中α＝0.7121，β＝-1.002。
根据本发明的实施方式，映射模块202，具体用于：将点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
更加具体地，映射模块202，用于按照深度优先的原则，将点云数据按照8种不同模式分别映射到8*8的网格中，得到不同的8种映射数据。
根据本发明的实施方式，编码模块203，具体用于：根据预设编码质量参数对映射模块202得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
更加具体地，编码模块203，用于根据预设编码质量参数对映射模块202得到的8种不同的映射数据分别进行独立的JPEG编码，得到对应的8个编码结果，即对应的8个第二失真和码率组合。
根据本发明的实施方式，筛选模块204，具体包括：第一计算子模块、第二计算子模块和比对子模块，其中：
第一计算子模块，用于根据预设编码质量参数和离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；
第二计算子模块，用于根据第一计算子模块计算的拉格朗日乘子、失真代价的计算公式及编码模块203得到的各第二失真和码率组合，计算对应的各模式的失真代价；
比对子模块，用于比对第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
其中；第一计算子模块，具体用于：将预设编码质量参数带入离线训练模块201得到的拉格朗日乘子模型λ Q＝αQ β中，计算预设编码质量参数对应的拉格朗日乘子；
进一步地，在本实施例中，由于按照多种不同的模式进行映射，故失真代价的计算公式J＝D+λR，可以进一步表示为J(m i)＝D(m i)+λR(m i)，其中，J(m i)为在映射模式m i下的失真代价，D(m i)为在映射模式m i下的失真，R(m i)为在映射模式m i下的码率；
对应地，第二计算子模块，具体用于：将第一计算子模块得到的拉格朗日乘子和编码模块203得到的各第二失真和码率组合，通过公式J(m i)＝D(m i)+λR(m i)计算出映射模式m i下的失真代价。
本发明中，对点云数据进行不同模式的映射，相比于单模式映射，提供了更多的编码选择，充分利用了无序点云数据间的相关性；同时，通过对点云数据进行离线训练，得到拉格朗日乘子模型，并对不同模式映射后的点云数据分别进行编码得到对应的编码结果(失真和码率组合)，基于训练得到的拉格朗日乘子模型(λ-Q模型)以及各编码结果确定不同映射模式的失真代价，进而根据各失真代价在不同映射模式中确定最优模式，从而提高了编码性能，提升了点云数据的整体编码效果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

  1. 一种基于拉格朗日乘子模型的点云帧内编码优化方法，其特征在于，包括：
    步骤S1：对点云数据进行离线训练得到拉格朗日乘子模型；
    步骤S2：将所述点云数据按照不同模式分别进行映射，得到不同的映射数据，对各映射数据分别进行独立编码得到对应的各编码结果；
    步骤S3：根据所述拉格朗日乘子模型及所述各编码结果，筛选出所述不同模式中的最优模式。
  2. 根据权利要求1所述的方法，其特征在于，所述步骤S1，具体包括：
    步骤S1-1：对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
    步骤S1-2：根据所述拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；
    步骤S1-3：在预设编码软件配置中，设置预设数量的编码质量参数后，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
    步骤S1-4：对所述预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
  3. 根据权利要求2所述的方法，其特征在于，所述步骤S2，具体包括：
    步骤S3-1：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
    步骤S3-2：根据预设编码质量参数对各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
  4. 根据权利要求3所述的方法，其特征在于，所述步骤S3，具体包括：
    步骤S4-1：根据所述预设编码质量参数和所述拉格朗日乘子模型计算对应的拉格朗日乘子；
    步骤S4-2：根据计算得到的拉格朗日乘子、所述失真代价的计算公式及所述各第二失真和码率组合，计算对应的各模式的失真代价；
    步骤S4-3：比对所述各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
  5. 一种基于拉格朗日乘子模型的点云帧内编码优化装置，其特征在于，包括：
    离线训练模块，用于对点云数据进行离线训练得到拉格朗日乘子模型；
    映射模块，用于将所述点云数据按照不同模式分别进行映射，得到不同的映射数据；
    编码模块，用于对所述映射模块得到的各映射数据分别进行独立编码得到对应的各编码结果；
    筛选模块，用于根据所述离线训练模块得到的拉格朗日乘子模型及所述编码模块得到的各编码结果，筛选出所述不同模式中的最优模式。
  6. 根据权利要求5所述的装置，其特征在于，所述离线训练模块，具体包括：转换子模块、变换子模块、设置子模块、编码子模块和拟合子模块；
    所述转换子模块，用于对失真代价的计算公式进行转换得到拉格朗日乘子表达式；
    所述变换子模块，用于根据所述转换子模块得到的拉格朗日乘子表达式的几何含义，对所述拉格朗日乘子表达式进行变换；
    所述设置子模块，用于在预设编码软件配置中，设置预设数量的编码质量 参数；
    所述编码子模块，用于根据所述设置子模块设置的编码质量参数，对点云数据进行编码，得到所述预设数量的第一失真和码率组合；
    所述拟合子模块，用于对所述编码子模块得到的预设数量的第一失真和码率组合进行计算得到多个斜率，使用得到的多个斜率对所述变换子模块变换后的拉格朗日乘子表达式进行数据拟合，得到拉格朗日乘子模型。
  7. 根据权利要求6所述的装置，其特征在于，
    所述映射模块，具体用于：将所述点云数据按照不同模式分别映射到预设大小的网格中，得到不同的映射数据；
    所述编码模块，用于根据预设编码质量参数对所述映射模块得到的各映射数据分别进行独立的JPEG编码，得到对应的各第二失真和码率组合。
  8. 根据权利要求7所述的装置，其特征在于，所述筛选模块，具体包括：第一计算子模块、第二计算子模块和比对子模块；
    所述第一计算子模块，用于根据所述预设编码质量参数和所述离线训练模块得到的拉格朗日乘子模型计算对应的拉格朗日乘子；
    所述第二计算子模块，用于根据所述第一计算子模块计算的拉格朗日乘子、所述失真代价的计算公式及所述编码模块得到的各第二失真和码率组合，计算对应的各模式的失真代价；
    所述比对子模块，用于比对所述第二计算子模块计算的各模式的失真代价，并将最小失真代价对应的模式作为最优模式。
PCT/CN2017/117857 2017-12-13 2017-12-21 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置 WO2019114024A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711336351.XA CN108235018B (zh) 2017-12-13 2017-12-13 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置
CN201711336351.X 2017-12-13

Publications (1)

Publication Number Publication Date
WO2019114024A1 true WO2019114024A1 (zh) 2019-06-20

Family

ID=62652099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/117857 WO2019114024A1 (zh) 2017-12-13 2017-12-21 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置

Country Status (2)

Country Link
CN (1) CN108235018B (zh)
WO (1) WO2019114024A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187191A1 (zh) * 2019-03-19 2020-09-24 华为技术有限公司 点云编解码方法及编解码器
CN116324865A (zh) * 2020-09-25 2023-06-23 Oppo广东移动通信有限公司 点云编码方法及相关装置
CN112437301B (zh) * 2020-10-13 2021-11-02 北京大学 一种面向视觉分析的码率控制方法、装置、存储介质及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101217671A (zh) * 2008-01-09 2008-07-09 武汉大学 自适应选择h.264视频标准中灵活宏块排序模式的方法
CN101778275A (zh) * 2009-01-09 2010-07-14 深圳市融创天下科技发展有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
CN102647591A (zh) * 2012-04-17 2012-08-22 中国科学院声学研究所 基于ssim评价的容错率失真优化视频编码方法、装置
US20130159263A1 (en) * 2011-12-18 2013-06-20 Numerica Corporation Lossy compression of data points using point-wise error constraints
CN103220532A (zh) * 2013-05-02 2013-07-24 清华大学 立体视频的联合预测编码方法及系统
CN107040782A (zh) * 2017-04-21 2017-08-11 上海电力学院 基于拉格朗日方法的视频编码全局率失真优化方法
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079933B (zh) * 2014-07-09 2018-07-27 上海君观信息技术有限公司 适用于hevc的低延时码率控制方法及比特数分配方法
CN105093925B (zh) * 2015-07-15 2020-11-03 山东理工大学 一种基于被测地形特点的机载激光雷达参数实时自适应调整方法
CN106485676B (zh) * 2016-09-29 2019-10-11 天津大学 一种基于稀疏编码的LiDAR点云数据修复方法
CN106713935B (zh) * 2017-01-09 2019-06-11 杭州电子科技大学 一种基于贝叶斯决策的hevc块划分快速方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101217671A (zh) * 2008-01-09 2008-07-09 武汉大学 自适应选择h.264视频标准中灵活宏块排序模式的方法
CN101778275A (zh) * 2009-01-09 2010-07-14 深圳市融创天下科技发展有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
US20130159263A1 (en) * 2011-12-18 2013-06-20 Numerica Corporation Lossy compression of data points using point-wise error constraints
CN102647591A (zh) * 2012-04-17 2012-08-22 中国科学院声学研究所 基于ssim评价的容错率失真优化视频编码方法、装置
CN103220532A (zh) * 2013-05-02 2013-07-24 清华大学 立体视频的联合预测编码方法及系统
US20170347120A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
CN107040782A (zh) * 2017-04-21 2017-08-11 上海电力学院 基于拉格朗日方法的视频编码全局率失真优化方法

Also Published As

Publication number Publication date
CN108235018B (zh) 2019-12-27
CN108235018A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN115690324A (zh) 一种基于点云的神经辐射场重建优化方法及装置
TWI709107B (zh) 影像特徵提取方法及包含其顯著物體預測方法
CN104378643B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
WO2019114024A1 (zh) 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置
CN113011329B (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN102447925B (zh) 一种虚拟视点图像合成方法及装置
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
CN108347611B (zh) 用于经纬图的编码块级拉格朗日乘子的优化方法
CN109587503B (zh) 一种基于边缘检测的3d-hevc深度图帧内编码模式快速决策方法
TW201232469A (en) Stereo matching method based on image intensity quantization processing
CN102685532A (zh) 自由视点四维空间视频编码系统的编码方法
CN107993255A (zh) 一种基于卷积神经网络的稠密光流估计方法
CN104159095A (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN113068031A (zh) 一种基于深度学习的环路滤波方法
CN110276739B (zh) 一种基于深度学习的视频去抖方法
CN102355589B (zh) 基于参数自优化多群粒子群优化的视频超分辨重建方法
CN109523508B (zh) 一种密集光场质量评价方法
CN106534855A (zh) 一种面向satd的拉格朗日因子计算方法
CN106961605B (zh) 一种基于宏像素边界匹配的光场图像压缩方法
CN103533353B (zh) 一种近似视频编码系统
CN104244008B (zh) 一种深度视频编码方法
CN114022371B (zh) 基于空间和通道注意力残差网络的去雾装置及其去雾方法
Wu et al. Stereo superpixel segmentation via dual-attention fusion networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17934369

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17934369

Country of ref document: EP

Kind code of ref document: A1