WO2021212440A1 - 一种图像编解码方法及装置 - Google Patents

一种图像编解码方法及装置 Download PDF

Info

Publication number
WO2021212440A1
WO2021212440A1 PCT/CN2020/086516 CN2020086516W WO2021212440A1 WO 2021212440 A1 WO2021212440 A1 WO 2021212440A1 CN 2020086516 W CN2020086516 W CN 2020086516W WO 2021212440 A1 WO2021212440 A1 WO 2021212440A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixel value
threshold
normalized
value
Prior art date
Application number
PCT/CN2020/086516
Other languages
English (en)
French (fr)
Inventor
林永兵
马莎
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to PCT/CN2020/086516 priority Critical patent/WO2021212440A1/zh
Priority to CN202080004809.5A priority patent/CN112655211B/zh
Publication of WO2021212440A1 publication Critical patent/WO2021212440A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control

Definitions

  • the device can be a chip or an integrated circuit.
  • FIG. 14 is one of the schematic diagrams of the image encoding device provided by an embodiment of the application.
  • the business scenario to which the embodiment of the present application is applicable may be as shown in Fig. 1.
  • the camera After the camera obtains the Bayer raw image, it needs to transmit the Bayer raw image to the image signal processing (image signal processing, ISP) component.
  • the original image (ie Bayer raw image) obtained by the camera is processed to obtain an image in RGB format or an image in YUV format for display.
  • the camera is usually required to output high-definition images. If the camera outputs 4K UHD 30fps 16bitdepth Bayer raw images, the bandwidth requirement is as high as 4Gbps (4K*2k*30*16).
  • image coding image compression
  • image compression image compression
  • Non-linear transformation plays the role of transforming the pixel value of the pixel in the image from the linear domain to the non-linear domain, which facilitates the processing of subsequent coding tools.
  • the embodiments of the present application aim to improve the methods of nonlinear transformation and nonlinear inverse transformation, so as to reduce the complexity of nonlinear transformation and nonlinear inverse transformation, improve the performance of image encoding and decoding, and reduce the delay of image encoding and decoding.
  • the slope of the first gamma curve at the intersection becomes smaller , which is closer to the slope of the first linear straight line, and the transition between the first gamma curve and the first linear curve is smoother, which helps to reduce the abrupt changes introduced in the nonlinear mapping process.
  • FIG. 11 it is the simulation test result using the third set of optional parameters.
  • the horizontal axis is the number of bits allocated for each pixel during encoding (bpp), which is equivalent to the code rate; the vertical axis is the peak signal-to-noise ratio (PSNR), which is a measure of image quality, and the larger the value, the better.
  • PSNR peak signal-to-noise ratio
  • the curve in FIG. 11 represents the difference of PSNR.
  • a negative value of PSNR indicates a loss of performance, and a positive value of PSNR indicates an improvement in performance.
  • the simulation effect corresponding to the third set of parameters has improved image performance compared to the first set of parameters and the second set of parameters in the low bit rate range.
  • FIG. 13 a schematic diagram of a decoding process provided by an embodiment of this application, and the process includes:
  • the ⁇ is 2.2
  • the a is 1.096
  • the b is 0.4
  • the first threshold is 0.5.

Abstract

本申请涉及图像处理技术领域，公开了一种图像编解码方法及装置，该方法包括：确定第一图像单元，第一图像单元包括归一化像素值小于或等于第一阈值的第一像素点和归一化像素值大于第一阈值的第二像素点；基于第一gamma曲线对第一像素点的第一归一化像素值进行第一变换，得到第一像素点的第三归一化像素值；基于第一线性曲线对第二像素点的第二归一化像素值进行第二变换，得到第二像素点的第四归一化像素值。通过引入第一线性曲线对归一化像素值大于第一阈值的第二像素点进行变换，可以有效降低gamma曲线带来的运算量，或降低gamma曲线带来的LUT存储和查找开销，从而有效降低非线性变换的复杂度，进而减小图像编码带来的时延。

Description

一种图像编解码方法及装置 技术领域
本申请涉及图像处理技术领域，特别涉及一种图像编解码方法及装置。
背景技术
摄像头具有分辨率高、非接触被动测量、使用方便、成本低廉等特点，是自动驾驶环境感知的必备传感器。随着摄像头分辨率、帧率、采样深度等的不断提高，视频图像输出对传输带宽的需求越来越大，为了缓解传输的压力，通常采用图像编码(图像压缩)的方法来降低传输带宽需求。同时，考虑到自动驾驶安全性第一的要求，图像编码应满足自动驾驶对低时延、低复杂度的需求。
非线性变换作为图像编码中的重要一环，通过将图像中像素点的像素值由线性域变换到非线性域，提高编码压缩性能。因此，如何降低非线性变换的复杂度，对减小图像编码的时延具有重要意义。
发明内容
本申请提供一种图像编解码方法及装置，用以降低非线性变换的复杂度，减小图像编码的时延。
第一方面，本申请实施例提供一种图像编码方法，该方法可由编码设备来执行，该方法包括：编码设备确定第一图像单元，所述第一图像单元包括第一像素点和第二像素点，其中所述第一像素点的第一归一化像素值小于或等于第一阈值，所述第二像素点的第二归一化像素值大于所述第一阈值；基于第一gamma曲线对所述第一像素点的第一归一化像素值进行第一变换，得到所述第一像素点的第三归一化像素值；基于第一线性曲线对所述第二像素点的第二归一化像素值进行第二变换，得到所述第二像素点的第四归一化像素值。可选的，所述第一图像单元为Bayer raw图像单元。
在本申请实施例中，通过引入第一线性曲线对归一化像素值大于第一阈值的第二像素点进行变换，相比于仅通过gamma曲线对图像单元中的像素点的归一化像素值进行变换，可以有效降低gamma曲线的平方和/或开方带来的运算量，或降低gamma曲线带来的显示查找表存储和查找开销，从而有效降低非线性变换的复杂度，进而减小图像编码带来的时延。
在一种可能的设计中，所述第一gamma曲线为
Figure PCTCN2020086516-appb-000001
其中，x表示第一像素点的第一归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、y表示第一像素点的第三归一化像素值；所述第一线性曲线为y＝1-b+b*x，其中，x表示第二像素点的第二归一化像素值、b为斜率、y表示第二像素点的第四归一化像素值。可选的，所述第一阈值，b，a，γ为预设的数值。
上述设计中，引入通过坐标点(1，1)的第一线性直线对第一图像单元中归一化像素值大于第一阈值的第二像素点进行变换，可以有效降低gamma曲线的平方和/或开方带来的运算量，或降低gamma曲线带来的显示查找表存储和查找开销，从而有效降低非线性变换的复杂度，进而减小图像编码带来的时延。
在一种可能的设计中，所述第一线性曲线为还可以为y＝1-b+b*x+c 1，c 1为预设值。
上述设计中，通过引入c 1可以进一步对第一线性曲线的输出范围进行调整，满足不同场景下非线性变换的需求。
在一种可能的设计中，所述a不小于1，所述b不小于0.18、且不大于0.5。
上述设计中，通过对斜率b和gamma曲线旋转系数a进行上述限定，可以将非线性变换对人眼视觉的影响控制在一定范围内，保证图像的视觉效果。
在一种可能的设计中，所述第一阈值不小于0.4、且不大于0.6。可选的，所述第一阈值为0.5。
上述设计中，通过对第一阈值进行上述限定，可以确保有效降低gamma曲线的平方和/或开方带来的运算量，或降低gamma曲线带来的显示查找表存储和查找开销，同时避免对图像低亮部分的视觉效果产生影响。
在一种可能的设计中，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第一阈值为0.486；或，所述a为1.131、所述b为0.4，所述第一阈值为0.5。
上述设计中，对参数的限定，可以实现在不同码率条件下对图像视觉效果有所提升。
在一种可能的设计中，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第一阈值为0.5；当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第一阈值为0.5。
上述设计中，对参数的限定，可以实现在不同码率条件下对图像视觉效果有所提升。
在一种可能的设计中，所述第一gamma曲线与所述第一线性曲线相交在所述第一阈值。
上述设计中，第一gamma曲线与第一线性曲线相交在第一阈值，可以保证非线性变换的连续性。
在一种可能的设计中，所述归一化像素值根据预设最大的像素值m，预设最小的像素值n和像素点的像素值c确定，所述像素点的归一化像素值为c/(m-n)。可选的，所述预设最大的像素值m为图像传感器的饱和值，所述预设最小的像素值n为图像传感器的光学暗电平。
上述设计中，可以保证对像素点归一化像素值的准确确定。
第二方面，本申请实施例提供一种图像解码方法，该方法可由解码设备来执行，该方法包括：确定第二图像单元，所述第二图像单元包括第一像素点和第二像素点，其中所述第一像素点的第三归一化像素值小于或等于第二阈值，所述第二像素点的第四归一化像素值大于所述第二阈值；基于第二gamma曲线对所述第一像素点的第三归一化像素值进行第一逆变换，得到所述第一像素点的第一归一化像素值；基于第二线性曲线对所述第二像素点的第四归一化像素值进行第二逆变换，得到所述第二像素点的第二归一化像素值。
在一种可能的设计中，所述第二gamma曲线为x＝(y/a) γ，其中，y表示第一像素点的第三归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、x表示第一像素点第一归一化像素值；所述第二线性曲线为x＝(y-1+b)/b，其中，y表示第二像素点的第四归一化像素值、b为斜率、x表示第二像素点第二归一化像素值。可选的，所述第二阈值，b，a，γ为预设的数值。
在一种可能的设计中，所述第二线性曲线为还可以为x＝(y-1+b)/b+c 2，c 2为预设值。
在一种可能的设计中，所述a不小于1，所述b不小于0.18、且不大于0.5。
在一种可能的设计中，所述第二阈值为
Figure PCTCN2020086516-appb-000002
所述th为预设的变换曲线选择参数。
在一种可能的设计中，所述th不小于0.4、且不大于0.6。
在一种可能的设计中，所述th为0.5。
在一种可能的设计中，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第二阈值为0.871；或，所述a为1.131、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第二阈值为0.800；当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，所述第二gamma曲线与所述第二线性曲线相交在所述第二阈值。
上述第二方面的各种可能的设计的有益效果，可参考图像编码侧对应的描述，在此不再重复。
第三方面，本申请实施例提供一种图像编码装置，该装置具有实现上述第一方面或者第一方面的任一种可能的设计中方法的功能，所述功能可以通过软件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元(模块)，比如包括确定模块和变换模块。
在一个可能的设计中，该装置可以是芯片或者集成电路。
在一个可能的设计中，该装置包括处理器，所述处理器用于实现上述第一方面或者第一方面的任一种可能的设计中所述的方法的功能。该装置还可以包括存储器，所述存储器存储有可被处理器执行的用于实现上述第一方面或者第一方面的任一种可能的设计中所述的方法的程序或指令。
在一个可能的设计中，该装置可以为编码设备。
第四方面，本申请实施例提供一种图像解码装置，该装置具有实现上述第二方面或者第二方面的任一种可能的设计中方法的功能，所述功能可以通过软件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元(模块)，比如包括确定模块和逆变换模块。
在一个可能的设计中，该装置可以是芯片或者集成电路。
在一个可能的设计中，该装置包括处理器，所述处理器用于实现上述第二方面或者第二方面的任一种可能的设计中所述的方法的功能。该装置还可以包括存储器，所述存储器存储有可被处理器执行的用于实现上述第二方面或者第二方面的任一种可能的设计中所述的方法的程序或指令。
在一个可能的设计中，该装置可以为解码设备。
第五方面，本申请实施例提供一种图像编解码系统，该图像编解码系统可以包括编码设备和解码设备，其中编码设备可以执行上述第一方面或者第一方面的任一种可能的设计中所述的方法，解码设备可以执行上述第二方面或者第二方面的任一种可能的设计中所述的方法。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序或指令，当该计算机程序或指令被处理器执行时，使得处理器执行上述第一方面或第一方面的任一种可能的设计中的方法，或执行上述第二方面或第二方面的任一种可能的设计中的方法。
第七方面，本申请实施例还提供一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被处理器执行时，可以实现上述第一方面或者第一方面的任一种可能的设计中所述的方法，或实现上述第二方面或者第二方面的任一种可能的设计中所述的方法。
第八方面，本申请还提供一种芯片，所述芯片用于实现上述第一方面或者第一方面的任一种可能的设计中所述的方法，或实现上述第二方面或者第二方面的任一种可能的设计中所述的方法。
上述第三方面至第八方面所能达到的技术效果请参照上述第一方面至第二方面所能达到的技术效果，这里不再重复赘述。
附图说明
图1为本申请实施例提供的业务场景示意图；
图2为本申请实施例提供的图像编解码流程示意图；
图3为本申请实施例提供的图像编码过程示意图；
图4为本申请实施例提供的gamma曲线示意图；
图5为本申请实施例提供的第一gamma曲线和第一线性曲线示意图之一；
图6为本申请实施例提供的HLG曲线示意图；
图7为本申请实施例提供的图像编解码中仿真效果示意图之一；
图8为本申请实施例提供的图像编解码中仿真效果示意图之二；
图9为本申请实施例提供的第一gamma曲线和第一线性曲线示意图之二；
图10为本申请实施例提供的第一gamma曲线和第一线性曲线示意图之三；
图11为本申请实施例提供的图像编解码中仿真效果示意图之三；
图12为本申请实施例提供的图像编解码中仿真效果示意图之四；
图13为本申请实施例提供的图像解码过程示意图；
图14为本申请实施例提供的图像编码装置示意图之一；
图15为本申请实施例提供的图像解码装置示意图之一；
图16为本申请实施例提供的图像编码装置示意图之二；
图17为本申请实施例提供的图像解码装置示意图之二。
具体实施方式
本申请实施例所适用的业务场景可以如图1所示，摄像头在获取到贝叶尔原始(Bayer raw)图像后，需要将Bayer raw图像传输至图像信号处理(image signal processing，ISP)组件，对摄像头获取的原始图像(即Bayer raw图像)进行处理，得到RGB格式的图像或YUV格式的图像，以进行显示。然而在自动驾驶等环境下，通常要求摄像头输出高清图像，如果摄像头输出4K UHD 30fps 16bitdepth的Bayer raw图像，其带宽需求高达4Gbps(4K*2k*30*16)。为缓解网络传输的压力，一般采用图像编码(图像压缩)的方法来降低带宽需求，以便无需升级现有网络设施即可开展高清或超高清视频新业务。
应理解的是，本申请实施例描述的业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
为了便于本领域技术人员理解，下面对本申请实施例中的部分用语进行解释说明。
1)、贝叶尔原始(Bayer raw)图像，也可以称为Bayer图像或raw图像。raw的原意就是“未经加工”，可以理解为：Bayer raw图像指的是CMOS或者CCD图像传感器将捕 捉到的光源信号转化为数字信号的原始数据，也就是相机内部的原始图像。因此也可以把Bayer raw图像概念化为“原始图像编码数据”或更形象的称为“数字底片”。
另外，在本申请实施例中，Bayer raw图像包括三个颜色分量，Bayer raw图像中的每个像素点只有一个颜色分量，该颜色分量的值可以等同于该像素点的像素值。在一种示例中，三个颜色分量分别为红色(red，R)分量、蓝色(blue，B)分量、绿色(green，G)分量。在另一种示例中，三个颜色分量分别为R分量、B分量、黄色(yellow，Y’)分量。Bayer raw图像包括哪些颜色分量，与摄像头中的颜色滤镜有关。
2)、图像编码和图像解码，图像编码也可以称为图像压缩，指在满足一定质量(如信噪比的要求或主观评价得分)的条件下，以较少比特数表示图像或图像中所包含信息的技术。而图像解码是图像编码的逆过程。传统的图像编码压缩标准，如JPEG、H264或H265等，主要面向高压缩比低码率的应用场景，往往难以满足自动驾驶视觉感知和机器识别对低时延和低复杂度的需求。JPEG-XS是第一个面向Bayer raw图像的低时延图像编码压缩国际标准，应用场景包括摄像头内部的视频信号的压缩，自动驾驶Bayer raw视频压缩传输，高速视频存储接口压缩等。支持RGB格式/YUV格式图像压缩的JPEG-XS第一阶段工作已经完成，在视觉无损质量情况下达到压缩比6:1。目前正在开展第二阶段工作，如图2所示，JPEG-XS第二阶段标准中新引入的编码工具主要包括：非线性变换和颜色变换，引入的解码工具主要包括非线性逆变换和反颜色变换。其中，非线性变换也可以称为非线性校正，非线性逆变换是非线性变换的逆过程，也可以称为反非线性校正。非线性变换起着将图像中像素点的像素值由线性域变换到非线性域，方便后续编码工具处理的作用。本申请实施例旨在改进非线性变换和非线性逆变换的方法，以降低非线性变换和非线性逆变换的复杂度，提高图像编解码的性能，降低图像编解码的时延。
另外，应理解，为了便于描述本申请实施例的技术方案，在本申请实施例中，“/”可以表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；“和/或”可以用于描述关联对象存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请实施例中所涉及的多个，是指两个或两个以上。在本申请实施例中，可以采用“第一”、“第二”等字样对功能相同或相似的技术特征进行区分。该“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。在本申请实施例中，“示例性的”或者“例如”等词用于表示例子、例证或说明，被描述为“示例性的”或者“例如”的实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
下面将结合附图，对本申请实施例进行详细描述。
图3为本申请实施例提供的一种图像编码过程示意图，该过程包括：
S301：编码设备确定第一图像单元，所述第一图像单元包括第一像素点和第二像素点。
其中，所述第一像素点的第一归一化像素值小于或等于第一阈值，所述第二像素点的第二归一化像素值大于所述第一阈值；或所述第一像素点的第一归一化像素值小于第一阈值，所述第二像素点的第二归一化像素值大于或等于所述第一阈值。
在本申请实施例中，编码设备可以以图像单元为单位进行图像编码，在图像单元中包含一个或多个第一像素点，以及一个或多个第二像素点。具体的，图像单元可以是Bayer raw图像，也可以是Bayer raw图像中的一个图像块，本申请实施例对此不作限定。
对于像素点归一化像素值的确定，在一种可能的实施中，可以根据像素点的像素值c，预设最大的像素值m以及预设的最小像素值n确定，即像素点的归一化像素值为c/(m-n)。示例的：以Bayer raw图像为RGGB格式的图像为例，Bayer raw图像中任一像素点可能是R分量对应的像素点，也可能是G分量对应的像素点，还可能是B分量对应的像素点。通常R/G/B分量对应的像素值的取值范围为0～255，也即R/G/B分量对应的预设最大像素值m通常为255，R/G/B分量对应的预设最小像素值n通常为0。假设某一像素点为R分量对应的像素点，像素点对应的像素值为102，则该像素点对应的归一化像素值为102/(255-0)＝0.4。
另外，为了对归一化像素值的准确确定，预设的最大的像素值m和预设最小的像素值n，可以根据获取图像单元的图像传感器的性能参数确定。例如：根据图像传感器的饱和值确定预设最大的像素值m；根据图像传感器的光学暗电平，确定预设最小的像素值n。示例的，对于获取RGGB格式的Bayer raw图像的图像传感器，图像传感器的饱和值为图像传感器可输出R/G/B分量的像素值的最大值，图像传感器的饱和值为图像传感器可输出R/G/B分量的像素值的最小值。
图4为现有技术中基于gamma曲线实现非线性变换的示意图，以gamma曲线
Figure PCTCN2020086516-appb-000003
γ等于2.0为例。其中横轴表示gamma曲线的输入(input)，纵轴表示gamma曲线的输出(output)，gamma曲线的输入和输出均为归一化的像素值。从图4中可以看出，gamma曲线在输入的信号(归一化像素值)较小时，对输入的信号放大倍数小，在输入的信号较大时，对输入的信号放大倍数小。gamma曲线实际上是对信号序列的比特(bit)重新分配，更多的bit用来表示信号的暗部，更小的bit用来表示信号的亮部。以基于gamma曲线对RGGB格式的Bayer raw图像进行变换为例，相当于对Bayer raw图像的高亮部分进行了压缩，这是利用了人眼的特性，人眼对高亮部分的变换相对并不敏感，而对低亮部分的亮度变换却相对敏感的特性。
而基于gamma曲线实现的非线性变换，在编码侧和解码侧分别涉及平方和开方运算，尤其涉及的开方运算，会占用大量的计算资源。本申请实施例重新设计非线性变换曲线，对高亮部分进行线性化，以降低变换带来的运算量，降低对计算资源的占用量。基于此，本申请实施例中，对于第一阈值(th)的选取，可以在0.5附近选取，如在0.4至0.6之间选取，以节约一半gamma曲线带来的运算量，或节约一半gamma曲线带来的显示查找表(look-up-table，LUT)存储开销和查找开销。
S302：编码设备基于第一gamma曲线对所述第一像素点的第一归一化像素值进行第一变换，得到所述第一像素点的第三归一化像素值。
S303：编码设备基于第一线性曲线对所述第二像素点的第二归一化像素值进行第二变换，得到所述第二像素点的第四归一化像素值。
需要说明的是，在本申请实施例中，对S302和S303的先后顺序不作限定，可以先进行S302，也可以先进行S303，还可以同时进行S302和S303。
参照图5所示，对于第一图像单元中归一化像素值小于或等于第一阈值的第一像素点，编码设备可以基于第一gamma曲线对第一像素点的第一归一化像素值进行第一变换，得到第一像素点的第三归一化像素值；对于第一图像单元中归一化像素值大于第一阈值的第二像素点，编码设备可以基于第一线性曲线对第二像素点的第二归一化像素值进行第二变换，得到第二像素点的第四归一化像素值。
作为一种示例，第一gamma曲线可以为
Figure PCTCN2020086516-appb-000004
其中，x表示第一像素点的第一归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、y表示第一像素点的第三归一化像素值；第一线性曲线可以为y＝1-b+b*x，其中，x表示第二像素点的第二归一化像素值、b为斜率、y表示第二像素点的第四归一化像素值。
所述第一线性曲线中还可以引入参数c 1，进一步对第一线性曲线的输出范围进行调整，以满足不同场景下非线性变换的需求。即第一线性曲线为还可以为y＝1-b+b*x+c 1，c 1为预设值。
在一种可能的实施中，为了保证非线性变换的连续性，第一gamma曲线与第一线性曲线相交在第一阈值。
对于斜率(b)的设定，可以参考gamme曲线和HLG曲线，参照图6所示，其中HLG曲线是gamma曲线和Log曲线的结合(hybrid log-gamma)。输入信号小时用gamma曲线，信号大时用对数或Log曲线。相比于标准gamma曲线，HLG曲线实现了信号的更大范围高亮部分进行了压缩，对高亮部分压缩的更厉害了。其中HLG曲线的相关参数如下：
V＝a*Ln(12*L C-b)+c  for 1＞＝L C＞1÷12
V＝Sqrt(3)*L C 0.5      for 1÷12＞＝L C＞＝0
a＝0.17883277，b＝0.28466892，c＝0.55991073
HLG曲线在输入信号为1时的斜率为0.18，此时对高亮部分的压缩，对图像性能影响较大，会较大程度的影响人眼视觉效果；gamma曲线在输入信号为1时的斜率为0.5，此时对高亮部分的压缩，对图像性能影响不大，对人眼视觉效果影响较小。因此在一种可能的实施中，直线斜率b，可以在0.18～0.5之间选取，确保对人眼视觉的影响控制在一定范围内。
另外，为了满足第一gamma曲线与第一线性曲线相交在0.5附近，需要对第一gamma曲线进行旋转，而gamma曲线旋转系数a大于1.0，可以使得旋转后的第一gamma曲线更加接近通常采用的γ为2.2的gamma曲线的效果(即更多的bit分配给信号的暗部)。
基于上述参数确定原则，对于第一gamma曲线
Figure PCTCN2020086516-appb-000005
和第一线性曲线(y＝1-b+b*x)中的参数γ、a、b，以及涉及的第一阈值(th)。当γ为2.0时，第一组可选的参数为：γ为2.0，a为1.25、b为0.25，th为0.486；第二组可选的参数为：γ为2.0，a为1.131、b为0.4，th为0.5。
如图7所示，为采用第一组可选参数的仿真测试结果。横轴为每个像素点在编码时分配的比特数(bit per pixel，bpp)，相当于码率大小；纵轴为峰值信噪比(peak signal to noise ratio，PSNR)，PSNR为图像质量衡量指标，其数值越大越好。图7中曲线表示PSNR的差值，PSNR的差值为负数表示性能有损失，PSNR的差值为正数表示性能有提升。如图7所示，可见在低码率时，图像性能有一定损失，在高码率时，图像性能有提升。
如图8所示，为采用第二组可选参数的仿真测试结果。横轴为每个像素点在编码时分配的比特数(bpp)，相当于码率大小；纵轴为峰值信噪比(PSNR)，PSNR为图像质量衡量指标，其数值越大越好。图8中曲线表示PSNR的差值，PSNR的差值为负数表示性能有损失，PSNR的差值为正数表示性能有提升。如图8所示，可见在整个测试码率范围内，图像性能均有提升。
另外，在非线性变换在实现时，往往采用查找显示查找表(LUT)的方法，确定每个 输入值对应的输出值，而不是采用直接计算的方法。这种场景下，我们可以优化γ取值，来获得更好的性能。同时对高亮部分进行线性化，减少LUT大小，及查找LUT的开销。具体的，可以将γ的取值，设置为现实常用的取值，如2.2或2.4。可以进一步改善非线性变换的效果，提升编码压缩性能。同时设计th值在0.5附近，仍然保证LUT大小减半，降低存储开销与查找开销。基于此，当γ为2.2时，如图9所示，第三组可选的参数为：γ为2.2，a为1.096、b为0.4，th为0.5；如图10所示，当γ为2.2时，第四组可选的参数为：γ为2.4，a为1.068、b为0.4，th为0.5。
在采用第三组参数和第四组参数的情况下，相比第一组参数和第二组参数的情况下，因为γ值变大了，在交点处的第一gamma曲线的斜率变小了，更接近第一线性直线的斜率，第一gamma曲线和第一线性曲线的过度更加平缓，有助于减少非线性映射过程中的引入的突变现象。
如图11所示，为采用第三组可选参数的仿真测试结果。横轴为每个像素点在编码时分配的比特数(bpp)，相当于码率大小；纵轴为峰值信噪比(PSNR)，PSNR为图像质量衡量指标，其数值越大越好。图11中曲线表示PSNR的差值，PSNR的差值为负数表示性能有损失，PSNR的差值为正数表示性能有提升。如图11所示，第三组参数对应的仿真效果，在低码率范围内相比于第一组参数和第二组参数，带来了图像性能提升。
如图12所示，为采用第四组可选参数的仿真测试结果。横轴为每个像素点在编码时分配的比特数(bpp)，相当于码率大小；纵轴为峰值信噪比(PSNR)，PSNR为图像质量衡量指标，其数值越大越好。图12中曲线表示PSNR的差值1PSNR的差值为负数表示性能有损失，PSNR的差值为正数表示性能有提升。如图12所示，第四组参数对应的仿真效果，在测试码率范围内均带来了一定图像性能提升。同时相比于第三组参数，进一步在低码率范围带来了图像性能提升。
接下来如图13所示，为本申请实施例提供的一种解码过程示意图，该过程包括：
S1301：解码设备确定第二图像单元，所述第二图像单元包括第一像素点和第二像素点。
其中，所述第一像素点的第三归一化像素值小于或等于第二阈值，所述第二像素点的第四归一化像素值大于所述第二阈值；或所述第一像素点的第三归一化像素值小于第二阈值，所述第二像素点的第四归一化像素值大于或等于所述第二阈值。
在本申请实施例中，第二图像单元是指经过非线性变换后的第一图像单元，示例的，参照图3所示，第一图像单元进行如图3所示的编码过程即可获得第二图像单元。
在解码侧实现的非线性逆变换，可以理解为是编码侧实现的非线性变换的逆过程，因此，对于第二阈值的选取，可以根据编码侧第一阈值的选取进行确定。例如：可以将第一阈值代入编码侧进行非线性变换的第一gamma曲线或第一线性曲线中，根据第一阈值变换后得到的值，确定第二阈值。
S1302：解码设备基于第二gamma曲线对所述第一像素点的第三归一化像素值进行第一逆变换，得到所述第一像素点的第一归一化像素值。
S1303：解码设备基于第二线性曲线对所述第二像素点的第四归一化像素值进行第二逆变换，得到所述第二像素点的第二归一化像素值。
需要说明的是，在本申请实施例中，对S1302和S1303的先后顺序不作限定，可以先 进行S1302，也可以先进行S1303，还可以同时进行S1302和S1303。
作为一种示例，第二gamma曲线可以为x＝(y/a) γ，其中，y表示第一像素点的第三归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、x表示第一像素点第一归一化像素值；第二线性曲线可以为x＝(y-1+b)/b，其中，y表示第二像素点的第四归一化像素值、b为斜率、x表示第二像素点第二归一化像素值。
所述第二线性曲线中还可以引入参数c 2，进一步对第二线性曲线的输出范围进行调整，以满足不同场景下非线性变换的需求。即第二线性曲线为还可以为x＝(y-1+b)/b+c 2，c 2为预设值。
在一种可能的实施中，为了保证非线性变换的连续性，第二gamma曲线与第二线性曲线相交在第二阈值。
对于斜率(b)、gamma曲线旋转系数(a)的选取原则可以参照编码侧的描述，重复之处不再进行赘述。而对于第二阈值(th’)的确定，可以根据编码侧第一阈值(th)的选取进行确定，作为一种示例，
Figure PCTCN2020086516-appb-000006
因此，当编码侧第一gamma曲线
Figure PCTCN2020086516-appb-000007
和第一线性曲线(y＝1-b+b*x)中的参数为第一组可选参数时，即γ为2.0，a为1.25、b为0.25，th为0.486时，解码侧对应的第一组可选参数为：γ为2.0，a为1.25、b为0.25、th’为0.871；当编码侧第一gamma曲线
Figure PCTCN2020086516-appb-000008
和第一线性曲线(y＝1-b+b*x)中的参数为第二组可选参数时，即γ为2.0，a为1.131、b为0.4，th为0.5时，解码侧对应的第二组可选参数为：γ为2.0，a为1.131、所述b为0.4、th’为0.800。
同理，当编码侧第一gamma曲线
Figure PCTCN2020086516-appb-000009
和第一线性曲线(y＝1-b+b*x)中的参数为第三组可选参数时，即γ为2.2、a为1.096、b为0.4，th为0.5时，解码侧对应的第三组可选参数为：γ为2.2，a为1.096、b为0.4、th’为0.800；当编码侧第一gamma曲线
Figure PCTCN2020086516-appb-000010
和第一线性曲线(y＝1-b+b*x)中的参数为第四组可选参数时，即γ为2.4、a为1.068、b为0.4，th为0.5时，解码侧对应的第四组可选参数为：γ为2.4，a为1.068、b为0.4、th’为0.800。
每组可选参数对应的仿真效果可以参照编码侧的实施，重复之处不再进行赘述。
另外，需要理解的是，在本申请实施例中，不仅限于引入一条线性曲线(如直线)，对现有仅基于gamma曲线实现的非线性变换进行改进。例如，可以引入多条线性曲线(如直线)，对现有仅基于gamma曲线实现的非线性变换进行改进。
以引入两条线性曲线(第一线性曲线A和第一线性曲线B)对仅基于第一gamma曲线实现的非线性变换进行改进为例，对于第一图像单元中归一化像素值小于或等于第一阈值A的第一像素点，基于第一gamma曲线实现变换；对于第一图像单元中归一化像素值大于第一阈值A、且小于或等于第一阈值B的第二像素点，基于第一线性曲线A实现变换；对于第一图像单元中归一化像素值大于第一阈值B的第三像素点，基于第一线性曲线B实现变换，其中第一阈值A小于第二阈值B。
同理，对于解码侧，对应引入两条线性曲线(第二线性曲线A和第二线性曲线B)对仅基于第二gamma曲线实现的非线性逆变换进行改进，对于第二图像单元(第二图像单元由第一图像中像素点进行线性变换得到)中归一化像素值小于或等于第二阈值A的第一像 素点，基于第二gamma曲线实现逆变换；对于第二图像单元中归一化像素值大于第二阈值A、且小于或等于第二阈值B的第二像素点，基于第二线性曲线A实现逆变换；对于第二图像单元中归一化像素值大于第二阈值B的第三像素点，基于第二线性曲线B实现逆变换，其中第二阈值A小于第二阈值B。
前文介绍了本申请实施例的图像编解码方法，下文中将介绍本申请实施例中的图像编解码装置。方法、装置是基于同一技术构思的，由于方法、装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。
基于与上述图像编码方法的相同的技术构思，如图14所示，提供了一种图像编码装置1400，装置1400能够执行上述图3的方法中由编码设备执行的各个步骤。装置1400可以为一个设备，或者设备中的一个芯片。装置1400可以包括：确定模块1410和变换模块1420。
在一种可能的设计中，确定模块1410，用于确定第一图像单元；所述第一图像单元包括第一像素点和第二像素点，其中所述第一像素点的第一归一化像素值小于或等于第一阈值，所述第二像素点的第二归一化像素值大于所述第一阈值；变换模块1420，用于基于第一gamma曲线对所述第一像素点的第一归一化像素值进行第一变换，得到所述第一像素点的第三归一化像素值；所述变换模块1420，还用于基于第一线性曲线对所述第二像素点的第二归一化像素值进行第二变换，得到所述第二像素点的第四归一化像素值。
在一种可能的设计中，所述第一gamma曲线为
Figure PCTCN2020086516-appb-000011
其中，x表示第一像素点的第一归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、y表示第一像素点的第三归一化像素值；
所述第一线性曲线为y＝1-b+b*x，其中，x表示第二像素点的第二归一化像素值、b为斜率、y表示第二像素点的第四归一化像素值。
在一种可能的设计中，所述第一阈值，b，a，γ为预设的数值。
在一种可能的设计中，所述a不小于1，所述b不小于0.18、且不大于0.5。
在一种可能的设计中，所述第一阈值不小于0.4、且不大于0.6。
在一种可能的设计中，所述第一阈值为0.5。
在一种可能的设计中，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第一阈值为0.486；或，所述a为1.131、所述b为0.4，所述第一阈值为0.5。
在一种可能的设计中，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第一阈值为0.5。
在一种可能的设计中，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第一阈值为0.5。
在一种可能的设计中，所述第一gamma曲线与所述第一线性曲线相交在所述第一阈值。
在一种可能的设计中，所述归一化像素值根据预设最大的像素值m，预设最小的像素值n和像素点的像素值c确定。
在一种可能的设计中，所述预设最大的像素值m为图像传感器的饱和值，所述预设最小的像素值n为图像传感器的光学暗电平。
在一种可能的设计中，所述像素点的归一化像素值为c/(m-n)。
在一种可能的设计中，所述第一图像单元为Bayer raw图像单元。
基于与上述图像解码方法的同一技术构思，如图15所示，提供了一种图像解码装置1500，装置1500能够执行上述图13的方法中由解码设备执行的各个步骤。装置1500可以为一个设备，也可以为应用于一个设备中的芯片。装置1500可以包括：确定模块1510和逆变换模块1520。
在一种可能的设计中，确定模块1510，用于确定第二图像单元；所述第二图像单元包括第一像素点和第二像素点，其中所述第一像素点的第三归一化像素值小于或等于第二阈值，所述第二像素点的第四归一化像素值大于所述第二阈值；逆变换模块1520，用于基于第二gamma曲线对所述第一像素点的第三归一化像素值进行第一逆变换，得到所述第一像素点的第一归一化像素值；所述逆变换模块1520，还用于基于第二线性曲线对所述第二像素点的第四归一化像素值进行第二逆变换，得到所述第二像素点的第二归一化像素值。
在一种可能的设计中，所述第二gamma曲线为x＝(y/a) γ，其中，y表示第一像素点的第三归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、x表示第一像素点第一归一化像素值；
所述第二线性曲线为x＝(y-1+b)/b，其中，y表示第二像素点的第四归一化像素值、b为斜率、x表示第二像素点第二归一化像素值。
在一种可能的设计中，所述第二阈值，b，a，γ为预设的数值。
在一种可能的设计中，所述a不小于1，所述b不小于0.18、且不大于0.5。
在一种可能的设计中，所述第二阈值为
Figure PCTCN2020086516-appb-000012
所述th为预设的变换曲线选择参数。
在一种可能的设计中，所述th不小于0.4、且不大于0.6。
在一种可能的设计中，所述th为0.5。
在一种可能的设计中，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第二阈值为0.871；或，所述a为1.131、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，所述第二gamma曲线与所述第二线性曲线相交在所述第二阈值。
图16是本申请实施例的编码装置1600的示意性框图。应理解，所述装置1600能够执行上述图3的方法中由编码设备执行的各个步骤。装置1600包括：处理器1610，可选的，还包括存储器1620。所述处理器1610和所述存储器1620之间电耦合。
示例的，存储器1620，用于存储计算机程序或指令；所述处理器1610，可以用于调用所述存储器中存储的计算机程序或指令，以执行上述图像编码方法。
在一种可能的实现中，所述处理器1610，用于确定第一图像单元，所述第一图像单元包括第一像素点和第二像素点，其中所述第一像素点的第一归一化像素值小于或等于第一阈值，所述第二像素点的第二归一化像素值大于所述第一阈值；以及基于第一gamma曲线对所述第一像素点的第一归一化像素值进行第一变换，得到所述第一像素点的第三归一化像素值；基于第一线性曲线对所述第二像素点的第二归一化像素值进行第二变换，得到所述第二像素点的第四归一化像素值。
在一种可能的设计中，所述第一gamma曲线为
Figure PCTCN2020086516-appb-000013
其中，x表示第一像素点的第一归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、y表示第一像素点的第三归一化像素值；
所述第一线性曲线为y＝1-b+b*x，其中，x表示第二像素点的第二归一化像素值、b为斜率、y表示第二像素点的第四归一化像素值。
在一种可能的设计中，所述第一阈值，b，a，γ为预设的数值。
在一种可能的设计中，所述a不小于1，所述b不小于0.18、且不大于0.5。
在一种可能的设计中，所述第一阈值不小于0.4、且不大于0.6。
在一种可能的设计中，所述第一阈值为0.5。
在一种可能的设计中，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第一阈值为0.486；或，所述a为1.131、所述b为0.4，所述第一阈值为0.5。
在一种可能的设计中，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第一阈值为0.5。
在一种可能的设计中，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第一阈值为0.5。
在一种可能的设计中，所述第一gamma曲线与所述第一线性曲线相交在所述第一阈值。
在一种可能的设计中，所述归一化像素值根据预设最大的像素值m，预设最小的像素值n和像素点的像素值c确定。
在一种可能的设计中，所述预设最大的像素值m为图像传感器的饱和值，所述预设最小的像素值n为图像传感器的光学暗电平。
在一种可能的设计中，所述像素点的归一化像素值为c/(m-n)。
在一种可能的设计中，所述第一图像单元为Bayer raw图像单元。
图17是本申请实施例的解码装置1700的示意性框图。应理解，所述装置1700能够执行上述图13的方法中由解码设备执行的各个步骤。装置1700包括：处理器1710，可选的，还包括存储器1720。所述处理器1710和所述存储器1720之间电耦合。
示例的，存储器1720，用于存储计算机程序或指令；所述处理器1710，可以用于调用所述存储器中存储的计算机程序或指令，以执行上述图像解码方法。
在一种可能的实现中，所述处理器1710，用于确定第二图像单元，所述第二图像单元包括第一像素点和第二像素点，其中所述第一像素点的第三归一化像素值小于或等于第二阈值，所述第二像素点的第四归一化像素值大于所述第二阈值；以及基于第二gamma曲线对所述第一像素点的第三归一化像素值进行第一逆变换，得到所述第一像素点的第一归一化像素值；基于第二线性曲线对所述第二像素点的第四归一化像素值进行第二逆变换，得到所述第二像素点的第二归一化像素值。
在一种可能的设计中，所述第二gamma曲线为x＝(y/a) γ，其中，y表示第一像素点的第三归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、x表示第一像素点第一归一化像素值；
所述第二线性曲线为x＝(y-1+b)/b，其中，y表示第二像素点的第四归一化像素值、b为斜率、x表示第二像素点第二归一化像素值。
在一种可能的设计中，所述第二阈值，b，a，γ为预设的数值。
在一种可能的设计中，所述a不小于1，所述b不小于0.18、且不大于0.5。
在一种可能的设计中，所述第二阈值为
Figure PCTCN2020086516-appb-000014
所述th为预设的变换曲线选择参数。
在一种可能的设计中，所述th不小于0.4、且不大于0.6。
在一种可能的设计中，所述th为0.5。
在一种可能的设计中，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第二阈值为0.871；或，所述a为1.131、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第二阈值为0.800。
在一种可能的设计中，所述第二gamma曲线与所述第二线性曲线相交在所述第二阈值。
上述的处理器可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。处理器还可以进一步包括硬件芯片或其他通用处理器。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)及其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等或其任意组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。应注意，本申请描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例还提供了一种计算机存储介质，存储有计算机程序或指令，该计算机程序或指令被处理器执行时，可以使得所述处理器用于执行上述图像编码方法和/或图像解码方法。例如执行图3所示的方法。例如执行图13所示的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在处理器上运行时，使得处理器可以执行上述提供的图像编码方法和/或图像解码方法。例如执行图3所示的方法。例如执行图13所示的方法。
本申请实施例还提供了一种芯片，所述芯片运行时，实现上述提供的图像编码方法和/或图像解码方法。例如实现图3所示的方法。例如实现图13所示的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产 品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器进行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上进行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上进行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (54)

  1. 一种图像编码方法，其特征在于，包括：
    确定第一图像单元；
    所述第一图像单元包括第一像素点和第二像素点，其中所述第一像素点的第一归一化像素值小于或等于第一阈值，所述第二像素点的第二归一化像素值大于所述第一阈值；
    基于第一gamma曲线对所述第一像素点的第一归一化像素值进行第一变换，得到所述第一像素点的第三归一化像素值；
    基于第一线性曲线对所述第二像素点的第二归一化像素值进行第二变换，得到所述第二像素点的第四归一化像素值。
  2. 如权利要求1所述的方法，其特征在于，所述第一gamma曲线为
    Figure PCTCN2020086516-appb-100001
    其中，x表示第一像素点的第一归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、y表示第一像素点的第三归一化像素值；
    所述第一线性曲线为y＝1-b+b*x，其中，x表示第二像素点的第二归一化像素值、b为斜率、y表示第二像素点的第四归一化像素值。
  3. 如权利要求2所述的方法，其特征在于，所述第一阈值，b，a，γ为预设的数值。
  4. 如权利要求2或3所述的方法，其特征在于，所述a不小于1，所述b不小于0.18、且不大于0.5。
  5. 如权利要求2-4中任一项所述的方法，其特征在于，所述第一阈值不小于0.4、且不大于0.6。
  6. 如权利要求5所述的方法，其特征在于，所述第一阈值为0.5。
  7. 如权利要求2-5中任一项所述的方法，其特征在于，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第一阈值为0.486；或，
    所述a为1.131、所述b为0.4，所述第一阈值为0.5。
  8. 如权利要求2-5中任一项所述的方法，其特征在于，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第一阈值为0.5。
  9. 如权利要求2-5中任一项所述的方法，其特征在于，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第一阈值为0.5。
  10. 如权利要求1-9中任一项所述的方法，其特征在于，所述第一gamma曲线与所述第一线性曲线相交在所述第一阈值。
  11. 如权利要求1-10中任一项所述的方法，其特征在于，所述归一化像素值根据预设最大的像素值m，预设最小的像素值n和像素点的像素值c确定。
  12. 如权利要求11所述的方法，其特征在于，所述预设最大的像素值m为图像传感器的饱和值，所述预设最小的像素值n为图像传感器的光学暗电平。
  13. 如权利要求11或12所述的方法，其特征在于，所述像素点的归一化像素值为c/(m-n)。
  14. 如权利要求1-13中任一项所述的方法，其特征在于，所述第一图像单元为贝叶尔原始Bayer raw图像单元。
  15. 一种图像解码方法，其特征在于，包括：
    确定第二图像单元；
    所述第二图像单元包括第一像素点和第二像素点，其中所述第一像素点的第三归一化像素值小于或等于第二阈值，所述第二像素点的第四归一化像素值大于所述第二阈值；
    基于第二gamma曲线对所述第一像素点的第三归一化像素值进行第一逆变换，得到所述第一像素点的第一归一化像素值；
    基于第二线性曲线对所述第二像素点的第四归一化像素值进行第二逆变换，得到所述第二像素点的第二归一化像素值。
  16. 如权利要求15所述的方法，其特征在于，所述第二gamma曲线为x＝(y/a) γ，其中，y表示第一像素点的第三归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、x表示第一像素点第一归一化像素值；
    所述第二线性曲线为x＝(y-1+b)/b，其中，y表示第二像素点的第四归一化像素值、b为斜率、x表示第二像素点第二归一化像素值。
  17. 如权利要求16所述的方法，其特征在于，所述第二阈值，b，a，γ为预设的数值。
  18. 如权利要求16或17所述的方法，其特征在于，所述a不小于1，所述b不小于0.18、且不大于0.5。
  19. 如权利要求16-18中任一项所述的方法，其特征在于，所述第二阈值为
    Figure PCTCN2020086516-appb-100002
    所述th为预设的变换曲线选择参数。
  20. 如权利要求19所述的方法，其特征在于，所述th不小于0.4、且不大于0.6。
  21. 如权利要求20所述的方法，其特征在于，所述th为0.5。
  22. 如权利要求16-20中任一项所述的方法，其特征在于，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第二阈值为0.871；或，
    所述a为1.131、所述b为0.4，所述第二阈值为0.800。
  23. 如权利要求16-20中任一项所述的方法，其特征在于，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第二阈值为0.800。
  24. 如权利要求16-20中任一项所述的方法，其特征在于，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第二阈值为0.800。
  25. 如权利要求15-24中任一项所述的方法，其特征在于，所述第二gamma曲线与所述第二线性曲线相交在所述第二阈值。
  26. 一种图像编码装置，其特征在于，包括：
    确定模块，用于确定第一图像单元；所述第一图像单元包括第一像素点和第二像素点，其中所述第一像素点的第一归一化像素值小于或等于第一阈值，所述第二像素点的第二归一化像素值大于所述第一阈值；
    变换模块，用于基于第一gamma曲线对所述第一像素点的第一归一化像素值进行第一变换，得到所述第一像素点的第三归一化像素值；
    所述变换模块，还用于基于第一线性曲线对所述第二像素点的第二归一化像素值进行第二变换，得到所述第二像素点的第四归一化像素值。
  27. 如权利要求26所述的装置，其特征在于，所述第一gamma曲线为
    Figure PCTCN2020086516-appb-100003
    其中，x表示第一像素点的第一归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、y表示第一像素点的第三归一化像素值；
    所述第一线性曲线为y＝1-b+b*x，其中，x表示第二像素点的第二归一化像素值、b为斜率、y表示第二像素点的第四归一化像素值。
  28. 如权利要求27所述的装置，其特征在于，所述第一阈值，b，a，γ为预设的数值。
  29. 如权利要求27或28所述的装置，其特征在于，所述a不小于1，所述b不小于0.18、且不大于0.5。
  30. 如权利要求27-29中任一项所述的装置，其特征在于，所述第一阈值不小于0.4、且不大于0.6。
  31. 如权利要求30所述的装置，其特征在于，所述第一阈值为0.5。
  32. 如权利要求27-30中任一项所述的装置，其特征在于，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第一阈值为0.486；或，
    所述a为1.131、所述b为0.4，所述第一阈值为0.5。
  33. 如权利要求27-30中任一项所述的装置，其特征在于，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第一阈值为0.5。
  34. 如权利要求27-30中任一项所述的装置，其特征在于，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第一阈值为0.5。
  35. 如权利要求26-34中任一项所述的装置，其特征在于，所述第一gamma曲线与所述第一线性曲线相交在所述第一阈值。
  36. 如权利要求26-35中任一项所述的装置，其特征在于，所述归一化像素值根据预设最大的像素值m，预设最小的像素值n和像素点的像素值c确定。
  37. 如权利要求36所述的装置，其特征在于，所述预设最大的像素值m为图像传感器的饱和值，所述预设最小的像素值n为图像传感器的光学暗电平。
  38. 如权利要求36或37所述的装置，其特征在于，所述像素点的归一化像素值为c/(m-n)。
  39. 如权利要求26-38中任一项所述的装置，其特征在于，所述第一图像单元为贝叶尔原始Bayer raw图像单元。
  40. 一种图像解码装置，其特征在于，包括：
    确定模块，用于确定第二图像单元；所述第二图像单元包括第一像素点和第二像素点，其中所述第一像素点的第三归一化像素值小于或等于第二阈值，所述第二像素点的第四归一化像素值大于所述第二阈值；
    逆变换模块，用于基于第二gamma曲线对所述第一像素点的第三归一化像素值进行第一逆变换，得到所述第一像素点的第一归一化像素值；
    所述逆变换模块，还用于基于第二线性曲线对所述第二像素点的第四归一化像素值进行第二逆变换，得到所述第二像素点的第二归一化像素值。
  41. 如权利要求40所述的装置，其特征在于，所述第二gamma曲线为x＝(y/a) γ，其中，y表示第一像素点的第三归一化像素值、a表示gamma曲线旋转系数、γ表示gamma值、x表示第一像素点第一归一化像素值；
    所述第二线性曲线为x＝(y-1+b)/b，其中，y表示第二像素点的第四归一化像素值、b为斜率、x表示第二像素点第二归一化像素值。
  42. 如权利要求41所述的装置，其特征在于，所述第二阈值，b，a，γ为预设的数 值。
  43. 如权利要求41或42所述的装置，其特征在于，所述a不小于1，所述b不小于0.18、且不大于0.5。
  44. 如权利要求41-43中任一项所述的装置，其特征在于，所述第二阈值为
    Figure PCTCN2020086516-appb-100004
    所述th为预设的变换曲线选择参数。
  45. 如权利要求44所述的装置，其特征在于，所述th不小于0.4、且不大于0.6。
  46. 如权利要求45所述的装置，其特征在于，所述th为0.5。
  47. 如权利要求41-45中任一项所述的装置，其特征在于，当所述γ为2.0时，所述a为1.25、所述b为0.25，所述第二阈值为0.871；或，
    所述a为1.131、所述b为0.4，所述第二阈值为0.800。
  48. 如权利要求41-45中任一项所述的装置，其特征在于，当所述γ为2.2时，所述a为1.096、所述b为0.4，所述第二阈值为0.800。
  49. 如权利要求41-45中任一项所述的装置，其特征在于，当所述γ为2.4时，所述a为1.068、所述b为0.4，所述第二阈值为0.800。
  50. 如权利要求40-49中任一项所述的装置，其特征在于，所述第二gamma曲线与所述第二线性曲线相交在所述第二阈值。
  51. 一种图像编码装置，其特征在于，包括：
    存储器，用于存储计算机程序或指令；
    处理器，用以执行所述存储器中的计算机程序或指令，当所述计算机程序或指令被执行时，实现如权利要求1-14中任一项所述的方法。
  52. 一种图像解码装置，其特征在于，包括：
    存储器，用于存储计算机程序或指令；
    处理器，用以执行所述存储器中的计算机程序或指令，当所述计算机程序或指令被执行时，实现如权利要求15-25中任一项所述的方法。
  53. 一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序或指令，当所述计算机程序或指令被处理器执行时，实现如权利要求1-14中任一项所述的方法，或者实现如权利要求15-25中任一项所述的方法。
  54. 一种芯片，其特征在于，所述芯片运行时，实现如权利要求1-14中任一项所述的方法，或者实现如权利要求15-25中任一项所述的方法。
PCT/CN2020/086516 2020-04-23 2020-04-23 一种图像编解码方法及装置 WO2021212440A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2020/086516 WO2021212440A1 (zh) 2020-04-23 2020-04-23 一种图像编解码方法及装置
CN202080004809.5A CN112655211B (zh) 2020-04-23 2020-04-23 一种图像编解码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/086516 WO2021212440A1 (zh) 2020-04-23 2020-04-23 一种图像编解码方法及装置

Publications (1)

Publication Number Publication Date
WO2021212440A1 true WO2021212440A1 (zh) 2021-10-28

Family

ID=75368447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/086516 WO2021212440A1 (zh) 2020-04-23 2020-04-23 一种图像编解码方法及装置

Country Status (2)

Country Link
CN (1) CN112655211B (zh)
WO (1) WO2021212440A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281537A (zh) * 2013-05-23 2013-09-04 华为技术有限公司 一种图像动态范围压缩方法及装置
US20180014015A1 (en) * 2011-04-15 2018-01-11 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
CN108259701A (zh) * 2018-01-17 2018-07-06 深圳市唯特视科技有限公司 一种基于高动态范围色域映射的颜色再现方法
CN109584182A (zh) * 2018-12-03 2019-04-05 董育理 一种图像处理方法和系统
CN110428379A (zh) * 2019-07-29 2019-11-08 慧视江山科技(北京)有限公司 一种图像灰度增强方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ056099A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
CN108200441B (zh) * 2018-01-22 2020-10-13 海信视像科技股份有限公司 一种图像亮度处理方法及装置、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180014015A1 (en) * 2011-04-15 2018-01-11 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
CN103281537A (zh) * 2013-05-23 2013-09-04 华为技术有限公司 一种图像动态范围压缩方法及装置
CN108259701A (zh) * 2018-01-17 2018-07-06 深圳市唯特视科技有限公司 一种基于高动态范围色域映射的颜色再现方法
CN109584182A (zh) * 2018-12-03 2019-04-05 董育理 一种图像处理方法和系统
CN110428379A (zh) * 2019-07-29 2019-11-08 慧视江山科技(北京)有限公司 一种图像灰度增强方法及系统

Also Published As

Publication number Publication date
CN112655211A (zh) 2021-04-13
CN112655211B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
US10074162B2 (en) Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
CN105850129B (zh) 对高动态范围图像进行色调映射的方法及设备
US11727895B2 (en) Gamut mapping using luminance parameters
US10839495B2 (en) Computing devices and methods of image processing with input image data and reference tone mapping strength data
KR102531468B1 (ko) 이미지 데이터의 인코딩 및 디코딩
CN101873429A (zh) 图像对比度的处理方法及装置
JP7359521B2 (ja) 画像処理方法および装置
JP2018507620A (ja) カラー・ピクチャを復号する方法および装置
WO2021073304A1 (zh) 一种图像处理的方法及装置
US10915996B2 (en) Enhancement of edges in images using depth information
US20170289571A1 (en) Temporal control for spatially adaptive tone mapping of high dynamic range video
WO2019091196A1 (zh) 图像处理的方法和装置
WO2023010750A1 (zh) 一种图像颜色映射方法、装置、终端设备及存储介质
US10015504B2 (en) Compressing image segmentation data using video coding
WO2021073316A1 (zh) 一种图像信号转换处理方法、装置及终端设备
WO2021212440A1 (zh) 一种图像编解码方法及装置
CN111833262A (zh) 图像降噪方法、装置及电子设备
EP3556093B1 (en) Color grading interpolation methods and devices
CN103974052B (zh) 一种图像饱和度的调整方法、装置和设备
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
WO2021212441A1 (zh) 一种图像编解码的方法及装置
CN113395503B (zh) 图像的白平衡校正方法、装置、设备及介质
JP7364250B2 (ja) 映像処理装置、映像処理方法、映像処理システム、および映像処理プログラム
CN116485979B (zh) 映射关系计算方法、颜色校准方法及电子设备
US10846829B1 (en) Image sharpening with edge direction based undershoot and overshoot reduction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20932213

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20932213

Country of ref document: EP

Kind code of ref document: A1