WO2020248715A1 - 基于高效率视频编码的编码管理方法及装置 - Google Patents

基于高效率视频编码的编码管理方法及装置 Download PDF

Info

Publication number
WO2020248715A1
WO2020248715A1 PCT/CN2020/085642 CN2020085642W WO2020248715A1 WO 2020248715 A1 WO2020248715 A1 WO 2020248715A1 CN 2020085642 W CN2020085642 W CN 2020085642W WO 2020248715 A1 WO2020248715 A1 WO 2020248715A1
Authority
WO
WIPO (PCT)
Prior art keywords
basic unit
correlation
division
divided
basic
Prior art date
Application number
PCT/CN2020/085642
Other languages
English (en)
French (fr)
Inventor
徐科
宋剑军
Original Assignee
深圳市中兴微电子技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市中兴微电子技术有限公司 filed Critical 深圳市中兴微电子技术有限公司
Priority to US17/601,848 priority Critical patent/US11909999B2/en
Priority to EP20821664.8A priority patent/EP3934246A4/en
Publication of WO2020248715A1 publication Critical patent/WO2020248715A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • This application relates to the field of information processing, such as a coding management method and device based on high-efficiency video coding.
  • HEVC High Efficiency Video Coding
  • CTU Coding Tree Unit
  • RDO Rate-Distortion Optimization
  • the present application provides a coding management method and device based on high-efficiency video coding, which can reduce the complexity of the encoder.
  • This application provides a coding management method based on high-efficiency video coding HEVC, including:
  • the correlation result includes the spatial correlation results of 1 basic unit before division and N basic units generated after division, and N is an integer greater than 1.
  • the present application also provides an HEVC-based encoding management device, including a processor and a memory, the memory stores a computer program, and the processor invokes the computer program in the memory to implement the HEVC-based encoding management method.
  • FIG. 1 is a flowchart of a coding management method based on high-efficiency video coding according to an embodiment of the application
  • FIG. 2 is a flowchart of a coding management method for CU depth division according to Embodiment 1 of this application;
  • FIG. 3 is a flowchart of a frame encoding method for CU depth division according to Embodiment 2 of the application;
  • FIG. 4 is a flowchart of a method for managing CU depth division based on threshold training according to Embodiment 3 of the application.
  • the size of the coding block ranges from the smallest 8x8 to the largest 64x64.
  • a large CB can greatly improve the coding efficiency of flat areas, and on the other hand, a small CB can process images well. Local details can make the prediction of complex images more accurate.
  • a luminance component CB, a corresponding chrominance component CB and related syntax elements together form a coding unit CU.
  • An image can be divided into multiple non-overlapping CTUs.
  • a cyclic hierarchical structure based on a quad tree is adopted. Coding units on the same level have the same segmentation depth.
  • a CTU may only include one CU, that is, it is not divided, or it may be divided into multiple CUs.
  • coding unit CU d Whether the coding unit continues to be divided depends on the split flag. For the coding unit CU d, assuming the size is 2Nx2N, the depth is d, and the corresponding Split flag value is 0, then CU d no longer performs quadtree division. On the contrary, if the corresponding Split flag value is 1, the coding unit CU d will be divided into 4 independent coding units CU d+1.
  • intra prediction supports 4 sizes of CUs: 8x8, 16x16, 32x32, and 64x64. Each size of CU corresponds to a PU with 35 prediction modes.
  • Inter prediction uses motion search based on block motion compensation. Both types of prediction are the most time-consuming modules on the encoding side, and they are also necessary modules for calculating the best mode. In the process of dividing the CU, each time it is judged whether to divide or not, it needs to go through 4+1 times of intra-frame and inter-frame pattern searches, which is very computationally complex.
  • the purpose of analyzing the CU division is to distinguish and target the texture complexity of different image local areas, and respectively use different sizes of CB for encoding.
  • the intra mode the more complex the texture of the coding block, the greater the change in pixel value, and the more the division tends to be smaller CU.
  • the smoother the coding block the smaller the change in pixel value, and the more division is For larger CU.
  • the inter-frame mode the smaller the correlation between the current frame area of the coding block and the reference frame area, the greater the pixel value difference, and the division tends to be smaller CUs.
  • the current frame area of the coding block is The greater the correlation of the reference frame area, the smaller the pixel value difference, and the more the division tends to be larger CU.
  • the HEVC standard test platform includes some early decision algorithms for CU division, such as early termination strategy (Early_CU), early jump strategy (Early_SKIP) and fast code block flag (Coding Block Flag, CBF strategy) (CBF_Fast ).
  • early termination strategy Early_CU
  • Early_SKIP early jump strategy
  • CBF_Fast fast code block flag
  • the embodiment of the present application performs simple preprocessing before CU division to determine the basic situation of the current CU block.
  • the intra-frame mode is the spatial correlation size
  • the inter-frame The mode is the time-domain correlation size, and then decide whether to divide according to this information, that is, add a CU division decision condition. Therefore, if the CU division method can be predicted in advance, then some nodes in the quadtree can be effectively skipped directly, so that the complexity of the encoder can be significantly reduced.
  • FIG. 1 is a flowchart of a coding management method based on high-efficiency video coding provided by an embodiment of the application. The method shown in Figure 1 includes:
  • Step 1010 Obtain the correlation calculation results of the basic unit of HEVC before and after the division, where the correlation result includes the spatial correlation results of 1 basic unit before division and N basic units generated after division, where N is greater than 1. Integer.
  • the basic unit may be a coding unit (Coding Unit, CU), a prediction unit (Prediction Unit, PU), or a transform unit (Transform Unit, TU).
  • CU Coding Unit
  • Prediction Unit Prediction Unit
  • TU Transform Unit
  • the spatial correlation result includes: the spatial correlation ⁇ s between 1 basic unit before division and N basic units generated after division; and/or, for 1 basic unit The spatial correlation ⁇ s between the N basic units generated after the basic unit is divided.
  • Step 1020 Determine whether to perform a division operation on the basic unit according to the correlation calculation result.
  • the judgment condition provided in the embodiment of this application is to determine the cost relationship of the division operation according to the correlation before and after the division of the basic unit to determine whether to perform the division.
  • the required calculation operation amount is related
  • the calculation of performance results reduces the computational complexity compared with related technologies.
  • the method provided in the embodiment of the present application obtains the correlation calculation result of the basic unit of HEVC before and after the division, and determines whether to perform the division operation on the basic unit according to the calculation result of the correlation, and realizes the correlation between the basic unit before and after the division.
  • the sex result is used as the condition of the division decision to reduce the complexity of the judgment operation.
  • the spatial correlation ⁇ s between 1 basic unit before the division and the N basic units generated after the division is obtained in the following manner, including:
  • the spatial correlation ⁇ s between the N basic units generated after dividing 1 basic unit is obtained in the following manner, including:
  • the correlation calculation result further includes: a time domain correlation result of 1 basic unit before division and N basic units generated after division.
  • the intra-frame mode of the basic unit is determined by spatial correlation
  • the inter-frame mode of the basic unit is determined by time-domain correlation
  • the division of the basic unit is determined.
  • the time domain correlation result is obtained in the following manner, including:
  • the time domain correlation ⁇ t between the 1 basic unit before the division and the N basic units generated after the division is obtained in the following manner, including:
  • the time domain correlation ⁇ t between the N basic units generated after dividing 1 basic unit is obtained in the following manner, including:
  • the determining whether to perform a division operation on the basic unit according to the correlation calculation result includes:
  • the video frame type corresponding to the basic unit if the basic unit is an intra video frame, determine whether to divide the basic unit according to the spatial correlation result; if the basic unit is unidirectional predictive coding For frames or bidirectionally predictively coded frames, it is determined whether to divide the basic unit according to the spatial correlation result and the time domain correlation result.
  • the correlation result that needs to be used is determined, and the calculation scale of the correlation is effectively controlled on the premise of ensuring the realization of the division operation.
  • the determining whether to perform a division operation on the basic unit according to the correlation calculation result includes:
  • the basic unit is an intra-frame video frame (I frame)
  • I frame intra-frame video frame
  • the basic unit is a unidirectional predictive coded frame or a bidirectional predictive coded frame (P frame or B frame)
  • P frame or B frame a bidirectional predictive coded frame
  • the method further includes:
  • the correlation result of the basic unit that performs the division operation and the correlation result of the basic unit that does not perform the division operation are counted; according to the correlation of the basic unit that performs the division operation And the correlation result of the basic unit that does not perform the division operation, determine the threshold used to determine whether to perform the division operation on the basic unit next time, where the threshold includes the threshold for performing the division operation and/or not perform the division operation The threshold of the division operation.
  • the threshold may be recalculated at regular intervals or when the application scenario changes, so as to make accurate judgments.
  • the method further includes:
  • the residual information of the basic unit is calculated; if the obtained residual information meets the preset residual judgment condition, the basic unit is divided.
  • calculating the residual of the basic unit, and then determining whether to perform the division operation can improve the accuracy of coding.
  • Best Cost d Take the best mode cost of CU d is Best Cost d, and it is divided into 4 sub-CU d+1 as the application scenario as an example for illustration:
  • the exemplary embodiment of the present application proposes an encoding method for fast CU depth division based on HEVC correlation information. Before CU d is divided, preprocessing first obtains the spatial correlation and time domain correlation information of CU d, and then obtains the spatial correlation and time domain correlation information of CU d+1 after division, and establishes the cost relationship between the two.
  • the CU division decision is made in advance to achieve the purpose of making full use of the relevance of the video content and reduce the coding complexity.
  • FIG. 2 is a flowchart of a coding management method for CU depth division according to Embodiment 1 of this application. The method shown in Figure 2 includes the following steps:
  • Step 2010 Calculate the CU airspace correlation.
  • Step 2020 Calculate the time domain correlation of the CU.
  • the time domain correlation of the current CU is obtained, and the time domain correlation of the first 1 coding unit and the 4 coding units after the division of the CU is calculated.
  • Step 2030 Perform a quadtree division decision based on the correlation information.
  • the correlation before division is greater than the correlation after division, then no division is performed, and the correlation before division is not greater than the correlation after division, then the basic The unit is divided.
  • Embodiment 1 of the present application can improve the encoding speed of video images.
  • HM HEVC Test Model
  • FIG. 3 is a flowchart of a frame encoding management method for CU depth division according to Embodiment 2 of the application. The method shown in Figure 3 includes the following steps:
  • Step 3010 Input an encoded video image.
  • the video image is a video image waiting to be encoded and may be a video sequence.
  • Step 3020 Input the coding unit as the to-be-processed object of the division decision.
  • Step 3030 Calculate CU airspace correlation.
  • n the number of pixels contained in the coding unit
  • x i the pixel value of the i-th pixel.
  • calculate the spatial correlation size of the 4 coding units after division which are recorded as with Define the perception factors of two spatial correlations, as shown in equations (3) and (4).
  • Step 3040 Calculate the time domain correlation of the CU.
  • the reference unit obtains a spatial candidate list similar to the Merge mode in the Motion Vector (MV) prediction technology, and obtains the prediction value (Motion Vector Prediction, MVP) of the highest priority MV based on the spatial information of the current coding unit and then rounds it to integer , Perform an integer pixel offset in the corresponding area of the reference frame to obtain the reference unit.
  • MV Motion Vector
  • MVP Motion Vector Prediction
  • n represents the number of pixels contained in the coding unit, Indicates the pixel value of the coding unit, Indicates the pixel value of the reference unit.
  • calculate the time-domain correlation size of the 4 coding units after the division and record them as with Define two perceptual factors of time-domain correlation, as shown in equations (6) and (7).
  • Step 3050 Perform quadtree division according to the correlation information.
  • I-frames For I-frames, it can be judged only by spatial correlation; for P/B frames, it can be judged according to spatial correlation and time-domain correlation.
  • the CU is not divided when the formula (8a) is satisfied, and the CU is divided when the formula (9a) is satisfied.
  • the first 6 indicate no thresholds and are recorded as data 1, and the last 6 indicate the thresholds for division and are recorded as data 2.
  • Step 3060 Perform an encoding operation according to the decision result.
  • Step 3070 Determine whether the encoding of the current frame is over.
  • step 3080 is executed, and if the encoding of the current frame is not completed, step 3090 is executed to obtain the next CU.
  • Step 3080 Determine whether the encoding of the current sequence ends.
  • step 3100 performs step 3100 to obtain the next video frame.
  • FIG. 4 is a flowchart of a method for managing CU depth division based on threshold training according to Embodiment 3 of the application. The method shown in Figure 4 includes the following steps:
  • Step 4010 Input an encoded video image.
  • the video image is a video image waiting to be encoded and may be a video sequence.
  • Step 4020 Input the coding unit as the to-be-processed object of the division decision.
  • Step 4030 Calculate the CU airspace correlation.
  • n the number of pixels contained in the coding unit
  • xi the pixel value of the i-th pixel.
  • calculate the spatial correlation size of the 4 coding units after division which are recorded as with Define the perception factors of two spatial correlations, as shown in equations (3) and (4).
  • Step 4040 Calculate the time domain correlation of the CU.
  • the reference unit obtains a spatial candidate list similar to the Merge mode in the MV prediction technology, obtains the MVP with the highest priority according to the spatial information of the current coding unit and then rounds it, performs an integer pixel offset in the corresponding area of the reference frame to obtain the reference unit.
  • n represents the number of pixels contained in the coding unit, Indicates the pixel value of the coding unit, Indicates the pixel value of the reference unit.
  • calculate the time-domain correlation size of the 4 coding units after the division and record them as with Define two perceptual factors of time-domain correlation, as shown in equations (6) and (7).
  • Step 4050 Perform quadtree division according to the correlation information.
  • the determination based on the spatial and temporal correlation of the current coding unit obtained in step 4030 and step 4040 includes:
  • CU is not divided when formula (8b) is satisfied, and CU is divided when formula (9b) is satisfied.
  • They are all thresholds and the values can be different.
  • the first 6 indicate no thresholds and are recorded as data 1, and the last 6 indicate the thresholds for division and are recorded as data 2.
  • the subsequent encoding process it can be updated at regular intervals or when scenes are switched, and the above-mentioned method can be used to determine the CU division of different depths d in the remaining time periods, saving encoding time.
  • the residual of the current coding unit can also be judged. If the codeword is particularly large, the division is mandatory.
  • Step 4060 Perform an encoding operation according to the decision result.
  • Step 4070 Determine whether the encoding of the current frame is over.
  • step 4080 is executed, and if the encoding of the current frame is not finished, step 4090 is executed to obtain the next CU.
  • Step 4080 Determine whether the encoding of the current sequence ends.
  • step 4100 is executed to obtain the next video frame.
  • the method of correlation calculation is not limited to variance, but can also be mean square error, covariance, Hadamard transform coefficient size, sine/cosine transform size of residual coefficient, Sobel gradient size, etc. Etc., one or several combinations.
  • the acquisition of correlation information is not limited to the above-mentioned first and second steps. Deep learning or machine learning can be used to directly train from the pixel value samples of the coding unit.
  • the CU division decision can also be extended to the division decision of PU and TU.
  • the pixel value can be Y luminance component, U/V chrominance component, or a combination thereof.
  • the training process of threshold acquisition is not limited to conventional methods, and deep learning or machine learning can be used.
  • the method provided in the embodiments of this application is not limited to H.265, and can also be applied to H.264, H.266, Open Media Video Alliance (Alliance for Open Media Video, AV) 1, VP8, VP9, and source coding standards (Audio Video coding Standard, AVS)2, AVS3 and other video coding standards.
  • An embodiment of the present application provides a HEVC-based encoding management device, including a processor and a memory, wherein the memory stores a computer program, and the processor calls the computer program in the memory to implement any of the above method.
  • the device provided by the embodiment of the present application obtains the correlation calculation result of the basic unit of HEVC before and after the division, and determines whether to perform the division operation on the basic unit according to the calculation result of the correlation, and realizes the correlation between the basic unit before and after the division.
  • the sex result is used as the condition of the division decision to reduce the complexity of the judgment operation.
  • the functional modules/units in the system, and the device can be implemented as software, firmware, hardware, and appropriate combinations thereof.
  • the division between functional modules/units mentioned in the above description does not necessarily correspond to the division of physical components; for example, a physical component may have multiple functions, or a function or step may consist of multiple The physical components cooperate to execute.
  • Some or all components may be implemented as software executed by a processor, such as a digital signal processor or a microprocessor, or as hardware, or as an integrated circuit, such as an application specific integrated circuit.
  • Such software may be distributed on a computer-readable medium, and the computer-readable medium may include a computer storage medium (or a non-transitory medium) and a communication medium (or a transitory medium).
  • the term computer storage medium includes volatile and non-volatile, removable and non-removable implemented in any method or technology for storing information (such as computer-readable instructions, data structures, program modules, or other data) medium.
  • Computer storage media include, but are not limited to, Random Access Memory (RAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-only Memory (EEPROM), Flash memory or other memory technology, CD-ROM, Digital Versatile Disc (DVD) or other optical disk storage, magnetic cartridge, magnetic tape, magnetic disk storage or other magnetic storage devices, or can be used to store desired information and can be Any other media accessed by the computer.
  • Communication media usually contain computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave or other transmission mechanism, and may include any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文公开了一种基于高效率视频编码的编码管理方法及装置。所述方法包括：获取HEVC基本单元在划分前后的相关性计算结果，其中，所述相关性结果包括划分前的1个基本单元与所述基本单元划分后所产生的N个基本单元的空域相关性结果，N为大于1的整数；根据所述相关性计算结果，判断是否对所述基本单元进行划分操作。

Description

基于高效率视频编码的编码管理方法及装置
本申请要求在2019年06月13日提交中国专利局、申请号为201910512079.9的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及信息处理领域，例如一种基于高效率视频编码的编码管理方法及装置。
背景技术
随着视频行业快速发展，视频分辨率从标清、高清、超清、到4K/8K，帧率从30帧、60帧、90帧到120帧，包含的信息量不断扩大，这势必会给网络带宽带来极大的压力，如何提高视频码流的编码质量变得很重要。
国际视频编码标准组织为了更好地提高编码质量，提出了高效率视频编码(High Efficiency Video Coding，HEVC)标准，也称为H.265，引入了树形结构单元(Coding Tree Unit，CTU)，采用了四叉树结构的图像块划分方式。这种块划分方式可以得到比H.264/AVC(高级视频编码，Advanced Video Coding)更好的编码效率，因为需要对每一种尺寸的编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)和变换单元(Transform Unit，TU)通过率失真优化(Rate-Distortion Optimization，RDO)计算代价得到最优的划分，所以编码器的复杂度非常大。
发明内容
本申请提供了一种基于高效率视频编码的编码管理方法及装置，能够降低编码器的复杂度。
本申请提供了一种基于高效率视频编码HEVC的编码管理方法，包括：
获取HEVC基本单元在划分前后的相关性计算结果，其中，相关性结果包括划分前的1个基本单元与划分后所产生的N个基本单元的空域相关性结果，N为大于1的整数；
根据所述相关性计算结果，判断是否对所述基本单元进行划分操作。
本申请还提供了一种基于HEVC的编码管理装置，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现上述基于HEVC的编码管理方法。
附图说明
图1为本申请实施例提供的一种基于高效率视频编码的编码管理方法的流程图；
图2为本申请实施例一提供的一种CU深度划分的编码管理方法的流程图；
图3为本申请实施例二提供的一种CU深度划分的帧编码方法的流程图；
图4为本申请实施例三提供的一种基于阈值训练的CU深度划分的管理方法的流程图。
具体实施方式
下文中将结合附图对本申请的实施例进行说明。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在一些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
以CU为例对本申请的技术方案进行分析说明：
在HEVC中，编码块(Coding Block，CB)的大小从最小的8x8到最大的64x64，一方面大的CB可以使得平缓区域的编码效率大大提高，另一方面小的CB能够很好的处理图像局部的细节，从而可以使复杂图像的预测更加准确。一个亮度分量CB和相应色度分量CB及相关句法元素共同组成一个编码单元CU。
一幅图像可以被划分为多个互不重叠的CTU，在CTU内部，采用基于四叉树的循环分层结构。同一层次上的编码单元具有相同的分割深度。一个CTU可能只包含一个CU，即没有进行划分，也可能被划分为多个CU。
编码单元是否继续被划分取决于分割标志位(Split flag)，对于编码单元CU d，假设大小为2Nx2N，深度是d，对应的Split flag值是0，则CU d不再进行四叉树划分，反之，对应的Split flag值是1，编码单元CU d将会划分成4个独立编码单元CU d+1。
分割标志位Split flag取值通过计算当前CU d和划分后的4个子CU d+1的率失真代价大小决定，假如当前CU d的最佳模式代价是Best Cost d，划分为4个子CU d+1最佳模式代价之和是Best Cost d+1，如果Best Cost d<＝Best Cost d+1，则当前CU d不划分，对应的Split flag＝0，反之，Best Cost d>Best Cost d+1，则当前CU d划分，对应的Split flag＝1。
在HEVC中，帧内预测支持4种大小的CU：8x8、16x16、32x32和64x64，每一种大小的CU对应的PU有35种预测模式，帧间预测通过基于块运动补偿 的运动搜索，这两类预测都是编码端最耗时的模块，也是计算最佳模式所必须的模块。在CU的划分过程中，每次判断是否划分都要经过4+1次帧内帧间模式搜索，计算复杂度很大。
分析CU划分目的，是为了区分和针对不同图像局部区域纹理复杂度，分别采用不同大小CB来进行编码。对帧内模式来说，编码块纹理越复杂，像素值变化也就越大，划分就更趋向于较小的CU，反之，编码块越平滑，像素值变化也就越小，划分就更趋向于较大的CU。对帧间模式来说，编码块的当前帧区域和参考帧区域的相关性越小，像素值差异也就越大，划分就更趋向于较小的CU，反之，编码块的当前帧区域和参考帧区域的相关性越大，像素值差异也就越小，划分就更趋向于较大的CU。
在编码过程中，在HEVC标准测试平台中，包含有一些CU划分提前判决算法，如提前终止策略(Early_CU)、早期跳出策略(Early_SKIP)和快速代码块标志(Coding Block Flag，CBF策略)(CBF_Fast)。这些条件要求都比较严格，可降低复杂度有限，在此基础上，本申请实施例在CU划分前进行简单的预处理，判断当前CU块基本情况，帧内模式是空域相关性大小，帧间模式是时域相关性大小，然后再根据这些信息决定是否进行划分，即增加一个CU划分判决条件。因此，如果能够提前预测CU的划分方式，那么可以有效的对四叉树中一些节点直接跳过，这样就可以显著地降低编码器的复杂度。
图1为本申请实施例提供的一种基于高效率视频编码的编码管理方法的流程图。图1所示方法包括：
步骤1010、获取HEVC基本单元在划分前后的相关性计算结果，其中，相关性结果包括划分前的1个基本单元与划分后所产生的N个基本单元的空域相关性结果，N为大于1的整数。
在一个示例性实施例中，基本单元可以为编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)或者变换单元(Transform Unit，TU)。
在一个示例性性实施例中，所述空域相关性结果包括：划分前的1个基本单元和划分后所产生的N个基本单元之间的空域相关性α s；和/或，对1个基本单元进行划分后所产生的N个基本单元之间的空域相关性β s。
步骤1020、根据所述相关性计算结果，判断是否对所述基本单元进行划分操作。
与相关技术划分判决条件不同的是，本申请实施例提供的判决条件是根据基本单元的划分前后的相关性来确定划分操作的代价关系，以决定是否执行划分，所需的计算操作量为相关性结果的计算，与相关技术相比减少了计算复杂 度。
本申请实施例提供的方法，获取HEVC基本单元在划分前后的相关性计算结果，并根据所述相关性计算结果，判断是否对所述基本单元进行划分操作，实现以基本单元在划分前后的相关性结果作为划分判决条件，降低判断操作的复杂度。
下面对本申请实施例提供的方法进行说明：
在一个示例性实施例中，所述划分前的1个基本单元和划分后所产生的N个基本单元之间空域相关性α s是通过如下方式得到的，包括：
Figure PCTCN2020085642-appb-000001
其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示基本单元被划分后的深度；D(X) d表示基本单元划分前的空域相关性大小；
Figure PCTCN2020085642-appb-000002
表示基本单元划分后所产生的第i个基本单元的空域相关性大小，i＝1,2,3，……,N。
在一个示例性实施例中，所述对1个基本单元进行划分后所产生的N个基本单元之间的空域相关性β s是通过如下方式得到的，包括：
Figure PCTCN2020085642-appb-000003
其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示基本单元被划分后的深度；D(X) d表示基本单元划分前的空域相关性大小；
Figure PCTCN2020085642-appb-000004
表示基本单元划分后所产生的第i个基本单元的空域相关性大小，i＝1,2,3，……,N。
在一个示例性实施例中，所述相关性计算结果还包括：划分前的1个基本单元与划分后所产生的N个基本单元的时域相关性结果。
在本示例性实施例中，在通过空域相关性来确定基本单元的帧内模式后，再通过时域相关性确定基本单元的帧间模式，对基本单元的划分进行判断。
在一个示例性实施例中，所述时域相关性结果是通过如下方式得到的，包括：
划分前的1个基本单元和划分后所产生的N个基本单元之间的时间相关性α t；和/或，对1个基本单元进行划分后所产生的N个基本单元之间的时间相关性β t。
在一个示例性实施例中，所述划分前的1个基本单元和划分后所产生的N 个基本单元之间的时域相关性α t是通过如下方式得到的，包括：
Figure PCTCN2020085642-appb-000005
其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示基本单元被划分后的深度；D(Y) d表示基本单元划分前的时间域相关性大小；
Figure PCTCN2020085642-appb-000006
表示基本单元划分后所产生的第i个基本单元的时间域相关性大小，i＝1,2,3，……,N。
在一个示例性实施例中，所述对1个基本单元进行划分后所产生的N个基本单元之间的时间的时域相关性β t是通过如下方式得到的，包括：
Figure PCTCN2020085642-appb-000007
其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示基本单元被划分后的深度；D(Y) d表示基本单元划分前的时间域相关性大小；
Figure PCTCN2020085642-appb-000008
表示基本单元划分后所产生的第i个基本单元的时间域相关性大小，i＝1,2,3，……,N。
在一个示例性实施例中，所述根据所述相关性计算结果，判断是否对所述基本单元进行划分操作，包括：
获取所述基本单元对应的视频帧类型；如果所述基本单元为帧内视频帧，则根据空域相关性结果，判断是否对所述基本单元进行划分操作；如果所述基本单元为单向预测编码帧或者双向预测编码帧，则根据空域相关性结果和时域相关性结果，判断是否对所述基本单元进行划分操作。
在本示例性实施例中，通过对基本单元对应的视频帧类型的识别，确定所需使用的相关性结果，在保证实现对划分操作的前提下，有效控制相关性的计算规模。
在一个实例性实施例中，所述根据所述相关性计算结果，判断是否对所述基本单元进行划分操作，包括：
如果所述基本单元为帧内视频帧(I帧)，则还根据所述基本单元划分前的空域相关性结果，判断是否对所述基本单元进行划分操作；
如果所述基本单元为单向预测编码帧或者双向预测编码帧(P帧或B帧)，则根据所述基本单元划分前的空域相关性结果和时域相关性结果，判断是否对所述基本单元进行划分操作。
在本示例性实施例中，通过对基本单元当前的空域或时域相关性的数值的 比较，并结合所得到的划分前后的相关性结果，作为划分判决的条件，可以有效提高判断的准确度。
在一个示例性实施例中，所述根据所述相关性计算结果，判断是否对所述基本单元进行划分操作之后，所述方法还包括：
在得到是否对所述基本单元进行划分操作的结果后，统计执行划分操作的基本单元的相关性结果以及不执行划分操作的基本单元的相关性结果；根据所述执行划分操作的基本单元的相关性结果以及不执行划分操作的基本单元的相关性结果，确定下一次执行判断是否对所述基本单元进行划分操作所使用的阈值，其中，所述阈值包括执行划分操作的阈值和/或不执行划分操作的阈值。
在本示例性实施例中，可以每隔一段时间、或者、在应用场景发生变化时，重新计算阈值，以便精准地进行判断。
在一个示例性实施例中，所述根据所述相关性计算结果，判断是否对所述基本单元进行划分操作之后，所述方法还包括：
在判断不对所述基本单元进行划分操作后，计算所述基本单元的残差信息；如果得到的残差信息符合预先设置的残差判断条件时，对所述基本单元进行划分操作。
在本示例性实施例中，对于判断不进行划分操作的基础单元，计算该基本单元的残差，再确定是否执行划分操作，可以提高编码的准确度。
下面对本申请实施例提供的方法进行说明：
示例性实施例一
以CU d的最佳模式代价是Best Cost d，划分为4个子CU d+1为应用场景为例进行说明：
在相关技术中，在编码过程中，对CU的划分方式导致编码端计算复杂度很高。
本申请示例性实施例提出了一种基于HEVC相关性信息的快速CU深度划分的编码方法。在CU d划分前，预处理首先得到CU d的空域相关性和时域相关性信息，然后得到划分后CU d+1的空域相关性和时域相关性信息，建立两者之间代价关系，提前进行CU划分判决，达到充分利用视频内容的相关性的目的，降低了编码复杂度。
图2为本申请实施例一提供的一种CU深度划分的编码管理方法的流程图。图2所示方法包括以下步骤：
步骤2010，计算CU空域相关性。
得到当前CU空域相关性，计算CU划分前1个和划分后4个编码单元的空域相关性大小。
步骤2020，计算CU时域相关性。
得到当前CU时域相关性，计算CU划分前1个和划分后4个编码单元的时域相关性大小。
步骤2030，根据相关性信息进行四叉树划分判决。
判断当前CU是否进行划分，包括：
对I帧，只需要通过空域相关性就可以判断，划分前的相关性大于划分后的相关性，则不进行划分，划分前的相关性不大于划分后的相关性，则确定对所述基本单元进行划分操作。
对P/B帧，只有空域相关性和时域相关性都满足划分前的相关性大于划分后的相关性，则不进行划分，空域相关性和时域相关性不都满足划分前的相关性大于划分后的相关性，则确定对所述基本单元进行划分操作。
本申请实施例一提供的方法，可以提升视频图像的编码速度。
示例性实施例二
以HEVC测试模式(HEVC Test Model，HM)编码器和IPPP编码结构为应用场景对CU d的处理为例进行说明：
图3为本申请实施例二提供的一种CU深度划分的帧编码管理方法的流程图。图3所示方法包括以下步骤：
步骤3010、输入编码视频图像。
该视频图像为等待编码处理的视频图像，可以为一个视频序列。
步骤3020、输入编码单元，作为划分判决的待处理对象。
步骤3030、计算CU空域相关性。
首先，定义CU划分前1个和划分后4个编码单元的空域相关性大小，用编码单元内部的方差大小定义空域相关性。
然后，计算深度为d的CU划分前1个空域相关性大小。计算平均值，如(1)式所示。
Figure PCTCN2020085642-appb-000009
其中，n表示编码单元内包含的像素点数目，x i表示第i个像素点的像素值。计算方差，如(2)式所示。
Figure PCTCN2020085642-appb-000010
这样得到当前CU的空域相关性大小，记为D(X) CU＝d。同样的方法，计算划分后4个编码单元的空域相关性大小，分别记为
Figure PCTCN2020085642-appb-000011
和
Figure PCTCN2020085642-appb-000012
定义两个空域相关性的感知因子，如(3)式、(4)式所示。
Figure PCTCN2020085642-appb-000013
Figure PCTCN2020085642-appb-000014
其中，
Figure PCTCN2020085642-appb-000015
表示划分前1个CU d和划分后4个CU d+1之间相关性大小，数值越小CU d内部的相关性越大，
Figure PCTCN2020085642-appb-000016
表示划分后4个CU d+1之间相关性大小，数值越小子CU d+1之间的相关性越大。
步骤3040、计算CU时域相关性。
首先，定义CU划分前1个和划分后4个编码单元的时域相关性大小，用编码单元和参考单元方差大小定义时域相关性。
然后，计算深度为d的CU划分前1个时域相关性大小。参考单元获取类似于运动矢量(Motion Vector，MV)预测技术中合并(Merge)模式空域候选列表，根据当前编码单元空域信息得到优先级最高的MV的预测值(Motion Vector Prediction，MVP)再取整，在参考帧相应区域进行整像素偏移，得到参考单元。
计算编码单元和参考单元方差，如(5)式所示。
Figure PCTCN2020085642-appb-000017
其中，n表示编码单元内包含的像素点数目，
Figure PCTCN2020085642-appb-000018
表示编码单元像素值，
Figure PCTCN2020085642-appb-000019
表示参考单元像素值。得到当前CU的时域相关性大小，记为D(Y) CU＝d。同样的方法，计算划分后4个编码单元的时域相关性大小，分别记为
Figure PCTCN2020085642-appb-000020
Figure PCTCN2020085642-appb-000021
和
Figure PCTCN2020085642-appb-000022
定义两个时域相关性的感知因子，如(6)式、(7)式所示。
Figure PCTCN2020085642-appb-000023
Figure PCTCN2020085642-appb-000024
其中，
Figure PCTCN2020085642-appb-000025
表示划分前1个CU d和划分后4个CU d+1之间相关性大小，数值越小CU d内部的相关性越大，
Figure PCTCN2020085642-appb-000026
表示划分后4个CU d+1之间相关性大小， 数值越小子CU d+1之间的相关性越大。
步骤3050、根据相关性信息进行四叉树划分。
基于步骤3030和步骤3040得到了当前编码单元的空域和时域相关性进行判断，包括：
对I帧，只需要通过空域相关性就可以判断；对P/B帧，根据空域相关性和时域相关性进行判断。
Figure PCTCN2020085642-appb-000027
Figure PCTCN2020085642-appb-000028
满足(8a)式时CU不进行划分，满足(9a)式时CU进行划分。
这里的
Figure PCTCN2020085642-appb-000029
都是阈值且值可以不同，前6个表示不划分阈值，记为数据1，后面6个表示划分阈值，记为数据2。
步骤3060、根据判决结果进行编码操作。
步骤3070、判断当前帧编码是否结束。
如果当前帧编码结束，则执行步骤3080，如果当前帧编码未结束，执行步骤3090，获取下一个CU。
步骤3080、判断当前序列是否编码结束。
如果当前序列编码结束，则流程结束，如果当前序列编码未结束，执行步骤3100，获取下一个视频帧。
示例性实施例三
以HM编码器和IPPP编码结构为应用场景对CU d的处理为例进行说明：
图4为本申请实施例三提供的一种基于阈值训练的CU深度划分的管理方法的流程图。图4所示方法包括以下步骤：
步骤4010、输入编码视频图像。
该视频图像为等待编码处理的视频图像，可以为一个视频序列。
步骤4020、输入编码单元，作为划分判决的待处理对象。
步骤4030、计算CU空域相关性。
首先，定义CU划分前1个和划分后4个编码单元的空域相关性大小，用编 码单元内部的方差大小定义空域相关性。
然后，计算深度为d的CU划分前1个空域相关性大小。计算平均值，如(1)式所示。
其中，n表示编码单元内包含的像素点数目，xi表示第i个像素点的像素值。计算方差，如(2)式所示。
这样得到当前CU的空域相关性大小，记为D(X) CU＝d。同样的方法，计算划分后4个编码单元的空域相关性大小，分别记为
Figure PCTCN2020085642-appb-000030
和
Figure PCTCN2020085642-appb-000031
定义两个空域相关性的感知因子，如(3)式、(4)式所示。
其中，
Figure PCTCN2020085642-appb-000032
表示划分前1个CU d和划分后4个CU d+1之间相关性大小，数值越小CU d内部的相关性越大，
Figure PCTCN2020085642-appb-000033
表示划分后4个CU d+1之间相关性大小，数值越小子CU d+1之间的相关性越大。
步骤4040、计算CU时域相关性。
首先，定义CU划分前1个和划分后4个编码单元的时域相关性大小，用编码单元和参考单元方差大小定义时域相关性。
然后，计算深度为d的CU划分前1个时域相关性大小。参考单元获取类似于MV预测技术中Merge模式空域候选列表，根据当前编码单元空域信息得到优先级最高的MVP再取整，在参考帧相应区域进行整像素偏移，得到参考单元。
计算编码单元和参考单元方差，如(5)式所示。
其中，n表示编码单元内包含的像素点数目，
Figure PCTCN2020085642-appb-000034
表示编码单元像素值，
Figure PCTCN2020085642-appb-000035
表示参考单元像素值。得到当前CU的时域相关性大小，记为D(Y) CU＝d。同样的方法，计算划分后4个编码单元的时域相关性大小，分别记为
Figure PCTCN2020085642-appb-000036
Figure PCTCN2020085642-appb-000037
和
Figure PCTCN2020085642-appb-000038
定义两个时域相关性的感知因子，如(6)式、(7)式所示。
其中，
Figure PCTCN2020085642-appb-000039
表示划分前1个CU d和划分后4个CU d+1之间相关性大小，数值越小CU d内部的相关性越大，
Figure PCTCN2020085642-appb-000040
表示划分后4个CU d+1之间相关性大小，数值越小子CU d+1之间的相关性越大。
步骤4050、根据相关性信息进行四叉树划分。
基于步骤4030和步骤4040得到了当前编码单元的空域和时域相关性进行判断，包括：
对I帧，通过空域相关性就可以判断。
对P/B帧，通过空域相关性和时域相关性进行判断。
为了防止出现极端条件，深度为d的CU进行划分判决时，单独增加CU相 关性大小限制，如(8b)式、(9b)式所示。
Figure PCTCN2020085642-appb-000041
Figure PCTCN2020085642-appb-000042
其中，满足(8b)式时CU不进行划分，满足(9b)式时CU进行划分，这里的
Figure PCTCN2020085642-appb-000043
Figure PCTCN2020085642-appb-000044
都是阈值且值可以不同，前6个表示不划分阈值，记为数据1，后面6个表示划分阈值，记为数据2。
接下来将有两个过程，一个过程是阈值训练过程，一个过程是编码过程。
为了得到这12个阈值，需要进行一个训练过程。开始N帧图像，如N＝100，按照常规的CU划分流程，当深度为d时，CU不划分时，分别统计数据1的
Figure PCTCN2020085642-appb-000045
Figure PCTCN2020085642-appb-000046
分布，只要满足大部分情况下，如80％，符合(8b)式，得到相应阈值，当深度为d时，CU划分时，分别统计数据2的
Figure PCTCN2020085642-appb-000047
Figure PCTCN2020085642-appb-000048
分布，只要满足大部分情况下，如80％，符合(9b)式，得到相应阈值。
接下来的编码过程中，可以每隔一段时间或者场景切换时进行更新，其余时间段可以采用上述方法进行不同深度d的CU划分判决，节省编码时间。此外，为了防止出现极端条件，如CU不进行划分，还可以对当前编码单元残差进行判断，如果出现码字特别大的情况，强制进行划分。
步骤4060、根据判决结果进行编码操作。
步骤4070、判断当前帧编码是否结束。
如果当前帧编码结束，则执行步骤4080，如果当前帧编码未结束，执行步骤4090，获取下一个CU。
步骤4080、判断当前序列是否编码结束。
如果当前序列编码结束，则流程结束，如果当前序列编码未结束，执行步骤4100，获取下一个视频帧。
在上述示例实施例一至示例实施例三中，相关性计算的方式不限于方差，也可以是均方差，协方差，哈达玛变换系数大小，残差系数的正/余弦变换大小，Sobel梯度大小等等，其一或其几个组合。
相关性信息获取也不限于上述第一步和第二步流程，可以采用深度学习或者机器学习直接从编码单元的像素值样本训练得到。
CU划分判决也可以拓展到PU和TU的划分判决。
像素值可以是Y亮度分量，也可以U/V色度分量，或者其组合。
阈值获取的训练过程，不限于用常规方法，可以采用深度学习或者机器学习。
本申请实施例提供的方法不限于H.265，也可以应用于H.264、H.266、开放媒体视频联盟(Alliance for Open Media Video，AV)1、VP8、VP9，信源编码标准(Audio Video coding Standard，AVS)2、AVS3等其他视频编码标准。
本申请实施例提供一种基于HEVC的编码管理装置，包括处理器和存储器，其中所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现上文任一所述的方法。
本申请实施例提供的装置，获取HEVC基本单元在划分前后的相关性计算结果，并根据所述相关性计算结果，判断是否对所述基本单元进行划分操作，实现以基本单元在划分前后的相关性结果作为划分判决条件，降低判断操作的复杂度。
上文中所公开方法中的全部或一些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由多个物理组件合作执行。一些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable read only memory，EEPROM)、闪存或其他存储器技术、CD-ROM、数字多功能盘(Digital Versatile Disc，DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (11)

  1. 一种基于高效率视频编码HEVC的编码管理方法，包括：
    获取HEVC基本单元在划分前后的相关性计算结果，其中，所述相关性结果包括划分前的1个基本单元与划分后所产生的N个基本单元的空域相关性结果，N为大于1的整数；
    根据所述相关性计算结果，判断是否对所述基本单元进行划分操作。
  2. 根据权利要求1所述的方法，其中，所述空域相关性结果包括以下至少之一：
    划分前的1个基本单元和划分后所产生的N个基本单元之间的空域相关性α s；
    对1个基本单元进行划分后所产生的N个基本单元之间的空域相关性β s。
  3. 根据权利要求2所述的方法，其中，
    α s是通过如下方式得到的，包括：
    Figure PCTCN2020085642-appb-100001
    其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示所述基本单元被划分后的深度；D(X) d表示所述基本单元划分前的空域相关性大小；
    Figure PCTCN2020085642-appb-100002
    表示所述基本单元划分后所产生的第i个基本单元的空域相关性大小，i＝1,2,3，……,N；
    β s是通过如下方式得到的，包括：
    Figure PCTCN2020085642-appb-100003
    其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示所述基本单元被划分后的深度；D(X) d表示所述基本单元划分前的空域相关性大小；
    Figure PCTCN2020085642-appb-100004
    表示所述基本单元划分后所产生的第i个基本单元的空域相关性大小，i＝1,2,3，……,N。
  4. 根据权利要求1所述的方法，其中，所述相关性计算结果还包括：划分前的1个基本单元与划分后所产生的N个基本单元的时域相关性结果。
  5. 根据权利要求4所述的方法，其中，所述时域相关性结果包括以下至少之一：
    划分前的1个基本单元和划分后所产生的N个基本单元之间的时间相关性α t；
    对1个基本单元进行划分后所产生的N个基本单元之间的时间相关性β t。
  6. 根据权利要求5所述的方法，其中，
    α t是通过如下方式得到的，包括：
    Figure PCTCN2020085642-appb-100005
    其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示所述基本单元被划分后的深度；D(Y) d表示所述基本单元划分前的时间域相关性大小；
    Figure PCTCN2020085642-appb-100006
    表示所述基本单元划分后所产生的第i个基本单元的时间域相关性大小，i＝1,2,3，……,N；
    β t是通过如下方式得到的，包括：
    Figure PCTCN2020085642-appb-100007
    其中，N为划分后所产生的基本单元的总数；d为基本单元划分前的深度；d+1表示所述基本单元被划分后的深度；D(Y) d表示基本单元划分前的时间域相关性大小；
    Figure PCTCN2020085642-appb-100008
    表示所述基本单元划分后所产生的第i个基本单元的时间域相关性大小，i＝1,2,3，……,N。
  7. 根据权利要求4至6中任一项所述的方法，其中，所述根据所述相关性计算结果，判断是否对所述基本单元进行划分操作，包括：
    获取所述基本单元对应的视频帧类型；
    在所述基本单元对应的视频帧类型为帧内视频帧的情况下，根据所述空域相关性结果，判断是否对所述基本单元进行划分操作；
    在所述基本单元对应的视频帧类型为单向预测编码帧或者双向预测编码帧的情况下，根据所述空域相关性结果和所述时域相关性结果，判断是否对所述基本单元进行划分操作。
  8. 根据权利要求7所述的方法，其中，所述根据所述相关性计算结果，判断是否对所述基本单元进行划分操作，包括：
    在所述基本单元对应的视频帧类型为帧内视频帧的情况下，根据所述基本单元划分前的空域相关性大小，判断是否对所述基本单元进行划分操作；
    在所述基本单元对应的视频帧类型为单向预测编码帧或者双向预测编码帧的情况下，则根据所述基本单元划分前的空域相关性大小和时域相关性大小，判断是否对所述基本单元进行划分操作。
  9. 根据权利要求8所述的方法，在所述根据所述相关性计算结果，判断是 否对所述基本单元进行划分操作之后，还包括：
    在得到是否对所述基本单元进行划分操作的结果后，统计执行划分操作的基本单元的相关性结果以及不执行划分操作的基本单元的相关性结果；
    根据所述执行划分操作的基本单元的相关性结果以及所述不执行划分操作的基本单元的相关性结果，确定下一次执行判断是否对所述基本单元进行划分操作所使用的阈值，其中，所述阈值包括执行划分操作的阈值和不执行划分操作的阈值中的至少之一。
  10. 根据权利要求1所述的方法，在所述根据所述相关性计算结果，判断是否对所述基本单元进行划分操作之后，还包括：
    在判断不对所述基本单元进行划分操作后，计算所述基本单元的残差信息；
    在得到的残差信息符合预先设置的残差判断条件的情况下，对所述基本单元进行划分操作。
  11. 一种基于高效率视频编码HEVC的编码管理装置，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如权利要求1至10中任一项所述的基于HEVC的编码管理方法。
PCT/CN2020/085642 2019-06-13 2020-04-20 基于高效率视频编码的编码管理方法及装置 WO2020248715A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/601,848 US11909999B2 (en) 2019-06-13 2020-04-20 Coding management method and apparatus based on high efficiency video coding
EP20821664.8A EP3934246A4 (en) 2019-06-13 2020-04-20 ENCODER CONTROL METHOD AND DEVICE BASED ON HIGH EFFICIENCY VIDEO ENCODER

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910512079.9A CN112087624A (zh) 2019-06-13 2019-06-13 基于高效率视频编码的编码管理方法
CN201910512079.9 2019-06-13

Publications (1)

Publication Number Publication Date
WO2020248715A1 true WO2020248715A1 (zh) 2020-12-17

Family

ID=73733748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/085642 WO2020248715A1 (zh) 2019-06-13 2020-04-20 基于高效率视频编码的编码管理方法及装置

Country Status (4)

Country Link
US (1) US11909999B2 (zh)
EP (1) EP3934246A4 (zh)
CN (1) CN112087624A (zh)
WO (1) WO2020248715A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259670A (zh) * 2021-07-06 2021-08-13 杭州未名信科科技有限公司 Avs3的模式决策电路结构、模式决策方法及电子设备
CN115278260A (zh) * 2022-07-15 2022-11-01 重庆邮电大学 基于空时域特性的vvc快速cu划分方法及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702603A (zh) * 2019-10-22 2021-04-23 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150010069A1 (en) * 2013-07-02 2015-01-08 Canon Kabushiki Kaisha Intra video coding in error prone environments
CN104602017A (zh) * 2014-06-10 2015-05-06 腾讯科技（北京）有限公司 视频编码器、方法和装置及其帧间模式选择方法和装置
CN104902276A (zh) * 2015-05-15 2015-09-09 腾讯科技（北京）有限公司 变换单元划分方法及装置
CN105721870A (zh) * 2014-12-03 2016-06-29 北京君正集成电路股份有限公司 Hevc中编码单元分割方式的判定方法及装置
US20170244964A1 (en) * 2016-02-23 2017-08-24 Mediatek Inc. Method and Apparatus of Flexible Block Partition for Video Coding
CN107566834A (zh) * 2017-10-10 2018-01-09 司马大大（北京）智能系统有限公司 帧内预测单元划分方法、装置及电子设备
CN108322747A (zh) * 2018-01-05 2018-07-24 中国软件与技术服务股份有限公司 一种面向超高清视频的编码单元划分优化方法
CN108713320A (zh) * 2016-03-16 2018-10-26 联发科技股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
CN109688414A (zh) * 2018-12-19 2019-04-26 同济大学 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN108495129B (zh) * 2018-03-22 2019-03-08 北京航空航天大学 基于深度学习方法的块分割编码复杂度优化方法及装置
CN112534818B (zh) * 2018-08-14 2024-04-26 华为技术有限公司 使用运动和对象检测的用于视频编码的译码参数的基于机器学习的自适应

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150010069A1 (en) * 2013-07-02 2015-01-08 Canon Kabushiki Kaisha Intra video coding in error prone environments
CN104602017A (zh) * 2014-06-10 2015-05-06 腾讯科技（北京）有限公司 视频编码器、方法和装置及其帧间模式选择方法和装置
CN105721870A (zh) * 2014-12-03 2016-06-29 北京君正集成电路股份有限公司 Hevc中编码单元分割方式的判定方法及装置
CN104902276A (zh) * 2015-05-15 2015-09-09 腾讯科技（北京）有限公司 变换单元划分方法及装置
US20170244964A1 (en) * 2016-02-23 2017-08-24 Mediatek Inc. Method and Apparatus of Flexible Block Partition for Video Coding
CN108713320A (zh) * 2016-03-16 2018-10-26 联发科技股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
CN107566834A (zh) * 2017-10-10 2018-01-09 司马大大（北京）智能系统有限公司 帧内预测单元划分方法、装置及电子设备
CN108322747A (zh) * 2018-01-05 2018-07-24 中国软件与技术服务股份有限公司 一种面向超高清视频的编码单元划分优化方法
CN109688414A (zh) * 2018-12-19 2019-04-26 同济大学 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3934246A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259670A (zh) * 2021-07-06 2021-08-13 杭州未名信科科技有限公司 Avs3的模式决策电路结构、模式决策方法及电子设备
CN115278260A (zh) * 2022-07-15 2022-11-01 重庆邮电大学 基于空时域特性的vvc快速cu划分方法及存储介质

Also Published As

Publication number Publication date
US20220210459A1 (en) 2022-06-30
CN112087624A (zh) 2020-12-15
EP3934246A1 (en) 2022-01-05
EP3934246A4 (en) 2022-06-15
US11909999B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
US20200296426A1 (en) In loop chroma deblocking filter
WO2020248715A1 (zh) 基于高效率视频编码的编码管理方法及装置
US11070803B2 (en) Method and apparatus for determining coding cost of coding unit and computer-readable storage medium
US10313692B2 (en) Visual perception characteristics-combining hierarchical video coding method
EP3389276B1 (en) Hash-based encoder decisions for video coding
JP6615346B2 (ja) 符号化処理におけるリアルタイムビデオノイズ低減のための方法、端末、および、不揮発性コンピュータ可読記憶媒体
US20190342546A1 (en) Device and method for coding video data based on different reference sets in linear model prediction
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
WO2018192235A1 (zh) 编码单元深度确定方法及装置
US20140241436A1 (en) Method and device for determining parameters for encoding or decoding of an image of a video sequence
CN108012163B (zh) 视频编码的码率控制方法及装置
CN111246219B (zh) 一种vvc帧内cu深度快速划分方法
CN107820095B (zh) 一种长期参考图像选择方法及装置
WO2022213809A1 (zh) 视频编码的方法、装置、设备和存储介质
CN117156133B (zh) 一种视频编码的帧间预测模式选择方法及装置
Yang et al. Fast intra encoding decisions for high efficiency video coding standard
KR100751407B1 (ko) 영상 부호화 장치 및 움직임 추정 방법
CN109618152B (zh) 深度划分编码方法、装置和电子设备
KR101630167B1 (ko) Hevc를 위한 고속 화면내 부호화 모드 결정 방법
CN110933410B (zh) Hevc视频帧间预测方法和装置
Lin et al. Coding unit partition prediction technique for fast video encoding in HEVC
KR101671759B1 (ko) Hevc에 적용되는 바텀 업 프루닝 기법을 이용한 인트라 예측의 수행 방법 및 이를 위한 장치
US9471992B2 (en) Moving image processing apparatus, moving image processing method, and computer product
Zhao et al. A novel fast intra-prediction algorithm for high-efficiency video coding based on structural similarity
US20240064284A1 (en) Methods, systems and encoded bitstream for combined lossless and lossy coding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20821664

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020821664

Country of ref document: EP

Effective date: 20211001

NENP Non-entry into the national phase

Ref country code: DE