WO2015021942A1 - 定宽度变长度像素样值串匹配增强的图像压缩方法和装置 - Google Patents

定宽度变长度像素样值串匹配增强的图像压缩方法和装置 Download PDF

Info

Publication number
WO2015021942A1
WO2015021942A1 PCT/CN2014/084509 CN2014084509W WO2015021942A1 WO 2015021942 A1 WO2015021942 A1 WO 2015021942A1 CN 2014084509 W CN2014084509 W CN 2014084509W WO 2015021942 A1 WO2015021942 A1 WO 2015021942A1
Authority
WO
WIPO (PCT)
Prior art keywords
matching
sample
reference pixel
string
reconstructed
Prior art date
Application number
PCT/CN2014/084509
Other languages
English (en)
French (fr)
Inventor
林涛
Original Assignee
同济大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 同济大学 filed Critical 同济大学
Priority to EP14836021.7A priority Critical patent/EP3035683A4/en
Priority to CN201480045554.1A priority patent/CN105745926A/zh
Priority to US14/912,204 priority patent/US20160330455A1/en
Priority to JP2016533809A priority patent/JP2016532377A/ja
Priority to KR1020167006996A priority patent/KR20160114570A/ko
Publication of WO2015021942A1 publication Critical patent/WO2015021942A1/zh
Priority to HK16111153.2A priority patent/HK1222966A1/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a digital video compression encoding and decoding system, and more particularly to a method and apparatus for encoding and decoding computer screen images and video.
  • a significant feature is a computer screen image in the same frame image usually have many similar or even identical pixel pattern (pixel pattern) 0
  • pixel pattern pixel pattern
  • a computer screen images often occur in Chinese or English text, it is made by a small number of primitives Composition, many similar or identical strokes can be found in the same frame image.
  • Menus, icons, etc. which are common in computer screen images, also have many similar or identical patterns.
  • the intra prediction method used in the existing image and video compression technology only refers to adjacent pixel samples, and cannot improve the compression efficiency by using similarity or identity in one frame of image.
  • the intra motion compensation method uses only a few fixed sizes, such as 8x8, 16x16, 32x32, 64x64 pixel block matching, and cannot find various sizes and shapes. Match. Therefore, new coding tools must be sought to fully exploit and utilize similar or identical patterns found in computer screen images to greatly improve compression.
  • the natural form of a digital video signal of a screen image is a sequence of images.
  • Encoding a digital video signal encodes an image. At any one time, the image being encoded is referred to as the current encoded image.
  • decoding a compressed code stream (a bit stream, also referred to as a bit stream) of a digital video signal is decoding a compressed code stream of one picture. At any one time, the image being decoded is referred to as the current decoded image.
  • the current encoded image or the currently decoded image is collectively referred to as the current image.
  • LCUs Large Coding Units
  • the other LCU consists of two 32x32 pixel CUs, three 16x16 pixel CUs, and 20 8x8 pixel CUs. Encoding an image is to encode one CU in turn. At any one time, the CU being coded is called the current coded CU. Decoding an image also sequentially decodes one CU. At any one time, the CU being decoded is referred to as the current decoding CU. The current coded CU or the currently decoded CU are collectively referred to as the current CU.
  • a CU i.e., coding unit
  • a coded block or a decoded block refers to an area in which an image is encoded or decoded.
  • CU is synonymous with “encoding block” for encoding
  • CU is synonymous with “decoding block” for decoding. According to the context, it can be clarified that “CU” is Representing “encoding block” or “decoding block”, if it is not clear from the context, it means either of them.
  • a color pixel usually consists of three components.
  • the two most commonly used pixel color formats are the GBR color grids consisting of a green component, a blue component, and a red component.
  • a YUV color format consisting of a luma component and two chroma components.
  • the color format commonly known as YUV actually includes multiple color formats, such as the YCbCr color format. Therefore, when encoding a CU, a CU can be divided into three component planes (G plane, B plane, R plane or Y plane, U plane, V plane), and the three component planes are respectively coded;
  • the three component bundles of one pixel are combined into one 3-tuple, and the CUs composed of these 3-tuples are encoded as a whole.
  • the arrangement of the former pixel and its components is called the planar format of the image (and its CU), and the arrangement of the latter pixel and its components is called the overlay format of the image (and its CU).
  • the pixel's GBR color format and YUV color format are both pixel 3-component representation formats.
  • the palette index representation format In addition to the 3-component representation format of a pixel, another commonly used prior art representation format for a pixel is the palette index representation format.
  • the value of a pixel can also be represented by the index of the palette.
  • the palette space stores the value or approximate value of the three components of the pixel to be represented.
  • the address of the palette is called the index of the pixel stored in this address.
  • An index can represent one component of a pixel, and an index can also represent three components of a pixel.
  • the palette can be one or more than one. In the case of multiple palettes, a complete index is actually composed of the palette number and the index of the numbered palette.
  • the index representation format of a pixel is to represent this pixel with an index.
  • the index representation format of a pixel is also referred to as an indexed color or a pseudo color representation format of a pixel in the prior art, or is often referred to directly as an indexed pixel or a pseudo pixel (pseudo pixel). ) or pixel index or index. Indexes are sometimes referred to as indices. Representing a pixel in its index representation format is also referred to as indexing or indexing.
  • CMYK presentation formats Other commonly used prior art pixel representation formats include CMYK presentation formats and grayscale representation formats.
  • the YUV color format can be subdivided into several seed formats according to whether the chroma component is downsampled: 1 pixel is composed of 1 Y component, 1 U component, 1 V component, YUV 4: 4: 4 pixel color format
  • the left and right adjacent pixels are composed of 2 Y components, 1 U component, and 1 V component in a YUV 4:2:2 pixel color format; 4 pixels arranged in the left and right adjacent 2x2 spatial positions are composed of 4 pixels YUV4: 2:0 pixel color format consisting of Y component, 1 U component, and 1 V component.
  • a component is usually represented by a number of 8 to 16 bits.
  • the YUV4:2:2 pixel color format and the YUV4:2:0 pixel color format are all downsampled for the YUV4 : 4:4 pixel color format.
  • the most basic element components are also referred to as a pixel value of a pixel sample (pixel sample) or simply referred to as a sample (sample) 0 during encoding or decoding may be a pixel, a pixel component may be, it may be a Pixel index (ie index pixel).
  • a pixel or a pixel component or an index pixel that is the most basic element of encoding or decoding is collectively referred to as a pixel sample, sometimes referred to as an image.
  • pixel sample value In the patent application of the present invention, "pixel sample value”, “pixel value”, “sample value”, “index pixel”, and “pixel index” are synonymous, and depending on the context, whether “pixel” or “one pixel” is clearly indicated The component “still indicates “indexed pixels” or both. If it is not clear from the context, then it means either of the three.
  • a CU i.e., coding unit
  • the shape of the CU can be a rectangle, a square, a parallelogram, a trapezoid, a polygon, a circle, an ellipse, and various other shapes.
  • a rectangle also includes a rectangle whose width or height is one pixel value that degenerates into a line (ie, a line segment or a line shape).
  • each CU can have a different shape and size. In an image, some or all of the CUs may overlap each other, or all CUs may not overlap each other.
  • a CU which may be composed of "pixels”, may be composed of "components of pixels", or may be composed of "index pixels”, or may be composed of a mixture of the three, or may be mixed by any two of the three. composition.
  • the prior art encoding method includes the following steps:
  • Intra-predictive coding of one CU and inter-frame (ie between the current encoded frame and the previously encoded frame) predictive coding collectively referred to as predictive coding, yielding (1) prediction residuals and (2) prediction modes and motion Vector
  • transform coding and quantization coding are optional, that is, if transform coding does not achieve better data compression, transform coding is not performed, and if lossless coding is to be performed, not only transform coding but also no coding is performed.
  • step 6) entropy encoding the sequence, image, CU header information, the second prediction mode and motion vector of the encoding result of step 2), and the prediction residual generated by step 3) (possibly undergoing transform-quantization or quantization) Generating a bit rate of the compressed code stream; 7) Calculate the rate-distortion cost from the original pixel, the reconstructed pixel, the bit rate of the compressed code stream or the bit rate estimation value, select the optimal prediction mode of the CU according to the rate-distortion performance, and output the compressed code stream of the CU. data;
  • FIG. 2 A schematic diagram of the flow of the prior art decoding method is shown in FIG. 2.
  • the prior art decoding method includes the following steps:
  • the header information mainly includes whether the CU adopts intra prediction or inter prediction, and performs inverse transform decoding
  • Predictive coding module Performing intra prediction coding and inter prediction coding on the input video pixel samples, and outputting (1) prediction residuals and (2) prediction modes and motion vectors;
  • Transform module A transform operation is performed on the prediction residual, and a transform coefficient is output. For some types of screen image pixels, the transform operation does not have the effect of compressing the data. In this case, no transform operation is performed, that is, the transform module is bypassed, and the prediction residual is directly output;
  • Quantization module A quantization operation is performed on the transform coefficients (in the case where the transform module is not bypassed) or the prediction residual (in the case where the transform module is bypassed), and quantized transform coefficients or quantized prediction residuals are generated. In the case of lossless coding, both the transform module and the quantization module are bypassed to directly output the prediction residual; 4) Entropy coding module. Perform entropy coding on prediction mode, motion vector, quantized transform coefficient, quantized prediction residual or prediction residual, including performing differential coding and run-length coding based on 1D or 2D proximity samples for samples of some entropy coding objects And binarization coding;
  • Refactoring module Performing an inverse operation of the three modules of the predictive coding module, the transform module, and the quantization module, initially reconstructing the pixels of the CU and outputting the optimal prediction mode selection module and the historical pixel (reconstructed pixel) based on the rate-distortion performance Temporary storage module;
  • Deblocking filtering and compensation module Performing deblocking filtering and pixel compensation operations, and then putting the reconstructed pixels subjected to these operations into a historical pixel (reconstructed pixel) temporary storage module, which is used as a reference pixel for subsequent predictive encoding;
  • Historical pixels (reconstructed pixels) Scratch module This module provides reference pixels for predictive coding
  • Optimal prediction mode selection module based on rate-distortion performance.
  • the optimal prediction mode is selected based on the rate-distortion performance.
  • FIG. 1 A schematic diagram of a prior art decoding apparatus is shown in FIG.
  • the entire decoding device consists of the following modules:
  • Entropy decoding module Entropy decoding is performed on the input compressed code stream data. Entropy decoding also includes differential decoding, run-length decoding, and binarization based on 1D or 2D proximity samples for entropy decoding objects such as prediction modes, motion vectors, quantized transform coefficients, quantized prediction residuals, and prediction residuals.
  • Anti-quantization module Performing an inverse quantization operation, outputting a transform coefficient or predicting a residual
  • Predictive decoding module Performing intra prediction decoding or inter prediction decoding, and outputting preliminary reconstructed pixels
  • Deblocking filtering and compensation module Deblocking filtering and pixel compensation operations are performed on the preliminary reconstructed pixels, and then the reconstructed pixels subjected to the operations are placed in a historical pixel (reconstructed pixel) temporary storage module, and used as reference pixels for subsequent predictive decoding;
  • Historical pixel temporary storage module This module provides reference pixels for predictive decoding.
  • the first step of encoding is to perform intra prediction coding or inter prediction coding on the coding unit CU.
  • the prior art is effective.
  • the present invention provides a method and apparatus for image encoding and decoding based on fixed-width variable length pixel sample string matching.
  • FIG. Figure 5 shows a component (sample) plane of a planar format image.
  • the present invention is equally applicable to the encoding and decoding of overlaid format images.
  • the most basic characteristic feature of the fixed-width variable-length string matching coding mode is the first reconstructed reference pixel sample in which the position labels do not intersect each other when encoding the current coding unit CU.
  • Searching for one or more optimal fixed-width variable-length pixel samples according to a predetermined evaluation criterion among the set, the second reconstructed reference pixel sample set, and the third reconstructed reference pixel sample set The value matches the string (also known as the matching reference string).
  • an unmatched sample also called a non-matchable sample
  • a pseudo matching sample is calculated from the neighboring samples.
  • Each match The string is characterized by two parameters, a matching relative position (distance) D and a matching length (length) L.
  • the case of unmatched samples and/or pseudo-matched samples is represented by a flag or a specific value that matches the relative position and the length of the match.
  • the matching relative position D is a first reconstructed reference pixel sample set or a second reconstructed reference pixel sample set or a third reconstructed reference pixel sample set (hereinafter sometimes collectively referred to as a reconstructed reference sample set or a reference sample set) Or the first pixel sample of the corresponding matching string found in the sample set or the reconstructed reference pixel sample set or the reference pixel sample set) and the matched string in the current encoding CU (also referred to as the matching current string)
  • the matching relative position is sometimes referred to as an Intra Motion Vector.
  • the matching length L is the length of the matching string, and the unit is also a sample or a plurality of samples. Obviously, the length of the matching string is also the length of the matched string.
  • the output of the fixed-width variable-length string-matching coding method is a specific value of the matching parameter pair (D, L), (D, L) or additional The flag bit output indicates that no match is found. When no match is found, the match sample is calculated from the adjacent samples of the unmatched sample, and the unmatched sample is output (see subsequent implementation and variant 6) and / or a variant that matches the sample and/or the unmatched sample.
  • the unmatched samples may be original pixel values or their various variants where no matching is found, such as pre-processed pixel values or color format conversion, such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc. Pixel values for permutation, frequency domain conversion, spatial domain mapping, DPCM, first-order or higher-order difference operations, indexing, etc., or pixel value variants that are multi-processed and transformed.
  • Variants of unmatched samples may be various variants of the difference or difference between the unmatched samples and the simulated matching samples, such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction
  • a matching reference string may itself span two or three of the three sets of first, second, and third reconstructed reference pixel sample sets, which set is determined by the location of its starting pixel samples.
  • the first, second, and third reconstructed reference pixel sample sets, the three reference pixel sample sets, may be subjected to different processing (such as color, respectively, in addition to differences in position and/or reconstruction stages Quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.) or transforms (such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first or higher order difference operations, indexing, etc.) ) or a combination of these processes and transformations.
  • One or both of the three reconstructed reference pixel sample sets may be empty, but not all three may be empty.
  • the input of the three reconstructed reference pixel sample sets is a reconstructed sample and the output is a reference sample
  • the reference sample may be equivalent to the reconstructed sample, or may be a variety of variants of the reconstructed sample, such as Color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc., or color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first or higher order difference operation, index
  • the reference sample is not the same as the reconstructed sample, the reference sample can be generated once and then temporarily stored for later use. It can be generated on the fly every time it is needed, or it can be a combination of the two production methods.
  • reconstructed samples and “reference samples” are sometimes collectively referred to as “reconstructed reference pixel samples.”
  • reconstructed reference pixel samples represent either “reconstructed sample” or “reference sample” or both. If it is not clear from the context, then it means either of them.
  • reconstructed reference sample set and “reconstructed reference pixel sample set” are synonymous, and are sometimes referred to simply as “sample set” without causing confusion.
  • the basic matching mode 1 is a matching mode in which the vertical path 1-dimensional string matching is performed.
  • the CU (CU m) of the sequence number m of FIG. 5 uses the matching mode to perform fixed-width variable-length sample string matching with a width of 1.
  • the reference sample set is first arranged in the order of LCU number or CU number, and in an LCU or CU, the samples are arranged column by column, and the vertical scan of the samples in each column is arranged from top to bottom.
  • the reference sample set is finally arranged into a one-dimensional sample string.
  • the size of a CU is a 16x16 sample.
  • the first sample in the one-dimensional sample string in which the reference samples are arranged is the first sample at the top of the first column of the left side of the CU (CU 0) of sequence number 0.
  • the second sample in the one-dimensional sample string is the second sample of the number of tops of the first column of CU 0 .
  • the second column is arranged after the first column, and the samples are also arranged from top to bottom in a vertical scanning manner. This is arranged column by column up to the 16th column of CU 0, and then arranged in the first column of the left column of the CU (CU 1 ) of the sequence number 1 in FIG. 5, and so on. In one plane of an image shown in Fig.
  • the 16th column of the CU (CU h- 1 ) with the sequence number h-1 (with 16 samples) is the last column of the first CU row (a total of CU CUs) (16 Sample), followed by the first column of the CU (CU h) with the sequence number h (there are 16 samples), that is, the leftmost column of the second CU row (16 Sample value).
  • the first three matched strings in the fixed width variable length sample string matching are drawn in CU m of the sequence number m in FIG.
  • the first matched string (the sample string represented by a particular pattern in CU m of Figure 5) has 25 samples.
  • the corresponding matching string found in the reference sample set is in CU 0 and CU 1 (also represented by the same special pattern), the first 5 samples are the last 5 samples of the 16th column of CU 0, and then The 20 samples are the first 20 samples in columns 1 and 2 of CU 1, with 16 samples in column 1 and 4 samples in column 2.
  • the first matched string there are 5 unmatched samples, which are represented by 5 blank circles in CU m of Figure 5. Therefore, five imitation matching samples need to be calculated.
  • the second matched string (the sample string represented by the second preferred pattern in CU m of Figure 5) has 33 samples.
  • the corresponding matching string found in the reference sample set is in CU 0 (also represented by the same preference pattern), the first 7 samples of which are the last 7 samples of the third column of CU 0, and the last The four samples are the first four samples of the fifth column of CU 0.
  • the third matched string (the sample string represented by the third preferred pattern in CU m of Figure 5) has 21 samples.
  • the corresponding matching string found in the reference sample set is in CU h-1 and CU h (also represented by the same special pattern), and the first 13 samples are the last 13 of the 16th column of CU h-1 The sample value, and the next 8 samples are the first 8 samples of the first column of CU h.
  • Basic Matching Mode 2 is the matching mode of the horizontal path 1D string matching.
  • the basic matching mode 2 is the dual mode of the above basic matching mode 1. Replace “vertical” in basic matching mode 1 with “horizontal”, “column” with “row”, “top-down” with “from left to right”, and “left” with “top”, “ The top “replaces to the left end”,
  • the basic matching mode 3 is a matching mode of the vertical path 2D-shape-preserved matching.
  • the current coded CU (CU m+1 ) of the sequence number m+ l in Fig. 5 uses the matching mode to perform fixed-width variable-length sample string matching with a width of 1.
  • the reference sample set preserves the two-dimensional arrangement inherent to the original image plane, and in the current encoding cu rt , the samples are arranged column by column in a vertical scanning manner and are arranged from top to bottom in one column.
  • the matched samples are moved from top to bottom in a vertical scan mode.
  • the matching sample string found in the reference sample set must be exactly the same 2-dimensional shape as the matched sample string in the current coded CU.
  • the first two matched strings in the fixed-width variable-length sample string matching using this matching mode are shown in CU m+ l of Fig. 5.
  • the first matched string (the sample string represented by the fourth preferred pattern in CU m+ l of Figure 5) has 31 samples.
  • the corresponding matching string found among the reference sample sets is in CU 1 and CU h+1 (also represented by the same preference pattern). This match string spans the boundaries of 2 CUs, 6 samples are in CU 1, and the other 25 samples are in CU h+1.
  • the matching string in the reference sample set has exactly the same 2-dimensional shape as the matched string in the current encoding CU, that is, the matching string and the matched string are respectively composed of 2 columns, and the first column has 16 samples.
  • the second column has 15 samples.
  • the first column is aligned with the top of the second column.
  • the vertical height of the matching string and the matched string (including the upper and lower endpoint samples) are 16 samples, which is equivalent to the current encoding.
  • the matching relative position D is the linear address or plane coordinate of the first sample of the matched string minus the linear address or plane coordinate of the first sample of the matching string.
  • its matching length L 31.
  • the second matched string (the sample string represented by the fifth preferred pattern in CU m+ l of Figure 5) has 36 samples.
  • the corresponding matching string found among the reference sample sets spans 4 CUs of CU 1, CU 2, CU h + l, CU h+2. 2 samples of this matching string (also represented by the same special pattern) in CU 1 Among them, 4 samples are in CU 2, 15 samples are in CU h+1, and 15 samples are in CU h+2.
  • the matching string among the reference sample sets has exactly the same 2-dimensional shape as the matched string in the current coded CU.
  • the matching string and the matched string are each composed of 4 columns, the first column has 1 sample, the 2nd and 3rd columns respectively have 16 samples, the fourth column has 3 samples, the first column, the first column, The second column is aligned with the bottom of the third column, and the second column, the third column are aligned with the top of the fourth column, and the vertical height of the matching string and the matched string (including the upper and lower end samples) are 16 samples.
  • the value which is equivalent to the height of the current encoding CU m+1.
  • the basic matching mode 4 is a matching mode of a horizontal path 2D-shape-preserved matching.
  • the basic matching mode 4 is the dual mode of the above basic matching mode 3.
  • the current coded CU (CU m+2) with the sequence number m+2 in Figure 5 uses this match mode to match the fixed-width variable-length sample string with a width of 1.
  • the reference sample set retains the 2-dimensional arrangement inherent to the original image plane, while in the current coding CU, the samples are arranged line by line in a horizontal scanning manner and arranged from left to right in one line.
  • the matched samples are moved from left to right in a horizontal scanning manner, after one line of scanning and matching is completed, then scanning and matching the next adjacent row .
  • the matching sample string found in the reference sample set must be exactly the same 2-dimensional shape as the matched sample string in the current encoding CU.
  • the first three matched strings in the fixed-width variable-length sample string matching using this matching mode are shown in CU m+2 of Fig. 5.
  • the first matched string (sample string represented by the sixth preferred pattern in CU m+2 of Figure 5) has 24 samples.
  • the corresponding matching string found among the reference sample sets is in CU 1 and CU 2 (also represented by the same preference pattern).
  • This match string spans the boundaries of 2 CUs, 14 samples are in CU 1, and the other 10 samples are in CU 2.
  • the matching string among the reference sample sets has exactly the same 2-dimensional shape as the matched string in the current coded CU. That is, the matching string and the matched string are each composed of 2 rows, the first row has 16 samples, the second row has 8 samples, the first row is aligned with the left end of the second row, and the matching string is matched.
  • the horizontal width of the string (with left and right endpoint samples) is 16 samples, which is equivalent to the width of the current encoding CU m+2.
  • the second matched string (the sample string represented by the seventh preferred pattern in CU m+2 of Fig. 5) has 23 samples.
  • the corresponding matching string found among the reference sample sets is in CU h and CU h+1 (also represented by the same preference pattern).
  • This match string spans the boundaries of 2 CUs, 12 samples are in CU h, and the other 11 samples are in CU h+1.
  • the matching string in the reference sample set is matched with the current encoded CU
  • the strings have exactly the same 2-dimensional shape. That is, the matching string and the matched string are each composed of 3 lines, the first line has 1 sample, the second line has 16 samples, and the third line has 6 samples, the first line and the second line.
  • the right end is aligned
  • the second line is aligned with the left end of the third line
  • the horizontal width of the matching string and the matched string are 16 samples, which is equivalent to the width of the current encoding CU m+2.
  • the matching relative position D is the linear address or plane coordinate of the first sample of the matched string minus the linear address or plane coordinate of the first sample of the matching string.
  • its matching length L 23.
  • the third matched string (the sample string represented by the eighth preferred pattern in CU m+2 of Figure 5) has 29 samples.
  • the corresponding matching string found among the reference sample sets is in CU 1 and CU 2 (also represented by the same preference pattern). This match string spans the boundaries of 2 CUs, 6 samples are in CU 1, and the other 23 samples are in CU 2.
  • the matching string among the reference sample sets has exactly the same 2-dimensional shape as the matched string in the current coded CU. That is, the match string and the matched string are each composed of 3 lines, the first line has 4 samples, the second line has 16 samples, and the third line has 9 samples, the first line and the second line.
  • the right end is aligned
  • the second line is aligned with the left end of the third line
  • the horizontal width of the matching string and the matched string is 16 samples, which is equivalent to the width of the current encoding CU m+2.
  • the matching relative position D is the linear address or plane coordinate of the first sample of the matched string minus the linear address or plane coordinate of the first sample of the matching string.
  • its matching length L 29.
  • various other matching modes can also be derived, such as a width of 2, 3, . . . , a matching pattern of W samples, and an alternate path progression (odd columns moving from top to bottom, even numbers) The matching pattern of columns moving from bottom to top, and so on.
  • the width W is fixed, not just W is a constant in a video sequence or an image, but refers to the following situation: Unlike the length L is an independent codec variable parameter, the width W is not an independent code.
  • the variable parameter is decoded, but a number determined (fixed) by other codec variable parameters, fixed with the determination of other codec variable parameters, taking a fixed value.
  • Width w ⁇ , where x is the total number of samples in the horizontal (or vertical) direction of the current cu, and V is the first pixel sample matching the current string and the left boundary (or right or upper or lower boundary) of the current CU Horizontal (or vertical) distance between.
  • Width W f(X, V), where X is the total number of samples in the horizontal (or vertical) direction of the current CU, and V is the first pixel sample matching the current string and the left boundary of the current CU ( The horizontal (or vertical) distance between the right or upper or lower boundary, and f is a predetermined function with X and V as independent variables.
  • Width W ft
  • Width W 2 , 1 x+1 . 2X ⁇ where ⁇ is the current cu level (or
  • the f and g are two pre-specified functions with X and L as independent variables.
  • Width W 2 , ⁇ y+1 l 2V 'where v is the number that matches the current string
  • L is the matching length of the nominally entropy encoded write compressed stream
  • the actual actual match length is calculated from L and V by LL: LL
  • Width W f(V, L), where V is the level (or vertical) between the first pixel sample of the current string and the left edge (or right or upper or lower boundary) of the current CU.
  • the f and g are two predefined functions with V and L as independent variables.
  • Width W f(A, B), where A and B are two independent codec variable parameters, and f is a predefined function with A and B as independent variables.
  • the unit of the matching length is usually one sample or W samples.
  • the most basic characteristic feature of the fixed-width variable-length string matching decoding method is that when the compressed code stream data of the currently decoded CU is decoded, the sequence is first parsed from the code stream data. Or the image or the matching mode adopted by the CU (such as one of the matching modes described above), and then sequentially read out the matching parameters of the matching string, that is, the matching relative position D and the matching length L, from the code stream data. After obtaining the matching position and the matching length pair (D, L) of a matching string, the decoding work is based on the matching mode, from the position of the first sample of the currently decoded matched string (also referred to as matching the current string).
  • the matching reference string also referred to as the matching reference string
  • all samples of the entire matching string of length matching length L can be copied from the reference sample set, and the entire matching string is moved and pasted to the position of the matched string in the current decoding. Restore the entire matched string.
  • the adjacent sample or boundary default sample from the decoded (completed partial decoding or complete decoding) (when there is no matching sample, there is no).
  • the adjacent sample is decoded, if the unmatched sample is the top left pixel of an image, calculate the position of the matching matching sample to complete the unmatched sample, or read the unmatched sample from the compressed code stream.
  • Unmatched samples were calculated after values (see subsequent implementation and variant 6) or variants thereof. In this way, copy, move, and paste one matching string in turn, or read and/or calculate unmatched samples one by one (including the position of complementing the unmatched samples with the imitation matching samples), and finally restore the entire current decoding CU. All the samples.
  • a matching reference string itself can span the first, second, and third reconstructed reference pixel samples A set of two or three of these three sets, which set belongs to which set is determined by the position of its starting pixel sample.
  • the first, second, and third reconstructed reference pixel sample sets, the three reference pixel sample sets may have different processes (such as colors) in addition to differences in position and/or reconstruction stages.
  • Quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.) or transformation such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first or higher order difference operations, indexing, etc.) ) or a combination of these processes and transformations.
  • the three reference pixel sample sets although their position labels do not intersect each other, the three regions of their respective current images may still have overlapping portions.
  • One or both of the three reconstructed reference pixel sample sets may be empty, but not all three may be empty.
  • the input of the three reconstructed reference pixel sample sets is a reconstructed sample and the output is a reference sample, and the reference sample may be equivalent to the reconstructed sample, or may be a variety of variants of the reconstructed sample, such as Color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc., or color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first or higher order difference operation, index If the reference sample is not the same as the reconstructed sample, the reference sample can be generated once and then temporarily stored for later use. It can be generated on the fly every time it is needed, or it can be a combination of the two production methods.
  • the first sample matching string of length 25 is first copied from the reference sample set and moved and pasted into the current decoding CU. Then five simulated matching samples are calculated from the adjacent samples. A second sample match string of length 33 is then copied from the set of reference samples and moved and pasted into the current decoded CU. Then four simulated matching samples are calculated from the adjacent samples. A third sample match string of length 21 is then copied from the set of reference samples and moved and pasted into the current decoded CU. This process is repeated until all samples of CU m are finally restored.
  • CU m+ 1 and CU m+2 in Figure 5 can be decoded and reconstructed.
  • all CUs can use the same matching mode.
  • the decoder only needs to parse out from the header information of an image which matching mode the image uses, without requiring each CU to analyze which matching mode the CU uses.
  • the encoder also only needs to write the matching mode in the header information of an image.
  • the same matching mode can be used for all images and all CUs.
  • the decoder only needs to parse out from the header information of a sequence which matching pattern is used in the sequence, and does not need to parse the image for each image, each CU, and which matching mode the CU uses.
  • the encoder also only needs to write the matching pattern in the header information of a sequence.
  • match length can also be referred to as one of the following aliases:
  • Match number match count, match run, Length, stroke,
  • String matching can also be referred to as string copying and the like.
  • the main feature of the encoding method of the present invention is that for a pixel sample of a coded block, a subset of the matched reference samples is searched within the set of reconstructed reference pixel samples, and the current sample is matched with one of the coded blocks.
  • Set matching the samples in the matched reference sample subset are referred to as matching samples; and the parameters related to matching decoding generated in the matching encoding process are put into the compressed code stream.
  • the parameters include, but are not limited to, parameters regarding the location and size of the matched subset of reference samples.
  • the parameter of the matching reference sample subset and the matching current sample subset may be represented by two matching parameters, a matching relative position and a matching length, the matching relative position and the matching length.
  • a variant of the unmatched sample is calculated from the pseudo-matched sample and the unmatched sample itself as the encoded result.
  • FIG. 6 A schematic flowchart of the encoding method of the present invention is shown in FIG. 6.
  • the encoding method of the present invention includes all or part of the following steps:
  • a second reconstructed reference pixel sample temporary storage area ie, a second reconstructed reference pixel sample set
  • a third reconstructed reference pixel sample temporary storage area ie, a third reconstructed reference pixel sample set
  • searching for one or more optimal fixed-width variable-length pixel-sample matching strings (referred to as matching reference strings) according to a predetermined matching pattern and some evaluation criteria;
  • a matching reference string itself may span the first, Two or three of the three temporary storage areas of the second and third reconstructed reference pixel sample temporary storage areas, which temporary storage area belongs to which is determined by the position of its starting pixel sample;
  • the result of the variable length string matching encoding is the one or more matching relative positions and matching lengths and matching samples and possible unmatched samples (samples of the original pixels of the current encoded CU or variants thereof are not found, Also known as non-pig The sample input value); the input of the three reconstructed reference pixel sample sets is a reconstructed sample and the output is a reference
  • the simulated matching samples are calculated from the adjacent samples or boundary default samples that have completed the encoding and complete partial or complete reconstruction, and may also optionally calculate the unmatched pixel changes. Output; match matching relative position and matching length, simulated matching samples and/or unmatched samples and/or variants thereof;
  • a matching parameter of a fixed width variable length string matching manner such as a matching relative position and a matching length and an optional unmatched sample or its variant
  • the parameters are subjected to subsequent entropy coding (including optional first-order or high-order differential coding based on 1D or 2D neighboring parameters, predictive coding, matched coding, mapping coding, transform coding, quantization coding, index coding, run length coding, respectively).
  • entropy coding including optional first-order or high-order differential coding based on 1D or 2D neighboring parameters, predictive coding, matched coding, mapping coding, transform coding, quantization coding, index coding, run length coding, respectively.
  • binarized coding, etc. is written to the compressed code stream.
  • Performing fixed-width variable-length string matching encoding on the CU generating (1) matching relative position and matching length and (2) matching samples; that is, the first reconstructed reference pixel sample in which the position labels do not intersect each other a value temporary storage area (ie, a first reconstructed reference pixel sample set), a second reconstructed reference pixel sample temporary storage area (ie, a second reconstructed reference pixel sample set), and a third reconstructed reference pixel sample temporary In the storage area (ie, the third reconstructed reference pixel sample set), one or more optimal fixed-width variable-length pixel sample matching strings are searched according to a predetermined matching pattern and some evaluation criterion.
  • a value temporary storage area ie, a first reconstructed reference pixel sample set
  • a second reconstructed reference pixel sample temporary storage area ie, a second reconstructed reference pixel sample set
  • a third reconstructed reference pixel sample temporary In the storage area ie, the third reconstructed reference pixel sample set
  • a matching reference string itself may span two or three of the three temporary storage areas of the first, second, and third reconstructed reference pixel sample temporary storage areas, which temporary storage area belongs to Determined by the position of its starting pixel sample;
  • the result of fixed-width variable-length string matching encoding is the one or more matching relative positions and matching lengths and matching samples and possible unmatched samples (not found) match a sample of the original pixel of the current coded CU or a variant thereof, also referred to as a non-matchable sample;
  • the input of the three reconstructed reference pixel sample sets is a reconstructed sample and the output is a reference sample
  • the reference sample may be equivalent to the reconstructed sample, or may be various variants of the reconstructed sample, such as samples processed by color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.
  • sample values of format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first-order or higher-order difference operations, indexing, etc., or multi-processing and transforming pixel value variants when reference samples are not equivalent
  • the reference sample value may be generated once and then temporarily stored for later use when needed, or may be generated immediately when needed, or may be a combination of the two production methods;
  • the simulated matching sample is calculated from the adjacent sample or boundary default sample that has completed the encoding and completes partial or complete reconstruction, and may also optionally calculate the change of the unmatched sample. Output; match matching relative position and matching length, simulated matching samples and/or unmatched samples and/or variants thereof;
  • the position of the unmatched sample is complemented by the pseudo matching sample.
  • Both transform coding and quantization coding are optional, that is, if the transform coding is not better
  • the data compression effect is not subjected to transform coding, and if lossless coding is to be performed, not only transform coding but also quantization coding is not performed;
  • the inverse of the prediction mode is performed on the results of the prediction-transform-quantization coding method of steps 2) and 7) (ie, the prediction-based coding method, simply referred to as the prediction mode), and the matching of steps 3) to 7) is performed -
  • the inverse of the matching manner is performed on the result of the transform-quantization coding method (that is, the matching coding method, which is simply referred to as the matching mode).
  • reconstruction inverse operations
  • the CU corresponds to multiple prediction modes and multiple a plurality of second reconstructed pixels of the matching pattern, used for the rate-distortion cost calculation of the subsequent step 11), and after determining the optimal encoding mode for the current encoding CU in the subsequent step 11), the optimal encoding
  • the second reconstructed pixel of the mode is placed in the second reconstructed reference pixel sample temporary storage area;
  • the matching code output for the sequence, the image, the header information of the CU, the encoding result of the step 2), the prediction mode and the motion vector, the matching encoding output of the step 5), that is, the matching relative position and the matching length and the optional unmatched sample Or its variants, and the matching residuals and prediction residuals (possibly subjected to transform-quantization operations or quantization operations) generated in step 7) are entropy encoded and produce a bit rate of the compressed code stream.
  • the entropy coding also includes firstly selecting one or two-dimensional neighboring samples for the matching values of the matching mode, the matching relative position, the matching length, the unmatched sample or its variant, the matching residual, and the like.
  • the optimal matching mode or the optimal prediction mode and outputs the compressed code stream data of the CU;
  • the compressed code stream contains at least the matching relative position, the matching length and the optional Characterizing parameters of a fixed width variable length string matching manner such as matching samples or variants thereof;
  • the main feature of the decoding method of the present invention is to parse the compressed code stream, through entropy decoding and respectively optional first- or high-order differential decoding based on 1-dimensional or 2-dimensional neighboring samples, predictive decoding, matching decoding, mapping decoding, and inverse Transform decoding, inverse quantization decoding, index decoding, run length decoding, and binarization decoding acquire parameters related to matching decoding.
  • the parameter for a decoding block, copying a matching reference sample subset from a position in the reconstructed reference pixel sample set, and matching all samples of the matched reference sample subset (referred to as matching)
  • the sample is moved and pasted to the current decoding position of the decoded block to obtain a matching current sample subset.
  • the parameters include, but are not limited to, parameters regarding the location and size of the matched subset of reference samples.
  • the matching position of the matched reference sample and the matching length and the current decoding position are used to determine the position and size of the matched reference sample subset. If there is no matching reference sample subset from the reconstructed reference pixel sample set at the current decoding position of the decoded block, the current sample missing at the current decoding position is complemented by one of the following methods:
  • An unmatched sample is calculated from the variant matching sample and the input unmatched sample as the current sample.
  • FIG. 1 A schematic flowchart of the decoding method of the present invention is shown in FIG.
  • the decoding method of the present invention includes all or part of the following steps:
  • a matching reference string itself can span the first, second, and Reconstructing two or three of the three temporary storage areas of the reference pixel sample temporary storage area, which temporary storage area belongs to its start
  • the position of the pixel sample is determined; the first, second, and third reconstructed reference pixel sample sets, the three reference pixel sample sets, in addition to differences in position and/or reconstruction stages, may also be respective Different processing (such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.) or transformation (such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first order or Higher order difference operations, indexing, etc.) or a combination of these processes and transforms.
  • Different processing such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.
  • transformation such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first order or Higher order difference operations, indexing, etc.
  • the three reconstructed reference pixel sample sets although their position labels do not intersect each other, the three regions of their respective current images may still have overlapping portions; the three reconstructed reference pixel sample sets One or two can be empty, but not all three are empty; the input of the three reconstructed reference pixel sample sets is the reconstructed sample and the output is the reference sample, and the reference sample can be equivalent to the reconstructed sample , can also be various variants of reconstructed samples, such as color quantized, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc., or color format conversion, permutation conversion, frequency domain conversion Samples of transformed transforms such as spatial domain mapping, DPCM, first-order or higher-order difference operations, indexing, or multi-processing and transforming pixel value variants, when the reference sample is not equivalent to the reconstructed sample, the reference sample It can be temporarily stored in one time for later use when needed, or it can be generated immediately when needed, or it can be a combination of the two methods;
  • step 3 Optionally complement the missing matching samples at the unmatched sample positions with the imitation matching samples; match the matching samples copied in step 1) and the simulated matching samples calculated in step 2) and/or step 2) Inputting the unmatched samples read and/or step 2) combining the unmatched samples calculated after reading the input to obtain a sample of the complete decoded first reconstructed pixel, and the first weight Placing a sample of the pixel into the first reconstructed reference pixel sample temporary storage area;
  • FIG. 9 An embodiment in which the above decoding method of the present invention is integrated is shown in Fig. 9. This embodiment includes all or part of the following steps:
  • the header information includes a non-fixed-width variable-length string matching (referred to as a predictive non-string matching) decoding step or a fixed-width variable-length string matching (abbreviated string matching) decoding step, such as prediction, for subsequent decoding of the CU.
  • Entropy decoding may also include optional 1- or 2-dimensional proximity to entropy decoding objects such as matching mode, matching relative position, matching length, additional marker bits, unmatched samples or variants thereof, string matching residuals, etc.
  • step 1) parses the non-string matching decoding step using prediction or the like when decoding the CU, performing non-string matching decoding such as intra prediction decoding or inter prediction, which is collectively referred to as non-string matching decoding such as prediction, and generates Preliminarily reconstructing the preliminary reconstructed pixels of the non-string matching decoding, and placing the samples of the preliminary reconstructed pixels into the second reconstructed reference pixel sample temporary storage area, and then jumping to step 8), otherwise, sequentially executing One step;
  • non-string matching decoding such as intra prediction decoding or inter prediction, which is collectively referred to as non-string matching decoding such as prediction
  • step 4) Perform one-to-many fixed-length variable-length string matching decoding of one CU using one or more pairs of matching relative positions D and matching lengths L obtained in step 1). That is, the first reconstructed reference pixel sample temporary storage area (ie, the first reconstructed reference pixel sample set) or the second reconstructed reference pixel sample temporary storage area (ie, the second reconstruction) from which the position labels do not intersect each other. In the reference pixel sample set) or the third reconstructed reference pixel sample temporary storage area (ie, the third reconstructed reference pixel sample set), the entire matching string of length L is copied according to the known matching pattern and the fixed width.
  • matching reference strings All the samples (referred to as matching reference strings), and move and paste the entire matching string to the position of the matched string (also called the matching current string) in the CU, restore the entire matched string, and thus recover one by one.
  • All matched strings of the CU; one matching reference string itself may span two or three of the three temporary storage areas of the first, second and third reconstructed reference pixel sample temporary storage areas, which one The temporary storage area is determined by the position of its starting pixel sample; the first, second, and third reconstructed reference pixel sample sets are three reference pixel sample sets, except at the position and/or reconstruction stage.
  • they may also Different processing (such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.) or transformation (such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first order or Higher order difference operations, indexing, etc.) or a combination of these processes and transforms.
  • Different processing such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.
  • transformation such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first order or Higher order difference operations, indexing, etc.
  • the three reconstructed reference pixel sample sets although their position labels do not intersect each other, the three regions of their respective current images may still have overlapping portions; the three reconstructed reference pixel sample sets One or two can be empty, but not all three are empty; the input of the three reconstructed reference pixel sample sets is the reconstructed sample and the output is the reference sample, and the reference sample can be equivalent to the reconstructed sample , can also be various variants of reconstructed samples, such as color quantized, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc., or color format conversion, permutation conversion, frequency domain conversion Samples of transformed transforms such as spatial domain mapping, DPCM, first-order or higher-order difference operations, indexing, or multi-processing and transforming pixel value variants, when the reference sample is not equivalent to the reconstructed sample, the reference sample It can be temporarily stored in one time for later use when needed, or it can be generated immediately when needed, or it can be a combination of the two methods;
  • step 1) If the specific value of the matching relative position and matching length obtained in step 1) or the additional flag bit indicates that there is no first reconstructed reference pixel sample temporary storage location at the position of the matched string (sample) in the current decoding. Or matching samples of the second reconstructed reference pixel sample temporary storage area or the third reconstructed reference pixel sample temporary storage area, that is, if the matching sample is missing at the current decoding position, then the partially decoded or fully decoded neighbor is completed.
  • the sample or boundary default sample calculates the simulated match sample; it is also possible to optionally read the input unmatched sample or its variant, or alternatively calculate the unmatched sample;
  • the missing matching sample value is optionally complemented by the simulated matching sample calculated in step 5); the matching sample copied in step 4) and the simulated matching calculated in step 5)
  • the sample values and/or the unmatched samples are combined to obtain a sample of the complete decoded first reconstructed pixel (ie, the first reconstructed reference pixel), and the sample of the first reconstructed pixel is placed in the sample Decoding a first reconstructed reference pixel sample temporary storage area;
  • String matching compensation that is, using the string matching residual generated in step 2) to compensate the sample of the first reconstructed pixel generated in step 6), to generate a sample of the second reconstructed pixel of the string matching decoding a value, and placing the sample of the second reconstructed pixel into the second reconstructed reference pixel sample temporary storage area;
  • Step 3) predicting the decoded preliminary reconstructed pixel or step 7) string matching the decoded second reconstructed pixel to perform post-processing such as deblocking filtering and pixel compensation operation, and then performing third reconstruction after these operations are performed
  • Pixel samples are placed in the third reconstructed reference pixel sample temporary storage area, A reference pixel for non-string matching decoding and fixed-width variable-length string matching decoding, such as subsequent prediction;
  • FIG. 1 A schematic diagram of the encoding device of the present invention is shown in FIG.
  • the entire coding device consists of all or part of the following modules:
  • Fixed-width variable-length string matching search encoding module Performing fixed-width variable-length string matching encoding on input video pixel samples, and first reconstructing reference pixel sample temporary storage module in which position labels do not overlap each other ( Temporarily storing a sample of the first reconstructed reference pixel sample set), a second reconstructed reference pixel sample temporary storage module (temporarily storing samples of the second reconstructed reference pixel sample set), and a third reconstructed reference pixel In the sample temporary storage module (temporary sample of the third reconstructed reference pixel sample set), searching for an optimal matching string of a fixed width variable length (referred to as a matching reference string), and outputting (1) an optimal match Matching samples of the string, (2) matching relative position D and matching length L of the optimal matching string, (3) possible unmatched samples, ie, no matching original pixels in the current encoding or variants thereof a value, also known as a non-matchable sample; a matching reference string itself may span two or three of the first, second, and third
  • the reference sample may be equivalent to the reconstructed sample, or may be a variety of variants of the reconstructed sample, such as passing the color.
  • boundary default samples to calculate the simulated matching samples it is also possible to optionally calculate variants of unmatched pixels; output matching relative positions and matching lengths, matching matching samples and/or unmatched samples and/or Variants; 3) Complement the unmatched sample module with the imitation matching sample: Completing the position of the unmatched sample that does not find any optimal matching sample by using the calculated matching matching sample; Module 1) Search find The matched sample value is combined with the unmatched sample value and/or the calculated simulated matching sample value of the module 2) to be placed in the first reconstructed reference pixel sample temporary storage module.
  • the module can be bypassed, at this time, the module 1) searching for the matching sample value and the unmatched sample value is put into the first reconstructed reference pixel sample The first reconstructed pixel sample of the temporary storage module; the module outputs a matching parameter of the fixed width variable length string matching manner such as the matching relative position and the matching length and the optional unmatched sample or its variant; Subsequent entropy coding (including but not limited to respectively optional first- or higher-order differential coding based on 1D or 2D neighboring parameters, predictive coding, matched coding, mapping coding, transform coding, quantization coding, index coding, and run length coding And the binary encoding, etc.) is written into the compressed code stream; the module may also optionally output the matching sample and the simulated matching sample and/or the unmatched sample;
  • a first reconstructed reference pixel sample temporary storage module configured to temporarily store the matched matching sample value and the unmatched sample value and/or the calculated simulated matching sample value
  • a reconstructed pixel sample is used as the first reference pixel sample for subsequent string matching search encoding.
  • predictive coding module performing intra prediction coding and inter prediction coding on input video pixel samples, and outputting (1) prediction residuals and (2) prediction modes and motion vectors;
  • a fixed width variable length string matching search encoding module performing a fixed width variable length string matching encoding on the input video pixel sample, and temporarily storing the first reconstructed reference pixel sample with non-overlapping position labels a module (temporarily storing samples of the first reconstructed reference pixel sample set), a second reconstructed reference pixel sample temporary storage module (temporary sample of the second reconstructed reference pixel sample set), and a third reconstruction
  • the pixel sample temporary storage module temporary storage module (temporarily storing the sample of the third reconstructed reference pixel sample set)
  • searching for the optimal matching string of the fixed width variable length searching for the optimal matching string of the fixed width variable length, and outputting (1) the matching sample of the optimal matching string (2) Matching relative match position D and matching length L of the optimal matching string, (3) Possible unmatched samples, that is, samples of the original pixel or its variant in the current encoding that are not found, also called Is a non-matchable sample
  • a matching reference string itself may span two or three of the
  • the reference sample can be equivalent to the reconstructed sample, or can be various variants of the reconstructed sample, such as color quantization, numerical quantization, vector quantization. , noise removal, filtering, feature pumping Samples that are processed or processed, such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping, DPCM, first-order or higher-order difference operation, indexing, etc., or multi-processed and transformed pixel values Variant, when the reference sample value is not equal to the reconstructed sample value, the reference sample value can be generated once and then temporarily stored for later use when needed, or can be generated immediately when needed, or both. Combination of methods;
  • Completing the unmatched sample module with the imitation matching sample Complementing the position of the unmatched sample that does not find any optimal matching sample using the calculated matching matching sample; Module 2) Search found The matching sample value is combined with the unmatched sample value and/or the simulated matching sample value calculated by the module 3) to be placed in the first weight of the first reconstructed reference pixel sample temporary storage module.
  • the module Constructing a pixel sample; the module can be bypassed, at this time, the module 2) searching for the matching sample value and the unmatched sample value are put together to put the first reconstructed reference pixel sample temporarily The first reconstructed pixel sample of the memory module; the module outputs a matching parameter of a fixed width variable length string matching manner such as a matching relative position and a matching length and an optional unmatched sample or a variant thereof; Entropy coding (including optional first- or higher-order differential coding based on 1D or 2D neighboring parameters, predictive coding, matched coding, mapping coding, transform coding, quantization coding, index coding, run-length coding) Binary coding and the like), after writing the compressed stream, this module may alternatively match the output sample value and the sample value does not match and / or the matching simulated samples;
  • a first reconstructed reference pixel sample temporary storage module configured to temporarily store the first formed by the found matching sample value and the unmatched sample value and/or the calculated simulated matching sample value Reconstructing a sample of the pixel for use as a first reference pixel sample for subsequent string matching search encoding;
  • a matching residual calculation module calculating a matching residual from the input video pixel sample and the sample of the first reconstructed pixel;
  • a transform module performing a transform operation on the matching residual and the prediction residual, and outputting transform coefficients.
  • the transform operation does not have the effect of compressing the data. In this case, no transform operation is performed, that is, the transform module is bypassed and the output is directly output. Determining a matching residual or the predicted residual;
  • a quantization module performing quantization operations on the transform coefficients (in the case where the transform module is not bypassed) or the matching residual or the prediction residual (in the case where the transform module is bypassed), and outputting the quantization of the predictive coding Transform coefficients or quantize prediction residuals, and output matched coded quantized transform coefficients or quantized matching residuals.
  • the transform module and the quantization module may also be bypassed to directly output the prediction residual and the matching residual;
  • Entropy coding module the result of the matching coding mode performed on module 2) to module 4) and module 6) to module 8), such as the matching relative position, the matching length, the optional unmatched sample or a variant, the quantized transform coefficient or the quantized matching residual, etc., performing entropy coding; a result of predictive coding mode performed on module 1), module 7), and module 8), such as the prediction mode, the motion vector Performing entropy coding on the quantized transform coefficients or the quantized prediction residuals, and the like, including first performing first-order or high-order differentials based on 1-dimensional or 2-dimensional neighboring samples respectively for the samples of the entropy encoding object Coding, predictive coding, matched coding, mapping coding, transform coding, quantization coding, index coding, run length coding, and binarization coding;
  • Reconstruction module Perform inverse operation of predictive coding mode of three modules of predictive coding module, transform module and quantization module; perform string matching search coding module with fixed width variable length, and calculate imitation matching samples from adjacent samples The inverse operation of the matching coding mode of the six modules of the module, the matching matching sample value, the matching residual calculation module, the transformation module, and the quantization module; these inverse operations generate samples of the second reconstructed pixel Outputting the second reconstructed pixel to an optimal prediction mode based on rate-distortion performance and a matching mode selection module for calculating a rate-distortion cost; selecting an optimal prediction mode and matching mode based on rate-distortion performance After the module determines the optimal coding mode (the matching coding mode or the prediction coding mode), the second reconstructed pixel corresponding to the optimal coding mode is placed in the second reconstructed reference pixel sample temporary storage module; 1) deblocking Effect filtering and compensation module: performing deblocking filtering and pixel compensation operation on the second reconstructed pixel of the
  • the second reconstructed reference pixel sample temporary storage module the module temporarily stores the second reconstructed pixel, and provides a second reference pixel sample required for the fixed-width variable length string matching search encoding module;
  • the third Reconstructing a reference pixel sample temporary storage module the module temporarily stores a third reconstructed pixel, and provides a third reference pixel of predictive coding and fixed-width variable-length string matching coding;
  • Optimal prediction mode and matching mode selection module based on rate-distortion performance: according to rate-distortion performance Select the optimal coding mode (match coding mode or predictive coding mode), optimal matching mode, optimal prediction mode; output video compressed code stream; compressed code stream contains at least matching relative position, matching length and optional unmatched sample
  • a characterization parameter for a fixed-width variable-length string matching method such as a value (also known as a non-matchable sample) or a variant thereof.
  • FIG. 1 A schematic diagram of the decoding apparatus of the present invention is shown in FIG.
  • the entire decoding device consists of all or part of the following modules:
  • Fixed width variable length string matching decoding module The function of this module is to perform decoding operation on the matching relative position and matching length of the input fixed width variable length matching string obtained from the compressed code stream, that is, according to known a matching pattern and a fixed width, a first reconstructed reference pixel sample temporary storage module (temporary sample of the first reconstructed reference pixel sample set) or a second reconstructed reference pixel sample from which the position labels do not intersect each other
  • the temporary storage module (temporary sample of the second reconstructed reference pixel sample set) or the third reconstructed reference pixel sample temporary storage module (temporary sample of the third reconstructed reference pixel sample set) is matched by The position specified by the relative position is copied to obtain the entire matching string of length matching length (ie, the matching reference string), and then the entire matching string is moved and pasted to the position of the currently matched string (ie, matching the current string) in the currently decoded CU.
  • a matching reference string itself may span two or three of the first, second, and third reconstructed reference pixel sample sets, which belong to The set is determined by the position of its starting pixel sample; the first, second, and third reconstructed reference pixel sample sets are the three reference pixel sample sets, except for differences in position and/or reconstruction stages.
  • they may each undergo different processing (such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.) or transformation (such as color format conversion, permutation conversion, frequency domain conversion, spatial domain mapping). , DPCM, first or higher order difference operations, indexing, etc.) or a combination of these processes and transforms.
  • the three reconstructed reference pixel sample sets although their position labels do not intersect each other, the three regions of their respective current images may still have overlapping portions; the three reconstructed reference pixel sample sets One or two can be empty, but not all three are empty; the input of the three reconstructed reference pixel sample sets is the reconstructed sample and the output is the reference sample, and the reference sample can be equivalent to the reconstructed sample , can also be various variants of reconstructed samples, such as color quantized, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc., or color format conversion, permutation conversion, frequency domain conversion Samples of transformed transforms such as spatial domain mapping, DPCM, first-order or higher-order difference operations, indexing, or multi-processing and transforming pixel value variants, when the reference sample is not equivalent to the reconstructed sample, the reference sample It can be temporarily stored in one time for later use when needed, or it can be generated immediately when needed, or both. a combination of production methods;
  • the first reconstructed reference pixel sample temporary storage module a sample used for temporarily storing the first reconstructed pixel, and used as a sample of the first reference pixel of the subsequent fixed-width variable-length string matching decoding.
  • FIG. 13 An embodiment in which the above decoding apparatus of the present invention is integrated is shown in Fig. 13. This embodiment consists of all or part of the following modules:
  • Entropy decoding module performing entropy decoding on the input compressed code stream data to obtain current decoding sequence, current decoded image, header information and data information of the currently decoded CU; entropy decoding may also include non-fixed width variable length string for prediction and the like Matching (referred to as non-string matching such as prediction)
  • Non-string matching decoding parameters such as prediction mode and motion vector of decoding mode, fixed-width variable-length string matching (referred to as string matching), matching mode of decoding mode, matching relative position, matching length, Additional marker bits, unmatched samples or their variants, predictions, etc.
  • non-string matching residuals and string matching residuals are optionally based on 1 dimension of the isentropic decoding object Or first-order or higher-order differential decoding of 2-dimensional neighboring samples, predictive decoding, matched decoding, map decoding, inverse transform decoding, inverse quantization decoding, index decoding, run-length decoding, and binarized decoding; entropy decoding also includes compression from input In the code stream data, it is parsed whether the current decoding CU adopts a prediction non-string matching decoding method or a string matching decoding method.
  • Inverse transform and inverse quantization arithmetic operation is bypassed if the information; at string matching mode, the data information of the current decoding CU may contain one or more matching strings of information; Anti-quantization module: If the inverse quantization operation is not bypassed, perform inverse quantization operation and output transform coefficients. Otherwise, the module is bypassed, no inverse quantization operation is performed, and direct non-string matching residual or string matching is directly outputted. Residual
  • Inverse transform module If the inverse transform operation is not bypassed, perform an inverse transform operation, output a non-string matching residual or a string matching residual such as prediction, otherwise, the module is bypassed, and no inverse transform operation is performed. The inverse quantization module must also be bypassed. This module directly outputs non-string matching residuals or string matching residuals such as predictions.
  • Predictive non-string matching decoding modules Perform non-string matching decoding such as intra prediction decoding or inter prediction. Obtaining and outputting a preliminary reconstructed pixel of the non-string matching decoding such as prediction;
  • Fixed-width variable-length string matching decoding module The function of this module is to perform decoding operation on the matching relative position and matching length of the fixed-width variable-length matching string from the entropy decoding module, that is, according to the known matching mode and fixed Width, a first reconstructed reference pixel sample temporary storage module from which the position labels do not intersect (temporary sample of the first reconstructed reference pixel sample set) or a second reconstructed reference pixel sample temporary storage module (temporary a sample of the second reconstructed reference pixel sample set) or a third reconstructed reference pixel sample temporary storage module (temporary sample of the third reconstructed reference pixel sample set) specified by the matching relative position Copying the entire matching string of length to the matching length (ie, matching the reference string), then moving and pasting the entire matching string to the current matched string in the currently decoded CU (ie, matching the current string), at the current decoding CU Resolving the entire matched string; a matching reference string itself may span two or
  • the three reconstructed reference pixel sample sets although their position labels do not intersect each other, the three regions of their respective current images may still have overlapping portions; the three reconstructed reference pixel sample sets One or two can be empty, but not all three are empty; the input of the three reconstructed reference pixel sample sets is the reconstructed sample and the output is the reference sample, and the reference sample can be equivalent to the reconstructed sample , can also be various variants of reconstructed samples, such as color quantized, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc., or color format conversion, permutation conversion, frequency domain conversion Samples of spatial domain mapping, DPCM, first-order or higher-order difference operations, indexing, etc., or pixel values that undergo multiprocessing and transformation Body, when the reference sample value is not equal to the reconstructed sample value, the reference sample value can be temporarily stored for later use for later use, or can be generated immediately when needed, or both methods can be generated.
  • Completing the unmatched sample module with the imitation matching sample optionally using the calculated pseudo matching sample completion.
  • Unmatched samples obtained from the input stream and / Or module 6) the unmatched samples obtained after inputting the input code stream are combined to match the samples of the decoded first reconstructed pixels; the matching samples and the simulated matching samples and/or the The unmatched sample is also the output of this module; this module can be bypassed.
  • the matching sample of the module 5) copy and paste is combined with the module 6) the unmatched sample obtained from the input code stream is the matching decoding.
  • a sample of the first reconstructed pixel, the matched sample value and the unmatched sample value are also outputs of the module;
  • a first reconstructed reference pixel sample temporary storage module a sample used to temporarily store the first reconstructed pixel, used as a sample of a first reference pixel required for subsequent fixed-width variable-length string matching decoding;
  • a string matching compensation module adding the string matching residual outputted by the module 3) to the sample of the first reconstructed pixel output by the module 7), and generating a sample of the second reconstructed pixel of the string matching decoding The value is the output of this module;
  • Post-processing module such as deblocking filtering and compensation: Performing post-processing operations such as deblocking filtering and pixel compensation on the first reconstructed pixel outputted by module 4) or the second reconstructed pixel outputted by module 9) Reconstructing the pixel, and then placing the third reconstructed pixel into the third reconstructed reference pixel sample temporary storage module, as a reference pixel for subsequent non-string matching decoding such as fixed-width variable-length string matching decoding and prediction;
  • the third reconstructed pixel is typically also the final output pixel of the entire decoding device embodiment;
  • the second reconstructed reference pixel sample temporary storage module temporarily stores the second reconstructed pixel, providing subsequent Fixed width variable length string matching required second reference pixel samples for decoding;
  • the third reconstructed reference pixel sample temporary storage module temporarily stores the third reconstructed pixel, and provides a third reference pixel required for subsequent prediction and other non-string matching decoding and fixed-width variable length string matching decoding.
  • String matching can be either lossless or accurate, or it can be lossy or approximation.
  • Let the candidate matching string of one of the first, second, and third reconstructed reference pixel sample sets be x (s n , s n+1 , ... ,
  • MaxStringLength (MaxStringLength - m) + (
  • + > +
  • the length-distortion cost function can be used As an evaluation criterion, when searching for a matching string, it is used to evaluate the matching performance of the matching string, and select the optimal matching string. If you search for a matching string, it is mandatory to specify all - S n+q-1
  • 0, then the result is lossless or exact match, otherwise, the result is lossy or approximate match.
  • Another evaluation criterion that can be used in fixed-width variable-length string-matched code search is that
  • ⁇ £ of the maximum 0 that is, all samples are smaller than
  • a matching string of the matching error threshold E having the largest matching length. If E 0, it is lossless and exact match. E can be a fixed number or it can vary with the length of the match.
  • the invention is applicable to the encoding and decoding of images in a stacked format.
  • the pixels of the current encoded CU and the pixels of the first, second, and third reconstructed reference pixel sample sets are all arranged in a stacked packet format.
  • the matching string and the matched string are arranged in a stacking format, that is, in a single pixel formed by a single cross-stacking of three component samples, forming a sample string of three component samples and a single cross-arrangement. Search for the best matching sample string in the sample string.
  • Figure 14 is an embodiment of the fixed width variable length string matching, encoding and decoding of the present invention in a stacked format.
  • the samples in the first, second, and third reconstructed reference pixel sample sets are also arranged in a stacked packet format.
  • the long box in the current coded CU shows an optimal matched string consisting of 14 samples.
  • the first, second, and third reconstructed bars in the reference pixel sample set show the corresponding optimal match string, which is also composed of 14 samples.
  • the invention is equally applicable to the encoding and decoding of component plane format images.
  • the pixels of the current coded CU and the pixels of the first, second, and third reconstructed reference pixel sample sets are all decomposed into three component planes, and one component of all pixels forms a plane.
  • a pair of matching strings and matched strings contain only samples of one component.
  • the string matching search can be performed separately in three planes. However, in order to reduce the search time and because the three planes have a large correlation, the search is usually performed in only one plane (Y plane or G plane).
  • the matching relative position and matching length of the optimal matching string obtained by searching in one plane are simultaneously used for encoding and decoding the string matching of the three planes.
  • Figure 15 is an embodiment of the fixed width variable length string matching, encoding and decoding of the present invention performed in three planar formats.
  • the current coded CU is decomposed into three planes, namely the Y plane, the U plane, and the V plane, and each plane is composed of 8x8 component samples.
  • the first, second, and third reconstructed reference pixel sample sets are also decomposed into three planes.
  • the optimal matching string is searched only in the Y plane, and the matching relative position and matching length of the optimal matching string are obtained.
  • a broken line box in the Y plane of the current coded CU shows an optimal matched string obtained by the search, consisting of 10 samples.
  • the broken line frame in the Y plane of the first, second, and third reconstructed reference pixel sample sets shows the corresponding optimal matching string, which is also composed of 10 samples.
  • the samples are matched and encoded by the same matching relative position and matching length.
  • the optimal match string search in the U and V planes can be omitted.
  • the invention is equally applicable to the encoding or decoding of coded blocks or decoded blocks of indexed pixels.
  • the fixed-width variable-length string matching encoding and decoding of the component plane format image of the present invention is down-sampled for the chrominance components U and V if applied to the YUV 4:2:2 pixel color format and the YUV 4:2:0 pixel color format.
  • the matching relative position and the matching length of the Y plane are applied to the U plane and the V plane, the matching relative position and the matching length are correspondingly transformed and adjusted according to the downsampling ratio.
  • the first, second, and third reconstructed reference pixel sample sets may have different component arrangement formats, color formats, and pixel sample arrangement patterns.
  • the first reconstructed reference pixel sample set is typically the first reconstructed reference pixel sample of the completed phased reconstruction (in its unique reconstruction phase) at the position closest to the current encoded or decoded sample.
  • the second reconstructed reference pixel sample set is typically a second reconstructed reference pixel sample at a position that is more advanced than the first reconstructed reference pixel sample set (in its unique reconstruction phase) .
  • the third reconstructed reference pixel sample set is typically a third reconstructed reference pixel sample that has been completed at a position earlier than the second reconstructed reference pixel sample set.
  • Figure 16 is an embodiment of a first, second, and third reconstructed reference pixel sample set (temporary area or temporary storage module) in which position labels do not intersect each other.
  • the first reconstructed reference pixel sample set is the first reconstructed reference pixel sample at a location in the CU that is currently being encoded or decoded that has completed phased reconstruction (at its particular reconstruction stage).
  • the second reconstructed reference pixel sample set is the location of the CU (not including the CU currently being encoded or decoded) that has completed phased reconstruction (in its unique reconstruction phase) in the LCU m currently being encoded or decoded.
  • the third reconstructed reference pixel sample set is the position of several LCUs such as LCU m-2, LCU m-3, LCU m-4, etc. that complete phased reconstruction earlier (in its unique reconstruction stage).
  • the third reconstructed reference pixel sample is the position of several LCUs such as LCU m-2, LCU m-3, LCU m-4,
  • One or both of the first, second, and third reconstructed reference pixel sample sets may be empty, but not all three may be empty.
  • the first reconstructed reference pixel sample set is composed of a partially reconstructed pixel sample having a higher frequency of occurrence and thus a higher matching probability, and is only used for matching a string length of 1 (this special string matching is also called a point matching); each pixel sample in the first reconstructed reference pixel sample set has a unique address, and the current sample of the current CU is found in the first reconstructed reference pixel sample set
  • the matching length of the string matching is 1 and the matching relative position is the address matching the first sample (also the unique sample) of the reference string; the first reconstructed reference pixel sample set is also called point matching.
  • the point matches the content in the reconstructed reference pixel sample set (reference sample) according to a predetermined strategy (eg, in the historical reconstructed image according to the sample value)
  • a predetermined strategy eg, in the historical reconstructed image according to the sample value
  • the frequency of occurrence is updated, and the number of reference samples in the point matching reconstructed reference pixel sample set also varies according to a predetermined strategy; in the coded block or decoded block of the compressed code stream or PU or CU or CTU or
  • the LCU partially compressed code stream segment contains, but is not limited to, all or part of the syntax elements loaded with the following parameters or variants thereof: Whether the tag bits of the point matching reference set need to be updated: pt_matching_ref_set_update_flag The point matching the reference set needs to be updated Number: pt_matching_ref_set_update_num When pt_matchin g _ref_set_update_flag takes a value, it
  • pt_matchin g _ref_set_update_flag takes another value, it means that it is not necessary to update the point matching reference set; when it is not necessary to update the point matching reference set, the code stream segment There is no pt_matching ref_set_update_num in it, when it needs to be updated.
  • pt.matching ref_set_update_num specifies the number of samples of the point-matched reference set that need to be updated.
  • the specific value of the implementation and variant 4 indicates the absence of matching samples.
  • a specific value matching the relative position D and the matching length L can be used to indicate that the current decoding position is missing. Matching the samples makes it necessary to calculate the case of matching the samples. Decoding a complete CU requires one or more pairs of inputs (matching relative position, matching length), arranged in decoding order
  • Implementation and Variation 5 Using a flag bit to indicate the absence of a matching sample.
  • an additional input flag bit may also be used to indicate that a matching sample is missing at the current decoding position and thus a simulated matching sample value needs to be calculated.
  • Decoding a complete CU requires one or more input flag bits (abbreviated as F) and one or more pairs of inputs (matching relative positions, matching lengths), arranged in decoding order.
  • Fi (Di, Li) or blank, F 2 , (D 2 , L 2 ) or blank, , F n , (D n , L n ) or blank.
  • the flag bit takes a value, it indicates that the matching relative position and the matching length of the matching string are followed by 1 ⁇ , and the other value indicates that the current decoding position lacks the matching sample value and is followed by a blank.
  • an additional input pixel sample may be used.
  • the value is the unmatched pixel sample (which can be the original pixel or pre-processed pixels such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.
  • decoding a complete CU requires one or more input markers Bit (abbreviated as F) and one or more pairs of inputs (matching relative position, matching length) or input pixel samples, arranged in decoding order
  • F input markers Bit
  • the imitation matching sample value may also be used.
  • An additional input pixel sample that is, an unmatched pixel sample (which may be the original pixel or pre-processed pixels such as color quantization, numerical quantization, vector quantization, denoising, filtering, feature extraction, etc.
  • decoding a complete CU requires one or more input marker bits (abbreviated as F) and one or more pairs of inputs (matching relative position, matching length) or inputting pixel samples, depending on The decoding order is arranged as
  • the first bit of the tag bit indicates that the matching relative position of the matching string is followed by the matching length of the matching string.
  • the second value is taken, the current decoding position is missing the matching sample and is complemented by the imitation matching sample.
  • taking the second 2+m ( l ⁇ m ⁇ M) values indicates that the current decoding position lacks a matching sample but is not followed by a blank but follows the M combination of the imitation matching sample and the input pixel sample or its variant.
  • the result of the mth combination and operation I ⁇ in the operation. M is usually less than 10.
  • the input flag bit, the input matching relative position 1 ⁇ , the input matching length 1 ⁇ , the input pixel sample or its variant! Different types of decoding input parameters, which can be described and expressed in the form of entropy coding, first-order or high-order differential coding, predictive coding, matching coding, mapping coding, transform coding, quantization coding, index coding, run length coding.
  • Fi (Di, Li) or F 2 , (D 2 , L 2 ) or P 2 , , F n , (D n , L n ) or P n . It can also be placed in all values of the same type, such as:
  • Fi ... F n , 0 1 or blank, ... D n or blank, 1 ⁇ or blank, ... L n or blank, ? 1 or blank, ... P n or blank.
  • Implementation and variant 8 matching parameters are single component parameters or two component parameters or three component parameters
  • the matching relative position Di or its variant is a single component parameter or a two component parameter or a three component parameter; the syntax element in the compressed code stream corresponding to the matching relative position Di or its variant has, but is not limited to, a matching string of the following forms
  • the matching length Li or its variant is a single component parameter or a two component parameter or a three component parameter; the syntax element in the compressed code stream corresponding to the matching length Li or its variant has one but not limited to one of the following forms:
  • the unmatched pixel Pi or a variant thereof is a single component parameter or a two component parameter or a three component parameter; the syntax element in the compressed code stream corresponding to the unmatched pixel Pi or its variant has one but not limited to one of the following forms:
  • Syntax elements corresponding to unmatched pixels or their variants ⁇ [0], ⁇ [1] (two components) or Syntax elements corresponding to unmatched pixels or their variants: p[0], p[l], p[2] (three components).
  • Example 9 Compressed Code Stream Containing Syntax Elements
  • the coded block or decoded block or PU or CU or CTU or LCU partially compressed code stream segment of the compressed code stream contains, but is not limited to, syntax elements loaded with the following parameters or variants thereof All or part of: the first type of mode (such as codec mode),
  • the second type of mode such as string matching mode
  • the third type of mode such as pixel sample arrangement
  • the fourth type of mode (such as parameter encoding mode),
  • Match flag bit 1 sample set number 1 or empty, (match relative position 1, length 1) or unmatched sample 1 or empty,
  • Match marker bit 2 sample set number 2 or empty, (match relative position 2, length 2) or unmatched sample 2 or empty,
  • More matching marker bits sample set number or empty, (match relative position, length) or unmatched sample or empty,
  • Matching flag bit N sample set number N or empty, (match relative position N, length N) or unmatched sample N or empty, matching residual or empty;
  • any one of the syntax elements may also be split into several parts, and the parts may be placed in a centralized manner.
  • the same place in the code stream can also be placed in different places in the code stream; any number of syntax elements can also be combined into one syntax element; any syntax element may not exist in a coding block or decoding block or PU or CU or In the compressed code stream segment of the CTU or LCU; the matching relative position, matching length, unmatched pixel sample and other parameters in the compressed code stream segment may be these parameters themselves, or may be predicted coding, matching coding, and transformation of these parameters.
  • the matching relative position, the matching length, and the unmatched pixels may each have only one parameter component, and There may be two parameter components, or further divided into three parameter components or even more parameter components.
  • the sample set number may be part of the matching relative position, or only one set of samples. In this case, the sample set number is empty. .
  • any of the reconstructed reference pixel sample sets have independent (ie, not necessarily the same as any other reconstructed reference pixel sample set), the following component arrangement format, color format, and pixel sample arrangement: stack format, YUV color format, LCU or CU vertical scanning 1D string arrangement or
  • the first reconstructed reference pixel sample set adopts an index representation format
  • the second reconstructed reference pixel sample set adopts a 3-component representation format
  • the third reconstructed reference pixel sample set adopts a 3-component representation format
  • the first reconstructed reference pixel sample set adopts an index representation format
  • the second reconstructed reference pixel sample set adopts a 3-component representation format
  • the third reconstructed reference pixel sample set adopts a cable-like representation format
  • the first reconstructed reference pixel sample set adopts an index representation format
  • the second reconstructed reference pixel sample set adopts a 3-component representation format
  • the third reconstructed reference pixel sample set is empty
  • the first reconstructed reference pixel sample set adopts an index representation format
  • the second reconstructed reference pixel sample set adopts an index representation format
  • the third reconstructed reference pixel sample set adopts a 3-component representation format
  • the first reconstructed reference pixel sample set adopts an index representation format
  • the second reconstructed reference pixel sample set adopts a cable I representation format
  • the third reconstructed reference pixel sample set adopts a cable bow I expression format
  • the first reconstructed reference pixel sample set adopts an index representation format
  • the second reconstructed reference pixel sample set adopts an index representation format
  • the third reconstructed reference pixel sample set is empty
  • the first reconstructed reference pixel sample set adopts an index representation format, the second reconstructed reference pixel sample set is empty, and the third reconstructed reference pixel sample set is empty;
  • the first reconstructed reference pixel sample set adopts a 3-component representation format
  • the second reconstructed reference pixel sample set adopts a 3-component representation format
  • the third reconstructed reference pixel sample set adopts a 3-component representation format
  • the first reconstructed reference pixel sample set adopts a 3-component representation format
  • the second reconstructed reference pixel sample set adopts a 3-component representation format
  • the third reconstructed reference pixel sample set adopts an index representation format
  • the first reconstructed reference pixel sample set adopts a 3-component representation format
  • the second reconstructed reference pixel sample set adopts a 3-component representation format
  • the third reconstructed reference pixel sample set is empty;
  • the first reconstructed reference pixel sample set adopts a 3-component representation format
  • the second reconstructed reference pixel sample set adopts an index representation format
  • the third reconstructed reference pixel sample set adopts a 3-component representation format
  • the first reconstructed reference pixel sample set adopts a 3-component representation format
  • the second reconstructed reference pixel sample set adopts an index representation format
  • the third reconstructed reference pixel sample set adopts a cable-like representation format
  • the first reconstructed reference pixel sample set adopts a 3-component representation format
  • the second reconstructed reference pixel sample set adopts an index representation format
  • the third reconstructed reference pixel sample set is empty
  • the first reconstructed reference pixel sample set adopts a 3-component representation format, the second reconstructed reference pixel sample set is empty, and the third reconstructed reference pixel sample set is empty.
  • the fixed width variable length string matching fixed width is a constant W in a CU or several CUs or an image or a sequence;
  • the fixed width W of the fixed width variable length string matching may be one of the following fixed values in the CU of the total number of samples in the horizontal (or vertical) direction of X: 1, 2, 4 , ...,
  • the fixed width w of the fixed width variable length string matching may take one of the following K fixed values in a CU of a total horizontal value (or vertical direction) of X: 1, 2, owing ., k, ..., K-l,
  • the matching reference string and the matching current string may have mutually overlapping sample positions, that is, the matching relative position D of the matching string and the matching
  • the length L satisfies the following relationship: D ⁇ L;
  • the sample value P is repeated L times: PPP ... ...
  • the matching of the current string is the three samples before the current sample P 2P3 is repeated until the matching length reaches L;
  • the matching current string is the repetition of the four samples P 2P3P4 before the current sample until the matching length reaches L; when D ⁇ L, the matching current string is the D samples before the current sample. Value... P D-1 P D repeats until the match length reaches L; or
  • the total number of samples in a horizontal (or vertical) direction is cu rt of X, and the matching reference string is directly above (or to the left of) the adjacent of the matching current string, that is, the matching relative position D and the matching length L of the matching string are satisfied.
  • the total number of samples in a horizontal (or vertical) direction is cu rt of X, and the matching reference string is directly above (or to the left of) the matching current string but not necessarily adjacent, that is, the matching relative position D of the matching string is satisfied.
  • D nX;
  • Reference pixel samples are examples of variants of reconstructed pixel samples.
  • Reference pixel samples are samples of reconstructed pixel samples that have undergone numerical quantization and inverse quantization operations; or reference pixel samples are reconstructed pixels. The samples whose values have been numerically quantized and dequantized are not changed after being calculated once;
  • the reference pixel sample is a sample of the reconstructed pixel sample subjected to numerical quantization and inverse quantization operations, the numerical quantization and inverse quantization operations being calculated using the encoded or decoded quantization parameter;
  • the reference pixel sample is a sample of the reconstructed pixel sample subjected to a numerical quantization and an inverse quantization operation, wherein the numerical quantization and the inverse quantization operation are calculated using an encoding or decoding quantization parameter of a CU in which the reference pixel sample is located; or a reference pixel sample
  • the value is a sample of the reconstructed pixel sample subjected to numerical quantization and inverse quantization operations, and the numerical quantization and inverse quantization operations are calculated using the encoding or decoding quantization parameter of the CU in which the reference pixel sample is located, and are not changed after being calculated once;
  • the reference pixel sample is a sample of the reconstructed pixel sample subjected to numerical quantization and inverse quantization operations, wherein the numerical quantization and inverse quantization operations are calculated using the encoding or decoding quantization parameter of the current CU; or the reference pixel sample is reconstructed
  • the pixel samples are subjected to numerical quantization and inverse quantization operations,
  • the reference pixel sample is a color quantized sample of the reconstructed pixel sample, the color quantization being calculated using a palette obtained by color-based pixel clustering;
  • the reference pixel sample is a color quantized sample of the reconstructed pixel sample, the color quantization using a color based pixel associated with the coded block or decoded block or PU or CU or CTU or LCU in which the reference pixel sample is located
  • the palette obtained by the class to calculate;
  • the reference pixel sample is a color quantized sample of the reconstructed pixel sample, the color quantization using a color based pixel associated with the coded block or decoded block or PU or CU or CTU or LCU in which the reference pixel sample is located
  • the palette obtained by the class is calculated, and once calculated, it does not change;
  • the reference pixel sample is a color quantized sample of the reconstructed pixel sample, the color quantization using a color based pixel associated with the coded block or decoded block or PU or CU or CTU or LCU in which the reference pixel sample is located
  • the palette obtained by the class dynamically updates part of the content is calculated, and once calculated, it does not change;
  • the reference pixel sample is a color quantized sample of the reconstructed pixel samples, the color quantization using a color-based pixel cluster associated with the current coded block or decoded block or PU or CU or CTU or LCU. Swatch to calculate;
  • the reference pixel sample is a color quantized sample of the reconstructed pixel samples, the color quantization using a color-based pixel cluster associated with the current coded block or decoded block or PU or CU or CTU or LCU. Swatch to calculate, each encoding or decoding a code block or decoding block or PU or CU or CTU or LCU, to be recalculated; or
  • the reference pixel samples are samples of the reconstructed pixel samples that have been color quantized using a palette of global color-based pixel clustering.
  • Example 15 Matching Relative Position Variants (Differential, etc.) and Format (1D or 2D, etc.) Samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the current CU The samples are arranged into a one-dimensional array according to a predetermined method. Each sample in the array has a linear address, and the matching relative position of the matching current string is the linear address of the corresponding sample of the corresponding matching reference string. Determining a linear address matching the first sample of the current string; the corresponding relative position of the matching relative position in the compressed data bitstream is an entropy encoded syntax element of the matching relative position; the matching relative position is usually Is a univariate parameter that has only 1 component; or
  • the samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the current CU samples are arranged into a one-dimensional array in a predetermined manner, and each sample in the array has a linearity.
  • the matching relative position of the matching current string is a linear address of the first sample of the corresponding matching reference string minus the linear address of the first sample matching the current string; the matching relative position is in the compressed data bit
  • the corresponding syntax element in the stream is entropy encoded after the matching relative position and other matching relative positions are subjected to permutation conversion and/or mapping operation and/or string matching coding and/or first-order or higher-order prediction and difference operations.
  • a syntax element; the matching relative position is usually a univariate parameter, ie only 1 component; or
  • the samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the current CU samples are arranged into a two-dimensional array in a predetermined manner, and each sample in the array has a plane. Coordinate, matching the matching relative position of the current string is the plane coordinate of the first sample of the corresponding matching reference string minus the plane coordinate of the first sample matching the current string; the matching relative position is in the compressed data bit.
  • the corresponding syntax element in the stream is a syntax element that is entropy encoded by the matching relative position; the matching relative position is usually a bivariate parameter having two components; or
  • the samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the current CU samples are arranged into a two-dimensional array in a predetermined manner, and each sample in the array has a plane. Coordinate, matching the matching relative position of the current string is the plane coordinate of the first sample of the corresponding matching reference string minus the plane coordinate of the first sample matching the current string; the matching relative position is in the compressed data bit.
  • the corresponding syntax element in the stream is entropy encoded after the matching relative position and other matching relative positions are subjected to permutation conversion and/or mapping operation and/or string matching coding and/or first-order or higher-order prediction and difference operations. Language Method element; the matching relative position is usually a two-variable parameter having two components; or
  • the samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the samples of the current CU are first divided into a plurality of regions according to a predetermined manner, and the samples in each region are further arranged into a 2
  • the array of dimensions, the region and each sample in the array have an area number and a plane coordinate.
  • the matching relative position of the matching current string is the area number and plane coordinate minus the first sample of the corresponding matching reference string.
  • An area number and a plane coordinate matching the first sample of the current string; the corresponding relative position of the matching relative position in the compressed data bitstream is an entropy encoded syntax element of the matching relative position; the matching relative position
  • a three-variable parameter has 3 components; or
  • the samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the samples of the current CU are first divided into a plurality of regions according to a predetermined manner, and the samples in each region are further arranged into a 2
  • the array of dimensions, the region and each sample in the array have an area number and a plane coordinate.
  • the matching relative position of the matching current string is the area number and plane coordinate minus the first sample of the corresponding matching reference string.
  • the corresponding relative position of the matching relative position in the compressed data bit stream is that the matching relative position and other matching relative positions are converted and/or arranged a syntax element that is entropy encoded after mapping operations and/or string matching encoding and/or first or higher order prediction and difference operations;
  • the matching relative position is usually a three variable parameter having three components;
  • the samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the samples of the current CU are first divided into a plurality of regions according to a predetermined manner, and the samples in each region are further arranged into a 1
  • the array of dimensions, the region and each sample in the array have an area number and a linear address.
  • the matching relative position of the matching current string is the area number and linear address of the corresponding sample of the corresponding matching reference string minus the area.
  • An area number and a linear address matching the first sample of the current string; the corresponding relative position of the matching relative position in the compressed data bitstream is an entropy encoded syntax element of the matching relative position; the matching relative position
  • a two-variable parameter has 2 components; or
  • the samples of the non-empty first, second, and third reconstructed reference pixel sample sets and the samples of the current CU are first divided into a plurality of regions according to a predetermined manner, and the samples in each region are further arranged into a 1
  • the array of dimensions, the region and each sample in the array have an area number and a linear address.
  • the matching relative position of the matching current string is the area number and linear address of the corresponding sample of the corresponding matching reference string minus the area.
  • the matching relative position is in the compressed data bit stream
  • the corresponding syntax element is a syntax for entropy coding after the matching relative position and other matching relative positions are subjected to permutation conversion and/or mapping operation and/or string matching coding and/or first-order or higher-order prediction and difference operations.
  • the matching relative position is usually a two-variable parameter, that is, there are 2 components.
  • Matching the matching length L of the current string is a univariate parameter; the matching length in the compressed data bit stream is corresponding to the univariate parameter of the matching length and other matching length univariate parameters are arranged and/or Or syntax elements that are entropy encoded after mapping operations and/or string matching encoding and/or first or higher order prediction and difference operations; or
  • the total number of samples in a horizontal (or vertical) direction is cu rt of X
  • the horizontal (or vertical) distance between the first pixel sample and the right edge (or lower boundary) of the current CU is X.
  • Variable parameters are entropy encoded syntax elements;
  • the horizontal (or vertical) distance between the first pixel sample and the right edge (or lower boundary) of the current CU is X.
  • the matching length L of the current string is decomposed into a pair of bivariate parameters (k, LL).
  • the matching length in the compressed data bit stream corresponding to the syntax element is the double of the matching length
  • Variable parameters and other matching length bivariate parameters are entropy encoded syntax elements after permutation conversion and/or mapping operations and/or string matching encoding and/or first or higher order prediction and difference operations.
  • the unmatched samples in the compressed data bitstream correspond to syntax elements that are unmatched samples and other unmatched samples are subjected to permutation conversion and/or mapping operations and/or string matching encoding and/or first or higher order Entropy-encoded syntax elements after prediction and difference operations;
  • the unmatched sample in the compressed data bitstream corresponds to a syntax element that is subjected to the entropy encoding after the unmatched sample is quantized; or the unmatched sample in the compressed data bitstream corresponds to a syntax element
  • the unmatched samples and other unmatched samples are subjected to an entropy coding after being subjected to an arrangement conversion and/or a mapping operation and/or a string matching coding and/or a first-order or higher-order prediction and difference operation, and then subjected to quantization operations.
  • Implementation and Variation 18 An area of the current image corresponding to the first reconstructed reference pixel sample set of two or three regions of the current image in which two or three reference pixel sample sets respectively correspond to each other, The region of the current image corresponding to the second reconstructed reference pixel sample set, the region of the current image corresponding to the third reconstructed reference pixel sample set completely overlaps, and the position identifier of the first reconstructed reference pixel sample set The position label of the second reconstructed reference pixel sample set is smaller than the position label of the second reconstructed reference pixel sample set; and the position label of the second reconstructed reference pixel sample set is smaller than the position label of the third reconstructed reference pixel sample set;
  • the regions of the current image corresponding to the first, second, and third reconstructed reference pixel sample sets are the same region, and all of the current CU and the current CU have completed the phase reconstruction (in each reconstruction phase) N ( N is less than a few hundred CUs, the position label of the first reconstructed reference pixel sample set is smaller than the position label of the second reconstructed reference pixel sample set, and the position label of the second reconstructed reference pixel sample set is smaller than the third weight Constructing a position label of the reference pixel sample set;
  • the regions of the current image corresponding to the first, second, and third reconstructed reference pixel sample sets are the same region, and all of the current LCUs and the current LCU have completed phased reconstruction (in each reconstruction phase).
  • N is less than a few hundred LCUs, the position label of the first reconstructed reference pixel sample set is smaller than the position label of the second reconstructed reference pixel sample set, and the position label of the second reconstructed reference pixel sample set is smaller than the third weight Constructing a position label of the reference pixel sample set;
  • the regions of the current image corresponding to the first, second, and third reconstructed reference pixel sample sets are the same region, and all of the phases are reconstructed (in each reconstruction phase) before the current encoding or decoding of the samples.
  • N is between several thousand and several million
  • the position label of the first reconstructed reference pixel sample set is smaller than the position label of the second reconstructed reference pixel sample set
  • the second reconstructed reference pixel sample The position label of the set is smaller than the position label of the third reconstructed reference pixel sample set;
  • the region of the current image corresponding to the first reconstructed reference pixel sample set partially overlaps the region of the current image corresponding to the second reconstructed reference pixel sample set, and the region of the current image corresponding to the second reconstructed reference pixel sample set
  • the regions of the current image corresponding to the third reconstructed reference pixel sample set partially overlap, but the region of the current image corresponding to the first reconstructed reference pixel sample set and the region of the current image corresponding to the third reconstructed reference pixel sample set Without overlapping, the position label of the first reconstructed reference pixel sample set is smaller than the position label of the second reconstructed reference pixel sample set, and the position label of the second reconstructed reference pixel sample set is smaller than the third reconstructed reference pixel sample Set of position labels; or
  • the region of the current image corresponding to the first reconstructed reference pixel sample set partially overlaps the region of the current image corresponding to the second reconstructed reference pixel sample set, and the region of the current image corresponding to the second reconstructed reference pixel sample set And partially overlapping the regions of the current image corresponding to the third reconstructed reference pixel sample set, the region of the current image corresponding to the first reconstructed reference pixel sample set and the region portion of the current image corresponding to the third reconstructed reference pixel sample set.
  • the position label of the first reconstructed reference pixel sample set is smaller than the position label of the second reconstructed reference pixel sample set, and the position label of the second reconstructed reference pixel sample set is smaller than the third reconstructed reference pixel sample set.
  • the region of the current image corresponding to the first reconstructed reference pixel sample set is a portion of the region of the current image corresponding to the second reconstructed reference pixel sample set, and the region of the current image corresponding to the second reconstructed reference pixel sample set is
  • the third reconstructed reference pixel sample set corresponds to a portion of the region of the current image, the position label of the first reconstructed reference pixel sample set is smaller than the position label of the second reconstructed reference pixel sample set, and the second reconstructed reference pixel
  • the position label of the sample set is smaller than the position label of the third reconstructed reference pixel sample set.
  • the reference pixel sample set is expanded into more than three reference pixel sample sets that are expanded into four reference pixel sample sets, ie, in addition to the first, second, and third reconstructed reference pixel samples.
  • the matching reference string is from one of the four reference pixel sample sets; or the three reference pixel sample sets are expanded into five reference pixel sample sets That is, in addition to the first, second, and third reconstructed reference pixel sample sets, there are fourth and fifth reconstructed reference pixel sample sets, and the matching reference string is from the five reference pixel sample sets.
  • the three reference pixel sample sets are expanded into six reference pixel sample sets, that is, in addition to the first, second, and third reconstructed reference pixel sample sets, there are fourth, fifth, and sixth weights. Constructing a reference pixel sample set, the matching reference string is from one of the six reference pixel sample sets;
  • the three reference pixel sample sets are expanded into N (usually N less than 10) reference pixel sample sets, ie, in addition to the first, second, and third reconstructed reference pixel sample sets, there are fourth, 5.
  • N usually N less than 10
  • the Nth reconstructed reference pixel sample set, the matching reference string being from one of the N reference pixel sample sets.
  • the N (N ⁇ 15) frame image of the phased reconstruction (in each reconstruction stage) of the reference pixel sample set matched by the fixed width variable length pixel sample string is expanded from the current image to the current image; or
  • the first, second, and third reconstructed reference pixel sample sets are in the current image, and the fourth reconstructed reference pixel sample set is in the previous frame image that has been phased reconstructed (in each reconstruction stage); or
  • the first and second reconstructed reference pixel sample sets are in the current image, and the third reconstructed reference pixel sample set spans the current image and the previous frame image that has been phased reconstructed (in each reconstruction phase), ie Partially in the current image, partially in the previous frame of the image that has been phased reconstructed (in each reconstruction phase); or
  • the first reconstructed reference pixel sample set is in the current image
  • the second reconstructed reference pixel sample set spans the current image and the previous frame image that has been phased reconstructed (at each reconstruction stage), ie, the portion is currently In the image, part of the previous frame image that has completed the staged reconstruction (in each reconstruction stage), the third reconstructed reference pixel sample set also spans the current image and has completed the staged reconstruction (in each reconstruction)
  • the previous frame of the phase ie partially in the current image, is partially in the previous frame of the image that has been phased reconstructed (in each reconstruction phase).
  • FIG. 2 is a schematic flow chart of a decoding method in the prior art.
  • FIG. 3 is a schematic diagram of a module composition of an encoding device in the prior art.
  • FIG. 4 is a schematic diagram of the module composition of a decoding device in the prior art.
  • FIG. 5 is a schematic diagram of a fixed-width variable-length pixel sample string matching coding method with a width of 1 pixel sample.
  • FIG. 6 is a schematic diagram of a core flow of a fixed-width variable-length pixel sample string matching coding method according to the present invention. Is a PU or LCU or CTU or code block
  • a CU may also be a PU or an LCU or a CTU or a coding block.
  • FIG. 8 is a schematic diagram of a core flow of a fixed-width variable-length pixel-sample string matching decoding method in the present invention.
  • FIG. 9 is a schematic flowchart of an implementation of a decoding method according to the present invention.
  • a CU may also be a PU or an LCU or a CTU or a decoding.
  • FIG. 10 is a schematic diagram showing the composition of a core module of a fixed-width variable-length pixel sample-value string matching coding apparatus according to the present invention.
  • FIG. 11 is a schematic diagram showing the structure of a complete implementation of the coding apparatus of the present invention.
  • FIG. 12 is a schematic diagram showing the composition of a core module of a fixed-width variable-length pixel sample-string matching decoding device according to the present invention
  • Figure 13 is a block diagram showing the complete implementation of a decoding apparatus of the present invention.
  • FIG. 14 is an embodiment in which the string matching search, encoding, and decoding of the present invention are performed in a stacked format.
  • FIG. 15 is an embodiment in which the string matching search of the present invention is performed in a single plane while encoding and decoding are performed in three planes, respectively.
  • 16 is a diagram showing an embodiment of the first, second, and third reconstructed reference pixel sample sets (scratch area, temporary storage module) in which the position labels of the present invention do not intersect each other.
  • 17 is an embodiment of the present invention for predicting selected optimal partitioning and arrangement by computing features of reconstructed pixels.
  • Figure 11 is a few examples of large pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种图像压缩方法和装置。对编码块进行编码时,在位置标号互不相交的第一、第二和第三重构参考像素样值集之中,按照预定的评估准则,搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串。每个匹配串用匹配相对位置和匹配长度来表征。未找到匹配的样值,则从邻近样值计算出仿匹配样值。匹配串搜索,可仅在一个像素分量平面内进行,也可在3种分量单个交叉排列的叠包格式的像素空间内进行。对匹配相对位置、匹配长度、匹配残差,再施行可选的量化或变换—量化编码、预测编码、差分编码和熵编码。匹配可有多种样值划分方式和排列方式,从中选择一种最优的。对同一编码单元,同时进行基于传统预测的混合编码,最后选择最优的。

Description

定宽度变长度像素样值串匹配增强的图像压缩方法和装置
技术领域
本发明涉及一种数字视频压缩编码及解码系统, 特别是计算机屏幕图像和视 频的编码及解码的方法和装置。
背景技术
随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发 展和普及, 多台计算机之间、 计算机主机与智能电视、 智能手机、 平板电脑等其 他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主 流趋势。 这使得服务器端 (云) 到用户端的实时屏幕传输成为当前的迫切需求。 由于需要传输的屏幕视频数据量很大, 以平板电脑 2048x1536 像素分辨率且 60 帧 /秒刷新率的 24 位真彩色屏幕图像为例, 需要传输的数据达每秒 2048x1536x60x24=4320兆比特,如此多的数据要想在现实的网络条件下实现实时 传输是不可能的, 因此对于计算机屏幕图像的有效的数据压缩必不可少。 计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全 相同的像素图样 (pixel pattern) 0 例如, 计算机屏幕图像中常出现的中文或外文 文字, 都是由少数几种基本笔划所构成, 同一帧图像内可以找到很多相似或相同 的笔划。计算机屏幕图像中常见的菜单、 图标等, 也具有很多相似或相同的图样。 现有的图像和视频压缩技术中采用的帧内预测 (intra prediction) 方式, 仅参考相 邻的像素样值, 无法利用一帧图像中的相似性或相同性来提高压缩效率。 现有技 术中的帧内运动补偿 (intra motion compensation) 方式, 仅用到几种固定大小, 如 8x8, 16x16, 32x32, 64x64像素的块匹配 (block matching), 也不能找到各种 不同大小和形状的匹配。 因此, 必须寻求新的编码工具来充分发掘和利用计算机 屏幕图像中存在的相似或相同图样, 以大幅度提高压缩效果。
充分利用计算机屏幕图像的特点, 对计算机屏幕图像进行超高效率的压缩, 也是正在制定中的最新国际视频压缩标准 HEVC (High Efficiency Video Coding) 和其他若干国际标准、 国内标准、 行业标准的一个主要目标。
屏幕图像的数字视频信号的自然形式是图像的序列。 一幅图像通常是由若干 像素组成的矩形区域, 如果一个数字视频信号每秒有 50幅图像, 那么一段 30分 钟的数字视频信号就是一个由 30x60x50 = 90000幅图像组成的视频图像序列, 有 时也简称为视频序列或序列。 对数字视频信号进行编码就是对一幅一幅图像进行 编码。 在任一时刻, 正在编码中的那一幅图像称为当前编码图像。 同样, 对数字 视频信号的压缩码流 (码流也称为比特流) 进行解码就是对一幅一幅图像的压缩 码流进行解码。 在任一时刻, 正在解码中的那一幅图像称为当前解码图像。 当前 编码图像或当前解码图像都统称为当前图像。
在几乎所有视频图像编码的国际标准如 MPEG-1/2/4, H.264/AVC以及 HEVC 中, 对一幅图像进行编码时, 都是把一幅图像划分成若干块 MxM像素的子图像, 称为 "编码单元 (Coding Unit简称 CU) ", 以 CU为基本编码单位, 对子图像一 块一块进行编码。 常用的 M的大小是 8, 16, 32, 64。 因此, 对一个视频图像序 列进行编码就是对各个编码单元依次进行编码。 同样, 解码时也是对各个编码单 元依次进行解码, 最终重构出整个视频图像序列。
为适应一幅图像内各部分图像内容与性质的不同, 有针对性地进行最有效的 编码,一幅图像内各 CU的大小可以是不同的,有的是 8x8,有的是 64x64,等等。 为了使不同大小的 CU能够无缝拼接起来, 一幅图像通常先划分成大小完全相同 具有 NxN像素的"最大编码单元(Largest Coding Unit简称 LCU) ",然后每个 LCU 再进一步划分成多个大小不一定相同的 CU。 例如, 一幅图像先划分成大小完全 相同的 64x64像素的 LCU (N= 64)。 其中某个 LCU由 3个 32x32像素的 CU和 4个 16x16像素的 CU构成。而另一个 LCU由 2个 32x32像素的 CU、 3个 16x16 像素的 CU和 20个 8x8像素的 CU构成。 对一幅图像进行编码, 就是依次对一个一个 CU进行编码。 在任一时刻, 正 在编码中的 CU称为当前编码 CU。 对一幅图像进行解码, 也是依次对一个一个 CU进行解码。 在任一时刻, 正在解码中的 CU称为当前解码 CU。 当前编码 CU 或当前解码 CU都统称为当前 CU。 在本发明专利申请中, CU (即编码单元) 是指一幅图像中的一个区域。 在本发明专利申请中, 编码块或解码块是指一幅图像中对其施行编码或解码 的一个区域。
因此, 在本发明专利申请中, 对于编码来说, " CU"与 "编码块"是同义词, 对于解码来说, " CU"与 "解码块"是同义词, 根据上下文, 可以明确 " CU"是 表示 "编码块"还是表示 "解码块", 如果从上下文不能明确, 那么就是同时表 示两者之任一。
一个彩色像素通常有 3个分量(component)组成。最常用的两种像素色彩格 式 (pixel color format) 是由绿色分量、 蓝色分量、 红色分量组成的 GBR色彩格 式和由一个亮度 (luma) 分量及两个色度 (chroma) 分量组成的 YUV色彩格式。 通称为 YUV的色彩格式实际包括多种色彩格式, 如 YCbCr色彩格式。 因此, 对 一个 CU进行编码时, 可以把一个 CU分成 3个分量平面 (G平面、 B平面、 R 平面或 Y平面、 U平面、 V平面), 对 3个分量平面分别进行编码; 也可以把一 个像素的 3个分量捆绑组合成一个 3元组, 对由这些 3元组组成的 CU整体进行 编码。 前一种像素及其分量的排列方式称为图像 (及其 CU) 的平面格式 (planar format), 而后一种像素及其分量的排列方式称为图像 (及其 CU) 的叠包格式
(packed format)。像素的 GBR色彩格式和 YUV色彩格式都是像素的 3分量表现 格式。
除了像素的 3分量表现格式, 像素的另一种常用的现有技术的表现格式是调 色板索引表现格式。 在调色板索引表现格式中, 一个像素的数值也可以用调色板 的索引来表现。 调色板空间中存储了需要被表现的像素的 3个分量的数值或近似 数值, 调色板的地址被称为这个地址中存储的像素的索引。 一个索引可以表现像 素的一个分量, 一个索引也可以表现像素的 3个分量。 调色板可以是一个, 也可 以是多个。 在多个调色板的情形, 一个完整的索引实际上由调色板编号和该编号 的调色板的索引两部分组成。 像素的索引表现格式就是用索引来表现这个像素。 像素的索引表现格式在现有技术中也被称为像素的索引颜色(indexed color)或仿 颜色 (pseudo color) 表现格式, 或者常常被直接称为索引像素 ( indexed pixel ) 或仿像素 (pseudo pixel) 或像素索引或索引。 索引有时也被称为指数。 把像素用 其索引表现格式来表现也称为索引化或指数化。
其他的常用的现有技术的像素表现格式包括 CMYK表现格式和灰度表现格 式。
YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式: 1个像素由 1个 Y分量、 1个 U分量、 1个 V分量组成的 YUV4:4:4像素色彩格 式;左右相邻的 2个像素由 2个 Y分量、 1个 U分量、 1个 V分量组成的 YUV4:2:2 像素色彩格式; 左右上下相邻按 2x2空间位置排列的 4个像素由 4个 Y分量、 1 个 U分量、 1个 V分量组成的 YUV4:2:0像素色彩格式。一个分量一般用 1个 8~16 比特的数字来表示。 YUV4:2:2 像素色彩格式和 YUV4:2:0 像素色彩格式都是对 YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像 素样值 (pixel sample) 或简单地称为一个样值 ( sample )0 编码或解码时的最基本元素可以是一个像素, 也可以是一个像素分量, 也可 以是一个像素索引(即索引像素)。作为编码或解码的最基本元素的一个像素或一 个像素分量或一个索引像素统称为一个像素样值(sample), 有时也通称为一个像 素值, 或简单地称为一个样值。 在本发明专利申请中, "像素样值"、 "像素值"、 "样值"、 "索引像素"、 "像素 索引"是同义词, 根据上下文, 可以明确是表示 "像素"还是表示 "一个像素分 量"还是表示 "索引像素"或者同时表示三者之任一。 如果从上下文不能明确, 那么就是同时表示三者之任一。
在本发明专利申请中, CU (即编码单元) 是由若干像素值组成的一个区域。 CU的形状可以是矩形、 正方形、 平行四边形、 梯形、 多边形、 圆形、 椭圆形及 其他各种形状。矩形也包括宽度或高度为一个像素值的退化为线(即线段或线形) 的矩形。 一幅图像中, 各个 CU可以具有各不相同的形状和大小。 一幅图像中, 某些或全部 CU可以有互相重叠部分, 也可以所有 CU都互不重叠。一个 CU, 可 以由 "像素"组成, 也可以由 "像素的分量"组成, 也可以由 "索引像素"组成, 也可以由这 3者混合组成, 也可以由这 3者中之任意 2种混合组成。 包括屏幕图像在内的各种类型图像和视频序列的编码技术中, 使用最多的现 有技术的编码方法的流程示意图如图 1所示。现有技术的编码方法包括如下步骤:
1) 读入一个 CU的原始像素;
2) 对一个 CU进行帧内预测编码和帧间 (即当前编码帧与以前已编码帧之 间) 预测编码, 统称为预测编码, 产生出 (1 ) 预测残差和 (2) 预测模 式和运动矢量;
3) 对步骤 2) 的编码结果之一预测残差进行变换编码和量化编码。 变换编 码和量化编码都是分别可选的, 也就是如果变换编码达不到更好的数据 压缩效果, 就不进行变换编码, 而如果要进行无损编码, 则不但不进行 变换编码, 也不进行量化编码;
4) 对步骤 2) ~3 ) 的编码结果进行所述编码的逆运算, 即重构运算, 初步 重构出所述 CU的像素,用于后续步骤 7)的率-失真成本(Rate-distortion cost) 计算;
5) 对初步重构像素进行去块效应滤波和像素补偿运算, 产生重构像素, 然 后把重构像素放入历史像素 (重构像素) 暂存区, 用作后续预测编码的 参考像素。 由于编码可能是有损的, 重构像素并不一定等于输入原始像 素;
6) 对序列、 图像、 CU的头信息、 步骤 2) 的编码结果之二预测模式和运动 矢量以及步骤 3 ) 产生的预测残差 (可能经过了变换 -量化运算或量化运 算) 进行熵编码并产生压缩码流的比特率; 7) 从原始像素、 重构像素、 压缩码流的比特率或者比特率估计值, 计算得 到率 -失真成本, 根据率-失真性能选择此 CU 的最优预测模式并输出此 CU的压缩码流数据;
8) 判断是否已完成所有 CU的编码, 如果是, 则结束编码, 否则回到步骤 1), 开始对下一个 CU的编码。 现有技术的解码方法的流程示意图如图 2所示。 现有技术的解码方法包括如 下步骤:
1) 进行一个 CU的熵解码, 得到该 CU的头信息和数据信息。 头信息主要 包括该 CU采用帧内预测还是帧间预测, 是否进行逆变换解码;
2) 对可能经过了变换-量化运算或量化运算的预测残差进行所述运算的逆 运算, 即反量化-逆变换解码运算或反量化解码运算或恒等运算, 产生出 预测残差;
3) 进行帧内预测解码或帧间预测解码, 统称为预测解码, 产生出初步重构 像素;
4) 对初步重构像素进行去块效应滤波和像素补偿运算, 然后把经过这些运 算的重构 CU的像素放入历史像素 (重构像素) 暂存区, 用作后续预测 解码的参考像素;
5) 输出重构 CU的像素;
6) 判断是否已经完成对所有 CU的压缩码流数据的解码, 如果是, 则结束 解码, 否则回到步骤 1), 开始对下一个 CU的解码。 现有技术的编码装置示意图如图 3所示。 整个编码装置由以下模块组成:
1) 预测编码模块。对输入视频像素样值施行帧内预测编码和帧间预测编码, 并输出 (1 ) 预测残差和 (2) 预测模式和运动矢量;
2) 变换模块。 对预测残差施行变换运算, 输出变换系数。 对某些类型的屏 幕图像像素, 变换运算并不能起到压缩数据的效果, 在这种情形, 就不 施行变换运算, 也就是变换模块被旁路, 直接输出预测残差;
3) 量化模块。 对变换系数 (在变换模块未旁路的情形) 或预测残差 (在变 换模块被旁路的情形) 施行量化运算, 产生量化变换系数或量化预测残 差。 在进行无损编码的情形, 变换模块和量化模块都被旁路, 直接输出 预测残差; 4) 熵编码模块。 对预测模式、 运动矢量、 量化变换系数、 量化预测残差或 预测残差施行熵编码,包括对某些熵编码对象的样值先施行基于 1维或 2 维邻近样值的差分编码、 游程编码以及二值化 (binarization) 编码;
5) 重构模块。 施行预测编码模块、 变换模块、 量化模块这三个模块的逆运 算, 初步重构出所述 CU的像素并输出到基于率-失真性能的最优预测模 式选择模块和历史像素 (重构像素) 暂存模块;
6) 去块效应滤波和补偿模块。 进行去块效应滤波和像素补偿运算, 然后把 经过这些运算的重构像素放入历史像素 (重构像素) 暂存模块, 用作后 续预测编码的参考像素;
7) 历史像素 (重构像素) 暂存模块。 本模块提供预测编码的参考像素;
8) 基于率-失真性能的最优预测模式选择模块。根据率-失真性能选择最优预 测模式。 输出视频压缩码流。
现有技术的的解码装置示意图如图 4所示。 整个解码装置由以下模块组成:
1) 熵解码模块。 对输入压缩码流数据施行熵解码。 熵解码也包括对预测模 式、 运动矢量、 量化变换系数、 量化预测残差、 预测残差等熵解码对象 的基于 1 维或 2 维邻近样值的差分解码、 游程解码以及二值化
(binarization) 角军码;
2) 反量化模块。 施行反量化运算, 输出变换系数或预测残差;
3) 逆变换模块。 如果编码时变换运算未被旁路, 则施行逆变换解码, 输出 预测残差, 否则, 不施行逆变换解码, 直接输出预测残差;
4) 预测解码模块。施行帧内预测解码或帧间预测解码, 输出初步重构像素;
5) 去块效应滤波和补偿模块。 对初步重构像素施行去块效应滤波和像素补 偿运算, 然后把经过这些运算的重构像素放入历史像素 (重构像素) 暂 存模块, 用作后续预测解码的参考像素;
6) 历史像素暂存模块。 本模块提供预测解码的参考像素。
如上所述, 现有技术中, 编码的第一步都是对编码单元 CU进行帧内预测编 码或者帧间预测编码。 在整幅图像都是自然图像的场合, 现有技术是有效的。
随着多媒体技术在计算机中的普及, 今天和未来的日常使用计算机的屏幕图 像中, 一幅图像中常常含有很多字母、 数字、 文字、 菜单、 小图标、 大图形、 图 表、 表格等组成的位图 (bitmap)。 一幅这样的图像中有很多完全相同或相似的图 案 (pattern)。 如英文仅有 52个不同的字母 (26个大写字母和 26个小写字母), 中文更是仅有很少几种不同的笔划构成。 因此, 在计算机屏幕图像中, 找到各种 形状的匹配像素样值串, 就可以用匹配串的长度和与被匹配串之间的距离 (1 维 距离或 2维距离) 这两个参数来代表被匹配串的全部信息, 去除了图像像素中存 在的冗余度, 起到显著的图像数据压缩作用。
但是, 现有技术中, 基于邻近像素样值的帧内预测编码和基于方块 (block) 的帧间预测编码, 都不能有效地找到图像中具有各种形状或大小的匹配图案, 对 这类图像和图案的编码效率很低。 发明内容
为了解决图像视频编码和解码的现有技术中的这一问题, 本发明提供了一种 基于固定宽度可变长度的像素样值串匹配的图像编码与解码的方法和装置。
本发明的主要技术特征如图 5所示。 图 5表示的是一幅平面格式图像的一个 分量 (样值) 平面。 但本发明也同样适用于叠包格式图像的编码和解码。
本发明的编码方法和装置中, 固定宽度可变长度串匹配编码方式的最基本的 特有技术特征就是在对当前编码单元 CU编码时, 在位置标号互不相交的第一重 构参考像素样值集、 第二重构参考像素样值集和第三重构参考像素样值集之中, 按照预先规定的某种评估准则, 搜索得到一个或多个最优的固定宽度可变长度的 像素样值匹配串(也称为匹配参考串)。对找不到匹配的当前编码单元 CU的样值 (称为未匹配样值, 也称为不可匹配样值), 则从邻近样值计算出仿匹配样值 (pseudo matching sample )0 每个匹配串用匹配相对位置 (distance) D和匹配长 度 (length) L这两个参数来表征。 未匹配样值和 /或仿匹配样值的情况则用一个 标记位(flag)或匹配相对位置和匹配长度的一种特定值来表示。匹配相对位置 D 是第一重构参考像素样值集或第二重构参考像素样值集或第三重构参考像素样值 集 (以下有时统称为重构参考样值集或参考样值集或样值集或重构参考像素样值 集或参考像素样值集) 中找到的相应的匹配串的第一个像素样值与当前编码 CU 中被匹配串 (也称为匹配当前串) 的第一个像素样值之间的线性 (1 维) 距离或 平面 (2 维) 距离, 其单位是样值或若干样值。 匹配相对位置有时也称为帧内运 动矢量 (Intra Motion Vector)。 匹配长度 L是匹配串的长度, 其单位也是样值或 若干样值。 显然, 匹配串的长度也是被匹配串的长度。 固定宽度可变长度串匹配 编码方式的输出是匹配串的表征参数对 (D, L), (D, L) 的某些特定值或者附加 的标记位输出表示找不到匹配, 在找不到匹配时, 则从未匹配样值的邻近样值计 算出仿匹配样值, 输出未匹配样值 (见后续的实施和变体例 6) 和 /或仿匹配样值 和 /或未匹配样值的变体。未匹配样值可以是未找到匹配的原始像素值或其各种变 体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等前处理 的像素值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的像素值或经过多重处理与变换的像素值变 体。 未匹配样值的变体可以是所述未匹配样值与仿匹配样值之间的差或差的各种 变体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等处理 的差或经过色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的差或经过多重处理与变换的变体。 一个匹 配参考串本身可以跨越第一、 第二和第三重构参考像素样值集这三个集的两个或 三个, 其属于哪个集由它的起始像素样值的位置来决定。 第一、 第二、 第三重构 参考像素样值集这三个参考像素样值集, 除了位置上和 /或重构阶段上的差别之 外, 可能还各自分别经过不同的处理 (如颜色量化、 数值量化、 向量量化、 去噪 音、 滤波、 特征抽取等)或变换(如色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等) 或这些处理与变换的组 合。 这三个参考像素样值集, 虽然他们的位置标号互不相交, 但他们各自对应的 当前图像的三个区域仍然可能有互相重叠的部分。 这三个重构参考像素样值集的 一个或两个可以为空, 但不能三个都为空。 这三个重构参考像素样值集的输入是 重构样值而输出是参考样值, 参考样值可以等同于重构样值, 也可以是重构样值 的各种变体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取 等处理的样值或经过色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的样值或经过多重处理与变换的像 素值变体, 当参考样值不等同于重构样值时, 参考样值可以一次性产生后暂存供 以后需要时多次使用, 也可以每次需要时即时产生, 也可以是这两种产生方法的 组合。
在本发明专利申请中, "重构样值"和 "参考样值"有时被统称为 "重构参考 像素样值"。 根据上下文, 可以明确 "重构参考像素样值"是表示 "重构样值" 还是 "参考样值"还是同时表示两者之任一。 如果从上下文不能明确, 那么就是 同时表示两者之任一。 在本发明专利申请中, "重构参考样值集"和 "重构参考像素样值集"是同义 词, 在不引起混淆的情况下, 有时也被简称为 "样值集"。
从匹配串的路径形状 (path shape) 来分, 至少有 4种基本匹配模式。 基本匹配模式 1是垂直路径 1维串形匹配的匹配模式。图 5的序号为 m的 CU (CU m)采用本匹配模式进行宽度为 1的固定宽度可变长度样值串匹配。在本匹 配模式中, 参考样值集先以 LCU序号或 CU序号的顺序排列, 而在一个 LCU或 CU 内, 样值逐列排列, 每列中样值垂直扫描自上而下排列。 这样, 参考样值集 最终排列成一个一维的样值串。例如, 在图 5中, 一个 CU的大小是 16x16样值。 参考样值排列成的一维样值串中的第一个样值是序号为 0的 CU (CU 0) 的左边 第 1列的顶端第一个样值。 一列样值中, 以垂直扫描方式自上而下排列。 因此, 所述一维样值串中的第二个样值是 CU 0的第 1列的顶端数下来第二个样值。第 1 列之后排列的是第 2列, 同样也是以垂直扫描方式自上而下排列样值。 这样逐列 排列一直到 CU 0的第 16列, 之后排列的是图 5中序号为 1的 CU (CU 1 ) 的左 边第一列像素, 依次类推。 图 5所示一幅图像的一个平面中, 水平方向共有 h个 CU。 因此, 序号为 h—l的 CU (CU h- 1 ) 的第 16列样值 (有 16个样值) 是第 一个 CU行 (共有 h个 CU) 的最后 1列样值 (有 16个样值), 之后排列的是序 号为 h的 CU (CU h) 的左边第 1列样值 (有 16个样值), 也就是第二个 CU行 的最左边 1列样值(有 16个样值)。 图 5的序号为 m的 CU m中画出了固定宽度 可变长度样值串匹配中的前 3个被匹配串。 第一个被匹配串(图 5 的 CU m中用 1种特选图案表示的样值串)有 25个样 值。在参考样值集之中找到的对应的匹配串在 CU 0和 CU 1中(也用同样特选图 案表示),前 5个样值是 CU 0的第 16列的最后 5个样值,而后 20个样值是 CU 1 的第 1和 2列中的最前 20个样值, 其中 16个样值在第 1列中, 4个样值在第 2 列中。 在适当定义了图像中样值的线性地址或平面坐标之后, 匹配相对位置 D就 是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性 地址或平面坐标。 而其匹配长度 L = 25。 第一个被匹配串之后, 有 5个未匹配样值, 在图 5 的 CU m中用 5个空白圆 圈表示。 所以需要通过计算得到 5个仿匹配样值。 第二个被匹配串 (图 5 的 CU m中用第 2种特选图案表示的样值串) 有 33 个样值。 在参考样值集之中找到的对应的匹配串在 CU 0中 (也用同样特选图案 表示), 其前 7个样值是 CU 0的第 3列的最后 7个样值, 而其最后 4个样值是 CU 0的第 5列的最前 4个样值。 匹配相对位置 D就是被匹配串的第一个样值的 线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。 而其匹配 长度 L = 33。 第二个被匹配串之后, 有 1个未匹配样值, 故需要通过计算得到 1个仿匹配 样值。 第三个被匹配串 (图 5 的 CU m中用第 3种特选图案表示的样值串) 有 21 个样值。 在参考样值集之中找到的对应的匹配串在 CU h— 1和 CU h中 (也用同 样特选图案表示), 前 13个样值是 CU h— 1的第 16列的最后 13个样值, 而后 8 个样值是 CU h的第 1列的最前 8个样值。 匹配相对位置 D就是被匹配串的第一 个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地址或平面坐标。 而其匹配长度 L = 21。
基本匹配模式 2是水平路径 1维串形匹配的匹配模式。 基本匹配模式 2是上 述基本匹配模式 1的对偶模式。 把基本匹配模式 1中的 "垂直"置换成 "水平", "列"置换成 "行", " 自上而下"置换成 "自左而右", "左边"置换成 "上边", "顶端"置换成 "左端",
基本匹配模式 3是垂直路径 2维保形(2D-shape-preserved)匹配的匹配模式。 图 5的序号为 m+ l的当前编码 CU ( CU m+1 ) 采用本匹配模式进行宽度为 1的 固定宽度可变长度样值串匹配。 在本匹配模式中, 参考样值集保留原始图像平面 固有的 2维排列方式, 而在当前编码 cu rt , 样值则以垂直扫描方式逐列排列并 且在 1列内自上而下排列。在参考样值集之中搜索匹配样值串时,在当前编码 CU 内, 被匹配样值以垂直扫描方式自上而下移动, 一列扫描和匹配完了之后, 接着 扫描和匹配右边相邻的一列。 在参考样值集之中找到的匹配样值串必须与当前编 码 CU中的被匹配样值串保持完全一致的 2维形状。图 5的 CU m+ l中画出了采 用本匹配模式的固定宽度可变长度样值串匹配中的前 2个被匹配串。 第一个被匹配串 (图 5 的 CU m+ l中用第 4种特选图案表示的样值串) 有 31个样值。 在参考样值集之中找到的对应的匹配串在 CU 1和 CU h+1中 (也用 同样特选图案表示)。 这个匹配串跨越 2个 CU的边界, 6个样值在 CU 1中, 而 另外 25个样值在 CU h+1中。 参考样值集之中的匹配串与当前编码 CU中的被匹 配串具有完全相同的 2维形状, 也就是, 匹配串和被匹配串都分别由 2列组成, 第 1列有 16个样值, 第 2列有 15个样值, 第 1列与第 2列的顶部对齐, 匹配串 和被匹配串的垂直高度 (含上、 下端点样值) 都是 16 个样值, 等同于当前编码 CU m+l的高度。 匹配相对位置 D就是被匹配串的第一个样值的线性地址或平面 坐标减去匹配串的第一个样值的线性地址或平面坐标。 而其匹配长度 L = 31。
第一个被匹配串之后, 有 16个未匹配样值, 故需要通过计算得到 16个仿匹 配样值。
第二个被匹配串 (图 5 的 CU m+ l中用第 5种特选图案表示的样值串) 有 36个样值。在参考样值集之中找到的对应的匹配串跨越了 CU 1, CU 2, CU h + l, CU h+2这 4个 CU。 这个匹配串 (也用同样特选图案表示) 的 2个样值在 CU 1 中, 4个样值在 CU 2中, 15个样值在 CU h+1中, 15个样值在 CU h+2中。 参考 样值集之中的匹配串与当前编码 CU中的被匹配串具有完全相同的 2维形状。 也 就是, 匹配串和被匹配串都分别由 4列组成, 第 1列有 1个样值, 第 2、 3列分别 有 16个样值, 第 4列有 3个样值, 第 1列、 第 2列与第 3列的底部对齐, 而第 2 列、 第 3列与第 4列的顶部对齐, 匹配串和被匹配串的垂直高度 (含上、 下端点 样值) 都是 16个样值, 等同于当前编码 CU m+1的高度。 匹配相对位置 D就是 被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地 址或平面坐标。 而其匹配长度 L = 36。
基本匹配模式 4是水平路径 2维保形(2D-shape-preserved)匹配的匹配模式。 基本匹配模式 4是上述基本匹配模式 3的对偶模式。 图 5的序号为 m+2的当前 编码 CU ( CU m+2)采用本匹配模式进行宽度为 1的固定宽度可变长度样值串匹 配。 在本匹配模式中, 参考样值集保留原始图像平面固有的 2维排列方式, 而在 当前编码 CU内, 样值则以水平扫描方式逐行排列并且在 1行内从左向右排列。 在参考样值集之中搜索匹配样值串时, 在当前编码 cu rt , 被匹配样值以水平扫 描方式从左向右移动, 一行扫描和匹配完了之后, 接着扫描和匹配下边相邻的一 行。 在参考样值集之中找到的匹配样值串必须与当前编码 CU中的被匹配样值串 保持完全一致的 2维形状。图 5的 CU m+2中画出了采用本匹配模式的固定宽度 可变长度样值串匹配中的前 3个被匹配串。 第一个被匹配串 (图 5 的 CU m+2中用第 6种特选图案表示的样值串) 有 24个样值。 在参考样值集之中找到的对应的匹配串在 CU 1和 CU 2中 (也用同 样特选图案表示)。 这个匹配串跨越 2个 CU的边界, 14个样值在 CU 1中, 而另 外 10个样值在 CU 2中。 参考样值集之中的匹配串与当前编码 CU中的被匹配串 具有完全相同的 2维形状。 也就是, 匹配串和被匹配串都分别由 2行组成, 第 1 行有 16个样值, 第 2行有 8个样值, 第 1行与第 2行的左端对齐, 匹配串和被匹 配串的水平宽度 (含左、 右端点样值)都是 16个样值, 等同于当前编码 CU m+2 的宽度。匹配相对位置 D就是被匹配串的第一个样值的线性地址或平面坐标减去 匹配串的第一个样值的线性地址或平面坐标。 而其匹配长度 L = 24。 第一个被匹配串之后, 有 7个未匹配样值, 故需要通过计算得到 7个仿匹配 样值。
第二个被匹配串 (图 5 的 CU m+2中用第 7种特选图案表示的样值串) 有 23个样值。 在参考样值集之中找到的对应的匹配串在 CU h和 CU h+1中 (也用 同样特选图案表示)。 这个匹配串跨越 2个 CU的边界, 12个样值在 CU h中, 而 另外 11个样值在 CU h+1中。 参考样值集之中的匹配串与当前编码 CU中的被匹 配串具有完全相同的 2维形状。 也就是, 匹配串和被匹配串都分别由 3行组成, 第 1行有 1个样值, 第 2行有 16个样值, 第 3行有 6个样值, 第 1行与第 2行的 右端对齐, 第 2行与第 3行的左端对齐, 匹配串和被匹配串的水平宽度 (含左、 右端点样值)都是 16个样值, 等同于当前编码 CU m+2的宽度。 匹配相对位置 D 就是被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线 性地址或平面坐标。 而其匹配长度 L = 23。 第二个被匹配串之后, 有 6个未匹配样值, 故需要通过计算得到 6个仿匹配 样值。
第三个被匹配串 (图 5 的 CU m+2中用第 8种特选图案表示的样值串) 有 29个样值。 在参考样值集之中找到的对应的匹配串在 CU 1和 CU 2中 (也用同 样特选图案表示)。 这个匹配串跨越 2个 CU的边界, 6个样值在 CU 1中, 而另 外 23个样值在 CU 2中。 参考样值集之中的匹配串与当前编码 CU中的被匹配串 具有完全相同的 2维形状。 也就是, 匹配串和被匹配串都分别由 3行组成, 第 1 行有 4个样值, 第 2行有 16个样值, 第 3行有 9个样值, 第 1行与第 2行的右端 对齐, 第 2行与第 3行的左端对齐, 匹配串和被匹配串的水平宽度 (含左、 右端 点样值) 为 16个样值, 等同于当前编码 CU m+2的宽度。 匹配相对位置 D就是 被匹配串的第一个样值的线性地址或平面坐标减去匹配串的第一个样值的线性地 址或平面坐标。 而其匹配长度 L = 29。
从以上 4种基本匹配模式还可以衍生出其他各种匹配模式,如宽度为 2、3、. . .、 W个样值的匹配模式、 路径走向交替变换 (奇数列自上而下移动, 偶数列自下而 上移动) 的匹配模式, 等等。 宽度 W是固定的, 并不是仅指 W在一个视频序列 或一幅图像中是一个常数, 而是指下列情形: 不同于长度 L是一个独立的编解码 变量参数, 宽度 W不是一个独立的编解码变量参数,而是一个由其他编解码变量 参数确定 (固定) 的数, 随着其他编解码变量参数的确定而固定下来, 取一个固 定值。 例如:
例 1. 宽度 w = : 1。
例 2. 宽度 w = :2。 例 3. 宽度 w = X, 这里 X是当前 CU的水平 (或垂直) 方向的总样值数。 例 4. 宽度 w = --X/2, 这里 X是当前 CU的水平 (或垂直) 方向的总样值数。 例 5. 宽度 w = --X/4, 这里 X是当前 CU的水平 (或垂直) 方向的总样值数。 例 6. 宽度 w = :f(x), 这里 X是当前 CU的水平 (或垂直) 方向的总样值数, 而 f是一个预先规定的以 X为自变量的函数。 例 7. 宽度 w=
Figure imgf000015_0001
^, 这里 x是当前 cu的水平(或垂 直)方向的总样值数, V是匹配当前串的第一个像素样值与当前 CU的 左边界 (或右边界或上边界或下边界) 之间的水平 (或垂直) 距离。 例 8. 宽度 W = f(X, V), 这里 X是当前 CU的水平 (或垂直) 方向的总样值 数, V是匹配当前串的第一个像素样值与当前 CU的左边界(或右边界 或上边界或下边界)之间的水平(或垂直)距离, 而 f是一个预先规定 的以 X和 V为自变量的函数。 例 9. 宽度 W=ft
2,, S当v X +H 1≤L TL^≤2vXS, 这里 X是当前 CU的水平 (或垂
时'
直) 方向的总样值数, L是匹配长度, 其取值范围是闭区间 [1, 2X]。
1, 当 1≤L≤X 时
例 10. 宽度 W= 2, 1 x+1. 2X ^这里 χ是当前 cu的水平 (或
k, 当(k _ 1)Χ + Ϊ< L≤ kX时
垂直)方向的总样值数, L是名义上的经熵编码后写入压缩码流的匹配 长度, 而真正的实际上的匹配长度是从 L (取值范围是闭区间 [1, kX]) 和 X 通过计算得到的 LL (取值范围是闭区间 [1, X]): LL =
L, 当 1≤L≤X 时
L-X, 当 X + 1≤L≤2X 时
B†°
L-(k-l)X, 当(k- l)X + l≤L≤kX时 例 11. 宽度 W=f(X, L), 这里 X是当前 CU的水平 (或垂直) 方向的总样值 数, L是匹配当前串的名义上的经熵编码后写入压缩码流的匹配长度, 而真正的实际上的匹配长度 LL是 LL = g(X,L) 。 所述 f和 g是两个预 先规定的以 X和 L为自变量的函数。
1, 当 1≤L≤V 时
例 12. 宽度 W = 2, ί y+1l 2V '这里 v是匹配当前串的第
k, 当(k _ l)V + i < L≤ kV时
一个像素样值与当前 CU的左边界(或右边界或上边界或下边界)之间 的水平(或垂直)距离, L是名义上的经熵编码后写入压缩码流的匹配 长度,而真正的实际上的匹配长度是从 L和 V通过计算得到的 LL: LL
L, 当 1≤L≤V 时
L_V, V + 1≤L≤ 2V ^,其中, L的取值范围是闭
L-(k-l)V, i(k-l)V+<L≤kVB† 区间 [1, kV] , LL的取值范围是闭区间 [1, V]。 例 13. 宽度 W=f(V, L), 这里 V是匹配当前串的第一个像素样值与当前 CU 的左边界 (或右边界或上边界或下边界) 之间的水平 (或垂直) 距离, L是匹配当前串的名义上的经熵编码后写入压缩码流的匹配长度,而真 正的实际上的匹配长度 LL是 LL = g(V, L) 。 所述 f和 g是两个预先规 定的以 V和 L为自变量的函数。
例 14. 宽度 W = f(A, B), 这里 A和 B是两个独立的编解码变量参数, 而 f是 一个预先规定的以 A和 B为自变量的函数。 在以上各例中, 匹配长度的单位通常是 1个样值, 也可以是 W个样值。
本发明的解码方法和装置中, 固定宽度可变长度串匹配解码方式的最基本的 特有技术特征就是在对当前解码 CU的压缩码流数据进行解码时, 首先从码流数 据中解析出该序列或该图像或该 CU采用的匹配模式 (如以上所述匹配模式之 一), 然后从码流数据中依次读出一个一个匹配串的表征参数即匹配相对位置 D 和匹配长度 L。 在得到了一个匹配串的匹配位置和匹配长度对 (D, L) 之后, 解 码工作就是根据匹配模式, 从当前解码的被匹配串 (也称为匹配当前串) 的第一 个样值的位置和匹配相对位置计算出参考样值集之中的匹配串 (也称为匹配参考 串) 的第一个样值的位置。 然后, 再根据匹配模式, 就可以从参考样值集之中复 制长度为匹配长度 L的整个匹配串的所有样值, 并将整个匹配串移动和粘贴到当 前解码中的被匹配串的位置, 复原出整个被匹配串。 对于未匹配样值 (也称为不 可匹配样值) 所在的位置, 则从已解码 (已完成部分解码或完全解码) 的邻近样 值或边界缺省样值 (当未匹配样值没有任何已解码的邻近样值的时候, 如未匹配 样值是一幅图像的最左上角的像素) 计算出仿匹配样值补全未匹配样值的位置, 或者从压缩码流中读出未匹配样值 (见后续的实施和变体例 6) 或其变体后计算 出未匹配样值。 这样依次复制、 移动、 粘贴一个一个匹配串, 或者一个一个读出 和 /或计算出未匹配样值 (包括用仿匹配样值补全未匹配样值的位置), 最终复原 出整个当前解码 CU的所有样值。 也就是说, 解码一个 CU时, 所有的匹配当前 串和不可匹配样值合起来覆盖整个 CU。 当一个 CU 内的匹配当前串有不同的固 定宽度时, 一个当前匹配串也可能覆盖另一个当前匹配串的一部分。 这时, 按照 解码顺序, 后解码的当前匹配串的样值取代其覆盖部分的先解码的当前匹配串的 样值。 在从参考样值集之中复制匹配串时, 根据匹配参考串位置来决定是从第一 重构参考像素样值集还是从第二重构参考像素样值集还是从第三重构参考像素样 值集之中复制。 一个匹配参考串本身可以跨越第一、 第二和第三重构参考像素样 值集这三个集的两个或三个, 其属于哪个集由它的起始像素样值的位置来决定。 第一、 第二、 第三重构参考像素样值集这三个参考像素样值集, 除了位置上和 / 或重构阶段上的差别之外, 可能还各自分别经过不同的处理 (如颜色量化、 数值 量化、 向量量化、 去噪音、 滤波、 特征抽取等) 或变换 (如色彩格式转换、 排列 方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等) 或这些处理与变换的组合。 这三个参考像素样值集, 虽然他们的位置标号互不相 交, 但他们各自对应的当前图像的三个区域仍然可能有互相重叠的部分。 这三个 重构参考像素样值集的一个或两个可以为空, 但不能三个都为空。 这三个重构参 考像素样值集的输入是重构样值而输出是参考样值, 参考样值可以等同于重构样 值, 也可以是重构样值的各种变体, 如经过颜色量化、 数值量化、 向量量化、 去 噪音、 滤波、 特征抽取等处理的样值或经过色彩格式转换、 排列方式转换、 频率 域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的样值或经 过多重处理与变换的像素值变体, 当参考样值不等同于重构样值时, 参考样值可 以一次性产生后暂存供以后需要时多次使用, 也可以每次需要时即时产生, 也可 以是这两种产生方法的组合。
在对图 5中的 CU m进行解码和重构时, 首先从参考样值集之中复制长度为 25的第一个样值匹配串, 并将其移动和粘贴到当前解码 CU中。 然后从邻近样值 计算出 5个仿匹配样值。然后从参考样值集之中复制长度为 33的第二个样值匹配 串, 并将其移动和粘贴到当前解码 CU中。 然后从邻近样值计算出 4个仿匹配样 值。然后从参考样值集之中复制长度为 21的第三个样值匹配串,并将其移动和粘 贴到当前解码 CU中。 重复这一过程, 一直到最终复原出 CU m的所有样值。
使用同样方法, 可以对图 5中的 CU m+ 1和 CU m+2进行解码和重构。 一幅图像中, 可以所有 CU都使用同一种匹配模式。 这样解码器就仅需要从 一幅图像的头信息中解析出该图像采用哪一种匹配模式, 而不需要每个 CU都解 析出该 CU采用哪一种匹配模式。 编码器也仅需要在一幅图像的头信息中写入匹 配模式。 一个视频序列中, 可以所有图像和所有 CU都使用同一种匹配模式。 这 样解码器就仅需要从一个序列的头信息中解析出该序列采用哪一种匹配模式, 而 不需要每个图像、 每个 CU都解析出该图像、 该 CU采用哪一种匹配模式。 编码 器也仅需要在一个序列的头信息中写入匹配模式。 有些 CU也可以再划分成若干 个子区域, 各个子区域采用不同的匹配模式。
以上通过若干特定的具体实例说明本发明的技术特征。 本领域技术人员可由 本说明书所揭示的内容轻易地了解本发明的其他优点与功效。 本发明还可以通过 另外不同的具体实施方式加以实施或应用, 本说明书中的各项细节也可以基于不 同观点与应用, 在不背离本发明的精神下进行各种修饰或改变。 本发明专利申请中使用的术语也可以用其他来自物理学或数学的名词来称 呼, 如匹配相对位置也可以被称为以下别名之一:
匹配位置, 位置,
距离,
相对距离, 位移量,
位移矢量, 移动量,
移动矢量,
偏移量,
偏移矢量, 补偿量, 补偿,
线性地址, 地址,
2维坐标,
1维坐标, 坐标, 索引,
指数,
等等。 匹配长度也可以被称为以下别名之一:
匹配行程,
匹配个数, 匹配计数, 匹配游程, 长度, 行程,
个数,
计数, 游程,
等等。 串匹配也可以被称为串复制等等。
本发明的编码方法的主要特征是对一个编码块的像素样值, 在重构参考像素 样值集内搜索得到一个匹配参考样值子集, 与所述编码块内的一个匹配当前样值 子集相匹配, 所述匹配参考样值子集内的样值被称为匹配样值; 把在匹配编码过 程中产生的与匹配解码有关的参数放入压缩码流。 所述参数包括但不限于关于所 述匹配参考样值子集的位置和大小的参数。 所述匹配参考样值子集与所述匹配当 前样值子集之间的匹配关系的参数可以用匹配相对位置和匹配长度这两个匹配参 数来表示, 所述匹配相对位置和所述匹配长度是对所述匹配当前样值子集进行编 码的编码结果。 如果所述编码块内存在未在重构参考像素样值集内找到匹配的未 匹配样值(也被称为不可匹配样值),则用下列方法之一补全未匹配样值位置上缺 少的编码结果:
从已经完成若干阶段的编码和重构的邻近样值计算出仿匹配样值作为编码结果 或者
从边界缺省样值计算出仿匹配样值作为编码结果 或者
直接用未匹配样值本身作为编码结果 或者
从所述仿匹配样值和所述未匹配样值本身计算出未匹配样值的变体作为编码结 果。
本发明的编码方法的流程示意图如图 6所示。 本发明的编码方法包括如下步 骤的全部或部分:
1) 对一个 CU的原始像素或其变体进行固定宽度可变长度串匹配编码, 产 生出 (1 ) 匹配相对位置及匹配长度和 (2) 匹配样值; 也就是在位置标 号互不相交的第一重构参考像素样值暂存区 (即第一重构参考像素样值 集)、 第二重构参考像素样值暂存区(即第二重构参考像素样值集)和第 三重构参考像素样值暂存区 (即第三重构参考像素样值集) 中, 按照预 先规定的匹配模式和某种评估准则, 搜索得到一个或多个最优的固定宽 度可变长度的像素样值匹配串 (称为匹配参考串); 一个匹配参考串本身 可以跨越第一、 第二和第三重构参考像素样值暂存区这三个暂存区中的 两个或三个, 其属于哪个暂存区由它的起始像素样值的位置来决定; 固 定宽度可变长度串匹配编码的结果是所述一个或多个匹配相对位置及匹 配长度和匹配样值以及可能的未匹配样值 (未找到匹配的当前编码 CU 的原始像素或其变体的样值, 也称为不可匹配样值); 所述三个重构参考 像素样值集的输入是重构样值而输出是参考样值, 参考样值可以等同于 重构样值, 也可以是重构样值的各种变体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等处理的样值或经过色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运 算、 索引化等变换的样值或经过多重处理与变换的像素值变体, 当参考 样值不等同于重构样值时, 参考样值可以一次性产生后暂存供以后需要 时多次使用, 也可以每次需要时即时产生, 也可以是这两种产生方法的 组合;
2) 如果有未匹配样值, 则从已经完成编码并且完成部分或完全重构的邻近 样值或边界缺省样值计算出仿匹配样值, 也可能可选地计算出未匹配像 素的变体; 输出匹配相对位置及匹配长度、 仿匹配样值和 /或未匹配样值 和 /或其变体;
3) 可选地用仿匹配样值补全未匹配样值的位置; 把所述匹配样值和所述未 匹配样值和 /或所述仿匹配样值作为第一重构参考像素样值放入所述第 一重构参考像素样值暂存区; 输出匹配相对位置及匹配长度和可选的未 匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数; 这些表 征参数经过后续的熵编码 (也包括分别可选的基于 1维或 2维邻近参数 的一阶或高阶差分编码、 预测编码、 匹配编码、 映射编码、 变换编码、 量化编码、 索引编码、 游程编码以及二值化编码等)后被写入压缩码流。 集成了以上本发明的编码方法的一个实施例如图 7所示。 这个实施例包括如 下步骤的全部或部分:
1) 读入一个 CU的原始像素或其变体; ) 对所述 CU进行帧内预测编码和帧间预测编码, 统称为预测编码, 产生 出 (1 ) 预测残差和 (2) 预测模式和运动矢量;
) 对所述 CU进行固定宽度可变长度串匹配编码, 产生出 (1 ) 匹配相对位 置及匹配长度和(2) 匹配样值; 也就是在位置标号互不相交的第一重构 参考像素样值暂存区(即第一重构参考像素样值集)、第二重构参考像素 样值暂存区 (即第二重构参考像素样值集) 和第三重构参考像素样值暂 存区 (即第三重构参考像素样值集) 中, 按照预先规定的匹配模式和某 种评估准则, 搜索得到一个或多个最优的固定宽度可变长度的像素样值 匹配串 (称为匹配参考串); 一个匹配参考串本身可以跨越第一、 第二和 第三重构参考像素样值暂存区这三个暂存区中的两个或三个, 其属于哪 个暂存区由它的起始像素样值的位置来决定; 固定宽度可变长度串匹配 编码的结果是所述一个或多个匹配相对位置及匹配长度和匹配样值以及 可能的未匹配样值 (未找到匹配的当前编码 CU的原始像素或其变体的 样值, 也称为不可匹配样值); 所述三个重构参考像素样值集的输入是重 构样值而输出是参考样值, 参考样值可以等同于重构样值, 也可以是重 构样值的各种变体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等处理的样值或经过色彩格式转换、 排列方式转换、 频 率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换 的样值或经过多重处理与变换的像素值变体, 当参考样值不等同于重构 样值时, 参考样值可以一次性产生后暂存供以后需要时多次使用, 也可 以每次需要时即时产生, 也可以是这两种产生方法的组合;
) 如果有未匹配样值, 则从已经完成编码并且完成部分或完全重构的邻近 样值或边界缺省样值计算出仿匹配样值, 也可能可选地计算出未匹配样 值的变体; 输出匹配相对位置及匹配长度、 仿匹配样值和 /或未匹配样值 和 /或其变体;
) 可选地用所述仿匹配样值补全所述未匹配样值的位置。 把所述匹配样值 和所述未匹配样值和 /或所述仿匹配样值作为第一重构参考像素样值放 入所述第一重构参考像素样值暂存区; 输出匹配相对位置及匹配长度和 可选的未匹配样值或其变体;
) 计算匹配残差。 从输入原始像素样值和所述第一重构像素的样值计算出 匹配残差;
) 对步骤 2) 和 6) 产生的预测残差和匹配残差进行变换编码和量化编码。
变换编码和量化编码都是分别可选的, 也就是如果变换编码达不到更好 的数据压缩效果, 就不进行变换编码, 而如果要进行无损编码, 则不但 不进行变换编码, 也不进行量化编码;
) 对步骤 2)、 7) 的预测-变换-量化编码方式 (即基于预测的编码方式, 简 称为预测方式) 的结果进行所述预测方式的逆运算, 对步骤 3 )至 7) 的 匹配-变换-量化编码方式(即基于匹配的编码方式, 简称为匹配方式)的 结果进行所述匹配方式的逆运算,这些逆运算统称为重构,得到所述 CU 的对应于多种预测模式和多种匹配模式的多种第二重构像素, 用于后续 步骤 11 ) 的率-失真成本计算, 并在后续步骤 11 )确定了对当前编码 CU 的最优编码方式之后, 把所述最优编码方式的第二重构像素放入第二重 构参考像素样值暂存区;
) 对所述最优编码方式的所述第二重构像素进行去块效应滤波和像素补偿 运算, 产生第三重构像素, 然后把所述第三重构像素放入第三重构参考 像素样值暂存区, 用作后续预测编码和固定宽度可变长度串匹配编码的 参考像素;
0)对序列、 图像、 CU的头信息、 步骤 2) 的编码结果之二预测模式和运动 矢量、 步骤 5 ) 的匹配编码输出即所述匹配相对位置及匹配长度和可选 的未匹配样值或其变体、 以及步骤 7) 产生的匹配残差和预测残差 (可 能经过了变换-量化运算或量化运算)进行熵编码并产生压缩码流的比特 率。 熵编码也包括对匹配模式、 匹配相对位置、 匹配长度、 未匹配样值 或其变体、 匹配残差等熵编码对象的样值先进行分别可选的基于 1维或 2维邻近样值的一阶或高阶差分编码、 预测编码、 匹配编码、 映射编码、 变换编码、 量化编码、 索引编码、 游程编码以及二值化编码, 以去除样 值之间的相关性, 提高熵编码的效率;
1)从原始像素、 多种第二重构像素及其压缩码流的比特率或者比特率估计 值, 计算得到率 -失真成本, 根据率-失真性能选择此 CU的最优编码方式
(基于匹配的编码方式还是基于预测的编码方式)、最优匹配模式或最优 预测模式并输出此 CU的压缩码流数据; 压缩码流中至少含有匹配相对 位置、 匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹 配方式的表征参数;
2)判断是否已完成所有 CU的编码, 如果是, 则结束编码, 否则回到步骤 1), 开始对下一个 CU的编码。 本发明的解码方法的主要特征是解析压缩码流, 通过熵解码和分别可选的基 于 1维或 2维邻近样值的一阶或高阶差分解码、预测解码、 匹配解码、 映射解码、 逆变换解码、 反量化解码、 索引解码、 游程解码以及二值化解码获取与匹配解码 有关的参数。 根据所述参数, 对一个解码块, 从重构参考像素样值集内的一个位 置复制一个匹配参考样值子集, 并将所述匹配参考样值子集的全部样值 (被称为 匹配样值) 移动和粘贴到所述解码块的当前解码位置, 得到一个匹配当前样值子 集。 所述参数包括但不限于关于所述匹配参考样值子集的位置和大小的参数。 使 用匹配相对位置及匹配长度这两个表示匹配关系的匹配参数以及所述当前解码位 置来确定所述匹配参考样值子集的位置和大小。 如果在所述解码块的当前解码位 置上没有来自重构参考像素样值集的匹配参考样值子集, 则用下列方法之一补全 所述当前解码位置上缺少的当前样值:
从已经完成若干阶段的解码和重构的邻近样值计算出仿匹配样值作为当前样值 或者
从边界缺省样值计算出仿匹配样值作为当前样值 或者 直接用输入的未匹配样值本身作为当前样值
或者
从所述仿匹配样值和输入的未匹配样值的变体计算出未匹配样值作为当前样值。
本发明的解码方法的流程示意图如图 8所示。 本发明的解码方法包括如下步 骤的全部或部分:
1) 解析压缩码流, 获取与匹配解码有关的输入参数, 使用获取的输入匹配 参数匹配相对位置及匹配长度进行固定宽度可变长度串匹配解码; 也就 是从位置标号互不相交的第一重构参考像素样值暂存区 (即第一重构参 考像素样值集) 或第二重构参考像素样值暂存区 (即第二重构参考像素 样值集)或第三重构参考像素样值暂存区(即第三重构参考像素样值集) 中, 按照已知的匹配模式和固定宽度, 复制长度为匹配长度的整个匹配 串 (称为匹配参考串) 的所有样值, 并将整个匹配串移动和粘贴到当前 解码 CU中的被匹配串 (也称为匹配当前串) 的位置, 复原出整个被匹 配串; 一个匹配参考串本身可以跨越第一、 第二和第三重构参考像素样 值暂存区这三个暂存区中的两个或三个, 其属于哪个暂存区由它的起始 像素样值的位置来决定; 第一、 第二、 第三重构参考像素样值集这三个 参考像素样值集, 除了位置上和 /或重构阶段上的差别之外, 可能还各自 分别经过不同的处理 (如颜色量化、 数值量化、 向量量化、 去噪音、 滤 波、 特征抽取等) 或变换 (如色彩格式转换、 排列方式转换、 频率域转 换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等) 或这些处 理与变换的组合。 这三个重构参考像素样值集, 虽然他们的位置标号互 不相交, 但他们各自对应的当前图像的三个区域仍然可能有互相重叠的 部分; 这三个重构参考像素样值集的一个或两个可以为空, 但不能三个 都为空; 这三个重构参考像素样值集的输入是重构样值而输出是参考样 值, 参考样值可以等同于重构样值, 也可以是重构样值的各种变体, 如 经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等处理 的样值或经过色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的样值或经过多重处理与 变换的像素值变体, 当参考样值不等同于重构样值时, 参考样值可以一 次性产生后暂存供以后需要时多次使用, 也可以每次需要时即时产生, 也可以是这两种产生方法的组合;
2) 如果输入的匹配相对位置及匹配长度的特定值或者附加的标记位表明在 当前解码中的被匹配串 (样值) 的位置上没有来自第一重构参考像素样 值暂存区或第二重构参考像素样值暂存区或第三重构参考像素样值暂存 区的匹配样值, 即在当前解码位置缺少匹配样值, 则从已完成部分解码 或完全解码的邻近样值或边界缺省样值计算出仿匹配样值; 也可能可选 地读取输入的未匹配样值或其变体, 或可选地计算出未匹配样值;
3) 可选地用仿匹配样值补全未匹配样值位置上缺少的匹配样值; 把步骤 1 ) 复制的匹配样值和步骤 2) 计算的仿匹配样值和 /或步骤 2) 从输入读取 的未匹配样值和 /或步骤 2) 从输入读取后再计算的未匹配样值合起来得 到匹配解码的完整的第一重构像素的样值, 并把所述第一重构像素的样 值放入所述第一重构参考像素样值暂存区;
使用以上 3个步骤依次复制、 移动、 粘贴一个一个匹配串, 或者一个一个读 出和 /或计算出未匹配样值 (包括用仿匹配样值补全未匹配样值的位置), 最终复 原出整个当前解码 CU的所有样值; 也就是说, 解码一个 CU时, 所有的匹配当 前串和不可匹配样值合起来覆盖整个 CU; 当一个 CU 内的匹配当前串有不同的 固定宽度时, 一个当前匹配串也可能覆盖另一个当前匹配串的一部分; 这时, 按 照解码顺序, 后解码的当前匹配串的样值取代其覆盖部分的先解码的当前匹配串 的样值。
集成了以上本发明的解码方法的一个实施例如图 9所示。 这个实施例包括如 下步骤的全部或部分:
1) 进行一个 CU的熵解码, 解析得到所述 CU的头信息和数据信息。 头信 息包括后续对所述 CU进行解码时采用预测等非固定宽度可变长度串匹 配 (简称预测等非串匹配) 解码步骤还是固定宽度可变长度串匹配 (简 称串匹配) 解码步骤。 熵解码也可能包括对匹配模式、 匹配相对位置、 匹配长度、 附加的标记位、 未匹配样值或其变体、 串匹配残差等熵解码 对象的分别可选的基于 1维或 2维邻近样值的一阶或高阶差分解码、 预 测解码、 匹配解码、 映射解码、 逆变换解码、 反量化解码、 索引解码、 游程解码以及二值化解码;
2) 对可能经过了变换-量化运算或量化运算的预测等非串匹配残差或串匹 配残差进行所述运算的逆运算, 即反量化-逆变换解码运算或反量化解码 运算或恒等运算, 产生出预测等非串匹配残差或串匹配残差; 本步骤是 可选的, 如果码流中既没有预测等非串匹配残差也没有串匹配残差, 就 不进行本步骤的运算;
3) 如果步骤 1 ) 解析出对所述 CU进行解码时采用预测等非串匹配解码步 骤, 则进行帧内预测解码或帧间预测等非串匹配解码, 统称为预测等非 串匹配解码, 产生出预测等非串匹配解码的初步重构像素, 并把所述初 步重构像素的样值放入第二重构参考像素样值暂存区,然后跳至步骤 8), 否则, 顺序执行下一步骤;
4) 使用步骤 1 ) 得到的一对或多对匹配相对位置 D及匹配长度 L进行一个 CU的固定宽度可变长度串匹配解码。也就是从位置标号互不相交的第一 重构参考像素样值暂存区 (即第一重构参考像素样值集) 或第二重构参 考像素样值暂存区 (即第二重构参考像素样值集) 或第三重构参考像素 样值暂存区 (即第三重构参考像素样值集) 中, 按照已知的匹配模式和 固定宽度, 复制长度为 L的整个匹配串 (称为匹配参考串)的所有样值, 并将整个匹配串移动和粘贴到所述 CU中的被匹配串 (也称为匹配当前 串) 的位置, 复原出整个被匹配串, 如此逐个复原所述 CU的所有被匹 配串; 一个匹配参考串本身可以跨越第一、 第二和第三重构参考像素样 值暂存区这三个暂存区中的两个或三个, 其属于哪个暂存区由它的起始 像素样值的位置来决定; 第一、 第二、 第三重构参考像素样值集这三个 参考像素样值集, 除了位置上和 /或重构阶段上的差别之外, 可能还各自 分别经过不同的处理 (如颜色量化、 数值量化、 向量量化、 去噪音、 滤 波、 特征抽取等) 或变换 (如色彩格式转换、 排列方式转换、 频率域转 换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等) 或这些处 理与变换的组合。 这三个重构参考像素样值集, 虽然他们的位置标号互 不相交, 但他们各自对应的当前图像的三个区域仍然可能有互相重叠的 部分; 这三个重构参考像素样值集的一个或两个可以为空, 但不能三个 都为空; 这三个重构参考像素样值集的输入是重构样值而输出是参考样 值, 参考样值可以等同于重构样值, 也可以是重构样值的各种变体, 如 经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等处理 的样值或经过色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的样值或经过多重处理与 变换的像素值变体, 当参考样值不等同于重构样值时, 参考样值可以一 次性产生后暂存供以后需要时多次使用, 也可以每次需要时即时产生, 也可以是这两种产生方法的组合;
) 如果步骤 1 ) 得到的匹配相对位置及匹配长度的特定值或者附加的标记 位表明在当前解码中的被匹配串 (样值) 的位置上没有来自第一重构参 考像素样值暂存区或第二重构参考像素样值暂存区或第三重构参考像素 样值暂存区的匹配样值, 即在当前解码位置缺少匹配样值, 则从已完成 部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹配样值; 也 可能可选地读取输入的未匹配样值或其变体, 或可选地计算出未匹配样 值;
) 如果在当前解码位置缺少匹配样值, 则可选地用步骤 5 ) 计算的仿匹配 样值补全缺少的匹配样值; 把步骤 4)复制的匹配样值和步骤 5 )计算的 仿匹配样值和 /或未匹配样值合起来得到匹配解码的完整的第一重构像 素 (即第一重构参考像素) 的样值, 并把所述第一重构像素的样值放入 所述第一重构参考像素样值暂存区;
) 串匹配补偿, 即用步骤 2)产生的所述串匹配残差对步骤 6)产生的所述 第一重构像素的样值进行补偿, 产生出串匹配解码的第二重构像素的样 值, 并把所述第二重构像素的样值放入所述第二重构参考像素样值暂存 区;
) 对步骤 3 )预测解码的初步重构像素或步骤 7) 串匹配解码的第二重构像 素进行去块效应滤波和像素补偿运算等后处理, 然后把经过这些运算后 产生的第三重构像素的样值放入所述第三重构参考像素样值暂存区, 用 作后续预测等非串匹配解码和固定宽度可变长度串匹配解码的参考像 素;
9) 输出所述 CU的第三重构像素的样值;
10)判断是否已经完成对所有 CU的压缩码流数据的解码, 如果是, 则结束 解码, 否则回到步骤 1 ), 开始对下一个 CU的解码。
本发明的编码装置示意图如图 10所示。整个编码装置由以下模块的全部或部 分组成:
1) 固定宽度可变长度的串匹配搜索编码模块: 对输入视频像素样值施行固 定宽度可变长度的串匹配编码, 在位置标号互不重叠的第一重构参考像 素样值暂存模块(暂存第一重构参考像素样值集的样值)、第二重构参考 像素样值暂存模块 (暂存第二重构参考像素样值集的样值) 和第三重构 参考像素样值暂存模块 (暂存第三重构参考像素样值集的样值) 中, 搜 索固定宽度可变长度的最优匹配串 (称为匹配参考串), 并输出 (1 ) 最 优匹配串的匹配样值、(2)最优匹配串的匹配相对位置 D及匹配长度 L, (3 )可能的未匹配样值, 即未找到匹配的当前编码中的原始像素或其变 体的样值, 也称为不可匹配样值; 一个匹配参考串本身可能跨越第一、 第二和第三重构参考像素样值集的两个或三个, 其属于哪个集由它的起 始像素样值的位置来决定; 所述三个重构参考像素样值集的输入是重构 样值而输出是参考样值, 参考样值可以等同于重构样值, 也可以是重构 样值的各种变体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤 波、 特征抽取等处理的样值或经过色彩格式转换、 排列方式转换、 频率 域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的 样值或经过多重处理与变换的像素值变体, 当参考样值不等同于重构样 值时, 参考样值可以一次性产生后暂存供以后需要时多次使用, 也可以 每次需要时即时产生, 也可以是这两种产生方法的组合;
2) 从邻近样值计算仿匹配样值模块: 如果对某些输入视频像素样值, 在第 一重构参考像素样值暂存模块、 第二重构参考像素样值暂存模块和第三 重构参考像素样值暂存模块中, 都没有找到任何最优匹配样值, 即这些 输入视频像素样值是未匹配样值, 则从已经完成编码并且完成部分或完 全重构的邻近样值或边界缺省样值计算出仿匹配样值; 也可能可选地计 算出未匹配像素的变体; 输出匹配相对位置及匹配长度、 仿匹配样值和 / 或未匹配样值和 /或其变体; 3) 用仿匹配样值补全未匹配样值模块: 用计算出来的所述仿匹配样值补全 没有找到任何最优匹配样值的所述未匹配样值的位置; 模块 1 ) 搜索找 到的所述匹配样值与所述未匹配样值和 /或模块 2) 计算得到的所述仿匹 配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重 构像素样值; 本模块可以被旁路, 这时, 模块 1 ) 搜索找到的所述匹配 样值与所述未匹配样值合在一起就是放入所述第一重构参考像素样值暂 存模块的第一重构像素样值; 本模块输出匹配相对位置及匹配长度和可 选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数; 这些表征参数经过后续的熵编码 (也包括但不限于分别可选的基于 1维 或 2维邻近参数的一阶或高阶差分编码、 预测编码、 匹配编码、 映射编 码、 变换编码、 量化编码、 索引编码、 游程编码以及二值化编码等) 后 被写入压缩码流; 本模块也可能可选地输出所述匹配样值与所述仿匹配 样值和 /或所述未匹配样值;
4) 第一重构参考像素样值暂存模块: 用来暂存由找到的所述匹配样值与所 述未匹配样值和 /或计算的所述仿匹配样值合在一起形成的第一重构像 素的样值, 用作后续串匹配搜索编码时的第一参考像素样值。 集成了以上本发明的编码装置的一个实施例如图 11所示。这个实施例由以下 模块的全部或部分组成:
1) 预测编码模块:对输入视频像素样值施行帧内预测编码和帧间预测编码, 并输出 (1 ) 预测残差和 (2) 预测模式和运动矢量;
2) 固定宽度可变长度的串匹配搜索编码模块: 对所述输入视频像素样值施 行固定宽度可变长度的串匹配编码, 在位置标号互不重叠的第一重构参 考像素样值暂存模块(暂存第一重构参考像素样值集的样值)、第二重构 参考像素样值暂存模块 (暂存第二重构参考像素样值集的样值) 和第三 重构参考像素样值暂存模块(暂存第三重构参考像素样值集的样值)中, 搜索固定宽度可变长度的最优匹配串, 并输出 (1 )最优匹配串的匹配样 值、 (2) 最优匹配串的匹配相对匹配位置 D及匹配长度 L, (3 ) 可能的 未匹配样值, 即未找到匹配的当前编码中的原始像素或其变体的样值, 也称为不可匹配样值; 一个匹配参考串本身可能跨越第一、 第二和第三 重构参考像素样值集的两个或三个, 其属于哪个集由它的起始像素样值 的位置来决定; 所述三个重构参考像素样值集的输入是重构样值而输出 是参考样值, 参考样值可以等同于重构样值, 也可以是重构样值的各种 变体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽 取等处理的样值或经过色彩格式转换、 排列方式转换、 频率域转换、 空 间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的样值或经过 多重处理与变换的像素值变体, 当参考样值不等同于重构样值时, 参考 样值可以一次性产生后暂存供以后需要时多次使用, 也可以每次需要时 即时产生, 也可以是这两种产生方法的组合;
) 从邻近样值计算仿匹配样值模块: 如果对某些输入视频像素样值, 在第 一重构参考像素样值暂存模块、 第二重构参考像素样值暂存模块和第三 重构参考像素样值暂存模块中, 都没有找到任何最优匹配样值, 即这些 输入视频像素样值是未匹配样值, 则从已经完成编码并且完成部分或完 全重构的邻近样值或边界缺省样值计算出仿匹配样值; 也可能可选地计 算出未匹配像素的变体; 输出匹配相对位置及匹配长度、 仿匹配样值和 / 或未匹配样值和 /或其变体;
) 用仿匹配样值补全未匹配样值模块: 用计算出来的所述仿匹配样值补全 没有找到任何最优匹配样值的所述未匹配样值的位置; 模块 2) 搜索找 到的所述匹配样值与所述未匹配样值和 /或模块 3 ) 计算得到的所述仿匹 配样值合在一起就是放入所述第一重构参考像素样值暂存模块的第一重 构像素样值; 本模块可以被旁路, 这时, 模块 2) 搜索找到的所述匹配 样值与所述未匹配样值合在一起就是放入所述第一重构参考像素样值暂 存模块的第一重构像素样值; 本模块输出匹配相对位置及匹配长度和可 选的未匹配样值或其变体等固定宽度可变长度串匹配方式的表征参数; 这些表征参数经过后续的熵编码 (也包括分别可选的基于 1维或 2维邻 近参数的一阶或高阶差分编码、 预测编码、 匹配编码、 映射编码、 变换 编码、 量化编码、 索引编码、 游程编码以及二值化编码等) 后被写入压 缩码流, 本模块也可能可选地输出所述匹配样值与所述未匹配样值和 /或 所述仿匹配样值;
) 第一重构参考像素样值暂存模块: 用来暂存由找到的所述匹配样值与所 述未匹配样值和 /或计算的所述仿匹配样值合在一起形成的第一重构像 素的样值, 用作后续串匹配搜索编码时的第一参考像素样值;
) 匹配残差计算模块: 从所述输入视频像素样值和所述第一重构像素的样 值计算出匹配残差;
) 变换模块: 对所述匹配残差和所述预测残差施行变换运算, 输出变换系 数。对某些类型的屏幕图像像素, 变换运算并不能起到压缩数据的效果, 在这种情形, 就不施行变换运算, 也就是变换模块被旁路, 直接输出所 述匹配残差或所述预测残差;
) 量化模块: 对所述变换系数 (在变换模块未旁路的情形) 或所述匹配残 差或所述预测残差 (在变换模块被旁路的情形) 施行量化运算, 输出预 测编码的量化变换系数或量化预测残差, 并输出匹配编码的量化变换系 数或量化匹配残差。 变换模块和量化模块也可以都被旁路, 直接输出所 述预测残差和所述匹配残差;
) 熵编码模块: 对模块 2) 至模块 4) 及模块 6) 至模块 8) 施行的匹配编 码方式的结果如所述匹配相对位置、 所述匹配长度、 所述可选的未匹配 样值或其变体、 所述量化变换系数或所述量化匹配残差等施行熵编码; 对模块 1 )、 模块 7)、 模块 8) 施行的预测编码方式的结果如所述预测模 式、 所述运动矢量、 所述量化变换系数或所述量化预测残差等施行熵编 码, 包括对所述熵编码对象的样值先施行分别可选的基于 1维或 2维邻 近样值的一阶或高阶差分编码、 预测编码、 匹配编码、 映射编码、 变换 编码、 量化编码、 索引编码、 游程编码以及二值化编码;
0)重构模块: 施行预测编码模块、 变换模块、 量化模块这三个模块的预测 编码方式的逆运算; 施行固定宽度可变长度的串匹配搜索编码模块、 从 邻近样值计算仿匹配样值模块、 用仿匹配样值补全未匹配样值模块、 匹 配残差计算模块、 变换模块、 量化模块这六个模块的匹配编码方式的逆 运算; 这些逆运算产生第二重构像素的样值, 将所述第二重构像素输出 到基于率-失真性能的最优预测模式与匹配模式选择模块用于率-失真成 本的计算; 在基于率-失真性能的最优预测模式与匹配模式选择模块确定 了最优编码方式 (匹配编码方式或者预测编码方式) 之后, 把所述最优 编码方式对应的第二重构像素放入第二重构参考像素样值暂存模块;1)去块效应滤波和补偿模块: 对所述最优编码方式的第二重构像素进行去 块效应滤波和像素补偿运算, 产生第三重构像素, 然后把所述第三重构 像素放入第三重构参考像素样值暂存模块, 用作后续预测编码和固定宽 度可变长度串匹配编码的参考像素;
2)第二重构参考像素样值暂存模块: 本模块暂存第二重构像素, 提供固定 宽度可变长度的串匹配搜索编码模块所需的第二参考像素样值;3)第三重构参考像素样值暂存模块: 本模块暂存第三重构像素, 提供预测 编码和固定宽度可变长度串匹配编码的第三参考像素;
4)基于率-失真性能的最优预测模式与匹配模式选择模块:根据率-失真性能 选择最优编码方式 (匹配编码方式或者预测编码方式)、 最优匹配模式、 最优预测模式; 输出视频压缩码流; 压缩码流中至少含有匹配相对位置、 匹配长度和可选的未匹配样值 (也称为不可匹配样值) 或其变体等固定 宽度可变长度串匹配方式的表征参数。
本发明的解码装置示意图如图 12所示。整个解码装置由以下模块的全部或部 分组成:
1) 固定宽度可变长度的串匹配解码模块: 本模块的功能是对从压缩码流中 获取的输入的固定宽度可变长度匹配串的匹配相对位置及匹配长度施行 解码运算, 即按照已知的匹配模式和固定宽度, 从位置标号互不相交的 第一重构参考像素样值暂存模块(暂存第一重构参考像素样值集的样值) 或第二重构参考像素样值暂存模块 (暂存第二重构参考像素样值集的样 值) 或第三重构参考像素样值暂存模块 (暂存第三重构参考像素样值集 的样值) 中由匹配相对位置指定的地方复制得到长度为匹配长度的整个 匹配串 (即匹配参考串), 然后把所述整个匹配串移动和粘贴到当前解码 CU中的当前被匹配串 (即匹配当前串) 的位置, 在当前解码 CU中复原 出整个被匹配串; 一个匹配参考串本身可能跨越第一、 第二和第三重构 参考像素样值集的两个或三个, 其属于哪个集由它的起始像素样值的位 置来决定; 第一、 第二、 第三重构参考像素样值集这三个参考像素样值 集, 除了位置上和 /或重构阶段上的差别之外, 可能还各自分别经过不同 的处理 (如颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取 等) 或变换 (如色彩格式转换、 排列方式转换、 频率域转换、 空间域映 射、 DPCM、 一阶或高阶差分运算、 索引化等) 或这些处理与变换的组 合。 这三个重构参考像素样值集, 虽然他们的位置标号互不相交, 但他 们各自对应的当前图像的三个区域仍然可能有互相重叠的部分; 这三个 重构参考像素样值集的一个或两个可以为空, 但不能三个都为空; 这三 个重构参考像素样值集的输入是重构样值而输出是参考样值, 参考样值 可以等同于重构样值, 也可以是重构样值的各种变体, 如经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等处理的样值或经过色 彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶 或高阶差分运算、 索引化等变换的样值或经过多重处理与变换的像素值 变体, 当参考样值不等同于重构样值时, 参考样值可以一次性产生后暂 存供以后需要时多次使用, 也可以每次需要时即时产生, 也可以是这两 种产生方法的组合;
2) 从邻近样值计算仿匹配样值模块: 如果输入的匹配相对位置及匹配长度 的特定值或者附加的标记位表明在当前解码中的被匹配串 (样值) 的位 置上没有来自第一重构参考像素样值暂存模块或第二重构参考像素样值 暂存模块或第三重构参考像素样值暂存模块的匹配样值, 即在当前解码 位置缺少匹配样值, 则从已完成部分解码或完全解码的邻近样值或边界 缺省样值计算出仿匹配样值; 也可能可选地读取输入的未匹配样值或其 变体, 或可选地计算出未匹配样值;
3) 用仿匹配样值补全未匹配样值模块: 可选地用计算出来的仿匹配样值补 全在第一、 第二或第三重构参考像素样值暂存模块中不存在任何匹配样 值的当前解码位置上的像素样值; 模块 1 ) 复制和粘贴的匹配样值与模 块 2) 计算的仿匹配样值和 /或模块 2) 从输入得到的未匹配样值和 /或模 块 2) 从输入得到后再计算的未匹配样值合在一起就是匹配解码的第一 重构像素的样值, 也是本模块的输出; 本模块可以被旁路, 这时, 模块 1 ) 复制和粘贴的匹配样值与模块 2) 从输入得到的未匹配样值合在一起 就是匹配解码的第一重构像素的样值;
4) 第一重构参考像素样值暂存模块: 用来暂存所述第一重构像素的样值, 用作后续固定宽度可变长度串匹配解码的第一参考像素的样值。
集成了以上本发明的解码装置的一个实施例如图 13所示。这个实施例由以下 模块的全部或部分组成:
1) 熵解码模块: 对输入压缩码流数据施行熵解码, 得到当前解码序列、 当 前解码图像、 当前解码 CU的头信息和数据信息; 熵解码也可能包括对 预测等非固定宽度可变长度串匹配 (简称预测等非串匹配) 解码方式的 预测模式和运动矢量等各非串匹配解码参数、 固定宽度可变长度串匹配 (简称串匹配) 解码方式的匹配模式、 匹配相对位置、 匹配长度、 附加 的标记位、未匹配样值或其变体、预测等非串匹配残差和串匹配残差(可 能经过了变换-量化运算或量化运算) 等熵解码对象的分别可选的基于 1 维或 2维邻近样值的一阶或高阶差分解码、 预测解码、 匹配解码、 映射 解码、 逆变换解码、 反量化解码、 索引解码、 游程解码以及二值化解码; 熵解码还包括从输入压缩码流数据中解析出当前解码 CU采用的是预测 等非串匹配解码方式还是串匹配解码方式, 逆变换运算和反量化运算是 否被旁路等信息; 在串匹配方式下, 所述当前解码 CU的数据信息可以 含有一个或多个匹配串的信息; ) 反量化模块: 如果反量化运算未被旁路, 则施行反量化运算, 输出变换 系数, 否则, 本模块被旁路, 不施行反量化运算, 直接输出预测等非串 匹配残差或串匹配残差;
) 逆变换模块: 如果逆变换运算未被旁路, 则施行逆变换运算, 输出预测 等非串匹配残差或串匹配残差, 否则, 本模块被旁路, 不施行逆变换运 算, 这时, 反量化模块也必定被旁路, 本模块直接输出预测等非串匹配 残差或串匹配残差; ) 预测等非串匹配解码模块: 施行帧内预测解码或帧间预测等非串匹配解 码, 得到并输出预测等非串匹配解码的初步重构像素;
) 固定宽度可变长度的串匹配解码模块: 本模块的功能是对来自熵解码模 块的固定宽度可变长度匹配串的匹配相对位置及匹配长度施行解码运 算, 即按照已知的匹配模式和固定宽度, 从位置标号互不相交的第一重 构参考像素样值暂存模块 (暂存第一重构参考像素样值集的样值) 或第 二重构参考像素样值暂存模块 (暂存第二重构参考像素样值集的样值) 或第三重构参考像素样值暂存模块 (暂存第三重构参考像素样值集的样 值) 中由匹配相对位置指定的地方复制得到长度为匹配长度的整个匹配 串 (即匹配参考串), 然后把所述整个匹配串移动和粘贴到当前解码 CU 中的当前被匹配串 (即匹配当前串) 的位置, 在当前解码 CU中复原出 整个被匹配串; 一个匹配参考串本身可能跨越第一、 第二和第三重构参 考像素样值集的两个或三个, 其属于哪个集由它的起始像素样值的位置 来决定; 第一、 第二、 第三重构参考像素样值集这三个参考像素样值集, 除了位置上和 /或重构阶段上的差别之外, 可能还各自分别经过不同的处 理 (如颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等) 或变换 (如色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等) 或这些处理与变换的组合。 这三个重构参考像素样值集, 虽然他们的位置标号互不相交, 但他们各 自对应的当前图像的三个区域仍然可能有互相重叠的部分; 这三个重构 参考像素样值集的一个或两个可以为空, 但不能三个都为空; 这三个重 构参考像素样值集的输入是重构样值而输出是参考样值, 参考样值可以 等同于重构样值, 也可以是重构样值的各种变体, 如经过颜色量化、 数 值量化、 向量量化、 去噪音、 滤波、 特征抽取等处理的样值或经过色彩 格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或 高阶差分运算、 索引化等变换的样值或经过多重处理与变换的像素值变 体, 当参考样值不等同于重构样值时, 参考样值可以一次性产生后暂存 供以后需要时多次使用, 也可以每次需要时即时产生, 也可以是这两种 产生方法的组合;
) 从邻近样值计算仿匹配样值模块: 如果来自熵解码模块的匹配相对位置 及匹配长度的特定值或者附加的标记位表明在当前解码中的被匹配串
(样值) 的位置上没有来自第一重构参考像素样值暂存模块或第二重构 参考像素样值暂存模块或第三重构参考像素样值暂存模块的匹配样值,, 即在当前解码位置缺少匹配样值, 则从已完成部分解码或完全解码的邻 近样值或边界缺省样值计算出仿匹配样值; 也可能可选地读取来自码流 的未匹配样值或其变体, 或可选地计算出未匹配样值;
) 用仿匹配样值补全未匹配样值模块: 可选地用计算出来的仿匹配样值补 全在第一、 第二或第三重构参考像素样值暂存模块中不存在任何匹配样 值的当前解码位置上的像素样值; 模块 5 ) 复制和粘贴的匹配样值与模 块 6) 计算的仿匹配样值和 /或模块 6) 从输入码流得到的未匹配样值和 / 或模块 6) 从输入码流得到后再计算的未匹配样值合在一起就是匹配解 码的第一重构像素的样值; 所述匹配样值与所述仿匹配样值和 /或所述未 匹配样值也是本模块的输出; 本模块可以被旁路, 这时, 模块 5 ) 复制 和粘贴的匹配样值与模块 6) 从输入码流得到的未匹配样值合在一起就 是匹配解码的第一重构像素的样值, 所述匹配样值与所述未匹配样值也 是本模块的输出;
) 第一重构参考像素样值暂存模块: 用来暂存所述第一重构像素的样值, 用作后续固定宽度可变长度串匹配解码所需的第一参考像素的样值;) 串匹配补偿模块: 把模块 3 )输出的所述串匹配残差与模块 7)输出的所 述第一重构像素的样值相加, 产生出串匹配解码的第二重构像素的样值 即本模块的输出;
0)去块效应滤波和补偿等后处理模块: 对模块 4) 输出的初步重构像素或 模块 9) 输出的第二重构像素进行去块效应滤波和像素补偿等后处理运 算, 产生第三重构像素, 然后把所述第三重构像素放入第三重构参考像 素样值暂存模块, 用作后续固定宽度可变长度串匹配解码和预测等非串 匹配解码的参考像素; 第三重构像素通常也是整个解码装置实施例的最 终输出像素;
1)第二重构参考像素样值暂存模块: 本模块暂存第二重构像素, 提供后续 固定宽度可变长度串匹配解码所需的第二参考像素样值;
12)第三重构参考像素样值暂存模块: 本模块暂存第三重构像素, 提供后续 预测等非串匹配解码和固定宽度可变长度串匹配解码所需的第三参考像 素。
以上所提供的图示仅以示意方式说明本发明的基本构想, 图示中仅显示与本 发明直接有关的组件而非按照实际实施时的组件数目、 形状及尺寸绘制, 其实际 实施时各组件的型态、 数量及比例可为一种随意的改变, 且其组件布局型态也可 能更为复杂。
以下是本发明的更多的实施细节和变体。
在固定宽度可变长度串匹配编码和解码中, 未找到匹配的情形, 也就是有未 匹配像素样值 (不可匹配像素样值) 的情形, 即可以用匹配长度 L=0来表示, 也 可以用匹配相对位置 D = 0 (当前像素样值自己与自己匹配) 来表示。
串匹配可以是无损即精确的, 也可以是有损即近似的。 设第一、 第二、 第三 重构参考像素样值集之中的一个像素样值的候选匹配串是 x = (sn, sn+1, ...... ,
Sn+m-l), 当前编码 CU中当前位置的被匹配串是 y = (Sc, Sc+i, . . . . . . , Sc+m-i), 那么这 对像素样值串的匹配长度是 m, 而匹配性能可以用一个长度-失真成本 (Length-Distortion Cost简称 LDcost)函数 LDcost = f(m, |sc - sn|, |sc+1 - sn+1|, ,
|Sc+m-l - Sn+m-il)来表示。 最简单的一种长度-失真成本函数是 LDcOSt =
(MaxStringLength - m) + (|sc - sn| + |sc+1 - sn+1| + …… + |sc+m-1 - sn+m-1|), 其中 MaxStringLength是预设的最大匹配长度,如 300, λ是拉格朗日乘数因子,如 0.25, 用于平衡匹配长度和匹配失真的权重。在更为复杂的长度 -失真成本函数中, 每一 个像素样值误差项 - +(Η|可能有自己的乘数因子,乘数因子也可以随长度 m 而变化。 长度-失真成本函数可以用来作为一种评估准则, 在搜索匹配串时, 用来 评估匹配串的匹配性能, 选择最优匹配串。 如果在搜索匹配串时, 强制规定所有
Figure imgf000035_0001
- Sn+q-1| = 0, 则得到的就是无损即精确匹配, 否则, 得到的 就是有损或近似匹配。
固定宽度可变长度串匹配编码搜索时可以使用的另外一种评估准则是满足 |sc - sn|≤E, |sc+i - sn+i|≤E, , ^+1„.1 - 511+1„.1|≤£的最大0, 即所有样值都小于 某个匹配误差阈值 E的具有最大匹配长度的匹配串。如果 E=0,就是无损即精确 匹配。 E可以是一个固定的数, 也可以随匹配长度而变。
本发明适用于叠包格式图像的编码和解码。 当前编码 CU的像素和第一、 第 二、 第三重构参考像素样值集的像素都以叠包格式排列。 匹配串和被匹配串都以 叠包格式排列, 即以由 3个分量样值单个交叉叠在一起形成的单个像素为单位排 列, 形成 3个分量样值单个交叉排列的样值串, 在这样的样值串中搜索最优匹配 样值串。图 14是本发明的固定宽度可变长度串匹配、编码和解码都以叠包格式进 行的实施例。 当前编码 CU有 8x8像素 =24列 x8行分量, 以叠包格式排列。 第 一、第二、第三重构参考像素样值集之中的样值也以叠包格式排列。当前编码 CU 内的长条框显示了一个最优被匹配串, 由 14个样值组成。第一、第二、第三重构 参考像素样值集内的长条框显示了相应的最优匹配串, 同样由 14个样值组成。
本发明也同样适用于分量平面格式图像的编码和解码。 当前编码 CU的像素 和第一、 第二、 第三重构参考像素样值集的像素都分解成 3个分量平面, 所有像 素的一个分量形成一个平面。 一对匹配串和被匹配串都仅包含一个分量的样值。 串匹配搜索可以在 3个平面内分别进行。 但为了减少搜索时间, 同时由于 3个平 面有很大相关性, 故通常搜索仅在一个平面内进行 (Y平面或 G平面)。 在一个 平面中搜索得到的最优匹配串的匹配相对位置和匹配长度同时用于对 3个平面的 串匹配编码和解码。 也就是, 放到码流中的匹配相对位置和匹配长度是由 3个平 面共享的。图 15是本发明的固定宽度可变长度串匹配、编码和解码都以 3个平面 格式进行的实施例。 当前编码 CU分解成 3个平面即 Y平面、 U平面、 V平面, 每个平面由 8x8个分量样值。 第一、 第二、 第三重构参考像素样值集也分解成 3 个平面。 仅在 Y平面中搜索最优匹配串, 得到最优匹配串的匹配相对位置和匹配 长度。 当前编码 CU的 Y平面内的一个折线框显示了搜索得到的一个最优被匹配 串, 由 10个样值组成。 第一、 第二、 第三重构参考像素样值集的 Y平面内的折 线框显示了相应的最优匹配串, 同样由 10个样值组成。 在 U平面和 V平面内, 用同一匹配相对位置和匹配长度对其样值进行串匹配编码和解码。 显然, 可省略 U平面和 V平面内的最优匹配串搜索。 本发明也同样适用于索引像素的编码块或解码块的编码或解码。
本发明的分量平面格式图像的固定宽度可变长度串匹配编码和解码, 如果应 用于 YUV4:2:2像素色彩格式和 YUV4:2:0像素色彩格式等对色度分量 U和 V进 行下采样的情形, 那么 Y平面的匹配相对位置和匹配长度应用到 U平面和 V平 面时, 要根据下采样的比例对匹配相对位置和匹配长度进行相应的变换和调整。 第一、 第二、 第三重构参考像素样值集这 3个重构参考像素样值集的像素可 以具有互不相同的分量排列格式、 色彩格式和像素样值排列方式。
第一重构参考像素样值集通常是离当前编码或解码样值最接近的位置上的已 完成阶段性重构 (处于其特有重构阶段) 的第一重构参考像素样值。 第二重构参 考像素样值集通常是比第一重构参考像素样值集更前面的位置上的已完成阶段性 重构 (处于其特有重构阶段) 的第二重构参考像素样值。 第三重构参考像素样值 集则通常是比第二重构参考像素样值集更前面的位置上的已完成 · 1 的第三重构 参考像素样值。 图 16是位置标号互不相交的第一、第二、第三重构参考像素样值 集 (暂存区或暂存模块) 的一个实施例。 第一重构参考像素样值集是当前正在编 码或解码的 CU中已经完成阶段性重构 (处于其特有重构阶段) 的位置上的第一 重构参考像素样值。 第二重构参考像素样值集是当前正在编码或解码的 LCU m 中已经完成阶段性重构 (处于其特有重构阶段) 的 CU (不包括当前正在编码或 解码的 CU) 的位置上的第二重构参考像素样值, 以及前一个刚完成阶段性重构 (处于其特有重构阶段) 的 LCU m— 1的位置上的第二重构参考像素样值。 第三 重构参考像素样值集则是更早完成阶段性重构(处于其特有重构阶段)的 LCU m 一 2、 LCU m-3 , LCU m—4、 等若干个 LCU的位置上的第三重构参考像 素样值。
第一、 第二、 第三重构参考像素样值集的一个或两个可以为空, 但不能三个 都为空。
实施和变体例 1 重构参考像素样值集是出现频度较高因而匹配概率较大的重 构像素样值, 而串匹配是点匹配
第一重构参考像素样值集由出现频度较高因而匹配概率较大的部分重构像素 样值组成, 仅用来进行匹配长度为 1的串匹配 (这种特殊的串匹配也被称为点匹 配);所述第一重构参考像素样值集内的每一个像素样值都有一个唯一的地址, 当 前 CU的当前样值在所述第一重构参考像素样值集内找到的串匹配的匹配长度都 是 1而匹配相对位置就是匹配参考串的第一个样值 (也是唯一的样值) 的地址; 所述第一重构参考像素样值集也被称为点匹配重构参考像素样值集或点匹配参考 集或调色板, 所述匹配相对位置即所述地址也被称为索引。 实施和变体例 2 点匹配重构参考像素样值集的更新和样值数目变化 编码或解码一个当前编码块或当前解码块时, 点匹配重构参考像素样值集的 更新包括但不限于下列情形之一:
不更新, 或者 更新部分内容;
或者
更新全部内容; 编码或解码一个当前编码块或当前解码块时, 点匹配重构参考像素样值集内 的内容 (参考样值) 按照预先规定的策略 (如根据样值在历史重构图像中出现的 频度) 来更新, 点匹配重构参考像素样值集内的参考样值的数目也按照预先规定 的策略而变化; 在压缩码流的编码块或解码块或 PU或 CU或 CTU或 LCU部分 压缩码流段含有但不限于载入了下列参数或其变体的语法元素的全部或部分: 是否需要更新点匹配参考集的标记位: pt_matching_ref_set_update_flag 需要更新的点匹配参考集的样值的数目: pt_matching_ref_set_update_num 当 pt_matching_ref_set_update_flag 取一个值时表示需要更新点匹配参考 集, 当 pt_matching_ref_set_update_flag取另一个值时表示不需要更新点匹配参 考集 ; 当 不 需 要 更 新 点 匹 配 参考集 时 , 码 流段 中 不 存 在 pt_matching ref_set_update_num , 当 需 要 更新 点 匹配参考集 时 , pt.matching ref_set_update_num 指定了需要更新的点匹配参考集的样值的数 巨。
实施和变体例 3 匹配串扩展样值替代仿匹配样值 本发明的另一个实施形态(变体)是: 当一个最优匹配串 (匹配相对位置=0 和匹配长度 =L) 后面有 P个未匹配样值的时候, 就把这个最优匹配串扩展成匹 配相对位置 =D和匹配长度 =L + Q的扩展匹配串, 其中 Q满足 0 < Q≤P。 这样 就可以把未匹配样值即仿匹配样值的数目从 P减少为 P—Q。 Q可以通过逐个计 算扩展样值与原始被匹配样值之间的误差 (称为扩展误差) 和仿匹配样值与原始 被匹配样值之间的误差 (称为仿匹配误差) 并比较这两个误差的大小来决定。 如 果扩展误差不大于仿匹配误差 (或再乘以或加上一个权重因子), 就逐一增加 Q。 也可以简单地把 Q设为 P, 这样就完全用扩展样值来代替仿匹配样值。
实施和变体例 4 (D, L) 的特定值表明缺少匹配样值 本发明的解码方法和解码装置中, 可以用匹配相对位置 D和匹配长度 L的一 种特定值来表明在当前解码位置缺少匹配样值从而需要计算仿匹配样值的情况。 解码一个完整的 CU需要一对或多对输入的(匹配相对位置, 匹配长度), 依解码 顺序排列为
(Di, Li), (D2, L2), (D3, L3 ), (Dn-1, Ln-1 ), (Dn, Ln)。
实施和变体例 5 用标记位表明缺少匹配样值 本发明的解码方法和解码装置中, 也可以用一个附加的输入标记位来表明在 当前解码位置缺少匹配样值从而需要计算仿匹配样值的情况。 解码一个完整的 CU需要一个或多个输入标记位(简记为 F)和一对或多对输入的(匹配相对位置, 匹配长度), 依解码顺序排列为
Fi, (Di, Li) 或空白, F2, (D2, L2) 或空白, , Fn, (Dn, Ln) 或空白。 其中标记位 取一个值时表明后面跟着一个匹配串的匹配相对位置 和匹配长 度 1^, 而 取另一个值时表明当前解码位置缺少匹配样值从而后面是空白。
实施和变体例 6 用附加的像素样值替代缺少的匹配样值 本发明的解码方法和解码装置中, 当 的取值表明当前解码位置缺少匹配样 值时, 也可以用一个附加的输入像素样值即未匹配像素样值 (可以是原始像素或 经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等前处理的像素 或经过色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶 或高阶差分运算、 索引化等变换的像素或经过多重处理与变换的像素变体) 来 替代缺少的匹配样值; 解码一个完整的 CU需要一个或多个输入标记位 (简记为 F ) 和一对或多对输入的 (匹配相对位置, 匹配长度) 或输入像素样值, 依解码 顺序排列为
Fi, (Di, Li) 或 F2, (D2, L2) 或 P2, , Fn, (Dn, Ln) 或 Pn 其中标记位 取一个值时表明后面跟着一个匹配串的匹配相对位置 和匹配长 度 而 取另一个值时表明当前解码位置缺少匹配样值从而后面跟着输入像素 样值或其变体
实施和变体例 7 实施和变体例 5和实施和变体例 6的组合 本发明的解码方法和解码装置中, 当 的取值表明当前解码位置缺少匹配样 值时, 也可以用仿匹配样值和一个附加的输入像素样值即未匹配像素样值 (可以 是原始像素或经过颜色量化、 数值量化、 向量量化、 去噪音、 滤波、 特征抽取等 前处理的像素或经过色彩格式转换、 排列方式转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等变换的像素或经过多重处理与变换的像 素变体) 的多种组合和运算结果之一 (可以为空) 来替代缺少的匹配样值; 解 码一个完整的 CU需要一个或多个输入标记位 (简记为 F) 和一对或多对输入的 (匹配相对位置, 匹配长度) 或输入像素样值, 依解码顺序排列为
Fi, (Di, Li) 或空白或 Pi, F2, (D2, L2) 或空白或 P2, , Fn, (Dn, Ln) 或空白或1\
其中标记位 取第 1个值时表明后面跟着一个匹配串的匹配相对位置 D^P匹配长 度 取第 2个值时表明当前解码位置缺少匹配样值并用仿匹配样值来补全从 而后面是空白; 而 取第 2+m ( l≤m≤M) 个值时表明当前解码位置缺少匹配样 值但后面不是空白而是跟着仿匹配样值与输入像素样值或其变体的 M种组合和 运算之中的第 m种组合和运算的结果 I\。 M通常小于 10。
本发明的解码方法和解码装置中,所述输入标记位 ,输入匹配相对位置 1^, 输入匹配长度 1^, 输入像素样值或其变体!^等不同类型的解码输入参数, 其记述 和表达形式可以是这些参数经过熵编码、 一阶或高阶差分编码、 预测编码、 匹配 编码、 映射编码、 变换编码、 量化编码、 索引编码、 游程编码、 二值化编码后的 存在于比特流 (或称码流即 bitstream) 中的语法元素。 这些不同类型的语法元素 在比特流中的放置顺序, 可以是不同类型的单个数值交叉放置, 如:
Fi, (Di, Li) 或 F2, (D2, L2) 或 P2, , Fn, (Dn, Ln) 或 Pn。 也可以是同一类型的所有数值集中放置, 如:
Fi, ... Fn, 01或空白, ... Dn或空白, 1^或空白, ... Ln或空白, ?1或空白, ... Pn 或空白。
也可以是以上两种放置顺序的组合, 如:
...... Fn, (D ) 或空白, ... ... (Dn, Ln) 或空白, ?丄或空白, ... ... Pn或 空白。 实施和变体例 8 匹配参数是单分量参数或双分量参数或三分量参数
匹配相对位置 Di或其变体是单分量参数或双分量参数或三分量参数;所述匹 配相对位置 Di 或其变体对应的压缩码流中的语法元素具有但不限于下列形式之 一个匹配串的匹配相对位置 或其变体对应的语法元素: d (—个分量, 如位置 线性地址或索引) 或者
一个匹配串的匹配相对位置 或其变体对应的语法元素: d[0],d[l] (两个分量, 如位置水平分量, 位置垂直分量或样值集编号, 位置线性地址) 或者
一个匹配串的匹配相对位置 或其变体对应的语法元素: d[0], d[l], d[2] (三个分 量, 如样值集编号, 位置水平分量, 位置垂直分量)
匹配长度 Li或其变体是单分量参数或双分量参数或三分量参数; 所述匹配长 度 Li或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
一个匹配串的匹配长度1^或其变体对应的语法元素: r (一个分量) 或者
一个匹配串的匹配长度1^或其变体对应的语法元素: r[0],r[l] (两个分量) 或者
一个匹配串的匹配长度 或其变体对应的语法元素: r[0], r[l], r[2] (三个分量)
未匹配像素 Pi或其变体是单分量参数或双分量参数或三分量参数; 所述未匹 配像素 Pi或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一: 未匹配像素 或其变体对应的语法元素: p (—个分量) 或者
未匹配像素 或其变体对应的语法元素: ρ[0],ρ[1] (两个分量) 或者 未匹配像素 或其变体对应的语法元素: p[0], p[l], p[2] (三个分量)。
实施和变体例 9 压缩码流含有的语法元素 压缩码流的编码块或解码块或 PU或 CU或 CTU或 LCU部分压缩码流段含 有但不限于载入了下列参数或其变体的语法元素的全部或部分: 第一类模式 (如编解码模式),
第二类模式 (如串匹配模式), 第三类模式 (如像素样值排列方式),
第四类模式 (如参数编码模式),
匹配标记位 1, 样值集编号 1或空, (匹配相对位置 1, 长度 1 ) 或未匹配样 值 1或空,
匹配标记位 2, 样值集编号 2或空, (匹配相对位置 2, 长度 2) 或未匹配样 值 2或空,
更多的匹配标记位, 样值集编号或空, (匹配相对位置, 长度) 或未匹配样 值或空,
匹配标记位 N, 样值集编号 N或空, (匹配相对位置 N, 长度 N) 或未匹配 样值 N或空, 匹配残差或空;
所有所述语法元素在码流中的放置排列顺序并不是唯一的, 可采用任意一种 预先确定的合理的顺序; 任何一个语法元素也可以被拆成几部分, 所述几部分可 以集中放置在码流中同一地方, 也可以分别放置在码流中不同的地方; 任何若干 语法元素也可以合并成一个语法元素; 任何语法元素也可以不存在于某个编码块 或解码块或 PU或 CU或 CTU或 LCU的压缩码流段中; 压缩码流段中的匹配相对位置, 匹配长度, 未匹配像素样值等参数, 可以是 这些参数本身, 也可以是这些参数经过预测编码、 匹配编码、 变换编码、 量化编 码、 DPCM、 一阶和高阶差分编码、 映射编码、 游程编码、 索引编码等各种常用 技术编码后的变体;
所述匹配相对位置、 匹配长度、, 未匹配像素分别可以仅有一个参数分量, 也 可以有两个参数分量, 或者进一步划分成三个参数分量甚至更多参数分量 所述样值集编号可以是匹配相对位置的一部分,或者只有一个样值集,这时, 样值集编号为空。
实施和变体例 10 三个重构参考像素样值集的分量排列格式、色彩格式和像素样 值排列方式
任意一个重构参考像素样值集有独立 (即不一定但也可以与其他任意一个重 构参考像素样值集一致) 的下列分量排列格式、 色彩格式、 像素样值排列方式: 叠包格式、 YUV色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
叠包格式、 YUV色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
叠包格式、 YUV色彩格式、 图像固有的 2维排列方式 或者
叠包格式、 GBR色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
叠包格式、 GBR色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
叠包格式、 GBR色彩格式、 图像固有的 2维排列方式 或者
平面格式、 YUV色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
平面格式、 YUV色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
平面格式、 YUV色彩格式、 图像固有的 2维排列方式 或者
平面格式、 GBR色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
平面格式、 GBR色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
平面格式、 GBR色彩格式、 图像固有的 2维排列方式 或者
空集。
实施和变体例 11 三个重构参考像素样值集的像素表现格式
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用 3 分量表现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用 3 分量表现格式, 第三重构参考像素样值集采用索弓 I表现格式;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集采用 3 分量表现格式, 第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用 索引表现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用 索弓 I表现格式, 第三重构参考像素样值集采用索弓 I表现格式; 或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用 索引表现格式, 第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用索引表现格式,第二重构参考像素样值集为空, 第三重构参考像素样值集为空; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采 用 3分量表现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采 用 3分量表现格式, 第三重构参考像素样值集采用索引表现格式; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采 用 3分量表现格式, 第三重构参考像素样值集为空; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采 用索引表现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采 用索引表现格式, 第三重构参考像素样值集采用索弓 I表现格式;
或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采 用索引表现格式, 第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集为 空, 第三重构参考像素样值集为空。
实施和变体例 12 固定宽度 W的取值 所述固定宽度可变长度串匹配的固定宽度在一个 CU或若干个 CU或一幅图 像或一个序列中是一个常数 W;
或者
所述固定宽度可变长度串匹配的固定宽度 W在一个水平(或垂直)方向的总 样值数为 X的 CU内可以取下列前后成 2倍关系的固定值之一: 1, 2, 4, ... ...,
X; 当编码或解码一个匹配当前串时, 由另外一个编码或解码变量参数来确定取 哪个固定值, 因此, 不同的匹配当前串可能取相同的固定值, 也可能取不同的固 定值;
或者
所述固定宽度可变长度串匹配的固定宽度 w在一个水平(或垂直)方向的总 样值数为 X的 CU内可以取下列 K个固定值之一: 1, 2, ......, k, ... ..., K—l,
Κ; 当编码或解码中匹配串的名义长度1^满足^-1^ + 1≤1^≤1^ 时, W取值 k, 因此, 不同的匹配串可能取相同的固定值, 也可能取不同的固定值。
实施和变体例 13 匹配串和其匹配相对位置及匹配长度的例(复制左边, 复制上 边) 匹配参考串和匹配当前串可以有互相重叠的样值位置, 即匹配串的匹配相对 位置 D和匹配长度 L满足下列关系: D<L; 这时, 匹配当前串的 L个样值是匹配 参考串的第一个样值与匹配当前串的第一个样值之间的 D个样值(即匹配当前串 的第一个样值之前的 D个样值) 的重复, 也就是: 当 D= 1<L时, 匹配当前串是匹配当前串的第一个样值 (即当前样值) 之前 的那个样值 P重复 L次: PPP ... ... PP, 即匹配当前串的 L个样值都是 P; 当 D = 2<L而 L是偶数时, 匹配当前串是当前样值之前的两个样值 PiP2重复 L/2次: ... ... ΡΛ, 即匹配当前串的 L个样值都是 的重复; 当 D = 2<L而 L是奇数时, 匹配当前串是当前样值之前的两个样值 PiP2重复 (L-l)/2次后再加上 Ρ1 : ΡιΡ2ΡιΡ2... ... ΡιΡ2Ρι, 即匹配当前串的 L个样值都是 的重复, 最后再加上 P1 ;
当 D = 3<L时, 匹配当前串是当前样值之前的三个样值 P 2P3的重复一直到 匹配长度达到 L;
当 D = 4<L时, 匹配当前串是当前样值之前的四个样值 P 2P3P4的重复一直 到匹配长度达到 L; 当 D<L时, 匹配当前串是当前样值之前的 D个样值 ... ... PD-1PD的重复一 直到匹配长度达到 L; 或者
在一个水平 (或垂直) 方向的总样值数为 X的 cu rt , 匹配参考串在匹配当 前串的相邻正上方 (或正左边), 即匹配串的匹配相对位置 D和匹配长度 L满足 下列关系: D = X, L≤X; 当这种情况出现的频度很高时, D = X用一个特殊的较 短的码放入码流; 或者
在一个水平 (或垂直) 方向的总样值数为 X的 cu rt , 匹配参考串在匹配当 前串的正上方(或正左边)但并不一定相邻, 即匹配串的匹配相对位置 D满足下 列关系: D = nX; 当这种情况出现的频度很高时, D = nX用若干特殊的较短的码 来表示 n并放入码流。
实施和变体例 14 参考像素样值是重构像素样值的变体的例 参考像素样值是重构像素样值经过数值量化和反量化运算的样值; 或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 计算一次 之后, 不再变动;
或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值 量化和反量化运算使用编码或解码量化参数来计算;
或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值 量化和反量化运算使用参考像素样值所在 CU的编码或解码量化参数来计算; 或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值 量化和反量化运算使用参考像素样值所在 CU的编码或解码量化参数来计算, 计 算一次之后, 不再变动; 或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值 量化和反量化运算使用当前 CU的编码或解码量化参数来计算; 或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值 量化和反量化运算使用当前 CU的编码或解码量化参数来计算, 每编码或解码一 个 CU, 要重新计算一次; 或者 参考像素样值是重构像素样值经过颜色量化的样值;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用基于 颜色的像素聚类获得的一个调色板来计算;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个 与参考像素样值所在编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜 色的像素聚类获得的调色板来计算;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个 与参考像素样值所在编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜 色的像素聚类获得的调色板来计算, 计算一次之后, 不再变动;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个 与参考像素样值所在编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜 色的像素聚类获得的动态更新部分内容的调色板来计算, 计算一次之后, 不再变 动;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个 与当前编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜色的像素聚类 获得的调色板来计算;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个 与当前编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜色的像素聚类 获得的调色板来计算, 每编码或解码一个编码块或解码块或 PU或 CU或 CTU或 LCU, 要重新计算一次; 或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个 全局的基于颜色的像素聚类获得的调色板来计算。
实施和变体例 15 匹配相对位置的变体 (差分等) 和格式 ( 1维或 2维等) 非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式排列成一个 1维的数组, 数组中每个样值都有一个线性地址, 匹 配当前串的匹配相对位置是对应的匹配参考串的第一个样值的线性地址减去所述 匹配当前串的第一个样值的线性地址; 所述匹配相对位置在压缩数据比特流中对 应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所述匹配相对位置通 常是一个单变量参数即只有 1个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式排列成一个 1维的数组, 数组中每个样值都有一个线性地址, 匹 配当前串的匹配相对位置是对应的匹配参考串的第一个样值的线性地址减去所述 匹配当前串的第一个样值的线性地址; 所述匹配相对位置在压缩数据比特流中对 应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和 /或 映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵编码的语 法元素; 所述匹配相对位置通常是一个单变量参数即只有 1个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式排列成一个 2维的数组, 数组中每个样值都有一个平面坐标, 匹 配当前串的匹配相对位置是对应的匹配参考串的第一个样值的平面坐标减去所述 匹配当前串的第一个样值的平面坐标; 所述匹配相对位置在压缩数据比特流中对 应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所述匹配相对位置通 常是一个双变量参数即有 2个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式排列成一个 2维的数组, 数组中每个样值都有一个平面坐标, 匹 配当前串的匹配相对位置是对应的匹配参考串的第一个样值的平面坐标减去所述 匹配当前串的第一个样值的平面坐标; 所述匹配相对位置在压缩数据比特流中对 应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和 /或 映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵编码的语 法元素; 所述匹配相对位置通常是一个双变量参数即有 2个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个 2维的数组, 区域和数组中每个样值都有一个区域编号和一个平面坐标, 匹配当前串的匹配相 对位置是对应的匹配参考串的第一个样值的区域编号和平面坐标减去所述匹配当 前串的第一个样值的区域编号和平面坐标; 所述匹配相对位置在压缩数据比特流 中对应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所述匹配相对位 置通常是一个三变量参数即有 3个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个 2维的数组, 区域和数组中每个样值都有一个区域编号和一个平面坐标, 匹配当前串的匹配相 对位置是对应的匹配参考串的第一个样值的区域编号和平面坐标减去所述匹配当 前串的第一个样值的区域编号和平面坐标; 所述匹配相对位置在压缩数据比特流 中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵编码的 语法元素; 所述匹配相对位置通常是一个三变量参数即有 3个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个 1维的数组, 区域和数组中每个样值都有一个区域编号和一个线性地址, 匹配当前串的匹配相 对位置是对应的匹配参考串的第一个样值的区域编号和线性地址减去所述匹配当 前串的第一个样值的区域编号和线性地址; 所述匹配相对位置在压缩数据比特流 中对应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所述匹配相对位 置通常是一个双变量参数即有 2个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前 CU的样值按照 预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个 1维的数组, 区域和数组中每个样值都有一个区域编号和一个线性地址, 匹配当前串的匹配相 对位置是对应的匹配参考串的第一个样值的区域编号和线性地址减去所述匹配当 前串的第一个样值的区域编号和线性地址; 所述匹配相对位置在压缩数据比特流 中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵编码的 语法元素; 所述匹配相对位置通常是一个双变量参数即有 2个分量。
实施和变体例 16 匹配长度的变体 (差分等) 和格式 (单变量或双变量等) 匹配当前串的匹配长度 L是一个单变量参数; 所述匹配长度在压缩数据比特 流中对应的语法元素是所述匹配长度的单变量参数经过熵编码的语法元素; 或者
匹配当前串的匹配长度 L是一个单变量参数; 所述匹配长度在压缩数据比特 流中对应的语法元素是所述匹配长度的单变量参数与其他匹配长度的单变量参数 经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运 算后再经过熵编码的语法元素; 或者
在一个水平 (或垂直) 方向的总样值数为 X的 cu rt, 匹配当前串的匹配长 度 L被分解成一对双变量参数 (k, LL), 其中 k是满足 (k-l)X + 1≤ L≤ kX的一 个正整数, 而 LL=L一 (k-l)X; 所述匹配长度在压缩数据比特流中对应的语法元 素是所述匹配长度的双变量参数经过熵编码的语法元素; 或者
在一个水平 (或垂直) 方向的总样值数为 X的 cu rt, 匹配当前串的匹配长 度 L被分解成一对双变量参数 (k, LL), 其中 k是满足 (k-l)X + 1≤ L≤ kX的一 个正整数, 而 LL=L一 (k-l)X; 所述匹配长度在压缩数据比特流中对应的语法元 素是所述匹配长度的双变量参数与其他匹配长度的双变量参数经过排列方式转换 和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵编码 的语法元素; 或者
其第一个像素样值与当前 CU的右边界 (或下边界) 之间的水平 (或垂直) 距离为 X的匹配当前串的匹配长度 L被分解成一对双变量参数(k, LL), 其中 k 是满足 (k-l)X + l≤L≤kX的一个正整数, 而 LL=L—(k-l)X; 所述匹配长度在压 缩数据比特流中对应的语法元素是所述匹配长度的双变量参数经过熵编码的语法 元素;
或者 其第一个像素样值与当前 CU的右边界 (或下边界) 之间的水平 (或垂直) 距离为 X的匹配当前串的匹配长度 L被分解成一对双变量参数(k, LL), 其中 k 是满足 (k-l)X + l≤L≤kX的一个正整数, 而 LL=L—(k-l)X; 所述匹配长度在压 缩数据比特流中对应的语法元素是所述匹配长度的双变量参数与其他匹配长度的 双变量参数经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预 测和差分运算后再经过熵编码的语法元素。
实施和变体例 17 未匹配样值的变体 (差分等) 未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过熵编 码的语法元素; 或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未 匹配样值经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测 和差分运算后再经过熵编码的语法元素;
或者 未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过量化 运算后再经过熵编码的语法元素; 或者 未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未 匹配样值经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测 和差分运算后再经过量化运算后再经过熵编码的语法元素。
实施和变体例 18 两个或三个参考像素样值集各自对应的当前图像的两个或三 个区域有互相重叠的部分的例 第一重构参考像素样值集对应的当前图像的区域, 第二重构参考像素样值集 对应的当前图像的区域, 第三重构参考像素样值集对应的当前图像的区域这三个 区域完全重叠, 第一重构参考像素样值集的位置标号小于第二重构参考像素样值 集的位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素样值 集的位置标号;
或者 第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域, 都是当前 CU以及当前 CU之前已经完成阶段性重构(处于各重构阶段)的 N (N 小于几百) 个 CU, 第一重构参考像素样值集的位置标号小于第二重构参考像素 样值集的位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素 样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域, 都是当前 LCU以及当前 LCU之前已经完成阶段性重构 (处于各重构阶段) 的 N (N小于几百)个 LCU, 第一重构参考像素样值集的位置标号小于第二重构参考 像素样值集的位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考 像素样值集的位置标号;
或者
第一、第二、第三重构参考像素样值集对应的当前图像的区域是相同的区域, 都是当前编码或解码样值之前已经完成阶段性重构 (处于各重构阶段) 的 N (N 在几千至几百万之间) 个样值, 第一重构参考像素样值集的位置标号小于第二重 构参考像素样值集的位置标号, 第二重构参考像素样值集的位置标号小于第三重 构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集 对应的当前图像的区域部分重叠, 第二重构参考像素样值集对应的当前图像的区 域与第三重构参考像素样值集对应的当前图像的区域部分重叠, 但第一重构参考 像素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的 区域不重叠, 第一重构参考像素样值集的位置标号小于第二重构参考像素样值集 的位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素样值集 的位置标号; 或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集 对应的当前图像的区域部分重叠, 第二重构参考像素样值集对应的当前图像的区 域与第三重构参考像素样值集对应的当前图像的区域部分重叠, 第一重构参考像 素样值集对应的当前图像的区域与第三重构参考像素样值集对应的当前图像的区 域部分重叠, 第一重构参考像素样值集的位置标号小于第二重构参考像素样值集 的位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素样值集 的位置标号; 或者
第一重构参考像素样值集对应的当前图像的区域是第二重构参考像素样值集 对应的当前图像的区域的一部分, 第二重构参考像素样值集对应的当前图像的区 域是第三重构参考像素样值集对应的当前图像的区域的一部分, 第一重构参考像 素样值集的位置标号小于第二重构参考像素样值集的位置标号, 第二重构参考像 素样值集的位置标号小于第三重构参考像素样值集的位置标号。
实施和变体例 19 参考像素样值集扩展成多于三个 三个参考像素样值集被扩展成四个参考像素样值集, 即除了第一、 第二、 第 三重构参考像素样值集之外, 还有第四重构参考像素样值集, 匹配参考串来自所 述四个参考像素样值集之一; 或者 三个参考像素样值集被扩展成五个参考像素样值集, 即除了第一、 第二、 第 三重构参考像素样值集之外, 还有第四、 第五重构参考像素样值集, 匹配参考串 来自所述五个参考像素样值集之一;
或者 三个参考像素样值集被扩展成六个参考像素样值集, 即除了第一、 第二、 第 三重构参考像素样值集之外, 还有第四、 第五、 第六重构参考像素样值集, 匹配 参考串来自所述六个参考像素样值集之一;
或者
三个参考像素样值集被扩展成 N (通常 N小于 10)个参考像素样值集, 即除 了第一、 第二、 第三重构参考像素样值集之外, 还有第四、 第五、 ... ...、 第 N个 重构参考像素样值集, 所述匹配参考串来自所述 N个参考像素样值集之一。
实施和变体例 20 定宽度变长度像素样值串匹配和参考像素样值集扩展到多帧 图像
定宽度变长度像素样值串匹配的参考像素样值集从当前图像扩展到当前图像 之前已经完成阶段性重构 (处于各重构阶段) 的 N (N<15 ) 帧图像; 或者 第一、 第二、 第三重构参考像素样值集在当前图像中, 第四重构参考像素样 值集在已经完成阶段性重构 (处于各重构阶段) 的前一帧图像中; 或者
第一、 第二重构参考像素样值集在当前图像中, 第三重构参考像素样值集跨 越当前图像和已经完成阶段性重构 (处于各重构阶段) 的前一帧图像, 即部分在 当前图像中, 部分在已经完成阶段性重构 (处于各重构阶段) 的前一帧图像中; 或者
第一重构参考像素样值集在当前图像中, 第二重构参考像素样值集跨越当前 图像和已经完成阶段性重构 (处于各重构阶段) 的前一帧图像, 即部分在当前图 像中, 部分在已经完成阶段性重构 (处于各重构阶段) 的前一帧图像中, 第三重 构参考像素样值集也跨越当前图像和已经完成阶段性重构 (处于各重构阶段) 的 前一帧图像, 即部分在当前图像中, 部分在已经完成阶段性重构 (处于各重构阶 段) 的前一帧图像中。
附图说明
图 1是现有技术中编码方法流程示意图
图 2是现有技术中解码方法流程示意图 图 3是现有技术中编码装置的模块组成示意图
图 4是现有技术中解码装置的模块组成示意图
图 5是宽度为 1个像素样值的固定宽度可变长度像素样值串匹配编码示意图 图 6是本发明中固定宽度可变长度像素样值串匹配编码方法核心流程示意图, 图 中 CU也可以是 PU或 LCU或 CTU或编码块
图 7是本发明的编码方法的一种实施的流程示意图,图中 CU也可以是 PU或 LCU 或 CTU或编码块
图 8是本发明中固定宽度可变长度像素样值串匹配解码方法核心流程示意图 图 9是本发明的解码方法的一种实施的流程示意图,图中 CU也可以是 PU或 LCU 或 CTU或解码块
图 10是本发明中定宽变长像素样值串匹配编码装置的核心模块组成示意图 图 11是本发明的编码装置的一种完整实施的模块组成示意图
图 12是本发明中定宽变长像素样值串匹配解码装置的核心模块组成示意图 图 13是本发明的解码装置的一种完整实施的模块组成示意图
图 14是本发明的串匹配搜索、 编码和解码都以叠包格式进行的实施例 图 15是本发明的串匹配搜索在单个平面内进行而编码和解码在 3个平面内分别进 行的实施例
图 16是本发明的位置标号互不相交的第一、第二和第三重构参考像素样值集(暂 存区、 暂存模块) 的实施例
图 17 是本发明的通过计算重构像素的特征来预测选定的最优划分和排列方式的 实施例
图 11是大像素的若干例

Claims

权利要求书
1. 一种图像编码方法, 其特征在于: 对一个编码块的像素样值, 在重构参考像素样 值集内搜索得到一个匹配参考样值子集, 与所述编码块内的一个匹配当前样值子 集相匹配, 所述匹配参考样值子集内的样值被称为匹配样值; 把在匹配编码过程 中产生的与匹配解码有关的参数放入压缩码流。
2. 根据权利要求 1 所述的编码方法, 其特征在于: 所述参数包括但不限于关于所述 匹配参考样值子集的位置和大小的参数。
3. 根据权利要求 1或 2所述的编码方法, 其特征在于: 所述参数包括但不限于所述 匹配参考样值子集与所述匹配当前样值子集之间的匹配关系的参数, 用匹配相对 位置和匹配长度这两个匹配参数来表示, 所述匹配相对位置和所述匹配长度是对 所述匹配当前样值子集进行编码的编码结果。
4. 根据权利要求 1或 2或 3所述的编码方法, 其特征在于: 如果所述编码块内存在 未在重构参考像素样值集内找到匹配的未匹配样值 (也被称为不可匹配样值), 则 用下列方法之一补全未匹配样值位置上缺少的编码结果:
从已经完成若干阶段的编码和重构的邻近样值计算出仿匹配样值作为编码结果 或者
从边界缺省样值计算出仿匹配样值作为编码结果 或者
直接用未匹配样值本身作为编码结果 或者
从所述仿匹配样值和所述未匹配样值本身计算出未匹配样值的变体作为编码结果。
5. 根据权利要求 1或 2或 3或 4所述的编码方法, 其特征在于: 所述编码块是下列 情况之一:
编码块是编码单元 (Coding Unit简称 CU) 或
编码块是预测单元 (Prediction Unit简称 PU) 或
编码块是最大编码单元 (Largest Coding Unit简称 LCU) 或
编码块是编码树单元 (Coding Tree Unit简称 CTU); 所述匹配参考样值子集是固定宽度可变长度匹配串;
所述匹配当前样值子集是固定宽度可变长度匹配串;
所述重构参考像素样值集由第一重构参考像素样值集, 第二重构参考像素样值 集, 第三重构参考像素样值集三部分组成; 这三个重构参考像素样值集的一个或两个 可以为空, 但不能三个都为空。
6. 根据权利要求 1或 2或 3或 4或 5所述的编码方法, 其特征在于包括但不限于以 下步骤的全部或部分:
步骤 1 ) 对一个编码块的原始像素或其变体进行固定宽度可变长度串匹配编码, 产生 出 (1 ) 匹配相对位置及匹配长度和 (2) 匹配样值: 在位置标号互不相交的 第一重构参考像素样值暂存区 (即第一重构参考像素样值集)、 第二重构参 考像素样值暂存区 (即第二重构参考像素样值集) 和第三重构参考像素样值 暂存区 (即第三重构参考像素样值集) 中, 按照预先规定的匹配模式和某种 评估准则, 搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串 (称为匹配参考串); 一个匹配参考串本身可以跨越第一、 第二和第三重构 参考像素样值暂存区这三个暂存区中的两个或三个, 其属于哪个暂存区由它 的起始像素样值的位置来决定; 固定宽度可变长度串匹配编码的结果是所述 一个或多个匹配相对位置及匹配长度和匹配样值以及可能的未匹配样值 (未 找到匹配的所述编码块的原始像素或其变体的样值, 也称为不可匹配样 值); 所述三个重构参考像素样值集的输入是重构样值而输出是参考样值, 参考样值可以等同于重构样值, 也可以是重构样值的各种变体, 当参考样值 不等同于重构样值时, 参考样值可以一次性产生后暂存供以后需要时多次使 用, 也可以每次需要时即时产生, 也可以是这两种产生方法的组合; 步骤 2) 如果有未匹配样值, 则从已经完成编码并且完成部分或完全重构的邻近样值 或边界缺省样值计算出仿匹配样值, 也可能可选地计算出未匹配像素的变 体; 输出匹配相对位置及匹配长度、 仿匹配样值和 /或未匹配样值和 /或其变 体;
步骤 3 ) 可选地用仿匹配样值补全未匹配样值的位置; 把所述匹配样值和所述未匹配 样值和 /或所述仿匹配样值作为第一重构参考像素样值放入所述第一重构参 考像素样值暂存区; 输出匹配相对位置及匹配长度和可选的未匹配样值或其 变体等固定宽度可变长度串匹配方式的表征参数; 这些表征参数经过后续的 熵编码 (也包括分别可选的基于 1 维或 2 维邻近参数的一阶或高阶差分编 码、 预测编码、 匹配编码、 映射编码、 变换编码、 量化编码、 索引编码、 游 程编码以及二值化编码等) 后被写入压缩码流。
7. 根据权利要求 1或 2或 3或 4或 5或 6所述的编码方法, 其特征在于: 所述编码 方法与预测编码 (含变换编码、 量化编码、 熵编码) 的步骤集成在一起, 形成包 括但不限于以下步骤的全部或部分的编码方法:
步骤 1 ) 读入一个编码块的原始像素或其变体;
步骤 2) 对所述编码块进行帧内预测编码和帧间预测编码, 统称为预测编码, 产生出
( 1 ) 预测残差和 (2) 预测模式和运动矢量; 步骤 3 ) 对所述编码块进行固定宽度可变长度串匹配编码, 产生出 (1 ) 匹配相对位 置及匹配长度和 (2) 匹配样值; 也就是在位置标号互不相交的第一重构参 考像素样值暂存区 (即第一重构参考像素样值集)、 第二重构参考像素样值 暂存区 (即第二重构参考像素样值集) 和第三重构参考像素样值暂存区 (即 第三重构参考像素样值集) 中, 按照预先规定的匹配模式和某种评估准则, 搜索得到一个或多个最优的固定宽度可变长度的像素样值匹配串 (称为匹配 参考串); 一个匹配参考串本身可以跨越第一、 第二和第三重构参考像素样 值暂存区这三个暂存区中的两个或三个, 其属于哪个暂存区由它的起始像素 样值的位置来决定; 固定宽度可变长度串匹配编码的结果是所述一个或多个 匹配相对位置及匹配长度和匹配样值以及可能的未匹配样值 (未找到匹配的 当前编码块的原始像素或其变体的样值, 也称为不可匹配样值); 所述三个 重构参考像素样值集的输入是重构样值而输出是参考样值, 参考样值可以等 同于重构样值, 也可以是重构样值的各种变体, 当参考样值不等同于重构样 值时, 参考样值可以一次性产生后暂存供以后需要时多次使用, 也可以每次 需要时即时产生, 也可以是这两种产生方法的组合;
步骤 4) 如果有未匹配样值, 则从已经完成编码并且完成部分或完全重构的邻近样值 或边界缺省样值计算出仿匹配样值, 也可能可选地计算出未匹配样值的变 体; 输出匹配相对位置及匹配长度、 仿匹配样值和 /或未匹配样值和 /或其变 体; 步骤 5 ) 可选地用所述仿匹配样值补全所述未匹配样值的位置, 把所述匹配样值和所 述未匹配样值和 /或所述仿匹配样值作为第一重构像素的样值放入所述第一 重构参考像素样值暂存区; 输出匹配相对位置及匹配长度和可选的未匹配样 值或其变体;
步骤 6) 计算匹配残差, 从所述原始像素样值和所述第一重构像素的样值计算出匹配 残差;
步骤 7) 对步骤 2) 和 6) 产生的预测残差和匹配残差进行变换编码和量化编码, 变 换编码和量化编码都是分别可选的, 也就是如果变换编码达不到更好的数据 压缩效果, 就不进行变换编码, 或者不但不进行变换编码, 也不进行量化编 码;
步骤 8) 对步骤 2)、 7) 的预测-变换-量化编码方式 (即基于预测的编码方式, 简称 为预测方式) 的结果进行所述预测方式的逆运算, 对步骤 3 ) 至 7) 的匹配- 变换-量化编码方式 (即基于匹配的编码方式, 简称为匹配方式) 的结果进 行所述匹配方式的逆运算, 这些逆运算统称为重构, 得到所述编码块的对应 于多种预测模式和多种匹配模式的多种第二重构像素, 用于后续步骤 11 ) 的 率-失真成本计算, 并在后续步骤 u ) 确定了对所述编码块的最优编码方式 之后, 把所述最优编码方式的第二重构像素放入第二重构参考像素样值暂存 区;
步骤 9) 对所述最优编码方式的所述第二重构像素进行去块效应滤波和像素补偿运 算, 产生第三重构像素, 然后把所述第三重构像素放入第三重构参考像素样 值暂存区, 用作后续预测编码和固定宽度可变长度串匹配编码的参考像素; 步骤 10) 对序列、 图像、 CU 的头信息、 步骤 2) 的编码结果之二预测模式和运动矢 量、 步骤 5 ) 的匹配编码输出即所述匹配相对位置及匹配长度和可选的未匹 配样值或其变体、 以及步骤 7) 产生的匹配残差和预测残差 (可能经过了变 换-量化运算或量化运算) 进行熵编码并产生压缩码流的比特率, 熵编码也 包括对匹配模式、 匹配相对位置、 匹配长度、 未匹配样值或其变体、 匹配残 差等熵编码对象的样值先进行分别可选的基于 1维或 2维邻近样值的一阶或 高阶差分编码、 预测编码、 匹配编码、 映射编码、 变换编码、 量化编码、 索 引编码、 游程编码以及二值化编码;
步骤 11 ) 从原始像素、 多种第二重构像素及其压缩码流的比特率或者比特率估计值, 计算得到率 -失真成本, 根据率-失真性能选择所述编码块的最优编码方式
(基于匹配的编码方式还是基于预测的编码方式)、 最优匹配模式或最优预 测模式并输出所述编码块的压缩码流数据; 压缩码流中至少含有匹配相对位 置、 匹配长度和可选的未匹配样值或其变体等固定宽度可变长度串匹配方式 的表征参数;
步骤 12) 判断是否已完成所有编码块的编码, 如果是, 则结束编码, 否则回到步骤
1), 开始对下一个编码块的编码。
8. 一种图像解码方法, 其特征在于: 解析压缩码流, 获取与匹配解码有关的参数; 根据所述参数, 对一个解码块, 从重构参考像素样值集内的一个位置复制一个匹 配参考样值子集, 并将所述匹配参考样值子集的全部样值 (被称为匹配样值) 移 动和粘贴到所述解码块的当前解码位置, 得到一个匹配当前样值子集。
9. 根据权利要求 8 所述的解码方法, 其特征在于: 所述参数包括但不限于关于所述 匹配参考样值子集的位置和大小的参数。
10. 根据权利要求 8或 9所述的解码方法, 其特征在于: 使用匹配相对位置及匹配长 度这两个表示匹配关系的匹配参数以及所述当前解码位置来确定所述匹配参考样 值子集的位置和大小。
11. 根据权利要求 8或 9或 10所述的解码方法, 其特征在于: 如果在所述解码块的当 前解码位置上没有来自重构参考像素样值集的匹配参考样值子集, 则用下列方法 之一补全所述当前解码位置上缺少的当前样值:
从已经完成若干阶段的解码和重构的邻近样值计算出仿匹配样值作为当前样值 或者
从边界缺省样值计算出仿匹配样值作为当前样值 或者 直接用从输入的未匹配样值本身作为当前样值
或者
从所述仿匹配样值和输入的未匹配样值的变体计算出未匹配样值作为当前样值。
12. 根据权利要求 8或 9或 10或 11所述的解码方法, 其特征在于: 所述解码块是下 列情况之一:
解码块是编码单元 (Coding Unit简称 CU) 或
解码块是预测单元 (Prediction Unit简称 PU) 或
解码块是最大编码单元 (Largest Coding Unit简称 LCU) 或
编码块是编码树单元 (Coding Tree Unit简称 CTU); 所述匹配参考样值子集是固定宽度可变长度匹配串;
所述匹配当前样值子集是固定宽度可变长度匹配串;
所述重构参考像素样值集由第一重构参考像素样值集, 第二重构参考像素样值 集, 第三重构参考像素样值集三部分组成; 这三个重构参考像素样值集的一个或两个 可以为空, 但不能三个都为空。
13. 根据权利要求 8或 9或 10或 11或 12所述的解码方法, 其特征在于包括但不限于 以下步骤的全部或部分:
步骤 1 ) 解析压缩码流, 获取与匹配解码有关的输入参数, 使用获取的输入匹配参数 匹配相对位置 D及匹配长度 L进行固定宽度可变长度串匹配解码; 也就是 从位置标号互不相交的第一重构参考像素样值暂存区 (即第一重构参考像素 样值集) 或第二重构参考像素样值暂存区 (即第二重构参考像素样值集) 或 第三重构参考像素样值暂存区 (即第三重构参考像素样值集) 中, 按照已知 的匹配模式和固定宽度, 复制长度为 L的整个匹配串 (称为匹配参考串) 的 所有样值, 并将整个匹配串移动和粘贴到当前解码块中的被匹配串 (也称为 匹配当前串) 的位置, 复原出整个被匹配串; 一个匹配参考串本身可以跨越 第一、 第二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个, 其属于哪个暂存区由它的起始像素样值的位置来决定; 第一、 第二、 第三重 构参考像素样值集这三个参考像素样值集, 除了位置上和 /或重构阶段上的 差别之外, 可能还各自分别经过不同的处理或变换或处理与变换的组合; 这 三个重构参考像素样值集, 虽然他们的位置标号互不相交, 但他们各自对应 的当前图像的三个区域仍然可能有互相重叠的部分; 这三个重构参考像素样 值集的输入是重构样值而输出是参考样值, 参考样值可以等同于重构样值, 也可以是重构样值的各种变体, 当参考样值不等同于重构样值时, 参考样值 可以一次性产生后暂存供以后需要时多次使用, 也可以每次需要时即时产 生, 也可以是这两种产生方法的组合; 步骤 2) 如果输入的匹配相对位置及匹配长度的特定值或者附加的标记位表明在当前 解码中的被匹配串 (样值) 的位置上没有来自第一重构参考像素样值暂存区 或第二重构参考像素样值暂存区或第三重构参考像素样值暂存区的匹配样 值, 即在当前解码位置缺少匹配样值, 则从已完成部分解码或完全解码的邻 近样值或边界缺省样值计算出仿匹配样值; 也可能可选地读取输入的未匹配 样值或其变体, 或可选地计算出未匹配样值;
步骤 3 ) 可选地用仿匹配样值补全未匹配样值位置上缺少的匹配样值, 把步骤 1 ) 复 制的匹配样值和步骤 2) 计算的仿匹配样值和 /或步骤 2) 从输入读取的未匹 配样值和 /或步骤 2) 从输入读取后再计算的未匹配样值合起来得到匹配解码 的完整的第一重构像素的样值, 并把所述第一重构像素的样值放入所述第一 重构参考像素样值暂存区;
使用以上 3 个步骤依次复制、 移动、 粘贴一个一个匹配串, 或者一个一个读出和 / 或计算出未匹配样值 (包括用仿匹配样值补全未匹配样值的位置), 最终复原出整个当 前解码块的所有样值; 也就是说, 解码一个解码块时, 所有的匹配当前串和不可匹配 样值合起来覆盖整个解码块; 当一个解码块内的匹配当前串有不同的固定宽度时, 一 个当前匹配串也可能覆盖另一个当前匹配串的一部分; 这时, 按照解码顺序, 后解码 的当前匹配串的样值取代其覆盖部分的先解码的当前匹配串的样值。
14. 根据权利要求 8或 9或 10或 11或 12或 13所述的解码方法, 其特征在于: 所述 解码方法与预测等非固定宽度可变长度串匹配解码 (含逆变换解码、 反量化解 码、 熵解码) 的步骤集成在一起, 形成包括但不限于以下步骤的全部或部分的解 码方法:
步骤 1 ) 进行一个解码块的熵解码, 解析得到所述解码块的头信息和数据信息, 头信 息包括后续对所述解码块进行解码时采用预测等非固定宽度可变长度串匹配 (简称预测等非串匹配) 解码步骤还是固定宽度可变长度串匹配 (简称串匹 配) 解码步骤, 熵解码也可能包括对匹配模式、 匹配相对位置、 匹配长度、 附加的标记位、 未匹配样值或其变体、 串匹配残差等熵解码对象的分别可选 的基于 1维或 2维邻近样值的一阶或高阶差分解码、 预测解码、 匹配解码、 映射解码、 逆变换解码、 反量化解码、 索引解码、 游程解码以及二值化解 码;
步骤 2) 对可能经过了变换-量化运算或量化运算的预测等非串匹配残差或串匹配残 差进行所述运算的逆运算, 即反量化-逆变换解码运算或反量化解码运算或 恒等运算, 产生出预测等非串匹配残差或串匹配残差; 本步骤是可选的, 如 果码流中既没有预测等非串匹配残差也没有串匹配残差, 就不进行本步骤的 运算;
步骤 3 ) 如果步骤 1 ) 解析出对所述解码块进行解码时采用预测等非串匹配解码步 骤, 则进行帧内预测解码或帧间预测等非串匹配解码, 统称为预测等非串匹 配解码, 产生出预测等非串匹配解码的初步重构像素, 并把所述初步重构像 素的样值放入第二重构参考像素样值暂存区, 然后跳至步骤 8), 否则, 顺序 执行下一步骤;
步骤 4) 使用步骤 1 ) 得到的一对或多对匹配相对位置 D及匹配长度 L进行一个解码 块的固定宽度可变长度串匹配解码, 从位置标号互不相交的第一重构参考像 素样值暂存区 (即第一重构参考像素样值集) 或第二重构参考像素样值暂存 区 (即第二重构参考像素样值集) 或第三重构参考像素样值暂存区 (即第三 重构参考像素样值集) 中, 按照已知的匹配模式和固定宽度, 复制长度为 L 的整个匹配串 (称为匹配参考串) 的所有样值, 并将整个匹配串移动和粘贴 到所述解码块中的被匹配串 (也称为匹配当前串) 的位置, 复原出整个被匹 配串, 如此逐个复原所有被匹配串; 一个匹配参考串本身可以跨越第一、 第 二和第三重构参考像素样值暂存区这三个暂存区中的两个或三个, 其属于哪 个暂存区由它的起始像素样值的位置来决定; 第一、 第二、 第三重构参考像 素样值集这三个参考像素样值集, 除了位置上和 /或重构阶段上的差别之 夕卜, 可能还各自分别经过不同的处理或变换或处理与变换的组合; 这三个重 构参考像素样值集, 虽然他们的位置标号互不相交, 但他们各自对应的当前 图像的三个区域仍然可能有互相重叠的部分; 这三个重构参考像素样值集的 一个或两个可以为空, 但不能三个都为空; 这三个重构参考像素样值集的输 入是重构样值而输出是参考样值, 参考样值可以等同于重构样值, 也可以是 重构样值的各种变体, 当参考样值不等同于重构样值时, 参考样值可以一次 性产生后暂存供以后需要时多次使用, 也可以每次需要时即时产生, 也可以 是这两种产生方法的组合;
步骤 5 ) 如果步骤 1 ) 得到的匹配相对位置及匹配长度的特定值或者附加的标记位表 明在当前解码中的被匹配串 (样值) 的位置上没有来自第一重构参考像素样 值暂存区或第二重构参考像素样值暂存区或第三重构参考像素样值暂存区的 匹配样值, 即在当前解码位置缺少匹配样值, 则从已完成部分解码或完全解 码的邻近样值或边界缺省样值计算出仿匹配样值; 也可能可选地读取输入的 未匹配样值或其变体, 或可选地计算出未匹配样值;
步骤 6) 如果在当前解码位置缺少匹配样值, 则可选地用步骤 5 ) 计算的仿匹配样值 补全缺少的匹配样值, 把步骤 4) 复制的匹配样值和步骤 5 ) 计算的仿匹配 样值和 /或未匹配样值合起来得到匹配解码的完整的第一重构像素 (即第一 重构参考像素) 的样值, 并把所述第一重构像素的样值放入所述第一重构参 考像素样值暂存区;
步骤 7) 串匹配补偿, 即用步骤 2) 产生的所述串匹配残差对步骤 6) 产生的所述第 一重构像素的样值进行补偿, 产生出串匹配解码的第二重构像素的样值, 并 把所述第二重构像素的样值放入所述第二重构参考像素样值暂存区; 步骤 8) 对步骤 3 ) 预测解码的初步重构像素或步骤 7) 串匹配解码的第二重构像素 进行去块效应滤波和像素补偿运算等后处理, 然后把经过这些运算后产生的 第三重构像素的样值放入所述第三重构参考像素样值暂存区, 用作后续预测 等非串匹配解码和固定宽度可变长度串匹配解码的参考像素;
步骤 9) 输出完全重构解码块的像素, 即所述解码块的第三重构像素的样值; 步骤 10) 判断是否已经完成对所有解码块的压缩码流数据的解码, 如果是, 则结束解 码, 否则回到步骤 1 ), 开始对下一个解码块的解码。
15. 一种图像编码装置, 其特征在于包括但不限于以下模块的全部或部分: 匹配参考 样值子集搜索编码模块, 重构参考像素样值暂存模块, 输出压缩码流模块。
16. 根据权利要求 15所述的编码装置, 其特征在于: 还包括以下模块: 计算仿匹配样 值模块。
17. 根据权利要求 15或 16所述的编码装置, 其特征在于: 还包括以下模块: 补全未 匹配样值位置上缺少的编码结果的模块。
18. 根据权利要求 15或 16或 17所述的编码装置, 其特征在于包括但不限于以下模块 的全部或部分: 模块 1 ) 固定宽度可变长度的串匹配搜索编码模块: 对输入视频像素样值施行固定宽 度可变长度的串匹配编码, 在位置标号互不重叠的第一重构参考像素样值暂 存模块 (暂存第一重构参考像素样值集的样值)、 第二重构参考像素样值暂 存模块 (暂存第二重构参考像素样值集的样值) 和第三重构参考像素样值暂 存模块 (暂存第三重构参考像素样值集的样值) 中, 搜索固定宽度可变长度 的最优匹配串 (称为匹配参考串), 并输出 (1 ) 最优匹配串的匹配样值、 (2 ) 最优匹配串的匹配相对位置 D 及匹配长度 L, ( 3 ) 可能的未匹配样 值, 即未找到匹配的当前编码中的原始像素或其变体的样值, 也称为不可匹 配样值; 一个匹配参考串本身可能跨越第一、 第二和第三重构参考像素样值 集的两个或三个, 其属于哪个集由它的起始像素样值的位置来决定; 所述三 个重构参考像素样值集的输入是重构样值而输出是参考样值, 参考样值可以 等同于重构样值, 也可以是重构样值的各种变体, 当参考样值不等同于重构 样值时, 参考样值可以一次性产生后暂存供以后需要时多次使用, 也可以每 次需要时即时产生, 也可以是这两种产生方法的组合;
模块 2) 从邻近样值计算仿匹配样值模块: 如果对某些输入视频像素样值, 在第一重 构参考像素样值暂存模块、 第二重构参考像素样值暂存模块和第三重构参考 像素样值暂存模块中, 都没有找到任何最优匹配样值, 即这些输入视频像素 样值是未匹配样值, 则从已经完成编码并且完成部分或完全重构的邻近样值 或边界缺省样值计算出仿匹配样值; 也可能可选地计算出未匹配像素的变 体; 输出匹配相对位置及匹配长度、 仿匹配样值和 /或未匹配样值和 /或其变 体;
模块 3 ) 用仿匹配样值补全未匹配样值模块: 用计算出来的所述仿匹配样值补全没有 找到任何最优匹配样值的所述未匹配样值的位置; 模块 1 ) 搜索找到的所述 匹配样值与所述未匹配样值和 /或模块 2) 计算得到的所述仿匹配样值合在一 起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值; 本模 块可以被旁路, 这时, 模块 1 ) 搜索找到的所述匹配样值与所述未匹配样值 合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样 值; 本模块输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固 定宽度可变长度串匹配方式的表征参数; 这些表征参数经过后续的熵编码 (也包括但不限于分别可选的基于 1维或 2维邻近参数的一阶或高阶差分编 码、 预测编码、 匹配编码、 映射编码、 变换编码、 量化编码、 索引编码、 游 程编码以及二值化编码等) 后被写入压缩码流; 本模块也可能可选地输出所 述匹配样值与所述仿匹配样值和 /或所述未匹配样值;
模块 4) 第一重构参考像素样值暂存模块: 用来暂存由找到的所述匹配样值与所述未 匹配样值和 /或计算的所述仿匹配样值合在一起形成的第一重构像素的样 值, 用作后续串匹配搜索编码时的第一参考像素样值。
19. 根据权利要求 15或 16或 17或 18所述的编码装置, 其特征在于: 所述编码模块 与预测编码 (含变换编码、 量化编码、 熵编码) 的模块集成在一起, 形成包括但 不限于以下模块的全部或部分的编码装置:
模块 1 ) 预测编码模块: 对输入视频像素样值施行帧内预测编码和帧间预测编码, 并 输出 (1 ) 预测残差和 (2) 预测模式和运动矢量;
模块 2) 固定宽度可变长度的串匹配搜索编码模块: 对所述输入视频像素样值施行固 定宽度可变长度的串匹配编码, 在位置标号互不重叠的第一重构参考像素样 值暂存模块 (暂存第一重构参考像素样值集的样值)、 第二重构参考像素样 值暂存模块 (暂存第二重构参考像素样值集的样值) 和第三重构参考像素样 值暂存模块 (暂存第三重构参考像素样值集的样值) 中, 搜索固定宽度可变 长度的最优匹配串, 并输出 (1 ) 最优匹配串的匹配样值、 (2 ) 最优匹配串 的匹配相对匹配位置 D及匹配长度 L, (3 ) 可能的未匹配样值, 即未找到匹 配的当前编码中的原始像素或其变体的样值, 也称为不可匹配样值; 一个匹 配参考串本身可能跨越第一、 第二和第三重构参考像素样值集的两个或三 个, 其属于哪个集由它的起始像素样值的位置来决定; 所述三个重构参考像 素样值集的输入是重构样值而输出是参考样值, 参考样值可以等同于重构样 值, 也可以是重构样值的各种变体, 如经过颜色量化、 数值量化、 向量量 化、 去噪音、 滤波、 特征抽取等处理的样值或经过色彩格式转换、 排列方式 转换、 频率域转换、 空间域映射、 DPCM、 一阶或高阶差分运算、 索引化等 变换的样值或经过多重处理与变换的像素值变体, 当参考样值不等同于重构 样值时, 参考样值可以一次性产生后暂存供以后需要时多次使用, 也可以每 次需要时即时产生, 也可以是这两种产生方法的组合;
模块 3 ) 从邻近样值计算仿匹配样值模块: 如果对某些输入视频像素样值, 在第一重 构参考像素样值暂存模块、 第二重构参考像素样值暂存模块和第三重构参考 像素样值暂存模块中, 都没有找到任何最优匹配样值, 即这些输入视频像素 样值是未匹配样值, 则从已经完成编码并且完成部分或完全重构的邻近样值 或边界缺省样值计算出仿匹配样值; 也可能可选地计算出未匹配像素的变 体; 输出匹配相对位置及匹配长度、 仿匹配样值和 /或未匹配样值和 /或其变 体;
模块 4) 用仿匹配样值补全未匹配样值模块: 用计算出来的所述仿匹配样值补全没有 找到任何最优匹配样值的所述未匹配样值的位置, 模块 2) 搜索找到的所述 匹配样值与所述未匹配样值和 /或模块 3 ) 计算得到的所述仿匹配样值合在一 起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样值; 本模 块可以被旁路, 这时, 模块 2) 搜索找到的所述匹配样值与所述未匹配样值 合在一起就是放入所述第一重构参考像素样值暂存模块的第一重构像素样 值; 本模块输出匹配相对位置及匹配长度和可选的未匹配样值或其变体等固 定宽度可变长度串匹配方式的表征参数; 这些表征参数经过后续的熵编码 (也包括分别可选的基于 1维或 2维邻近参数的一阶或高阶差分编码、 预测 编码、 匹配编码、 映射编码、 变换编码、 量化编码、 索引编码、 游程编码以 及二值化编码等) 后被写入压缩码流, 本模块也可能可选地输出所述匹配样 值与所述未匹配样值和 /或所述仿匹配样值; 模块 5 ) 第一重构参考像素样值暂存模块: 用来暂存由找到的所述匹配样值与所述未 匹配样值和 /或计算的所述仿匹配样值合在一起形成的第一重构像素的样 值, 用作后续串匹配搜索编码时的第一参考像素样值;
模块 6) 匹配残差计算模块: 从所述输入视频像素样值和所述第一重构像素的样值计 算出匹配残差;
模块 7) 变换模块: 对所述匹配残差和所述预测残差施行变换运算, 输出变换系数, 对某些类型的屏幕图像像素, 变换运算并不能起到压缩数据的效果, 在这种 情形, 就不施行变换运算, 也就是变换模块被旁路, 直接输出所述匹配残差 或所述预测残差;
模块 8) 量化模块: 对所述变换系数 (在变换模块未旁路的情形) 或所述匹配残差或 所述预测残差 (在变换模块被旁路的情形) 施行量化运算, 输出预测编码的 量化变换系数或量化预测残差, 并输出匹配编码的量化变换系数或量化匹配 残差, 变换模块和量化模块也可以都被旁路, 直接输出所述预测残差和所述 匹配残差;
模块 9) 熵编码模块: 对模块 2) 至模块 4) 及模块 6) 至模块 8) 施行的匹配编码方 式的结果如所述匹配相对位置、 所述匹配长度、 所述可选的未匹配样值或其 变体、 所述量化变换系数或所述量化匹配残差等施行熵编码; 对模块 1 )、 模 块 7)、 模块 8 ) 施行的预测编码方式的结果如所述预测模式、 所述运动矢 量、 所述量化变换系数或所述量化预测残差等施行熵编码, 包括对所述熵编 码对象的样值先施行分别可选的基于 1维或 2维邻近样值的一阶或高阶差分 编码、 预测编码、 匹配编码、 映射编码、 变换编码、 量化编码、 索引编码、 游程编码以及二值化编码;
模块 10) 重构模块: 施行预测编码模块、 变换模块、 量化模块这三个模块的预测编码 方式的逆运算; 施行固定宽度可变长度的串匹配搜索编码模块、 从邻近样值 计算仿匹配样值模块、 用仿匹配样值补全未匹配样值模块、 匹配残差计算模 块、 变换模块、 量化模块这六个模块的匹配编码方式的逆运算; 这些逆运算 产生第二重构像素的样值, 将所述第二重构像素输出到基于率 -失真性能的 最优预测模式与匹配模式选择模块用于率 -失真成本的计算; 在基于率 -失真 性能的最优预测模式与匹配模式选择模块确定了最优编码方式 (匹配编码方 式或者预测编码方式) 之后, 把所述最优编码方式对应的第二重构像素放入 第二重构参考像素样值暂存模块; 模块 11 ) 去块效应滤波和补偿模块: 对所述最优编码方式的第二重构像素进行去块效 应滤波和像素补偿运算, 产生第三重构像素, 然后把所述第三重构像素放入 第三重构参考像素样值暂存模块, 用作后续预测编码和固定宽度可变长度串 匹配编码的参考像素;
模块 12) 第二重构参考像素样值暂存模块: 本模块暂存第二重构像素, 提供固定宽度 可变长度的串匹配搜索编码模块所需的第二参考像素样值;
模块 13 ) 第三重构参考像素样值暂存模块: 本模块暂存第三重构像素, 提供预测编码 和固定宽度可变长度串匹配编码的第三参考像素;
模块 14) 基于率-失真性能的最优预测模式与匹配模式选择模块: 根据率 -失真性能选 择最优编码方式 (匹配编码方式或者预测编码方式)、 最优匹配模式、 最优 预测模式; 输出视频压缩码流; 压缩码流中至少含有匹配相对位置、 匹配长 度和可选的未匹配样值 (也称为不可匹配样值) 或其变体等固定宽度可变长 度串匹配方式的表征参数。
20. 一种图像解码装置, 其特征在于包括但不限于以下模块的全部或部分: 解析压缩 码流和获取匹配解码有关参数模块, 复制匹配参考样值子集以复原匹配当前样值 子集模块, 重构参考像素样值暂存模块。
21. 根据权利要求 20所述的解码装置, 其特征在于: 还包括以下模块: 计算仿匹配样 值模块。
22. 根据权利要求 20或 21所述的解码装置, 其特征在于: 还包括以下模块: 补全未 匹配样值位置上缺少的当前样值的模块。
23. 根据权利要求 20或 21或 22所述的解码装置, 其特征在于包括但不限于以下模块 的全部或部分: 模块 1 ) 固定宽度可变长度的串匹配解码模块: 本模块的功能是对从压缩码流中获取 的输入的固定宽度可变长度匹配串的匹配相对位置及匹配长度施行解码运 算, 即按照已知的匹配模式和固定宽度, 从位置标号互不相交的第一重构参 考像素样值暂存模块 (暂存第一重构参考像素样值集的样值) 或第二重构参 考像素样值暂存模块 (暂存第二重构参考像素样值集的样值) 或第三重构参 考像素样值暂存模块 (暂存第三重构参考像素样值集的样值) 中由匹配相对 位置指定的地方复制得到长度为匹配长度的整个匹配串 (即匹配参考串), 然后把所述整个匹配串移动和粘贴到当前解码块中的当前被匹配串 (即匹配 当前串) 的位置, 在当前解码块中复原出整个被匹配串; 一个匹配参考串本 身可能跨越第一、 第二和第三重构参考像素样值集的两个或三个, 其属于哪 个集由它的起始像素样值的位置来决定; 第一、 第二、 第三重构参考像素样 值集这三个参考像素样值集, 除了位置上和 /或重构阶段上的差别之外, 可 能还各自分别经过不同的处理或变换或这些处理与变换的组合; 这三个重构 参考像素样值集, 虽然他们的位置标号互不相交, 但他们各自对应的当前图 像的三个区域仍然可能有互相重叠的部分; 这三个重构参考像素样值集的一 个或两个可以为空, 但不能三个都为空; 这三个重构参考像素样值集的输入 是重构样值而输出是参考样值, 参考样值可以等同于重构样值, 也可以是重 构样值的各种变体, 当参考样值不等同于重构样值时, 参考样值可以一次性 产生后暂存供以后需要时多次使用, 也可以每次需要时即时产生, 也可以是 这两种产生方法的组合; 模块 2) 从邻近样值计算仿匹配样值模块: 如果输入的匹配相对位置及匹配长度的特 定值或者附加的标记位表明在当前解码中的被匹配串 (样值) 的位置上没有 来自第一重构参考像素样值暂存模块或第二重构参考像素样值暂存模块或第 三重构参考像素样值暂存模块的匹配样值, 即在当前解码位置缺少匹配样 值, 则从已完成部分解码或完全解码的邻近样值或边界缺省样值计算出仿匹 配样值; 也可能可选地读取输入的未匹配样值或其变体, 或可选地计算出未 匹配样值;
模块 3 ) 用仿匹配样值补全未匹配样值模块: 可选地用计算出来的仿匹配样值补全在 第一、 第二或第三重构参考像素样值暂存模块中不存在任何匹配样值的当前 解码位置上的像素样值; 模块 1 ) 复制和粘贴的匹配样值与模块 2) 计算的 仿匹配样值和 /或模块 2) 从输入得到的未匹配样值和 /或模块 2) 从输入得到 后再计算的未匹配样值合在一起就是匹配解码的第一重构像素的样值, 也是 本模块的输出; 本模块可以被旁路, 这时, 模块 1 ) 复制和粘贴的匹配样值 与模块 2) 从输入得到的未匹配样值合在一起就是匹配解码的第一重构像素 的样值;
模块 4) 第一重构参考像素样值暂存模块: 用来暂存所述第一重构像素的样值, 用作 后续固定宽度可变长度串匹配解码所需的第一参考像素的样值。
24. 根据权利要求 20或 21或 22或 23所述的解码装置, 其特征在于: 所述解码模块 与预测等非固定宽度可变长度串匹配解码 (含逆变换解码、 反量化解码、 熵解 码) 的模块集成在一起, 形成包括但不限于以下模块的全部或部分的解码装置: 模块 1 ) 熵解码模块: 对输入压缩码流数据施行熵解码, 得到当前解码序列、 当前解 码图像、 当前解码块的头信息和数据信息; 熵解码也可能包括对预测等非固 定宽度可变长度串匹配 (简称预测等非串匹配) 解码方式的预测模式和运动 矢量等各非串匹配解码参数、 固定宽度可变长度串匹配 (简称串匹配) 解码 方式的匹配模式、 匹配相对位置、 匹配长度、 附加的标记位、 未匹配样值或 其变体、 预测等非串匹配残差和串匹配残差 (可能经过了变换 -量化运算或 量化运算) 等熵解码对象的分别可选的基于 1维或 2维邻近样值的一阶或高 阶差分解码、 预测解码、 匹配解码、 映射解码、 逆变换解码、 反量化解码、 索引解码、 游程解码以及二值化解码; 熵解码还包括从输入压缩码流数据中 解析出当前解码块采用的是预测等非串匹配解码方式还是串匹配解码方式, 逆变换运算和反量化运算是否被旁路等信息; 在串匹配方式下, 所述当前解 码块的数据信息可以含有一个或多个匹配串的信息;
模块 2) 反量化模块: 如果反量化运算未被旁路, 则施行反量化运算, 输出变换系 数, 否则, 本模块被旁路, 不施行反量化运算, 直接输出预测等非串匹配残 差或串匹配残差;
模块 3 ) 逆变换模块: 如果逆变换运算未被旁路, 则施行逆变换运算, 输出预测等非 串匹配残差或串匹配残差, 否则, 本模块被旁路, 不施行逆变换运算, 这 时, 反量化模块也必定被旁路, 本模块直接输出预测等非串匹配残差或串匹 配残差;
模块 4) 预测等非串匹配解码模块: 施行帧内预测解码或帧间预测等非串匹配解码, 得到并输出预测等非串匹配解码的初步重构像素;
模块 5 ) 固定宽度可变长度的串匹配解码模块: 本模块的功能是对来自熵解码模块的 固定宽度可变长度匹配串的匹配相对位置及匹配长度施行解码运算, 即按照 已知的匹配模式和固定宽度, 从位置标号互不相交的第一重构参考像素样值 暂存模块 (暂存第一重构参考像素样值集的样值) 或第二重构参考像素样值 暂存模块 (暂存第二重构参考像素样值集的样值) 或第三重构参考像素样值 暂存模块 (暂存第三重构参考像素样值集的样值) 中由匹配相对位置指定的 地方复制得到长度为匹配长度的整个匹配串 (即匹配参考串), 然后把所述 整个匹配串移动和粘贴到当前解码块中的当前被匹配串 (即匹配当前串) 的 位置, 在当前解码块中复原出整个被匹配串; 一个匹配参考串本身可能跨越 第一、 第二和第三重构参考像素样值集的两个或三个, 其属于哪个集由它的 起始像素样值的位置来决定; 第一、 第二、 第三重构参考像素样值集这三个 参考像素样值集, 除了位置上和 /或重构阶段上的差别之外, 可能还各自分 别经过不同的处理或变换或处理与变换的组合; 这三个重构参考像素样值 集, 虽然他们的位置标号互不相交, 但他们各自对应的当前图像的三个区域 仍然可能有互相重叠的部分; 这三个重构参考像素样值集的一个或两个可以 为空, 但不能三个都为空; 这三个重构参考像素样值集的输入是重构样值而 输出是参考样值, 参考样值可以等同于重构样值, 也可以是重构样值的各种 变体, 当参考样值不等同于重构样值时, 参考样值可以一次性产生后暂存供 以后需要时多次使用, 也可以每次需要时即时产生, 也可以是这两种产生方 法的组合;
模块 6) 从邻近样值计算仿匹配样值模块: 如果来自熵解码模块的匹配相对位置及匹 配长度的特定值或者附加的标记位表明在当前解码中的被匹配串 (样值) 的 位置上没有来自第一重构参考像素样值暂存模块或第二重构参考像素样值暂 存模块或第三重构参考像素样值暂存模块的匹配样值, 即在当前解码位置缺 少匹配样值, 则从已完成部分解码或完全解码的邻近样值或边界缺省样值计 算出仿匹配样值; 也可能可选地读取来自码流的未匹配样值或其变体, 或可 选地计算出未匹配样值;
模块 7) 用仿匹配样值补全未匹配样值模块: 可选地用计算出来的仿匹配样值补全在 第一、 第二或第三重构参考像素样值暂存模块中不存在任何匹配样值的当前 解码位置上的像素样值; 模块 5 ) 复制和粘贴的匹配样值与模块 6) 计算的 仿匹配样值和 /或模块 6) 从输入码流得到的未匹配样值和 /或模块 6) 从输入 码流得到后再计算的未匹配样值合在一起就是匹配解码的第一重构像素的样 值; 所述匹配样值与所述仿匹配样值和 /或所述未匹配样值也是本模块的输 出; 本模块可以被旁路, 这时, 模块 5 ) 复制和粘贴的匹配样值与模块 6) 从输入码流得到的未匹配样值合在一起就是匹配解码的第一重构像素的样 值, 所述匹配样值与所述未匹配样值也是本模块的输出;
模块 8) 第一重构参考像素样值暂存模块: 用来暂存所述第一重构像素的样值, 用作 后续固定宽度可变长度串匹配解码所需的第一参考像素的样值; 模块 9) 串匹配补偿模块: 把模块 3 ) 输出的所述串匹配残差与模块 7) 输出的所述 第一重构像素的样值相加, 产生出串匹配解码的第二重构像素的样值即本模 块的输出;
模块 10) 去块效应滤波和补偿模块等后处理: 对模块 4) 输出的初步重构像素或模块
9) 输出的第二重构像素进行去块效应滤波和像素补偿运算等后处理, 产生 第三重构像素, 然后把所述第三重构像素放入第三重构参考像素样值暂存模 块, 用作后续固定宽度可变长度串匹配解码和预测等非串匹配解码的参考像 素; 第三重构像素通常也是整个集成的解码装置的最终输出像素; 模块 11 ) 第二重构参考像素样值暂存模块: 本模块暂存第二重构像素, 提供后续固定 宽度可变长度串匹配解码所需的第二参考像素样值;
模块 12) 第三重构参考像素样值暂存模块: 本模块暂存第三重构像素, 提供后续预测 等非串匹配解码和固定宽度可变长度串匹配解码所需的第三参考像素。
25. 根据权利要求 8或 9或 10或 1 1或 12或 13或 14或 20或 21或 22或 23或 24所 述的解码方法或解码装置, 其特征在于: 解码一个完整的所述解码块至少需要一 个或多个表明在当前解码位置是否缺少匹配样值的输入标记位 (简记为 F或 F 和一对或多对输入的 (匹配相对位置, 匹配长度), 依解码顺序排列成下列情形之
情形一:
Fi, (Di, Li ) 或空白, F2, (D2, L2) 或空白, , Fn, (Dn, Ln) 或空白 其中标记位 取一个值时表明后面跟着一个匹配串的匹配相对位置 和匹配长度 而!^取另一个值时表明当前解码位置缺少匹配样值从而后面是空白; 情形二:
当 Fi的取值表明当前解码位置缺少匹配样值时, 用一个附加的从码流中获取的输 入像素样值即未匹配像素样值或其变体 Pi来替代缺少的匹配样值:
Fi, (Di, Li) 或 F2, (D2, L2) 或 P2, , Fn, (Dn, Ln) 或 Pn 其中标记位 取一个值时表明后面跟着一个匹配串的匹配相对位置 和匹配长度 而 取另一个值时表明当前解码位置缺少匹配样值从而后面跟着输入像素样 值或其变体 P1; 情形三:
情形一与情形二的组合:
Fi, (Di, Li ) 或空白或 Pi, F2, (D2, L2) 或空白或 P2, , Fn, (Dn, Ln) 或空白 或 Pn
其中标记位 取第 1个值时表明后面跟着一个匹配串的匹配相对位置 D^P匹配长 度 I^, 取第 2个值时表明当前解码位置缺少匹配样值并用仿匹配样值来补全从 而后面是空白; 而 取第 2+m ( l≤m≤M) 个值时表明当前解码位置缺少匹配样值 但后面不是空白而是跟着仿匹配样值与输入像素样值或其变体的 M种组合和运算 之中的第 m种组合和运算的结果 P1; M通常小于 10。
26. 根据权利要求 8或 9或 10或 11或 12或 13或 14或 20或 21或 22或 23或 24或
25 所述的解码方法或解码装置, 其特征在于: 所述输入标记位, 输入匹配相对位 置, 输入匹配长度, 输入像素样值或其变体等不同类型的解码输入参数, 其记述 和表达形式可以是这些参数经过熵编码、 一阶或高阶差分编码、 预测编码、 匹配 编码、 映射编码、 变换编码、 量化编码、 索引编码、 游程编码、 二值化编码后的 存在于比特流中的语法元素; 所述不同类型的语法元素在比特流中的放置顺序, 可以是下列两种之一或其组合:
顺序 1 ) 不同类型的单个数值交叉放置;
顺序 2) 同一类型的所有数值集中放置。
27. 根据权利要求 8或 9或 10或 1 1或 12或 13或 14或 20或 21或 22或 23或 24或
25或 26所述的解码方法或解码装置, 其特征在于: 所述匹配相对位置 Di或其变体是单分量参数或双分量参数或三分量参数; 所述匹 配相对位置 Di 或其变体对应的压缩码流中的语法元素具有但不限于下列形式之 一个匹配串的匹配相对位置 或其变体对应的语法元素: d (—个分量) 或者
一个匹配串的匹配相对位置 或其变体对应的语法元素: d[0],d[l] (两个分量) 或者
一个匹配串的匹配相对位置 或其变体对应的语法元素: d[0], d[l], d[2] (三个分量)
所述匹配长度 或其变体是单分量参数或双分量参数或三分量参数; 所述匹配长 度1^或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一:
一个匹配串的匹配长度1^或其变体对应的语法元素: r (一个分量) 或者
一个匹配串的匹配长度1^或其变体对应的语法元素: r[0],r[l] (两个分量) 或者
一个匹配串的匹配长度 或其变体对应的语法元素: r[0], r[l], r[2] (三个分量)
所述未匹配像素 或其变体是单分量参数或双分量参数或三分量参数; 所述未匹 配像素 或其变体对应的压缩码流中的语法元素具有但不限于下列形式之一: 未匹配像素 或其变体对应的语法元素: p (—个分量) 或者
未匹配像素 或其变体对应的语法元素: ρ[0],ρ[1] 两个分量) 或者
未匹配像素 或其变体对应的语法元素: p[0], p[l], p[2] (三个分量)。
28. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27所述的 编码方法或解码方法或编码装置或解码装置, 其特征在于: 所述压缩码流的序列 参数集码流段含有但不限于载入了下列信息的语法元素:
在本序列中是否采用串匹配工具的标记位: string_matching_enable 当所述标记位取一个值时, 本序列采用串匹配工具, 当所述标记位取另一个值 时, 本序列不采用串匹配工具。
29. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 所述的编码方法或解码方法或编码装置或解码装置, 其特征在于: 所述压缩码流 的 CTU头信息码流段含有但不限于载入了下列信息的语法元素:
当前 CTU中是否采用串匹配工具的标记位: ctu_ISC_enable 当所述标记位取一个值时, 当前 CTU采用串匹配工具, 当所述标记位取另一个值 时, 当前 CTU不采用串匹配工具。
30. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29所述的编码方法或解码方法或编码装置或解码装置, 其特征在于: 所述压缩 码流的 CU头信息码流段含有但不限于载入了下列信息的语法元素:
当前 CU中是否采用串匹配工具的标记位: cu_ISC_enable 当所述标记位取一个值时, 当前 CU采用串匹配工具, 当所述标记位取另一个值 时, 当前 CU不采用串匹配工具。
31. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30所述的编码方法或解码方法或编码装置或解码装置, 其特征在于: 所 述压缩码流的编码块或解码块或 PU或 CU或 CTU或 LCU部分压缩码流段含有 但不限于载入了下列参数或其变体的语法元素的全部或部分: 第一类模式, 第二类模式,
第三类模式,
第四类模式,
匹配标记位 1, 样值集编号 1 或空, (匹配相对位置 1, 长度 1 ) 或未匹配样值 1 或空,
匹配标记位 2, 样值集编号 2或空, (匹配相对位置 2, 长度 2) 或未匹配样值 2 或空,
更多的匹配标记位, 样值集编号或空, (匹配相对位置, 长度) 或未匹配样值或 空,
匹配标记位 N, 样值集编号 N或空, (匹配相对位置 N, 长度 N) 或未匹配样值 N或空, 匹配残差或空; 所有所述语法元素在码流中的放置排列顺序并不是唯一的, 可采用任意一种预先 确定的合理的顺序; 任何一个语法元素也可以被拆成几部分, 所述几部分可以集中放 置在码流中同一地方, 也可以分别放置在码流中不同的地方; 任何若干语法元素也可 以合并成一个语法元素; 任何语法元素也可以不存在于某个编码块或解码块或 PU或 CU或 CTU或 LCU的压缩码流段中; 压缩码流段中的匹配相对位置, 匹配长度, 未匹配像素样值等参数, 可以是这些 参数本身, 也可以是这些参数经过预测编码、 匹配编码、 变换编码、 量化编码、 DPCM、 一阶和高阶差分编码、 映射编码、 游程编码、 索引编码等各种常用技术编码 后的变体;
所述匹配相对位置、 匹配长度、, 未匹配像素分别可以仅有一个参数分量, 也可以 有两个参数分量, 或者进一步划分成三个参数分量甚至更多参数分量
所述样值集编号可以是匹配相对位置的一部分, 或者只有一个样值集, 这时, 样 值集编号为空。
根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31 所述的编码方法或解码方法或编码装置或解码装置, 其特征在 于: 所述重构参考像素样值集、 匹配参考样值子集、 匹配当前样值子集、 匹配参 考串、 匹配当前串、 匹配串、 被匹配串的像素样值是下列情形之一: 像素样值以叠包格式排列
或者
像素样值被分解成 3 个分量样值平面, 所述匹配参考样值子集、 匹配当前样值子集、 匹配参考串、 匹配当前串、 匹配串、 被匹配串实际都有 3 个分量, 分别位于 3 个分量 平面内;
或者
像素样值是索引像素。
33. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32所述的编码方法或解码方法或编码装置或解码装置, 其特 征在于: 所述第一重构参考像素样值集由离当前编码或解码样值最接近的位置上 的第一重构参考像素样值构成; 所述第二重构参考像素样值集由比第一重构参考 像素样值集更前面 (离当前编码或解码样值更远) 的位置上的第二重构参考像素 样值构成; 所述第三重构参考像素样值集由比第二重构参考像素样值集更前面 (离当前编码或解码样值最远) 的位置上的第三重构参考像素样值构成。
34. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33所述的编码方法或解码方法或编码装置或解码装置, 其特征在于: 所述第一重构参考像素样值集由当前正在编码或解码的 CU 中当前 编码或解码样值之前已经完成阶段性重构 (处于其特有重构阶段) 的位置上的第 一重构参考像素样值构成; 所述第二重构参考像素样值集由当前正在编码或解码 的 LCU中已经完成阶段性重构 (处于其特有重构阶段) 的 CU (不包括当前正在 编码或解码的 CU) 的位置上的第二重构参考像素样值以及前一个刚完成编码或 解码的阶段性重构 (处于其特有重构阶段) 的 LCU的位置上的第二重构参考像素 样值构成; 所述第三重构参考像素样值集由比刚完成编码或解码的阶段性重构 (处于其特有重构阶段) 的 LCU更前面的位置上的若干个 LCU的第三重构参考 像素样值构成。
35. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 33或 34所述的编码方法或解码方法或编码装置或解码装置, 其特征在于:
任意一个重构参考像素样值集有独立 (即不一定但也可以与其他任意一个重构参考 像素样值集一致) 的下列分量排列格式、 色彩格式、 像素样值排列方式之一:
叠包格式、 YUV色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
叠包格式、 YUV色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
叠包格式、 YUV色彩格式、 图像固有的 2维排列方式 或者
叠包格式、 GBR色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
叠包格式、 GBR色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
叠包格式、 GBR色彩格式、 图像固有的 2维排列方式 或者
平面格式、 YUV色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
平面格式、 YUV色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
平面格式、 YUV色彩格式、 图像固有的 2维排列方式 或者
平面格式、 GBR色彩格式、 LCU或 CU内垂直扫描 1维串形排列方式 或者
平面格式、 GBR色彩格式、 LCU或 CU内水平扫描 1维串形排列方式 或者
平面格式、 GBR色彩格式、 图像固有的 2维排列方式 或者 空集。
36. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 33或 34或 35所述的编码方法或解码方法或编码装置或解码 装置, 其特征在于重构参考像素样值集的三个部分 (也被称为三个重构参考像素 样值集) 的像素具有下列表现格式之一:
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用 3分量 表现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用 3分量 表现格式, 第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用 3分量 表现格式, 第三重构参考像素样值集为空; 或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用索引表 现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用索引表 现格式, 第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集采用索引表 现格式, 第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用索引表现格式, 第二重构参考像素样值集为空, 第三 重构参考像素样值集为空;
或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采用 3分 量表现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采用 3分 量表现格式, 第三重构参考像素样值集采用索引表现格式;
或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采用 3分 量表现格式, 第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采用索引 表现格式, 第三重构参考像素样值集采用 3分量表现格式; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采用索引 表现格式, 第三重构参考像素样值集采用索引表现格式; 或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集采用索引 表现格式, 第三重构参考像素样值集为空;
或者
第一重构参考像素样值集采用 3分量表现格式, 第二重构参考像素样值集为空, 第 三重构参考像素样值集为空。
37. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36所述的编码方法或解码方法或编码 装置或解码装置, 其特征在于:
所述固定宽度可变长度串匹配的固定宽度在一个编码块或解码块或 PU或 CU或若 干个 CU或一幅图像或一个序列中是一个常数 W; 或者
所述固定宽度可变长度串匹配的固定宽度 W在一个水平 (或垂直) 方向的总样值 数为 X的编码块或解码块或 PU或 CU或 CTU或 LCU内可以取下列前后成 2倍关系 的固定值之一: 1, 2, 4, ... ..., X; 当编码或解码一个匹配当前串时, 由另外一个编 码或解码变量参数来确定取哪个固定值, 因此, 不同的匹配当前串可能取相同的固定 值, 也可能取不同的固定值; 或者
所述固定宽度可变长度串匹配的固定宽度 w在一个水平 (或垂直) 方向的总样值 数为 X的编码块或解码块或 PU或 CU或 CTU或 LCU内可以取下列 K个固定值之 一: 1, 2, ......, k, ......, K-1, K; 当编码或解码中匹配串的名义长度 L 满足 (k- i;>X + 1 ≤ L≤ kX时, W取值 k, 因此, 不同的匹配串可能取相同的固定值, 也可能取 不同的固定值。
38. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37所述的编码方法或解码方法或 编码装置或解码装置, 其特征在于匹配相对位置 D和匹配长度 L的取值包括但不 限于下列情形之一:
匹配参考串和匹配当前串可以有互相重叠的样值位置, 即匹配串的匹配相对位置 D 和匹配长度 L满足下列关系: D<L; 这时, 匹配当前串的 L个样值是匹配参考串的第 一个样值与匹配当前串的第一个样值之间的 D 个样值 (即匹配当前串的第一个样值之 前的 D个样值) 的重复, 也就是: 当 D=1<L时, 匹配当前串是匹配当前串的第一个样值 (即当前样值) 之前的那个 样值 P重复 L次: PPP ...... PP, 即匹配当前串的 L个样值都是 P; 当 D = 2<L而 L是偶数时, 匹配当前串是当前样值之前的两个样值 PiP2重复 L/2 次: Ρ Ρ ...... ΡιΡ2, 即匹配当前串的 L个样值都是 的重复;
当 D = 2<L 而 L 是奇数时, 匹配当前串是当前样值之前的两个样值 PiP2重复 (L- 1)/2次后再加上 P1: P1P2P1P2...... ΡιΡ2Ρι, 即匹配当前串的 L个样值都是 的重复, 最后再加上 Pi;
当 D = 3<L时, 匹配当前串是当前样值之前的三个样值 P 2P3的重复一直到匹配长 度达到 L;
当 D=4<L时, 匹配当前串是当前样值之前的四个样值 P 2P3P4的重复一直到匹配 长度达到 L;
当 D<L时, 匹配当前串是当前样值之前的 D个样值 ...... PD-1PD的重复一直到 匹配长度达到 L; 或者
在一个水平 (或垂直) 方向的总样值数为 X 的编码块或解码块或 PU 或 CU 或 CTU或 LCU 内, 匹配参考串在匹配当前串的相邻正上方 (或正左边), 即匹配串的匹 配相对位置 D和匹配长度 L满足下列关系: D = X, L≤X; 当这种情况出现的频度很高 时, D = X用一个特殊的较短的码放入码流; 或者
在一个水平 (或垂直) 方向的总样值数为 X 的编码块或解码块或 PU 或 CU 或 CTU或 LCU内, 匹配参考串在匹配当前串的正上方 (或正左边) 但并不一定相邻, 即 匹配串的匹配相对位置 D 满足下列关系: D = nX; 当这种情况出现的频度很高时, D =nX用若干特殊的较短的码来表示 n并放入码流。
39. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 1 1或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38所述的编码方法或解码 方法或编码装置或解码装置, 其特征在于参考像素样值与重构像素样值之间的关 系包括但不限于下列情形之一: 参考像素样值是重构像素样值经过数值量化和反量化运算的样值;
或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 计算一次之后, 不再变动;
或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值量化和 反量化运算使用编码或解码量化参数来计算;
或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值量化和 反量化运算使用参考像素样值所在 CU的编码或解码量化参数来计算; 或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值量化和 反量化运算使用参考像素样值所在 CU 的编码或解码量化参数来计算, 计算一次之 后, 不再变动;
或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值量化和 反量化运算使用当前 CU的编码或解码量化参数来计算; 或者 参考像素样值是重构像素样值经过数值量化和反量化运算的样值, 所述数值量化和 反量化运算使用当前 CU的编码或解码量化参数来计算, 每编码或解码一个 cu, 要重 新计算一次;
或者 参考像素样值是重构像素样值经过颜色量化的样值;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用基于颜色的 像素聚类获得的一个调色板来计算;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个与参考 像素样值所在编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜色的像素聚类 获得的调色板来计算; 或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个与参考 像素样值所在编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜色的像素聚类 获得的调色板来计算, 计算一次之后, 不再变动; 或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个与参考 像素样值所在编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜色的像素聚类 获得的动态更新部分内容的调色板来计算, 计算一次之后, 不再变动;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个与当前 编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜色的像素聚类获得的调色板 来计算;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个与当前 编码块或解码块或 PU或 CU或 CTU或 LCU关联的基于颜色的像素聚类获得的调色板 来计算, 每编码或解码一个编码块或解码块或 PU或 CU或 CTU或 LCU, 要重新计算 一次;
或者 参考像素样值是重构像素样值经过颜色量化的样值, 所述颜色量化采用一个全局的 基于颜色的像素聚类获得的调色板来计算。
40. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39所述的编码方法或 解码方法或编码装置或解码装置, 其特征在于匹配相对位置以及其在压缩数据比 特流中对应的语法元素包括但不限于下列情形之一:
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式排列成一个 1维的数组, 数组中每 个样值都有一个线性地址, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个 样值的线性地址减去所述匹配当前串的第一个样值的线性地址; 所述匹配相对位置在 压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所述 匹配相对位置通常是一个单变量参数即只有 1个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式排列成一个 1维的数组, 数组中每 个样值都有一个线性地址, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个 样值的线性地址减去所述匹配当前串的第一个样值的线性地址; 所述匹配相对位置在 压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列 方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵 编码的语法元素; 所述匹配相对位置通常是一个单变量参数即只有 1个分量;
或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式排列成一个 2维的数组, 数组中每 个样值都有一个平面坐标, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个 样值的平面坐标减去所述匹配当前串的第一个样值的平面坐标; 所述匹配相对位置在 压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所述 匹配相对位置通常是一个双变量参数即有 2个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式排列成一个 2维的数组, 数组中每 个样值都有一个平面坐标, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个 样值的平面坐标减去所述匹配当前串的第一个样值的平面坐标; 所述匹配相对位置在 压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排列 方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵 编码的语法元素; 所述匹配相对位置通常是一个双变量参数即有 2个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式先划分成若干区域, 每个区域内的 样值再排列成一个 2 维的数组, 区域和数组中每个样值都有一个区域编号和一个平面 坐标, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和平 面坐标减去所述匹配当前串的第一个样值的区域编号和平面坐标; 所述匹配相对位置 在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所 述匹配相对位置通常是一个三变量参数即有 3个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式先划分成若干区域, 每个区域内的 样值再排列成一个 2 维的数组, 区域和数组中每个样值都有一个区域编号和一个平面 坐标, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和平 面坐标减去所述匹配当前串的第一个样值的区域编号和平面坐标; 所述匹配相对位置 在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过排 列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过 熵编码的语法元素; 所述匹配相对位置通常是一个三变量参数即有 3个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式先划分成若干区域, 每个区域内的 样值再排列成一个 1 维的数组, 区域和数组中每个样值都有一个区域编号和一个线性 地址, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和线 性地址减去所述匹配当前串的第一个样值的区域编号和线性地址; 所述匹配相对位置 在压缩数据比特流中对应的语法元素是所述匹配相对位置经过熵编码的语法元素; 所 述匹配相对位置通常是一个双变量参数即有 2个分量; 或者
非空的第一、 第二、 第三重构参考像素样值集的样值和当前编码块或解码块或 PU 或 CU或 CTU或 LCU的样值按照预先规定的方式先划分成若干区域, 每个区域内的 样值再排列成一个 1 维的数组, 区域和数组中每个样值都有一个区域编号和一个线性 地址, 匹配当前串的匹配相对位置是对应的匹配参考串的第一个样值的区域编号和线 性地址减去所述匹配当前串的第一个样值的区域编号和线性地址; 所述匹配相对位置 在压缩数据比特流中对应的语法元素是所述匹配相对位置与其他匹配相对位置经过一 阶或高阶预测和差分运算后再经过熵编码的语法元素; 所述匹配相对位置通常是一个 双变量参数即有 2个分量。
41. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 1 1或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39或 40所述的编码 方法或解码方法或编码装置或解码装置, 其特征在于匹配长度以及其在压缩数据 比特流中对应的语法元素包括但不限于下列情形之一:
匹配当前串的匹配长度 L 是一个单变量参数; 所述匹配长度在压缩数据比特流中 对应的语法元素是所述匹配长度的单变量参数经过熵编码的语法元素;
或者
匹配当前串的匹配长度 L 是一个单变量参数; 所述匹配长度在压缩数据比特流中 对应的语法元素是所述匹配长度的单变量参数与其他匹配长度的单变量参数经过排列 方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算后再经过熵 编码的语法元素;
或者
在一个水平 (或垂直) 方向的总样值数为 X 的编码块或解码块或 PU 或 CU 或 CTU或 LCU内, 匹配当前串的匹配长度 L被分解成一对双变量参数 (k, LL), 其中 k是满足 (k-l)X + 1 < L < kX的一个正整数, 而 LL =L一 (k-l)X; 所述匹配长度在压缩 数据比特流中对应的语法元素是所述匹配长度的双变量参数经过熵编码的语法元素; 或者
在一个水平 (或垂直) 方向的总样值数为 X 的编码块或解码块或 PU 或 CU 或 CTU或 LCU内, 匹配当前串的匹配长度 L被分解成一对双变量参数 (k, LL), 其中 k是满足 (k-l)X + 1 < L < kX的一个正整数, 而 LL =L一 (k-l)X; 所述匹配长度在压缩 数据比特流中对应的语法元素是所述匹配长度的双变量参数与其他匹配长度的双变量 参数经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运 算后再经过熵编码的语法元素; 或者
其第一个像素样值与当前编码块或解码块或 PU或 CU或 CTU或 LCU的右边界 (或下边界) 之间的水平 (或垂直) 距离为 X的匹配当前串的匹配长度 L被分解成一 对双变量参数 (k, LL), 其中 k是满足 Ck-i;>X + l≤L≤kX的一个正整数, 而 LL=L一 (k-l)X; 所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参 数经过熵编码的语法元素; 或者
其第一个像素样值与当前编码块或解码块或 PU或 CU或 CTU或 LCU的右边界 (或下边界) 之间的水平 (或垂直) 距离为 X的匹配当前串的匹配长度 L被分解成一 对双变量参数 (k, LL), 其中 k是满足 Ck-i;>X + l≤L≤kX的一个正整数, 而 LL=L一 (k-l)X; 所述匹配长度在压缩数据比特流中对应的语法元素是所述匹配长度的双变量参 数与其他匹配长度的双变量参数经过排列方式转换和 /或映射运算和 /或串匹配编码和 / 或一阶或高阶预测和差分运算后再经过熵编码的语法元素。
42. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 1 1或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39或 40或 41所述的 编码方法或解码方法或编码装置或解码装置, 其特征在于未匹配样值在压缩数据 比特流中对应的语法元素包括但不限于下列情形之一: 未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过熵编码的语 法元素;
或者 未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未匹配样 值经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算 后再经过熵编码的语法元素; 或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值经过量化运算后 再经过熵编码的语法元素; 或者
未匹配样值在压缩数据比特流中对应的语法元素是所述未匹配样值与其他未匹配样 值经过排列方式转换和 /或映射运算和 /或串匹配编码和 /或一阶或高阶预测和差分运算 后再经过量化运算后再经过熵编码的语法元素。
43. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 1 1或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39或 40或 41或 42 所述的编码方法或解码方法或编码装置或解码装置, 其特征在于第一重构参考像 素样值集由一部分重构像素样值组成, 仅用来进行匹配长度为 1 的串匹配 (这种 特殊的串匹配也被称为点匹配); 所述第一重构参考像素样值集内的每一个像素样 值都有一个唯一的地址, 当前 CU 的当前样值在所述第一重构参考像素样值集内 找到的串匹配的匹配长度都是 1 而匹配相对位置就是匹配参考串的第一个样值
(也是唯一的样值) 的地址; 所述第一重构参考像素样值集也被称为点匹配重构 参考像素样值集或点匹配参考集或调色板, 所述匹配相对位置即所述地址也被称 为索引。
44. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39或 40或 41或 42 或 43所述的编码方法或解码方法或编码装置或解码装置, 其特征在于编码或解码 一个当前编码块或当前解码块时, 点匹配重构参考像素样值集的更新包括但不限 于下列情形之一:
不更新,
或者 更新部分内容;
或者
更新全部内容; 编码或解码一个当前编码块或当前解码块时, 点匹配重构参考像素样值集内的内 容 (参考样值) 按照预先规定的策略来更新, 点匹配重构参考像素样值集内的参考样 值的数目也按照预先规定的策略而变化; 在压缩码流的编码块或解码块或 PU或 CU或 CTU或 LCU部分压缩码流段含有但不限于载入了下列参数或其变体的语法元素的全部 或部分:
是否需要更新点匹配参考集的标记位: pt_matching_ref_set_update_flag 需要更新的点匹配参考集的样值的数目: pt_matching_ref_set_update_num 当 pt_matching_ref_set_update_flag 取一个值时表示需要更新点匹配重构参考像素样 值集, 当 pt_matching_ref_set_update_flag 取另一个值时表示不需要更新点匹配重构 参考像素样值集; 当不需要更新点匹配参考集时, 码流段中不存在 pt_matching ref_set_update_num , 当 需 要 更 新 点 匹 配 参 考 集 时 , pt.matching ref_set_update_num指定了需要更新的点匹配参考集的样值的数目。
45. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39或 40或 41或 42 或 43或 44所述的编码方法或解码方法或编码装置或解码装置, 其特征在于两个 或三个参考像素样值集各自对应的当前图像的两个或三个区域有互相重叠的部分 的情形包括但不限于下列情形之一:
第一重构参考像素样值集对应的当前图像的区域, 第二重构参考像素样值集对应的 当前图像的区域, 第三重构参考像素样值集对应的当前图像的区域这三个区域完全重 叠, 第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标号; 或者
第一、 第二、 第三重构参考像素样值集对应的当前图像的区域是相同的区域, 都是 当前 CU 以及当前 CU之前已经完成阶段性重构 (处于各重构阶段) 的 N (N小于几 百) 个 CU, 第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的位置 标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置标 号;
或者
第一、 第二、 第三重构参考像素样值集对应的当前图像的区域是相同的区域, 都是 当前 LCU以及当前 LCU之前已经完成阶段性重构 (处于各重构阶段) 的 N (N小于 几百) 个 LCU, 第一重构参考像素样值集的位置标号小于第二重构参考像素样值集的 位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素样值集的位置 标号;
或者
第一、 第二、 第三重构参考像素样值集对应的当前图像的区域是相同的区域, 都是 当前编码或解码样值之前已经完成阶段性重构 (处于各重构阶段) 的 N (N在几千至 几百万之间) 个样值, 第一重构参考像素样值集的位置标号小于第二重构参考像素样 值集的位置标号, 第二重构参考像素样值集的位置标号小于第三重构参考像素样值集 的位置标号; 或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集对应的 当前图像的区域部分重叠, 第二重构参考像素样值集对应的当前图像的区域与第三重 构参考像素样值集对应的当前图像的区域部分重叠, 但第一重构参考像素样值集对应 的当前图像的区域与第三重构参考像素样值集对应的当前图像的区域不重叠, 第一重 构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号, 第二重构参 考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域与第二重构参考像素样值集对应的 当前图像的区域部分重叠, 第二重构参考像素样值集对应的当前图像的区域与第三重 构参考像素样值集对应的当前图像的区域部分重叠, 第一重构参考像素样值集对应的 当前图像的区域与第三重构参考像素样值集对应的当前图像的区域部分重叠, 第一重 构参考像素样值集的位置标号小于第二重构参考像素样值集的位置标号, 第二重构参 考像素样值集的位置标号小于第三重构参考像素样值集的位置标号;
或者
第一重构参考像素样值集对应的当前图像的区域是第二重构参考像素样值集对应的 当前图像的区域的一部分, 第二重构参考像素样值集对应的当前图像的区域是第三重 构参考像素样值集对应的当前图像的区域的一部分, 第一重构参考像素样值集的位置 标号小于第二重构参考像素样值集的位置标号, 第二重构参考像素样值集的位置标号 小于第三重构参考像素样值集的位置标号。
46. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39或 40或 41或 42 或 43或 44或 45所述的编码方法或解码方法或编码装置或解码装置, 其特征在于 参考像素样值集的个数被扩展成包括但不限于下列情形之一:
三个参考像素样值集被扩展成四个参考像素样值集, 即除了第一、 第二、 第三重构 参考像素样值集之外, 还有第四重构参考像素样值集, 匹配参考串来自所述四个参考 像素样值集之一;
或者 三个参考像素样值集被扩展成五个参考像素样值集, 即除了第一、 第二、 第三重构 参考像素样值集之外, 还有第四、 第五重构参考像素样值集, 匹配参考串来自所述五 个参考像素样值集之一;
或者 三个参考像素样值集被扩展成六个参考像素样值集, 即除了第一、 第二、 第三重构 参考像素样值集之外, 还有第四、 第五、 第六重构参考像素样值集, 匹配参考串来自 所述六个参考像素样值集之一; 或者
三个参考像素样值集被扩展成 N (通常 N小于 10) 个参考像素样值集, 即除了第 一、 第二、 第三重构参考像素样值集之外, 还有第四、 第五、 ... ...、 第 N个重构参考 像素样值集, 所述匹配参考串来自所述 N个参考像素样值集之一。
47. 根据权利要求 1或 2或 3或 4或 5或 6或 7或 8或 9或 10或 11或 12或 13或 14 或 15或 16或 17或 18或 19或 20或 21或 22或 23或 24或 25或 26或 27或 28 或 29或 30或 31或 32或 33或 34或 35或 36或 37或 38或 39或 40或 41或 42 或 43或 44或 45或 46所述的编码方法或解码方法或编码装置或解码装置, 其特 征在于参考像素样值集所在图像从当前图像被扩展成包括但不限于下列情形之 定宽度变长度像素样值串匹配的参考像素样值集从当前图像扩展到当前图像之前已 经完成阶段性重构 (处于各重构阶段) 的 N (N<15 ) 帧图像; 或者
第一、 第二、 第三重构参考像素样值集在当前图像中, 第四重构参考像素样值集在 已经完成阶段性重构 (处于各重构阶段) 的前一帧图像中;
或者
第一、 第二重构参考像素样值集在当前图像中, 第三重构参考像素样值集跨越当前 图像和已经完成阶段性重构 (处于各重构阶段) 的前一帧图像, 即部分在当前图像 中, 部分在已经完成阶段性重构 (处于各重构阶段) 的前一帧图像中; 或者
第一重构参考像素样值集在当前图像中, 第二重构参考像素样值集跨越当前图像和 已经完成阶段性重构 (处于各重构阶段) 的前一帧图像, 即部分在当前图像中, 部分 在已经完成阶段性重构 (处于各重构阶段) 的前一帧图像中, 第三重构参考像素样值 集也跨越当前图像和已经完成阶段性重构 (处于各重构阶段) 的前一帧图像, 即部分 在当前图像中, 部分在已经完成阶段性重构 (处于各重构阶段) 的前一帧图像中。
PCT/CN2014/084509 2013-08-16 2014-08-15 定宽度变长度像素样值串匹配增强的图像压缩方法和装置 WO2015021942A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP14836021.7A EP3035683A4 (en) 2013-08-16 2014-08-15 PICTURE COMPRESSION PROCESS AND DEVICE, WITH IMPROVED ADJUSTMENT OF FIXED WIDTH AND VARIABLE LENGTH PIXEL MARK CHAINS
CN201480045554.1A CN105745926A (zh) 2013-08-16 2014-08-15 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
US14/912,204 US20160330455A1 (en) 2013-08-16 2014-08-15 Method device for image compression, having enhanced matching of fixed-width variable-length pixel samples strings
JP2016533809A JP2016532377A (ja) 2013-08-16 2014-08-15 固定幅可変長の画素サンプル値文字列のマッチングが強化された画像圧縮方法及び装置
KR1020167006996A KR20160114570A (ko) 2013-08-16 2014-08-15 고정폭 가변길이의 화소 샘플값 문자열의 매칭이 강화된 영상 압축 방법 및 장치
HK16111153.2A HK1222966A1 (zh) 2013-08-16 2016-09-22 定寬度變長度像素樣值串匹配增强的圖像壓縮方法和裝置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201310357938 2013-08-16
CN201310357938.4 2013-08-16
CN201410399376.4A CN104378644B (zh) 2013-08-16 2014-08-14 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
CN201410399376.4 2014-08-14

Publications (1)

Publication Number Publication Date
WO2015021942A1 true WO2015021942A1 (zh) 2015-02-19

Family

ID=52468075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/084509 WO2015021942A1 (zh) 2013-08-16 2014-08-15 定宽度变长度像素样值串匹配增强的图像压缩方法和装置

Country Status (7)

Country Link
US (1) US20160330455A1 (zh)
EP (1) EP3035683A4 (zh)
JP (1) JP2016532377A (zh)
KR (1) KR20160114570A (zh)
CN (4) CN104378644B (zh)
HK (1) HK1222966A1 (zh)
WO (1) WO2015021942A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3310059A4 (en) * 2015-06-09 2018-05-30 Tongji University Image encoding and decoding method, image processing device, and computer storage medium

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
CA2925183C (en) 2013-10-14 2020-03-10 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化/デコーディングにおけるブロックベクトル予測
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
CN104935945B (zh) * 2014-03-18 2019-11-08 上海天荷电子信息有限公司 扩展参考像素样值集的图像编码或解码方法
EP3158734A4 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN111131818B (zh) * 2014-10-01 2023-05-26 株式会社Kt 对视频信号进行解码的方法和对视频信号进行编码的方法
WO2016074627A1 (en) * 2014-11-12 2016-05-19 Mediatek Inc. Methods of escape pixel coding in index map coding
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
CN105992003B (zh) * 2015-03-01 2021-04-27 上海天荷电子信息有限公司 依据排序或频度对调色板颜色编号的图像压缩方法和装置
JP2018514142A (ja) * 2015-04-08 2018-05-31 寰發股▲ふん▼有限公司HFI Innovation Inc. ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法
US10448058B2 (en) * 2015-05-21 2019-10-15 Qualcomm Incorporated Grouping palette index at the end and index coding using palette size and run value
WO2016197898A1 (zh) * 2015-06-09 2016-12-15 同济大学 图像编码及解码方法、图像处理设备、计算机存储介质
WO2016197314A1 (en) * 2015-06-09 2016-12-15 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
CN106651972B (zh) * 2015-11-03 2020-03-27 杭州海康威视数字技术股份有限公司 一种二值图像编码、解码方法及装置
CN107071450B (zh) * 2016-02-10 2021-07-27 同济大学 数据压缩的编码、解码方法及装置
CN107770540B (zh) * 2016-08-21 2024-01-09 上海天荷电子信息有限公司 融合多种具有不同参考关系的基元的数据压缩方法和装置
CN107770542A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 采用编码参数基值的数据压缩方法和装置
CN107770543B (zh) * 2016-08-21 2023-11-10 上海天荷电子信息有限公司 多类匹配参数中按顺序递增截断值的数据压缩方法和装置
US11501466B2 (en) 2017-03-22 2022-11-15 Hewlett-Packard Development Company, L.P. Compressed versions of image data based on relationships of data
US10506258B2 (en) * 2017-07-13 2019-12-10 Google Llc Coding video syntax elements using a context tree
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
KR102465206B1 (ko) * 2018-01-26 2022-11-09 삼성전자주식회사 이미지 처리 장치
US11095876B2 (en) * 2018-01-26 2021-08-17 Samsung Electronics Co., Ltd. Image processing device
CN111131826A (zh) * 2018-10-31 2020-05-08 上海天荷电子信息有限公司 定长码单元含多个编码参数变长码的数据压缩方法和装置
WO2020185050A1 (ko) * 2019-03-14 2020-09-17 에스케이텔레콤 주식회사 인트라 블록 복사를 이용하는 영상 부호화 및 복호화
CN113875255B (zh) 2019-03-21 2024-04-23 Sk电信有限公司 以子块为单位恢复的方法和图像解码装置
CN112235568B (zh) * 2019-07-15 2024-03-26 华为技术有限公司 图像编码方法、解码方法、装置和存储介质
BR112022004606A2 (pt) 2019-09-12 2022-05-31 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador
CN112750066B (zh) * 2019-10-31 2023-04-07 华中科技大学 一种用于图像目标检测的可扩展协处理器架构
US11595694B2 (en) * 2020-04-01 2023-02-28 Tencent America LLC Method and apparatus for video coding
CN112532988B (zh) * 2020-06-02 2022-05-06 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN111757117B (zh) * 2020-06-03 2023-10-03 同济大学 对分量下采样格式数据进行串预测的数据编码和解码方法
US11496731B2 (en) 2020-06-08 2022-11-08 Tencent America LLC String matching with single color value
CN111866512B (zh) 2020-07-29 2022-02-22 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
WO2022030980A1 (ko) * 2020-08-04 2022-02-10 현대자동차주식회사 비디오 데이터의 패치북 기반 부호화 및 복호화를 위한 방법 및 장치
CN113347437B (zh) * 2021-04-15 2022-09-06 浙江大华技术股份有限公司 一种基于串预测的编码方法、编码器、解码器和存储介质
CN112565749B (zh) * 2020-12-06 2022-08-09 浙江大华技术股份有限公司 一种视频编码方法、装置、系统及计算机可读存储介质
CN112565760B (zh) * 2020-12-06 2022-07-15 浙江大华技术股份有限公司 串编码技术的编码方法、设备及存储介质
US11503336B2 (en) * 2020-12-07 2022-11-15 Tencent America LLC Method and apparatus for video coding
US11949894B2 (en) 2020-12-07 2024-04-02 Tencent America LLC Method and apparatus for string matching with reference location constraints
CN113365080B (zh) * 2021-03-19 2023-02-28 浙江大华技术股份有限公司 串编码技术的编解码方法、设备及存储介质
CN113395515B (zh) * 2021-04-08 2022-06-14 同济大学 对分量下采样格式数据进行点预测的编码解码方法及装置
WO2023182697A1 (ko) * 2022-03-22 2023-09-28 현대자동차주식회사 인접 정보 기반 팔레트 모드를 이용하는 비디오 코딩을 위한 방법 및 장치
CN116437090B (zh) * 2023-06-13 2023-08-22 基石酷联微电子技术(北京)有限公司 一种高效可并行的图像压缩码率控制方法及处理设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394565A (zh) * 2008-10-20 2009-03-25 成都九洲电子信息系统有限责任公司 一种帧内预测方法
CN101594533A (zh) * 2009-06-30 2009-12-02 华中科技大学 一种适用于无人机序列图像的压缩方法
CN102917225A (zh) * 2012-10-25 2013-02-06 电子科技大学 Hevc帧内编码单元快速选择方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181822B1 (en) * 1993-05-12 2001-01-30 The Duck Corporation Data compression apparatus and method
TW257924B (en) * 1995-03-18 1995-09-21 Daewoo Electronics Co Ltd Method and apparatus for encoding a video signal using feature point based motion estimation
US5710719A (en) * 1995-10-19 1998-01-20 America Online, Inc. Apparatus and method for 2-dimensional data compression
JP2000244745A (ja) * 1999-02-18 2000-09-08 Sony Corp 画像の符号化装置及び方法並びに復号装置及び方法
US7231090B2 (en) * 2002-10-29 2007-06-12 Winbond Electronics Corp. Method for performing motion estimation with Walsh-Hadamard transform (WHT)
CN1213614C (zh) * 2003-09-12 2005-08-03 浙江大学 视频编解码中帧内预测的方法和装置
CN100536573C (zh) * 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法
WO2005107267A1 (ja) * 2004-04-28 2005-11-10 Hitachi, Ltd. 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
CN101385356B (zh) * 2006-02-17 2011-01-19 汤姆森许可贸易公司 采用帧内预测模式的图像编码方法
US8218641B2 (en) * 2006-10-31 2012-07-10 Sony Computer Entertainment Inc. Picture encoding using same-picture reference for pixel reconstruction
CN100551073C (zh) * 2006-12-05 2009-10-14 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
CN101742323B (zh) * 2008-11-05 2013-05-01 上海天荷电子信息有限公司 无再损视频编码和解码的方法和装置
CN101742329B (zh) * 2008-11-24 2013-02-13 北京中星微电子有限公司 一种图像编码方法及装置
JP2012523765A (ja) * 2009-04-08 2012-10-04 ウォッチイットゥー インコーポレイテッド 画像圧縮のためのシステム及び方法
CN101877057A (zh) * 2009-12-02 2010-11-03 中兴通讯股份有限公司 一种条形码识别方法及装置
US20120008687A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Video coding using vector quantized deblocking filters
WO2012134204A2 (ko) * 2011-03-30 2012-10-04 엘지전자 주식회사 인 루프 필터링 방법 및 그 장치
CN102223541B (zh) * 2011-07-14 2013-07-03 北京工业大学 一种混合图像的编码方法
JP5487401B2 (ja) * 2011-07-15 2014-05-07 株式会社アクセル 画像データ符号化方法
GB2496197A (en) * 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
CN102497546B (zh) * 2011-11-28 2014-03-05 同济大学 一种屏幕图像压缩装置及压缩方法
CN106937113B (zh) * 2011-12-05 2020-06-02 同济大学 基于混合色度采样率的图像压缩方法和装置
CN104853211A (zh) * 2014-02-16 2015-08-19 上海天荷电子信息有限公司 使用多种形式的参考像素存储空间的图像压缩方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394565A (zh) * 2008-10-20 2009-03-25 成都九洲电子信息系统有限责任公司 一种帧内预测方法
CN101594533A (zh) * 2009-06-30 2009-12-02 华中科技大学 一种适用于无人机序列图像的压缩方法
CN102917225A (zh) * 2012-10-25 2013-02-06 电子科技大学 Hevc帧内编码单元快速选择方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3035683A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3310059A4 (en) * 2015-06-09 2018-05-30 Tongji University Image encoding and decoding method, image processing device, and computer storage medium
US10575022B2 (en) 2015-06-09 2020-02-25 Zte Corporation Image encoding and decoding method, image processing device and computer storage medium

Also Published As

Publication number Publication date
CN112383780B (zh) 2023-05-02
CN112383780A (zh) 2021-02-19
HK1222966A1 (zh) 2017-07-14
CN105745926A (zh) 2016-07-06
KR20160114570A (ko) 2016-10-05
EP3035683A4 (en) 2016-07-13
JP2016532377A (ja) 2016-10-13
EP3035683A1 (en) 2016-06-22
CN104378644B (zh) 2020-12-04
CN112383781B (zh) 2023-05-02
CN104378644A (zh) 2015-02-25
US20160330455A1 (en) 2016-11-10
CN112383781A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
WO2015021942A1 (zh) 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
CN111684812B (zh) 解码经编码二维数据流的方法及解码器
CN104244007B (zh) 一种图像编码方法和装置及解码方法和装置
WO2015120823A1 (zh) 使用多种形式的参考像素存储空间的图像压缩方法和装置
US10341651B2 (en) Image coding method, decoding method, coding device and decoding device
CN108259900B (zh) 针对视频的上下文自适应二进制熵编码的变换系数编码
TW202005385A (zh) 寫碼用於視訊寫碼之自適應多重轉換資訊
KR101868247B1 (ko) 영상 부호화, 복호화 방법 및 장치
WO2016054985A1 (zh) 图像编码、解码方法及装置
WO2015120818A1 (zh) 图像编码、解码方法及装置
JP6360969B2 (ja) 画像符号化、復号化方法、及び装置
CN104754362B (zh) 使用精细划分块匹配的图像压缩方法
EP3310059B1 (en) Image encoding and decoding method, image processing device, and computer storage medium
TW202002636A (zh) 網格寫碼之量化係數寫碼
US11601488B2 (en) Device and method for transmitting point cloud data, device and method for processing point cloud data
KR20200055085A (ko) 레지듀얼 코딩 방법 및 그 장치
TW202044836A (zh) 用於視訊寫碼中的調色板語法的分組寫碼
TW202106016A (zh) 增強內部寫碼區塊之解碼產出量
RU2732820C2 (ru) Способ и устройство декодирования изображения на основе интра-предсказания в системе кодирования изображения
WO2016202189A1 (zh) 图像编码及解码方法、图像处理设备、计算机存储介质
KR20230150292A (ko) 영상 코딩 방법 및 그 장치
WO2016119667A1 (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14836021

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016533809

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20167006996

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014836021

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14912204

Country of ref document: US