WO2014048376A1 - 上采样滤波器的生成方法和装置 - Google Patents
上采样滤波器的生成方法和装置 Download PDFInfo
- Publication number
- WO2014048376A1 WO2014048376A1 PCT/CN2013/084536 CN2013084536W WO2014048376A1 WO 2014048376 A1 WO2014048376 A1 WO 2014048376A1 CN 2013084536 W CN2013084536 W CN 2013084536W WO 2014048376 A1 WO2014048376 A1 WO 2014048376A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- sample image
- enhancement layer
- image
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Definitions
- the present invention relates to the field of video processing, and more particularly to a method and apparatus for generating an upsampling filter, and a method, apparatus encoder and decoder for image processing using the upsampling filter. Background technique
- SVC scalable video coding
- the interlayer resolution between the high quality image layer and the low quality image layer is different, it is necessary to scale the information of the low quality image layer (for example, motion information, texture information, or residual information). Shrink processing, and using the upsampling filter to filter the reconstructed signal and the residual signal, so that the low-quality image layer reaches a resolution consistent with the high-quality image layer, and then using the information of the low-quality image layer to the high quality
- the image layer performs prediction processing.
- a method for determining the upsampling filter is known, that is, it is considered that pixels of a low-quality image layer are all trusted pixels, and therefore, pixels of a low-quality image are directly copied at the time of upsampling, as high quality A pixel at the entire pixel position in the image.
- the pixels of the low-quality image are obtained by down-sampling the original image of the high-quality image, in the downsampling process, the down-sampling effect is affected by noise or the like, thereby causing the pixels of the low-quality image to be relatively high-quality images.
- the original image has a distortion condition such as a mutation, and directly recovering a high-quality pixel by copying a low-quality image affects the encoding of a high-quality image.
- Embodiments of the present invention provide a method and apparatus for image processing, which can improve the effect of image processing.
- a method for generating an upsampling filter comprising: acquiring an original enhancement layer sample image and a downsampling filter; generating a base layer sample according to the original enhancement layer sample image and the downsampling filter Generating an upsampling filter according to the base layer sample image and the original enhancement layer sample image, so that the upsampling filter satisfies: a sample generated by upsampling the base layer sample image according to the upsampling filter The degree of similarity between the prediction information and the determined original information according to the original enhancement layer sample image satisfies a preset condition.
- the generating an upsampling filter according to the base layer sample image and the original enhancement layer sample image comprising: according to a resolution ratio of the base layer sample image to the original enhancement layer sample image or a magnification of the downsampling filter, determining a first pixel in the original enhancement layer sample image; determining a second pixel in the base layer sample image corresponding to the first pixel; according to the first pixel and the second pixel Generating a first upsampling filter to satisfy a similarity between the first sample prediction information constructed according to the second pixel and the upsampling filter and the determined first original information according to the first pixel A preset condition.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is a pixel according to the base layer sample image and the upsampling filter Constructed pixel domain sample prediction information, the original information being pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is based on the base layer sample image. Pixel, the upsampling filter, and DCT processing for discrete cosine transform
- the frequency domain sample prediction information constructed by the DCT matrix is the frequency domain original information determined according to the pixels of the original enhancement layer sample image and the DCT matrix.
- the first possible implementation manner, the second possible implementation manner, the third possible implementation manner, and the fourth possible implementation manner in the fifth possible implementation manner, Generating the upsampling filter, the base layer sample image and the original enhancement layer sample image, comprising: determining the original enhancement according to a resolution ratio of the base layer sample image to the original enhancement layer sample image or a magnification of the downsampling filter a third pixel in the layer sample image and an autocorrelation matrix of the third pixel; determining, according to the number of taps of the down sampling filter, a fourth pixel corresponding to the third pixel in the base layer sample image and the third a cross-correlation matrix of the pixel and the fourth pixel; generating the first upsampling filter according to the autocorrelation matrix and the cross-correlation matrix.
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- a method for image processing comprising: acquiring an upsampling filter, the upsampling filter being generated according to the first aspect and various possible implementations of the first aspect Determining, according to the upsampling filter and the base layer target image, target prediction information of the enhancement layer target image corresponding to the base layer target image; and encoding, according to the target prediction information, the enhancement layer target image to generate And a target code stream, where the target code stream includes the encoded first indication information, where the first indication information is used to indicate residual information generated according to the target prediction information and the enhancement layer target image.
- the acquiring the upsampling filter includes: determining, according to a resolution ratio of the base layer target image and the enhancement layer target image, a first pixel corresponding to the fifth pixel in the enhancement layer target image a third upsampling filter; and determining the predicted pixel according to the upsampling filter and the base layer target image, including: according to the third upsampling filter and the base layer target image corresponding to the fifth pixel a six-pixel, determining first target prediction information corresponding to the fifth pixel; correspondingly, encoding the enhancement layer target image according to the target prediction information, including: according to the first target prediction information, Five pixels are encoded.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to pixel domain sample prediction information and pixel domain original information, where the pixel domain sample prediction information is constructed according to pixels of the base layer sample image and the upsampling filter.
- the pixel domain original information is determined according to pixels of the original enhancement layer sample image, the base layer sample image is generated according to the original enhancement layer sample image and the down sampling filter, and the enhancement layer target image is encoded,
- the method includes: performing, according to the resolution ratio of the base layer target image and the enhancement layer target image or the magnification of the upsampling filter, performing a first reordering process according to the residual information; correspondingly, the first indication information is used to indicate The residual information after the first reordering process.
- a method for generating an upsampling filter comprising: acquiring an upsampling filter, the upsampling filter being generated according to the first aspect and various possible implementations of the first aspect; Determining, according to the upsampling filter and the base layer target image, target prediction information of the enhancement layer target image corresponding to the base layer target image; acquiring first indication information for indicating residual information from the target code stream and The target prediction information is subjected to decoding processing on the enhancement layer target image.
- the acquiring the upsampling filter includes: determining, according to a resolution ratio of the base layer target image and the enhancement layer target image, a first pixel corresponding to the fifth pixel in the enhancement layer target image a third upsampling filter; and determining the predicted pixel according to the upsampling filter and the base layer target image, including: according to the third upsampling filter and the base layer target image corresponding to the fifth pixel a six-pixel, determining first target prediction information corresponding to the fifth pixel; correspondingly, the first indication information for indicating residual information and the target prediction information are obtained from the target code stream, and the enhancement layer target is
- the decoding process of the image includes: performing decoding processing on the fifth pixel according to the first indication information and the first target prediction information.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to pixel domain sample prediction information and pixel domain original information.
- the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain original information is determined according to pixels of the original enhancement layer sample image, and the base layer sample image is based on original enhancement
- the layer sample image and the downsampling filter generate, and the first indication information for indicating the residual information and the target prediction information are obtained from the target code stream, and the enhancement layer target image is decoded, including:
- the basic layer Reconstruction information is subjected to a second reordering process according to a resolution ratio of the target image to the enhancement layer target image or a magnification of the upsampling filter; and the residual information and the target prediction information according to the second reordering process
- the enhancement layer target image is subjected to decoding processing.
- an apparatus for generating an upsampling filter comprising: an acquiring unit, configured to acquire an original enhancement layer sample image and a downsampling filter; and the original enhancement layer sample image and the downsampling filter Generating a base layer sample image; generating a unit, configured to generate an upsampling filter according to the base layer sample image and the original enhancement layer sample image, so that the upsampling filter satisfies: according to the upsampling filter
- the similarity between the sample prediction information generated by the up sampling process of the layer sample image and the determined original information according to the original enhancement layer sample image satisfies a preset condition.
- the generating unit is configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, in the original enhancement layer sample image.
- a first pixel configured to determine a second pixel corresponding to the first pixel in the base layer sample image, configured to generate a first upsampling filter according to the first pixel and the second pixel, to The second pixel and the first sample prediction information constructed by the upsampling filter and the first original information according to the determined first original information of the first pixel satisfy a first preset condition.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is a pixel according to the base layer sample image and the upsampling filter Constructed pixel domain sample prediction information, the original information being pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is based on the base layer sample image.
- Frequency domain sample prediction information constructed by a pixel, the upsampling filter, and a DCT matrix for performing discrete cosine transform DCT processing, the original information being frequency domain original information determined according to pixels of the original enhancement layer sample image and the DCT matrix .
- the generating unit Specifically, determining, according to a resolution ratio of the base layer sample image to the original enhancement layer sample image or a magnification of the down sampling filter, determining a third pixel in the original enhancement layer sample image. And an autocorrelation matrix of the third pixel, configured to determine, according to the number of taps of the downsampling filter, a fourth pixel corresponding to the third pixel and the third pixel and the fourth pixel in the base layer sample image a cross-correlation matrix; configured to generate the first upsampling filter according to the autocorrelation matrix and the cross-correlation matrix.
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- an apparatus for image processing comprising: the apparatus for generating an upsampling filter of various possible embodiments of the fourth aspect and the fourth aspect; Obtaining an upsampling filter from the generating device, and determining target prediction information of the enhancement layer target image corresponding to the base layer target image according to the upsampling filter and the base layer target image; And encoding, the enhancement layer target image is generated to generate a target code stream, where the target code stream includes the encoded first indication information, where the first indication information is used to indicate that the target layer prediction information and the enhancement layer target image are used according to the target Generated residual information.
- the coding unit is specifically configured to determine, according to a resolution ratio of the base layer target image and the enhancement layer target image, a third upper portion corresponding to the fifth pixel in the enhancement layer target image.
- a sampling filter configured to determine, according to the third upsampling filter and a sixth pixel corresponding to the fifth pixel in the base layer target image, first target prediction information corresponding to the fifth pixel; The fifth pixel is subjected to encoding processing based on the first target prediction information.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to pixel domain sample prediction information and pixel domain original information.
- the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter
- the pixel domain original information is determined according to pixels of the original enhancement layer sample image
- the base layer sample image is based on original enhancement
- the layer sample image and the downsampling filter are generated, and the encoding unit is further configured to perform, according to the resolution ratio of the base layer target image and the enhancement layer target image or the magnification of the upsampling filter, according to the residual information a first reordering process; correspondingly, the first indication information is used to indicate residual information after the first reordering process.
- a sixth aspect provides an apparatus for image processing, the apparatus comprising: a fourth aspect and a a generating device for an upsampling filter of various possible implementations of the fourth aspect; a decoding unit, configured to acquire an upsampling filter from the generating device, and determine, according to the upsampling filter and the base layer target image, the basic Target prediction information of the enhancement layer target image corresponding to the layer target image; for decoding the enhancement layer target image according to the first indication information for indicating the residual information from the target code stream and the target prediction information .
- the decoding unit is specifically configured to determine, according to a resolution ratio of the base layer target image and the enhancement layer target image, a third upper layer corresponding to a fifth pixel in the enhancement layer target image.
- a sampling filter configured to determine, according to the third upsampling filter and a sixth pixel corresponding to the fifth pixel in the base layer target image, first target prediction information corresponding to the fifth pixel; Decoding processing is performed on the fifth pixel based on the first target prediction information.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to pixel domain sample prediction information and pixel domain original information.
- the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter
- the pixel domain original information is determined according to pixels of the original enhancement layer sample image
- the base layer sample image is based on original enhancement
- the layer sample image and the downsampling filter are generated, and the decoding unit is specifically configured to perform the first information on the residual information according to a resolution ratio of the base layer target image to the enhancement layer target image or a magnification of the upsampling filter a double sorting process; configured to perform decoding processing on the enhancement layer target image according to the second reordering residual information and the target prediction information.
- an encoder for image processing comprising: the generating device of the upsampling filter of the fourth aspect and the various possible embodiments of the fourth aspect; a bus; connected to the bus a processor coupled to the bus; wherein the processor calls a program stored in the memory through the bus for acquiring an upsampling filter from the generating device; for using the upsampling filter and the basic a layer target image, determining target prediction information of the enhancement layer target image corresponding to the base layer target image; and performing encoding processing on the enhancement layer target image according to the target prediction information to generate a target code stream, the target code The stream includes encoded first indication information for indicating residual information generated from the enhancement layer target image according to the target prediction information.
- the processing unit is specifically configured to use the base layer target image according to the base layer Determining, with a resolution ratio of the enhancement layer target image, a third upsampling filter corresponding to the fifth pixel in the enhancement layer target image; for using the third upsampling filter and the base layer target image Determining, by the sixth pixel corresponding to the fifth pixel, first target prediction information corresponding to the fifth pixel; and performing encoding processing on the fifth pixel according to the first target prediction information.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to pixel domain sample prediction information and pixel domain original information.
- the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter
- the pixel domain original information is determined according to pixels of the original enhancement layer sample image
- the base layer sample image is based on original enhancement
- the layer sample image and the downsampling filter are generated, and the processing unit is specifically configured to perform, according to the resolution ratio of the base layer target image and the enhancement layer target image or the magnification of the upsampling filter, according to the residual information a first reordering process; correspondingly, the first indication information is used to indicate residual information after the first reordering process.
- a decoder for image processing comprising: the generating device of the upsampling filter of the fourth aspect and the various possible embodiments of the fourth aspect; a bus; a processor coupled to the bus; a memory coupled to the bus; wherein the processor calls a program stored in the memory through the bus for acquiring an upsampling filter from the generating device; a sampling filter and a base layer target image, determining target prediction information of the enhancement layer target image corresponding to the base layer target image; and configured to acquire first indication information for indicating residual information from the target code stream and the The target prediction information is subjected to decoding processing on the enhancement layer target image.
- the processing unit is configured to determine, according to a resolution ratio of the base layer target image and the enhancement layer target image, a third upper portion corresponding to the fifth pixel in the enhancement layer target image.
- a sampling filter configured to determine, according to the third upsampling filter and a sixth pixel corresponding to the fifth pixel in the base layer target image, first target prediction information corresponding to the fifth pixel; And decoding the fifth pixel according to the first indication information and the first target prediction information.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to pixel domain sample prediction information and pixel domain original information, where the pixel domain sample prediction information is constructed according to pixels of the base layer sample image and the upsampling filter.
- the pixel domain original information is determined according to pixels of the original enhancement layer sample image, the base layer sample image is generated according to the original enhancement layer sample image and the down sampling filter, and the processing unit is specifically configured to be used according to the base layer target Performing a second reordering process on the residual information by using a resolution ratio of the image to the enhancement layer target image or a magnification of the upsampling filter; and performing residual prediction information and the target prediction according to the second reordering process Information, the enhancement layer target image is subjected to decoding processing.
- the similarity between the prediction information constructed by the upsampling filter to be determined and the original information determined according to the original image of the enhancement layer image satisfies a preset condition to determine an upsampling filter, which can effectively improve the image according to the base layer and
- the determined upsampling filter generates a similarity between the predicted image and the original image of the enhancement layer image, and reduces the influence on the image processing caused by pixels such as abrupt changes of the base layer image, thereby improving the effect of the image processing.
- FIG. 1 is a schematic flow chart of a method of generating an upsampling filter according to an embodiment of the present invention.
- Fig. 2 is a diagram showing the effect of a method of generating an upsampling filter according to an embodiment of the present invention.
- Fig. 3a is a diagram showing residual information obtained by performing precoding processing on a predicted image obtained by an upsampling filter according to the prior art.
- Figure 3b is a diagram showing residual information obtained after pre-coding processing of a predicted image obtained by an upsampling filter according to an embodiment of the present invention.
- Fig. 3c is a diagram showing residual information obtained by performing reordering processing on the residual information shown in Fig. 3b.
- FIG. 4 is a schematic flow chart of a method for image processing in accordance with an embodiment of the present invention.
- FIG. 5 is a schematic flow chart of a method for image processing according to another embodiment of the present invention.
- FIG. 6 is a schematic block diagram of an apparatus for generating an upsampling filter according to an embodiment of the present invention.
- Figure 7 is a schematic block diagram of an apparatus for image processing in accordance with an embodiment of the present invention.
- FIG. 8 is a schematic block diagram of an apparatus for image processing according to another embodiment of the present invention.
- 9 is a schematic block diagram of an encoder for image processing in accordance with an embodiment of the present invention.
- FIG. 10 is a schematic block diagram of a decoder for image processing according to another embodiment of the present invention. detailed description
- the image can be processed to obtain a low resolution image, and the original image is referred to as a high resolution image as a contrast, and the encoder separately determines the low resolution.
- the rate image and the high resolution image are encoded.
- a high quality image to be encoded is referred to herein as an enhancement layer image (eg, an enhancement layer sample image or an enhancement layer target image herein), and a corresponding low quality image to be encoded (eg, the low resolution)
- the rate image is called a base layer image (for example, a base layer sample image or a base layer target image herein).
- the basic layer refers to a layer with lower quality (including frame rate, spatial resolution, temporal resolution, signal to noise ratio intensity or quality level) in layered coding
- the enhancement layer refers to a layer.
- the corresponding base layer may be any layer lower in quality than the enhancement layer, for example, if currently There are five layers, and the coding quality is sequentially improved (that is, the first layer has the lowest quality and the fifth layer has the highest quality).
- the enhancement layer is the fourth layer
- the base layer may be the first layer or the second layer. It is the third layer or the fourth layer.
- the corresponding enhancement layer can be any layer of lower quality than the base layer.
- the quality of the base layer sample image is lower than the quality of the enhancement layer sample image.
- the quality of the base layer target image is lower than the quality of the enhancement layer target image.
- the sample image is a layered coded image for acquiring (training) the upsampling filter
- the enhancement layer sample image refers to the sample image of the enhancement layer
- the base layer sample image refers to the sample of the base layer.
- An image, the enhancement layer sample image and the base layer sample image are corresponding images of different quality
- the original sequence (or original image) of the base layer sample image is based on an original sequence of the enhancement layer sample image (or, the original image,
- the original enhancement layer sample image is obtained using a specific filter, that is, a downsampling filter (hereinafter referred to as a first downsampling filter).
- the enhancement layer sample image is different from the resolution (or size) of the base layer sample image, and corresponds to the magnification of the first down sampling filter.
- the implementation body of the generating method 100 may be an encoding end (or an encoder), a decoding end (or a decoder), or a server for generating the downsampling filter. In the following, without loss of generality, the method of training the lower sampling filter will be described with the encoding end as an execution subject.
- the method 100 includes:
- the original sequence of the base layer sample image (or the original image, hereinafter referred to as the original base layer sample image) is obtained according to the original enhancement layer sample image and the first lower filter.
- the base layer sample image is first encoded, that is, after the original base layer sample image is encoded, a reconstructed image of the base layer sample image (hereinafter, referred to as a reconstructed base layer sample image) is generated.
- the enhancement layer sample image is encoded.
- the up-sampling process may be performed according to the reconstructed base layer sample image to obtain a prediction image having the same spatial resolution as the original enhancement layer sample image, to obtain a predicted image (sample prediction information).
- a predicted value for encoding the enhancement layer sample image is obtained.
- N N N where a represents the cutoff frequency and the value range is [0, 1]; represents the sampling ratio of the downsampling
- the resolution or size ratio of the original sequence of the sample image of the layer (corresponding to the magnification of the downsampling filter), for example, when the resolution or size ratio of the enhancement layer image to the base layer image is 1.5,
- the ( ) function is represented by the following formula (2):
- the pulse signal h (n) is limited in length, so the signal is truncated by a cosine window function of L point, which is represented by the following formula (3):
- a set of 16-phase downsampling filter banks can be obtained, and when the original sequence of the base layer image is acquired, a filter with a phase of 0 can be used.
- two filters are needed.
- a filter with phase 0 can be used.
- a phase of 8 can be used.
- the pixel points of the enhancement layer image (for example, the enhancement layer sample image) and the base layer image (for example, the base layer sample image) are located at 2i.
- a pixel at a position of 2i + l in an enhancement layer image (for example, an enhancement layer sample image) and a base layer image (for example, a base layer sample image) is referred to as a half pixel point.
- each pixel point in the base layer sample image (specifically, the original image of the base layer sample image) is composed of the enhancement layer sample image (specifically , which is the corresponding image (corresponding to the spatial position) of 12 pixels in the original image of the enhancement layer sample image, which is obtained by down-sampling filtering (using the downsampling filter acquired as described above), ie: original basic
- the pixel at position i in the layer sample image is from the original enhancement layer sample image in the position 2i - 5, 2i - 4, 2i - 3, 2i - 2, 2i - 1 , 2i, 2i + 1 , 2i + 2
- the 12 pixels of 2i + 3 , 2i + 4, 2i + 5, 2i + 6 are filtered by a 12-tap downsampling filter (first downsampling filter).
- a method of processing in a pixel domain to acquire an upsampling filter i.e., method 1
- a method of processing in a frequency domain to obtain an upsampling filter i.e., method 2
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the base layer sample image may be the original base layer sample image or the reconstructed base layer sample image
- the present invention is not particularly limited, but, for example, when the implementation body of the method 100 is a decoding end or At the time of the decoder, there may be a case where the original base layer sample image cannot be obtained. At this time, it is necessary to perform training based on the pixels of the reconstructed base layer sample image, and the description of the same or similar cases will be omitted below.
- a prediction image (an example of sample prediction information, which is referred to as a prediction image) may be constructed by using a base layer sample image and an upsampling filter to be determined, and each pixel in the prediction image is a corresponding position in the base layer sample image. The pixels are constructed with the upsampling filter.
- the upsampling filter may be determined according to a preset constraint (or an optimization method), such as a least squares method, according to each pixel of the predicted image and a pixel corresponding to a position in the original enhancement layer sample image. That is, the difference between each pixel included in the predicted image and the pixel corresponding to the position in the original enhancement layer sample image can be acquired, and the upsampling filter is determined by minimizing the sum of the squares of the differences.
- a preset constraint or an optimization method
- generating an upper sampling filter according to the base layer sample image and the original enhancement layer sample image including:
- the enhancement layer sample image is There are multiple positions of pixels, for example, when performing 2 times downsampling, there are two positions of pixels in the enhancement layer sample image, that is, the entire pixel at position 2i, and the half pixel at position 2i+l Since the corresponding relationship between the integer pixel and the corresponding pixel in the base layer is different from the corresponding relationship between the half pixel and the corresponding pixel point in the base layer, the two positions need to be respectively separated by the down sampling (or the up sampling). Train.
- two kinds of upsampling filters can be obtained.
- an upsampling filter determined according to an integer pixel is referred to as an integer pixel upsampling filter
- an upsampling filter determined according to a half pixel is referred to as a half pixel upsampling filter.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- an integer pixel upsampling filter may be used to determine the half of the enhancement layer target image.
- a half-pixel upsampling filter can be used.
- the above-exemplified filters integrated pixel upsampling filter, half pixel upsampling filter
- the classification of pixels integrated pixels, half pixels
- the pixels can be divided into integer pixels, 1/3 pixels and 2/3 pixels, correspondingly
- the filter can be divided into an integer pixel upsampling filter, a 1/3 upsampling filter, and a 2/3 upsampling filter.
- generating an upper sampling filter according to the base layer sample image and the original enhancement layer sample image including:
- the first upsampling filter is generated according to the autocorrelation matrix and the cross correlation matrix.
- the position in the base layer sample image is obtained as i - 3, i - 2, i - 1 , i, i + 1 , six pixels of i + 2 are used in the original image of the enhancement layer sample image with positions 2i and 2i - 1 , so one pixel of the enhancement layer sample image can pass through the corresponding image in the base layer sample image a plurality of pixel representations of positions, and thus, by utilizing an autocorrelation function (autocorrelation matrix) of pixels (third pixels) in the original enhancement layer sample image and pixels (third pixels) of the original enhancement layer sample image and basic a cross-correlation function (cross-correlation matrix) of pixels (fourth pixels) in the layer sample image to train the up-sampling filter (first up-sampling filter) to enable the prediction information (specifically, predicting an image) The degree of similarity between the pixel) and the original information (autocorrelation matrix) of pixels (third pixels) in the original enhancement layer sample image.
- autocorrelation function autocor
- the position in the original image of the enhancement layer sample image is 2i (the position in the base layer sample image is i) Pixels corresponding to the pixel of the predicted image) and 2i+l (half-pixel points of the predicted image corresponding to the pixel at position i in the base layer sample image), based on them and the base layer sample image
- the middle position is the correspondence of the seven pixels of i- 3, i-2, i- 1, i, i+1, i + 2, i + 3. It should be noted that, for the whole pixel and the half pixel, the relationship with the corresponding pixel in the base layer sample image is inconsistent, so it is necessary to separately perform training. which is:
- the pixel at the position i in the base layer sample image is denoted as A.
- the pixel at the position i in the original image of the enhancement layer sample image is recorded as the half of the original image of the enhancement layer sample image.
- the pixel position and the integer pixel position are respectively counted.
- the autocorrelation matrix of all pixels located at the entire pixel is denoted as E
- the autocorrelation matrix of all pixels located at the half pixel is recorded as E 3 ⁇ 4 + I
- the corresponding pixel in the original image of the enhancement layer sample image and the corresponding pixel in the base layer sample image (i-3, i-2, i-1, i, i+1, i + 2, i + 3)
- the cross-correlation matrix between them is ⁇ .
- the cross-correlation matrix between the half pixel and the corresponding pixel (i_3, i-2, i-1, i, i+1, i + 2, i + 3 ) in the base layer sample image is denoted as E D .
- the methods for acquiring the above-described matrices E, E, E, E, (E, and E may be the same as in the prior art, and the description thereof is omitted here to avoid redundancy.
- Table 3 below shows training based on the above method. 2 times the coefficient of the upsampling filter.
- test sequence 1 to test sequence 7 the image is implemented in units according to the present invention, and a filter is obtained. For each sequence, a filter corresponding to the number of frames can be obtained, and finally The statistical results show that all the filter coefficients are basically the same, and the distribution is shown in Figure 2.
- FIG. 3a shows residual information obtained by up-sampling an 8 ⁇ 8 image block of position (11, 59) in the test sequence 1 and performing prediction processing according to the prior art upsampling filter.
- FIG. 3b shows residual information obtained by up-sampling an 8 ⁇ 8 image block of position (11, 59) in test sequence 1 and performing prediction processing according to the upsampling filter of the present invention.
- the upsampling filter obtained by the generating method of the embodiment of the present invention performs upsampling on the reconstructed base layer target image, compared with the prior art.
- the sampling performance of the whole pixel ie, the pixel with an even abscissa
- the corresponding half-pixel (that is, the pixels whose odd-numbered coordinates are odd) has lower sampling performance than the sampling performance for the entire pixel, and therefore may affect the smoothness after up-sampling, that is, After predicting the enhancement layer image, the smoothness of the resulting residual may be reduced.
- the residual of the entire pixel position is reduced, and the residual of the half pixel position substantially maintains the same value as the prior art. Therefore, in the implementation of the present invention, the image of the enhancement layer can be predicted.
- the residual information obtained after the processing is subjected to reordering processing.
- the residual of the integer pixel point may be separated from the residual of the half pixel point, for example, It is possible to rank the residuals of the even-numbered pixel points in the horizontal direction and the vertical direction in the 4 ⁇ 4 block in the upper left corner of the 8 ⁇ 8 image block, for example, the pixel point (0, 0)
- the residual 6 is rearranged at the (0, 0) position
- the residual 1 of the pixel (2, 0) is rearranged at the (1, 0) position
- the residual 13 of the pixel (4, 0) is rearranged at (2, 0) position, rearrange the residual 5 of the pixel (6, 0) at (3,
- the residual of the pixel whose index in the horizontal direction is even and whose index in the vertical direction is odd is ranked in the block of 4 X 4 in the upper right corner of the 8 x 8 image block.
- the index in the horizontal direction is an odd number, and the pixel point of the pixel whose index is an even number in the vertical direction (in the 4x 4 block of the lower left corner of the 8 x 8 image block).
- the residuals of the pixels whose odd indexes are both in the horizontal direction and the vertical direction are ranked in the 4 x 4 blocks in the lower right corner of the 8 x 8 image block.
- Fig. 3c shows the residual information after the above-described reordering processing (first reordering processing).
- the prediction information is frequency domain prediction information constructed according to a pixel of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on The pixels of the original enhancement layer sample image and the frequency domain original information determined by the DCT matrix.
- an 8 ⁇ 8 DCT Discrete Cosine Transform
- 8 X 8 DCT transform may be performed on each image block of the original enhancement layer sample image, and for each image block of the base layer sample image, for example, 8 X 8 DCT transform, by using the upsampled DCT after processing the basic layer
- the coefficients of the image are equal to the coefficients of the original enhancement layer sample image after DCT processing, and the upsampling filter can be determined.
- each pixel of the original enhancement layer sample image is denoted as a representation, and the coefficient of the original enhancement layer sample image after DCT processing is denoted as C/ (the jth coefficient after the DC processing of the i-th pixel and the subsequent eight pixels) ); each pixel of the base layer image is recorded as 3 ⁇ 4, the coefficient of the base layer image processed by the DCT is denoted as D, the DCT transform matrix is denoted as A, and the downsampled filter matrix is denoted as H,
- the DCT-processed frequency domain of the base layer image can be expressed as:
- generating an upsampling filter according to the base layer sample image and the original enhancement layer sample image include:
- the first upsampling filter Generating, according to the first pixel and the second pixel, a first upsampling filter, so that the first sample prediction information constructed according to the second pixel and the upsampling filter and the determined according to the first pixel The similarity between the original information satisfies the first preset condition.
- the magnification of the first downsampling filter, or the resolution ratio (or size ratio) of the base layer sample image and the enhancement layer sample image there are multiple positions in the enhancement layer sample image.
- a pixel for example, when performing 2 times downsampling, there are two positions of pixels in the enhancement layer sample image, that is, an integer pixel at a position of 2i, and a half pixel at a position of 2i+l, due to When sampling (or upsampling), the correspondence between the integer pixel and the corresponding pixel in the base layer is different from the correspondence between the half pixel and the corresponding pixel in the base layer. Therefore, it is necessary to separately train the two positions. That is, in the embodiment of the invention, C. . It consists of two parts, which can consider integer pixels and half pixels, ie Can be C. . Considered as a two-part composition, the first part is the sum of the values after the integer pixel transformation, and the second part is the sum of the values after the half-pixel transformation, namely:
- the upsampling filter of the whole pixel can be trained.
- the upsampling filter of the half pixel can be trained.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- an integer pixel upsampling filter may be used to determine the half of the enhancement layer target image.
- a half-pixel upsampling filter can be used.
- the above-exemplified filters integrated pixel upsampling filter, half pixel upsampling filter
- the classification of pixels integrated pixels, half pixels
- the pixels can be divided into integer pixels, 1/3 pixels and 2/3 pixels, correspondingly
- the filter can be divided into an integer pixel upsampling filter, a 1/3 upsampling filter, and a 2/3 upsampling filter.
- the upsampling filter is obtained by processing in the frequency domain, and the smoothness of the prediction residual can be improved when the target image is encoded.
- the degree of similarity between the prediction information constructed based on the base layer image and the upsampling filter to be determined and the original information determined from the original image of the enhancement layer image is satisfied
- the condition is determined to determine the upsampling filter, which can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as mutations in the base layer image.
- the effect on image processing improves the effect of image processing.
- Fig. 4 shows a schematic flow chart of a method 200 for image processing according to an embodiment of the present invention, which is described from the perspective of an encoding end. As shown in FIG. 4, the method 200 includes:
- S230 Perform an encoding process on the enhancement layer target image according to the target prediction information, to generate a target code stream, where the target code stream includes the encoded first indication information, where the first indication information is used to indicate that the target prediction information is used according to the target prediction information. Residual information generated with the enhancement layer target image.
- the encoding end may use a resolution ratio or a size ratio of the currently processed enhancement layer target image to the base layer target image (or obtain the original image of the base layer target image to make use of the downsampling filter) Magnification) and the number of taps specified by the system, obtained through the above
- the method 100 trains the resulting upsampling filter.
- the encoding end can train the upper sampling filter according to the method 100, that is, the acquiring the upper sampling filter includes:
- Determining the predicted pixel according to the upsampling filter and the base layer target image comprising: determining, according to the third upsampling filter and the sixth pixel corresponding to the fifth pixel in the base layer target image, Five-pixel corresponding first target prediction information;
- the decoding process of the enhancement layer target image according to the first indication information for indicating the residual information and the target prediction information is obtained from the target code stream, including:
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to the pixel domain sample prediction information and the pixel domain original information, where the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain
- the original information is determined according to pixels of the original enhancement layer sample image, which is generated according to the original enhancement layer sample image and the downsampling filter, and the basis for obtaining residual information from the target code stream.
- Decoding the enhancement layer target image by the first indication information and the target prediction information including:
- the enhancement layer target image is subjected to decoding processing based on the residual information after the second reordering process and the target prediction information.
- the acquiring the upsampling filter comprises:
- generating the upper layer based on the base layer sample image and the original enhancement layer sample image Sample filters including:
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is frequency domain sample prediction information constructed according to pixels of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on the original enhancement.
- generating an upper sampling filter according to the base layer sample image and the original enhancement layer sample image including:
- the first upsampling filter is generated according to the autocorrelation matrix and the cross correlation matrix.
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- the encoding end may further acquire the upsampling filter from a third party device, where the process of generating the upsampling filter by the third placing device is the same as the process of the method 100 in FIG. The description thereof is omitted here.
- the acquiring the upsampling filter comprises:
- the encoding process of the enhancement layer target image is performed according to the target prediction information, including:
- the fifth pixel is subjected to encoding processing based on the first target prediction information.
- the resolution ratio (or the size ratio) of the base layer target image and the enhancement layer target image there are multiple locations of pixel points in the enhancement layer target image, for example, when performing At 2 times downsampling, there are two positions of pixels in the enhancement layer target image, that is, the entire pixel at position 2i, and the half pixel at position 2i+1. Because, when downsampling, the correspondence between the integer pixel and the corresponding pixel in the base layer is different from the correspondence between the half pixel and the corresponding pixel in the base layer. Therefore, different upsampling filtering is needed for pixels with different positions. Device.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the enhancement layer image block is encoded.
- the encoding end may perform upsampling processing on the reconstructed base layer target image according to the acquired upsampling filter, as a prediction value (target prediction information) of the reconstructed enhancement layer target image. And determining the residual information according to the predicted value of the reconstructed enhancement layer target image and the original enhancement layer target image, performing transform quantization entropy coding, calculating the rate distortion cost in the current mode, thereby determining the optimal prediction mode, and thereafter,
- the enhancement layer target image is encoded.
- the upsampling filter is determined according to the pixel domain sample prediction information and the pixel domain original information, where the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain
- the original information is determined based on the pixels of the original enhancement layer sample image.
- the base layer sample image is generated according to the original enhancement layer sample image and the downsampling filter, and the encoding process is performed on the enhancement layer target image, including:
- the first indication information is used to indicate the residual information after the first reordering process.
- FIG. 3a shows residual information obtained by up-sampling an 8 ⁇ 8 image block of position (11, 59) in the test sequence 1 and performing prediction processing according to the prior art upsampling filter.
- FIG. 3b shows residual information obtained by up-sampling an 8 ⁇ 8 image block of position (11, 59) in test sequence 1 and performing prediction processing according to the upsampling filter of the present invention.
- the upsampling filter obtained by the generating method of the embodiment of the present invention performs upsampling on the reconstructed base layer target image, compared with the prior art.
- the sampling performance of the whole pixel ie, the pixel with an even abscissa
- the corresponding half-pixel (that is, the pixels whose odd-numbered coordinates are odd) has lower sampling performance than the sampling performance for the entire pixel, and therefore may affect the smoothness after up-sampling, that is, After predicting the enhancement layer image, the smoothness of the resulting residual may be reduced.
- the residual of the entire pixel position is reduced, and the residual of the half pixel position substantially maintains the same value as the prior art. Therefore, in the implementation of the present invention, the image of the enhancement layer can be predicted.
- the residual information obtained after the processing is subjected to reordering processing.
- the residual of the integer pixel point may be separated from the residual of the half pixel point, for example, It is possible to rank the residuals of the even-numbered pixel points in the horizontal direction and the vertical direction in the 4 ⁇ 4 block in the upper left corner of the 8 ⁇ 8 image block, for example, the pixel point (0, 0)
- the residual 6 is rearranged at the (0, 0) position
- the residual 1 of the pixel (2, 0) is rearranged at the (1, 0) position
- the residual 13 of the pixel (4, 0) is rearranged at (2, 0) position
- the residual of the pixel whose index in the horizontal direction is even and whose index in the vertical direction is odd is ranked in the block of 4 X 4 in the upper right corner of the 8 x 8 image block.
- a residual of pixels having an odd index in both the horizontal direction and the vertical direction is arranged in a 4 x 4 block in the lower right corner of the 8 x 8 image block.
- Fig. 3c shows the residual information after the above-described reordering processing (first reordering processing).
- a method for image processing according to an embodiment of the present invention satisfies a preset degree of similarity between prediction information constructed from a base layer image and an upsampling filter to be determined and original information determined from an original image of an enhancement layer image Condition, determining the upsampling filter, can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as abrupt changes in the base layer image
- the effect of image processing improves the effect of image processing.
- Fig. 5 shows a schematic flow chart of a method 300 for image processing according to an embodiment of the present invention, as described from the perspective of a decoding end. As shown in FIG. 5, the method 300 includes:
- S320 Determine, according to the upsampling filter and the base layer target image, target prediction information of the enhancement layer target image corresponding to the base layer target image.
- S330 Perform decoding processing on the enhancement layer target image according to the first indication information used to indicate the residual information from the target code stream and the target prediction information.
- the decoding end may use a resolution ratio or a size ratio of the currently processed enhancement layer target image to the base layer target image (or obtain the original image of the base layer target image to enable the used downsampling filter The magnification factor) and the number of taps specified by the system acquire the upsampling filter trained by the above method 100.
- the encoding end may use a resolution ratio or a size ratio of the currently processed enhancement layer target image to the base layer target image (or obtain the original image of the base layer target image to make use of the downsampling filter) The magnification factor) and the number of taps specified by the system acquire the upsampling filter trained by the above method 100.
- the encoding end can perform the upsampling filter according to the method 100, that is, the acquiring the upsampling filter includes:
- Determining the predicted pixel according to the upsampling filter and the base layer target image comprising: determining, according to the third upsampling filter and the sixth pixel corresponding to the fifth pixel in the base layer target image, Five-pixel corresponding first target prediction information;
- the decoding process of the enhancement layer target image according to the first indication information for indicating the residual information and the target prediction information is obtained from the target code stream, including:
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to the pixel domain sample prediction information and the pixel domain original information, where the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain
- the original information is determined according to pixels of the original enhancement layer sample image, which is generated according to the original enhancement layer sample image and the downsampling filter, and the basis for obtaining residual information from the target code stream.
- Decoding the enhancement layer target image by the first indication information and the target prediction information including:
- the enhancement layer target image is subjected to decoding processing based on the residual information after the second reordering process and the target prediction information.
- the acquiring the upsampling filter comprises:
- generating an upsampling filter according to the base layer sample image and the original enhancement layer sample image including: Determining, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a first pixel in the original enhancement layer sample image;
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is frequency domain sample prediction information constructed according to pixels of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on the original enhancement.
- generating an upper sampling filter according to the base layer sample image and the original enhancement layer sample image including:
- the first upsampling filter is generated according to the autocorrelation matrix and the cross correlation matrix.
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- the encoding end may further acquire the upsampling filter from a third party device, where the process of generating the upsampling filter by the third placing device is the same as the process of the method 100 in FIG. The description thereof is omitted here.
- the acquiring the upsampling filter comprises:
- Determining the predicted pixel according to the upsampling filter and the base layer target image includes: Determining, according to the third upsampling filter and the sixth pixel corresponding to the fifth pixel in the base layer target image, first target prediction information corresponding to the fifth pixel;
- the decoding process is performed on the enhancement layer target image according to the target prediction information, including:
- Decoding processing is performed on the fifth pixel based on the first target prediction information.
- the resolution ratio (or the size ratio) of the base layer target image and the enhancement layer target image there are multiple locations of pixel points in the enhancement layer target image, for example, when performing At 2 times downsampling, there are two positions of pixels in the enhancement layer target image, that is, the entire pixel at position 2i, and the half pixel at position 2i+1. Because, when downsampling, the correspondence between the integer pixel and the corresponding pixel in the base layer is different from the correspondence between the half pixel and the corresponding pixel in the base layer. Therefore, different upsampling filtering is needed for pixels with different positions. Device.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the enhancement layer image block is decoded.
- the decoding end may obtain the encoded residual information from the code stream according to the acquired upsampling filter, and decode the processing information, and then, may perform reconstruction
- the base layer target image is subjected to upsampling processing as a predicted value (target prediction information) of the reconstructed enhancement layer target image, and the enhancement layer target image is decoded according to the predicted value of the reconstructed enhancement layer target image and the acquired residual information.
- the upsampling filter is determined according to the pixel domain sample prediction information and the pixel domain original information, where the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain
- the original information is determined according to pixels of the original enhancement layer sample image
- the base layer sample image is generated according to the original enhancement layer sample image and the downsampling filter
- the decoding process is performed on the enhancement layer target image, including: And performing a first reordering process according to the residual information according to a resolution ratio of the base layer target image to the enhancement layer target image or a magnification of the upsampling filter;
- the first indication information is used to indicate the residual information after the first reordering process.
- FIG. 3a shows residual information obtained by up-sampling an 8 ⁇ 8 image block of position (11, 59) in the test sequence 1 and performing prediction processing according to the prior art upsampling filter.
- FIG. 3b shows residual information obtained by up-sampling an 8 ⁇ 8 image block of position (11, 59) in test sequence 1 and performing prediction processing according to the upsampling filter of the present invention.
- the upsampling filter obtained by the generating method of the embodiment of the present invention performs upsampling on the reconstructed base layer target image, compared with the prior art.
- the sampling performance of the whole pixel ie, the pixel with an even abscissa
- the corresponding half-pixel (that is, the pixels whose odd-numbered coordinates are odd) has lower sampling performance than the sampling performance for the entire pixel, and therefore may affect the smoothness after up-sampling, that is, After predicting the enhancement layer image, the smoothness of the resulting residual may be reduced.
- the residual of the entire pixel position is reduced, and the residual of the half pixel position substantially maintains the same value as the prior art. Therefore, in the implementation of the present invention, the image of the enhancement layer can be predicted.
- the residual information obtained after the processing is subjected to reordering processing.
- Fig. 3c shows the residual information after the above-described reordering processing (first reordering processing).
- the process of the first reordering process may be, for example, in the residual information of the 8 ⁇ 8 image block shown in FIG. 3b, the residual of the integer pixel point may be separated from the residual of the half pixel point, for example, The residual of the even-numbered pixel points in the horizontal direction and the vertical direction may be arranged in the 4 ⁇ 4 block in the upper left corner of the 8 ⁇ 8 image block, for example, the residual of the pixel point (0, 0)
- the difference 6 is rearranged at the (0, 0) position, and the residual 1 of the pixel (2, 0) is rearranged at the (1, 0) position, and the residual 13 of the pixel (4, 0) is rearranged ( 2, 0) position, rearrange the residual 5 of the pixel point (6, 0) at the (3, 0) position, and rearrange the residual 7 of the pixel point (0, 2) at the (0,
- the same pixel is indexed in the vertical direction (the indices in both the horizontal and vertical directions are even), in the horizontal direction.
- Index which in turn (left to right) fills the 4x4 block Row (vertical direction of four pixels smallest index of the first line block is filled 4x 4, the index of the largest vertical direction to fill the four pixels of the fourth row of the 4x4 block).
- the residual of the pixel whose index in the horizontal direction is even and whose index in the vertical direction is odd is ranked in the block of 4 ⁇ 4 in the upper right corner of the 8 ⁇ 8 image block.
- a residual of pixels having an odd index in both the horizontal direction and the vertical direction is arranged in a 4 x 4 block in the lower right corner of the 8 x 8 image block.
- the original generated residual information can be restored by the corresponding method of the reordering processing (first reordering processing) (second reordering processing) (as shown in Fig. 3b).
- a method for image processing according to an embodiment of the present invention satisfies a preset degree of similarity between prediction information constructed from a base layer image and an upsampling filter to be determined and original information determined from an original image of an enhancement layer image Condition, determining the upsampling filter, can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as abrupt changes in the base layer image
- the effect of image processing improves the effect of image processing.
- the upsampling filter generating apparatus 400 includes:
- An obtaining unit 410 configured to acquire an original enhancement layer sample image and a downsampling filter; and configured to generate a base layer sample image according to the original enhancement layer sample image and the downsampling filter;
- a generating unit 420 configured to generate an upsampling filter according to the base layer sample image and the original enhancement layer sample image, so that the upsampling filter satisfies: upsampling the base layer sample image according to the upsampling filter
- the similarity between the generated sample prediction information and the determined original information according to the original enhancement layer sample image satisfies a preset condition.
- the generating unit 420 is specifically configured to determine the original enhancement layer sample map according to a resolution ratio of the base layer sample image to the original enhancement layer sample image or a magnification of the down sampling filter.
- a second pixel corresponding to the first pixel in the base layer sample image configured to generate a first upsampling filter according to the first pixel and the second pixel, so that according to the second pixel and The similarity between the first sample prediction information constructed by the upsampling filter and the determined first original information according to the first pixel satisfies a first preset condition.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is frequency domain sample prediction information constructed according to pixels of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on the original enhancement.
- the generating unit 420 is specifically configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a third pixel in the original enhancement layer sample image and An autocorrelation matrix of the third pixel;
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- the generating apparatus of the upsampling filter according to the embodiment of the present invention satisfies the degree of similarity between the prediction information constructed based on the base layer image and the upsampling filter to be determined and the original information determined from the original image of the enhancement layer image
- the condition is determined to determine the upsampling filter, which can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as mutations in the base layer image.
- the effect on image processing improves the effect of image processing.
- the generating apparatus 400 of the upsampling filter according to the embodiment of the present invention may correspond to an implementation body of the generating method 100 of the upsampling filter in the method of the embodiment of the present invention, and the generating apparatus 400 of the upsampling filter
- the modules and the other operations and/or functions described above are respectively implemented in order to implement the corresponding processes of the method 100 in FIG. 1 , and are not described herein again.
- FIG. 7 shows a schematic block diagram of an apparatus 500 for image processing in accordance with an embodiment of the present invention.
- the apparatus 500 includes:
- the encoding unit 520 is configured to acquire an upsampling filter from the generating device, and determine target prediction information of the enhancement layer target image corresponding to the base layer target image according to the upsampling filter and the base layer target image;
- the encoding process is performed on the enhancement layer target image to generate a target code stream, where the target code stream includes the encoded first indication information, where the first indication information is used to indicate that the target prediction information is used according to the target prediction information. Residual information generated with the enhancement layer target image.
- the encoding unit 520 is specifically configured to determine, according to a resolution ratio of the base layer target image and the enhancement layer target image, a third upsampling filter corresponding to the fifth pixel in the enhancement layer target image; And determining, according to the third upsampling filter and the sixth pixel corresponding to the fifth pixel in the base layer target image, first target prediction information corresponding to the fifth pixel; The target prediction information is subjected to encoding processing on the fifth pixel.
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to the pixel domain sample prediction information and the pixel domain original information, where the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain
- the original information is determined according to pixels of the original enhancement layer sample image
- the base layer sample image is generated according to the original enhancement layer sample image and the downsampling filter
- the encoding unit 520 is further configured to use the base layer target image according to the a resolution ratio of the enhancement layer target image or a magnification of the upsampling filter, and performing a first reordering process on the residual information; correspondingly, the first indication information is used to represent the residual after the first reordering process information.
- the acquiring unit is specifically configured to acquire an original enhancement layer sample image and a downsampling filter;
- the acquiring unit is specifically configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a first pixel in the original enhancement layer sample image;
- a second pixel corresponding to the first pixel in the base layer sample image configured to generate a first upsampling filter according to the first pixel and the second pixel, so that according to the second pixel and The similarity between the first sample prediction information constructed by the upsampling filter and the determined first original information according to the first pixel satisfies a first preset condition.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is frequency domain sample prediction information constructed according to pixels of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on the original enhancement.
- the generating unit is configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a third pixel in the original enhancement layer sample image and the An autocorrelation matrix of the third pixel;
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- An apparatus for image processing satisfies a preset degree of similarity between prediction information constructed based on a base layer image and an upsampling filter to be determined and original information determined from an original image of an enhancement layer image Condition, determining the upsampling filter, can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as abrupt changes in the base layer image
- the effect of image processing improves the effect of image processing.
- the apparatus 500 for image processing may correspond to a decoding end in the method of the embodiment of the present invention, and each unit in the apparatus 500 for image processing is a module and the above other operations and/or The functions are respectively implemented in order to implement the corresponding process of the method 200 in FIG. I will not repeat them here.
- FIG. 8 shows a schematic block diagram of an apparatus 600 for image processing in accordance with an embodiment of the present invention. As shown in Figure 8, the apparatus 600 includes:
- a decoding unit 620 configured to acquire an upsampling filter from the generating device, and determine target prediction information of the enhancement layer target image corresponding to the base layer target image according to the upsampling filter and the base layer target image;
- the decoding unit 620 is specifically configured to determine, according to a resolution ratio of the base layer target image and the enhancement layer target image, a third upsampling filter corresponding to the fifth pixel in the enhancement layer target image;
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to the pixel domain sample prediction information and the pixel domain original information, where the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain
- the original information is determined according to pixels of the original enhancement layer sample image
- the base layer sample image is generated according to the original enhancement layer sample image and the downsampling filter
- the decoding unit 620 is specifically configured to use the base layer target image according to the a resolution ratio of the enhancement layer target image or a magnification of the upsampling filter, performing a second reordering process on the residual information; and using the residual information after the second reordering process and the target prediction information,
- the enhancement layer target image is subjected to decoding processing.
- the acquiring unit is specifically configured to acquire an original enhancement layer sample image and a downsampling filter
- an upsampling filter according to the base layer sample image and the original enhancement layer sample image, so that the upsampling filter satisfies: a sample generated by performing upsampling processing on the base layer sample image according to the upsampling filter Prediction information and determination based on the original enhancement layer sample image The similarity between the original information satisfies the preset condition.
- the acquiring unit is specifically configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a first pixel in the original enhancement layer sample image;
- a second pixel corresponding to the first pixel in the base layer sample image configured to generate a first upsampling filter according to the first pixel and the second pixel, so that according to the second pixel and The similarity between the first sample prediction information constructed by the upsampling filter and the determined first original information according to the first pixel satisfies a first preset condition.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is frequency domain sample prediction information constructed according to pixels of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on the original enhancement.
- the generating unit is configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a third pixel in the original enhancement layer sample image and the An autocorrelation matrix of the third pixel;
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- An apparatus for image processing satisfies a preset degree of similarity between prediction information constructed based on a base layer image and an upsampling filter to be determined and original information determined from an original image of an enhancement layer image Condition, determining the upsampling filter, can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as abrupt changes in the base layer image
- the effect of image processing improves the effect of image processing.
- the apparatus 600 for image processing may correspond to a decoding end in the method of the embodiment of the present invention, and each unit in the apparatus 600 for image processing is a module and an upper
- the other operations and/or functions are respectively described in order to implement the corresponding processes of the method 300 in FIG. 5, and are not described herein again.
- Fig. 9 shows a schematic block diagram of an encoder 700 for image processing in accordance with an embodiment of the present invention.
- the apparatus 700 includes:
- processor 720 connected to the bus
- the processor 720 calls the program stored in the memory 730 through the bus 710 for acquiring the upsampling filter from the generating device 400;
- the encoding process is performed on the enhancement layer target image to generate a target code stream, where the target code stream includes the encoded first indication information, where the first indication information is used to indicate that the target prediction information is used according to the target prediction information. Residual information generated with the enhancement layer target image.
- the processing unit 720 is specifically configured to determine, according to a resolution ratio of the base layer target image and the enhancement layer target image, a third upsampling filter corresponding to a fifth pixel in the enhancement layer target image;
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is determined according to the pixel domain sample prediction information and the pixel domain original information, where the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain
- the original information is determined according to pixels of the original enhancement layer sample image
- the base layer sample image is generated according to the original enhancement layer sample image and the downsampling filter
- the processing unit 720 is specifically configured to use the base layer target image according to the a resolution ratio of the enhancement layer target image or a magnification of the upsampling filter, for performing the first reordering according to the residual information Reason
- the first indication information is used to indicate the residual information after the first reordering process.
- the processor is specifically configured to obtain an original enhancement layer sample image and a downsampling filter; and configured to generate a base layer sample image according to the original enhancement layer sample image and the downsampling filter;
- an upsampling filter according to the base layer sample image and the original enhancement layer sample image, so that the upsampling filter satisfies: a sample generated by performing upsampling processing on the base layer sample image according to the upsampling filter The degree of similarity between the prediction information and the determined original information according to the original enhancement layer sample image satisfies a preset condition.
- the processor is specifically configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a first pixel in the original enhancement layer sample image;
- a second pixel corresponding to the first pixel in the base layer sample image configured to generate a first upsampling filter according to the first pixel and the second pixel, so that according to the second pixel and The similarity between the first sample prediction information constructed by the upsampling filter and the determined first original information according to the first pixel satisfies a first preset condition.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is frequency domain sample prediction information constructed according to pixels of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on the original enhancement.
- the processor is specifically configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a third pixel in the original enhancement layer sample image and the An autocorrelation matrix of the third pixel;
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- An encoder for image processing according to an embodiment of the present invention satisfies a degree of similarity between prediction information constructed from a base layer image and an upsampling filter to be determined and original information determined from an original image of an enhancement layer image The condition is determined to determine the upsampling filter, which can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as mutations in the base layer image.
- the effect on image processing improves the effect of image processing.
- the encoder 700 for image processing may correspond to an implementation body of the method 200 for image processing in the method of the embodiment of the present invention, and each of the encoders 700 for image processing
- the unit that is, the module and the other operations and/or functions described above are respectively implemented in order to implement the corresponding process of the method 200 in FIG. 4, and are not described herein again.
- FIG. 10 shows a schematic block diagram of a decoder 800 for image processing in accordance with an embodiment of the present invention.
- the decoder 800 includes:
- processor 820 connected to the bus
- the processor 820 calls the program stored in the memory 830 through the bus 810 for acquiring the upsampling filter from the generating device 400;
- the processing unit 820 is specifically configured to determine, according to a resolution ratio of the base layer target image and the enhancement layer target image, a third upsampling filter corresponding to the fifth pixel in the enhancement layer target image;
- the fifth pixel is a zero phase pixel in the enhancement layer target image.
- the upsampling filter is based on pixel domain sample prediction information and pixel domain original information. Determining that the pixel domain sample prediction information is constructed according to a pixel of the base layer sample image and the upsampling filter, the pixel domain original information is determined according to pixels of the original enhancement layer sample image, and the base layer sample image is based on The original enhancement layer sample image and the downsampling filter are generated, and the processing unit 820 is specifically configured to: according to the resolution ratio of the base layer target image to the enhancement layer target image or the magnification of the upsampling filter, the residual The information is subjected to a second reordering process; and configured to perform decoding processing on the enhancement layer target image according to the residual information after the second reordering process and the target prediction information.
- the processor is specifically configured to obtain an original enhancement layer sample image and a downsampling filter; and configured to generate a base layer sample image according to the original enhancement layer sample image and the downsampling filter;
- an upsampling filter according to the base layer sample image and the original enhancement layer sample image, so that the upsampling filter satisfies: a sample generated by performing upsampling processing on the base layer sample image according to the upsampling filter The degree of similarity between the prediction information and the determined original information according to the original enhancement layer sample image satisfies a preset condition.
- the processor is specifically configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, a first pixel in the original enhancement layer sample image;
- a second pixel corresponding to the first pixel in the base layer sample image configured to generate a first upsampling filter according to the first pixel and the second pixel, so that according to the second pixel and The similarity between the first sample prediction information constructed by the upsampling filter and the determined first original information according to the first pixel satisfies a first preset condition.
- the first pixel is a zero phase pixel in the original enhancement layer sample image.
- the sample prediction information is pixel domain sample prediction information constructed according to the pixel of the base layer sample image and the upsampling filter
- the original information is pixel domain original information determined according to pixels of the original enhancement layer sample image.
- the prediction information is frequency domain sample prediction information constructed according to pixels of the base layer sample image, the upsampling filter, and a DCT matrix used for performing discrete cosine transform DCT processing, where the original information is based on the original enhancement.
- the processor is specifically configured to determine, according to a resolution ratio of the base layer sample image and the original enhancement layer sample image or a magnification of the downsampling filter, in the original enhancement layer sample image. a third pixel and an autocorrelation matrix of the third pixel;
- the third pixel is a zero phase pixel in the original enhancement layer sample image.
- a decoder for image processing satisfies a degree of similarity between prediction information constructed from a base layer image and an upsampling filter to be determined and original information determined from an original image of an enhancement layer image
- the condition is determined to determine the upsampling filter, which can effectively improve the similarity between the base layer image and the determined upsampled filter to generate the predicted image and the original image of the enhancement layer image, and reduce the occurrence of pixels such as mutations in the base layer image.
- the effect on image processing improves the effect of image processing.
- the decoder 800 for image processing may correspond to an implementation body of the method 300 for image processing in the method of the embodiment of the present invention, and each of the decoders 800 for image processing
- the unit that is, the module and the other operations and/or functions described above are respectively implemented in order to implement the corresponding process of the method 300 in FIG. 5, and are not described herein again.
- the target image and the sample image may be the same image or different images, and the present invention is not particularly limited.
- the generating device of the upsampling filter may be disposed in the device for image processing, or may be disposed outside the device for image processing. Similarly, the generating device of the upsampling filter may be set in use.
- the encoder for image processing may be provided outside the encoder for image processing, and the present invention is not particularly limited.
- the apparatus, the encoder, and the decoder for image processing may be the implementation body of the method for generating the upsampling filter, or may be obtained from the implementation body of the third generation method of generating the upsampling filter.
- the upsampling filter is not particularly limited in the present invention.
- the decoding end processing method corresponding to the described encoding end processing method may be determined, or the encoding end processing method corresponding to the described decoding end processing method may be determined.
- the disclosed systems, devices, and methods may be implemented in other ways.
- the device embodiments described above are merely illustrative.
- the division of the unit is only a logical function division.
- there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not executed.
- the coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be electrical, mechanical or otherwise.
- the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solution of the embodiment.
- each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
- the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product.
- the technical solution of the present invention which is essential to the prior art or part of the technical solution, may be embodied in the form of a software product stored in a storage medium, including
- the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
- the storage medium includes: a U disk, a removable hard disk, a read only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and the like, which can store program codes.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供一种上采样滤波器的生成方法,能够提高图像处理的效果。该方法包括:获取原始增强层样本图像和下采样滤波器;根据该原始增强层样本图像和该下采样滤波器,生成基本层样本图像;根据该基本层样本图像和该原始增强层样本图像,生成上采样滤波器,以使该上采样滤波器满足:根据该上采样滤波器对该基本层样本图像进行上采样处理生成的样本预测信息与根据该原始增强层样本图像的确定的原始信息之间的相似度满足预设条件。能够有效提高根据基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始图像的相似度,降低因基本层图像的像素发生例如突变等时对图像处理产生的影响,提高图像处理的效果。
Description
上采样滤波器的生成方法和装置 本申请要求于 2012 年 9 月 29 日提交中国专利局、 申请号为 201210375030.1、 发明名称为"上采样滤波器的生成方法和装置"的中国专利 申请的优先权, 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及视频处理领域, 并且更具体地, 涉及一种上采样滤波器的生 成方法和装置, 以及, 使用该上采样滤波器进行图像处理的方法、 装置编码 器和解码器。 背景技术
随着互联网的迅猛发展以及人们物质精神文化的日益丰富,在互联网中 针对视频的应用需求尤其是针对高清视频的应用需求越来越多, 而高清视频 的数据量非常大, 要想高清视频能在带宽有限的互联网中传输, 必须首先解 决的问题就是高清视频压缩编码问题。
在网络环境里 (比如互联网), 由于网络带宽是有限的, 终端设备以及 用户的需求都是不同的, 所以为了某种特定的应用而一次压缩的码流并不是 令人满意和有效的, 对一些特定的用户或设备而言, 甚至是没有意义的。 解 决这个问题的一个有效的方法就是利用可伸缩视频编码( SVC, scalable video coding )技术。 在该 SVC技术中, 根据包括空间分辨率、 时间分辨率或者信 噪比强度等在内的质量参数,将一个图像分为多个图像层。 SVC的目标就是 让质量高的图像层尽量充分的利用质量低的图像层的信息,提高层间预测的 效率, 使得编码质量高的图像的时候能够效率更高。
在该 SVC技术中, 由于高质量图像层与低质量图像层之间的层间分辨 率不同, 因此需要对低质量图像层的信息(例如, 运动信息、 纹理信息或残 差信息)进行尺度放缩处理, 并使用上采样滤波器对重建信号和残差信号进 行滤波处理, 以使低质量图像层达到与高质量图像层一致的分辨率后, 再利 用上述低质量图像层的信息对高质量图像层进行预测处理。
目前, 已知一种确定该上采样滤波器的方法, 即, 认为低质量图像层的 像素均为可信像素, 因此, 上采样时直接复制低质量图像的像素, 作为高质
量图像中整像素位置的像素。 但是, 由于低质量图像的像素是根据高质量图 像的原始图像经下采样获得的, 在该下采样过程中, 存在因噪声等影响下采 样效果,进而导致低质量图像的像素相对于高质量图像的原始图像存在例如 突变等失真情况,直接将低质量图像通过复制的方法恢复高质量像素的时候 会影响对高质量图像的编码。 发明内容
本发明实施例提供一种用于图像处理的方法和装置, 能够提高图像处理 的效果。
第一方面, 提供了一种上采样滤波器的生成方法, 该方法包括: 获取原 始增强层样本图像和下采样滤波器;根据该原始增强层样本图像和该下采样 滤波器, 生成基本层样本图像; 根据该基本层样本图像和该原始增强层样本 图像, 生成上采样滤波器, 以使该上采样滤波器满足: 根据该上采样滤波器 对该基本层样本图像进行上采样处理生成的样本预测信息与根据该原始增 强层样本图像的确定的原始信息之间的相似度满足预设条件。
在一种可能的实施方式中, 该根据该基本层样本图像和该原始增强层样 本图像, 生成上采样滤波器, 包括: 根据该基本层样本图像与该原始增强层 样本图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像 中的第一像素; 确定该基本层样本图像中与该第一像素相对应的第二像素; 根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据该第二像 素和该上采样滤波器构建的第一样本预测信息与根据该第一像素的确定的 第一原始信息之间的相似度满足第一预设条件。
结合第一方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第一像素为该原始增强层样本图像中的零相位像素。
结合第一方面、 第一种可能的实施方式和第二种可能的实施方式, 在第 三种可能的实施方式中, 该样本预测信息为根据该基本层样本图像的像素和 该上采样滤波器构建的像素域样本预测信息, 该原始信息为根据该原始增强 层样本图像的像素确定的像素域原始信息。
结合第一方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该预测信息为根据该基本 层样本图像的像素、 该上采样滤波器和用于进行离散余弦变换 DCT处理的
DCT矩阵构建的频域样本预测信息,该原始信息为根据该原始增强层样本图 像的像素和该 DCT矩阵确定的频域原始信息。
结合第一方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波器, 包 括: 根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采样 滤波器的倍率,确定该原始增强层样本图像中的第三像素以及该第三像素的 自相关矩阵; 根据该下采样滤波器的抽头数, 确定该基本层样本图像中与该 第三像素相对应的第四像素以及该第三像素与该第四像素的互相关矩阵; 根 据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。
结合第一方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方式, 在第 六种可能的实施方式中, 该第三像素为该原始增强层样本图像中的零相位像 素。
第二方面, 提供了用于图像处理的方法, 其特征在于, 该方法包括: 获 取上采样滤波器, 该上采样滤波器是根据第一方面和第一方面的各种可能的 实施方式生成的; 根据该上采样滤波器和基本层目标图像, 确定与该基本层 目标图像相对应的增强层目标图像的目标预测信息; 根据该目标预测信息, 对该增强层目标图像进行编码处理, 以生成目标码流, 该目标码流包括编码 后的第一指示信息, 该第一指示信息用于表示根据该目标预测信息与该增强 层目标图像生成的残差信息。
在一种可能的实施方式中, 该获取上采样滤波器包括: 根据该基本层目 标图像与该增强层目标图像的分辨率比,确定与该增强层目标图像中的第五 像素相对应的第三上采样滤波器; 以及该根据该上采样滤波器和基本层目标 图像, 确定预测像素, 包括: 根据该第三上采样滤波器和该基本层目标图像 中与该第五像素相对应的第六像素,确定与该第五像素相对应的第一目标预 测信息;对应,该根据该目标预测信息,对该增强层目标图像进行编码处理, 包括: 根据该第一目标预测信息, 对该第五像素进行编码处理。
结合第二方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第五像素为该增强层目标图像中的零相位像素。
结合第二方面、 第一种可能的实施方式和第二种可能的实施方式, 在第
三种可能的实施方式中, 该上采样滤波器是根据像素域样本预测信息和像素 域原始信息确定的, 该像素域样本预测信息是根据基本层样本图像的像素和 该上采样滤波器构建的, 该像素域原始信息是根据原始增强层样本图像的像 素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生 成的, 以及该对该增强层目标图像进行编码处理, 包括: 根据该基本层目标 图像与该增强层目标图像的分辨率比或该上采样滤波器的倍率,对根据该残 差信息进行第一重排序处理; 对应, 该第一指示信息用于表示该第一重排序 处理后的残差信息。
第三方面, 提供了一种上采样滤波器的生成方法, 该方法包括: 获取上 采样滤波器, 该上采样滤波器是根据第一方面和第一方面的各种可能的实施 方式生成的; 根据该上采样滤波器和基本层目标图像, 确定与该基本层目标 图像相对应的增强层目标图像的目标预测信息; 根据从目标码流中获取用于 指示残差信息的第一指示信息和该目标预测信息,对该增强层目标图像进行 解码处理。
在一种可能的实施方式中, 该获取上采样滤波器包括: 根据该基本层目 标图像与该增强层目标图像的分辨率比,确定与该增强层目标图像中的第五 像素相对应的第三上采样滤波器; 以及该根据该上采样滤波器和基本层目标 图像, 确定预测像素, 包括: 根据该第三上采样滤波器和该基本层目标图像 中与该第五像素相对应的第六像素,确定与该第五像素相对应的第一目标预 测信息; 对应, 该根据从目标码流中获取用于指示残差信息的第一指示信息 和该目标预测信息, 对该增强层目标图像进行解码处理, 包括: 根据该第一 指示信息和该第一目标预测信息, 对该第五像素进行解码处理。
结合第三方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第五像素为该增强层目标图像中的零相位像素。
结合第三方面、 第一种可能的实施方式和第二种可能的实施方式, 在第 三种可能的实施方式中,该上采样滤波器是根据像素域样本预测信息和像素 域原始信息确定的, 该像素域样本预测信息是根据基本层样本图像的像素和 该上采样滤波器构建的,该像素域原始信息是根据原始增强层样本图像的像 素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生 成的, 以及该根据从目标码流中获取用于指示残差信息的第一指示信息和该 目标预测信息, 对该增强层目标图像进行解码处理, 包括: 根据该基本层目
标图像与该增强层目标图像的分辨率比或该上采样滤波器的倍率,对该残差 信息进行第二重排序处理; 根据该第二重排序处理后的残差信息和该目标预 测信息, 该增强层目标图像进行解码处理。
第四方面, 提供了一种上采样滤波器的生成装置, 该装置包括: 获取单 元, 用于获取原始增强层样本图像和下采样滤波器; 根据该原始增强层样本 图像和该下采样滤波器, 生成基本层样本图像; 生成单元, 用于根据该基本 层样本图像和该原始增强层样本图像, 生成上采样滤波器, 以使该上采样滤 波器满足: 根据该上采样滤波器对该基本层样本图像进行上采样处理生成的 样本预测信息与根据该原始增强层样本图像的确定的原始信息之间的相似 度满足预设条件。
在一种可能的实施方式中, 该生成单元具体用于根据该基本层样本图像 与该原始增强层样本图像的分辨率比或该下采样滤波器的倍率,确定该原始 增强层样本图像中的第一像素; 用于确定该基本层样本图像中与该第一像素 相对应的第二像素; 用于根据该第一像素和该第二像素, 生成第一上采样滤 波器, 以使根据该第二像素和该上采样滤波器构建的第一样本预测信息与根 据该第一像素的确定的第一原始信息之间的相似度满足第一预设条件。
结合第四方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第一像素为该原始增强层样本图像中的零相位像素。
结合第四方面、 第一种可能的实施方式和第二种可能的实施方式, 在第 三种可能的实施方式中, 该样本预测信息为根据该基本层样本图像的像素和 该上采样滤波器构建的像素域样本预测信息, 该原始信息为根据该原始增强 层样本图像的像素确定的像素域原始信息。
结合第四方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式, 在第四种可能的实施方式中, 该预测信息为根据该基本 层样本图像的像素、 该上采样滤波器和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息,该原始信息为根据该原始增强层样本图 像的像素和该 DCT矩阵确定的频域原始信息。
结合第四方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式和第四种可能的实施方式, 在第五种可能的实施方式中, 该生成单元具体用于根据该基本层样本图像与该原始增强层样本图像的分 辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中的第三像素
以及该第三像素的自相关矩阵; 用于根据该下采样滤波器的抽头数, 确定该 基本层样本图像中与该第三像素相对应的第四像素以及该第三像素与该第 四像素的互相关矩阵; 用于根据该自相关矩阵和该互相关矩阵, 生成该第一 上采样滤波器。
结合第四方面、 第一种可能的实施方式、 第二种可能的实施方式、 第三 种可能的实施方式、 第四种可能的实施方式和第五种可能的实施方式, 在第 六种可能的实施方式中, 该第三像素为该原始增强层样本图像中的零相位像 素。
第五方面,提供了一种用于图像处理的装置,其特征在于,该装置包括: 第四方面及第四方面的各种可能的实施方式的上采样滤波器的生成装置; 编 码单元, 用于从该生成装置获取上采样滤波器,, 并根据该上采样滤波器和 基本层目标图像,确定与该基本层目标图像相对应的增强层目标图像的目标 预测信息; 用于根据该目标预测信息, 对该增强层目标图像进行编码处理, 以生成目标码流, 该目标码流包括编码后的第一指示信息, 该第一指示信息 用于表示根据该目标预测信息与该增强层目标图像生成的残差信息。
在一种可能的实施方式中, 该编码单元具体用于根据该基本层目标图像 与该增强层目标图像的分辨率比,确定与该增强层目标图像中的第五像素相 对应的第三上采样滤波器; 用于根据该第三上采样滤波器和该基本层目标图 像中与该第五像素相对应的第六像素,确定与该第五像素相对应的第一目标 预测信息; 用于根据该第一目标预测信息, 对该第五像素进行编码处理。
结合第五方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第五像素为该增强层目标图像中的零相位像素。
结合第五方面、 第一种可能的实施方式和第二种可能的实施方式, 在第 三种可能的实施方式中, 该上采样滤波器是根据像素域样本预测信息和像素 域原始信息确定的, 该像素域样本预测信息是根据基本层样本图像的像素和 该上采样滤波器构建的, 该像素域原始信息是根据原始增强层样本图像的像 素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生 成的, 以及该编码单元还用于根据该基本层目标图像与该增强层目标图像的 分辨率比或该上采样滤波器的倍率, 对根据该残差信息进行第一重排序处 理; 对应, 该第一指示信息用于表示该第一重排序处理后的残差信息。
第六方面提供了一种用于图像处理的装置, 该装置包括: 第四方面及第
四方面的各种可能的实施方式的上采样滤波器的生成装置; 解码单元, 用于 从该生成装置获取上采样滤波器, 并根据该上采样滤波器和基本层目标图 像, 确定与该基本层目标图像相对应的增强层目标图像的目标预测信息; 用 于根据从目标码流中获取用于指示残差信息的第一指示信息和该目标预测 信息, 对该增强层目标图像进行解码处理。
在一种可能的实施方式中, 该解码单元具体用于根据该基本层目标图像 与该增强层目标图像的分辨率比,确定与该增强层目标图像中的第五像素相 对应的第三上采样滤波器; 用于根据该第三上采样滤波器和该基本层目标图 像中与该第五像素相对应的第六像素,确定与该第五像素相对应的第一目标 预测信息; 用于根据该第一目标预测信息, 对该第五像素进行解码处理。
结合第六方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第五像素为该增强层目标图像中的零相位像素。
结合第六方面、 第一种可能的实施方式和第二种可能的实施方式, 在第 三种可能的实施方式中, 该上采样滤波器是根据像素域样本预测信息和像素 域原始信息确定的, 该像素域样本预测信息是根据基本层样本图像的像素和 该上采样滤波器构建的, 该像素域原始信息是根据原始增强层样本图像的像 素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生 成的, 以及该解码单元具体用于根据该基本层目标图像与该增强层目标图像 的分辨率比或该上采样滤波器的倍率, 对该残差信息进行第二重排序处理; 用于根据该第二重排序处理后的残差信息和该目标预测信息, 该增强层目标 图像进行解码处理。
第七方面, 提供一种用于图像处理的编码器, 该编码器包括: 第四方面 及第四方面的各种可能的实施方式的上采样滤波器的生成装置; 总线; 与该 总线相连的处理器; 与该总线相连的存储器; 其中, 该处理器通过该总线, 调用该存储器中存储的程序, 以用于从该生成装置获取上采样滤波器; 用于 根据该上采样滤波器和基本层目标图像,确定与该基本层目标图像相对应的 增强层目标图像的目标预测信息; 用于根据该目标预测信息, 对该增强层目 标图像进行编码处理, 以生成目标码流, 该目标码流包括编码后的第一指示 信息, 该第一指示信息用于表示根据该目标预测信息与该增强层目标图像生 成的残差信息。
在一种可能的实施方式中, 该处理单元具体用于根据该基本层目标图像
与该增强层目标图像的分辨率比,确定与该增强层目标图像中的第五像素相 对应的第三上采样滤波器; 用于根据该第三上采样滤波器和该基本层目标图 像中与该第五像素相对应的第六像素,确定与该第五像素相对应的第一目标 预测信息; 用于根据该第一目标预测信息, 对该第五像素进行编码处理。
结合第七方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第五像素为该增强层目标图像中的零相位像素。
结合第七方面、 第一种可能的实施方式和第二种可能的实施方式, 在第 三种可能的实施方式中, 该上采样滤波器是根据像素域样本预测信息和像素 域原始信息确定的, 该像素域样本预测信息是根据基本层样本图像的像素和 该上采样滤波器构建的, 该像素域原始信息是根据原始增强层样本图像的像 素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生 成的, 以及该处理单元具体用于根据该基本层目标图像与该增强层目标图像 的分辨率比或该上采样滤波器的倍率,对根据该残差信息进行第一重排序处 理; 对应, 该第一指示信息用于表示该第一重排序处理后的残差信息。
第八方面, 提供了一种用于图像处理的解码器, 其特征在于, 该解码器 包括: 第四方面及第四方面的各种可能的实施方式的上采样滤波器的生成装 置; 总线; 与该总线相连的处理器; 与该总线相连的存储器; 其中, 该处理 器通过该总线, 调用该存储器中存储的程序, 以用于从该生成装置获取上采 样滤波器; 用于根据该上采样滤波器和基本层目标图像, 确定与该基本层目 标图像相对应的增强层目标图像的目标预测信息; 用于根据从目标码流中获 取用于指示残差信息的第一指示信息和该目标预测信息,对该增强层目标图 像进行解码处理。
在一种可能的实施方式中, 该处理单元具体用于根据该基本层目标图像 与该增强层目标图像的分辨率比,确定与该增强层目标图像中的第五像素相 对应的第三上采样滤波器; 用于根据该第三上采样滤波器和该基本层目标图 像中与该第五像素相对应的第六像素,确定与该第五像素相对应的第一目标 预测信息; 用于根据该第一指示信息和该第一目标预测信息, 对该第五像素 进行解码处理。
结合第八方面和第一种可能的实施方式, 在第二种可能的实施方式中, 该第五像素为该增强层目标图像中的零相位像素。
结合第八方面、 第一种可能的实施方式和第二种可能的实施方式, 在第
三种可能的实施方式中, 该上采样滤波器是根据像素域样本预测信息和像素 域原始信息确定的, 该像素域样本预测信息是根据基本层样本图像的像素和 该上采样滤波器构建的, 该像素域原始信息是根据原始增强层样本图像的像 素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生 成的, 以及该处理单元具体用于根据该基本层目标图像与该增强层目标图像 的分辨率比或该上采样滤波器的倍率, 对该残差信息进行第二重排序处理; 用于根据该第二重排序处理后的残差信息和该目标预测信息, 该增强层目标 图像进行解码处理。 像和待确定的上采样滤波器构建的预测信息与根据增强层图像的原始图像 确定的原始信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有 效提高根据基本层图像和确定的上采样滤波器生成预测图像与增强层图像 的原始图像的相似度, 降低因基本层图像的像素发生例如突变等时对图像处 理产生的影响, 提高图像处理的效果。 附图说明
为了更清楚地说明本发明实施例的技术方案, 下面将对本发明实施例中 所需要使用的附图作筒单地介绍, 显而易见地, 下面所描述的附图仅仅是本 发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的 前提下, 还可以根据这些附图获得其他的附图。
图 1 是根据本发明一实施例的上采样滤波器的生成方法的示意性流程 图。
图 2示出了根据本发明一实施例的上采样滤波器的生成方法的效果的示 意图。
图 3a是表示根据现有技术的上采样滤波器获取的预测图像进行预编码 处理后获得的残差信息的示意图。
图 3b是表示根据本发明一实施例的上采样滤波器获取的预测图像进行 预编码处理后获得的残差信息的示意图。
图 3c是表示对图 3b所示的残差信息进行重排序处理后获得的残差信息 的示意图。
图 4是根据本发明一实施例的用于图像处理的方法的示意性流程图。
图 5是根据本发明另一实施例的用于图像处理的方法的示意性流程图。 图 6是根据本发明一实施例的上采样滤波器的生成装置的示意性框图。 图 7是根据本发明一实施例的用于图像处理的装置的示意性框图。
图 8是根据本发明另一实施例的用于图像处理的装置的示意性框图。 图 9是根据本发明一实施例的用于图像处理的编码器的示意性框图。 图 10是根据本发明另一实施例的用于图像处理的解码器的示意性框图。 具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、 完整地描述, 显然, 所描述的实施例是本发明一部分实施例, 而不是 全部的实施例。 基于本发明中的实施例, 本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例, 都属于本发明保护的范围。
在对图像进行分层编码, 例如, 在空间可伸缩编码时, 可以将图像进行 将分辨率处理得到低分辨率图像, 作为对比将原图像称作高分辨率图像, 编 码器分别对该低分辨率图像以及该高分辨率图像进行编码处理。 为方便描 述, 本文中将质量高的待编码图像称作增强层图像(例如, 本文中的增强层 样本图像或增强层目标图像), 将对应的质量低的待编码图像(例如所述低 分辨率图像)称作基本层图像(例如, 本文中的基本层样本图像或基本层目 标图像)。
在本发明实施例中, 基本层是指分层编码中的质量(包括帧速率、 空间 分辨率、 时间分辨率、 信噪比强度或质量等级等参数)较低的层, 增强层是 指分层编码中的质量(包括帧速率、 空间分辨率、 时间分辨率、 信噪比强度 或质量等级等参数)较高的层。 需要说明的是, 在本发明实施例中, 在本发 明实施例中, 对于一个给定的增强层, 与其相对应的基本层可以为质量低于 该增强层的任一层, 例如, 如果当前存在五层, 编码质量依次提高 (即, 第 一层质量最低, 第五层质量最高), 如果增强层为第四层, 则基本层可以是 第一层, 也可以是第二层、 也可以是第三层、 也可以是第四层。 同理, 对于 一个给定的基本层, 与其相对应的增强层可以为质量低于该基本层的任一 层。
综上所述, 在本发明实施例中, 该基本层样本图像的质量低于该增强层 样本图像的质量。
该基本层目标图像的质量低于该增强层目标图像的质量。
在本发明实施例中, 样本图像是用于获取 (训练)上采样滤波器的分层 编码图像, 增强层样本图像是指上述增强层的样本图像, 基本层样本图像是 指上述基本层的样本图像, 该增强层样本图像与基本层样本图像是质量相异 的对应图像, 基本层样本图像的原始序列 (或者说, 原始图像)是根据增强 层样本图像的原始序列 (或者说, 原始图像, 以下, 称为原始增强层样本图 像)使用特定的滤波器, 即下采样滤波器(以下, 称为第一下采样滤波器) 得到。 需要说明的是, 在本发明实施例中, 该增强层样本图像与基本层样本 图像的分辨率 (或者说尺寸)相异, 与第一下采样滤波器的倍率相对应。 性流程图。在本发明实施例中,该生成方法 100的实施主体可以是编码端(或 编码器), 也可以是解码端(或解码器), 也可以从用于生成该下采样滤波器 的服务器等。 下面, 不失一般性, 以该编码端作为执行主体, 对训练该下采 样滤波器的方法的进行说明。
如图 1所示, 该方法 100包括:
S110, 获取原始增强层样本图像和下采样滤波器;
S120, 根据该原始增强层样本图像和该下采样滤波器, 生成基本层样本 图像;
S130, 根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤 波器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基本层样本图像 进行上采样处理生成的样本预测信息与根据该原始增强层样本图像的确定 的原始信息之间的相似度满足预设条件。
在本发明实施例中, 基本层样本图像的原始序列 (或者说, 原始图像, 以下, 称为原始基本层样本图像)是根据原始增强层样本图像和第一下滤波 器得到的, 在对该样本图像进行编码过程中, 先对该基本层样本图像进行编 码, 即, 对原始基本层样本图像编码完成后, 生成基本层样本图像的重建图 像(以下, 称为重建基本层样本图像)。
然后对增强层样本图像进行编码,此时,可以根据重建基本层样本图像, 进行上采样处理,得到与原始增强层样本图像具有相同空间分辨率的预测图 像, 以从预测图像(样本预测信息) 中获得用于对该增强层样本图像进行编 码处理的预测值。
首先, 对该第一下采样滤波器的获取原理, 进行说明。 根据数字信号处 理的基本原理, 理想的脉沖响应信号可以根据以下公式(1)表示:
, , 、 aM ma. ( Λ
η(η) = inci ), n =—∞ ··· +∞ 丄 J
N N 其中, a表示截止频率, 取值范围为 [0, 1]; 表示下采样的采样比,
M 或者说, 表示增强层图像(增强层样本图像)的原始序列与基本层图像(基
M
本层样本图像)的原始序列的分辨率或尺寸比(与下采样滤波器的倍率相对 应), 例如, 增强层图像与基本层图像的为分辨率或尺寸比为 1.5时, 为
M
1.5, 增强层图像与基本层图像的为分辨率或尺寸比为 2时, 为 2; 该 Sine
M
L-l L-l
win) = cos( ) (3)
L-l 因此, 理想脉沖信号和寄
(4)表示:
L-l L-l
win) = cos( ), n (4)
L-l 因此,当下采样滤波器系数精度为 128,抽头数为 12时,截止频率为 0.9r 时, 进行 1.5倍下采样时得到的下采样滤波器系数如表 1所示, 进行 2倍下 采样时得到下采样滤波器系数如表 2所示。
表 1
相位信息 滤波器系数
0 { 0, 5, -6, - 10, 37, 76, 37, - 10, - 6, 5, 0, 0},
1/16 { 0, 5, -4, -11, 33, 76, 40, -9, -
9CS1780/C10ZN3/X3d 請 ΪΟΖ OAV
相位信息 滤波器系数
0 {2, -3, -9, 6, 39, 58, 39, 6, -9,
-3, 2, 0},
1/16 {2, -3, -9, 4, 38, 58, 43, 7, -9,
-4, 1, 0},
2/16 {2, -2, -9, 2, 35, 58, 44, 9, -8,
-4, 1, 0},
3/16 U, -2, -9, 1, 34, 58, 46, 11, -8,
-5, 1, 0},
4/16 U, -1, -8, - 1, 31, 57, 48, 13, -
8, -5, 丄 , 0},
5/16 U, -1, -8, -2, 29, 56, 49, 15, ―
7, -6, 丄 , 1},
6/16 U, 0, -8, -3, 26, 55, 51, 17, -7,
-6, 1, 1},
7/16 U, 0, -7, -4, 24, 54, 52, 19, -6,
-7, 1, 1},
8/16 U, 0, -7, -5, 22, 53, 53, 22, -5,
-7, 0, 1},
9/16 U, 1, -7, -6, 19, 52, 54, 24, -4,
-7, 0, 1},
10/16 U, 1, -6, -7, 17, 51, 55, 26, -3,
-8, 0, 1},
11/16 U, 1, -6, -7, 15, 49, 56, 29, -2,
-8, -1, 1},
12/16 {0, 1, -5, -8, 13, 48, 57, 31, -1,
-8, -1, 1},
13/16 {0, 1, -5, -8, 11, 46, 58, 34, 1, -
9, -2, 1},
14/16 {0, 1, —4, -8, 9, 44, 58, 35, 2, -
9, - 2, 2} ,
15/16 {0, 1, - 4, - 9, 7, 43 , 58, 38, 4, -
9, - 3, 2}
通过以上方法, 可以得到的是一组 16相位的下采样滤波器组, 在获取 基本层图像的原始序列时, 可以使用相位为 0的滤波器。 当进行 1.5倍下采 样时, 需要使用两个滤波器, 其中, 对于下采样后的偶数像素点, 可以使用 相位为 0的滤波器, 对于下采样后的奇数像素点, 可以使用相位为 8的滤波 器; 进行 2倍下采样时, 可以仅使用一个滤波器, 例如, 可以使用相位为 0 的滤波器。
在本发明实施例中, 例如, 在进行 2倍下采样时, 将增强层图像(例如, 增强层样本图像)和基本层图像(例如, 基本层样本图像)中位置为 2i处的 像素点称为整像素点, 将增强层图像(例如, 增强层样本图像)和基本层图 像(例如, 基本层样本图像) 中位置为 2i + l处的像素点称为半像素点。 例 如, 在下采样滤波器为 12抽头滤波器的情况下, 基本层样本图像(具体地 说, 是基本层样本图像的原始图像)中的每个像素点都是由增强层样本图像 (具体地说, 是增强层样本图像的原始图像) 中对应 (空间位置上相对应) 的像素点周围的 12个像素经过下采样滤波(使用如上所述获取的下采样滤 波器)后得到, 即: 原始基本层样本图像中位置为 i处的像素, 是由原始增 强层样本图像中位置为 2i - 5, 2i - 4, 2i - 3, 2i - 2, 2i - 1 , 2i, 2i + 1 , 2i + 2, 2i + 3 , 2i + 4, 2i + 5, 2i + 6这 12个像素经过 12抽头的下采样滤波器 (第一下采样滤波器 ) 滤波得到。
在本发明实施例中,提供了在像素域进行处理来获取上采样滤波器的方 法(即, 方法 1 )和在频域进行处理来获取上采样滤波器的方法(即, 方法 2 )。
方法 1
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
具体地说, 在本发明实施例中, 由于基本层样本图像(原始基本层样本 图像或重建基本层样本图像)的像素都是由原始增强层样本图像的像素经过 滤波器滤波得到, 因此, 基本层样本图像的各像素之间的相关性是基本一致
的, 从而, 可以根据基本层样本图像的各像素来进行训练。 这里, 需要说明 的是, 该基本层样本图像可以是原始基本层样本图像也可以是重建基本层样 本图像, 本发明并未特别限定, 但是, 例如, 当该方法 100的实施主体为解 码端或解码器时, 可能存在不能获得原始基本层样本图像的情况, 此时, 需 要根据重建基本层样本图像的像素进行训练, 以下, 省略对相同或相似情况 的说明。
例如, 可以利用基本层样本图像与待确定的上采样滤波器, 构建预测图 像(样本预测信息的一例, 以下筒称预测图像), 该预测图像中各像素均是 由基本层样本图像中相应位置的像素与该上采样滤波器构建得到的。
其后, 可以根据上述预测图像的各像素和原始增强层样本图像中位置相 对应的像素, 利用预设约束条件(或者说, 最优化方式), 例如最小二乘法, 确定该上采样滤波器, 即, 可以获取该预测图像包括的各像素与原始增强层 样本图像中位置相对应的像素的差值, 并通过使各差值的平方和最小化, 来 确定上采样滤波器。
可选地, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采 样滤波器, 包括:
根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采 样滤波器的倍率, 确定该原始增强层样本图像中的第一像素;
确定该基本层样本图像中与该第一像素相对应的第二像素;
根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据该第 二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素的确 定的第一原始信息之间的相似度满足第一预设条件。
具体地说,在本发明实施例中,根据第一下采样滤波器的倍率,或者说, 基本层样本图像与增强层样本图像的分辨率比 (或者说, 尺寸比), 增强层 样本图像中存在多种位置的像素, 例如, 当进行 2倍下采样时, 增强层样本 图像中存在两种位置的像素, 即, 位置为 2i处的整像素, 以及, 位置为 2i+l 处的半像素, 由于下采样(或上采样)时, 整像素与基本层中对应像素之间 的对应关系不同于半像素与基本层中对应像素点之间的对应关系, 因此, 需 要对这两个位置分别进行训练。 从而, 可以得到两种上采样滤波器, 以下, 将根据整像素确定的上采样滤波器称为整像素上采样滤波器,将根据半像素 确定的上采样滤波器称为半像素上采样滤波器。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
在本发明实施例中,在对分层编码的图像(例如,后述增强层目标图像) 进行编码或解码处理时, 例如, 当增强层目标图像与基本层目标图像的分辨 率比为 2 ( 2倍上采样或 2倍下采样) 时, 在确定增强层目标图像的整像素 的预测信息(后述目标预测信息)时, 可以使用整像素上采样滤波器, 在确 定增强层目标图像的半像素的预测信息(后述目标预测信息)时, 可以使用 半像素上采样滤波器。
应理解, 以上列举的滤波器(整像素上采样滤波器、 半像素上采样滤波 器)及像素点的分类(整像素、 半像素)仅为示例性说明, 本发明并不限定 于此, 例如, 在当增强层目标图像与基本层目标图像的分辨率比为 1.5 ( 1.5 倍上采样或 1.5倍下采样 )可以将像素分为整像素, 1/3像素和 2/3像素, 相 对应地, 滤波器可以分为整像素上采样滤波器、 1/3上采样滤波器和 2/3上 采样滤波器。
可选地, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采 样滤波器, 包括:
根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采 样滤波器的倍率,确定该原始增强层样本图像中的第三像素以及该第三像素 的自相关矩阵;
根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三像素 相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
根据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。
具体地说, 在本发明实施例中, 例如, 在第一下采样滤波器的抽头数为 12时, 获得基本层样本图像中位置为 i - 3, i - 2, i - 1 , i, i + 1 , i + 2的六 个像素点时都用到增强层样本图像的原始图像中位置为 2i和 2i - 1的像素, 因此,增强层样本图像的一个像素可以通过基本层样本图像中相应位置的多 个像素表示, 因此, 通过利用该原始增强层样本图像中的像素 (第三像素) 的自相关函数(自相关矩阵)以及该原始增强层样本图像的像素(第三像素) 与基本层样本图像中像素 (第四像素) 的互相关函数(互相关矩阵), 来训 练该上采样滤波器(第一上采样滤波器), 能够使该预测信息 (具体地说, 是预测图像的像素)与原始信息(具体地说, 是增强层样本图像的原始图像 中的对应像素)之间的相似度满足预设条件。
在本发明实施例中, 不失一般性, 例如, 在训练一个 7抽头的 2倍上采 样滤波器时, 对于增强层样本图像的原始图像中位置为 2i (与基本层样本图 像中位置为 i的像素点相对应的预测图像的整像素点)和 2i+l (与基本层 样本图像中位置为 i的像素点相对应的预测图像的半像素点) 的像素, 基于 它们与基本层样本图像中位置为 i- 3, i-2, i- 1, i, i+1, i + 2, i + 3这 七个像素的对应关系进行训练。 需要说明的是, 对于整像素和半像素, 与基 本层样本图像中的对应像素之间的关系是不一致的, 因此需要分别进行训 练。 即:
在本发明实施例中, 基本层样本图像中位置为 i处的像素记作 A., 增强 层样本图像的原始图像中位置为 i处的像素记作 , 对增强层样本图像的原 始图像中半像素位置和整像素位置分别进行统计,增强层样本图像的原始图 像中, 位于整像素点的所有像素的自相关矩阵记作 E , 位于半像素点的所 有像素的自相关矩阵记作 E¾ +I , 增强层样本图像的原始图像中的整像素与基 本层样本图像中的对应像素(i- 3, i-2, i- 1, i, i+1, i + 2, i + 3)之间 的互相关矩阵为^。 , 半像素与基本层样本图像中的对应像素(i_3, i-2, i- 1, i, i+1, i + 2, i + 3 )之间的互相关矩阵记作 ED。 , 在本发明实施例 中, 整像素点的采样滤波器系数矩阵 H2I=E x(E r1,半像素点的采样滤波 器系数矩阵 H2.+1=E X(E r 在本发明实施例中, 上述矩阵 E 、 E 、 E 、 E 、 (E 及 (E 的获取方法可以与现有技术相同, 这里, 为了避免赘述, 省略其说明。 以下表 3示出了根据上述方法训练得到的 2倍上采样滤波器的系数。 表 3 像素位置 滤波器系数 整像素点 { -7, 19, -26, 156, -26, 19, -7 } 半像素点 { -8, 22, -35, 87, 78,-26, 10 }
以上, 列举了对于一个 7抽头的 2倍上采样滤波器的训练方法, 但本发 明并不限定于此,还可以根据抽头数和 /或倍率,利用与上述相同或相似的方 法, 训练多组上采样滤波器。
例如, 对于 1.5倍上采样的滤波器, 以一帧图像为单位进行训练, 分别 对整像素位置, 1/3位置和 2/3位置分别进行训练, 表 4示出了训练得到的 上采样滤波器系数。
表 4
在根据现有的测试序列 (测试序列 1至测试序列 7 )对根据本发明实施 像为单位进行训练, 得到一个滤波器, 对于每个序列而言, 都可以得到对应 帧数的滤波器, 最终统计结果可见, 所有的滤波器系数基本一致, 其分布情 况如图 2所示。
如图 3a 示出了根据现有技术的上采样滤波器对测试序列 1 中位置为 ( 11 , 59 ) 的一个 8 x 8的图像块进行上采样后并进行预测处理后得到的残 差信息, 如图 3b示出了根据本发明的上采样滤波器对测试序列 1 中位置为 ( 11 , 59 ) 的一个 8 x 8的图像块进行上采样后并进行预测处理后得到的残 差信息。 如图 3a和 3b所示, 在对目标图像进行编解码处理时, 通过本发明 实施例的生成方法获取的上采样滤波器对重建基本层目标图像进行上采样 后, 与现有技术相比, 能够明显提升整像素(即, 横坐标为偶数的像素)的 采样性能。
但是, 如图 3b所示, 对应的半像素 (即, 横坐标均为奇数的像素) 的 上采样性能低于对于整像素的采样性能, 因此, 可能会影响上采样后的平稳 性, 即, 对增强层图像作预测处理后, 所得到的残差的平稳性可能降低。
在本发明实施例中, 整像素位置的残差均会变小, 半像素位置的残差基 本保持与现有技术相同的值, 因此, 在本发明实施中, 可以对于对增强层图 像作预测处理后所得到的残差信息进行重排序处理。
作为示例而非限定, 在本发明实施例中, 在图 3b所示的 8 x 8的图像块 的残差信息中, 可以将整像素点的残差与半像素点的残差分开, 例如, 可以 将水平方向和垂直方向上的索引均为偶数的像素点的残差排在该 8 x 8的图 像块的左上角的 4 X 4的块中, 例如, 将像素点(0, 0)的残差 6重排在( 0, 0)位置, 将像素点 (2, 0) 的残差 1重排在(1, 0)位置, 将像素点 (4, 0 ) 的残差 13重排在(2, 0)位置, 将像素点 (6, 0) 的残差 5重排在( 3,
0)位置, 将像素点 (0, 2) 的残差 7重排在(0, 1)位置; 将像素点 (2, 2 ) 的残差 8重排在(1, 1)位置, 将像素点 (4, 2) 的残差 19重排在( 2,
1)位置, 将像素点 (6, 2) 的残差 5重排在(3, 1)位置 ······即, 用竖直 方向索引相同的上述像素点 (水平方向和垂直方向上的索引均为偶数), 按 水平方向的索引, 依次(左至右)填充该 4x4的块的各行(竖直方向索引 最小的四个像素点填充该 4x4的块的第一行, 竖直方向索引最大的四个像 素点填充该 4x 4的块的第四行)。
同样, 将水平方向上的索引为偶数、 垂直方向上的索引为奇数的像素点 的残差排在该 8 x 8的图像块的右上角的 4 X 4的块中。
将水平方向上的索引为奇数、垂直方向上的索引为偶数的像素点的像素 点 (排在该 8 x 8的图像块的左下角的 4x 4的块中。
将水平方向和垂直方向上的索引均为奇数的像素点的残差排在该 8 x 8 的图像块的右下角的 4 x4的块中。
图 3c示出了上述重排序处理(第一重排序处理)后的残差信息。
应理解, 以上列举的重排列处理的方法仅为示例性说明, 本发明并未限 定于此,其他能够将整像素的残差与半像素的残差分开排序的方法均落入本 发明的保护范围。
方法 2
可选地, 所述预测信息为根据所述基本层样本图像的像素、 所述上采样 滤波器和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域预测信 息, 所述原始信息为根据所述原始增强层样本图像的像素和所述 DCT矩阵 确定的频域原始信息。
具体地说, 可以对原始增强层样本图像的每个图像块都作例如, 8 x 8 的 DCT ( Discrete Cosine Transform )变换, 并对基本层样本图像的每个图像 块都作例如, 8 X 8的 DCT变换,通过使上采样后的 DCT处理后的基本层样
本图像的系数与 DCT处理后的原始增强层样本图像的系数对应相等, 能够 确定该上采样滤波器。
原始增强层样本图像的每个像素记作 表示, DCT处理后的原始增强层 样本图像的系数记作 C/ (对第 i个像素及其之后的八个像素进行 DCT处理 后的第 j个系数); 基本层图象的每个像素记作 ¾ , DCT后处理的基本层图 象的系数记作 D , DCT变换矩阵记作 A, 下采样滤波器矩阵记作 H,
从而, 基本层图象的经 DCT处理后的频域可以表示为:
由于 C/的预测值是通过 )/和上采样滤波器 B 得到的通过使 [D0°
Dl Dl D0 4 D0 5 D0 6 D ]逼近 [C。。 C0 2 C0 3 C0 4 C0 5 C0 6 C ] , 能够确定上采样滤波器 B 可选地, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采 样滤波器, 包括:
根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采 样滤波器的倍率, 确定该原始增强层样本图像中的第一像素;
确定该基本层样本图像中与该第一像素相对应的第二像素;
根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据该第 二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素的确 定的第一原始信息之间的相似度满足第一预设条件。 在本发明实施例中, 根据第一下采样滤波器的倍率, 或者说, 基本层样 本图像与增强层样本图像的分辨率比 (或者说, 尺寸比), 增强层样本图像 中存在多种位置的像素, 例如, 当进行 2倍下采样时, 增强层样本图像中存 在两种位置的像素, 即, 位置为 2i处的整像素, 以及, 位置为 2i+l处的半 像素, 由于, 下采样(或上采样) 时, 整像素与基本层中对应像素点之间的 对应关系不同于半像素与基本层中对应像素之间的对应关系, 因此, 需要对 这两个位置分别进行训练。 即, 在本发明实施例中 C。。是由两部分组成, 可以 考虑整像素和半像素, 即
可以将 C。。看成两部分组成, 第一部分为整像素变换后的值之和, 第二部 分为半像素变换后的值之和, 即:
1 1 1 1
2"+1 1 2>/2 3 2 2 5 2 2 7 2 2
则, O
) = D' + Di
CJ = CJ +CJ 其中, j=0 1, 2, 7
设整像素点的上采样滤波器系数矩阵为 S = [α a, a2 a3 a4 a5 at
则,
β— 6 0 Ql 4 0 2 0 Ql 0 Ql 4 0 Ql 2 0 β. 0 Ql+ 0
o Q1+2 o +4 o a 0 +2 o Q,+4 o +6 o a+8 0 a+4 o a+6 o Ql+i o a+10 0
+6 o a+8 o a+10 o ¾+12 0
通过统计 (^与^^ Dj i+6〗之间的 相关性, 可以训练出整像素点的上采样滤波器, 同理, 可以训练出半像素点 的上采样滤波器。 可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
在本发明实施例中,在对分层编码的图像(例如,后述增强层目标图像) 进行编码或解码处理时, 例如, 当增强层目标图像与基本层目标图像的分辨 率比为 2 ( 2倍上采样或 2倍下采样) 时, 在确定增强层目标图像的整像素 的预测信息(后述目标预测信息)时, 可以使用整像素上采样滤波器, 在确 定增强层目标图像的半像素的预测信息(后述目标预测信息)时, 可以使用 半像素上采样滤波器。
应理解, 以上列举的滤波器(整像素上采样滤波器、 半像素上采样滤波 器)及像素点的分类(整像素、 半像素)仅为示例性说明, 本发明并不限定 于此, 例如, 在当增强层目标图像与基本层目标图像的分辨率比为 1.5 ( 1.5 倍上采样或 1.5倍下采样 )可以将像素分为整像素, 1/3像素和 2/3像素, 相 对应地, 滤波器可以分为整像素上采样滤波器、 1/3上采样滤波器和 2/3上 采样滤波器。
通过在频域进行处理得到上采样滤波器, 在对目标图像进行编码处理 时, 能够提高预测残差的平稳性。
根据本发明实施例的上采样滤波器的生成方法,使根据基本层图像和待 确定的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的 原始信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高 根据基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始 图像的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生 的影响, 提高图像处理的效果。
图 4示出了从编码端角度描述的根据本发明实施例的用于图像处理的方 法 200的示意性流程图。 如图 4所示, 该方法 200包括:
S210, 获取上采样滤波器;
S220, 根据该上采样滤波器和基本层目标图像, 确定与该基本层目标图 像相对应的增强层目标图像的目标预测信息;
S230, 根据该目标预测信息, 对该增强层目标图像进行编码处理, 以生 成目标码流, 该目标码流包括编码后的第一指示信息, 该第一指示信息用于 表示根据该目标预测信息与该增强层目标图像生成的残差信息。
具体地说, 在 S210, 编码端可以根据当前处理的增强层目标图像与基 本层目标图像的分辨率比或尺寸比(或者说, 获取基本层目标图像的原始图 像使使用的下采样滤波器的倍率)以及系统规定的抽头数, 获取通过上述方
法 100训练得到的上采样滤波器。
在本发明实施例中, 该编码端可以自行根据方法 100, 训练得到该上采 样滤波器, 即该获取上采样滤波器包括:
根据该基本层目标图像与该增强层目标图像的分辨率比,确定与该增强 层目标图像中的第五像素相对应的第三上采样滤波器; 以及
该根据该上采样滤波器和基本层目标图像, 确定预测像素, 包括: 根据该第三上采样滤波器和该基本层目标图像中与该第五像素相对应 的第六像素, 确定与该第五像素相对应的第一目标预测信息;
对应, 该根据从目标码流中获取用于指示残差信息的第一指示信息和该 目标预测信息, 对该增强层目标图像进行解码处理, 包括:
根据该第一指示信息和该第一目标预测信息,对该第五像素进行解码处 理。
可选地, 该第五像素为该增强层目标图像中的零相位像素。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息 确定的,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该根据从目标码流中获取用于指示残差信息的第一指示信息和该目标 预测信息, 对该增强层目标图像进行解码处理, 包括:
根据该基本层目标图像与该增强层目标图像的分辨率比或该上采样滤 波器的倍率, 对该残差信息进行第二重排序处理;
根据该第二重排序处理后的残差信息和该目标预测信息, 该增强层目标 图像进行解码处理。
可选地, 该获取上采样滤波器包括:
获取原始增强层样本图像和下采样滤波器;
根据该原始增强层样本图像和该下采样滤波器, 生成基本层样本图像; 根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基本层样本图像进行上 采样处理生成的样本预测信息与根据该原始增强层样本图像的确定的原始 信息之间的相似度满足预设条件。
可选地, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采
样滤波器, 包括:
根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采 样滤波器的倍率, 确定该原始增强层样本图像中的第一像素;
确定该基本层样本图像中与该第一像素相对应的第二像素;
根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据该第 二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素的确 定的第一原始信息之间的相似度满足第一预设条件。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
可选地, 该预测信息为根据该基本层样本图像的像素、 该上采样滤波器 和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 该原始信息为根据该原始增强层样本图像的像素和该 DCT矩阵确定的频域 原始信息。
可选地, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采 样滤波器, 包括:
根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采 样滤波器的倍率,确定该原始增强层样本图像中的第三像素以及该第三像素 的自相关矩阵;
根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三像素 相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
根据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。
可选地, 该第三像素为该原始增强层样本图像中的零相位像素。
上述过程与图 1中方法 100的过程相同, 这里省略其说明。
并且, 在本发明实施例中, 在 S210, 编码端还可以从第三方设备获取 该上采样滤波器, 其中第三放设备生成该上采样滤波器的过程与图 1中方法 100的过程相同, 这里省略其说明。
可选地, 该获取上采样滤波器包括:
根据该基本层目标图像与该增强层目标图像的分辨率比,确定与该增强 层目标图像中的第五像素相对应的第三上采样滤波器; 以及
该根据该上采样滤波器和基本层目标图像, 确定预测像素, 包括: 根据该第三上采样滤波器和该基本层目标图像中与该第五像素相对应 的第六像素, 确定与该第五像素相对应的第一目标预测信息;
对应, 该根据该目标预测信息, 对该增强层目标图像进行编码处理, 包 括:
根据该第一目标预测信息, 对该第五像素进行编码处理。
具体地说, 在本发明实施例中, 根据基本层目标图像与增强层目标图像 的分辨率比(或者说, 尺寸比), 增强层目标图像中存在多种位置的像素点, 例如, 当进行 2倍下采样时, 增强层目标图像中存在两种位置的像素, 即, 位置为 2i处的整像素, 以及, 位置为 2i+l处的半像素。 由于, 下采样时, 整像素与基本层中对应像素之间的对应关系不同于半像素与基本层中对应 像素之间的对应关系, 因此, 对与不同位置的像素需要选用不同的上采样滤 波器。
该第五像素为该增强层目标图像中的零相位像素。
在本发明实施例中, 例如, 当基本层目标图像与增强层目标图像的分辨 率比(或者说下采样滤波器的倍率) 为 2倍时, 根据上述方法 100, 生成了 两个上采样滤波器, 即, 用于对整像素进行上采样的滤波器以及用于对半像 素进行上采样的滤波器。 当基本层目标图像与增强层目标图像的分辨率比 (或者说下采样滤波器的倍率) 为 1.5倍时, 根据上述方法 100, 生成了三 个上采样滤波器, 即, 用于对整像素进行上采样的滤波器、 用于对 1/3像素 进行上采样的滤波器、 用于对 2/3像素进行上采样的滤波器。 得到最佳预测 模式后, 对增强层图像块进行编码。
在 S220, 当预测模式为层间纹理预测时, 编码端可以根据所获取的上 采样滤波器, 对重建基本层目标图像进行上采样处理, 作为重建增强层目标 图像的预测值(目标预测信息 ), 并根据重建增强层目标图像的预测值与原 始增强层目标图像, 确定残差信息, 进行变换量化熵编码, 计算当前模式下 的率失真代价, 从而确定最佳预测模式后, 其后, 可以对增强层目标图像进 行编码处理。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息 确定的,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的,
该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该对该增强层目标图像进行编码处理, 包括:
根据该基本层目标图像与该增强层目标图像的分辨率比或该上采样滤 波器的倍率, 对根据该残差信息进行第一重排序处理;
对应, 该第一指示信息用于表示该第一重排序处理后的残差信息。
如图 3a 示出了根据现有技术的上采样滤波器对测试序列 1 中位置为 ( 11, 59) 的一个 8 x 8的图像块进行上采样后并进行预测处理后得到的残 差信息, 如图 3b示出了根据本发明的上采样滤波器对测试序列 1 中位置为 ( 11, 59) 的一个 8 x 8的图像块进行上采样后并进行预测处理后得到的残 差信息。 如图 3a和 3b所示, 在对目标图像进行编解码处理时, 通过本发明 实施例的生成方法获取的上采样滤波器对重建基本层目标图像进行上采样 后, 与现有技术相比, 能够明显提升整像素(即, 横坐标为偶数的像素)的 采样性能。
但是, 如图 3b所示, 对应的半像素 (即, 横坐标均为奇数的像素) 的 上采样性能低于对于整像素的采样性能, 因此, 可能会影响上采样后的平稳 性, 即, 对增强层图像作预测处理后, 所得到的残差的平稳性可能降低。
在本发明实施例中, 整像素位置的残差均会变小, 半像素位置的残差基 本保持与现有技术相同的值, 因此, 在本发明实施中, 可以对于对增强层图 像作预测处理后所得到的残差信息进行重排序处理。
作为示例而非限定, 在本发明实施例中, 在图 3b所示的 8 x 8的图像块 的残差信息中, 可以将整像素点的残差与半像素点的残差分开, 例如, 可以 将水平方向和垂直方向上的索引均为偶数的像素点的残差排在该 8 x 8的图 像块的左上角的 4 X 4的块中, 例如, 将像素点(0, 0)的残差 6重排在( 0, 0)位置, 将像素点 (2, 0) 的残差 1重排在(1, 0)位置, 将像素点 (4, 0 ) 的残差 13重排在(2, 0)位置, 将像素点 (6, 0) 的残差 5重排在( 3,
0)位置, 将像素点 (0, 2) 的残差 7重排在(0, 1 )位置; 将像素点 (2, 2 ) 的残差 8重排在(1, 1 )位置, 将像素点 (4, 2) 的残差 19重排在( 2,
1 )位置, 将像素点 (6, 2) 的残差 5重排在(3, 1 )位置 ······即, 用竖直 方向索引相同的上述像素点 (水平方向和垂直方向上的索引均为偶数), 按 水平方向的索引, 依次(左至右)填充该 4x4的块的各行(竖直方向索引 最小的四个像素点填充该 4x4的块的第一行, 竖直方向索引最大的四个像
素点填充该 4 x 4的块的第四行)。
同样, 将水平方向上的索引为偶数、 垂直方向上的索引为奇数的像素点 的残差排在该 8 x 8的图像块的右上角的 4 X 4的块中。
将水平方向上的索引为奇数、垂直方向上的索引为偶数的像素点的像素 点 (排在该 8 x 8的图像块的左下角的 4 x 4的块中。
将水平方向和垂直方向上的索引均为奇数的像素点的残差排在该 8 x 8 的图像块的右下角的 4 x 4的块中。
图 3c示出了上述重排序处理(第一重排序处理)后的残差信息。
应理解, 以上列举的重排列处理的方法仅为示例性说明, 本发明并未限 定于此,其他能够将整像素的残差与半像素的残差分开排序的方法均落入本 发明的保护范围。
根据本发明实施例的用于图像处理的方法,使根据基本层图像和待确定 的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的原始 信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高根据 基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始图像 的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生的影 响, 提高图像处理的效果。
图 5示出了从解码端角度描述的根据本发明实施例的用于图像处理的方 法 300的示意性流程图。 如图 5所示, 该方法 300包括:
S310 ,获取上采样滤波器,该上采样滤波器是根据上述方法 100生成的;
S320 , 根据该上采样滤波器和基本层目标图像, 确定与该基本层目标图 像相对应的增强层目标图像的目标预测信息;
S330 ,根据从目标码流中获取用于指示残差信息的第一指示信息和该目 标预测信息, 对该增强层目标图像进行解码处理。
具体地说, 在 S310 , 解码端可以根据当前处理的增强层目标图像与基 本层目标图像的分辨率比或尺寸比(或者说, 获取基本层目标图像的原始图 像使使用的下采样滤波器的倍率)以及系统规定的抽头数, 获取通过上述方 法 100训练得到的上采样滤波器。 具体地说, 在 S210 , 编码端可以根据当 前处理的增强层目标图像与基本层目标图像的分辨率比或尺寸比(或者说, 获取基本层目标图像的原始图像使使用的下采样滤波器的倍率 )以及系统规 定的抽头数, 获取通过上述方法 100训练得到的上采样滤波器。
在本发明实施例中, 该编码端可以自行根据方法 100, 训练得到该上采 样滤波器, 即该获取上采样滤波器包括:
根据该基本层目标图像与该增强层目标图像的分辨率比,确定与该增强 层目标图像中的第五像素相对应的第三上采样滤波器; 以及
该根据该上采样滤波器和基本层目标图像, 确定预测像素, 包括: 根据该第三上采样滤波器和该基本层目标图像中与该第五像素相对应 的第六像素, 确定与该第五像素相对应的第一目标预测信息;
对应, 该根据从目标码流中获取用于指示残差信息的第一指示信息和该 目标预测信息, 对该增强层目标图像进行解码处理, 包括:
根据该第一指示信息和该第一目标预测信息,对该第五像素进行解码处 理。
可选地, 该第五像素为该增强层目标图像中的零相位像素。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息 确定的,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该根据从目标码流中获取用于指示残差信息的第一指示信息和该目标 预测信息, 对该增强层目标图像进行解码处理, 包括:
根据该基本层目标图像与该增强层目标图像的分辨率比或该上采样滤 波器的倍率, 对该残差信息进行第二重排序处理;
根据该第二重排序处理后的残差信息和该目标预测信息, 该增强层目标 图像进行解码处理。
可选地, 该获取上采样滤波器包括:
获取原始增强层样本图像和下采样滤波器;
根据该原始增强层样本图像和该下采样滤波器, 生成基本层样本图像; 根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基本层样本图像进行上 采样处理生成的样本预测信息与根据该原始增强层样本图像的确定的原始 信息之间的相似度满足预设条件。
可选地, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采 样滤波器, 包括:
根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采 样滤波器的倍率, 确定该原始增强层样本图像中的第一像素;
确定该基本层样本图像中与该第一像素相对应的第二像素;
根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据该第 二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素的确 定的第一原始信息之间的相似度满足第一预设条件。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
可选地, 该预测信息为根据该基本层样本图像的像素、 该上采样滤波器 和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 该原始信息为根据该原始增强层样本图像的像素和该 DCT矩阵确定的频域 原始信息。
可选地, 该根据该基本层样本图像和该原始增强层样本图像, 生成上采 样滤波器, 包括:
根据该基本层样本图像与该原始增强层样本图像的分辨率比或该下采 样滤波器的倍率,确定该原始增强层样本图像中的第三像素以及该第三像素 的自相关矩阵;
根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三像素 相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
根据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。
可选地, 该第三像素为该原始增强层样本图像中的零相位像素。
上述过程与图 1中方法 100的过程相同, 这里省略其说明。
并且, 在本发明实施例中, 在 S210, 编码端还可以从第三方设备获取 该上采样滤波器, 其中第三放设备生成该上采样滤波器的过程与图 1中方法 100的过程相同, 这里省略其说明。
可选地, 该获取上采样滤波器包括:
根据该基本层目标图像与该增强层目标图像的分辨率比,确定与该增强 层目标图像中的第五像素相对应的第三上采样滤波器; 以及
该根据该上采样滤波器和基本层目标图像, 确定预测像素, 包括:
根据该第三上采样滤波器和该基本层目标图像中与该第五像素相对应 的第六像素, 确定与该第五像素相对应的第一目标预测信息;
对应, 该根据该目标预测信息, 对该增强层目标图像进行解码处理, 包 括:
根据该第一目标预测信息, 对该第五像素进行解码处理。
具体地说, 在本发明实施例中, 根据基本层目标图像与增强层目标图像 的分辨率比(或者说, 尺寸比), 增强层目标图像中存在多种位置的像素点, 例如, 当进行 2倍下采样时, 增强层目标图像中存在两种位置的像素, 即, 位置为 2i处的整像素, 以及, 位置为 2i+l处的半像素。 由于, 下采样时, 整像素与基本层中对应像素之间的对应关系不同于半像素与基本层中对应 像素之间的对应关系, 因此, 对与不同位置的像素需要选用不同的上采样滤 波器。
该第五像素为该增强层目标图像中的零相位像素。
在本发明实施例中, 例如, 当基本层目标图像与增强层目标图像的分辨 率比(或者说下采样滤波器的倍率) 为 2倍时, 根据上述方法 100, 生成了 两个上采样滤波器, 即, 用于对整像素进行上采样的滤波器以及用于对半像 素进行上采样的滤波器。 当基本层目标图像与增强层目标图像的分辨率比 (或者说下采样滤波器的倍率) 为 1.5倍时, 根据上述方法 100, 生成了三 个上采样滤波器, 即, 用于对整像素进行上采样的滤波器、 用于对 1/3像素 进行上采样的滤波器、 用于对 2/3像素进行上采样的滤波器。 得到最佳预测 模式后, 对增强层图像块进行解码。
在 S320, 当预测模式为层间纹理预测时, 解码端可以根据所获取的上 采样滤波器,并从码流中获取编码的残差信息,并对其进行解码处理,其后, 可以对重建基本层目标图像进行上采样处理,作为重建增强层目标图像的预 测值(目标预测信息), 并根据重建增强层目标图像的预测值与获取的残差 信息, 对增强层目标图像进行解码处理。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息 确定的,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该对该增强层目标图像进行解码处理, 包括:
根据该基本层目标图像与该增强层目标图像的分辨率比或该上采样滤 波器的倍率, 对根据该残差信息进行第一重排序处理;
对应, 该第一指示信息用于表示该第一重排序处理后的残差信息。
如图 3a 示出了根据现有技术的上采样滤波器对测试序列 1 中位置为 ( 11, 59) 的一个 8 x 8的图像块进行上采样后并进行预测处理后得到的残 差信息, 如图 3b示出了根据本发明的上采样滤波器对测试序列 1 中位置为 ( 11, 59) 的一个 8 x 8的图像块进行上采样后并进行预测处理后得到的残 差信息。 如图 3a和 3b所示, 在对目标图像进行编解码处理时, 通过本发明 实施例的生成方法获取的上采样滤波器对重建基本层目标图像进行上采样 后, 与现有技术相比, 能够明显提升整像素(即, 横坐标为偶数的像素)的 采样性能。
但是, 如图 3b所示, 对应的半像素 (即, 横坐标均为奇数的像素) 的 上采样性能低于对于整像素的采样性能, 因此, 可能会影响上采样后的平稳 性, 即, 对增强层图像作预测处理后, 所得到的残差的平稳性可能降低。
在本发明实施例中, 整像素位置的残差均会变小, 半像素位置的残差基 本保持与现有技术相同的值, 因此, 在本发明实施中, 可以对于对增强层图 像作预测处理后所得到的残差信息进行重排序处理。
图 3c示出了上述重排序处理(第一重排序处理)后的残差信息。 该第 一重排序处理的过程可以为, 例如, 在图 3b所示的 8 x 8的图像块的残差信 息中, 可以将整像素点的残差与半像素点的残差分开, 例如, 可以将水平方 向和垂直方向上的索引均为偶数的像素点的残差排在该 8 x 8的图像块的左 上角的 4x 4的块中, 例如, 将像素点 (0, 0) 的残差 6重排在(0, 0)位 置, 将像素点 (2, 0) 的残差 1重排在(1, 0)位置, 将像素点 (4, 0) 的 残差 13重排在 (2, 0)位置, 将像素点 (6, 0) 的残差 5重排在(3, 0) 位置, 将像素点 (0, 2) 的残差 7重排在(0, 1 )位置; 将像素点 (2, 2) 的残差 8重排在(1, 1 )位置, 将像素点 (4, 2) 的残差 19重排在(2, 1 ) 位置, 将像素点 (6, 2) 的残差 5重排在(3, 1 )位置 ······即, 用竖直方向 索引相同的上述像素点 (水平方向和垂直方向上的索引均为偶数), 按水平 方向的索引, 依次(左至右)填充该 4x4的块的各行(竖直方向索引最小 的四个像素点填充该 4x 4的块的第一行, 竖直方向索引最大的四个像素点 填充该 4x4的块的第四行)。
同样, 将水平方向上的索引为偶数、 垂直方向上的索引为奇数的像素点 的残差排在该 8 x 8的图像块的右上角的 4 X 4的块中。
将水平方向上的索引为奇数、垂直方向上的索引为偶数的像素点的像素 点 (排在该 8 x 8的图像块的左下角的 4 x 4的块中。
将水平方向和垂直方向上的索引均为奇数的像素点的残差排在该 8 x 8 的图像块的右下角的 4 x 4的块中。
应理解, 以上列举的重排列处理的方法仅为示例性说明, 本发明并未限 定于此,其他能够将整像素的残差与半像素的残差分开排序的方法均落入本 发明的保护范围。
从而在对残差信息进行解码处理后, 可以按上除重排序处理(第一重排 序处理)相应方法 (第二重排序处理) 恢复原始生成的残差信息 (如图 3b 所示)。
根据本发明实施例的用于图像处理的方法,使根据基本层图像和待确定 的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的原始 信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高根据 基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始图像 的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生的影 响, 提高图像处理的效果。
上文中, 结合图 1 , 详细描述了根据本发明实施例的上采样滤波器的生 成方法, 下面, 将结合图 6 , 详细描述根据本发明实施例的上采样滤波器的 生成装置。
如图 6所示, 该上采样滤波器的生成装置 400包括:
获取单元 410 , 用于获取原始增强层样本图像和下采样滤波器; 用于根据该原始增强层样本图像和该下采样滤波器,生成基本层样本图 像;
生成单元 420 , 用于根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基 本层样本图像进行上采样处理生成的样本预测信息与根据该原始增强层样 本图像的确定的原始信息之间的相似度满足预设条件。
可选地, 该生成单元 420具体用于根据该基本层样本图像与该原始增强 层样本图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图
像中的第一像素;
用于确定该基本层样本图像中与该第一像素相对应的第二像素; 用于根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据 该第二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素 的确定的第一原始信息之间的相似度满足第一预设条件。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
可选地, 该预测信息为根据该基本层样本图像的像素、 该上采样滤波器 和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 该原始信息为根据该原始增强层样本图像的像素和该 DCT矩阵确定的频域 原始信息。
可选地, 该生成单元 420具体用于根据该基本层样本图像与该原始增强 层样本图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图 像中的第三像素以及该第三像素的自相关矩阵;
用于根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三 像素相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
用于 ^据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。 可选地, 该第三像素为该原始增强层样本图像中的零相位像素。
根据本发明实施例的上采样滤波器的生成装置,使根据基本层图像和待 确定的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的 原始信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高 根据基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始 图像的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生 的影响, 提高图像处理的效果。
根据本发明实施例的上采样滤波器的生成装置 400可对应于本发明实施 例的方法中的上采样滤波器的生成方法 100的实施主体, 并且, 该上采样滤 波器的生成装置 400 中的各单元即模块和上述其他操作和 /或功能分别为了 实现图 1中的方法 100的相应流程, 为了筒洁, 在此不再赘述。
上文中, 结合图 4至图 5 , 详细描述了根据本发明实施例的用于图像处
理的方法, 下面, 将结合图 7至图 8, 详细描述根据本发明实施例的用于图 像处理的装置。
图 7 示出了根据本发明实施例的用于图像处理的装置 500 的示意性框 图。 如图 7所示, 该装置 500包括:
获取单元 510;
编码单元 520,用于从该生成装置获取上采样滤波器,,并根据该上采样 滤波器和基本层目标图像,确定与该基本层目标图像相对应的增强层目标图 像的目标预测信息;
用于根据该目标预测信息, 对该增强层目标图像进行编码处理, 以生成 目标码流, 该目标码流包括编码后的第一指示信息, 该第一指示信息用于表 示根据该目标预测信息与该增强层目标图像生成的残差信息。
可选地, 该编码单元 520具体用于根据该基本层目标图像与该增强层目 标图像的分辨率比,确定与该增强层目标图像中的第五像素相对应的第三上 采样滤波器; 用于根据该第三上采样滤波器和该基本层目标图像中与该第五 像素相对应的第六像素, 确定与该第五像素相对应的第一目标预测信息; 用于根据该第一目标预测信息, 对该第五像素进行编码处理。
可选地, 该第五像素为该增强层目标图像中的零相位像素。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息 确定的,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该编码单元 520还用于根据该基本层目标图像与该增强层目标图像的分 辨率比或该上采样滤波器的倍率, 对根据该残差信息进行第一重排序处理; 对应, 该第一指示信息用于表示该第一重排序处理后的残差信息。 可选地, 该获取单元具体用于获取原始增强层样本图像和下采样滤波 器;
根据该原始增强层样本图像和该下采样滤波器, 生成基本层样本图像; 根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基本层样本图像进行上 采样处理生成的样本预测信息与根据该原始增强层样本图像的确定的原始 信息之间的相似度满足预设条件。
可选地, 该获取单元具体用于根据该基本层样本图像与该原始增强层样 本图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中 的第一像素;
用于确定该基本层样本图像中与该第一像素相对应的第二像素; 用于根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据 该第二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素 的确定的第一原始信息之间的相似度满足第一预设条件。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
可选地, 该预测信息为根据该基本层样本图像的像素、 该上采样滤波器 和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 该原始信息为根据该原始增强层样本图像的像素和该 DCT矩阵确定的频域 原始信息。
可选地, 该生成单元具体用于根据该基本层样本图像与该原始增强层样 本图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中 的第三像素以及该第三像素的自相关矩阵;
用于根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三 像素相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
用于 ^据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。 可选地, 该第三像素为该原始增强层样本图像中的零相位像素。
根据本发明实施例的用于图像处理的装置,使根据基本层图像和待确定 的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的原始 信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高根据 基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始图像 的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生的影 响, 提高图像处理的效果。
根据本发明实施例的用于图像处理的装置 500可对应于本发明实施例的 方法中的解码端, 并且, 该用于图像处理的装置 500中的各单元即模块和上 述其他操作和 /或功能分别为了实现图 4中的方法 200的相应流程,为了筒洁,
在此不再赘述。
图 8 示出了根据本发明实施例的用于图像处理的装置 600 的示意性框 图。 如图 8所示, 该装置 600包括:
获取单元 610;
解码单元 620, 用于从该生成装置获取上采样滤波器, 并根据该上采样 滤波器和基本层目标图像,确定与该基本层目标图像相对应的增强层目标图 像的目标预测信息;
用于根据从目标码流中获取用于指示残差信息的第一指示信息和该目 标预测信息, 对该增强层目标图像进行解码处理。
可选地, 该解码单元 620具体用于根据该基本层目标图像与该增强层目 标图像的分辨率比,确定与该增强层目标图像中的第五像素相对应的第三上 采样滤波器;
用于根据该第三上采样滤波器和该基本层目标图像中与该第五像素相 对应的第六像素, 确定与该第五像素相对应的第一目标预测信息;
用于根据该第一目标预测信息, 对该第五像素进行解码处理。
可选地, 该第五像素为该增强层目标图像中的零相位像素。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息 确定的,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该解码单元 620具体用于根据该基本层目标图像与该增强层目标图像的 分辨率比或该上采样滤波器的倍率, 对该残差信息进行第二重排序处理; 用于根据该第二重排序处理后的残差信息和该目标预测信息, 该增强层 目标图像进行解码处理。
可选地, 该获取单元具体用于获取原始增强层样本图像和下采样滤波 器;
用于根据该原始增强层样本图像和该下采样滤波器,生成基本层样本图 像;
用于根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波 器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基本层样本图像进 行上采样处理生成的样本预测信息与根据该原始增强层样本图像的确定的
原始信息之间的相似度满足预设条件。
可选地, 该获取单元具体用于根据该基本层样本图像与该原始增强层样 本图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中 的第一像素;
用于确定该基本层样本图像中与该第一像素相对应的第二像素; 用于根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据 该第二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素 的确定的第一原始信息之间的相似度满足第一预设条件。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
可选地, 该预测信息为根据该基本层样本图像的像素、 该上采样滤波器 和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 该原始信息为根据该原始增强层样本图像的像素和该 DCT矩阵确定的频域 原始信息。
可选地, 该生成单元具体用于根据该基本层样本图像与该原始增强层样 本图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中 的第三像素以及该第三像素的自相关矩阵;
用于根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三 像素相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
用于 ^据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。 可选地, 该第三像素为该原始增强层样本图像中的零相位像素。
根据本发明实施例的用于图像处理的装置,使根据基本层图像和待确定 的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的原始 信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高根据 基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始图像 的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生的影 响, 提高图像处理的效果。
根据本发明实施例的用于图像处理的装置 600可对应于本发明实施例的 方法中的解码端, 并且, 该用于图像处理的装置 600中的各单元即模块和上
述其他操作和 /或功能分别为了实现图 5中的方法 300的相应流程,为了筒洁, 在此不再赘述。
上文中, 结合图 4至图 5 , 详细描述了根据本发明实施例的用于图像处 理的方法, 下面, 将结合图 9至图 10, 详细描述根据本发明实施例的用于图 像处理的编码器和解码器。
图 9示出了根据本发明实施例的用于图像处理的编码器 700的示意性框 图。 如图 9所示, 该装置 700包括:
该上采样滤波器的生成装置 400;
总线 710;
与该总线相连的处理器 720;
与该总线相连的存储器 730;
其中,该处理器 720通过该总线 710,调用该存储器 730中存储的程序, 以用于从该生成装置 400获取上采样滤波器;
用于根据该上采样滤波器和基本层目标图像,确定与该基本层目标图像 相对应的增强层目标图像的目标预测信息;
用于根据该目标预测信息, 对该增强层目标图像进行编码处理, 以生成 目标码流, 该目标码流包括编码后的第一指示信息, 该第一指示信息用于表 示根据该目标预测信息与该增强层目标图像生成的残差信息。
可选地, 该处理单元 720具体用于根据该基本层目标图像与该增强层目 标图像的分辨率比,确定与该增强层目标图像中的第五像素相对应的第三上 采样滤波器;
用于根据该第三上采样滤波器和该基本层目标图像中与该第五像素相 对应的第六像素, 确定与该第五像素相对应的第一目标预测信息;
用于根据该第一目标预测信息, 对该第五像素进行编码处理。
可选地, 该第五像素为该增强层目标图像中的零相位像素。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息 确定的,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该处理单元 720具体用于根据该基本层目标图像与该增强层目标图像的 分辨率比或该上采样滤波器的倍率, 对根据该残差信息进行第一重排序处
理;
对应, 该第一指示信息用于表示该第一重排序处理后的残差信息。 可选地, 该处理器具体用于获取原始增强层样本图像和下采样滤波器; 用于根据该原始增强层样本图像和该下采样滤波器,生成基本层样本图 像;
用于根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波 器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基本层样本图像进 行上采样处理生成的样本预测信息与根据该原始增强层样本图像的确定的 原始信息之间的相似度满足预设条件。
可选地, 该处理器具体用于根据该基本层样本图像与该原始增强层样本 图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中的 第一像素;
用于确定该基本层样本图像中与该第一像素相对应的第二像素; 用于根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据 该第二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素 的确定的第一原始信息之间的相似度满足第一预设条件。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
可选地, 该预测信息为根据该基本层样本图像的像素、 该上采样滤波器 和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 该原始信息为根据该原始增强层样本图像的像素和该 DCT矩阵确定的频域 原始信息。
可选地, 该处理器具体用于根据该基本层样本图像与该原始增强层样本 图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中的 第三像素以及该第三像素的自相关矩阵;
用于根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三 像素相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
用于 ^据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。 可选地, 该第三像素为该原始增强层样本图像中的零相位像素。
根据本发明实施例的用于图像处理的编码器,使根据基本层图像和待确 定的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的原 始信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高根 据基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始图 像的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生的 影响, 提高图像处理的效果。
根据本发明实施例的用于图像处理的编码器 700可对应于本发明实施例 的方法中的用于图像处理的方法 200的实施主体, 并且, 该用于图像处理的 编码器 700 中的各单元即模块和上述其他操作和 /或功能分别为了实现图 4 中的方法 200的相应流程, 为了筒洁, 在此不再赘述。
图 10示出了根据本发明实施例的用于图像处理的解码器 800的示意性 框图。 如图 10所示, 该解码器 800包括:
该上采样滤波器的生成装置 400;
总线 810;
与该总线相连的处理器 820;
与该总线相连的存储器 830;
其中,该处理器 820通过该总线 810,调用该存储器 830中存储的程序, 以用于从该生成装置 400获取上采样滤波器;
用于根据该上采样滤波器和基本层目标图像,确定与该基本层目标图像 相对应的增强层目标图像的目标预测信息;
用于根据从目标码流中获取用于指示残差信息的第一指示信息和该目 标预测信息, 对该增强层目标图像进行解码处理。
可选地, 该处理单元 820具体用于根据该基本层目标图像与该增强层目 标图像的分辨率比,确定与该增强层目标图像中的第五像素相对应的第三上 采样滤波器;
用于根据该第三上采样滤波器和该基本层目标图像中与该第五像素相 对应的第六像素, 确定与该第五像素相对应的第一目标预测信息;
用于根据该第一指示信息和该第一目标预测信息,对该第五像素进行解 码处理。
可选地, 该第五像素为该增强层目标图像中的零相位像素。
可选地, 该上采样滤波器是根据像素域样本预测信息和像素域原始信息
确定的 ,该像素域样本预测信息是根据基本层样本图像的像素和该上采样滤 波器构建的, 该像素域原始信息是根据原始增强层样本图像的像素确定的, 该基本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及 该处理单元 820具体用于根据该基本层目标图像与该增强层目标图像的 分辨率比或该上采样滤波器的倍率, 对该残差信息进行第二重排序处理; 用于根据该第二重排序处理后的残差信息和该目标预测信息, 该增强层 目标图像进行解码处理。
可选地, 该处理器具体用于获取原始增强层样本图像和下采样滤波器; 用于根据该原始增强层样本图像和该下采样滤波器,生成基本层样本图 像;
用于根据该基本层样本图像和该原始增强层样本图像, 生成上采样滤波 器, 以使该上采样滤波器满足: 根据该上采样滤波器对该基本层样本图像进 行上采样处理生成的样本预测信息与根据该原始增强层样本图像的确定的 原始信息之间的相似度满足预设条件。
可选地, 该处理器具体用于根据该基本层样本图像与该原始增强层样本 图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中的 第一像素;
用于确定该基本层样本图像中与该第一像素相对应的第二像素; 用于根据该第一像素和该第二像素, 生成第一上采样滤波器, 以使根据 该第二像素和该上采样滤波器构建的第一样本预测信息与根据该第一像素 的确定的第一原始信息之间的相似度满足第一预设条件。
可选地, 该第一像素为该原始增强层样本图像中的零相位像素。
可选地, 该样本预测信息为根据该基本层样本图像的像素和该上采样滤 波器构建的像素域样本预测信息, 该原始信息为根据该原始增强层样本图像 的像素确定的像素域原始信息。
可选地, 该预测信息为根据该基本层样本图像的像素、 该上采样滤波器 和用于进行离散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 该原始信息为根据该原始增强层样本图像的像素和该 DCT矩阵确定的频域 原始信息。
可选地, 该处理器具体用于根据该基本层样本图像与该原始增强层样本 图像的分辨率比或该下采样滤波器的倍率,确定该原始增强层样本图像中的
第三像素以及该第三像素的自相关矩阵;
用于根据该下采样滤波器的抽头数,确定该基本层样本图像中与该第三 像素相对应的第四像素以及该第三像素与该第四像素的互相关矩阵;
用于 ^据该自相关矩阵和该互相关矩阵, 生成该第一上采样滤波器。 可选地, 该第三像素为该原始增强层样本图像中的零相位像素。
根据本发明实施例的用于图像处理的解码器,使根据基本层图像和待确 定的上采样滤波器构建的预测信息与根据增强层图像的原始图像确定的原 始信息之间的相似度满足预设条件, 以确定上采样滤波器, 能够有效提高根 据基本层图像和确定的上采样滤波器生成预测图像与增强层图像的原始图 像的相似度, 降低因基本层图像的像素发生例如突变等时对图像处理产生的 影响, 提高图像处理的效果。
根据本发明实施例的用于图像处理的解码器 800可对应于本发明实施例 的方法中的用于图像处理的方法 300的实施主体, 并且, 该用于图像处理的 解码器 800 中的各单元即模块和上述其他操作和 /或功能分别为了实现图 5 中的方法 300的相应流程, 为了筒洁, 在此不再赘述。
应理解, 在本发明实施例中, 目标图像与样本图像可以是同一图像也可 以是不同图像, 本发明并未特别限定。 在本发明实施例中, 上采样滤波器的 生成装置可以设置在用于图像处理的装置内, 也可以设置在用于图像处理的 装置外, 同样, 上采样滤波器的生成装置可以设置在用于图像处理的编码器 内, 也可以设置在用于图像处理的编码器外, 本发明并未特别限定。 即, 在 本发明实施例中, 该图像处理的装置、 编码器、 解码器可以是上采样滤波器 的生成方法的实施主体,也可以从第三方的上采样滤波器的生成方法的实施 主体获取该上采样滤波器, 本发明并未特别限定。
需要说明的是, 为了使编码端与解码端(编码器、 解码器)使用的上采 样滤波器一致,所以要求编码端与解码端使用的上采样滤波器的生成方法一 致。换言之,可以根据所描述的编码端处理方法对应的确定解码端处理方法, 或者根据所描述的解码端处理方法对应的确定编码端处理方法。
应理解, 本文中术语 "和 /或", 仅仅是一种描述关联对象的关联关系, 表示可以存在三种关系, 例如, A和 /或 B , 可以表示: 单独存在 A, 同时存 在 A和 B , 单独存在 B这三种情况。 另外, 本文中字符 "/" , 一般表示前后 关联对象是一种 "或" 的关系。
应理解, 在本发明的各种实施例中, 上述各过程的序号的大小并不意味 着执行顺序的先后, 各过程的执行顺序应以其功能和内在逻辑确定, 而不应 对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到, 结合本文中所公开的实施例描述的各 示例的单元及算法步骤, 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特 定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能, 但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到, 为描述的方便和筒洁, 上述描 述的系统、 装置和单元的具体工作过程, 可以参考前述方法实施例中的对应 过程, 在此不再赘述。
在本申请所提供的几个实施例中, 应该理解到, 所揭露的系统、 装置和 方法, 可以通过其它的方式实现。 例如, 以上所描述的装置实施例仅仅是示 意性的, 例如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可 以有另外的划分方式, 例如多个单元或组件可以结合或者可以集成到另一个 系统, 或一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合 或通信连接, 可以是电性, 机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作 为单元显示的部件可以是或者也可以不是物理单元, 即可以位于一个地方, 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外, 在本发明各个实施例中的各功能单元可以集成在一个处理单元 中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在一 个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时, 可以存储在一个计算机可读取存储介质中。 基于这样的理解, 本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部 分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质 中, 包括若干指令用以使得一台计算机设备(可以是个人计算机, 服务器, 或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前
述的存储介质包括: U 盘、 移动硬盘、 只读存储器 (ROM , Read - Only Memory ), 随机存取存储器 ( RAM, Random Access Memory ), 磁碟或者光 盘等各种可以存储程序代码的介质。
以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限 于此, 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内, 可轻易 想到变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护 范围应以所述权利要求的保护范围为准。
Claims
1. 一种上采样滤波器的生成方法, 其特征在于, 所述方法包括: 获取原始增强层样本图像和下采样滤波器;
根据所述原始增强层样本图像和所述下采样滤波器,生成基本层样本图 像;
根据所述基本层样本图像和所述原始增强层样本图像, 生成上采样滤波 器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对所述基本层样本 图像进行上采样处理生成的样本预测信息与根据所述原始增强层样本图像 的确定的原始信息之间的相似度满足预设条件。
2. 根据权利要求 1所述的方法, 其特征在于, 所述根据所述基本层样 本图像和所述原始增强层样本图像, 生成上采样滤波器, 包括:
根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所 述下采样滤波器的倍率, 确定所述原始增强层样本图像中的第一像素;
确定所述基本层样本图像中与所述第一像素相对应的第二像素; 根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使根据 所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所述第 一像素的确定的第一原始信息之间的相似度满足第一预设条件。
3. 根据权利要求 2所述的方法, 其特征在于, 所述第一像素为所述原 始增强层样本图像中的零相位像素。
4. 根据权利要求 1至 3中任一项所述的方法, 其特征在于, 所述样本 预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的像 素域样本预测信息, 所述原始信息为根据所述原始增强层样本图像的像素确 定的像素域原始信息。
5. 根据权利要求 1至 3中任一项所述的方法, 其特征在于, 所述预测 信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离散 余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息为 根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信息。
6. 根据权利要求 1所述的方法, 其特征在于, 所述根据所述基本层样 本图像和所述原始增强层样本图像, 生成上采样滤波器, 包括:
根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所 述下采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所
述第三像素的自相关矩阵;
根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所述第 三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关矩阵; 根据所述自相关矩阵和所述互相关矩阵, 生成所述第一上采样滤波器。
7. 根据权利要求 6所述的方法, 其特征在于, 所述第三像素为所述原 始增强层样本图像中的零相位像素。
8. 一种用于图像处理的方法, 其特征在于, 所述方法包括:
获取上采样滤波器;
根据所述上采样滤波器和基本层目标图像,确定与所述基本层目标图像 相对应的增强层目标图像的目标预测信息;
根据所述目标预测信息, 对所述增强层目标图像进行编码处理, 以生成 目标码流, 所述目标码流包括编码后的第一指示信息, 所述第一指示信息用 于表示根据所述目标预测信息与所述增强层目标图像生成的残差信息。
9. 根据权利要求 8所述的方法, 其特征在于, 所述获取上采样滤波器 包括:
根据所述基本层目标图像与所述增强层目标图像的分辨率比,确定与所 述增强层目标图像中的第五像素相对应的第三上采样滤波器; 以及
所述根据所述上采样滤波器和基本层目标图像, 确定预测像素, 包括: 根据所述第三上采样滤波器和所述基本层目标图像中与所述第五像素 相对应的第六像素, 确定与所述第五像素相对应的第一目标预测信息; 对应, 所述根据所述目标预测信息, 对所述增强层目标图像进行编码处 理, 包括:
根据所述第一目标预测信息, 对所述第五像素进行编码处理。
10. 根据权利要求 9所述的方法, 其特征在于, 所述第五像素为所述增 强层目标图像中的零相位像素。
11. 根据权利要求 8至 10中任一项所述的方法, 其特征在于, 所述上 采样滤波器是根据像素域样本预测信息和像素域原始信息确定的, 所述像素 域样本预测信息是根据基本层样本图像的像素和所述上采样滤波器构建的, 所述像素域原始信息是根据原始增强层样本图像的像素确定的,所述基本层 样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及
所述对所述增强层目标图像进行编码处理, 包括:
根据所述基本层目标图像与所述增强层目标图像的分辨率比或所述上 采样滤波器的倍率, 对根据所述残差信息进行第一重排序处理;
对应, 所述第一指示信息用于表示所述第一重排序处理后的残差信息。
12. 根据权利要求 8至 11 中任一项所述的方法, 其特征在于, 所述获 取上采样滤波器包括:
获取原始增强层样本图像和下采样滤波器;
根据所述原始增强层样本图像和所述下采样滤波器,生成基本层样本图 像;
根据所述基本层样本图像和所述原始增强层样本图像, 生成上采样滤波 器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对所述基本层样本 图像进行上采样处理生成的样本预测信息与根据所述原始增强层样本图像 的确定的原始信息之间的相似度满足预设条件。
13. 根据权利要求 12所述的方法, 其特征在于, 所述根据所述基本层 样本图像和所述原始增强层样本图像, 生成上采样滤波器, 包括:
根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所 述下采样滤波器的倍率, 确定所述原始增强层样本图像中的第一像素; 确定所述基本层样本图像中与所述第一像素相对应的第二像素; 根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使根据 所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所述第 一像素的确定的第一原始信息之间的相似度满足第一预设条件。
14. 根据权利要求 13所述的方法, 其特征在于, 所述第一像素为所述 原始增强层样本图像中的零相位像素。
15. 根据权利要求 12至 14中任一项所述的方法, 其特征在于, 所述样 本预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的 像素域样本预测信息,所述原始信息为根据所述原始增强层样本图像的像素 确定的像素域原始信息。
16. 根据权利要求 12至 14中任一项所述的方法, 其特征在于, 所述预 测信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离 散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息 为根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信 息。
17. 根据权利要求 12所述的方法, 其特征在于, 所述根据所述基本层 样本图像和所述原始增强层样本图像, 生成上采样滤波器, 包括:
根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所 述下采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所 述第三像素的自相关矩阵;
根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所述第 三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关矩阵; 根据所述自相关矩阵和所述互相关矩阵, 生成所述第一上采样滤波器。
18. 根据权利要求 17所述的方法, 其特征在于, 所述第三像素为所述 原始增强层样本图像中的零相位像素。
19. 一种用于图像处理的方法, 其特征在于, 所述方法包括: 获取上采样滤波器;
根据所述上采样滤波器和基本层目标图像,确定与所述基本层目标图像 相对应的增强层目标图像的目标预测信息;
根据从目标码流中获取用于指示残差信息的第一指示信息和所述目标 预测信息, 对所述增强层目标图像进行解码处理。
20. 根据权利要求 19所述的方法, 其特征在于, 所述获取上采样滤波 器包括:
根据所述基本层目标图像与所述增强层目标图像的分辨率比,确定与所 述增强层目标图像中的第五像素相对应的第三上采样滤波器; 以及
所述根据所述上采样滤波器和基本层目标图像, 确定预测像素, 包括: 根据所述第三上采样滤波器和所述基本层目标图像中与所述第五像素 相对应的第六像素, 确定与所述第五像素相对应的第一目标预测信息; 对应, 所述根据从目标码流中获取用于指示残差信息的第一指示信息和 所述目标预测信息, 对所述增强层目标图像进行解码处理, 包括:
根据所述第一指示信息和所述第一目标预测信息,对所述第五像素进行 解码处理。
21. 根据权利要求 20所述的方法, 其特征在于, 所述第五像素为所述 增强层目标图像中的零相位像素。
22. 根据权利要求 19至 21中任一项所述的方法, 其特征在于, 所述上 采样滤波器是根据像素域样本预测信息和像素域原始信息确定的, 所述像素
域样本预测信息是根据基本层样本图像的像素和所述上采样滤波器构建的, 所述像素域原始信息是根据原始增强层样本图像的像素确定的,所述基本层 样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及
所述根据从目标码流中获取用于指示残差信息的第一指示信息和所述 目标预测信息, 对所述增强层目标图像进行解码处理, 包括:
根据所述基本层目标图像与所述增强层目标图像的分辨率比或所述上 采样滤波器的倍率, 对所述残差信息进行第二重排序处理;
根据所述第二重排序处理后的残差信息和所述目标预测信息, 所述增强 层目标图像进行解码处理。
23. 根据权利要求 19至 22中任一项所述的方法, 其特征在于, 所述获 取上采样滤波器包括:
获取原始增强层样本图像和下采样滤波器;
根据所述原始增强层样本图像和所述下采样滤波器,生成基本层样本图 像;
根据所述基本层样本图像和所述原始增强层样本图像, 生成上采样滤波 器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对所述基本层样本 图像进行上采样处理生成的样本预测信息与根据所述原始增强层样本图像 的确定的原始信息之间的相似度满足预设条件。
24. 根据权利要求 23所述的方法, 其特征在于, 所述根据所述基本层 样本图像和所述原始增强层样本图像, 生成上采样滤波器, 包括:
根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所 述下采样滤波器的倍率, 确定所述原始增强层样本图像中的第一像素; 确定所述基本层样本图像中与所述第一像素相对应的第二像素; 根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使根据 所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所述第 一像素的确定的第一原始信息之间的相似度满足第一预设条件。
25. 根据权利要求 24所述的方法, 其特征在于, 所述第一像素为所述 原始增强层样本图像中的零相位像素。
26. 根据权利要求 23至 25中任一项所述的方法, 其特征在于, 所述样 本预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的 像素域样本预测信息,所述原始信息为根据所述原始增强层样本图像的像素
确定的像素域原始信息。
27. 根据权利要求 23至 25中任一项所述的方法, 其特征在于, 所述预 测信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离 散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息 为根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信 息。
28. 根据权利要求 23所述的方法, 其特征在于, 所述根据所述基本层 样本图像和所述原始增强层样本图像, 生成上采样滤波器, 包括:
根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所 述下采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所 述第三像素的自相关矩阵;
根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所述第 三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关矩阵; 根据所述自相关矩阵和所述互相关矩阵, 生成所述第一上采样滤波器。
29. 根据权利要求 28所述的方法, 其特征在于, 所述第三像素为所述 原始增强层样本图像中的零相位像素。
30. 一种上采样滤波器的生成装置, 其特征在于, 所述装置包括: 获取单元, 用于获取原始增强层样本图像和下采样滤波器;
用于根据所述原始增强层样本图像和所述下采样滤波器, 生成基本层样 本图像;
生成单元, 用于根据所述基本层样本图像和所述原始增强层样本图像, 生成上采样滤波器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对 所述基本层样本图像进行上采样处理生成的样本预测信息与根据所述原始 增强层样本图像的确定的原始信息之间的相似度满足预设条件。
31. 根据权利要求 30所述的装置, 其特征在于, 所述生成单元具体用 于根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述 下采样滤波器的倍率, 确定所述原始增强层样本图像中的第一像素;
用于确定所述基本层样本图像中与所述第一像素相对应的第二像素; 用于根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使 根据所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所 述第一像素的确定的第一原始信息之间的相似度满足第一预设条件。
32. 根据权利要求 31所述的装置, 其特征在于, 所述第一像素为所述 原始增强层样本图像中的零相位像素。
33. 根据权利要求 30至 32中任一项所述的装置, 其特征在于, 所述样 本预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的 像素域样本预测信息,所述原始信息为根据所述原始增强层样本图像的像素 确定的像素域原始信息。
34. 根据权利要求 30至 32中任一项所述的装置, 其特征在于, 所述预 测信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离 散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息 为根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信 息。
35. 根据权利要求 30所述的装置, 其特征在于, 所述生成单元具体用 于根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述 下采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所述 第三像素的自相关矩阵;
用于根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所 述第三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关 矩阵;
用于^ ^据所述自相关矩阵和所述互相关矩阵,生成所述第一上采样滤波 器。
36. 根据权利要求 35所述的装置, 其特征在于, 所述第三像素为所述 原始增强层样本图像中的零相位像素。
37. 一种用于图像处理的装置, 其特征在于, 所述装置包括: 获取单元, 用于获取上采样滤波器, 并向编码单元传输所述上采样滤波 器;
编码单元, 用于从所述获取单元获取上采样滤波器,, 并根据所述上采 样滤波器和基本层目标图像,确定与所述基本层目标图像相对应的增强层目 标图像的目标预测信息;
用于根据所述目标预测信息, 对所述增强层目标图像进行编码处理, 以 生成目标码流, 所述目标码流包括编码后的第一指示信息, 所述第一指示信 息用于表示根据所述目标预测信息与所述增强层目标图像生成的残差信息。
38. 根据权利要求 37所述的装置, 其特征在于, 所述编码单元具体用 于根据所述基本层目标图像与所述增强层目标图像的分辨率比,确定与所述 增强层目标图像中的第五像素相对应的第三上采样滤波器; 用于根据所述第 三上采样滤波器和所述基本层目标图像中与所述第五像素相对应的第六像 素, 确定与所述第五像素相对应的第一目标预测信息;
用于根据所述第一目标预测信息, 对所述第五像素进行编码处理。
39. 根据权利要求 38所述的装置, 其特征在于, 所述第五像素为所述 增强层目标图像中的零相位像素。
40. 根据权利要求 37至 39中任一项所述的装置, 其特征在于, 所述上 采样滤波器是根据像素域样本预测信息和像素域原始信息确定的, 所述像素 域样本预测信息是根据基本层样本图像的像素和所述上采样滤波器构建的, 所述像素域原始信息是根据原始增强层样本图像的像素确定的,所述基本层 样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及
所述编码单元还用于根据所述基本层目标图像与所述增强层目标图像 的分辨率比或所述上采样滤波器的倍率,对根据所述残差信息进行第一重排 序处理;
对应, 所述第一指示信息用于指示所述第一重排序处理后的残差信息。
41. 根据权利要求 37至 40中任一项所述的装置, 其特征在于, 所述获 取单元具体用于获取原始增强层样本图像和下采样滤波器;
用于根据所述原始增强层样本图像和所述下采样滤波器, 生成基本层样 本图像;
用于根据所述基本层样本图像和所述原始增强层样本图像, 生成上采样 滤波器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对所述基本层 样本图像进行上采样处理生成的样本预测信息与根据所述原始增强层样本 图像的确定的原始信息之间的相似度满足预设条件。
42. 根据权利要求 41所述的装置, 其特征在于, 所述获取单元具体用 于根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述 下采样滤波器的倍率, 确定所述原始增强层样本图像中的第一像素;
用于确定所述基本层样本图像中与所述第一像素相对应的第二像素; 用于根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使 根据所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所
述第一像素的确定的第一原始信息之间的相似度满足第一预设条件。
43. 根据权利要求 42所述的装置, 其特征在于, 所述第一像素为所述 原始增强层样本图像中的零相位像素。
44. 根据权利要求 41至 43中任一项所述的装置, 其特征在于, 所述样 本预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的 像素域样本预测信息,所述原始信息为根据所述原始增强层样本图像的像素 确定的像素域原始信息。
45. 根据权利要求 41至 43中任一项所述的装置, 其特征在于, 所述预 测信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离 散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息 为根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信 息。
46. 根据权利要求 41所述的装置, 其特征在于, 所述生成单元具体用 于根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述 下采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所述 第三像素的自相关矩阵;
用于根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所 述第三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关 矩阵;
用于 ^据所述自相关矩阵和所述互相关矩阵,生成所述第一上采样滤波 器。
47. 根据权利要求 46所述的装置, 其特征在于, 所述第三像素为所述 原始增强层样本图像中的零相位像素。
48. 一种用于图像处理的装置, 其特征在于, 所述装置包括: 获取单元, 用于获取上采样滤波器, 并向解码单元传输所述上采样滤波 器;
解码单元, 用于从所述获取单元获取上采样滤波器, 并根据所述上采样 滤波器和基本层目标图像,确定与所述基本层目标图像相对应的增强层目标 图像的目标预测信息;
用于根据从目标码流中获取用于指示残差信息的第一指示信息和所述 目标预测信息, 对所述增强层目标图像进行解码处理。
49. 根据权利要求 48所述的装置, 其特征在于, 所述解码单元具体用 于根据所述基本层目标图像与所述增强层目标图像的分辨率比,确定与所述 增强层目标图像中的第五像素相对应的第三上采样滤波器;
用于根据所述第三上采样滤波器和所述基本层目标图像中与所述第五 像素相对应的第六像素, 确定与所述第五像素相对应的第一目标预测信息; 用于根据所述第一目标预测信息, 对所述第五像素进行解码处理。
50. 根据权利要求 49所述的装置, 其特征在于, 所述第五像素为所述 增强层目标图像中的零相位像素。
51. 根据权利要求 48至 50中任一项所述的装置, 其特征在于, 所述上 采样滤波器是根据像素域样本预测信息和像素域原始信息确定的, 所述像素 域样本预测信息是根据基本层样本图像的像素和所述上采样滤波器构建的, 所述像素域原始信息是根据原始增强层样本图像的像素确定的,所述基本层 样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及
所述解码单元具体用于根据所述基本层目标图像与所述增强层目标图 像的分辨率比或所述上采样滤波器的倍率,对所述残差信息进行第二重排序 处理;
用于根据所述第二重排序处理后的残差信息和所述目标预测信息, 所述 增强层目标图像进行解码处理。
52. 根据权利要求 48至 51中任一项所述的装置, 其特征在于, 所述获 取单元具体用于获取原始增强层样本图像和下采样滤波器;
用于根据所述原始增强层样本图像和所述下采样滤波器, 生成基本层样 本图像;
用于根据所述基本层样本图像和所述原始增强层样本图像, 生成上采样 滤波器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对所述基本层 样本图像进行上采样处理生成的样本预测信息与根据所述原始增强层样本 图像的确定的原始信息之间的相似度满足预设条件。
53. 根据权利要求 52所述的装置, 其特征在于, 所述获取单元具体用 于根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述 下采样滤波器的倍率, 确定所述原始增强层样本图像中的第一像素;
用于确定所述基本层样本图像中与所述第一像素相对应的第二像素; 用于根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使
根据所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所 述第一像素的确定的第一原始信息之间的相似度满足第一预设条件。
54. 根据权利要求 53所述的装置, 其特征在于, 所述第一像素为所述 原始增强层样本图像中的零相位像素。
55. 根据权利要求 52至 54中任一项所述的装置, 其特征在于, 所述样 本预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的 像素域样本预测信息,所述原始信息为根据所述原始增强层样本图像的像素 确定的像素域原始信息。
56. 根据权利要求 52至 54中任一项所述的装置, 其特征在于, 所述预 测信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离 散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息 为根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信 息。
57. 根据权利要求 52所述的装置, 其特征在于, 所述生成单元具体用 于根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述 下采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所述 第三像素的自相关矩阵;
用于根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所 述第三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关 矩阵;
用于^ ^据所述自相关矩阵和所述互相关矩阵,生成所述第一上采样滤波 器。
58. 根据权利要求 57所述的装置, 其特征在于, 所述第三像素为所述 原始增强层样本图像中的零相位像素。
59. 一种用于图像处理的编码器, 其特征在于, 所述编码器包括: 总线;
与所述总线相连的处理器;
与所述总线相连的存储器;
其中, 所述处理器通过所述总线, 调用所述存储器中存储的程序, 以用 于获取上采样滤波器;
用于根据所述上采样滤波器和基本层目标图像,确定与所述基本层目标
图像相对应的增强层目标图像的目标预测信息;
用于根据所述目标预测信息, 对所述增强层目标图像进行编码处理, 以 生成目标码流, 所述目标码流包括编码后的第一指示信息, 所述第一指示信 息用于表示根据所述目标预测信息与所述增强层目标图像生成的残差信息。
60. 根据权利要求 59所述的编码器, 其特征在于, 所述处理单元具体 用于根据所述基本层目标图像与所述增强层目标图像的分辨率比,确定与所 述增强层目标图像中的第五像素相对应的第三上采样滤波器;
用于根据所述第三上采样滤波器和所述基本层目标图像中与所述第五 像素相对应的第六像素, 确定与所述第五像素相对应的第一目标预测信息; 用于根据所述第一目标预测信息, 对所述第五像素进行编码处理。
61. 根据权利要求 60所述的编码器, 其特征在于, 所述第五像素为所 述增强层目标图像中的零相位像素。
62. 根据权利要求 59至 61中任一项所述的编码器, 其特征在于, 所述 上采样滤波器是根据像素域样本预测信息和像素域原始信息确定的, 所述像 素域样本预测信息是根据基本层样本图像的像素和所述上采样滤波器构建 的, 所述像素域原始信息是根据原始增强层样本图像的像素确定的, 所述基 本层样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及
所述处理单元具体用于根据所述基本层目标图像与所述增强层目标图 像的分辨率比或所述上采样滤波器的倍率,对根据所述残差信息进行第一重 排序处理;
对应, 所述第一指示信息用于表示所述第一重排序处理后的残差信息。
63. 根据权利要求 59至 62中任一项所述的编码器, 其特征在于, 所述 处理器具体用于获取原始增强层样本图像和下采样滤波器;
用于根据所述原始增强层样本图像和所述下采样滤波器, 生成基本层样 本图像;
用于根据所述基本层样本图像和所述原始增强层样本图像, 生成上采样 滤波器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对所述基本层 样本图像进行上采样处理生成的样本预测信息与根据所述原始增强层样本 图像的确定的原始信息之间的相似度满足预设条件。
64. 根据权利要求 63所述的方法, 其特征在于, 所述处理器具体用于 根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述下
采样滤波器的倍率 , 确定所述原始增强层样本图像中的第一像素; 用于确定所述基本层样本图像中与所述第一像素相对应的第二像素; 用于根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使 根据所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所 述第一像素的确定的第一原始信息之间的相似度满足第一预设条件。
65. 根据权利要求 64所述的方法, 其特征在于, 所述第一像素为所述 原始增强层样本图像中的零相位像素。
66. 根据权利要求 63至 65中任一项所述的方法, 其特征在于, 所述样 本预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的 像素域样本预测信息,所述原始信息为根据所述原始增强层样本图像的像素 确定的像素域原始信息。
67. 根据权利要求 63至 65中任一项所述的方法, 其特征在于, 所述预 测信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离 散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息 为根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信 息。
68. 根据权利要求 63所述的方法, 其特征在于, 所述处理器具体用于 根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述下 采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所述第 三像素的自相关矩阵;
用于根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所 述第三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关 矩阵;
用于^ ^据所述自相关矩阵和所述互相关矩阵,生成所述第一上采样滤波 器。
69. 根据权利要求 68所述的方法, 其特征在于, 所述第三像素为所述 原始增强层样本图像中的零相位像素。
70. 一种用于图像处理的解码器, 其特征在于, 所述解码器包括: 总线;
与所述总线相连的处理器;
与所述总线相连的存储器;
其中, 所述处理器通过所述总线, 调用所述存储器中存储的程序, 以用 于获取上采样滤波器;
用于根据所述上采样滤波器和基本层目标图像,确定与所述基本层目标 图像相对应的增强层目标图像的目标预测信息;
用于根据从目标码流中获取用于指示残差信息的第一指示信息和所述 目标预测信息, 对所述增强层目标图像进行解码处理。
71. 根据权利要求 70所述的方法, 其特征在于, 所述处理单元具体用 于根据所述基本层目标图像与所述增强层目标图像的分辨率比,确定与所述 增强层目标图像中的第五像素相对应的第三上采样滤波器;
用于根据所述第三上采样滤波器和所述基本层目标图像中与所述第五 像素相对应的第六像素, 确定与所述第五像素相对应的第一目标预测信息; 用于根据所述第一指示信息和所述第一目标预测信息,对所述第五像素 进行解码处理。
72. 根据权利要求 71所述的方法, 其特征在于, 所述第五像素为所述 增强层目标图像中的零相位像素。
73. 根据权利要求 70至 72中任一项所述的方法, 其特征在于, 所述上 采样滤波器是根据像素域样本预测信息和像素域原始信息确定的, 所述像素 域样本预测信息是根据基本层样本图像的像素和所述上采样滤波器构建的, 所述像素域原始信息是根据原始增强层样本图像的像素确定的,所述基本层 样本图像是根据原始增强层样本图像和下采样滤波器生成的, 以及
所述处理单元具体用于根据所述基本层目标图像与所述增强层目标图 像的分辨率比或所述上采样滤波器的倍率,对所述残差信息进行第二重排序 处理;
用于根据所述第二重排序处理后的残差信息和所述目标预测信息, 所述 增强层目标图像进行解码处理。
74. 根据权利要求 70至 73中任一项所述的编码器, 其特征在于, 所述 处理器具体用于获取原始增强层样本图像和下采样滤波器;
用于根据所述原始增强层样本图像和所述下采样滤波器, 生成基本层样 本图像;
用于根据所述基本层样本图像和所述原始增强层样本图像,生成上采样 滤波器, 以使所述上采样滤波器满足: 根据所述上采样滤波器对所述基本层
样本图像进行上采样处理生成的样本预测信息与根据所述原始增强层样本 图像的确定的原始信息之间的相似度满足预设条件。
75. 根据权利要求 74所述的方法, 其特征在于, 所述处理器具体用于 根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述下 采样滤波器的倍率, 确定所述原始增强层样本图像中的第一像素;
用于确定所述基本层样本图像中与所述第一像素相对应的第二像素; 用于根据所述第一像素和所述第二像素, 生成第一上采样滤波器, 以使 根据所述第二像素和所述上采样滤波器构建的第一样本预测信息与根据所 述第一像素的确定的第一原始信息之间的相似度满足第一预设条件。
76. 根据权利要求 75所述的方法, 其特征在于, 所述第一像素为所述 原始增强层样本图像中的零相位像素。
77. 根据权利要求 74至 76中任一项所述的方法, 其特征在于, 所述样 本预测信息为根据所述基本层样本图像的像素和所述上采样滤波器构建的 像素域样本预测信息,所述原始信息为根据所述原始增强层样本图像的像素 确定的像素域原始信息。
78. 根据权利要求 74至 76中任一项所述的方法, 其特征在于, 所述预 测信息为根据所述基本层样本图像的像素、所述上采样滤波器和用于进行离 散余弦变换 DCT处理的 DCT矩阵构建的频域样本预测信息, 所述原始信息 为根据所述原始增强层样本图像的像素和所述 DCT矩阵确定的频域原始信 息。
79. 根据权利要求 74所述的方法, 其特征在于, 所述处理器具体用于 根据所述基本层样本图像与所述原始增强层样本图像的分辨率比或所述下 采样滤波器的倍率,确定所述原始增强层样本图像中的第三像素以及所述第 三像素的自相关矩阵;
用于根据所述下采样滤波器的抽头数,确定所述基本层样本图像中与所 述第三像素相对应的第四像素以及所述第三像素与所述第四像素的互相关 矩阵;
用于^ ^据所述自相关矩阵和所述互相关矩阵,生成所述第一上采样滤波 器。
80. 根据权利要求 79所述的方法, 其特征在于, 所述第三像素为所述 原始增强层样本图像中的零相位像素。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210375030.1A CN103716630B (zh) | 2012-09-29 | 2012-09-29 | 上采样滤波器的生成方法和装置 |
| CN201210375030.1 | 2012-09-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2014048376A1 true WO2014048376A1 (zh) | 2014-04-03 |
Family
ID=50387018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2013/084536 Ceased WO2014048376A1 (zh) | 2012-09-29 | 2013-09-27 | 上采样滤波器的生成方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103716630B (zh) |
| WO (1) | WO2014048376A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402943B2 (en) * | 2016-10-20 | 2019-09-03 | Htc Corporation | Image enhancement device and method for convolutional network apparatus |
| CN110300301B (zh) * | 2018-03-22 | 2023-01-13 | 华为技术有限公司 | 图像编解码方法和装置 |
| CN114424552A (zh) * | 2019-09-29 | 2022-04-29 | 华为技术有限公司 | 一种低延迟信源信道联合编码方法及相关设备 |
| CN111263216B (zh) * | 2020-02-14 | 2022-06-10 | Tcl移动通信科技(宁波)有限公司 | 一种视频传输方法、装置、存储介质及终端 |
| CN114051137B (zh) * | 2021-10-13 | 2024-10-29 | 上海工程技术大学 | 一种空间可分级视频编码方法及解码方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100158128A1 (en) * | 2008-12-23 | 2010-06-24 | Electronics And Telecommunications Research Institute | Apparatus and method for scalable encoding |
| CN101895748A (zh) * | 2010-06-21 | 2010-11-24 | 华为终端有限公司 | 一种编解码方法以及编解码装置 |
| CN101977315A (zh) * | 2010-10-18 | 2011-02-16 | 无锡中星微电子有限公司 | 一种跨层预测编码方法 |
| CN102611890A (zh) * | 2011-01-19 | 2012-07-25 | 捷讯研究有限公司 | 用于改进的多层数据压缩的方法和设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1859576A (zh) * | 2005-10-11 | 2006-11-08 | 华为技术有限公司 | 对空间分层编码视频图象的上采样方法及其系统 |
| EP2084913B1 (en) * | 2006-10-25 | 2019-02-20 | GE Video Compression, LLC | Quality scalable coding |
-
2012
- 2012-09-29 CN CN201210375030.1A patent/CN103716630B/zh active Active
-
2013
- 2013-09-27 WO PCT/CN2013/084536 patent/WO2014048376A1/zh not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100158128A1 (en) * | 2008-12-23 | 2010-06-24 | Electronics And Telecommunications Research Institute | Apparatus and method for scalable encoding |
| CN101895748A (zh) * | 2010-06-21 | 2010-11-24 | 华为终端有限公司 | 一种编解码方法以及编解码装置 |
| CN101977315A (zh) * | 2010-10-18 | 2011-02-16 | 无锡中星微电子有限公司 | 一种跨层预测编码方法 |
| CN102611890A (zh) * | 2011-01-19 | 2012-07-25 | 捷讯研究有限公司 | 用于改进的多层数据压缩的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103716630B (zh) | 2017-02-22 |
| CN103716630A (zh) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102668077B1 (ko) | 영상 부호화 및 복호화 장치 및 그 방법 | |
| RU2769944C1 (ru) | Способ и устройство для конфигурирования преобразования для сжатия видео | |
| US11153560B2 (en) | Method and apparatus for performing non-separable transform based on modified intra prediction mode | |
| CN109923864B (zh) | 数据处理设备、方法、计算机程序和计算机可读介质 | |
| WO2008145039A1 (fr) | Procédés, systèmes et dispositifs servant à générer un filtre de sur-échantillon et un filtre de sous-échantillon et servant à réaliser un codage | |
| US11606557B2 (en) | Method and apparatus for performing low complexity computation in transform kernel for video compression | |
| WO2014048376A1 (zh) | 上采样滤波器的生成方法和装置 | |
| CN103096056A (zh) | 矩阵编码方法与装置及解码方法与装置 | |
| CN103716629B (zh) | 用于图像处理的方法、装置、编码器和解码器 | |
| WO2014048378A1 (zh) | 用于图像处理的方法、装置、编码器和解码器 | |
| CN103716622B (zh) | 用于图像处理的方法和装置 | |
| RU2795258C1 (ru) | Способ и устройство для конфигурирования преобразования для сжатия видео |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13841787 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 13841787 Country of ref document: EP Kind code of ref document: A1 |






