WO2014048374A1 - 用于图像处理的方法和装置 - Google Patents

用于图像处理的方法和装置 Download PDF

Info

Publication number
WO2014048374A1
WO2014048374A1 PCT/CN2013/084531 CN2013084531W WO2014048374A1 WO 2014048374 A1 WO2014048374 A1 WO 2014048374A1 CN 2013084531 W CN2013084531 W CN 2013084531W WO 2014048374 A1 WO2014048374 A1 WO 2014048374A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
image block
training
target
layer image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2013/084531
Other languages
English (en)
French (fr)
Inventor
杨海涛
杨名远
张金雷
李斌
李厚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
University of Science and Technology of China USTC
Original Assignee
Huawei Technologies Co Ltd
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, University of Science and Technology of China USTC filed Critical Huawei Technologies Co Ltd
Publication of WO2014048374A1 publication Critical patent/WO2014048374A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to the field of video processing and, more particularly, to a method and apparatus for image processing for image processing. Background technique
  • SVC scalable video coding
  • the effect of upsampling has a direct impact on the coding performance. Due to the different characteristics of the texture of the image, the effect of upsampling can be effectively improved by using multiple filters.
  • a technique of performing upsampling using a plurality of filters which calculates the horizontal direction and the vertical direction of four pixels of positions 1, 2, 3, 4 for each 4 x 4 image block.
  • Step difference adding the second-order difference in the horizontal direction of four pixels as a horizontal (horizontal), will be four
  • the second-order differential addition of the pixels in the vertical direction is as vertical.
  • the texture direction can be determined.
  • 3 ⁇ 4 mouth : 3 ⁇ 4 mouth fruit is twice larger than horizontal, then the direction is 1; ⁇ mouth fruit horizontal is greater than twice, and 'J determines direction is 2; ⁇ mouth fruit is equal to twice horizontal Bay 1 J determines that direction is 0.
  • the average values of vertical and horizontal are calculated to determine the type of the pixel block, and a filter is separately trained for each type, so that the trained filter is very consistent with the corresponding category, but the method needs to be encoded.
  • the end encodes the coefficients of the filter and the index of the filter used by each type of block (index) and transmits it to the decoder so that it can be decoded correctly at the decoder. If this method is used to upsample the base layer reconstructed image, it will result in too many bits representing the filter coefficients and index to be transmitted, thereby affecting the encoding performance.
  • Embodiments of the present invention provide a method and apparatus for image processing, which can improve the effect and performance of image processing.
  • a method for image processing comprising: determining a first training filter according to a non-smooth area image block of an enhancement layer image and a non-smooth area image block of a base layer image, so that the The first training filter satisfies: first prediction information determined according to the first training filter and the non-smooth area image block of the base layer image and first original information determined according to the non-smooth area image block of the enhancement layer image The similarity between the two meets a first preset condition, wherein the base layer image corresponds to the enhancement layer image; and according to the first training filter, an alternative upsampling filter is determined, wherein the candidate upsampling filter
  • the first training filter is included; from the candidate upsampling filter, the target upsampling filter is determined; the prediction information is determined according to the target upsampling filter and the base layer image block; and the target is determined according to the prediction information
  • the image block is subjected to an encoding process to generate a target code stream, where
  • the method further includes: determining, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter Satisfying: satisfying the second degree of similarity between the second prediction information determined according to the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image Pre-set conditions, wherein the base layer image and the increase The strong layer image corresponds to; and determining the candidate upsampling filter according to the first training filter, further comprising: determining an alternative upsampling filter according to the first training filter and the second training filter, The candidate upsampling filter includes the first training filter and the second training filter.
  • the determining the target upsampling filter from the candidate upsampling filter comprises: according to characteristics of the base layer image block Determining the smoothness of the target image, where the feature information includes coded block flag information of the base layer image block or residual information of the base layer image block; determining the target according to the smoothness of the target image block Upsampling filter.
  • the sampling filter further includes: determining an alternative upsampling filter according to the first training filter, the second training filter, and the conventional filter, wherein the candidate upsampling filter includes the first training filter And the second training filter and the conventional filter; and the encoding processing the target image block to generate the target code stream according to the prediction information, comprising: encoding the target image block according to the prediction information And generating a target code stream, where the target code stream includes first indication information for indicating the target upsampling filter, where the first indication information is used to obtain the target upsampling when decoding the encoded target image block.
  • the basis of the filter is used to obtain the target upsampling when decoding the encoded target image block.
  • the determining, according to the first training filter, Selecting the sampling filter further includes: determining an alternative upsampling filter according to the first training filter and the conventional filter, wherein the candidate upsampling filter comprises the first training filter and the conventional filter And determining the target upsampling filter, comprising: determining a texture degree of the target image block; determining the target upsampling filter according to the texture degree of the target image block.
  • a method for image processing comprising: determining a first training filter according to a non-smooth area image block of an enhancement layer image and a non-smooth area image block of a base layer image, so that the The first training filter satisfies: first prediction information determined according to the first training filter and the non-smooth area image block of the base layer image and first original information determined according to the non-smooth area image block of the enhancement layer image The similarity between the two meets a first preset condition, wherein the base layer image corresponds to the enhancement layer image; and according to the first training filter, an alternative upsampling filter is determined, wherein the candidate upsampling filter The first training filter is included; In the sampling filter, a target upsampling filter is determined, the candidate upsampling filter including the first training filter; determining prediction information according to the target upsampling filter and the base layer image block; and based on the prediction information and the slave Residual information obtained in the target code stream, the
  • the method further includes: determining, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter Satisfying: satisfying the second degree of similarity between the second prediction information determined according to the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image a preset condition, wherein the base layer image corresponds to the enhancement layer image; and determining the candidate upsampling filter according to the first training filter, further comprising: according to the first training filter and the first And a second training filter, the candidate upsampling filter is determined, wherein the candidate upsampling filter comprises the first training filter and the second training filter.
  • the candidate upsampling filter is used to determine a target upsampling filter,
  • the method includes: determining, according to the feature information of the base layer image block, a smoothness of the target image, where the feature information includes coded block flag information of the base layer image block or residual information of the base layer image block; The smoothness of the target image block determines the target upsampling filter.
  • the first possible implementation manner, and the second possible implementation manner in a third possible implementation manner, determining, according to the first training filter and the second training filter,
  • the sampling filter further includes: determining an alternative upsampling filter according to the first training filter, the second training filter, and the conventional filter, wherein the candidate upsampling filter includes the first training filter And the second training filter and the conventional filter; and the candidate upsampling filter, determining the target upsampling filter, comprising: obtaining, from the target code stream, a target upsampling filter
  • the first indication information is determined according to the first indication information, and the target upsampling filter is determined.
  • the determining, according to the first training filter, Selecting the sampling filter further includes: according to the first training filter and the conventional filter, Determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter and the conventional filter; and the determining the target upsampling filter, comprising: determining a texture degree of the target image block; The target upsampling filter is determined according to the texture of the target image block.
  • an apparatus for image processing comprising: an obtaining unit, configured to determine a first training filter according to a non-smooth area image block of an enhancement layer image and a non-smooth area image block of a base layer image So that the first training filter satisfies: the first prediction information determined according to the first training filter and the non-smooth area image block of the base layer image and the non-smooth area image block according to the enhancement layer image
  • the similarity between the first original information satisfies a first preset condition, wherein the base layer image corresponds to the enhancement layer image
  • the determining unit determines an alternative upsampling filter according to the first training filter
  • the candidate upsampling filter includes the first training filter; and the target upsampling filter is determined from the candidate upsampling filter;
  • the encoding unit is configured to obtain the upsampling filter from the determining unit And determining prediction information according to the target upsampling filter and the base layer image block; for using the prediction information,
  • the acquiring unit is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter The device satisfies: the similarity between the second prediction information determined according to the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a preset condition, wherein the base layer image corresponds to the enhancement layer image; and the determining unit is further configured to determine an candidate upsampling filter according to the first training filter and the second training filter, The candidate upsampling filter includes the first training filter and the second training filter.
  • the determining unit is specifically configured to determine, according to feature information of the base layer image block, a smoothness of the target image, where
  • the feature information includes coded block flag information of the base layer image block or residual information of the base layer image block; and is used to determine the target upsampling filter according to the smoothness of the target image block.
  • the determining unit is further configured to: according to the first training filter, a second training filter and a conventional filter, determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter, the second training filter, and the conventional filter; and the encoding
  • the unit is specifically configured to perform coding processing on the target image block according to the prediction information, to generate a target code stream, where the target code stream includes first indication information for indicating the target upsampling filter, where the first indication information is used by It is used as a basis for acquiring the target upsampling filter when decoding the above-mentioned encoded target image block.
  • the determining unit is further configured to perform, according to the first training a filter and a conventional filter, determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter and the conventional filter; specifically for determining a texture degree of the target image block; The target upsampling filter is determined according to the texture degree of the target image block.
  • an apparatus for image processing comprising: an obtaining unit, configured to determine, according to a non-smooth area image block of an enhancement layer image and a non-smooth area image block of a base layer image, a first training filter, so that the first training filter satisfies: first prediction information determined according to the first training filter and the non-smooth area image block of the base layer image and a non-smooth region according to the enhancement layer image
  • the similarity between the first original information determined by the image block satisfies a first preset condition, wherein the base layer image corresponds to the enhancement layer image
  • the determining unit is configured to determine, according to the first training filter, Selecting a sampling filter, wherein the candidate upsampling filter comprises the first training filter; and from the candidate upsampling filter, determining a target upsampling filter, the candidate upsampling filter comprising the a first training filter;
  • a decoding unit configured to acquire the target upsampling filter from the
  • the acquiring unit is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter The device satisfies: the second prediction information determined according to the second training filter and the smooth region image block of the base layer image and the smooth region image block according to the enhancement layer image The similarity between the second original information satisfies a second preset condition, wherein the base layer image corresponds to the enhancement layer image; and the determining unit is further configured to use the first training filter and the second training And a filter determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter and the second training filter.
  • the determining unit is specifically configured to determine, according to feature information of the base layer image block, a smoothness of the target image, where
  • the feature information includes coded block flag information of the base layer image block or residual information for the base layer image block; and the target upsampling filter is determined according to the smoothness of the target image block.
  • the determining unit is further configured to perform, according to the first training filter, the second training filter And a conventional filter, the candidate upsampling filter is determined, wherein the candidate upsampling filter comprises the first training filter, the second training filter, and the conventional filter; And obtaining first indication information for indicating the target upsampling filter, and determining, according to the first indication information, the target upsampling filter.
  • the determining unit is further configured to perform, according to the first training a filter and a conventional filter, determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter and the conventional filter; for determining a texture degree of the target image block;
  • the target upsampling filter is determined according to the texture of the target image block.
  • an encoder for image processing comprising: a bus; a processor coupled to the bus; a memory coupled to the bus; wherein the processor calls the memory through the bus a program stored in the method for determining a first training filter according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image, so that the first training filter satisfies: according to the first A similarity between the first prediction information determined by the training filter and the non-smooth area image block of the base layer image and the first original information determined according to the non-smooth area image block of the enhancement layer image satisfies a first preset condition, Wherein the base layer image corresponds to the enhancement layer image; determining an alternative upsampling filter according to the first training filter, wherein the candidate upsampling filter comprises the first training filter; In the alternative upsampling filter, determining a target upsampling filter; determining a prediction based on the target upsampling
  • the processing unit is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter The device satisfies: the similarity between the second prediction information determined according to the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a preset condition, wherein the base layer image corresponds to the enhancement layer image; and configured to determine an alternative upsampling filter according to the first training filter and the second training filter, where the candidate The upsampling filter includes the first training filter and the second training filter.
  • the processing unit is specifically configured to determine, according to feature information of the base layer image block, a smoothness of the target image, where
  • the feature information includes coded block flag information of the base layer image block or residual information of the base layer image block; and is used to determine the target upsampling filter according to the smoothness of the target image block.
  • the processor is specifically configured to perform, according to the first training filter, the second training filter And an alternative filter, wherein the candidate upsampling filter comprises the first training filter, the second training filter and the conventional filter; and based on the prediction information, Encoding the target image block to generate a target code stream, where the target code stream includes first indication information for indicating the target upsampling filter, the first indication information is used to decode the encoded target image Block as the basis for obtaining the target upsampling filter
  • the processor is specifically configured to use the first training a filter and a conventional filter, determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter and the conventional filter; specifically for determining a texture degree of the target image block;
  • the target upsampling filter is determined according to the texture degree of the target image block.
  • a decoder for image processing comprising: a bus; a processor coupled to the bus; a memory coupled to the bus; wherein the processor calls the memory through the bus a program stored in the image for use in a non-smooth area image of the enhancement layer image Determining, by the non-smooth area image block of the block and the base layer image, the first training filter, so that the first training filter satisfies: determining according to the first training filter and the non-smooth area image block of the base layer image A similarity between a prediction information and a first original information determined according to the non-smooth area image block of the enhancement layer image satisfies a first preset condition, wherein the base layer image corresponds to the enhancement layer image; a first training filter, determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter; and from the candidate upsampling filter, determining a target upsampling filter, the candidate The ups
  • the processing unit is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter The device satisfies: the similarity between the second prediction information determined according to the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a preset condition, wherein the base layer image corresponds to the enhancement layer image; and configured to determine an alternative upsampling filter according to the first training filter and the second training filter, where the candidate The upsampling filter includes the first training filter and the second training filter.
  • the processing unit is specifically configured to determine, according to feature information of the base layer image block, a smoothness of the target image, where
  • the feature information includes coded block flag information of the base layer image block or residual information for the base layer image block; and the target upsampling filter is determined according to the smoothness of the target image block.
  • the processor is further configured to perform, according to the first training filter, the second training filter And a conventional filter, the candidate upsampling filter is determined, wherein the candidate upsampling filter comprises the first training filter, the second training filter, and the conventional filter; And obtaining first indication information for indicating the target upsampling filter, and determining, according to the first indication information, the target upsampling filter.
  • the processor is further configured to perform, according to the first training a filter and a conventional filter, determining an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter and the conventional filter; for determining a texture degree of the target image block;
  • the target upsampling filter is determined according to the texture of the target image block.
  • a method, an apparatus encoder, and a decoder for image processing according to an embodiment of the present invention can reduce an upsampling filter while improving an upsampling effect by determining an upsampling filter according to a smooth region and a non-smooth region.
  • the number does not need to transmit filter coefficients and indexes, so that the encoding performance can be improved, and the effect and performance of image processing can be improved.
  • 1 is a schematic flow chart of a method for image processing according to an embodiment of the present invention.
  • 2 is a schematic diagram of a method for determining a training filter, in accordance with an embodiment of the present invention.
  • 3 is another schematic flow diagram of a method for image processing in accordance with an embodiment of the present invention.
  • FIG. 4 is a schematic block diagram of an apparatus for image processing in accordance with an embodiment of the present invention.
  • FIG. 5 is a schematic block diagram of an apparatus for image processing according to another embodiment of the present invention.
  • 6 is a schematic block diagram of an encoder for image processing in accordance with an embodiment of the present invention.
  • FIG. 7 is a schematic block diagram of a decoder for image processing according to another embodiment of the present invention. detailed description
  • FIG. 1 shows a schematic flow diagram of a method 100 for image processing in accordance with an embodiment of the present invention as described from the perspective of an encoding end.
  • the method 100 includes: S110. Determine, according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image, the first training filter, so that the first training filter satisfies: according to the first training filter and the basic The similarity between the first prediction information determined by the non-smooth area image block of the layer image and the first original information determined according to the non-smooth area image block of the enhancement layer image satisfies a first preset condition, wherein the basic layer The image corresponds to the enhancement layer image;
  • S140 Determine prediction information according to the target upsampling filter and the base layer image block.
  • the image can be processed to obtain a low resolution image, and the original image is referred to as a high resolution image as a contrast, and the encoder separately determines the low resolution.
  • the rate image and the high resolution image are encoded.
  • a high quality image to be encoded is referred to herein as an enhancement layer image
  • a corresponding low quality image to be encoded is referred to as a base layer image.
  • the target image is an image processed by a layered coding technique
  • the basic layer refers to a quality in layered coding (including frame rate, spatial resolution, temporal resolution, signal to noise ratio intensity or quality level).
  • the enhancement layer refers to the layer with higher quality (including frame rate, spatial resolution, temporal resolution, signal-to-noise ratio intensity or quality level) in the layered coding.
  • the corresponding base layer may be any layer lower in quality than the enhancement layer, for example, if currently There are five layers, and the coding quality is sequentially improved (that is, the first layer has the lowest quality and the fifth layer has the highest quality).
  • the enhancement layer is the fourth layer
  • the base layer may be the first layer or the second layer. It is the third layer or the fourth layer.
  • the corresponding enhancement layer can be any layer of lower quality than the base layer.
  • the enhancement layer image is the image in the currently processed enhancement layer
  • the base layer image is the image in the base layer at the same time as the enhancement layer image.
  • the quality of the base layer image is lower than the enhancement layer image. the quality of.
  • the target image block is the image block being processed in the enhancement layer image.
  • the base layer image block is an image block in the base layer image that has a corresponding relationship with the target image block in spatial position.
  • the correspondence between the base layer image block and the target image block may be calculated according to the resolution proportional relationship between the base layer image and the enhancement layer image. For example, in a system including the X direction and the y direction, if the resolution of the enhancement layer image in the X direction and the y direction is twice that of the base layer image, respectively, the pixel coordinates of the upper left corner in the enhancement layer are (2x, 2y). And an image block of size (2m) X ( 2n ), the corresponding block in the base layer image may be an image block whose pixel coordinates are (X , y ) and whose size is mxn in the upper left corner.
  • an image (including an enhancement layer image and a base layer image) is divided into two types of regions, that is, a smooth region and a non-smooth region.
  • a smoothing region a more accurate prediction value is usually obtained during encoding, so that the coded block flag (CBF, Coded Block Flag) determined at the final encoding is 0, that is, the residual is 0.
  • CBF Coded Block Flag
  • the signal characteristics are not highly correlated during encoding, so it cannot be accurately predicted. Therefore, the more accurate prediction values cannot be obtained, resulting in a larger or uneven residual after prediction. Therefore, the final coded CBF is not zero.
  • an image block with a CBF of 0 in the base layer image (a smooth region image block of the base layer image) is located in the smooth region, and thus, may be considered as an enhancement layer image corresponding to the image block.
  • the image block (the smooth area image block of the enhancement layer image) is located in the smooth area.
  • the image block in which the CBF is not 0 in the base layer image (the non-smooth area image block of the base layer image) is located in the non-smooth region
  • the image block in the enhancement layer image corresponding to the image block can be considered (The non-smooth area image block of the enhancement layer image) is located in the non-smooth area.
  • the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, and the non-smooth region image block of the enhancement layer image and the non-smooth region image block of the base layer image can be determined.
  • the first training filter may be trained according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image.
  • the first method may be trained by the following method. Training filter.
  • yl(n) represents a smooth region image block of an enhancement layer image (original image) (a plurality of image fast collections, hereinafter referred to as original smooth region image blocks), and x(n) represents a base layer image.
  • Smooth region image block, H(n) represents the filter to be determined (first training filter)
  • e(n) represents A smooth region image block (referred to as a predicted image block) of the base layer image after filtering the wave and the original smooth region image block.
  • H(n) is solved.
  • R xx represents the autocorrelation function of the original smooth region image block
  • r yx represents the cross-correlation function of the smooth region image block of the base layer image and the original smooth region image block.
  • the above-described methods of acquiring the training filter are merely illustrative, and the present invention is not limited thereto.
  • the method of acquiring the training filter can be variously changed by changing the above-described optimization conditions and the like.
  • the method further includes:
  • the second training filter Determining, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter to satisfy the second training filter: according to the second training filter and the base layer image
  • the similarity between the second prediction information determined by the smooth region image block and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a second preset condition, wherein the base layer image and the enhancement Layer image corresponds;
  • Determining the candidate upsampling filter according to the first training filter further comprising: determining, according to the first training filter and the second training filter, an alternative upsampling filter, wherein the candidate upsampling The filter includes the first training filter and the second training filter.
  • the training samples are different except that the first training filter is a non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image is obtained, and the second training filter is the enhancement layer.
  • the smooth region image block of the image and the smooth region image block of the base layer image are obtained by training, and the other processes are similar.
  • the description thereof is omitted.
  • the first training filter and the second training filter can be respectively obtained. Therefore, in the embodiment of the present invention, the coefficients of the training filter are fixed, and the bit transmission filter coefficients are not consumed in the encoding process.
  • the type of the current block ie, a smooth area image block or a non-smooth area image block
  • the index of the filter improves the performance of image processing.
  • first filter and the second training filter may be included in the alternative filter, ie, case 1.
  • Situation 1
  • determining the target upsampling filter from the candidate upsampling filter comprising: determining a smoothness of the target image according to the feature information of the base layer image block, where the feature information includes the base layer Encoding block flag information of an image block or residual information for the base layer image block;
  • the target upsampling filter is determined according to the smoothness of the target image block.
  • the candidate upsampling filter includes the first training filter and the second training filter acquired as described above, in S130, according to the type of the target image block (for the smooth region image block) Or non-smooth area image block), select the target upsampling filter.
  • the CBF of the base layer image block corresponding to the target image block when the CBF of the base layer image block corresponding to the target image block is 0, it may be determined that the target image block is located in the smooth region. Similarly, when the CBF of the base layer image block corresponding to the target image block is not 0, it can be determined that the target image block is located in the non-smooth region.
  • the reconstructed image of the base layer image block may be upsampled according to the target upsampling filter determined as described above, thereby determining the predicted value with respect to the target image block.
  • the distortion rate cost of each prediction mode can be calculated, and the optimal prediction mode used when encoding the target image block is determined. It should be noted that, in the decoding process of the encoded target image block, the target upsampling filtering crying port can be determined in the same manner as described above.
  • the candidate upsampling filter further includes a conventional filter
  • the encoding process of the target image block to generate the target code stream according to the prediction information includes:
  • the target image block And encoding, according to the prediction information, the target image block to generate a target code stream, where the target code stream includes first indication information for indicating the target upsampling filter, where the first indication information is used to decode the foregoing
  • the encoded target image block is used as the basis for acquiring the target upsampling filter.
  • a conventional filter for example, an existing cosine interpolation filter may be included.
  • the conventional filter is taken as an example of a cosine interpolation filter.
  • the foregoing method (training process) for acquiring a training filter is performed in a pixel domain, and may be different for a downsampling ratio (a resolution ratio between an enhancement layer image and a base layer image)
  • a downsampling ratio a resolution ratio between an enhancement layer image and a base layer image
  • Different training is performed, for example, there is a case where the filter obtained for the entire pixel position and the half pixel position is different, and therefore, the prediction of the integer pixel position and the half pixel position may be unbalanced, thereby affecting the smoothness of the prediction residual.
  • a conventional filter such as a cosine interpolation filter
  • the method for acquiring the cosine interpolation filter may be the same as the prior art.
  • the description thereof is omitted.
  • the alternative filter may include the first training filter and the second training filter and a cosine interpolation filter (an example of a conventional filter), that is, Case 2.
  • rate distortion optimization (RDO, Rate-Distortion) can be used.
  • the reconstructed image of the base layer image block may be upsampled based on the target upsampling filter to determine a predicted value with respect to the target image block.
  • the distortion rate cost of each prediction mode can be calculated, and the optimal prediction mode used when encoding the target image block is determined.
  • the optimal prediction mode is the inter-layer texture prediction mode
  • it may be used to indicate the target upsampling filter (specifically, indicating that the target upsampling filter is a cosine interpolation filter, a first training filter)
  • the first indication information of the filter of the first training filter is encoded, and the first instruction information after the encoding process is added to the code stream to obtain the target when decoding the encoded target image block. Upsampling filter basis.
  • the candidate filter when the candidate filter includes the cosine interpolation filter or the first training filter or the second training filter as the target upsampling filter, the candidate filters are three, and, as described above, The encoding end or the decoding end may determine to use the first training filter or the second training filter according to the smoothness of the target image block, and therefore, the first indication information may be carried by using only one identifier in the code stream, Indicates whether the target upsampling filter is a conventional filter (cosine interpolation filter) or a training filter (first training filter or second training filter).
  • Alternative filtering In the device, when the number of the conventional filters is at least two, the purpose of indicating the target image block can be achieved by increasing the number of bits of the first indication information.
  • the corresponding pixel points of the base layer image are always directly copied.
  • the pixels of the base layer image are not directly copied by the corresponding enhancement layer image. Pixel, at this time, if the whole pixel of the target image is located at the abrupt point, directly copying the corresponding pixel of the base layer during upsampling will cause a large error. Therefore, using this method for upsampling may result in a large error in the entire pixel position of the enhancement layer image. Therefore, in the embodiment of the present invention, the pixel of the above-mentioned mutation point is trained by using the method of the embodiment of the present invention.
  • the training filter (the first training filter or the second training filter) can improve the effect of upsampling and improve the performance of encoding and image processing.
  • the candidate upsampling filter further includes a conventional filter
  • the determining target upsampling filter comprises:
  • the target upsampling filter is determined according to the texture of the target image block.
  • the alternative upsampling filter comprises a cosine interpolation filter, a first training filter and a second training filter.
  • the alternative filter includes a first training filter and a conventional filter, that is, case 3
  • the target upsampling filter may be selected from the first training filter and the cosine interpolation filter (an example of a conventional filter) according to the feature information of the base layer image block, thereby avoiding the use of the transmission flag bit representation.
  • the filter may be determined, for example, by using the texture strength of the base layer image block. In the embodiment of the present invention, for example, edge detection, texture strength analysis, or intra-frame coding prediction mode may be used.
  • the texture of the base layer image block is determined, and, for example, when the texture is strong, the training-derived filter is selected as the target up-sampling filter, and the rest uses the cosine interpolation filter.
  • the above enumerated methods for determining the texture of the base layer image block by edge detection, texture intensity analysis or intra-frame coding prediction mode The method can be the same as the prior art, and the description thereof will be omitted herein in order to avoid redundancy.
  • the reconstructed image of the base layer image block may be upsampled according to the target upsampling filter to determine a predicted value with respect to the target image block.
  • the distortion rate cost of each prediction mode can be calculated, and the optimal prediction mode used when encoding the target image block is determined.
  • the target image block is encoded.
  • the corresponding pixel points of the base layer image are always directly copied.
  • the pixels of the base layer image are not directly copied by the corresponding enhancement layer image. Pixel, at this time, if the whole pixel of the target image is located at the abrupt point, directly copying the corresponding pixel of the base layer during upsampling will cause a large error.
  • the first training filter can better recover the pixels at the position of the mutation point, so it can compensate for the deficiency of the cosine interpolation filter.
  • the target upsampling filter when decoding the encoded target image block, the target upsampling filter can be determined in the same manner as described above.
  • the number of upsampling filters can be reduced and the transmission filter can be eliminated while improving the effect of upsampling Coefficients and indexes, which can improve the coding performance and improve the effect and performance of image processing.
  • Fig. 3 shows a schematic flow chart of a method 200 for image processing according to an embodiment of the present invention, which is described from the perspective of an encoding end.
  • the method 200 includes:
  • S210 Determine, according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image, the first training filter, so that the first training filter satisfies: according to the first training filter and the basic
  • the similarity between the first prediction information determined by the non-smooth area image block of the layer image and the first original information determined according to the non-smooth area image block of the enhancement layer image satisfies a first preset condition, wherein the basic layer The image corresponds to the enhancement layer image;
  • S240 Determine prediction information according to the target upsampling filter and the base layer image block.
  • S250 Decode the target code stream according to the prediction information and the residual information obtained from the target code stream, to obtain the target image block, where the target image block is located in the enhancement layer map.
  • the base layer image block is located in the base layer image, and a spatial position of the base image block in the base layer image corresponds to a spatial position of the target image block in the enhancement layer image.
  • the image can be processed to obtain a low resolution image, and the original image is referred to as a high resolution image as a contrast, and the encoder separately determines the low resolution.
  • the rate image and the high resolution image are encoded.
  • a high quality image to be encoded is referred to herein as an enhancement layer image
  • a corresponding low quality image to be encoded is referred to as a base layer image.
  • the target image is an image processed by a layered coding technique
  • the basic layer refers to a quality in layered coding (including frame rate, spatial resolution, temporal resolution, signal to noise ratio intensity or quality level).
  • the enhancement layer refers to the layer with higher quality (including frame rate, spatial resolution, temporal resolution, signal-to-noise ratio intensity or quality level) in the layered coding.
  • the corresponding base layer may be any layer lower in quality than the enhancement layer, for example, if currently There are five layers, and the coding quality is sequentially improved (that is, the first layer has the lowest quality and the fifth layer has the highest quality).
  • the enhancement layer is the fourth layer
  • the base layer may be the first layer or the second layer. It is the third layer or the fourth layer.
  • the corresponding enhancement layer can be any layer of lower quality than the base layer.
  • the enhancement layer image is the image in the currently processed enhancement layer
  • the base layer image is the image in the base layer at the same time as the enhancement layer image.
  • the quality of the base layer image is lower than the quality of the enhancement layer image.
  • the target image block is the image block being processed in the enhancement layer image.
  • the base layer image block is an image block in the base layer image that has a corresponding relationship with the target image block in spatial position.
  • the correspondence between the base layer image block and the target image block may be calculated according to the resolution proportional relationship between the base layer image and the enhancement layer image. For example, in a system including the X direction and the y direction, if the resolution of the enhancement layer image in the X direction and the y direction is twice that of the base layer image, respectively, the pixel coordinates of the upper left corner in the enhancement layer are (2x, 2y). And an image block of size (2m) X ( 2n ), the corresponding block in the base layer image may be an image block whose pixel coordinates are (X , y ) and whose size is mxn in the upper left corner.
  • the image (including the enhancement layer image and the base layer image) is divided into a single sheet Two types of areas, namely smooth areas and non-smooth areas.
  • smooth areas a more accurate prediction value can usually be obtained during encoding, so that the coded block flag (CBF, Coded Block Flag) determined at the final encoding is 0, that is, the residual is 0.
  • CBF Coded Block Flag
  • the signal characteristics are not highly correlated during encoding, so it is impossible to accurately predict, so that a more accurate prediction value cannot be obtained, resulting in a large or uneven residual after prediction, and thus the final encoded CBF is not zero.
  • an image block with a CBF of 0 in the base layer image (a smooth region image block of the base layer image) is located in the smooth region, and thus, may be considered as an enhancement layer image corresponding to the image block.
  • the image block (the smooth area image block of the enhancement layer image) is located in the smooth area.
  • the image block in which the CBF is not 0 in the base layer image (the non-smooth area image block of the base layer image) is located in the non-smooth region
  • the image block in the enhancement layer image corresponding to the image block can be considered (The non-smooth area image block of the enhancement layer image) is located in the non-smooth area.
  • the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, and the non-smooth region image block of the enhancement layer image and the non-smooth region image block of the base layer image can be determined.
  • the first training filter may be trained according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image.
  • the first method may be trained by the following method. Training filter.
  • yl(n) represents a smooth region image block of an enhancement layer image (original image) (a plurality of image fast collections, hereinafter referred to as original smooth region image blocks), and x(n) represents a base layer image.
  • Smooth area image block, H(n) represents the filter to be determined (first training filter), e(n) represents the smoothed area image block of the base layer image after filtering (denoted as prediction image block) and original Smooth area image block.
  • H(n) is solved as an optimization condition (an example of the first preset condition).
  • the above-described methods of acquiring the training filter are merely illustrative, and the present invention is not limited thereto.
  • the method of acquiring the training filter can be variously changed by changing the above-described optimization conditions and the like.
  • the method further includes:
  • the second training filter Determining, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter to satisfy the second training filter: according to the second training filter and the base layer image The second prediction information determined by the smooth region image block and according to the enhancement The similarity between the second original information determined by the smooth region image block of the layer image satisfies a second preset condition, wherein the base layer image corresponds to the enhancement layer image;
  • Determining the candidate upsampling filter according to the first training filter further comprising: determining, according to the first training filter and the second training filter, an alternative upsampling filter, wherein the candidate upsampling The filter includes the first training filter and the second training filter.
  • the training samples are different except that the first training filter is a non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image is obtained, and the second training filter is the enhancement layer.
  • the smooth region image block of the image and the smooth region image block of the base layer image are obtained by training, and the other processes are similar.
  • the description thereof is omitted.
  • the first training filter and the second training filter can be respectively obtained. Therefore, in the embodiment of the present invention, the coefficients of the training filter are fixed, and the bit transmission filter coefficients are not consumed in the encoding process.
  • the type of the current block ie, a smooth area image block or a non-smooth area image block
  • the index of the filter improves the performance of image processing.
  • the alternative filter may include the first training filter and the second training filter, ie, Case 4.
  • determining the target upsampling filter from the candidate upsampling filter comprising: determining a smoothness of the target image according to the feature information of the base layer image block, where the feature information includes the base layer Encoding block flag information of an image block or residual information for the base layer image block;
  • the target upsampling filter is determined according to the smoothness of the target image block.
  • the candidate upsampling filter includes the first training filter and the second training filter acquired as described above, in S230, according to the type of the target image block (for the smooth region image block) Or non-smooth area image block), select the target upsampling filter.
  • the CBF of the base layer image block corresponding to the target image block when the CBF of the base layer image block corresponding to the target image block is 0, it may be determined that the target image block is located in the smooth region. Similarly, when the CBF of the base layer image block corresponding to the target image block is not 0, it can be determined that the target image block is located in the non-smooth region.
  • the reconstructed image of the base layer image block may be upsampled according to the target upsampling filter determined as described above, thereby determining a predicted value with respect to the target image block.
  • the target image block may be decoded according to the predicted value and the residual information obtained from the target code stream.
  • the process may be the same as the prior art. The description is omitted.
  • the candidate upsampling filter further includes a conventional filter
  • the target upsampling filter is determined, including:
  • an existing cosine interpolation filter may be included.
  • the conventional filter is taken as an example of a cosine interpolation filter.
  • the foregoing method (training process) for acquiring a training filter is performed in a pixel domain, and may be different for a downsampling ratio (a resolution ratio between an enhancement layer image and a base layer image)
  • a downsampling ratio a resolution ratio between an enhancement layer image and a base layer image
  • Different training is performed, for example, there is a case where the filter obtained for the entire pixel position and the half pixel position is different, and therefore, the prediction of the integer pixel position and the half pixel position may be unbalanced, thereby affecting the smoothness of the prediction residual.
  • a conventional filter such as a cosine interpolation filter
  • the method for acquiring the cosine interpolation filter may be the same as the prior art.
  • the description thereof is omitted.
  • the alternative filter may include the first training filter and the second training filter and the cosine interpolation filter (an example of a conventional filter), that is, case 5.
  • the first indication information may be obtained from the target code stream.
  • the candidate filter includes the cosine interpolation filter or the first training filter or the second training filter, as When the target upsampling filter, the candidate filter is three, and, as described above, the encoding end or the decoding end may determine whether to use the first training filter or the first according to the smoothness of the target image block.
  • a second training filter therefore, the first indication information can be carried in the code stream using only one bit identifier to indicate whether the target upsampling filter is a conventional filter (cosine interpolation filter) or a training filter (first a training filter or a second training filter).
  • the indication information is 1, selecting a training filter (including a first training filter or a second training filter), and according to the smoothness of the target image block, from the first training filter or the second training filter
  • the target upsampling filter is determined in the device. For example, when the indication information is 0, the cosine interpolation filter is selected as the target upsampling filter.
  • the above-described method of indicating the target upsampling filter by the first indication information is merely illustrative, and the present invention is not limited thereto.
  • the purpose of indicating the target image block is achieved by increasing the number of bits of the first indication information.
  • the reconstructed image of the base layer image block may be upsampled according to the target upsampling filter determined as described above, thereby determining a predicted value with respect to the target image block.
  • the target image block may be decoded according to the predicted value and the residual information obtained from the target code stream.
  • the process may be the same as the prior art. The description is omitted.
  • the corresponding pixel points of the base layer image are always directly copied.
  • the pixels of the base layer image are not directly copied by the corresponding enhancement layer image. Pixel, at this time, if the whole pixel of the target image is located at the abrupt point, directly copying the corresponding pixel of the base layer during upsampling will cause a large error. Therefore, using this method for upsampling may result in a large error in the entire pixel position of the enhancement layer image. Therefore, in the embodiment of the present invention, the pixel of the above-mentioned mutation point is trained by using the method of the embodiment of the present invention.
  • the training filter (the first training filter or the second training filter) can improve the effect of upsampling and improve the performance of encoding and image processing.
  • the candidate upsampling filter further includes a conventional filter
  • the determining target upsampling filter comprises:
  • the target upsampling filter is determined according to the texture of the target image block.
  • the alternative upsampling filter includes a cosine interpolation filter, a first training filter, and a second training filter.
  • the first indication signal for carrying the encoding needs to be transmitted in the code stream.
  • the flag bit of the bit is used to determine which filter the target upsampling filter is when decoding the above-described encoded target image block. Therefore, two candidate filters can be used in this scheme, but it does not pass.
  • the alternative filter includes a first training filter and a conventional filter, that is, case 6
  • a target upsampling filter may be selected from the first training filter and the cosine interpolation filter (an example of a conventional filter) according to the feature information of the base layer image block, thereby avoiding transmission of the flag bit representation used.
  • the filter may be determined, for example, by using the texture strength of the base layer image block. In the embodiment of the present invention, for example, edge detection, texture strength analysis, or intra-frame coding prediction mode may be used.
  • the texture of the base layer image block is determined, and, for example, when the texture is strong, the training-derived filter is selected as the target up-sampling filter, and the rest uses the cosine interpolation filter.
  • the method for determining the texture of the base layer image block by the method of edge detection, texture intensity analysis or intraframe coding prediction mode, which is enumerated above, may be the same as the prior art, and the description thereof will be omitted herein to avoid redundancy.
  • the reconstructed image of the base layer image block may be upsampled according to the target upsampling filter determined as described above, thereby determining a predicted value with respect to the target image block.
  • the target image block may be decoded according to the predicted value and the residual information obtained from the target code stream.
  • the process may be the same as the prior art. The description is omitted.
  • the corresponding pixel points of the base layer image are always directly copied.
  • the pixels of the base layer image are not directly copied by the corresponding enhancement layer image. Pixel, at this time, if the whole pixel of the target image is located at the abrupt point, directly copying the corresponding pixel of the base layer during upsampling will cause a large error.
  • the first training filter can better recover the pixels at the position of the mutation point, so it can compensate for the deficiency of the cosine interpolation filter.
  • the method for image processing according to the embodiment of the present invention by determining the upsampling filter according to the smoothed region and the non-smoothed region, the number of upsampling filters can be reduced and the transmission filter can be eliminated while improving the effect of upsampling Coefficients and indexes, which can improve the coding performance and improve the effect and performance of image processing.
  • a method for image processing according to an embodiment of the present invention is described in detail with reference to FIGS. 1 to 3.
  • a device for image processing according to an embodiment of the present invention will be described in detail with reference to FIGS. 4 to 5. .
  • FIG 4 shows a schematic block diagram of an apparatus 300 for image processing in accordance with an embodiment of the present invention.
  • the apparatus 300 includes:
  • the obtaining unit 310 is configured to determine, according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image, the first training filter, so that the first training filter satisfies: according to the first training filter
  • the similarity between the first prediction information determined by the non-smooth area image block of the base layer image and the first original information determined according to the non-smooth area image block of the enhancement layer image satisfies a first preset condition, wherein
  • the base layer image corresponds to the enhancement layer image
  • the determining unit 320 is configured to determine, according to the first training filter, an alternative upsampling filter, wherein the candidate upsampling filter comprises the first training filter Device
  • the candidate upsampling filter including the first training acquired by the acquiring unit 310 Filter
  • the encoding unit 330 is configured to acquire the upsampling filter from the determining unit, and determine prediction information according to the target upsampling filter and the base layer image block;
  • the target image block is located in the enhancement layer image
  • the base layer image block is located in the base layer image
  • the basic image is The spatial position of the block in the base layer image corresponds to the spatial position of the target image block in the enhancement layer image.
  • the acquiring unit 310 is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter satisfies:
  • the similarity between the second prediction filter determined by the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a second preset condition Wherein the base layer image corresponds to the enhancement layer image;
  • the determining unit 320 is further configured to determine, according to the first training filter and the second training filter, an alternative upsampling filter, where the candidate upsampling filter comprises the first training filter and the second Training filter.
  • the determining unit 320 is specifically configured to: according to the feature information of the base layer image block, Determining a smoothness of the target image, where the feature information includes coded block flag information of the base layer image block or residual information of the base layer image block;
  • the determining unit 320 is further configured to determine, according to the first training filter, the second training filter, and the traditional filter, an alternative upsampling filter, where the candidate upsampling filter includes the first a training filter, the second training filter, and the conventional filter;
  • the encoding unit 330 is specifically configured to perform encoding processing on the target image block according to the prediction information, to generate a target code stream, where the target code stream includes first indication information for indicating the target upsampling filter, the first The indication information is used as a basis for acquiring the target upsampling filter when decoding the above-mentioned encoded target image block.
  • the candidate upsampling filter further includes a conventional filter
  • the determining unit 320 is specifically configured to determine a texture degree of the target image block
  • the apparatus for image processing by determining the upsampling filter according to the smoothed region and the non-smoothed region, the number of upsampling filters can be reduced and the transmission filter can be eliminated while improving the effect of upsampling Coefficients and indexes, which can improve the coding performance and improve the effect and performance of image processing.
  • the apparatus 300 for image processing according to an embodiment of the present invention may correspond to an encoding end in the method of the embodiment of the present invention, and the units in the apparatus 300 for image processing are modules and other operations and/or the above-described operations and/or The functions are respectively implemented in order to implement the corresponding process of the method 100 in FIG. 1 , and are not described herein again.
  • FIG. 5 shows a schematic block diagram of an apparatus 400 for image processing in accordance with an embodiment of the present invention.
  • the apparatus 500 includes:
  • the obtaining unit 510 is configured to determine, according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image, the first training filter, so that the first training filter satisfies: according to the first training filter
  • the similarity between the first prediction information determined by the non-smooth area image block of the base layer image and the first original information determined according to the non-smooth area image block of the enhancement layer image satisfies a first preset condition, wherein
  • the base layer image corresponds to the enhancement layer image
  • the determining unit 520 is configured to determine, according to the first training filter, an candidate upsampling filter, wherein the candidate upsampling filter comprises the first training filter Device
  • the alternative upsampling filter For determining the target upsampling filter from the alternative upsampling filter, the alternative upsampling filter
  • the wave filter includes the first training filter, and transmits the target upsampling filter to the decoding unit 530, where the candidate upsampling filter includes the first training filter of the acquiring unit acquisition 510;
  • the decoding unit 530 is configured to acquire the target upsampling filter from the determining unit 520, and determine prediction information according to the target upsampling filter and the base layer image block;
  • the acquiring unit 510 is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter satisfies:
  • the similarity between the second prediction filter determined by the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a second preset condition Wherein the base layer image corresponds to the enhancement layer image;
  • the determining unit 520 is further configured to determine, according to the first training filter and the second training filter, an alternative upsampling filter, where the candidate upsampling filter includes the first training filter and the second Training filter.
  • the determining unit 520 is specifically configured to determine, according to the feature information of the base layer image block, a smoothness of the target image, where the feature information includes coded block flag information of the base layer image block or the base layer. Residual information of the image block;
  • the target upsampling filter is determined according to the smoothness of the target image block.
  • the candidate upsampling filter further includes a conventional filter
  • the determining unit 520 is specifically configured to obtain, from the target code stream, first indication information used to indicate the target upsampling filter,
  • the candidate upsampling filter further includes a conventional filter
  • the determining unit 520 is specifically configured to determine a texture degree of the target image block
  • the apparatus for image processing by determining the upsampling filter according to the smoothed region and the non-smoothed region, the number of upsampling filters can be reduced and the transmission filter can be eliminated while improving the effect of upsampling Coefficients and indexes to improve coding performance Improve the effectiveness and performance of image processing.
  • the apparatus 400 for image processing according to an embodiment of the present invention may correspond to an encoding end in the method of the embodiment of the present invention, and the units in the apparatus 400 for image processing are modules and the other operations and/or the above-described operations and/or The functions are respectively implemented in order to implement the corresponding processes of the method 200 in FIG. 3, and are not described here.
  • Fig. 6 shows a schematic block diagram of an encoder 500 for image processing in accordance with an embodiment of the present invention.
  • the decoder 500 includes:
  • processor 520 connected to the bus
  • the processor 520 calls the program stored in the memory 530 through the bus 510 to determine the first training filter according to the non-smooth area image block of the enhancement layer image and the non-smooth area image block of the base layer image, to Making the first training filter satisfy: first prediction information determined according to the first training filter and the non-smooth area image block of the base layer image and first original determined according to the non-smooth area image block of the enhancement layer image The similarity between the information satisfies a first preset condition, wherein the base layer image corresponds to the enhancement layer image;
  • the processing unit 520 is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter satisfies:
  • the similarity between the second prediction filter determined by the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a second preset condition Wherein the base layer image corresponds to the enhancement layer image;
  • the alternate upsampling filter includes the first training filter and the second training filter.
  • the processing unit 520 is specifically configured to determine, according to feature information of the base layer image block, a smoothness of the target image, where the feature information includes coded block flag information of the base layer image block or the base layer Residual information of the image block;
  • the target upsampling filter is determined according to the smoothness of the target image block.
  • the processing unit 520 is specifically configured to determine, according to the first training filter, the second training filter, and the traditional filter, an alternative upsampling filter, where the candidate upsampling filter includes the first a training filter, the second training filter, and the conventional filter;
  • the target code stream includes first indication information for indicating the target upsampling filter, where the first indication information is used to
  • the above-mentioned encoded target image block is decoded as a basis for acquiring the target upsampling filter.
  • the processing unit 520 is specifically configured to determine, according to the first training filter and the traditional filter, an alternative upsampling filter, where the candidate upsampling filter includes the first training filter and the traditional Filter
  • An encoder for image processing can reduce the number of upsampling filters and reduce the number of upsampling filters while improving the effect of upsampling by determining the upsampling filter according to the smoothed region and the non-smoothed region.
  • the filter coefficients and the index are transmitted, so that the encoding performance can be improved, and the effect and performance of image processing can be improved.
  • the encoder 500 for image processing may correspond to the encoding end in the method of the embodiment of the present invention, and the units in the encoder 500 for image processing, that is, the module and the other operations described above In order to implement the corresponding process of the method 100 in FIG. 1 , the functions are not described here.
  • FIG. 7 shows a schematic block diagram of a decoder 600 for image processing in accordance with an embodiment of the present invention.
  • the decoder 600 includes:
  • processor 620 connected to the bus
  • the processor 620 calls the program stored in the memory 630 through the bus 610. Determining, by the non-smooth area image block according to the enhancement layer image and the non-smooth area image block of the base layer image, the first training filter to satisfy the first training filter: according to the first training filter and the The similarity between the first prediction information determined by the non-smooth area image block of the base layer image and the first original information determined according to the non-smooth area image block of the enhancement layer image satisfies a first preset condition, wherein the basic condition a layer image corresponding to the enhancement layer image;
  • the processing unit 620 is further configured to determine, according to the smooth region image block of the enhancement layer image and the smooth region image block of the base layer image, the second training filter, so that the second training filter satisfies: The similarity between the second prediction filter determined by the second training filter and the smooth region image block of the base layer image and the second original information determined according to the smooth region image block of the enhancement layer image satisfies a second preset condition Wherein the base layer image corresponds to the enhancement layer image;
  • the candidate upsampling filter comprises the first training filter and the second training filter.
  • the processing unit 620 is specifically configured to determine, according to the feature information of the base layer image block, a smoothness of the target image, where the feature information includes coded block flag information of the base layer image block or the base layer. Residual information of the image block;
  • the target upsampling filter is determined according to the smoothness of the target image block.
  • the processing unit 620 is specifically configured to determine, according to the first training filter, the second training filter, and the traditional filter, an alternative upsampling filter, where the candidate upsampling filter includes the first a training filter, the second training filter, and the conventional filter;
  • the processing unit 620 is specifically configured to determine, according to the first training filter and the traditional filter, an alternative upsampling filter, where the candidate upsampling filter includes the first training filter and the traditional filter;
  • the target upsampling filter is determined according to the texture of the target image block.
  • the decoder for image processing can reduce the number of upsampling filters and eliminate the need to transmit filter coefficients while improving the effect of upsampling by determining the upsampling filter according to the smoothed region and the non-smoothed region. And the index, which can improve the encoding performance and improve the effect and performance of image processing.
  • the decoder 600 for image processing may correspond to a decoding end in the method of the embodiment of the present invention, and each unit in the decoder 600 for image processing, that is, a module and the other operations described above In order to implement the corresponding process of the method 200 in FIG. 3, the functions are not described here.
  • the decoding end processing method corresponding to the described encoding end processing method or the encoding end processing method corresponding to the described decoding end processing method may be determined.
  • the size of the sequence numbers of the above processes does not mean the order of execution, and the order of execution of each process should be determined by its function and internal logic, and should not be taken to the embodiments of the present invention.
  • the implementation process constitutes any limitation.
  • the disclosed systems, devices, and methods may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner for example, multiple units or components may be combined or Can be integrated into another system, or some features can be ignored, or not executed.
  • the coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be electrical, mechanical or otherwise.
  • the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions, if implemented in the form of software functional units and sold or used as separate products, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential to the prior art or part of the technical solution, may be embodied in the form of a software product stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种用于图像处理的方法，该方法包括：根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域图像块，确定第一训练滤波器，以使该第一训练滤波器满足：根据该第一训练滤波器和该基本层图像的非平滑区域图像块确定的第一预测信息与根据该增强层图像的非平滑区域图像块确定的第一原始信息之间的相似度满足第一预设条件，其中，该的基本层图像与该增强层图像相对应；根据该第一训练滤波器，确定备选上采样滤波器，其中，该备选上采样滤波器包括该第一训练滤波器；从该备选上采样滤波器中，确定目标上采样滤波器；根据该目标上采样滤波器和基本层图像块，确定预测信息；根据该预测信息，对目标图像块进行编码处理，以生成目标码流。

Description

用于图像处理的方法和装置 本申请要求于 2012 年 9 月 29 日提交中国专利局、 申请号为 201210374978.5、 发明名称为"用于图像处理的方法和装置 "的中国专利申请 的优先权， 其全部内容通过引用结合在本申请中。 技术领域
本发明涉及视频处理领域， 并且更具体地， 涉及一种用于图像处理的用 于图像处理的方法和装置。 背景技术
随着互联网的迅猛发展以及人们物质精神文化的日益丰富，在互联网中 针对视频的应用需求尤其是针对高清视频的应用需求越来越多， 而高清视频 的数据量非常大， 要想高清视频能在带宽有限的互联网中传输， 必须首先解 决的问题就是高清视频压缩编码问题。
在网络环境里 （比如互联网）， 由于网络带宽是有限的， 终端设备以及 用户的需求都是不同的， 所以为了某种特定的应用而一次压缩的码流并不是 令人满意和有效的， 对一些特定的用户或设备而言， 甚至是没有意义的。 解 决这个问题的一个有效的方法就是利用可伸缩视频编码（ SVC, scalable video coding )技术。 在该 SVC技术中， 根据包括空间分辨率、 时间分辨率或者信 噪比强度等在内的质量参数，将一个图像分为多个图像层。 SVC的目标就是 让质量高的图像层尽量充分的利用质量低的图像层的信息，提高层间预测的 效率， 使得编码质量高的图像的时候能够效率更高。
对质量高的图像进行分层编码时， 由于分辨率不同， 需要对质量低的图 像进行上采样， 以达到与质量高的图像一致的分辨率后， 再利用质量低的图 像的信息对增强层进行预测。 因此， 上采样的效果会对编码性能产生直接的 影响， 由于图像的纹理等特性的不同， 通过使用多个滤波器， 能够有效提升 上采样的效果。
目前， 已知一种使用多个滤波器进行上采样的技术， 其对每一个 4 x 4 的图像块计算位置在 1 , 2, 3 , 4的四个像素的水平方向和竖直方向的二阶 差分， 将四个像素水平方向的二阶差分相加， 作为水平 （horizontal ), 将四 个像素竖直方向的二阶差分相加， 作为垂直（vertical )。 从而， 可以确定纹 理方向（ direction )。例： ¾口，： ¾口果 vertical大于 horizontal的两倍，则确定 direction 为 1 ; ^口果 horizontal大于 vertical的两倍,贝 'J确定 direction为 2; ^口果 vertical 等于 horizontal的两倍,贝1 J确定 direction为 0。其后 ,计算 vertical及 horizontal 的平均值，以确定该像素块所属类型，并为每一种类型分别训练一个滤波器， 这样可以使得训练所得滤波器与对应类别非常相符，但是该方法需要在编码 端对滤波器的系数以及每类块所使用的滤波器的索引（ index )进行编码并传 输到解码端， 这样才可以在解码端正确解码。 如果使用这种方法对基本层重 建图像进行上采样， 则会导致需要传输的表示滤波器系数和 index的比特太 多， 从而影响编码性能。 发明内容
本发明实施例提供一种用于图像处理的方法和装置， 能够提高图像处理 的效果和性能。
第一方面， 提供了一种用于图像处理的方法， 该方法包括： 根据增强层 图像的非平滑区域图像块和基本层图像的非平滑区域图像块，确定第一训练 滤波器， 以使该第一训练滤波器满足： 根据该第一训练滤波器和该基本层图 像的非平滑区域图像块确定的第一预测信息与根据该增强层图像的非平滑 区域图像块确定的第一原始信息之间的相似度满足第一预设条件， 其中， 该 的基本层图像与该增强层图像相对应； 根据该第一训练滤波器， 确定备选上 采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器； 从该备选 上采样滤波器中， 确定目标上采样滤波器； 根据该目标上采样滤波器和基本 层图像块， 确定预测信息； 根据该预测信息， 对目标图像块进行编码处理， 以生成目标码流， 其中， 该目标图像块位于该增强层图像中， 该基本层图像 块位于该基本层图像中，且该基本图像块在该基本层图像中的空间位置与该 目标图像块在该增强层图像中的空间位置相对应。
在一种可能的实施方式中， 该方法还包括： 根据该增强层图像的平滑区 域图像块和该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使该 第二训练滤波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域图 像块确定的第二预测信息与根据该增强层图像的平滑区域图像块确定的第 二原始信息之间的相似度满足第二预设条件， 其中， 该的基本层图像与该增 强层图像相对应； 以及该根据该第一训练滤波器， 确定备选上采样滤波器， 进一步包括： 根据该第一训练滤波器和该第二训练滤波器， 确定备选上采样 滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器和该第二训练滤 波器。
结合第一方面和第一种可能的实施方式， 在第二种可能的实施方式中， 该从备选上采样滤波器中， 确定目标上采样滤波器， 包括： 根据该基本层图 像块的特征信息， 确定该目标图像的平滑度， 其中， 该特征信息包括该基本 层图像块的编码块标记信息或对该基本层图像块的残差信息； 根据该目标图 像块的平滑度， 确定该目标上采样滤波器。
结合第一方面、 第一种可能的实施方式和第二种可能的实施方式， 在第 三种可能的实施方式中， 根据该第一训练滤波器和该第二训练滤波器， 确定 备选上采样滤波器， 进一步包括： 根据该第一训练滤波器、 该第二训练滤波 器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括 该第一训练滤波器、 该第二训练滤波器和该传统滤波器； 以及该根据该预测 信息， 对该目标图像块进行编码处理， 以生成目标码流， 包括： 根据该预测 信息， 对该目标图像块进行编码处理， 以生成目标码流， 该目标码流包括用 于指示该目标上采样滤波器的第一指示信息， 该第一指示信息用以在解码上 述编码后的目标图像块时作为获取该目标上采样滤波器的依据。
结合第一方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式，在第四种可能的实施方式中，该根据该第一训练滤波器， 确定备选上采样滤波器，进一步包括：根据该第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器 和该传统滤波器； 以及该确定目标上采样滤波器， 包括： 确定该目标图像块 的纹理度； 根据该目标图像块的纹理度， 确定该目标上采样滤波器。
第二方面， 提供了一种用于图像处理的方法， 该方法包括： 根据增强层 图像的非平滑区域图像块和基本层图像的非平滑区域图像块，确定第一训练 滤波器， 以使该第一训练滤波器满足： 根据该第一训练滤波器和该基本层图 像的非平滑区域图像块确定的第一预测信息与根据该增强层图像的非平滑 区域图像块确定的第一原始信息之间的相似度满足第一预设条件， 其中， 该 的基本层图像与该增强层图像相对应； 根据该第一训练滤波器， 确定备选上 采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器； 从备选上 采样滤波器中， 确定目标上采样滤波器， 该备选上采样滤波器包括该第一训 练滤波器； 根据该目标上采样滤波器和基本层图像块， 确定预测信息； 根据 该预测信息和从目标码流中获取的残差信息， 对该目标码流进行解码处理， 以获取该目标图像块， 其中， 该目标图像块位于该增强层图像中， 该基本层 图像块位于该基本层图像中，且该基本图像块在该基本层图像中的空间位置 与该目标图像块在该增强层图像中的空间位置相对应。
在一种可能的实施方式中， 该方法还包括： 根据该增强层图像的平滑区 域图像块和该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使该 第二训练滤波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域图 像块确定的第二预测信息与根据该增强层图像的平滑区域图像块确定的第 二原始信息之间的相似度满足第二预设条件， 其中， 该的基本层图像与该增 强层图像相对应； 以及该根据该第一训练滤波器， 确定备选上采样滤波器， 进一步包括： 根据该第一训练滤波器和该第二训练滤波器， 确定备选上采样 滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器和该第二训练滤 波器。
结合第二方面和第一种可能的实施方式， 在第二种可能的实施方式中， 该从备选上采样滤波器中， 该从备选上采样滤波器中， 确定目标上采样滤波 器， 包括： 根据该基本层图像块的特征信息， 确定该目标图像的平滑度， 其 中，该特征信息包括该基本层图像块的编码块标记信息或对该基本层图像块 的残差信息； 根据该目标图像块的平滑度， 确定该目标上采样滤波器。
结合第二方面、 第一种可能的实施方式和第二种可能的实施方式， 在第 三种可能的实施方式中， 根据该第一训练滤波器和该第二训练滤波器， 确定 备选上采样滤波器， 进一步包括： 根据该第一训练滤波器、 该第二训练滤波 器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括 该第一训练滤波器、 该第二训练滤波器和该传统滤波器； 以及该从备选上采 样滤波器中， 确定目标上采样滤波器， 包括： 从该目标码流中， 获取用于指 示该目标上采样滤波器的第一指示信息， 根据该第一指示信息， 确定该目标 上采样滤波器。
结合第二方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式，在第四种可能的实施方式中，该根据该第一训练滤波器， 确定备选上采样滤波器，进一步包括：根据该第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器 和该传统滤波器； 以及该确定目标上采样滤波器， 包括： 确定该目标图像块 的纹理度； 根据该目标图像块的纹理度， 确定该目标上采样滤波器。
第三方面， 提供了一种用于图像处理的装置， 该装置包括： 获取单元， 用于根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域图像 块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第一训练滤 波器和该基本层图像的非平滑区域图像块确定的第一预测信息与根据该增 强层图像的非平滑区域图像块确定的第一原始信息之间的相似度满足第一 预设条件， 其中， 该的基本层图像与该增强层图像相对应； 确定单元， 根据 该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包 括该第一训练滤波器； 用于从该备选上采样滤波器中， 确定目标上采样滤波 器； 编码单元， 用于从该确定单元获取该上采样滤波器， 并根据该目标上采 样滤波器和基本层图像块， 确定预测信息； 用于根据该预测信息， 对目标图 像块进行编码处理， 以生成目标码流， 其中， 该目标图像块位于该增强层图 像中， 该基本层图像块位于该基本层图像中， 且该基本图像块在该基本层图 像中的空间位置与该目标图像块在该增强层图像中的空间位置相对应。
在一种可能的实施方式中， 该获取单元还用于根据该增强层图像的平滑 区域图像块和该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使 该第二训练滤波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域 图像块确定的第二预测信息与根据该增强层图像的平滑区域图像块确定的 第二原始信息之间的相似度满足第二预设条件， 其中， 该的基本层图像与该 增强层图像相对应； 以及该确定单元进一步用于根据该第一训练滤波器和该 第二训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括 该第一训练滤波器和该第二训练滤波器。
结合第三方面和第一种可能的实施方式， 在第二种可能的实施方式中， 该确定单元具体用于根据该基本层图像块的特征信息，确定该目标图像的平 滑度， 其中， 该特征信息包括该基本层图像块的编码块标记信息或对该基本 层图像块的残差信息； 用于根据该目标图像块的平滑度， 确定该目标上采样 滤波器。
结合第三方面、 第一种可能的实施方式和第二种可能的实施方式， 在第 三种可能的实施方式中， 该确定单元进一步用于根据该第一训练滤波器、 该 第二训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采 样滤波器包括该第一训练滤波器、 该第二训练滤波器和该传统滤波器； 以及 该编码单元具体用于根据该预测信息， 对该目标图像块进行编码处理， 以生 成目标码流， 该目标码流包括用于指示该目标上采样滤波器的第一指示信 息， 该第一指示信息用以在解码上述编码后的目标图像块时作为获取该目标 上采样滤波器的依据。
结合第三方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式， 在第四种可能的实施方式中， 该确定单元进一步用于根 据该第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选 上采样滤波器包括该第一训练滤波器和该传统滤波器； 具体用于确定该目标 图像块的纹理度； 用于根据该目标图像块的纹理度， 确定该目标上采样滤波 器。
第四方面，提供了一种用于图像处理的装置，其特征在于，该装置包括： 获取单元， 用于根据增强层图像的非平滑区域图像块和基本层图像的非平滑 区域图像块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第 一训练滤波器和该基本层图像的非平滑区域图像块确定的第一预测信息与 根据该增强层图像的非平滑区域图像块确定的第一原始信息之间的相似度 满足第一预设条件， 其中， 该的基本层图像与该增强层图像相对应； 确定单 元， 用于根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选上 采样滤波器包括该第一训练滤波器； 用于从备选上采样滤波器中， 确定目标 上采样滤波器， 该备选上采样滤波器包括该第一训练滤波器； 解码单元， 用 于从该确定单元获取该目标上采样滤波器， 并根据该目标上采样滤波器和基 本层图像块， 确定预测信息； 用于根据该预测信息和从目标码流中获取的残 差信息， 对该目标码流进行解码处理， 以获取该目标图像块， 其中， 该目标 图像块位于该增强层图像中， 该基本层图像块位于该基本层图像中， 且该基 本图像块在该基本层图像中的空间位置与该目标图像块在该增强层图像中 的空间位置相对应。
在一种可能的实施方式中， 该获取单元还用于根据该增强层图像的平滑 区域图像块和该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使 该第二训练滤波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域 图像块确定的第二预测信息与根据该增强层图像的平滑区域图像块确定的 第二原始信息之间的相似度满足第二预设条件， 其中， 该的基本层图像与该 增强层图像相对应； 以及该确定单元进一步用于根据该第一训练滤波器和该 第二训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括 该第一训练滤波器和该第二训练滤波器。
结合第四方面和第一种可能的实施方式， 在第二种可能的实施方式中， 该确定单元具体用于根据该基本层图像块的特征信息，确定该目标图像的平 滑度， 其中， 该特征信息包括该基本层图像块的编码块标记信息或对该基本 层图像块的残差信息； 根据该目标图像块的平滑度， 确定该目标上采样滤波 器。
结合第四方面、 第一种可能的实施方式和第二种可能的实施方式， 在第 三种可能的实施方式中， 该确定单元进一步用于根据该第一训练滤波器、 该 第二训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采 样滤波器包括该第一训练滤波器、 该第二训练滤波器和该传统滤波器； 用于 从该目标码流中， 获取用于指示该目标上采样滤波器的第一指示信息， 用于 根据该第一指示信息， 确定该目标上采样滤波器。
结合第四方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式， 在第四种可能的实施方式中， 该确定单元进一步用于根 据该第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选 上采样滤波器包括该第一训练滤波器和该传统滤波器； 用于确定该目标图像 块的纹理度； 用于根据该目标图像块的纹理度， 确定该目标上采样滤波器。
第五方面， 提供了一种用于图像处理的编码器， 该编码器包括： 总线； 与该总线相连的处理器； 与该总线相连的存储器； 其中， 该处理器通过该总 线， 调用该存储器中存储的程序， 以用于根据增强层图像的非平滑区域图像 块和基本层图像的非平滑区域图像块， 确定第一训练滤波器， 以使该第一训 练滤波器满足： 根据该第一训练滤波器和该基本层图像的非平滑区域图像块 确定的第一预测信息与根据该增强层图像的非平滑区域图像块确定的第一 原始信息之间的相似度满足第一预设条件， 其中， 该的基本层图像与该增强 层图像相对应； 根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该 备选上采样滤波器包括该第一训练滤波器； 从该备选上采样滤波器中， 确定 目标上采样滤波器； 根据该目标上采样滤波器和基本层图像块， 确定预测信 息； 根据该预测信息， 对目标图像块进行编码处理， 以生成目标码流， 其中， 该目标图像块位于该增强层图像中， 该基本层图像块位于该基本层图像中， 且该基本图像块在该基本层图像中的空间位置与该目标图像块在该增强层 图像中的空间位置相对应。
在一种可能的实施方式中， 该处理单元还用于根据该增强层图像的平滑 区域图像块和该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使 该第二训练滤波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域 图像块确定的第二预测信息与根据该增强层图像的平滑区域图像块确定的 第二原始信息之间的相似度满足第二预设条件， 其中， 该的基本层图像与该 增强层图像相对应； 用于根据该第一训练滤波器和该第二训练滤波器， 确定 备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器和该 第二训练滤波器。
结合第五方面和第一种可能的实施方式， 在第二种可能的实施方式中， 该处理单元具体用于根据该基本层图像块的特征信息，确定该目标图像的平 滑度， 其中， 该特征信息包括该基本层图像块的编码块标记信息或对该基本 层图像块的残差信息； 用于根据该目标图像块的平滑度， 确定该目标上采样 滤波器。
结合第五方面、 第一种可能的实施方式和第二种可能的实施方式， 在第 三种可能的实施方式中， 该处理器具体用于根据该第一训练滤波器、 该第二 训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤 波器包括该第一训练滤波器、 该第二训练滤波器和该传统滤波器； 用于根据 该预测信息， 对该目标图像块进行编码处理， 以生成目标码流， 该目标码流 包括用于指示该目标上采样滤波器的第一指示信息， 该第一指示信息用以在 解码上述编码后的目标图像块时作为获取该目标上采样滤波器的依
结合第五方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式， 在第四种可能的实施方式中， 该处理器具体用于根据该 第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采 样滤波器包括该第一训练滤波器和该传统滤波器； 具体用于确定该目标图像 块的纹理度； 用于根据该目标图像块的纹理度， 确定该目标上采样滤波器。。
第六方面， 提供了一种用于图像处理的解码器， 该解码器包括： 总线； 与该总线相连的处理器； 与该总线相连的存储器； 其中， 该处理器通过该总 线， 调用该存储器中存储的程序， 以用于根据增强层图像的非平滑区域图像 块和基本层图像的非平滑区域图像块， 确定第一训练滤波器， 以使该第一训 练滤波器满足： 根据该第一训练滤波器和该基本层图像的非平滑区域图像块 确定的第一预测信息与根据该增强层图像的非平滑区域图像块确定的第一 原始信息之间的相似度满足第一预设条件， 其中， 该的基本层图像与该增强 层图像相对应； 根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该 备选上采样滤波器包括该第一训练滤波器； 从备选上采样滤波器中， 确定目 标上采样滤波器， 该备选上采样滤波器包括该第一训练滤波器； 根据该目标 上采样滤波器和基本层图像块， 确定预测信息； 根据该预测信息和从目标码 流中获取的残差信息， 对该目标码流进行解码处理， 以获取该目标图像块， 其中， 该目标图像块位于该增强层图像中， 该基本层图像块位于该基本层图 像中，且该基本图像块在该基本层图像中的空间位置与该目标图像块在该增 强层图像中的空间位置相对应。
在一种可能的实施方式中， 该处理单元还用于根据该增强层图像的平滑 区域图像块和该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使 该第二训练滤波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域 图像块确定的第二预测信息与根据该增强层图像的平滑区域图像块确定的 第二原始信息之间的相似度满足第二预设条件， 其中， 该的基本层图像与该 增强层图像相对应； 用于根据该第一训练滤波器和该第二训练滤波器， 确定 备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器和该 第二训练滤波器。
结合第六方面和第一种可能的实施方式， 在第二种可能的实施方式中， 该处理单元具体用于根据该基本层图像块的特征信息，确定该目标图像的平 滑度， 其中， 该特征信息包括该基本层图像块的编码块标记信息或对该基本 层图像块的残差信息； 根据该目标图像块的平滑度， 确定该目标上采样滤波 器。
结合第六方面、 第一种可能的实施方式和第二种可能的实施方式， 在第 三种可能的实施方式中， 该处理器进一步用于根据该第一训练滤波器、 该第 二训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样 滤波器包括该第一训练滤波器、 该第二训练滤波器和该传统滤波器； 用于从 该目标码流中， 获取用于指示该目标上采样滤波器的第一指示信息， 用于根 据该第一指示信息， 确定该目标上采样滤波器。 结合第六方面、 第一种可能的实施方式、 第二种可能的实施方式和第三 种可能的实施方式， 在第四种可能的实施方式中， 该处理器进一步用于根据 该第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上 采样滤波器包括该第一训练滤波器和该传统滤波器； 用于确定该目标图像块 的纹理度； 用于根据该目标图像块的纹理度， 确定该目标上采样滤波器。
根据本发明实施例的用于图像处理的方法、 装置编码器和解码器， 通过 根据平滑区域和非平滑区域， 确定上采样滤波器， 能够在提高上采样的效果 的同时， 减少上采样滤波器的数量并且无需传输滤波器系数以及索引， 从而 能够提高编码性能， 进行提高图像处理的效果和性能。 附图说明
为了更清楚地说明本发明实施例的技术方案， 下面将对本发明实施例中 所需要使用的附图作筒单地介绍， 显而易见地， 下面所描述的附图仅仅是本 发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的 前提下， 还可以根据这些附图获得其他的附图。
图 1是根据本发明一实施例的用于图像处理的方法的示意性流程图。 图 2是根据本发明一实施例的用于确定训练滤波器的方法的示意图。 图 3 是根据本发明一实施例的用于图像处理的方法的另一示意性流程 图。
图 4是根据本发明一实施例的用于图像处理的装置的示意性框图。 图 5是根据本发明另一实施例的用于图像处理的装置的示意性框图。 图 6是根据本发明一实施例的用于图像处理的编码器的示意性框图。 图 7是根据本发明另一实施例的用于图像处理的解码器的示意性框图。 具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是 全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作出创 造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
图 1示出了从编码端角度描述的根据本发明实施例的用于图像处理的方 法 100的示意性流程图。 如图 1所示， 该方法 100包括： S110,根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域 图像块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第一训 练滤波器和该基本层图像的非平滑区域图像块确定的第一预测信息与根据 该增强层图像的非平滑区域图像块确定的第一原始信息之间的相似度满足 第一预设条件， 其中， 该的基本层图像与该增强层图像相对应；
S120, 根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选 上采样滤波器包括该第一训练滤波器；
S130, 从该备选上采样滤波器中， 确定目标上采样滤波器；
S140, 根据该目标上采样滤波器和基本层图像块， 确定预测信息。
S150,根据该预测信息，对目标图像块进行编码处理， 以生成目标码流， 其中， 该目标图像块位于该增强层图像中， 该基本层图像块位于该基本层图 像中，且该基本图像块在该基本层图像中的空间位置与该目标图像块在该增 强层图像中的空间位置相对应
在对图像进行分层编码， 例如， 在空间可伸缩编码时， 可以将图像进行 将分辨率处理得到低分辨率图像， 作为对比将原图像称作高分辨率图像， 编 码器分别对该低分辨率图像以及该高分辨率图像进行编码处理。 为方便描 述， 本文中将质量高的待编码图像称作增强层图像， 将对应的质量低的待编 码图像（例如所述低分辨率图像）称作基本层图像。
在本发明实施例中， 目标图像是使用分层编码技术进行处理的图像， 基 本层是指分层编码中的质量（包括帧速率、 空间分辨率、 时间分辨率、 信噪 比强度或质量等级等参数）较低的层， 增强层是指分层编码中的质量（包括 帧速率、 空间分辨率、 时间分辨率、 信噪比强度或质量等级等参数）较高的 层。 需要说明的是， 在本发明实施例中， 在本发明实施例中， 对于一个给定 的增强层， 与其相对应的基本层可以为质量低于该增强层的任一层， 例如， 如果当前存在五层， 编码质量依次提高 （即， 第一层质量最低， 第五层质量 最高）， 如果增强层为第四层， 则基本层可以是第一层， 也可以是第二层、 也可以是第三层、 也可以是第四层。 同理， 对于一个给定的基本层， 与其相 对应的增强层可以为质量低于该基本层的任一层。
增强层图像为当前处理的增强层中的图像，基本层图像为基本层中与增 强层图像在同一时刻的图像。
综上所述， 在本发明实施例中， 该基本层图像的质量低于该增强层图像 的质量。
目标图像块为该增强层图像中正在处理的图像块。
基本层图像块为基本层图像中与该目标图像块在空间位置上存在对应 关系的图像块。
在本发明实施例中，基本层图像块与目标图像块的对应关系可以根据基 本层图像与增强层图像之间的分辨率比例关系计算得到。 例如， 在包括 X方 向和 y方向的系统内，如果增强层图像在 X方向与 y方向的分辨率分别是基 本层图像的 2倍， 则对于增强层中左上角的像素坐标为 （2x, 2y )且大小为 ( 2m ) X ( 2n )的图像块， 其基本层图像中的对应块可以是左上角的像素坐 标为 （X , y )且大小为 m x n的图像块。
在本发明实施例中， 将图像（包括增强层图像和基本层图像）分为筒单 的两类区域， 即， 平滑区域和非平滑区域。 在平滑区域， 编码时通常可以获 得较为准确的预测值， 从而， 最终编码时确定的编码块标记（CBF, Coded Block Flag )为 0, 即残差为 0。 在非平滑区域， 编码时由于信号特性相关性 不大， 无法精确预测， 因此不能得到较为准确的预测值， 导致预测后残差较 大或不均匀， 从而， 最终编码的 CBF不为 0。
因此， 在本发明实施例中， 可以确定基本层图像中 CBF为 0的图像块 (基本层图像的平滑区域图像块）位于平滑区域， 从而， 可以认为与该图像 块相对应的增强层图像中的图像块（增强层图像的平滑区域图像块）位于平 滑区域。 同理， 可以确定基本层图像中 CBF不为 0的图像块（基本层图像 的非平滑区域图像块）位于非平滑区域， 从而， 可以认为与该图像块相对应 的增强层图像中的图像块（增强层图像的非平滑区域图像块）位于非平滑区 域。 如上所述， 可以确定增强层图像的平滑区域图像块和该基本层图像的平 滑区域图像块， 以及， 增强层图像的非平滑区域图像块和该基本层图像的非 平滑区域图像块。
其后，在 S110,可以根据增强层图像的非平滑区域图像块和该基本层图 像的非平滑区域图像块训练第一训练滤波器， 作为示例而非限定， 可以通过 以下方法， 训练该第一训练滤波器。
如图 2所示， yl(n)表示增强层图像（原始图像）的平滑区域图像块（多 个图像快的集合， 以下， 称为原始平滑区域图像块）， x(n)表示基本层图像的 平滑区域图像块， H(n)表示待确定的滤波器（第一训练滤波器）， e(n)表示经 过滤波以后的基本层图像的平滑区域图像块（记作预测图像块）与原始平滑 区域图像块。 例如， 以使原始平滑区域图像块与预测图像块的像素值的均方 误差最小， 作为优化条件（第一预设条件的一例）， 求解 H(n)。
该 H(n)的最优解可以表示为以下式（ 1 ),
H = R 1 x r ( 1 )
其中， Rxx表示原始平滑区域图像块的自相关函数， ryx表示基本层图像的 平滑区域图像块与原始平滑区域图像块的互相关函数。
应理解， 以上列举的获取训练滤波器的方法仅为示例性说明， 本发明并 不限定于此， 例如， 可以通过改变上述最优化条件等， 对该获取训练滤波器 的方法进行各种变更。
可选地， 该方法还包括：
根据该增强层图像的平滑区域图像块和该基本层图像的平滑区域图像 块， 确定第二训练滤波器， 以使该第二训练滤波器满足： 根据该第二训练滤 波器和该基本层图像的平滑区域图像块确定的第二预测信息与根据该增强 层图像的平滑区域图像块确定的第二原始信息之间的相似度满足第二预设 条件， 其中， 该的基本层图像与该增强层图像相对应； 以及
该根据该第一训练滤波器， 确定备选上采样滤波器， 进一步包括： 根据该第一训练滤波器和该第二训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器和该第二训练滤波器。
在本发明实施例中， 除训练的样本不同 （第一训练滤波器是增强层图像 的非平滑区域图像块和基本层图像的非平滑区域图像块训练获得， 第二训练 滤波器是该增强层图像的平滑区域图像块和该基本层图像的平滑区域图像 块训练获得）， 外其他过程相似， 这里， 为了避免赘述， 省略其说明。
通过上述方法，可以分别得到第一训练滤波器和第二训练滤波器，因此， 在本发明实施例中， 训练滤波器的系数是固定的， 在编码过程中不需要消耗 比特传输滤波器系数， 同时在解码端选择滤波器时， 例如， 可以根据基本层 对应块的 CBF值判断当前块所属类型 （即， 为平滑区域图像块或非平滑区 域图像块）， 从而， 无需传输每个图像块使用的滤波器的索引， 提高了图像 处理的性能。
从而，在备选滤波器可以包括该第一训练滤波器和第二训练滤波器，即， 情况 1。 情况 1
可选地， 该从备选上采样滤波器中， 确定目标上采样滤波器， 包括： 根据该基本层图像块的特征信息， 确定该目标图像的平滑度， 其中， 该 特征信息包括该基本层图像块的编码块标记信息或对该基本层图像块的残 差信息；
根据该目标图像块的平滑度， 确定该目标上采样滤波器。
具体地说，在该备选上采样滤波器包括如上所述获取的第一训练滤波器 和第二训练滤波器的情况下， 在 S130中， 可以根据目标图像块的类型 （为 平滑区域图像块或非平滑区域图像块 ) , 选择目标上采样滤波器。
在本发明实施例中， 当与该目标图像块相对应的基本层图像块的 CBF 为 0时， 可以确定该目标图像块位于平滑区域。 同理， 当与该目标图像块相 对应的基本层图像块的 CBF不为 0时， 可以确定该目标图像块位于非平滑 区域。
应理解， 以上列举的确定目标图像块的平滑度的方法和使用的参数仅为 示例性说明，本发明并不限定于此，其他能够确定目标图像块的平滑度， 即， 确定目标图像块处于增强层图像中的平滑区域或非平滑区域的方法和参数， 均落入本发明的保护范围。
此情况下， 在 S140, 可以如上所述确定的根据该目标上采样滤波器， 对基本层图像块的重建图像进行上采样，从而确定相对于目标图像块的预测 值。
从而， 在 S150, 可以计算各预测模式的失真率代价， 并确定对该目标 图像块进行编码时使用的最优预测模式。 需要说明的是， 在对该编码后的目 标图像块进行解码处理时， 可以采用与上述同样的方法确定目标上采样滤波 哭口 。
可选地， 该备选上采样滤波器还包括传统滤波器， 以及
该根据该预测信息， 对该目标图像块进行编码处理， 以生成目标码流， 包括：
根据该预测信息， 对该目标图像块进行编码处理， 以生成目标码流， 该 目标码流包括用于指示该目标上采样滤波器的第一指示信息， 该第一指示信 息用以在解码上述编码后的目标图像块时作为获取该目标上采样滤波器的 依据。 在本发明实施例中， 作为传统滤波器， 例如， 可以包括现有的余弦插值 滤波器。 以下说明中， 为了便于说明， 以该传统滤波器为余弦插值滤波器为 例， 进行说明。
具体地说，在本发明实施例中，上述获取训练滤波器的方法（训练过程） 在像素域进行， 并且， 可以针对不同的下采样比例（增强层图像与基本层图 像之间的分辨率比）进行不同的训练， 例如， 存在对于整像素位置和半像素 位置获得的滤波器相异的情况， 因此， 可能导致对整像素位置和半像素位置 的预测不均衡， 从而影响预测残差的平稳性， 因此， 在本发明实施例中， 还 可以在备选上采样滤波器中还可以加入传统滤波器，例如，余弦插值滤波器， 该余弦插值滤波器的获取方法可以与现有技术相同， 这里， 为了避免赘述， 省略其说明。
从而，在备选滤波器可以包括该第一训练滤波器和第二训练滤波器和余 弦插值滤波器（传统滤波器的一例）， 即， 情况 2。
情况 2
在 S 130 中， 例如， 可以使用率失真优化 （RDO , Rate-Distortion
Optimization ) , 选择使用余弦插值滤波器或第一训练滤波器或第二训练滤波 器， 作为目标上采样滤波器。
此情况下， 其后， 在 S140, 可以根据该目标上采样滤波器， 对基本层 图像块的重建图像进行上采样， 从而确定相对于目标图像块的预测值。
从而， 在 S150, 可以计算各预测模式的失真率代价， 并确定对该目标 图像块进行编码时使用的最优预测模式。在该最优预测模式为层间纹理预测 模式的情况下， 可以对用于指示该目标上采样滤波器（具体地说， 指示该目 标上采样滤波器为余弦插值滤波器、第一训练滤波器或第一训练滤波器中的 哪个滤波器）的第一指示信息进行编码处理， 并将编码处理后的第一指示信 息加入码流， 以在解码上述编码后的目标图像块时作为获取该目标上采样滤 波器依据。 需要说明的是， 在备选滤波器包括该余弦插值滤波器或第一训练 滤波器或第二训练滤波器， 作为目标上采样滤波器时， 备选滤波器为三个， 并且， 如上所述编码端或解码端可以根据目标图像块的平滑度， 确定使用第 一训练滤波器或第二训练滤波器， 因此， 可以在码流中仅用一位标识符来承 载该第一指示信息， 以指示该目标上采样滤波器为传统滤波器（余弦插值滤 波器）还是训练滤波器（第一训练滤波器或第二训练滤波器）。 当备选滤波 器中，传统滤波器的个数为至少两个时，可以通过增加第一指示信息的位数， 来实现指示目标图像块的目的。
在通过余弦插值滤波器进行上采样时，始终为直接复制基本层图像的对 应像素点， 但是， 在例如， 可伸缩视频编码方法中， 基本层图像的像素并不 是直接复制对应的增强层图像的像素， 此时， 如果目标图像的整像素位于突 变点， 进行上采样时直接复制基本层对应像素点会出现很大误差。 因此使用 这种方法进行上采样， 可能会使得增强层图像的整像素位置有较大误差， 因 此， 在本发明实施例中， 通过对上述突变点的像素运用本发明实施例的方法 训练得到的训练滤波器（第一训练滤波器或第二训练滤波器）， 能够提高上 采样的效果， 提高编码和图像处理的性能。
可选地， 该备选上采样滤波器还包括传统滤波器， 以及
该确定目标上采样滤波器， 包括：
确定该目标图像块的纹理度；
根据该目标图像块的纹理度， 确定该目标上采样滤波器。
如上所述， 在本发明实施中， 在该备选上采样滤波器包括余弦插值滤波 器、 第一训练滤波器和第二训练滤波器的情况下。 如上所述， 在根据 RDO 选择目标上采样滤波器后， 需要在码流中传输用于承载编码后的第一指示信 息的标记位， 以在解码上述编码后的目标图像块时确定目标上采样滤波器是 哪一个滤波器。 因此， 本方案中可以采用两个候选滤波器， 但是并不通过 RDO 进行选择， 而是根据不同滤波器的不同特征进行选择， 从而避免多传 输一个标记位表示目标上采样滤波器。 即， 该备选滤波器包括第一训练滤波 器和传统滤波器， 即， 情况 3
情况 3
在 S130中， 例如， 可以根据基本层图像块的特征信息从第一训练滤波 器和余弦插值滤波器（传统滤波器的一例 ) 中选择目标上采样滤波器， 从而 避免传输标记位表示所使用的滤波器， 例如， 可以采用根据基本层图像块的 纹理强度来确定选择使用的滤波器， 在本发明实施例中， 可以采用， 例如， 边缘检测， 纹理强度分析或者帧内编码预测模式等方法， 确定基本层图像块 的纹理度， 并在， 例如， 当纹理度较强时， 选择使用训练所得滤波器作为目 标上采样滤波器， 其余都使用余弦插值滤波器。 以上列举的通过边缘检测， 纹理强度分析或者帧内编码预测模式等方法确定基本层图像块的纹理度的 方法可以与现有技术相同， 这里， 为了避免赘述， 省略其说明。 此情况下， 其后， 在 S140, 可以根据该目标上采样滤波器， 对基本层 图像块的重建图像进行上采样， 从而确定相对于目标图像块的预测值。
从而， 在 S150, 可以计算各预测模式的失真率代价， 并确定对该目标 图像块进行编码时使用的最优预测模式。 并对目标图像块进行编码处理。
在通过余弦插值滤波器进行上采样时， 始终为直接复制基本层图像的对 应像素点， 但是， 在例如， 可伸缩视频编码方法中， 基本层图像的像素并不 是直接复制对应的增强层图像的像素， 此时， 如果目标图像的整像素位于突 变点， 进行上采样时直接复制基本层对应像素点会出现很大误差。 第一训练 滤波器能够对突变点位置的像素进行较好的恢复， 因此可以 4艮好的弥补余弦 插值滤波器的不足。
需要说明的是， 在对该编码后的目标图像块进行解码处理时， 可以采用 与上述同样的方法确定目标上采样滤波器。
根据本发明实施例的用于图像处理的方法，通过根据平滑区域和非平滑 区域， 确定上采样滤波器， 能够在提高上采样的效果的同时， 减少上采样滤 波器的数量并且无需传输滤波器系数以及索引， 从而能够提高编码性能， 进 行提高图像处理的效果和性能。
图 3示出了从编码端角度描述的根据本发明实施例的用于图像处理的方 法 200的示意性流程图。 如图 3所示， 该方法 200包括：
S210,根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域 图像块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第一训 练滤波器和该基本层图像的非平滑区域图像块确定的第一预测信息与根据 该增强层图像的非平滑区域图像块确定的第一原始信息之间的相似度满足 第一预设条件， 其中， 该的基本层图像与该增强层图像相对应；
S220, 根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选 上采样滤波器包括该第一训练滤波器；
S230, 从备选上采样滤波器中， 确定目标上采样滤波器， 该备选上采样 滤波器包括该第一训练滤波器；
S240, 根据该目标上采样滤波器和基本层图像块， 确定预测信息。 S250, 根据该预测信息和从目标码流中获取的残差信息， 对该目标码流 进行解码处理， 以获取该目标图像块， 其中， 该目标图像块位于该增强层图 像中， 该基本层图像块位于该基本层图像中， 且该基本图像块在该基本层图 像中的空间位置与该目标图像块在该增强层图像中的空间位置相对应
在对图像进行分层编码， 例如， 在空间可伸缩编码时， 可以将图像进行 将分辨率处理得到低分辨率图像， 作为对比将原图像称作高分辨率图像， 编 码器分别对该低分辨率图像以及该高分辨率图像进行编码处理。 为方便描 述， 本文中将质量高的待编码图像称作增强层图像， 将对应的质量低的待编 码图像（例如所述低分辨率图像）称作基本层图像。
在本发明实施例中， 目标图像是使用分层编码技术进行处理的图像， 基 本层是指分层编码中的质量（包括帧速率、 空间分辨率、 时间分辨率、 信噪 比强度或质量等级等参数）较低的层， 增强层是指分层编码中的质量（包括 帧速率、 空间分辨率、 时间分辨率、 信噪比强度或质量等级等参数）较高的 层。 需要说明的是， 在本发明实施例中， 在本发明实施例中， 对于一个给定 的增强层， 与其相对应的基本层可以为质量低于该增强层的任一层， 例如， 如果当前存在五层， 编码质量依次提高 （即， 第一层质量最低， 第五层质量 最高）， 如果增强层为第四层， 则基本层可以是第一层， 也可以是第二层、 也可以是第三层、 也可以是第四层。 同理， 对于一个给定的基本层， 与其相 对应的增强层可以为质量低于该基本层的任一层。
增强层图像为当前处理的增强层中的图像，基本层图像为基本层中与增 强层图像在同一时刻的图像。
综上所述， 在本发明实施例中， 该基本层图像的质量低于该增强层图像 的质量。
目标图像块为该增强层图像中正在处理的图像块。
基本层图像块为基本层图像中与该目标图像块在空间位置上存在对应 关系的图像块。
在本发明实施例中，基本层图像块与目标图像块的对应关系可以根据基 本层图像与增强层图像之间的分辨率比例关系计算得到。 例如， 在包括 X方 向和 y方向的系统内，如果增强层图像在 X方向与 y方向的分辨率分别是基 本层图像的 2倍， 则对于增强层中左上角的像素坐标为 （2x, 2y )且大小为 ( 2m ) X ( 2n )的图像块， 其基本层图像中的对应块可以是左上角的像素坐 标为 （X , y )且大小为 m x n的图像块。
在本发明实施例中， 将图像（包括增强层图像和基本层图像）分为筒单 的两类区域， 即， 平滑区域和非平滑区域。 在平滑区域， 编码时通常可以获 得较为准确的预测值， 从而， 最终编码时确定的编码块标记（CBF, Coded Block Flag )为 0, 即残差为 0。 在非平滑区域， 编码时由于信号特性相关性 不大， 无法精确预测， 因此不能得到较为准确的预测值， 导致预测后残差较 大或不均匀， 从而， 最终编码的 CBF不为 0。
因此， 在本发明实施例中， 可以确定基本层图像中 CBF为 0的图像块 (基本层图像的平滑区域图像块）位于平滑区域， 从而， 可以认为与该图像 块相对应的增强层图像中的图像块（增强层图像的平滑区域图像块）位于平 滑区域。 同理， 可以确定基本层图像中 CBF不为 0的图像块（基本层图像 的非平滑区域图像块）位于非平滑区域， 从而， 可以认为与该图像块相对应 的增强层图像中的图像块（增强层图像的非平滑区域图像块）位于非平滑区 域。 如上所述， 可以确定增强层图像的平滑区域图像块和该基本层图像的平 滑区域图像块， 以及， 增强层图像的非平滑区域图像块和该基本层图像的非 平滑区域图像块。
其后， 在 S210, 可以根据增强层图像的非平滑区域图像块和该基本层 图像的非平滑区域图像块训练第一训练滤波器， 作为示例而非限定， 可以通 过以下方法， 训练该第一训练滤波器。
如图 2所示， yl(n)表示增强层图像（原始图像）的平滑区域图像块（多 个图像快的集合， 以下， 称为原始平滑区域图像块）， x(n)表示基本层图像的 平滑区域图像块， H(n)表示待确定的滤波器（第一训练滤波器）， e(n)表示经 过滤波以后的基本层图像的平滑区域图像块（记作预测图像块）与原始平滑 区域图像块。 例如， 以使原始平滑区域图像块与预测图像块的像素值的均方 误差最小， 作为优化条件（第一预设条件的一例）， 求解 H(n)。
该 H(n)的最优解可以表示为以上式（ 1 ),
应理解， 以上列举的获取训练滤波器的方法仅为示例性说明， 本发明并 不限定于此， 例如， 可以通过改变上述最优化条件等， 对该获取训练滤波器 的方法进行各种变更。
可选地， 该方法还包括：
根据该增强层图像的平滑区域图像块和该基本层图像的平滑区域图像 块， 确定第二训练滤波器， 以使该第二训练滤波器满足： 根据该第二训练滤 波器和该基本层图像的平滑区域图像块确定的第二预测信息与根据该增强 层图像的平滑区域图像块确定的第二原始信息之间的相似度满足第二预设 条件， 其中， 该的基本层图像与该增强层图像相对应； 以及
该根据该第一训练滤波器， 确定备选上采样滤波器， 进一步包括： 根据该第一训练滤波器和该第二训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器和该第二训练滤波器。
在本发明实施例中， 除训练的样本不同 （第一训练滤波器是增强层图像 的非平滑区域图像块和基本层图像的非平滑区域图像块训练获得， 第二训练 滤波器是该增强层图像的平滑区域图像块和该基本层图像的平滑区域图像 块训练获得）， 外其他过程相似， 这里， 为了避免赘述， 省略其说明。
通过上述方法，可以分别得到第一训练滤波器和第二训练滤波器，因此， 在本发明实施例中， 训练滤波器的系数是固定的， 在编码过程中不需要消耗 比特传输滤波器系数， 同时在解码端选择滤波器时， 例如， 可以根据基本层 对应块的 CBF值判断当前块所属类型 （即， 为平滑区域图像块或非平滑区 域图像块）， 从而， 无需传输每个图像块使用的滤波器的索引， 提高了图像 处理的性能。
从而，在备选滤波器可以包括该第一训练滤波器和第二训练滤波器，即， 情况 4。
情况 4
可选地， 该从备选上采样滤波器中， 确定目标上采样滤波器， 包括： 根据该基本层图像块的特征信息， 确定该目标图像的平滑度， 其中， 该 特征信息包括该基本层图像块的编码块标记信息或对该基本层图像块的残 差信息；
根据该目标图像块的平滑度， 确定该目标上采样滤波器。
具体地说，在该备选上采样滤波器包括如上所述获取的第一训练滤波器 和第二训练滤波器的情况下， 在 S230中， 可以根据目标图像块的类型 （为 平滑区域图像块或非平滑区域图像块 ) , 选择目标上采样滤波器。
在本发明实施例中， 当与该目标图像块相对应的基本层图像块的 CBF 为 0时， 可以确定该目标图像块位于平滑区域。 同理， 当与该目标图像块相 对应的基本层图像块的 CBF不为 0时， 可以确定该目标图像块位于非平滑 区域。
应理解， 以上列举的确定目标图像块的平滑度的方法和使用的参数仅为 示例性说明，本发明并不限定于此，其他能够确定目标图像块的平滑度， 即， 确定目标图像块处于增强层图像中的平滑区域或非平滑区域的方法和参数， 均落入本发明的保护范围。
此情况下， 在 S240, 可以如上所述确定的根据该目标上采样滤波器， 对基本层图像块的重建图像进行上采样，从而确定相对于目标图像块的预测 值。
从而， 在 S250, 可以根据该预测值和从目标码流中获取的残差信息， 对目标图像块进行解码， 在本发明实施例中， 该过程可以与现有技术相同， 这里为了避免赘述， 省略其说明。
可选地， 该备选上采样滤波器还包括传统滤波器， 以及
该从备选上采样滤波器中， 确定目标上采样滤波器， 包括：
从该目标码流中， 获取用于指示该目标上采样滤波器的第一指示信息， 根据该第一指示信息， 确定该目标上采样滤波器。
在本发明实施例中， 作为传统滤波器， 例如， 可以包括现有的余弦插值 滤波器。 以下说明中， 为了便于说明， 以该传统滤波器为余弦插值滤波器为 例， 进行说明。
具体地说，在本发明实施例中，上述获取训练滤波器的方法（训练过程） 在像素域进行， 并且， 可以针对不同的下采样比例（增强层图像与基本层图 像之间的分辨率比）进行不同的训练， 例如， 存在对于整像素位置和半像素 位置获得的滤波器相异的情况， 因此， 可能导致对整像素位置和半像素位置 的预测不均衡， 从而影响预测残差的平稳性， 因此， 在本发明实施例中， 还 可以在备选上采样滤波器中还可以加入传统滤波器，例如，余弦插值滤波器， 该余弦插值滤波器的获取方法可以与现有技术相同， 这里， 为了避免赘述， 省略其说明。
从而，在备选滤波器可以包括该第一训练滤波器和第二训练滤波器和余 弦插值滤波器（传统滤波器的一例）， 即， 情况 5。
情况 5
在 S230中， 例如， 可以从目标码流中获取第一指示信息， 在本发明实 施例中，在备选滤波器包括该余弦插值滤波器或第一训练滤波器或第二训练 滤波器， 作为目标上采样滤波器时， 备选滤波器为三个， 并且， 如上所述编 码端或解码端可以根据目标图像块的平滑度，确定使用第一训练滤波器或第 二训练滤波器，因此，可以在码流中仅用一位标识符来承载该第一指示信息， 以指示该目标上采样滤波器为传统滤波器（余弦插值滤波器 )还是训练滤波 器（第一训练滤波器或第二训练滤波器）。 例如， 当指示信息为 1 时， 选择 训练滤波器（包括第一训练滤波器或第二训练滤波器）， 并根据该目标图像 块的平滑度，从该第一训练滤波器或第二训练滤波器中确定目标上采样滤波 器。例如， 当指示信息为 0时，选择余弦插值滤波器作为目标上采样滤波器。
应理解， 以上列举的通过第一指示信息指示目标上采样滤波器的方法仅 为示例性说明， 本发明并不限定于此。 通过增加第一指示信息的位数， 来实现指示目标图像块的目的。
此情况下， 在 S240, 可以如上所述确定的根据该目标上采样滤波器， 对基本层图像块的重建图像进行上采样，从而确定相对于目标图像块的预测 值。
从而， 在 S250, 可以根据该预测值和从目标码流中获取的残差信息， 对目标图像块进行解码， 在本发明实施例中， 该过程可以与现有技术相同， 这里为了避免赘述， 省略其说明。
在通过余弦插值滤波器进行上采样时， 始终为直接复制基本层图像的对 应像素点， 但是， 在例如， 可伸缩视频编码方法中， 基本层图像的像素并不 是直接复制对应的增强层图像的像素， 此时， 如果目标图像的整像素位于突 变点， 进行上采样时直接复制基本层对应像素点会出现很大误差。 因此使用 这种方法进行上采样， 可能会使得增强层图像的整像素位置有较大误差， 因 此， 在本发明实施例中， 通过对上述突变点的像素运用本发明实施例的方法 训练得到的训练滤波器（第一训练滤波器或第二训练滤波器）， 能够提高上 采样的效果， 提高编码和图像处理的性能。
可选地， 该备选上采样滤波器还包括传统滤波器， 以及
该确定目标上采样滤波器， 包括：
确定该目标图像块的纹理度；
根据该目标图像块的纹理度， 确定该目标上采样滤波器。
如上所述， 在本发明实施中， 在该备选上采样滤波器包括余弦插值滤波 器、 第一训练滤波器和第二训练滤波器的情况下。 如上所述， 在根据 RDO 选择目标上采样滤波器后， 需要在码流中传输用于承载编码后的第一指示信 息的标记位， 以在解码上述编码后的目标图像块时确定目标上采样滤波器是 哪一个滤波器。 因此， 本方案中可以采用两个候选滤波器， 但是并不通过
RDO 进行选择， 而是根据不同滤波器的不同特征进行选择， 从而避免多传 输一个标记位表示目标上采样滤波器。 即， 该备选滤波器包括第一训练滤波 器和传统滤波器， 即， 情况 6
情况 6
在 S230中， 例如， 可以根据基本层图像块的特征信息从第一训练滤波 器和余弦插值滤波器（传统滤波器的一例） 中选择目标上采样滤波器， 从而 避免传输标记位表示所使用的滤波器， 例如， 可以采用根据基本层图像块的 纹理强度来确定选择使用的滤波器， 在本发明实施例中， 可以采用， 例如， 边缘检测， 纹理强度分析或者帧内编码预测模式等方法， 确定基本层图像块 的纹理度， 并在， 例如， 当纹理度较强时， 选择使用训练所得滤波器作为目 标上采样滤波器， 其余都使用余弦插值滤波器。 以上列举的通过边缘检测， 纹理强度分析或者帧内编码预测模式等方法确定基本层图像块的纹理度的 方法可以与现有技术相同， 这里， 为了避免赘述， 省略其说明。
此情况下， 在 S240, 可以如上所述确定的根据该目标上采样滤波器， 对基本层图像块的重建图像进行上采样，从而确定相对于目标图像块的预测 值。
从而， 在 S250, 可以根据该预测值和从目标码流中获取的残差信息， 对目标图像块进行解码， 在本发明实施例中， 该过程可以与现有技术相同， 这里为了避免赘述， 省略其说明。
在通过余弦插值滤波器进行上采样时， 始终为直接复制基本层图像的对 应像素点， 但是， 在例如， 可伸缩视频编码方法中， 基本层图像的像素并不 是直接复制对应的增强层图像的像素， 此时， 如果目标图像的整像素位于突 变点， 进行上采样时直接复制基本层对应像素点会出现很大误差。 第一训练 滤波器能够对突变点位置的像素进行较好的恢复， 因此可以 4艮好的弥补余弦 插值滤波器的不足。
根据本发明实施例的用于图像处理的方法，通过根据平滑区域和非平滑 区域， 确定上采样滤波器， 能够在提高上采样的效果的同时， 减少上采样滤 波器的数量并且无需传输滤波器系数以及索引， 从而能够提高编码性能， 进 行提高图像处理的效果和性能。 上文中， 结合图 1至图 3 , 详细描述了根据本发明实施例的用于图像处 理的方法， 下面， 将结合图 4至图 5 , 详细描述根据本发明实施例的用于图 像处理的装置。
图 4示出了根据本发明实施例的用于图像处理的装置 300 的示意性框 图。 如图 7所示， 该装置 300包括：
获取单元 310, 用于根据增强层图像的非平滑区域图像块和基本层图像 的非平滑区域图像块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第一训练滤波器和该基本层图像的非平滑区域图像块确定的第一预 测信息与根据该增强层图像的非平滑区域图像块确定的第一原始信息之间 的相似度满足第一预设条件，其中，该的基本层图像与该增强层图像相对应； 确定单元 320, 用于根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器；
用于从该备选上采样滤波器中， 确定目标上采样滤波器， 并向编码单元 330传输该目标上采样滤波器， 该备选上采样滤波器包括该获取单元 310获 取的该第一训练滤波器；
编码单元 330, 用于从该确定单元获取该上采样滤波器， 并根据该目标 上采样滤波器和基本层图像块， 确定预测信息；
用于根据该预测信息， 对目标图像块进行编码处理， 以生成目标码流， 其中， 该目标图像块位于该增强层图像中， 该基本层图像块位于该基本层图 像中，且该基本图像块在该基本层图像中的空间位置与该目标图像块在该增 强层图像中的空间位置相对应。
可选地， 该获取单元 310还用于根据该增强层图像的平滑区域图像块和 该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使该第二训练滤 波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域图像块确定的 第二预测信息与根据该增强层图像的平滑区域图像块确定的第二原始信息 之间的相似度满足第二预设条件， 其中， 该的基本层图像与该增强层图像相 对应； 以及
该确定单元 320 进一步用于根据该第一训练滤波器和该第二训练滤波 器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤 波器和该第二训练滤波器。
可选地， 该确定单元 320具体用于根据该基本层图像块的特征信息， 确 定该目标图像的平滑度， 其中， 该特征信息包括该基本层图像块的编码块标 记信息或对该基本层图像块的残差信息；
用于根据该目标图像块的平滑度， 确定该目标上采样滤波器。
可选地， 该确定单元 320进一步用于根据该第一训练滤波器、 该第二训 练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波 器包括该第一训练滤波器、 该第二训练滤波器和该传统滤波器； 以及
该编码单元 330具体用于根据该预测信息，对该目标图像块进行编码处 理， 以生成目标码流， 该目标码流包括用于指示该目标上采样滤波器的第一 指示信息， 该第一指示信息用以在解码上述编码后的目标图像块时作为获取 该目标上采样滤波器的依据。
可选地， 该备选上采样滤波器还包括传统滤波器， 以及
该确定单元 320具体用于确定该目标图像块的纹理度；
用于根据该目标图像块的纹理度， 确定该目标上采样滤波器。
根据本发明实施例的用于图像处理的装置，通过根据平滑区域和非平滑 区域， 确定上采样滤波器， 能够在提高上采样的效果的同时， 减少上采样滤 波器的数量并且无需传输滤波器系数以及索引， 从而能够提高编码性能， 进 行提高图像处理的效果和性能。
根据本发明实施例的用于图像处理的装置 300可对应于本发明实施例的 方法中的编码端， 并且， 该用于图像处理的装置 300中的各单元即模块和上 述其他操作和 /或功能分别为了实现图 1中的方法 100的相应流程，为了筒洁， 在此不再赘述。
图 5 示出了根据本发明实施例的用于图像处理的装置 400 的示意性框 图。 如图 5所示， 该装置 500包括：
获取单元 510, 用于根据增强层图像的非平滑区域图像块和基本层图像 的非平滑区域图像块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第一训练滤波器和该基本层图像的非平滑区域图像块确定的第一预 测信息与根据该增强层图像的非平滑区域图像块确定的第一原始信息之间 的相似度满足第一预设条件，其中，该的基本层图像与该增强层图像相对应； 确定单元 520, 用于根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器；
用于从备选上采样滤波器中， 确定目标上采样滤波器， 该备选上采样滤 波器包括该第一训练滤波器， 并向解码单元 530传输该目标上采样滤波器， 该备选上采样滤波器包括该获取单元获取 510的该第一训练滤波器；
解码单元 530, 用于从该确定单元 520获取该目标上采样滤波器， 并根 据该目标上采样滤波器和基本层图像块， 确定预测信息；
用于根据该预测信息和从目标码流中获取的残差信息，对目标图像块进 行解码处理， 其中， 该目标图像块位于该增强层图像中， 该基本层图像块位 于该基本层图像中，且该基本图像块在该基本层图像中的空间位置与该目标 图像块在该增强层图像中的空间位置相对应。
可选地， 该获取单元 510还用于根据该增强层图像的平滑区域图像块和 该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使该第二训练滤 波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域图像块确定的 第二预测信息与根据该增强层图像的平滑区域图像块确定的第二原始信息 之间的相似度满足第二预设条件， 其中， 该的基本层图像与该增强层图像相 对应； 以及
该确定单元 520 进一步用于根据该第一训练滤波器和该第二训练滤波 器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤 波器和该第二训练滤波器。
可选地， 该确定单元 520具体用于根据该基本层图像块的特征信息， 确 定该目标图像的平滑度， 其中， 该特征信息包括该基本层图像块的编码块标 记信息或对该基本层图像块的残差信息；
根据该目标图像块的平滑度， 确定该目标上采样滤波器。
可选地， 该备选上采样滤波器还包括传统滤波器， 以及
该确定单元 520具体用于从该目标码流中， 获取用于指示该目标上采样 滤波器的第一指示信息，
用于 ^据该第一指示信息， 确定该目标上采样滤波器。
可选地， 该备选上采样滤波器还包括传统滤波器， 以及
该确定单元 520具体用于确定该目标图像块的纹理度；
用于根据该目标图像块的纹理度， 确定该目标上采样滤波器。
根据本发明实施例的用于图像处理的装置，通过根据平滑区域和非平滑 区域， 确定上采样滤波器， 能够在提高上采样的效果的同时， 减少上采样滤 波器的数量并且无需传输滤波器系数以及索引， 从而能够提高编码性能， 进 行提高图像处理的效果和性能。
根据本发明实施例的用于图像处理的装置 400可对应于本发明实施例的 方法中的编码端， 并且， 该用于图像处理的装置 400中的各单元即模块和上 述其他操作和 /或功能分别为了实现图 3中的方法 200的相应流程，为了筒洁， 在此不再赘述。
图 6示出了根据本发明实施例的用于图像处理的编码器 500的示意性框 图。 如图 6所示， 该解码器 500包括：
总线 510;
与该总线相连的处理器 520;
与该总线相连的存储器 530;
其中，该处理器 520通过该总线 510,调用该存储器 530中存储的程序， 以根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域图像块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第一训练滤波器 和该基本层图像的非平滑区域图像块确定的第一预测信息与根据该增强层 图像的非平滑区域图像块确定的第一原始信息之间的相似度满足第一预设 条件， 其中， 该的基本层图像与该增强层图像相对应；
根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样 滤波器包括该第一训练滤波器；
从该备选上采样滤波器中， 确定目标上采样滤波器；
根据该目标上采样滤波器和基本层图像块， 确定预测信息；
根据该预测信息，对目标图像块进行编码处理， 以生成目标码流，其中， 该目标图像块位于该增强层图像中， 该基本层图像块位于该基本层图像中， 且该基本图像块在该基本层图像中的空间位置与该目标图像块在该增强层 图像中的空间位置相对应
可选地， 该处理单元 520还用于根据该增强层图像的平滑区域图像块和 该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使该第二训练滤 波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域图像块确定的 第二预测信息与根据该增强层图像的平滑区域图像块确定的第二原始信息 之间的相似度满足第二预设条件， 其中， 该的基本层图像与该增强层图像相 对应；
用于根据该第一训练滤波器和该第二训练滤波器，确定备选上采样滤波 器，其中，该备选上采样滤波器包括该第一训练滤波器和该第二训练滤波器。 可选地， 该处理单元 520具体用于根据该基本层图像块的特征信息， 确 定该目标图像的平滑度， 其中， 该特征信息包括该基本层图像块的编码块标 记信息或对该基本层图像块的残差信息；
根据该目标图像块的平滑度， 确定该目标上采样滤波器。
可选地， 该处理单元 520具体用于根据该第一训练滤波器、 该第二训练 滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器 包括该第一训练滤波器、 该第二训练滤波器和该传统滤波器；
用于根据该预测信息，对该目标图像块进行编码处理，以生成目标码流， 该目标码流包括用于指示该目标上采样滤波器的第一指示信息，该第一指示 信息用以在解码上述编码后的目标图像块时作为获取该目标上采样滤波器 的依据。
可选地，该处理单元 520具体用于根据该第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器 和该传统滤波器；
用于确定该目标图像块的纹理度；
用于根据该目标图像块的纹理度， 确定该目标上采样滤波器。
用于根据本发明实施例的用于图像处理的编码器，通过根据平滑区域和 非平滑区域， 确定上采样滤波器， 能够在提高上采样的效果的同时， 减少上 采样滤波器的数量并且无需传输滤波器系数以及索引，从而能够提高编码性 能， 进行提高图像处理的效果和性能。
根据本发明实施例的用于图像处理的编码器 500可对应于本发明实施例 的方法中的编码端， 并且， 该用于图像处理的编码器 500中的各单元即模块 和上述其他操作和 /或功能分别为了实现图 1中的方法 100的相应流程，为了 筒洁， 在此不再赘述。
图 7示出了根据本发明实施例的用于图像处理的解码器 600的示意性框 图。 如图 7所示， 该解码器 600包括：
总线 610;
与该总线相连的处理器 620;
与该总线相连的存储器 630;
其中，该处理器 620通过该总线 610,调用该存储器 630中存储的程序， 以用于根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域图 像块， 确定第一训练滤波器， 以使该第一训练滤波器满足： 根据该第一训练 滤波器和该基本层图像的非平滑区域图像块确定的第一预测信息与根据该 增强层图像的非平滑区域图像块确定的第一原始信息之间的相似度满足第 一预设条件， 其中， 该的基本层图像与该增强层图像相对应；
根据该第一训练滤波器， 确定备选上采样滤波器， 其中， 该备选上采样 滤波器包括该第一训练滤波器；
从备选上采样滤波器中， 确定目标上采样滤波器， 该备选上采样滤波器 包括该第一训练滤波器；
根据该目标上采样滤波器和基本层图像块， 确定预测信息；
根据该预测信息和从目标码流中获取的残差信息，对该目标码流进行解 码处理， 以获取该目标图像块， 其中， 该目标图像块位于该增强层图像中， 该基本层图像块位于该基本层图像中，且该基本图像块在该基本层图像中的 空间位置与该目标图像块在该增强层图像中的空间位置相对应。
可选地， 该处理单元 620还用于根据该增强层图像的平滑区域图像块和 该基本层图像的平滑区域图像块， 确定第二训练滤波器， 以使该第二训练滤 波器满足： 根据该第二训练滤波器和该基本层图像的平滑区域图像块确定的 第二预测信息与根据该增强层图像的平滑区域图像块确定的第二原始信息 之间的相似度满足第二预设条件， 其中， 该的基本层图像与该增强层图像相 对应； 以及
用于根据该第一训练滤波器和该第二训练滤波器，确定备选上采样滤波 器，其中，该备选上采样滤波器包括该第一训练滤波器和该第二训练滤波器。
可选地， 该处理单元 620具体用于根据该基本层图像块的特征信息， 确 定该目标图像的平滑度， 其中， 该特征信息包括该基本层图像块的编码块标 记信息或对该基本层图像块的残差信息；
根据该目标图像块的平滑度， 确定该目标上采样滤波器。
可选地， 该处理单元 620具体用于根据该第一训练滤波器、 该第二训练 滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器 包括该第一训练滤波器、 该第二训练滤波器和该传统滤波器；
用于从该目标码流中， 获取用于指示该目标上采样滤波器的第一指示信 息， 根据该第一指示信息， 确定该目标上采样滤波器。。 可选地，该处理单元 620具体用于根据该第一训练滤波器和传统滤波器， 确定备选上采样滤波器， 其中， 该备选上采样滤波器包括该第一训练滤波器 和该传统滤波器；
用于确定该目标图像块的纹理度；
根据该目标图像块的纹理度， 确定该目标上采样滤波器。
根据本发明实施例的图像处理的解码器，通过根据平滑区域和非平滑区 域， 确定上采样滤波器， 能够在提高上采样的效果的同时， 减少上采样滤波 器的数量并且无需传输滤波器系数以及索引， 从而能够提高编码性能， 进行 提高图像处理的效果和性能。
根据本发明实施例的用于图像处理的解码器 600可对应于本发明实施例 的方法中的解码端， 并且， 该用于图像处理的解码器 600中的各单元即模块 和上述其他操作和 /或功能分别为了实现图 3中的方法 200的相应流程，为了 筒洁， 在此不再赘述。
需要说明的是， 为了使编码端与解码端（编码器、 解码器）使用的目标 上采样滤波器一致， 所以要求编码端与解码端选择目标上采样滤波器的方法 一致。 换言之， 可以根据所描述的编码端处理方法对应的确定解码端处理方 法， 或者 ^据所描述的解码端处理方法对应的确定编码端处理方法。
应理解， 本文中术语 "和 /或"， 仅仅是一种描述关联对象的关联关系， 表示可以存在三种关系， 例如， A和 /或 B , 可以表示： 单独存在 A, 同时存 在 A和 B , 单独存在 B这三种情况。 另外， 本文中字符 "/" , 一般表示前后 关联对象是一种 "或" 的关系。
应理解， 在本发明的各种实施例中， 上述各过程的序号的大小并不意味 着执行顺序的先后， 各过程的执行顺序应以其功能和内在逻辑确定， 而不应 对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到， 结合本文中所公开的实施例描述的各 示例的单元及算法步骤， 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特 定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能， 但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到， 为描述的方便和筒洁， 上述描 述的系统、 装置和单元的具体工作过程， 可以参考前述方法实施例中的对应 过程， 在此不再赘述。
在本申请所提供的几个实施例中， 应该理解到， 所揭露的系统、 装置和 方法， 可以通过其它的方式实现。 例如， 以上所描述的装置实施例仅仅是示 意性的， 例如， 所述单元的划分， 仅仅为一种逻辑功能划分， 实际实现时可 以有另外的划分方式， 例如多个单元或组件可以结合或者可以集成到另一个 系统， 或一些特征可以忽略， 或不执行。 另一点， 所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口， 装置或单元的间接耦合 或通信连接， 可以是电性， 机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外， 在本发明各个实施例中的各功能单元可以集成在一个处理单元 中， 也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一 个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部 分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 中， 包括若干指令用以使得一台计算机设备（可以是个人计算机， 服务器， 或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。 而前 述的存储介质包括： U盘、移动硬盘、只读存储器（ ROM , Read-Only Memory )、 随机存取存储器（RAM, Random Access Memory ), 磁碟或者光盘等各种可 以存储程序代码的介质。
以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围并不局限 于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易 想到变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护 范围应以所述权利要求的保护范围为准。

Claims

权利要求
1. 一种用于图像处理的方法， 其特征在于， 所述方法包括：
根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域图像 块， 确定第一训练滤波器， 以使所述第一训练滤波器满足： 根据所述第一训 练滤波器和所述基本层图像的非平滑区域图像块确定的第一预测信息与根 据所述增强层图像的非平滑区域图像块确定的第一原始信息之间的相似度 满足第一预设条件， 其中， 所述的基本层图像与所述增强层图像相对应； 根据所述第一训练滤波器， 确定备选上采样滤波器， 其中， 所述备选上 采样滤波器包括所述第一训练滤波器；
从所述备选上采样滤波器中， 确定目标上采样滤波器；
根据所述目标上采样滤波器和基本层图像块， 确定预测信息；
根据所述预测信息， 对目标图像块进行编码处理， 以生成目标码流， 其 中， 所述目标图像块位于所述增强层图像中， 所述基本层图像块位于所述基 本层图像中，且所述基本图像块在所述基本层图像中的空间位置与所述目标 图像块在所述增强层图像中的空间位置相对应。
2. 根据权利要求 1所述的方法， 其特征在于， 所述方法还包括： 根据所述增强层图像的平滑区域图像块和所述基本层图像的平滑区域 图像块， 确定第二训练滤波器， 以使所述第二训练滤波器满足： 根据所述第 二训练滤波器和所述基本层图像的平滑区域图像块确定的第二预测信息与 根据所述增强层图像的平滑区域图像块确定的第二原始信息之间的相似度 满足第二预设条件， 其中， 所述的基本层图像与所述增强层图像相对应； 以 及
所述根据所述第一训练滤波器， 确定备选上采样滤波器， 进一步包括： 根据所述第一训练滤波器和所述第二训练滤波器，确定备选上采样滤波 器， 其中， 所述备选上采样滤波器包括所述第一训练滤波器和所述第二训练 滤波器。
3. 根据权利要求 2所述的方法， 其特征在于， 所述从备选上采样滤波 器中， 确定目标上采样滤波器， 包括：
根据所述基本层图像块的特征信息，确定所述目标图像的平滑度，其中， 所述特征信息包括所述基本层图像块的编码块标记信息或对所述基本层图 像块的残差信息； 根据所述目标图像块的平滑度， 确定所述目标上采样滤波器。
4. 根据权利要求 2所述的方法， 其特征在于， 根据所述第一训练滤波 器和所述第二训练滤波器， 确定备选上采样滤波器， 进一步包括：
根据所述第一训练滤波器、 所述第二训练滤波器和传统滤波器， 确定备 选上采样滤波器， 其中， 所述备选上采样滤波器包括所述第一训练滤波器、 所述第二训练滤波器和所述传统滤波器； 以及
所述根据所述预测信息， 对所述目标图像块进行编码处理， 以生成目标 码流， 包括：
根据所述预测信息，对所述目标图像块进行编码处理，以生成目标码流， 所述目标码流包括用于指示所述目标上采样滤波器的第一指示信息， 所述第 一指示信息用以在解码上述编码后的目标图像块时作为获取所述目标上采 样滤波器的依据。
5. 根据权利要求 1所述的方法， 其特征在于， 所述根据所述第一训练 滤波器， 确定备选上采样滤波器， 进一步包括：
根据所述第一训练滤波器和传统滤波器，确定备选上采样滤波器，其中， 所述备选上采样滤波器包括所述第一训练滤波器和所述传统滤波器； 以及 所述确定目标上采样滤波器， 包括：
确定所述目标图像块的纹理度；
根据所述目标图像块的纹理度， 确定所述目标上采样滤波器。
6. 一种用于图像处理的方法， 其特征在于， 所述方法包括：
根据增强层图像的非平滑区域图像块和基本层图像的非平滑区域图像 块， 确定第一训练滤波器， 以使所述第一训练滤波器满足： 根据所述第一训 练滤波器和所述基本层图像的非平滑区域图像块确定的第一预测信息与根 据所述增强层图像的非平滑区域图像块确定的第一原始信息之间的相似度 满足第一预设条件， 其中， 所述的基本层图像与所述增强层图像相对应； 根据所述第一训练滤波器， 确定备选上采样滤波器， 其中， 所述备选上 采样滤波器包括所述第一训练滤波器；
从备选上采样滤波器中， 确定目标上采样滤波器， 所述备选上采样滤波 器包括所述第一训练滤波器；
根据所述目标上采样滤波器和基本层图像块， 确定预测信息；
根据所述预测信息和从目标码流中获取的残差信息，对所述目标码流进 行解码处理， 以获取所述目标图像块， 其中， 所述目标图像块位于所述增强 层图像中， 所述基本层图像块位于所述基本层图像中， 且所述基本图像块在 所述基本层图像中的空间位置与所述目标图像块在所述增强层图像中的空 间位置相对应。
7. 根据权利要求 6所述的方法， 其特征在于， 所述方法还包括： 根据所述增强层图像的平滑区域图像块和所述基本层图像的平滑区域 图像块， 确定第二训练滤波器， 以使所述第二训练滤波器满足： 根据所述第 二训练滤波器和所述基本层图像的平滑区域图像块确定的第二预测信息与 根据所述增强层图像的平滑区域图像块确定的第二原始信息之间的相似度 满足第二预设条件， 其中， 所述的基本层图像与所述增强层图像相对应； 以 及
所述根据所述第一训练滤波器， 确定备选上采样滤波器， 进一步包括： 根据所述第一训练滤波器和所述第二训练滤波器，确定备选上采样滤波 器， 其中， 所述备选上采样滤波器包括所述第一训练滤波器和所述第二训练 滤波器。
8. 根据权利要求 7所述的方法， 其特征在于， 所述从备选上采样滤波 器中， 确定目标上采样滤波器， 包括：
根据所述基本层图像块的特征信息，确定所述目标图像的平滑度，其中， 所述特征信息包括所述基本层图像块的编码块标记信息或对所述基本层图 像块的残差信息；
根据所述目标图像块的平滑度， 确定所述目标上采样滤波器。
9. 根据权利要求 8所述的方法， 其特征在于， 根据所述第一训练滤波 器和所述第二训练滤波器， 确定备选上采样滤波器， 进一步包括：
根据所述第一训练滤波器、 所述第二训练滤波器和传统滤波器， 确定备 选上采样滤波器， 其中， 所述备选上采样滤波器包括所述第一训练滤波器、 所述第二训练滤波器和所述传统滤波器； 以及
所述从备选上采样滤波器中， 确定目标上采样滤波器， 包括：
从所述目标码流中， 获取用于指示所述目标上采样滤波器的第一指示信 息，
^^据所述第一指示信息， 确定所述目标上采样滤波器。
10. 根据权利要求 6所述的方法， 其特征在于， 所述根据所述第一训练 滤波器， 确定备选上采样滤波器， 进一步包括：
根据所述第一训练滤波器和传统滤波器，确定备选上采样滤波器，其中， 所述备选上采样滤波器包括所述第一训练滤波器和所述传统滤波器； 以及 所述确定目标上采样滤波器， 包括：
确定所述目标图像块的纹理度；
根据所述目标图像块的纹理度， 确定所述目标上采样滤波器。
11. 一种用于图像处理的装置， 其特征在于， 所述装置包括：
获取单元， 用于根据增强层图像的非平滑区域图像块和基本层图像的非 平滑区域图像块， 确定第一训练滤波器， 以使所述第一训练滤波器满足： 根 据所述第一训练滤波器和所述基本层图像的非平滑区域图像块确定的第一 预测信息与根据所述增强层图像的非平滑区域图像块确定的第一原始信息 之间的相似度满足第一预设条件， 其中， 所述的基本层图像与所述增强层图 像相对应；
确定单元， 根据所述第一训练滤波器， 确定备选上采样滤波器， 其中， 所述备选上采样滤波器包括所述第一训练滤波器；
用于从所述备选上采样滤波器中， 确定目标上采样滤波器；
编码单元， 用于从所述确定单元获取所述上采样滤波器， 并根据所述目 标上采样滤波器和基本层图像块， 确定预测信息；
用于根据所述预测信息，对目标图像块进行编码处理，以生成目标码流， 其中， 所述目标图像块位于所述增强层图像中， 所述基本层图像块位于所述 基本层图像中，且所述基本图像块在所述基本层图像中的空间位置与所述目 标图像块在所述增强层图像中的空间位置相对应。
12. 根据权利要求 11所述的装置， 其特征在于， 所述获取单元还用于 根据所述增强层图像的平滑区域图像块和所述基本层图像的平滑区域图像 块， 确定第二训练滤波器， 以使所述第二训练滤波器满足： 根据所述第二训 练滤波器和所述基本层图像的平滑区域图像块确定的第二预测信息与根据 所述增强层图像的平滑区域图像块确定的第二原始信息之间的相似度满足 第二预设条件， 其中， 所述的基本层图像与所述增强层图像相对应； 以及 所述确定单元进一步用于根据所述第一训练滤波器和所述第二训练滤 波器， 确定备选上采样滤波器， 其中， 所述备选上采样滤波器包括所述第一 训练滤波器和所述第二训练滤波器。
13. 根据权利要求 12所述的装置， 其特征在于， 所述确定单元具体用 于根据所述基本层图像块的特征信息， 确定所述目标图像的平滑度， 其中， 所述特征信息包括所述基本层图像块的编码块标记信息或对所述基本层图 像块的残差信息；
用于根据所述目标图像块的平滑度， 确定所述目标上采样滤波器。
14. 根据权利要求 12所述的装置， 其特征在于， 所述确定单元进一步 用于根据所述第一训练滤波器、 所述第二训练滤波器和传统滤波器， 确定备 选上采样滤波器， 其中， 所述备选上采样滤波器包括所述第一训练滤波器、 所述第二训练滤波器和所述传统滤波器； 以及
所述编码单元具体用于根据所述预测信息，对所述目标图像块进行编码 处理， 以生成目标码流， 所述目标码流包括用于指示所述目标上采样滤波器 的第一指示信息， 所述第一指示信息用以在解码上述编码后的目标图像块时 作为获取所述目标上采样滤波器的依据。
15. 根据权利要求 11所述的装置， 其特征在于， 所述确定单元进一步 用于根据所述第一训练滤波器和传统滤波器，确定备选上采样滤波器，其中， 所述备选上采样滤波器包括所述第一训练滤波器和所述传统滤波器；
具体用于确定所述目标图像块的纹理度；
用于根据所述目标图像块的纹理度， 确定所述目标上采样滤波器。
16. 一种用于图像处理的装置， 其特征在于， 所述装置包括：
获取单元， 用于根据增强层图像的非平滑区域图像块和基本层图像的非 平滑区域图像块， 确定第一训练滤波器， 以使所述第一训练滤波器满足： 根 据所述第一训练滤波器和所述基本层图像的非平滑区域图像块确定的第一 预测信息与根据所述增强层图像的非平滑区域图像块确定的第一原始信息 之间的相似度满足第一预设条件， 其中， 所述的基本层图像与所述增强层图 像相对应；
确定单元， 用于根据所述第一训练滤波器， 确定备选上采样滤波器， 其 中， 所述备选上采样滤波器包括所述第一训练滤波器；
用于从备选上采样滤波器中， 确定目标上采样滤波器， 所述备选上采样 滤波器包括所述第一训练滤波器； 述目标上采样滤波器和基本层图像块， 确定预测信息； 用于根据所述预测信息和从目标码流中获取的残差信息，对所述目标码 流进行解码处理， 以获取所述目标图像块， 其中， 所述目标图像块位于所述 增强层图像中， 所述基本层图像块位于所述基本层图像中， 且所述基本图像 块在所述基本层图像中的空间位置与所述目标图像块在所述增强层图像中 的空间位置相对应。
17. 根据权利要求 16所述的装置， 其特征在于， 所述获取单元还用于 根据所述增强层图像的平滑区域图像块和所述基本层图像的平滑区域图像 块， 确定第二训练滤波器， 以使所述第二训练滤波器满足： 根据所述第二训 练滤波器和所述基本层图像的平滑区域图像块确定的第二预测信息与根据 所述增强层图像的平滑区域图像块确定的第二原始信息之间的相似度满足 第二预设条件， 其中， 所述的基本层图像与所述增强层图像相对应； 以及 所述确定单元进一步用于根据所述第一训练滤波器和所述第二训练滤 波器， 确定备选上采样滤波器， 其中， 所述备选上采样滤波器包括所述第一 训练滤波器和所述第二训练滤波器。
18. 根据权利要求 17所述的装置， 其特征在于， 所述确定单元具体用 于根据所述基本层图像块的特征信息， 确定所述目标图像的平滑度， 其中， 所述特征信息包括所述基本层图像块的编码块标记信息或对所述基本层图 像块的残差信息；
根据所述目标图像块的平滑度， 确定所述目标上采样滤波器。
19. 根据权利要求 17所述的装置， 其特征在于， 所述确定单元进一步 用于根据所述第一训练滤波器、 所述第二训练滤波器和传统滤波器， 确定备 选上采样滤波器， 其中， 所述备选上采样滤波器包括所述第一训练滤波器、 所述第二训练滤波器和所述传统滤波器；
用于从所述目标码流中，获取用于指示所述目标上采样滤波器的第一指 示信息，
用于^^据所述第一指示信息， 确定所述目标上采样滤波器。
20. 根据权利要求 16所述的装置， 其特征在于， 所述确定单元进一步 用于根据所述第一训练滤波器和传统滤波器，确定备选上采样滤波器，其中， 所述备选上采样滤波器包括所述第一训练滤波器和所述传统滤波器；
用于确定所述目标图像块的纹理度；
用于根据所述目标图像块的纹理度， 确定所述目标上采样滤波器。
PCT/CN2013/084531 2012-09-29 2013-09-27 用于图像处理的方法和装置 Ceased WO2014048374A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210374978.5 2012-09-29
CN201210374978.5A CN103716622B (zh) 2012-09-29 2012-09-29 用于图像处理的方法和装置

Publications (1)

Publication Number Publication Date
WO2014048374A1 true WO2014048374A1 (zh) 2014-04-03

Family

ID=50387016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/084531 Ceased WO2014048374A1 (zh) 2012-09-29 2013-09-27 用于图像处理的方法和装置

Country Status (2)

Country Link
CN (1) CN103716622B (zh)
WO (1) WO2014048374A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192054A1 (zh) * 2015-06-03 2016-12-08 富士通株式会社 使用预测信息的图像编码方法、装置以及图像处理设备
CN109257605B (zh) * 2017-07-13 2021-11-19 华为技术有限公司 图像处理方法、设备及系统
CN107800450A (zh) * 2017-11-13 2018-03-13 韩劝劝 收音机播放强度控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478671A (zh) * 2008-01-02 2009-07-08 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
US20100020866A1 (en) * 2006-10-25 2010-01-28 Detlev Marpe Quality scalable coding
CN102355583A (zh) * 2011-09-29 2012-02-15 广西大学 一种可分级视频编码的块级别层间帧内预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
CN101502118A (zh) * 2006-01-10 2009-08-05 诺基亚公司 用于可伸缩视频编码的转换滤波器上采样机制
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
DE602007009730D1 (de) * 2007-06-29 2010-11-18 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert-verfeinerungsskalierbarkeit unterstützt
EP2422520A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020866A1 (en) * 2006-10-25 2010-01-28 Detlev Marpe Quality scalable coding
CN101478671A (zh) * 2008-01-02 2009-07-08 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
CN102355583A (zh) * 2011-09-29 2012-02-15 广西大学 一种可分级视频编码的块级别层间帧内预测方法

Also Published As

Publication number Publication date
CN103716622B (zh) 2017-02-08
CN103716622A (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
JP7574247B2 (ja) マルチラインフレーム内予測のための方法、装置、及びコンピュータプログラム
KR102668077B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
JP7513793B2 (ja) マルチラインイントラ予測のためのイントラ補間フィルタを選択する方法、装置、及びコンピュータプログラム
JP2023126577A (ja) デコーダ側イントラモード導出と適応イントラ予測モードとの間の相互作用のための方法及び装置
CN102763411B (zh) 对视频编码的方法和设备以及对视频解码的方法和设备
AU2020398565A1 (en) Method and apparatus for point cloud coding
CN108712648B (zh) 一种深度视频快速帧内编码方法
JP2023134768A (ja) イントラインター予測モードを改善するための方法及び装置、並びにコンピュータプログラム
WO2016050051A1 (zh) 图像预测方法及相关装置
JP2018501710A (ja) イントラモードのコーディング
CN108141593A (zh) 用于针对深度视频的高效帧内编码的基于深度不连续的方法
CN102685505B (zh) 帧内预测的方法和预测装置
CN103716631B (zh) 用于图像处理的方法、装置、编码器和解码器
WO2014048374A1 (zh) 用于图像处理的方法和装置
JP2018107692A (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
WO2014048376A1 (zh) 上采样滤波器的生成方法和装置
JP2023550139A (ja) イントラモード符号化のためのハードウェアフレンドリーな設計
CN114600083A (zh) 信令通知云工作流中的输入数据的超时和完整
WO2017214920A1 (zh) 帧内预测参考像素点滤波控制方法、装置及编码器
CN114071148B (zh) 视频编码方法、装置、设备及产品
CN120202662A (zh) 基于帧内预测的图像编码/解码方法、传输比特流的方法以及存储比特流的记录介质
CN120266170A (zh) 用于网格压缩的基于竞争的位移跳过
Anguita et al. 2009 Index IEEE Transactions on Circuits and Systems for Video Technology Vol. 19
HK40044355B (zh) 处理点云数据的方法、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13842997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13842997

Country of ref document: EP

Kind code of ref document: A1