WO2018068532A1 - 图像编解码装置、图像处理系统、图像编解码方法和训练方法 - Google Patents

图像编解码装置、图像处理系统、图像编解码方法和训练方法 Download PDF

Info

Publication number
WO2018068532A1
WO2018068532A1 PCT/CN2017/090260 CN2017090260W WO2018068532A1 WO 2018068532 A1 WO2018068532 A1 WO 2018068532A1 CN 2017090260 W CN2017090260 W CN 2017090260W WO 2018068532 A1 WO2018068532 A1 WO 2018068532A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
module
feature
superimposed
Prior art date
Application number
PCT/CN2017/090260
Other languages
English (en)
French (fr)
Inventor
那彦波
李晓宇
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US15/745,091 priority Critical patent/US10666944B2/en
Publication of WO2018068532A1 publication Critical patent/WO2018068532A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details

Definitions

  • the present disclosure relates to an image encoding device, an image decoding device, an image processing system including the image encoding and decoding device, a training method for the image processing system, and a display device.
  • an embodiment of the present disclosure provides an image encoding apparatus including: a first image input configured to provide a first image; and a plurality of second image inputs configured to provide a plurality of a second image; a first convolutional neural network module coupled to the plurality of second image inputs, configured to update features of each of the plurality of second images to obtain a corresponding An update feature; an image overlay module coupled to the first image input end, the first convolutional neural network module, configured to update an update feature of each of the plurality of second images The first image is superimposed to generate a superimposed image, and the superimposed image is output; a prediction module is coupled to the image superimposing module, configured to generate a plurality of predicted images according to the superimposed image; and an image difference acquiring module, and The plurality of second image inputs, the prediction module are connected, configured to determine a difference feature of each of the plurality of second images and the corresponding predicted image, Wherein different output; an output interface configured to output the difference image and the overlay
  • the prediction module is a second convolutional neural network module.
  • an image encoding apparatus comprising: a first image input end configured to acquire a first image; and a plurality of second image input ends configured to acquire a plurality of second images; a module, coupled to the plurality of second image inputs, configured to update features of each of the plurality of second images to obtain corresponding updated features; an image overlay module, and the first An image input end, the feature module is connected, configured to superimpose an updated feature of each of the plurality of second images with the first image to generate a superimposed image, and output the superimposed image; a convolutional neural network module, coupled to the image overlay module, configured to generate a plurality of predicted images according to each of the superimposed images; and an image difference acquisition module, and the plurality of second image input ends, a prediction module connection configured to determine a difference feature of each of the plurality of second images from a corresponding predicted image, output the difference feature; an output interface configured Wherein said difference image and output the superimposed.
  • the image encoding apparatus further includes: a splitting unit connected to the first image input end and the plurality of second image input ends, configured to split the input original image to obtain The first image and the plurality of second images.
  • a splitting unit connected to the first image input end and the plurality of second image input ends, configured to split the input original image to obtain The first image and the plurality of second images.
  • the image superimposing module superimposes an updated feature of each of the plurality of second images with the first image in accordance with an additive right.
  • an image encoding device configured to multiply the first image by a first weight parameter to obtain a first product, and multiply the updated feature by a second weight parameter Obtaining a second product, superimposing the first product and the second product to generate a superimposed image; wherein the first weight parameter is greater than 0, and a sum of the first weight parameter and the second weight parameter is 1.
  • An image encoding apparatus further comprising: a splitting unit connected to the first image input end and the plurality of second image input ends, configured to split the input original image Obtaining the first image and the plurality of second images.
  • the image encoding device configured to split the original image into 2n images, the number of the first images is 1, and the number of the second images is 2n -1, n is an integer greater than zero.
  • an embodiment of the present disclosure provides an image decoding apparatus including: a superimposed image input configured to receive a superimposed image; a difference feature input configured And a prediction module, connected to the superimposed image input end, configured to generate a plurality of predicted images according to the superimposed image; and a difference difference module, connected to the difference feature input end and the prediction module, And configured to generate a plurality of second images according to the plurality of predicted images and the difference features, and output the plurality of second images; and connect the fourth convolutional neural network module to the de-differentiation module, And configured to update each of the plurality of second images to obtain a corresponding update feature; and an image de-overlay module coupled to the overlay image input terminal and the fourth convolutional neural network module, And configured to perform de-overlaying on the superimposed image according to the update feature to obtain a first image, and output the first image; and outputting, configured to output the plurality of second images and the first An image.
  • the prediction module is a third convolutional neural network module.
  • an image decoding apparatus comprising: a superimposed image input configured to receive a superimposed image; a difference feature input configured to receive a difference feature; a third convolutional neural network module And connecting to the superimposed image input end, configured to generate a plurality of predicted images according to the superimposed image; and the difference difference module is connected to the difference feature input end and the third convolutional neural network module, And configured to generate a plurality of second images according to each of the plurality of predicted images and the difference feature, and output the plurality of second images; and the feature module is connected to the demodastic module, Configuring to update each of the plurality of second images to obtain a corresponding update feature; and an image de-overlay module coupled to the overlay image input, the feature module, configured to Updating features performing de-overlaying on the superimposed image to obtain a first image, outputting the first image; and outputting, configured to output the plurality of second images And the first image.
  • a splicing unit connected to the output end, configured to splicing the first image and the plurality of second images to obtain a decoded image, and outputting The interface outputs the decoded image.
  • the image de-overlaying module is configured to perform de-overlaying on the superimposed image according to the update feature and its superimposition weight.
  • An image decoding device configured to multiply the update feature by a second weight parameter to obtain a second product, and remove the second product from the superimposed image Obtaining a first product, dividing the first product by a first weight parameter to obtain the first image; wherein the first weight parameter is greater than 0, and the first weight parameter is The sum of the second weight parameters is 1.
  • an embodiment of the present disclosure provides an image processing system including: image encoding apparatus, including: a first image input configured to acquire a first image; and a plurality of second image inputs Configuring to acquire a plurality of second images; a first convolutional neural network module coupled to the plurality of second image inputs, configured to update features of each of the plurality of second images And obtaining an updated feature; the image overlay module is coupled to the first image input end, the first convolutional neural network module, and configured to update each of the plurality of second images A feature is superimposed with the first image to generate a superimposed image, and the superimposed image is output; a first prediction module, coupled to the image superimposition module, configured to generate a plurality of predicted images according to each of the superimposed images And an image difference obtaining module, coupled to the plurality of second image inputs, the prediction module, configured to determine each of the plurality of second images and the corresponding a difference feature of the image, the difference feature is output; the output interface is configured
  • the first prediction module is a second convolutional neural network module
  • the second prediction module is a third convolutional neural network module.
  • an image processing system includes: an image encoding device having a first image input configured to acquire a first image; and a plurality of second image inputs configured to acquire a plurality of a second image; a first feature module coupled to the plurality of second image inputs, configured to update features of each of the plurality of second images to obtain corresponding updated features; image overlay a module, coupled to the first image input end, the first feature module, configured to superimpose an updated feature of each of the plurality of second images with the first image Generating a superimposed image, outputting the superimposed image; a second convolutional neural network module coupled to the image superimposition module, configured to generate a plurality of predicted images according to each of the superimposed images; and an image difference acquisition module And connecting to the plurality of second image input ends and the second convolutional neural network module, configured to determine a difference feature of each of the plurality of second images and the corresponding predicted image, a difference feature output; an output interface configured to output the superimposed image and the difference
  • the first feature module is a first convolutional neural network module
  • the second feature module is a fourth convolutional neural network module.
  • the quantization device being coupled to the image encoding device, configured to receive the superimposed image and the difference feature outputted from the output interface, Performing a quantization process and an inverse quantization process on the superimposed image and the difference feature to generate a quantized superimposed image and a quantized difference feature; and the image decoding device configured to a superimposed image input end of the image decoding device,
  • the difference feature input terminal outputs the quantized overlay image and the quantized difference feature.
  • quantization device configured to perform the quantization process on the superimposed image and the difference feature using a uniform step quantization function USQ,
  • the quantization means is configured to perform the inverse quantization process on an output q of the uniform step quantization function USQ using an inverse uniform step quantization function InvUSQ to generate the quantization Superimposing the image and the quantized difference feature,
  • an image encoding method comprising the steps of:
  • update and/or the prediction employs a convolutional neural network.
  • the image encoding method further includes the following steps:
  • the input original image is split into the first image and the plurality of the second images.
  • an image decoding method comprising the steps of: receiving a superimposed image and a difference feature; generating a plurality of predicted images according to the superimposed image; according to each of the plurality of predicted images And generating, by the difference feature, a plurality of second images; updating each of the plurality of second images to obtain a corresponding update feature; performing de-overlapping on the superimposed image according to the update feature to obtain a first image Outputting the plurality of second images and the first image; wherein the updating and/or the predicting uses a convolutional neural network.
  • the image decoding method further includes the step of splicing the first image and the plurality of second images to obtain a decoded image.
  • an embodiment of the present disclosure provides a training method for an image processing system, including: selecting a fixed quantization parameter; inputting a training image to the image processing system, and adjusting a convolutional nerve a weight of each filtering unit in each convolutional layer in the network module, running a finite number of iterations to optimize the objective function; and reducing the quantization parameter by a predetermined value, if the quantization parameter is not less than a predetermined threshold, repeating The training step of the objective function optimization, otherwise it ends The training method.
  • X represents the input training image
  • OUT represents an output image
  • MSE is a mean square error function between the input training image and the output image.
  • embodiments of the present disclosure provide a display device including the aforementioned image encoding device, image decoding device, and/or image processing system.
  • 1 is a schematic diagram illustrating a convolutional neural network for image processing
  • FIG. 2 is a schematic diagram illustrating a wavelet transform for multi-resolution image transformation
  • FIG. 3 is a schematic structural diagram of an image processing system for implementing wavelet transform using a convolutional neural network
  • FIG. 4 is a block diagram showing the structure of an image encoding device according to a first embodiment of the present disclosure
  • FIG. 5 is a block diagram illustrating a structure of an image decoding apparatus according to a first embodiment of the present disclosure
  • FIG. 6 is a block diagram illustrating a structure of an image processing system according to a second embodiment of the present disclosure
  • FIG. 7 is a flowchart illustrating a training method according to a third embodiment of the present disclosure.
  • FIG. 1 illustrates a schematic diagram of a convolutional neural network for image processing.
  • a convolutional neural network for image processing uses an image as an input and an output, and replaces the scalar weight by a filter (i.e., convolution).
  • a convolutional neural network with a simple structure of 3 layers is shown in FIG.
  • FIG. 1 four input images are input to the input layer 101, three cells are present in the middle hidden layer 102 to output three output images, and two cells are output in the output layer 103 to output two output images.
  • Input layer 101 has weight
  • Each box corresponds to a filter, where k is a label indicating the input layer number, and i and j are labels indicating the input and output units, respectively.
  • Bias Is the scalar added to the output of the convolution.
  • the result of the addition of some convolutions and offsets then passes through an activation box, which typically corresponds to a rectifying linear unit (ReLU), a sigmoid function, or a hyperbolic tangent function.
  • ReLU rectifying linear unit
  • sigmoid function a sigmoid function
  • hyperbolic tangent function a hyperbolic tangent function.
  • each filter and bias is fixed during operation of the system.
  • Each filter and offset is obtained in advance by using a set of input/output sample images and adjusting to meet some application-dependent optimization criteria.
  • FIG. 2 illustrates a schematic diagram of a wavelet transform for multi-resolution image transformation.
  • Wavelet transform is a multi-resolution image transform for image codec processing, and its applications include transform coding in the JPEG 2000 standard.
  • image encoding (compression) processing wavelet transform is used to represent an original high resolution image with a smaller low resolution image (eg, a portion of the original image).
  • image decoding (decompression) process the inverse wavelet transform is used to recover the original image using the low resolution image and the difference features required to restore the original image.
  • Fig. 2 schematically shows a 3-level wavelet transform and an inverse transform.
  • one of the smaller low resolution images is the reduced version A of the original image, while the other low resolution images represent the missing details (Dh, Dv, and Dd) needed to restore the original image.
  • FIG. 3 is a schematic diagram showing the structure of an image processing system that implements wavelet transform using a convolutional neural network.
  • the lifting scheme is an effective implementation of wavelet transform and a flexible tool for constructing wavelets.
  • Fig. 3 schematically shows a standard structure for 1D data.
  • the left side of Fig. 3 is the encoder 31.
  • the splitting unit 302 in the encoder 31 converts the input original image 301 into a low resolution image A and a detail D.
  • the encoder 31 further uses the prediction filter p and the update filter u. For compression applications, it is desirable that D be about 0 so that most of the information is contained in A.
  • the right side of FIG. 3 is the decoder 32.
  • the parameters of the decoder 32 are exactly the same as the filters p and u from the encoder 31, but only the filters p and u are arranged oppositely. Due to the strict correspondence of the encoder 31 and the decoder 32, this configuration ensures that the decoded image 304 obtained by splicing via the splicing unit 303 of the decoder 32 is identical to the original image 301. Further, the structure shown in FIG. 3 is not limited, and may alternatively be configured in the order of the update filter u and the prediction filter p in the decoder.
  • FIG. 4 is a schematic structural diagram illustrating an image encoding device according to a first embodiment of the present disclosure.
  • the image encoding device 40 includes:
  • the splitting unit 402 is configured to split the input original image to obtain a first image UL and a plurality of second images UR, BR, BL.
  • a first image input 403 is configured to receive the first image UL from the split unit 402.
  • a plurality of second image inputs 404, 405, 406 are configured to receive a plurality of second images UR, BR, BL from the splitting unit 402, respectively.
  • a first convolutional neural network module 407 coupled to the plurality of second image inputs 404, 405, 406, configured to update UR, BR, BL for the plurality of second images to obtain corresponding update features .
  • the first convolutional neural network module 407 may be an update filter described with reference to FIG.
  • An image superimposition module 408 is coupled to the first image input terminal 403, the first convolutional neural network module 407, and the output interface 411, and configured to superimpose the updated feature U and the first image according to UL
  • the superimposed image A is generated by overlapping, and the superimposed image A is output through the output interface 411.
  • the image superimposition module 408 is configured to multiply the first image UL by a first weight parameter a to obtain a first product, and multiply the updated feature U by a second weight parameter. b obtains a second product, superimposes the first product and the second product to generate a superimposed image A.
  • the first weight parameter a is greater than 0, and the sum of the first weight parameter a and the second weight parameter b is 1. That is, in the image overlay module 408:
  • the second convolutional neural network module 409 is coupled to the image overlay module 408 and configured to generate a plurality of predicted images based on the superimposed image A.
  • An image difference obtaining module 410 is connected to the plurality of second image input ends 404, 405, 406, the second convolutional neural network module 409, and the output interface 411, and configured to determine the plurality of second each of the predicted image corresponding to a difference feature D h, D d D v and images UR, BR, BL, and wherein the difference D h, D d and D v through the output interface 411 outputs.
  • the first convolutional neural network module 407, the image superimposition module 408, the second convolutional neural network module 409, and the image difference acquisition module 410 constitute image coding.
  • a compression unit of the device 40 performs image compression based on the wavelet transform of the lifting scheme on the first image UL and the plurality of second images UR, BR, BL input from the splitting unit 402.
  • FIG. 5 is a block diagram illustrating a structure of an image decoding apparatus according to a first embodiment of the present disclosure.
  • the image decoding device shown in Fig. 5 can be used to decode the output image of the image encoding device shown in Fig. 4.
  • the image decoding device 50 includes:
  • the superimposed image input terminal 507 is configured to receive the superimposed image A.
  • the difference feature inputs 504, 505, and 506 are configured to receive the difference features D h , D d , and D v , respectively .
  • the superimposed image A may be image data from the image superimposing module 408 output from the output interface 411 of the image encoding device 40 shown in FIG.
  • the difference features D h , D d , and D v may be image data from the image difference acquisition module 410 output from the output interface 411 of the image encoding device 40 illustrated in FIG. 4 .
  • the third convolutional neural network module 507 is coupled to the superimposed image input terminal 507 and configured to generate a plurality of predicted images based on the superimposed image A.
  • a difference difference module 508 coupled to the difference feature inputs 504, 505, and 506, the third convolutional neural network module 507, and the outputs 512, 513, and 514, configured to be based on the plurality of predicted images and
  • the difference features D h , D d and D v generate a plurality of second images UR, BR, BL, and output the plurality of second images through the outputs 512, 513 and 514.
  • a fourth convolutional neural network module 509 coupled to the disparity module 508, is configured to update the plurality of second images to obtain a corresponding update feature U.
  • An image de-overlay module 510 is coupled to the superimposed image input terminal 503, the fourth convolutional neural network module 509, and the output terminal 511, and configured to add the overlay according to the updated feature U and its superimposed weights
  • the image A is subjected to de-overlapping to obtain a first image UL, and the first image UL is output through the output terminal 511.
  • the image de-overlay module 510 is configured to multiply the update feature by a second weight parameter b to obtain a second product bU, and remove the second from the superimposed image A. Multiplying a product to obtain a first product (A-bU), dividing the first product (A-bU) by a first weight parameter a to obtain the first image UL; wherein the first weight parameter is greater than 0, and Place The sum of the first weight parameter and the second weight parameter is 1. That is, in the image overlay module 510:
  • the image de-overlay module 510 performs the inverse processing with the image overlay module 408, wherein the first weight parameter and the second weight parameter satisfy the same condition.
  • the first image UL output by the image de-overlay module 510 may be the same as the first image obtained by splitting the original image.
  • the splicing unit 502 is connected to each of the output terminals 511-514 and the output interface 515, and is configured to splicing the first image UL and the plurality of second images UR, BR, BL to obtain a decoded image 501, and The output interface 515 outputs the decoded image 501.
  • the filtering parameters of the network module 409 and the first convolutional neural network module 407 are the same, and the de-overlapping process performed by the image de-emphasis module 510 in the image decoding device 50 shown in FIG. 5 and the image encoding device shown in FIG. 4 are performed.
  • the superimposing process performed by the image superimposing module 408 in 40 is completely reversed, and the difference between the de-difference process performed by the disparity module 508 in the image decoding device 50 shown in FIG.
  • the difference obtaining process performed by the obtaining module 410 is completely reversed, and the image encoding device 40 shown in FIG. 5 can be accurately decoded to restore the image encoded by the image encoding device 40, and the filtering is performed with each convolutional neural network. Parameters are irrelevant.
  • the update process is completed by the first convolutional neural network module 407
  • the prediction process is completed by the second convolutional neural network module 409, in the specific application, by the first convolutional neural network
  • the module 407 and the second convolutional neural network module 409 perform corresponding training such that the first convolutional neural network module 407 and the second convolutional neural network module 409 have optimized filtering parameters, thereby making the image encoding apparatus have a higher
  • the compression ratio without the need to manually set the corresponding filtering parameters, reduces the setting complexity of the filtering parameters.
  • the weight parameter a for image superposition is set, thereby further improving the downscaling of the encoder and the performance and degree of freedom of the scale of the decoder.
  • the output difference characteristics D h , D d , and D v are approximately 0, and the overall compression ratio can be approximately 75%.
  • the images UR, BR, and BL are predicted with the first image UL on the upper left side.
  • images UR, BR, and BL may also be utilized as the first image to predict other images.
  • the number of first images is one.
  • two images may be predicted using two images, or three images may be predicted.
  • the theoretical maximum value of the compression ratio of the two images is predicted to be 50%, and three images are used.
  • the theoretical maximum of the compression ratio of the predicted three images is 25%.
  • a single-stage compression system composed of a first convolutional neural network module 407 and a second convolutional neural network module 409 is employed.
  • the present disclosure is not limited thereto, and in an alternative embodiment, a two-stage and more-stage compression configuration may be employed.
  • the image decoding device 50 shown in FIG. 5 accurately decodes and restores the image encoded by the image encoding device 40 shown in FIG. 4, that is, the image encoding device 40 shown in FIG. 4 and the image decoding device 50 shown in FIG. Form a lossless system.
  • a standard such as JPEG2000
  • FIG. 6 is a block diagram illustrating an image processing system according to a second embodiment of the present disclosure.
  • the image processing system 6 according to the second embodiment of the present disclosure shown in FIG. 6 includes the image encoding device 40 shown in FIG. 4 and the image decoding device 50 shown in FIG. 5, and the image processing system according to the second embodiment of the present disclosure. 6 also includes a quantification device 60.
  • the quantization device 60 is connected to the image encoding device 40 and the image decoding device 50.
  • the structure and input and output of the image encoding device 40 in Fig. 6 are the same as those described with reference to Fig. 4, and a repetitive description thereof will be omitted herein.
  • a quantization device 60 is coupled to the image encoding device 40 and configured to receive the superimposed image A and the difference features D h , D d and D v output from the output interface 411 for the superimposed image A and
  • the difference features D h , D d , and D v perform quantization processing and inverse quantization processing to generate a quantized superimposed image and a quantized difference feature.
  • the quantization device is configured to perform the quantization process on the superimposed image and the difference feature using a uniform step quantization function USQ,
  • I the smallest integer less than x
  • ⁇ is the quantization parameter
  • the quantization means is configured to perform the inverse quantization process on the output q of the uniform step quantization function USQ using an inverse uniform step quantization function InvUSQ to generate the quantized superimposed image and the quantized difference feature, among them
  • the corresponding filtering parameters can be set for each convolutional neural network module by performing corresponding training by the convolutional neural network module in the encoding device and the decoding device.
  • the quantization parameter ⁇ is introduced, it is necessary to provide training for simultaneously training the convolutional neural network module and the quantization module in the encoding device and the decoding device. method.
  • FIG. 7 illustrates a flow chart of a training method in accordance with a third embodiment of the present disclosure. As shown in FIG. 7, the training method according to the third embodiment of the present disclosure includes the following steps.
  • step S701 the fixed quantization parameter ⁇ is selected.
  • an initial value for example, 1000
  • the larger quantization parameter ⁇ such that its output is similar to a lossless system, the optimization problem is easily solved. Thereafter, the processing proceeds to step S702.
  • step S702 if the quantization parameter ⁇ is fixed, the training image is input to the image processing system, and the weights of the filtering units in each convolution layer in the first to fourth convolutional neural network modules are adjusted. Run a limited iteration to optimize the objective function.
  • the objective function is:
  • X represents the input training image
  • OUT represents an output image
  • MSE is a mean square error function between the input training image and the output image.
  • step S703 the quantization parameter is decreased by a predetermined value.
  • the quantization parameter can be reduced by 5%. Thereafter, the processing proceeds to step S704.
  • step S704 it is determined whether the quantization parameter is not less than a predetermined threshold.
  • the predetermined threshold is predetermined, such as one.
  • step S704 If an affirmative result is obtained in step S704, that is, the quantization parameter is not less than the predetermined threshold, the process returns to step 702 to repeat the training in step S702.
  • step S704 if a negative result is obtained in step S704, that is, the quantization parameter is already sufficiently small, the training process is ended.
  • the training objective is to reduce both the MSE and the quantization parameter ⁇ . And if the MSE is 0, the quantization parameter ⁇ is very large; and if the quantization parameter ⁇ is very small, the MSE is large. Therefore, during the training process, an appropriate compromise between the MSE and the quantization parameter ⁇ needs to be based on acceptable quantized compression levels and image quality.
  • the image encoding, decoding device, and image processing system as described above with reference to FIGS. 4 through 6 can also be used for a display device according to an embodiment of the present disclosure.
  • the display device according to an embodiment of the present disclosure may be any product or component having a display function such as a mobile phone, a tablet, a television, a display, or the like.
  • an image encoding device, an image decoding device, an image processing system including the image encoding and decoding device, a training method for the image processing system, and a display device according to the present disclosure have been described with reference to the accompanying drawings.
  • the image encoding device, the image decoding device, and the image processing system including the image encoding and decoding device according to the present disclosure improve the downscaling performance of the encoder and the performance and degree of freedom of the decoder by the new weight parameter, thereby further improving The performance of the overall system.
  • the image processing system training method according to the present disclosure achieves higher compression performance by optimizing the compression efficiency of the overall system with different quantization parameters.
  • the image encoding device, the image decoding device, the image processing system, and the modules involved therein may be implemented by a central processing unit (CPU), or each device, module, or the like may be digital signal processor (DSP), programmable. Microprocessor implementations such as arrays (FPGAs).
  • CPU central processing unit
  • DSP digital signal processor
  • FPGAs field-programmable gate arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统、用于该图像处理系统训练方法以及显示装置。所述图像编码装置包括：用于提供第一图像(UL)的第一图像输入端(403)和用于提供多个第二图像(UR、BR、BL)的多个第二图像输入端(404、405、406)；第一卷积神经网络模块(47)，对多个第二图像更新，以得到相应的更新特征；图像叠加模块(408)，将更新特征与第一图像按照叠加权重叠加以生成叠加图像，将叠加图像通过输出接口输出(411)；第二卷积神经网络模块(409)，根据叠加图像，生成多个预测图像；以及图像差异获取模块(410)，确定多个第二图像的每个与相应的预测图像的差异特征，将差异特征通过输出接口输出。

Description

图像编解码装置、图像处理系统、图像编解码方法和训练方法
交叉引用
本申请要求于2016年10月11日递交的中国专利申请第201610885633.4号的优先权，在此全文引用该中国专利申请公开的内容作为本申请的一部分。
技术领域
本公开涉及一种图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统、用于该图像处理系统训练方法以及显示装置。
背景技术
近年来，数字图像和视频的质量随着诸如BT.2020的标准被建立而迅速提升。图像质量的提升同时也导致数据量的显著增加。同时，因特网已经成为最流行的媒体来源。可以预见的是，即使正在稳定增长的带宽也难以满足急剧增加的媒体数据通信量。因此，需要寻求更好的媒体数据压缩解决方案以满足当前通信带宽下对于高质量媒体数据的需要。
发明内容
根据本公开的一个方面，本公开的实施例提供了一种图像编码装置，包括：第一图像输入端，被配置为提供第一图像；多个第二图像输入端，被配置为提供多个第二图像；第一卷积神经网络模块，与所述多个第二图像输入端连接，被配置为对所述多个第二图像中的每个第二图像的特征更新，以得到相应的更新特征；图像叠加模块，与所述第一图像输入端、所述第一卷积神经网络模块连接，被配置为将所述多个第二图像中的每个第二图像的更新特征与所述第一图像叠加以生成叠加图像，将所述叠加图像输出；预测模块，与所述图像叠加模块连接，被配置为根据所述叠加图像，生成多个预测图像；以及图像差异获取模块，与所述多个第二图像输入端、所述预测模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征输出；输出接口，被配置为输出所述叠加图像和所述差异特征。
可选择地，在上述图像编码装置，所述预测模块为第二卷积神经网络模块。
按照本发明的另一方面，提供一种图像编码装置，包括：第一图像输入端，被配置为获取第一图像；多个第二图像输入端，被配置为获取多个第二图像；特征模块，与所述多个第二图像输入端连接，被配置为对所述多个第二图像中的每个图像的特征更新，以得到相应的更新特征；图像叠加模块，与所述第一图像输入端、所述特征模块连接，被配置为将所述多个第二图像中的每个图像的更新特征与所述第一图像叠加以生成叠加图像，将所述叠加图像输出；第二卷积神经网络模块，与所述图像叠加模块连接，被配置为根据所述叠加图像的每个，生成多个预测图像；以及图像差异获取模块，与所述多个第二图像输入端、所述预测模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征输出；输出接口，被配置为输出所述叠加图像和所述差异特征。
可选择地，上述图像编码装置，还包括：拆分单元，与所述第一图像输入端和所述多个第二图像输入端相连，被配置为将输入的原始图像进行拆分，以获得所述第一图像和所述多个第二图像。
可选择地，在上述图像编码装置中，所述图像叠加模块将所述多个第二图像中的每个图像的更新特征与所述第一图像按照叠加权重叠加。
根据本公开的一个实施例的图像编码装置，其中所述图像叠加模块被配置为将所述第一图像乘以第一权重参数以获得第一乘积，将所述更新特征乘以第二权重参数以获得第二乘积，叠加所述第一乘积和所述第二乘积以生成叠加图像；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。
根据本公开的一个实施例的图像编码装置，还包括：拆分单元，与所述第一图像输入端和所述多个第二图像输入端相连，被配置为将输入的原始图像进行拆分，以获得所述第一图像和所述多个第二图像。
可选地，根据本公开的一个实施例的图像编码装置，其中所述拆分单元被配置为将原始图像拆分为2n个图像，第一图像的数量为1，第二图像的数量为2n-1，n为大于0的整数。
根据本公开的另一个方面，本公开的实施例提供了一种图像解码装置，包括：叠加图像输入端，被配置为接收叠加图像；差异特征输入端，被配置 为接收差异特征；预测模块，与所述叠加图像输入端连接，被配置为根据所述叠加图像，生成多个预测图像；去差异模块，与所述差异特征输入端、所述预测模块连接，被配置为根据所述多个预测图像和所述差异特征，生成多个第二图像，并且将所述多个第二图像输出；第四卷积神经网络模块，与所述去差异模块连接，被配置为对所述多个第二图像中的每个图像更新，以得到相应的更新特征；以及图像去叠加模块，与所述叠加图像输入端、所述第四卷积神经网络模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第一图像，并且将所述第一图像输出；输出端，被配置为输出所述多个第二图像和所述第一图像。
可选择地，在上述图像解码装置中，所述预测模块为第三卷积神经网络模块。
按照本公开地另一方面，提供一种图像解码装置，包括：叠加图像输入端，被配置为接收叠加图像；差异特征输入端，被配置为用于接收差异特征；第三卷积神经网络模块，与所述叠加图像输入端连接，被配置为用于根据所述叠加图像，生成多个预测图像；去差异模块，与所述差异特征输入端、所述第三卷积神经网络模块连接，被配置为根据所述多个预测图像中的每个图像和所述差异特征，生成多个第二图像，将所述多个第二图像输出；特征模块，与所述去差异模块连接，被配置为对所述多个第二图像中的每个图像更新，以得到相应的更新特征；以及图像去叠加模块，与所述叠加图像输入端、所述特征模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第一图像，将所述第一图像输出；输出端，被配置为输出所述多个第二图像和所述第一图像。
可选择地，在上述图像解码装置中，还包括：拼接单元，与所述输出端相连，被配置为将所述第一图像和所述多个第二图像拼接以获得解码图像，并且通过输出接口输出所述解码图像。
可选择地，在上述图像解码装置中，所述图像去叠加模块被配置为根据所述更新特征及其叠加权重对所述叠加图像执行去叠加。
根据本公开的一个实施例的图像解码装置，其中所述图像去叠加模块被配置为将所述更新特征乘以第二权重参数以获得第二乘积，从所述叠加图像去除所述第二乘积以获得第一乘积，将所述第一乘积除以第一权重参数以获得所述第一图像；其中所述第一权重参数大于0，并且所述第一权重参数与 所述第二权重参数的和为1。
根据本公开的又一个方面，本公开的实施例提供了一种图像处理系统，包括：图像编码装置，包括：第一图像输入端，被配置为获取第一图像；多个第二图像输入端，被配置为获取多个第二图像；第一卷积神经网络模块，与所述多个第二图像输入端连接，被配置为对所述多个第二图像中的每个图像的特征更新，以得到相应的更新特征；图像叠加模块，与所述第一图像输入端、所述第一卷积神经网络模块连接，被配置为将所述多个第二图像中的每个图像的更新特征与所述第一图像叠加以生成叠加图像，将所述叠加图像输出；第一预测模块，与所述图像叠加模块连接，被配置为根据所述叠加图像的每个，生成多个预测图像；以及图像差异获取模块，与所述多个第二图像输入端、所述预测模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征输出；输出接口，被配置为输出所述叠加图像和所述差异特征；图像解码装置，包括：叠加图像输入端，被配置为接收所述叠加图像；差异特征输入端，被配置为接收所述差异特征；第二预测模块，与所述叠加图像输入端连接，被配置为根据所述叠加图像，生成多个预测图像；去差异模块，与所述差异特征输入端、所述预测模块连接，被配置为根据所述多个预测图像中的每个图像和所述差异特征，生成多个第四图像，将所述多个第四图像输出；第四卷积神经网络模块，与所述去差异模块连接，被配置为对所述多个第四图像更新，以得到相应的更新特征；以及图像去叠加模块，与所述叠加图像输入端、所述第四卷积神经网络模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第三图像，将所述第三图像输出；输出端，被配置为输出所述多个第四图像和所述第三图像。
可选择地，在上述图像处理系统中，第一预测模块为第二卷积神经网络模块，第二预测模块为第三卷积神经网络模块。
按照本公开的另一方面，一种图像处理系统，包括：图像编码装置，其具有第一图像输入端，被配置为获取第一图像；多个第二图像输入端，被配置为获取多个第二图像；第一特征模块，与所述多个第二图像输入端连接，被配置为对所述多个第二图像中的每个图像的特征更新，以得到相应的更新特征；图像叠加模块，与所述第一图像输入端、所述第一特征模块连接，被配置为将所述多个第二图像中的每个图像的更新特征与所述第一图像叠加以 生成叠加图像，将所述叠加图像输出；第二卷积神经网络模块，与所述图像叠加模块连接，被配置为根据所述叠加图像的每个，生成多个预测图像；以及图像差异获取模块，与所述多个第二图像输入端、所述第二卷积神经网络模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征输出；输出接口，被配置为输出所述叠加图像和所述差异特征；图像解码装置，其具有叠加图像输入端，被配置为接收所述叠加图像；差异特征输入端，被配置为接收所述差异特征；第三卷积神经网络模块，与所述叠加图像输入端连接，被配置为根据所述叠加图像，生成多个预测图像；去差异模块，与所述差异特征输入端、所述第三卷积神经网络模块连接，被配置为根据所述多个预测图像中的每个图像和所述差异特征，生成多个第四图像，将所述多个第四图像输出；第二特征模块，与所述去差异模块连接，被配置为对所述多个第四图像更新，以得到相应的更新特征；以及图像去叠加模块，与所述叠加图像输入端、所述第二特征模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第三图像，将所述第三图像输出；输出端，被配置为输出所述多个第四图像和所述第三图像。
可选择地，在上述图像处理系统中，所述第一特征模块为第一卷积神经网络模块，所述第二特征模块为第四卷积神经网络模块。
可选择地，在上述图像处理系统中，还包括量化装置，所述量化装置，与所述图像编码装置连接，被配置为接收从所述输出接口输出的所述叠加图像和所述差异特征，对所述叠加图像和所述差异特征执行量化处理和逆量化处理，以生成量化叠加图像和量化差异特征；与所述图像解码装置，被配置为向所述图像解码装置的叠加图像输入端、差异特征输入端输出所述量化叠加图像、所述量化差异特征。
根据本公开的一个实施例的图像处理系统，其中所述量化装置被配置为利用均匀阶梯量化函数USQ对所述叠加图像和所述差异特征执行所述量化处理，
Figure PCTCN2017090260-appb-000001
其中
Figure PCTCN2017090260-appb-000002
是小于x的最小整数，并且δ是量化参数。
根据本公开的一个实施例的图像处理系统，其中所述量化装置被配置为利用逆均匀阶梯量化函数InvUSQ对所述均匀阶梯量化函数USQ的输出q执行所述逆量化处理，以生成所述量化叠加图像和所述量化差异特征，
其中InvUSQ(q)＝sign(q)(|q|+0.5)δ。
按照本公开的另一方面，提供一种图像编码方法，包括下述步骤：
获取第一图像和多个第二图像；
更新所述多个第二图像中的每个图像的特征以得到相应的更新特征；
叠加所述第一图像和所述多个第二图像中的每个图像的更新特征生成叠加图像；
根据所述叠加图像生成多个预测图像；
确定所述第二图像中的每个图像与相应的预测图像的差异特征；
输出所述叠加图像和所述差异特征；
其中，所述更新和/或所述预测采用卷积神经网络。
可选择地，上述图像编码方法还包括下述步骤：
将输入的原始图像拆分为所述第一图像和多个所述第二图像。
按照本公开的另一方面，提供一种图像解码方法，包括下述步骤：接收叠加图像和差异特征；根据所述叠加图像生成多个预测图像；根据所述多个预测图像中的每个图像和所述差异特征，生成多个第二图像；对所述多个第二图像中的每个图像更新得到相应的更新特征；根据所述更新特征对所述叠加图像执行去叠加得到第一图像；输出所述多个第二图像和所述第一图像；其中，所述更新和/或所述预测采用卷积神经网络。
可选择地，上述图像解码方法还包括下述步骤：拼接所述第一图像和所述多个第二图像拼接以获得解码图像。
根据本公开的再一个方面，本公开的实施例提供了一种用于图像处理系统的训练方法，包括：选择固定的所述量化参数；将训练图像输入所述图像处理系统，调整卷积神经网络模块中各卷积层中各滤波单元的权值，运行有限次迭代以使目标函数最优化；以及将所述量化参数减小预定值，如果所述量化参数不小于预定阈值，则重复使目标函数最优化的训练步骤，否则结束 所述训练方法。
根据本公开的一个实施例的训练方法，其中所述目标函数为：
θ＝argθminXMSE(X，OUTθ(X，δ))
X代表输入的所述训练图像，OUT代表输出图像，MSE是输入的所述训练图像与所述输出图像之间的均方差函数。
根据本公开的另一个方面，本公开的实施例提供了一种显示装置，包括前述图像编码装置、图像解码装置和/或图像处理系统。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示用于图像处理的卷积神经网络的示意图；
图2是图示用于多分辨率图像变换的小波变换的示意图；
图3是利用卷积神经网络实现小波变换的图像处理系统的结构示意图；
图4是图示根据本公开第一实施例的图像编码装置的结构示意图；
图5是图示根据本公开第一实施例的图像解码装置的结构示意图；
图6是图示根据本公开第二实施例的图像处理系统的结构示意图；以及
图7是图示根据本公开第三实施例的训练方法的流程图。
具体实施方式
为了使得本公开的原理、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
在详细描述根据本公开实施例的图像编码装置、图像解码装置和图像处理系统之前，先参照附图描述卷积神经网络用于图像编码、解码处理的基本概念。
图1图示了用于图像处理的卷积神经网络的示意图。用于图像处理的卷 积神经网络是使用图像作为输入和输出，并且通过滤波器(即，卷积)替代标量权重。图1中示出了具有3层的简单结构的卷积神经网络。如图1所示，在输入层101输入4个输入图像，在中间的隐藏层102存在3个单元以输出3个输出图像，而在输出层103存在2个单元以输出2个输出图像。输入层101中的具有权重
Figure PCTCN2017090260-appb-000003
的每个盒子对应于滤波器，其中k是指示输入层号的标签，并且i和j分别是指示输入和输出单元的标签。偏置
Figure PCTCN2017090260-appb-000004
是添加到卷积的输出的标量。若干卷积和偏置的相加结果然后通过激活盒，其通常对应于整流线性单元(ReLU)、S型函数或双曲正切函数。在利用卷积神经网络的图像处理系统中，各滤波器和偏置在系统的操作期间是固定的。各滤波器和偏置是预先通过使用一组输入/输出示例图像并且调整以满足依赖于应用的一些优化标准来获取的。
图2图示了用于多分辨率图像变换的小波变换的示意图。小波变换是一种用于图像编解码处理的多分辨率图像变换，其应用包括JPEG 2000标准中的变换编码。在图像编码(压缩)处理中，小波变换用于以更小的低分辨率图像(例如，原始图像的一部分图像)代表原始的高分辨率图像。在图像解码(解压)处理中，逆小波变换用于利用低分辨率图像以及恢复原始图像所需的差异特征，恢复得到原始图像。
图2示意性地示出了3级小波变换和逆变换。如图2所示，更小的低分辨率图像之一是原始图像的缩小版本A，而其他的低分辨率图像代表恢复原始图像所需的丢失的细节(Dh、Dv和Dd)。
图3是利用卷积神经网络实现小波变换的图像处理系统的结构示意图。提升方案是小波变换的一种有效实施方式，并且是构造小波时的一种灵活的工具。图3示意性地示出了用于1D数据的标准结构。图3的左侧为编码器31。编码器31中的拆分单元302将输入的原始图像301变换为低分辨率图像A和细节D。编码器31进一步使用预测滤波器p和更新滤波器u。对于压缩应用，希望D约为0，使得大部分的信息包含在A中。图3的右侧为解码器32。解码器32的参数是与来自编码器31的滤波器p和u完全相同，而仅仅是滤波器p和u相反地布置。由于编码器31和解码器32的严格对应，该配置确保了经由解码器32的拼接单元303拼接得到的解码图像304与原始图像301完全相同。此外，图3所示的结构也不是限制性的，可以替代地在解码器中先按照更新滤波器u和预测滤波器p的顺序进行配置。
以下，将参照附图进一步详细描述根据本公开实施例的图像编码装置、图像解码装置以及包括该图像编解码装置的图像处理系统。
图4是图示根据本公开第一实施例的图像编码装置的结构示意图。
如图4所示，根据本公开第一实施例的图像编码装置40包括：
拆分单元402，被配置为将输入的原始图像进行拆分，以获得第一图像UL和多个第二图像UR、BR、BL。
第一图像输入端403，被配置为接收来自所述拆分单元402的第一图像UL。多个第二图像输入端404、405、406，被配置为分别接收来自所述拆分单元402的多个第二图像UR、BR、BL。
第一卷积神经网络模块407，与所述多个第二图像输入端404、405、406连接，被配置为对所述多个第二图像更新UR、BR、BL，以得到相应的更新特征。
在本公开的第一实施例中，所述第一卷积神经网络模块407可以是参照图3描述的更新滤波器。
图像叠加模块408，与所述第一图像输入端403、所述第一卷积神经网络模块407和输出接口411连接，被配置为将所述更新特征U与所述第一图像按照UL叠加权重叠加以生成叠加图像A，将所述叠加图像A通过所述输出接口411输出。
在本公开的一个实施例中，所述图像叠加模块408被配置为将所述第一图像UL乘以第一权重参数a以获得第一乘积，将所述更新特征U乘以第二权重参数b以获得第二乘积，叠加所述第一乘积和所述第二乘积以生成叠加图像A。所述第一权重参数a大于0，并且所述第一权重参数a与所述第二权重参数b的和为1。即，在所述图像叠加模块408中：
A＝aUL+bU                                表达式1
a+b＝1且a＞0                              表达式2
第二卷积神经网络模块409，与所述图像叠加模块408连接，被配置为根据所述叠加图像A，生成多个预测图像。
图像差异获取模块410，与所述多个第二图像输入端404、405、406、所述第二卷积神经网络模块409和所述输出接口411连接，被配置为确定所述多个第二图像UR、BR、BL的每个与相应的所述预测图像的差异特征Dh、Dd和Dv，将所述差异特征Dh、Dd和Dv通过所述输出接口411输出。
在本公开的第一实施例中，所述第一卷积神经网络模块407、所述图像叠加模块408、所述第二卷积神经网络模块409和所述图像差异获取模块410构成了图像编码装置40的压缩单元，其对于从所述拆分单元402输入的第一图像UL和多个第二图像UR、BR、BL执行基于提升方案的小波变换的图像压缩。
图5是图示根据本公开第一实施例的图像解码装置的结构示意图。图5所示的图像解码装置可以用于对图4所示的图像编码装置的输出图像进行解码。
如图5所示，根据本公开第一实施例的图像解码装置50，包括：
叠加图像输入端507，被配置为接收叠加图像A。差异特征输入端504、505和506，被配置为分别接收差异特征Dh、Dd和Dv。所述叠加图像A可以是从图4所示的图像编码装置40的所述输出接口411输出的来自所述图像叠加模块408的图像数据。所述差异特征Dh、Dd和Dv可以是从图4所示的图像编码装置40的所述输出接口411输出的来自所述图像差异获取模块410的图像数据。
第三卷积神经网络模块507，与所述叠加图像输入端507连接，被配置为根据所述叠加图像A，生成多个预测图像。
去差异模块508，与所述差异特征输入端504、505和506、所述第三卷积神经网络模块507以及输出端512、513和514连接，被配置为根据所述多个预测图像和所述差异特征Dh、Dd和Dv，生成多个第二图像UR、BR、BL，并且将所述多个第二图像通过所述输出端512、513和514输出。
第四卷积神经网络模块509，与所述去差异模块508连接，被配置为对所述多个第二图像更新，以得到相应的更新特征U。
图像去叠加模块510，与所述叠加图像输入端503、所述第四卷积神经网络模块509和所述输出端511连接，被配置为根据所述更新特征U及其叠加权重对所述叠加图像A执行去叠加，以得到第一图像UL，并且将所述第一图像UL通过所述输出端511输出。
在本公开的一个实施例中，所述图像去叠加模块510被配置为将所述更新特征乘U以第二权重参数b以获得第二乘积bU，从所述叠加图像A去除所述第二乘积以获得第一乘积(A-bU)，将所述第一乘积(A-bU)除以第一权重参数a以获得所述第一图像UL；其中所述第一权重参数大于0，并且所 述第一权重参数与所述第二权重参数的和为1。即，在所述图像叠加模块510中：
UL＝(A-bU)/a                            表达式3
a+b＝1且a＞0                              表达式4
也就是说，所述图像去叠加模块510与所述图像叠加模块408执行相反的处理，其中所述第一权重参数和所述第二权重参数满足相同的条件。由此，所述图像去叠加模块510输出的第一图像UL可以是与原始图像拆分所得的第一图像相同。
拼接单元502，与各输出端511-514和输出接口515相连，被配置为将所述第一图像UL和所述多个第二图像UR、BR、BL拼接以获得解码图像501，并且通过所述输出接口515输出所述解码图像501。
如上所述，如果图5所示的图像解码装置50中的第三卷积神经网络模块507和第四卷积神经网络模块509与图4所示的图像编码装置40中的第二卷积神经网络模块409和第一卷积神经网络模块407的滤波参数相同，并且使图5所示的图像解码装置50中的图像去叠加模块510所执行的去叠加过程与图4所示的图像编码装置40中图像叠加模块408所执行的叠加过程完全相反，并且使图5所示的图像解码装置50中的去差异模块508所执行的去差异过程与图4所示的图像编码装置40中图像差异获取模块410所执行的差异获取过程完全相反，即可通过图5所示的图像解码装置50精确解码还原图4所示的图像编码装置40编码压缩的图像，而与各个卷积神经网络的滤波参数无关。
在本公开的第一实施例中，通过第一卷积神经网络模块407完成更新过程，并且通过第二卷积神经网络模块409完成预测过程，在具体应用时，通过对第一卷积神经网络模块407和第二卷积神经网络模块409进行相应的训练，使得第一卷积神经网络模块407和第二卷积神经网络模块409具有优化的滤波参数，从而使得该图像编码装置具有较高的压缩率，而无需人为设定相应的滤波参数，降低了滤波参数的设置复杂度。
在本公开的第一实施例中，设置用于图像叠加的权重参数a，从而进一步提高了编码器的降尺度和解码器的升尺度的性能和自由度。
此外，在本公开的第一实施例中，通过合适的训练，使得输出的差异特征Dh、Dd和Dv大约为0，总体压缩率可以接近75％。在图4所示的拆分单 元402执行的拆分处理中，以左侧上方的第一图像UL预测图像UR、BR和BL。本公开不限于此，在可选的实施例中，也可以利用图像UR、BR和BL作为第一图像预测其他图像。此外，在本公开的第一实施例中，第一图像的数量为1。本公开不限于此，在可选的实施例中，也可以利用两个图像预测两个图像，或者三个图像预测三个图像。由于得到的叠加图像的数量与第一图像的数量相同，因此在仅有一个图像压缩单元的情况下，采用两个图像预测两个图像的压缩率的理论最大值为50％，采用三个图像预测三个图像的压缩率的理论最大值为25％。
在本公开的第一实施例中，采用由第一卷积神经网络模块407和第二卷积神经网络模块409组成的单级压缩系统。本公开不限于此，在可选的实施例中，可以采用两级和更多级的压缩配置。
如上所述，图5所示的图像解码装置50精确解码还原图4所示的图像编码装置40编码压缩的图像，即图4所示的图像编码装置40和图5所示的图像解码装置50组成一个无损系统。在实际应用中，在诸如JPEG2000的标准中，需要对编码数据执行量化处理，然后对量化的编码数据接近解码，从而整体形成一个有损系统。
图6是图示根据本公开第二实施例的图像处理系统的结构示意图。如图6所示的根据本公开第二实施例的图像处理系统6包括图4所示的图像编码装置40和图5所示的图像解码装置50，根据本公开第二实施例的图像处理系统6还包括量化装置60。
如图6所示，量化装置60与图像编码装置40和图像解码装置50连接。图6中的图像编码装置40的结构和输入输出与参照图4的描述相同，在此将省略其重复描述。
量化装置60与所述图像编码装置40连接，被配置为接收从所述输出接口411输出的所述叠加图像A和所述差异特征Dh、Dd和Dv，对所述叠加图像A和所述差异特征Dh、Dd和Dv执行量化处理和逆量化处理，以生成量化叠加图像和量化差异特征。
具体地，所述量化装置被配置为利用均匀阶梯量化函数USQ对所述叠加图像和所述差异特征执行所述量化处理，
Figure PCTCN2017090260-appb-000005
其中，
Figure PCTCN2017090260-appb-000006
是小于x的最小整数，并且δ是量化参数。
由表达式5表示的量化处理符合JPEG2000标准。
根据JPEG2000标准，所述量化装置被配置为利用逆均匀阶梯量化函数InvUSQ对所述均匀阶梯量化函数USQ的输出q执行所述逆量化处理，以生成所述量化叠加图像和所述量化差异特征，其中
InvUSQ(q)＝sign(q)(|q|+0.5)δ       表达式6
如上所述，通过编码装置和解码装置中的卷积神经网络模块进行相应的训练，可以为各卷积神经网络模块设定相应的滤波参数。对于如图6所示的根据本公开第二实施例的图像处理系统，由于引入了量化参数δ，需要提供一种同时训练编码装置和解码装置中的各卷积神经网络模块和量化模块的训练方法。
图7图示了根据本公开第三实施例的训练方法的流程图。如图7所示，根据本公开第三实施例的训练方法包括以下步骤。
在步骤S701中，选择固定的所述量化参数δ。在本公开第三实施例中，通过选择较大量化参数δ的初始值(例如，1000)，使得其输出类似于无损系统，其优化问题容易解决。此后，处理进到步骤S702。
在步骤S702，在所述量化参数δ固定的情况下，将训练图像输入所述图像处理系统，调整所述第一到第四卷积神经网络模块中各卷积层中各滤波单元的权值，运行有限次迭代以使目标函数最优化。
所述目标函数为：
θ＝argθminXMSE(X，OUTθ(X，δ))      表达式7
X代表输入的所述训练图像，OUT代表输出图像，MSE是输入的所述训练图像与所述输出图像之间的均方差函数。此后，处理进到步骤S703。
在步骤S703中，将所述量化参数减小预定值。例如，可以将量化参数减小5％。此后，处理进到步骤S704。
在步骤S704中，判断所述量化参数是否不小于预定阈值。所述预定阈值是预先确定的，例如1。
如果在步骤S704获得肯定结果，即所述量化参数不小于预定阈值，则处理返回步骤702，以便重复步骤S702中的训练。
相反地，如果在步骤S704中获得否定结果，即所述量化参数已经足够小，则结束训练过程。
由图7所示的根据本公开第三实施例的训练方法可见，训练目标是减小MSE和量化参数δ两者。而如果MSE是0时，则量化参数δ非常大；而如果量化参数δ非常小，则MSE很大。因此，在训练过程中，需要根据可接受的量化压缩水平和图像质量，在MSE和量化参数δ两者之间进行适当的折中。
此外，如以上参照图4到图6描述的图像编码、解码装置以及图像处理系统还可以用于根据本公开实施例的显示装置。根据本公开实施例的显示装置可以是诸如手机、平板电脑、电视机、显示器等任何具有显示功能的产品或部件。
以上，参照附图描述了根据本公开的图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统、用于该图像处理系统训练方法以及显示装置。根据本公开的图像编码装置、图像解码装置、包括该图像编解码装置的图像处理系统通过新的权重参数，提高了编码器的降尺度和解码器的升尺度的性能和自由度，从而进一步改进了总体系统的性能。此外，根据本公开的用于该图像处理系统训练方法通过在不同量化参数的情况下优化整体系统的压缩效率，实现了更高的压缩性能。
在上述中，图像编码装置、图像解码装置、图像处理系统以及其中所涉及的模块等可由中央处理器(CPU)实现，也可以将各装置、模块等采用数字信号处理器(DSP)、可编程阵列(FPGA)等微处理器实现。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本公开可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来 实施。基于这样的理解，本公开的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例或者实施例的某些部分所述的方法。
以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述。以上实施例的说明只是用于帮助理解本公开的原理及其核心思想。同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本公开的限制。

Claims (26)

  1. 一种图像编码装置，包括：
    第一图像输入端，被配置为获取第一图像；
    多个第二图像输入端，被配置为获取多个第二图像；
    第一卷积神经网络模块，与所述多个第二图像输入端连接，被配置为对所述多个第二图像中的每个第二图像的特征更新，以得到相应的更新特征；
    图像叠加模块，与所述第一图像输入端、所述第一卷积神经网络模块连接，被配置为将所述多个第二图像中的每个第二图像的更新特征与所述第一图像叠加以生成叠加图像，将所述叠加图像输出；
    预测模块，与所述图像叠加模块连接，被配置为根据所述叠加图像，生成多个预测图像；以及
    图像差异获取模块，与所述多个第二图像输入端、所述预测模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征输出；
    输出接口，被配置为输出所述叠加图像和所述差异特征。
  2. 如权利要求1所述的图像编码装置，其中所述预测模块为第二卷积神经网络模块。
  3. 一种图像编码装置，包括：
    第一图像输入端，被配置为获取第一图像；
    多个第二图像输入端，被配置为获取多个第二图像；
    特征模块，与所述多个第二图像输入端连接，被配置为对所述多个第二图像中的每个图像的特征更新，以得到相应的更新特征；
    图像叠加模块，与所述第一图像输入端、所述特征模块连接，被配置为将所述多个第二图像中的每个图像的更新特征与所述第一图像叠加以生成叠加图像，将所述叠加图像输出；
    第二卷积神经网络模块，与所述图像叠加模块连接，被配置为根据所述叠加图像的每个，生成多个预测图像；以及
    图像差异获取模块，与所述多个第二图像输入端、所述预测模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所 述差异特征输出；
    输出接口，被配置为输出所述叠加图像和所述差异特征。
  4. 如权利要求1或3所述的图像编码装置，还包括：
    拆分单元，与所述第一图像输入端和所述多个第二图像输入端相连，被配置为将输入的原始图像进行拆分，以获得所述第一图像和所述多个第二图像。
  5. 如权利要求1或3所述的图像编码装置，其中所述图像叠加模块将所述多个第二图像中的每个图像的更新特征与所述第一图像按照叠加权重叠加。
  6. 如权利要求5所述的图像编码装置，其中所述图像叠加模块被配置为将所述第一图像乘以第一权重参数以获得第一乘积，将所述更新特征乘以第二权重参数以获得第二乘积，叠加所述第一乘积和所述第二乘积以生成叠加图像；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。
  7. 如权利要求4所述的图像编码装置，其中所述拆分单元被配置为将原始图像拆分为2n个图像，第一图像的数量为1，第二图像的数量为2n-1，n为大于0的整数。
  8. 一种图像解码装置，包括：
    叠加图像输入端，被配置为接收叠加图像；
    差异特征输入端，被配置为接收差异特征；
    预测模块，与所述叠加图像输入端连接，被配置为根据所述叠加图像，生成多个预测图像；
    去差异模块，与所述差异特征输入端、所述预测模块连接，被配置为根据所述多个预测图像和所述差异特征，生成多个第二图像，将所述多个第二图像输出；
    第四卷积神经网络模块，与所述去差异模块连接，被配置为对所述多个第二图像中的每个图像更新，以得到相应的更新特征；以及
    图像去叠加模块，与所述叠加图像输入端、所述第四卷积神经网络模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第一图像，并且将所述第一图像输出；
    输出端，被配置为输出所述多个第二图像和所述第一图像。
  9. 如权利要求8所述的图像解码装置，其中所述预测模块为第三卷积神 经网络模块。
  10. 一种图像解码装置，包括：
    叠加图像输入端，被配置为接收叠加图像；
    差异特征输入端，被配置为用于接收差异特征；
    第三卷积神经网络模块，与所述叠加图像输入端连接，被配置为用于根据所述叠加图像，生成多个预测图像；
    去差异模块，与所述差异特征输入端、所述第三卷积神经网络模块连接，被配置为根据所述多个预测图像中的每个图像和所述差异特征，生成多个第二图像，将所述多个第二图像输出；
    特征模块，与所述去差异模块连接，被配置为对所述多个第二图像中的每个图像更新，以得到相应的更新特征；以及
    图像去叠加模块，与所述叠加图像输入端、所述特征模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第一图像，将所述第一图像输出；
    输出端，被配置为输出所述多个第二图像和所述第一图像。
  11. 如权利要求8或10所述的图像解码装置，其中还包括：
    拼接单元，与所述输出端相连，被配置为将所述第一图像和所述多个第二图像拼接以获得解码图像，并且通过输出接口输出所述解码图像。
  12. 如权利要求8或10所述的图像解码装置，其中所述图像去叠加模块被配置为根据所述更新特征及其叠加权重对所述叠加图像执行去叠加。
  13. 如权利要求12所述的图像解码装置，其中所述图像去叠加模块被配置为将所述更新特征乘以第二权重参数以获得第二乘积，从所述叠加图像去除所述第二乘积以获得第一乘积，将所述第一乘积除以第一权重参数以获得所述第一图像；其中所述第一权重参数大于0，并且所述第一权重参数与所述第二权重参数的和为1。
  14. 一种图像处理系统，包括：
    图像编码装置，包括：
    第一图像输入端，被配置为获取第一图像；
    多个第二图像输入端，被配置为获取多个第二图像；
    第一卷积神经网络模块，与所述多个第二图像输入端连接，被配置为对所 述多个第二图像中的每个图像的特征更新，以得到相应的更新特征；
    图像叠加模块，与所述第一图像输入端、所述第一卷积神经网络模块连接，被配置为将所述多个第二图像中的每个图像的更新特征与所述第一图像叠加以生成叠加图像，将所述叠加图像输出；
    第一预测模块，与所述图像叠加模块连接，被配置为根据所述叠加图像的每个，生成多个预测图像；以及
    图像差异获取模块，与所述多个第二图像输入端、所述预测模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征输出；
    输出接口，被配置为输出所述叠加图像和所述差异特征；
    图像解码装置，包括：
    叠加图像输入端，被配置为接收所述叠加图像；
    差异特征输入端，被配置为接收所述差异特征；
    第二预测模块，与所述叠加图像输入端连接，被配置为根据所述叠加图像，生成多个预测图像；
    去差异模块，与所述差异特征输入端、所述预测模块连接，被配置为根据所述多个预测图像中的每个图像和所述差异特征，生成多个第四图像，将所述多个第四图像输出；
    第四卷积神经网络模块，与所述去差异模块连接，被配置为对所述多个第四图像更新，以得到相应的更新特征；以及
    图像去叠加模块，与所述叠加图像输入端、所述第四卷积神经网络模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第三图像，将所述第三图像输出；
    输出端，被配置为输出所述多个第四图像和所述第三图像。
  15. 如权利要求14所述的图像处理系统，其中第一预测模块为第二卷积神经网络模块，第二预测模块为第三卷积神经网络模块。
  16. 一种图像处理系统，包括：
    图像编码装置，其具有
    第一图像输入端，被配置为获取第一图像；
    多个第二图像输入端，被配置为获取多个第二图像；
    第一特征模块，与所述多个第二图像输入端连接，被配置为对所述多个第二图像中的每个图像的特征更新，以得到相应的更新特征；
    图像叠加模块，与所述第一图像输入端、所述第一特征模块连接，被配置为将所述多个第二图像中的每个图像的更新特征与所述第一图像叠加以生成叠加图像，将所述叠加图像输出；
    第二卷积神经网络模块，与所述图像叠加模块连接，被配置为根据所述叠加图像的每个，生成多个预测图像；以及
    图像差异获取模块，与所述多个第二图像输入端、所述第二卷积神经网络模块连接，被配置为确定所述多个第二图像的每个与相应的所述预测图像的差异特征，将所述差异特征输出；
    输出接口，被配置为输出所述叠加图像和所述差异特征；
    图像解码装置，其具有
    叠加图像输入端，被配置为接收所述叠加图像；
    差异特征输入端，被配置为接收所述差异特征；
    第三卷积神经网络模块，与所述叠加图像输入端连接，被配置为根据所述叠加图像，生成多个预测图像；
    去差异模块，与所述差异特征输入端、所述第三卷积神经网络模块连接，被配置为根据所述多个预测图像中的每个图像和所述差异特征，生成多个第四图像，将所述多个第四图像输出；
    第二特征模块，与所述去差异模块连接，被配置为对所述多个第四图像更新，以得到相应的更新特征；以及
    图像去叠加模块，与所述叠加图像输入端、所述第二特征模块连接，被配置为根据所述更新特征对所述叠加图像执行去叠加，以得到第三图像，将所述第三图像输出；
    输出端，被配置为输出所述多个第四图像和所述第三图像。
  17. 如权利要求16所述的图像处理系统，其中所述第一特征模块为第一卷积神经网络模块，所述第二特征模块为第四卷积神经网络模块。
  18. 如权利要求14到17任一所述的图像处理系统，其中还包括量化装置，所述量化装置，与所述图像编码装置连接，被配置为接收从所述输出接口输出的所述叠加图像和所述差异特征，对所述叠加图像和所述差异特征执行量化处 理和逆量化处理，以生成量化叠加图像和量化差异特征；与所述图像解码装置，被配置为向所述图像解码装置的叠加图像输入端、差异特征输入端输出所述量化叠加图像、所述量化差异特征。
  19. 如权利要求18所述的图像处理系统，其中所述量化装置被配置为利用均匀阶梯量化函数USQ对所述叠加图像和所述差异特征执行所述量化处理，
    Figure PCTCN2017090260-appb-100001
    其中
    Figure PCTCN2017090260-appb-100002
    Figure PCTCN2017090260-appb-100003
    是小于x的最小整数，并且δ是量化参数。
  20. 如权利要求18所述的图像处理系统，其中所述量化装置被配置为利用逆均匀阶梯量化函数InVUSQ对所述均匀阶梯量化函数USQ的输出q执行所述逆量化处理，以生成所述量化叠加图像和所述量化差异特征，
    其中InvUSQ(q)＝sign(q)(|q|+0.5)δ。
  21. 一种图像编码方法，包括下述步骤：
    获取第一图像和多个第二图像；
    更新所述多个第二图像中的每个图像的特征以得到相应的更新特征；
    叠加所述第一图像和所述多个第二图像中的每个图像的更新特征生成叠加图像；
    根据所述叠加图像生成多个预测图像；
    确定所述第二图像中的每个图像与相应的预测图像的差异特征；
    输出所述叠加图像和所述差异特征；
    其中，所述更新和/或所述预测采用卷积神经网络。
  22. 如权利要求21所述的图像编码方法，包括下述步骤：
    将输入的原始图像拆分为所述第一图像和多个所述第二图像。
  23. 一种图像解码方法，包括下述步骤：
    接收叠加图像和差异特征；
    根据所述叠加图像生成多个预测图像；
    根据所述多个预测图像中的每个图像和所述差异特征，生成多个第二图像；
    对所述多个第二图像中的每个图像更新得到相应的更新特征；
    根据所述更新特征对所述叠加图像执行去叠加得到第一图像；
    输出所述多个第二图像和所述第一图像；
    其中，所述更新和/或所述预测采用卷积神经网络。
  24. 如权利要求23所述的图像解码方法，包括下述步骤：
    拼接所述第一图像和所述多个第二图像拼接以获得解码图像。
  25. 一种用于如权利要求14到17任一所述的图像处理系统的训练方法，包括：
    选择固定的所述量化参数；
    将训练图像输入所述图像处理系统，调整所述卷积神经网络模块中各卷积层中各滤波单元的权值，运行有限次迭代以使目标函数最优化；以及
    将所述量化参数减小预定值，如果所述量化参数不小于预定阈值，则重复使目标函数最优化的训练步骤，否则结束所述训练方法。
  26. 如权利要求25所述的训练方法，其中所述目标函数为：
    θ＝argθminXMSE(X，OUTθ(X，δ))
    X代表输入的所述训练图像，OUT代表输出图像，MSE是输入的所述训练图像与所述输出图像之间的均方差函数。
PCT/CN2017/090260 2016-10-11 2017-06-27 图像编解码装置、图像处理系统、图像编解码方法和训练方法 WO2018068532A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/745,091 US10666944B2 (en) 2016-10-11 2017-06-27 Image encoding/decoding apparatus, image processing system, image encoding/decoding method and training method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610885633.4 2016-10-11
CN201610885633.4A CN107920248B (zh) 2016-10-11 2016-10-11 图像编解码装置、图像处理系统、训练方法和显示装置

Publications (1)

Publication Number Publication Date
WO2018068532A1 true WO2018068532A1 (zh) 2018-04-19

Family

ID=61892520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/090260 WO2018068532A1 (zh) 2016-10-11 2017-06-27 图像编解码装置、图像处理系统、图像编解码方法和训练方法

Country Status (3)

Country Link
US (1) US10666944B2 (zh)
CN (1) CN107920248B (zh)
WO (1) WO2018068532A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612790A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107801026B (zh) 2017-11-09 2019-12-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩系统
CN107895174B (zh) 2017-11-09 2020-01-07 京东方科技集团股份有限公司 图像分类和转换方法、装置以及图像处理系统
US10706267B2 (en) * 2018-01-12 2020-07-07 Qualcomm Incorporated Compact models for object recognition
CN110971915B (zh) * 2018-09-28 2022-07-01 杭州海康威视数字技术股份有限公司 滤波方法和设备
WO2020150942A1 (zh) * 2019-01-23 2020-07-30 深圳市大疆创新科技有限公司 用于图像编解码的方法和装置
KR20220027233A (ko) * 2019-07-01 2022-03-07 옵티멈 세미컨덕터 테크놀로지스 인코포레이티드 파라미터-효율적 시맨틱 이미지 세그먼트화를 위한 피드백 디코더
CN114390296A (zh) * 2019-07-15 2022-04-22 华为技术有限公司 基于小波变换的图像编解码方法及装置
CN112434702A (zh) * 2019-08-26 2021-03-02 阿里巴巴集团控股有限公司 图像处理方法、装置、计算机设备、存储介质
US11258854B2 (en) 2020-01-31 2022-02-22 Bank Of America Corporation Data sharding for transmission over a high generation cellular network
US11330263B1 (en) * 2020-12-03 2022-05-10 Synamedia Limited Machine learning based coded size estimation in rate control of video encoding
US20220182618A1 (en) * 2020-12-08 2022-06-09 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using filtering
CN112686900A (zh) * 2020-12-31 2021-04-20 北京医智影科技有限公司 用于图像自动处理的方法、装置、电子设备和存储介质
CN112734622B (zh) * 2021-03-30 2021-07-20 深圳大学 一种基于Tucker分解的图像隐写分析方法及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008164A1 (en) * 2004-07-03 2006-01-12 Microsoft Corporation System and method for image coding employing a hybrid directional prediction and wavelet lifting
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法
CN102510489A (zh) * 2011-09-21 2012-06-20 北京航空航天大学 一种基于折叠流水线小波变换实现图像压缩的方法
CN105611303A (zh) * 2016-03-07 2016-05-25 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
CN205408063U (zh) * 2016-03-07 2016-07-27 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018753A (en) * 1997-07-29 2000-01-25 Lucent Technologies Inc. Interpolating filter banks in arbitrary dimensions
US6738523B1 (en) * 2000-09-14 2004-05-18 Eastman Kodak Company Parallel inverse discrete wavelet transform
US7817869B2 (en) * 2004-05-07 2010-10-19 Sony Corporation Variable support robust transform for multiple description coding
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
US8275040B2 (en) * 2005-07-22 2012-09-25 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US9445110B2 (en) * 2007-09-28 2016-09-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
WO2010011050A2 (ko) * 2008-07-23 2010-01-28 에스케이텔레콤 주식회사 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008164A1 (en) * 2004-07-03 2006-01-12 Microsoft Corporation System and method for image coding employing a hybrid directional prediction and wavelet lifting
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法
CN102510489A (zh) * 2011-09-21 2012-06-20 北京航空航天大学 一种基于折叠流水线小波变换实现图像压缩的方法
CN105611303A (zh) * 2016-03-07 2016-05-25 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
CN205408063U (zh) * 2016-03-07 2016-07-27 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、显示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612790A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法
CN111612790B (zh) * 2020-04-29 2023-10-17 杭州电子科技大学 一种基于t型注意力结构的医学图像分割方法

Also Published As

Publication number Publication date
CN107920248B (zh) 2020-10-30
CN107920248A (zh) 2018-04-17
US10666944B2 (en) 2020-05-26
US20190014320A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
WO2018068532A1 (zh) 图像编解码装置、图像处理系统、图像编解码方法和训练方法
US11568571B2 (en) Techniques and apparatus for lossless lifting for attribute coding
US10834425B2 (en) Image compression/decompression method and device, and image processing system
JP5957562B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
US11457239B2 (en) Block artefact reduction
US11671576B2 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US11284111B2 (en) Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
EP3677027A1 (en) Mixing of probabilities for entropy coding in video compression
US8170334B2 (en) Image processing systems employing image compression and accelerated image decompression
JP5094960B2 (ja) 空間的に強化される変換符号化
US11917205B2 (en) Techniques and apparatus for scalable lifting for point-cloud attribute coding
US8170333B2 (en) Image processing systems employing image compression
US10009622B1 (en) Video coding with degradation of residuals
US11232599B2 (en) Method and apparatus for inter-channel prediction and transform for point cloud attribute coding
US20210217137A1 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
US20190020900A1 (en) Coding video syntax elements using a context tree
US20120230422A1 (en) Method and System Using Prediction and Error Correction for the Compact Representation of Quantization Matrices In Video Compression
US10102613B2 (en) Frequency-domain denoising
US8170335B2 (en) Image processing systems employing image compression and accelerated decompression
EP4029259A1 (en) Probability estimation for entropy coding
CN117957839A (zh) 使用上下文设计的滤波器过滤侧信息
CN116724550A (zh) 一种使用包括子网的神经网络编码或解码图像的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860764

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17860764

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.09.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17860764

Country of ref document: EP

Kind code of ref document: A1