WO2020237646A1 - 图像处理方法、设备及计算机可读存储介质 - Google Patents

图像处理方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2020237646A1
WO2020237646A1 PCT/CN2019/089588 CN2019089588W WO2020237646A1 WO 2020237646 A1 WO2020237646 A1 WO 2020237646A1 CN 2019089588 W CN2019089588 W CN 2019089588W WO 2020237646 A1 WO2020237646 A1 WO 2020237646A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processed
channel
frequency domain
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/089588
Other languages
English (en)
French (fr)
Inventor
李恒杰
赵文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN201980008045.4A priority Critical patent/CN111630570A/zh
Priority to PCT/CN2019/089588 priority patent/WO2020237646A1/zh
Publication of WO2020237646A1 publication Critical patent/WO2020237646A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the embodiments of the present invention relate to the field of image processing technology, and in particular to an image processing method, an image processing device, and a computer-readable storage medium.
  • Image coding also known as image compression, refers to a technology that uses a small number of bits to represent an image or the information contained in an image under certain quality conditions.
  • the existing image coding is generally implemented by an image encoder. Since there are often differences between different images, there are also differences between different image features. When the image is encoded by the image encoder, the encoder needs to manually extract the features of different images, and adjust the parameters according to the extracted features.
  • the embodiments of the present invention provide an image processing method, an image processing device, and a computer-readable storage medium, so as to solve the technical problem that manual image encoding is relatively time-consuming and labor-intensive in the prior art.
  • an image processing method including: obtaining frequency domain information of an image to be processed, the frequency domain information being obtained through time-frequency conversion processing by an image encoder; A neural network model processes the frequency domain information to obtain the first coding parameter of the image to be processed; sends the first coding parameter to the image encoder, so that the image encoder is based on the The first encoding parameter encodes the image to be processed.
  • an image processing device including: a memory and a processor; the memory is used to store program code; the processor calls the program code, and when the program code is executed Is used to perform the following operations: acquiring frequency domain information of the image to be processed, the frequency domain information being obtained through time-frequency conversion processing by an image encoder; and processing the frequency domain information through a preset first neural network model , Obtain the first encoding parameter of the image to be processed; send the first encoding parameter to the image encoder, so that the image encoder encodes the image to be processed according to the first encoding parameter .
  • a computer-readable storage medium having a computer program stored thereon, and the computer program implements the image processing method described in the first aspect when the computer program is executed by a processor.
  • the frequency domain information is obtained by the time-frequency conversion processing of the image encoder; and the preset first neural network model
  • the frequency domain information is processed to obtain the first encoding parameter of the image to be processed;
  • the first encoding parameter is sent to the image encoder, so that the image encoder performs a pairing according to the first encoding parameter
  • the image to be processed is encoded.
  • the first neural network model can realize the automatic optimization of the first encoding parameters of the image to be processed.
  • the optimal first encoding parameter is selected for the image encoder, which improves the encoding efficiency and performance of the image encoder, and can achieve higher quality image encoding effects at the same compression rate In this way, it is possible to further achieve the optimal decoding effect under the same evaluation index, and realize the effective combination of deep learning and the internal structure of the image encoder.
  • the embodiment of the invention discloses an image encoder parameter optimization method based on frequency domain characteristics, which can be applied to scene-related products such as image and video compression coding.
  • Fig. 1 is a schematic flowchart of an image coding method provided by an exemplary embodiment of the present invention
  • Fig. 2 is a block diagram of an image encoder provided by an exemplary embodiment of the present invention.
  • Fig. 3 is a structural diagram of a VGG-16 model provided by an exemplary embodiment of the present invention.
  • Fig. 4 is a structural diagram of a ResNet34 model provided by an exemplary embodiment of the present invention.
  • Figure 5 is a structural diagram of a GoogLeNet model provided by an exemplary embodiment of the present invention.
  • Fig. 6 is a block diagram of an image encoder based on a first neural network model provided by an exemplary embodiment of the present invention
  • Fig. 7 is a block diagram of an image encoder based on a first neural network model provided by another exemplary embodiment of the present invention.
  • FIG. 8 is a block diagram of an image encoder based on a first neural network model and a second neural network model provided by an exemplary embodiment of the present invention
  • Fig. 9 is a flowchart of image information processing provided by an exemplary embodiment of the present invention.
  • FIG. 10 is a schematic structural diagram of an image processing device provided by Embodiment 6 of the present invention.
  • deep learning Since deep learning does not require artificial selection of features, it extracts image features by learning and training the network, and then these extracted features are used to generate subsequent decision results, so as to achieve functions such as classification and recognition. That is, the neural network has a strong learning ability, can comprehensively and accurately establish the mapping relationship between samples and tags, complete a large number of tasks that cannot be completed by traditional methods, or greatly improve the efficiency and accuracy of traditional methods. Therefore, the use of deep learning to optimize the parameters of the image encoder can greatly avoid the shortcomings of the manual encoder parameter optimization.
  • the present invention provides an image processing method, equipment, and computer-readable storage medium, which effectively combines deep learning with the encoding process or internal structure of an image encoder to avoid the deficiencies of manual tuning. , Give full play to the advantages of deep learning.
  • image encoding method, device, and computer-readable storage medium provided by the present invention can be applied to any image encoding scene.
  • Fig. 1 is a schematic flowchart of an image coding method provided by an exemplary embodiment of the present invention.
  • the method provided in the embodiment of the present invention may be executed by any terminal device and/or server with computing and processing capabilities, which is not limited in the present invention.
  • the method provided by the embodiment of the present invention may include the following steps.
  • step S110 frequency domain information of the image to be processed is acquired, and the frequency domain information is obtained by performing time-frequency conversion processing on the image to be processed by an image encoder.
  • the time-frequency conversion includes any one of K-L transform, Fourier transform, cosine transform, and wavelet transform.
  • a standard image encoder is taken as an example for illustration, but in fact, the technical solution provided by the embodiment of the present invention can be applied to any image encoder.
  • Fig. 2 is a block diagram of an image encoder provided by an exemplary embodiment of the present invention.
  • the general process of a standard image encoder is: input the image to be processed into the image encoder, sequentially undergo transformation processing, quantization processing and entropy encoding processing, and output code stream information.
  • the main image coding standards are: JPEG (Joint Photographic Experts Group), JPEG2000, etc.
  • JPEG Joint Photographic Experts Group
  • JPEG2000 Joint Photographic Experts Group
  • the basic coding is done under the framework of Figure 2.
  • the transformation processing is mainly a process of converting the information of the image to be processed from the time domain to the frequency domain.
  • the purpose is to separate the frequency domain information of different frequency bands and utilize the characteristics of human eyes that are not sensitive to high frequency information. Choose different quantization steps for different frequency bands to reduce the spatial redundancy in image compression, so as to obtain a higher compression rate.
  • the quantization process approximates the transformed frequency domain information according to a certain quantization step.
  • the quantized image information can be expressed with fewer bits, which is an important part of image compression.
  • the entropy coding process refers to expressing the quantized image information according to a certain coding rule.
  • the code stream information obtained after entropy encoding is the representation of the image to be processed after being encoded by the image encoder.
  • the traditional optimization for image encoders is mainly through manual parameter tuning, starting from the image encoder encoding process, that is, the accuracy of transformation, the design of quantization tables, and the estimation of probability distribution in entropy encoding.
  • the image encoder encoding process that is, the accuracy of transformation, the design of quantization tables, and the estimation of probability distribution in entropy encoding.
  • the current image encoders do not fully consider the differences between the images, and the coding parameters Poor universality.
  • step S120 the frequency domain information is processed through a preset first neural network model to obtain the first encoding parameter of the image to be processed.
  • the first neural network model may include N arithmetic units connected in sequence.
  • the processing the frequency domain information through the preset first neural network model to obtain the first coding parameters of the image to be processed may include: inputting the frequency domain information to the first neural network
  • the nth arithmetic unit of the network model outputs the first coding parameter through the Nth arithmetic unit of the first neural network model; wherein, N ⁇ n; n is a positive integer greater than or equal to 2.
  • the arithmetic unit mentioned in the embodiment of the present invention may be a software module.
  • the first neural network model may include at least one of the following: VGG-16 model, VGG-19 model, ResNet model, GoogLeNet, etc.
  • n 2.
  • the present invention is not limited to this.
  • VGGNet is a deep convolutional neural network.
  • VGGNet explored the relationship between the depth of the convolutional neural network and its performance, and successfully constructed a 16-19-layer deep convolutional neural network, which proved that increasing the depth of the network can affect the final performance of the network to a certain extent, causing errors
  • the rate has dropped sharply, and at the same time, the scalability is very strong.
  • the generalization of migration to other image data is also very good, which can be used to extract image features.
  • VGGNet has several different structures, such as VGG-16 and VGG-19 models.
  • VGG-16 and VGG-19 models the design and transformation based on the VGG-16 model is used as the first neural network model for parameter optimization in the embodiment of the present invention. Since the transformation process of the image encoder can be considered to be similar to the function of the neural network convolutional layer, the first two convolutional layers and the first pooling layer of the VGG-16 model can be removed here to obtain a new neural network as Neural network model for parameter optimization.
  • the VGG-16 model may include a first arithmetic unit 310, a second arithmetic unit 320, a third arithmetic unit 330, a fourth arithmetic unit 340, and a fifth arithmetic unit 350, which are connected in sequence.
  • the first operation unit 310 may include a first convolutional layer 311, a second convolutional layer 312, and a first pooling layer 313.
  • the second operation unit 320 may include a third convolution layer 321 and a fourth convolution layer 322.
  • the third operation unit 330 may include a second pooling layer 331, a fifth convolutional layer 332, a sixth convolutional layer 333, and a seventh convolutional layer 334.
  • the fourth operation unit 340 may include a third pooling layer 341, an eighth convolution layer 342, a ninth convolution layer 343, and a tenth convolution layer 344.
  • the fifth operation unit 350 may include a fourth pooling layer 351, an eleventh convolution layer 352, a twelfth convolution layer 353, and a thirteenth convolution layer 354.
  • the sixth computing unit 360 may include a fifth pooling layer 361, a first fully connected layer 362, a second fully connected layer 363, and a third fully connected layer 364.
  • the seventh arithmetic unit 370 includes a softmax layer (normalization layer).
  • the frequency domain information output after the image to be processed is transformed by the image encoder is directly input to the second arithmetic unit 320 of the VGG-16 model, and then passes through the third arithmetic unit 330 and the fourth arithmetic unit 330 in turn.
  • the processing of the arithmetic unit 340, the fifth arithmetic unit 350, the sixth arithmetic unit 360, and the seventh arithmetic unit 370 output the first encoding parameter. That is, the network that processes frequency domain information includes 11 convolutional layers, 4 pooling layers, and 3 fully connected layers.
  • the number of network layers used to process frequency domain information in the embodiment of the present invention is reduced, the amount of calculation is reduced, and the speed Speed up and improve the real-time performance of the coding process.
  • Fig. 4 is a structural diagram of a ResNet34 model provided by an exemplary embodiment of the present invention.
  • the first neural network model for processing frequency domain information in the embodiment of the present invention can also be used to remove the first convolutional layer and the first pooling layer (ie, the first one in Figure 4).
  • the ResNet model of the arithmetic unit 410) directly inputs the frequency domain information output by the image encoder to the second convolutional layer, and finally outputs the first coding parameters through a fully connected layer (fc, fully connected).
  • Fig. 5 is a structural diagram of a GoogLeNet model provided by an exemplary embodiment of the present invention.
  • the first neural network model for processing frequency domain information in the embodiment of the present invention may also use the GoogLeNet model without the first arithmetic unit 510.
  • the first operation unit 510 may include the first convolutional layer, the first maximum pooling layer, and the first LRN (Local Response Norm) layer, and finally pass through the softmax (normalization) layer to output the first encoding parameters .
  • IM in Figure 5 is the abbreviation of Inception module (initial module).
  • the present invention is not limited to this. According to specific application scenarios and actual needs, Other neural networks can be selected for feature extraction, such as other variants of CNN (Convolutional Neural Networks), RNN (Recurrent Neural Network), etc., such as VGG-19 or a network of the same depth or level, such as ResNet50 and above deep level networks, GoogLeNet and some similar deep neural networks.
  • CNN Convolutional Neural Networks
  • RNN Recurrent Neural Network
  • the frequency domain information is processed by removing the first arithmetic unit of the first neural network model as an example, in other embodiments, more arithmetic units may be removed.
  • step S130 the first encoding parameter is sent to the image encoder, so that the image encoder encodes the image to be processed according to the first encoding parameter.
  • the first encoding parameter may include at least one of a typical quantization parameter design, a quantization table design, a feature transformation accuracy design, a rate control proportional design, and the like.
  • the typical quantization parameter design and quantization table design correspond to the parameters of the image encoder for quantization processing;
  • the feature transformation accuracy relates to the parameters corresponding to the time-frequency conversion of the image encoder;
  • the rate control ratio Design parameters corresponding to the entropy coding processing of the image encoder.
  • the image processing method provided by the embodiment of the present invention acquires the frequency domain information of the image to be processed through the time-frequency conversion processing of the image encoder; processes the frequency domain information through the preset first neural network model to obtain the The first encoding parameter of the image to be processed; sending the first encoding parameter to the image encoder, so that the image encoder encodes the image to be processed according to the first encoding parameter.
  • the first neural network model can realize the automatic optimization of the first encoding parameters of the image to be processed.
  • the optimal first encoding parameter is selected for the image encoder, which improves the encoding efficiency and performance of the image encoder, and can achieve higher quality image encoding effects at the same compression rate In this way, it is possible to further achieve the optimal decoding effect under the same evaluation index, and realize the effective combination of deep learning and the internal structure of the image encoder.
  • the embodiment of the invention discloses an image encoder parameter optimization method based on frequency domain characteristics, which can be applied to scene-related products such as image and video compression coding.
  • the sending the first encoding parameter to the image encoder, so that the image encoder encodes the image to be processed according to the first encoding parameter may include: The first encoding parameter is sent to the image encoder, so that the image encoder performs quantization processing and entropy encoding processing on the frequency domain information of the image to be processed according to the first encoding parameter.
  • the method may further include: the image encoder encodes the image to be processed according to the first encoding parameter to obtain code stream information of the image to be processed.
  • the method may further include: using an image decoder to perform a decoding operation on the code stream information to obtain a reconstructed image to be processed.
  • Fig. 6 is a block diagram of an image encoder based on a first neural network model provided by an exemplary embodiment of the present invention.
  • the first encoding parameter may include a typical quantization parameter design and/or a quantization table design and a rate control proportional design.
  • the image encoder performs quantization processing on the to-be-processed image according to the first coding parameter (for example, a typical quantization parameter design and/or quantization table design) to generate quantized information of the to-be-processed image, and then according to the first An encoding parameter (for example, a rate control proportional design) performs entropy encoding processing on the quantized information, and outputs the code stream information.
  • the code stream information is input to the image decoder for decoding operation, and the image decoder outputs the decoded image, that is, the reconstructed image to be processed is obtained.
  • the sending the first encoding parameter to the image encoder, so that the image encoder encodes the image to be processed according to the first encoding parameter may include: The first encoding parameter is sent to the image encoder, so that the image encoder performs time-frequency conversion on the image to be processed again according to the first encoding parameter and generates new frequency domain information based on The first coding parameter performs quantization processing and entropy coding processing on the new frequency domain information. In this way, it is possible to reversely adjust the time-frequency conversion parameters, and further improve the coding performance of the image encoder. An example will be described below in conjunction with the schematic view of FIG. 7.
  • Fig. 7 is a block diagram of an image encoder based on a first neural network model provided by another exemplary embodiment of the present invention.
  • the image to be processed is input to the image encoder, and after a transformation operation, a time-frequency conversion process is performed to generate frequency domain information of the image to be processed; then, the frequency domain information is input to the first nerve
  • the network model is used to process the frequency domain information through the first neural network model, output the first coding parameters of the image to be processed, and then input the first coding parameters to the transformation operation of the image encoder, according to
  • the first coding parameter re-executes time-frequency conversion on the to-be-processed image, generates new frequency-domain information of the to-be-processed image, and then quantizes the newly generated frequency-domain information according to the first coding parameter Processing, generating quantized information of the image to be processed; and then performing entropy coding processing on the quantized information according to the first coding parameter to generate code stream information.
  • the image decoder receives the code stream information, and can decode the image to reconstruct the image to be processed.
  • the sending the first encoding parameter to the image encoder, so that the image encoder encodes the image to be processed according to the first encoding parameter may include: The first encoding parameter is sent to the image encoder, so that the image encoder performs quantization processing on the frequency domain information according to the first encoding parameter and generates quantization information of the image to be processed.
  • the method may further include: acquiring quantitative information of the image to be processed; processing the quantitative information through a preset second neural network model to obtain a second image of the image to be processed Encoding parameters; sending the second encoding parameters to the image encoder, so that the image encoder encodes the image to be processed according to the second encoding parameters.
  • the second neural network model can be used to process the quantized information after the quantization of the image encoder, and output the second encoding parameter, so that the image encoder can further perform the processing on the to-be-determined information according to the second encoding parameter. Process the image for encoding. This can further improve coding efficiency and performance.
  • the second neural network model here can adopt any one or multiple neural network structures, which is not limited in the present invention.
  • the second neural network may include M arithmetic units connected in sequence.
  • the processing the quantized information through the preset second neural network model to obtain the second coding parameters of the image to be processed may include: inputting the quantized information into the second neural network model
  • the mth arithmetic unit of the second neural network model outputs the second coding parameter through the Mth arithmetic unit of the second neural network model; wherein, M ⁇ m; m is a positive integer greater than or equal to 2.
  • m can be equal to 2 or 3, but the present invention is not limited to this.
  • the second neural network model may include at least one of the following: VGG-16 model, VGG-19 model, ResNet model, GoogLeNet model, etc. Reference may be made to the description of the first neural network model in the embodiments of FIGS. 3-5.
  • the second encoding parameter may include at least one of a typical quantization parameter design, a quantization table design, a rate control proportional design, and the like.
  • the sending the second encoding parameter to the image encoder, so that the image encoder encodes the image to be processed according to the second encoding parameter may include:
  • the second coding parameter is sent to the image encoder, so that the image coding can perform an adjustment to the frequency domain of the image to be processed according to the second coding parameter (for example, a typical quantization parameter design and/or a quantization table design).
  • the information is re-quantized and new quantized information is generated, and then the new quantized information is entropy-encoded based on the second coding parameter (for example, rate control proportional design).
  • the second coding parameter for example, rate control proportional design
  • the sending the second encoding parameter to the image encoder, so that the image encoder encodes the image to be processed according to the second encoding parameter may include:
  • the second encoding parameter is sent to the image encoder, so that the image encoder performs entropy encoding processing on the quantization information according to the second encoding parameter. This will be illustrated below with reference to FIG. 8.
  • Fig. 8 is a block diagram of an image encoder based on a first neural network model and a second neural network model provided by an exemplary embodiment of the present invention.
  • the first encoding parameter may include a typical quantization parameter design and/or a quantization table design;
  • the second encoding parameter may include a rate-controlled proportional design.
  • the image to be processed is input to the image encoder, and after a transformation operation, a time-frequency conversion process is performed to generate frequency domain information of the image to be processed; then, the frequency domain information is input to the first nerve
  • the network model is used to process the frequency domain information through the first neural network model, output the first coding parameter of the image to be processed, and then input the first coding parameter to the quantization operation of the image encoder, according to
  • the first coding parameter performs quantization processing on the frequency domain information to generate quantization information of the image to be processed; and then performs entropy coding processing on the quantization information according to the first coding parameter to generate code stream information.
  • the image decoder receives the code stream information, and can decode the image to reconstruct the image to be processed.
  • the purpose of training the neural network is to make the neural network have feature extraction capabilities.
  • Each layer of the neural network extracts different feature information based on the previous layer.
  • the deep neural network can extract high-dimensional information. Features, establish the mapping relationship between the sample and the target, complete complex classification, regression and other tasks.
  • the convolution kernel of the neural network can be regarded as a series of filters, and the initial convolution layer can be regarded as the extraction of image frequency domain features.
  • the transformation process of the image encoder is to extract the frequency characteristics of the image and separate the frequency domain information of different frequency bands. That is to say, the transformation process is also a filtering operation.
  • the image encoder is transformed (for example, DCT (Discrete Cosine Transform, Discrete Cosine Transform), DWT (Discrete Wavelet) The output after Transform, discrete wavelet transform), etc.) is used as the input of the first neural network model.
  • DCT Discrete Cosine Transform, Discrete Cosine Transform
  • DWT Discrete Wavelet
  • frequency domain information as the input of the first neural network model
  • the number of layers of the neural network can be reduced and the training process can be speeded up.
  • the internal structure of the image encoder can be better combined with deep learning. , To better utilize the advantages of deep learning and improve the application ability of deep learning in image encoder parameter optimization tasks.
  • the method may further include: performing processing on the first training data set by using a preset first training data set.
  • the neural network model is trained.
  • the first training data set may include frequency domain information of several images whose first coding parameters have been marked.
  • the first training data set may be obtained through the following steps: time-frequency conversion is performed on a number of images that have been labeled with their first coding parameters to obtain their frequency domain information; The frequency domain information of the image of the encoding parameter forms the first training data set.
  • pre-preparing K (K is a positive integer greater than or equal to 1) group of optimal first encoding parameters for the image data set, the optimal first encoding parameters corresponding to at least some images in the image data set are known, that is, at least Some image tags are known.
  • the first neural network model has the ability to optimize the parameters of the image encoder.
  • the obtained frequency domain information is input to the first neural network model, and its optimal first coding parameters can be output.
  • the method may further include: performing the processing on the second neural network through a preset second training data set.
  • the network model is trained.
  • the second training data set here includes quantization information of a number of images whose second coding parameters have been marked.
  • the second training data set may be obtained by the following steps: time-frequency conversion and quantization processing are performed on a number of images that have been labeled with their second coding parameters to obtain their quantization information; The quantization information of the image of the second coding parameter forms the second training data set.
  • pre-prepared P (P is a positive integer greater than or equal to 1) group of optimal second encoding parameters for the image data set, the optimal second encoding parameters corresponding to at least some images in the image data set are known, that is, at least Some image tags are known.
  • the image with a known label is time-frequency transformed and quantized to obtain the corresponding quantized information as the second training data set of the second neural network model, so that the second neural network model learns image features and the optimal first
  • the mapping relationship between the two encoding parameters After multiple iterations, the network training is completed, and the modeling of the mapping relationship between the image and the optimal second coding parameter is realized.
  • the second neural network model has the ability to optimize the parameters of the image encoder.
  • the obtained quantization information is input to the second neural network model, and the optimal second coding parameters can be output.
  • the method may further include: if the image to be processed is in the YUV format, determining the dimensions of the U channel and the V channel and the dimension of the Y channel of the image to be processed; if the U channel If the dimensions of the V channel and the Y channel are inconsistent, the preprocessing operation is performed on the image to be processed so that the dimensions of the U channel and the V channel of the image to be processed are the same as the dimension of the Y channel. Consistent.
  • the method may further include: if the image to be processed is in a preset format, performing a preprocessing operation on the image to be processed, so that the U channel of the image to be processed The dimensions of the V channel and the Y channel are consistent.
  • the preset format is YUV422 format or YUV420 format
  • a preprocessing operation is performed on the image to be processed, so that the dimensions of the U channel and the V channel of the image to be processed are Consistent with the dimension of the Y channel.
  • the image format input by the image encoder is basically the YUV format
  • the main YUV formats of the image encoder are YUV444, YUV422, YUV420 and other formats. Because under the two data formats of YUV422 and YUV420, there is a down-sampling operation for the UV component, which causes the data to be inconsistent in each channel dimension.
  • the performing a preprocessing operation on the image to be processed so that the dimensions of the U channel and the V channel of the image to be processed are consistent with the dimension of the Y channel may include: The U channel and the V channel of the image to be processed are subjected to an up-sampling operation, so that the dimensions of the three channels of Y, U and V of the image to be processed are the same.
  • the performing an upsampling operation on the U channel and the V channel of the image to be processed so that the dimensions of the Y, U, and V channels of the image to be processed are the same may include: The U channel and the V channel of the image to be processed are subjected to a bilinear interpolation operation, so that the dimensions of the Y, U and V channels of the image to be processed are the same.
  • performing a preprocessing operation on the image to be processed so that the dimensions of the U channel and the V channel of the image to be processed are consistent with the dimension of the Y channel may include: The Y channel of the image to be processed is subjected to a down-sampling operation, so that the dimensions of the three channels of Y, U, and V of the image to be processed are the same.
  • the problem of different dimensions of the three channels of YUV can be solved by up-sampling the U and V channels and unifying the three channels to the Y dimension.
  • the problem of different dimensions of the three channels of YUV can be solved by up-sampling the U and V channels and unifying the three channels to the Y dimension.
  • it can also be solved by down-sampling the Y channel and unifying the three channels to the UV dimension.
  • the present invention does not limit this.
  • acquiring the frequency domain information of the image to be processed after time-frequency conversion processing by the image encoder may include: performing DCT transformation on the Y, U, and V channels of the image to be processed with the same dimensions, respectively, Generate frequency domain information for Y, U and V channels.
  • acquiring the frequency domain information of the image to be processed after time-frequency conversion processing by the image encoder may include: performing DWT transformation on the Y, U, and V channels of the image to be processed with the same dimensions, Generate frequency domain information for Y, U and V channels.
  • a discrete cosine transform (DCT) or a discrete wavelet transform (DWT) may be used to implement the transform processing.
  • DCT discrete cosine transform
  • DWT discrete wavelet transform
  • a two-dimensional DCT transformation can be performed on it.
  • the image to be processed is divided into 8 ⁇ 8 blocks, and each block undergoes the following transformation process:
  • C u and C v are the first transformation parameter and the second transformation parameter, respectively.
  • the input image to be processed can be regarded as x[m,n], where both m and n are positive integers greater than or equal to 1.
  • the DWT uses a high-pass filter h[n] and a low-pass filter g[n] to extract different frequencies of the image to be processed continuously multiple times. Each DWT process is as follows:
  • the frequency domain information before the frequency domain information is processed by the preset first neural network model, it may further include: converting the frequency domain information of the Y, U, and V channels of the image to be processed To cascade.
  • Fig. 9 is a flowchart of image information processing provided by an exemplary embodiment of the present invention.
  • the U and V channels are separately up-sampled as an example for illustration.
  • the Y channel is directly subjected to DCT/DWT conversion, and the U and V channels are respectively up-sampled to make the three channels of Y, U and V have the same dimensions, and then DCT/DWT conversion is performed to maintain the same dimension.
  • the transformed frequency domain information is cascaded, and the frequency domain information is output as the input of the first neural network model.
  • the input of the first neural network model is the coefficient matrix after DCT/DWT transformation, that is, frequency domain information.
  • the transformation process does not change the dimension of the matrix, that is, for each image to be processed, the transformed coefficient matrix can still be regarded as three-channel data information. Therefore, after the DCT/DWT transformation, the coefficient matrix can be directly used as the input of the first neural network model.
  • the image processing method provided by the embodiment of the present invention utilizes the similarity between the transformation process in the encoding process of the image encoder and the deep learning feature extraction, and uses the frequency domain information output from the transformation stage of the image encoder process as the input of the neural network model , Combining the time-frequency transformation part of the encoding process of the image encoder with the neural network model, a new neural network model with fewer layers can be used to extract image features.
  • a new neural network model with fewer layers can be used to extract image features.
  • you can Reducing the amount of data to be processed, such as reducing the weight during training can shorten the training time of the network and the optimization time of the image encoder, and save time.
  • the neural network model provided by the embodiments of the present invention can automatically establish the mapping relationship between image features and optimal encoding parameters, so that the optimal encoding parameters can be adaptively selected according to the input image to be processed Mode, to guide the image encoder to perform image encoding, simplify the optimization of encoding parameters, and realize the application of deep learning to the task of image encoder parameter optimization.
  • the neural network model can be used to adaptively generate the corresponding optimal encoding parameters for each image to be processed. While improving the efficiency of image encoder parameter optimization, it can be used for each image. The characteristics of the image are optimized and the differences between the images are considered, so that the encoding performance of the image encoder is improved, and the image quality after decoding can be greatly improved.
  • Fig. 10 is a schematic structural diagram of an image processing device provided by an exemplary embodiment of the present invention.
  • the image processing device may include: a memory 101 and a processor 102.
  • the memory 101 may be used to store program codes.
  • the processor 102 can call the program code, and when the program code is executed, it can be used to perform the following operations: obtain frequency domain information of the image to be processed, and the frequency domain information is obtained through time-frequency conversion processing by an image encoder Processing the frequency domain information through the preset first neural network model to obtain the first encoding parameter of the image to be processed; sending the first encoding parameter to the image encoder, so that the The image encoder encodes the image to be processed according to the first encoding parameter.
  • the image processing device acquires the frequency domain information of the image to be processed, and the frequency domain information is obtained by the time-frequency conversion processing of the image encoder; the frequency domain information is processed by the preset first neural network model. Information is processed to obtain the first encoding parameter of the image to be processed; the first encoding parameter is sent to the image encoder, so that the image encoder can perform processing on the image to be processed according to the first encoding parameter The image is encoded.
  • the first neural network model can realize the automatic optimization of the first encoding parameters of the image to be processed.
  • the optimal first encoding parameter is selected for the image encoder, which improves the encoding efficiency and performance of the image encoder, and can achieve higher quality image encoding effects at the same compression rate , So as to further achieve the best decoding effect under the same evaluation index, and realize the effective combination of deep learning and the internal structure of the image encoder.
  • the embodiment of the invention discloses an image encoder parameter optimization method based on frequency domain characteristics, which can be applied to scene-related products such as image and video compression coding.
  • the first neural network model may include N arithmetic units connected in sequence.
  • the processor when the processor processes the frequency domain information through the preset first neural network model to obtain the first coding parameters of the image to be processed, it may be used to: input the frequency domain information to The nth arithmetic unit of the first neural network model outputs the first coding parameter through the Nth arithmetic unit of the first neural network model.
  • N ⁇ n; n is a positive integer greater than or equal to 2.
  • the first neural network model may include at least one of the following: VGG-16 model, VGG-19 model, ResNet model, and GoogLeNet model.
  • n 2.
  • the processor may also be used to: pass the preset first neural network model.
  • the training data set trains the first neural network model; wherein the first training data set includes frequency domain information of a number of images whose first coding parameters have been marked.
  • the processor may obtain the first training data set by executing the following steps: time-frequency conversion is performed on a number of images labeled with their first coding parameters to obtain their frequency domain Information; the first training data set is formed according to the frequency domain information of the image whose first coding parameter has been marked.
  • the processor may be further configured to: if the image to be processed is in the YUV format, determine the dimensions of the U channel and the V channel and the Y channel of the image to be processed If the dimensions of the U channel and the V channel are inconsistent with the dimension of the Y channel, perform a preprocessing operation on the image to be processed, so that the U channel and the V channel of the image to be processed The dimension is consistent with the dimension of the Y channel.
  • the processor may be further configured to: if the to-be-processed image is in a preset format, perform a preprocessing operation on the to-be-processed image, so that the The dimensions of the U channel and the V channel of the image to be processed are consistent with the dimension of the Y channel.
  • the processor when the preset format is YUV422 format or YUV420 format, the processor performs a preprocessing operation on the to-be-processed image, so that the to-be-processed image is The dimensions of the U channel and the V channel of the processed image are consistent with the dimensions of the Y channel.
  • the processor is performing a preprocessing operation on the image to be processed, so that the dimensions of the U channel and the V channel of the image to be processed are the same as those of the Y
  • it can be used to: perform an up-sampling operation on the U channel and the V channel of the image to be processed, so that the dimensions of the Y, U, and V channels of the image to be processed are the same.
  • the processor performs an up-sampling operation on the U channel and the V channel of the image to be processed, so that the Y, U, and V of the image to be processed are
  • the processor can be used to perform a bilinear interpolation operation on the U channel and the V channel of the image to be processed, so that the dimensions of the Y, U, and V channels of the image to be processed are the same.
  • the processor is performing a preprocessing operation on the image to be processed, so that the dimensions of the U channel and the V channel of the image to be processed are the same as those of the Y
  • it can be used to perform a down-sampling operation on the Y channel of the image to be processed, so that the dimensions of the Y, U, and V channels of the image to be processed are the same.
  • the processor when it obtains the frequency domain information of the image to be processed through the time-frequency conversion processing of the image encoder, it may be used to:
  • the Y, U and V channels of the image are respectively subjected to DCT transformation to generate frequency domain information of the Y, U and V channels.
  • the processor when it obtains the frequency domain information of the image to be processed through the time-frequency conversion processing of the image encoder, it may be used to:
  • the Y, U, and V channels of the image are respectively DWT transformed to generate frequency domain information for the Y, U, and V channels.
  • the processor before processing the frequency domain information through the preset first neural network model, the processor may also be used to: convert the Y of the image to be processed The frequency domain information of, U and V channels are cascaded.
  • the first encoding parameter includes at least one of a typical quantization parameter design, a quantization table design, a feature transformation accuracy design, and a rate control proportional design.
  • the processor is sending the first encoding parameter to the image encoder, so that the image encoder performs an adjustment to the image encoder according to the first encoding parameter.
  • the image to be processed it can be used to: send the first encoding parameter to the image encoder, so that the image encoder can perform frequency domain information of the image to be processed according to the first encoding parameter. Perform quantization processing and entropy coding processing.
  • the processor is sending the first encoding parameter to the image encoder, so that the image encoder performs an adjustment to the image encoder according to the first encoding parameter.
  • the image to be processed it can be used to: send the first encoding parameter to the image encoder, so that the image encoder performs quantization processing on the frequency domain information according to the first encoding parameter and Generate quantized information of the image to be processed.
  • the processor may also be used to: obtain quantized information of the image to be processed; process the quantized information through a preset second neural network model to obtain The second encoding parameter of the image to be processed; sending the second encoding parameter to the image encoder so that the image encoder encodes the image to be processed according to the second encoding parameter.
  • the processor is sending the second encoding parameter to the image encoder, so that the image encoder performs an adjustment to the image encoder according to the second encoding parameter.
  • the processor may be used to send the second encoding parameter to the image encoder, so that the image encoder performs entropy encoding processing on the quantized information according to the second encoding parameter.
  • the second neural network includes M arithmetic units connected in sequence; wherein, the processor performs the quantitative information processing on the quantized information through a preset second neural network model. Processing, when the second coding parameter of the image to be processed is obtained, it can be used to: input the quantized information to the mth arithmetic unit of the second neural network model, and pass the second neural network model M arithmetic units output the second coding parameter; wherein, M ⁇ m; m is a positive integer greater than or equal to 2.
  • the second neural network model may include at least one of the following: VGG-16 model, VGG-19 model, ResNet model, GoogLeNet model.
  • the second encoding parameter may include at least one of a typical quantization parameter design, a quantization table design, and a rate control proportional design.
  • the processor may be further configured to: the image encoder encodes the image to be processed according to the first encoding parameter to obtain the image of the image to be processed Stream information.
  • the processor may be further configured to: use an image decoder to perform a decoding operation on the code stream information to obtain a reconstructed image to be processed.
  • this embodiment also provides a computer-readable storage medium on which a computer program is stored, and the computer program is executed by a processor to implement the image processing method described in the foregoing embodiment.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present invention may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional units.
  • the above-mentioned integrated unit implemented in the form of a software functional unit may be stored in a computer readable storage medium.
  • the above-mentioned software functional unit is stored in a storage medium and includes several instructions to make a computer device (which may be a personal computer, a server, or a network device, etc.) or a processor execute the method described in the various embodiments of the present invention. Part of the steps.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disk and other media that can store program code .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种图像处理方法、设备及计算机可读存储介质，其中，该图像处理方法包括：获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。本发明实施例通过将图像编码器与第一神经网络模型的有效结合，提高了图像编码的效率和性能。

Description

图像处理方法、设备及计算机可读存储介质 技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理设备及计算机可读存储介质。
背景技术
由于图像信息中往往包含很多的冗余信息，因此，当利用数字方法传输或存储时需要对图像信息进行图像编码。图像编码也称图像压缩，是指在满足一定质量的条件下，以较少比特数表示图像或图像中所包含信息的技术。
现有的图像编码一般通过图像编码器实现，由于不同的图像之间往往存在差异，故不同的图像特征之间也存在差异。在通过图像编码器进行图像编码时，需要编码人员人工对不同图像进行特征提取，并根据提取到的特征进行参数调节。
但是，采用上述方法进行图像编码时，一方面在特征提取过程中无法直接提取到图像的本质特征，另一方面，上述方法往往对编码人员的专业素质要求较高，且特征提取以及参数确定均由人工实现，较为耗时耗力，进而导致图像编码效率较低。
发明内容
本发明实施例提供一种图像处理方法、图像处理设备及计算机可读存储介质，以解决现有技术中通过人工进行图像编码较为耗时耗力的技术问题。
根据本发明实施例的第一方面，提供了一种图像处理方法，包括：获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。
根据本发明实施例的第二方面，提供了一种图像处理设备，包括：存储器和处理器；所述存储器用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；通过预设的第一神经 网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。
根据本发明实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的图像处理方法。
在本发明的一些实施例所提供的技术方案中，通过获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。一方面，通过将图像编码器与第一神经网络模型相结合，设计基于深度学习的图像编码器参数优化方案，能够通过第一神经网络模型能够实现对待处理图像的第一编码参数的自动优化，有效地提高图像编码效率，且能够节约人力资源，无需人为设计特征和进行复杂的人工计算与参数选取，降低了图像编码器优化的难度和耗时，提高了效率；另一方面，以深度学习为基础，根据待处理图像的频域信息为图像编码器选择最优的第一编码参数，提升了图像编码器的编码效率和性能，可以使得在相同压缩率下获得更高质量的图像编码效果，从而进一步可以实现在同样的评价指标下具有最优的解码效果，实现了将深度学习与图像编码器的内部结构的有效结合。本发明实施例公开了一种基于频域特性的图像编码器参数优化方式，能够应用于图像、视频压缩编码等场景相关的产品。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一示例性实施例提供的图像编码方法的流程示意图；
图2为本发明一示例性实施例提供的图像编码器的框图；
图3为本发明一示例性实施例提供的VGG-16模型的结构图；
图4为本发明一示例性实施例提供的ResNet34模型的结构图；
图5为本发明一示例性实施例提供的GoogLeNet模型的结构图；
图6为本发明一示例性实施例提供的基于第一神经网络模型的图像编码器框图；
图7为本发明另一示例性实施例提供的基于第一神经网络模型的图像编码器框图；
图8为本发明一示例性实施例提供的基于第一神经网络模型和第二神经网络模型的图像编码器框图；
图9为本发明一示例性实施例提供的图像信息的处理流程图；
图10为本发明实施例六提供的图像处理设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
目前，图像编码参数优化主要是通过人工选择编码器参数，但由于图像编码器比较复杂，这些优化的过程往往是非常复杂和耗时耗力的。此外，在编码器参数的优化过程中也没能充分考虑不同图像之间的差异性，导致同样的编码参数在不同的图像下产生的效果也差别很大。
由于深度学习不需要人为的选择特征，而是通过学习训练网络的方式去提取图像特征，然后将这些提取的特征去产生后面的决策结果，从而实现分类、识别等功能。即神经网络具有强大的学习能力，可以全面准确地建立样本与标签之间的映射关系，完成大量传统方法无法完成的任务或者大大提高传统方法的效率和精度。因此，利用深度学习来进行图像编码器的参数调优可以极大地避免人工编码器参数优化中的不足。
为了解决上述技术问题，本发明提供了一种图像处理方法、设备及计算机可读存储介质，将深度学习与图像编码器的编码过程或者内部结构有效结合起来，在避免人工调优的不足的同时，充分发挥深度学习的优势。
需要说明的是，本发明提供的图像编码方法、设备及计算机可读存储介质能够应用在任意一种图像编码的场景中。
图1为本发明一示例性实施例提供的图像编码方法的流程示意图。本发明实施例提供的方法可以由任意具备计算处理能力的终端设备和/或服务器执行，本发明对此不作限定。如图1所示，本发明实施例提供的方法可以包括以下步骤。
在步骤S110中，获取待处理图像的频域信息，所述频域信息通过图像编码器对所述待处理图像进行时频转换处理获得。具体地，所述时频转换包括K-L变换、傅里叶变换、余弦变换和小波变换中的任意一种。
本发明实施例中，以标准的图像编码器为例对其进行举例说明，但实际上本发明实施例提供的技术方案可以应用于任意的图像编码器。
图2为本发明一示例性实施例提供的图像编码器的框图。如图2所示，标准图像编码器的一般流程为：将待处理图像输入至图像编码器，依次经过变换处理、量化处理和熵编码处理，输出码流信息。目前主要的图像编码标准有：JPEG(Joint Photographic Experts Group，联合图像专家组)、JPEG2000等。其基本的编码都是在图2的框架下完成的。
其中，所述变换处理主要是将所述待处理图像从时域到频域的一个信息 转换的过程，目的是分离不同频段的频域信息，并利用人眼对高频信息不敏感的特点，对不同频段选用不同的量化步长，减小图像压缩中的空间冗余，以此来获得更高的压缩率。
所述量化处理是按照一定的量化步长对变换后的频域信息进行近似的表示，量化后的图像信息，可以用更少的位数表示，是对图像进行压缩的重要环节。
所述熵编码处理是指按照一定的编码规则，对量化后的图像信息进行表示。熵编码后得到的码流信息就是所述待处理图像经过所述图像编码器编码后的表示。
目前传统的针对图像编码器的优化主要是通过人工的方式进行参数调优，从图像编码器编码流程出发，即变换的精度、量化表的设计以及熵编码中概率分布的估计等。但由于其对编码人员的专业素质要求较高，同时也比较耗时耗力，进一步限制了图像编码参数的优化；同时当前的图像编码器也没有充分考虑图像之间的差异性，编码参数的普适性较差。
在步骤S120中，通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数。
在示例性实施例中，所述第一神经网络模型可以包括依次连接的N个运算单元。其中，所述通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数，可以包括：将所述频域信息输入至所述第一神经网络模型的第n个运算单元，通过所述第一神经网络模型的第N个运算单元输出所述第一编码参数；其中，N≥n；n为大于等于2的正整数。需要说明的是，本发明实施例中提及的运算单元，可以是一个软件模块。
在示例性实施例中，所述第一神经网络模型可以包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet等。
在示例性实施例中，n＝2。但本发明并不限定于此，在下面的举例说明中，以n＝2为例进行举例说明。
其中，VGGNet是一种深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系，成功地构筑了16～19层深的卷积神经网络，证明了增加网络的深度能够在一定程度上影响网络最终的性能，使错误率大幅下降，同时拓展性又很强，迁移到其它图片数据上的泛化性也非常好可以 用来提取图像特征。
VGGNet有几种不同的结构，例如VGG-16和VGG-19模型。在下面的图3中，基于VGG-16模型进行设计改造作为本发明实施例中的用于参数优化的第一神经网络模型。由于图像编码器的变换过程可以认为与神经网络卷积层的功能相似，因此，这里可以将VGG-16模型的前两个卷积层和第一个池化层去掉，得到新的神经网络作为参数优化的神经网络模型。
如图3所示，VGG-16模型可以包括依次连接的第一个运算单元310、第二个运算单元320、第三个运算单元330、第四个运算单元340、第五个运算单元350、第六个运算单元360和第七个运算单元370。其中，第一个运算单元310可以包括第一个卷积层311、第二个卷积层312和第一个池化层313。第二个运算单元320可以包括第三个卷积层321和第四个卷积层322。第三个运算单元330可以包括第二个池化层331、第五个卷积层332、第六个卷积层333和第七个卷积层334。第四个运算单元340可以包括第三个池化层341、第八个卷积层342、第九个卷积层343和第十个卷积层344。第五个运算单元350可以包括第四个池化层351、第十一个卷积层352、第十二个卷积层353和第十三个卷积层354。第六个运算单元360可以包括第五个池化层361、第一全连接层362、第二全连接层363和第三全连接层364。第七个运算单元370包括一个softmax层(归一化层)。
本发明实施例中，待处理图像经过图像编码器的变换处理后输出的频域信息直接输入至VGG-16模型的第二个运算单元320，再依次经过第三个运算单元330、第四个运算单元340、第五个运算单元350、第六个运算单元360和第七个运算单元370的处理，输出第一编码参数。即对频域信息进行处理的网络包含11个卷积层、4个池化层和3个全连接层。相比VGG-16网络的13个卷积层、5个池化层和3个全连接层，本发明实施例中用于对频域信息进行处理的网络层数降低，运算量减小，速度加快，提升了编码过程的实时性。
图4为本发明一示例性实施例提供的ResNet34模型的结构图。
如图4所示，本发明实施例中对频域信息进行处理的第一神经网络模型，还可以利用去掉第一个卷积层和第一个池化层(即图4中的第一个运算单元410)的ResNet模型，即直接将图像编码器输出的频域信息输入至第二个卷 积层，最后经过全连接层(fc，fully connected)输出第一编码参数。
图5为本发明一示例性实施例提供的GoogLeNet模型的结构图。
如图5所示，本发明实施例中对频域信息进行处理的第一神经网络模型，还可以利用去掉第一个运算单元510的GoogLeNet模型。其中，第一个运算单元510可以包括第一个卷积层和第一个最大池化层以及第一个LRN(Local Response Norm)层，最后经过softmax(归一化)层输出第一编码参数。其中，图5中的IM是Inception module(开端模块)的简称。
需要说明的是，虽然上述图3-5例举了基于VGG-16、ResNet34和GoogLeNet模型设计的第一神经网络模型，但本发明并不限定于此，根据具体的应用场景和实际需求，也可以选择其它神经网络进行特征提取，比如CNN(Convolutional Neural Networks，卷积神经网络)的其他变型、RNN(Recurrent Neural Network，循环神经网络)等，例如VGG-19或者同样深度或者级别的网络，比如ResNet50及以上深度级别的网络，GoogLeNet以及一些同级别深层神经网络。此外，虽然上述举例说明中，以去掉第一神经网络模型的第一个运算单元为例对频域信息进行处理，但在其他实施例中，也可以去掉更多的运算单元。
在步骤S130中，将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。
在示例性实施例中，所述第一编码参数可以包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计等中的至少一项。其中，所述典型量化参数设计和量化表设计对应所述图像编码器进行量化处理的参数；所述特征变换精度涉及对应所述图像编码器进行时频转换的参数；所述码率控制的比例设计对应所述图像编码器进行熵编码处理的参数。
本发明实施例提供的图像处理方法，通过获取待处理图像通过图像编码器进行时频转换处理后的频域信息；通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。一方面，通过将图像编码器与第一神经网络模型相结合，设计基于深度学习的图像编码器参数优化方案，能够通过第一神经网络模型能够实现对待处理图像的第一编码参数的自动优化，有效地提高图像 编码效率，且能够节约人力资源，无需人为设计特征和进行复杂的人工计算与参数选取，降低了图像编码器优化的难度和耗时，提高了效率；另一方面，以深度学习为基础，根据待处理图像的频域信息为图像编码器选择最优的第一编码参数，提升了图像编码器的编码效率和性能，可以使得在相同压缩率下获得更高质量的图像编码效果，从而进一步可以实现在同样的评价指标下具有最优的解码效果，实现了将深度学习与图像编码器的内部结构的有效结合。本发明实施例公开了一种基于频域特性的图像编码器参数优化方式，能够应用于图像、视频压缩编码等场景相关的产品。
在示例性实施例中，所述将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，可以包括：将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像的频域信息进行量化处理和熵编码处理。
在示例性实施例中，所述方法还可以包括：所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，获得所述待处理图像的码流信息。
在示例性实施例中，所述方法还可以包括：利用图像解码器对所述码流信息执行解码操作，获得重建的待处理图像。
图6为本发明一示例性实施例提供的基于第一神经网络模型的图像编码器框图。在图6的实施例中，所述第一编码参数可以包括典型量化参数设计和/或量化表设计和码率控制的比例设计。
如图6所示，首先，将待处理图像输入至图像编码器中，进行变换处理后输出所述待处理图像的频域信息；其次，将所述待处理图像的频域信息作为第一神经网络模型的输入；之后，第一神经网络模型可以输出所述待处理图像的第一编码参数；接着，将获得的第一编码参数输入至所述图像编码器中，以对所述待处理图像进行编码。所述图像编码器根据所述第一编码参数(例如典型量化参数设计和/或量化表设计)对所述待处理图像进行量化处理生成所述待处理图像的量化信息，然后再根据所述第一编码参数(例如码率控制的比例设计)对所述量化信息进行熵编码处理，输出码流信息。最后，将码流信息输入至图像解码器进行解码操作，图像解码器输出解码图像，即获得重建后的待处理图像。
在示例性实施例中，所述将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，可以包括：将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像重新进行时频转换并生成新的频域信息，再基于所述第一编码参数对新的频域信息进行量化处理和熵编码处理。通过该种方式，可以实现对时频转换的参数进行反向调整，进一步提高图像编码器的编码性能。下面结合图7的示意性视图进行举例说明。
图7为本发明另一示例性实施例提供的基于第一神经网络模型的图像编码器框图。
如图7所示，待处理图像输入至图像编码器，经过变换操作，进行时频转换处理过程，生成所述待处理图像的频域信息；然后，将所述频域信息输入至第一神经网络模型，通过所述第一神经网络模型对所述频域信息进行处理，输出所述待处理图像的第一编码参数，再将所述第一编码参数输入至图像编码器的变换操作，根据所述第一编码参数对所述待处理图像重新执行时频转换，生成所述待处理图像新的频域信息，再根据所述第一编码参数对所述重新生成新的频域信息进行量化处理，生成所述待处理图像的量化信息；再根据所述第一编码参数对所述量化信息进行熵编码处理，生成码流信息。之后，图像解码器接收所述码流信息，可以解码图像重建所述待处理图像。
在示例性实施例中，所述将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，可以包括：将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述频域信息进行量化处理并生成所述待处理图像的量化信息。
在示例性实施例中，所述方法还可以包括：获取所述待处理图像的量化信息；通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待处理图像的第二编码参数；将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码。
本发明实施例中，可以利用第二神经网络模型对图像编码器量化处理后的量化信息进行处理，输出第二编码参数，进而使得图像编码器可以进一步根据所述第二编码参数对所述待处理图像进行编码。从而可以进一步提高编 码效率和性能。这里的第二神经网络模型可以采用任意一种或者多种神经网络结构，本发明对此不作限定。
在示例性实施例中，所述第二神经网络可以包括依次连接的M个运算单元。其中，所述通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待处理图像的第二编码参数，可以包括：将所述量化信息输入至所述第二神经网络模型的第m个运算单元，通过所述第二神经网络模型的第M个运算单元输出所述第二编码参数；其中，M≥m；m为大于等于2的正整数。例如m可以等于2或者3，但本发明并不限定于此。
在示例性实施例中，所述第二神经网络模型可以包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet模型等。可以参照上述图3-5的实施例中有关第一神经网络模型的描述。
在示例性实施例中，所述第二编码参数可以包括典型量化参数设计、量化表设计、码率控制的比例设计等中的至少一项。
在示例性实施例中，所述将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码，可以包括：将所述第二编码参数发送至所述图像编码器，以使所述图像编码根据所述第二编码参数(例如典型量化参数设计和/或量化表设计)对所述待处理图像的频域信息重新进行量化处理并生成新的量化信息，再基于所述第二编码参数(例如码率控制的比例设计)对新的量化信息进行熵编码处理。通过这种方式，可以实现对量化处理的参数进行反向调整，进一步提高图像编码器的编码性能。
在示例性实施例中，所述将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码，可以包括：将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述量化信息进行熵编码处理。下面结合图8对其进行举例说明。
图8为本发明一示例性实施例提供的基于第一神经网络模型和第二神经网络模型的图像编码器框图。图8的实施例中，所述第一编码参数可以包括典型量化参数设计和/或量化表设计；所述第二编码参数可以包括码率控制的比例设计。
如图8所示，待处理图像输入至图像编码器，经过变换操作，进行时频转换处理过程，生成所述待处理图像的频域信息；然后，将所述频域信息输入至第一神经网络模型，通过所述第一神经网络模型对所述频域信息进行处理，输出所述待处理图像的第一编码参数，再将所述第一编码参数输入至图像编码器的量化操作，根据所述第一编码参数对所述频域信息进行量化处理，生成所述待处理图像的量化信息；再根据所述第一编码参数对所述量化信息进行熵编码处理，生成码流信息。之后，图像解码器接收所述码流信息，可以解码图像重建所述待处理图像。
在深度学习中，对神经网络进行训练，目的是让神经网络具有特征提取能力，神经网络每一层都在上一层的基础上提取不同的特征信息，深层的神经网络，可以提取高维度的特征，建立样本与目标之间的映射关系，完成复杂的分类、回归等任务。在图像应用领域，神经网络的卷积核可以看作是一系列的滤波器，初始卷积层可以看作是对图像频域特征的提取。同时，如前面所述，图像编码器的变换过程是对图像进行频率特征的提取，分离不同频段的频域信息，也就是说，变换过程也是一种滤波操作。
本发明实施例中，考虑到神经网络的卷积过程与图像编码器编码流程中变换过程的相似性，将图像编码器变换(例如，DCT(Discrete Cosine Transform，离散余弦变换)、DWT(Discrete Wavelet Transform，离散小波变换)等)后的输出作为第一神经网络模型的输入。这里，通过将频域信息作为第一神经网络模型的输入，一方面可以减少神经网络的层数，加快训练过程，另一方面，可以将图像编码器的内部结构与深度学习更好的结合起来，更好的发挥深度学习的优势，提高深度学习在图像编码器参数优化任务上的应用能力。
在示例性实施例中，在所述通过预设的第一神经网络模型对所述频域信息进行处理之前，所述方法还可以包括：通过预设的第一训练数据集对所述第一神经网络模型进行训练。这里所述第一训练数据集可以包括若干已标注其第一编码参数的图像的频域信息。
在示例性实施例中，所述第一训练数据集可以通过以下步骤获得：将若干已标注其第一编码参数的图像进行时频转换，获得其频域信息；根据所述已标注其第一编码参数的图像的频域信息形成所述第一训练数据集。
例如，预先为图像数据集准备K(K为大于等于1的正整数)组最优的第一编码参数，图像数据集中至少部分图像对应的最优的第一编码参数是已知的，即至少部分图像标签已知。
将已知标签的图像，在时频变换后获得对应的频域信息，作为所述第一神经网络模型的第一训练数据集，使第一神经网络模型学习图像特征与最优的第一编码参数之间的映射关系。多次迭代后，完成网络训练，实现了图像与最优的第一编码参数映射关系的建模。
训练完成后的第一神经网络模型，已经具备图像编码器的参数优化的能力。使用时，对于每一张待处理图像，经过图像编码器的变换处理后，将获得的频域信息输入到所述第一神经网络模型，可以输出其最优的第一编码参数。
在示例性实施例中，在所述通过预设的第二神经网络模型对所述量化信息进行处理之前，所述方法还可以包括：通过预设的第二训练数据集对所述第二神经网络模型进行训练。这里所述第二训练数据集包括若干已标注其第二编码参数的图像的量化信息。
在示例性实施例中，所述第二训练数据集可以通过以下步骤获得：将若干已标注其第二编码参数的图像进行时频转换和量化处理，获得其量化信息；根据所述已标注其第二编码参数的图像的量化信息形成所述第二训练数据集。
例如，预先为图像数据集准备P(P为大于等于1的正整数)组最优的第二编码参数，图像数据集中至少部分图像对应的最优的第二编码参数是已知的，即至少部分图像标签已知。
将已知标签的图像，在时频变换和量化处理后获得对应的量化信息，作为所述第二神经网络模型的第二训练数据集，使第二神经网络模型学习图像特征与最优的第二编码参数之间的映射关系。多次迭代后，完成网络训练，实现了图像与最优的第二编码参数映射关系的建模。
训练完成后的第二神经网络模型，已经具备图像编码器的参数优化的能力。使用时，对于每一张待处理图像，经过图像编码器的变换处理和量化处理后，将获得的量化信息输入到所述第二神经网络模型，可以输出其最优的第二编码参数。
在示例性实施例中，所述方法还可以包括：若所述待处理图像为YUV格式，则确定所述待处理图像的U通道和V通道的维度与Y通道的维度；若所述U通道和V通道的维度与所述Y通道的维度不一致，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
在示例性实施例中，所述方法还可以包括：若所述待处理图像为预设的格式，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
在示例性实施例中，当所述预设的格式为YUV422格式或者YUV420格式，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
目前，图像编码器输入的图像格式基本都是YUV格式，图像编码器主要的YUV格式有YUV444、YUV422、YUV420等格式。因为YUV422、YUV420两种数据格式下，UV分量存在着下采样的操作，导致数据在每个通道维度不一致。
在示例性实施例中，所述对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致，可以包括：对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同。
在示例性实施例中，所述对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同，可以包括：对所述待处理图像的所述U通道和V通道进行双线性插值操作，使得所述待处理图像的Y、U和V三通道的维度相同。
在示例性实施例中，对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致，可以包括：对所述待处理图像的所述Y通道进行下采样操作，使得所述待处理图像的Y、U和V三通道的维度相同。
本发明实施例中，在数据预处理部分，对于YUV三通道维度不同的问题，可以采用将U和V通道上采样的方式，将三通道统一到Y的维度来解决。例如，可以通过对U和V通道进行双线性插值，将三通道统一到Y的 维度。或者，还可以对Y通道进行下采样，将三通道统一到UV的维度等方式来解决。本发明对此不作限定。
在示例性实施例中，获取待处理图像通过图像编码器进行时频转换处理后的频域信息，可以包括：将维度一致的所述待处理图像的Y、U和V通道分别进行DCT变换，生成Y、U和V通道的频域信息。
在示例性实施例中，获取待处理图像通过图像编码器进行时频转换处理后的频域信息，可以包括：将维度一致的所述待处理图像的Y、U和V通道分别进行DWT变换，生成Y、U和V通道的频域信息。
本发明实施例中，可以采用离散余弦变换(DCT)或者离散小波变换(DWT)等实现变换处理。下面分别对其进行举例说明。
对所述待处理图像来说，可以对其进行二维的DCT变换。例如，将所述待处理图像划分为8×8大小的块，每一块分别进行如下的变换过程：
Figure PCTCN2019089588-appb-000001
其中，
Figure PCTCN2019089588-appb-000002
上述公式中，C u，C v分别为第一变换参数和第二变换参数。
二维的离散小波变换，输入的待处理图像可以看做是x[m,n]，m和n均为大于等于1的正整数。DWT通过高通滤波器h[n]和低通滤波器g[n]连续多次对所述待处理图像进行不同频率的提取。每一次DWT过程如下：
首先对n方向做高通和低通滤波：
Figure PCTCN2019089588-appb-000003
Figure PCTCN2019089588-appb-000004
接着对v 1,L[m,n]和v 1,H[m,n]沿着m方向做高通和低通滤波。
Figure PCTCN2019089588-appb-000005
Figure PCTCN2019089588-appb-000006
Figure PCTCN2019089588-appb-000007
Figure PCTCN2019089588-appb-000008
在示例性实施例中，在所述通过预设的第一神经网络模型对所述频域信息进行处理之前，还可以包括：将所述待处理图像的Y、U和V通道的频域信息进行级联。
图9为本发明一示例性实施例提供的图像信息的处理流程图。在图9的实施例中，以对U和V通道分别进行上采样为例进行举例说明。
如图9所示，Y通道直接进行DCT/DWT变换，U和V通道分别进行上采样操作，使得Y、U和V三通道维度相同，然后再进行DCT/DWT变换，保持同一维度，将YUV变换后的频域信息进行级联，输出频域信息作为第一神经网络模型的输入。这样，第一神经网络模型的输入为DCT/DWT变换后的系数矩阵，也就是频域信息。变换过程不改变矩阵的维度，即对于每张待处理图像，变换后的系数矩阵仍可以看作是三通道数据信息。因此，DCT/DWT变换后，系数矩阵可以直接作为第一神经网络模型的输入。
本发明实施例提供的图像处理方法，利用图像编码器编码流程中的变换过程与深度学习特征提取之间的相似性，使用图像编码器流程中变换环节输出的频域信息作为神经网络模型的输入，将图像编码器的编码过程中的时频变换部分与神经网络模型相结合，能够使用一种新的层数更少的神经网络模型来提取图像特征，一方面，通过减少网络层数，可以减少处理的数据量，例如训练过程中的权重变少，可以缩短网络的训练时间和图像编码器的优化时间，更加节省时间。另一方面，通过网络训练，本发明实施例提供的神经网络模型可以自动建立图像特征与最优的编码参数之间的映射关系，使得可以根据输入的待处理图像自适应选择最优的编码参数模式，去指导图像编码器进行图像编码，简化了编码参数优化，实现了将深度学习应用于图像编码器参数优化任务。同时，通过神经网络模型的学习，可以利用神经网络模型针对每一张待处理图像，自适应产生其对应的最优的编码参数，在提升图像 编码器参数优化的效率的同时，能够针对每张图像的特点进行针对性优化，考虑了图像之间的差异性，从而使得图像编码器的编码性能得到改善，能够使得解码后的图像质量得到较大提升。
图10为本发明一示例性实施例提供的图像处理设备的结构示意图。如图10所示，所述图像处理设备可以包括：存储器101和处理器102。其中，所述存储器101可以用于存储程序代码。所述处理器102可以调用所述程序代码，当程序代码被执行时，可以用于执行以下操作：获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。
本发明实施例提供的图像处理设备，通过获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。一方面，通过将图像编码器与第一神经网络模型相结合，设计基于深度学习的图像编码器参数优化方案，能够通过第一神经网络模型能够实现对待处理图像的第一编码参数的自动优化，有效地提高图像编码效率，且能够节约人力资源，无需人为设计特征和进行复杂的人工计算与参数选取，降低了图像编码器优化的难度和耗时，提高了效率；另一方面，以深度学习为基础，根据待处理图像的频域信息为图像编码器选择最优的第一编码参数，提升了图像编码器的编码效率和性能，可以使得在相同压缩率下获得更高质量的图像编码效果，从而进一步可以实现在同样的评价指标下具有最优的解码效果，实现了深度学习与图像编码器内部结构的有效结合。本发明实施例公开了一种基于频域特性的图像编码器参数优化方式，能够应用于图像、视频压缩编码等场景相关的产品。
进一步地，在上述任一实施例的基础上，所述第一神经网络模型可以包括依次连接的N个运算单元。其中，所述处理器在通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数时，可以用于：将所述频域信息输入至所述第一神经网络模型的第n个运算单元， 通过所述第一神经网络模型的第N个运算单元输出所述第一编码参数。其中，N≥n；n为大于等于2的正整数。
进一步地，在上述任一实施例的基础上，所述第一神经网络模型可以包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet模型。
进一步地，在上述任一实施例的基础上，n＝2。
进一步地，在上述任一实施例的基础上，所述处理器在所述通过预设的第一神经网络模型对所述频域信息进行处理之前，还可以用于：通过预设的第一训练数据集对所述第一神经网络模型进行训练；其中，所述第一训练数据集包括若干已标注其第一编码参数的图像的频域信息。
进一步地，在上述任一实施例的基础上，所述处理器可以通过执行以下步骤获得所述第一训练数据集：将若干已标注其第一编码参数的图像进行时频转换获得其频域信息；根据所述已标注其第一编码参数的图像的频域信息形成所述第一训练数据集。
进一步地，在上述任一实施例的基础上，所述处理器还可以用于：若所述待处理图像为YUV格式，则确定所述待处理图像的U通道和V通道的维度与Y通道的维度；若所述U通道和V通道的维度与所述Y通道的维度不一致，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
进一步地，在上述任一实施例的基础上，所述处理器还可以用于：若所述待处理图像为预设的格式，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
进一步地，在上述任一实施例的基础上，所述处理器在当所述预设的格式为YUV422格式或者YUV420格式时，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
进一步地，在上述任一实施例的基础上，所述处理器在对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致时，可以用于：对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同。
进一步地，在上述任一实施例的基础上，所述处理器在对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同时，可以用于：对所述待处理图像的所述U通道和V通道进行双线性插值操作，使得所述待处理图像的Y、U和V三通道的维度相同。
进一步地，在上述任一实施例的基础上，所述处理器在对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致时，可以用于：对所述待处理图像的所述Y通道进行下采样操作，使得所述待处理图像的Y、U和V三通道的维度相同。
进一步地，在上述任一实施例的基础上，所述处理器在获取待处理图像通过图像编码器进行时频转换处理后的频域信息时，可以用于：将维度一致的所述待处理图像的Y、U和V通道分别进行DCT变换，生成Y、U和V通道的频域信息。
进一步地，在上述任一实施例的基础上，所述处理器在获取待处理图像通过图像编码器进行时频转换处理后的频域信息时，可以用于：将维度一致的所述待处理图像的Y、U和V通道分别进行DWT变换，生成Y、U和V通道的频域信息。
进一步地，在上述任一实施例的基础上，所述处理器在通过预设的第一神经网络模型对所述频域信息进行处理之前，还可以用于：将所述待处理图像的Y、U和V通道的频域信息进行级联。
进一步地，在上述任一实施例的基础上，所述第一编码参数包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计中的至少一项。
进一步地，在上述任一实施例的基础上，所述处理器在将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码时，可以用于：将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像的频域信息进行量化处理和熵编码处理。
进一步地，在上述任一实施例的基础上，所述处理器在将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参 数对所述待处理图像进行编码时，可以用于：将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述频域信息进行量化处理并生成所述待处理图像的量化信息。
进一步地，在上述任一实施例的基础上，所述处理器还可以用于：获取所述待处理图像的量化信息；通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待处理图像的第二编码参数；将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码。
进一步地，在上述任一实施例的基础上，所述处理器在将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码时，可以用于：将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述量化信息进行熵编码处理。
进一步地，在上述任一实施例的基础上，所述第二神经网络包括依次连接的M个运算单元；其中，所述处理器在通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待处理图像的第二编码参数时，可以用于：将所述量化信息输入至所述第二神经网络模型的第m个运算单元，通过所述第二神经网络模型的第M个运算单元输出所述第二编码参数；其中，M≥m；m为大于等于2的正整数。
进一步地，在上述任一实施例的基础上，所述第二神经网络模型可以包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet模型。
进一步地，在上述任一实施例的基础上，所述第二编码参数可以包括典型量化参数设计、量化表设计、码率控制的比例设计中的至少一项。
进一步地，在上述任一实施例的基础上，所述处理器还可以用于：所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，获得所述待处理图像的码流信息。
进一步地，在上述任一实施例的基础上，所述处理器还可以用于：利用图像解码器对所述码流信息执行解码操作，获得重建的待处理图像。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程 序，所述计算机程序被处理器执行以实现上述实施例所述的图像处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (51)

  1. 一种图像处理方法，其特征在于，包括：
    获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；
    通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；
    将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。
  2. 根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括依次连接的N个运算单元；其中，所述通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数，包括：
    将所述频域信息输入至所述第一神经网络模型的第n个运算单元，通过所述第一神经网络模型的第N个运算单元输出所述第一编码参数；
    其中，N≥n；n为大于等于2的正整数。
  3. 根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet模型。
  4. 根据权利要求2所述的方法，其特征在于，n＝2。
  5. 根据权利要求1至4任一项所述的方法，其特征在于，在所述通过预设的第一神经网络模型对所述频域信息进行处理之前，所述方法还包括：
    通过预设的第一训练数据集对所述第一神经网络模型进行训练；其中，所述第一训练数据集包括若干已标注其第一编码参数的图像的频域信息。
  6. 根据权利要求5所述的方法，其特征在于，所述第一训练数据集通过以下步骤获得：
    将若干已标注其第一编码参数的图像进行时频转换，获得其频域信息；
    根据所述已标注其第一编码参数的图像的频域信息形成所述第一训 练数据集。
  7. 根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
    若所述待处理图像为YUV格式，则确定所述待处理图像的U通道和V通道的维度与Y通道的维度；
    若所述U通道和V通道的维度与所述Y通道的维度不一致，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
  8. 根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
    若所述待处理图像为预设的格式，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
  9. 根据权利要求8所述的方法，其特征在于，当所述预设的格式为YUV422格式或者YUV420格式，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
  10. 根据权利要求7至9任一项所述的方法，其特征在于，所述对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致，包括：
    对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同。
  11. 根据权利要求10所述的方法，其特征在于，所述对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同，包括：
    对所述待处理图像的所述U通道和V通道进行双线性插值操作，使得所述待处理图像的Y、U和V三通道的维度相同。
  12. 根据权利要求7至9任一项所述的方法，其特征在于，所述对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致，包括：
    对所述待处理图像的所述Y通道进行下采样操作，使得所述待处理图像的Y、U和V三通道的维度相同。
  13. 根据权利要求7至12任一项所述的方法，其特征在于，所述获取待处理图像的频域信息，包括：
    将维度一致的所述待处理图像的Y、U和V通道分别进行DCT变换，生成Y、U和V通道的频域信息。
  14. 根据权利要求7至12任一项所述的方法，其特征在于，所述获取待处理图像的频域信息，包括：
    将维度一致的所述待处理图像的Y、U和V通道分别进行DWT变换，生成Y、U和V通道的频域信息。
  15. 根据权利要求13或14所述的方法，其特征在于，在所述通过预设的第一神经网络模型对所述频域信息进行处理之前，所述方法还包括：
    将所述待处理图像的Y、U和V通道的频域信息进行级联。
  16. 根据权利要求1至15任一项所述的方法，其特征在于，所述第一编码参数包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计中的至少一项。
  17. 根据权利要求1至15任一项所述的方法，其特征在于，所述将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，包括：
    将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像的频域信息进行量化处理和熵编码处理。
  18. 根据权利要求1至15任一项所述的方法，其特征在于，所述将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，包括：
    将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述频域信息进行量化处理并生成所述待处理图像的量化信息。
  19. 根据权利要求18所述的方法，其特征在于，所述方法还包括：
    获取所述待处理图像的量化信息；
    通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待处理图像的第二编码参数；
    将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码。
  20. 根据权利要求19所述的方法，其特征在于，所述将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码，包括：
    将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述量化信息进行熵编码处理。
  21. 根据权利要求19所述的方法，其特征在于，所述第二神经网络包括依次连接的M个运算单元；其中，所述通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待处理图像的第二编码参数，包括：
    将所述量化信息输入至所述第二神经网络模型的第m个运算单元，通过所述第二神经网络模型的第M个运算单元输出所述第二编码参数；
    其中，M≥m；m为大于等于2的正整数。
  22. 根据权利要求19所述的方法，其特征在于，所述第二神经网络模型包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet模型。
  23. 根据权利要求19所述的方法，其特征在于，所述第二编码参数包括典型量化参数设计、量化表设计、码率控制的比例设计中的至少一项。
  24. 根据权利要求1至17任一项所述的方法，其特征在于，所述方法还包括：
    所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，获得所述待处理图像的码流信息。
  25. 根据权利要求24所述的方法，其特征在于，还包括：
    利用图像解码器对所述码流信息执行解码操作，获得重建的待处理图像。
  26. 一种图像处理设备，其特征在于，包括：存储器和处理器；
    所述存储器用于存储程序代码；
    所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以 下操作：
    获取待处理图像的频域信息，所述频域信息通过图像编码器进行时频转换处理获得；
    通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数；
    将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码。
  27. 根据权利要求26所述的设备，其特征在于，所述第一神经网络模型包括依次连接的N个运算单元；其中，所述处理器在通过预设的第一神经网络模型对所述频域信息进行处理，获得所述待处理图像的第一编码参数时，用于：
    将所述频域信息输入至所述第一神经网络模型的第n个运算单元，通过所述第一神经网络模型的第N个运算单元输出所述第一编码参数；
    其中，N≥n；n为大于等于2的正整数。
  28. 根据权利要求26所述的设备，其特征在于，所述第一神经网络模型包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet模型。
  29. 根据权利要求27所述的设备，其特征在于，n＝2。
  30. 根据权利要求26至29任一项所述的设备，其特征在于，所述处理器在通过预设的第一神经网络模型对所述频域信息进行处理之前，还用于：
    通过预设的第一训练数据集对所述第一神经网络模型进行训练；其中，所述第一训练数据集包括若干已标注其第一编码参数的图像的频域信息。
  31. 根据权利要求30所述的设备，其特征在于，所述处理器通过执行以下步骤获得所述第一训练数据集：
    将若干已标注其第一编码参数的图像进行时频转换，获得其频域信息；
    根据所述已标注其第一编码参数的图像的频域信息形成所述第一训练数据集。
  32. 根据权利要求26至31任一项所述的设备，其特征在于，所述处理器还用于：
    若所述待处理图像为YUV格式，则确定所述待处理图像的U通道和V通道的维度与Y通道的维度；
    若所述U通道和V通道的维度与所述Y通道的维度不一致，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
  33. 根据权利要求26至31任一项所述的设备，其特征在于，所述处理器还用于：
    若所述待处理图像为预设的格式，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
  34. 根据权利要求33所述的设备，其特征在于，所述处理器还用于当所述预设的格式为YUV422格式或者YUV420格式，则对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致。
  35. 根据权利要求32至34任一项所述的设备，其特征在于，所述处理器在对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致时，用于：
    对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同。
  36. 根据权利要求35所述的设备，其特征在于，所述处理器在对所述待处理图像的所述U通道和V通道进行上采样操作，使得所述待处理图像的Y、U和V三通道的维度相同时，用于：
    对所述待处理图像的所述U通道和V通道进行双线性插值操作，使得所述待处理图像的Y、U和V三通道的维度相同。
  37. 根据权利要求32至34任一项所述的设备，其特征在于，所述处理器在对所述待处理图像执行预处理操作，以使得所述待处理图像的所述U通道和V通道的维度与所述Y通道的维度一致时，用于：
    对所述待处理图像的所述Y通道进行下采样操作，使得所述待处理 图像的Y、U和V三通道的维度相同。
  38. 根据权利要求32至37任一项所述的设备，其特征在于，所述处理器在获取待处理图像的频域信息时，用于：
    将维度一致的所述待处理图像的Y、U和V通道分别进行DCT变换，生成Y、U和V通道的频域信息。
  39. 根据权利要求32至37任一项所述的设备，其特征在于，所述处理器在获取待处理图像的频域信息时，用于：
    将维度一致的所述待处理图像的Y、U和V通道分别进行DWT变换，生成Y、U和V通道的频域信息。
  40. 根据权利要求38或39所述的设备，其特征在于，所述处理器在通过预设的第一神经网络模型对所述频域信息进行处理之前，还用于：
    将所述待处理图像的Y、U和V通道的频域信息进行级联。
  41. 根据权利要求26至40任一项所述的设备，其特征在于，所述第一编码参数包括典型量化参数设计、量化表设计、特征变换精度设计、码率控制的比例设计中的至少一项。
  42. 根据权利要求26至40任一项所述的设备，其特征在于，所述处理器在将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码时，用于：
    将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像的频域信息进行量化处理和熵编码处理。
  43. 根据权利要求26至40任一项所述的设备，其特征在于，所述处理器在将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述待处理图像进行编码时，用于：
    将所述第一编码参数发送至所述图像编码器，以使所述图像编码器根据所述第一编码参数对所述频域信息进行量化处理并生成所述待处理图像的量化信息。
  44. 根据权利要求43所述的设备，其特征在于，所述处理器还用于：
    获取所述待处理图像的量化信息；
    通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待 处理图像的第二编码参数；
    将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码。
  45. 根据权利要求44所述的设备，其特征在于，所述处理器在将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述待处理图像进行编码时，用于：
    将所述第二编码参数发送至所述图像编码器，以使所述图像编码器根据所述第二编码参数对所述量化信息进行熵编码处理。
  46. 根据权利要求44所述的设备，其特征在于，所述第二神经网络包括依次连接的M个运算单元；其中，所述处理器在通过预设的第二神经网络模型对所述量化信息进行处理，获得所述待处理图像的第二编码参数时，用于：
    将所述量化信息输入至所述第二神经网络模型的第m个运算单元，通过所述第二神经网络模型的第M个运算单元输出所述第二编码参数；
    其中，M≥m；m为大于等于2的正整数。
  47. 根据权利要求44所述的设备，其特征在于，所述第二神经网络模型包括如下至少一种：VGG-16模型，VGG-19模型，ResNet模型，GoogLeNet模型。
  48. 根据权利要求44所述的设备，其特征在于，所述第二编码参数包括典型量化参数设计、量化表设计、码率控制的比例设计中的至少一项。
  49. 根据权利要求26至42任一项所述的设备，其特征在于，所述处理器还用于：
    所述图像编码器根据所述第一编码参数对所述待处理图像进行编码，获得所述待处理图像的码流信息。
  50. 根据权利要求49所述的设备，其特征在于，所述处理器还用于：
    利用图像解码器对所述码流信息执行解码操作，获得重建的待处理图像。
  51. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-25任一项所述的图像处理方法。
PCT/CN2019/089588 2019-05-31 2019-05-31 图像处理方法、设备及计算机可读存储介质 Ceased WO2020237646A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980008045.4A CN111630570A (zh) 2019-05-31 2019-05-31 图像处理方法、设备及计算机可读存储介质
PCT/CN2019/089588 WO2020237646A1 (zh) 2019-05-31 2019-05-31 图像处理方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/089588 WO2020237646A1 (zh) 2019-05-31 2019-05-31 图像处理方法、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2020237646A1 true WO2020237646A1 (zh) 2020-12-03

Family

ID=72261321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/089588 Ceased WO2020237646A1 (zh) 2019-05-31 2019-05-31 图像处理方法、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111630570A (zh)
WO (1) WO2020237646A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669202A (zh) * 2020-12-25 2021-04-16 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112749802A (zh) * 2021-01-25 2021-05-04 深圳力维智联技术有限公司 神经网络模型的训练方法、装置以及计算机可读存储介质
CN114219869A (zh) * 2021-11-16 2022-03-22 上海电力大学 一种基于dct的图像特征编码方法
CN115412731A (zh) * 2021-05-11 2022-11-29 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330567B (zh) * 2020-11-23 2023-07-21 中国建设银行股份有限公司 图像处理方法和装置
CN115225200A (zh) * 2021-04-21 2022-10-21 华为技术有限公司 一种数据处理的方法以及装置
CN113643261B (zh) * 2021-08-13 2023-04-18 江南大学 一种基于频率注意网络的胸肺部疾病诊断方法
CN113691818B (zh) * 2021-08-25 2023-06-30 深圳龙岗智能视听研究院 视频目标检测方法、系统、存储介质、计算机视觉终端
CN114745556B (zh) * 2022-02-07 2024-04-02 浙江智慧视频安防创新中心有限公司 编码方法、装置、数字视网膜系统、电子设备及存储介质
CN115361555B (zh) * 2022-06-30 2026-02-24 浙江大华技术股份有限公司 图像编码方法、图像编码方法、装置以及计算机存储介质
CN116432753A (zh) * 2023-04-07 2023-07-14 中国第一汽车股份有限公司 多任务集成推理网络的确定方法、装置、存储介质和车辆
CN116600106B (zh) * 2023-05-18 2024-04-09 深圳聚源视芯科技有限公司 一种动态调整压缩率的图像压缩方法及系统
CN116506622B (zh) * 2023-06-26 2023-09-08 瀚博半导体(上海)有限公司 模型训练方法及视频编码参数优化方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360202A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Banding prediction for video encoding
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN109325595A (zh) * 2018-10-23 2019-02-12 天津天地伟业信息系统集成有限公司 基于交通场景的jpeg自学习量化方法和装置
CN109819252A (zh) * 2019-03-20 2019-05-28 福州大学 一种不依赖gop结构的量化参数级联方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018099579A1 (en) * 2016-12-02 2018-06-07 Huawei Technologies Co., Ltd. Apparatus and method for encoding an image
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360202A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Banding prediction for video encoding
CN109325595A (zh) * 2018-10-23 2019-02-12 天津天地伟业信息系统集成有限公司 基于交通场景的jpeg自学习量化方法和装置
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN109819252A (zh) * 2019-03-20 2019-05-28 福州大学 一种不依赖gop结构的量化参数级联方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669202A (zh) * 2020-12-25 2021-04-16 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112669202B (zh) * 2020-12-25 2023-08-08 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112749802A (zh) * 2021-01-25 2021-05-04 深圳力维智联技术有限公司 神经网络模型的训练方法、装置以及计算机可读存储介质
CN112749802B (zh) * 2021-01-25 2024-02-09 深圳力维智联技术有限公司 神经网络模型的训练方法、装置以及计算机可读存储介质
CN115412731A (zh) * 2021-05-11 2022-11-29 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN114219869A (zh) * 2021-11-16 2022-03-22 上海电力大学 一种基于dct的图像特征编码方法

Also Published As

Publication number Publication date
CN111630570A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111630570A (zh) 图像处理方法、设备及计算机可读存储介质
CN111669587A (zh) 一种视频图像的拟态压缩方法、装置、存储介质及终端
CN111641832A (zh) 编码方法、解码方法、装置、电子设备及存储介质
WO2023130333A1 (zh) 编解码方法、编码器、解码器以及存储介质
CN105430416A (zh) 一种基于自适应稀疏域编码的指纹图像压缩方法
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN114979665B (zh) 图像压缩方法、装置、电子设备和存储介质
CN118608799A (zh) 基于多尺度非对称编解码网络的遥感图像压缩方法
CN113079378B (zh) 图像处理方法、装置和电子设备
CN117459737B (zh) 一种图像预处理网络的训练方法和图像预处理方法
CN115866252B (zh) 一种图像压缩方法、装置、设备及存储介质
CN119172538B (zh) 一种基于二维不可分小波变换的端到端图像无损压缩方法
Li et al. Multiple description coding based on convolutional auto-encoder
CN115361555A (zh) 图像编码方法、图像编码方法、装置以及计算机存储介质
CN115883842B (zh) 滤波及编解码方法、装置、计算机可读介质及电子设备
CN116320458A (zh) 一种深度学习图像编解码网络的蒸馏训练方法与系统
CN121442091B (zh) 基于小波域双分支的深度学习图像压缩方法及系统
CN111080729B (zh) 基于Attention机制的训练图片压缩网络的构建方法及系统
WO2024234593A1 (zh) 数据编码、解码方法、装置、计算机设备和存储介质
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质
CN111131834B (zh) 可逆自编码器、编解码方法以及图像压缩方法、装置
CN101668204A (zh) 免疫克隆图像压缩方法
CN116260969B (zh) 一种自适应的通道渐进式编解码方法、装置、终端及介质
CN114022575B (zh) 基于单目深度估计的深度图压缩方法、装置、设备及介质
CN117392248A (zh) 基于循环神经网络和CiaoSR的图像压缩重建系统及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19930884

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19930884

Country of ref document: EP

Kind code of ref document: A1