WO2020206630A1 - 用于图像复原的神经网络及其训练与使用方法 - Google Patents

用于图像复原的神经网络及其训练与使用方法 Download PDF

Info

Publication number
WO2020206630A1
WO2020206630A1 PCT/CN2019/082049 CN2019082049W WO2020206630A1 WO 2020206630 A1 WO2020206630 A1 WO 2020206630A1 CN 2019082049 W CN2019082049 W CN 2019082049W WO 2020206630 A1 WO2020206630 A1 WO 2020206630A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
sub
layer
encoder
input
Prior art date
Application number
PCT/CN2019/082049
Other languages
English (en)
French (fr)
Inventor
蔡剑锐
李志强
曹子晟
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980005463.8A priority Critical patent/CN111316316A/zh
Priority to PCT/CN2019/082049 priority patent/WO2020206630A1/zh
Publication of WO2020206630A1 publication Critical patent/WO2020206630A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention relates to the field of image processing, in particular to a neural network used for image restoration and a training and use method thereof.
  • image deblurring the purpose of image deblurring is to recover the potentially clear image y from the blurred observation image x, and the relationship between them can be expressed as Among them, k is an unknown blur kernel (uniform or non-uniform), n is additional white Gaussian noise, Represents the convolution operation. This is a problem to be solved in the reverse direction, and it is necessary to use additional information in the potentially clear graph to constrain the solution space in order to better solve it.
  • optimization-based methods there are two types of ways to constrain the solution space by using additional information in the potentially clear graph: optimization-based methods and deep learning-based methods.
  • optimization-based methods have the disadvantage of time-consuming optimization iteration;
  • the existing deep learning method only learns the direct mapping from the blurred image to the clear image, without using the prior knowledge of the collected image.
  • the invention provides a neural network for image restoration and a training and use method thereof.
  • the present invention is implemented through the following technical solutions:
  • a neural network for image restoration including:
  • the input of the sub-network is the image to be restored, and the sub-network is provided with a prior embedding layer, the prior embedding layer is used to extract specific information from the input information input to the prior embedding layer Channel features, and obtain a first feature map from the input information, and perform feature adjustment and output on the first feature map according to the specific channel features, wherein the input information is the image feature information of the image to be restored .
  • an image restoration method including:
  • the original image to be restored is input into a neural network for image restoration, the neural network includes at least one sub-network, and the sub-network is provided with a prior embedding layer, wherein the prior embedding layer is used to input the
  • the specific channel feature and the first feature map are obtained from the input information of the prior embedding layer, and are used to perform feature adjustment and output on the first feature map obtained by the prior embedding layer according to the specific channel feature, and the input information is Image feature information of the image to be restored;
  • a training method of a neural network for image restoration comprising:
  • the neural network including at least one sub-network, the sub-network is provided with a prior embedding layer, the prior embedding layer is used to obtain the input information from the prior embedding layer Specific channel features, the input information is image feature information of the original training image;
  • the neural network for image restoration of the present invention can learn the specific channel features of the original image to be restored based on the prior embedding layer, and use the learned specific channel features as effective priors.
  • Experience to better perform image restoration obtain clear restored images, improve the performance of image restoration in dynamic scenes; and realize the purpose of adding prior knowledge to the neural network in an end-to-end manner to learn.
  • FIG. 1 is a method flowchart of an image restoration method in an embodiment of the present invention
  • 2A is a schematic diagram of the structure of a neural network for image restoration in an embodiment of the present invention.
  • 2B is a schematic structural diagram of a neural network for image restoration in another embodiment of the present invention.
  • 3A is a schematic structural diagram of a priori embedding layer of a neural network for image restoration in an embodiment of the present invention
  • 3B is a schematic structural diagram of a priori embedding layer of a neural network for image restoration in another embodiment of the present invention.
  • 3C is a schematic structural diagram of a priori embedding layer of a neural network for image restoration in another embodiment of the present invention.
  • FIG. 4 is a structural block diagram of a neural network for image restoration in an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of a first residual network layer of a neural network for image restoration in an embodiment of the present invention
  • FIG. 6 is a schematic structural diagram of a second residual network layer of a neural network for image restoration in an embodiment of the present invention.
  • Fig. 7 is a method flowchart of a neural network training method for image restoration in an embodiment of the present invention.
  • a priori embedding layer 11: first feature extraction layer; 111 first network layer; 112: second network layer; 12: second feature extraction layer; 13: feature adjustment layer; 2: convolutional layer; 3: The first residual network layer; 31: the second residual network layer; 4: down-sampling layer; 5: up-sampling layer.
  • An embodiment of the present invention provides an image restoration method.
  • the image restoration method may include the following steps:
  • S101 Input the original image to be restored into a neural network for image restoration, the neural network includes at least one sub-network, and the sub-network is provided with a prior embedding layer, where the prior embedding layer is used to input the input from the prior embedding layer
  • the specific channel feature and the first feature map are acquired from the information, and are used to perform feature adjustment and output on the first feature map acquired by the prior embedding layer according to the specific channel feature, and the input information is the image feature information of the image to be restored;
  • S102 Obtain a target image output by the neural network after performing image restoration processing on the original image to be restored according to the specific channel characteristics.
  • the neural network for image restoration in the embodiment of the present invention learns the specific channel features of the original image to be restored based on the prior embedding layer, and uses the learned specific channel feature as an effective prior to better perform the original image to be restored. Restore, obtain clear restored images, improve the performance of image restoration in dynamic scenes; and realize the purpose of adding prior knowledge in the neural network in an end-to-end manner to learn.
  • the size of the original image to be restored is H*W, where H is the height of the original image to be restored and W is the width of the original image to be restored; of course, the size of the original image to be restored can also be other. It is not limited to H*W.
  • image restoration may include at least one of the following: image deblurring, image enhancement, image resolution enhancement, image overexposure repair, or others.
  • the sequence of each network layer in the neural network is correspondingly determined according to the flow direction of the features in the neural network.
  • the neural network includes at least one sub-network, and the sub-network is provided with a prior embedding layer 1.
  • the prior embedding layer 1 of this embodiment is used to extract specific information from the input information of the prior embedding layer 1.
  • the channel feature that is, the feature extracted by at least one of the encoder 100 and the decoder 300 includes a specific channel feature.
  • the a priori embedding layer 1 of this embodiment is also used to obtain a first feature map from input information, and perform feature adjustment and output on the first feature map according to specific channel features.
  • the input of the sub-network is the image to be restored, where the image to be restored is related to the original image to be restored.
  • the image to be restored is the original image to be restored; optionally, the image to be restored is the original image to be restored.
  • the input information is the image feature information of the image to be restored.
  • the input information is a feature map of an image.
  • the prior embedding layer 1 includes a first feature extraction layer 11, a second feature extraction layer 12, and a feature adjustment layer 13.
  • the output of the first feature extraction layer 11 and the output of the second feature extraction layer 12 are input Feature adjustment layer 12.
  • the first feature extraction layer 11 is used to extract specific channel features from the input information of the input prior embedding layer 1
  • the second feature extraction layer 12 is used to obtain the first feature map from the input information
  • the feature adjustment The layer is used to output the first feature map after feature adjustment according to specific channel features.
  • the specific channel feature may include at least one of the following: bright channel feature and dark channel feature.
  • the specific channel feature includes a bright channel feature and a dark channel feature; optionally, the specific channel feature includes a bright channel feature or a dark channel feature.
  • the specific channel characteristics may also include others, such as color channel characteristics.
  • the specific channel feature may also include a deformation of the specific channel feature, for example, the specific channel feature is: the difference between the bright channel feature and the dark channel feature.
  • the specific channel features include bright channel features and/or dark channel features.
  • the neural network for image restoration in the embodiment of the present invention learns the bright channel feature and/or dark channel feature of the original image to be restored based on the prior embedding layer, and uses the learned bright channel feature and/or dark channel feature as effective A priori to better restore the original image to be restored, obtain a clear restored image, improve the performance of image restoration in dynamic scenes; and realize the purpose of adding prior knowledge to the neural network in an end-to-end manner to learn .
  • the first feature extraction layer 11 includes a first network layer and/or a second network layer.
  • the first feature extraction layer 11 includes a first network layer 111 and /Or the second network layer 112.
  • the first network layer 111 extracts bright channel features from the input information
  • the second network layer 112 extracts dark channel features from the input information.
  • the input information includes multiple area blocks.
  • the first network layer 111 extracting the bright channel feature from the input information includes acquiring the maximum value of the feature values of each area block in the input information.
  • the first network layer 111 includes at least one convolutional layer, and the working process of the first network layer 111 may include the following steps:
  • the first network layer 111 will obtain the characteristics of the bright channel from the input information
  • the input feature map can be divided into multiple regional blocks according to the first preset division strategy. For example, according to the first preset size and the first preset sliding step length, the feature map is divided into multiple regional blocks. If the area block is too small, it will lead to a large amount of calculation; if the area block is too large, the determined bright channel feature is not obvious, so the area block of this embodiment should not be too small or too large.
  • the size of the area block of each sub-network matches the size of the image to be restored input to the sub-network.
  • the first preset size may be 31*31, 19*19, 11*11 or others.
  • the first preset sliding step length may be 1 step length, 2 step lengths or other numerical values.
  • the first network layer 111 will obtain the maximum value of the bright channel features of each area block, and use the maximum value as the bright channel feature of the corresponding area block.
  • h and w are the height and width of the input feature map of the first network layer 111, respectively;
  • c represents the number of channels of the input feature map of the first network layer 111
  • ⁇ represents the characteristics of the bright channel
  • i is the label of the area block
  • ⁇ [h, w, c] represents the input feature map of the first network layer 111.
  • the second network layer 112 extracting dark channel features from the input information includes obtaining the smallest value among the feature values of each area block in the input information.
  • the second network layer 112 includes at least one convolutional layer, and the working process of the second network layer 112 may include the following steps:
  • the second network layer 112 will obtain the characteristics of the dark channel from the input information
  • the input feature map can be divided into multiple regional blocks according to the second preset division strategy. For example, according to the second preset size and the second preset sliding step size, the input feature map is divided into multiple regional blocks. If the area block is too small, it will lead to a larger amount of calculation; if the area block is too large, the determined dark channel feature is not obvious, so the area block of this embodiment should not be too small or too large. In this embodiment, the size of the area block of each sub-network matches the size of the image to be restored input to the sub-network.
  • the second preset size may be 31*31, 19*19, 11*11 or others.
  • the second preset sliding step length can be 1 step length, 2 step lengths or other numerical values.
  • the first preset division strategy is the same as the second preset division strategy.
  • the second network layer 112 will obtain the minimum value of the dark channel features of each area block, and use the minimum value as the dark channel feature of the corresponding area block.
  • h and w are the height and width of the input feature map respectively;
  • c represents the number of input feature map channels of the second network layer 112;
  • ⁇ represents the characteristics of the dark channel
  • i is the label of the area block
  • D( ⁇ ) [h,w] represents the feature of the extracted dark channel
  • ⁇ [h, w, c] represents the input feature map of the second network layer 112.
  • the second feature extraction layer 12 includes at least one convolutional layer for performing further feature extraction on the feature map input to the second feature extraction layer 12 to obtain the first feature map;
  • the feature adjustment layer 13 will perform feature adjustment and output on the corresponding region block of the first feature map according to the bright channel feature and/or the dark channel feature.
  • the feature adjustment layer 13 can select different ways to perform feature adjustment on the first feature map.
  • the feature adjustment layer 13 is a concat layer, and the bright channel feature and/or the dark channel
  • the feature and the first feature map are spliced in the channel direction.
  • the outputs of the first network layer 111, the second network layer 112, and the second feature extraction layer 12 are input to the concat layer, and the bright channel feature and/or dark channel feature are compared with the first feature
  • the images are spliced in the channel direction.
  • the input feature map of the first network layer 111, the input feature map of the second network layer 112, and the input feature map of the second feature extraction layer 12 are the same, and they are all feature maps of the input prior embedding layer 1.
  • the sub-network may include an encoder 100 (ie, an encoder), a feature mapper 200 (ie, a feature mapper), and a decoder 300 (ie, a decoder).
  • the input of the encoder 100 is the image to be restored, the output of the encoder 100 is used as the input of the feature mapper 200, and the output of the feature mapper 200 is used as the input of the decoder 300.
  • the encoder 100 can be used to extract and output features of the image to be restored input to the encoder 100.
  • the encoder 100 of this embodiment can gradually reduce the spatial dimension. As the depth of the neural network gradually increases, the encoder 100 outputs The size of the feature map of the feature map is continuously reduced; the feature mapper 200 is used to further feature extraction and output of the output of the encoder 100; the decoder 300 is used to perform image restoration on the output of the feature mapper 200 to obtain a restored image and output In this embodiment, as the depth of the neural network gradually increases, the size of the feature map output by the encoder 300 gradually increases, and the decoder 300 can gradually repair the details and spatial dimensions of the object.
  • the aforementioned sub-network including the encoder 100, the feature mapper 200, and the decoder 300 is only an example, and is not a limitation of the neural network structure. It can be understood that any network layer that can gradually reduce the spatial dimension can be called an encoder, any network layer that can gradually repair the details and spatial dimensions of an object can be called a decoder, and any network layer that can perform feature extraction can be called a decoder. It is called a feature mapper.
  • the sub-network includes an encoder 100, a feature mapper 200, and a decoder 300.
  • At least one of the encoder 100 and the decoder 300 is provided with a priori embedding layer.
  • the network structure of the encoder 100 and the decoder 300 are symmetrical, and the encoder 100 and the decoder 300 are respectively provided with a priori embedding layer 1.
  • the network structure of the encoder 100 and the decoder 300 is asymmetrical.
  • one of the encoder 100 and the decoder 300 is provided with a priori embedding layer 1.
  • the input information of the a priori embedding layer 1 in the encoder 100 is a feature map obtained after feature extraction of the image to be restored.
  • the input of the prior embedding layer 1 in the encoder 100 is that the image to be restored has at least A feature map obtained by processing a convolutional layer.
  • the input of the prior embedding layer 1 in the decoder 300 is also the feature map obtained after feature extraction of the image to be restored.
  • the prior embedding layer 1 in the decoder 300 is the image to be restored through the encoder 100 and The feature map obtained by the feature mapper 200 sequentially performing feature extraction, or the prior embedding layer 1 in the decoder 300 is obtained by sequentially performing feature extraction on the image to be restored through the encoder 100, the feature mapper 200, and at least one convolutional layer Feature map.
  • the encoder 100 further includes at least one convolutional layer (the structure with reference number 2 in FIGS. 2A and 2B, that is, the convolutional layer).
  • the encoder 100 includes multiple convolutional layers located before the prior embedding layer 1 of the encoder 100 and multiple convolutional layers located after the prior embedding layer 1 of the encoder 100.
  • the process of feature extraction by the encoder 100 includes: image to be restored -> multi-layer convolutional layer located before the prior embedding layer 1 of the encoder 100 -> prior embedding layer of the encoder 100 1 ->
  • the multiple convolutional layers located after the prior embedding layer 1 of the encoder 100, that is, the input information of the prior embedding layer 1 of the encoder is the prior embedding of the image to be restored by the encoder 100 located in the encoder 100
  • the image to be restored is sequentially processed by the multi-layer convolutional layer before the prior embedding layer 1 of the encoder 100, and then the feature map is processed and output by the prior embedding layer 1 of the encoder 100;
  • the output of the a priori embedding layer 1 of the device 100 is processed by a plurality of convolutional layers located after the a priori embedding layer 1 and then output.
  • the input of the feature mapper 200 is the output of multiple convolutional layers after the a priori embedding layer 1 processed in sequence.
  • the encoder 100 includes two convolutional layers located before the a priori embedding layer 1 of the encoder 100 and two convolutional layers after the prior embedding layer 1 of the bit encoder 100 Buildup.
  • the network structure of the encoder 100 is not limited to the network structure of the encoder 100 in the embodiment shown in FIG. 2A and FIG. 2B, and may also be set to other network structures.
  • the decoder 300 may further include at least one convolutional layer.
  • the decoder 300 includes multiple convolutional layers located before the prior embedding layer 1 of the decoder 300 and multiple convolutional layers located after the prior embedding layer 1 of the decoder 300.
  • the process of feature extraction by the decoder 300 includes: output of the feature mapper 200 -> multiple convolutional layers located before the prior embedding layer 1 of the decoder 300 -> a priori embedding layer of the decoder 300 1->
  • the multiple convolutional layers located after the prior embedding layer 1 of the decoder 300, that is, the input information of the prior embedding layer 1 of the decoder is the image to be restored through the encoder, feature mapper and decoder A feature map obtained after sequential processing (that is, feature extraction) of multiple convolutional layers before the prior embedding layer of the decoder.
  • the output of the feature mapper 200 is processed by multiple convolutional layers before the prior embedding layer 1 of the decoder 300, and then the feature map is output after being processed by the prior embedding layer 1 of the decoder 300 ;
  • the output of the a priori embedding layer 1 of the decoder 300 is then sequentially processed by multiple convolutional layers located after the prior embedding layer 1 of the decoder 300 and then output.
  • the final output of the sub-network is that in the decoder 300 of the sub-network, multiple convolutional layers located after the prior embedding layer 1 of the decoder 300 are sequentially processed and output; in this embodiment, the decoder 300 outputs Is the restored image after restoration of the image to be restored.
  • the decoder 300 includes two convolutional layers located before the a priori embedding layer 1 of the decoder 300 and two convolutional layers after the prior embedding layer 1 of the bit decoder 300. Buildup.
  • the network structure of the decoder 300 is not limited to the network structure of the decoder 300 in the embodiment shown in FIG. 2A and FIG. 2B, and may also be set to other network structures.
  • the feature mapper 200 includes a first residual network layer 3.
  • the feature mapper 200 further performs feature extraction on the output of the encoder 100 through the first residual network layer 3.
  • the network layer 3 further extracts the feature information in the feature map output by the encoder 100, so as to learn more feature information.
  • the feature mapper 200 includes a plurality of first residual network layers 3 connected in series, which may also be referred to as RIRBlock, and as shown in FIG. 5, it is one RIRBlock.
  • the number of first residual network layers 3 in the feature mapper 200 can be selected according to needs.
  • the feature mapper 200 can include 16 first residual network layers 3 connected in series.
  • each first residual network layer 3 includes a plurality of second residual network layers 31 connected in series, wherein the second residual network layer 31 may also be called ResBlock (also That is, the residual block (residual block), ResBlock can speed up the training process to solve the problem of difficulty in convergence in the deeper network, as shown in Figure 5, it is a ResBlock.
  • the second residual network layer 31 may include at least two convolutional layers connected in sequence.
  • the output of the previous convolutional layer is processed by the activation function and used as the input of the latter convolutional layer, so that the corresponding activation function can be retained. More details in the feature map.
  • the activation function can be a parametric corrected linear unit PReLU (Parametric Rectified Linear Unit), a corrected linear unit ReLU (Rectified Linear Unit) or others.
  • PReLU Parametric Rectified Linear Unit
  • ReLU Rectified Linear Unit
  • the activation function is PReLU
  • PReLU processing is used to improve network compatibility
  • the number of second residual network layers 31 can be 2, 3, 4, 5, 6, 7, or others.
  • the number of convolutional layers in the second residual network layer 31 can also be selected according to needs. For example, referring to FIG. 6, the second residual network layer 31 includes two convolutional layers.
  • the skip connection relationship can be designed in the first residual network layer 3, and/or the skip connection relationship can be designed in the second residual network layer 31.
  • the input of the first second residual network layer 31 and the output of the last second residual network layer 31 are collectively used as the first The output of the residual network layer 3.
  • the input of the first second residual network layer 31 and the output of the last second residual network layer 31 are processed as the first residual network layer 3.
  • Output, and used as the input of the next network layer for example, optionally, in the first residual network layer 3, the input of the first second residual network layer 31 and the output of the last second residual network layer 31 After the feature summation is performed, it is used as the output of the first residual network layer 3.
  • the input of the first second residual network layer 31 of the second residual network layer 31 and the output of the last second residual network layer 31 undergo other fusion processing, As the output of the first residual network layer 3.
  • the input of the first convolutional layer and the output of the last convolutional layer are collectively used as the output of the second residual network layer 31 .
  • the input of the first convolutional layer and the output of the last convolutional layer are processed as the output of the second residual network layer 31 and used as the next network layer.
  • the input of the first convolutional layer and the output of the last convolutional layer after feature summation are used as the output of the second residual network layer 31 .
  • the input of the first convolutional layer and the output of the last convolutional layer undergo other fusion processing and are used as the output of the second residual network layer 31.
  • the summation in the foregoing embodiment can be a direct summation or a weighted summation.
  • the neural network further includes an up-sampling layer (reference number 5 in Figure 2B and Figure 2B) and/or a down-sampling layer (reference number 4 in Figure 2A and Figure 2B) , To obtain information streams of different scales, and achieve better image restoration effects according to the information streams of different scales.
  • an up-sampling layer reference number 5 in Figure 2B and Figure 2B
  • a down-sampling layer reference number 4 in Figure 2A and Figure 2B
  • the encoder 100 further includes one or more down-sampling layers, which are used to perform any data in the encoder 100 after the prior embedding layer 1 of the encoder 100.
  • the output of a convolutional layer is downsampled.
  • at least one convolutional layer is connected in series between the a priori embedding layer 1 and the first down-sampling layer.
  • the prior embedding layer 1 includes two convolutional layers and a downsampling layer, and the downsampling layer is connected in series between the two convolutional layers.
  • the decoder 300 further includes one or more upsampling layers, which are used to perform any up-sampling layer in the decoder 300 before the prior embedding layer 1 of the decoder 300.
  • the output of a convolutional layer is upsampled.
  • at least one convolutional layer is connected in series between the a priori embedding layer 1 and the last upsampling layer.
  • the prior embedding layer 1 includes two convolutional layers and an upsampling layer, and the upsampling layer is connected in series in two convolutional layers. Between layers.
  • any one of the a priori embedding layer 1 of the encoder 100 and the first down-sampling layer of the encoder 100 in the encoder 100 is convolved
  • the output of the layer is used as a part of the input of any convolutional layer between the prior embedding layer 1 of the decoder 300 and the last upsampling layer of the decoder 300 in the decoder 300, so as to make full use of the long-hop connection method.
  • the output of any convolutional layer located after the a priori embedding layer 1 in the encoder 100 and after the down-sampling layer can also be used as the output of any convolutional layer located before the a priori embedding layer 1 in the decoder 300.
  • a part of the input of a convolutional layer only needs to satisfy that the size of the feature map output by the corresponding convolutional layer in the encoder 100 is the same as the size of the feature map output by the upper network layer of the corresponding convolutional layer in the decoder 300.
  • the feature maps output by the two parts are spliced in the channel direction as the input of the convolutional layer in the decoder 300.
  • the feature mapper 200 further includes one or more downsampling layers and/or one or more upsampling layers.
  • the feature mapper 200 further includes one or more downsampling layers and one or more upsampling layers.
  • one or more down-sampling layers correspond to one or more up-sampling layers, that is, the number of down-sampling layers and up-sampling layers are the same, and the up-sampling magnifications correspond to each other.
  • the size of the feature map corresponding to the input of the feature mapper 200 and the output of the feature mapper 200 is made equal.
  • one or more downsampling layers and one or more upsampling layers may also be set non-correspondingly, and the input of the feature mapper 200 corresponds to the output of the feature mapper 200
  • the size of the feature map can be equal or unequal.
  • one or more up-sampling layers and multiple first residual network layers 3 are spaced apart, and/or, one or more down-sampling layers and multiple first residual network layers 3
  • the difference network layer 3 is arranged at intervals, that is, the feature mapper 200 may include multiple down-sampling layers and/or multiple up-sampling layers.
  • the feature mapper 200 includes a down-sampling layer and an up-sampling layer.
  • the feature mapper 200 includes a first down-sampling layer and a first up-sampling layer.
  • at least two first residual network layers 3 are connected in series between the input of the first downsampling layer and the output of the encoder 100. Accordingly, the output of the first upsampling layer is connected to the output of the decoder 300.
  • At least two first residual network layers 3 are connected in series between the inputs. Further optionally, at least two first residual network layers 3 are connected in series between the output of the first downsampling layer and the input of the first upsampling layer.
  • the output of any first residual network layer 3 before the first downsampling layer is used as the output of any first residual network layer 3 after the last upsampling layer.
  • a part of the input of the residual network so as to make full use of the characteristics between the network layers based on the long-hop connection.
  • the output of any first residual network layer 3 before the last downsampling layer in the feature mapper 200 can also be used as any output after the first upsampling layer in the feature mapper 200.
  • a part of the input of the first residual network layer 3 only needs to meet the size of the feature map output by any first residual network layer 3 before the last downsampling layer and after the first upsampling layer in the feature mapper 200
  • the size of the feature map output by the upper network of any of the first residual network layer 3 is the same, and the feature maps output by the two parts are spliced in the channel direction as the feature map after the first upsampling layer in the feature mapper 200 Any input to layer 3 of the first residual network.
  • the operation of incorporating multi-size information into the sub-network based on the long-hop and/or short-hop connection mode makes full use of the information flow and receptive field of the multi-size image, which is beneficial to improve the image restoration effect.
  • the down-sampling layer in the above-mentioned embodiment can implement down-sampling based on shuffle operation or convolution operation
  • the up-sampling layer can be based on shuffle operation, deconvolution operation, bicubic interpolation, and nearest neighbor interpolation. Or bilinear sampling (bilinear interpolation) to achieve upsampling.
  • the neural network includes at least two sub-networks, and the input of the encoder 100 of the at least two sub-networks is images to be restored of different sizes.
  • the number of sub-networks can be 2, 3, 4 or others.
  • the neural network may include a first sub-network, a second sub-network, and a third sub-network, wherein the size of the image to be restored input to the first sub-network is larger than the size of the image to be restored input to the second sub-network, The size of the image to be restored input to the second sub-network is larger than the size of the image to be restored input to the third sub-network.
  • the operation of multi-size information can be incorporated between different sub-networks, so as to make full use of the information flow and receptive field of images of different sizes, and improve the effect of image restoration.
  • the output of any network layer is used as the encoder 100 of the second sub-network and/or the encoder 100 of the third sub-network.
  • the output of any network layer is used as part of the input of any network layer in the encoder 100 of the second sub-network.
  • the output of any convolutional layer after the a priori embedding layer 1 of the encoder 100 of the first sub-network is used as the output of any convolutional layer located in the second sub-network.
  • the encoder 100 of the sub-network is embedded in a priori part of the input of any convolutional layer before layer 1, and/or the encoder 100 of the third sub-network is located in the third sub-network and located in the third sub-network.
  • the a priori of the encoder 100 is embedded in a part of the input of any convolutional layer before layer 1.
  • the output of any convolutional layer after the prior embedding layer 1 of the encoder 100 of the first sub-network is superimposed in the channel direction of the feature map
  • the encoder 100 of the third sub-network is located in the third sub-network
  • the output of any convolutional layer after the prior embedding layer 1 of the encoder 100 of the second sub-network is used as the encoder 100 of the third sub-network A part of the input of any convolutional layer before the a priori embedding layer 1 of the encoder 100 of the third sub-network located in the third sub-network.
  • the output of any convolutional layer after the prior embedding layer 1 of the encoder 100 of the second sub-network is superimposed in the channel direction of the feature map
  • the encoder 100 of the third sub-network is located on the input of any convolutional layer before the prior embedding layer 1 of the encoder 100 of the third sub-network.
  • the output of any network layer is used as the decoder 300 of the second sub-network and/or the decoder 300 of the first sub-network, either Part of the input of the network layer; in the decoder 300 of the second sub-network, the output of any network layer is used as a part of the input of any network in the decoder 300 of the first sub-network.
  • the output of any convolutional layer after the a priori embedding layer 1 of the decoder 300 of the third sub-network is used as the decoding of the first sub-network in the first sub-network Part of the input of any convolutional layer before the a priori embedding layer 1 of the decoder 300, and/or any convolution of the second sub-network located before the a priori embedding layer 1 of the decoder 300 of the second sub-network The input part of the layer.
  • the output of any convolutional layer after the prior embedding layer 1 of the decoder 300 of the third sub-network is superimposed on the first sub-network in the channel direction of the feature map.
  • a priori of the decoder 300 located in the first sub-network in the network is embedded on the input of any convolutional layer before layer 1, and/or a priori of the decoder 300 located in the second sub-network in the second sub-network Embed on the input of any convolutional layer before layer 1.
  • the output of any convolutional layer after the a priori embedding layer 1 of the decoder 300 of the second sub-network is used as the decoding of the first sub-network in the first sub-network.
  • the a priori of the converter 300 is embedded in a part of the input of any convolutional layer before layer 1.
  • the output of any convolutional layer after the prior embedding layer 1 of the decoder 300 of the second sub-network is superimposed on the first sub-network in the channel direction of the feature map.
  • the output of any convolutional layer after the prior embedding layer 1 of the encoder 100 of the first sub-network is used as the second sub-network.
  • a part of the input of any convolutional layer before the a priori embedding layer 1 of the encoder 100 of the second sub-network in the network, and the encoder 100 of the second sub-network is located in the encoder of the second sub-network.
  • the output of any convolutional layer after the prior embedding layer 1 of the encoder 100 is used as the prior embedding layer of the encoder 100 in the third sub-network located in the third sub-network. Part of the input of any convolutional layer before 1.
  • the output of any convolutional layer after the a priori embedding layer 1 of the decoder 300 in the third sub-network is used as the prior in the decoder 300 in the first sub-network.
  • Part of the input of any convolutional layer before the embedding layer 1, and, in the second sub-network, the output of any convolutional layer after the a priori embedding layer 1 of the decoder 300 of the second sub-network As a part of the input of any convolutional layer before the a priori embedding layer 1 of the decoder 300 of the first sub-network in the first sub-network.
  • the neural network may further include an input layer, and the input layer is connected to the encoder in each sub-network.
  • the input layer is used to receive the original image to be restored, and obtain multiple images to be restored of different sizes based on the original image to be restored; and the input layer can use multiple images to be restored of different sizes as corresponding multiple images.
  • the input of the encoder 100 of each sub-network, that is, the number of images to be restored in this embodiment is equal to the number of sub-networks.
  • the input layer can perform down-sampling processing on the original image to be restored to obtain a first image of at least one size.
  • the image to be restored includes the original image to be restored and the first image of at least one size.
  • the image to be restored includes first images of multiple sizes.
  • the size of the original image to be restored is H*W
  • the input layer down-samples the original image to be restored twice to obtain the first image with sizes of H/2*W/2 and H/4*W/4 respectively
  • the image to be restored includes the original image to be restored with a size of H*W, a first image with a size of H/2*W/2, and a first image with a size of H/4*W/4.
  • the input of the first sub-network is the original image to be restored
  • the input of the second sub-network is the first image of H/2*W/2
  • the input of the third sub-network is H/4*W/4 The first image.
  • the prior embedding layer 1 in the first sub-network divides the corresponding feature map into multiple regional blocks according to the size of 31*31
  • the second sub-network of the first image of H/2*W/2 the prior embedding layer 1 in the second sub-network divides the corresponding feature map into multiple area blocks according to the size of 19*19
  • the prior embedding layer 1 in the third sub-network divides the corresponding feature map into multiple regional blocks according to a preset size of 11*11.
  • the size of the restored image output by the decoder 300 of each sub-network is equal to the size of the image to be restored input to the encoder 100 of the sub-network.
  • the neural network may further include an output layer, which is connected to the decoder 300 in each sub-network, and the output layer is used to restore the image output by the decoder 300 of the at least one sub-network. Determine the target image and output.
  • the output layer is used to determine the target image according to the restored image output by the decoder 300 of the sub-network, and use the target image as the output of the neural network.
  • the target image is a restored image output by the decoder 300 of the sub-network; optionally, the target image is an image obtained after up-sampling and/or down-sampling according to the restored image output by the decoder 300 of the sub-network.
  • the output layer is used to determine the target image according to the restored image output by the decoder 300 of at least one of the multiple sub-networks, and use the target image as the output of the neural network.
  • the output layer is used to determine the target image based on the restored image output by the decoder 300 of any sub-network.
  • the target image is the restored image output by the decoder 300 of any sub-network; optionally, the target image is after up-sampling and/or down-sampling the restored image output by the decoder 300 of any sub-network The obtained image.
  • the output layer is used to jointly determine the target image based on the restored images output by the decoders 300 of multiple sub-networks.
  • the target image includes restored images output by decoders 300 of multiple sub-networks, that is, the target image includes multiple images of different sizes; optionally, the target image includes restored images output by decoders 300 of multiple sub-networks.
  • an existing image fusion method can be selected to fuse the restored images output by the decoders 300 of multiple sub-networks to obtain the target image.
  • the output of the neural network (that is, the target image) of the foregoing embodiment can be transmitted to a display device or other devices, and the neural network of the foregoing embodiment can output multiple different target images according to the required image size. Used for display devices of different specifications.
  • the parameters of each convolutional layer may be different to extract different features.
  • the convolution kernel of each convolution layer in the neural network is 3*3 to reduce the number of parameters and increase the nonlinearity of the network.
  • the convolution step stride of each convolution layer is 1, and the number of channels of the feature map obtained by each convolution layer is 64.
  • the number of convolutional layers in each network layer may be different to extract different features.
  • magnification of each up-sampling layer and each down-sampling layer can be set as required.
  • an embodiment of the present invention also provides a training method of a neural network for image restoration, and the network structure of the neural network obtained through training of the training method can be referred to the foregoing embodiment.
  • the training method may include the following steps:
  • S701 Input the original training image into the neural network, the neural network is provided with a prior embedding layer, the prior embedding layer is used to obtain specific channel features from the input information of the prior embedding layer, and the input information is the image of the original training image Feature information
  • the network structure of the neural network is the same as the network structure of the neural network in the foregoing embodiment, except that the performance parameters of the neural network are not determined and need to be repeatedly trained.
  • S702 Adjust the performance parameters of the sub-network according to the characteristics of the specific channel.
  • the performance parameter includes the weight parameter in the corresponding sub-network, such as the weight parameter of the convolution kernel of the convolution layer. It can be understood that performance parameters may also include others.
  • the performance parameters of the sub-network are adjusted according to the specific channel characteristics of the original training image obtained by the prior embedding layer of the neural network, and the adjusted performance parameters can be beneficial to the effect of image restoration. Improve the performance of image restoration in dynamic scenes. It can be understood that the optimization of the performance parameters of the sub-network includes multiple executions of S701 and S702.
  • the input of each sub-network is a training image of a corresponding size, that is, when the neural network includes multiple sub-networks, the sizes of the training images input to the multiple sub-networks are not the same.
  • the training image is determined according to the original training image.
  • the output of the decoder of each sub-network is an initial restored image obtained after training corresponding to the training image, and the size of the initial restored image of each sub-network is the same as the size of the training image input to the sub-network.
  • the input layer of the neural network After the input layer of the neural network receives the original training image, it will downsample the original training image.
  • the number of images obtained by downsampling the input layer is: (number of sub-networks-1) ;
  • the input layer will input the training image and the image obtained by down-sampling the input layer as the training image into the corresponding sub-network.
  • the specific channel feature may include at least one of the following: bright channel feature and dark channel feature.
  • the specific channel feature includes a bright channel feature and a dark channel feature; optionally, the specific channel feature includes a bright channel feature or a dark channel feature.
  • the specific channel characteristics may also include others, such as color channel characteristics.
  • the specific channel feature may also include a deformation of the specific channel feature, for example, the specific channel feature is: the difference between the bright channel feature and the dark channel feature.
  • the specific channel features include bright channel features and/or dark channel features.
  • S702 may include but is not limited to the following steps:
  • the sample image is obtained by pre-labeling.
  • the sample image corresponding to the original training image (that is, the original sample image) is obtained by pre-labeling, and the sample image corresponding to other training images is obtained from the original sample image.
  • the original sample image is down-sampled to obtain other
  • the downsampling magnification of the original sample image is the same as the downsampling magnification of other training images obtained by downsampling the original training image.
  • the training images and sample images of the same sub-network have the same size.
  • the original training image can be down-sampled based on the input layer of the neural network to obtain the first training with sizes of H/2*W/2 and H/4*W/4.
  • Image the training image includes an original training image with a size of H*W, a first training image with a size of H/2*W/2, and a first training image with a size of H/4*W/4.
  • the size of the original sample image is H*W, and the original sample image can be down-sampled based on the output layer of the neural network to obtain the first size H/2*W/2 and H/4*W/4.
  • a sample image includes an original sample image of size H*W and a first sample image of size H/2*W/2 and H/4*W/4, respectively.
  • the first loss function is back-propagated to optimize the performance parameters of the corresponding network layer of the corresponding sub-network.
  • the performance parameters of each sub-network in the neural network are continuously updated through the first loss function to improve the performance of image restoration. These performance parameters are used to deblur or enhance the image to be restored after the neural network training for image restoration is completed.
  • the formula of the first loss function L can be described as:
  • N represents the total number of image pairs participating in training (an image pair includes a training image and a sample image, where the training image and sample image of the same image pair correspond to each other);
  • j represents the number of sub-networks, optional, there are 3 sub-networks;
  • y i represents the image feature information (for example, color component) of the sample image corresponding to the training image
  • F ⁇ represents the image feature information of the initial restored image output by the decoder of the sub-network
  • D j represents the dark channel features obtained by all prior embedding layer 1 in the jth sub-network
  • B j represents the bright channel features obtained by all prior embedding layer 1 in the jth sub-network
  • ⁇ and ⁇ are empirical coefficients.
  • the bright channel feature and the dark channel feature are used to introduce a regular term to enhance the sparsity of the dark channel feature and the bright channel feature, making it easier for the neural network model to find the optimal solution and speeding up the network convergence.
  • the first loss function L can be determined as the maximum value or the minimum value of the part after the middle sign of formula (4) according to needs.
  • adjusting the performance parameters of the corresponding sub-network according to the first loss function may include but is not limited to the following steps:
  • the first loss function is propagated back to the prior embedding layer in the neural network to obtain the second loss function.
  • the formula description of the second loss function L′ may include but is not limited to the following formula (4):
  • L′ is the first loss function
  • ⁇ represents the characteristics of the dark channel
  • D( ⁇ ) [h,w] represents the feature of the extracted dark channel
  • ⁇ represents the characteristics of the bright channel
  • h, w are the height and width of the feature map of the input prior embedding layer 1, respectively;
  • c represents the number of channels
  • the neural network includes a first sub-network, a second sub-network, and a third sub-network; wherein the size of the training image input to the first sub-network is greater than the size of the training image input to the second sub-network, and the second sub-network is input The size of the training image is larger than the size of the training image input to the third sub-network.
  • the sub-network includes an encoder, a feature mapper, and a decoder, where the input of the encoder is a training image input to the corresponding sub-network.
  • At least one of the encoder and the decoder is provided with a priori embedding layer.
  • multi-size information can be incorporated between different sub-networks, so as to make full use of the information flow and receptive field of images of multiple sizes, which is conducive to the optimization of performance parameters, so that the performance parameters obtained by training can better perform image restoration.
  • the training method further includes: using the output of any network layer in the encoder of the first sub-network as the encoder of the second sub-network and/or the encoder of the third sub-network, Part of the input of any network layer; and take the output of any network layer in the encoder of the second sub-network as part of the input of any network layer in the encoder of the second sub-network.
  • the output of any convolutional layer located after the prior embedding layer of the encoder of the first sub-network in the encoder of the first sub-network can be used as the output of any convolutional layer located in the second sub-network of the second sub-network.
  • the output of any convolutional layer after the prior embedding layer of the encoder of the first sub-network can be superimposed on the channel direction of the feature map to the second sub-network.
  • the encoder of the third sub-network is located in the third sub-network and the code located in the third sub-network.
  • the input of any convolutional layer before the prior embedding layer of the encoder; and the encoder of the second sub-network is located in any convolutional layer after the prior embedding layer of the encoder of the second sub-network.
  • the output is superimposed on the encoder of the third sub-network in the channel direction of the feature map, and is located on the input of any convolutional layer in the third sub-network before the prior embedding layer of the encoder of the third sub-network.
  • the training method further includes: using the output of any network layer in the decoder of the third sub-network as the decoder of the second sub-network and/or the decoder of the first sub-network , Part of the input of any network layer; and take the output of any network layer in the decoder of the second sub-network as part of the input of any network in the decoder of the first sub-network.
  • the output of any convolutional layer after the a priori embedding layer of the decoder of the third sub-network in the third sub-network can be used as the decoding of the first sub-network in the first sub-network.
  • Part of the input of any convolutional layer before the prior embedding layer of the decoder, and/or the input of any convolutional layer before the prior embedding layer of the decoder of the second sub-network in the second sub-network Part; and in the second sub-network, the output of any convolutional layer after the prior embedding layer of the decoder in the second sub-network is used as the output of the decoder in the first sub-network in the first sub-network A part of the input of any convolutional layer before the prior embedding layer.
  • the output of any convolutional layer located after the prior embedding layer of the decoder of the third sub-network is superimposed in the channel direction of the feature map to the first sub-network located in the first sub-network.
  • any convolutional layer before the prior embedding layer of the decoder of the network and/or the input of any convolutional layer before the prior embedding layer of the decoder of the second sub-network in the second sub-network Input; and in the second sub-network, the output of any convolutional layer after the prior embedding layer of the decoder of the second sub-network is superimposed in the channel direction of the feature map to the first sub-network located in the first sub-network
  • the a priori of the decoder of a sub-network is embedded on the input of any convolutional layer before the layer.
  • an embodiment of the present invention also provides a computer storage medium, which is encoded with instructions, which, when executed by one or more processors, cause the one or more processors to implement the image restoration described in the above embodiments.
  • Method or neural network training method for image restoration is described in the above embodiments.
  • the program can be stored in a computer readable storage medium. During execution, it may include the procedures of the above-mentioned method embodiments.
  • the storage medium may be a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于图像复原的神经网络及其训练与使用方法，所述神经网络包括：至少一个子网络，子网络设有先验嵌入层(1)，先验嵌入层用于从输入先验嵌入层的输入信息中提取特定通道特征，并从输入信息中获取第一特征图，根据特定通道特征对第一特征图进行特征调整并输出，其中输入信息为待复原图像的图像特征信息，基于特定通道特征的先验，提高了动态场景下图像复原的表现。

Description

用于图像复原的神经网络及其训练与使用方法 技术领域
本发明涉及图像处理领域，尤其涉及一种用于图像复原的神经网络及其训练与使用方法。
背景技术
数字摄影的一个重要目标是再现出符合场景的高质量图像。很多情况下，若存在震动、物体运动、失焦等影响，拍摄装置会获取到较为模糊、分辨率较低等画质不佳的图像，这些画质不佳的图像对后续的图像分析工作也会产生重大影响。因此，图像去模糊、提高分辨率等具有非常重大的意义。
以图像去模糊为例，图像去模糊目的是从模糊的观测图像x中恢复潜在的清晰图像y，它们之间的关系可以表示为
Figure PCTCN2019082049-appb-000001
其中，k是未知的模糊核(均匀或者非均匀的)，n是额外的高斯白噪声，
Figure PCTCN2019082049-appb-000002
表示卷积操作。这是一个逆向求解的问题，并且需要利用潜在清晰图中的额外信息来约束解空间才能更好地求解。
相关技术中，利用潜在清晰图中的额外信息来约束解空间的方式包括两大类：基于优化的方法和基于深度学习的方法，然而，基于优化的方法大都存在优化迭代耗时的缺点；而现有深度学习的方法仅仅是学习从模糊图像到清晰图像的直接映射，没有利用采集到的图像的先验知识。
发明内容
本发明提供一种用于图像复原的神经网络及其训练与使用方法。
具体地，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种用于图像复原的神经网络，所述神经网络包括：
至少一个子网络，所述子网络的输入为待复原图像，且所述子网络设有先验嵌入层，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中提取特定通道特征，并从所述输入信息中获取第一特征图，根据所述特定通道特征对所述第一特征图进行特征调整并输出，其中所述输入信息为所述待复原图像的图像特征信息。
根据本发明的第二方面，提供一种图像复原方法，所述方法包括：
将原始待复原图像输入用于图像复原的神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，其中，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中获取特定通道特征以及第一特征图，并用于根据所述特定通道特 征对所述先验嵌入层获取的第一特征图进行特征调整并输出，所述输入信息为所述待复原图像的图像特征信息；
获取所述神经网络根据所述特定通道特征对所述原始待复原图像进行图像复原处理后输出的目标图像。
根据本发明的第三方面，提供一种用于图像复原的神经网络的训练方法，所述方法包括：
将原始训练图像输入至神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，所述先验嵌入层用于从该先验嵌入层的输入信息中获取特定通道特征，所述输入信息为所述原始训练图像的图像特征信息；
根据所述特定通道特征，调整所述子网络的性能参数。
由以上本发明实施例提供的技术方案可见，本发明的用于图像复原的神经网络能够基于先验嵌入层学习原始待复原的图像的特定通道特征，并将学习到的特定通道特征作为有效先验来更好地进行图像复原，获得清晰的复原图像，提高了动态场景下图像复原的表现；并实现了在神经网络中以端到端的方式加入先验知识来学习的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的图像复原方法的方法流程图；
图2A是本发明一实施例中的用于图像复原的神经网络的结构示意图；
图2B是本发明另一实施例中的用于图像复原的神经网络的结构示意图；
图3A是本发明一实施例中的用于图像复原的神经网络的先验嵌入层的结构示意图；
图3B是本发明另一实施例中的用于图像复原的神经网络的先验嵌入层的结构示意图；
图3C是本发明又一实施例中的用于图像复原的神经网络的先验嵌入层的结构示意图；
图4是本发明一实施例中的用于图像复原的神经网络的结构框图；
图5是本发明一实施例中的用于图像复原的神经网络的第一残差网络层的结构示意图；
图6是本发明一实施例中的用于图像复原的神经网络的第二残差网络层的结构示意图；
图7是本发明一实施例中的用于图像复原的神经网络的训练方法的方法流程图。
附图标记：
100：编码器；200：特征映射器；300：解码器；
1：先验嵌入层；11：第一特征提取层；111第一网络层；112：第二网络层；12：第二特征提取层；13：特征调整层；2：卷积层；3：第一残差网络层；31：第二残差网络层；4：下采样层；5：上采样层。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的用于图像复原的神经网络及其训练与使用方法进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明实施例提供一种图像复原方法，参见图1，该图像复原方法可包括如下步骤：
S101：将原始待复原图像输入用于图像复原的神经网络中，神经网络包括至少一个子网络，子网络设有先验嵌入层，其中，先验嵌入层用于从输入先验嵌入层的输入信息中获取特定通道特征以及第一特征图，并用于根据特定通道特征对先验嵌入层获取的第一特征图进行特征调整并输出，输入信息为待复原图像的图像特征信息；
S102：获取神经网络根据特定通道特征对原始待复原图像进行图像复原处理后输出的目标图像。
本发明实施例的用于图像复原的神经网络，基于先验嵌入层学习原始待复原图像的特定通道特征，并将学习到的特定通道特征作为有效先验来更好地对原始待复原图像进行复原，获得清晰的复原图像，提高了动态场景下图像复原的表现；并实现了在神经网络中以端到端的方式加入先验知识来学习的目的。
可选的，原始待复原图像的尺寸大小为H*W，其中，H为待原始复原图像的高度和W为待原始复原图像的宽度；当然，原始待复原图像的尺寸大小也可为其它，并不限于H*W。
其中，图像复原可包括如下至少一种：图像去模糊、图像增强、图像分辨率提 升、图像过曝修复或其他。
以下实施例将对用于图像复原的神经网络的网络结构进行详细说明。需要说明的是，本发明实施例中，根据神经网络中特征的流向来对应确定各网络层在该神经网络中的先后顺序。
请结合图2A以及图2B，神经网络包括至少一个子网络，子网络设有先验嵌入层1，本实施例的先验嵌入层1用于从输入先验嵌入层1的输入信息中提取特定通道特征，也即编码器100和解码器300中至少一个提取的特征包括特定通道特征。并且，本实施例的先验嵌入层1还用于从输入信息中获取第一特征图，根据特定通道特征对第一特征图进行特征调整并输出。
本实施例中，子网络的输入为待复原图像，其中，该待复原图像与原始待复原图像相关，可选的，待复原图像为原始待复原图像；可选的，待复原图像为原始待复原图像下采样获得的图像。其中，输入信息为待复原图像的图像特征信息。
下述实施例中，输入信息为图像的特征图。
参见图3A，先验嵌入层1包括第一特征提取层11、第二特征提取层12以及特征调整层13，其中，第一特征提取层11的输出以及第二特征提取层12的输出，输入特征调整层12。在本实施例中，第一特征提取层11用于从输入先验嵌入层1的输入信息中提取特定通道特征，第二特征提取层12用于从输入信息中获取第一特征图，特征调整层用于根据特定通道特征对第一特征图进行特征调整后输出。
在某些实施例中，特定通道特征可包括以下至少一种：亮通道特征、暗通道特征。可选的，特定通道特征包括亮通道特征和暗通道特征；可选的，特定通道特征包括亮通道特征或暗通道特征。当然，特定通道特征还可包括其他，如色彩通道特征等。需要说明的是，本发明实施例中，特定通道特征还可包括特定通道特征的变形，如，特定通道特征为：亮通道特征与暗通道特征的差值。
下述实施例中，特定通道特征包括亮通道特征和/或暗通道特征。
本发明实施例的用于图像复原的神经网络，基于先验嵌入层学习原始待复原图像的亮通道特征和/或暗通道特征，并将学习到的亮通道特征和/或暗通道特征作为有效先验来更好地对原始待复原图像进行复原，获得清晰的复原图像，提高了动态场景下图像复原的表现；并实现了在神经网络中以端到端的方式加入先验知识来学习的目的。
在某些实施例中，第一特征提取层11包括第一网络层和/或第二网络层，例如，在图3B所示实施例中，第一特征提取层11包括第一网络层111和/或第二网络层112。
其中，第一网络层111从输入信息中提取亮通道特征，第二网络层112从输入信息中提取暗通道特征。
在某些实施例中，输入信息包括多个区域块。
其中，第一网络层111从输入信息中提取亮通道特征包括获取输入信息中各区域块的特征值中的最大值。
可选的，参见图3C，第一网络层111包括至少一个卷积层，第一网络层111的工作过程可包括如下步骤：
首先，第一网络层111会从输入信息中获取亮通道的特征；
在第一网络层111中，可按照第一预设划分策略，将输入的特征图划分为多个区域块。例如，按照第一预设大小以及第一预设滑动步长，将特征图划分为多个区域块。若区域块的太小，则会导致计算量较大；若区域块的太大，则确定的亮通道特征不明显，故本实施例的区域块不宜太小或太大。本实施例中，各子网络的区域块的大小与输入该子网络的待复原图像的尺寸相匹配。可选的，第一预设大小可为31*31、19*19、11*11或其他。第一预设滑动步长可为1个步长、2个步长或者其他数值大小。
接着，第一网络层111会获取每个区域块的亮通道的特征中的最大值，并将最大值作为对应区域块的亮通道特征。
作为一种可行的实现方式，亮通道特征I B[h,w]的公式描述可如下：
Figure PCTCN2019082049-appb-000003
公式(1)中，h、w分别为第一网络层111的输入特征图的高度和宽度；
c表示第一网络层111的输入特征图的通道数；
Ω表示亮通道的特征；
i为区域块的标号；
B(Ω) [h,w]表示提取到的亮通道的特征；
Ψ [h,w,c]表示第一网络层111的输入特征图。
第二网络层112从输入信息中提取暗通道特征包括获取输入信息中各区域块的特征值中的最小值。
可选的，第二网络层112包括至少一个卷积层，第二网络层112的工作过程可包括如下步骤：
首先，第二网络层112会从输入信息中获取暗通道的特征；
在第二网络层112中，可按照第二预设划分策略，将输入的特征图划分为多个区域块。例如，按照第二预设大小以及第二预设滑动步长，将输入的特征图划分为多个区域块。若区域块的太小，则会导致计算量较大；若区域块的太大，则确定的暗通 道特征不明显，故本实施例的区域块不宜太小或太大。本实施例中，各子网络的区域块的大小与输入该子网络的待复原图像的尺寸相匹配。可选的，第二预设大小可为31*31、19*19、11*11或其他。第二预设滑动步长可为1个步长、2个步长或者其他数值大小。
可选的，第一预设划分策略与第二预设划分策略相同。
接着，第二网络层112会获取每个区域块的暗通道的特征中的最小值，并将最小值作为对应区域块的暗通道特征。
作为一种可行的实现方式，暗通道特征I D[h,w]的公式描述可如下：
Figure PCTCN2019082049-appb-000004
公式(2)中，h、w分别为输入的特征图的高度和宽度；
c表示第二网络层112的输入特征图通道数；
Λ表示暗通道的特征；
i为区域块的标号；
D(Λ) [h,w]表示提取到的暗通道的特征；
Ψ [h,w,c]表示第二网络层112的输入特征图。
可选的，参见图3C，第二特征提取层12包括至少一个卷积层，用于对输入第二特征提取层12的特征图做进一步的特征提取，获得第一特征图；
特征调整层13会根据亮通道特征和/或暗通道特征，对第一特征图的对应区域块进行特征调整并输出。其中，特征调整层13可选择不同的方式对第一特征图进行特征调整，例如，在某些实施例中，参见图3C，特征调整层13为concat层，将亮通道特征和/或暗通道特征与第一特征图在通道方向进行拼接。可选的，如图3C所示，将第一网络层111、第二网络层112、第二特征提取层12的输出，输入concat层，对亮通道特征和/或暗通道特征与第一特征图在通道方向进行拼接。
上述实施例中，第一网络层111的输入特征图、第二网络层112的输入特征图以及第二特征提取层12的输入特征图相同，均为输入先验嵌入层1的特征图。
在某些实施例中，结合图2A、图2B以及图4，子网络可包括编码器100(即encoder)、特征映射器200(即feature mapper)和解码器300(即decoder)。其中，编码器100的输入为待复原图像，编码器100的输出作为特征映射器200的输入，特征映射器200的输出作为解码器300的输入。
其中，编码器100能够用于对输入该编码器100的待复原图像进行特征提取并 输出，本实施例的编码器100能够逐渐减少空间维度，随着神经网络深度的逐渐增加，编码器100输出的特征图的尺寸大小不断减小；特征映射器200用于对编码器100的输出进一步进行特征提取并输出；解码器300用于对特征映射器200的输出进行图像恢复，获得复原图像并输出，本实施例中，随着神经网络深度的逐渐增加，编码器300输出的特征图的尺寸大小逐渐增大，解码器300能够逐步修复物体的细节和空间维度。
需要说明的是，本发明实施例中，上述包括编码器100、特征映射器200以及解码器300的子网络只是示例性的，并不是神经网络结构的一种限制。可以理解，任何能够渐减少空间维度的网络层可被称为编码器，任何能够逐步修复物体的细节和空间维度的网络层可被称为解码器，并且，任何能够进行特征提取的网络层可被称为特征映射器。
下述实施例中，子网络包括编码器100、特征映射器200和解码器300。
本实施例中，编码器100与解码器300中的至少一个设有先验嵌入层。
在某些实施例中，如图2A和图2B所示，编码器100与解码器300的网络结构对称，编码器100和解码器300分别设有先验嵌入层1。当然，在其他某些实施例中，编码器100与解码器300的网络结构不对称，例如，编码器100和解码器300中的一个设有先验嵌入层1。
可选的，编码器100中的先验嵌入层1的输入信息为待复原图像进行特征提取后获得的特征图，比如，编码器100中的先验嵌入层1的输入为待复原图像经至少一个卷积层处理获得的特征图。
相应地，解码器300中的先验嵌入层1的输入也为待复原图像进行特征提取后获得的特征图，比如，解码器300中的先验嵌入层1为待复原图像经编码器100和特征映射器200依次进行特征提取获得的特征图，或者解码器300中的先验嵌入层1为待复原图像经编码器100、特征映射器200和至少一个卷积层依次进行特征提取后获得的特征图。
参见图2A和图2B，编码器100还包括至少一个卷积层(如图2A和2B中的附图标记为2的结构，即为卷积层)。
可选的，编码器100包括位于编码器100的先验嵌入层1之前的多个卷积层以及位于编码器100的先验嵌入层1之后的多个卷积层。本实施例中，编码器100进行特征提取的过程包括：待复原图像->位于编码器100的先验嵌入层1之前的多层卷积层->编码器100的先验嵌入层1->位于编码器100的先验嵌入层1之后的多个卷积层，也即，编码器的先验嵌入层1的输入信息为待复原图像经编码器100中位于该编码器100的先验嵌入层1之前的多个卷积层依次处理(也即特征提取)后获得的特征图。在编码器100中，待复原图像经位于编码器100的先验嵌入层1之前的多层卷积层依次处理后输出的特征图，由编码器100的先验嵌入层1处理并输出；编码器100的先 验嵌入层1的输出再由位于先验嵌入层1之后的多个卷积层依次处理后输出。可选的，特征映射器200的输入为位于先验嵌入层1之后的多个卷积层依次处理后的输出。
在图2A和图2B所示的实施例中，编码器100包括位于编码器100的先验嵌入层1之前的两个卷积层以及位编码器100的先验嵌入层1之后的两个卷积层。
可以理解，编码器100的网络结构并不限于图2A和图2B所示实施例中的编码器100的网络结构，也可设置为其他网络结构。
请再次参见图2A和图2B，解码器300还可包括至少一个卷积层。
可选的，解码器300包括位于解码器300的先验嵌入层1之前的多个卷积层以及位于解码器300的先验嵌入层1之后的多个卷积层。本实施例中，解码器300进行特征提取的过程包括：特征映射器200的输出->位于解码器300的先验嵌入层1之前的多个卷积层->解码器300的先验嵌入层1->位于解码器300的先验嵌入层1之后的多个卷积层，也即，解码器的先验嵌入层1的输入信息为待复原图像经编码器、特征映射器和解码器中位于该解码器的先验嵌入层之前的多个卷积层依次处理(也即特征提取)后获得的特征图。本实施例中，特征映射器200的输出经位于解码器300的先验嵌入层1之前的多个卷积层依次处理后输出的特征图，由解码器300的先验嵌入层1处理后输出；解码器300的先验嵌入层1的输出再由位于解码器300的先验嵌入层1之后的多个卷积层依次处理后输出。
可选的，子网络的最终输出为该子网络的解码器300中，位于解码器300的先验嵌入层1之后的多个卷积层依次处理后输出；本实施例中，解码器300输出的为待复原图像进行复原后的复原图像。
在图2A和图2B所示的实施例中，解码器300包括位于解码器300的先验嵌入层1之前的两个卷积层以及位解码器300的先验嵌入层1之后的两个卷积层。
可以理解，解码器300的网络结构并不限于图2A和图2B所示实施例中的解码器300的网络结构，也可设置为其他网络结构。
请再次参见图2A和图2B，特征映射器200包括第一残差网络层3，特征映射器200通过第一残差网络层3对编码器100的输出进一步进行特征提取，通过第一残差网络层3进一步提取编码器100输出的特征图中的特征信息，从而学习到更多的特征信息。
如图2A和图2B所示的实施例中，特征映射器200包括多个串联连接的第一残差网络层3，也可称作RIRBlock，如图5所示，为一个RIRBlock。特征映射器200中的第一残差网络层3的数量可根据需要选择，如，特征映射器200可包16个串联连接的第一残差网络层3。
在某些实施例中，参见图5，每个第一残差网络层3包括多个串联连接的第二 残差网络层31，其中，第二残差网络层31也可称作ResBlock(也即，残差块residual block)，ResBlock能够加速训练过程，以解决较深的网络存在难以收敛的问题，如图5所示，为一个ResBlock。进一步的，第二残差网络层31可包括依次连接的至少两个卷积层。
其中，对于第二残差网络层31中，相邻连接的卷积层，前一个卷积层的输出经激活函数处理后，作为后一个卷积层的输入，从而通过采用激活函数能够保留对应特征图中更多的细节。
其中，激活函数可为参数化修正线性单元PReLU(Parametric Rectified Linear Unit)、修正线性单元ReLU(Rectified Linear Unit)或其他。
在某些实施例中，激活函数为PReLU，通过PReLU处理来提升网络的兼容性。
第二残差网络层31的数量可为2、3、4、5、6、7或其他。并且，第二残差网络层31中的卷积层的数量也可根据需要选择，例如，参见图6，第二残差网络层31包括两个卷积层。
为充分利用深层特征信息和浅层特征信息，加速网络收敛，可在第一残差网络层3内部设计跳跃连接关系，和/或，在第二残差网络层31内部设计跳跃关系。
例如，在某些实施例中，参见图5，在第一残差网络层3中，首个第二残差网络层31的输入和最后一个第二残差网络层31的输出共同作为第一残差网络层3的输出。可选的，在第一残差网络层3中，首个第二残差网络层31的输入和最后一个第二残差网络层31的输出进行处理后，作为第一残差网络层3的输出，并作为下一个网络层的输入，例如，可选的，在第一残差网络层3中，首个第二残差网络层31的输入和最后一个第二残差网络层31的输出进行特征求和后，作为第一残差网络层3的输出。可选的，在第一残差网络层3中，第二残差网络层31首个第二残差网络层31的输入和最后一个第二残差网络层31的输出经过其它的融合处理，作为第一残差网络层3的输出。
又如，在某些实施例中，参见图6，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出共同作为第二残差网络层31的输出。可选的，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出进行处理后，作为第二残差网络层31的输出，并作为下一个网络层的输入，例如，可选的，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出进行特征求和后，作为第二残差网络层31的输出。可选的，在第二残差网络层31中，首个卷积层的输入和最后一个卷积层的输出经过其它的融合处理，作为第二残差网络层31的输出。
上述实施例的求和可为直接求和，也可为加权求和。
此外，在某些实施例中，神经网络还包括上采样层(如图2B和图2B中的附 图标记5)和/或下采样层(如图2A和图2B中的附图标记4)，以获得不同尺度的信息流，并根据不同尺度的信息流达到更好的图像复原效果。
请再次参见图2A和图2B，在某些实施例中，编码器100还包括一个或多个下采样层，用于对编码器100中位于该编码器100的先验嵌入层1之后的任一个卷积层的输出进行下采样。可选的，编码器100中，先验嵌入层1和首个下采样层之间串联连接有至少一个卷积层，例如，在图2A和图2B所示的实施例中，在编码器100中，先验嵌入层1之后包括两个卷积层以及一个下采样层，该下采样层串联连接在两个卷积层之间。
请再次参见图2A和图2B，在某些实施例中，解码器300还包括一个或多个上采样层，用于对解码器300中位于该解码器300的先验嵌入层1之前的任一个卷积层的输出进行上采样。可选的，解码器300中，先验嵌入层1和最后一个上采样层之间串联连接有至少一个卷积层。例如，在图2A和图2B所示的实施例中，在解码器300中，先验嵌入层1之前包括两个卷积层以及一个上采样层，该上采样层串联连接在两个卷积层之间。
进一步，在某些实施例中，参见图2A和图2B，将编码器100中位于该编码器100的先验嵌入层1与该编码器100的首个下采样层之间的任一个卷积层的输出作为解码器300中位于解码器300的先验嵌入层1和该解码器300的最后一个上采样层之间的任一个卷积层的输入的一部分，从而基于长跳跃连接方式充分利用各网络层之间的特征的目的。当然，在其它实施例中，也可以将编码器100中位于先验嵌入层1之后的并经过下采样层之后的任一卷积层的输出作为解码器300中位于先验嵌入层1之前任一卷积层的输入的一部分，只需要满足编码器100中对应卷积层输出的特征图的大小和解码器300中对应卷积层的上一层网络层输出的特征图的大小一样，将两部分输出的特征图在通道方向上进行拼接作为解码器300中该卷积层的输入。
在某些实施例中，特征映射器200还包括一个或多个下采样层和/或一个或多个上采样层。可选的，特征映射器200还包括一个或多个下采样层和一个或多个上采样层。在本实施例的特征映射器200中，一个或多个下采样层与一个或多个上采样层相对应，即下采样层和上采样层的个数相同，且上下采样的倍率相对应，使得特征映射器200的输入与特征映射器200的输出对应的特征图的尺寸大小相等。当然，在其它实施例中，特征映射器200中，一个或多个下采样层与一个或多个上采样层也可为非对应设置，特征映射器200的输入与特征映射器200的输出对应的特征图的尺寸大小可相等，也可不相等。
在某些实施例中，特征映射器200中，一个或多个上采样层与多个第一残差网络层3间隔设置，和/或，一个或多个下采样层与多个第一残差网络层3间隔设置，也即，特征映射器200可包括多个下采样层和/或多个上采样层。
在图2A和图2B所示的实施例中，特征映射器200包括一个下采样层和一个上采样层，例如，特征映射器200包括第一下采样层和第一上采样层。其中，可选的，第一下采样层的输入与编码器100的输出之间串联连接有至少两个第一残差网络层3，相应地，第一上采样层的输出与解码器300的输入之间串联连接有至少两个第一残差网络层3。进一步可选地，第一下采样层的输出与第一上采样层的输入之间串联连接有至少两个第一残差网络层3。
进一步参见图2A和图2B，在某些实施例中，特征映射器200中，首个下采样层之前的任一个第一残差网络层3的输出作为最后一个上采样层之后的任一个第一残差网络的输入的一部分，从而基于长跳跃连接方式充分利用各网络层之间的特征的目的。当然，在其它实施例中，也可以将位于特征映射器200中最后一个下采样层之前的任一个第一残差网络层3的输出作为特征映射器200中第一个上采样层之后的任一个第一残差网络层3的输入的一部分，只需要满足最后一个下采样层之前的任一个第一残差网络层3输出的特征图大小和特征映射器200中第一个上采样层之后的任一个第一残差网络层3的上一层网络输出的特征图大小一样，将两部分输出的特征图在通道方向上进行拼接作为该特征映射器200中第一个上采样层之后的任一个第一残差网络层3的输入。
上述实施例中，基于长跳跃和/或短跳跃连接方式使得子网络融入多尺寸信息的操作，充分利用多尺寸图像的信息流和感受野，有利于提高图像复原效果。
此外，上述实施例的下采样层可基于shuffle操作或卷积操作实现下采样，上采样层可基于shuffle操作、反卷积操作、双三次插值(Bicubic interpolation)、最邻近插值(nearest neighbour interpolation)或双线性采样(bilinear interpolation)等实现上采样。
进一步的，在某些实施例中，参见图2A，神经网络包括至少两个子网络，至少两个子网络的编码器100的输入为不同尺寸的待复原图像。其中，子网络的个数可为2、3、4或其他。
以神经网络包括至少3个子网络为例进一步说明。
本实施例中，神经网络可包括第一子网络、第二子网络以及第三子网络，其中，输入第一子网络的待复原图像的尺寸大于输入第二子网络的待复原图像的尺寸，输入第二子网络的待复原图像的尺寸大于输入第三子网络的待复原图像的尺寸。
可在不同子网络之间融入多尺寸信息的操作，从而充分利用不同尺寸的图像的信息流和感受野，提高图像复原效果。
例如，在某些实施例中，第一子网络的编码器100中，任一网络层的输出作为第二子网络的编码器100和/或第三子网络的编码器100中，任一网络层的输入的一部分；第二子网络的编码器100中，任一网络层的输出作为第二子网络的编码器100中， 任一网络层的输入的一部分。
可选的，第一子网络的编码器100中，位于该第一子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第二子网络中位于该第二子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分，和/或第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第一子网络的编码器100中，位于该第一子网络的编码器100的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第二子网络中位于该第二子网络的编码器100的先验嵌入层1之前的任一卷积层的输入上，和/或第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入上。
可选的，第二子网络的编码器100中，位于该第二子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第二子网络的编码器100中，位于该第二子网络的编码器100的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入上。
又如，在某些实施例中，第三子网络的解码器300中，任一网络层的输出作为第二子网络的解码器300和/或第一子网络的解码器300中，任一网络层的输入的一部分；第二子网络的解码器300中，任一网络层的输出作为第一子网络的解码器300中，任一网络的输入的一部分。
可选的，第三子网络中，位于该第三子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分，和/或第二子网络中位于该第二子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第三子网络中，位于该第三子网络的解码器300的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入上，和/或第二子网络中位于该第二子网络的解码器300的先验嵌入层1之前的任一卷积层的输入上。
可选地，第二子网络中，位于该第二子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分。具体实现时，可选的，第二子网络中，位于该第二子网络的解码器300的先验嵌入层1之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一 卷积层的输入上。
在图2A所示的实施例中，第一子网络的编码器100中，位于该第一子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第二子网络中位于该第二子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分，并且，第二子网络的编码器100中，位于该第二子网络的编码器100的先验嵌入层1之后的任一卷积层的输出，作为第三子网络的编码器100中位于该第三子网络中位于该第三子网络的编码器100的先验嵌入层1之前的任一卷积层的输入的一部分。第三子网络中，位于该第三子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分，并且，第二子网络中，位于该第二子网络的解码器300的先验嵌入层1之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器300的先验嵌入层1之前的任一卷积层的输入的一部分。
进一步可选的，神经网络还可包括输入层，输入层与各子网络中的编码器相连。在本实施例中，输入层用于接收原始待复原图像，并根据原始待复原图像，获得多个不同尺寸的待复原图像；并且，输入层能够将多个不同尺寸的待复原图像作为对应多个子网络的编码器100的输入，也即，本实施例的待复原图像的数量与子网络的个数相等。
作为一种可行的实现方式，输入层能够对原始待复原图像进行下采样处理，获得至少一个尺寸的第一图像。可选的，待复原图像包括原始待复原图像和至少一个尺寸的第一图像。可选的，待复原图像包括多个尺寸的第一图像。
例如，原始待复原图像的尺寸为H*W，输入层对原始待复原图像进行两次下采样，获得尺寸大小分别为H/2*W/2和H/4*W/4的第一图像；待复原图像包括尺寸大小为H*W的原始待复原图像、尺寸大小为H/2*W/2的第一图像以及尺寸大小为H/4*W/4的第一图像。
可选的，第一子网络的输入为原始待复原图像，第二子网络的输入为H/2*W/2的第一图像，第三子网络的输入为H/4*W/4的第一图像。可选的，对于输入H*W的待复原图像的第一子网络，该第一子网络中的先验嵌入层1按照31*31的大小将对应特征图划分为多个区域块；对于输入H/2*W/2的第一图像的第二子网络，该第二子网络中的先验嵌入层1按照19*19的大小将对应特征图划分为多个区域块；对于输入H/4*W/4的第一图像的第三子网络，该第三子网络中的先验嵌入层1按照11*11的预设大小将对应特征图划分为多个区域块。
本实施例中，各子网络的解码器300输出的复原图像与输入该子网络的编码器100的待复原图像的尺寸大小相等。
更进一步的，在某些实施例中，神经网络还可包括输出层，输出层与各子网络 中的解码器300相连，该输出层用于根据至少一个子网络的解码器300输出的复原图像确定目标图像并输出。
其中，当神经网络包括一个子网络时，输出层用于根据子网络的解码器300输出的复原图像确定目标图像，并将目标图像作为神经网络的输出。可选的，目标图像为子网络的解码器300输出的复原图像；可选的，目标图像为根据子网络的解码器300输出的复原图像进行上采样和/或下采样处理后获得的图像。
当神经网络包括多个子网络时，输出层用于根据多个子网络中至少一个子网络的解码器300输出的复原图像，确定目标图像，并将目标图像作为神经网络的输出。例如，在一些实施例中，输出层用于根据任一子网络的解码器300输出的复原图像确定目标图像。可选的，目标图像为任一子网络的解码器300输出的复原图像；可选的，目标图像为根据任一子网络的解码器300输出的复原图像进行上采样和/或下采样处理后获得的图像。
又如，在一些实施例中，输出层用于根据多个子网络的解码器300输出的复原图像共同确定目标图像。可选的，目标图像包括多个子网络的解码器300输出的复原图像，也即，目标图像包括多个不同尺寸的图像；可选的，目目标图像包括多个子网络的解码器300输出的复原图像融合确定的图像，可选择现有图像融合方式对多个子网络的解码器300输出的复原图像进行融合，获得目标图像。
可选的，上述实施例的神经网络的输出(也即目标图像)能够传输至显示设备或其他设备，可根据所需的图像尺寸，使得上述实施例的神经网络输出多个不同的目标图像，用于不同规格的显示设备。
可以理解，神经网络中，每个卷积层的参数如卷积核大小和参数可能均不相同，以提取不同的特征。可选的，神经网络中的每一卷积层的卷积核均为3*3，以减少参数数量和增加网络的非线性。并且，每一卷积层的卷积步长stride为1，每一卷积层获得的特征图的通道数为64。此外，每个网络层的卷积层的个数可能不相同，以提取不同的特征。
此外，各上采样层、各下采样层的倍率可根据需要设置。
参见图7，本发明实施例还提供一种用于图像复原的神经网络的训练方法，经该训练方法训练获得的神经网络的网络结构可参见上述实施例。
具体的，训练方法可包括如下步骤：
S701：将原始训练图像输入至神经网络中，神经网络设有先验嵌入层，先验嵌入层用于从该先验嵌入层的输入信息中获取特定通道特征，输入信息为原始训练图像的图像特征信息；
可以理解，神经网络的网络结构与上述实施例的神经网络的网络结构相同，不 同之处在于，神经网络的性能参数未确定，需要反复训练获得。
S702：根据特定通道特征，调整子网络的性能参数。
可选的，性能参数包括对应子网络中的权重参数，如卷积层的卷积核的权重参数。可以理解，性能参数也可包括其他。
本发明实施例中，在训练过程中，根据神经网络的先验嵌入层获取的原始训练图像的特定通道特征对子网络的性能参数进行调整，调整后的性能参数能够有利于图像复原的效果，提高了动态场景下图像复原的表现。可以理解，子网络的性能参数的优化包括多次执行S701和S702。
其中，各子网络的输入为对应尺寸大小的训练图像，也即，当神经网络包括多个子网络时，输入多个子网络的训练图像的尺寸大小不相同。其中，该训练图像根据原始训练图像确定。进一步的，各子网络的解码器的输出为对应训练图像进行训练后获得的初始复原图像，各子网络的初始复原图像的尺寸大小与输入该子网络的训练图像的尺寸大小相同。
可选的，神经网络的输入层在接收到原始训练图像后，会对原始训练图像进行下采样处理，可选的，输入层下采样获得的图像个数为：(子网络个数-1)；接着，输入层会将训练图像和该输入层下采样获得的图像作为训练图像输入对应的子网络中。
如上述实施例，特定通道特征可包括以下至少一种：亮通道特征、暗通道特征。可选的，特定通道特征包括亮通道特征和暗通道特征；可选的，特定通道特征包括亮通道特征或暗通道特征。当然，特定通道特征还可包括其他，如色彩通道特征等。需要说明的是，本发明实施例中，特定通道特征还可包括特定通道特征的变形，如，特定通道特征为：亮通道特征与暗通道特征的差值。
下述实施例中，特定通道特征包括亮通道特征和/或暗通道特征。
在某些实施例中，S702可包括但不限于以下步骤：
1)、根据各子网络的先验嵌入层提取的亮通道特征和/或暗通道特征、以及各子网络中解码器输出的初始复原图像的图像特征信息、与输入各子网络的训练图像尺寸大小对应的样本图像的图像特征信息，确定对应子网络的第一损失函数；
其中，样本图像通过预先标注获得。可选的，原始训练图像对应的样本图像(也即原始样本图像)通过预先标注获得，而其它训练图像对应的样本图像根据原始样本图像获得，可选的，对原始样本图像进行下采样得到其它训练图像对应的样本图像，对原始样本图像进行下采样的倍率与原始训练图像下采样得到其它训练图像的下采样倍率相同。
本实施例中，当神经网络包括多个子网络时，同一子网络的训练图像和样本图像的尺寸大小相同。
例如，原始训练图像的尺寸为H*W，可基于神经网络的输入层对原始训练图像进行下采样，获得尺寸分别为H/2*W/2和H/4*W/4的第一训练图像；训练图像包括尺寸为H*W的原始训练图像、尺寸为H/2*W/2的第一训练图像以及尺寸为H/4*W/4的第一训练图像。相应的，原始样本图像的尺寸为H*W，可基于神经网络的输出层对原始样本图像进行下采样，获得尺寸分别为H/2*W/2和H/4*W/4的第一样本图像，样本图像包括尺寸为H*W的原始样本图像、以及尺寸分别为H/2*W/2和H/4*W/4的第一样本图像。
2)、根据第一损失函数，调整对应子网络的性能参数。
可选地，将第一损失函数反向传播对对应子网络的相应网络层的性能参数进行优化。
通过第一损失函数不断的更新神经网络中每个子网络的性能参数，以提高图像复原的性能。这些性能参数是在用于图像复原的神经网络训练完成之后，实际应用神经网络时用来给待复原图像进行图像去模糊、或者图像增强等。
作为一种可行的实现方式，第一损失函数L的公式可描述为：
Figure PCTCN2019082049-appb-000005
公式(4)中，N表示总的参与训练的图像对(一个图像对包括一个训练图像和一个样本图像，其中，同一图像对的训练图像和样本图像相对应)数量；
j表示子网络个数，可选的，子网络为3个；
y i表示训练图像对应的样本图像的图像特征信息(例如，颜色分量)；
F θ表示子网络的解码器输出的初始复原图像的图像特征信息；
Figure PCTCN2019082049-appb-000006
表示表示第j个子网络中考虑亮暗通道特征；
Figure PCTCN2019082049-appb-000007
表示第j个子网络中考虑亮暗通道特征后的输出；
D j表示第j个子网络中所有先验嵌入层1获得的暗通道特征；
B j表示第j个子网络中所有先验嵌入层1获得的亮通道特征；
λ和ω为经验系数。
此处，通过亮通道特征和暗通道特征引入正则项来增强暗通道特征和亮通道特征的稀疏性，使得神经网络模型更容易求得最优解，加速网络收敛。
其中，可根据需要确定第一损失函数L为公式(4)中等号后的部分的最大值或最小值。
在某些实施例中，根据第一损失函数，调整对应子网络的性能参数可包括但不 限于以下步骤：
1)、根据第一损失函数，确定对应子网络的第二损失函数；
该步骤为第一损失函数反向传播至神经网络中的先验嵌入层得到第二损失函数。
2)根据第二损失函数，对对应子网络的先验嵌入层的性能参数进行调整。
作为一可行的实现方式，第二损失函数L′的公式描述可包括但不限于下述公式(4)：
Figure PCTCN2019082049-appb-000008
Figure PCTCN2019082049-appb-000009
公式(4)中，L′为第一损失函数；
Λ表示暗通道的特征；
D(Λ) [h,w]表示提取到的暗通道的特征；
Ω表示亮通道的特征；
B(Ω) [h,w]表示提取到的亮通道的特征；
h，w分别为输入先验嵌入层1的特征图的高度和宽度；
c表示通道数；
i＝I D[h,w]表示暗通道特征为I D[h,w]的大小的像素点i；
i＝I B[h,w]表示亮通道特征为I B[h,w]的大小的像素点i。
作为一种可行的实现方式，根据第一损失函数L确定第二损失函数L′的公式描述为：
Figure PCTCN2019082049-appb-000010
Figure PCTCN2019082049-appb-000011
也即，通过公式(3)分别对D(Λ) [h,w]和B(Ω) [h,w]进行求导，对应获得第二损失函数L′与Λ、Ω求导，可基于公式(3)和(5)，确定第一损失函数L′。
进一步的，神经网络包括第一子网络、第二子网络以及第三子网络；其中，输入第一子网络的训练图像的尺寸大于输入第二子网络的训练图像的尺寸，输入第二子 网络的训练图像的尺寸大于输入第三子网络的训练图像的尺寸。
可选的，子网络包括编码器、特征映射器和解码器，其中，编码器的输入为输入对应子网络的训练图像。编码器和解码器的至少一个设有先验嵌入层，具体可参见上述实施例的相应部分的描述，此处不再赘述。
可在不同子网络之间融入多尺寸信息的操作，从而充分利用多个尺寸的图像的信息流和感受野，利于性能参数的优化，使得训练获得的性能参数更好地进行图像复原。
例如，在一些例子中，所述训练方法还包括：将第一子网络的编码器中，任一网络层的输出作为第二子网络的编码器和/或第三子网络的编码器中，任一网络层的输入的一部分；并将第二子网络的编码器中，任一网络层的输出作为第二子网络的编码器中，任一网络层的输入的一部分。
具体实现时，可将第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；并将第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。例如，可将第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；并将第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
又如，在一些例子中，所述训练方法还包括：将第三子网络的解码器中，任一网络层的输出作为第二子网络的解码器和/或第一子网络的解码器中，任一网络层的输入的一部分；并将第二子网络的解码器中，任一网络层的输出作为第一子网络的解码器中，任一网络的输入的一部分。
具体实现时，可将第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；并将第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为第一子网络中位于该第一子 网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。例如，将第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；并将第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
此外，本发明实施例还提供一种计算机存储介质，其编码有指令，指令在由一个或多个处理器执行时，引起所述一个或多个处理器实现如上述实施例所述的图像复原方法或用于图像复原的神经网络的训练方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (82)

  1. 一种用于图像复原的神经网络，其特征在于，所述神经网络包括：
    至少一个子网络，所述子网络的输入为待复原图像，且所述子网络设有先验嵌入层，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中提取特定通道特征，并从所述输入信息中获取第一特征图，根据所述特定通道特征对所述第一特征图进行特征调整并输出，其中所述输入信息为所述待复原图像的图像特征信息。
  2. 根据权利要求1所述的神经网络，其特征在于，所述先验嵌入层包括：
    第一特征提取层；
    第二特征提取层；以及
    特征调整层；
    所述第一特征提取层的输出以及所述第二特征提取层的输出，输入所述特征调整层；
    其中，所述第一特征提取层用于从所述输入信息中提取特定通道特征，所述第二特征提取层用于从所述输入信息获取第一特征图，所述特征调整层用于根据所述特定通道特征对所述第一特征图进行特征调整后输出。
  3. 根据权利要求2所述的神经网络，其特征在于，所述特定通道特征包括以下至少一种：亮通道特征、暗通道特征。
  4. 根据权利要求3所述的神经网络，其特征在于，所述第一特征提取层包括第一网络层和/或第二网络层；
    所述第一网络层从所述输入信息中提取亮通道特征，所述第二网络层从所述输入信息中提取暗通道特征。
  5. 根据权利要求4所述的神经网络，其特征在于，所述第一网络层和/或所述第二网络层、以及所述第二特征提取层包括至少一个卷积层；
    其中，所述输入信息包括多个区域块；
    所述第一网络层从所述输入信息中提取亮通道特征包括获取输入信息中各区域块的特征值中的最大值；
    所述第二网络层从所述输入信息中提取暗通道特征包括获取输入信息中各区域块的特征值中的最小值；
    所述特征调整层根据所述亮通道特征和/或所述暗通道特征对所述第一特征图进行特征调整后输出包括根据所述亮通道特征和/或所述暗通道特征，对所述第一特征图中对应区域块进行特征调整并输出。
  6. 根据权利要求1或2所述的神经网络，其特征在于，所述特征调整层为concat层，将所述特定通道特征与所述第一特征图在通道方向进行拼接。
  7. 根据权利要求1所述的神经网络，其特征在于，所述子网络包括编码器、特征映射器和解码器，其中，所述编码器的输入为所述待复原图像，所述编码器的输出作为所述特征映射器的输入，所述特征映射器的输出作为所述解码器的输入，所述解码 器的输出为复原图像；
    所述编码器和所述解码器中的至少一个设有所述先验嵌入层。
  8. 根据权利要求7所述的神经网络，其特征在于，所述编码器与所述解码器的网络结构对称，所述编码器和所述解码器分别设有所述先验嵌入层。
  9. 根据权利要求7所述的神经网络，其特征在于，所述编码器包括先验嵌入层，位于所述编码器的先验嵌入层之前的多个卷积层以及位于所述编码器的先验嵌入层之后的多个卷积层，所述编码器的先验嵌入层的输入信息为所述待复原图像经所述编码器中位于该编码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图；和/或
    所述解码器包括先验嵌入层，位于所述解码器的先验嵌入层之前的多个卷积层以及位于所述解码器的先验嵌入层之后的多个卷积层，所述解码器的先验嵌入层的输入信息为所述待复原图像经所述编码器、所述特征映射器和所述解码器中位于该解码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图。
  10. 根据权利要求9所述的神经网络，其特征在于，所述编码器还包括一个或多个下采样层，所述编码器的所述一个或多个下采样层用于对所述编码器中位于该编码器的先验嵌入层之后的任一个卷积层的输出进行下采样；和/或
    所述解码器还包括一个或多个上采样层，所述解码器的所述一个或多个上采样层用于对所述解码器中位于该解码器的先验嵌入层之前的任一个卷积层的输出进行上采样。
  11. 根据权利要求10所述的神经网络，其特征在于，所述编码器中，所述先验嵌入层和首个下采样层之间串联连接有至少一个卷积层；和/或
    所述解码器中，所述先验嵌入层和最后一个上采样层之间串联连接有至少一个卷积层。
  12. 根据权利要求11所述的神经网络，其特征在于，所述编码器中位于所述编码器的先验嵌入层与该编码器的首个下采样层之间的任一个卷积层的输出作为所述解码器中位于所述解码器的先验嵌入层和该解码器的最后一个上采样层之间的任一个卷积层的输入的一部分。
  13. 根据权利要求7所述的神经网络，其特征在于，所述特征映射器包括多个串联连接的第一残差网络层，所述多个第一残差网络层用于对所述编码器的输出进行特征提取。
  14. 根据权利要求13所述的神经网络，其特征在于，所述第一残差网络层包括多个串联连接的第二残差网络层，所述第二残差网络层包括至少两个串联连接的卷积层；
    其中，对于所述第二残差网络层中，相邻连接的所述卷积层，前一个所述卷积层的输出经激活函数处理后，作为后一个所述卷积层的输入。
  15. 根据权利要求14所述的神经网络，其特征在于，所述激活函数为参数化修正线性单元PReLU。
  16. 根据权利要求14所述的神经网络，其特征在于，在所述第一残差网络层中， 首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出共同作为所述第一残差网络层的输出，和/或
    在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出共同作为所述第二残差网络层的输出。
  17. 根据权利要求16所述的神经网络，其特征在于，在所述第一残差网络层中，首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出进行特征求和后，作为所述第一残差网络层的输出；和/或
    在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出进行特征求和后，作为所述第二残差网络层的输出。
  18. 根据权利要求13所述的神经网络，其特征在于，所述特征映射器还包括一个或多个下采样层和一个或多个上采样层。
  19. 根据权利要求18所述的神经网络，其特征在于，所述特征映射器中，所述一个或多个下采样层与所述一个或多个上采样层相对应，使得所述特征映射器的输入与所述特征映射器的输出对应的特征图的尺寸大小相等。
  20. 根据权利要求18所述的神经网络，其特征在于，所述特征映射器中，所述一个或多个上采样层与所述多个第一残差网络层间隔设置；和/或所述一个或多个下采样层与所述多个第一残差网络间隔设置。
  21. 根据权利要求18所述的神经网络，其特征在于，所述特征映射器中，首个下采样层之前的任一第一残差网络层的输出作为最后一个上采样层之后的任一第一残差网络层的输入的一部分。
  22. 根据权利要求7所述的神经网络，其特征在于，所述神经网络包括至少两个子网络，所述至少两个子网络的编码器的输入为不同尺寸的待复原图像，且所述至少两个子网络的解码器的输出为输入该子网络的编码器的待复原图像的尺寸大小相同的复原图像。
  23. 根据权利要求22所述的神经网络，其特征在于，所述神经网络包括第一子网络、第二子网络以及第三子网络；
    其中，输入所述第一子网络的编码器的待复原图像的尺寸大于输入所述第二子网络的编码器的待复原图像的尺寸，输入所述第二子网络的编码器的待复原图像的尺寸大于输入所述第三子网络的编码器的待复原图像的尺寸。
  24. 根据权利要求23所述的神经网络，其特征在于，所述第一子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器和/或所述第三子网络的编码器中，任一网络层的输入的一部分；
    所述第二子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器中，任一网络层的输入的一部分。
  25. 根据权利要求24所述的神经网络，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第二子 网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；
    所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。
  26. 根据权利要求25所述的神经网络，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；
    所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
  27. 根据权利要求23或24所述的神经网络，其特征在于，所述第三子网络的解码器中，任一网络层的输出作为所述第二子网络的解码器和/或所述第一子网络的解码器中，任一网络层的输入的一部分；
    所述第二子网络的解码器中，任一网络层的输出作为所述第一子网络的解码器中，任一网络的输入的一部分。
  28. 根据权利要求27所述的神经网络，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；
    所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。
  29. 根据权利要求28所述的神经网络，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；
    所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
  30. 根据权利要求22所述的神经网络，其特征在于，所述神经网络还包括输入层， 所述输入层与各子网络中的编码器相连；
    所述输入层能够用于接收原始待复原图像，并根据所述原始待复原图像，获得多个不同尺寸的待复原图像；并且，将所述多个不同尺寸的待复原图像对应作为所述多个子网络的编码器的输入。
  31. 根据权利要求30所述的神经网络，其特征在于，所述输入层用于对所述原始待复原图像进行下采样处理，获得至少一个尺寸的第一图像；
    所述多个不同尺寸的待复原图像包括所述原始待复原图像和所述至少一个尺寸的第一图像，或者所述多个不同尺寸的待复原图像包括多个尺寸的第一图像。
  32. 根据权利要求22所述的神经网络，其特征在于，所述神经网络还包括输出层，所述输出层与各子网络中的解码器相连，用于根据至少一个子网络的解码器输出的复原图像确定目标图像并输出。
  33. 根据权利要求32所述的神经网络，其特征在于，所述输出层用于根据任一子网络的解码器输出的复原图像确定目标图像，或者，所述输出层用于根据至少两个子网络中的解码器输出的复原图像共同确定目标图像。
  34. 根据权利要求33所述的神经网络，其特征在于，所述目标图像包括所述任一子网络中的解码器输出的复原图像，或者所述目标图像包括所述任一子网络中的解码器输出的复原图像经上采样或下采样获得的图像；或者，
    所述目标图像包括所述至少两个子网络中的解码器输出的复原图像，或者所述目标图像包括所述至少两个子网络中的解码器输出的复原图像融合确定的图像。
  35. 根据权利要求1所述的神经网络，其特征在于，所述复原可包括如下至少一种：图像去模糊、图像增强、图像分辨率提升、图像过曝修复。
  36. 一种图像复原方法，其特征在于，所述方法包括：
    将原始待复原图像输入用于图像复原的神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，其中，所述先验嵌入层用于从输入所述先验嵌入层的输入信息中获取特定通道特征以及第一特征图，并用于根据所述特定通道特征对所述先验嵌入层获取的第一特征图进行特征调整并输出，所述输入信息为所述待复原图像的图像特征信息；
    获取所述神经网络根据所述特定通道特征对所述原始待复原图像进行图像复原处理后输出的目标图像。
  37. 根据权利要求36所述的方法，其特征在于，所述先验嵌入层包括：
    第一特征提取层；
    第二特征提取层；以及
    特征调整层；
    所述第一特征提取层的输出以及所述第二特征提取层的输出，输入所述特征调整层；
    其中，所述第一特征提取层用于从所述输入信息中提取特定通道特征，所述第二 特征提取层用于从所述输入信息获取第一特征图，所述特征调整层用于根据所述特定通道特征对所述第一特征图进行特征调整后输出。
  38. 根据权利要求37所述的方法，其特征在于，所述特定通道特征包括以下至少一种：亮通道特征、暗通道特征。
  39. 根据权利要求38所述的方法，其特征在于，所述第一特征提取层包括第一网络层和/或第二网络层；
    所述第一网络层从所述输入信息中提取亮通道特征，所述第二网络层从所述输入信息中提取暗通道特征。
  40. 根据权利要求39所述的方法，其特征在于，所述第一网络层和/或所述第二网络层、以及所述第二特征提取层包括至少一个卷积层；
    其中，所述输入信息包括多个区域块；
    所述第一网络层从所述输入信息中提取亮通道特征包括获取输入信息中各区域块的特征值中的最大值；
    所述第二网络层从所述输入信息中提取暗通道特征包括获取输入信息中各区域块的特征值中的最小值；
    所述特征调整层根据所述亮通道特征和/或所述暗通道特征对所述第一特征图进行特征调整后输出包括根据所述亮通道特征和/或所述暗通道特征，对所述第一特征图中对应区域块进行特征调整并输出。
  41. 根据权利要求36或37所述的方法，其特征在于，所述特征调整层为concat层，将所述特定通道特征与所述第一特征图在通道方向进行拼接。
  42. 根据权利要求36所述的方法，其特征在于，所述子网络包括依次连接的编码器、特征映射器和解码器，其中，所述编码器和所述解码器中的至少一个设有所述先验嵌入层。
  43. 根据权利要求42所述的方法，其特征在于，所述编码器与所述解码器的网络结构对称，所述编码器和所述解码器分别设有所述先验嵌入层。
  44. 根据权利要求42所述的方法，其特征在于，所述编码器包括先验嵌入层，位于所述编码器的先验嵌入层之前的多个卷积层以及位于所述编码器的先验嵌入层之后的多个卷积层，所述编码器的先验嵌入层的输入信息为所述待复原图像经所述编码器中位于该编码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图；和/或
    所述解码器包括先验嵌入层，位于所述解码器的先验嵌入层之前的多个卷积层以及位于所述解码器的先验嵌入层之后的多个卷积层，所述解码器的先验嵌入层的输入信息为所述待复原图像经所述编码器、所述特征映射器和所述解码器中位于该解码器的先验嵌入层之前的多个卷积层依次处理后获得的特征图。
  45. 根据权利要求44所述的方法，其特征在于，所述编码器还包括一个或多个下采样层，所述编码器的所述一个或多个下采样层用于对所述编码器中位于该编码器的先验嵌入层之后的任一个卷积层的输出进行下采样；和/或
    所述解码器还包括一个或多个上采样层，所述解码器的所述一个或多个上采样层用于对所述解码器中位于该解码器的先验嵌入层之前的任一个卷积层的输出进行上采样。
  46. 根据权利要求45所述的方法，其特征在于，所述编码器中，所述先验嵌入层和首个下采样层之间串联连接有至少一个卷积层；和/或
    所述解码器中，所述先验嵌入层和最后一个上采样层之间串联连接有至少一个卷积层。
  47. 根据权利要求46所述的方法，其特征在于，所述编码器中位于所述编码器的先验嵌入层与该编码器的首个下采样层之间的任一个卷积层的输出作为，所述解码器中位于所述解码器的先验嵌入层和该解码器的最后一个上采样层之间的任一个卷积层的输入的一部分。
  48. 根据权利要求42所述的方法，其特征在于，所述特征映射器包括多个串联连接的第一残差网络层，所述多个第一残差网络层用于对所述编码器的输出进行特征提取。
  49. 根据权利要求48所述的方法，其特征在于，所述第一残差网络层包括多个串联连接的第二残差网络层，所述第二残差网络层包括至少两个串联连接的卷积层；
    其中，对于所述第二残差网络层中，相邻连接的所述卷积层，前一个所述卷积层的输出经激活函数处理后，作为后一个所述卷积层的输入。
  50. 根据权利要求49所述的方法，其特征在于，所述激活函数为参数化修正线性单元PReLU。
  51. 根据权利要求49所述的方法，其特征在于，在所述第一残差网络层中，首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出共同作为所述第一残差网络层的输出，和/或
    在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出共同作为所述第二残差网络层的输出。
  52. 根据权利要求51所述的方法，其特征在于，在所述第一残差网络层中，首个所述第二残差网络层的输入和最后一个所述第二残差网络层的输出进行特征求和后，作为所述第一残差网络层的输出；和/或
    在所述第二残差网络层中，首个所述卷积层的输入和最后一个所述卷积层的输出进行特征求和后，作为所述第二残差网络层的输出。
  53. 根据权利要求48所述的方法，其特征在于，所述特征映射器还包括一个或多个下采样层和一个或多个上采样层。
  54. 根据权利要求53所述的方法，其特征在于，所述特征映射器中，所述一个或多个下采样层与所述一个或多个上采样层相对应，使得所述特征映射器的输入与所述特征映射器的输出对应的特征图的尺寸大小相等。
  55. 根据权利要求53所述的方法，其特征在于，所述特征映射器中，所述一个或 多个上采样层与所述多个第一残差网络层间隔设置；和/或所述一个或多个下采样层与所述多个第一残差网络间隔设置。
  56. 根据权利要求53所述的方法，其特征在于，所述特征映射器中，首个下采样层之前的任一第一残差网络层的输出作为最后一个上采样层之后的任一第一残差网络层的输入的一部分。
  57. 根据权利要求42所述的方法，其特征在于，所述神经网络包括至少两个子网络，所述至少两个子网络的编码器的输入为不同尺寸的待复原图像，且所述至少两个子网络的解码器的输出为输入该子网络的编码器的待复原图像的尺寸大小相同的复原图像。
  58. 根据权利要求57所述的方法，其特征在于，所述神经网络包括第一子网络、第二子网络以及第三子网络；
    其中，输入所述第一子网络的编码器的待复原图像的尺寸大于输入所述第二子网络的编码器的待复原图像的尺寸，输入所述第二子网络的编码器的待复原图像的尺寸大于输入所述第三子网络的编码器的待复原图像的尺寸。
  59. 根据权利要求58所述的方法，其特征在于，所述第一子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器和/或所述第三子网络的编码器中，任一网络层的输入的一部分；
    所述第二子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器中，任一网络层的输入的一部分。
  60. 根据权利要求59所述的方法，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；
    所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。
  61. 根据权利要求60所述的方法，其特征在于，所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；
    所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
  62. 根据权利要求58或59所述的方法，其特征在于，所述第三子网络的解码器 中，任一网络层的输出作为所述第二子网络的解码器和/或所述第一子网络的解码器中，任一网络层的输入的一部分；
    所述第二子网络的解码器中，任一网络层的输出作为所述第一子网络的解码器中，任一网络的输入的一部分。
  63. 根据权利要求62所述的方法，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；
    所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。
  64. 根据权利要求62所述的方法，其特征在于，所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；
    所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
  65. 根据权利要求57所述的方法，其特征在于，所述神经网络还包括输入层，所述输入层与各子网络中的编码器相连；
    所述输入层能够用于接收原始待复原图像，并根据所述原始待复原图像，获得多个不同尺寸的待复原图像；并且，将所述多个不同尺寸的待复原图像对应作为所述多个子网络的编码器的输入。
  66. 根据权利要求65所述的方法，其特征在于，所述输入层用于对所述原始待复原图像进行下采样处理，获得至少一个尺寸的第一图像；
    所述多个不同尺寸的待复原图像包括所述原始待复原图像和所述至少一个尺寸的第一图像，或者所述多个不同尺寸的待复原图像包括多个尺寸的第一图像。
  67. 根据权利要求57所述的方法，其特征在于，所述神经网络还包括输出层，所述输出层与各子网络中的解码器相连，用于根据至少一个子网络的解码器输出的复原图像确定目标图像并输出。
  68. 根据权利要求55所述的方法，其特征在于，所述输出层用于根据任一子网络的解码器输出的复原图像确定目标图像，或者，所述输出层用于根据至少两个子网络中的解码器输出的复原图像共同确定目标图像。
  69. 根据权利要求68所述的方法，其特征在于，所述目标图像包括所述任一子网 络中的解码器输出的复原图像，或者所述目标图像包括所述任一子网络中的解码器输出的复原图像经上采样或下采样获得的图像；或者，
    所述目标图像包括所述至少两个子网络中的解码器输出的复原图像，或者所述目标图像包括所述至少两个子网络中的解码器输出的复原图像融合确定的图像。
  70. 根据权利要求36所述的方法，其特征在于，所述复原可包括如下至少一种：图像去模糊、图像增强、图像分辨率提升、图像过曝修复。
  71. 一种用于图像复原的神经网络的训练方法，其特征在于，所述方法包括：
    将原始训练图像输入至神经网络中，所述神经网络包括至少一个子网络，所述子网络设有先验嵌入层，所述先验嵌入层用于从该先验嵌入层的输入信息中获取特定通道特征，所述输入信息为所述原始训练图像的图像特征信息；
    根据所述特定通道特征，调整所述子网络的性能参数。
  72. 根据权利要求71所述的训练方法，其特征在于，所述性能参数包括对应子网络中的权重参数。
  73. 根据权利要求71所述的训练方法，其特征在于，所述特定通道特征包括以下至少一种：亮通道特征、暗通道特征。
  74. 根据权利要求71所述的训练方法，其特征在于，各子网络的输入为对应尺寸大小的训练图像，所述训练图像根据所述原始训练图像确定，各子网络的输出为对应训练图像进行训练后获得的初始复原图像；
    所述根据所述特定通道特征，调整所述子网络的性能参数，包括：
    根据各子网络的先验嵌入层提取的特定通道特征、以及各子网络输出的初始复原图像的图像特征信息、与输入各子网络的训练图像尺寸大小对应的样本图像的图像特征信息，确定对应子网络的第一损失函数，其中，所述样本图像根据原始样本图像确定；
    根据所述第一损失函数，调整对应子网络的性能参数。
  75. 根据权利要求74所述的训练方法，其特征在于，所述据所述第一损失函数，调整所述子网络的性能参数，包括：
    将所述第一损失函数反向传播，以调整所述子网络的性能参数。
  76. 根据权利要求74或75所述的训练方法，其特征在于，所述根据所述第一损失函数，调整对应子网络的性能参数，包括：
    根据所述第一损失函数，确定对应子网络的第二损失函数；
    根据所述第二损失函数，对对应子网络的先验嵌入层的性能参数进行调整。
  77. 根据权利要求71所述的训练方法，其特征在于，所述神经网络包括第一子网络、第二子网络以及第三子网络；其中，输入所述第一子网络的训练图像的尺寸大于输入所述第二子网络的训练图像的尺寸，输入所述第二子网络的训练图像的尺寸大于输入所述第三子网络的训练图像的尺寸；
    其中，每一子网络包括编码器、特征映射器和解码器，所述编码器的输入为输入 对应子网络的训练图像；
    所述方法还包括：
    将所述第一子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器和/或所述第三子网络的编码器中，任一网络层的输入的一部分；
    并将所述第二子网络的编码器中，任一网络层的输出作为所述第二子网络的编码器中，任一网络层的输入的一部分。
  78. 根据权利要求77所述的训练方法，其特征在于，所述编码器设有所述先验嵌入层，所述方法具体包括：
    将所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分；
    并将所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出，作为所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入的一部分。
  79. 根据权利要求78所述的训练方法，其特征在于，所述方法具体包括：
    将所述第一子网络的编码器中，位于该第一子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第二子网络中位于该第二子网络的编码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上；
    并将所述第二子网络的编码器中，位于该第二子网络的编码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第三子网络的编码器中位于该第三子网络中位于该第三子网络的编码器的先验嵌入层之前的任一卷积层的输入上。
  80. 根据权利要求77所述的训练方法，其特征在于，所述方法还包括：
    将所述第三子网络的解码器中，任一网络层的输出作为所述第二子网络的解码器和/或所述第一子网络的解码器中，任一网络层的输入的一部分；
    并将所述第二子网络的解码器中，任一网络层的输出作为所述第一子网络的解码器中，任一网络的输入的一部分。
  81. 根据权利要求80所述的训练方法，其特征在于，所述解码器设有所述先验嵌入层，所述方法具体包括：
    将所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分；
    并将所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷 积层的输出，作为所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入的一部分。
  82. 根据权利要求80所述的训练方法，其特征在于，所述方法具体包括：
    将所述第三子网络中，位于该第三子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上，和/或所述第二子网络中位于该第二子网络的解码器的先验嵌入层之前的任一卷积层的输入上；
    并将所述第二子网络中，位于该第二子网络的解码器的先验嵌入层之后的任一卷积层的输出在特征图的通道方向叠加至所述第一子网络中位于该第一子网络的解码器的先验嵌入层之前的任一卷积层的输入上。
PCT/CN2019/082049 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法 WO2020206630A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980005463.8A CN111316316A (zh) 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法
PCT/CN2019/082049 WO2020206630A1 (zh) 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/082049 WO2020206630A1 (zh) 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法

Publications (1)

Publication Number Publication Date
WO2020206630A1 true WO2020206630A1 (zh) 2020-10-15

Family

ID=71161142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/082049 WO2020206630A1 (zh) 2019-04-10 2019-04-10 用于图像复原的神经网络及其训练与使用方法

Country Status (2)

Country Link
CN (1) CN111316316A (zh)
WO (1) WO2020206630A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927157A (zh) * 2021-03-08 2021-06-08 电子科技大学 采用加权最小二乘滤波的改进暗通道去雾方法
CN112950521A (zh) * 2021-04-27 2021-06-11 上海海事大学 一种图像去雾方法及生成器网络
CN113870126A (zh) * 2021-09-07 2021-12-31 西安理工大学 一种基于注意模块的Bayer图像恢复方法
WO2022141660A1 (zh) * 2020-12-28 2022-07-07 苏州大学 基于神经网络的高分辨率图像复原方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102184A (zh) * 2020-09-04 2020-12-18 西北工业大学 基于Scale-Encoder-Decoder-Net网络的图像去模糊方法
US11741579B2 (en) 2020-11-16 2023-08-29 Huawei Technologies Co., Ltd. Methods and systems for deblurring blurry images
CN113192022A (zh) * 2021-04-27 2021-07-30 长治学院 基于深度学习的病原孢子识别计数方法和装置
CN113643207A (zh) * 2021-08-20 2021-11-12 Oppo广东移动通信有限公司 图像处理方法、装置及电子设备
CN117726549B (zh) * 2024-02-07 2024-04-30 中国科学院长春光学精密机械与物理研究所 基于事件引导的图像去模糊方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301624A (zh) * 2017-06-05 2017-10-27 天津大学 基于区域划分及浓雾预处理的卷积神经网络去雾算法
US20180349256A1 (en) * 2017-06-01 2018-12-06 Royal Bank Of Canada System and method for test generation
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305339B2 (en) * 2014-07-01 2016-04-05 Adobe Systems Incorporated Multi-feature image haze removal
CN109584170B (zh) * 2018-10-29 2022-12-27 西安电子科技大学 基于卷积神经网络的水下图像复原方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180349256A1 (en) * 2017-06-01 2018-12-06 Royal Bank Of Canada System and method for test generation
CN107301624A (zh) * 2017-06-05 2017-10-27 天津大学 基于区域划分及浓雾预处理的卷积神经网络去雾算法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022141660A1 (zh) * 2020-12-28 2022-07-07 苏州大学 基于神经网络的高分辨率图像复原方法及系统
CN112927157A (zh) * 2021-03-08 2021-06-08 电子科技大学 采用加权最小二乘滤波的改进暗通道去雾方法
CN112927157B (zh) * 2021-03-08 2023-08-15 电子科技大学 采用加权最小二乘滤波的改进暗通道去雾方法
CN112950521A (zh) * 2021-04-27 2021-06-11 上海海事大学 一种图像去雾方法及生成器网络
CN112950521B (zh) * 2021-04-27 2024-03-01 上海海事大学 一种图像去雾方法及生成器网络
CN113870126A (zh) * 2021-09-07 2021-12-31 西安理工大学 一种基于注意模块的Bayer图像恢复方法
CN113870126B (zh) * 2021-09-07 2024-04-19 深圳市点维文化传播有限公司 一种基于注意模块的Bayer图像恢复方法

Also Published As

Publication number Publication date
CN111316316A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
WO2020206630A1 (zh) 用于图像复原的神经网络及其训练与使用方法
CN111311629B (zh) 图像处理方法、图像处理装置及设备
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
CN106780356B (zh) 基于卷积神经网络和先验信息的图像去雾方法
US20220036523A1 (en) Image processor
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN110349087B (zh) 基于适应性卷积的rgb-d图像高质量网格生成方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN111340696A (zh) 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN107424121B (zh) 一种基于分数阶微分的模糊图像超分辨率重构方法
Shen et al. RSHAN: Image super-resolution network based on residual separation hybrid attention module
CN116843553B (zh) 一种基于核不确定学习和退化嵌入的盲超分辨率重建方法
CN111724312A (zh) 一种处理图像的方法及终端
CN116128768B (zh) 一种带有去噪模块的无监督图像低照度增强方法
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN110599403A (zh) 一种具有良好高频视觉效果的图像超分辨率重建方法
CN106709873B (zh) 一种基于三次样条插值和迭代更新的超分辨率方法
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
Ooi et al. Enhanced dense space attention network for super-resolution construction from single input image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19923931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19923931

Country of ref document: EP

Kind code of ref document: A1