WO2023202200A1 - 一种重建hdr图像的方法、终端及电子设备 - Google Patents

一种重建hdr图像的方法、终端及电子设备 Download PDF

Info

Publication number
WO2023202200A1
WO2023202200A1 PCT/CN2023/076883 CN2023076883W WO2023202200A1 WO 2023202200 A1 WO2023202200 A1 WO 2023202200A1 CN 2023076883 W CN2023076883 W CN 2023076883W WO 2023202200 A1 WO2023202200 A1 WO 2023202200A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
displacement
images
original
Prior art date
Application number
PCT/CN2023/076883
Other languages
English (en)
French (fr)
Inventor
朱丹
孙梦笛
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Publication of WO2023202200A1 publication Critical patent/WO2023202200A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to the field of image processing technology, and in particular to a method, terminal and electronic device for reconstructing HDR images.
  • HDR High Dynamic Range Imaging
  • HDR is a set of technologies used to achieve a larger exposure dynamic range than ordinary digital imaging technology.
  • the purpose of HDR is to correctly represent the range of real-world brightness from direct sunlight to the darkest shadows. HDR can provide more dynamic range and image detail.
  • the present disclosure provides a method, terminal and electronic device for reconstructing an HDR image, which are used to ensure the quality of the reconstructed HDR image while reducing hardware processing costs.
  • an embodiment of the present disclosure provides a method for reconstructing an HDR image, including:
  • An enhanced image is determined based on the displacement image of the reference image and the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the down-sampling operation, and the fused image is obtained by performing image enhancement processing on the reference image and the remaining original image.
  • the remaining displacement images of the original image are obtained by feature fusion;
  • HDR images corresponding to the multiple original images are reconstructed.
  • the method further includes:
  • feature alignment processing is performed on the displacement image after the down-sampling operation to obtain the displacement image after this feature alignment processing.
  • the method further includes:
  • each image enhancement operation performs the following steps:
  • the enhanced image determined last time is used as the reference image this time, and the enhanced image this time is determined based on the reference image this time and the displacement image.
  • the remaining original images are processed according to the reference image.
  • Line feature alignment processing is performed to obtain the displacement image of the remaining original image, including:
  • performing feature alignment processing on the remaining original images according to the reference image to obtain a displacement image of the remaining original images includes:
  • the first merged image and the corresponding original feature image are input to the attention network, and a displacement image of the original feature image is output.
  • the attention network is used to determine the displacement parameter matrix of the corresponding original feature image according to the first merged image, and use the displacement parameter matrix to calculate the corresponding original feature image. Features of the image are displaced.
  • the sampling multiple of the down-sampling operation is determined based on the computing power of the hardware platform.
  • the fused image is determined in the following manner:
  • the dimension of the second merged image is reduced through a convolution layer to obtain the fused image.
  • the image enhancement processing on the fused image after the downsampling operation includes:
  • An image enhancement process is performed on the down-sampled image, where the image enhancement process is used to align similar features in the down-sampled image and enhance features in the down-sampled image that represent image details.
  • performing image enhancement processing on the down-sampled image includes:
  • reconstructing HDR images corresponding to the plurality of original images according to the enhanced image includes:
  • the enhanced image is dimensionally reduced through multiple convolutional layers to obtain the HDR image.
  • the reference images selected from multiple original images include:
  • an original image with a central exposure is selected as the reference image.
  • obtaining multiple original images with the same shooting scene and different exposures includes:
  • the multiple original images with different exposures are continuously captured by the camera component for the same shooting scene.
  • the method further includes:
  • the reconstructed HDR image is displayed on the display.
  • an embodiment of the present disclosure provides a terminal for reconstructing HDR images.
  • the terminal includes a processor and a memory.
  • the memory is used to store programs executable by the processor.
  • the processor is used to read the program in memory and perform the following steps:
  • an enhanced image is determined, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the downsampling operation, and the The fused image is obtained by feature fusion of the reference image and the displacement image of the remaining original image;
  • HDR images corresponding to the multiple original images are reconstructed.
  • the processor is specifically configured to Configured to execute:
  • feature alignment processing is performed on the displacement image after the down-sampling operation to obtain the displacement image after this feature alignment processing.
  • the server specifically is also configured to execute:
  • each image enhancement operation performs the following steps:
  • the enhanced image determined last time is used as the reference image this time, and the enhanced image this time is determined based on the reference image this time and the displacement image.
  • the processor is specifically configured to execute:
  • the processor is specifically configured to execute:
  • the first merged image and the corresponding original feature image are input to the attention network, and a displacement image of the original feature image is output.
  • the attention network is used to determine the displacement parameter matrix of the corresponding original feature image according to the first merged image, and use the displacement parameter matrix to calculate the corresponding original feature image. Features of the image are displaced.
  • the sampling multiple of the down-sampling operation is determined based on the computing power of the hardware platform.
  • the processor is specifically configured to determine the fused image in the following manner:
  • the dimension of the second merged image is reduced through a convolution layer to obtain the fused image.
  • the processor is specifically configured to execute:
  • An image enhancement process is performed on the down-sampled image, where the image enhancement process is used to align similar features in the down-sampled image and enhance features in the down-sampled image that represent image details.
  • the processor is specifically configured to execute:
  • the processor is specifically configured to execute:
  • the enhanced image is dimensionally reduced through multiple convolutional layers to obtain the HDR image.
  • the processor is specifically configured to execute:
  • an original image with a central exposure is selected as the reference image.
  • the processor is specifically configured to execute:
  • the multiple original images with different exposures are continuously captured by the camera component for the same shooting scene.
  • the processor is specifically configured to execute:
  • the reconstructed HDR image is displayed on the display.
  • inventions of the present disclosure also provide an electronic device for reconstructing HDR images.
  • the electronic device includes a camera unit and a control circuit, wherein:
  • the camera unit is used to obtain original images with different exposure levels
  • the control circuit includes a processor and a memory, the memory is used to store programs executable by the processor, and the processor is used to read the programs in the memory and perform the following steps:
  • An enhanced image is determined based on the displacement image of the reference image and the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the down-sampling operation, and the fused image is obtained by performing image enhancement processing on the reference image and the remaining original image.
  • the remaining displacement images of the original image are obtained by feature fusion;
  • HDR images corresponding to the multiple original images are reconstructed.
  • embodiments of the present disclosure also provide a device for reconstructing HDR images, including:
  • the image acquisition unit is used to acquire multiple original images with the same shooting scene and different exposures
  • a feature alignment unit is used to select a reference image from multiple original images, perform feature alignment processing on the remaining original images according to the reference image, and obtain a displacement image of the remaining original image;
  • a feature enhancement unit configured to determine an enhanced image based on the reference image and the displacement image of the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the downsampling operation, and the fused image is Displacement map of the reference image and the remaining original image Image obtained by feature fusion;
  • a feature reconstruction unit configured to reconstruct HDR images corresponding to the plurality of original images according to the enhanced image.
  • embodiments of the present disclosure also provide a non-transitory computer storage medium on which a computer program is stored, and when the program is executed by a processor, it is used to implement the steps of the method described in the first aspect.
  • Figure 1 is an implementation flow chart of a method for reconstructing an HDR image provided by an embodiment of the present disclosure
  • Figure 2 is a schematic diagram of an original image with different exposures provided by an embodiment of the present disclosure
  • Figure 3 is a schematic diagram of a scene applied to terminal photography provided by an embodiment of the present disclosure
  • Figure 4 is a schematic structural diagram of an attention network provided by an embodiment of the present disclosure.
  • Figure 5 is a schematic structural diagram of an image enhancement network provided by an embodiment of the present disclosure.
  • Figure 6 is a schematic diagram of a BNet network structure provided by an embodiment of the present disclosure.
  • FIG. 7 is a schematic structural diagram of an ESA network provided by an embodiment of the present disclosure.
  • Figure 8 is a schematic diagram of a down-sampling structure provided by an embodiment of the present disclosure.
  • Figure 9 is a schematic diagram of an upsampling structure provided by an embodiment of the present disclosure.
  • Figure 10 is a schematic structural diagram of a feature reconstruction network provided by an embodiment of the present disclosure.
  • Figure 11 is an implementation flow chart of a supplementary solution for reconstructing HDR images provided by an embodiment of the present disclosure
  • Figure 12 is an implementation flow chart of an enhancement scheme for reconstructing HDR images provided by an embodiment of the present disclosure
  • Figure 13A is a schematic diagram of a network architecture for reconstructing HDR images provided by an embodiment of the present disclosure
  • Figure 13B is an implementation flowchart of a method for reconstructing HDR images provided by an embodiment of the present disclosure
  • Figure 14A is a schematic diagram of another network architecture for reconstructing HDR images provided by an embodiment of the present disclosure.
  • Figure 14B is an implementation flowchart of another method for reconstructing an HDR image provided by an embodiment of the present disclosure
  • Figure 15A is a schematic diagram of another network architecture for reconstructing HDR images provided by an embodiment of the present disclosure.
  • Figure 15B is an implementation flowchart of another method for reconstructing an HDR image provided by an embodiment of the present disclosure.
  • Figure 16 is a schematic diagram of a terminal for reconstructing HDR images provided by an embodiment of the present disclosure.
  • Figure 17 is a schematic diagram of an electronic device for reconstructing HDR images provided by an embodiment of the present disclosure.
  • Figure 18 is a schematic diagram of a device for reconstructing HDR images provided by an embodiment of the present disclosure.
  • the term "and/or” describes the association relationship of associated objects, indicating that there can be three relationships, for example, A and/or B, which can mean: A exists alone, A and B exist simultaneously, and B exists alone. these three situations.
  • the character "/” generally indicates that the related objects are in an "or” relationship.
  • HDR High Dynamic Range Imaging
  • LDR low dynamic range
  • This embodiment provides an HDR reconstruction method for multiple differently exposed images, which can extract different bright and dark details in different exposed images and complement each other.
  • the method of reconstructing the HDR image in this embodiment can also perform image enhancement processing on the fused image after the downsampling operation during image enhancement processing, which can effectively save computing power and ensure the reconstructed HDR through feature alignment processing and image enhancement processing. Image quality.
  • Step 100 Obtain multiple original images with the same shooting scene and different exposures
  • the multiple original images in this example are the multiple original images that the shooting component continuously shoots with different exposures for the same shooting scene. It should be noted that multiple original images with different exposures are captured by the camera by rapidly changing the aperture in a very short period of time.
  • this embodiment provides a schematic diagram of original images with different exposures. Three original images with different exposures were taken for the same scene. From left to right, they are a low-exposure image, a medium-exposure image, and a high-exposure image. The greater the exposure, the brighter the original image, and the smaller the exposure, the darker the original image. The size of the exposure can be determined based on the exposure parameters of the original image.
  • the number of original images captured in this embodiment is N, where N is an integer greater than or equal to 3.
  • the multiple original images with different exposures are continuously captured by the camera component for the same shooting scene.
  • this embodiment provides a schematic diagram of a scene shot by a terminal.
  • the user turns on the camera of the terminal and chooses whether to enter the HDR mode for shooting. If the HDR mode is not selected for shooting, the user will only use the normal camera to shoot. Shoot the current scene; if you choose HDR mode to shoot After the user clicks to shoot, the user can quickly obtain multiple consecutive original images with different exposures, and process the multiple original images obtained through the following steps in this embodiment to obtain the final reconstructed HDR image.
  • Step 101 Screen out a reference image from multiple original images, perform feature alignment processing on the remaining original images according to the reference image, and obtain a displacement image of the remaining original image;
  • an original image with a centered exposure is selected from multiple original images as the reference image. For example, from the low-exposure original image, the medium-exposure original image, and the high-exposure original image, select the medium-exposure original image as the reference image.
  • this embodiment performs the feature alignment process in the following manner:
  • the features of each original image remaining after screening are aligned to obtain a displacement image of the remaining original image.
  • this embodiment obtains the displacement image of the original image in the following manner.
  • this embodiment uses an attention network to perform feature alignment processing.
  • the specific implementation process is as follows:
  • the first merged image and the corresponding original feature image are input to the attention network, and a displacement image of the original feature image is output.
  • the reference feature image and the original feature image in this embodiment are essentially a matrix.
  • the merger of the reference feature image and the original feature image in this embodiment is essentially The merging of two matrices does not change the order of the two matrices themselves.
  • the process of arranging or merging two matrices for example, performing a concat operation on the reference feature image and the original feature image.
  • feature extraction is performed on the remaining original image to obtain the original feature image.
  • Feature extraction can be performed on the original image through a feature extraction network.
  • feature extraction can be performed through a 3 ⁇ 3 convolution layer.
  • the attention network in this embodiment is used to determine the displacement parameter matrix of the corresponding original feature image according to the first merged image, and use the displacement parameter matrix to calculate the corresponding original feature image. Features of the image are displaced.
  • this embodiment provides a schematic structural diagram of an attention network, in which the input of the attention network is the first merged image and the original feature image. c represents the input first merged image, and f represents the input original feature image.
  • the number of attention networks in this embodiment is determined based on the number of remaining original images.
  • the S-shaped function is the Sigmoid function, also known as the S-shaped growth curve.
  • the Sigmoid function is often used as the activation function of neural networks to map variables between 0 and 1.
  • Step 102 Determine an enhanced image based on the reference image and the displacement image of the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the downsampling operation, and the fused image is obtained by performing image enhancement processing on the fused image. Obtained by feature fusion of the displacement image of the reference image and the remaining original image;
  • feature fusion is first performed on the displacement images of the reference image and all remaining original images to obtain a fused image; then a downsampling operation is performed on the fused image, and finally image enhancement is performed on the fused image after the downsampling operation to obtain the final enhanced image.
  • the sampling multiple of the downsampling operation in this embodiment is determined based on the computing power of the hardware platform.
  • the fused image is determined as follows:
  • the reference feature image obtained through feature extraction of the reference image and the remaining original image Displace the images and merge them to obtain a second merged image; reduce the dimension of the second merged image through a convolution layer to obtain the fused image.
  • the essence of the displacement image in this embodiment is a matrix
  • the reference image after feature extraction is also a matrix.
  • the reference feature image and displacement image after feature extraction in this embodiment are merged, Essentially, it is the merging of two matrices. It is a process of arranging or merging two matrices without changing the order of the two matrices themselves. For example, concat operation is performed on the displacement image and the reference feature image after feature extraction.
  • a down-sampling operation can be performed on the fused image first, and then image enhancement processing is performed on the fused image after the down-sampling operation, where the image enhancement processing is used to align similar features in the down-sampled image, and perform image enhancement on the down-sampled image. Features that characterize image details in the captured image are enhanced.
  • an image enhancement network is used to perform image enhancement processing to obtain an enhanced image.
  • the specific implementation process is as follows:
  • the downsampled image is input into the image enhancement network to output a network image; an upsampling operation is performed on the network image to obtain the enhanced image.
  • the image enhancement network is used to align similar features in the down-collected images and enhance features representing image details in the down-collected images;
  • this embodiment provides a schematic structural diagram of an image enhancement network, including three BNet network structures, where C in the figure represents the concat operation.
  • this embodiment provides a schematic diagram of the BNet network structure, where conv represents the convolution layer, k1 represents the convolution layer size is 1 ⁇ 1, k3 represents the convolution layer size is 3 ⁇ 3, and f represents The number of features, for example, f64->32 indicates that the number of features is from 64 to 32.
  • Concat represents the merging or permutation operation of matrices.
  • this embodiment provides a schematic structural diagram of an ESA network, in which ESA is a spatial self-attention network that only performs self-correction on the currently input features.
  • this embodiment also provides a schematic diagram of a down-sampling structure, such as 2 times Mux down-sampling, where a 11 , b 11 , c 11 , d 11 , etc. all represent the pixel values of the fused image, where the fusion image is Grayscale image.
  • the convolutional layer Conv is k3f(nf ⁇ 4->nf), which means that the convolutional layer size is 3 ⁇ 3, the features are from nf ⁇ 4 to nf, the number of features is reduced, and nf is a positive integer.
  • the upsampling structure adopts the DeMux structure with the same principle. As shown in Figure 9, this embodiment provides a schematic diagram of an upsampling structure.
  • Step 103 Reconstruct HDR images corresponding to the multiple original images according to the enhanced image.
  • this embodiment performs dimensionality reduction processing on the enhanced image through multiple convolutional layers to obtain the HDR image.
  • the reconstruction process since the enhanced image is a multi-dimensional feature image after feature enhancement, the reconstruction process requires dimensionality reduction processing of the enhanced image to obtain the final HDR image for display.
  • this embodiment also provides a schematic structural diagram of a feature reconstruction network.
  • an HDR image is output.
  • conv represents the convolution layer
  • k1 represents the convolution layer size is 1 ⁇ 1
  • k3 represents the convolution layer size is 3 ⁇ 3
  • f represents the number of features, for example, f(nf->3) represents the number of features from nf to 3 .
  • the reconstructed HDR image can also be displayed on the display.
  • this embodiment also provides a supplementary solution for reconstructing HDR images.
  • the specific implementation process of this solution is as follows:
  • Step 1100 Obtain multiple original images with the same shooting scene and different exposures
  • Step 1101. Screen out a reference image from multiple original images, perform feature alignment processing on the remaining original images according to the reference image, and obtain a displacement image of the remaining original image;
  • Step 1102 Perform at least one down-sampling feature alignment process
  • the reference feature image is downsampled, and each displacement image is downsampled.
  • the displacement image after the down-sampling operation is characterized Character alignment processing is performed to obtain the displacement image after this feature alignment processing.
  • Character alignment processing is performed to obtain the displacement image after this feature alignment processing.
  • each downsampling feature alignment process needs to perform a downsampling operation first, and then perform feature alignment processing.
  • the process of feature alignment processing is as follows:
  • the displacement parameter matrix corresponding to the displacement image is determined; the features of the displacement image are displaced again according to the displacement parameter matrix to obtain the current feature Alignment processed displacement images.
  • Step 1103 Determine the enhanced image based on the reference feature image and the displacement image after performing at least one downsampling feature alignment process
  • the enhanced image is obtained by performing image enhancement processing on the fused image after the downsampling operation, and the fused image is obtained by performing feature fusion on the reference image and the displacement image; based on the same implementation principle of image enhancement processing, The enhanced image is determined based on the reference image and displacement image after alignment processing of down-acquisition features.
  • Step 1104 Perform at least one upsampling operation on the enhanced image to obtain an enhanced image after the upsampling operation;
  • Step 1105 Reconstruct the HDR images corresponding to the multiple original images based on the enhanced image after the upsampling operation.
  • this embodiment also provides an enhancement scheme for reconstructing HDR images.
  • This enhancement scheme can be implemented in conjunction with the above supplementary scheme. The specific process is as follows:
  • Step 1200 Obtain multiple original images with the same shooting scene and different exposures
  • Step 1201 Screen out a reference image from multiple original images, perform feature alignment processing on the remaining original images according to the reference image, and obtain a displacement image of the remaining original image;
  • Step 1202 Perform at least one down-sampling feature alignment process
  • the displacement image after the down-sampling operation is characterized Character alignment processing is performed to obtain the displacement image after this feature alignment processing.
  • Character alignment processing is performed to obtain the displacement image after this feature alignment processing.
  • each downsampling feature alignment process needs to perform a downsampling operation first, and then perform feature alignment processing.
  • the process of feature alignment processing is as follows:
  • the displacement parameter matrix corresponding to the displacement image is determined; the features of the displacement image are displaced again according to the displacement parameter matrix to obtain the current feature Alignment processed displacement images.
  • Step 1203 Determine an enhanced image based on the reference feature image and displacement image after performing at least one downsampling feature alignment process, and perform at least one upsampling operation on the enhanced image to obtain an enhanced image after the upsampling operation;
  • the enhanced image is obtained by performing image enhancement processing on the fused image after the downsampling operation, and the fused image is obtained by performing feature fusion on the reference image and the displacement image; based on the same implementation principle of image enhancement processing, The enhanced image is determined based on the reference image and displacement image after alignment processing of down-acquisition features.
  • Step 1204 Perform at least one image enhancement operation to obtain the current enhanced image, and perform at least one upsampling operation on the current enhanced image to obtain the enhanced image after the upsampling operation.
  • Each image enhancement operation performs the following steps:
  • the enhanced image determined last time is used as the reference image this time, and the enhanced image this time is determined based on the reference image this time and the displacement image.
  • Step 1205 Reconstruct the HDR images corresponding to the multiple original images based on the enhanced image after the upsampling operation.
  • this embodiment uses three original images with different exposures as an example to provide a schematic diagram of a network architecture for reconstructing HDR images.
  • Figure 13B based on the network architecture, a network architecture provided by this embodiment is provided. The method of reconstructing HDR images is explained in detail:
  • Step 1300 Obtain low-exposure images, medium-exposure images, and high-exposure images of the same shooting scene;
  • Step 1301 Using the medium exposure image as a reference image, perform feature alignment processing on the low exposure image and the high exposure image respectively to obtain the corresponding low exposure displacement image and high exposure displacement image;
  • the feature alignment processing specifically includes:
  • the reference feature image and the high-exposure feature image are merged to obtain a high-exposure first merged image
  • the first merged image and the high-exposure feature image are input to the attention network
  • the high-exposure feature image is output. High exposure displacement image.
  • Step 1302 Input the reference feature image, low exposure displacement image and high exposure displacement image obtained through feature extraction of the reference image into the feature fusion network and output the fused image;
  • the feature fusion network is used to perform feature fusion on the reference feature image, low exposure displacement image and high exposure displacement image obtained through feature extraction to obtain a fused image; the specific process of feature fusion is as follows:
  • Step 1303 Perform a downsampling operation on the fused image to obtain a downsampling image, input the downsampling image to the image enhancement network to output a network image, and perform an upsampling operation on the network image to obtain an enhanced image.
  • image enhancement network is used to align similar features in the down-collected images and enhance features representing image details in the down-collected images
  • Step 1304 Input the enhanced image to the feature reconstruction network and output an HDR image.
  • the feature reconstruction network is used to perform dimensionality reduction processing on the enhanced image through multiple convolutional layers to obtain the HDR image.
  • this embodiment uses three original images with different exposures as an example to provide a schematic diagram of the network architecture for reconstructing HDR images.
  • Figure 14B based on the network architecture, this implementation A method for reconstructing HDR images provided in the embodiment will be described in detail:
  • Step 1400 Obtain low-exposure images, medium-exposure images, and high-exposure images of the same shooting scene;
  • Step 1401 Using the medium exposure image as a reference image, perform feature alignment processing on the low exposure image and the high exposure image respectively to obtain the corresponding low exposure displacement image and high exposure displacement image;
  • the feature alignment processing specifically includes:
  • the reference feature image and the high-exposure feature image are merged to obtain a high-exposure first merged image
  • the first merged image and the high-exposure feature image are input to the attention network
  • the high-exposure feature image is output. High exposure displacement image.
  • Step 1402 Perform a down-sampling operation on the reference feature image, low-exposure displacement image, and high-exposure displacement image obtained through feature extraction of the reference image to obtain the down-sampling reference feature image, the down-sampling low-exposure displacement image, and Collect high-exposure displacement images;
  • Step 1403 Using the down-acquisition reference feature image as a reference image, perform feature alignment processing on the down-acquisition low-exposure displacement image and the down-acquisition high-exposure displacement image respectively to obtain the low-exposure displacement image and the high-exposure displacement image after this feature alignment process. ;
  • the down-sampling reference feature image and the down-sampling high-exposure feature image after feature extraction are merged to obtain the first merged image of the down-sampling high-exposure feature, and the first merged image and the down-sampling high-exposure feature image are combined.
  • the feature image is input to the attention network, and the high-exposure displacement image is extracted from the high-exposure feature image.
  • Step 1404 Input the down-sampling reference feature image, low-exposure displacement image, and high-exposure displacement image to the feature fusion network, and output the fused image;
  • the feature fusion network is used to perform feature fusion on the down-sampling reference feature image, low-exposure displacement image and high-exposure displacement image obtained through feature extraction to obtain a fused image; the specific process of feature fusion is as follows:
  • Step 1405 Perform a downsampling operation on the fused image to obtain a downsampling image, input the downsampling image to the image enhancement network to output a network image, and perform an upsampling operation on the network image to obtain an enhanced image.
  • image enhancement network is used to align similar features in the down-collected images and enhance features representing image details in the down-collected images
  • Step 1406 Perform an upsampling operation on the enhanced image to obtain an enhanced image after the upsampling operation;
  • Step 1407 Input the enhanced image after the upsampling operation to the feature reconstruction network and output an HDR image.
  • the feature reconstruction network is used to perform dimensionality reduction processing on the enhanced image through multiple convolutional layers to obtain the HDR image.
  • this embodiment uses three original images with different exposures as an example to provide a schematic diagram of a network architecture for reconstructing HDR images.
  • Figure 15B based on the network architecture, a network architecture provided by this embodiment is provided. The method of reconstructing HDR images is explained in detail:
  • Step 1500 Obtain low-exposure images, medium-exposure images, and high-exposure images of the same shooting scene;
  • Step 1501 Using the medium exposure image as a reference image, perform feature alignment processing on the low exposure image and the high exposure image respectively to obtain the corresponding low exposure displacement image and high exposure displacement image;
  • the feature alignment processing specifically includes:
  • the reference feature image and the high-exposure feature image are merged to obtain a high-exposure first merged image
  • the first merged image and the high-exposure feature image are input to the attention network
  • the high-exposure feature image is output. High exposure displacement image.
  • Step 1502 Perform a down-sampling operation on the reference feature image, low-exposure displacement image, and high-exposure displacement image obtained through feature extraction of the reference image to obtain the down-sampling reference feature image, the down-sampling low-exposure displacement image, and Collect high-exposure displacement images;
  • Step 1503 Use the down-acquisition reference feature image as a reference image, perform feature alignment processing on the down-acquisition low-exposure displacement image and down-acquisition high-exposure displacement image respectively, and obtain the low-exposure displacement image and the high-exposure displacement image after this feature alignment process. ;
  • the down-sampling reference feature image and the down-sampling high-exposure feature image after feature extraction are merged to obtain the first merged image of down-sampling and high-exposure, and the first merged image and the down-sampling high-exposure feature image are input to
  • the attention network outputs a high-exposure displacement image that adopts high-exposure feature images.
  • Step 1504 Perform the down-sampling operation on the down-sampling reference feature image, the low-exposure displacement image and the high-exposure displacement image again to obtain the first down-sampling reference feature image, the first down-sampling low-exposure displacement image and the first down-sampling high exposure image respectively. Displacement image;
  • Step 1505 Using the first down-sampling reference feature image as a reference image, perform feature alignment processing on the first down-sampling low-exposure displacement image and the first down-sampling high-exposure displacement image respectively, to obtain the low-exposure displacement after this feature alignment process. images and high-exposure displacement images;
  • Step 1506 Input the first down-acquisition reference feature image, low-exposure displacement image, and high-exposure displacement image to the feature fusion network, and output the fused image;
  • the feature fusion network is used to perform feature fusion on the first down-acquisition reference feature image, low-exposure displacement image and high-exposure displacement image to obtain a fused image; the specific process of feature fusion is as follows:
  • Step 1507 Perform a down-sampling operation on the fused image to obtain a down-sampling image, input the down-sampling image to the image enhancement network to output a network image, perform an up-sampling operation on the network image, and obtain an enhanced image; perform an up-sampling operation on the enhanced image to obtain the upper-sampling image.
  • Enhanced image after sampling operation Perform a down-sampling operation on the fused image to obtain a down-sampling image, input the down-sampling image to the image enhancement network to output a network image, perform an up-sampling operation on the network image, and obtain an enhanced image; perform an up-sampling operation on the enhanced image to obtain the upper-sampling image.
  • image enhancement network is used to align similar features in the down-collected images and enhance features representing image details in the down-collected images
  • Step 1508 Continue to perform a downsampling operation on the fused image to obtain a downsampling image, input the downsampling image to the image enhancement network to output a network image, perform an upsampling operation on the network image, and obtain an enhanced image; perform an upsampling operation on the enhanced image, and obtain Enhanced image after upsampling operation;
  • Step 1509 Input the enhanced image after the upsampling operation to the feature reconstruction network and output an HDR image.
  • the feature reconstruction network is used to perform dimensionality reduction processing on the enhanced image through multiple convolutional layers to obtain the HDR image.
  • Embodiment 2 Based on the same disclosed concept, this disclosed embodiment also provides a terminal for reconstructing HDR images.
  • This terminal is the terminal in the method in this disclosed embodiment, and the principle of solving the problem of this terminal is the same as that of this terminal. The methods are similar, so the implementation of the terminal can be found in the implementation of the method, and repeated details will not be repeated.
  • the terminal includes a processor 1600 and a memory 1601.
  • the memory 1601 is used to store programs executable by the processor 1600.
  • the processor 1600 is used to read the programs in the memory 1601 and Perform the following steps:
  • An enhanced image is determined based on the displacement image of the reference image and the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the down-sampling operation, and the fused image is obtained by performing image enhancement processing on the reference image and the remaining original image.
  • the remaining displacement images of the original image are obtained by feature fusion;
  • HDR images corresponding to the multiple original images are reconstructed.
  • the processor 1600 specifically further is configured to execute:
  • feature alignment processing is performed on the displacement image after the down-sampling operation to obtain the displacement image after this feature alignment processing.
  • the processing Server 1600 is specifically configured to perform:
  • each image enhancement operation performs the following steps:
  • the enhanced image determined last time is used as the reference image this time, and the enhanced image this time is determined based on the reference image this time and the displacement image.
  • the processor 1600 is specifically configured to execute:
  • the processor 1600 is specifically configured to execute:
  • the first merged image and the corresponding original feature image are input to the attention network, and a displacement image of the original feature image is output.
  • the attention network is used to determine the displacement parameter matrix of the corresponding original feature image according to the first merged image, and use the displacement parameter matrix to calculate the corresponding original feature image. Features of the image are displaced.
  • the sampling multiple of the down-sampling operation is determined based on the computing power of the hardware platform.
  • the processor 1600 is specifically configured to determine the fused image in the following manner:
  • the dimension of the second merged image is reduced through a convolution layer to obtain the fused image.
  • the processor 1600 is specifically configured to execute:
  • An image enhancement process is performed on the down-sampled image, where the image enhancement process is used to align similar features in the down-sampled image and enhance features in the down-sampled image that represent image details.
  • the processor 1600 is specifically configured to execute:
  • the processor 1600 is specifically configured to execute:
  • the enhanced image is dimensionally reduced through multiple convolutional layers to obtain the HDR image.
  • the processor 1600 is specifically configured to execute:
  • an original image with a central exposure is selected as the reference image.
  • the processor 1600 is specifically configured to execute:
  • the multiple original images with different exposures are continuously captured by the camera component for the same shooting scene.
  • the processor 1600 is specifically configured to execute:
  • the reconstructed HDR image is displayed on the display.
  • Embodiment 3 Based on the same disclosed concept, the disclosed embodiment also provides an electronic device for reconstructing HDR images, because the electronic device is the electronic device in the method in the disclosed embodiment, and the electronic device solves the problem
  • the principle is similar to this method, so the implementation of the electronic device can be referred to the implementation of the method, and repeated details will not be repeated.
  • the electronic device includes a camera unit 1700 and a control circuit 1701, where:
  • the camera unit 1700 is used to obtain original images with different exposure levels
  • the control circuit 1701 includes a processor and a memory.
  • the memory is used to store programs executable by the processor.
  • the processor is used to read the programs in the memory and perform the following steps:
  • An enhanced image is determined based on the displacement image of the reference image and the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the down-sampling operation, and the fused image is obtained by performing image enhancement processing on the reference image and the remaining original image.
  • the remaining displacement images of the original image are obtained by feature fusion;
  • HDR images corresponding to the multiple original images are reconstructed.
  • the processor is specifically configured to Configured to execute:
  • feature alignment processing is performed on the displacement image after the down-sampling operation to obtain the displacement image after this feature alignment processing.
  • the server specifically is also configured to execute:
  • each image enhancement operation performs the following steps:
  • the enhanced image determined last time is used as the reference image this time, and the enhanced image this time is determined based on the reference image this time and the displacement image.
  • the processor is specifically configured to execute:
  • the processor is specifically configured to execute:
  • the first merged image and the corresponding original feature image are input to the attention network, and a displacement image of the original feature image is output.
  • the attention network is used to determine the displacement parameter matrix of the corresponding original feature image according to the first merged image, and use the displacement parameter matrix to calculate the corresponding original feature image. Features of the image are displaced.
  • the sampling multiple of the down-sampling operation is determined based on the computing power of the hardware platform.
  • the processor is specifically configured to determine the fused image in the following manner:
  • the dimension of the second merged image is reduced through a convolution layer to obtain the fused image.
  • the processor is specifically configured to execute:
  • An image enhancement process is performed on the down-sampled image, where the image enhancement process is used to align similar features in the down-sampled image and enhance features in the down-sampled image that represent image details.
  • the processor is specifically configured to execute:
  • the processor is specifically configured to execute:
  • the enhanced image is dimensionally reduced through multiple convolutional layers to obtain the HDR image.
  • the processor is specifically configured to execute:
  • an original image with a central exposure is selected as the reference image.
  • the processor is specifically configured to execute:
  • the camera component In response to the user's shooting instructions, the camera component continuously shoots different images for the same shooting scene. exposure of the multiple raw images.
  • the processor is specifically configured to execute:
  • the reconstructed HDR image is displayed on the display.
  • Embodiment 4 Based on the same disclosed concept, this disclosed embodiment also provides a device for reconstructing HDR images, because this device is the device in the method in this disclosed embodiment, and the principle of solving the problem of this device is the same as that of this device. The methods are similar, so the implementation of the device can be referred to the implementation of the method, and repeated details will not be repeated.
  • the device includes:
  • the image acquisition unit 1800 is used to acquire multiple original images with the same shooting scene and different exposures
  • the feature alignment unit 1801 is used to filter out reference images from multiple original images, perform feature alignment processing on the remaining original images based on the reference images, and obtain displacement images of the remaining original images;
  • Feature enhancement unit 1802 configured to determine an enhanced image based on the reference image and the displacement image of the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the downsampling operation, and the fused image It is obtained by feature fusion of the displacement image of the reference image and the remaining original image;
  • the feature reconstruction unit 1803 is configured to reconstruct HDR images corresponding to the plurality of original images according to the enhanced image.
  • a downsampling alignment processing unit is further included. Specifically used for:
  • feature alignment processing is performed on the displacement image after the down-sampling operation to obtain the displacement image after this feature alignment processing.
  • an image The enhanced processing unit is specifically used for:
  • each image enhancement operation performs the following steps:
  • the enhanced image determined last time is used as the reference image this time, and the enhanced image this time is determined based on the reference image this time and the displacement image.
  • the feature alignment unit 1801 is specifically used to:
  • the feature alignment unit 1801 is specifically used to:
  • the first merged image and the corresponding original feature image are input to the attention network, and a displacement image of the original feature image is output.
  • the attention network is used to determine the displacement parameter matrix of the corresponding original feature image according to the first merged image, and use the displacement parameter matrix to calculate the corresponding original feature image. Features of the image are displaced.
  • the sampling multiple of the down-sampling operation is determined based on the computing power of the hardware platform.
  • the feature enhancement unit 1802 is specifically configured to determine the fused image in the following manner:
  • the dimension of the second merged image is reduced through a convolution layer to obtain the fused image.
  • the feature enhancement unit 1802 is specifically used to:
  • An image enhancement process is performed on the down-sampled image, where the image enhancement process is used to align similar features in the down-sampled image and enhance features in the down-sampled image that represent image details.
  • the feature enhancement unit 1802 is specifically used to:
  • the feature reconstruction unit 1803 is specifically used to:
  • the enhanced image is dimensionally reduced through multiple convolutional layers to obtain the HDR image.
  • the feature alignment unit 1801 is specifically used to:
  • an original image with a central exposure is selected as the reference image.
  • the image acquisition unit 1800 is specifically used to:
  • the multiple original images with different exposures are continuously captured by the camera component for the same shooting scene.
  • a display unit is further included for:
  • the reconstructed HDR image is displayed on the display.
  • embodiments of the present disclosure also provide a non-transitory computer storage medium on which a computer program is stored, which is used to implement the following steps when executed by a processor:
  • An enhanced image is determined based on the displacement image of the reference image and the remaining original image, wherein the enhanced image is obtained by performing image enhancement processing on the fused image after the down-sampling operation, and the fused image is obtained by performing image enhancement processing on the reference image and the remaining original image.
  • the remaining displacement images of the original image are obtained by feature fusion;
  • HDR images corresponding to the multiple original images are reconstructed.
  • embodiments of the present disclosure may be provided as methods, systems, or computer program products. Accordingly, the present disclosure may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment that combines software and hardware aspects. Furthermore, the present disclosure may take the form of a computer program product embodied on one or more computer-usable storage media (including, but not limited to, magnetic disk storage, optical storage, and the like) embodying computer-usable program code therein.
  • a computer-usable storage media including, but not limited to, magnetic disk storage, optical storage, and the like
  • These computer program instructions may also be stored in a computer-readable memory that causes a computer or other programmable data processing apparatus to operate in a particular manner, such that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction apparatus, the instructions
  • the device implements the functions specified in a process or processes of the flowchart and/or a block or blocks of the block diagram.
  • These computer program instructions may also be loaded onto a computer or other programmable data processing device, causing a series of operating steps to be performed on the computer or other programmable device to produce a computer-implemented Processing, whereby the instructions executed on a computer or other programmable device provide steps for implementing the functions specified in the process or processes of the flowchart diagrams and/or the block or blocks of the block diagrams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种重建HDR图像的方法、终端及电子设备，用于保证重建的HDR图像质量，同时降低硬件处理成本。该方法包括：获取拍摄场景相同且曝光度不同的多张原始图像；从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；根据所述增强图像，重建所述多张原始图像对应的HDR图像。

Description

一种重建HDR图像的方法、终端及电子设备
相关申请的交叉引用
本申请要求在2022年04月19日提交中国专利局、申请号为202210411628.5、申请名称为“一种重建HDR图像的方法、终端及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及图像处理技术领域，特别涉及一种重建HDR图像的方法、终端及电子设备。
背景技术
HDR(High Dynamic Range Imaging，高动态范围成像)是用来实现比普通数位图像技术更大曝光动态范围的一组技术。HDR的目的是正确地表示真实世界中从太阳光直射到最暗的阴影的范围亮度，HDR可以提供更多的动态范围和图像细节。
由于单幅图像的曝光度固定得到的场景动态范围非常有限，因此需要通过多次曝光来恢复出实际场景真实的照度数据，从而得到HDR图像。目前大多采用多张不同曝光度的普通数字图像来计算实际的场景亮度，经过计算机高速计算之后得到一幅HDR高动态范围图像，且通过压缩算法将HDR图像显示在低动态范围(LDR)的显示设备上。
但是目前生成HDR图像的方法由于计算量大，需要依赖较高的硬件处理能力，成本高、资源消耗较大，普适性较差。
发明内容
本公开提供一种重建HDR图像的方法、终端及电子设备，用于保证重建的HDR图像质量，同时降低硬件处理成本。
第一方面，本公开实施例提供的一种重建HDR图像的方法，包括：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，还包括：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，还包括：
执行至少一次图像增强操作；
其中，每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述根据所述参考图像对剩余的原始图像进 行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述对下采样操作后的融合图像进行图像增强处理，包括：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述对所述下采图像进行图像增强处理，包括：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像，包括：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述从多张原始图像中筛选出的参考图像，包括：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述获取拍摄场景相同且曝光度不同的多张原始图像，包括：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还包括：
在显示器上显示重建的所述HDR图像。
第二方面，本公开实施例提供的一种重建HDR图像的终端，该终端包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述 融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，所述处理器具体还被配置为执行：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，所述处理器具体还被配置为执行：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述处理器具体被配置为执行：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，所述处理器具体还被配置为执行：
在显示器上显示重建的所述HDR图像。
第三方面，本公开实施例还提供一种重建HDR图像的电子设备，该电子设备包括摄像单元和控制电路，其中：
所述摄像单元用于获取不同曝光程度的原始图像；
所述控制电路包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
第四方面，本公开实施例还提供一种重建HDR图像的装置，包括：
获取图像单元，用于获取拍摄场景相同且曝光度不同的多张原始图像；
特征对齐单元，用于从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
特征增强单元，用于根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图 像进行特征融合得到的；
特征重建单元，用于根据所述增强图像，重建所述多张原始图像对应的HDR图像。
第五方面，本公开实施例还提供非瞬态计算机存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现上述第一方面所述方法的步骤。
本公开的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种重建HDR图像的方法的实施流程图；
图2为本公开实施例提供的一种不同曝光度的原始图像的示意图；
图3为本公开实施例提供的一种应用于终端拍摄的场景的示意图；
图4为本公开实施例提供的一种注意力网络的结构示意图；
图5为本公开实施例提供的一种图像增强网络的结构示意图；
图6为本公开实施例提供的一种BNet网络结构的示意图；
图7为本公开实施例提供的一种ESA网络结构示意图；
图8为本公开实施例提供的一种下采样结构的示意图；
图9为本公开实施例提供的一种上采样结构的示意图；
图10为本公开实施例提供的一种特征重建网络的结构示意图；
图11为本公开实施例提供的一种重建HDR图像的补充方案实施流程图；
图12为本公开实施例提供的一种重建HDR图像的增强方案实施流程图；
图13A为本公开实施例提供的一种重建HDR图像的网络架构示意图；
图13B为本公开实施例提供的一种重建HDR图像的方法实施流程；
图14A为本公开实施例提供的另一种重建HDR图像的网络架构示意图；
图14B为本公开实施例提供的另一种重建HDR图像的方法实施流程；
图15A为本公开实施例提供的又一种重建HDR图像的网络架构示意图；
图15B为本公开实施例提供的又一种重建HDR图像的方法实施流程；
图16为本公开实施例提供的一种重建HDR图像的终端示意图；
图17为本公开实施例提供的一种重建HDR图像的电子设备示意图；
图18为本公开实施例提供的一种重建HDR图像的装置示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1、HDR(High Dynamic Range Imaging，高动态范围成像)是用来实现比普通数位图像技术更大曝光动态范围的一组技术。HDR的目的是正确地表示真实世界中从太阳光直射到最暗的阴影的范围亮度，HDR可以提供更多的动态范围和图像细节。由于单幅图像的曝光度固定得到的场景动态范围非常有限，因此需要通过多次曝光来恢复出实际场景真实的照度数据，从而得到HDR图像。目前大多采用多张不同曝光度的普通数字图像来计算实际 的场景亮度，经过计算机高速计算之后得到一幅HDR高动态范围图像，且通过压缩算法将HDR图像显示在低动态范围(LDR)的显示设备上。但是目前生成HDR图像的方法由于计算量大，需要依赖较高的硬件处理能力，成本高、资源消耗较大，普适性较差。
本实施例提供的一种针对多张不同曝光图像的HDR重建方法，能够提取不同曝光图像中的不同明、暗细节并互相补充。本实施例中重建HDR图像的方法还可以在进行图像增强处理时对下采样操作后的融合图像进行图像增强处理，能够有效地节省算力，并通过特征对齐处理和图像增强处理保证重建的HDR图像的质量。
如图1所示，本实施例提供的一种重建HDR图像的方法的实施流程如下所示：
步骤100、获取拍摄场景相同且曝光度不同的多张原始图像；
在一些实施例中，本实例中的多张原始图像是拍摄组件针对同一拍摄场景连续拍摄不同曝光度的所述多张原始图像。需要说明的是，多张不同曝光度的原始图像是摄像机在极短时长内快速转换光圈进行拍摄得到的，如图2所示，本实施例提供的一种不同曝光度的原始图像的示意图，其中针对同一场景拍摄了3张曝光度不同的原始图像，从左到右分别是低曝光图像、中曝光图像和高曝光图像。曝光度越大原始图像的亮度越高，曝光度越小原始图像的亮度越暗。其中曝光度的大小可以根据原始图像的曝光参数确定。可选的，本实施例拍摄的原始图像的数量为N，其中N为大于等于3的整数。
在应用于手机终端的场景中，通过如下方式获取拍摄场景相同且曝光度不同的多张原始图像：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
实施中，如图3所示，本实施例提供的一种应用于终端拍摄的场景的示意图，用户打开终端的摄像机，选择是否进入HDR模式拍摄，如果不选择HDR模式拍摄，则仅按照普通摄像机拍摄当前画面；如果选择HDR模式拍 摄，则在用户点击拍摄后能够快速得到连续多张不同曝光度的原始图像，并将得到的多张原始图像通过本实施例中的下述步骤进行处理，得到最终重建的HDR图像。
步骤101、从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
在一些实施例中，从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。例如，从低曝光原始图像、中曝光原始图像和高曝光原始图像中，选择中曝光原始图像作为参考图像。
在一些实施例中，本实施例通过如下方式执行所述特征对齐处理：
以所述参考图像作为基准，对筛选后剩余的每张原始图像的特征进行对齐处理，得到所述剩余的原始图像的位移图像。
在一些实施例中，本实施例通过如下方式得到原始图像的位移图像。
根据所述参考图像和筛选后剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
在一些实施例中，本实施例通过注意力网络进行特征对齐处理，具体实施过程如下所示：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
需要说明的是，本实施例中的参考特征图像和原始特征图像的本质都是一个矩阵，在一些实施例中，本实施例中的参考特征图像和所述原始特征图像的合并，本质上是两个矩阵的合并，是在不改变两个矩阵本身顺序的前提 下，将两个矩阵进行排列或合并的过程，例如，将参考特征图像和原始特征图像进行concat操作。
在一些实施例中，对所述剩余的原始图像进行特征提取得到原始特征图像，其中可以通过特征提取网络对原始图像进行特征提取，例如可以通过一个3×3的卷积层进行特征提取，特征通道从3通道(即原始图像为RGB图像)扩展为nf通道(可以取nf＝64或者48、32等)，从而利用该卷积层将原始图像转换为原始特征图像。
在一些实施例中，本实施例中的注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
在一些实施例中，如图4所示，本实施例提供了一种注意力网络的结构示意图，其中注意力网络的输入为第一合并图像和原始特征图像。c表示输入的第一合并图像，f表示输入的原始特征图像。可选的，本实施例中的注意力网络的数量是根据剩余的原始图像的数量确定的。其中，S型函数是Sigmoid函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0，1之间。
步骤102、根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
实施中，首先对参考图像和所有剩余的原始图像的位移图像进行特征融合，得到一个融合图像；然后对融合图像进行下采样操作，最后对下采样操作后的融合图像进行图像增强处理，得到最终的增强图像。
在一些实施例中，本实施例中的下采样操作的采样倍数是根据硬件平台的算力确定的。
在一些实施例中，通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的 位移图像，进行合并得到第二合并图像；通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
实施中，本实施例中的位移图像的本质是一个矩阵，经过特征提取的参考图像也是一个矩阵，在一些实施例中，本实施例中的经过特征提取的参考特征图像和位移图像的合并，本质上是两个矩阵的合并，是在不改变两个矩阵本身顺序的前提下，将两个矩阵进行排列或合并的过程，例如，将位移图像和经过特征提取的参考特征图像进行concat操作。
在一些实施例中，可以通过一个3×3的卷积层对第二合并图像进行降维处理，其中特征从3×nf降到nf(可以取nf＝64或者48、32等)。
在一些实施例中，可以先对融合图像进行下采样操作，然后对下采样操作后的融合图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
在一些实施例中，利用图像增强网络进行图像增强处理，得到增强图像，具体实施流程如下所示：
将所述下采图像输入到图像增强网络，输出网络图像；对所述网络图像进行上采样操作，得到所述增强图像。其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
在一些实施例中，如图5所示，本实施例提供一种图像增强网络的结构示意图，包括三个BNet网络结构，其中图中的C表示concat运算。
如图6所示，本实施例提供的一种BNet网络结构的示意图，其中conv表示卷积层，k1表示卷积层大小为1×1，k3表示卷积层大小为3×3，f表示特征数，例如f64->32表示特征数是从64到32。Concat表示矩阵的合并或排列运算。
如图7所示，本实施例提供一种ESA网络结构示意图，其中，ESA是一种空间自注意力网络，仅对当前输入的特征进行自矫正。
如图8所示，本实施例还提供一种下采样结构的示意图，例如2倍的Mux下采样，其中a11、b11、c11、d11等都表示融合图像的像素值，其中融合图像是 灰度图。卷积层Conv为k3f(nf×4->nf)，表示卷积层大小为3×3，特征从nf×4到nf，特征数降低了，nf是正整数。上采样结构采用同原理的DeMux结构。如图9所示，本实施例提供的一种上采样结构的示意图。
步骤103、根据所述增强图像，重建所述多张原始图像对应的HDR图像。
在一些实施例中，本实施例通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。实施中，由于增强图像是经过特征增强后的多维特征图像，因此重建的过程需要将增强图像进行降维处理，得到最终用于显示的HDR图像。
如图10所示，本实施例还提供一种特征重建网络的结构示意图，将增强图像输入到该特征重建网络后，输出HDR图像。其中conv表示卷积层，k1表示卷积层大小为1×1，k3表示卷积层大小为3×3，f表示特征数，例如f(nf->3)表示特征数是从nf到3。
在一些实施例中，根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还可以在显示器上显示重建的所述HDR图像。
在一些实施例中，如图11所示，本实施例还提供一种重建HDR图像的补充方案，该方案实施的具体流程如下所示：
步骤1100、获取拍摄场景相同且曝光度不同的多张原始图像；
步骤1101、从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
步骤1102、执行至少一次下采特征对齐处理；
其中，每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
实施中，对参考特征图像进行下采样操作，同时对每个位移图像都进行下采样操作。
根据下采样操作后的参考特征图像，对下采样操作后的位移图像进行特 征对齐处理，得到本次特征对齐处理后的位移图像。实施中，基于相同的特征对齐处理的实施原理，实施中，每次下采特征对齐处理都需要先执行下采样操作，然后执行特征对齐处理，特征对齐处理的过程具体如下所示：
根据下采样操作后的参考特征图像和每张位移图像的特征相似性，确定该位移图像对应的位移参数矩阵；根据所述位移参数矩阵对所述位移图像的特征再次进行位移，得到本次特征对齐处理后的位移图像。
步骤1103、根据执行至少一次下采特征对齐处理后的参考特征图像和位移图像，确定增强图像；
其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和位移图像进行特征融合得到的；基于同样的图像增强处理的实施原理，根据下采特征对齐处理后的参考图像和位移图像，确定增强图像。
步骤1104、对所述增强图像进行至少一次上采样操作，得到上采样操作后的增强图像；
步骤1105、根据上采样操作后的增强图像，重建所述多张原始图像对应的HDR图像。
在一些实施例中，如图12所示，本实施例还提供一种重建HDR图像的增强方案，该增强方案可以和上述补充方案结合实施，具体流程如下所示：
步骤1200、获取拍摄场景相同且曝光度不同的多张原始图像；
步骤1201、从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
步骤1202、执行至少一次下采特征对齐处理；
其中，每次下采特征对齐处理执行如下步骤：
对经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；实施中，对参考特征图像进行下采样操作，同时对每个位移图像都进行下采样操作。
根据下采样操作后的参考特征图像，对下采样操作后的位移图像进行特 征对齐处理，得到本次特征对齐处理后的位移图像。实施中，基于相同的特征对齐处理的实施原理，实施中，每次下采特征对齐处理都需要先执行下采样操作，然后执行特征对齐处理，特征对齐处理的过程具体如下所示：
根据下采样操作后的参考特征图像和每张位移图像的特征相似性，确定该位移图像对应的位移参数矩阵；根据所述位移参数矩阵对所述位移图像的特征再次进行位移，得到本次特征对齐处理后的位移图像。
步骤1203、根据执行至少一次下采特征对齐处理后的参考特征图像和位移图像，确定增强图像，对所述增强图像进行至少一次上采样操作，得到上采样操作后的增强图像；
其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和位移图像进行特征融合得到的；基于同样的图像增强处理的实施原理，根据下采特征对齐处理后的参考图像和位移图像，确定增强图像。
步骤1204、执行至少一次图像增强操作，得到本次的增强图像，对本次的增强图像进行至少一次上采样操作，得到上采样操作后的增强图像。
其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
步骤1205、根据上采样操作后的增强图像，重建所述多张原始图像对应的HDR图像。
如图13A所示，本实施例以三张不同曝光度的原始图像为例，提供一种重建HDR图像的网络架构示意图，如图13B所示，基于所述网络架构对本实施例提供的一种重建HDR图像的方法进行具体说明：
步骤1300、获取拍摄场景相同的低曝光图像、中曝光图像和高曝光图像；
步骤1301、将中曝光图像作为参考图像，分别对低曝光图像和高曝光图像进行特征对齐处理，得到对应的低曝光位移图像和高曝光位移图像；
其中特征对齐处理具体包括：
对参考图像进行特征提取得到参考特征图像，对低曝光图像进行特征提取得到低曝光特征图像，对高曝光图像进行特征提取得到高曝光特征图像；
将所述参考特征图像和低曝光特征图像进行合并，得到低曝光的第一合并图像，将所述第一合并图像和低曝光特征图像输入到注意力网络，输出低曝光特征图像的低曝光位移图像；
同理，将所述参考特征图像和高曝光特征图像进行合并，得到高曝光的第一合并图像，将所述第一合并图像和高曝光特征图像输入到注意力网络，输出高曝光特征图像的高曝光位移图像。
步骤1302、将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像输入到特征融合网络，输出融合图像；
其中特征融合网络用于对经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像进行特征融合，得到融合图像；其中特征融合的具体过程如下所示：
将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像进行合并，得到第二合并图像；通过卷积层降低第二合并图像的维度，得到融合图像。
步骤1303、对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像。
其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
步骤1304、将增强图像输入到特征重建网络，输出HDR图像。
其中，特征重建网络用于通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
如图14A所示，本实施例以三张不同曝光度的原始图像为例，提供一种重建HDR图像的网络架构示意图，如图14B所示，基于所述网络架构对本实 施例提供的一种重建HDR图像的方法进行具体说明：
步骤1400、获取拍摄场景相同的低曝光图像、中曝光图像和高曝光图像；
步骤1401、将中曝光图像作为参考图像，分别对低曝光图像和高曝光图像进行特征对齐处理，得到对应的低曝光位移图像和高曝光位移图像；
其中特征对齐处理具体包括：
对参考图像进行特征提取得到参考特征图像，对低曝光图像进行特征提取得到低曝光特征图像，对高曝光图像进行特征提取得到高曝光特征图像；
将所述参考特征图像和低曝光特征图像进行合并，得到低曝光的第一合并图像，将所述第一合并图像和低曝光特征图像输入到注意力网络，输出低曝光特征图像的低曝光位移图像；
同理，将所述参考特征图像和高曝光特征图像进行合并，得到高曝光的第一合并图像，将所述第一合并图像和高曝光特征图像输入到注意力网络，输出高曝光特征图像的高曝光位移图像。
步骤1402、将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像都进行下采样操作，分别得到下采样操作后的下采参考特征图像、下采低曝光位移图像和下采高曝光位移图像；
步骤1403、将下采参考特征图像作为参考图像，分别对下采低曝光位移图像和下采高曝光位移图像进行特征对齐处理，得到本次特征对齐处理后的低曝光位移图像和高曝光位移图像；
其中，具体的特征对齐处理过程如下：
对下采参考特征图像、下采低曝光位移图像、下采高曝光位移图像进行特征提取；
将特征提取后的下采参考特征图像和下采低曝光位移图像进行合并，得到下采低曝光的第一合并图像，将所述第一合并图像和下采低曝光位移图像输入到注意力网络，输出下采低曝光位移图像的低曝光位移图像；
同理，将特征提取后的下采参考特征图像和下采高曝光特征图像进行合并，得到下采高曝光的第一合并图像，将所述第一合并图像和下采高曝光特 征图像输入到注意力网络，输出下采高曝光特征图像的高曝光位移图像。
步骤1404、将下采参考特征图像、低曝光位移图像和高曝光位移图像输入到特征融合网络，输出融合图像；
其中特征融合网络用于对经过特征提取得到的下采参考特征图像、低曝光位移图像和高曝光位移图像进行特征融合，得到融合图像；其中特征融合的具体过程如下所示：
将下采参考特征图像、低曝光位移图像和高曝光位移图像进行合并，得到第二合并图像；通过卷积层降低第二合并图像的维度，得到融合图像。
步骤1405、对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像。
其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
步骤1406、对增强图像进行上采样操作，得到上采样操作后的增强图像；
步骤1407、将上采样操作后的增强图像输入到特征重建网络，输出HDR图像。
其中，特征重建网络用于通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
如图15A所示，本实施例以三张不同曝光度的原始图像为例，提供一种重建HDR图像的网络架构示意图，如图15B所示，基于所述网络架构对本实施例提供的一种重建HDR图像的方法进行具体说明：
步骤1500、获取拍摄场景相同的低曝光图像、中曝光图像和高曝光图像；
步骤1501、将中曝光图像作为参考图像，分别对低曝光图像和高曝光图像进行特征对齐处理，得到对应的低曝光位移图像和高曝光位移图像；
其中特征对齐处理具体包括：
对参考图像进行特征提取得到参考特征图像，对低曝光图像进行特征提取得到低曝光特征图像，对高曝光图像进行特征提取得到高曝光特征图像；
将所述参考特征图像和低曝光特征图像进行合并，得到低曝光的第一合并图像，将所述第一合并图像和低曝光特征图像输入到注意力网络，输出低曝光特征图像的低曝光位移图像；
同理，将所述参考特征图像和高曝光特征图像进行合并，得到高曝光的第一合并图像，将所述第一合并图像和高曝光特征图像输入到注意力网络，输出高曝光特征图像的高曝光位移图像。
步骤1502、将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像都进行下采样操作，分别得到下采样操作后的下采参考特征图像、下采低曝光位移图像和下采高曝光位移图像；
步骤1503、将下采参考特征图像作为参考图像，分别对下采低曝光位移图像和下采高曝光位移图像进行特征对齐处理，得到本次特征对齐处理后的低曝光位移图像和高曝光位移图像；
其中，具体的特征对齐处理过程如下：
对下采参考特征图像、下采低曝光位移图像和下采高曝光位移图像进行特征提取；
将特征提取后的下采参考特征图像和下采低曝光位移图像进行合并，得到下采低曝光的第一合并图像，将所述第一合并图像和下采低曝光位移图像输入到注意力网络，输出下采低曝光位移图像的低曝光位移图像；
同理，将特征提取后的下采参考特征图像和下采高曝光特征图像进行合并，得到下采高曝光的第一合并图像，将所述第一合并图像和下采高曝光特征图像输入到注意力网络，输出下采高曝光特征图像的高曝光位移图像。
步骤1504、将下采参考特征图像、低曝光位移图像和高曝光位移图像再次进行下采样操作，分别得到第一下采参考特征图像、第一下采低曝光位移图像和第一下采高曝光位移图像；
步骤1505、将第一下采参考特征图像作为参考图像，分别对第一下采低曝光位移图像和第一下采高曝光位移图像进行特征对齐处理，得到本次特征对齐处理后的低曝光位移图像和高曝光位移图像；
步骤1506、将第一下采参考特征图像、低曝光位移图像和高曝光位移图像输入到特征融合网络，输出融合图像；
其中特征融合网络用于对第一下采参考特征图像、低曝光位移图像和高曝光位移图像进行特征融合，得到融合图像；其中特征融合的具体过程如下所示：
将第一下采参考特征图像、低曝光位移图像和高曝光位移图像进行合并，得到第二合并图像；通过卷积层降低第二合并图像的维度，得到融合图像。
步骤1507、对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像；对增强图像进行上采样操作，得到上采样操作后的增强图像。
其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
步骤1508、继续对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像；对增强图像进行上采样操作，得到上采样操作后的增强图像；
步骤1509、将上采样操作后的增强图像输入到特征重建网络，输出HDR图像。
其中，特征重建网络用于通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
实施例2、基于相同的公开构思，本公开实施例还提供了一种重建HDR图像的终端，由于该终端即是本公开实施例中的方法中的终端，并且该终端解决问题的原理与该方法相似，因此该终端的实施可以参见方法的实施，重复之处不再赘述。
如图16所示，该终端包括处理器1600和存储器1601，所述存储器1601用于存储所述处理器1600可执行的程序，所述处理器1600用于读取所述存储器1601中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，所述处理器1600具体还被配置为执行：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，所述处理器1600具体还被配置为执行：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述处理器1600具体被配置为通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，所述处理器1600具体还被配置为执行：
在显示器上显示重建的所述HDR图像。
实施例3、基于相同的公开构思，本公开实施例还提供了一种重建HDR图像的电子设备，由于该电子设备即是本公开实施例中的方法中的电子设备，并且该电子设备解决问题的原理与该方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。
如图17所示，该电子设备包括摄像单元1700和控制电路1701，其中：
所述摄像单元1700，用于获取不同曝光程度的原始图像；
所述控制电路1701包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，所述处理器具体还被配置为执行：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，所述处理器具体还被配置为执行：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述处理器具体被配置为执行：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同 曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，所述处理器具体还被配置为执行：
在显示器上显示重建的所述HDR图像。
实施例4、基于相同的公开构思，本公开实施例还提供了一种重建HDR图像的装置，由于该装置即是本公开实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图18所示，该装置包括：
获取图像单元1800，用于获取拍摄场景相同且曝光度不同的多张原始图像；
特征对齐单元1801，用于从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
特征增强单元1802，用于根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
特征重建单元1803，用于根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，还包括下采对齐处理单元具体用于：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得 到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，还包括图像增强处理单元具体用于：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述特征对齐单元1801具体用于：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述特征对齐单元1801具体用于：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述特征增强单元1802具体用于通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述特征增强单元1802具体用于：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述特征增强单元1802具体用于：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述特征重建单元1803具体用于：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述特征对齐单元1801具体用于：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述获取图像单元1800具体用于：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还包括显示单元具体用于：
在显示器上显示重建的所述HDR图像。
基于相同的公开构思，本公开实施例还提供了一种非瞬态计算机存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上，使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的 处理，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (18)

  1. 一种重建HDR图像的方法，其中，该方法包括：
    获取拍摄场景相同且曝光度不同的多张原始图像；
    从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
    根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
    根据所述增强图像，重建所述多张原始图像对应的HDR图像。
  2. 根据权利要求1所述的方法，其中，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，还包括：
    执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
    对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
    根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
  3. 根据权利要求1所述的方法，其中，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，还包括：
    执行至少一次图像增强操作；
    其中，每次图像增强操作执行如下步骤：
    将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像 和所述位移图像，确定本次的增强图像。
  4. 根据权利要求1～3任一所述的方法，其中，所述根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
    根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
    根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
  5. 根据权利要求1～3任一所述的方法，其中，所述根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
    对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
    将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
    将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
  6. 根据权利要求5所述的方法，其中，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
  7. 根据权利要求1所述的方法，其中，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
  8. 根据权利要求1～3任一所述的方法，其中，通过如下方式确定所述融合图像：
    将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
    通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
  9. 根据权利要求1～3任一所述的方法，其中，所述对下采样操作后的融合图像进行图像增强处理，包括：
    对融合图像进行下采样操作，得到下采图像；
    对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
  10. 根据权利要求9所述的方法，其中，所述对所述下采图像进行图像增强处理，包括：
    将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
    对所述网络图像进行上采样操作，得到所述增强图像。
  11. 根据权利要求1～3任一所述的方法，其中，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像，包括：
    通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
  12. 根据权利要求1～3任一所述的方法，其中，所述从多张原始图像中筛选出的参考图像，包括：
    从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
  13. 根据权利要求1～3任一所述的方法，其中，所述获取拍摄场景相同且曝光度不同的多张原始图像，包括：
    响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
  14. 根据权利要求1～3任一所述的方法，其中，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还包括：
    在显示器上显示重建的所述HDR图像。
  15. 一种重建HDR图像的终端，其中，该终端包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如权利要求1～14任一所述方法的步骤。
  16. 一种重建HDR图像的电子设备，其中，该电子设备包括摄像单元和控制电路，其中：
    所述摄像单元用于获取不同曝光程度的原始图像；
    所述控制电路包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行权利要求1～14任一所述方法的步骤。
  17. 一种重建HDR图像的装置，其中，包括：
    获取图像单元，用于获取拍摄场景相同且曝光度不同的多张原始图像；
    特征对齐单元，用于从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
    特征增强单元，用于根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
    特征重建单元，用于根据所述增强图像，重建所述多张原始图像对应的HDR图像。
  18. 一种非瞬态计算机存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1～14任一所述方法的步骤。
PCT/CN2023/076883 2022-04-19 2023-02-17 一种重建hdr图像的方法、终端及电子设备 WO2023202200A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210411628.5 2022-04-19
CN202210411628.5A CN114581355A (zh) 2022-04-19 2022-04-19 一种重建hdr图像的方法、终端及电子设备

Publications (1)

Publication Number Publication Date
WO2023202200A1 true WO2023202200A1 (zh) 2023-10-26

Family

ID=81785536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/076883 WO2023202200A1 (zh) 2022-04-19 2023-02-17 一种重建hdr图像的方法、终端及电子设备

Country Status (2)

Country Link
CN (1) CN114581355A (zh)
WO (1) WO2023202200A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581355A (zh) * 2022-04-19 2022-06-03 京东方科技集团股份有限公司 一种重建hdr图像的方法、终端及电子设备
CN115205177A (zh) * 2022-06-22 2022-10-18 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815546A (zh) * 2020-06-23 2020-10-23 浙江大华技术股份有限公司 图像重建方法以及相关设备、装置
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN113628134A (zh) * 2021-07-28 2021-11-09 商汤集团有限公司 图像降噪方法及装置、电子设备及存储介质
CN114202457A (zh) * 2021-09-18 2022-03-18 北京旷视科技有限公司 低分辨率图像的处理方法、电子设备及计算机程序产品
CN114581355A (zh) * 2022-04-19 2022-06-03 京东方科技集团股份有限公司 一种重建hdr图像的方法、终端及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815546A (zh) * 2020-06-23 2020-10-23 浙江大华技术股份有限公司 图像重建方法以及相关设备、装置
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN113628134A (zh) * 2021-07-28 2021-11-09 商汤集团有限公司 图像降噪方法及装置、电子设备及存储介质
CN114202457A (zh) * 2021-09-18 2022-03-18 北京旷视科技有限公司 低分辨率图像的处理方法、电子设备及计算机程序产品
CN114581355A (zh) * 2022-04-19 2022-06-03 京东方科技集团股份有限公司 一种重建hdr图像的方法、终端及电子设备

Also Published As

Publication number Publication date
CN114581355A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
WO2023202200A1 (zh) 一种重建hdr图像的方法、终端及电子设备
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
WO2021208600A1 (zh) 一种图像处理方法、智能设备及计算机可读存储介质
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
Khan et al. Fhdr: Hdr image reconstruction from a single ldr image using feedback network
CN111064904A (zh) 一种暗光图像增强方法
CN113674159A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112348747A (zh) 图像增强方法、装置及存储介质
CN111372006B (zh) 一种面向移动端的高动态范围成像方法及系统
Zhang et al. A real-time semi-supervised deep tone mapping network
Chen et al. End-to-end single image enhancement based on a dual network cascade model
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
Cao et al. A brightness-adaptive kernel prediction network for inverse tone mapping
CN111953888B (zh) 暗光成像方法、装置、计算机可读存储介质及终端设备
Akhil et al. Single Image HDR Synthesis Using a Densely Connected Dilated ConvNet.
WO2023246392A1 (zh) 图像获取方法、装置、设备和非瞬态计算机存储介质
Jiang et al. Meflut: Unsupervised 1d lookup tables for multi-exposure image fusion
CN110351489B (zh) 生成hdr图像的方法、装置和移动终端
Deng et al. Selective kernel and motion-emphasized loss based attention-guided network for HDR imaging of dynamic scenes
Saha et al. Low dynamic range image set generation from single image
Silva et al. A deep learning approach to mobile camera image signal processing
CN112118394B (zh) 一种基于图像融合技术的暗光视频优化方法及装置
CN111383171B (zh) 一种图片处理方法、系统及终端设备
Xu et al. Joint learning of super-resolution and perceptual image enhancement for single image
Huo et al. HDR image generation from LDR image with highlight removal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23790863

Country of ref document: EP

Kind code of ref document: A1