WO2023030139A1 - 图像融合方法、电子设备和存储介质 - Google Patents

图像融合方法、电子设备和存储介质 Download PDF

Info

Publication number
WO2023030139A1
WO2023030139A1 PCT/CN2022/114592 CN2022114592W WO2023030139A1 WO 2023030139 A1 WO2023030139 A1 WO 2023030139A1 CN 2022114592 W CN2022114592 W CN 2022114592W WO 2023030139 A1 WO2023030139 A1 WO 2023030139A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel value
feature map
weight
pixel
Prior art date
Application number
PCT/CN2022/114592
Other languages
English (en)
French (fr)
Inventor
周骥
冯歆鹏
Original Assignee
上海肇观电子科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海肇观电子科技有限公司 filed Critical 上海肇观电子科技有限公司
Publication of WO2023030139A1 publication Critical patent/WO2023030139A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the dynamic range (Dynamic Range, DR) of the brightness of the real scene is usually greater than the dynamic range of the camera.
  • DR Dynamic Range
  • the present disclosure provides an image fusion method, an electronic device and a storage medium, so as to realize high-quality and efficient image fusion.
  • an image fusion method includes: acquiring a first image and a second image shot for the same scene, the exposure time of the first image is greater than the exposure time of the second image, the first image and the second image respectively include a plurality of pixels corresponding to a plurality of pixel positions A first pixel value, a plurality of second pixel values; based on the first image, determining a first weight of the first pixel value and a second weight of the second pixel value for each pixel position; and based on the corresponding first weight and the second weight Two weights, respectively fusing the first pixel value and the second pixel value of each pixel position to obtain the target image.
  • a non-transitory computer-readable storage medium storing a program.
  • the program includes instructions which, when executed by a processor of the electronic device, cause the electronic device to perform the method according to the above.
  • a computer program product comprises a computer program which, when executed by a processor, implements the method described above.
  • the first image and the second image are respectively a long-exposure image and a short-exposure image taken for the same scene, which respectively include multiple first pixel values and multiple second pixel values corresponding to multiple pixel positions.
  • Two pixel values According to the long-exposure image, determine the contribution rate of the long-exposure image and the short-exposure image of each pixel position to the image fusion, that is, determine the first weight of the first pixel value and the second weight of the second pixel value of each pixel position, The first weight and the second weight of different pixel positions are different, and the adaptive fusion of pixel values at different pixel positions is realized, so that the pixel values of the fused target image are smoother and the image quality is higher.
  • the brightness of long-exposure images is usually higher, which is more in line with the visual needs of the human eye. Determining the contribution rate of the long-exposure image and the short-exposure image to image fusion according to the long-exposure image can make the fused target image present a good visual effect.
  • the image fusion solution in the embodiment of the present disclosure has a small amount of calculation, and can realize efficient and real-time image fusion.
  • FIG. 1 is a flowchart illustrating an image fusion method according to an exemplary embodiment
  • FIG. 2 is a comparison diagram showing a target image fused according to an exemplary embodiment and an image fused by a related technology
  • FIG. 4 is a block diagram illustrating an example of an electronic device according to an exemplary embodiment of the present disclosure.
  • first, second, etc. to describe various elements is not intended to limit the positional relationship, temporal relationship or importance relationship of these elements, and such terms are only used for Distinguishes one element from another.
  • first element and the second element may refer to the same instance of the element, and in some cases, they may also refer to different instances based on contextual description.
  • the dynamic range of the brightness of the real scene is usually greater than that of the camera, so over-exposed or under-exposed areas often appear in a single image captured by the camera through one exposure.
  • the brightness of the over-exposed area is too high, and the brightness of the under-exposed area is too small, so that the image details of the over-exposed area and the under-exposed area cannot be distinguished, and the visual effect of the image is not good.
  • HDR High Dynamic Range
  • image fusion methods mainly include the following two types:
  • One is an image fusion method based on the inverse camera response process.
  • the core of this method is to calculate the response curve of the camera during exposure (the horizontal axis of the response curve is usually the brightness value of the real scene, and the vertical axis is the pixel value of the image), and inversely transform the images under different exposures through the response curve to The real brightness value is synthesized.
  • this method conforms to the physical principle of the camera, it can effectively restore the lost details in the imaging process of the camera.
  • this method needs to calibrate the response curve of the camera in advance.
  • the response curves of different cameras and sensors are different. If you change the camera or sensor , the response curve needs to be corrected or recalibrated, which is inconvenient to operate and low in calculation efficiency.
  • the HDR image obtained in this way usually has residual artifacts, and the local contrast is relatively poor.
  • the other is to directly fuse images under different exposures to generate an HDR image.
  • This method does not consider the physical parameters of the camera itself, and does not need to calibrate the response curve of the camera.
  • the overexposed area of the long-exposure image may correspond to the underexposed area of the short-exposure image, resulting in uneven pixel values of the fused image and prone to artifacts. shadows or false borders, the image quality is poor.
  • the method 100 can be executed in the electronic device, that is, the execution body of the method 100 is the electronic device.
  • the electronic device may be a fixed computer device such as a desktop computer or a server computer, or a mobile computer device such as a mobile phone, a tablet computer, or a smart wearable device (such as a smart watch, a smart head-mounted device, etc.).
  • the electronic device may also be a camera with computing capabilities.
  • the electronic device may be an assistive reading device.
  • the method 100 includes:
  • Step S120 according to the first image, determine the first weight of the first pixel value and the second weight of the second pixel value of each pixel position;
  • Step S130 respectively fuse the first pixel value and the second pixel value of each pixel position according to the corresponding first weight and second weight, so as to obtain the target image.
  • the first image and the second image are respectively a long-exposure image and a short-exposure image taken for the same scene, which respectively include multiple first pixel values and multiple second pixel values corresponding to multiple pixel positions.
  • Two pixel values According to the long-exposure image, determine the contribution rate of the long-exposure image and the short-exposure image of each pixel position to the image fusion, that is, determine the first weight of the first pixel value and the second weight of the second pixel value of each pixel position, The first weight and the second weight of different pixel positions are different, and the adaptive fusion of pixel values at different pixel positions is realized, so that the pixel values of the fused target image are smoother and the image quality is higher.
  • the brightness of long-exposure images is usually higher, which is more in line with the visual needs of the human eye. Determining the contribution rate of the long-exposure image and the short-exposure image to image fusion according to the long-exposure image can make the fused target image present a good visual effect. Moreover, the image fusion method in the embodiment of the present disclosure has a small amount of calculation, and can realize efficient and real-time image fusion.
  • step S110 the first image and the second image taken for the same scene are obtained, the exposure time of the first image is greater than the exposure time of the second image, and the first image and the second image respectively include multiple pixels corresponding to multiple pixel positions a first pixel value and a plurality of second pixel values.
  • the first image and the second image may be captured by the same or different cameras for the same scene, and then transmitted to the electronic device for executing the method 100 .
  • the electronic device executes step S110 to acquire the first image and the second image.
  • the first image and the second image taken for the same scene may be two different images taken by the camera at the same position at a short time interval. It can be understood that since the position of the camera does not change, the content captured in the first image and the second image is roughly the same. The first image and the second image may be captured separately by using different exposure parameters.
  • step S120 based on the first image, a first weight of the first pixel value and a second weight of the second pixel value of each pixel position are determined.
  • the first weight and the second weight are respectively used to characterize the contribution of the first pixel value and the second pixel value to fusion. For example, if the first weight is greater than the second weight, the first pixel value contributes more to fusion, and the fusion pixel value will be obtained by more reference to the first pixel value.
  • the sum of the first weight of the first pixel value corresponding to the same pixel position and the second weight of the second pixel value is a predetermined value (eg, 1). Accordingly, the contributions of the first pixel value and the second pixel value to fusion can be balanced. When the first weight is smaller, the second weight will be larger.
  • the first weight when the first pixel value is located in the overexposed area of the first image, the first weight can be set to a smaller value, and correspondingly, the second weight (that is, 1 minus the first weight) is a larger value value, so that the pixel values in the long exposure image are suppressed during image fusion, and the pixel values in the short exposure image are considered more, so that the fused target image is smoother, avoiding faults or false boundaries, and presenting a good image Visual effect.
  • the second weight that is, 1 minus the first weight
  • a first weight is determined for the pixel location. And, based on the determined first weight, the second weight of the pixel position may be further determined.
  • the first weight of a pixel position is based on the relative pixel value range between the first pixel value of the pixel position and the minimum pixel value of the first image and the predetermined pixel value determined based on the minimum pixel value The scope is determined.
  • w 1 (x, y) is the first weight of the pixel position whose coordinates are (x, y)
  • w 2 (x, y) is the second weight of the pixel position whose coordinates are (x, y)
  • I LE is the first image
  • I LE (x, y) is the first pixel value of the pixel position whose coordinates are (x, y)
  • min(I LE ) is the minimum pixel value of the first image
  • ⁇ , ⁇ are preset is a constant greater than zero
  • max(I LE ) is the maximum pixel value of the first image (that is, the maximum of multiple first pixel values included in the first image value).
  • ⁇ is generally an integer greater than 1, for example, it can be 1 or 2.
  • the first weight of the pixel position may be determined based on the first pixel value of the pixel position and the maximum pixel value in the first image. And, based on the determined first weight, the second weight of the pixel position may be further determined.
  • the first weight of a pixel location is based on a relative pixel value range between the maximum pixel value of the first image and the first pixel value of the pixel location and a preset pixel value range determined based on the maximum pixel value definite.
  • w 1 (x, y) is the first weight of the pixel position whose coordinates are (x, y)
  • w 2 (x, y) is the second weight of the pixel position whose coordinates are (x, y)
  • I LE is the first image
  • I LE (x, y) is the first pixel value of the pixel position whose coordinates are (x, y)
  • max(I LE ) is the maximum pixel value of the first image
  • ⁇ and ⁇ are A preset constant greater than zero
  • min(I LE ) is the minimum pixel value of the first image.
  • ⁇ is generally an integer greater than 1, for example, it can be 1 or 2.
  • max(I LE )-I LE (x,y) is the relative pixel value range between the maximum pixel value and the first pixel value, max(I LE )- ⁇ That is, the preset pixel value range determined based on the maximum pixel value.
  • the first weight w 1 (x,y) calculated based on the above formula (5) may be greater than 1 (when I LE (x,y) ⁇ hour).
  • the first weight w 1 (x, y) is greater than 1, based on the above formula (6), the corresponding second weight w 2 (x, y) is less than 0.
  • the value of the second weight w 2 (x, y) is 0, that is, the first weight and the second weight are determined according to the following formula (7) and formula (8):
  • step S130 the first pixel value and the second pixel value of each pixel position are respectively fused according to the corresponding first weight and the second weight, so as to obtain the target image.
  • step S130 further includes:
  • Step S132 performing brightness compensation on the second pixel value according to the exposure parameters of the first image and the second image;
  • Step S134 according to the first weight and the second weight, fuse the first pixel value and the compensated second pixel value to obtain a fusion image of the first image and the second image;
  • Step S136 determining the target image based on the fused image.
  • a brightness compensation coefficient may be determined according to the exposure parameters of the first image and the second image; and brightness compensation may be performed on the second pixel value according to the brightness compensation coefficient. For example, the second pixel value may be multiplied by a brightness compensation coefficient to obtain a compensated second pixel value.
  • the exposure parameters include exposure time and exposure gain
  • the brightness compensation coefficient is the quotient of the product of the exposure time and exposure gain of the first image and the product of the exposure time and exposure gain of the second image. That is, the brightness compensation coefficient is calculated according to the following formula (9):
  • ratio is the brightness compensation coefficient
  • t 1 and g 1 are the exposure time and exposure gain of the first image respectively
  • t 2 and g 2 are the exposure time and exposure gain of the second image respectively.
  • the first pixel value and the compensated second pixel value may be weighted and summed according to the first weight and the second weight, so as to realize fusion of the first pixel value and the second pixel value.
  • the first pixel value and the compensated second pixel value can be fused according to the following formula (10-1):
  • I Fuse (x,y) w 1 (x,y) ⁇ I LE (x,y)+w 2 (x,y) ⁇ (ratio ⁇ I SE (x,y)) (10-1)
  • I Fuse (x, y), I LE (x, y), and I SE (x, y) are the fused pixel value, the first pixel value and the second Pixel values, w 1 (x, y) and w 2 (x, y) are respectively the first weight and the second weight of the pixel position whose coordinates are (x, y), and ratio is the brightness compensation coefficient.
  • the first pixel value and the compensated second pixel value may be fused through the following steps: performing logarithmic transformation on the first pixel value and the compensated second pixel value respectively to obtain the first pair and performing weighted summation on the first logarithmic pixel value and the second logarithmic pixel value according to the first weight and the second weight. That is, the first pixel value and the compensated second pixel value can be fused according to the following formula (10-2):
  • I Fuse (x,y) w 1 (x,y) ⁇ log(I LE (x,y))+w 2 (x,y) ⁇ log(ratio ⁇ I SE (x,y)) (10- 2)
  • I Fuse (x, y), I LE (x, y), and I SE (x, y) are the fused pixel value, the first pixel value and the second pixel value
  • log(I LE (x,y)), log(ratio ⁇ I SE (x,y)) are the first logarithmic pixel value and the second logarithmic pixel value
  • w 1 (x,y), w 2 (x, y) are respectively the first weight and the second weight of the pixel position whose coordinates are (x, y)
  • ratio is a brightness compensation coefficient.
  • the fusion pixel value of each pixel position can be obtained. Combining the fused pixel values of each pixel position in the same image can obtain the fused image of the first image and the second image.
  • step S136 may be executed to determine the target image based on the fused image.
  • the fused image may be directly used as the target image.
  • Fig. 2 shows a comparison diagram of a fused image (ie, a target image) fused according to an embodiment of the present disclosure and an image fused according to a camera response curve.
  • the first image 210 is a long exposure image, and there is a bright overexposed area in the middle of the image.
  • the second image 220 is a short-exposure image, which is generally dark and details of the image are difficult to distinguish.
  • the first image 210 and the second image 220 are fused to obtain a fused image (target image) 230 .
  • the first image 210 and the second image 220 are fused to obtain an image 240 .
  • FIG. 1 the image fusion method based on the camera response curve in the related art
  • the multiple fusion pixel values included in the fusion image can be further normalized to the [0, 1] interval, and the normalized image can be used as the target image, so as to avoid excessive fusion pixel values. Or too small to cause data overflow or loss, thereby affecting image quality.
  • each fused pixel value may be normalized to an interval [0, 1] by dividing by the maximum value of the fused pixel values.
  • the fused image (or normalized fused image) can be processed to obtain the target image through the following steps: filter the fused image to obtain the texture feature map and edge feature map of the target image and an illumination feature map; and obtaining a target image based on the texture feature map, the edge feature map and the illumination feature map.
  • the texture feature map of the target image can be obtained through the following steps: filter the fused image to decompose the fused image into a first basic feature map (B 1 ) and a first detail feature map (D 1 ); and performing edge-preserving compression on the first detail feature map (D 1 ) to obtain a texture feature map (FD 1 ).
  • a multi-scale edge preserving decomposition (Multi-Scale Edge Preserving Decomposition, MSEPD) algorithm can be used to filter the fused image by using an edge-preserving filter operator. processing to decompose an image into a base feature map and a detail feature map.
  • the edge-preserving filter operator may be any edge-preserving filter operator such as a bilateral filter operator, a guided filter operator, or the like.
  • the image processing method of multi-scale edge-preserving decomposition the features of different scales in the image can be extracted without downsampling the image.
  • the first basic feature map (B 1 ) and the first detail feature map (D 1 ) can be obtained by using the following formulas (11) and (12):
  • I Fuse is the fused image (or normalized fused image)
  • r 1 is the side length of the filtering window (correspondingly, the size of the filtering window is r 1 ⁇ r 1 )
  • MSEPD(I Fuse ,r 1 ) indicates that the fused image I Fuse is filtered using the MSEPD algorithm with a filtering window of size r 1 ⁇ r 1
  • B 1 and D 1 are the first basic feature map and the first detail feature map, respectively.
  • the first detail feature map D1 obtained according to the above embodiment contains a large amount of texture detail information and noise.
  • a Sigmoid function may be used to perform edge-preserving compression on the first detail feature map D 1 to obtain a texture feature map FD 1 . That is, the following formula (13) is used to perform edge-preserving compression on the first detail feature map D1 :
  • D 1 and FD 1 are the first detail feature map and texture feature map respectively, exp represents an exponential function with the natural constant e as the base, and ⁇ 1 is a preset constant.
  • the edge feature map of the target image can be obtained by the following steps: filter the first basic feature map (B 1 ), so as to decompose the first basic feature map (B 1 ) into the second basic feature map ( B 2 ) and the second detail feature map (D 2 ); and performing edge-preserving compression on the second detail feature map (D 2 ) to obtain an edge feature map (FD 2 ).
  • the MSEPD algorithm can be used to filter the first basic feature map, and the filtering process can be expressed as the following formulas (14), (15):
  • B 1 is the first basic feature map
  • r 2 is the side length of the filter window (correspondingly, the size of the filter window is r 2 ⁇ r 2 )
  • MSEPD(B 1 , r 2 ) means that the MSEPD algorithm and the size Filter the first basic feature map B 1 with a filter window of r 2 ⁇ r 2
  • B 2 and D 2 are the second basic feature map and the second detail feature map respectively.
  • the second detail feature map D 2 obtained according to the above embodiment contains the edge profile information of the object, which needs to be edge-preservingly compressed to obtain the edge feature map FD 2 .
  • a Sigmoid function may be used to perform edge-preserving compression on the second detail feature map D 2 to obtain an edge feature map FD 2 . That is, the following formula (16) is used to perform edge-preserving compression on the second detail feature map D2 :
  • D 2 and FD 2 are the second detail feature map and edge feature map respectively, exp represents an exponential function with the natural constant e as the base, and ⁇ 2 is a preset constant. It can be understood that the value of ⁇ 2 may be the same as or different from the value of ⁇ 1 in formula (13).
  • the illumination feature map of the target image can be obtained by the following steps: filter the second basic feature map (B 2 ) to decompose the third basic feature map from the second basic feature map (B 2 ) (B 3 ); and enhancing the third basic feature map (B 3 ) to obtain a lighting feature map (GB).
  • the MSEPD algorithm can be used to filter the second basic feature map, and the filtering process can be expressed as the following formula (17):
  • B 2 is the second basic feature map
  • r 3 is the side length of the filter window (correspondingly, the size of the filter window is r 3 ⁇ r 3 )
  • MSEPD(B 2 , r 3 ) means that the MSEPD algorithm and the size
  • the second basic feature map B2 is filtered for the filter window of r3 ⁇ r3
  • B3 is the third basic feature map.
  • the third basic feature map B 3 obtained according to the above embodiment contains illumination information, which can be enhanced to obtain the illumination feature map GB, so as to improve the brightness and contrast of the target image.
  • Gamma transformation may be performed on the third basic feature map B3 to obtain the illumination feature map GB. That is, the third basic feature map B3 is enhanced using the following formula (18):
  • B 3 and GB are the third basic feature map and the illumination feature map respectively, and ⁇ is a preset index in the Gamma transformation.
  • the texture feature map, edge feature map and illumination feature map are obtained by filtering, the texture feature map, edge feature map and illumination feature map can be weighted and summed to obtain the target image. That is, the target image can be obtained according to the following formula (19):
  • I obj w 1 ⁇ FD 1 +w 2 ⁇ FD 2 +w 3 ⁇ GB (19)
  • w 1 , w 2 , and w 3 are the weights of the texture feature map FD 1 , the edge feature map FD 2 , and the illumination feature map GB respectively, and the values of the three can be set by those skilled in the art according to the actual situation.
  • the brightness of the target image can be improved and contrast, thereby improving the quality of the target image and making the target image present a good visual effect.
  • the embodiments of the present disclosure use the MSEPD algorithm to implement filtering, there is no downsampling and upsampling operations in the filtering process, and the size of the filtering window can be flexibly set according to the calculation amount (that is, setting r 1 , r 2 , r 3 value), has high computational efficiency, and can realize efficient and real-time image fusion and display.
  • FIG. 3 shows a schematic diagram of an image fusion process 300 according to an embodiment of the present disclosure.
  • step S350 the long exposure image 310 and the short exposure image 312 are fused to obtain a fused image 314 .
  • the fused image 314 can be obtained, for example, through the aforementioned steps S110 , S120 , S132 , and S134 .
  • step S352 the fused image 314 is filtered using the MSEPD algorithm to decompose the fused image 314 into a first basic feature map 316 and a first detail feature map 318 .
  • step S354 the Sigmoid function is used to perform edge-preserving compression on the first detail feature map 318 to obtain the texture feature map 320 .
  • step S356 the MSEPD algorithm is used to filter the first basic feature map 316 to decompose the first basic feature map 316 into a second basic feature map 322 and a second detail feature map 324 .
  • step S358 the Sigmoid function is used to perform edge-preserving compression on the second detail feature map 324 to obtain an edge feature map 326 . Understandably, the Sigmoid function used in step S358 may be different from the Sigmoid function used in step S354.
  • step S360 the MSEPD algorithm is used to filter the second basic feature map 322 to decompose the third basic feature map 328 from the second basic feature map 322 .
  • step S362 Gamma transformation is performed on the third basic feature map 328 to obtain an illumination feature map 330 .
  • step S364 the texture feature map 320 , the edge feature map 326 and the illumination feature map 330 are weighted and summed to obtain the target image 332 .
  • the target image 332 is the result image of this image fusion.
  • an image fusion device may include an image acquisition unit, a weight determination unit, and a fusion unit, wherein the image acquisition unit may be configured to acquire a first image and a second image taken for the same scene, and the exposure time of the first image is longer than that of the second image.
  • the first image and the second image respectively include a plurality of first pixel values and a plurality of second pixel values corresponding to a plurality of pixel positions.
  • the weight determination unit may be configured to determine a first weight of the first pixel value and a second weight of the second pixel value of each pixel position based on the first image.
  • the fusion unit may be configured to respectively fuse the first pixel value and the second pixel value of each pixel position based on the corresponding first weight and the second weight, so as to obtain the target image.
  • an electronic device including: a processor; and a memory storing a program, the program including instructions, which when executed by the processor cause the processor to perform the above-mentioned image fusion method.
  • a non-transitory computer-readable storage medium storing a program, the program includes instructions, and the instructions, when executed by a processor of an electronic device, cause the electronic device to perform the above-mentioned image fusion method.
  • a computer program product including a computer program, when the computer program is executed by a processor, the above image fusion method is implemented.
  • Electronic device 400 is an example of a hardware device (electronic device) that can be applied to aspects of the present disclosure.
  • Electronic device 400 may be any machine configured to perform processing and/or computation, which may be, but is not limited to, a workstation, server, desktop computer, laptop computer, tablet computer, personal digital assistant, robot, smartphone, vehicle-mounted computer, or any combination thereof.
  • the above image fusion method 100 may be fully or at least partially implemented by the electronic device 400 or similar devices or systems.
  • Electronic device 400 may include elements connected to or in communication with bus 402 (possibly via one or more interfaces).
  • electronic device 400 may include a bus 402 , one or more processors 404 , one or more input devices 406 , and one or more output devices 408 .
  • Processor(s) 404 may be any type of processor and may include, but is not limited to, one or more general purpose processors and/or one or more special purpose processors (eg, special processing chips).
  • Input device 406 may be any type of device capable of inputting information into electronic device 400, and may include, but is not limited to, a mouse, keyboard, touch screen, microphone, and/or remote control.
  • Output devices 408 may be any type of device capable of presenting information, and may include, but are not limited to, displays, speakers, video/audio output terminals, vibrators, and/or printers.
  • the electronic device 400 may also include a non-transitory storage device 410, which may be any storage device that is non-transitory and capable of data storage, including but not limited to disk drives, optical storage devices, solid-state memory, floppy disks, flexible disk, hard disk, tape or any other magnetic medium, optical disk or any other optical medium, ROM (read only memory), RAM (random access memory), cache memory and/or any other memory chips or cartridges, and/or computer Any other medium from which data, instructions and/or code can be read.
  • the non-transitory storage device 410 is detachable from the interface.
  • the non-transitory storage device 410 may have data/programs (including instructions)/codes for implementing the above methods and steps.
  • the electronic device 400 may also include a communication device 412 .
  • the communication device 412 may be any type of device or system that enables communication with external devices and/or with a network, and may include, but is not limited to, modems, network cards, infrared communication devices, wireless communication devices, and/or chipsets, such as Bluetooth TM device, 1302.11 device, Wi-Fi device, Wi-Max device, cellular communication device, and/or the like.
  • Electronic device 400 may also include working memory 414, which may be any type of working memory that may store programs (including instructions) and/or data useful for the work of processor 404, and may include, but is not limited to, random access memory and and/or read-only memory devices.
  • working memory 414 may be any type of working memory that may store programs (including instructions) and/or data useful for the work of processor 404, and may include, but is not limited to, random access memory and and/or read-only memory devices.
  • Software elements may be located in working memory 414, including but not limited to operating system 416, one or more application programs 418, drivers, and/or other data and code. Instructions for executing the above methods and steps may be included in one or more application programs 418 , and the above image fusion method 100 may be implemented by reading and executing the instructions of one or more application programs 418 by the processor 404 . More specifically, in the above-mentioned image fusion method 100, steps S110-S130 can be realized, for example, by the processor 404 executing the application program 418 having instructions of steps S110-S130.
  • steps in the above-mentioned image fusion method 100 can be realized, for example, by the processor 404 executing the application program 418 having instructions for executing the corresponding steps.
  • the executable code or source code of the instructions of the software elements (programs) may be stored in a non-transitory computer-readable storage medium (such as the above-mentioned storage device 410), and when executed, may be stored in the working memory 414 (possibly compiled and/or install).
  • the executable code or source code of the instructions of the software element (program) may also be downloaded from a remote location.
  • custom hardware could also be used, and/or particular elements could be implemented in hardware, software, firmware, middleware, microcode, hardware description languages, or any combination thereof.
  • some or all of the disclosed methods and devices can be implemented by programming hardware (e.g., including Field Programmable Gate Arrays) in assembly language or hardware programming languages (such as VERILOG, VHDL, C++) using logic and algorithms according to the present disclosure. (FPGA) and/or Programmable Logic Circuits of Programmable Logic Array (PLA)) to implement programming.
  • programming hardware e.g., including Field Programmable Gate Arrays
  • FPGA Field Programmable Gate Array
  • PDA Programmable Logic Circuits of Programmable Logic Array
  • a client may receive user-entered data and send the data to a server.
  • the client may also receive the data input by the user, perform part of the processing in the aforementioned method, and send the processed data to the server.
  • the server may receive data from the client, execute the aforementioned method or another part of the aforementioned method, and return the execution result to the client.
  • the client can receive the execution result of the method from the server, and can present it to the user, for example, through an output device.
  • components of electronic device 400 may be distributed over a network. For example, some processing may be performed using one processor while other processing may be performed by another processor remote from the one processor. Other components of computing system 400 may be similarly distributed. As such, electronic device 400 may be interpreted as a distributed computing system that performs processing at multiple locations.
  • An image fusion method comprising:
  • the exposure time of the first image is longer than the exposure time of the second image
  • the first image and the second image respectively include a plurality of pixels corresponding to A plurality of first pixel values, a plurality of second pixel values of the position;
  • Aspect 2 The method according to aspect 1, wherein, for any first pixel value, the larger the first pixel value is, the smaller the first weight of the first pixel value is.
  • Aspect 3 The method according to aspect 1, wherein the sum of the first weight of the first pixel value corresponding to the same pixel position and the second weight of the second pixel value is 1.
  • Aspect 4 The method according to any one of aspects 1-3, wherein, for any pixel position, the first weight of the pixel position is based on the first pixel value of the pixel position and the The minimum pixel value is determined.
  • Aspect 5 The method according to aspect 4, wherein the first weight of the pixel location is based on a relative pixel value range between the first pixel value of the pixel location and the minimum pixel value and based on the minimum pixel value The determined preset pixel value range is determined.
  • Aspect 6 The method according to any one of aspects 1-5, wherein the first weight and the second weight are determined according to the following formula:
  • Aspect 7 The method according to any one of aspects 1-3, wherein, for any pixel position, the first weight of the pixel position is based on the first pixel value of the pixel position and the The maximum pixel value is determined.
  • Aspect 9 The method according to any one of aspects 1-3 and 7-8, wherein the first weight and the second weight are determined according to the following formula:
  • w 1 (x, y) is the first weight of the pixel position whose coordinates are (x, y)
  • w 2 (x, y) is the second weight of the pixel position whose coordinates are (x, y)
  • I LE is the first image
  • I LE (x, y) is the first pixel value at the pixel position with coordinates (x, y)
  • max(I LE ) is the maximum pixel value in the first image
  • ⁇ , ⁇ is a preset constant greater than zero
  • min(I LE ) ⁇ max(I LE ) min(I LE ) is the minimum pixel value in the first image.
  • Aspect 10 The method according to any one of aspects 1-9, wherein the first pixel value and the second pixel value for each pixel location are fused based on the corresponding first weight and second weight, respectively, to The target image obtained includes:
  • the target image is determined based on the fused image.
  • Aspect 11 The method according to aspect 10, wherein, based on the exposure parameters of the first image and the second image, performing brightness compensation on the second pixel value comprises:
  • Aspect 12 The method of aspect 11, wherein the exposure parameters include exposure time and exposure gain, and
  • the brightness compensation coefficient is a quotient of the product of the exposure time of the first image and the exposure gain and the product of the exposure time of the second image and the exposure gain.
  • Aspect 13 The method according to any one of aspects 10-12, wherein based on the first weight and the second weight, fusing the first pixel value and the compensated second pixel value comprises :
  • weighted summation is performed on the first logarithmic pixel value and the second logarithmic pixel value.
  • Aspect 14 The method of any one of aspects 10-13, wherein the fused image comprises a plurality of fused pixel values corresponding to the plurality of pixel locations,
  • the method further includes: normalizing the plurality of fused pixel values to an interval [0, 1].
  • determining the target image based on the fused image comprises:
  • the target image is obtained based on the texture feature map, edge feature map and illumination feature map.
  • Aspect 16 The method according to aspect 15, wherein filtering the fused image to obtain the texture feature map of the target image comprises:
  • filtering the fused image to obtain the edge feature map of the target image comprises:
  • Aspect 18 The method according to aspect 17, wherein filtering the fused image to obtain the illumination feature map of the target image comprises:
  • the third basic feature map is enhanced to obtain the illumination feature map.
  • Aspect 19 The method according to any one of aspects 15-18, wherein obtaining the target image based on the texture feature map, edge feature map, and illumination feature map comprises:
  • Aspect 20 The method according to any one of aspects 15-19, wherein the filtering is implemented using an edge-preserving filter operator.
  • An electronic device comprising:
  • a memory storing a program comprising instructions which, when executed by the processor, cause the processor to perform the method according to any one of aspects 1-20.
  • Aspect 22 A non-transitory computer-readable storage medium storing a program comprising instructions which, when executed by a processor of an electronic device, cause the electronic device to perform any of aspects 1-20. method described in the item.
  • a computer program product comprising a computer program, wherein said computer program, when executed by a processor, implements the method according to any one of aspects 1-20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供一种图像融合方法、电子设备和存储介质。图像融合方法包括：获取针对同一场景拍摄的第一图像和第二图像，第一图像的曝光时间大于第二图像的曝光时间，第一图像、第二图像分别包括对应于多个像素位置的多个第一像素值、多个第二像素值；根据第一图像，确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重；以及根据相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像。利用本公开提供的图像融合方法，能够实现高质量的、高效的图像融合。

Description

图像融合方法、电子设备和存储介质 技术领域
本公开涉及图像处理技术领域，特别涉及一种图像融合方法、电子设备和存储介质。
背景技术
真实场景的亮度的动态范围(Dynamic Range，DR)通常大于相机的动态范围。相机在采集图像时，一次曝光仅能记录下真实场景中的一部分动态范围，因此采集到的图像中往往会出现过曝区域或欠曝区域，导致场景细节信息的丢失，图像的视觉效果不佳。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供一种图像融合方法、电子设备和存储介质，以实现高质量的、高效的图像融合。
根据本公开的一方面，提供一种图像融合方法。该方法包括：获取针对同一场景拍摄的第一图像和第二图像，第一图像的曝光时间大于第二图像的曝光时间，第一图像、第二图像分别包括对应于多个像素位置的多个第一像素值、多个第二像素值；根据第一图像，确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重；以及根据相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像。
根据本公开的另一方面，提供一种电子设备。该电子设备包括：处理器；以及存储程序的存储器，该程序包括指令，该指令在由处理器执行时使处理器执行根据上述方法。
根据本公开的另一方面，提供一种存储程序的非暂态计算机可读存储介质。该程序包括指令，该指令在由电子设备的处理器执行时，致使电子设备执行根据上述方法。
根据本公开的另一方面，提供一种计算机程序产品。该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现上述方法。
根据本公开的实施例，第一图像、第二图像分别是针对同一场景拍摄的长曝光图像、短曝光图像，二者分别包括对应于多个像素位置的多个第一像素值、多个第二像素值。 根据长曝光图像，确定每个像素位置的长曝光图像和短曝光图像对图像融合的贡献率，即确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重，不同像素位置的第一权重、第二权重不同，实现了不同像素位置的像素值的自适应融合，使融合得到的目标图像的像素值更加平滑，图像质量更高。
长曝光图像的亮度通常较高，更符合人眼视觉需求。根据长曝光图像来确定长曝光图像、短曝光图像对图像融合的贡献率，可以使融合得到的目标图像呈现良好的视觉效果。
并且，本公开实施例的图像融合方案的计算量小，能够实现高效的、实时的图像融合。
根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1是示出根据示例性实施例的图像融合方法的流程图；
图2是示出根据示例性实施例融合得到的目标图像与采用相关技术融合得到的图像的对比图；
图3是示出根据示例性实施例的图像融合过程的示意图；以及
图4是示出根据本公开的示例性实施例的电子设备的示例的框图。
具体实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
真实场景的亮度的动态范围通常大于相机的动态范围，因此相机通过一次曝光采集的单张图像中往往会出现过曝区域或欠曝区域。过曝区域的亮度过大，欠曝区域的亮度过小，导致过曝区域和欠曝区域的图像细节均无法分辨，图像的视觉效果不佳。
为了提高图像的视觉效果，可以通过多次曝光来采集同一真实场景的多张图像，每张图像包含真实场景中的不同的动态范围。然后，将多张图像进行融合，得到一张高动态范围(High Dynamic Range，HDR)图像。
相关技术中，常用的图像融合方法主要包括以下两种：
一种是基于逆相机响应过程的图像融合方法。该方法的核心是计算出相机在进行曝光时的响应曲线(响应曲线的横轴通常为真实场景的亮度值，纵轴为图像的像素值)，将不同曝光下的图像通过响应曲线逆变换至真实的亮度值进行合成。该方法虽然符合相机的物理原理，可以有效地还原相机成像过程中丢失的细节部分，但是，这种方法需要提前标定相机的响应曲线，不同相机、不同传感器的响应曲线不同，如果更换相机或传感器，则需要对响应曲线进行校正或重新标定，操作不便，计算效率较低。并且，这种方式得到的HDR图像通常残留有伪影，局部对比度也相对较差。
另一种是将不同曝光下的图像直接进行融合，生成HDR图像。这种方法不考虑相机自身的物理参数，不需要标定相机的响应曲线。但是，当待融合的多张图像的曝光时间相差过大时，长曝光图像的过曝区域可能对应于短曝光图像的欠曝区域，导致融合后的图像的像素值参差不齐，容易出现伪影或伪边界，图像质量较差。
针对相关技术中存在的问题，本公开提供一种图像融合方法、电子设备和存储介质，以实现高质量的、高效率的图像融合。以下结合附图详细描述本公开的实施例。
图1示出了根据本公开实施例的图像融合方法100的流程图。
方法100可以在电子设备中执行，即，方法100的执行主体为电子设备。电子设备可以诸如台式机、服务器计算机等固定式计算机设备，也可以是诸如手机、平板电脑、智能可穿戴设备(例如智能手表、智能头戴式设备等)等移动式计算机设备。在一些实施例中，电子设备也可以是具有计算能力的相机。在另一些实施例中，电子设备可以是辅助阅读设备。
如图1所示，方法100包括：
步骤S110、获取针对同一场景拍摄的第一图像和第二图像，第一图像的曝光时间大于第二图像的曝光时间，第一图像、第二图像分别包括对应于多个像素位置的多个第一像素值、多个第二像素值；
步骤S120、根据第一图像，确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重；以及
步骤S130、根据相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像。
根据本公开的实施例，第一图像、第二图像分别是针对同一场景拍摄的长曝光图像、短曝光图像，二者分别包括对应于多个像素位置的多个第一像素值、多个第二像素值。根据长曝光图像，确定每个像素位置的长曝光图像和短曝光图像对图像融合的贡献率，即确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重，不同像素位置的第一权重、第二权重不同，实现了不同像素位置的像素值的自适应融合，使融合得到的目标图像的像素值更加平滑，图像质量更高。长曝光图像的亮度通常较高，更符合人眼视觉需求。根据长曝光图像来确定长曝光图像、短曝光图像对图像融合的贡献率，可以使融合得到的目标图像呈现良好的视觉效果。并且，本公开实施例的图像融合方法的计算量小，能够实现高效的、实时的图像融合。
以下详细描述方法100的各个步骤。
在步骤S110中，获取针对同一场景拍摄的第一图像和第二图像，第一图像的曝光时间大于第二图像的曝光时间，第一图像、第二图像分别包括对应于多个像素位置的多个第一像素值、多个第二像素值。
根据一些实施例，第一图像、第二图像可以由相同或不同的相机针对同一场景拍摄而得到，然后被传递至用于执行方法100的电子设备中。相应地，电子设备执行步骤S110，获取第一图像和第二图像。
针对同一场景拍摄的第一图像和第二图像可以是将相机在同一位置以较短的时间间隔拍摄的两张不同的图像。可以理解的是，由于相机的位置没有发生变化，第一图像和第二图像中所拍摄的内容是大致相同的。可以通过采用不同的曝光参数分别拍摄第一图像和第二图像。
在本公开的实施例中，第一图像的曝光时间大于第二图像的曝光时间。即，第一图像为长曝光图像，第二图像为短曝光图像。相应地，第一图像在视觉上呈现为比第二图像更亮。
根据一些实施例，可以由同一个相机针对同一场景拍摄不同曝光时间的多张图像，然后从中选择两张图像，将这两张图像中的曝光时间较长的图像作为第一图像，曝光时间较短的图像作为第二图像。进一步地，为了使第一图像和第二图像的融合效果更好， 融合得到的目标图像质量更高，根据一些实施例，可以根据采集上述多张图像的相机的响应曲线，从多张图像中选择出第一图像和第二图像。
在本公开的实施例中，第一图像包括分别对应于多个像素位置的多个第一像素值，第二图像包括分别对应于多个像素位置的多个第二像素值。
像素位置例如可以通过二维坐标(x，y)来表示。像素值(包括第一像素值、第二像素值)例如可以是像素的灰度值，或者是不同图像通道的通道值(例如R、G、B通道的R、G、B值，或者Y、U、V通道的Y、U、V值，等)。
每个像素位置对应于第一图像中的一个第一像素值和一个第二像素值。例如，像素位置(x，y)对应于第一图像中的坐标为(x，y)的第一像素值和第二图像中的坐标为(x，y)的第二像素值。需要说明的是，在本公开的实施例中，第一图像与第二图像的尺寸(即宽度方向上包括的像素的数量和长度方向上包括的像素的数量)是相同的。在一些实施例中，如果对应于第一图像的和第二图像的原始采集图像的尺寸不同时，可以对原始采集图像进行缩放处理，以得到具有相同尺寸的第一图像和第二图像。
在步骤S120中，基于第一图像，确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重。
第一图像为亮度较高的长曝光图像。相较于灰暗的短曝光图像(第二图像)来说，人眼对较亮的长曝光图像的视觉感受更好。根据第一图像来确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重，即长曝光图像来确定长曝光图像、短曝光图像对图像融合的贡献率，可以使融合得到的目标图像跟符合人眼视觉需求，呈现良好的视觉效果。
在本公开的实施例中，以像素为单位来进行图像融合。即，对于每一个像素位置，将该像素位置的第一像素值和第二像素值进行融合，得到融合像素值。然后将多个像素位置的融合像素值进行组合，得到融合图像。根据一些实施例，可以直接将融合图像作为目标图像。或者，根据另一些实施例，可以对融合图像进行进一步处理(例如下文所描述的对融合图像的滤波处理)，以得到目标图像。
第一权重、第二权重分别用于表征第一像素值和第二像素值对于融合的贡献。例如，若第一权重大于第二权重，则第一像素值对于融合的贡献更大，融合像素值将通过更多地参考第一像素值而得出。
根据一些实施例，对于任一第一像素值，该第一像素值越大，该第一像素值的第一权重越小。
第一像素值越大，对应的像素位置越接近过曝区域。通过设置第一权重与第一像素值呈反比，可以使第一像素值越大，第一权重越小，即，使第一像素值对融合的贡献越小，从而能够在图像融合时对长曝光图像中的过曝区域的像素值进行抑制，使融合得到的目标图像更加平滑，避免出现断层或伪边界，保证目标图像呈现良好的视觉效果。
根据一些实施例，对应于同一像素位置的第一像素值的第一权重与第二像素值的第二权重的和为预定值(例如1)。据此，可以平衡第一像素值和第二像素值对融合的贡献。当第一权重越小时，第二权重将越大。例如，当第一像素值位于第一图像的过曝区域时，可以将第一权重设置为一个较小的数值，相应地，第二权重(即1减去第一权重)为一个较大的数值，从而在图像融合时对长曝光图像中的像素值进行抑制，并且更多地考虑短曝光图像中的像素值，使得融合得到的目标图像更加平滑，避免出现断层或伪边界，呈现良好的视觉效果。
具体地，第一权重、第二权重的确定方式可以有多种。
根据一些实施例，对于任一像素位置，可以基于该像素位置的第一像素值和第一图像中的最小像素值(即第一图像所包括的多个第一像素值中的最小值)来确定该像素位置的第一权重。并且，可以基于所确定的第一权重，进一步确定该像素位置的第二权重。
根据一些实施例，一像素位置的第一权重是基于该像素位置的第一像素值与第一图像的最小像素值之间的相对像素值范围和基于该最小像素值所确定的预设像素值范围确定的。
相对像素值范围例如可以是第一像素值与最小像素值的差。又例如，也可以利用第一像素值与最小像素值的比值确定相对像素值范围。
预设像素值范围可以是基于最小像素值所确定的一个第一常数，例如可以是一个大于最小像素值的第一常数与最小像素值的差。类似地，也可以利用第一常数与最小像素值的比值确定预定像素值范围。在不脱离本公开原理的情况下，本领域技术人员可以利用各种数学工具进行处理来确定相对像素值范围和预定像素值范围。
可以按照下述公式(1)和公式(2)来确定第一权重和第二权重：
Figure PCTCN2022114592-appb-000001
Figure PCTCN2022114592-appb-000002
式中，w 1(x,y)为坐标为(x,y)的像素位置的第一权重，w 2(x,y)为坐标为(x,y)的像素位置的第二权重，I LE为第一图像，I LE(x,y)为坐标为(x,y)的像素位置的第一像素值，min(I LE)为第一图像的最小像素值，α、β为预设的大于零的常数，并且min(I LE)<α≤max(I LE)，max(I LE)为第一图像的最大像素值(即第一图像所包括的多个第一像素值的最大值)。β通常为大于1的整数，例如可以是1或2。
在上述公式(1)和公式(2)中，I LE(x,y)-min(I LE)即为第一像素值与最小像素值之间的相对像素值范围，α-min(I LE)即为基于最小像素值所确定的预设像素值范围。
需要说明的是，在α<max(I LE)的情况下，基于上述公式(1)计算出的第一权重w 1(x,y)可能是负数(当I LE(x,y)>α时)。在第一权重w 1(x,y)为负数的情况下，基于上述公式(2)，相应的第二权重w 2(x,y)大于1。在另一些实施例中，也可以在公式(1)、公式(2)的基础上，设置当I LE(x,y)>α时，第一权重w 1(x,y)的值为0，第二权重w 2(x,y)的值为1，即，按照下述公式(3)和公式(4)来确定第一权重、第二权重：
Figure PCTCN2022114592-appb-000003
Figure PCTCN2022114592-appb-000004
根据另一些实施例，对于任一像素位置，可以基于该像素位置的第一像素值和第一图像中的最大像素值来确定该像素位置的第一权重。并且，可以基于所确定的第一权重，进一步确定该像素位置的第二权重。
根据一些实施例，像素位置的第一权重是基于第一图像的最大像素值与该像素位置的第一像素值之间的相对像素值范围和基于该最大像素值所确定的预设像素值范围确定的。
相对像素值范围例如可以是最大像素值与第一像素值的差。又例如，也可以利用最大像素值与第一像素值的比值确定相对像素值范围。预设像素值范围可以是基于最大像素值所确定的一个第二常数，例如可以是最大像素值与一个小于最大像素值的第二常数的差。类似地，也可以利用最大像素值和第二常数的比值确定预定像素值范围。在不脱离本公开原理的情况下，本领域技术人员可以利用各种数学工具进行处理来确定相对像素值范围和预定像素值范围。
相应地，可以按照下述公式(5)和公式(6)来确定第一权重和第二权重：
Figure PCTCN2022114592-appb-000005
Figure PCTCN2022114592-appb-000006
式中，w 1(x,y)为坐标为(x,y)的像素位置的第一权重，w 2(x,y)为坐标为(x,y)的像素位置的第二权重，I LE为所述第一图像，I LE(x,y)为坐标为(x,y)的像素位置的第一像素值，max(I LE)为第一图像的最大像素值，α、β为预设的大于零的常数，并且min(I LE)≤α<max(I LE)，min(I LE)为第一图像的最小像素值。β通常为大于1的整数，例如可以是1或2。
在上述公式(5)和公式(6)中，max(I LE)-I LE(x,y)即最大像素值与第一像素值之间的相对像素值范围，max(I LE)-α即为基于最大像素值所确定的预设像素值范围。
需要说明的是，在α＞min(I LE)的情况下，基于上述公式(5)计算出的第一权重w 1(x,y)可能大于1(当I LE(x,y)<α时)。在第一权重w 1(x,y)大于1的情况下，基于上述公式(6)，相应的第二权重w 2(x,y)小于0。在另一些实施例中，也可以在公式(5)、公式(6)的基础上，设置当I LE(x,y)<α时，第一权重w 1(x,y)的值为1，第二权重w 2(x,y)的值为0，即，按照下述公式(7)和公式(8)来确定第一权重、第二权重：
Figure PCTCN2022114592-appb-000007
Figure PCTCN2022114592-appb-000008
在步骤S130中，根据相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像。
根据一些实施例，步骤S130进一步包括：
步骤S132、根据第一图像和第二图像的曝光参数，对第二像素值进行亮度补偿；
步骤S134、根据第一权重和第二权重，对第一像素值和补偿后的第二像素值进行融合，以得到第一图像和第二图像的融合图像；以及
步骤S136、基于融合图像确定目标图像。
针对步骤S132，根据一些实施例，可以根据第一图像和第二图像的曝光参数，确定亮度补偿系数；以及根据亮度补偿系数，对第二像素值进行亮度补偿。例如，可以将第二像素值与亮度补偿系数相乘，以得到补偿后的第二像素值。
根据一些实施例，曝光参数包括曝光时间和曝光增益，亮度补偿系数为第一图像的曝光时间和曝光增益的乘积与第二图像的曝光时间和曝光增益的乘积的商。即，亮度补偿系数按照以下公式(9)计算：
Figure PCTCN2022114592-appb-000009
式中，ratio为亮度补偿系数，t 1、g 1分别为第一图像的曝光时间和曝光增益，t 2、g 2分别为第二图像的曝光时间和曝光增益。
针对步骤S134，根据一些实施例，可以根据第一权重和第二权重对第一像素值和补偿后的第二像素值进行加权求和，以实现第一像素值和第二像素值的融合。
即，可以按照以下公式(10-1)来对第一像素值和补偿后的第二像素值进行融合：
I Fuse(x,y)＝w 1(x,y)×I LE(x,y)+w 2(x,y)×(ratio×I SE(x,y))   (10-1)
式中，I Fuse(x,y)、I LE(x,y)、I SE(x,y)分别为坐标为(x,y)的像素位置的融合像素值、第一像素值和第二像素值，w 1(x,y)、w 2(x,y)分别为坐标为(x,y)的像素位置的第一权重、第二权重，ratio为亮度补偿系数。
根据另一些实施例，可以通过以下步骤来对第一像素值和补偿后的第二像素值进行融合：分别对第一像素值和补偿后的第二像素值进行对数变换，得到第一对数像素值和第二对数像素值；以及根据第一权重和第二权重，对第一对数像素值和第二对数像素值进行加权求和。即，可以按照以下公式(10-2)来对第一像素值和补偿后的第二像素值进行融合：
I Fuse(x,y)＝w 1(x,y)×log(I LE(x,y))+w 2(x,y)×log(ratio×I SE(x,y))   (10-2)
式中，I Fuse(x,y)、I LE(x,y)、I SE(x,y)分别为坐标为(x,y)的像素位置的融合像素值、第一像素值和第二像素值，log(I LE(x,y))、log(ratio×I SE(x,y))分别为第一对数像素值和第二对数像素值，w 1(x,y)、w 2(x,y)分别为坐标为(x,y)的像素位置的第一权重、第二权重，ratio为亮度补偿系数。
基于上述公式(10-1)或(10-2)，可以得到各像素位置的融合像素值。将各像素位置的融合像素值进行组合在同一张图像中，即可得到第一图像与第二图像的融合图像。
根据本公开的实施例，通过对第一图像和第二图像的像素值进行简单的数学运算(如加减乘除)，即可得到完成图像融合。计算量小，计算效率高，能够实现实时的图像融合。
在通过步骤S134得到第一图像和第二图像的融合图像后，可以执行步骤S136，基于融合图像来确定目标图像。
在步骤S136中，根据一些实施例，可以直接将融合图像作为目标图像。
图2示出了根据本公开实施例融合得到的融合图像(即目标图像)与根据相机响应曲线融合得到的图像的对比图。
如图2所示，第一图像210为长曝光图像，该图像的中部存在高亮的过曝区域。第二图像220为短曝光图像，该图像整体较暗，图像细节难以分辨。根据本公开实施例的图像融合方法，对第一图像210和第二图像220进行融合，得到融合图像(目标图像)230。根据相关技术中的基于相机响应曲线的图像融合方法，对第一图像210和第二图像220进行融合，得到图像240。如图2所示，基于相机响应曲线融合得到的图像240的中部存在明显的伪边界242，图像质量不高，视觉效果欠佳。而基于本公开实施例融合得到的融合图像(目标图像)230中，与伪边界242对应的位置更加平滑，不存在明显的伪边界，图像质量和视觉效果明显优于图像240。
根据另一些实施例，可以进一步将融合图像所包括的多个融合像素值归一化到[0，1]区间内，将归一化后的图像作为目标图像，以避免因融合像素值过大或过小而造成数据溢出或丢失，进而影响图像质量。根据一些实施例，可以通过除以多个融合像素值的最大值的方式，来将各融合像素值归一化到[0，1]区间内。
根据另一些实施例，可以通过以下步骤来对融合图像(或归一化后的融合图像)进行处理，以得到目标图像：对融合图像进行滤波，以得到目标图像的纹理特征图、边缘特征图以及光照特征图；以及基于纹理特征图、边缘特征图以及光照特征图得到目标图像。
根据一些实施例，可以通过以下步骤来得到目标图像的纹理特征图：对融合图像进行滤波，以将融合图像分解为第一基础特征图(B 1)和第一细节特征图(D 1)；以及对第一细节特征图(D 1)进行边缘保持压缩，以得到纹理特征图(FD 1)。
在上述实施例中，可以采用多尺度边缘保持分解(Multi-Scale Edge Preserving Decomposition，MSEPD)算法利用边缘保持的滤波算子来对融合图像进行滤波，其中，可以利用边缘保持的滤波算子进行图像处理以将图像分解为基础特征图和细节特征图。边缘保持的滤波算子可以是双边滤波算子、引导滤波算子等任何边缘保持的滤波算子。利用多尺度边缘保持分解的图像处理方式，不需要对图像进行降采样操作即可提取到图像中不同尺度的特征。可以利用下述公式(11)、(12)得到第一基础特征图(B 1)和第一细节特征图(D 1)：
B 1＝MSEPD(I Fuse,r 1)                  (11)
D 1＝I Fuse-B 1               (12)
式中，I Fuse为融合图像(或归一化后的融合图像)，r 1为滤波窗口的边长(相应地，滤波窗口的尺寸为r 1×r 1)，MSEPD(I Fuse，r 1)表示以尺寸为r 1×r 1的滤波窗口采用MSEPD算法对融合图像I Fuse进行滤波，B 1、D 1分别为第一基础特征图和第一细节特征图。
根据上述实施例所得到的第一细节特征图D 1中包含大量的纹理细节信息和噪声，为了保证最终得到的目标图像呈现良好的纹理细节，需要对第一细节特征图D 1进行少量压缩或保持，即，对第一细节特征图D 1进行边缘保持压缩，以得到纹理特征图FD 1。
根据一些实施例，可以采用Sigmoid函数来对第一细节特征图D 1进行边缘保持压缩，得到纹理特征图FD 1。即，采用下述公式(13)来对第一细节特征图D 1进行边缘保持压缩：
FD 1＝Sigmoid(D 1,δ 1)＝1/(1+exp(-δ 1×D 1))          (13)
式中，D 1、FD 1分别为第一细节特征图和纹理特征图，exp表示以自然常数e为底的指数函数，δ 1为预设的常数。
根据一些实施例，可以通过以下步骤来得到目标图像的边缘特征图：对第一基础特征图(B 1)进行滤波，以将第一基础特征图(B 1)分解为第二基础特征图(B 2)和第二细节特征图(D 2)；以及对第二细节特征图(D 2)进行边缘保持压缩，以得到边缘特征图(FD 2)。
在上述实施例中，可以采用MSEPD算法来对第一基础特征图进行滤波，滤波过程可以表示为下述公式(14)、(15)：
B 2＝MSEPD(B 1,r 2)           (14)
D 2＝B 1-B 2               (15)
式中，B 1为第一基础特征图，r 2为滤波窗口的边长(相应地，滤波窗口的尺寸为r 2×r 2)，MSEPD(B 1，r 2)表示采用MSEPD算法以及尺寸为r 2×r 2的滤波窗口对第一基础特征图B 1进行滤波，B 2、D 2分别为第二基础特征图和第二细节特征图。
根据上述实施例所得到的第二细节特征图D 2中包含物体的边缘轮廓信息，需要对其进行边缘保持压缩，以得到边缘特征图FD 2。
根据一些实施例，可以采用Sigmoid函数来对第二细节特征图D 2进行边缘保持压缩，得到边缘特征图FD 2。即，采用下述公式(16)来对第二细节特征图D 2进行边缘保持压缩：
FD 2＝Sigmoid(D 2,δ 2)＝1/(1+exp(-δ 2×D 2))          (16)
式中，D 2、FD 2分别为第二细节特征图和边缘特征图，exp表示以自然常数e为底的指数函数，δ 2为预设的常数。可以理解地，δ 2的值可以与公式(13)中的δ 1的值相同或不同。
根据一些实施例，可以通过以下步骤来得到目标图像的光照特征图：对第二基础特征图(B 2)进行滤波，以从第二基础特征图(B 2)中分解出第三基础特征图(B 3)；以及对第三基础特征图(B 3)进行增强，以得到光照特征图(GB)。
在上述实施例中，可以采用MSEPD算法来对第二基础特征图进行滤波，滤波过程可以表示为下述公式(17)：
B 3＝MSEPD(B 2,r 3)           (17)
式中，B 2为第二基础特征图，r 3为滤波窗口的边长(相应地，滤波窗口的尺寸为r 3×r 3)，MSEPD(B 2，r 3)表示采用MSEPD算法以及尺寸为r 3×r 3的滤波窗口对第二基础特征图B 2进行滤波，B 3为第三基础特征图。
根据上述实施例所得到的第三基础特征图B 3中包含光照信息，可以对其进行增强以得到光照特征图GB，从而提高目标图像的亮度和对比图。
根据一些实施例，可以对第三基础特征图B 3进行Gamma变换，得到光照特征图GB。即，采用下述公式(18)来对第三基础特征图B 3进行增强：
GB＝Gamma(B 3)＝(B 3) γ           (18)
式中，B 3、GB分别为第三基础特征图和光照特征图，γ为Gamma变换中的预设的指数。
在通过滤波得到的纹理特征图、边缘特征图以及光照特征图后，可以对纹理特征图、边缘特征图以及光照特征图进行加权求和，以得到目标图像。即，目标图像可以按照下述公式(19)来得到：
I obj＝w 1×FD 1+w 2×FD 2+w 3×GB         (19)
式中，w 1、w 2、w 3分别为纹理特征图FD 1、边缘特征图FD 2、光照特征图GB的权重，三者的取值可以由本领域技术人员根据实际情况来设置。
根据本公开的实施例，通过对融合图像进行滤波以得到纹理特征图、边缘特征图以及光照特征图，并且基于纹理特征图、边缘特征图以及光照特征图得到目标图像，可以提升目标图像的亮度和对比度，从而提高目标图像的质量，使目标图像呈现良好的视觉效果。
此外，本公开的实施例采用MSEPD算法来实现滤波，在滤波过程中没有降采样以及升采样操作，同时可以根据计算量来灵活设置滤波窗口的大小(即设置r 1、r 2、r 3的值)，计算效率高，能够实现高效的、实时的图像融合及显示。
图3示出了根据本公开实施例的图像融合过程300的示意图。
如图3所示，在步骤S350中，将长曝光图像310和短曝光图像312进行融合，得到融合图像314。融合图像314例如可以通过前述步骤S110、S120、S132、S134来得到。
在步骤S352中，采用MSEPD算法对融合图像314进行滤波，以将融合图像314分解为第一基础特征图316和第一细节特征图318。
在步骤S354中，采用Sigmoid函数来对第一细节特征图318进行边缘保持压缩，得到纹理特征图320。
在步骤S356中，采用MSEPD算法对第一基础特征图316进行滤波，以将第一基础特征图316分解为第二基础特征图322和第二细节特征图324。
在步骤S358中，采用Sigmoid函数来对第二细节特征图324进行边缘保持压缩，得到边缘特征图326。可以理解地，步骤S358中采用的Sigmoid函数可以与步骤S354中采用的Sigmoid函数不同。
在步骤S360中，采用MSEPD算法对第二基础特征图322进行滤波，以从第二基础特征图322中分解出第三基础特征图328。
在步骤S362中，对第三基础特征图328进行Gamma变换，得到光照特征图330。
在步骤S364中，对纹理特征图320、边缘特征图326以及光照特征图330进行加权求和，得到目标图像332。目标图像332即为本次图像融合的结果图像。
根据本公开的实施例，还提供了一种图像融合装置。图像融合装置可以包括图像获取单元、权重确定单元以及融合单元，其中，图像获取单元可以配置成获取针对同一场景拍摄的第一图像和第二图像，所述第一图像的曝光时间大于所述第二图像的曝光时间，所述第一图像、所述第二图像分别包括对应于多个像素位置的多个第一像素值、多个第二像素值。权重确定单元可以配置成基于所述第一图像，确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重。融合单元可以配置成基于相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像。
这里，图像融合装置的上述各个单元的操作分别与前面描述的步骤S110～S130的操作类似，在此不再赘述。根据本公开的另一方面，还提供一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的图像融合方法。
根据本公开的另一方面，还提供一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行上述的图像融合方法。
根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的图像融合方法。
参见图4，现将描述电子设备400，其是可以应用于本公开的各方面的硬件设备(电子设备)的示例。电子设备400可以是被配置为执行处理和/或计算的任何机器，可以是 但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述图像融合方法100可以全部或至少部分地由电子设备400或类似设备或系统实现。
电子设备400可以包括(可能经由一个或多个接口)与总线402连接或与总线402通信的元件。例如，电子设备400可以包括总线402、一个或多个处理器404、一个或多个输入设备406以及一个或多个输出设备408。一个或多个处理器404可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备406可以是能向电子设备400输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备408可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。电子设备400还可以包括非暂时性存储设备410，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备410可以从接口拆卸。非暂时性存储设备410可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。电子设备400还可以包括通信设备412。通信设备412可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙 TM设备、1302.11设备、Wi-Fi设备、Wi-Max设备、蜂窝通信设备和/或类似物。
电子设备400还可以包括工作存储器414，其可以是可以存储对处理器404的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器414中，包括但不限于操作系统416、一个或多个应用程序418、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序418中，并且上述图像融合方法100可以通过由处理器404读取和执行一个或多个应用程序418的指令来实现。更具体地，上述图像融合方法100中，步骤S110-S130可以例如通过处理器404执行具有步骤S110-S130的指令的应用程序418而实现。此外，上述图像融合方法100中的其它步骤可以例如通过处理器404 执行具有执行相应步骤中的指令的应用程序418而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备410)中，并且在执行时可以被存入工作存储器414中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。
还应该理解，电子设备400的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统400的其他组件也可以类似地分布。这样，电子设备400可以被解释为在多个位置执行处理的分布式计算系统。
以下描述本公开的一些示例性方面。
方面1.一种图像融合方法，包括：
获取针对同一场景拍摄的第一图像和第二图像，所述第一图像的曝光时间大于所述第二图像的曝光时间，所述第一图像、所述第二图像分别包括对应于多个像素位置的多个第一像素值、多个第二像素值；
基于所述第一图像，确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重；以及
基于相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像。
方面2.根据方面1所述的方法，其中，对于任一第一像素值，该第一像素值越大，该第一像素值的第一权重越小。
方面3.根据方面1所述的方法，其中，对应于同一像素位置的第一像素值的第一权重与第二像素值的第二权重的和为1。
方面4.根据方面1-3中任一项所述的方法，其中，对于任一像素位置，该像素位置的第一权重是基于该像素位置的第一像素值和所述第一图像中的最小像素值确定的。
方面5.根据方面4所述的方法，其中，该像素位置的第一权重是基于该像素位置的第一像素值与所述最小像素值之间的相对像素值范围和基于所述最小像素值所确定的预设像素值范围确定的。
方面6.根据方面1-5中任一项所述的方法，其中，所述第一权重、第二权重按照以下公式确定：
Figure PCTCN2022114592-appb-000010
Figure PCTCN2022114592-appb-000011
其中，w 1(x,y)为坐标为(x,y)的像素位置的第一权重，w 2(x,y)为坐标为(x,y)的像素位置的第二权重，I LE为所述第一图像，I LE(x,y)为坐标为(x,y)的像素位置的第一像素值，min(I LE)为所述第一图像中的最小像素值，α、β为预设的大于零的常数，并且min(I LE)<α≤max(I LE)，max(I LE)为所述第一图像中的最大像素值。
方面7.根据方面1-3中任一项所述的方法，其中，对于任一像素位置，该像素位置的第一权重是基于该像素位置的第一像素值和所述第一图像中的最大像素值确定的。
方面8.根据方面7所述的方法，其中，该像素位置的第一权重是基于所述最大像素值与该像素位置的第一像素值之间的相对像素值范围和基于所述最大像素值所确定的预设像素值范围确定的。
方面9.根据方面1-3、7-8中任一项所述的方法，其中，所述第一权重、第二权重按照以下公式确定：
Figure PCTCN2022114592-appb-000012
Figure PCTCN2022114592-appb-000013
其中，w 1(x,y)为坐标为(x,y)的像素位置的第一权重，w 2(x,y)为坐标为(x,y)的像素位置的第二权重，I LE为所述第一图像，I LE(x,y)为坐标为(x,y)的像素位置的第一像素值，max(I LE)为所述第一图像中的最大像素值，α、β为预设的大于零的常数，并且min(I LE)≤α<max(I LE)，min(I LE)为所述第一图像中的最小像素值。
方面10.根据方面1-9中任一项所述的方法，其中，基于相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像包括：
基于所述第一图像和所述第二图像的曝光参数，对所述第二像素值进行亮度补偿；
基于所述第一权重和所述第二权重，对所述第一像素值和补偿后的第二像素值进行融合，以得到所述第一图像和所述第二图像的融合图像；以及
基于所述融合图像确定所述目标图像。
方面11.根据方面10所述的方法，其中，基于所述第一图像和所述第二图像的曝光参数，对所述第二像素值进行亮度补偿包括：
基于所述第一图像和所述第二图像的曝光参数，确定亮度补偿系数；以及
根据所述亮度补偿系数对所述第二像素值进行亮度补偿。
方面12.根据方面11所述的方法，其中，所述曝光参数包括曝光时间和曝光增益，并且
其中，所述亮度补偿系数为所述第一图像的曝光时间和曝光增益的乘积与所述第二图像的曝光时间和曝光增益的乘积的商。
方面13.根据方面10-12中任一项所述的方法，其中，基于所述第一权重和所述第二权重，对所述第一像素值和补偿后的第二像素值进行融合包括：
分别对所述第一像素值和补偿后的第二像素值进行对数变换，得到第一对数像素值和第二对数像素值；以及
基于所述第一权重和所述第二权重，对所述第一对数像素值和所述第二对数像素值进行加权求和。
方面14.根据方面10-13中任一项所述的方法，其中，所述融合图像包括对应于所述多个像素位置的多个融合像素值，
所述方法还包括：将所述多个融合像素值归一化到[0，1]区间内。
方面15.根据方面10-14中任一项所述的方法，基于所述融合图像确定所述目标图像包括：
对所述融合图像进行滤波，以得到所述目标图像的纹理特征图、边缘特征图以及光照特征图；以及
基于所述纹理特征图、边缘特征图以及光照特征图得到所述目标图像。
方面16.根据方面15所述的方法，其中，对所述融合图像进行滤波以得到所述目标图像的纹理特征图包括：
对所述融合图像进行滤波，以将所述融合图像分解为第一基础特征图和第一细节特征图；以及
对所述第一细节特征图进行边缘保持压缩，以得到所述纹理特征图。
方面17.根据方面16所述的方法，其中，对所述融合图像进行滤波以得到所述目标图像的边缘特征图包括：
对所述第一基础特征图进行滤波，以将所述第一基础特征图分解为第二基础特征图和第二细节特征图；以及
对所述第二细节特征图进行边缘保持压缩，以得到所述边缘特征图。
方面18.根据方面17所述的方法，其中，对所述融合图像进行滤波以得到所述目标图像的光照特征图包括：
对所述第二基础特征图进行滤波，以从所述第二基础特征图中分解出第三基础特征图；以及
对所述第三基础特征图进行增强，以得到所述光照特征图。
方面19.根据方面15-18中任一项所述的方法，其中，基于所述纹理特征图、边缘特征图以及光照特征图得到所述目标图像包括：
对所述纹理特征图、边缘特征图以及光照特征图进行加权求和，以得到所述目标图像。
方面20.根据方面15-19中任一项所述的方法，其中，所述滤波采用边缘保持的滤波算子实现。
方面21.一种电子设备，包括：
处理器；以及
存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据方面1-20中任一项所述的方法。
方面22.一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据方面1-20中任一项所述的方法。
方面23.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据方面1-20中任一项所述的方法。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略 或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (23)

  1. 一种图像融合方法，包括：
    获取针对同一场景拍摄的第一图像和第二图像，所述第一图像的曝光时间大于所述第二图像的曝光时间，所述第一图像、所述第二图像分别包括对应于多个像素位置的多个第一像素值、多个第二像素值；
    基于所述第一图像，确定每个像素位置的第一像素值的第一权重和第二像素值的第二权重；以及
    基于相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像。
  2. 根据权利要求1所述的方法，其中，对于任一第一像素值，该第一像素值越大，该第一像素值的第一权重越小。
  3. 根据权利要求1所述的方法，其中，对应于同一像素位置的第一像素值的第一权重与第二像素值的第二权重的和为1。
  4. 根据权利要求1-3中任一项所述的方法，其中，对于任一像素位置，该像素位置的第一权重是基于该像素位置的第一像素值和所述第一图像中的最小像素值确定的。
  5. 根据权利要求4所述的方法，其中，该像素位置的第一权重是基于该像素位置的第一像素值与所述最小像素值之间的相对像素值范围和基于所述最小像素值所确定的预设像素值范围确定的。
  6. 根据权利要求1-5中任一项所述的方法，其中，所述第一权重、第二权重按照以下公式确定：
    Figure PCTCN2022114592-appb-100001
    Figure PCTCN2022114592-appb-100002
    其中，w 1(x,y)为坐标为(x,y)的像素位置的第一权重，w 2(x,y)为坐标为(x,y)的像素位置的第二权重，I LE为所述第一图像，I LE(x,y)为坐标为(x,y)的像素位置的第一像素值，min(I LE)为所述第一图像 中的最小像素值，α、β为预设的大于零的常数，并且min(I LE)<α≤max(I LE)，max(I LE)为所述第一图像中的最大像素值。
  7. 根据权利要求1-3中任一项所述的方法，其中，对于任一像素位置，该像素位置的第一权重是基于该像素位置的第一像素值和所述第一图像中的最大像素值确定的。
  8. 根据权利要求7所述的方法，其中，该像素位置的第一权重是基于所述最大像素值与该像素位置的第一像素值之间的相对像素值范围和基于所述最大像素值所确定的预设像素值范围确定的。
  9. 根据权利要求1-3、7-8中任一项所述的方法，其中，所述第一权重、第二权重按照以下公式确定：
    Figure PCTCN2022114592-appb-100003
    Figure PCTCN2022114592-appb-100004
    其中，w 1(x,y)为坐标为(x,y)的像素位置的第一权重，w 2(x,y)为坐标为(x,y)的像素位置的第二权重，I LE为所述第一图像，I LE(x,y)为坐标为(x,y)的像素位置的第一像素值，max(I LE)为所述第一图像中的最大像素值，α、β为预设的大于零的常数，并且min(I LE)≤α<max(I LE)，min(I LE)为所述第一图像中的最小像素值。
  10. 根据权利要求1-9中任一项所述的方法，其中，基于相应的第一权重和第二权重，分别对每个像素位置的第一像素值和第二像素值进行融合，以得到目标图像包括：
    基于所述第一图像和所述第二图像的曝光参数，对所述第二像素值进行亮度补偿；
    基于所述第一权重和所述第二权重，对所述第一像素值和补偿后的第二像素值进行融合，以得到所述第一图像和所述第二图像的融合图像；以及
    基于所述融合图像确定所述目标图像。
  11. 根据权利要求10所述的方法，其中，基于所述第一图像和所述第二图像的曝光参数，对所述第二像素值进行亮度补偿包括：
    基于所述第一图像和所述第二图像的曝光参数，确定亮度补偿系数；以及
    根据所述亮度补偿系数对所述第二像素值进行亮度补偿。
  12. 根据权利要求11所述的方法，其中，所述曝光参数包括曝光时间和曝光增益，并且
    其中，所述亮度补偿系数为所述第一图像的曝光时间和曝光增益的乘积与所述第二图像的曝光时间和曝光增益的乘积的商。
  13. 根据权利要求10-12中任一项所述的方法，其中，基于所述第一权重和所述第二权重，对所述第一像素值和补偿后的第二像素值进行融合包括：
    分别对所述第一像素值和补偿后的第二像素值进行对数变换，得到第一对数像素值和第二对数像素值；以及
    基于所述第一权重和所述第二权重，对所述第一对数像素值和所述第二对数像素值进行加权求和。
  14. 根据权利要求10-13中任一项所述的方法，其中，所述融合图像包括对应于所述多个像素位置的多个融合像素值，
    所述方法还包括：将所述多个融合像素值归一化到[0，1]区间内。
  15. 根据权利要求10-14中任一项所述的方法，基于所述融合图像确定所述目标图像包括：
    对所述融合图像进行滤波，以得到所述目标图像的纹理特征图、边缘特征图以及光照特征图；以及
    基于所述纹理特征图、边缘特征图以及光照特征图得到所述目标图像。
  16. 根据权利要求15所述的方法，其中，对所述融合图像进行滤波以得到所述目标图像的纹理特征图包括：
    对所述融合图像进行滤波，以将所述融合图像分解为第一基础特征图和第一细节特征图；以及
    对所述第一细节特征图进行边缘保持压缩，以得到所述纹理特征图。
  17. 根据权利要求16所述的方法，其中，对所述融合图像进行滤波以得到所述目标图像的边缘特征图包括：
    对所述第一基础特征图进行滤波，以将所述第一基础特征图分解为第二基础特征图和第二细节特征图；以及
    对所述第二细节特征图进行边缘保持压缩，以得到所述边缘特征图。
  18. 根据权利要求17所述的方法，其中，对所述融合图像进行滤波以得到所述目标图像的光照特征图包括：
    对所述第二基础特征图进行滤波，以从所述第二基础特征图中分解出第三基础特征图；以及
    对所述第三基础特征图进行增强，以得到所述光照特征图。
  19. 根据权利要求15-18中任一项所述的方法，其中，基于所述纹理特征图、边缘特征图以及光照特征图得到所述目标图像包括：
    对所述纹理特征图、边缘特征图以及光照特征图进行加权求和，以得到所述目标图像。
  20. 根据权利要求15-19中任一项所述的方法，其中，所述滤波采用边缘保持的滤波算子实现。
  21. 一种电子设备，包括：
    处理器；以及
    存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-20中任一项所述的方法。
  22. 一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据权利要求1-20中任一项所述的方法。
  23. 一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据权利要求1-20中任一项所述的方法。
PCT/CN2022/114592 2021-09-03 2022-08-24 图像融合方法、电子设备和存储介质 WO2023030139A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111031156.2A CN113674193A (zh) 2021-09-03 2021-09-03 图像融合方法、电子设备和存储介质
CN202111031156.2 2021-09-03

Publications (1)

Publication Number Publication Date
WO2023030139A1 true WO2023030139A1 (zh) 2023-03-09

Family

ID=78548197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/114592 WO2023030139A1 (zh) 2021-09-03 2022-08-24 图像融合方法、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113674193A (zh)
WO (1) WO2023030139A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质
CN116051449B (zh) * 2022-08-11 2023-10-24 荣耀终端有限公司 图像噪声估计方法及装置
CN116152132B (zh) * 2023-04-19 2023-08-04 山东仕达思医疗科技有限公司 一种显微镜图像的景深叠加方法、装置及设备
CN117257204B (zh) * 2023-09-19 2024-05-07 深圳海业医疗科技有限公司 一种内窥镜控制组件控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152686A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Local Tone Mapping for High Dynamic Range Images
CN108259774A (zh) * 2018-01-31 2018-07-06 珠海市杰理科技股份有限公司 图像合成方法、系统和设备
US20180220054A1 (en) * 2017-02-01 2018-08-02 Omnivision Technologies, Inc. Exposure Selector For High-Dynamic Range Imaging And Associated Method
CN110717878A (zh) * 2019-10-12 2020-01-21 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
US20210248758A1 (en) * 2018-06-07 2021-08-12 Dolby Laboratories Licensing Corporation Hdr image generation from single-shot hdr color image sensors
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152686A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Local Tone Mapping for High Dynamic Range Images
US20180220054A1 (en) * 2017-02-01 2018-08-02 Omnivision Technologies, Inc. Exposure Selector For High-Dynamic Range Imaging And Associated Method
CN108259774A (zh) * 2018-01-31 2018-07-06 珠海市杰理科技股份有限公司 图像合成方法、系统和设备
US20210248758A1 (en) * 2018-06-07 2021-08-12 Dolby Laboratories Licensing Corporation Hdr image generation from single-shot hdr color image sensors
CN110717878A (zh) * 2019-10-12 2020-01-21 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN113674193A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
WO2023030139A1 (zh) 图像融合方法、电子设备和存储介质
JP7152540B2 (ja) フィルタリング方法、及びシステム
US10432861B2 (en) Scene motion correction in fused image systems
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
US10410327B2 (en) Shallow depth of field rendering
US9344636B2 (en) Scene motion correction in fused image systems
KR101662846B1 (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
US11132770B2 (en) Image processing methods and apparatuses, computer readable storage media and electronic devices
CN107147851B (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
EP4218228A1 (en) Saliency based capture or image processing
US20210327026A1 (en) Methods and apparatus for blending unknown pixels in overlapping images
CN116563190B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
JP2024037722A (ja) コンテンツに基づく画像処理
O'Malley A simple, effective system for automated capture of high dynamic range images
WO2024174711A1 (zh) 图像处理方法和终端设备
AU2014277652A1 (en) Method of image enhancement based on perception of balance of image features
CN117710273A (zh) 图像增强模型的构建方法、图像增强方法、设备及介质
CN118781006A (zh) 图像处理模型训练、图像去模糊方法、装置和计算机设备
CN112949392A (zh) 图像处理方法及装置、存储介质、终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22863277

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22863277

Country of ref document: EP

Kind code of ref document: A1