WO2023236215A1 - 图像处理方法、装置及存储介质 - Google Patents

图像处理方法、装置及存储介质 Download PDF

Info

Publication number
WO2023236215A1
WO2023236215A1 PCT/CN2022/098255 CN2022098255W WO2023236215A1 WO 2023236215 A1 WO2023236215 A1 WO 2023236215A1 CN 2022098255 W CN2022098255 W CN 2022098255W WO 2023236215 A1 WO2023236215 A1 WO 2023236215A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fusion
exposure
quality
target
Prior art date
Application number
PCT/CN2022/098255
Other languages
English (en)
French (fr)
Inventor
蔡斌
Original Assignee
北京小米移动软件有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京小米移动软件有限公司 filed Critical 北京小米移动软件有限公司
Priority to PCT/CN2022/098255 priority Critical patent/WO2023236215A1/zh
Priority to CN202280004516.6A priority patent/CN117597914A/zh
Publication of WO2023236215A1 publication Critical patent/WO2023236215A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • Image fusion technology refers to using multiple frames of images with different exposures through image processing and computer technology to extract useful information in each frame of the image, and synthesize it into a High Dynamic Range (High Dynamic Range) with higher image quality and richer brightness levels. HDR) images, thereby improving the imaging quality in large light ratio scenes with large changes in light and dark distribution.
  • High Dynamic Range High Dynamic Range
  • the image information of the collected images with different exposures is seriously lost, and the image quality is poor; if the image quality is much poorer,
  • image fusion is performed on frame images, the resulting HDR image may have artifacts or unnatural fusion, resulting in a poor user experience.
  • Embodiments of the present disclosure provide an image processing method, device and storage medium.
  • a second aspect of the embodiment of the present disclosure provides an image processing device.
  • the device includes:
  • An acquisition module configured to acquire a first image and a second image of the same target scene, wherein the exposure of the first image is greater than the exposure of the second image;
  • a first determination module configured to determine the exposure of the first image based on the brightness distribution information of the first image
  • memory configured to store executable instructions
  • a fourth aspect of the embodiment of the present disclosure provides a non-transitory computer-readable storage medium, which when instructions in the storage medium are executed by a processor of an image processing device, enables the image processing device to execute the foregoing provision of the first aspect.
  • Image processing methods when instructions in the storage medium are executed by a processor of an image processing device, enables the image processing device to execute the foregoing provision of the first aspect.
  • the embodiment of the present disclosure first determines the exposure of the first image by acquiring the first image and the second image with different exposures; the degree of image information loss of the first image reflected based on the exposure of the first image, and the second
  • the image quality of the image reflects the degree of image information loss of the second image information.
  • Corresponding image processing is performed on the first image to obtain the target image, reduce some unnecessary image fusion processing, and effectively improve the image quality of the target image. Improve user experience.
  • image fusion processing is performed on the first image and the second image to obtain the target image, In this way, before performing image fusion, it is determined whether the image quality of the currently collected first image and/or the second image meets the image fusion conditions, thereby reducing some unnecessary image fusion processing and effectively improving the image quality of the fused target image. , improve the user experience.
  • Figure 1 is a schematic diagram of a short exposure image shown in the related art
  • Figure 2 is a schematic diagram of a long exposure image shown in the related art
  • Figure 3 is a schematic diagram of an HDR image obtained based on the fusion of a short exposure image and a long exposure image shown in the related art
  • Figure 5 is a schematic flowchart 2 of an image processing method according to an exemplary embodiment
  • Figure 6 is a schematic flowchart 3 of an image processing method according to an exemplary embodiment
  • Figure 7 is a schematic structural diagram of an image processing device according to an exemplary embodiment
  • Figure 8 is a block diagram of a terminal device according to an exemplary embodiment.
  • first, second, third, etc. may be used to describe various information in the embodiments of the present disclosure, the information should not be limited to these terms. These terms are only used to distinguish information of the same type from each other.
  • first information may also be called second information, and similarly, the second information may also be called first information.
  • word “if” as used herein may be interpreted as "when” or "when” or "in response to determining.”
  • the camera of a mobile terminal alternately outputs long exposure images and short exposure images at a frame rate of 60fps, and fuses the long exposure images and short exposure images to obtain HDR image frames; and outputs the HDR image frame at a frame rate of 30fps.
  • HDR video composed of HDR image frames.
  • Figure 1 is a schematic diagram of a short exposure image shown in the related art
  • Figure 2 is a schematic diagram of a long exposure image shown in the related art
  • Figure 3 is a schematic diagram of a long exposure image shown in the related art. Schematic diagram of an HDR image based on the fusion of a short exposure image and a long exposure image.
  • FIG. 4 is a schematic flowchart 1 of an image processing method according to an exemplary embodiment. The method includes:
  • Step S101 obtain a first image and a second image of the same target scene, wherein the exposure of the first image is greater than the exposure of the second image;
  • Step S102 Determine the exposure of the first image based on the brightness distribution information of the first image
  • Step S103 Perform image processing on the first image according to the exposure condition of the first image and the image quality of the second image to obtain a target image.
  • the image processing method can be applied to a mobile terminal equipped with an image collection device; the mobile terminal can be: a smart phone, a tablet computer or a wearable electronic device, etc., and the mobile terminal is equipped with
  • the image acquisition device may acquire the first image and the second image.
  • the image acquisition device generally refers to a device in a mobile terminal that can complete the camera function, including a camera, as well as necessary processing modules and storage modules to complete image acquisition and transmission, and may also include some processing function modules.
  • the exposure duration, sensitivity and exposure aperture size values are related to the attribute parameters and initial settings of the image acquisition device.
  • the image processing method can also be applied to other devices or cloud servers other than the device that collects the first image and the second image (herein referred to as the first device); the other devices can It may or may not have an image acquisition device, and the other equipment may have image processing capabilities.
  • the first image and the second image sent by the first device are received through the other device or the cloud server to obtain the first image and the second image.
  • the cloud server perform image fusion processing, that is, after the fused target image is obtained, it can be sent to the first device for display or storage by the first device.
  • the first image and the second image are images corresponding to different exposures obtained when collecting images of the same target scene, wherein the exposure of the first image is greater than that of the second image. exposure.
  • the first image and the second image are multiple frame images continuously collected by the same camera or a camera, for example, multiple frame images collected continuously after the camera turns on the HDR acquisition mechanism.
  • the first image can be determined to be an abnormally exposed image; if the over-exposure area accounts for If the proportion of the first image is smaller than the preset overexposure ratio, it can be determined that the first image is not the abnormally exposed image.
  • step S103 after the exposure of the first image is determined, the image quality of the second image can be determined based on the image parameters of the second image. According to the exposure of the first image and the second Image quality of the image, image processing is performed on the first image to obtain the target image.
  • the exposure condition of the first image can at least be used to characterize the ambient light conditions under which the first image was photographed. It can be understood that since the first image is a long-exposure image, by controlling the time interval from opening to closing of the shutter when shooting the first image, the photosensitive device can accumulate the images captured by the lens over a period of time, and can obtain more The amount of light entering.
  • the first image is an abnormally exposed image, it means that the ambient light conditions for shooting the first image may be good (i.e. the environment is brighter), and the photosensitive device receives too much light, resulting in the first image appearing due to overexposure. In the case of whitening, the image information of the first image is seriously lost and the image quality is poor. At this time, it may be necessary to use a second image with a short exposure to compensate for the image information lost in the first image.
  • the ambient light conditions for shooting the first image may be poor (that is, the environment is dark), and the amount of light received by the photosensitive device is not enough to cause the first image to be overexposed, causing the second image to be overexposed.
  • An image can retain detailed information in dark areas without losing detailed information in bright areas, and the image quality is high. At this point, it may not be necessary to compensate for the first image with a short exposure of the second image.
  • the image processing methods performed on the first images may be different.
  • the image quality of the second image is different, if the second image is used to compensate the image information of the first image, the image quality of the compensated image obtained will also have a large difference, so when determining the When describing the image processing method used for the first image, not only the exposure of the first image but also the image quality of the second image must be taken into consideration.
  • multiple image processing methods may be preset for second images with different exposure conditions and/or different image qualities
  • the embodiment of the present disclosure first determines the exposure of the first image by acquiring the first image and the second image with different exposures; the degree of image information loss of the first image reflected based on the exposure of the first image, and the second
  • the image quality of the image reflects the degree of image information loss of the second image information.
  • Corresponding image processing is performed on the first image to obtain the target image, reduce some unnecessary image fusion processing, and effectively improve the image quality of the target image. Improve user experience.
  • processing the first image according to the exposure of the first image and the image quality of the second image to obtain a target image includes:
  • the first image is determined as the target image.
  • the first image is not an abnormally exposed image based on the ratio between the number of abnormal pixels in the first image and the number of all pixels in the first image, it means that the first image is not an abnormally exposed image.
  • the number of overexposed abnormal pixels in an image is smaller; the overexposed areas in the first image are smaller, the image information of the first image is less lost, and the image quality of the first image is higher.
  • the first image is a long-exposure image
  • the amount of light received by the photosensitive device is not enough to cause the first image to be overexposed, so that the detailed information in the dark areas can be retained in the first image.
  • the detailed information in the bright areas will not be lost, that is, the brightness level of the first image is richer and the image quality is higher; at this time, the first image can be directly determined as the target image without any image processing on the first image. deal with.
  • processing the first image according to the exposure of the first image and the image quality of the second image to obtain a target image includes:
  • the first image is processed according to whether the image quality of the second image meets the image fusion condition to obtain a target image.
  • image fusion processing is performed on the first image and the second image.
  • image quality of the HDR image is poor. , resulting in poor user experience.
  • the second image can be optimized first, and the first image and the optimized second image can be image fused to obtain the target image;
  • image fusion processing can be directly performed on the first image and the second image to obtain the target image.
  • the first image is subjected to corresponding image processing based on whether the image quality of the second image satisfies the image fusion condition. , to obtain the target image, reduce some unnecessary image fusion processing, effectively improve the image quality of the target image, and enhance the user experience.
  • processing the first image to obtain a target image according to whether the image quality of the second image meets image fusion conditions includes:
  • the first image is determined as the target image.
  • the short exposure area in the second image can be determined by obtaining the brightness distribution information of the second image, and the proportion of the short exposure area in the second image, and the The proportion of the short exposure area in the second image is compared with a preset underexposure ratio to determine whether the image quality of the second image meets the image fusion condition.
  • the proportion of the short exposure area in the second image is greater than or equal to the preset underexposure ratio, it can be determined that the image detail information of the second image is lost, and the image detail information of the second image is lost.
  • the image quality does not meet the image fusion condition; if the proportion of the short exposure area in the second image is less than the preset underexposure ratio, it can be determined that the image quality of the second image meets the image fusion condition.
  • the second image retains the image information of the high-brightness areas, but due to the small amount of incident light, the brightness and color information of the target scene in the second image is severely lacking, while the first image retains both the low-brightness areas. and the image information of the normal brightness area, while retaining the brightness and color information of the target scene; image fusion is performed based on the first image and the second image, and the resulting fused target image can retain the brightness and color information of the target scene. , and can also retain the image information of high-brightness areas, normal brightness areas and low-brightness areas.
  • determining whether the image quality of the second image meets image fusion conditions includes:
  • the illumination of the ambient light signal when the second image is collected can be obtained.
  • the illumination of the ambient light signal is greater than the preset illumination threshold, it is determined that the ambient brightness when shooting the second image is brighter, and the image quality of the second image meets the image fusion condition; if the ambient light signal If the illumination is less than or equal to the preset illumination threshold, it is determined that the ambient brightness when shooting the second image is dark, and the image quality of the second image does not meet the image fusion condition.
  • the second image is a short exposure image, that is, the exposure time of the second image is shorter, the amount of light entering when shooting the second image is less; if the ambient brightness when shooting the second image is If it is darker, the second image may be too dark, resulting in loss of image detail information of the second image and poor image quality. If the ambient brightness when shooting the second image is bright, even if the exposure time is short, the second image will not be too dark. At this time, the image quality of the second image meets the image fusion conditions, and the first image and the first image can be combined. The second image is subjected to image fusion processing.
  • the first optional method is that in response to the shooting trigger operation, the flash frequency acquisition component collects the flash frequency of the ambient light signal.
  • the shooting triggering operation is also used to trigger the operation of the camera component. That is, the collection of the flicker frequency of the ambient light signal is completed during the image shooting process.
  • the flicker frequency of the ambient light signal collected by the flash acquisition component can also characterize the flicker frequency of the ambient light signal of the shooting environment.
  • the ambient light signal when collecting the second image is a flickering light source such as a lamp
  • the brightness of the flickering light source will change periodically, causing each pixel or each row of pixels in the second image to receive the initial exposure.
  • the time is inconsistent, causing the image brightness of the second image collected to change periodically with the change of the exposure function, and visually there will be flashing stripes in the second image. i.e. stroboscopic streaks; resulting in poorer image quality in the second image.
  • the human eye Due to the different flickering frequencies of the flickering light sources, the human eye has different sensitivity to the flickering of the light source. Generally, when the flickering frequency is below 50Hz, the human eye can detect the flickering of the flickering light source, while the human eye is sensitive to flickering light sources with a flickering frequency of 8.8Hz. most sensitive. At the same time, the maximum flickering frequency of a flickering light source that can be detected by the human eye (ie, the critical flickering frequency) is not fixed, but changes with the intensity of light emitted by the flickering light source.
  • the embodiment of the present disclosure When determining whether the image quality of the second image satisfies the image fusion condition, the embodiment of the present disclosure not only considers the impact of the illumination of the ambient light signal on the image quality of the second image when the second image is captured, but also considers The influence of the flicker frequency of the ambient light signal when the second image is taken on the image quality of the second image can be determined more accurately, so that the image quality of the second image can be determined more accurately based on the first image and the second image. According to the actual image quality of the image, image fusion processing is performed to reduce some unnecessary image fusion processing, effectively improve the image quality of the fused target image, and enhance the user experience.
  • the comparison result indicates that the illuminance of the ambient light signal is less than or equal to the illuminance threshold, and/or the stroboscopic stripes exist in the second image, it is determined that the image quality of the second image does not meet the above requirements. Image fusion conditions.
  • the image quality of the obtained fused image may be worse than the image quality of the first image, so the first image can be directly determined as the target image.
  • stroboscopic stripes may also exist in the target image obtained by merging the first image and the second image, resulting in poor image quality of the target image.
  • the brightness component of the pixel is greater than the preset brightness threshold, it means that the pixel is overexposed, the information of the pixel may be lost, and the pixel can be determined as an abnormal pixel.
  • the embodiment of the present disclosure obtains the first fusion weight value corresponding to each pixel point in the first image and the second fusion weight value corresponding to each pixel point in the second image, based on the first fusion weight value and the second fusion weight value , perform pixel-level image fusion processing on the first image and the second image, improve the fusion effect of image fusion, and improve the image quality of the target image obtained by fusion.
  • the comparison result indicates that the proportion of the over-exposure area in the first image is less than the preset over-exposure ratio, it is determined that the first image is not the abnormally exposed image; it can be understood that, Since the exposure time of the first image is longer, more light enters when shooting the first image, making the first image clearer. Therefore, after it is determined that the first image is not overexposed, the first image can be directly determined as the target image to be output.
  • Step S204 If the first image is the abnormally exposed image, obtain the illumination of the ambient light signal when the second image is collected; compare the illumination of the ambient light signal with a preset illumination threshold to obtain a comparison. result;
  • the exposure illuminance (lux index) output by the automatic exposure module can be obtained, and based on the exposure illuminance, it can be determined whether the ambient brightness when shooting the second image meets the brightness requirement.
  • the exposure illumination can be compared with a preset illumination threshold (for example, 350 lux), and based on the comparison result, it can be determined whether the ambient brightness when shooting the second image is too dark.
  • a preset illumination threshold for example, 350 lux
  • Step S205 obtain the flicker frequency of the ambient light signal; determine whether there are stroboscopic stripes in the second image based on the flicker frequency of the ambient light signal;
  • the flicker frequency of the ambient light signal detected by the anti-flicker sensor of the mobile terminal can be used to determine whether there are stroboscopic stripes in the second image based on the flicker frequency.
  • stroboscopic stripes will also exist in the target image obtained by merging the first image and the second image, resulting in poor image quality of the target image. . Therefore, before performing image fusion processing, it is necessary to first determine whether there are stroboscopic stripes in the second image.
  • Step S206 If the comparison result indicates that the illumination of the ambient light signal is greater than the illumination threshold, and the stroboscopic stripes do not exist in the second image, obtain the first image corresponding to each pixel in the first image. Fusion weight values; obtain second fusion weight values corresponding to each pixel point in the second image; based on the first fusion weight value and the second fusion weight value, merge the first image and the second fusion weight value. Perform image fusion on the images to obtain the target image;
  • the exposure illumination is less than or equal to the preset illumination threshold, and based on the flicker frequency of the ambient light signal, it is determined that there are no stroboscopic stripes in the second image; it means that the second image has no stroboscopic stripes.
  • the image quality meets the image fusion conditions, and image fusion processing can be performed on the first image and the second image.
  • the first fusion weight value of each pixel point in the first image or the second fusion weight value of each pixel point in the second image can be determined according to the brightness, contrast, motion blur and other conditions of the first image or the second image. value.
  • the pixel value of each pixel in the target image can be determined according to the following formula:
  • x f (i,j) W ij x 1 (i,j)+W′ ij x 2 (i,j);
  • the x f (i, j) is the pixel value of the pixel point in the i-th row and j-th column in the target image;
  • the W ij is the first fusion of the pixel point in the i-th row and j-th column in the first image.
  • Weight value is the pixel value of the pixel point in the i-th row and j-th column in the first image; the W′ ij is the pixel value of the pixel point in the i-th row and jth column in the second image.
  • the second fusion weight value; the x 2 (i, j) is the pixel value of the pixel point in the i-th row and j-th column in the second image.
  • the exposure illumination is greater than the preset illumination threshold, it may be determined that the ambient brightness when shooting the second image is too dark, and the second image may be an underexposed image with poor image quality. At this time, if the second image and the first image are fused, the image quality of the target image obtained by merging the first image and the second image will be poor.
  • the stroboscopic stripes will also exist in the target image obtained by merging the first image and the second image, resulting in poor image quality of the target image.
  • FIG. 6 is a schematic flowchart 3 of an image processing method according to an exemplary embodiment. The method includes:
  • Step S301 determine whether the proportion of the overexposed area in the long exposure image exceeds a preset overexposure ratio
  • step S302 If the proportion of the overexposed area in the long-exposure image exceeds the preset overexposure ratio, perform step S302; if the proportion of the overexposed area in the long-exposure image does not exceed the preset overexposure ratio, perform step S305;
  • step S303 If the current environment brightness is not too dark, execute step S303; if the current environment brightness is too dark, execute step S305;
  • Step S303 determine whether there are stroboscopic stripes in the short exposure image
  • Step S304 fuse the long exposure image and the short exposure image to obtain the target image
  • Step S305 Determine the long exposure image as the target image.
  • FIG. 7 is a schematic structural diagram of an image processing device according to an exemplary embodiment. As shown in Figure 7, the device 100 includes:
  • the first determination module 102 is configured to determine the exposure of the first image based on the brightness distribution information of the first image
  • the processing module 103 is configured to perform image processing on the first image according to the exposure condition of the first image and the image quality of the second image to obtain a target image.
  • the processing module 103 is used to:
  • the first image is determined as the target image.
  • the processing module 103 is used to:
  • the first image is processed according to whether the image quality of the second image meets the image fusion condition to obtain a target image.
  • the device 100 includes:
  • the second determination module 104 is used to determine whether the image quality of the second image meets the image fusion condition
  • the processing module 103 is used for:
  • the first image is determined as the target image.
  • the second determination module 104 is used to:
  • the second determination module 104 is used to:
  • the comparison result indicates that the illumination of the ambient light signal is greater than the illumination threshold, and the stroboscopic stripes do not exist in the second image, it is determined that the image quality of the second image meets the image fusion condition;
  • the comparison result indicates that the illuminance of the ambient light signal is less than or equal to the illuminance threshold, and/or the stroboscopic stripes exist in the second image, it is determined that the image quality of the second image does not meet the above requirements. Image fusion conditions.
  • the first determining module 102 is used to:
  • the processing module 103 is used to:
  • image fusion is performed on the first image and the second image to obtain the target image.
  • the terminal device 800 may include one or more of the following components: a processing component 802 , a memory 804 , a power supply component 806 , a multimedia component 808 , an audio component 810 , an input/output (I/O) interface 812 , and a sensor component 814 , and communication component 816.
  • the processing component 802 generally controls the overall operations of the terminal device 800, such as operations associated with display, phone calls, data communications, camera operations, and recording operations.
  • the processing component 802 may include one or more processors 820 to execute instructions to complete all or part of the steps of the above method. Additionally, processing component 802 may include one or more modules that facilitate interaction between processing component 802 and other components. For example, processing component 802 may include a multimedia module to facilitate interaction between multimedia component 808 and processing component 802.
  • Memory 804 is configured to store various types of data to support operations at device 800 . Examples of such data include instructions for any application or method operating on the terminal device 800, contact data, phonebook data, messages, pictures, videos, etc.
  • Memory 804 may be implemented by any type of volatile or non-volatile storage device, or a combination thereof, such as static random access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable programmable read-only memory (EEPROM), Programmable read-only memory (EPROM), programmable read-only memory (PROM), read-only memory (ROM), magnetic memory, flash memory, magnetic or optical disk.
  • SRAM static random access memory
  • EEPROM electrically erasable programmable read-only memory
  • EEPROM erasable programmable read-only memory
  • EPROM Programmable read-only memory
  • PROM programmable read-only memory
  • ROM read-only memory
  • magnetic memory flash memory, magnetic or optical disk.
  • Power supply component 806 provides power to various components of terminal device 800 .
  • Power supply components 806 may include a power management system, one or more power supplies, and other components associated with generating, managing, and distributing power to end device 800 .
  • Multimedia component 808 includes a screen providing an output interface between the terminal device 800 and the user.
  • the screen may include a liquid crystal display (LCD) and a touch panel (TP). If the screen includes a touch panel, the screen may be implemented as a touch screen to receive input signals from the user.
  • the touch panel includes one or more touch sensors to sense touches, swipes, and gestures on the touch panel. The touch sensor may not only sense the boundary of a touch or slide action, but also detect the duration and pressure associated with the touch or slide action.
  • multimedia component 808 includes a front-facing camera and/or a rear-facing camera.
  • the front camera and/or the rear camera may receive external multimedia data.
  • Each front-facing camera and rear-facing camera can be a fixed optical lens system or have a focal length and optical zoom capabilities.
  • Audio component 810 is configured to output and/or input audio signals.
  • the audio component 810 includes a microphone (MIC) configured to receive external audio signals when the terminal device 800 is in an operating mode, such as a call mode, a recording mode, and a voice recognition mode.
  • the received audio signal may be further stored in memory 804 or sent via communication component 816 .
  • audio component 810 also includes a speaker for outputting audio signals.
  • the I/O interface 812 provides an interface between the processing component 802 and a peripheral interface module, which may be a keyboard, a click wheel, a button, etc. These buttons may include, but are not limited to: Home button, Volume buttons, Start button, and Lock button.
  • Sensor component 814 includes one or more sensors for providing various aspects of status assessment for terminal device 800 .
  • the sensor component 814 can detect the open/closed state of the device 800 and the relative positioning of components, such as the display and keypad of the terminal device 800.
  • the sensor component 814 can also detect the terminal device 800 or a component of the terminal device 800. position changes, presence or absence of user contact with the terminal device 800 , orientation or acceleration/deceleration of the terminal device 800 and temperature changes of the terminal device 800 .
  • Sensor assembly 814 may include a proximity sensor configured to detect the presence of nearby objects without any physical contact.
  • Sensor assembly 814 may also include a light sensor, such as a CMOS or CCD image sensor, for use in imaging applications.
  • the sensor component 814 may also include an acceleration sensor, a gyroscope sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.
  • the communication component 816 is configured to facilitate wired or wireless communication between the terminal device 800 and other devices.
  • the terminal device 800 can access a wireless network based on a communication standard, such as Wi-Fi, 4G or 5G, or a combination thereof.
  • the communication component 816 receives broadcast signals or broadcast related information from an external broadcast management system via a broadcast channel.
  • the communications component 816 also includes a near field communications (NFC) module to facilitate short-range communications.
  • NFC near field communications
  • the NFC module can be implemented based on radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology and other technologies.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra-wideband
  • Bluetooth Bluetooth
  • the terminal device 800 may be configured by one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable A programmable gate array (FPGA), controller, microcontroller, microprocessor or other electronic component implementation is used to perform the above method.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGA field programmable A programmable gate array
  • controller microcontroller, microprocessor or other electronic component implementation is used to perform the above method.
  • the integrated modules described in the embodiments of the present invention are implemented in the form of software function modules and sold or used as independent products, they can also be stored in a computer-readable storage medium.
  • embodiments of the present application may be provided as methods, systems, or computer program products. Accordingly, the present application may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment that combines software and hardware aspects.
  • the present application may take the form of a computer program product implemented on one or more computer-usable storage media containing computer-usable program code, including but not limited to U disk, mobile hard disk, read-only memory ( ROM), random access memory (RAM), disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable memory that causes a computer or other programmable data processing apparatus to operate in a particular manner, such that the instructions stored in the computer-readable memory produce an article of manufacture including the instruction means, the instructions
  • the device implements the functions specified in a process or processes of the flowchart and/or a block or blocks of the block diagram.
  • These computer program instructions may also be loaded onto a computer or other programmable data processing device, causing a series of operating steps to be performed on the computer or other programmable device to produce computer-implemented processing, thereby executing on the computer or other programmable device.
  • Instructions provide steps for implementing the functions specified in a process or processes of a flowchart diagram and/or a block or blocks of a block diagram.

Abstract

本公开实施例是关于一种图像处理方法、装置及存储介质，该方法，包括：获取同一目标场景的第一图像和第二图像，其中，第一图像的曝光度大于第二图像的曝光度（S101）；基于第一图像的亮度分布信息，确定第一图像的曝光情况（S102）；根据第一图像的曝光情况和第二图像的图像质量，对第一图像进行图像处理，得到目标图像（S103）。

Description

图像处理方法、装置及存储介质 技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
图像融合技术是指将多帧不同曝光度的图像经过图像处理和计算机等技术，提取各帧图像中的有用信息，合成得到图像质量更高、亮度级别更丰富的高动态范围(High Dynamic Range，HDR)图像，从而提高亮暗分布变化较大的大光比场景下的成像质量。
但是对于一些特殊的拍摄场景(例如阴暗场景)，由于拍摄场景本身的拍摄条件，导致采集到的不同曝光度的图像的图像信息丢失较严重，图像质量较差；若将图像质量较差的多帧图像进行图像融合，得到的HDR图像可能会出现伪影或融合不自然的情况，导致用户使用体验较差。
发明内容
本公开实施例提供一种图像处理方法、装置及存储介质。
本公开实施例第一方面提供一种图像处理方法，其中，所述方法，包括：
获取同一目标场景的第一图像和第二图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度；
基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况；
根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行图像处理，得到目标图像。
本公开实施例第二方面提供一种图像处理装置，所述装置，包括：
获取模块，用于获取同一目标场景的第一图像和第二图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度；
第一确定模块，用于基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况；
处理模块，用于根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行图像处理，得到目标图像。本公开实施例第三方面提供一种图像处理装置，包括：
处理器；
配置为存储可执行指令的存储器；
其中，所述处理器运行所述可执行指令时执行如前述第一方面提供图像处理方法。
本公开实施例第四方面提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述图像处理装置能够执行前述第一方面提供图像处理方法。
本公开实施例通过获取不同曝光度的第一图像和第二图像，先确定所述第一图像的曝光情况；基于第一图像的曝光情况反映的第一图像的图像信息丢失程度，以及第二图像的图像质量反映的第二图像信息的图像信息丢失程度，对所述第一图像采取相应的图像处理，以获得目标图像，减少一些不必要的图像融合处理，有效提高目标图像的图像质量，提升用户的使用体验。
当确定出所述第二图像的图像质量满足图像融合条件，即所述第二图像保留较多图像信息后，对所述第一图像和所述第二图像进行图像融合处理，得到目标图像，如此，在进行图像融合之前，确定当前采集的第一图像和/或第二图像的图像质量是否达到图像融合条件，从而减少一些不必要的图像融合处理，有效提高融合得到的目标图像的图像质量，提升用户的使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明实施例，并与说明书一起用于解释本发明实施例的原理。
图1是相关技术示出的一种短曝光图像的示意图；
图2是相关技术示出的一种长曝光图像的示意图；
图3是相关技术示出的一种基于短曝图像和长曝光图像融合得到的HDR图像的示意图；
图4是根据一示例性实施例示出的一种图像处理方法的流程示意图一；
图5是根据一示例性实施例示出的一种图像处理方法的流程示意图二；
图6是根据一示例性实施例示出的一种图像处理方法的流程示意图三；
图7是根据一示例性实施例示出的一种图像处理装置的结构示意图；
图8是根据一示例性实施例示出的一种终端设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是本发明实施例的一些方面相一致的装置和方法的例子。
在本公开实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开实施例。在本公开所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地 表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
相关技术中，移动终端的摄像头以60fps的帧数交替输出长曝光图像和短曝光图像，并通过将长曝光图像和短曝光图像进行图像融合，得到HDR图像帧；并以30fps的帧率输出由HDR图像帧构成的HDR视频。如图1-3所示，图1是相关技术示出的一种短曝光图像的示意图；图2是相关技术示出的一种长曝光图像的示意图；图3是相关技术示出的一种基于短曝图像和长曝光图像融合得到的HDR图像的示意图。
但是对于一些不需要高动态范围的场景，若也通过长曝光图像和短曝光图像融合，得到HDR图像帧，所述HDR图像帧中可能会出现伪影或融合不自然的情况，使得HDR视频的质量较差，用户使用体验较差。
本公开实施例提供一种图像处理方法，如图4所示，图4是根据一示例性实施例示出的一种图像处理方法的流程示意图一。所述方法，包括：
步骤S101，获取同一目标场景的第一图像和第二图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度；
步骤S102，基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况；
步骤S103，根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行图像处理，得到目标图像。
在本公开实施例中，所述图像处理方法可以应用于具备有图像采集装置的移动终端；所述移动终端可以是：智能手机、平板电脑或者可穿戴式电子设备等，所述移动终端所装配的图像采集装置可采集所述第一图像和第二图像。
所述图像采集装置泛指移动终端中能够完成拍照功能的装置，包括摄像头、以及必要的处理模块和存储模块，以完成图像的获取、传输，还可以包含一些处理功能模块。
图像采集装置可以是照相机或摄像头机等。
图像采集装置的拍摄参数包括：曝光光圈尺寸值、照相机或摄像机的感光度和曝光时长，当然还可以包括有其他的性能参数等。其中，曝光时长是指：快门打开到关闭的时间间隔。曝光时长越长，入光量就越多，适合光线条件比较差的情况。感光度是指：图像采集装置中的感光底片对于光的灵敏程度。对于不敏感的底片，需要更长的曝光时长以达到与较敏感底片相同的成像效果。曝光光圈尺寸值可以通过度曝光光圈的面积来表征，该面积用来控制光线透过镜头，进入图像采集装置内感光面的光量。
曝光时长、感光度和曝光光圈尺寸值，与图像采集装置的属性参数以及初始设置有关。
在本公开实施例中，所述图像处理方法也可以应用于采集所述第一图像和第二图像的设备(这里简称为第一设备)之外的其他设备或者云端服务器；所述其他设备可以具备图像采集装置，也可以不具备图像采集装置，所述其他设备具备图像处理能力。在应用于其他设备或云端服务器的情况下，通过其他设备或云端服务器接收第一设备发送的第一图像和第二图像，以获取所述第一图像和第二图像。示例性地，在其他设备或云端服务器执行图像融合处理之后，即得到融合后的目标图像后，可以发送至第一设备，供第一设备显示或存储。
在步骤S101中，所述第一图像和第二图像为对同一目标场景进行图像采集时，得到的对应不同曝光度的图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度。
当移动终端的图像采集装置处于抓拍模式时，接收到拍摄指令连续拍摄两张图像。步骤101即为在当前拍摄参数设置下，获取到拍摄获取的两张图像。
在一些实施例中，所述第一图像和所述第二图像为同一个相机或摄像机连续采集的多帧图像，例如，在相机开启HDR采集机制后连续采集的多帧图像。
需要说明的是，所述第一图像可为长曝光图像；所述第二图像可为短曝光图像。二者相比，第一图像能够更清楚的表现出阴暗处的细节，但是在明亮处可能会出现过度曝光；第二图像能够表现明亮处的细节，但是在阴暗处可能会出现曝光不足。
在步骤S102中，所述亮度分布信息可用于描述第一图像内不同像素点的亮度分布情况。
所述亮度分布信息可为所述第一图像的亮度直方图信息，可以理解的是，亮度直方图的横轴表示亮度，纵轴表示像素数量；亮度直方图中纵向的高度代表像素密集程度，若所述第一图像的亮度直方图中某一亮度区域对应的纵向分布越高，代表第一图像中分布在对应亮度区域上的像素越多。
可通过获取所述第一图像的亮度分布信息，确定出第一图像中的过度曝光区域，以及所述过度曝光区域占所述第一图像的比例。将所述过度曝光区域占所述第一图像的比例与预设的过曝比进行比较，以确定所述第一图像的曝光情况。
这里，所述预设的过曝比可根据需求进行设置；本公开实施例对此不作限定。
可以理解的是，若所述过度曝光区域占所述第一图像的比例大于或等于所述预设的过曝比，可确定所述第一图像为异常曝光图像；若所述过度曝光区域占所述第一图像的比例小于所述预设的过曝比，可确定所述第一图像不是所述异常曝光图像。
在步骤S103中，确定出所述第一图像的曝光情况后，可基于第二图像的图像参数，确定所述第二图像的图像质量，根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行图像处理，得到目标图像。
需要说明的是，所述第一图像的曝光情况至少可用于表征拍摄所述第一图像的环境光线条件。可以理解的是，由于所述第一图像为长曝光图像，在拍摄第一图像时通过控制快门从打开到关闭的时间间隔，使得感光器件能够积累一段时间下镜头捕捉的画面，能够获得更多的进光量。
若所述第一图像为异常曝光图像，说明拍摄第一图像的环境光线条件可能较好(即环境较明亮)， 感光器件获得过多的进光量，而导致由于过度曝光而出现第一图像画面泛白的情况，使得所述第一图像的图像信息丢失较严重，图像质量较差。此时，可能需要利用短曝光的第二图像，补偿第一图像丢失的图像信息。
若所述第一图像不是异常曝光图像，说明拍摄第一图像的环境光线条件可能较差(即环境较阴暗)，感光器件获得的进光量不足以使得第一图像出现过度曝光，使得所述第一图像内能够保留有阴暗处的细节信息，也不至于丢失明亮处的细节信息，图像质量较高。此时，可能不需要利用短曝光的第二图像来补偿第一图像。
针对于不同曝光情况的第一图像，对所述第一图像进行的图像处理方式可能不同。
考虑到第二图像的图像质量不同的情况下，采用所述第二图像对第一图像的图像信息进行补偿，得到的补偿后的图像的图像质量也会存在较大差异，故在确定对所述第一图像采用的图像处理方式时，不仅要考虑到第一图像的曝光情况，还要考虑到第二图像的图像质量。
可以理解的是，若所述第二图像的图像质量较差，从所述第二图像中无法获取有效的图像信息，基于所述第二图像，无法实现对第一图像的图像信息的有效补偿。
在一些实施例中，根据所述第一图像的曝光情况和所述第二图像的图像质量，从预设的多个图像处理方式中确定出目标处理方式；基于所述目标处理方式，对所述第一图像进行图像处理，得到目标图像。
在本公开实施例中，可针对不同曝光情况和/或不同图像质量的第二图像，预先设置有多个图像处理方式；
可根据所述第一图像的曝光情况和第二图像的图像质量，从多个图像处理方式中选择出目标处理方式，基于目标处理方式，对所述第一图像进行图像处理，得到目标图像，以保障目标图像的图像质量。
本公开实施例通过获取不同曝光度的第一图像和第二图像，先确定所述第一图像的曝光情况；基于第一图像的曝光情况反映的第一图像的图像信息丢失程度，以及第二图像的图像质量反映的第二图像信息的图像信息丢失程度，对所述第一图像采取相应的图像处理，以获得目标图像，减少一些不必要的图像融合处理，有效提高目标图像的图像质量，提升用户的使用体验。
在一些实施例中，所述根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行处理，得到目标图像，包括：
若所述第一图像不是异常曝光图像，将所述第一图像确定为所述目标图像。
在本公开实施例中，若根据所述第一图像内异常像素点的数量与所述第一图像内所有像素点数量之间的比值，确定出所述第一图像不是异常曝光图像，说明第一图像中过度曝光的异常像素点的数量较少；所述第一图像内的过度曝光区域较少，第一图像的图像信息丢失较少，第一图像的图像质量较高。
由于所述第一图像是长曝光图像，拍摄第一图像时，感光器件获得的进光量不足以使得第一图像出现过度曝光，使得所述第一图像内能够保留有阴暗处的细节信息，也不至于丢失明亮处的细节 信息，即第一图像的亮度级别较丰富、图像质量较高；此时，可直接将所述第一图像确定所述目标图像，不需要对第一图像进行任何图像处理。
在一些实施例中，所述根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行处理，得到目标图像，包括：
若所述第一图像为异常曝光图像，根据所述第二图像的图像质量是否满足图像融合条件，对所述第一图像进行处理，得到目标图像。
在本公开实施例中，若确定出所述第一图像为异常曝光图像，即拍摄第一图像时，感光器件获得过多的进光量，而导致由于过度曝光而出现第一图像画面泛白的情况，使得所述第一图像的图像信息丢失较严重，图像质量较差。
此时，为了提高第一图像的图像质量，可利用短曝光图像(即第二图像)的图像信息进行图像融合的方式，对第一图像丢失的图像信息进行补偿。
若所述第二图像的图像质量不满足所述图像融合条件时，对第一图像和第二图像进行图像融合处理，虽然能够得到亮度级别更丰富的HDR图像，但HDR图像的图像质量较差，导致用户使用体验较差。
为了提高目标图像的图像质量，需要先判断所述第二图像的图像质量是否满足图像融合条件，并根据判断结果，对第一图像采用不同的图像处理方式，得到目标图像。
这里，对所述第一图像采用的不同图像处理方式可根据实际需求进行设定；本公开实施例对此不作限定。
例如，若所述第二图像的图像质量不满足图像融合条件，可先对所述第二图像进行优化处理，对第一图像和优化处理后的第二图像进行图像融合处理，得到目标图像；
若所述第二图像的图像质量满足图像融合条件，可直接对第一图像和第二图像进行图像融合处理，得到目标图像。
本公开实施例在确定出所述第一图像为需要进行图像融合处理的异常曝光图像后，根据所述第二图像的图像质量是否满足图像融合条件，对所述第一图像采取相应的图像处理，以获得目标图像，减少一些不必要的图像融合处理，有效提高目标图像的图像质量，提升用户的使用体验。
在一些实施例中，所述根据所述第二图像的图像质量是否满足图像融合条件，对所述第一图像进行处理，得到目标图像，包括：
确定所述第二图像的图像质量是否满足图像融合条件；
若所述第二图像的图像质量满足图像融合条件，对所述第一图像和所述第二图像进行图像融合，得到目标图像；
若所述第二图像的图像质量不满足图像融合条件，将所述第一图像确定为所述目标图像。
在本公开实施例中，可通过获取所述第二图像的亮度分布信息，基于所述第二图像的亮度分布信息，确定所述第二图像的图像质量是否满足图像融合条件。
可以理解的是，由于所述第二图像为短曝光图像，第二图像拍摄时的进光量较少，第二图像可 能会画面偏暗，甚至过暗，从而导致第二图像的图像细节信息丢失，图像质量较差。
为了提高融合图像的图像质量，在对所述第一图像和第二图像进行图像融合之前，需要先确定所述第二图像的图像质量是否满足图像融合条件。
在一些实施例中，可通过获取所述第二图像的亮度分布信息，确定出所述第二图像中的短曝光区域，以及所述短曝光区域占所述第二图像的比例，将所述短曝光区域占所述第二图像的比例与预设的欠曝比进行比较，以确定所述第二图像的图像质量是否满足所述图像融合条件。
这里，所述预设的欠曝比可根据实际需求进行设置，本公开实施例对此不作限定。
可以理解的是，若所述短曝光区域占所述第二图像的比例大于或等于所述预设的欠曝比，可以确定所述第二图像的图像细节信息丢失较多，第二图像的图像质量不满足所述图像融合条件；若所述短曝光区域占第二图像的比例小于所述预设的欠曝比，可以确定所述第二图像的图像质量满足所述图像融合条件。
若所述第二图像的图像质量满足图像融合条件，可通过将高曝光的第一图像和低曝光的第二图像进行融合，得到融合后的目标图像。
需要说明的是，第二图像保留了高亮度区域的图像信息，但是由于入光量较少，导致第二图像中目标场景的亮度和颜色信息缺少较严重，而第一图像既保留了低亮度区域和正常亮度区域的图像信息，又保留了目标场景的亮度和颜色信息；基于所述第一图像和第二图像进行图像融合，得到的融合后的目标图像既能够保留目标场景的亮度、颜色信息，还能够保留高亮度区域、正常亮度区域和低亮度区域的图像信息。
若所述第二图像的图像质量不满足图像融合条件，可直接将第一图像确定为所述目标图像。
可以理解的是，由于第二图像的图像质量不满足图像融合条件，此时，若所述第一图像和第二图像进行图像融合处理，得到的融合图像的图像质量可能会比第一图像的图像质量更差；故为了提高目标图像的图像质量，可直接将第一图像确定为目标图像。
可以理解的是，可以在确认所述第一图像为异常曝光图像后，再进行确定所述第二图像的图像质量是否满足图像融合条件的操作，这样在第一图像不是异常曝光图像的情况下，可以减少处理操作。当然，也可以在确认所述第一图像的曝光情况前，进行确定所述第二图像的图像质量是否满足图像融合条件的操作，也在本申请的保护范围之内。本公开实施例通过确定所述第二图像的图像质量是否满足图像融合条件，当确定出所述第二图像的图像质量满足图像融合条件，即所述第二图像保留较多图像信息后，对所述第一图像和所述第二图像进行图像融合处理，得到目标图像；当确定出所述第二图像的图像质量不满足图像融合条件时，直接将第一图像确定为目标图像；从而基于第一图像和第二图像的实际图像质量情况，进行图像融合处理，减少一些不必要的图像融合处理，有效提高融合得到的目标图像的图像质量，提升用户的使用体验。
在一些实施例中，所述确定所述第二图像的图像质量是否满足图像融合条件，包括：
获取采集所述第二图像时的环境光信号的照度；
基于所述环境光信号的照度与预设的照度阈值的对比结果，确定所述第二图像的图像质量是否 满足所述图像融合条件。
在本公开实施例中，若确定出所述第一图像为异常曝光图像，可获取采集所述第二图像时的环境光信号的照度。
这里，在移动终端拍摄第二图像时，可利用移动终端配备的环境光传感器获取当前的环境光信号的照度。可以理解的是，所述照度是指单位面积上所接受可见光的光通量，用于指示光照的强弱和物体表面积被照明程度的量。
将所述环境光信号的照度与预设的照度阈值进行对比，并根据对比结果，确定所述第二图像的图像质量是否满足所述图像融合条件。
这里，所述预设的照度阈值可根据实际需求进行设置。
若所述环境光信号的照度大于所述预设的照度阈值，确定拍摄第二图像时的环境亮度较亮，所述第二图像的图像质量满足所述图像融合条件；若所述环境光信号的照度小于或等于所述预设的照度阈值，确定拍摄第二图像时的环境亮度较暗，所述第二图像的图像质量不满足所述图像融合条件。
需要说明的是，由于所述第二图像为短曝光图像，即所述第二图像的曝光时间较短，拍摄第二图像时的进光量较少；若拍摄所述第二图像时的环境亮度较暗，则所述第二图像可能会画面过暗，从而导致第二图像的图像细节信息丢失，图像质量较差。若拍摄所述第二图像时的环境亮度较亮，即使曝光时间较短，第二图像也不会画面过暗，此时，第二图像的图像质量满足图像融合条件，能够对第一图像和第二图像进行图像融合处理。
在一些实施例中，所述确定所述第二图像的图像质量是否满足图像融合条件包括：
获取所述环境光信号的闪烁频率；
基于所述环境光信号的闪烁频率，确定所述第二图像是否存在频闪条纹；
基于所述环境光信号的照度与预设的照度阈值的对比结果，以及第二图像内的频闪条纹分布情况，确定所述第二图像的图像质量是否满足所述图像融合条件。在本公开实施例中，在拍摄所述第二图像时，获取所述环境光信号的闪烁频率。
这里可通过闪频获取组件采集环境光信号的闪烁频率。其中，闪频获取组件获取环境光信号的闪烁频率具有以下两种可选方式。
第一种可选方式，响应于拍摄触发操作，闪频获取组件采集环境光信号的闪烁频率。其中，所述拍摄触发操作还用于触发摄像组件工作。即在图像拍摄过程中完成环境光信号的闪烁频率的采集。
第二种可选方式，闪频获取组件以设定周期持续采集环境光信号的闪烁频率，并把拍摄触发操作前，最后一次采集的闪烁频率确定为拍摄环境的环境光信号的闪烁频率。
由于通常拍摄环境的环境光信号的参数相对温度，通过上述方式，闪频获取组件采集到的环境光信号的闪烁频率，同样能够表征拍摄环境的环境光信号的闪烁频率。
需要说明的是，若采集第二图像时的环境光信号为灯光等闪烁光源，由于闪烁光源的亮度会呈周期性变化，从而使得第二图像中每一个像素或每一行像素接受曝光的起始时刻不一致，导致采集到的第二图像的图像亮度会随着曝光函数的变化产生周期性的变化，从视觉上会看到第二图像内有 条纹在闪烁。即频闪条纹；导致第二图像的图像质量较差。
这里，所述闪烁光源可以理解为随着时间呈快速、重复变化的光源，通常闪烁光源会不间断的点亮或熄灭，使得闪烁光源不断的跳动和不稳定，例如，所述闪烁光源可以包括屏幕或投影灯闪烁光源，还可以包括霓虹灯、装饰灯等闪烁光源。
所述闪烁光源可包括亮度闪烁光源、颜色闪烁光源，以及亮度、颜色混合闪烁光源。
由于闪烁光源的闪烁频率不同，人的肉眼对光源闪烁的敏感程度不同，通常闪烁频率在50Hz以下时，人眼均能察觉到闪烁光源的闪烁，而人眼对闪烁频率为8.8Hz的闪烁光源最为敏感。同时，能够被人眼察觉到的闪烁光源的最大闪烁频率(即临界闪烁频率)不是固定不定的，而是随着闪烁光源发出的光强而变化的。但是，无论闪烁光源的闪烁频率多大，若在拍摄画面中存在闪烁光源，往往会容易导致拍摄画面中产生不和抹除的纹理信息(即频闪条纹)，使得拍摄得到的图像的图像质量较差。
在获取到环境光信号的闪烁频率，确定所述环境光信号的闪烁频率是否为预设频率，若所述环境光信号的闪烁频率为预设频率，说明所述环境光信号不是闪烁光源发出的光信号；第二图像中不存在频闪条纹。若所述环境光信号的闪烁频率不是所述预设频率，说明所述环境光信号是闪烁光源发出的光信号，第二图像中可能存在频闪条纹。
需要说明的是，拍摄所述第二图像时的环境光信号的照度和闪烁频率，都会对第二图像的图像质量造成影响；故在确定所述第二图像的图像质量是否满足图像融合条件时，需要根据拍摄所述第二图像时的环境光信号的照度和闪烁频率共同确定。
在一些实施例中，可先获取采集所述第二图像时的环境光信号的照度，将所述环境光信号的照度与预设的照度阈值进行对比，若对比结果指示所述环境光信号的照度大于所述照度阈值，再获取所述环境光信号的闪烁频率，基于所述环境光信号的闪烁频率，确定所述第二图像是否存在频闪条纹；基于第二图像的频闪条纹分布情况，确定所述第二图像的图像质量是否满足所述图像融合。
在另一些实施例中，可先获取所述环境光信号的闪烁频率；基于所述环境光信号的闪烁频率，确定所述第二图像是否存在频闪条纹；若所述第二图像存在频闪条纹，直接将第一图像确定为目标图像；若所述第二图像不存在频闪条纹，再获取采集所述第二图像时的环境光信号的照度，将所述环境光信号的照度与预设的照度阈值进行对比；基于对比结果，确定所述第二图像的图像质量是否满足所述图像融合条件。
本公开实施例在确定所述第二图像的图像质量是否满足图像融合条件时，不仅考虑到拍摄所述第二图像时的环境光信号的照度对第二图像的图像质量的影响，还考虑到拍摄所述第二图像时的环境光信号的闪烁频率对所述第二图像的图像质量的影响，从而能够更准确的确定出所述第二图像的图像质量，从而基于第一图像和第二图像的实际图像质量情况，进行图像融合处理，减少一些不必要的图像融合处理，有效提高融合得到的目标图像的图像质量，提升用户的使用体验。
在一些实施例中，所述基于所述环境光信号的照度与预设的照度阈值的对比结果，以及第二图像内的频闪条纹分布情况，确定所述第二图像的图像质量是否满足所述图像融合条件，包括：
若所述对比结果指示所述环境光信号的照度大于所述照度阈值，且所述第二图像不存在所述频闪条纹，确定所述第二图像的图像质量满足所述图像融合条件；
若所述对比结果指示所述环境光信号的照度小于或等于所述照度阈值，和/或，所述第二图像存在所述频闪条纹，确定所述第二图像的图像质量不满足所述图像融合条件。
在本公开实施例中，在确定出所述第一图像为异常曝光图像后，可获取拍摄第二图像时的环境光信号的照度和闪烁频率，将所述环境光信号的照度与预设的照度阈值进行对比，得到对比结果；并将所述环境光信号的闪烁频率与预设频率对比，以确定所述第二图像中是否存在频闪条纹。
若对比结果指示所述环境光信号的照度大于所述照度阈值(即拍摄所述第二图像时的环境亮度较亮)，且所述环境光信号的闪烁频率是所述预设频率(即第二图像不存在频闪条纹)，说明第二图像的图像质量较高，能够满足图像融合条件，可对第一图像和第二图像进行图像融合处理。
若所述对比结果指示所述环境光信号的照度小于或等于所述照度阈值(即拍摄所述第二图像时的环境亮度较暗)，和/或，所述环境光信号的闪烁频率不是所述预设频率(即第二图像存在频闪条纹)，说明第二图像的图像质量较差，不能满足所述图像融合条件。
此时，若将所述第一图像和第二图像进行图像融合处理，得到的融合图像的图像质量可能会比第一图像的图像质量差，故可直接将第一图像确定为目标图像。
需要说明的是，由于所述第二图像的曝光时间较短，拍摄第二图像时的进光量较少；若拍摄所述第二图像时的环境亮度较暗，则所述第二图像可能会画面过暗，从而导致第二图像的图像细节信息丢失，图像质量较差；此时，由所述第一图像和所述第二图像融合得到的目标图像中也会存在图像细节信息丢失的情况，使得目标图像的图像质量较差。
若所述第二图像中存在频闪条纹，由所述第一图像和所述第二图像融合得到的目标图像中也可能存在频闪条纹，使得目标图像的图像质量较差。
故当所述对比结果指示所述环境光信号的照度小于或等于所述照度阈值，和/或，所述第二图像存在所述频闪条纹，不对第一图像和第二图像进行图像融合处理，直接将第一图像确定为待输出的目标图像。
在一些实施例中，所述基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况，包括：
获取所述第一图像内各个像素点的亮度分量；
基于所述第一图像内各个像素点的亮度分量，确定所述第一图像中亮度分量大于预设亮度阈值的异常像素点；
确定所述第一图像内的所述异常像素点的数量与所述第一图像内的像素点数量之间的比值；
基于所述比值与预设的数量比阈值，确定所述第一图像是否为异常曝光图像。
在本公开实施例中，可获取所述第一图像内各个像素点的亮度分量；并将所述第一图像内各个像素点的亮度分量与预设亮度阈值进行对比，确定出亮度分量大于所述预设亮度阈值的异常像素点。
这里，所述预设亮度阈值可根据实际需求进行设定，本公开实施例对此不作限定。
若所述像素点的亮度分量大于所述预设亮度阈值，说明所述像素点过度曝光，所述像素点的信息可能丢失，可所述像素点确定为异常像素点。
确定所述第一图像内异常像素点的数量与所述第一图像内所有像素点数量之间的比值；所述比值可用于描述第一图像的异常亮度分布情况。
将所述比值与预设的数量比阈值进行对比，根据对比结果，确定所述第一图像是否为异常曝光图像。
这里，所述数量比阈值可根据实际需求进行设定，本公开实施例对此不作限定。
可以理解的是，若所述比值大于或等于所述预设的数量比阈值，说明第一图像中过度曝光的异常像素点的数量较多，所述第一图像内的过度曝光区域较多，第一图像的图像信息丢失较多，故可将所述第一图像确定为异常曝光图像；若所述比值小于所述预设的数量比阈值，说明第一图像中过度曝光的异常像素点的数量较少，所述第一图像内的过度曝光区域较少，第一图像的图像信息丢失较少，可确定所述第一图像不是所述异常曝光图像。
需要说明的是，若确定出所述第一图像为异常曝光图像，为了提升移动终端输出的目标图像的图像质量，可获取图像质量满足图像融合条件的短曝光的第二图像，对第一图像和第二图像进行图像融合处理，得到融合后的目标图像。
在一些实施例中，所述对所述第一图像和所述第二图像进行图像融合，得到目标图像，包括：
获取所述第一图像内各个像素点对应的第一融合权重值；
获取所述第二图像内各个像素点对应的第二融合权重值；
基于所述第一融合权重值和所述第二融合权重值，对所述第一图像和所述第二图像进行图像融合，得到所述目标图像。
在本公开实施例中，可分别获取所述第一图像内各个像素点对应的第一融合权重值和所述第二图像内各个像素点对应的第二融合权重值。
在一些实施例中，可获取所述第一图像的图像特征和所述第二图像的图像特征；基于所述第一图像的图像特征，确定所述第一图像内各个像素点对应的第一融合权重值；基于所述第二图像的图像特征，确定所述第二图像内各个像素点对应的第二融合权重值。
其中，所述图像特征可包括边界特征、亮度特征、饱和度特征及纹理特征等中的至少一个特征。这里，所述边界特征用于描述第一图像或第二图像的边缘轮廓；亮度特征用于描述第一图像或第二图像的图像亮度；饱和度特征用于描述第一图像或第二图像的图像饱和度；纹理特征用于描述第一图像或第二图像的图像纹理。
所述图像特征可包括第一图像或第二图像内各个像素点的特征值，可根据第一图像内各个像素点对应的特征值，确定第一图像内各个像素点对应的第一融合权重值；根据第二图像内各个像素点对应的特征值，确定第二图像内各个像素点对应的第二融合权重值。
这里，所述第一融合权重值和所述第二融合权值可为像素级的融合权重值，即所述第一融合权重与第一图像中的各个像素点是一一对应的，所述第二融合权重与第二图像中的各个像素点是一一 对应的；第一图像内不同像素点对应的第一融合权重值可以相同，也可以不同，第二图像内不同像素点对应的第二融合权重值可以相同，也可以不同。
基于第一图像内各个像素点的像素值与所述各个像素点对应的第一融合权重值，以及第二图像内各个像素点的像素值与所述各个像素点对应的第二融合权重值，将第一图像内各个像素点与第二图像内相同位置的像素点进行融合，得到各个像素点融合后的像素值，从而得到融合后的目标图像。
以第一图像和第二图像中第一像素坐标的两个像素点为例，可将第一图像的像素点的像素值与第一像素坐标对应的第一融合权重值相乘，得到第一像素值；将第二图像的像素点的像素值与第一像素坐标对应的第二融合权重值相乘，得到第二像素值；将所述第一像素值和所述第二像素值相加，得到第一像素坐标对应的融合像素值。
本公开实施例通过获取第一图像中各个像素点对应的第一融合权重值和第二图像中各个像素点对应的第二融合权重值，基于所述第一融合权重值和第二融合权重值，对所述第一图像和所述第二图像进行像素级的图像融合处理，提高图像融合的融合效果，提高融合得到的目标图像的图像质量。
本公开实施例还提供一种图像处理方法，如图5所示，图5是根据一示例性实施例示出的一种图像处理方法的流程示意图二，所述方法包括：
步骤S201，获取同一目标场景的第一图像和第二图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度；
在本示例中，所述第一图像为长曝光图像，所述第二图像为短曝光图像。
步骤S202，获取所述第一图像内各个像素点的亮度分量；基于所述第一图像内各个像素点的亮度分量，确定所述第一图像中亮度分量大于预设亮度阈值的异常像素点；确定所述第一图像内的所述异常像素点的数量与所述第一图像内的像素点数量之间的比值；基于所述比值与预设的数量比阈值，确定所述第一图像是否为异常曝光图像；
在本示例中，根据所述第一图像内各个像素点的亮度分量，确定出所述第一图像中过度曝光区域；并确定出所述过度曝光区域占所述第一图像的比例；将所述过度曝光区域占所述第一图像的比例与预设的过曝比进行对比，以确定所述第一图像是否为异常曝光图像。
步骤S203，若所述第一图像不是所述异常曝光图像，将所述第一图像确定为目标图像；
在本示例中，若对比结果指示所述过度曝光区域占所述第一图像的比例小于所述预设的过曝比，确定所述第一图像不是所述异常曝光图像；可以理解的是，由于第一图像的曝光时间较长，拍摄第一图像时进光量较多，使得第一图像更清晰。故确定出所述第一图像没有过度曝光后，可直接将第一图像确定为待输出的目标图像。
步骤S204，若所述第一图像为所述异常曝光图像，获取采集所述第二图像时的环境光信号的照度；将所述环境光信号的照度与预设的照度阈值进行对比，得到对比结果；
在本公开实施例中，若对比结果指示所述过度曝光区域占所述第一图像的比例大于或等于所述预设的过曝比，确定所述第一图像是所述异常曝光图像；可以理解的是，图像的过度曝光意味着在一些过亮的区域会出现一些细节信息的丢失，导致这些区域会出现全白甚至褪色的效果。由于第一 图像中存在较多的过度曝光区域，导致第一图像的细节信息丢失较严重，此时需要利用短曝光图像(即第二图像)进行图像融合处理，以得到清晰的目标图像。
但考虑到所述第二图像的曝光时间较短，拍摄第二图像时进光量少，若所述拍摄场景为阴暗场景，第二图像可能会画面偏暗、甚至过暗，从而导致第二图像的图像细节信息丢失，图像质量较差。故在进行图像融合处理之前，需要先确定拍摄第二图像时的环境亮度是否满足亮度要求。
在本示例中，可通过获取自动曝光模块输出的曝光照度(lux index)，基于所述曝光照度，确定拍摄第二图像时的环境亮度是否满足亮度要求。
这里，所述曝光照度用于描述所述移动终端进行自动曝光时的闪光灯的照度参数；可以理解的是，若所述曝光照度越大，说明闪光灯的光照强度越大，环境亮度越暗。
可通过所述曝光照度与预设照度阈值(例如350lux)进行对比，根据对比结果，确定拍摄第二图像时的环境亮度是否为过暗。
步骤S205，获取所述环境光信号的闪烁频率；基于所述环境光信号的闪烁频率，确定所述第二图像是否存在频闪条纹；
在本示例中，可利用移动终端的防闪烁传感器检测的环境光信号的闪烁频率，基于所述闪烁频率，确定所述第二图像是否存在频闪条纹。
可以理解的是，若所述第二图像中存在频闪条纹，由所述第一图像和所述第二图像融合得到的目标图像中也会存在频闪条纹，导致目标图像的图像质量较差。故在进行图像融合处理之前，需要先确定第二图像中是否存在频闪条纹。
步骤S206，若所述对比结果指示所述环境光信号的照度大于所述照度阈值，且所述第二图像不存在所述频闪条纹，获取所述第一图像内各个像素点对应的第一融合权重值；获取所述第二图像内各个像素点对应的第二融合权重值；基于所述第一融合权重值和所述第二融合权重值，对所述第一图像和所述第二图像进行图像融合，得到所述目标图像；
在本示例中，若所述曝光照度小于或等于所述预设照度阈值，并且，根据所述环境光信号的闪烁频率，确定出所述第二图像不存在频闪条纹；说明第二图像的图像质量满足图像融合条件，可对第一图像和第二图像进行图像融合处理。
分别获取所述第一图像内各个像素点的第一融合权重值和所述第二图像内各个像素点的第二融合权重值；基于所述第一融合权重值和所述第二融合权重值，对所述第一图像和所述第二图像进行图像融合，得到所述目标图像。
这里，可根据第一图像或第二图像的亮度、对比度以及运动模糊等条件，确定所述第一图像内各个像素点的第一融合权重值或第二图像内各个像素点的第二融合权重值。
可根据下式确定所述目标图像中各个像素点的像素值：
x f(i,j)＝W ijx 1(i,j)+W′ ijx 2(i,j)；
其中，所述x f(i,j)为目标图像中第i行第j列的像素点的像素值；所述W ij为第一图像中第i 行第j列的像素点的第一融合权重值；所述x 1(i,j)为第一图像中第i行第j列的像素点的像素值；所述W′ ij为第二图像中第i行第j列的像素点的第二融合权重值；所述x 2(i,j)为第二图像中第i行第j列的像素点的像素值。
步骤S207，所述对比结果指示所述环境光信号的照度小于或等于所述照度阈值，和/或，所述第二图像存在所述频闪条纹，将所述第一图像确定为所述目标图像。
在本示例中，若所述曝光照度大于所述预设照度阈值，可确定拍摄第二图像时的环境亮度过暗，所述第二图像可能为曝光不足的图像，图像质量较差。此时，若将第二图像和第一图像融合，由所述第一图像和所述第二图像融合得到的目标图像的图像质量较差。
若所述第二图像存在所述频闪条纹，由所述第一图像和所述第二图像融合得到的目标图像中也会存在频闪条纹，导致目标图像的图像质量较差。
故当所述对比结果指示所述环境光信号的照度小于或等于所述照度阈值，和/或，所述第二图像存在所述频闪条纹，即第二图像的图像质量不满足图像融合条件时，将所述第一图像确定为所述目标图像。
本公开实施例还提供一种图像处理方法，如图6所示，图6是根据一示例性实施例示出的一种图像处理方法的流程示意图三，所述方法包括：
步骤S301，确定长曝光图像中过曝光区域的比例是否超过预设的过曝比；
若所述长曝光图像中过曝光区域的比例超过预设的过曝比，执行步骤S302，若所述长曝光图像中过曝光区域的比例不超过预设的过曝比，执行步骤S305；
步骤S302，确定当前环境亮度是否太暗；
若当前环境亮度不太暗，执行步骤S303；若当前环境亮度太暗，执行步骤S305；
步骤S303，确定短曝光图像中是否存在频闪条纹；
若短曝光图像中不存在频闪条纹，执行步骤S304；若短曝光图像中存在频闪条纹，执行步骤S305；
步骤S304，将长曝光图像和短曝光图像融合，得到目标图像；
步骤S305，将长曝光图像确定为目标图像。
本公开实施例还提供一种图像处理装置。图7是根据一示例性实施例示出的一种图像处理装置的结构示意图，如图7所示，所述装置100包括：
获取模块101，用于获取同一目标场景的第一图像和第二图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度；
第一确定模块102，用于基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况；
处理模块103，用于根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行图像处理，得到目标图像。
在一些实施例中，所述处理模块103，用于：
若所述第一图像不是异常曝光图像，将所述第一图像确定为所述目标图像。
在一些实施例中，所述处理模块103，用于：
若所述第一图像为异常曝光图像，根据所述第二图像的图像质量是否满足图像融合条件，对所述第一图像进行处理，得到目标图像。
在一些实施例中，所述装置100，包括：
第二确定模块104，用于确定所述第二图像的图像质量是否满足图像融合条件；
所述处理模块103，用于：
若所述第二图像的图像质量满足图像融合条件，对所述第一图像和所述第二图像进行图像融合，得到目标图像；
若所述第二图像的图像质量不满足图像融合条件，将所述第一图像确定为所述目标图像。
在一些实施例中，所述第二确定模块104，用于：
获取采集所述第二图像时的环境光信号的照度；
基于所述环境光信号的照度与预设的照度阈值的对比结果，确定所述第二图像的图像质量是否满足所述图像融合条件。
在一些实施例中，所述第二确定模块104，用于：
获取所述环境光信号的闪烁频率；
基于所述环境光信号的闪烁频率，确定所述第二图像是否存在频闪条纹；
基于所述环境光信号的照度与预设的照度阈值的对比结果，以及第二图像内的频闪条纹分布情况，确定所述第二图像的图像质量是否满足所述图像融合条件。
在一些实施例中，所述第二确定模块104，用于：
若所述对比结果指示所述环境光信号的照度大于所述照度阈值，且所述第二图像不存在所述频闪条纹，确定所述第二图像的图像质量满足所述图像融合条件；
若所述对比结果指示所述环境光信号的照度小于或等于所述照度阈值，和/或，所述第二图像存在所述频闪条纹，确定所述第二图像的图像质量不满足所述图像融合条件。
在一些实施例中，所述第一确定模块102，用于：
获取所述第一图像内各个像素点的亮度分量；
基于所述第一图像内各个像素点的亮度分量，确定所述第一图像中亮度分量大于预设亮度阈值的异常像素点；
确定所述第一图像内的所述异常像素点的数量与所述第一图像内的像素点数量之间的比值；
基于所述比值与预设的数量比阈值，确定所述第一图像是否为异常曝光图像。
在一些实施例中，所述处理模块103，用于：
获取所述第一图像内各个像素点对应的第一融合权重值；
获取所述第二图像内各个像素点对应的第二融合权重值；
基于所述第一融合权重值和所述第二融合权重值，对所述第一图像和所述第二图像进行图像融 合，得到所述目标图像。
图8是根据一示例性实施例示出的一种终端设备的框图。例如，终端设备800可以是移动电话，移动电脑等。
参照图8，终端设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制终端设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在终端设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为终端设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为终端设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述终端设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当终端设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为终端设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为终端设备 800的显示器和小键盘，传感器组件814还可以检测终端设备800或终端设备800一个组件的位置改变，用户与终端设备800接触的存在或不存在，终端设备800方位或加速/减速和终端设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于终端设备800和其他设备之间有线或无线方式的通信。终端设备800可以接入基于通信标准的无线网络，如Wi-Fi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
本发明实施例所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式，所述存储介质包括但不限于U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储器、CD-ROM、光学存储器等。
本申请是根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的步骤。
尽管已描述了本申请的部分实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

  1. 一种图像处理方法，其中，所述方法，包括：
    获取同一目标场景的第一图像和第二图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度；
    基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况；
    根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行图像处理，得到目标图像。
  2. 根据权利要求1所述的方法，其中，所述根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行处理，得到目标图像，包括：
    若所述第一图像不是异常曝光图像，将所述第一图像确定为所述目标图像。
  3. 根据权利要求1所述的方法，其中，所述根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行处理，得到目标图像，包括：
    若所述第一图像为异常曝光图像，根据所述第二图像的图像质量是否满足图像融合条件，对所述第一图像进行处理，得到目标图像。
  4. 根据权利要求3所述的方法，其中，所述根据所述第二图像的图像质量是否满足图像融合条件，对所述第一图像进行处理，得到目标图像，包括：
    确定所述第二图像的图像质量是否满足图像融合条件；
    若所述第二图像的图像质量满足图像融合条件，对所述第一图像和所述第二图像进行图像融合，得到目标图像；
    若所述第二图像的图像质量不满足图像融合条件，将所述第一图像确定为所述目标图像。
  5. 根据权利要求4所述的方法，其中，所述确定所述第二图像的图像质量是否满足图像融合条件，包括：
    获取采集所述第二图像时的环境光信号的照度；
    基于所述环境光信号的照度与预设的照度阈值的对比结果，确定所述第二图像的图像质量是否满足所述图像融合条件。
  6. 根据权利要求5所述的方法，其中，所述确定所述第二图像的图像质量是否满足图像融合条件包括：
    获取所述环境光信号的闪烁频率；
    基于所述环境光信号的闪烁频率，确定所述第二图像是否存在频闪条纹；
    基于所述环境光信号的照度与预设的照度阈值的对比结果，以及第二图像内的频闪条纹分布情况，确定所述第二图像的图像质量是否满足所述图像融合条件。
  7. 根据权利要求6所述的方法，其中，所述基于所述环境光信号的照度与预设的照度阈值的对比结果，以及第二图像内的频闪条纹分布情况，确定所述第二图像的图像质量是否满足所述图像融 合条件，包括：
    若所述对比结果指示所述环境光信号的照度大于所述照度阈值，且所述第二图像不存在所述频闪条纹，确定所述第二图像的图像质量满足所述图像融合条件；
    若所述对比结果指示所述环境光信号的照度小于或等于所述照度阈值，和/或，所述第二图像存在所述频闪条纹，确定所述第二图像的图像质量不满足所述图像融合条件。
  8. 根据权利要求1所述的方法，其中，所述基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况，包括：
    获取所述第一图像内各个像素点的亮度分量；
    基于所述第一图像内各个像素点的亮度分量，确定所述第一图像中亮度分量大于预设亮度阈值的异常像素点；
    确定所述第一图像内的所述异常像素点的数量与所述第一图像内的像素点数量之间的比值；
    基于所述比值与预设的数量比阈值，确定所述第一图像是否为异常曝光图像。
  9. 根据权利要求4所述的方法，其中，所述对所述第一图像和所述第二图像进行图像融合，得到目标图像，包括：
    获取所述第一图像内各个像素点对应的第一融合权重值；
    获取所述第二图像内各个像素点对应的第二融合权重值；
    基于所述第一融合权重值和所述第二融合权重值，对所述第一图像和所述第二图像进行图像融合，得到所述目标图像。
  10. 一种图像处理装置，其中，包括：
    获取模块，用于获取同一目标场景的第一图像和第二图像，其中，所述第一图像的曝光度大于所述第二图像的曝光度；
    第一确定模块，用于基于所述第一图像的亮度分布信息，确定所述第一图像的曝光情况；
    处理模块，用于根据所述第一图像的曝光情况和所述第二图像的图像质量，对所述第一图像进行图像处理，得到目标图像。
  11. 一种图像处理装置，其中，包括：
    处理器；
    用于存储可执行指令的存储器；
    其中，所述处理器被配置为：执行所述存储器中存储的可执行指令时，实现权利要求1至9中任一项所述的图像处理方法。
  12. 一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述图像处理装置能够执行权利要求1至9中任一项所述的图像处理方法。
PCT/CN2022/098255 2022-06-10 2022-06-10 图像处理方法、装置及存储介质 WO2023236215A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2022/098255 WO2023236215A1 (zh) 2022-06-10 2022-06-10 图像处理方法、装置及存储介质
CN202280004516.6A CN117597914A (zh) 2022-06-10 2022-06-10 图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/098255 WO2023236215A1 (zh) 2022-06-10 2022-06-10 图像处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2023236215A1 true WO2023236215A1 (zh) 2023-12-14

Family

ID=89117466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/098255 WO2023236215A1 (zh) 2022-06-10 2022-06-10 图像处理方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN117597914A (zh)
WO (1) WO2023236215A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118563A (zh) * 2009-12-30 2011-07-06 比亚迪股份有限公司 一种自动曝光装置及其方法
CN105657242A (zh) * 2015-11-06 2016-06-08 乐视移动智能信息技术（北京）有限公司 夜景拍照方法、装置及移动终端
US20200358955A1 (en) * 2019-05-07 2020-11-12 Morpho, Inc. Image processing apparatus, image processing method, and recording medium
CN112135053A (zh) * 2020-09-25 2020-12-25 努比亚技术有限公司 图像处理方法、移动终端及计算机可读存储介质
CN112543286A (zh) * 2020-11-27 2021-03-23 展讯通信（上海）有限公司 一种用于终端的图像生成方法及装置、存储介质、终端
CN112969032A (zh) * 2021-04-13 2021-06-15 深圳市海雀科技有限公司 光照模式识别方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118563A (zh) * 2009-12-30 2011-07-06 比亚迪股份有限公司 一种自动曝光装置及其方法
CN105657242A (zh) * 2015-11-06 2016-06-08 乐视移动智能信息技术（北京）有限公司 夜景拍照方法、装置及移动终端
US20200358955A1 (en) * 2019-05-07 2020-11-12 Morpho, Inc. Image processing apparatus, image processing method, and recording medium
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
CN112135053A (zh) * 2020-09-25 2020-12-25 努比亚技术有限公司 图像处理方法、移动终端及计算机可读存储介质
CN112543286A (zh) * 2020-11-27 2021-03-23 展讯通信（上海）有限公司 一种用于终端的图像生成方法及装置、存储介质、终端
CN112969032A (zh) * 2021-04-13 2021-06-15 深圳市海雀科技有限公司 光照模式识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN117597914A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
US11563897B2 (en) Image processing method and apparatus which determines an image processing mode based on status information of the terminal device and photographing scene information
WO2019183813A1 (zh) 一种拍摄方法及设备
CN105744175B (zh) 一种屏幕补光方法、装置及移动终端
CN109194882B (zh) 图像处理方法、装置、电子设备及存储介质
EP3306913B1 (en) Photographing method and apparatus
WO2018101092A1 (ja) 撮像装置およびフリッカ判定方法
US10609265B2 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
CN109474770B (zh) 一种成像装置及成像方法
WO2018121185A1 (zh) 红外灯功率的调整方法及摄像设备
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN116055897B (zh) 拍照方法及其相关设备
CN107820025B (zh) 进行拍照处理的方法和装置
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
WO2023236215A1 (zh) 图像处理方法、装置及存储介质
WO2016074414A1 (zh) 一种图像的处理方法和装置
US20210103201A1 (en) Flash metering for dual camera devices
CN112785537A (zh) 图像处理方法、装置以及存储介质
JP5355124B2 (ja) 撮像装置及びそのシーン判別方法
KR100608717B1 (ko) 이동통신 단말기 내장 카메라의 셔터 속도 제어 방법
WO2023236209A1 (zh) 图像处理方法、装置、电子设备和存储介质
WO2023131028A1 (zh) 图像处理方法及其相关设备
CN116055855B (zh) 图像处理方法及其相关设备
KR102512787B1 (ko) 촬영 프리뷰 이미지를 표시하는 방법, 장치 및 매체
JP2017139560A (ja) 撮像装置、撮像システム、および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945356

Country of ref document: EP

Kind code of ref document: A1