WO2019179179A1 - 一种图像处理的方法和装置 - Google Patents

一种图像处理的方法和装置 Download PDF

Info

Publication number
WO2019179179A1
WO2019179179A1 PCT/CN2018/120735 CN2018120735W WO2019179179A1 WO 2019179179 A1 WO2019179179 A1 WO 2019179179A1 CN 2018120735 W CN2018120735 W CN 2018120735W WO 2019179179 A1 WO2019179179 A1 WO 2019179179A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
image
terminal device
mode
determining
Prior art date
Application number
PCT/CN2018/120735
Other languages
English (en)
French (fr)
Inventor
戴俊
胡碧莹
黄一宁
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CN201880088241.2A priority Critical patent/CN111684788A/zh
Priority to EP18910495.3A priority patent/EP3599760B1/en
Publication of WO2019179179A1 publication Critical patent/WO2019179179A1/zh
Priority to US16/673,206 priority patent/US11140329B2/en
Priority to US17/476,842 priority patent/US11563897B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present application relates to the field of photographing technology, and more particularly to a method and apparatus for image processing.
  • the current shooting scene can be judged by the histogram of the current image. For example, first obtain the histogram of the current image, and calculate the overexposure and underexposure ratio of the histogram; for example, pixels with brightness higher than 250 are used as overexposed pixels, and pixels with brightness less than 10 are regarded as underexposed pixels.
  • the ratio of exposed and underexposed pixels is considered to be a high dynamic scene if the overexposure ratio is greater than a set threshold and the underexposure ratio is greater than another predetermined threshold.
  • the ratio of the high dynamic range will be adjusted according to the actual effect of the algorithm.
  • the judgment threshold is that the overexposure ratio is greater than 1% and the underexposure ratio is greater than 5% or 10%.
  • the overexposure ratio A value between 0.5% and 2% can be taken, and an underexposure ratio can take a value between 5% and 10%. It can be understood that the above is only an example for judging a high dynamic scene, and those skilled in the art can also obtain the dynamic range of the image by other means, and details are not described herein again. It can be understood that, in some application scenarios, it is also possible for the user to select whether to use a high dynamic scenario.
  • the terminal device it is determined whether the terminal device is in a stable state and whether the shooting scene belongs to a high dynamic scene.
  • different exposure fusions may be entered according to different state information and shooting scene information.
  • the branch of the mode is processed without a specific parameter to indicate a steady state or a high dynamic scenario.
  • the terminal device when the state information is greater than the first threshold, the terminal device is considered to be in an unstable shooting state; in an implementation manner, There may be corresponding parameters to indicate the status information of the terminal device and the shooting scene information.
  • the terminal device status parameter is assigned (may be 0, 1, etc., and may be other values).
  • At least two frames of images can be captured in the exposure fusion mode, and when the first exposure fusion mode is used for shooting, at least two adjacent image frames have different exposure values.
  • the exposure value of an image frame is 30, the exposure value of the latter image frame may be 31. It can be understood that in the multiple frames captured by the first exposure fusion mode, it is also possible that the exposure values of two adjacent image frames are the same. Taking a 3-frame image as an example, the exposure value corresponding to each frame may be 30, 31, 31.
  • the image processing mode is a second exposure fusion mode, where The exposure value of the image in the second exposure fusion mode is the same. For example, taking a three-frame image in the second exposure fusion mode as an example, the exposure value corresponding to each frame may be 40.
  • the shooting state of the terminal device is unstable, and the shooting scene of the terminal device belongs to a high dynamic scene, determining that the image processing mode is a third exposure fusion mode, where The exposure values of the images of at least two adjacent frames in the third exposure fusion mode are different.
  • determining that the image processing mode is a fourth exposure fusion mode, where The exposure values of the images in the fourth exposure fusion mode are the same.
  • the exposure time of the first exposure fusion mode is greater than the exposure time of the third exposure fusion mode; when the multi-frame image is captured, the exposure time of the first exposure fusion mode is greater than
  • the exposure time of the third exposure fusion mode may be that the exposure time of the image frame corresponding to the maximum exposure value in the first exposure fusion mode is greater than the exposure time of the image frame corresponding to the maximum exposure value in the third exposure fusion mode; or may refer to When the exposure value of an image frame in the first exposure fusion mode is equal to the exposure value of an image frame in the third exposure fusion mode, the exposure time of the image frame in the first exposure fusion mode is greater than the third exposure fusion The exposure time of the image frame in the mode.
  • the maximum exposure time for the frame corresponding to the maximum exposure value in the first exposure fusion mode is 1 second
  • the maximum exposure time of the frame corresponding to the maximum exposure value in the third exposure fusion mode is 250 milliseconds.
  • a larger exposure time is preferred, and a lower sensitivity and aperture value are used, such as an exposure time of 500 milliseconds and 100 Sensitivity; in the third mode, achieving the same exposure value results in a shorter exposure time, while using a relatively higher sensitivity and a larger aperture value, such as using 100 milliseconds of exposure time and 500 sensitivities Combination of degrees.
  • an exposure time of the second exposure fusion mode is greater than an exposure time of the fourth exposure fusion mode.
  • the maximum exposure time for the frame corresponding to the maximum exposure value in the second exposure fusion mode is 2 seconds
  • the maximum exposure time of the frame corresponding to the maximum exposure value in the fourth exposure fusion mode is 1 second.
  • a larger exposure time is preferred, and a lower sensitivity and aperture value are used, such as an exposure time of 500 milliseconds and 100 Sensitivity; in the fourth mode, achieving the same exposure value results in a shorter exposure time, while using a relatively higher sensitivity and a larger aperture value, such as using 100 milliseconds of exposure time and 500 sensitivities Combination of degrees.
  • the number of image frames to be processed in the first exposure fusion mode is the same as the number of image frames to be processed in the second exposure fusion mode.
  • the number of image frames to be processed in the third exposure fusion mode is the same as the number of image frames to be processed in the fourth exposure fusion mode.
  • the number of image frames to be processed in the first exposure fusion mode is greater than the number of image frames to be processed in the third exposure fusion mode or the fourth exposure fusion mode.
  • the acquiring the image to be displayed according to the image processing mode in the embodiment of the present invention may refer to the corresponding exposure parameter after determining the number of frames of the image and the exposure parameter corresponding to each frame. Use the camera to capture the image to be displayed.
  • the exposure parameters corresponding to different image processing modes are set differently. It can be understood that, in an implementation manner, the process of determining the number of frames of the image and the exposure parameter corresponding to each frame may be performed by a processor of the terminal device, and the camera of the terminal device performs an image to be displayed according to the set exposure parameter. Get.
  • the image capturing module may perform a corresponding function branch according to different output results of the mode selection module, and process the image to be displayed.
  • the image processing apparatus further includes a processing module, where the processing module is configured to perform processing on the image to be displayed, such as image synthesis, to obtain a processed image. .
  • the functions of the mode selection module and the processing module may be performed by a processor of the terminal device.
  • the image processing apparatus further presents a module, and the rendering module is configured to display the processed image.
  • the presentation module may be a display screen of the terminal device. Displaying the processed image includes displaying the final composite image; or displaying using a preview, for example, in the process of processing the multi-frame image using the image processing mode described above, presenting the image after the current processing is completed.
  • the terminal device generates a number of raw outputs, and the terminal device processes each frame of the received image in sequence. Each time a frame of image is received, an image is combined with the result of the previous frame, and the current processing result is displayed on the screen for preview, until the user finishes early, or after all the frames are processed, The final result is saved to the device.
  • the second aspect of the present invention discloses a method for image processing, the method comprising: acquiring state information of a terminal device; acquiring shooting scene information of the terminal device; and determining image processing according to the state information and the shooting scene information. a mode; acquiring an image to be displayed according to the image processing mode.
  • different image processing modes can be selected according to the determination result of the state information of the terminal device and the shooting scene information.
  • a better composite image is obtained by different exposure values and different image fusion modes.
  • the determining an image processing mode according to the state information and the shooting scene information includes: determining, according to the state information, whether a shooting state of the terminal device is stable; according to the shooting scene information Determining whether the shooting scene of the terminal device belongs to a high dynamic scene; when the shooting state of the terminal device is stable, and the shooting scene of the terminal device does not belong to a high dynamic scene, determining that the image processing mode is a second exposure fusion a mode in which an exposure value of an image in the second exposure fusion mode is the same.
  • the determining an image processing mode according to the state information and the shooting scene information includes: determining, according to the state information, whether a shooting state of the terminal device is stable; according to the shooting scene information Determining whether the shooting scene of the terminal device belongs to a high dynamic scene; when the shooting state of the terminal device is unstable, and the shooting scene of the terminal device belongs to a high dynamic scene, determining that the image processing mode is a third exposure fusion a mode, wherein an exposure value of an image of at least two adjacent frames in the third exposure fusion mode is different.
  • the determining an image processing mode according to the state information and the shooting scene information includes: determining, according to the state information, whether a shooting state of the terminal device is stable; according to the shooting scene information Determining whether the shooting scene of the terminal device belongs to a high dynamic scene; when the shooting state of the terminal device is unstable, and the shooting scene of the terminal device does not belong to a high dynamic scene, determining that the image processing mode is a fourth exposure The fusion mode, wherein the exposure values of the images in the fourth exposure fusion mode are the same.
  • the determining an image processing mode according to the state information and the shooting scene information includes: when the state information of the terminal is not greater than a first preset threshold, according to the shooting scene information Determining that the first exposure fusion mode or the second exposure fusion mode is the image processing mode; wherein the first preset threshold is greater than 0.005, and the first preset threshold is less than 0.015, in the first exposure fusion mode There are different exposure values for images of at least two adjacent frames in which the exposure values of the images are the same.
  • the determining the image processing mode according to the state information and the shooting scene information includes: determining, according to the shooting scene information, when the state information of the terminal is greater than a first preset threshold
  • the third exposure fusion mode or the fourth exposure fusion mode is the image processing mode; wherein the first preset threshold is greater than 0.005, and the first preset threshold is less than 0.015, and the third exposure fusion mode exists
  • the exposure values of the images of at least two adjacent frames are different, and the exposure values of the images in the fourth exposure fusion mode are the same.
  • the determining the image processing mode according to the state information and the shooting scene information comprises: determining, according to the shooting scene information, that the shooting scene of the terminal device is a high dynamic scene; The state information determines whether the shooting state of the terminal device is stable; when the shooting state of the terminal device is stable, determining that the image processing mode is the first exposure fusion mode, wherein at least two of the first exposure fusion modes exist The exposure values of the images of the adjacent frames are different; when the shooting state of the terminal device is unstable, determining that the image processing mode is the third exposure fusion mode, wherein at least two adjacent ones exist in the third exposure fusion mode The exposure values of the images of the frames are different; the exposure time of the first exposure fusion mode is greater than the exposure time of the third exposure fusion mode.
  • the determining an image processing mode according to the state information and the shooting scene information includes: determining, according to the shooting scene information, that a shooting scene of the terminal device is a high dynamic scene; When the state information of the terminal is not greater than the first preset threshold, determining that the image processing mode is a first exposure fusion mode, wherein an exposure value of an image of at least two adjacent frames in the first exposure fusion mode is different; Determining, when the state information of the terminal is greater than the first preset threshold, the image processing mode is a third exposure fusion mode, wherein an exposure value of an image of at least two adjacent frames exists in the third exposure fusion mode
  • the first preset threshold is greater than 0.005, and the first preset threshold is less than 0.015, and the exposure time of the first exposure fusion mode is greater than the exposure time of the third exposure fusion mode.
  • S201 Acquire status information of the terminal device.
  • the status information may be information directly collected by a sensor on the terminal device, for example, information collected by a gravity sensor or a gyroscope on the terminal device, or may be obtained after calculation or other processing based on the above information. information.
  • the terminal device may include a smart phone, a tablet, a laptop, and the like.
  • the value of the acceleration due to gravity can be measured by the gravity sensor, and the value of the acceleration is used as the state information.
  • the terminal device can be measured by the gyroscope. In the steady state, the attitude information of the terminal device collected by the gyroscope is used as the state information.
  • the terminal device may further acquire trigger information, where the trigger information may cause the terminal device to enter a preview display mode, and present an image captured by the camera on a display screen of the terminal device.
  • the trigger information may be information formed by a user triggering a physical button of the mobile terminal, such as a shutter button, or may be information formed by a user performing a corresponding operation on the touch screen, such as activating a camera shooting function by clicking or sliding.
  • the preview display mode refers to that the terminal device presents an image captured by the camera on the display screen, and is intended to prompt the user to capture the image content of the current camera, so that the user adjusts the corresponding framing state, but this When the official photo is not taken, the image of the framing is not saved to the storage medium of the device.
  • the photographing mode means that when the user finishes the framing and presses the shutter button, the device acquires the image captured by the camera, and after the corresponding method is processed, the final photo image is saved to the storage medium of the device.
  • the current image refers to image data captured by a camera of the terminal device in the preview display mode.
  • S202 Acquire shooting scene information of the terminal device.
  • the shooting scene information of the terminal device is mainly used to indicate the dynamic range of the shooting scene. Usually expressed in the form of a histogram.
  • Histograms are widely used in image processing.
  • the luminance histogram is a graph used to represent the brightness distribution of an image. It shows the proportion of images occupied by different brightness objects in the image.
  • the horizontal axis represents the brightness in the image, from left to right, from all black to all white; the vertical axis represents the brightness in the image. The relative number of pixels.
  • the dynamic range mainly refers to the brightness range of the subject, that is, the brightness span from the darkest point to the brightest point in the subject.
  • the difference between the brightest part and the darkest part is relatively large, the contrast of the picture is high, and the level is rich.
  • the brightness of most objects is similar, and the contrast of the picture is low.
  • the dynamic range can be quantified by a ratio or difference.
  • Figure 1 shows an example of a histogram and dynamic range.
  • the top left image is a captured image
  • the lower left image is the histogram of the upper left image
  • the left upper image shows the upper left image.
  • the brightness range is wider and the dynamic range is higher
  • the lower right picture is the histogram of the upper right image. From the right lower histogram, it can be seen that the upper right image has a narrower brightness range and a lower dynamic range.
  • the state information of the terminal device is acquired, it is determined according to the state information whether the terminal device is in a stable state.
  • the terminal device When the terminal device is in a static or substantially stationary state, for example, placed on a tripod or other fixed device, the terminal device can be considered to be in a stable state; when the terminal device is in a motion state or a slight jitter state, for example, the user handheld terminal device performs shooting. Or, when the user holds a fixed device of the terminal device (for example, a selfie stick) to shoot, the terminal device can be considered to be in an unstable state. In a possible manner, whether the terminal device is in a stable state may be determined by comparing the state information with a preset threshold.
  • the method further includes determining the shooting scene, and determining an image processing mode to be used according to the state of the terminal device and the dynamic range of the shooting scene.
  • the current shooting scene can be judged by the histogram of the current image. For example, first obtain the histogram of the current image, and calculate the overexposure and underexposure ratio of the histogram; for example, pixels with brightness higher than 250 are used as overexposed pixels, pixels with brightness less than 10 are regarded as underexposed pixels, and statistical overexposure and If the overexposure ratio is greater than a set threshold and the underexposure ratio is greater than another preset threshold, the image is considered to be a high dynamic scene, and the ratio of the high dynamic range is generally based on the actual effect of the algorithm. Adjustment, in one example, the threshold is judged to be overexposed to a ratio greater than 1% and the underexposure ratio is greater than 5% or 10%. It will be understood that the above numerical values and ratios are merely general examples to help understand the embodiments of the present invention, and those skilled in the art can set other threshold values according to the parameters of the terminal device.
  • the image processing mode is a second exposure fusion mode, where The exposure value of the image in the second exposure fusion mode is the same.
  • the exposure values can all be 40.
  • the shooting state of the terminal device is unstable, and the shooting scene of the terminal device belongs to a high dynamic scene, determining that the image processing mode is a third exposure fusion mode, where The exposure values of the images of at least two adjacent frames in the third exposure fusion mode are different.
  • determining that the image processing mode is a fourth exposure fusion mode, where The exposure values of the images in the fourth exposure fusion mode are the same.
  • an exposure time of the first exposure fusion mode is greater than an exposure time of the third exposure fusion mode; for example,
  • an exposure time of the second exposure fusion mode is greater than an exposure time of the fourth exposure fusion mode
  • the number of image frames to be processed in the first exposure fusion mode is the same as the number of image frames to be processed in the second exposure fusion mode;
  • the number of image frames to be processed in the third exposure fusion mode is the same as the number of image frames to be processed in the fourth exposure fusion mode;
  • S204 Acquire an image to be displayed according to an image processing mode.
  • Obtaining an image to be displayed according to an image processing mode may refer to capturing a to-be-displayed image using a camera according to a corresponding exposure parameter after determining the number of frames of the image and the exposure parameter corresponding to each frame.
  • the exposure parameters corresponding to different image processing modes are set differently.
  • the maximum and minimum exposure values used for shooting are calculated; when the maximum exposure value is calculated, the average of a certain proportion of pixels of the current image is counted. Value (a typical embodiment is to select the darkest 30% of the pixels in the image and calculate the average of the brightness of those pixels) if the average of a certain percentage of pixels is less than the preset target brightness (eg for brightness at 0-) For images in the range of 255, the target brightness can be 60 or a similar value), increase the exposure value (the method of increasing the exposure value can increase the exposure time, or increase the camera gain, and even some can increase the aperture, thereby increasing all pixels.
  • the preset target brightness eg for brightness at 0-
  • the target brightness can be 60 or a similar value
  • increase the exposure value the method of increasing the exposure value can increase the exposure time, or increase the camera gain, and even some can increase the aperture, thereby increasing all pixels.
  • the exposure value refers to a value calculated according to the exposure parameters (aperture, exposure time, sensitivity combination, etc.), reflecting the amount of light entering the camera and the camera gain.
  • the exposure value can be calculated as:
  • L is the exposure value
  • T is the exposure time
  • ISO is the camera sensitivity
  • A is the aperture value
  • the maximum exposure value is an exposure value corresponding to an exposure parameter of the current image.
  • the exposure parameters of the current image (for example, exposure time, aperture value, and sensitivity combination, etc.) are set as exposure parameters when capturing an image to be displayed.
  • a certain ratio of the darker image of the embodiment of the present invention may refer to a ratio of pixels. For example, when the number of pixels of the image is 100, 30 pixels having a small luminance value are selected according to the brightness value from small to large.
  • the brightness average of a certain proportion of pixels of the brightest image is counted (in one embodiment, the brightest 1% of the pixels are selected, and the average of these pixels is calculated), if the average is greater than the set Threshold (for example, for an image of 0-255 brightness range, the threshold may be 180), then decrease the exposure value until the average reaches the set threshold, the exposure value at this time as the minimum exposure value; if the average value of the pixels is not Above the set threshold, the average of the pixels is taken as the minimum exposure value.
  • the set Threshold for example, for an image of 0-255 brightness range, the threshold may be 180
  • a step size can be set first, and a relatively small step size is set in the first fusion processing mode, for example, the step size can be 1.5. Understandably, a longer step size can be set here. If the step size is longer, the number of frames taken will be relatively small, and the shooting will be faster and not easily blurred.
  • the step size is a relatively fixed value, and the specific value can be set differently according to the parameters of the terminal device, for example, the device with optical anti-shake can be relatively small, and other devices can be set. Bigger. Typical values are 1.5-2.0.
  • the minimum exposure value is multiplied by the corresponding step size. If the exposure value is greater than the maximum exposure value after the Nth multiplication by the step size, the last frame number is set to N, and N is a positive integer. In one example, for example, the minimum exposure value is 10, the maximum exposure value is 60, and the step size is 1.5, then N is 5.
  • the non-linear accumulation process refers to, based on the current image frame, when an input image is received, an accumulation coefficient, an accumulation coefficient, and a brightness of a pixel in the image frame are set according to the brightness value of the current image.
  • the value is inversely proportional. The larger the brightness value of the image, the smaller the accumulation coefficient; then the coefficient is multiplied by the brightness of the input image and added to the current image, resulting in an accumulated result.
  • the brightness value of a certain pixel of the current image is 100
  • the corresponding accumulation coefficient is 0.3.
  • the brightness of the pixel of the same coordinate in the image to be displayed is 80
  • the brightness value of another pixel in the current image is 60, and the accumulation coefficient is 0.5.
  • the required exposure value is calculated first, and the average value of the brightest region of the current image is counted, for example, the current image is the brightest.
  • the determination of the target brightness value may not be performed or the image to be displayed may be captured with the exposure parameter corresponding to the current exposure value if the average brightness value is less than or equal to the target value.
  • the processing of the third exposure fusion mode and the first exposure fusion mode are similar, the main difference is that the target brightness of the maximum exposure value and the minimum exposure value are calculated, and the frame is calculated. There are differences in the setting of the time step.
  • the target brightness corresponding to the maximum exposure value is smaller than the target brightness in the steady state.
  • the target brightness in the unstable state may be set to 40, and the target brightness in the steady state may be set to 60.
  • the target brightness corresponding to the minimum exposure value is greater than the target brightness with a small steady state, for example, the brightness target is set to 200, and the target brightness may be set to 180 in the steady state.
  • the processing of the fourth exposure fusion mode and the second exposure fusion mode are similar, and the main difference is that the target brightness value is different and the exposure time is different.
  • a larger exposure time is preferred, and a lower sensitivity and aperture value are used, such as an exposure time of 500 milliseconds and 100 Sensitivity; in the fourth mode, achieving the same exposure value results in a shorter exposure time, while using a relatively higher sensitivity and a larger aperture value, such as using 100 milliseconds of exposure time and 500 sensitivities Combination of degrees.
  • the required exposure value is first calculated, and the average value of the brightest region of the current image is counted, for example, the current image is the brightest.
  • the image to be displayed may be captured with the exposure parameter corresponding to the current exposure value without determining the target brightness value or when the average brightness value is less than or equal to the target value.
  • the number of frames captured in one shooting cycle may be the same or different.
  • the image to be displayed may be an image that the camera needs to capture when the user triggers the shutter button.
  • the shutter button can be a physical button or a virtual button on the touch screen.
  • the shutter button may not be used, but the camera may be triggered by capturing a voice command or a user action, and the data captured by the camera is the image to be displayed.
  • the image to be displayed may include a multi-frame image captured by the camera after the shooting function is triggered.
  • the image to be displayed may be the first frame image captured by the camera after the shooting function is triggered, or the last frame image captured by the camera in one shooting cycle after the shooting function is triggered, or the middle time in one shooting cycle after the shooting function is triggered.
  • the shooting period described in this example may refer to a shooting period of a multi-frame image to be captured in the exposure fusion mode.
  • the first exposure fusion mode needs to capture 10 frames of images
  • the current image to be displayed may be the first frame image.
  • the method for image processing according to the embodiment of the present invention further includes:
  • one frame of the image to be displayed is added to the image of the previous frame, and the averaged result is used for screen display.
  • the accumulated image is averaged, noise reduction and dynamic range correction are performed, and then the final image is output through ISP processing for display screen display.
  • the HDR fusion is performed with the result of the current processing frame and the previous frame, and the fusion result is displayed, and the luminance values of the currently processed frame are also nonlinearly accumulated. Up to the accumulated result of the previous frame, but the accumulated result is neither displayed nor involved in fusion;
  • each input frame is first added to the previous accumulated result, and then the accumulated result is HDR-fused with the HDR fusion result of the previous frame, and the fusion result is displayed.
  • each frame of the image is nonlinearly accumulated, and the accumulated result is also used to form an image pyramid and then merged with the existing pyramid.
  • the established pyramid is reconstructed, and the obtained image is displayed on the screen;
  • the image pyramid is a prior art used in HDR multi-frame fusion, which divides the image into different image layers according to frequency.
  • the corresponding image layers in the two images are weighted and summed, and finally the results of the layers are superimposed into one image.
  • the image is pyramid reconstructed to obtain the final output image.
  • the display step of S206 is not necessarily performed.
  • the image processing method of the embodiment of the present invention is further described below with reference to FIG. 3. As shown in FIG. 3, the method includes:
  • the value of the acceleration due to gravity can be measured by the gravity sensor, and the value of the acceleration is used as the state information.
  • the terminal device can be measured by the gyroscope. In the steady state, the attitude information of the terminal device collected by the gyroscope is used as the state information.
  • the terminal device After the status information of the terminal device is acquired, it is determined whether the terminal device is in a stable state according to the status information.
  • the terminal device When the terminal device is in a static or substantially stationary state, for example, placed on a tripod or other fixed device, the terminal device can be considered to be in a stable state; when the terminal device is in a motion state or a slight jitter state, for example, the user handheld terminal device performs shooting. Or, when the user holds a fixed device of the terminal device (for example, a selfie stick) to shoot, the terminal device can be considered to be in an unstable state. In a possible manner, whether the terminal device is in a stable state may be determined by comparing the state information with a preset threshold.
  • the terminal device when the value obtained by the gyroscope is greater than the first threshold, the terminal device may be considered to be in an unstable state; or when the value obtained by the gyroscope is less than or equal to the first threshold, the terminal device may be considered to be in a stable state.
  • the value of the first threshold can be set according to the characteristics of the device.
  • the stability threshold of a typical mobile phone gyroscope can be set to values such as 0.008, 0.01, 0.011.
  • step S302 may refer to the related example in FIG. 2, and details are not described herein again.
  • S303 Acquire an image to be displayed using one of a first exposure fusion mode to a fourth exposure fusion mode.
  • step S303 may refer to the related example in FIG. 2, and details are not described herein again.
  • step S401 may refer to the related example in FIG. 2, and details are not described herein again.
  • the status information may be information directly collected by a sensor on the terminal device, for example, may be collected by a gravity sensor or a gyroscope on the terminal device.
  • the obtained information may also be information obtained after calculation or other processing based on the above information.
  • the terminal device may include a smart phone, a tablet, a laptop, and the like.
  • the value of the acceleration due to gravity can be measured by the gravity sensor, and the value of the acceleration is used as the state information.
  • the terminal device can be measured by the gyroscope. In the steady state, the attitude information of the terminal device collected by the gyroscope is used as the state information.
  • the terminal device When the terminal device is in a static or substantially stationary state, for example, placed on a tripod or other fixed device, the terminal device can be considered to be in a stable state; when the terminal device is in a motion state or a slight jitter state, for example, the user handheld terminal device performs shooting. Or, when the user holds a fixed device of the terminal device (for example, a selfie stick) to shoot, the terminal device can be considered to be in an unstable state. In a possible manner, whether the terminal device is in a stable state may be determined by comparing the state information with a preset threshold.
  • the terminal device when the value acquired by the gyroscope is greater than the first threshold, the terminal device may be considered to be in an unstable state; or when the value obtained by the gyroscope is less than or equal to the first threshold, the terminal device may be considered to be in a stable state.
  • the value of the first threshold can be set according to the characteristics of the device.
  • the stability threshold of a typical mobile phone gyroscope can be set to values such as 0.008, 0.01, 0.011.
  • step S403 may refer to the related example in FIG. 2, and details are not described herein again.
  • FIG. 5 An image processing method according to an embodiment of the present invention is described below with reference to FIG. 5. As shown in FIG. 5, the method includes:
  • step S501 may refer to the related example in FIG. 2, and details are not described herein again.
  • the determination of the state of the terminal device may not be performed, but the image processing mode to be used may be obtained according to the state information.
  • the image capturing process is performed using the exposure fusion mode in the second image processing mode set; when the value obtained by the gyroscope is less than or equal to the first threshold, the first is used.
  • the exposure fusion mode in the processing mode set performs image capturing processing.
  • the value of the first threshold may be 0.01, which is a stable threshold of a general mobile phone gyroscope.
  • the embodiments of the modules in the image processing apparatus 600 may refer to related examples and descriptions in the foregoing method embodiments, and are not described herein again.
  • the processor 701 can be a general-purpose central processing unit (CPU), a microprocessor, an application specific integrated circuit (ASIC), or one or more integrated circuits for executing related programs. A function required to implement a module in the image processing apparatus of the embodiment of the present application, or a method of performing image processing of the embodiment of the method of the present application.
  • Processor 701 may be an integrated circuit chip with signal processing capabilities. In the implementation process, each step of the foregoing method may be completed by an integrated logic circuit of hardware in the processor 701 or an instruction in a form of software.
  • the processor 701 may be a general-purpose processor, a digital signal processing (DSP), an application specific integrated circuit (ASIC), a Field Programmable Gate Array (FPGA), or other programmable logic device.
  • DSP digital signal processing
  • ASIC application specific integrated circuit
  • FPGA Field Programmable Gate Array
  • the terminal device may further acquire trigger information, where the trigger information may cause the terminal device to enter a preview display mode, and present an image captured by the camera on a display screen of the terminal device.
  • the trigger information may be information formed by a user triggering a physical button of the mobile terminal, such as a shutter button, or may be information formed by a user performing a corresponding operation on the touch screen, such as activating a camera shooting function by clicking or sliding.
  • the preview display mode refers to that the terminal device presents an image captured by the camera on the display screen, and is intended to prompt the user to capture the image content of the current camera, so that the user adjusts the corresponding framing state, but this When the official photo is not taken, the image of the framing is not saved to the storage medium of the device.
  • the photographing mode means that when the user finishes the framing and presses the shutter button, the device acquires the image captured by the camera, and after the corresponding method is processed, the final photo image is saved to the storage medium of the device.
  • the processor 801 is further configured to acquire shooting scene information of the terminal device 800.
  • the shooting scene information of the terminal device is mainly used to indicate the dynamic range of the shooting scene. Usually expressed in the form of a histogram.
  • Histograms are widely used in image processing.
  • the luminance histogram is a graph used to represent the brightness distribution of an image. It shows the proportion of images occupied by different brightness objects in the image.
  • the horizontal axis represents the brightness in the image, from left to right, from all black to all white; the vertical axis represents the brightness in the image. The relative number of pixels.
  • the dynamic range mainly refers to the brightness range of the subject, that is, the brightness span from the darkest point to the brightest point in the subject.
  • the difference between the brightest part and the darkest part is relatively large, the contrast of the picture is high, and the level is rich.
  • the brightness of most objects is similar, and the contrast of the picture is low.
  • the dynamic range can be quantified by a ratio or difference.
  • Figure 1 shows an example of a histogram and dynamic range.
  • the top left image is a captured image
  • the lower left image is the histogram of the upper left image
  • the left upper image shows the upper left image.
  • the brightness range is wider and the dynamic range is higher
  • the lower right picture is the histogram of the upper right image. From the right lower histogram, it can be seen that the upper right image has a narrower brightness range and a lower dynamic range.
  • the processor 801 is further configured to determine an image processing mode according to the status information and the shooting scene information.
  • the processor 801 is further configured to determine an image processing mode according to the status information and the shooting scene information.
  • the camera 802 is configured to acquire the current image to be displayed according to the determined image processing mode.
  • the image to be displayed may include a multi-frame image captured by the camera after the shooting function is triggered.
  • the image to be displayed may be the first frame image captured by the camera after the shooting function is triggered, or the last frame image captured by the camera in one shooting cycle after the shooting function is triggered, or the middle time in one shooting cycle after the shooting function is triggered.
  • the shooting period described in this example may refer to a shooting period of a multi-frame image to be captured in the exposure fusion mode.
  • the first exposure fusion mode needs to capture 10 frames of images
  • the current image to be displayed may be the first frame image.
  • the implementation example may refer to the example in the foregoing method and device embodiment, for example, the example in the embodiment of FIG. 2, and details are not described herein again.
  • the display screen 803 is used to display the processed image.
  • the terminal device combines the processing result of the previous frame with an image of the previous frame, and displays the current processing result on the screen for preview, but does not save the current
  • the image is stored on the storage medium until the user finishes prematurely, or after all frames have been processed, the final result is saved to the device as the final output for the user to browse. It can be understood that the terminal device can present the final composite image on the display screen after the processing is completed, or can not be presented temporarily, and then present the final composite image on the display screen when the subsequent user performs image browsing.
  • the current processed frame is HDR-fused with the result of the previous frame, and the fusion result is displayed, and the brightness value of the currently processed frame is also displayed.
  • the nonlinear accumulation is added to the accumulated result of the previous frame, but the accumulated result is neither displayed nor involved in the fusion;
  • each frame of the image is nonlinearly accumulated, and the accumulated result is also used to form an image pyramid and then merged with the existing pyramid.
  • the established pyramid is reconstructed, and the obtained image is displayed on the screen;
  • the image pyramid is a prior art used in HDR multi-frame fusion, which divides the image into different image layers according to frequency.
  • the corresponding image layers in the two images are weighted and summed, and finally the results of the layers are superimposed into one image.
  • the image is pyramid reconstructed to obtain the final output image.
  • modules, elements, and algorithm steps of the various examples described in connection with the embodiments disclosed herein can be implemented in electronic hardware or a combination of computer software and electronic hardware. Whether these functions are performed in hardware or software depends on the specific application and design constraints of the solution. A person skilled in the art can use different methods to implement the described functions for each particular application, but such implementation should not be considered to be beyond the scope of the present application.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions may be stored in a computer readable storage medium if implemented in the form of a software functional unit and sold or used as a standalone product.
  • the technical solution of the present application which is essential or contributes to the prior art, or a part of the technical solution, may be embodied in the form of a software product, which is stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present application.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种图像处理的装置，所述装置包括：获取模块，用于获取终端设备的状态信息；图像拍摄模块，用于获取终端设备的拍摄场景信息；模式选择模块，用于根据所述状态信息和所述拍摄场景信息确定图像处理模式；所述图像拍摄模块还用于获取待显示图像；处理模块，用于根据所述图像处理模式对所述待显示图像进行处理，得到处理后的图像。本发明实施例还公开了一种图像处理的方法，根据本发明实施例的图像处理的方法和装置，根据对终端设备的状态信息和拍摄场景信息的判断结果，可以选择不同的图像处理模式。通过不同的曝光值和不同的图像融合模式来获得更好的合成图像。

Description

一种图像处理的方法和装置 技术领域
本申请涉及拍照技术领域，并且更具体地，涉及一种图像处理的方法和装置。
背景技术
夜景拍摄一直是手机拍摄的难题，因为光源的亮度和非光源区域的亮度差异过大，具有非常高的动态范围；通过单帧拍摄容易同时存在高亮过曝和低亮欠曝；另一方面，由于夜景一般亮度都比较低，在有限的曝光时间下，对于非高动态场景会存在比较高的噪声，难以获得高质量的图像；但在人们实际的拍照场景中，存在很多亮度变化范围很高的高动态场景，例如晴天室外逆光场景、夜景人像场景等，单幅图像只能采集到高动态范围场景的一部分信息，或者存在亮区过曝问题，或者存在暗区亮度不足问题。
在夜景高动态场景下，为了获得高动态照片，业界通用的方案是多帧不同曝光图像融合方案。例如CN105163047A公开的方案中先拍摄不同曝光设置的多帧JPG图像作为输入(通常为短曝光、正常曝光、长曝光三帧图像)；再通过相机响应曲线将三帧输入图像转换为三帧场景的真实亮度图；然后进行配准鬼影检测操作，将三帧图像合成为一帧高动态范围图像。在现有技术的处理中，不同亮度的图像之间合成之后的成像效果非常的一般。
发明内容
本申请第一方面的实施例提供了一种图像处理的装置，所述装置包括：
获取模块，所述获取模块用于获取终端设备的状态信息；图像拍摄模块，所述图像拍摄模块用于获取终端设备的拍摄场景信息；模式选择模块，所述模式选择模块用于根据所述状态信息和所述拍摄场景信息确定图像处理模式；所述图像拍摄模块还用于根据所述图像处理模式获取待显示图像。
根据本发明实施例的图像处理的装置，根据对终端设备的状态信息和拍摄场景信息的判断结果，可以选择不同的图像处理模式。通过不同的调节曝光值和不同的图像融合模式来拍摄更好的图像，用于后续的合成。
本发明实施例所述的终端设备，可以是具有拍照功能的智能手机，平板电脑，也可以是具有拍照功能的智能手表，智能眼镜，智能头盔等其它可穿戴式设备。
在一种可能的实现方式中，所述状态信息用于判断所述终端设备的拍摄状态是否稳定。
在一种可能的实现方式中，所述获取模块可以从终端设备的重力传感器或者陀螺仪中获取终端设备的状态信息。状态信息可以是通过终端设备上的传感器直接采集得到的信息，例如可以通过终端设备上的重力感应器或者陀螺仪等设备采集得到的信息，也可以是基于上述信息进行计算或其它处理之后得到的信息。
在一种可能的实现方式中，可以通过重力感应器测量由于重力引起的加速度的值，将加速度的值作为状态信息；在另一种可能的实现方式中，可以通过陀螺仪测量终端设备是 否处于稳定状态，将陀螺仪采集的终端设备的姿态信息作为状态信息。
可以理解的是，在获取终端设备的状态信息之前，终端设备还可以获取触发信息，所述触发信息可以使得终端设备进入预览显示模式，在终端设备的显示屏上呈现摄像头捕捉的图像。该触发信息可以是用户触发移动终端的实体按键所形成的信息，例如快门按键；也可以是用户在触摸屏上进行相应操作后所形成的信息，例如通过点击或者滑动的方式激活摄像头的拍摄功能。在一种可能的实现方式中，预览显示模式指的是终端设备在显示屏上呈现摄像头捕捉的图像，旨在提示用户当前摄像头所能捕捉的图像内容，以便用户调整相应的取景状态，但此时未进行正式的拍照，取景的图像不会保存到设备的存储介质(但相关的参数或图像数据会在缓存中存储一段时间)。拍照模式是指当用户完成取景并按下快门按键时，设备会获取摄像头捕捉的图像，经过相应的方法处理之后，最终的照片图像保存至设备的存储介质。
在一种可能的实现方式中，所述拍摄场景信息用于判断所述终端设备的拍摄场景是否属于高动态场景。
在一种可能的实现方式中，所述图像拍摄模块可以根据摄像头获取的图像数据得到拍摄场景信息。拍摄场景信息可以是当前图像的直方图，拍摄场景信息也可以是当前图像的动态范围。
直方图在图像处理中有着广泛的应用，亮度直方图是用来体现图像亮度分布的图表，它显示了图像中不同亮度对象所占的图像比例。在一个示例中，在一张图像的直方图中，横轴代表的是图像中的亮度，由左向右，从全黑逐渐过渡到全白；纵轴代表的则是图像中处于这个亮度范围的像素的相对数量。
在图像拍摄处理领域，动态范围主要是指拍摄对象的亮度范围，即拍摄对象里最暗点到最亮点的亮度跨度。在大动态范围的场景里，最亮部分与最暗部分相差比较大，画面的对比度高，层次丰富；而在小动态范围的场景里，则多数对象的亮度都差不多，画面对比度低。动态范围可以用比值或者差值来进行量化描述。
在一种可能的实现方式中，所述模式选择模块具体用于，根据所述状态信息判断所述终端设备的拍摄状态是否稳定；根据所述拍摄场景信息确定所述终端设备的拍摄场景是否属于高动态场景；当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景属于高动态场景时，所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
当终端设备处于静止的状态时，例如放置于三角架或其它固定装置上，可以认为终端设备处于稳定状态；当终端设备处于运动状态或者轻微抖动状态时，例如用户手持终端设备进行拍摄，或者用户手持终端设备的固定装置(例如自拍杆)进行拍摄，可以认为终端设备处于非稳定状态。在可能的方式中，可以通过将状态信息与预设阈值进行比较的方式来判断终端设备是否处于稳定状态。例如，当陀螺仪获取到的值大于第一阈值时，可以认为终端设备处于非稳定状态；或者当陀螺仪获取到的值小于等于第一阈值时，可以认为终端设备处于稳定状态。其中，第一阈值的取值范围可以是大于0.005，小于0.015。例如第一阈值可以是0.01。
在一种可能的实现方式中，可以通过当前图像的直方图判断当前的拍摄场景。例如， 先获取当前图像的直方图，统计直方图的过曝和欠曝比例；比如亮度高于250以上的像素作为过曝的像素，亮度小于10以下的像素视为欠曝的像素，统计过曝和欠曝像素的比例，如果过曝比例大于一个设定的阈值，且欠曝比例大于另一个预先设定的阈值，则认为图像属于高动态场景。一般高动态范围的比例会根据算法实际效果进行调整，在一个示例中，判断阈值是过曝的比例大于1％及欠曝的比例大于5％或10％，在其它的示例中，过曝比例可以取0.5％到2％之间的值，欠曝比例可以取5％到10％之间的值。可以理解的是，上述只是对判断高动态场景的一个示例，本领域普通技术人员也可以采用其它方式得到图像的动态范围，在此不再赘述。可以理解的是，在某些应用场景下，也可以是由用户选择是否使用高动态场景。
可以理解的是，本发明实施例所述判断终端设备是否处于稳定状态和判断拍摄场景是否属于高动态场景，在一种实现方式中，可以根据不同的状态信息和拍摄场景信息进入不同的曝光融合模式的分支进行处理，而不需要有具体的参数来表示稳定状态或者高动态场景，例如当状态信息大于第一阈值时，则认为终端设备处于不稳定的拍摄状态；在一种实现方式中，也可以有对应的参数来表示终端设备的状态信息和拍摄场景信息，例如当状态信息大于第一阈值时，则给终端设备状态参数赋值(可以为0,1等，也可以为其它值)。
本发明实施例在曝光融合模式中可以对至少两帧图像进行拍摄，在使用第一曝光融合模式进行拍摄时，至少有两个相邻图像帧的曝光值不同。例如某一图像帧的曝光值为30，则后一图像帧的曝光值可以为31。可以理解的是，在使用第一曝光融合模式拍摄的多帧中，也可以是有两个相邻图像帧的曝光值相同的。以3帧图像为例，每一帧对应的曝光值可以为30,31,31。
对于高动态场景，通过不同的曝光值的曝光融合模式，可以在高动态场景下获得质量更好的高动态范围的图像。
在一种可能的实现方式中，当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同。例如，以第二曝光融合模式拍摄3帧图像为例，每一帧对应的曝光值可以为40。
对于非高动态场景，使用相同的曝光值进行处理，可以获得噪声更低的图像。
在一种可能的实现方式中，当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
在一种可能的实现方式中，当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同。
在一种可能的实现方式中，所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间；在拍摄多帧图像时，此处的第一曝光融合模式的曝光时间大于第三曝光融合模式的曝光时间可以是指第一曝光融合模式中对应最大曝光值的图像帧的曝光时间大于第三曝光融合模式中对应最大曝光值的图像帧的曝光时间；或者也可以是指当第一曝光融合模式中的某一图像帧的曝光值与第三曝光融合模式中的某一图像帧的曝光值相等时， 第一曝光融合模式中该图像帧的曝光时间大于第三曝光融合模式中该图像帧的曝光时间。
例如，对于所述第一曝光融合模式中对应最大曝光值的帧的最大曝光时间为1秒，而第三曝光融合模式中对应最大曝光值的帧的最大曝光时间为250毫秒。此外，对于某个特定的曝光值的实现，在第一曝光融合模式中，会优先使用较大的曝光时间，而使用较低的感光度和光圈值，比如采用500毫秒的曝光时间和100的感光度；而在第三模式中，实现相同的曝光值，则会采用较短的曝光时间，而使用相对较高的感光度和较大的光圈值，例如使用100毫秒的曝光时间与500感光度的组合。
在一种可能的实现方式中，所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。例如，对于所述第二曝光融合模式中对应最大曝光值的帧的最大曝光时间为2秒，而第四曝光融合模式中对应最大曝光值的帧的最大曝光时间为1秒。此外，对于某个特定的曝光值的实现，在第二曝光融合模式中，会优先使用较大的曝光时间，而使用较低的感光度和光圈值，比如采用500毫秒的曝光时间和100的感光度；而在第四模式中，实现相同的曝光值，则会采用较短的曝光时间，而使用相对较高的感光度和较大的光圈值，例如使用100毫秒的曝光时间与500感光度的组合。
可以理解的是，本发明实施例的不属于高动态场景与非高动态场景的含义相同。
在一种可能的实现方式中，所述第一曝光融合模式中要处理的图像帧数和所述第二曝光融合模式中要处理的图像帧数相同。
在一种可能的实现方式中，所述第三曝光融合模式中要处理的图像帧数和所述第四曝光融合模式中要处理的图像帧数相同。
在一种可能的实现方式中，所述第一曝光融合模式中要处理的图像帧数大于所述第三曝光融合模式或所述第四曝光融合模式中要处理的图像帧数。
在一种可能的实现方式中，所述第二曝光融合模式中要处理的图像帧数和所述第四曝光融合模式中要处理的图像帧数相同。
在一种可能的实现方式中，所述第二曝光融合模式中要处理的图像帧数和所述第四曝光融合模式中要处理的图像帧数不同。
在确定了要使用的图像处理模式后，图像拍摄模块根据相应的处理模式获取待显示图像进行处理。
在一种可能的实现方式中，本发明实施例所述的根据图像处理模式获取待显示图像，可以是指在确定了图像的帧数和每一帧对应的曝光参数之后，按照相应的曝光参数使用摄像头拍摄待显示图像。不同的图像处理模式所对应的曝光参数的设置方式不同。可以理解的是，在一种实现方式中，确定图像的帧数和每一帧对应的曝光参数的处理过程可以由终端设备的处理器执行，终端设备的摄像头根据设置的曝光参数进行待显示图像的获取。
在一种可能的实现方式中，待显示图像可以是用户触发快门键时需要捕捉的图像。快门键可以是实体的按键，也可以是触摸屏上的虚拟按键。在一些示例中，也可以不通过快门键，而是可以通过捕捉语音指令或者用户动作的方式触发拍照，此时摄像头捕捉的数据为待显示图像。
在一种示例中，待显示图像可以包括触发拍摄功能后摄像头拍摄的多帧图像。待显示图像可以是触发拍摄功能后摄像头拍摄的第一帧图像，或者是触发拍摄功能后在一个拍摄 周期内摄像头拍摄的最后一帧图像，或者是触发拍摄功能后在一个拍摄周期中处于中间时刻时摄像头拍摄的图像。本示例所述的拍摄周期，可以是指曝光融合模式中所要拍摄的多帧图像的拍摄时间段，例如第一曝光融合模式需要拍摄10帧图像，则当前待显示图像可以为第1帧图像，第4帧图像或第10帧图像。
在一种可能的实现方式中，前述实施例所述的当前图像，指的是触发终端设备的拍摄功能时摄像头获取的图像数据，此时可以是在预览显示模式下。在一种示例中，待显示图像的前一帧图像为当前图像。通过当前图像的参数信息，例如直方图等信息，和终端设备的状态信息，来设置拍摄待显示图像所需的曝光参数。
在一种可能的实现方式中，图像拍摄模块可以根据模式选择模块的不同输出结果，执行相应的功能分支，对待显示图像进行处理。
在本发明实施例的一种可能的实现方式中，所述图像处理装置还包括处理模块，所述处理模块用于对所述待显示图像进行处理，例如图像合成等操作，得到处理后的图像。
在本发明实施例的一种可能的实现方式中，模式选择模块和处理模块的功能可以是由终端设备的处理器执行的。
在一种可能的实现方式中，所述图像处理装置还呈现模块，所述呈现模块用于显示所述处理后的图像。
在一种可能的实现方式中，呈现模块可以是终端设备的显示屏。显示所述处理后的图像包括显示最终的合成图像；也可以是使用预览的方式进行呈现，例如在使用上述图像处理模式对多帧图像进行处理的过程中，呈现当前处理完成后的图像。
在一个示例中，终端设备会生成很多张原始输出，终端设备会依次处理收到的每一帧图像。每收到一帧图像会和上一帧的处理结果合成一张图像，并将当前处理结果在屏幕上显示，提供用于预览，直到用户提前结束，或者所有帧都处理完之后，就会将最终结果保存到设备里。
本发明第二方面实施例公开了一种图像处理的方法，所述方法包括：获取终端设备的状态信息；获取终端设备的拍摄场景信息；根据所述状态信息和所述拍摄场景信息确定图像处理模式；根据所述图像处理模式获取待显示图像。
根据本发明实施例的图像处理的方法，根据对终端设备的状态信息和拍摄场景信息的判断结果，可以选择不同的图像处理模式。通过不同的曝光值和不同的图像融合模式来获得更好的合成图像。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述状态信息判断所述终端设备的拍摄状态是否稳定；根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述状态信息判断所述终端设备的拍摄状态是否稳定；根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；当所述终端设备的拍摄状态稳定， 且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述状态信息判断所述终端设备的拍摄状态是否稳定；根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述状态信息判断所述终端设备的拍摄状态是否稳定；根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：当所述终端的状态信息不大于第一预设阈值时，根据所述拍摄场景信息确定第一曝光融合模式或第二曝光融合模式为所述图像处理模式；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同，所述第二曝光融合模式中图像的曝光值相同。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：当所述终端的状态信息大于第一预设阈值时，根据所述拍摄场景信息确定第三曝光融合模式或第四曝光融合模式为所述图像处理模式；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同，所述第四曝光融合模式中图像的曝光值相同。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述拍摄场景信息确定所述终端设备的拍摄场景为高动态场景；根据所述状态信息判断所述终端设备的拍摄状态是否稳定；当所述终端设备的拍摄状态稳定，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；当所述终端设备的拍摄状态不稳定，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述拍摄场景信息确定所述终端设备的拍摄场景为非高动态场景；根据所述状态信息判断所述终端设备的拍摄状态是否稳定；当所述终端设备的拍摄状态稳定，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同；当所述终端设备的拍摄状态不稳定，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同；所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述拍摄场景信息确定所述终端设备的拍摄场景为高动态场景；当所述终 端的状态信息不大于第一预设阈值时，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；当所述终端的状态信息大于第一预设阈值时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间。
在一种可能的实现方式中，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：根据所述拍摄场景信息确定所述终端设备的拍摄场景为非高动态场景；当所述终端的状态信息不大于第一预设阈值时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同；当所述终端的状态信息大于第一预设阈值时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。
本发明第二方面实施例中对应特征的示例和具体的实现方式可以参考上述第一方面实施例中的有关规定，在此不再赘述。
本发明第三方面实施例公开了一种图像处理的装置，所述装置包括：
获取模块，所述获取模块用于获取终端设备的状态信息；
模式选择模块，所述模式选择模块用于根据所述状态信息选择第一图像处理模式集合或者选择第二图像处理模式集合，其中，所述第一图像处理模式集合中任一图像处理模式的曝光时间大于所述第二图像处理模式集合中任一图像处理模式的曝光时间；
图像拍摄模块，所述图像拍摄模块用于获取终端设备的拍摄场景信息；
所述模式选择模块还用于根据所述拍摄场景信息，从所述第一图像处理模式集合或所述第二图像处理模式集合中确定目标图像处理模式；
图像拍摄模块，所述图像拍摄模块还用于根据所述目标图像处理模式获取待显示图像。
在本发明的一种可能的实现方式中，所述第一图像处理模式集合可以包括第一曝光融合模式和第二曝光融合模式。所述第二图像处理模式集合中可以包括第三曝光融合模式和第四曝光融合模式。关于第一曝光融合模式、第二曝光融合模式、第三曝光融合模式和第四曝光融合模式的说明和示例可以参考第一方面装置实施例的有关说明，在此不再赘述。
在一种可能的实现方式中，目标图像处理模式为上述第一至第四曝光融合模式中的一个。
本发明第三方面实施例里根据状态信息和拍摄场景信息选择目标图像处理模式的处理方式可以参考第一方面实施例里的有关示例和说明，在此不再赘述。
本发明第四方面实施例公开了一种图像处理的方法，所述方法包括：获取终端设备的状态信息；根据所述状态信息选择第一图像处理模式集合或者选择第二图像处理模式集合，其中，所述第一图像处理模式集合中任一图像处理模式的曝光时间大于所述第二图像处理模式集合中任一图像处理模式的曝光时间；获取终端设备的拍摄场景信息；根据所述拍摄 场景信息，从所述第一图像处理模式集合或所述第二图像处理模式集合中确定目标图像处理模式；根据所述目标图像处理模式获取待显示图像。
在本发明的一种可能的实现方式中，所述第一图像处理模式集合可以包括第一曝光融合模式和第二曝光融合模式。所述第二图像处理模式集合中可以包括第三曝光融合模式和第四曝光融合模式。关于第一曝光融合模式、第二曝光融合模式、第三曝光融合模式和第四曝光融合模式的说明和示例可以参考第一方面装置实施例的有关说明，在此不再赘述。
在一种可能的实现方式中，目标图像处理模式为上述第一至第四曝光融合模式中的一个。
本发明第四方面实施例里根据状态信息和拍摄场景信息选择目标图像处理模式的处理方式可以参考第一方面实施例里的有关示例和说明，在此不再赘述。
本发明第五方面实施例公开了一种图像处理的装置，所述装置包括：一个或多个处理器、存储器。该存储器与一个或多个处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括指令，当一个或多个处理器执行指令时，处理装置执行如上述第二或第四方面以及第二或第四方面的任意一种可能的实现方式所述的图像处理方法。
本发明第六方面实施例公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在设备上运行时，使得设备执行如上述第二或第四方面以及第二或第四方面的任意一种可能的实现方式所述的图像处理方法。
本发明第七方面实施例公开了一种处理器，所述处理器用于执行如上述第二或第四方面以及第二或第四方面的任意一种可能的实现方式所述的图像处理方法。
应理解，本申请的第二至第七方面及对应的实现方式所取得的有益效果参见本申请的第一方面及对应的实现方式所取得的有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种直方图和动态范围的示意图。
图2是本发明实施例的一种图像处理方法的流程示意图。
图3是本发明实施例的另一图像处理方法的流程示意图。
图4是本发明实施例的另一图像处理方法的流程示意图。
图5是本发明实施例的另一图像处理方法的流程示意图。
图6是本发明实施例的一种图像处理装置的结构示意图。
图7是本发明实施例的另一种图像处理装置的结构示意图。
图8是本发明实施例的一种用于图像处理的终端设备的结构示意图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行描述。
如图2所示，根据本发明实施例的一种图像处理的方法S20，所述方法包括：
S201：获取终端设备的状态信息。
状态信息可以是通过终端设备上的传感器直接采集得到的信息，例如可以通过终端设备上的重力感应器或者陀螺仪等设备采集得到的信息，也可以是基于上述信息进行计算或其它处理之后得到的信息。终端设备可以包括智能手机，平板电脑，笔记本电脑等设备。
在一种可能的实现方式中，可以通过重力感应器测量由于重力引起的加速度的值，将加速度的值作为状态信息；在另一种可能的实现方式中，可以通过陀螺仪测量终端设备是否处于稳定状态，将陀螺仪采集的终端设备的姿态信息作为状态信息。
可以理解的是，在获取终端设备的状态信息之前，终端设备还可以获取触发信息，所述触发信息可以使得终端设备进入预览显示模式，在终端设备的显示屏上呈现摄像头捕捉的图像。该触发信息可以是用户触发移动终端的实体按键所形成的信息，例如快门按键；也可以是用户在触摸屏上进行相应操作后所形成的信息，例如通过点击或者滑动的方式激活摄像头的拍摄功能。在一种可能的实现方式中，预览显示模式指的是终端设备在显示屏上呈现摄像头捕捉的图像，旨在提示用户当前摄像头所能捕捉的图像内容，以便用户调整相应的取景状态，但此时未进行正式的拍照，取景的图像不会保存到设备的存储介质。拍照模式是指当用户完成取景并按下快门按键时，设备会获取摄像头捕捉的图像，经过相应的方法处理之后，最终的照片图像保存至设备的存储介质。在一种可能的实现方式中，当前图像指的是预览显示模式下终端设备的摄像头捕捉到的图像数据。
S202：获取终端设备的拍摄场景信息。
终端设备的拍摄场景信息主要用于表示拍摄场景的动态范围。通常以直方图的形式表示。
直方图在图像处理中有着广泛的应用，亮度直方图是用来体现图像亮度分布的图表，它显示了图像中不同亮度对象所占的图像比例。在一个示例中，在一张图像的直方图中，横轴代表的是图像中的亮度，由左向右，从全黑逐渐过渡到全白；纵轴代表的则是图像中处于这个亮度范围的像素的相对数量。
在图像拍摄处理领域，动态范围主要是指拍摄对象的亮度范围，即拍摄对象里最暗点到最亮点的亮度跨度。在大动态范围的场景里，最亮部分与最暗部分相差比较大，画面的对比度高，层次丰富；而在小动态范围的场景里，则多数对象的亮度都差不多，画面对比度低。动态范围可以用比值或者差值来进行量化描述。
图1给出了一个直方图和动态范围的示例，如图1所述，左上图为拍摄得到的一副图像，左下图是左上图像的直方图，从左下的直方图可以看出左上图像的亮度范围较广，动态范围高；右下图是右上图像的直方图，从右下的直方图可以看出右上图像的亮度范围较 窄，动态范围较低。
S203：确定图像处理模式。
在一种实现方式中，在获取了终端设备的状态信息之后，根据状态信息判断终端设备是否处于稳定状态。
当终端设备处于静止或者基本静止的状态时，例如放置于三角架或其它固定装置上，可以认为终端设备处于稳定状态；当终端设备处于运动状态或者轻微抖动状态时，例如用户手持终端设备进行拍摄，或者用户手持终端设备的固定装置(例如自拍杆)进行拍摄，可以认为终端设备处于非稳定状态。在可能的方式中，可以通过将状态信息与预设阈值进行比较的方式来判断终端设备是否处于稳定状态。例如，当陀螺仪获取到的值大于第一阈值时，可以认为终端设备处于非稳定状态；或者当陀螺仪获取到的值小于等于第一阈值时，可以认为终端设备处于稳定状态。第一阈值的取值可以根据设备的特性进行设置，一个典型的手机陀螺仪的稳定阈值可以设为0.01。
在一种实现方式中，对拍照前一小段时间内进行多次判断可以提升检测的准确性，例如在拍照前的小段时间内，陀螺仪获取的数值大于第一阈值的情况达到2次或以上，即为非稳定状态。
在本发明方案的一种可能的实现方式中，还包括对拍摄场景的判断，根据终端设备的状态和拍摄场景的动态范围，决定要使用的图像处理模式。
在一种可能的实现方式中，可以通过当前图像的直方图判断当前的拍摄场景。例如，先获取当前图像的直方图，统计直方图的过曝和欠曝比例；比如亮度高于250的像素作为过曝的像素，亮度小于10的像素视为欠曝的像素，统计过曝和欠曝像素的比例，如果过曝比例大于一个设定的阈值，且欠曝比例大于另一个预先设定的阈值，则认为图像属于高动态场景，一般高动态范围的比例会根据算法实际效果进行调整，在一个示例中，判断阈值是过曝的比例大于1％及欠曝的比例大于5％或10％。可以理解的是，上述数值和比例只是为了帮助理解本发明实施例而举出的一般性示例，本领域普通技术人员可以根据终端设备的参数设置其它的阈值数值。
当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景属于高动态场景时，所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
在一种可能的实现方式中，当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同。例如，曝光值可以都为40。
对于非高动态场景，使用相同的曝光值进行处理，可以获得噪声更低的图像。
在一种可能的实现方式中，当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
在一种可能的实现方式中，当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同。
在一种可能的实现方式中，所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间；例如，
在一种可能的实现方式中，所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间；
可以理解的是，本发明实施例的不属于高动态场景与非高动态场景的含义相同。
在一种可能的实现方式中，所述第一曝光融合模式中要处理的图像帧数和所述第二曝光融合模式中要处理的图像帧数相同；
在一种可能的实现方式中，所述第三曝光融合模式中要处理的图像帧数和所述第四曝光融合模式中要处理的图像帧数相同；
在一种可能的实现方式中，所述第一曝光融合模式或所述第二曝光融合模式中要处理的图像帧数大于所述第三曝光融合模式或所述第四曝光融合模式中要处理的图像帧数。
S204：根据图像处理模式获取待显示图像。
本发明实施例所述的根据图像处理模式获取待显示图像，可以是指在确定了图像的帧数和每一帧对应的曝光参数之后，按照相应的曝光参数使用摄像头拍摄待显示图像。不同的图像处理模式所对应的曝光参数的设置方式不同。
在一种可能的实现方式中，在图像处理模式为第一曝光融合模式时，计算拍摄所用的最大和最小的曝光值；计算最大曝光值时，统计当前图像较暗的一定比例的像素的平均值(一种典型的实施例是选取图像中最暗的30％的像素，计算这些像素的亮度平均值)，如果一定比例的像素的平均值小于预设的目标亮度(例如对于亮度在0-255范围内的图像，目标亮度可以是60或相近的值)，则增加曝光值(提升曝光值的方法可以使增加曝光时间，或者增加相机增益，甚至有些可以是增大光圈，从而提升所有像素的亮度)，使选取的像素的平均亮度值达到目标亮度，此时目标亮度对应的曝光值则为最大曝光值。在一个示例中，通过记录最大曝光值对应的曝光参数(例如曝光时间、光圈值和感光度组合)，用于拍摄待显示图像时设置相应的曝光参数。
曝光值指的是按照曝光参数(光圈，曝光时间，感光度组合等)计算出来的一个值，反映了相机的进光量及相机增益。通常曝光值的计算方式可以是：
L＝T*ISO/(A*A)，
其中L为曝光值，T为曝光时间，ISO为相机感光度，A为光圈值。
曝光值和图像亮度存在一定的关系，同一光照场景下，曝光值L越大，相机得到的图像亮度越高。
在一种可能的实现方式中，如果一定比例的像素的平均值不小于预设的目标值，则最大曝光值为当前图像的曝光参数所对应的曝光值。将当前图像的曝光参数(例如曝光时间、光圈值和感光度组合等)，设置为拍摄待显示图像时的曝光参数。
可以理解的是，因为进入第一曝光融合模式的前提是高动态场景，在判定高动态场景时，欠曝像素比例超过5％至10％，因此最暗的30％通常情况下亮度都能低于目标亮度，达不到的预设的目标值情况较少。
本发明实施例所述的图像较暗的一定比例，可以是指像素的比例，例如，图像的像素个数是100时，按照亮度值从小到大选取30个亮度值较小的像素。
计算最小曝光值时，统计图像最亮的一定比例的像素的亮度平均值(一种实施例是选取最亮的1％的像素，计算这些像素的平均值)，如果该平均值大于设定的阈值(例如，对于0-255亮度范围的图像，阈值可以为180)，则减小曝光值，直到平均值达到设定的阈值，此时的曝光值作为最小曝光值；如果像素的平均值不大于设定的阈值，则将像素的平均值作为最小曝光值。
可以理解的是，此处与最大曝光计算方式相似，一般高动态都能满足1％的过曝，因此基本都大于目标值。如果小于目标值，则无需调整，纪录当前曝光参数用于拍摄待显示图像。
在得到了最大曝光值和最小曝光之后，根据最大曝光值和最小曝光值的比例，计算出所需要的不同曝光的帧数；
在计算不同的曝光所需要的帧数时，可以先设定一个步长，第一融合处理模式下会设定一个相对小一些的步长，例如步长可以是1.5。可以理解的是，此处还可以设置更长的步长，如果步长更长的话拍摄的帧数就会相对较少，拍摄更快，不容易模糊。
在每种融合处理模式下，步长是相对固定的值，具体取值可以根据终端设备的参数进行不同的设置，比如有光学防抖的设备可以设的相对小一些，其它的设备可以设的大一些。典型值是1.5-2.0。
在得到了步长之后，用最小的曝光值乘以相应的步长，如果第N次乘以步长之后曝光值大于最大曝光值，则最后帧数就定为N,N为正整数。在一个示例中，例如最小曝光值是10，最大曝光值是60，步长是1.5，则N为5。
示例：
10 x 1.5＝15
15 x 1.5＝22.5
22.5 x 1.5＝33.75
33.75 x 1.5＝50.625
50.625 x 1.5＝75.9375
上面计算出的N帧图像，曝光值是各不相同的。
而在计算出N帧图像之后，还会计算出需要的最大曝光图像的数量，这些帧的曝光值是相同的，都是最大曝光值。
在一种示例中，最大曝光图像的数量的计算方法是，以最大曝光图像的亮度做非线性累加，累加到M帧后的图像平均亮度达到设定的目标值(对于终端设备处于稳定状态时，目标值可以设置为80)，那M就是最大曝光值所需要出的帧数。最终需要处理的总帧数就是N+M。M为正整数。此处的图像平均亮度指的是某一帧图像内的像素的平均亮度值。
在一个示例中，非线性累加过程指的是，以当前图像帧为基础，当收到一帧输入图像时，根据当前图像的亮度值设定一个累加系数，累加系数和图像帧中像素的亮度值成反比关系。图像的亮度值越大，累加系数就越小；然后将系数乘以输入图像的亮度后加到当前图像上，从而得到累加结果。在一个示例中，当前图像的某个像素的亮度值为100，则对应的累加系数为0.3，如果待显示图像中相同坐标的像素点亮度为80，那么累加后像素亮度为100+0.3 x 80＝124；而当前图像中另一个像素的亮度值为60，其累加系数为0.5， 对应的输入图上同一位置的像素亮度为40，则累加后亮度为60+0.5 x 40＝80。
在本发明的一种可能的实现方式中，在图像处理模式为第二曝光融合模式时：先计算所需要的曝光值，统计当前图像最亮的区域的均值，例如统计当前图像最亮的，占全图数量1％的像素的平均值。如果均值大于设定的目标亮度则减小曝光值使均值达到目标亮度，一般情况下，如果亮度高于目标值，为了提升效果，尽量选择降低曝光值；在一种可能的实现方式中，也可以直接将像素的平均值作为目标值。在一种可能的实现方式中，也可以不进行目标亮度值的判断或者在平均亮度值小于等于目标值的情况下，以当前曝光值对应的曝光参数拍摄待显示图像。
根据当前场景的相机增益，计算所需要的图像帧数，相机增益越大，帧数越多；在一个帧数计算的示例中，比如增益在400(ISO)以下，帧数为4帧，400-1600之间使用8帧，1600-3200使用16帧。数量可以自行设置。
在本发明的一种可能的实现方式中，第三曝光融合模式和第一曝光融合模式的处理比较类似，主要区别在于，计算最大曝光值和最小曝光值的目标亮度有所区别，以及计算帧数时步长的设置有区别。
在终端设备处于非稳定状态时，最大曝光值对应的目标亮度小于稳定状态下的目标亮度，例如非稳定状态下的目标亮度可以设置为40，稳定状态下的目标亮度可以设置为60。在终端设备处于非稳定状态时，最小曝光值对应的目标亮度大于稳定状态小的目标亮度，例如亮度目标设置为200，稳定状态下目标亮度可以设置为180。
在终端设备处于非稳定状态下，计算帧数时的步长可以设定一个比稳定状态下更大的值。例如稳定状态下步长设置为1.5，非稳定状态下步长设为2.0。步长更长的话拍摄的帧数就会相对较少，拍摄更快，不容易模糊。对于计算最长曝光帧数时的累加目标亮度值，非稳定状态下要比稳定状态下低，例如稳定状态下累加目标亮度值可以设为80，非稳定状态下累加目标亮度值可以设为60。
在一种可能的实现方式中，所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间；例如，对于所述第一曝光融合模式中对应最大曝光值的帧的最大曝光时间为1秒，而第三曝光融合模式中对应最大曝光值的帧的最大曝光时间为250毫秒。此外，对于某个特定的曝光值的实现，在第一曝光融合模式中，会优先使用较大的曝光时间，而使用较低的感光度和光圈值，比如采用500毫秒的曝光时间和100的感光度；而在第三模式中，实现相同的曝光值，则会采用较短的曝光时间，而使用相对较高的感光度和较大的光圈值，例如使用100毫秒的曝光时间与500感光度的组合。
在本发明一种可能的实现方式中，第四曝光融合模式和第二曝光融合模式的处理比较类似，主要区别在于，目标亮度值的不同，曝光时间的不同。
在一种可能的实现方式中，所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。例如，对于所述第二曝光融合模式中对应最大曝光值的帧的最大曝光时间为2秒，而第四曝光融合模式中对应最大曝光值的帧的最大曝光时间为1秒。此外，对于某个特定的曝光值的实现，在第二曝光融合模式中，会优先使用较大的曝光时间，而使用较低的感光度和光圈值，比如采用500毫秒的曝光时间和100的感光度；而在第四模式中，实现相同的曝光值，则会采用较短的曝光时间，而使用相对较高的感光度和较大的光 圈值，例如使用100毫秒的曝光时间与500感光度的组合。
在一个示例中，当图像处理模式为第三曝光融合模式时，
计算拍摄所用的最大和最小的曝光值；计算最大曝光值时，统计图像较暗的一定比例的像素的平均值(一种典型的实施例是选取图像中最暗的30％的像素，计算这些像素的亮度平均值)，如果一定比例的像素的平均值小于预设的目标值(例如对于亮度在0-255范围内的图像，目标亮度可以是40或相近的值)，则增加曝光值(提升曝光值的方法可以使增加曝光时间，或者增加相机增益，甚至有些可以是增大光圈，从而提升所有像素的亮度)，使其达到目标值。在一个示例中，通过记录最大曝光值对应的曝光参数(例如曝光时间、光圈值和感光度组合)，用于拍摄待显示图像时设置相应的曝光参数。
在一种可能的实现方式中，如果一定比例的像素的平均值不小于预设的目标值，则最大曝光值为当前图像的曝光参数所对应的曝光值。将当前图像的曝光参数(例如曝光时间、光圈值和感光度组合等)，设置为拍摄待显示图像时的曝光参数。
可以理解的是，因为进入第一曝光融合模式的前提是高动态场景，在判定高动态场景时，欠曝像素比例超过5％至10％，因此最暗的30％通常情况下亮度都能低于目标亮度，达不到的预设的目标值情况较少。
本发明实施例所述的图像较暗的一定比例，可以是指像素的比例，例如，图像的像素个数是100时，按照亮度值从小到大选取30个亮度值较小的像素。
计算最小曝光值时，统计图像最亮的一定比例的像素的亮度平均值(一种实施例是选取最亮的1％的像素，计算这些像素的平均值)，如果该平均值大于设定的阈值(例如，对于0-255亮度范围的图像，阈值可以为180)，则减小曝光值，直到平均值达到设定的阈值，此时的曝光值作为最小曝光值；如果像素的平均值不大于设定的阈值，则将像素的平均值作为最小曝光值。
可以理解的是，此处与最大曝光计算方式相似，一般高动态都能满足1％的过曝，因此基本都大于目标值。如果小于目标值，则无需调整，纪录当前曝光参数用于拍摄待显示图像。
在得到了最大曝光值和最小曝光之后，根据最大曝光值和最小曝光值的比例，计算出所需要的不同曝光的帧数；
在计算不同的报告所需要的帧数时，可以先设定一个步长，第一融合处理模式下会设定一个相对小一些的步长，例如步长可以是2。可以理解的是，此处还可以设置更长的步长，如果步长更长的话拍摄的帧数就会相对较少，拍摄更快，不容易模糊。
在每种融合处理模式下，步长是相对固定的值，具体取值可以根据终端设备的参数进行不同的设置，比如有光学防抖的设备可以设的相对小一些，其它的设备可以设的大一些。典型值是1.5-2.0。
在得到了步长之后，用最小的曝光值乘以相应的步长，如果第N次乘以步长之后曝光值大于最大曝光值，则最后帧数就定为N,N为正整数。在一个示例中，例如最小曝光值是10，最大曝光值是40，步长是2，则N为3。
上面计算出的N帧图像，曝光值是各不相同的。
而在计算出N帧图像之后，还会计算出需要的最大曝光图像的数量，这些帧的曝光值 是相同的，都是最大曝光值。
在一种示例中，最大曝光图像的数量的计算方法是，以最大曝光图像的亮度做非线性累加，累加到M帧后的图像平均亮度达到设定的目标值(对于终端设备处于稳定状态时，目标值可以设置为80)，那M就是最大曝光值所需要出的帧数。最终需要处理的总帧数就是N+M。M为正整数。
在一个示例中，非线性累加过程指的是，以当前图像帧为基础，当收到一帧输入图像时，根据当前图像的亮度值设定一个累加系数，累加系数和图像帧的亮度值成反比关系。图像的亮度值越大，累加系数就越小；然后将系数乘以输入图像的亮度后加到当前图像上，从而得到累加结果。在一个示例中，当前图像的某个像素的亮度值为100，则对应的累加系数为0.3，如果收到的输入图像中相同坐标的像素点亮度为80，那么累加后像素亮度为100+0.3 x 80＝124；而当前图像中另一个像素的亮度值为60，其累加系数为0.5，对应的输入图上同一位置的像素亮度为40，则累加后亮度为60+0.5 x 40＝80。
在本发明的一种可能的实现方式中，在图像处理模式为第四曝光融合模式时，先计算所需要的曝光值，统计当前图像最亮的区域的均值，例如统计当前图像最亮的，占全图数量1％的像素的平均值。如果均值大于设定的目标亮度则减小曝光值使均值达到目标亮度，一般情况下，如果亮度高于目标值，为了提升效果，尽量选择降低曝光值；在一种可能的实现方式中，也可以不进行目标亮度值的判断或者在平均亮度值小于等于目标值的情况下，以当前曝光值对应的曝光参数拍摄待显示图像。
根据当前场景的相机增益，计算所需要的图像帧数，相机增益越大，帧数越多；在一个帧数计算的示例中，比如增益在400(ISO)以下，帧数为4帧，400-1600之间使用8帧，1600-3200使用16帧。数量可以自行设置。
第四曝光融合模式和第二曝光融合模式下，一个拍摄周期内拍摄的帧数可以相同，也可以不同。
在一种可能的实现方式中，待显示图像可以是用户触发快门键时摄像头需要捕捉的图像。快门键可以是实体的按键，也可以是触摸屏上的虚拟按键。在一些示例中，也可以不通过快门键，而是可以通过捕捉语音指令或者用户动作的方式触发拍照，此时摄像头捕捉的数据为待显示图像。
在一种示例中，待显示图像可以包括触发拍摄功能后摄像头拍摄的多帧图像。待显示图像可以是触发拍摄功能后摄像头拍摄的第一帧图像，或者是触发拍摄功能后在一个拍摄周期内摄像头拍摄的最后一帧图像，或者是触发拍摄功能后在一个拍摄周期中处于中间时刻时摄像头拍摄的图像。本示例所述的拍摄周期，可以是指曝光融合模式中所要拍摄的多帧图像的拍摄时间段，例如第一曝光融合模式需要拍摄10帧图像，则当前待显示图像可以为第1帧图像，第4帧图像或第10帧图像。
在一种可能的实现方式中，本发明实施例所述的图像处理的方法还包括，
S205：对待显示图像进行处理。
在一个示例中，在摄像头根据所需要的曝光值进行拍照后，每拍摄得到的待显示图像中的一帧图像与上一帧图像进行相加，同时平均后的结果用于屏幕显示。
在一种可能的实现方式中，当收到最后一帧图像或者提前终止时，对累加图像进行平均后，进行降噪和动态范围矫正，然后经过ISP处理输出最后的图像，用于显示屏显示。
S206：显示处理后的图像。在一种可能的实现方式中，终端设备每收到一帧图像会和上一帧的处理结果合成一张图像，并将当前处理结果在屏幕上显示，提供用于预览，但是不会保存当前图像到储存介质，直到用户提前结束，或者所有帧都处理完之后，就会将最终结果保存到设备里，作为最终的输出供用户浏览。可以理解的是，终端设备可以在处理完成后在显示屏上呈现最终的合成图像，也可以暂时先不呈现，待后续用户进行图像浏览时再在显示屏上呈现最终的合成图像。
在一个示例中，
1、对于前N个不同曝光的帧，每处理一帧，会用当前处理帧与前一帧的结果做HDR融合，并将融合结果进行显示，同时也将当前处理帧的亮度值非线性累加到上一帧的累加结果上，但是累加结果既不显示，也不参与融合；
2、对于相同曝光的M帧，每个输入帧会先累加到前一次累加的结果上，然后将累加结果与上一帧的HDR融合结果进行HDR融合，再将融合结果进行显示。
在本发明实施例的一种可能的实现方式中，当收到最大曝光之后的相同曝光图像，对每帧图像进行非线性累加，并将累加结果同样建立图像金字塔后与现有的金字塔进行融合；每收到一帧图像时，对建立的金字塔进行重建，得到的图像显示在屏幕上；图像金字塔是HDR多帧融合采用的一种现有技术，是将图像按照频率分成不同的图像层，对两副图像中对应的图像层进行加权求和，最后将各层的结果重新叠加成一幅图像。当收到最后一帧图像时，或者应用提前终止时，对图像进行金字塔重建，得到最终的输出图像。
可以理解的是，在上述的示例中，在某些情况下，在执行了S205的步骤后，并不必然执行S206的显示步骤。
下面结合图3进一步描述本发明实施例的图像处理方法，如图3所示，所述方法包括：
S301：终端设备是否处于稳定状态；
在一种可能的实现方式中，状态信息可以是通过终端设备上的传感器直接采集得到的信息，例如可以通过终端设备上的重力感应器或者陀螺仪等设备采集得到的信息，也可以是基于上述信息进行计算或其它处理之后得到的信息。终端设备可以包括智能手机，平板电脑，笔记本电脑等设备。
在一种可能的实现方式中，可以通过重力感应器测量由于重力引起的加速度的值，将加速度的值作为状态信息；在另一种可能的实现方式中，可以通过陀螺仪测量终端设备是否处于稳定状态，将陀螺仪采集的终端设备的姿态信息作为状态信息。
在获取了终端设备的状态信息之后，根据状态信息判断终端设备是否处于稳定状态。
当终端设备处于静止或者基本静止的状态时，例如放置于三角架或其它固定装置上，可以认为终端设备处于稳定状态；当终端设备处于运动状态或者轻微抖动状态时，例如用户手持终端设备进行拍摄，或者用户手持终端设备的固定装置(例如自拍杆)进行拍摄，可以认为终端设备处于非稳定状态。在可能的方式中，可以通过将状态信息与预设阈值进行比较的方式来判断终端设备是否处于稳定状态。例如，当陀螺仪获取到的值大于第一阈 值时，可以认为终端设备处于非稳定状态；或者当陀螺仪获取到的值小于等于第一阈值时，可以认为终端设备处于稳定状态。第一阈值的取值可以根据设备的特性进行设置，一个典型的手机陀螺仪的稳定阈值可以设为0.008，0.01，0.011等数值。
S302：是否属于高动态场景；
在一种可能的实现方式中，步骤S302可以参考前述图2中相关的示例，在此不再赘述。
S303：使用第一曝光融合模式至第四曝光融合模式中的一个获取待显示图像。
在一种可能的实现方式中，步骤S303可以参考前述图2中相关的示例，在此不再赘述。
下面结合图4进一步描述本发明实施例的图像处理方法，如图4所示，所述方法包括：
S401：是否属于高动态场景；
在一种可能的实现方式中，步骤S401可以参考前述图2中相关的示例，在此不再赘述。
S402：终端设备是否处于稳定状态；
在一种可能的实现方式中，在一种可能的实现方式中，状态信息可以是通过终端设备上的传感器直接采集得到的信息，例如可以通过终端设备上的重力感应器或者陀螺仪等设备采集得到的信息，也可以是基于上述信息进行计算或其它处理之后得到的信息。终端设备可以包括智能手机，平板电脑，笔记本电脑等设备。
在一种可能的实现方式中，可以通过重力感应器测量由于重力引起的加速度的值，将加速度的值作为状态信息；在另一种可能的实现方式中，可以通过陀螺仪测量终端设备是否处于稳定状态，将陀螺仪采集的终端设备的姿态信息作为状态信息。
在获取了终端设备的状态信息之后，根据状态信息判断终端设备是否处于稳定状态。
当终端设备处于静止或者基本静止的状态时，例如放置于三角架或其它固定装置上，可以认为终端设备处于稳定状态；当终端设备处于运动状态或者轻微抖动状态时，例如用户手持终端设备进行拍摄，或者用户手持终端设备的固定装置(例如自拍杆)进行拍摄，可以认为终端设备处于非稳定状态。在可能的方式中，可以通过将状态信息与预设阈值进行比较的方式来判断终端设备是否处于稳定状态。例如，当陀螺仪获取到的值大于第一阈值时，可以认为终端设备处于非稳定状态；或者当陀螺仪获取到的值小于等于第一阈值时，可以认为终端设备处于稳定状态。第一阈值的取值可以根据设备的特性进行设置，一个典型的手机陀螺仪的稳定阈值可以设为0.008，0.01，0.011等数值。
S403：使用第一曝光融合模式至第四曝光融合模式中的获取对待显示图像。
在一种可能的实现方式中，步骤S403可以参考前述图2中相关的示例，在此不再赘述。
下面结合图5描述本发明实施例的一种图像处理方法，如图5所示，所述方法包括：
S501：判断终端设备是否处于稳定状态；
在一种可能的实现方式中，步骤S501可以参考前述图2中相关的示例，在此不再赘述。
S502：确定第一处理模式集合或第二处理模式集合；
在一种可能的实现方式中，第一处理模式集合包括了第一曝光融合模式和第二曝光融合模式；第二处理模式集合包括了第三曝光融合模式和第四曝光融合模式。
S503：判断是否属于高动态场景；
在一种可能的实现方式中，步骤S503可以参考前述图2中相关的示例，在此不再赘述。
S504：使用第一曝光融合模式至第四曝光融合模式中的一个获取待显示图像。
在一种可能的实现方式中，步骤S504可以参考前述图2中相关的示例，在此不再赘述。
可以理解的是，本发明方案实施例的执行过程中，可以不进行终端设备状态的判断，而是根据状态信息得到要使用的图像处理模式。例如，当陀螺仪获取到的值大于第一阈值时，使用第二图像处理模式集合中的曝光融合模式进行图像的拍摄处理；当陀螺仪获取到的值小于等于第一阈值时，使用第一处理模式集合中的曝光融合模式进行图像的拍摄处理。第一阈值的取值可以是0.01,即一般手机陀螺仪的稳定阈值。其中，第一处理模式集合中对图像的曝光时间比第二处理模式集合中对图像的曝光时间要长。在一些实现方式中，第一处理模式集合中需要处理的帧数也会比第二处理模式集合中的帧数更多，总时间上也更长。
下面结合图6描述本发明实施例的一种图像处理装置，如图6所示，图像处理装置600包括：
获取模块601，图像拍摄模块602，模式选择模块603，处理模块604，其中，模式选择模块603分别和获取模块601、图像拍摄模块602相连，处理模块604分别和图像拍摄模块602、模式选择模块603相连，呈现模块605和处理模块604相连。
获取模块601用于获取终端设备的状态信息；图像拍摄模块602用于获取终端设备的拍摄场景信息；模式选择模块603用于根据状态信息和拍摄场景信息确定图像处理模式；图像拍摄模块602还用于根据所述图像处理模式获取待显示图像；处理模块604用于对所述待显示图像进行处理，得到处理后的图像，呈现模块605用于显示处理后的图像。
图像处理装600中各模块的实施方式可以对应参考上述方法实施例中的有关示例和说明，在此不再赘述。
图7是本申请实施例的图像处理装置的结构示意图。图7所示的装置700可以看成是一种计算机设备，装置700可以作为本申请实施例的图像处理装置的一种实现方式，也可以作为本申请实施例的图像处理方法的一种实现方式，装置700包括处理器701、存储器702、输入/输出接口703和总线705，还可以包括通信接口704。其中，处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间的通信连接。
处理器701可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的图像处理装置中的模块所需执行的功能，或者执行本申请方法实施例的图像处理的方法。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步 骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成本申请实施例的图像处理装置中包括的模块所需执行的功能，或者执行本申请方法实施例的图像处理的方法。
存储器702可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。存储器702可以存储操作系统以及其他应用程序。在通过软件或者固件来实现本申请实施例的图像处理装置中包括的模块所需执行的功能，或者执行本申请方法实施例的图像处理的方法时，用于实现本申请实施例提供的技术方案的程序代码保存在存储器702中，并由处理器701来执行图像处理装置中包括的模块所需执行的操作，或者执行本申请方法实施例提供的图像处理的方法。
输入/输出接口703用于接收输入的数据和信息，输出操作结果等数据。
通信接口704使用例如但不限于收发器一类的收发装置，来实现装置700与其他设备或通信网络之间的通信。可以作为处理装置中的获取模块或者发送模块。
总线705可包括在装置700各个部件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传送信息的通路。
应注意，尽管图7所示的装置700仅仅示出了处理器701、存储器702、输入/输出接口703、通信接口704以及总线705，但是在具体实现过程中，本领域的技术人员应当明白，装置700还包括实现正常运行所必须的其他器件，例如还可以包括显示器，用于显示要播放的视频数据。同时，根据具体需要，本领域的技术人员应当明白，装置700还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当明白，装置700也可仅仅包括实现本申请实施例所必须的器件，而不必包括图7中所示的全部器件。
下面结合图8描述本发明实施例的一种用于图像处理的终端设备，如图8所示，终端设备800包括：处理器801，摄像头802，显示屏803。
其中，图8中左侧的图为终端设备800的正面视图，图8中右侧的图为终端设备的背面视图。处理器801置于机体中。显示屏803可以覆盖正面机体的全部，也可以覆盖正面机体的部分。显示屏803可以是LED(light emitting diode，发光二极管)屏，也可以是其它材质的屏幕，在一种可能的实现方式中，显示屏803具备触摸感应功能，可以接收用户的触摸操作。
处理器801用于获取终端设备的状态信息。
状态信息可以是通过终端设备上的传感器直接采集得到的信息，例如可以通过终端设备上的重力感应器或者陀螺仪等设备采集得到的信息，也可以是基于上述信息进行计算或其它处理之后得到的信息。终端设备可以包括智能手机，平板电脑，笔记本电脑等设备。
在一种可能的实现方式中，可以通过重力感应器测量由于重力引起的加速度的值，将加速度的值作为状态信息；在另一种可能的实现方式中，可以通过陀螺仪测量终端设备是 否处于稳定状态，将陀螺仪采集的终端设备的姿态信息作为状态信息。
可以理解的是，在获取终端设备的状态信息之前，终端设备还可以获取触发信息，所述触发信息可以使得终端设备进入预览显示模式，在终端设备的显示屏上呈现摄像头捕捉的图像。该触发信息可以是用户触发移动终端的实体按键所形成的信息，例如快门按键；也可以是用户在触摸屏上进行相应操作后所形成的信息，例如通过点击或者滑动的方式激活摄像头的拍摄功能。在一种可能的实现方式中，预览显示模式指的是终端设备在显示屏上呈现摄像头捕捉的图像，旨在提示用户当前摄像头所能捕捉的图像内容，以便用户调整相应的取景状态，但此时未进行正式的拍照，取景的图像不会保存到设备的存储介质。拍照模式是指当用户完成取景并按下快门按键时，设备会获取摄像头捕捉的图像，经过相应的方法处理之后，最终的照片图像保存至设备的存储介质。
处理器801还用于获取终端设备800的拍摄场景信息。
终端设备的拍摄场景信息主要用于表示拍摄场景的动态范围。通常以直方图的形式表示。
直方图在图像处理中有着广泛的应用，亮度直方图是用来体现图像亮度分布的图表，它显示了图像中不同亮度对象所占的图像比例。在一个示例中，在一张图像的直方图中，横轴代表的是图像中的亮度，由左向右，从全黑逐渐过渡到全白；纵轴代表的则是图像中处于这个亮度范围的像素的相对数量。
在图像拍摄处理领域，动态范围主要是指拍摄对象的亮度范围，即拍摄对象里最暗点到最亮点的亮度跨度。在大动态范围的场景里，最亮部分与最暗部分相差比较大，画面的对比度高，层次丰富；而在小动态范围的场景里，则多数对象的亮度都差不多，画面对比度低。动态范围可以用比值或者差值来进行量化描述。
图1给出了一个直方图和动态范围的示例，如图1所述，左上图为拍摄得到的一副图像，左下图是左上图像的直方图，从左下的直方图可以看出左上图像的亮度范围较广，动态范围高；右下图是右上图像的直方图，从右下的直方图可以看出右上图像的亮度范围较窄，动态范围较低。
处理器801还用于根据状态信息和拍摄场景信息确定图像处理模式。具体的实现方式可以参考上述方法和装置实施例中的示例，例如图2实施例中的示例，在此不再赘述。
摄像头802用于根据确定的图像处理模式获取当前待显示图像，在一种可能的实现方式中，待显示图像可以包括触发拍摄功能后摄像头拍摄的多帧图像。待显示图像可以是触发拍摄功能后摄像头拍摄的第一帧图像，或者是触发拍摄功能后在一个拍摄周期内摄像头拍摄的最后一帧图像，或者是触发拍摄功能后在一个拍摄周期中处于中间时刻时摄像头拍摄的图像。本示例所述的拍摄周期，可以是指曝光融合模式中所要拍摄的多帧图像的拍摄时间段，例如第一曝光融合模式需要拍摄10帧图像，则当前待显示图像可以为第1帧图像，第4帧图像或第10帧图像。具体的，实现方式可以参考上述方法和装置实施例中的示例，例如图2实施例中的示例，在此不再赘述。
处理器801还用于对待显示图像进行处理。具体的，实现方式可以参考上述方法和装置实施例中的示例，例如图2实施例中的示例，在此不再赘述。
显示屏803用于显示处理后的图像。在一种可能的实现方式中，终端设备每收到一帧 图像会和上一帧的处理结果合成一张图像，并将当前处理结果在屏幕上显示，提供用于预览，但是不会保存当前图像到储存介质，直到用户提前结束，或者所有帧都处理完之后，就会将最终结果保存到设备里，作为最终的输出供用户浏览。可以理解的是，终端设备可以在处理完成后在显示屏上呈现最终的合成图像，也可以暂时先不呈现，待后续用户进行图像浏览时再在显示屏上呈现最终的合成图像。
在一个示例中，对于前N个不同曝光的帧，每处理一帧，会用当前处理帧与前一帧的结果做HDR融合，并将融合结果进行显示，同时也将当前处理帧的亮度值非线性累加到上一帧的累加结果上，但是累加结果既不显示，也不参与融合；
对于相同曝光的M帧，每个输入帧会先累加到前一次累加的结果上，然后将累加结果与上一帧的HDR融合结果进行HDR融合，再将融合结果进行显示。
在本发明实施例的一种可能的实现方式中，当收到最大曝光之后的相同曝光图像，对每帧图像进行非线性累加，并将累加结果同样建立图像金字塔后与现有的金字塔进行融合；每收到一帧图像时，对建立的金字塔进行重建，得到的图像显示在屏幕上；图像金字塔是HDR多帧融合采用的一种现有技术，是将图像按照频率分成不同的图像层，对两副图像中对应的图像层进行加权求和，最后将各层的结果重新叠加成一幅图像。当收到最后一帧图像时，或者应用提前终止时，对图像进行金字塔重建，得到最终的输出图像。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块，单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机 软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

  1. 一种图像处理的装置，其特征在于，所述装置包括：
    获取模块，所述获取模块用于获取终端设备的状态信息；
    图像拍摄模块，所述图像拍摄模块用于获取终端设备的拍摄场景信息；
    模式选择模块，所述模式选择模块用于根据所述状态信息和所述拍摄场景信息确定图像处理模式；
    所述图像拍摄模块还用于根据所述图像处理模式获取待显示图像。
  2. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
  3. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同。
  4. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
  5. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同。
  6. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    当所述终端的状态信息不大于第一预设阈值时，
    根据所述拍摄场景信息确定第一曝光融合模式或第二曝光融合模式为所述图像处理模式；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同，所述第二曝光融合模式中图像的 曝光值相同。
  7. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    当所述终端的状态信息大于第一预设阈值时，
    根据所述拍摄场景信息确定第三曝光融合模式或第四曝光融合模式为所述图像处理模式；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同，所述第四曝光融合模式中图像的曝光值相同。
  8. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为高动态场景；
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    当所述终端设备的拍摄状态稳定，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    当所述终端设备的拍摄状态不稳定，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间。
  9. 根据权利要求1所述的装置，其特征在于，所述模式选择模块具体用于：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为非高动态场景；
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    当所述终端设备的拍摄状态稳定，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同；
    当所述终端设备的拍摄状态不稳定，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同；
    所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。
  10. 根据权利要求1所述的装置，其特征在于，所述选择模块具体用于：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为高动态场景；
    当所述终端的状态信息不大于第一预设阈值时，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    当所述终端的状态信息大于第一预设阈值时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间。
  11. 根据权利要求1所述的装置，其特征在于，所述选择模块具体用于：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为非高动态场景；
    当所述终端的状态信息不大于第一预设阈值时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同；
    当所述终端的状态信息大于第一预设阈值时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同；
    其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第二曝 光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。
  12. 一种图像处理的方法，其特征在于，所述方法包括：
    获取终端设备的状态信息；
    获取终端设备的拍摄场景信息；
    根据所述状态信息和所述拍摄场景信息确定图像处理模式；
    根据所述图像处理模式获取待显示图像。
  13. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
  14. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同。
  15. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景属于高动态场景时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同。
  16. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    根据所述拍摄场景信息判断所述终端设备的拍摄场景是否属于高动态场景；
    当所述终端设备的拍摄状态不稳定，且所述终端设备的拍摄场景不属于高动态场景时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同。
  17. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    当所述终端的状态信息不大于第一预设阈值时，
    根据所述拍摄场景信息确定第一曝光融合模式或第二曝光融合模式为所述图像处理 模式；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同，所述第二曝光融合模式中图像的曝光值相同。
  18. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    当所述终端的状态信息大于第一预设阈值时，
    根据所述拍摄场景信息确定第三曝光融合模式或第四曝光融合模式为所述图像处理模式；其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同，所述第四曝光融合模式中图像的曝光值相同。
  19. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为高动态场景；
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    当所述终端设备的拍摄状态稳定，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    当所述终端设备的拍摄状态不稳定，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间。
  20. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为非高动态场景；
    根据所述状态信息判断所述终端设备的拍摄状态是否稳定；
    当所述终端设备的拍摄状态稳定，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同；
    当所述终端设备的拍摄状态不稳定，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同；
    所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。
  21. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄场景信息确定图像处理模式包括：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为高动态场景；
    当所述终端的状态信息不大于第一预设阈值时，确定所述图像处理模式为第一曝光融合模式，其中，所述第一曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    当所述终端的状态信息大于第一预设阈值时，确定所述图像处理模式为第三曝光融合模式，其中，所述第三曝光融合模式中存在至少两个相邻帧的图像的曝光值不同；
    其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第一曝光融合模式的曝光时间大于所述第三曝光融合模式的曝光时间。
  22. 根据权利要求12所述的方法，其特征在于，所述根据所述状态信息和所述拍摄 场景信息确定图像处理模式包括：
    根据所述拍摄场景信息确定所述终端设备的拍摄场景为非高动态场景；
    当所述终端的状态信息不大于第一预设阈值时，确定所述图像处理模式为第二曝光融合模式，其中，所述第二曝光融合模式中图像的曝光值相同；
    当所述终端的状态信息大于第一预设阈值时，确定所述图像处理模式为第四曝光融合模式，其中，所述第四曝光融合模式中图像的曝光值相同；
    其中，所述第一预设阈值大于0.005，且所述第一预设阈值小于0.015，所述第二曝光融合模式的曝光时间大于所述第四曝光融合模式的曝光时间。
PCT/CN2018/120735 2018-03-23 2018-12-12 一种图像处理的方法和装置 WO2019179179A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880088241.2A CN111684788A (zh) 2018-03-23 2018-12-12 一种图像处理的方法和装置
EP18910495.3A EP3599760B1 (en) 2018-03-23 2018-12-12 Image processing method and apparatus
US16/673,206 US11140329B2 (en) 2018-03-23 2019-11-04 Image processing method and apparatus which determines an image processing mode based on status information of the terminal device and photographing scene information
US17/476,842 US11563897B2 (en) 2018-03-23 2021-09-16 Image processing method and apparatus which determines an image processing mode based on status information of the terminal device and photographing scene information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810247249.0 2018-03-23
CN201810247249.0A CN108391059A (zh) 2018-03-23 2018-03-23 一种图像处理的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/673,206 Continuation US11140329B2 (en) 2018-03-23 2019-11-04 Image processing method and apparatus which determines an image processing mode based on status information of the terminal device and photographing scene information

Publications (1)

Publication Number Publication Date
WO2019179179A1 true WO2019179179A1 (zh) 2019-09-26

Family

ID=63066777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/120735 WO2019179179A1 (zh) 2018-03-23 2018-12-12 一种图像处理的方法和装置

Country Status (4)

Country Link
US (2) US11140329B2 (zh)
EP (1) EP3599760B1 (zh)
CN (2) CN108391059A (zh)
WO (1) WO2019179179A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630901B2 (en) * 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system
CN108391059A (zh) 2018-03-23 2018-08-10 华为技术有限公司 一种图像处理的方法和装置
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
CN108683862B (zh) 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备及计算机可读存储介质
CN109120860A (zh) * 2018-09-11 2019-01-01 昆山星际舟智能科技有限公司 微观自适应图像处理方法
WO2020060598A1 (en) 2018-09-19 2020-03-26 Gopro, Inc. Automated camera mode selection
CN111050143B (zh) 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN109640442B (zh) * 2018-12-14 2021-06-11 东南大学 一种基于nb-iot的教室光环境控制系统
CN109729274B (zh) * 2019-01-30 2021-03-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110035141B (zh) * 2019-02-22 2021-07-09 华为技术有限公司 一种拍摄方法及设备
CN109996009B (zh) * 2019-04-09 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110430370B (zh) * 2019-07-30 2021-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110445989B (zh) * 2019-08-05 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110392214A (zh) * 2019-08-05 2019-10-29 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110445988B (zh) * 2019-08-05 2021-06-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110381263B (zh) * 2019-08-20 2021-04-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN113472994B (zh) 2020-03-30 2023-03-24 北京小米移动软件有限公司 拍照方法及装置、移动终端及存储介质
CN111970451B (zh) * 2020-08-31 2022-01-07 Oppo（重庆）智能科技有限公司 图像处理方法、图像处理装置及终端设备
CN112200035B (zh) * 2020-09-29 2023-09-05 深圳市优必选科技股份有限公司 用于模拟拥挤场景的图像获取方法、装置和视觉处理方法
CN112669231B (zh) * 2020-12-23 2024-03-05 北京小米松果电子有限公司 图像处理方法、图像处理模型的训练方法、装置、介质
CN113792662B (zh) * 2021-09-15 2024-05-21 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备以及存储介质
CN114554106B (zh) * 2022-02-18 2024-01-09 瑞芯微电子股份有限公司 自动曝光方法、装置、图像获取方法、介质及设备
CN115484412A (zh) * 2022-09-21 2022-12-16 高创(苏州)电子有限公司 图像处理方法及装置、视频通话方法、介质、电子设备
CN115767262B (zh) * 2022-10-31 2024-01-16 华为技术有限公司 拍照方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457675A (zh) * 2010-10-27 2012-05-16 展讯通信（上海）有限公司 一种手持式相机设备的图像拍摄防抖方式
JP2013069012A (ja) * 2011-09-21 2013-04-18 Sharp Corp 多眼撮像装置
CN105163047A (zh) 2015-09-15 2015-12-16 厦门美图之家科技有限公司 一种基于色彩空间转换的hdr图像生成方法、系统及拍摄终端
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108391059A (zh) * 2018-03-23 2018-08-10 华为技术有限公司 一种图像处理的方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197243A (ja) * 2005-01-13 2006-07-27 Canon Inc 撮像装置及び撮像方法及びプログラム及び記憶媒体
CN101420531A (zh) 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
WO2010123923A1 (en) * 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
US20120007996A1 (en) * 2009-12-30 2012-01-12 Nokia Corporation Method and Apparatus for Imaging
JP6062656B2 (ja) 2012-05-02 2017-01-18 キヤノン株式会社 撮像装置、制御方法、及びプログラム
TWI531231B (zh) * 2012-05-09 2016-04-21 華晶科技股份有限公司 高動態範圍影像的處理方法
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
DE102013110787A1 (de) 2013-09-30 2015-04-02 Sig Technology Ag Vorrichtung zur Veränderung der Strahlform von fließfähigen Produkten
US9357127B2 (en) * 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US10178329B2 (en) * 2014-05-27 2019-01-08 Rambus Inc. Oversampled high dynamic-range image sensor
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
WO2016154873A1 (zh) * 2015-03-31 2016-10-06 华为技术有限公司 一种终端设备和拍照的方法
US9674460B1 (en) 2015-11-19 2017-06-06 Google Inc. Generating high-dynamic range images using varying exposures
CN107230187B (zh) * 2016-03-25 2022-05-24 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
KR20180027047A (ko) 2016-09-05 2018-03-14 엘지전자 주식회사 Hdr 영상 촬영 장치 및 그 제어 방법
US10630888B2 (en) * 2017-02-09 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for selecting capture configuration based on scene analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457675A (zh) * 2010-10-27 2012-05-16 展讯通信（上海）有限公司 一种手持式相机设备的图像拍摄防抖方式
JP2013069012A (ja) * 2011-09-21 2013-04-18 Sharp Corp 多眼撮像装置
CN105163047A (zh) 2015-09-15 2015-12-16 厦门美图之家科技有限公司 一种基于色彩空间转换的hdr图像生成方法、系统及拍摄终端
CN107635093A (zh) * 2017-09-18 2018-01-26 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108391059A (zh) * 2018-03-23 2018-08-10 华为技术有限公司 一种图像处理的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3599760A4

Also Published As

Publication number Publication date
CN111684788A (zh) 2020-09-18
US11140329B2 (en) 2021-10-05
CN108391059A (zh) 2018-08-10
EP3599760B1 (en) 2023-02-08
US11563897B2 (en) 2023-01-24
US20220006937A1 (en) 2022-01-06
EP3599760A1 (en) 2020-01-29
EP3599760A4 (en) 2020-05-13
US20200068108A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
WO2019179179A1 (zh) 一种图像处理的方法和装置
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
CN110062160B (zh) 图像处理方法和装置
CN109788207B (zh) 图像合成方法、装置、电子设备及可读存储介质
US11228720B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
KR102376901B1 (ko) 이미징 제어 방법 및 이미징 디바이스
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
JP6388673B2 (ja) 携帯端末及びその撮像方法
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
CN110445989B (zh) 图像处理方法、装置、存储介质及电子设备
CN108322646B (zh) 图像处理方法、装置、存储介质及电子设备
WO2019183813A1 (zh) 一种拍摄方法及设备
US9491360B2 (en) Reference frame selection for still image stabilization
CN108337445B (zh) 拍照方法、相关设备及计算机存储介质
CN110248106B (zh) 图像降噪方法、装置、电子设备以及存储介质
CN110191291B (zh) 基于多帧图像的图像处理方法和装置
US9357136B2 (en) Using inertial sensors to provide smoothed exposure and white balance adjustments for video and photographic applications
CN110198418B (zh) 图像处理方法、装置、存储介质及电子设备
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN112822412B (zh) 曝光方法、装置、电子设备和存储介质
CN113905182B (zh) 一种拍摄方法及设备
CN110166711B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109756680B (zh) 图像合成方法、装置、电子设备及可读存储介质
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018910495

Country of ref document: EP

Effective date: 20191020

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910495

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE