WO2014012364A1 - 一种多曝光运动图像的校正方法及装置 - Google Patents

一种多曝光运动图像的校正方法及装置 Download PDF

Info

Publication number
WO2014012364A1
WO2014012364A1 PCT/CN2013/070244 CN2013070244W WO2014012364A1 WO 2014012364 A1 WO2014012364 A1 WO 2014012364A1 CN 2013070244 W CN2013070244 W CN 2013070244W WO 2014012364 A1 WO2014012364 A1 WO 2014012364A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
extended frame
brightness
extended
value
Prior art date
Application number
PCT/CN2013/070244
Other languages
English (en)
French (fr)
Inventor
陈海
万美君
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP13819945.0A priority Critical patent/EP2858033B1/en
Publication of WO2014012364A1 publication Critical patent/WO2014012364A1/zh
Priority to US14/585,604 priority patent/US9451172B2/en

Links

Classifications

    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to image processing technology, and in particular, to a method and apparatus for correcting multi-exposure moving images. Background technique
  • HDR high dynamic range
  • Smartphones such as IPhone integrate HDR camera functions. That is to say, in the stable and still scenes of the camera, the shooting effects are improved to different extents, and the performance of the details in the light and dark places is correspondingly improved.
  • the HDR image synthesized by the multi-exposure frame may be in a bad condition such as ghosting or blurring.
  • the brightness of each frame obtained by shooting under different exposures is very different.
  • a motion correction method which first maps and enhances the dark frame according to the mapping relationship between the exposure frame and the camera response curve. Brightness, then, the motion vector of the frame level is calculated and corrected by the bidirectional prediction method. Finally, the gradient-based optical flow method is used to correct the local motion.
  • this method is not only complicated, but the response curve of the camera needs to be obtained according to the image sensor and other processing modules; and the correction effect is not ideal.
  • a motion correction method wherein the luminance mapping function is used to correct the luminance of the first frame to the luminance range of the second frame; and then the motion between the two frames is detected; And using the brightness value of the area after the first frame mapping to directly replace the pixel value corresponding to the second frame.
  • the method detects that all areas are motion areas, and the second frame image after the replacement correction has substantially lost the detailed information under the exposure condition, and the final synthesized HDR image is not very effective. ideal. Due to the difficulty of the motion decision, especially after the exposure frame after the brightness mapping, the result of the motion decision is difficult to guarantee due to the influence of the noise level/overexposure area. Therefore, the corrected second frame image tends to have a significant discontinuity at the edge of the motion area, which directly affects the final HDR synthesis effect.
  • a method and a device for correcting a multi-exposure moving image are provided to solve the technical problem that the moving image of the multi-exposure frame cannot be effectively corrected in the prior art.
  • a method for correcting a multi-exposure moving image includes: determining a brightness mapping function, where the brightness mapping function is a brightness mapping relationship between a reference frame and a plurality of extended frames;
  • the embodiment of the present invention further provides a multi-exposure moving image correction device, including: a determining unit, configured to determine a brightness mapping function, wherein the brightness mapping function is a brightness mapping relationship between a reference frame and a plurality of extended frames;
  • mapping unit configured to map, by using the brightness mapping relationship, a brightness of the extended frame to obtain a virtual frame
  • a first calculating unit configured to calculate a global motion vector between the virtual frame and the reference frame
  • a first correcting unit configured to correct pixels of the extended frame according to the global motion vector, to obtain a corrected first extended frame
  • a detecting unit configured to detect, according to the reference frame, a pixel of the first extended frame, to obtain a local error pixel of the first extended frame
  • a second correcting unit configured to correct a brightness of a local error pixel of the first extended frame to obtain a corrected second extended frame
  • the embodiment of the present invention corrects the extended frame by using the luminance mapping function, correcting the global motion, and correcting the local error pixels, thereby solving the technical problem that the moving image of the multi-exposure frame cannot be effectively corrected in the prior art, that is,
  • This embodiment can effectively correct motion between multi-frame exposure images, which can include global motion caused by camera motion, as well as motion of scene objects.
  • FIG. 1 is a flowchart of a method for correcting a multi-exposure moving image according to an embodiment of the present invention
  • FIG. 2 is a schematic graph of a luminance mapping function according to an embodiment of the present invention
  • FIG. 3 is a flowchart of a method for correcting a local error pixel according to an embodiment of the present invention
  • FIG. 4 is a schematic structural diagram of a multi-exposure moving image correcting apparatus according to an embodiment of the present invention
  • FIG. 5 is a second schematic structural diagram of a multi-exposure moving image correcting apparatus according to an embodiment of the present invention
  • a third structural schematic diagram of a multi-exposure moving image correction device provided by an embodiment of the invention.
  • Step 101 Determine a brightness mapping function, where the brightness mapping function is a brightness mapping relationship between the reference frame and the plurality of extended frames;
  • the luminance mapping function F(x) is a luminance mapping relationship between the reference frame and the plurality of extended frames, wherein the luminance mapping function can be calculated by calculating a statistical histogram of the reference frame and the plurality of extended frames.
  • 2 is a schematic diagram of a brightness mapping function according to an embodiment of the present invention.
  • the abscissa is the brightness of the extended frame image, that is, the extended frame brightness, in the extended frame. There are a large number of overexposed pixels in the image; the ordinate is the brightness of the reference frame image, that is, the reference frame brightness.
  • the exposure value of the camera is determined by the exposure line and the gain
  • the multi-frame exposure image refers to the image captured by the camera under different exposure value configurations.
  • HDR high dynamic range
  • images taken with different exposure values of two or more frames are usually required.
  • an image frame obtained by defining an optimal exposure value in the current scene is referred to as a reference frame
  • an image frame other than the reference frame is referred to as an image frame.
  • Extended frame For multi-frame exposure images, the optimal exposure frame is typically the exposure frame captured at the intermediate exposure value.
  • Step 102 Map the brightness of the extended frame by using the brightness mapping relationship to obtain a virtual frame.
  • the extended frame may be mapped by using a brightness mapping function to obtain a luminance histogram, thereby obtaining a similar reference frame.
  • Virtual frame That is to say, except for overexposure, underexposure and motion regions, the brightness of the virtual frame is very close to the brightness of the reference frame.
  • Step 103 Calculate a global motion vector between the virtual frame and the reference frame.
  • the global motion vector between the virtual frame and the reference frame may be calculated by selecting a reference block.
  • the global motion vector in this embodiment may include a translation motion vector and a rotation motion vector.
  • the calculation method is the same as the motion calculation of a normal (non-HDR) image.
  • This embodiment takes the calculation of the global translational motion as an example, and includes:
  • the reference frame image is divided into fixed-size sub-image blocks (such as 64x64).
  • the average brightness and standard deviation of each sub-block are counted to remove sub-image blocks whose average brightness is too dark or too bright, and whose standard deviation is too small (i.e., flat area).
  • the translation vector is calculated from the reference block, and the formula is:
  • mx my corresponding to the minimum is the global motion vector.
  • Step 104 Correcting pixels of the extended frame according to the global motion vector, and obtaining corrected First extended frame;
  • the correction only considers the reference frame correction of the translational motion
  • most of the pixel correction can be done in a simple pointer offset manner.
  • the amount of translational motion of the virtual frame relative to the reference frame is (a, b), that is, the pixel of the reference frame (0, 0) coordinate corresponds to (a, b) of the virtual frame; the image width and height are (w, h),
  • the extended frame luminance memory pointer is p, and the corrected pointer is p+b*w+a.
  • the offset virtual frame will generate "vacancy" pixels around the image, and the correction of the "vacancy" pixel can be supplemented by the nearest pixel padding method, or the pixel corresponding to the reference frame is mapped by the brightness mapping function. This is well known to the art and will not be described here.
  • the pixels of the extended frame may be corrected by interpolation to obtain the corrected first extension, that is, after the correction by the interpolation method.
  • Virtual frame For the vacant pixels, the padding method of "considering only the translational motion" can be adopted.
  • Step 105 Detect a pixel of the first extended frame according to the reference frame, to obtain a local error pixel of the first extended frame.
  • the pixels that do not correspond to the extended frame and the reference frame after the global motion correction have been greatly reduced, but a small number of asymmetric pixels will also be stored, which are mainly caused by the following situations: 1. Global The motion calculation is inaccurate; 2. The global motion does not consider the rotation; 3. The motion parallax formed by different scene depths; 4. The local motion and motion blur of the object in the scene; 5. The overexposed area contour in the long exposure image is expanded.
  • the non-corresponding pixels are collectively referred to as local error pixels, and the common feature is that the reference value of the reference frame pixel after the inverse function mapping of the luminance mapping function and the pixel value difference corresponding to the extended frame are out of a reasonable range.
  • Step 106 Correct the brightness of the local error pixel of the first extended frame to obtain a corrected second extended frame.
  • a method for correcting local error pixels is provided.
  • the flowchart of the method is as shown in FIG. 3, but is not limited thereto. The method includes:
  • Step 301 Calculate a range of luminance values of the first extended frame.
  • a calculation method is: obtaining a luminance value X of a pixel position of the first extended frame by using an inverse function of the luminance mapping function; mapping the luminance value X to obtain an expected value fx; according to the luminance value x,
  • the expected value fx and the exposure relationship between the extended frame and the reference frame determine that the range of the luminance value of the first extended frame is [fx-ix, fx+ax], wherein the ix and ax are fixed limit constants.
  • Step 302 Determine whether the brightness value of the first extended frame is within the range; if yes, perform steps 303; If not, performing step 304;
  • Step 303 The first extended frame is directly output or stored without modifying the brightness of the first extended frame.
  • Step 304 Modify a brightness value of the first extended frame to obtain a modified second extended frame; and output or store the second extended frame.
  • the inverse value of the luminance mapping function is first used to obtain the luminance value X (such as 160) of the pixel position of the first extended frame, and the luminance value X is mapped to obtain the expected value fx (such as 90), and then A reasonable interval [fx-ix, fx+ax] is estimated from the exposure relationship between the extended frame and the reference frame, such as [82, 106], where ix, ax can also be a fixed limit constant, such as 16 is perceptible to the human eye. Minor change thresholds, etc.
  • the specific correction method may replace the brightness value (such as 60) with a simple expected value fx (such as 90). , or the value with the smallest absolute difference between X and all values in the reasonable interval (such as 82) instead of the brightness value (such as 60).
  • the brightness value of the extended frame may also be modified by using the following formula:
  • the global translation and rotation motions may be simultaneously calculated, and the corrected virtual frame is obtained by interpolation.
  • the vacant pixels after correction it can be corrected by the padding method of "only considering translational motion".
  • the embodiment of the invention provides a fast electronic image stabilization algorithm for compensating translational and rotational motions.
  • the algorithm firstly uses a gray projection algorithm to estimate and compensate the translational motion between video image sequences, and then uses Laplace transform to approach the image.
  • the edge region selects several small blocks with obvious features, uses block matching algorithm to match, calculates and compensates the amount of rotational motion to obtain a stable video image sequence. Through theoretical analysis and experimental verification, it shows that the image stabilization algorithm has speed. Fast and accurate features.
  • the specific implementation process is well known to those skilled in the art, and details are not described herein.
  • the embodiment of the present invention solves the technical problem that the moving image of the multi-exposure frame cannot be effectively corrected by using the brightness mapping function, correcting the global motion, and correcting the local error pixel to correct the extended frame.
  • Embodiments can effectively correct motion between multi-frame exposure images, which can include global motion caused by camera motion, as well as motion of scene objects. Further, this embodiment can smoothly transition the image frame after correction at the boundary of the motion region without pre-calibrating the camera.
  • the embodiment of the present invention further provides a multi-exposure moving image correcting device, which is shown in FIG. 4, and the correcting device includes: a determining unit 41, a mapping unit 42, and a first calculating unit 43. a first correcting unit 44, a detecting unit 45 and a second correcting unit 46, wherein
  • the determining unit 41 is configured to determine a brightness mapping function, where the brightness mapping function is a brightness mapping relationship between a reference frame and a plurality of extended frames, and the mapping unit 42 is configured to use the brightness mapping relationship to the extended frame. Mapping the luminance to obtain a virtual frame; the first calculating unit 43 is configured to calculate a global motion vector between the virtual frame and the reference frame; the first correcting unit 54 is configured to perform, according to the global motion vector pair The pixel of the extended frame is corrected to obtain a corrected first extended frame.
  • the detecting unit 45 is configured to detect, according to the reference frame, the pixel of the first extended frame to obtain the first extended frame.
  • the second correcting unit 46 is configured to correct the brightness of the local error pixel of the first extended frame to obtain the corrected second extended frame.
  • the second correcting unit 46 includes: a second calculating unit 461 and a modifying unit 462, wherein the second calculating unit 461 is configured to calculate a range of brightness values of the first extended frame; the modifying unit 462, And when the brightness value of the first extended frame is not in the range, modifying the brightness value of the first extended frame to obtain the modified second extended frame.
  • FIG. 5 is a schematic diagram showing a second structure of a multi-exposure moving image correcting apparatus according to an embodiment of the present invention.
  • FIG. 6 is a third schematic structural diagram of a multi-exposure moving image correcting apparatus according to an embodiment of the present invention. This embodiment is based on the embodiment of Figure 5,
  • the second calculating unit 461 includes: a brightness value determining unit 4611, an expected value determining unit 4612, and a range determining unit 4613, wherein the brightness value determining unit 4611 is configured to obtain the first extension by using an inverse function of the brightness mapping function The brightness value X of the pixel position of the frame; the expected value determining unit 4612 is configured to map the brightness value X to obtain a desired value fx; the range determining unit 4613 is configured to use the brightness value x, the expected value fx, and Determining, by the exposure relationship of the extended frame and the reference frame, a range of luminance values of the first extended frame is [fx-ix, fx+ax], wherein the ix and ax are fixed limit constants.
  • the modifying unit 462 includes: a first modifying unit 4621, a second modifying unit 4622, and/or a third modifying unit 4623, where the first modifying unit 4621 is configured to modify the brightness value of the first extended frame to
  • the modifying unit is exemplified by including the first modifying unit, the second modifying unit, and the third modifying unit at the same time, but is not limited thereto.
  • the present invention can be implemented by means of software plus a necessary general hardware platform, and of course, can also be through hardware, but in many cases, the former is a better implementation. the way.
  • the technical solution of the present invention which is essential or contributes to the prior art, may be embodied in the form of a software product, which may be stored in a storage medium such as a ROM/RAM or a disk. , an optical disk, etc., includes instructions for causing a computer device (which may be a personal computer, server, or network device, etc.) to perform the methods described in various embodiments of the present invention or portions of the embodiments.

Abstract

公开一种多曝光运动图像的校正方法及装置，所述方法包括；确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧之间的亮度映射关系；利用所述亮度映射关系对所述扩展帧的亮度进行映射，得到虚拟帧；计算所述虚拟帧与参考帧间的全局运动矢量；根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第一扩展帧；根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部错误像素；对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二扩展帧。本发明实施例解决了现有技术中对多曝光帧的运动图像不能有效校正的技术问题。

Description

一种多曝光运动图像的校正方法及装置
技术领域
本发明涉及图像处理技术， 特别涉及一种多曝光运动图像的校正方法及装置。 背景技术
随着多帧曝光合成的高动态范围 （HDR) 成像技术的发展， 在目前消费市场上，
IPhone等智能手机集成了 HDR拍照功能。 也就是说， 在相机稳定和静止场景下， 拍 照效果都有着不同程度的提升， 亮暗处细节的表现能力得到相应的提高。
但是， 在相机抖动或者有运动物体的场景下， 通过多曝光帧合成的 HDR图像就 会出现重影或模糊等不良情况。 由于不同曝光下拍摄得到的各帧亮度差异很大。
现有技术 1中， 为了解决校正运动过程中多曝光帧合成的图像， 而提供了一种运 动校正方法，该方法先根据曝光帧与相机响应曲线之间的映射关系来映射并提升暗帧 的亮度， 然后， 利用双向预测的方法计算出帧级的运动向量并校正， 最后， 采用基于 梯度的光流法来校正局部运动。但是， 该方法不但复杂度高， 由于相机的响应曲线需 要依据图像传感器及其它处理模块才能获得； 而且校正效果也不是很理想。
现有技术 2中， 还提供一种运动校正方法， 该方法中采用亮度映射函数把第一帧 的亮度校正到第二帧的亮度范围； 然后检测两帧之间的运动情况； 对于运动的区域， 采用第一帧映射之后的该区域亮度值来直接替换第二帧对应的像素值。
但是， 当拍摄相机发生运动时， 该方法检测出所有区域都是运动区域， 经过替换 校正后的第二帧图像已经基本丢失了该曝光条件下的细节信息， 最后合成的 HDR图 像效果也不是很理想。 由于运动判决难度比较大， 尤其经过亮度映射之后的曝光帧， 由于噪声级别不同 /过曝欠曝区域的影响， 运动判决的结果很难保证。 因此， 校正后 的第二帧图像容易在运动区域的边缘出现明显的不连续现象，这会直接影响到最终的 HDR合成效果。
因此， 在对现有技术的研究和实践过程中， 本发明的发明人发现， 现有的实现方 式中， 无论是现有技术 1， 还是现有技术 2， 在相机抖动或者有运动物体的场景下， 都不能有效校正多曝光帧的运动图像。 发明内容
本发明实施例中提供了一种多曝光运动图像的校正方法及装置，以解决现有技术 中对多曝光帧的运动图像不能有效校正的技术问题。
本发明实施例中提供一种多曝光运动图像的校正方法， 所述方法包括； 确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧之间的亮度映射关 系；
利用所述亮度映射关系对所述扩展帧的亮度进行映射， 得到虚拟帧；
计算所述虚拟帧与参考帧间的全局运动矢量；
根据所述全局运动矢量对所述扩展帧的像素进行校正， 得到校正后的第一扩展 帧；
根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展帧的局部 错误像素；
对所述第一扩展帧的局部错误像素的亮度进行校正， 得到校正后的第二扩展帧。 相应的， 本发明实施例还提供一种多曝光运动图像的校正装置， 包括： 确定单元， 用于确定亮度映射函数， 所述亮度映射函数为参考帧与多个扩展帧的 亮度映射关系；
映射单元， 用于利用所述亮度映射关系对所述扩展帧的亮度进行映射， 得到虚拟 帧；
第一计算单元， 用于计算所述虚拟帧与参考帧间的全局运动矢量；
第一校正单元， 用于根据所述全局运动矢量对所述扩展帧的像素进行校正， 得到 校正后的第一扩展帧；
检测单元， 用于根据所述参考帧对所述第一扩展帧的像素进行检测， 得到所述第 一扩展帧的局部错误像素；
第二校正单元， 用于对所述第一扩展帧的局部错误像素的亮度进行校正， 得到校 正后的第二扩展帧
由上述技术方案可知， 本发明实施例通过亮度映射函数、校正全局运动以及校正 局部错误像素对扩展帧进行校正，解决了现有技术中对多曝光帧的运动图像不能有效 校正的技术问题， 即本实施例可有效校正多帧曝光图像之间的运动，所述运动可以包 括由相机运动造成的全局运动， 以及场景物体的运动。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅 是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前 提下， 还可以根据这些附图获得其他的附图。
图 1为本发明实施例提供的一种多曝光运动图像的校正方法的流程图； 图 2为本发明实施例提供的一种亮度映射函数的示意曲线图；
图 3为本发明实施例提供的一种局部错误像素的校正方法的流程图；
图 4为本发明实施例提供的一种多曝光运动图像的校正装置的结构示意图； 图 5为本发明实施例提供的一种多曝光运动图像的校正装置的第二结构示意图； 图 6为本发明实施例提供的一种多曝光运动图像的校正装置的第三结构示意图。 具体实施方式 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的 所有其他实施例， 都属于本发明保护的范围。 请参阅图 1， 图 1为本发明实施例提供的一种多曝光运动图像的校正方法的流程 图， 所述方法包括：
步骤 101 : 确定亮度映射函数， 所述亮度映射函数为参考帧与多个扩展帧之间的 亮度映射关系；
在该步骤中， 亮度映射函数 F(x) 为参考帧与多个扩展帧之间的亮度映射关系， 其中，亮度映射函数可以通过对参考帧及多个扩展帧的统计直方图进行计算得到， 具 体如图 2所示， 图 2为本发明实施例提供的一种亮度映射函数的示意曲线图，在该图 2中， 横坐标为扩展帧图像的亮度， 即扩展帧亮度， 在该扩展帧图像中存在大量的过 曝像素； 纵坐标为参考帧图像的亮度， 即参考帧亮度。
另外， 通常情况下， 相机的曝光值由曝光行以及增益确定， 多帧曝光图像是指相 机在不同曝光值配置下拍摄得到的图像。在高动态范围（HDR， High Dynamic Range) 成像中， 通常需要两帧或者多帧不同曝光值拍摄得到的图像。在该实施例中， 定义当 前场景中最佳曝光值拍摄得到的图像帧称为参考帧，除所述参考帧以外的图像帧称为 扩展帧。 对于多帧曝光的图像， 最佳曝光帧通常是中间曝光值下拍摄得到的曝光帧。 步骤 102: 利用所述亮度映射关系对所述扩展帧的亮度进行映射， 得到虚拟帧； 在该步骤中， 可以使用亮度映射函数对扩展帧进行映射， 获得亮度直方图， 从而 得到与参考帧相似的虚拟帧。 也就是说， 除过曝， 欠曝及运动区域外， 所述虚拟帧的 亮度与参考帧的亮度非常接近。
步骤 103 : 计算所述虚拟帧与参考帧间的全局运动矢量；
本实施例中，可以采用选取参考块的方式来计算虚拟帧与参考帧之间的全局运动 矢量。本实施例中的全局运动矢量可包括平移运动矢量以及旋转运动矢量。其计算方 法与普通 （非 HDR) 图像的运动计算一样。 本实施例以计算全局平移运动为例， 具 体包括：
首先， 把参考帧图像划分为固定尺寸的子图像块 （如 64x64)。 统计各子块的平 均亮度及标准差， 去除平均亮度过暗或者过亮， 以及标准差过小（即平坦区域） 的子 图像块。 从剩下的子图像块中选出特定数量（如 9个） 的子图像块作为参考块， 记录 个参考块的位置 （i0， j0)…（i9， j9)， 并且这些参考块较均匀地分布在图像的各个 位置。
然后， 根据下述块匹配公式， 由参考块计算平移矢量， 其公式为：
minms£【― ts,tx],niy —ty'ty】{S =iJref(ik, jk), ext(ik + mx, jk + y)\\} 其中， tx,ty为图像运动的最大范围， （mx,my)为可能的运动矢量； ref(ikjk)指参考 帧中第 k个参考块； ext(ik+mxjk+my)为虚拟帧中偏移 mx， my后的第 k个参考块； I) ref(ik,jk), ext(ik+mxjk+my)||是两个图象块的欧式距离， 即两个图象块对应点的绝对 差之和。
最后， 与最小对应的 mx， my即全局运动矢量。
其计算全局平移运动的具体过程，对于本领域技术人员已是熟知技术，在此不再 赘述。
另外， 在该实施例中， 对于实时性要求比较高的情况下， 也可以只计算全局的平 移运动， 也可以同时计算全局的平移运动和旋转运动， 对于前者， 对旋转运动产生的 错误可留到后续局部错误像素中一起校正。当然， 也可以计算全局平移运动和旋转运 动， 其计算全局平移运动， 得到全局平移运动矢量， 计算旋转运动， 得到全局旋转运 动矢量。
步骤 104: 根据所述全局运动矢量对所述扩展帧的像素进行校正， 得到校正后的 第一扩展帧；
在该实施例中， 如果校正仅考虑平移运动的参考帧校正，可以采用简单的指针偏 移的方式完成大部分的像素校正。 如虚拟帧相对于参考帧的平移运动量为 (a,b), 即参 考帧 (0,0)坐标的像素对应于虚拟帧的 (a,b); 图像宽高为 (w,h), 原扩展帧亮度内存指针 为 p， 校正之后的指针则为 p+b*w+a。 偏移后的虚拟帧会在图像周围产生 "空缺"像 素， 而对所述"空缺"像素的校正， 可以采用最近像素填补的方法来补充， 或者参考 帧对应位置的像素经过亮度映射函数映射得到， 这对于本领域技术来说已是熟知技 术， 在此不再赘述。
当然， 如果同时考虑平移运动和旋转运动的参考帧校正，可以利用插值的方式对 所述扩展帧的像素进行校正， 得到校正后的第一扩展， 也就是说， 通过插值的方法得 到校正之后的虚拟帧。 对于空缺像素， 可以采用与 "仅考虑平移运动" 的填补方法， 具体详见上述， 在此不再赘述。
步骤 105 : 根据所述参考帧对所述第一扩展帧的像素进行检测， 得到所述第一扩 展帧的局部错误像素；
经过上述步骤的校正，全局运动校正之后的扩展帧与参考帧之间不对应的像素已 经大大减少， 但还会会存少量的不对称像素， 这主要有下面几种情况造成的： 1.全局 运动计算不准确； 2.全局运动没考虑旋转情况； 3.场景深度不同形成的运动视差； 4. 场景中物体的局部运动及运动模糊； 5.长曝光图像中过曝区域轮廓外扩。 本实施例 中，将这些不对应的像素统称为局部错误像素，其共同特点为参考帧像素经过亮度映 射函数的反函数映射后得到的映射值与扩展帧对应的像素值差值超出合理范围。
步骤 106: 对所述第一扩展帧的局部错误像素的亮度进行校正， 得到校正后的第 二扩展帧。
在该步骤中， 提供了一种局部错误像素的校正方法， 其流程图如图 3所示， 但并 不限于此， 所述方法包括：
步骤 301 : 计算第一扩展帧的亮度值的范围；
一种计算方法为：利用所述亮度映射函数的逆函数得到所述第一扩展帧的像素位 置的亮度值 X； 对所述亮度值 X进行映射， 得到期望值 fx; 根据所述亮度值 x、 期望 值 fx以及所述扩展帧与参考帧的曝光关系， 确定所述第一扩展帧的亮度值的范围为 [fx-ix,fx+ax] , 其中， 所述 ix和 ax为固定限制常数。 但并不限于此这种计算方式， 还 可以其他类似的计算方式， 本实施例不作限制。
步骤 302: 判断所述第一扩展帧的亮度值是否在所述范围内； 如果在， 执行步骤 303； 如果不在， 执行步骤 304;
步骤 303 : 不需对所述第一扩展帧的亮度进行修改， 直接输出或存储所述第一扩 展帧；
步骤 304: 对所述第一扩展帧的亮度值进行修改， 得到修改后的第二扩展帧； 并 输出或存储所述第二扩展帧。
也就是说，先利用亮度映射函数的反函数得到该所述第一扩展帧的像素位置的亮 度值 X (如 160)， 对所述亮度值 X进行映射， 得到期望值 fx (如 90) , 然后由扩展帧 与参考帧的曝光关系估计出一个合理区间 [fx-ix,fx+ax]， 比如 [82， 106]， 其中， ix,ax 也可以是固定限制常数， 比如 16为人眼可察觉的微小变化阈值等。 扩展帧对应像素 位置的亮度值 （如 60 ) 不属于合理区间内的像素， 则为局部错误像素， 其具体的校 正方法可以用简单的期望值 fx (比如 90)代替所述亮度值（如 60)， 或者合理区间内 所有值中与 X绝对差最小的值 （比如 82) 代替所述亮度值 （如 60)。
可选的， 在该实施例中， 为了校正前后的扩展帧 （比如第一扩展帧） 比较平滑， 也可以采用下述公式对扩展帧的亮度值进行修改， 其公式为：
._, , .、、 , ifx -ix 当 X < fx一 ix = a * Thr + (l - a) * x a = min (l> |Thr - x|/p) Thr = \ ,
Ife + ax 当 x > fx + x- 其中， 所述 a为计算得到的加权系数， 所述 X为亮度值， 所述 fx为期望值， 所 述 Thr为最接近的期望值， β为平滑控制系数， 为计算方便， 可取 8， 16， 32等。。 这对于本领技术人员来说， 已是熟知技术， 在此不再赘述。
在本发明的另一实施例中， 如果对于校正效果要求比较高的情况下， 也可以同时 计算全局的平移以及旋转运动， 并通过插值的方法得到校正之后的虚拟帧。而对于校 正后的空缺像素， 可以采用与 "仅考虑平移运动"的填补方法校正。 其中， 本发明实 施例提供一种补偿平移与旋转运动的快速电子稳像算法，该算法先采用灰度投影算法 估计并补偿视频图像序列间的平移运动， 再利用拉普拉斯变换在靠近图像的边缘区 域选取几个具有明显特征的小块， 运用块匹配算法进行匹配， 计算并补偿其旋转运动 量， 以得到稳定的视频图像序列. 通过理论分析和实验验证， 表明这种稳像算法具有 速度快、准确度高的特点。其具体的实现过程对于本领域技术人员来说， 已是熟知技 术， 在此不再赘述。
本发明实施例通过亮度映射函数、校正全局运动以及校正局部错误像素对扩展帧 进行校正，解决了现有技术中对多曝光帧的运动图像不能有效校正的技术问题， 即本 实施例可有效校正多帧曝光图像之间的运动，所述运动可以包括由相机运动造成的全 局运动， 以及场景物体的运动。进一步， 本实施例可以对校正之后的图像帧在运动区 域的边界处平滑过渡， 不需要对相机提前标定。
基于上述方法的实现过程， 本发明实施例还提供一种多曝光运动图像的校正装 置， 其结构示意图详见图 4， 所述校正装置包括： 确定单元 41， 映射单元 42， 第一 计算单元 43， 第一校正单元 44， 检测单元 45和第二校正单元 46， 其中，
所述确定单元 41， 用于确定亮度映射函数， 所述亮度映射函数为参考帧与多个 扩展帧的亮度映射关系； 所述映射单元 42， 用于利用所述亮度映射关系对所述扩展 帧的亮度进行映射， 得到虚拟帧； 所述第一计算单元 43， 用于计算所述虚拟帧与参 考帧间的全局运动矢量； 所述第一校正单元 54， 用于根据所述全局运动矢量对所述 扩展帧的像素进行校正， 得到校正后的第一扩展帧； 所述检测单元 45， 用于根据所 述参考帧对所述第一扩展帧的像素进行检测， 得到所述第一扩展帧的局部错误像素； 所述第二校正单元 46， 用于对所述第一扩展帧的局部错误像素的亮度进行校正， 得 到校正后的第二扩展帧。
其中， 所述第二校正单元 46包括： 第二计算单元 461和修改单元 462， 其中， 所述第二计算单元 461， 用于计算第一扩展帧的亮度值的范围； 所述修改单元 462， 用于在所述第一扩展帧的亮度值不在所述范围内时，对所述第一扩展帧的亮度值进行 修改， 得到修改后的第二扩展帧。其结构示意图如图 5所示， 图 5为本发明实施例提 供的一种多曝光运动图像的校正装置的第二结构示意图。
还请参阅图 6， 图 6为本发明实施例提供的一种多曝光运动图像的校正装置的第 三结构示意图。 该实施例在图 5所述实施例的基础上，
所述第二计算单元 461包括： 亮度值确定单元 4611， 期望值确定单元 4612和范 围确定单元 4613， 所述亮度值确定单元 4611， 用于利用所述亮度映射函数的逆函数 得到所述第一扩展帧的像素位置的亮度值 X； 所述期望值确定单元 4612，用于对所述 亮度值 X进行映射，得到期望值 fx;所述范围确定单元 4613，用于根据所述亮度值 x、 期望值 fx以及所述扩展帧与参考帧的曝光关系， 确定所述第一扩展帧的亮度值的范 围为 [fx-ix,fx+ax]， 其中， 所述 ix和 ax为固定限制常数。
所述修改单元 462包括： 第一修改单元 4621， 第二修改单元 4622和 /或第三修改 单元 4623， 所述第一修改单元 4621， 用于将所述第一扩展帧的亮度值修改为所述期 望值 fx; 所述第二修改单元 4622， 用于将所述第一扩展帧的亮度值修改为所述范围 [fX-iX,fX+ax]内的所有值与亮度值 X的绝对差值中最小的值；所述第三修改单元 4623， 用于按照公式对所述第一扩展帧的亮度值进行修改， 其公式为： x' = a. * Thr + ( 1 - a) * x a = mm { l,
Figure imgf000010_0001
- x|/p) Tiir = I ' - ife +■ ax 当 x > fx + ax 其中，所述 a为计算得到的加权系数;所述 Thr为最接近的期望值； β为平滑控制 系数。 所述 X为亮度值、 所述 fx为期望值， 所述 ix和 ax为固定限制常数。
在该实施例中， 修改单元以同时包括第一修改单元、第二修改单元和第三修改单 元为例， 但并不限于此。
所述装置中各个单元的功能和作用的实现过程详见上述方法中对应的实现过程， 在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之 间存在任何这种实际的关系或者顺序。 而且， 术语 "包括" 、 "包含"或者其任何其 他变体意在涵盖非排他性的包含， 从而使得包括一系列要素的过程、 方法、物品或者 设备不仅包括那些要素， 而且还包括没有明确列出的其他要素， 或者是还包括为这种 过程、 方法、 物品或者设备所固有的要素。 在没有更多限制的情况下， 由语句 "包括 一个…… " 限定的要素， 并不排除在包括所述要素的过程、 方法、物品或者设备中还 存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助 软件加必需的通用硬件平台的方式来实现， 当然也可以通过硬件，但很多情况下前者 是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做 出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介 质中， 如 ROM/RAM、 磁碟、 光盘等， 包括若干指令用以使得一台计算机设备（可以 是个人计算机， 服务器， 或者网络设备等）执行本发明各个实施例或者实施例的某些 部分所述的方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说， 在不脱离本发明原理的前提下， 还可以作出若干改进和润饰， 这些改进和润 饰也应视为本发明的保护范围。

Claims

权 利 要 求
1、 一种多曝光运动图像的校正方法， 其特征在于， 包括；
确定亮度映射函数，所述亮度映射函数为参考帧与多个扩展帧之间的亮 度映射关系；
利用所述亮度映射关系对所述扩展帧的亮度进行映射， 得到虚拟帧； 计算所述虚拟帧与参考帧间的全局运动矢量；
根据所述全局运动矢量对所述扩展帧的像素进行校正，得到校正后的第 一扩展帧；
根据所述参考帧对所述第一扩展帧的像素进行检测，得到所述第一扩展 帧的局部错误像素；
对所述第一扩展帧的局部错误像素的亮度进行校正，得到校正后的第二 扩展帧。
2、 根据权利要求 1所述的方法， 其特征在于， 所述对第一扩展帧的局 部错误像素进行校正， 得到亮度校正后的第二扩展帧， 包括：
计算第一扩展帧的亮度值的范围；
若所述第一扩展帧的亮度值不在所述范围内；则对所述第一扩展帧的亮 度值进行修改， 得到修改后的第二扩展帧。
3、 根据权利要求 2所述的方法， 其特征在于， 所述对第一扩展帧的局 部错误像素进行校正， 得到亮度校正后的第二扩展帧， 还包括：
若所述第一扩展帧的亮度值在所述范围内；则不需对所述第一扩展帧的 亮度进行修改。
4、 根据权利要求 2或 3所述的方法， 其特征在于， 所述计算第一扩展 帧的亮度值的范围， 包括：
利用所述亮度映射函数的逆函数得到所述第一扩展帧的像素位置的亮 度值 X；
对所述亮度值 X进行映射， 得到期望值 fx;
根据所述亮度值 χ、期望值 fx以及所述扩展帧与参考帧的曝光关系，确 定所述第一扩展帧的亮度值的范围为 [fx-iX,fX+ax] , 其中， 所述 ix和 ax为固定 限制常数。
5、 根据权利要求 4所述的方法， 其特征在于， 所述对所述第一扩展帧 的亮度值进行修改， 得到修改后的第二扩展帧， 包括：
将所述第一扩展帧的亮度值修改为所述期望值 fx; 或者，
将所述第一扩展帧的亮度值修改为所述范围 [fX-iX,fX+ax]内的所有值与 亮度值 X的绝对差值中最小的值； 或者
将所述第一扩展帧的亮度值按照下述公式进行修改：
― γ^ζ <^ fx ― ί'
>: = a * T.hr + (l - a) -* x a = mm (1., |Thr - χ|/β) Thr = { J '
tf - ax 当 x > fx + ax 其中， 所述 a为计算得到的加权系数， 所述 Thr为最接近的期望值， β 为平滑控制系数， 所述 X为亮度值， 所述 fx为期望值。
6、 根据权利要求 1所述的方法， 其特征在于，
如果所述全局运动矢量包括平移运动矢量， 所述根据所述全局运动矢量 对所述扩展帧的像素进行校正， 得到校正后的第一扩展帧具体包括： 利用指 针偏移的方式对所述扩展帧的像素进行校正， 得到校正后的第一扩展；
如果所述全局运动矢量包括平移运动矢量和旋转运动矢量， 所述根据所 述全局运动矢量对所述扩展帧的像素进行校正， 得到校正后的第一扩展帧具 体包括： 利用插值的方式对所述扩展帧的像素进行校正， 得到校正后的第一 扩展。
7、 一种多曝光运动图像的校正装置， 其特征在于， 包括：
确定单元， 用于确定亮度映射函数， 所述亮度映射函数为参考帧与多个 扩展帧的亮度映射关系；
映射单元， 用于利用所述亮度映射关系对所述扩展帧的亮度进行映射， 得到虚拟帧；
第一计算单元， 用于计算所述虚拟帧与参考帧间的全局运动矢量； 第一校正单元，用于根据所述全局运动矢量对所述扩展帧的像素进行校 正， 得到校正后的第一扩展帧；
检测单元， 用于根据所述参考帧对所述第一扩展帧的像素进行检测， 得 到所述第一扩展帧的局部错误像素；
第二校正单元， 用于对所述第一扩展帧的局部错误像素的亮度进行校 正， 得到校正后的第二扩展帧。
8、 根据权利要求 7所述的装置， 其特征在于， 所述第二校正单元包括： 第二计算单元， 用于计算第一扩展帧的亮度值的范围；
修改单元， 用于在所述第一扩展帧的亮度值不在所述范围内时， 对所述 第一扩展帧的亮度值进行修改， 得到修改后的第二扩展帧。
9、 根据权利要求 8所述的装置， 其特征在于， 所述第二计算单元包括： 亮度值确定单元，用于利用所述亮度映射函数的逆函数得到所述第一扩 展帧的像素位置的亮度值 X；
期望值确定单元， 用于对所述亮度值 X进行映射， 得到期望值 fx; 范围确定单元，用于根据所述亮度值 X、期望值 fx以及所述扩展帧与参 考帧的曝光关系， 确定所述第一扩展帧的亮度值的范围为 [fX-ix,fX+aX] , 其中， 所述 ix和 ax为固定限制常数。
10、 根据权利要求 9所述的装置， 其特征在于， 所述修改单元包括： 第一修改单元， 用于将所述第一扩展帧的亮度值修改为所述期望值 fx; 或者，
第二修改单元， 用于将所述第一扩展帧的亮度值修改为所述范围
[fX-ix,fX+ax]内的所有值与亮度值 X的绝对差值中最小的值； 或者
第三修改单元， 用于按照公式对所述第一扩展帧的亮度值进行修改， 其 公式为：
― γ^ζ <^ fx ― ί'
>: = a * T.hr + (l - a) -* x a = mm (1., |Thr - χ|/β) Thr = { J '
tf - ax 当 x > fx + ax
' 其中，所述 a为计算得到的加权系数；所述 Thr为最接近的期望值； ί为 平滑控制系数。 所述 X为亮度值、 所述 fx为期望值， 所述 ix和 ax为固定 限制常数。
PCT/CN2013/070244 2012-07-20 2013-01-09 一种多曝光运动图像的校正方法及装置 WO2014012364A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13819945.0A EP2858033B1 (en) 2012-07-20 2013-01-09 Method and device for correcting multi-exposure motion image
US14/585,604 US9451172B2 (en) 2012-07-20 2014-12-30 Method and apparatus for correcting multi-exposure motion image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210259363.8 2012-07-20
CN201210259363.8A CN102779334B (zh) 2012-07-20 2012-07-20 一种多曝光运动图像的校正方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/585,604 Continuation US9451172B2 (en) 2012-07-20 2014-12-30 Method and apparatus for correcting multi-exposure motion image

Publications (1)

Publication Number Publication Date
WO2014012364A1 true WO2014012364A1 (zh) 2014-01-23

Family

ID=47124244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/070244 WO2014012364A1 (zh) 2012-07-20 2013-01-09 一种多曝光运动图像的校正方法及装置

Country Status (4)

Country Link
US (1) US9451172B2 (zh)
EP (1) EP2858033B1 (zh)
CN (1) CN102779334B (zh)
WO (1) WO2014012364A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779334B (zh) 2012-07-20 2015-01-07 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN104349066B (zh) * 2013-07-31 2018-03-06 华为终端（东莞）有限公司 一种生成高动态范围图像的方法、装置
CN104935911B (zh) * 2014-03-18 2017-07-21 华为技术有限公司 一种高动态范围图像合成的方法及装置
CN105933617B (zh) * 2016-05-19 2018-08-21 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
CN110226325B (zh) * 2017-02-01 2022-04-15 索尼半导体解决方案公司 摄像系统和摄像装置
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
JP2019213164A (ja) * 2018-06-08 2019-12-12 キヤノン株式会社 画像処理装置、画像処理方法
KR102628911B1 (ko) * 2019-01-07 2024-01-24 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
CN110163808B (zh) * 2019-03-28 2022-06-10 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN110213498B (zh) * 2019-05-29 2021-04-23 Oppo广东移动通信有限公司 图像生成方法和装置、电子设备、计算机可读存储介质
US20200397262A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11617541B2 (en) * 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
CN113340235B (zh) * 2021-04-27 2022-08-12 成都飞机工业（集团）有限责任公司 基于动态投影的投影系统及相位移动图案生成方法
CN114679524B (zh) * 2022-03-23 2023-06-16 西安邮电大学 一种快速检测和修复内窥镜下高能量可见光的快速方法
CN116249018B (zh) * 2023-05-11 2023-09-08 深圳比特微电子科技有限公司 图像的动态范围压缩方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1577396A (zh) * 2003-07-18 2005-02-09 微软公司 用于从移动场景的多个曝光中生成高动态范围图像的系统和过程
US20110063460A1 (en) * 2008-06-06 2011-03-17 Kei Tokui Imaging apparatus
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
JP2012070168A (ja) * 2010-09-22 2012-04-05 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107059B2 (ja) * 2002-03-20 2008-06-25 富士ゼロックス株式会社 画像処理方法および画像処理装置
US7021017B2 (en) 2004-03-08 2006-04-04 Herron Intellectual Property Holdings, Llc High strength low density multi-purpose panel
WO2010123923A1 (en) * 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
DE112010003988B4 (de) * 2009-10-08 2016-05-12 International Business Machines Corporation Verfahren und System zur Transformation eines digitalen Bildes von einem Bild mitniedrigem Dynamikumfang (Low Dynamic Range, LDR) in ein Bild mit hohem Dynamikumfang (High Dynamic Range, HDR)
CN101707666A (zh) * 2009-11-26 2010-05-12 北京中星微电子有限公司 一种高动态范围的调整方法和装置
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
EP2577955B1 (en) * 2011-02-18 2014-07-30 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1577396A (zh) * 2003-07-18 2005-02-09 微软公司 用于从移动场景的多个曝光中生成高动态范围图像的系统和过程
US20110063460A1 (en) * 2008-06-06 2011-03-17 Kei Tokui Imaging apparatus
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
JP2012070168A (ja) * 2010-09-22 2012-04-05 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2858033A4 *

Also Published As

Publication number Publication date
CN102779334A (zh) 2012-11-14
EP2858033A4 (en) 2015-09-30
US20150116513A1 (en) 2015-04-30
EP2858033A1 (en) 2015-04-08
CN102779334B (zh) 2015-01-07
EP2858033B1 (en) 2019-12-04
US9451172B2 (en) 2016-09-20

Similar Documents

Publication Publication Date Title
WO2014012364A1 (zh) 一种多曝光运动图像的校正方法及装置
CN108335279B (zh) 图像融合和hdr成像
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
US8989484B2 (en) Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
US8269843B2 (en) Motion-compensation image processing apparatus, image processing method, and program
TWI602152B (zh) 影像擷取裝置及其影像處理方法
KR102182695B1 (ko) 영상 잡음 제거 장치 및 방법
US8933985B1 (en) Method, apparatus, and manufacture for on-camera HDR panorama
US9413951B2 (en) Dynamic motion estimation and compensation for temporal filtering
WO2018176925A1 (zh) Hdr图像的生成方法及装置
JP2015180062A (ja) ビデオシーケンス処理方法及びビデオシーケンス処理装置
JP2010200179A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
US20110157392A1 (en) Method for adjusting shooting condition of digital camera through motion detection
KR100793284B1 (ko) 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
JP2014121019A (ja) 画像処理装置およびその制御方法
KR20150035315A (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2010183460A (ja) 撮像装置およびその制御方法
JP2021111929A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2015019231A (ja) 撮像装置及び像振れ補正処理方法
CN112804444B (zh) 一种视频处理方法、装置、计算设备及存储介质
US20140002589A1 (en) Method for Producing a Panoramic Image and Implementation Apparatus
KR20150040559A (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
JP5219771B2 (ja) 映像処理装置および映像処理装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13819945

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013819945

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE