WO2019071981A1 - 一种基于多曝光生成再融合框架的图像增强方法 - Google Patents
一种基于多曝光生成再融合框架的图像增强方法 Download PDFInfo
- Publication number
- WO2019071981A1 WO2019071981A1 PCT/CN2018/092988 CN2018092988W WO2019071981A1 WO 2019071981 A1 WO2019071981 A1 WO 2019071981A1 CN 2018092988 W CN2018092988 W CN 2018092988W WO 2019071981 A1 WO2019071981 A1 WO 2019071981A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- exposure
- map
- brightness
- fusion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims description 3
- 235000011941 Tilia x europaea Nutrition 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 239000004571 lime Substances 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract 2
- 238000013441 quality evaluation Methods 0.000 abstract 1
- 239000002131 composite material Substances 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 101000941138 Homo sapiens Small subunit processome component 20 homolog Proteins 0.000 description 1
- 102100031321 Small subunit processome component 20 homolog Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Definitions
- the present invention relates to the field of image processing technologies, and in particular, to an image enhancement method based on a multi-exposure generation re-fusion frame.
- the related art has at least the following drawbacks: since the camera response characteristic is not considered, the processed image may have a problem of excessive contrast enhancement or under-enhancement, thereby causing the image to be distorted.
- the enhancement results obtained by the existing methods may have more or less unnatural processing traces, such as the image has an aperture on the edge of the object, the image color is distorted, and the image is unnatural.
- the present invention provides an image enhancement method based on a multi-exposure generation re-fusion frame, which adopts an image enhancement method to modify the appearance of an image on a display or other physical support to solve the problem of capturing images by the camera. Over-brightness and darkness issues in a single exposure image give a better visual experience.
- An image enhancement method based on multi-exposure generation re-fusion framework which adopts an image enhancement method to modify the appearance of an image to solve the problem of over-brightness and darkness in a single exposure image during camera shooting, including the following steps:
- the first step is estimated to obtain an image brightness map L;
- the method for estimating brightness according to the method includes: using the V channel in the image HSV channel as the brightness map directly; using the local maximum value filtering (local max) of the V channel; and using the V channel to perform bilateral The refined result of the filtering; the exact solution of the brightness map optimization problem; the approximate solution of the brightness map optimization problem.
- the brightness estimation technique is used to solve the image brightness map.
- the final brightness map L can be obtained from an initial brightness map L' by solving an optimization problem.
- the brightness estimation specifically includes three steps:
- This step extracts the luminance component of the image as the initial luminance estimation map L'.
- Three-channel arithmetic mean, geometric mean or weighted average can be used, or the maximum value of three channels can be used, expressed as Equation 1:
- x is the index of the pixel
- L' is the initial luminance estimation map
- P is the input image
- c is the red (R), green (G), and blue (B) channel index of the image
- max is the maximum value operation.
- d is the gradient direction (h represents the horizontal direction, v represents the vertical direction);
- ⁇ (x) represents the sliding window at pixel x, ie all neighboring pixels of x;
- ⁇ is a very small number, used to prevent the denominator from being The situation of 0.
- Equation 3 The optimization problem of refining the brightness map is defined as Equation 3:
- Equation 4 Given ⁇ is a factor that weighs two constraint terms, and M is a weight matrix used for edge-preserving smoothing.
- the optimal exposure ratio sample value set is calculated according to the luminance map L;
- Equation 8 The simplest fusion method can use a weighted accumulation method, such as Equation 8:
- step 101 the image brightness map L is estimated, and an existing image brightness estimation technique such as LIME: Low-Light Image Enhancement via Illumination Map Estimation (Guo X, Li Y, Ling H. IEEE Trans Image Process, 2017) may be employed.
- LIME Low-Light Image Enhancement via Illumination Map Estimation
- step 103 according to the camera model g and the set of sample values Generate a series of images with different exposures:
- x is the index of the pixel.
- P 1 and P 2 are the two images to be merged generated in step 204, and W 1 and W 2 are weights used for fusion.
- P 1 represents an image with a relatively low exposure
- P 2 represents an image with a relatively high exposure.
- the weights used for fusion are as follows:
- W is the mass grayscale image obtained in step 202.
- the original image P and the enhanced exposure image P enhanced are used for fusion:
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种基于多曝光生成再融合框架的图像增强方法，属于图像处理技术领域。根据图像进行图像亮度估计，得到图像亮度图L；根据图像亮度图L计算最优的曝光比例采样值集合K＊；根据相机模型g和采样值集合K＊，生成多曝光图像集合；对多曝光图像集合中的每张图像进行视觉质量评估，得到质量灰度图；对多曝光图像集进行融合，得到增强后的图像。本发明能够解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，得到的增强结果的对比度失真更小、视觉信息真实度指标VIF更大、亮度顺序误差指标LOE更小，没有明显的光圈、描边痕迹，能够得到更好的视觉体验。
Description
本发明涉及图像处理技术领域，尤其涉及一种基于多曝光生成再融合框架的图像增强方法。
由于相机的动态范围有限，在高动态场景下拍摄的图像存在着局部过暗的问题。以背对阳光拍摄人物为例：如果采用自动曝光，则背景过亮而人物过暗；如果通过增加曝光时间、增大光圈或增大感光度等方式调亮图像使得人物曝光良好，则背景由于达到图像亮度最大值而成为一片白色；如果通过减小曝光时间、减小光圈或减小感光度等方式调亮图像使得背景曝光良好，则人物由于亮度值过低而成为漆黑一片。现有技术无法解决单一曝光图像中的过亮过暗问题，难以得到更好的视觉体验。
因此，现有相关技术至少存在如下缺陷：由于没有考虑相机响应特性，从而导致处理后的图像可能存在对比度过度增强或者欠增强的问题，进而使得图像失真。此外，现有方法得到的增强结果可能或多或少存在各种不自然的处理痕迹，如图像的物体边缘有光圈，图像颜色失真、图像不自然等问题。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于多曝光生成再融合框架的图像增强方法，通过采用图像增强方法对显示器或其它实体支撑上的图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，能够得到更好的视觉体验。
本发明提供的技术方案是：
一种基于多曝光生成再融合框架的图像增强方法，通过采用图像增强方法对图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，包括如下步骤：
第一步，根据图像，估计得到图像亮度图L；
可以采用现有的图像亮度估计技术，如文献LIME:Low-Light Image Enhancement via Illumination Map Estimation(Guo X,Li Y,Ling H.IEEE Trans Image Process,2017,26(2):982-993.)中记载的几种亮度估计方法；包括：采用图像HSV通道中的V通道直接作为亮度图；采用对上述V通道进行局部最大值滤波(local max)的细化结果；采用对上述V 通道进行双边滤波的细化结果；亮度图优化问题的精确解求解；亮度图优化问题的近似解求解。
采用亮度估计技术求解图像亮度图，具体实施中，可通过求解一个最优化问题从一个初始的亮度图L′得到最终的亮度图L。亮度估计具体包括三个步骤：
a)亮度图初始化。
该步骤提取图像的亮度分量作为初始的亮度估计图L′。可以采用三通道的算术均值、几何均值或加权平均值，也可以采用三通道的最大值，表示为式1：
其中，x为像素的索引，L′为初始的亮度估计图，P为输入图像，c代表图像的红(R)，绿(G)，蓝(B)通道索引，max表示求最大值运算。
b)优化求解亮度图，求解保边平滑的权值矩阵。
在优化求解亮度图时，需要对非边缘的区域进行平滑，同时保持亮度图边缘不被平滑，该操作通过引入一个保边平滑的权值矩阵M
d实现。权值矩阵M
d根据初始亮度图，通过式2计算得到：
其中，d为梯度方向(h代表水平方向，v代表垂直方向)；ω(x)表示像素x处的滑动窗口，即x的所有邻居像素；∈为一个非常小的数，用于防止分母为0的情形。
c)亮度图细化。
细化亮度图的优化问题定义如式3：
其中，λ为权衡两个约束项的因子，M为用于保边平滑的权值矩阵，
为梯度算子，||*||
1和
分别代表L1范数和L2范数。用于快速求解，避免迭代，采用该问题的近似形式如式4：
由于该优化问题为二次型，可以给出闭式解，从而得到图像亮度图L。
第二步，根据亮度图L计算最优的曝光比例采样值集合；
最优的曝光比例采样值集合表示为：
(N为生成的图像个数，k
1,k
2,k
3,...k
N为一系列曝光比例值)，计算方法可以概括为一个最优化问题，表示为式5：
其中，
为计算得到的最优的曝光比例采样值集合；P为输入图像；G为增益函数，通常表征多曝光图像可以提供的总信息量；C为代价函数，通常表征多曝光图像集合中的冗余信息量。
第三步，根据相机模型g和采样值集合
生成多曝光图像集合：
生成的一系列不同曝光的图像表示为式6:
其中，g为相机模型，P
i为第i张生成图像，对应曝光比例k
i。
第四步，对第三步生成的多曝光图像集合中的每张图像的各个像素进行视觉质量良好程度的评估，得到一个质量灰度图。
该灰度图作为合成器合成图像的参考。一个像素的视觉质量越良好，给出的分数越高，参与合成的权重越大。对第i张图像的初步评估结果，即质量灰度图用W
i表示，评估完所有图像后，通过式7对评估结果进行归一化：
其中，
为归一化结果，
表示逐元素除法。
第五步，参考第四步给出的归一化后的评估结果
对多曝光图像集进行融合，得到增强后的图像；
最简单的融合方法可采用加权累加方法，如式8：
其中，c∈R,G,B，表示图像的红、绿、蓝三个颜色通道；符号о代表逐元素乘法；R为合成结果。
也可以采用其他多曝光图像融合技术(如多尺度融合技术multi-scale fusion和增强拉普拉斯金字塔融合Boosting Laplacian Pyramid fusion技术)根据质量灰度图
对多曝光图像集合中的图像进行融合，得到增强后的图像。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于多曝光生成再融合框架的图像增强方法，包括：估计图像亮度图；根据亮度图计算最优的曝光比例采样值集合；根据相机模型和采样值集合生成多曝光图像集合；对多曝光图像集合中的每一个图像进行视觉质量评估，得到一个质量灰度图用于后期的 融合做参考；根据质量灰度图对多曝光图像集合中的图像进行融合，得到增强后的图像。本发明通过采用图像增强方法对显示器或其它实体支撑上的图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题，能够得到更好的视觉体验。本发明方法得到的增强结果的对比度失真更小(对比度失真用动态范围独立的评估指标DRIM评测)视觉信息真实度指标VIF更大，亮度顺序误差指标LOE更小，没有明显的光圈、描边痕迹。
图1为本发明实施例一提供的建立多曝光生成再融合框架的图像增强方法的流程框图。
图2是本发明实施例二提供的基于双曝光生成再融合图像增强方法的流程框图。
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于多曝光生成再融合框架的图像增强方法，通过采用图像增强方法对显示器或其它实体支撑上的图像外观进行修改，解决相机拍摄图像过程中单一曝光图像中的过亮过暗问题。针对的数据/对象为内容存在局部或全局低照度问题的图像数据，采用本发明方法进行处理，可以得到内容上全局亮度适宜的图像数据。
实施例一
图1为本发明实施例一提供的多曝光生成再融合框架的步骤流程图。如图1所示，实施例一建立多曝光生成再融合的图像增强框架，包含以下步骤：
在步骤101中，估计图像亮度图L，可以采用现有的图像亮度估计技术，如文献LIME:Low-Light Image Enhancement via Illumination Map Estimation(Guo X,Li Y,Ling H.IEEE Trans Image Process,2017,26(2):982-993.)中讨论的几个亮度估计方法；
在步骤102中，根据亮度图L计算最优的曝光比例采样值集合
(N为生成的图像个数，k
1,k
2,k
3,...k
N为一系列曝光比例值，
为计算得到的最优的曝光比例采样值集合)。计算方法可以概括为一个最优化问题:
其中P为输入图像；G为增益函数，通常表征多曝光图像可以提供的总信息量；C为代价函数，通常表征多曝光图像集合中的冗余信息量。
在步骤103中，根据相机模型g和采样值集合
生成一系列不同曝光的图像：
其中g为相机模型，描述相机拍摄得到的不同曝光图像之间的关系，也称作相机的亮度转换函数(Brightness Transform Function)输入图像和曝光比例，输出对应曝光比例的其他曝光的图像；P
i为第i张生成图像，对应曝光比例k
i。
在步骤104中，对步骤103生成的曝光图像集合中的每张图像的各个像素进行视觉质量良好程度的评估，得到一个灰度图。该灰度图作为合成器合成图像的参考。一个像素的视觉质量越良好，给出的分数越高，参与合成的权重越大。对第i张图像的初步评估结果，即质量灰度图用W
i表示，评估完所有图像后，要对评估结果进行归一化：
其中
为归一化结果，
表示逐元素除法。
在步骤105中，参考步骤104给出的归一化后的评估结果
对多曝光图像集进行融合，最简单的融合方法是加权累加：
其中c∈R,G,B，表示图像的三个颜色通道，о代表逐元素乘法，R为合成结果。也可以采用其他多曝光图像融合技术(如multi-scale fusion和Boosting Laplacian Pyramid fusion技术)根据质量灰度图
对多曝光图像集合中的图像进行融合，得到增强后的图像。
实施例二
图2是本发明实施例二提供的基于双曝光生成再融合图像增强方法的流程框图。如图2所示，实施例二提供的双曝光生成再融合的图像增强方法包含以下步骤：
步骤201：图像亮度图估计；
在步骤201中，采用亮度估计技术求解图像亮度图。通过求解一个最优化问题从一个初始的亮度图L′得到最终的亮度图L。
本发明中，采用亮度估计优化方法求解图像亮度图，改进后的优化问题可以在更快地收敛得到最优解，从而更快地在达到类似的增强效果，提高了亮度图估计的效率。亮度估计具体分为三个步骤：
a)亮度图初始化。
该步骤提取图像的亮度分量作为初始的亮度估计图L′。可以采用三通道的算术均值、 几何均值或加权平均值，也可以一种采用三通道的最大值：
其中x为像素的索引。
b)保边平滑的权值矩阵求解。
在优化求解亮度图时，需要对非边缘的区域进行平滑，同时保持亮度图边缘不被平滑，该操作通过引入一个保边平滑的权值矩阵M
d实现。权值矩阵根据初始亮度图计算：
其中d为梯度方向(h代表水平方向，v代表垂直方向)；ω(x)表示像素x处的滑动窗口，即x的所有邻居像素；∈为一个非常小的数，用于防止分母为0的情形。
c)亮度图细化。
细化亮度图的优化问题定义如下：
其中λ为权衡两个约束项的因子，M为用于保边平滑的权值矩阵，
为梯度算子，||*||
1和
分别代表L1范数和L2范数。用于快速求解，避免迭代，采用该问题的近似形式：
由于该优化问题为二次型，可以给出闭式解。
步骤202：视觉质量评估；
在视觉质量评估中，由于该方法只采用两张不同曝光的图像进行融合，因此只需估计一个质量灰度图W。第二张图为增强曝光的图，所以对于图像中较暗的区域，第二张图的权重应当更大些，同时对于第一张图的权重更小些。也就是说，区域亮度越低，W越小。反之，区域亮度越高，W越大。W与亮度成正比。根据前面的亮度估计图，质量灰度图W通过下式求解：
W＝L
μ
其中，μ为控制参数(μ≥1)。
步骤203：最优曝光比例参数求解；
在最优曝光比例参数求解中，首先选出图像中待增强的像素构成一个集合Q，我们直接 选择亮度较暗的：
Q＝{P(x)|T(x)<0.5}
由于曝光主要和亮度相关，不同曝光图像的色彩信息基本不变，所以我们提取出亮度分量B：
曝光最佳的图像信息最丰富。我们通过图像熵衡量图像的信息丰富程度：
其中p
i统计亮度值分布在[i-1,i)的像素的个数，
表示亮度分量B的图像熵的值。随着曝光的增加，图像熵值先增大(暗处复现)，后减小(亮度溢出)。最优曝光比例通过一维优化求解：
其中
为求解得到的最优曝光比例，argmax
k表示求使得后面式子最大的k的值。
表示求图像熵，g为相机模型，描述相机拍摄得到的不同曝光图像之间的关系，也称作相机的亮度转换函数(Brightness Transform Function)输入图像和曝光比例，输出对应曝光比例的其他曝光的图像；B为步骤203提取得到的亮度分量，k为曝光比例。
可选地，为了减少优化的耗时，可以先对图像进行尺寸的缩放，例如对尺寸较大的图像缩放到长宽均为50个像素的尺寸可以显著提高优化的速度。
步骤204：双曝光图像生成；
在双曝光图像生成中，通过步骤203得到的最优曝光比例得到另一个曝光，用于步骤203与原图进行融合得到最终结果。曝光模型定义如下：
其中a、b为相机参数，通常取a＝-0.4266,b＝0.7556以适合绝大多数的现代数码相机；P
*为根据曝光比例k
*生成的图像。未解决图像中过暗问题，通过该曝光模型生成一张增强曝光的图像P
enhanced：
可选的，如果需要处理图像中过亮问题，再生成一张减弱曝光的图像P
de-enhanced：
步骤205：双曝光图像融合；
在双曝光图像融合过程中，将两张不同曝光的图像进行融合得到最终的增强图像R。将实施例一中所述的多曝光融合框架简化为双曝光情形:
其中，P
1,P
2为步骤204生成的两张待融合的图像，W
1,W
2为融合采用的权重。习惯上P
1表示曝光相对较低的图像，P
2表示曝光相对较高的图像，融合采用的权重取值如下：
W
1＝W
W
2＝1-W
其中W为步骤202得到的质量灰度图。
具体地，如果仅需要处理图像中的过暗问题，则采用原图P和增强曝光的图像P
enhanced进行融合：
如果既需要处理图像中的过暗问题，也要处理图像中的过亮问题，则采用减弱曝光的图像P
de-enhanced和增强曝光的图像P
enhanced进行融合：
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (8)
- 一种基于多曝光生成再融合框架的图像增强方法，包括如下步骤：第一步，根据图像进行图像亮度估计，得到图像亮度图L；第二步，根据图像亮度图L计算最优的曝光比例采样值集合
最优的曝光比例采样值集合表示为：其中，N为生成的图像个数；k 1,k 2,k 3,...k N为一系列曝光比例值，计算方法表示为式5的最优化问题：
其中，为计算得到的最优的曝光比例采样值集合；P为输入图像；G为增益函数，通常表征多曝光图像可以提供的总信息量；C为代价函数，通常表征多曝光图像集合中的冗余信息量；
第三步，根据相机模型g和采样值集合生成多曝光图像集合，表示为式6：
其中，g为相机模型，P i为第i张生成图像，对应曝光比例k i；第四步，对第三步生成的多曝光图像集合中的每张图像的各个像素进行视觉质量良好程度的评估，得到质量灰度图；对第i张图像进行初步评估结果得到的质量灰度图用W i表示；评估完所有图像后，通过式7对评估结果进行归一化：
其中，为归一化结果，
表示逐元素除法；
第五步，参考第四步的归一化后的评估结果对多曝光图像集进行融合，得到增强后的图像。
- 如权利要求1所述图像增强方法，其特征是，第五步中融合的方法采用加权累加方法，如式8：
其中，c∈R,G,B，表示图像的红、绿、蓝三个颜色通道；符号代表逐元素乘法；R为合成结果。
- 如权利要求1所述图像增强方法，其特征是，第五步中融合的方法采用多曝光图像融合方法，包括多尺度融合方法和增强拉普拉斯金字塔融合方法，得到增强后的图像。
- 如权利要求1所述图像增强方法，其特征是，第一步中采用文献Guo X,Li Y,Ling H.,LIME:Low-Light Image Enhancement via Illumination Map Estimation[J].IEEE Trans Image Process,2017,26(2):982-993.中记载的亮度估计方法获得图像亮度图；方法包括：采用图像HSV通道中的V通道直接作为亮度图；采用对图像HSV通道中的V通道进行局部最大值滤波的细化结果作为亮度图；采用对对图像HSV通道中的V通道进行双边滤波的细化结果作为亮度图；求解亮度图优化问题的精确解作为亮度图；求解亮度图优化问题的近似解作为亮度图。
- 如权利要求1所述图像增强方法，其特征是，第一步中求解图像亮度图，具体通过求解一个最优化问题，从而从一个初始的亮度图L′得到最终的亮度图L；包括如下步骤：a)亮度图初始化：提取图像的亮度分量作为初始的亮度估计图L′；图像的亮度分量可采用三通道的算术均值、几何均值、加权平均值或三通道的最大值；b)通过求解保边平滑的权值矩阵优化求解亮度图；在优化求解亮度图时，通过引入一个保边平滑的权值矩阵M d，实现对非边缘的区域进行平滑，同时保持亮度图边缘不被平滑；权值矩阵M d根据初始亮度图，通过式2计算得到：
其中，d为梯度方向，h代表水平方向，v代表垂直方向；ω(x)表示像素x处的滑动窗口，即x的所有邻居像素；∈为一个非常小的数，用于防止分母为0的情形；c)细化亮度图；将细化亮度图的优化问题定义如式3：
其中，λ为权衡两个约束项的因子，M为用于保边平滑的权值矩阵，为梯度算子，||*|| 1和
分别代表L1范数和L2范数；
为快速求解，避免迭代，可采用该问题的近似形式，如式4：
该优化问题可通过给出闭式解得到图像亮度图L。 - 如权利要求1所述图像增强方法，其特征是，所述图像增强方法为基于双曝光生成再融合图像，采用两张不同曝光的图像进行融合；具体地：201)采用三通道的最大值作为初始的亮度估计图L′；表示为式1：
其中，x为像素的索引；L′为初始的亮度估计图；P为输入图像；c代表图像的红(R)， 绿(G)，蓝(B)通道索引；max表示求最大值运算；202)根据亮度估计图，质量灰度图W通过下式求解：W＝L μ其中，μ为控制参数，μ≥1；203)在最优曝光比例参数求解中：首先选出图像中待增强的像素构成集合Q；再通过下式提取出亮度分量B：
通过图像熵衡量图像的信息丰富程度，表示如下：
其中，p i统计亮度值分布在[i-1,i)的像素的个数，表示亮度分量B的图像熵的值；随着曝光的增加，图像熵值先增大，后减小；最优曝光比例通过下式进行一维优化求解：
其中，为求解得到的最优曝光比例；argmax k表示求使得后面式子最大的k的值；
表示求图像熵；g为相机模型；B为步骤203提取得到的亮度分量；k为曝光比例；
204)双曝光图像生成中：定义曝光模型如下：
其中，a、b为相机参数；P *为根据曝光比例k *生成的图像；通过曝光模型生成一张增强曝光的图像P enhanced以处理图像中的过亮问题：
可选的，可再生成一张减弱曝光的图像P de-enhanced，以处理图像中的过亮问题：
205)在双曝光图像融合过程中：将两张不同曝光的图像，通过下式进行融合得到最终的增强图像R：
其中，P 1,P 2为生成的两张待融合的图像；W 1,W 2为融合采用的权重；W 1＝W,W 2＝1- W；其中W为步骤202得到的质量灰度图。 - 如权利要求6所述图像增强方法，其特征是，205)在双曝光图像融合过程中，具体地，当仅需要处理图像中的过暗问题时，将原图P和增强曝光的图像P enhanced通过下式进行融合：
当需要同时处理图像中的过暗问题和过亮问题时，通过下式将减弱曝光的图像P de-enhanced和增强曝光的图像P enhanced进行融合：
由此得到基于双曝光生成的再融合图像。 - 如权利要求6所述图像增强方法，其特征是，其中，相机参数a、b取值为a＝-0.4266,b＝0.7556。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710948129.9A CN107833184A (zh) | 2017-10-12 | 2017-10-12 | 一种基于多曝光生成再融合框架的图像增强方法 |
| CN201710948129.9 | 2017-10-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019071981A1 true WO2019071981A1 (zh) | 2019-04-18 |
Family
ID=61647987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/092988 WO2019071981A1 (zh) | 2017-10-12 | 2018-06-27 | 一种基于多曝光生成再融合框架的图像增强方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107833184A (zh) |
| WO (1) | WO2019071981A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734650A (zh) * | 2019-10-14 | 2021-04-30 | 武汉科技大学 | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 |
| CN114418912A (zh) * | 2021-12-27 | 2022-04-29 | 杭州意象科技有限公司 | 多角度光照消除反光、多帧多角度光照图像融合算法 |
| CN114757897A (zh) * | 2022-03-30 | 2022-07-15 | 柳州欧维姆机械股份有限公司 | 一种改善桥梁缆索锚固区成像效果的方法 |
| CN114998173A (zh) * | 2022-06-07 | 2022-09-02 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
| CN115375598A (zh) * | 2022-08-22 | 2022-11-22 | 天津大学 | 一种无监督暗光图像增强方法及装置 |
| CN117939307A (zh) * | 2024-03-19 | 2024-04-26 | 四川辰宇微视科技有限公司 | 一种适用于融合相机的自适应亮度调节方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833184A (zh) * | 2017-10-12 | 2018-03-23 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
| CN108681989A (zh) * | 2018-03-30 | 2018-10-19 | 国信优易数据有限公司 | 一种图像数据增强方法以及装置 |
| CN108596855A (zh) * | 2018-04-28 | 2018-09-28 | 国信优易数据有限公司 | 一种视频图像质量增强方法、装置以及视频画质增强方法 |
| CN108898609A (zh) * | 2018-06-21 | 2018-11-27 | 深圳辰视智能科技有限公司 | 一种图像边缘检测方法、检测装置及计算机存储介质 |
| CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
| CN109635877B (zh) * | 2018-12-24 | 2021-01-05 | 瑞安市佰乐雅工艺品有限公司 | 制音器变形鉴定系统 |
| CN110222595A (zh) * | 2019-05-20 | 2019-09-10 | 中国科学院大学 | 一种基于时空卷积神经网络的视频目标分割方法 |
| CN110619610B (zh) * | 2019-09-12 | 2023-01-10 | 紫光展讯通信(惠州)有限公司 | 图像处理方法及装置 |
| CN110519527A (zh) * | 2019-09-19 | 2019-11-29 | 天津英田视讯科技有限公司 | 一种基于图像大数据的相机自动曝光参数生成方法 |
| CN111080565B (zh) * | 2019-12-11 | 2023-07-18 | 九江学院 | 基于图像质量变化规律的曝光融合方法、设备和存储介质 |
| CN111724332B (zh) * | 2020-06-09 | 2023-10-31 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及系统 |
| CN112381724A (zh) * | 2020-10-16 | 2021-02-19 | 中国科学院西安光学精密机械研究所 | 一种基于多曝光融合框架的图像宽动态增强方法 |
| CN112419181B (zh) * | 2020-11-19 | 2023-12-08 | 中国科学院西安光学精密机械研究所 | 一种宽动态红外图像细节增强方法 |
| CN116342449B (zh) * | 2023-03-29 | 2024-01-16 | 银河航天(北京)网络技术有限公司 | 图像增强方法、装置以及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120033131A1 (en) * | 2009-04-16 | 2012-02-09 | Hai Chen | Method and device for video processing |
| CN103034986A (zh) * | 2012-11-29 | 2013-04-10 | 奇瑞汽车股份有限公司 | 一种基于曝光融合的夜视图像增强方法 |
| CN107833184A (zh) * | 2017-10-12 | 2018-03-23 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616273B (zh) * | 2015-01-26 | 2017-07-07 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
| CN106875352B (zh) * | 2017-01-17 | 2019-08-30 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN107220956A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法 |
-
2017
- 2017-10-12 CN CN201710948129.9A patent/CN107833184A/zh active Pending
-
2018
- 2018-06-27 WO PCT/CN2018/092988 patent/WO2019071981A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120033131A1 (en) * | 2009-04-16 | 2012-02-09 | Hai Chen | Method and device for video processing |
| CN103034986A (zh) * | 2012-11-29 | 2013-04-10 | 奇瑞汽车股份有限公司 | 一种基于曝光融合的夜视图像增强方法 |
| CN107833184A (zh) * | 2017-10-12 | 2018-03-23 | 北京大学深圳研究生院 | 一种基于多曝光生成再融合框架的图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| YING, ZHENQIANG: "A New Image Contrast Enhancement Algorithm Using Exposure Fusion Framework", INTERNATIONAL CONFERENCE ON COMPUTER ANALYSIS OF IMAGES AND PATTERNS. CAIP 2017: COMPUTER ANALYSIS OF IMAGES AND PATTERNS, 28 August 2017 (2017-08-28), XP047422893, ISSN: 1611-3349 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734650A (zh) * | 2019-10-14 | 2021-04-30 | 武汉科技大学 | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 |
| CN114418912A (zh) * | 2021-12-27 | 2022-04-29 | 杭州意象科技有限公司 | 多角度光照消除反光、多帧多角度光照图像融合算法 |
| CN114418912B (zh) * | 2021-12-27 | 2024-05-14 | 杭州意象科技有限公司 | 多角度光照消除反光、多帧多角度光照图像融合算法 |
| CN114757897A (zh) * | 2022-03-30 | 2022-07-15 | 柳州欧维姆机械股份有限公司 | 一种改善桥梁缆索锚固区成像效果的方法 |
| CN114757897B (zh) * | 2022-03-30 | 2024-04-09 | 柳州欧维姆机械股份有限公司 | 一种改善桥梁缆索锚固区成像效果的方法 |
| CN114998173A (zh) * | 2022-06-07 | 2022-09-02 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
| CN114998173B (zh) * | 2022-06-07 | 2024-03-15 | 西北工业大学 | 基于局部区域亮度调节的空间环境高动态范围成像方法 |
| CN115375598A (zh) * | 2022-08-22 | 2022-11-22 | 天津大学 | 一种无监督暗光图像增强方法及装置 |
| CN115375598B (zh) * | 2022-08-22 | 2024-04-05 | 天津大学 | 一种无监督暗光图像增强方法及装置 |
| CN117939307A (zh) * | 2024-03-19 | 2024-04-26 | 四川辰宇微视科技有限公司 | 一种适用于融合相机的自适应亮度调节方法 |
| CN117939307B (zh) * | 2024-03-19 | 2024-06-04 | 四川辰宇微视科技有限公司 | 一种适用于融合相机的自适应亮度调节方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107833184A (zh) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019071981A1 (zh) | 一种基于多曝光生成再融合框架的图像增强方法 | |
| Ying et al. | A bio-inspired multi-exposure fusion framework for low-light image enhancement | |
| WO2020192483A1 (zh) | 图像显示方法和设备 | |
| Li et al. | Fast multi-exposure image fusion with median filter and recursive filter | |
| Gao et al. | A fast image dehazing algorithm based on negative correction | |
| CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| Raman et al. | Bilateral Filter Based Compositing for Variable Exposure Photography. | |
| US8965120B2 (en) | Image processing apparatus and method of controlling the same | |
| KR101699919B1 (ko) | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법 | |
| WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
| CN109767413B (zh) | 一种抗运动伪影的hdr方法、装置及便携式终端 | |
| KR101821285B1 (ko) | 열화상 이미지 개선 장치 및 방법 | |
| WO2019056549A1 (zh) | 图像增强方法以及图像处理装置 | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN110298796B (zh) | 基于改进Retinex与对数图像处理的低照度图像增强方法 | |
| Moriwaki et al. | Hybrid loss for learning single-image-based HDR reconstruction | |
| Pan et al. | Multi-exposure high dynamic range imaging with informative content enhanced network | |
| CN110009574B (zh) | 一种低动态范围图像逆向生成高动态范围图像的方法 | |
| CN110852956A (zh) | 一种高动态范围图像的增强方法 | |
| CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
| CN115883755A (zh) | 一种多类型场景下多曝光图像融合方法 | |
| JP4851505B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN112991236B (zh) | 一种基于模板的图像增强方法及装置 | |
| CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
| CN112839167B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18865549 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18865549 Country of ref document: EP Kind code of ref document: A1 |