WO2017190432A1 - 基于图像中亮条纹信息的图像去模糊方法 - Google Patents

基于图像中亮条纹信息的图像去模糊方法 Download PDF

Info

Publication number
WO2017190432A1
WO2017190432A1 PCT/CN2016/090091 CN2016090091W WO2017190432A1 WO 2017190432 A1 WO2017190432 A1 WO 2017190432A1 CN 2016090091 W CN2016090091 W CN 2016090091W WO 2017190432 A1 WO2017190432 A1 WO 2017190432A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optimal
fuzzy kernel
bright
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/090091
Other languages
English (en)
French (fr)
Inventor
王荣刚
张欣欣
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to US16/098,732 priority Critical patent/US10755390B2/en
Publication of WO2017190432A1 publication Critical patent/WO2017190432A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the invention belongs to the technical field of image processing, and relates to an image enhancement processing method, in particular to an image deblurring method based on bright stripe information in an image, which uses a bright stripe in a blurred image to de-motion blur the image, and restores a high quality image. image.
  • the model of image degradation can be expressed as the following convolution process
  • I is the acquired blurred image
  • L is the sharp image
  • k is the fuzzy kernel (ie, the point spread function)
  • N is the noise of the image acquisition device. Represents a convolution operation.
  • the known quantity is only the blurred image I, so the process of blind deconvolution of a single picture to solve L is a highly morbid problem.
  • a blurred image with bright stripes is a special case of a motion blurred image.
  • the brightness of the point source or the reflection point is very high, exceeding the threshold of the sensor in the imaging device, a saturated pixel is formed on the imaging plane.
  • the response of each sensor is equal to the saturation response of the sensor, ie, Equation 2:
  • the fuzzy model does not conform to the linear convolution model of Equation 1, and therefore cannot be represented by convolution.
  • the saturated target point forms a bright stripe along the motion trajectory of the camera on the imaging plane.
  • the bright stripes and the background area have a large contrast with obvious edges, and these strong edges affect the edge map used to estimate the blurred kernel, resulting in inaccurate fuzzy kernel estimation.
  • bright stripes also provide useful information for the estimation of fuzzy kernels.
  • the present invention provides an image deblurring method based on bright stripe information in an image, and uses the bright stripes existing in the motion blurred image to obtain shape information of the blurred kernel, and combines the natural image and the fuzzy kernel.
  • Other a priori items constrain image restoration to obtain accurate blur kernels and high quality restored images.
  • the present invention proposes a robust deblurring technique for blurred pictures containing bright stripes.
  • the technology mainly includes three parts: bright stripe image block selection, fuzzy kernel estimation and image restoration.
  • the present invention proposes an optimal bright stripe selection method, manually selecting an image block containing bright stripes; and then extracting the shape of the blur kernel from the optimal bright stripe through ossification and morphological operations.
  • Information combined with the prior knowledge of natural images and fuzzy kernels, constrains the sharp image and the fuzzy kernel, estimates the fuzzy kernel by iterative calculation; finally, it uses a non-blind deconvolution method that can process saturated pixels to restore the final Sharp image.
  • An image deblurring method based on bright stripe information in images, using the bright stripes existing in the motion blurred image to obtain the shape information of the fuzzy kernel, and constraining the image restoration by combining the image and the fuzzy kernel to obtain an accurate fuzzy kernel and High quality restored image; includes the following steps:
  • this operation can be realized by using the bwmorph function in MATLAB) to obtain a binary image of a single pixel width, that is, a motion trajectory of the photographing device, that is, a shape of the blur kernel;
  • the binary image of the single pixel width is finally expanded (this can be done using imdilate in MATLAB), and the expansion model is a 1/5 size disk with a radius of the short side of the fuzzy kernel.
  • the model, the result obtained (the result of the expansion of the motion trajectory of a single pixel width) is represented by a matrix T.
  • Fuzzy kernel estimation Combine the fuzzy kernel shape information obtained in step 2) with the sparse prior term to constrain the fuzzy kernel, and iteratively calculate the intermediate graph and the fuzzy kernel to obtain the final fuzzy kernel; including the following steps:
  • the input image is the original blurred image I; and initialize the fuzzy kernel k into a 5 ⁇ 5 size matrix, which is obtained by downsampling the matrix after ossification;
  • the fuzzy kernel is upsampled as the initial fuzzy kernel of the current iterative process;
  • Equation 3 The model of fuzzy kernel estimation is Equation 3:
  • ⁇ represents the Hadamard product
  • ⁇ , ⁇ 1 and ⁇ 2 are weight coefficients
  • J is an all-one matrix
  • T is the result of the expansion of the motion trajectory of a single pixel width
  • I a value fidelity term, in line with the fuzzy image degradation model
  • the third term The shape of the fuzzy kernel is constrained by the mask M, so that the shape of the fuzzy kernel is as close as possible to the shape of the bright stripe; the fourth term ⁇ 2
  • 1 is a sparse constraint term;
  • Equation 3 The optimal energy equation (Equation 3) can be solved by the following steps:
  • Equation 3 when k is known (initializing the fuzzy kernel k into a matrix of 5 ⁇ 5 size), the equation (Equation 3) is simplified as:
  • the iteratively reweighted least squares can be used to solve for k. Then, using k as a known quantity, solve w:
  • the number of iterations is set to 20, and after 20 iterations of Equation 5 and Equation 8, k is obtained;
  • Equation 4 Equation 5
  • Unblind deconvolution A clear reconstructed image is obtained by a non-blind restoration algorithm as the final deblurred image.
  • the present invention uses a non-blind restoration algorithm proposed by Cho et al. (S. Cho, J. Wang, and S. Lee. "Handling outliers in non-blind image deconvolution," In ICCV, 2011) to restore sharp images.
  • the non-blind restoration algorithm treats saturated pixel points and noise as singular points, processes singular pixel points and other pixel points separately, and iteratively optimizes outliers (saturated pixels) by Expectation-Maximization (EM) algorithm. And restore the image, and finally get a high quality restored image.
  • EM Expectation-Maximization
  • the invention provides an image deblurring method based on bright stripe information in an image, and uses the bright stripe existing in the motion blur image to obtain shape information of the blur kernel, and combines the natural image and other prior items of the blur kernel to perform image restoration. Constrained to get accurate blur kernels and high quality restored images.
  • the invention has the following advantages:
  • the present invention proposes an optimal bright stripe selection method to manually select an image block containing an optimal bright stripe.
  • the present invention proposes a fuzzy kernel shape extraction method, which can extract shape information from an image block containing optimal bright stripes, and then use it to constrain the fuzzy kernel with other prior terms to estimate an accurate fuzzy kernel. .
  • the present invention establishes an actual captured blurred image test set containing bright stripes for testing the deblurring algorithm.
  • the image deblurring method based on the bright stripe information in the image provided by the invention can obtain an accurate fuzzy kernel and a high quality restored image, and has high application value in the field of image processing.
  • FIG. 1 is a flow chart of an image deblurring method for an image with bright stripes provided by the present invention.
  • FIG. 2 is a screenshot of a process of extracting fuzzy kernel shape information in an embodiment of the present invention
  • (a) is a blurred image
  • (b) is the selected image block containing bright stripes
  • (c) is the result after ossification
  • (d) is the result after expansion
  • (e) is the estimated blur nuclear.
  • FIG. 3 is a screenshot of a light stripe shape extraction for a low light image in an embodiment of the present invention
  • the middle rectangular rectangle in the image is the selected optimal light stripe image block, and the upper left rectangle is the optimal bright stripe.
  • a magnified image of the image block, the rectangular frame in the upper right corner is the extracted bright stripe shape map.
  • FIG. 4 is a screenshot of an extraction process of a normal light bright stripe shape in an embodiment of the present invention.
  • the rectangular frame in the upper left corner is the selected bright stripe image block, and the rectangular frame in the upper right corner is the extracted bright stripe shape map.
  • FIG. 5 is a partial picture of an artificial blurred image test data set used in an embodiment of the present invention.
  • (a) is the blurred image; (b) the upper left corner of (c)(d) is the fuzzy kernel estimated by each algorithm; and (b) is the fuzzy kernel obtained by Zhang et al. (the literature [7]) Estimation and restoration results; Figure (c) is the fuzzy kernel estimation and restoration results obtained by Hu et al. [4]; Figure (d) is the fuzzy kernel estimation and restoration results obtained by the method of the present invention.
  • FIG. 7 is a fuzzy kernel estimation and restoration result obtained by using the existing method and the method provided by the present invention in the embodiment of the present invention, respectively, showing a fuzzy kernel shape constraint term. The impact on fuzzy kernel estimation;
  • the upper left corner of (b)(c) in the figure is the estimated fuzzy kernel;
  • the graph (a) is the blurred image,
  • the graph (b) is the fuzzy kernel estimation and restoration result of Zhang et al. [7], and
  • the graph (c) is The fuzzy kernel estimation and restoration results of the present invention.
  • FIG. 8 is a comparison diagram of effects obtained by deblurring an actual image obtained by using the existing method and the method provided by the present invention in the embodiment of the present invention.
  • (a) is the blurred image to be processed;
  • (b) is the deblurring result obtained by Hu et al. [4];
  • (c) is the deblurring result obtained by Xu et al. (Document [8]).
  • (d) is the deblurring result obtained by the method of the present invention; the rectangular frame in the upper left corner of the picture in (b), (c), (d) is the fuzzy kernel estimated by each method.
  • FIG. 10 is a comparison diagram of effects of deblurring an actual image data set established by the present invention according to an embodiment of the present invention.
  • (a1) to (c1) are blurred images
  • (a2) to (c2) are deblurring results using the method of [3]
  • (a3) to (c3) are deblurring results using the method of [4].
  • (a4) to (c4) are deblurring results using the method of the literature [7]
  • (a5) to (c5) are deblurring results of the method provided by the present invention.
  • FIG. 11 is a comparison diagram of effects of deblurring an actual image data set established by the present invention according to an embodiment of the present invention.
  • (a1) to (a4) are blurred images;
  • (b1) to (b4) are the results of the method of Hua et al. [3];
  • (c1) to (c4) are the results of the method adopted by Hu et al. [4];
  • D1) to (d4) are deblurring results of the method provided by the present invention.
  • the invention provides an image deblurring method based on bright stripe information in an image, which uses the bright stripe existing in the motion blur image to obtain the shape information of the blur kernel, and combines the natural image and other prior items of the blur kernel to the image. Restoration is constrained to get accurate blur kernels and high quality restored images.
  • the deblurred image is obtained by performing the following steps on the blurred image to be processed, and the final deblurred image is obtained.
  • the operation process is as shown in FIG. 1 and includes the following steps:
  • the first step manually select the image block containing the optimal bright stripes
  • an optimal image block including optimal bright stripes satisfying the following conditions is obtained by manually selecting:
  • the brightness of the bright stripes is much larger than the brightness of the adjacent areas
  • the adjacent area refers to the surrounding pixels.
  • the bright stripe in the selected image block is composed of pixels whose brightness is greater than 70% of the maximum brightness of the image block; for example, the optimal bright stripe image is selected in the rectangular frame in FIG. Piece.
  • the smaller width is relative to other high-brightness stripes in the image.
  • the bright stripes are set to 5 pixel widths.
  • the image block is a rectangular area in the image, which contains the entire bright stripe; for example, the rectangular strip in FIG. 3 is the selected optimal stripe image block;
  • the shape of the bright stripes should be similar to the shape of most other bright stripes in the image, in order to avoid the bright stripes and
  • Strip-shaped illuminant regions are confused to avoid erroneously recognizing illuminants as bright stripes;
  • the brightness of the background portion of the image block is relatively low; that is, one or several image blocks having the lowest background brightness are selected among all the image blocks that meet the first four conditions;
  • Other structures with higher brightness include high-intensity illuminators, multiple bright stripes included in one image block, and prominent image edges.
  • the optimal bright stripe image block can be manually selected.
  • the second step fuzzy kernel shape information extraction. Fuzzy kernels can be divided into shape and brightness. Selecting an image block containing bright stripes according to the optimal bright stripes mentioned in the first step, as shown in FIG. 2(b); then setting a threshold to set the pixel value of the pixel whose brightness is less than this threshold to 0, and The center point of the bright stripe is adjusted to the center position of the image block; next, all the pixel values smaller than 0 are set to 0, and the value of the pixel larger than 0 is set to 1, and the image block becomes a binary image; The figure performs the ossification operation (this can be done using the bwmorph function in MATLAB), and the binary image of the single pixel width shown in Figure 2(c) is obtained.
  • FIG. 3 is a diagram of selecting a bright stripe image block from the input blurred image and a blur kernel shape result extracted from the bright stripe, and it can be seen that the shape of the blur kernel in the upper right corner and the shape of the bright stripe are identical. Different from the method adopted by Hu et al., for the blurred image shown in FIG. 4, there is no saturated bright stripe, but there are still stripes in the rectangular frame whose brightness is higher than the background area, and the motion track of the photographing device is recorded. .
  • the shape information of the fuzzy kernel can also be obtained by the fuzzy kernel shape extraction method proposed by the present invention, as shown in the upper right corner of FIG.
  • the third step fuzzy kernel estimation.
  • the shape information obtained in the second step is combined with the sparse prior term to constrain the fuzzy kernel, and the final fuzzy kernel is obtained by iteratively calculating the intermediate image and the fuzzy kernel.
  • the image pyramid is established, the input image is the original blurred image I; and the fuzzy kernel k is initialized, and the fuzzy kernel k is initialized into a matrix of 5 ⁇ 5 size, which is the matrix after ossification (shown in FIG. 2(c)). Downsampled. .
  • the fuzzy kernel and the intermediate graph calculated by each layer are upsampled as the initial values of the blurred kernel and the intermediate graph of the next fine layer.
  • the model of fuzzy kernel estimation is:
  • ⁇ represents the Hadamard product
  • ⁇ , ⁇ 1 and ⁇ 2 are weight coefficients
  • J is an all-1 matrix
  • T is the result of the expansion of the motion trajectory of a single pixel width
  • I a value fidelity term, in line with the fuzzy image degradation model
  • the third term The shape of the fuzzy kernel is constrained by the mask M, so that the shape of the fuzzy kernel is as close as possible to the shape of the bright stripe
  • 1 is a sparse constraint term.
  • equation (3) if k is known (the fuzzy kernel k is initialized to a 5 ⁇ 5 size matrix, which is downsampled by the matrix after ossification (shown in Figure 2(c)), then the equation (3) Simplified to:
  • the iteratively reweighted least squares can be used to solve for k. Then, using k as a known amount, solve w,
  • the fourth step non-blind deconvolution.
  • the present invention uses a non-blind restoration algorithm proposed by Cho et al. (S. Cho, J. Wang, and S. Lee. "Handling outliers in non-blind image deconvolution," In ICCV, 2011) to restore sharp images.
  • Cho et al. regard saturated pixel points and noise as singular points, and treat singular pixels and other pixels separately.
  • the outliers (saturated pixels) and the restored images are iteratively optimized using the Expectation-Maximization (EM) algorithm. The result is a high quality restored image.
  • EM Expectation-Maximization
  • the present invention establishes an actual captured blurred image test set including bright stripes, and then tests the deblurring algorithm proposed by the present invention on this data set, and simultaneously performs the deblurring algorithm currently used. Comparative Experiment.
  • the data set used for subjective testing contains a total of 25 different images captured by a digital camera or mobile phone in different scenes. Each image contains one or more bright stripes of high brightness. Some of the images in this test set are like Figure 5 shows.
  • Figure 6 compares the results of fuzzy kernel estimation by Hu et al. [4] and Zhang et al. [7], as shown in the upper left corner of the picture.
  • the biggest difference between the technique of the present invention and Zhang et al. [7] fuzzy kernel estimation algorithm is to use the bright stripes to shape the fuzzy kernel.
  • Fig. 6(b) and (d) the fuzzy kernel shape and graph of the algorithm in this chapter can be seen.
  • the light stripe shapes are more similar, the restored image is sharper and contains less ringing.
  • 6(c) although the fuzzy kernel shape of (c) is closer to the bright stripes on the Christmas tree, it is significantly ringing compared to the restoration results of this chapter, because the present invention combines the light stripe information with others.
  • the prior knowledge is iteratively calculated in the fuzzy kernel estimation process, and the fuzzy kernel is modified in each iteration to achieve the optimal estimation result.
  • the Zhang et al. [7] algorithm is compared to the techniques of the present invention.
  • the difference between the present invention and Zhang et al. [7] in the fuzzy kernel estimation method is mainly that the shape information extracted by the bright stripe in the algorithm is shape constrained to the fuzzy kernel in the fuzzy kernel estimation process, that is, the constraint term is utilized. It can be seen that the difference between the fuzzy kernel and the actual fuzzy kernel estimated by Zhang et al. [7] is large, and the restored image is still very fuzzy, and the fuzzy kernel shape estimated by the algorithm of the invention is accurate, and the restored image quality is obviously improved.
  • Figure 8 and Figure 9 are a comparison of the deblurring effect of the algorithm in this chapter and several popular algorithms on the actual blurred image with bright stripes, where (a) is a blurred image, and (b) is Hu et al. [4]
  • the rectangular box in the upper left corner of the picture is the fuzzy kernel estimated by each algorithm.
  • the optimal bright stripe image block is manually selected, and the shapes of the blur kernel and the actual blur kernel estimated by Hu et al. [4] and Xu et al. [9] are very different, and almost no go.
  • the blur effect, while the estimated blur kernel shape of the present invention is consistent with the shape of the bright stripe, the person's face can be clearly recognized from the final restored image.
  • the image in Figure 10 is a picture for subjective testing commonly used in work involving deblurring of bright stripe images.
  • the first row is a blurred image
  • the second row is the deblurring result of Hua and Low
  • the third row is the deblurring result of Hu et al.
  • the fourth row is the deblurring result of Zhang et al.
  • the last row is this chapter.
  • the result of the algorithm It can be seen that the algorithm of Zhang et al. has almost no deblurring effect on the three images with bright stripes.
  • Hua and Low and Hu et al. make the blurred image sharp, there is a serious ringing effect, and the algorithm of this chapter
  • the sharp image obtained is clear and has less ringing in comparison, and the bright stripes can be restored to the original shape of the point source.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，通过结合图像和所述模糊核对图像复原进行约束，得到准确的模糊核和高质量的复原图像；具体包括：选取包含最优亮条纹的最优图像块；提取得到模糊核形状信息；进行模糊核估计，得到最终的模糊核；进行非盲反卷积，还原得到清晰复原图像，作为最终的去模糊图像。本发明建立了一个实际拍摄的包含亮条纹的模糊图像测试集，采用本发明技术方案，能够得到准确的模糊核和高质量的复原图像，在图像处理领域应用价值高。

Description

基于图像中亮条纹信息的图像去模糊方法 技术领域
本发明属于图像处理技术领域，涉及图像增强处理方法，尤其涉及一种基于图像中亮条纹信息的图像去模糊方法，利用模糊图像中的亮条纹对图像去运动模糊，复原得到一张高质量的图像。
背景技术
由于相机和拍摄场景之间的相对运动，获取到的图像常常存在一定程度的运动模糊。图像退化的模型可以表示为如下的卷积过程
Figure PCTCN2016090091-appb-000001
其中，I是获取到的模糊图像，L是清晰图像，k是模糊核(即点扩散函数)，N是图像获取设备的噪声，
Figure PCTCN2016090091-appb-000002
表示卷积运算。在(1)中，已知量只有模糊图像I，所以单张图片盲反卷积求解L的过程是一个高度病态的问题。
当有光源或者反光物体(如水面，金属，玻璃等)存在时，这些高亮度的点便会在照片上形成亮条纹，严重影响了图像的质量。存在亮条纹的模糊图像是运动模糊图像的一种特殊情况，在这种情况下，如果点光源或者反光点的亮度非常高，超过成像设备中的传感器的阈值，在成像平面上形成饱和像素，每个传感器的响应都等于传感器的饱和响应，即式2：
k1＝k2＝…＝kw＝…kn＝传感器的饱和响应      (式2)
此时模糊模型不符合等式1的线性卷积模型，因此不能用卷积表示。饱和目标点在成像平面上沿相机的运动轨迹形成亮条纹。亮条纹与背景区域的对比度较大，有明显的边缘，而这些强边缘会影响到用于估计模糊核的边缘图，导致模糊核估计不准确。但是，亮条纹也为模糊核的估计提供了有用的信息。
单张图片去模糊获得了越来越多的研究者的关注，并且取得了巨大的进步。由于已知信息只有一张模糊图像，我们要得到的是模糊核和未知的清晰图像，因此利用模糊核的特征如稀疏性，以及自然图像的统计特征如梯度分布等对未知的图像进行约束可以得到模糊核和中间图像，同时，这些约束可以避免求解陷入局部最小值，保证模糊核的稀疏性，减小复原出的图像的噪声。在文献[1]中，Fergus等人第一次将模糊核看作一个函数，用基于变分贝叶斯的方法，并将自然图像梯度的长尾分布模型表示为高斯混合模型，用集成学习的方法估计出 模糊核，但是此方法较复杂，对图像的处理过程非常慢。在文献[2]中，Krishnan等人假设L的梯度服从超拉普拉斯分布，取得了高质量的复原图像，超拉普拉斯约束项作为一个有效的约束条件被广泛应用于后来的去模糊工作中。
目前国内外对于包含亮条纹的模糊图像去模糊的研究成果比较少。虽然亮条纹包含了许多有用信息，如模糊核的形状信息，但是大多数去模糊算法都没有对这些信息进行有效利用。在文献[3]中，Hua和Low手动选取亮条纹区域，并用其对模糊核进行约束，但是人工选取的图像块不一定是适合约束模糊核的图像区域，并且与人的经验有密切关系。在文献[4]中记载了，Hu等人提出了利用亮条纹信息对夜景模糊图像去模糊的算法，自动选取最优亮条纹图像块，并结合其它图像先验项进行模糊核估计，但是，此方法经常会出现误检和漏检的情况。由于饱和像素破坏了线性卷积模型，所以传统的反卷积算法对此类图片复原并不适用。针对这一问题，文献[5]中，Whyte等人建立了一个正演模型来消除饱和像素产生的振铃效应。文献[6]记载了Cho等人去除饱和像素，用非饱和像素来进行反卷积操作。
综上所述可知，单张图像去运动模糊已受到广泛关注，已有大量的去运动模糊算法涌现，具有重要的应用价值。而存在亮条纹的模糊图像提供了模糊核信息，目前尚缺乏能够充分提取模糊图像中的亮条纹信息，并利用此信息进行模糊核估计对图像去运动模糊，从而复原得到一张高质量的图像的方法。
引用文献：
[1]R.Fergus,B.Singh,and A.Hertzmann,“Removing camera shake from a single photograph,”ACM Trans.Graph,vol.25,pp.787–794,2006
[2]D.Krishnan and R.Fergus,“Fast image deconvolution using hyper-laplacian priors,”in NIPS,2009,pp.157–170
[3]B.-S.Hua and K.-L.Low.“Interactive motion deblurring using light streaks,”In ICIP,pp.1553-1556,2011.
[4]Z.Hu,S.Cho,and J.Wang.“Deblurring low-light images with light streaks”,In CVPR,pp.3382-3389,2014.
[5]O.Whyte,J.Sivic,and A.Zisserman,“Deblurring shaken and partially saturated images”,In ICCV Workshops,pp.745–752,2011.
[6]S.Cho,J.Wang,and S.Lee.“Handling outliers in non-blind image deconvolution,”In ICCV,pp.495-502,2011.
[7]X.Zhang,R.Wang,and Y.Tian.“Image deblurring using robust sparsity priors”,in ICIP,pages 138-142,2015.
[8]Q.Shan,J.Jia,and A.Agarwala,“High-quality motion deblurring from a single image,” ACM Trans.Graph,vol.27(3),pp.73,2008.
[9]L.Xu,S.Zheng,and J.Jia,“Unnatural l0sparse representation for natural image deblurring,”in CVPR,2013,pp.1107–1114.
发明内容
为了克服上述现有技术的不足，本发明提供一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，并结合自然图像和模糊核的其它先验项对图像复原进行约束，以得到准确的模糊核和高质量的复原图像。
本发明针对包含亮条纹的模糊图片提出了一种鲁棒的去模糊技术。该技术主要包括亮条纹图像块选取、模糊核估计和图像复原三部分。在亮条纹图像块选取方面，本发明提出了最优亮条纹选取方法，手动选取包含亮条纹的图像块；然后从最优亮条纹中经过骨化及形态学运算等过程提取出模糊核的形状信息，并与自然图像和模糊核的先验知识结合起来对清晰图像和模糊核进行约束，通过迭代计算估计出模糊核；最后采用一种可以处理饱和像素的非盲反卷积方法还原出最终的锐利图像。
本发明提供的技术方案是：
一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，通过结合图像和所述模糊核对图像复原进行约束，得到准确的模糊核和高质量的复原图像；包括如下步骤：
1)选取包含最优亮条纹的最优图像块；
2)针对包含最优亮条纹的最优图像块，提取得到模糊核形状信息；包括如下步骤：
21)设置一个亮度阈值；
22)将亮度小于所述亮度阈值的像素的亮度设为0，将最优亮条纹的中心点调节到最优图像块的中心位置；
23)将所有亮度小于及等于0的像素的亮度设为0，大于0像素的亮度设为1，将最优图像块转换成为一个二值图像；
24)将所述二值图像进行骨化操作(可使用MATLAB中的bwmorph函数实现此操作)，得到单像素宽度的二值图，即拍摄设备的运动轨迹，也就是模糊核的形状；
为了对模糊核的形状进行约束，最后将单像素宽度的二值图进行膨胀操作(可使用MATLAB中的imdilate实现此操作)，膨胀模型是半径为模糊核短边的1/5大小的圆盘模型，将得到的结果(单像素宽度的运动轨迹膨胀后的结果)用矩阵T表示。
3)模糊核估计：用步骤2)得到的模糊核形状信息与稀疏先验项结合对模糊核进行约束，通过迭代计算中间图和模糊核，得到最终的模糊核；包括如下步骤：
31)首先建立图像金字塔，输入图像为原始的模糊图像I；并将模糊核k初始化为一个5×5大小的矩阵，其为在骨化之后的矩阵下采样得到的；以上一层图像中得到的模糊核经上采样作为当前迭代过程的初始模糊核；
模糊核估计的模型为式3：
Figure PCTCN2016090091-appb-000003
M＝J-T          (式3)
其中，ο表示Hadamard乘积；γ，λ1和λ2是权重系数；J是全1矩阵；T是单像素宽度的运动轨迹膨胀后的结果；第一项
Figure PCTCN2016090091-appb-000004
是数值保真项，符合模糊图像退化模型；第二项
Figure PCTCN2016090091-appb-000005
对清晰图像的全局约束项，使得复原出来的清晰图像的梯度统计分布服从“重尾模型”，其中，0＜α＜1，本实施例中α＝0.6；第三项
Figure PCTCN2016090091-appb-000006
利用掩膜M对模糊核的形状进行约束，使模糊核的形状尽量趋近于亮条纹的形状；第四项λ2||k||1是稀疏约束项；
32)通过求解最优化能量方程(式3)，迭代计算L和k，估计出最终的模糊核。
可通过以下步骤求解最优化能量方程(式3)：
321)在方程(式3)中，当k为已知时(将模糊核k初始化为一个5×5大小的矩阵)，方程(式3)简化为：
Figure PCTCN2016090091-appb-000007
322)然后将L作为已知量，计算k，
Figure PCTCN2016090091-appb-000008
然而我们无法直接求解这个复杂方程。
323)因此，我们引入一个替代量w，替换(式5)中的Mοk，得到如下方程：
Figure PCTCN2016090091-appb-000009
然后迭代求解k和w。
首先，将w作为已知量，求解k：
Figure PCTCN2016090091-appb-000010
利用迭代加权最小二乘法(Iteratively reweighted least squares，IRLS)可以求解出k。然后，将k作为已知量，求解w：
Figure PCTCN2016090091-appb-000011
得到w为：
Figure PCTCN2016090091-appb-000012
本发明实施例中，设定迭代次数为20，经过20次迭代式5和式8，得到k；
324)然后多次迭代(本实施例中，迭代次数设为5次)计算式4和式5，求得最终的模糊核k。
4)非盲反卷积：通过非盲复原算法还原得到清晰复原图像，作为最终的去模糊图像。
本发明采用Cho等人在文献6(S.Cho,J.Wang,and S.Lee.“Handling outliers in non-blind image deconvolution,”In ICCV,2011)提出的非盲复原算法，还原清晰图像。所述非盲复原算法将饱和像素点和噪声视为奇异点，将奇异像素点和其它像素点分别进行处理，用期望最大化(Expectation-Maximization，EM)算法迭代地优化异常值(饱和像素)和复原图像，最终得到高质量的复原图像。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，并结合自然图像和模糊核的其它先验项对图像复原进行约束，以得到准确的模糊核和高质量的复原图像。本发明具有以下优点：
(一)本发明提出了最优亮条纹选取方法，手动选取包含最优亮条纹的图像块。
(二)本发明提出了一个模糊核形状提取方法，可以从包含最优亮条纹的图像块中提取到形状信息，然后用其与其它先验项对模糊核进行约束，估计出准确的模糊核。
(三)本发明建立了一个实际拍摄的包含亮条纹的模糊图像测试集，用于对去模糊算法进行测试。针对该模糊图像测试集，采用本发明提供的基于图像中亮条纹信息的图像去模糊方法，能够得到准确的模糊核和高质量的复原图像，在图像处理领域应用价值高。
附图说明
图1是本发明提供的针对存在亮条纹的图像的图像去模糊方法的流程框图。
图2是本发明实施例中对模糊核形状信息进行提取过程中的截图；
其中，(a)为模糊图像，(b)为选取出的包含亮条纹的图像块，(c)为骨化之后的结果，(d)为膨胀之后的结果，(e)为估计出的模糊核。
图3是本发明实施例中对低光照图像亮条纹形状提取的截图；
其中，图像中间矩形框中为选取出的最优亮条纹图像块，左上角矩形框中为最优亮条纹 图像块的放大图像，右上角矩形框中为提取出的亮条纹形状图。
图4是本发明实施例中对正常光照亮条纹形状进行提取过程中的截图；
其中，左上角矩形框中为选取出的亮条纹图像块，右上角矩形框中为提取出的亮条纹形状图。
图5是本发明实施例中采用的人工模糊图像测试数据集的部分图片。
图6是本发明实施例中分别采用现有方法和本发明提供方法得到的模糊核估计和复原结果，对比了模糊核估计的准确性；
其中，(a)为模糊图像；(b)(c)(d)的左上角是各算法估计出的模糊核；图(b)为Zhang等人采用方法(文献[7])得到的模糊核估计和复原结果；图(c)为Hu等人采用方法[4]得到的模糊核估计和复原结果；图(d)为本发明提供方法得到的模糊核估计和复原结果。
图7是本发明实施例中分别采用现有方法和本发明提供方法得到的模糊核估计和复原结果，表示了模糊核形状约束项
Figure PCTCN2016090091-appb-000013
对模糊核估计的影响；
图中(b)(c)的左上角为估计出的模糊核；图(a)为模糊图像，图(b)为Zhang等人[7]的模糊核估计和复原结果，图(c)为本发明的模糊核估计和复原结果。
图8是本发明实施例中分别采用现有方法和本发明提供方法得到的对实际图像进行去模糊得到的效果对比图；
其中，(a)为待处理的模糊图像；(b)为Hu等人采用方法[4]得到的去模糊结果；(c)为Xu等人采用方法(文献[8])得到的去模糊结果；(d)为本发明提供方法得到的去模糊结果；(b)、(c)、(d)中图片的左上角矩形框内是各方法估计出的模糊核。
图9是本发明实施例对实际图像去模糊效果对比图；
其中，(a)为模糊图像；(b)为Hu等人[4]的去模糊结果；(c)为Xu等人[8]的去模糊结果；(d)为本发明提供方法得到的结果.，图片左上角矩形框内是各算法估计出的模糊核。
图10是本发明实施例对本发明建立的实际图像数据集进行去模糊处理的效果对比图；
其中，(a1)～(c1)是模糊图像，(a2)～(c2)是采用文献[3]方法的去模糊结果；(a3)～(c3)是采用文献[4]方法的去模糊结果，(a4)～(c4)是采用文献[7]方法的去模糊结果；(a5)～(c5)是本发明提供方法的去模糊结果。
图11本发明实施例对本发明建立的实际图像数据集进行去模糊处理的效果对比图；
其中，(a1)～(a4)为模糊图像；(b1)～(b4)为Hua等[3]方法的结果；(c1)～(c4)为Hu等人[4]采用方法的结果；(d1)～(d4)为本发明提供方法的去模糊结果。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于图像中亮条纹信息的图像去模糊方法，该方法利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，并结合自然图像和模糊核的其它先验项对图像复原进行约束，以得到准确的模糊核和高质量的复原图像。
本发明实施例针对待处理的模糊图像，通过执行以下步骤进行图像的去运动模糊，得到最终的去模糊图像；操作过程如图1所示，包括如下步骤：
第一步：手动选取包含最优亮条纹的图像块；
本发明实施例通过手动选取得到满足如下条件的包含最优亮条纹的最优图像块：
(一)亮条纹的亮度要远大于其邻近区域的亮度；
邻近区域即指周围像素点。本发明具体实施中，选取的图像块中亮条纹由亮度为亮度大于此图像块亮度最大值的70％的像素点组成；例如，图3中的矩形框内就是选取出的最优亮条纹图像块。
(二)亮条纹在图像块中是稀疏分布，即亮条纹宽度比较小；
宽度比较小是相对于图像中其他高亮度条纹而言的，在本发明实验中，对于800×600大小的图片，亮条纹设定为5个像素宽度。
(三)每个图像块(image patch)中有且只有一条亮条纹；
图像块是图像中的一个矩形区域，其中包含了整条亮条纹；例如图3矩形框内就是选取出的最优亮条纹图像块；
根据以上这三个特性，我们可以找到多个包含亮条纹的图像块，然后从中选取最优图像块。最优的亮条纹还需符合以下几个条件：
(四)亮条纹的形状要与图像中其他多数亮条纹的形状相似，这是为了避免将亮条纹和
条形的发光体区(光源或者反光体)混淆，避免将发光体误认为亮条纹；
(五)图像块背景部分的亮度相对较低；即在符合前4个条件的所有图像块中选择背景亮度最低的一个或者几个图像块；
(六)图像块中除了亮条纹没有其他与亮条纹亮度相近的结构信息。
其他亮度较高的结构包括：高亮度的发光体、一个图像块包含的多条亮条纹、显著的图像边缘等结构。
通过以上这些条件，可手动选取得到最优亮条纹图像块。
第二步：模糊核形状信息提取。模糊核可以分为形状和亮度。根据第一步提到的最优亮条纹选出包含亮条纹的图像块，如图2(b)所示；然后设置一个阈值，将亮度小于这个阈值的像素的像素值设为0，并将亮条纹的中心点调节到图像块的中心位置；接下来把所有小于0的像素值设为0，大于0像素值设为1，此时这个图像块成为了一个二值图像；将此二值图进行骨化操作(可使用MATLAB中的bwmorph函数实现此操作)，得到图2(c)所示的单像素宽度的二值图，这就是我们要得到的拍摄设备运动轨迹，也就是模糊核的形状；为了对模糊核的形状进行约束，最后将图2(c)进行膨胀操作(可使用MATLAB中的imdilate实现此操作)，膨胀模型为半径模糊核短边的1/5大小的圆盘模型，得到的结果如图2(d)所示，此矩阵用T表示。
图3是从输入的模糊图像中选取亮条纹图像块以及从亮条纹中提取的模糊核形状结果图，可以看出右上角的模糊核形状和亮条纹的形状是一致的。与Hu等人采用方法不同的是，对于图4所示的模糊图像，其中并不存在饱和的亮条纹，但是仍然存在矩形框中的亮度高于背景区域的条纹，记录了拍摄设备的运动轨迹。用本发明提出的模糊核形状提取方法也可以得到模糊核的形状信息，如图4右上角所示。
第三步：模糊核估计。用第二步得到的形状信息与稀疏先验项结合对模糊核进行约束，通过迭代计算中间图和模糊核得到最终的模糊核。
首先建立图像金字塔，输入图像为原始的模糊图像I；并初始化模糊核k，将模糊核k初始化为一个5×5大小的矩阵，其为骨化之后的矩阵(图2(c)所示)下采样得到的。。图像金字塔中，每一层计算出的模糊核和中间图都经过上采样作为下一个精细层的模糊核和中间图的初始值。
模糊核估计的模型为：
Figure PCTCN2016090091-appb-000014
M＝J-T          (式3)
其中，ο表示Hadamard乘积，γ，λ1和λ2是权重系数，J是全1矩阵，T是单像素宽度的运动轨迹膨胀后的结果；第一项
Figure PCTCN2016090091-appb-000015
是数值保真项，符合模糊图像退化模型；第二项
Figure PCTCN2016090091-appb-000016
对清晰图像的全局约束项，使得复原出来的清晰图像的梯度统计分布服从“重尾模型”，其中，0＜α＜1，本实施例中α＝0.6；第三项
Figure PCTCN2016090091-appb-000017
利用掩膜M对模糊核的形状进行约束，使模糊核的形状尽量趋近于亮条纹的形状；第四项λ2||k||1是稀疏约束项。
通过求解最优化能量方程(4.1)，迭代计算L和k，估计出最终的模糊核。
在方程(3)中，若k已知(将模糊核k初始化为一个5×5大小的矩阵，其为骨化之后的矩阵(图2(c)所示)下采样得到的)，则方程(3)简化为：
Figure PCTCN2016090091-appb-000018
然后将L作为已知量，计算k，
Figure PCTCN2016090091-appb-000019
然而我们无法直接求解这个复杂方程。因此，我们引入一个替代量w，替换(5)中的Mοk，得到如下方程：
Figure PCTCN2016090091-appb-000020
然后迭代求解k和w。
首先，将w作为已知量，求解k,
Figure PCTCN2016090091-appb-000021
利用迭代加权最小二乘法(Iteratively reweighted least squares，IRLS)可以求解出k。然后，将k作为已知量，求解w，
Figure PCTCN2016090091-appb-000022
得到w为：
Figure PCTCN2016090091-appb-000023
设定迭代次数为20，经过20次迭代式(5)和式(8)，得到k，然后迭代5次计算式(4)和式(5)求得最终的模糊核k。
第四步：非盲反卷积。本发明采用Cho等人在文献6(S.Cho,J.Wang,and S.Lee.“Handling outliers in non-blind image deconvolution,”In ICCV,2011)提出的非盲复原算法，还原清晰图像。Cho等人将饱和像素点和噪声视为奇异点，将奇异像素点和其它像素点分别进行处理。用期望最大化(Expectation-Maximization，EM)算法迭代地优化异常值(饱和像素)和复原图像。最终得到高质量的复原图像。
经过以上四个步骤后，就得到了最终的去模糊图像。
为了检验本发明的有效性，本发明建立了包含亮条纹的实际拍摄的模糊图像测试集，然后在此数据集上对本发明提出的去模糊算法进行测试，同时与目前常用的去模糊算法进行了对比实验。
用于进行主观测试的数据集一共包含25张不同场景下由数码相机或者手机拍摄的模糊程度不同的图片。每张图像中都包含一条或多条高亮度的亮条纹。此测试集中的部分图片如 图5所示。
在本发明建立的实际拍摄的模糊图像集上进行实验，直观地与其他算法的复原图像的模糊程度、噪声、振铃等进行比较。在与其他算法对比时，我们将其他算法中的可调参数调到最优。
图6比较了Hu等人[4]和Zhang等人[7]与本文的模糊核估计结果，如图片左上角所示。本发明技术与Zhang等人[7]模糊核估计算法最大的区别就是利用亮条纹对模糊核进行形状约束，比较图6(b)和(d)可以看出，本章算法的模糊核形状与图中亮条纹形状更相近，还原出的图像更锐利，且包含更少的振铃。与6(c)相比，虽然图(c)的模糊核形状更接近圣诞树上的亮条纹，但是与本章的复原结果相比却明显的振铃，这是由于本发明结合亮条纹信息和其他先验知识在模糊核估计过程中进行迭代计算，在每次迭代过程中都对模糊核进行修正，以达到最优估计结果。图7中，将Zhang等人[7]算法与本发明技术比较。本发明与Zhang等人[7]在模糊核估计方法的区别主要是本算法用亮条纹提取出的形状信息在模糊核估计过程中对模糊核进行形状约束，即利用了约束项
Figure PCTCN2016090091-appb-000024
可以看到，Zhang等人[7]估计出的模糊核和实际模糊核差距较大，还原出的图像仍然是非常模糊的，而本发明算法估计的模糊核形状准确，复原图像质量明显提高。
图8和图9是本章算法与目前流行的几种算法对实际拍摄的包含亮条纹的模糊图片的去模糊效果的对比图，其中(a)为模糊图像，(b)为Hu等人[4]的去模糊结果，(c)是Xu等人[9]的去模糊结果，(d)是本章算法的结果，图片左上角矩形框内是各算法估计出来的模糊核。图8中的矩形框内是手动选取出来的最优亮条纹图像块，Hu等人[4]和Xu等人[9]估计出的模糊核和实际模糊核的形状相差很大，几乎没有去模糊效果，而本发明估计的模糊核形状与亮条纹形状一致，从最终的复原图像中可以清晰识别出人的面孔。
图10中的图像是针对包含亮条纹图像去模糊的工作中常用的进行主观测试的图片。其中，第一排是模糊图像，第二排是Hua和Low的去模糊结果，第三排是Hu等人的去模糊结果，第四排是Zhang等人的去模糊结果，最后一排是本章算法的结果。可以看到，Zhang等人的算法对这三张存在亮条纹的图像几乎没有去模糊效果，Hua和Low以及Hu等人虽然使模糊图片变得锐利，但是存在严重的振铃效应，而本章算法得到的锐利图像清晰且相比之下振铃较少，并且可以将亮条纹还原出点光源原本的形状。
此外，我们在自己建立的实际模糊数据集上对本章算法以及Hua和Low和Hu等人进行测试，如图11所示。总体看来，Hua和Low复原的图像振铃和噪声比较严重，Hu等人的振 铃较严重，对有些图像会产生过增强的效果，而本发明噪声和振铃较少，复原图像相对清晰。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

  1. 一种基于图像中亮条纹信息的图像去模糊方法，利用运动模糊图像中存在的亮条纹，得到模糊核的形状信息，通过结合图像和所述模糊核对图像复原进行约束，得到准确的模糊核和高质量的复原图像；包括如下步骤：
    1)选取包含最优亮条纹的最优图像块；
    2)针对包含最优亮条纹的最优图像块，提取得到模糊核形状信息；
    3)进行模糊核估计：用步骤2)得到的模糊核形状信息与稀疏先验项结合对模糊核进行约束，通过迭代计算中间图和模糊核，得到最终的模糊核；
    4)进行非盲反卷积：通过非盲复原算法还原得到清晰复原图像，作为最终的去模糊图像。
  2. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤2)所述提取得到模糊核形状信息，具体包括如下步骤：
    21)设置一个亮度阈值；
    22)将亮度小于所述设置的亮度阈值的像素的值设为0，将所述最优亮条纹的中心点调节到所述最优图像块的中心位置；
    23)将所有亮度小于等于0的像素的值均设为0，亮度大于0的像素的值均设为1，将最优图像块转换成为一个单像素宽度的二值图像；
    24)将所述二值图像进行骨化操作，得到单像素宽度的二值图，表示拍摄设备的运动轨迹，作为模糊核的形状。
  3. 如权利要求2所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤24)所述骨化操作使用MATLAB中的bwmorph函数实现。
  4. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，在步骤3)之前对模糊核的形状进行约束，具体将所述单像素宽度的二值图进行膨胀操作，膨胀模型是半径为模糊核短边的1/5大小的圆盘模型，得到单像素宽度的运动轨迹膨胀后的结果，表示为矩阵T。
  5. 如权利要求4所述基于图像中亮条纹信息的图像去模糊方法，其特征是，所述膨胀操作使用MATLAB中的imdilate实现。
  6. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤3)所述模糊核估计具体包括如下步骤：
    31)建立图像金字塔，输入图像为原始的模糊图像，记为I；模糊核记为k，将模糊核k初始化为一个5×5大小的矩阵；以上一层图像中得到的模糊核经上采样作为当前迭代过程的初始模糊核；将最优化能量方程式3作为模糊核估计的模型，通过所述模糊核估计的模型进行模糊核估计：
    Figure PCTCN2016090091-appb-100001
    其中，о表示Hadamard乘积；γ，λ1和λ2是权重系数；J是全1矩阵；T是单像素宽度的运动轨迹膨胀后的结果；第一项
    Figure PCTCN2016090091-appb-100002
    是数值保真项，符合模糊图像退化模型；第二项
    Figure PCTCN2016090091-appb-100003
    对清晰图像的全局约束项，使得复原出来的清晰图像的梯度统计分布服从“重尾模型”，其中，0＜α＜1；第三项
    Figure PCTCN2016090091-appb-100004
    利用掩膜M对模糊核的形状进行约束，使模糊核的形状尽量趋近于亮条纹的形状；第四项λ2||k||1是稀疏约束项；
    32)通过求解最优化能量方程式3，迭代计算L和k，估计出最终的模糊核；
    具体通过以下步骤求解式3：
    321)在式3中，当k为已知时，将模糊核k初始化为一个5×5大小的矩阵，式3简化为式4：
    Figure PCTCN2016090091-appb-100005
    322)然后将L作为已知量，通过式5计算k：
    Figure PCTCN2016090091-appb-100006
    323)为求解式5，引入一个替代量w，替换式5中的Mоk，得到方程式6：
    Figure PCTCN2016090091-appb-100007
    迭代求解方程式6，得到k和w；
    324)设定迭代次数，经过多次迭代计算式4和式5，求得最终的模糊核k。
  7. 如权利要求6所述基于图像中亮条纹信息的图像去模糊方法，其特征是，所述迭代求解方程式6，得到k和w；具体包括如下步骤：
    首先，将w作为已知量，通过式7利用迭代加权最小二乘法求解出k：
    Figure PCTCN2016090091-appb-100008
    然后，将k作为已知量，通过式8求解w：
    Figure PCTCN2016090091-appb-100009
    得到w为式9：
    Figure PCTCN2016090091-appb-100010
    所述迭代的次数设为20。
  8. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤4)所述非盲反卷积具体采用文献6(S.Cho,J.Wang,and S.Lee.“Handling outliers in non-blind image deconvolution,”In ICCV,2011)记载的非盲复原算法，还原清晰图像，得到高质量的复原图像。
  9. 如权利要求1所述基于图像中亮条纹信息的图像去模糊方法，其特征是，步骤1)所述选取包含最优亮条纹的最优图像块具体采用手动选取方法，所述包含最优亮条纹的最优图像块满足如下条件：
    (一)所述最优亮条纹由亮度为所述最优图像块中亮度大于像素亮度最大值的70％的像素点组成；
    (二)所述最优亮条纹在图像块中稀疏分布；
    (三)每个最优图像块中有且只有一条最优亮条纹；
    (四)所述最优亮条纹的形状要与图像中其他多数亮条纹的形状相似，避免所述最优亮条纹和条形发光体区混淆；
    (五)选择满足上述条件(一)～(四)的所有图像块中背景亮度最低的一个或多个图像块，作为最优图像块；
    (六)所述最优图像块中除了亮条纹没有其他与亮条纹亮度相近的结构，所述其他结构包括：高亮度的发光体、一个图像块包含的多条亮条纹和显著的图像边缘结构中的一种或多种。
PCT/CN2016/090091 2016-05-03 2016-07-15 基于图像中亮条纹信息的图像去模糊方法 Ceased WO2017190432A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/098,732 US10755390B2 (en) 2016-05-03 2016-07-15 Image deblurring method based on light streak information in an image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610284962.3 2016-05-03
CN201610284962.3A CN105976332B (zh) 2016-05-03 2016-05-03 基于图像中亮条纹信息的图像去模糊方法

Publications (1)

Publication Number Publication Date
WO2017190432A1 true WO2017190432A1 (zh) 2017-11-09

Family

ID=56994086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/090091 Ceased WO2017190432A1 (zh) 2016-05-03 2016-07-15 基于图像中亮条纹信息的图像去模糊方法

Country Status (3)

Country Link
US (1) US10755390B2 (zh)
CN (1) CN105976332B (zh)
WO (1) WO2017190432A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681995A (zh) * 2018-05-20 2018-10-19 北京联合大学 一种基于变分贝叶斯估计的去运动模糊的方法
CN113177890A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN116957952A (zh) * 2023-04-19 2023-10-27 南京邮电大学 高斯相对算子双重鉴别性图像盲去模糊方法
CN117218016A (zh) * 2023-08-23 2023-12-12 西安电子科技大学 一种基于边缘增强的图像盲去模糊方法、系统、设备及介质

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292842B (zh) * 2017-06-15 2020-08-07 北京大学深圳研究生院 基于先验约束和离群值抑制的图像去模糊方法
CN107274370A (zh) * 2017-06-19 2017-10-20 南京末梢信息技术有限公司 一种基于交替求极值算法的快速图像去模糊方法
CN107798662B (zh) * 2017-10-18 2020-04-07 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108154487B (zh) * 2017-12-25 2021-02-09 天津大学 基于多通道分解的屏摄图像摩尔纹消除方法
CN108335268B (zh) * 2018-01-05 2021-09-07 广西师范大学 一种基于盲解卷积的彩色图像去模糊的方法
DE102018103262B4 (de) * 2018-02-14 2024-05-29 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Betreiben einer Beleuchtungsvorrichtung eines Kraftfahrzeugs
JP7106307B2 (ja) * 2018-03-14 2022-07-26 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置
CN110166684B (zh) * 2018-06-29 2021-09-17 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109272456A (zh) * 2018-07-25 2019-01-25 大连理工大学 基于视觉先验信息的模糊图像高精度还原方法
CN109064474B (zh) * 2018-07-30 2022-01-04 安徽慧视金瞳科技有限公司 一种交互式课堂教学系统自动获取掩膜图方法
CN110349100B (zh) * 2019-06-26 2022-08-12 南京理工大学 一种沿模糊路径的比例式像素提取方法
CN110852973B (zh) * 2019-11-12 2022-09-23 华中科技大学 一种脉冲噪声模糊图像非线性复原方法及系统
WO2021118270A1 (en) 2019-12-11 2021-06-17 Samsung Electronics Co., Ltd. Method and electronic device for deblurring blurred image
CN111192222B (zh) * 2020-01-07 2023-05-23 大连海事大学 一种基于变分框架的水下图像颜色校正方法及系统
CN111047544B (zh) * 2020-01-08 2022-09-23 华中科技大学 一种基于非线性退化模型的饱和图像去模糊方法
CN111899201B (zh) * 2020-08-17 2022-06-07 哈尔滨工业大学 一种基于条件重增强网络的低照度图像增强方法
US11615510B2 (en) 2020-10-21 2023-03-28 Samsung Electronics Co., Ltd. Kernel-aware super resolution
CN115334228B (zh) * 2021-04-26 2024-08-20 华为技术有限公司 一种视频处理方法及相关装置
CN113177889B (zh) * 2021-04-27 2022-03-01 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113256565A (zh) * 2021-04-29 2021-08-13 中冶华天工程技术有限公司 运动模糊图像智能复原方法
CN113610725A (zh) * 2021-08-05 2021-11-05 深圳市慧鲤科技有限公司 图片处理方法、装置、电子设备及存储介质
US11704777B2 (en) 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal
CN114187198B (zh) * 2021-11-30 2025-06-27 北京时代民芯科技有限公司 一种基于模糊矩阵的图像去条纹方法
CN114897734B (zh) * 2022-05-18 2024-05-28 北京化工大学 一种基于梯度方向先验的被测目标图像复原方法
CN116095291B (zh) * 2023-03-07 2023-06-16 山东爱特云翔计算机有限公司 一种用于媒体流图像传输的图像预处理方法
CN116167948B (zh) * 2023-04-21 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于空变点扩散函数的光声图像复原方法及系统
DE102023114884A1 (de) 2023-06-06 2024-12-12 Ifm Electronic Gmbh Verfahren zur Reduzierung von Artefakten in 3D-Bilddaten
CN117173058B (zh) * 2023-11-03 2024-02-02 武汉工程大学 空变模糊图像统一复原方法及系统
US12394027B2 (en) * 2023-12-28 2025-08-19 Raytheon Company Deblurring motion-blurred images using map estimate and adaptive priors
CN119671900B (zh) * 2024-10-17 2025-12-05 中山大学 一种图像恢复中的集成学习方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110229044A1 (en) * 2010-03-16 2011-09-22 Novatek Microelectronics Corp. Hierarchical motion deblurring method for single image
CN102509281A (zh) * 2011-11-24 2012-06-20 浙江大学 基于透明度的双图像去平面运动模糊方法
CN103337057A (zh) * 2013-07-05 2013-10-02 西北工业大学 基于多尺度自相似的运动模糊图像盲复原方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9392173B2 (en) * 2013-12-13 2016-07-12 Adobe Systems Incorporated Image deblurring based on light streaks
US9723204B2 (en) * 2014-08-27 2017-08-01 Adobe Systems Incorporated Dynamic motion path blur kernel
CN105139348B (zh) * 2015-07-27 2017-11-24 中国科学院光电技术研究所 一种运动模糊图像的双迭代混合盲复原方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110229044A1 (en) * 2010-03-16 2011-09-22 Novatek Microelectronics Corp. Hierarchical motion deblurring method for single image
CN102509281A (zh) * 2011-11-24 2012-06-20 浙江大学 基于透明度的双图像去平面运动模糊方法
CN103337057A (zh) * 2013-07-05 2013-10-02 西北工业大学 基于多尺度自相似的运动模糊图像盲复原方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681995A (zh) * 2018-05-20 2018-10-19 北京联合大学 一种基于变分贝叶斯估计的去运动模糊的方法
CN113177890A (zh) * 2021-04-27 2021-07-27 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN116957952A (zh) * 2023-04-19 2023-10-27 南京邮电大学 高斯相对算子双重鉴别性图像盲去模糊方法
CN117218016A (zh) * 2023-08-23 2023-12-12 西安电子科技大学 一种基于边缘增强的图像盲去模糊方法、系统、设备及介质

Also Published As

Publication number Publication date
CN105976332A (zh) 2016-09-28
US10755390B2 (en) 2020-08-25
CN105976332B (zh) 2019-03-01
US20190139199A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN105976332B (zh) 基于图像中亮条纹信息的图像去模糊方法
Chen et al. Blind deblurring for saturated images
CN105493140B (zh) 图像去模糊方法及系统
Zhu et al. Single image dehazing using color attenuation prior.
CN108734670B (zh) 单幅夜间弱照度雾霾图像的复原方法
Hu et al. Deblurring low-light images with light streaks
Kim et al. Single image dehazing based on contrast enhancement
CN105046658B (zh) 一种低照度图像处理方法和装置
CN103578083B (zh) 基于联合均值漂移的单幅图像去雾方法
WO2019148739A1 (zh) 一种模糊图像综合处理方法和系统
CN102930514A (zh) 基于大气物理散射模型的快速图像去雾方法
CN109658447B (zh) 基于边缘细节保持的夜间图像去雾方法
CN107292830B (zh) 低照度图像增强及评价方法
CN109978848A (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN102254309A (zh) 一种基于近红外图像的运动模糊图像去模糊方法和装置
CN115249211B (zh) 一种基于水下非均匀入射光模型的图像复原方法
TW201830330A (zh) 一種圖像處理方法及圖像處理系統
CN111640077A (zh) 一种简单高效的模糊文本图片清晰化处理方法
CN105931208A (zh) 基于物理模型的低照度图像增强算法
CN109801231B (zh) 一种电泳电子纸检测设备的图像处理方法
CN104766287A (zh) 一种基于显著性检测的模糊图像盲复原方法
Cui et al. A modified Richardson–Lucy algorithm for single image with adaptive reference maps
Chan et al. Single image spatially variant out-of-focus blur removal
CN108154488A (zh) 一种基于显著图像块分析的图像运动模糊去除方法
Yang et al. Low light image denoising based on poisson noise model and weighted tv regularization

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16900954

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16900954

Country of ref document: EP

Kind code of ref document: A1