WO2010076945A2 - 이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체 - Google Patents

이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체 Download PDF

Info

Publication number
WO2010076945A2
WO2010076945A2 PCT/KR2009/005825 KR2009005825W WO2010076945A2 WO 2010076945 A2 WO2010076945 A2 WO 2010076945A2 KR 2009005825 W KR2009005825 W KR 2009005825W WO 2010076945 A2 WO2010076945 A2 WO 2010076945A2
Authority
WO
WIPO (PCT)
Prior art keywords
blur
image
estimating
gradient
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2009/005825
Other languages
English (en)
French (fr)
Other versions
WO2010076945A3 (ko
Inventor
이승용
조성현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
POSTECH Academy Industry Foundation
Original Assignee
POSTECH Academy Industry Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by POSTECH Academy Industry Foundation filed Critical POSTECH Academy Industry Foundation
Priority to CN200980155499.0A priority Critical patent/CN102326379B/zh
Priority to DE112009004059.4T priority patent/DE112009004059B4/de
Publication of WO2010076945A2 publication Critical patent/WO2010076945A2/ko
Publication of WO2010076945A3 publication Critical patent/WO2010076945A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Definitions

  • the present invention relates to an image processing method, and more particularly, to a recording medium on which an image blur removal method and an image blur removal method capable of removing blur quickly and effectively with only one image are recorded.
  • Blur phenomenon is a phenomenon that can occur frequently in the process of acquiring an image using an image acquisition device and is one of the main causes of deterioration of the image quality.
  • a first object of the present invention for overcoming the above problems is to provide a method for removing blur of an image, which can easily and quickly remove blur from a single image and improve the quality of the image.
  • the sharp image estimating step may include a gradient information estimating step of predicting gradient information of the image including the blur and a first deconvolution based on the estimated blur information and the image including the blur.
  • the gradient information predicting step includes applying a bidirectional filter to the original image including the blur, applying a shock filter to the image to which the bidirectional filter is applied, and calculating a gradient map of the image to which the shock filter is applied. And applying a threshold to the calculated gradient map.
  • the applying of the threshold value to the calculated gradient map comprises: generating a histogram based on the calculated direction and magnitude of the gradient, vertical and blur information corresponding to each direction included in the generated histogram; It may include the step of setting the size of the gradient that can include more than a predetermined multiple of the maximum value of the horizontal size as a threshold value and applying the set threshold value to the gradient map (truncate) the gradient (truncate). .
  • Truncate the gradient by applying the set threshold value to the gradient map may set a gradient smaller than the threshold value to zero.
  • the blur information estimating step may estimate the blur information based on the image including the blur and the omitted gradient.
  • the blur information may be estimated using an energy function including only image derivatives without including pixel values.
  • the image estimating step and the blur information estimating step may be repeatedly performed while changing the resolution of the image including the blur and the image without the estimated blur.
  • a recording medium in which a method for removing blur of an image according to an aspect of the present invention includes: receiving an image including blur from an image including the blur; An image estimating step of estimating an image without blur, a blur information estimating step of estimating blur information from the image including the blur and the estimated blur free image, and an image including the blur and the estimated blur information A blur removal step of removing blur from an image including the blur is performed, but the image estimating step and the blur information estimating step record a program to be repeatedly performed.
  • an image filter is applied to an image including a provided blur to restore edges and remove noise to predict a gradient map.
  • the blur kernel is estimated based on the image including the gradient map and the blur, and the latent image is estimated by performing deconvolution on the estimated blur kernel and the image including the blur.
  • the blur can be removed while maintaining the quality of the image with only one image including the blur, and the processing time required for the blur removal can be shortened significantly compared to the conventional blur removal method.
  • FIG. 1 is a flowchart illustrating a method of removing blur of an image according to an exemplary embodiment of the present invention.
  • FIG. 2 is a view illustrating an image in which blur is removed according to the number of iterations performed in the method for removing blur of an image according to an exemplary embodiment of the present invention shown in FIG. 1.
  • FIG. 3 is a flowchart showing a more detailed processing of the prediction step shown in FIG.
  • FIG. 4 illustrates kernels estimated at different scales in the method for removing blur of an image according to an exemplary embodiment of the present invention.
  • FIG 5 illustrates the convergence speed of the blur kernel estimation according to an embodiment of the present invention in comparison with the conventional blur kernel estimation method.
  • FIG. 6 shows the accuracy of a blur kernel estimation in accordance with an embodiment of the present invention.
  • FIG. 7 illustrates an image from which blur is removed using a blur estimation method of an image according to an embodiment of the present invention.
  • FIG 8 illustrates an actual image from which blur is removed by using the blur estimation method of an image according to an embodiment of the present invention.
  • FIG. 9 shows processing time taken to remove blur of the images shown in FIG. 8.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • the motion blur may be expressed as Equation 1.
  • Equation 1 B means a blurred image
  • K means a motion blur kernel or a point spread function (PSF) indicating blur information of an image
  • L Is a latent image, that is, a clear image without blur.
  • N means unknown noise introduced in the image acquisition process
  • * means a convolution operator.
  • Equation 2 and Equation 3 Means the data fitting term, And Means normalization terms.
  • the goal of iterative optimization is to gradually refine the blur kernel K's accuracy.
  • the final image with blur removed is obtained by performing a deconvolution operation on the final blur kernel K and the image B with the given blur.
  • the latent image estimated during iterative optimization does not have a direct effect on the final image without blurring, but indirectly affects the final image without blurring by affecting the improvement of the motion blur kernel K.
  • noise suppression in the flat area is also important in the general natural image since the flat area occupies more area than the sharp edge area. If the noise is not suppressed in the flat region, the data adjustment term of Equation 3 is significantly affected by the noise, which impairs the accuracy of estimating the blur kernel from the sharp edges.
  • the method for blur removal of an image provides a fast blind deconvolution method by reducing the amount of computation in the latent image estimation and blur kernel estimation process.
  • a latent image sufficiently includes sharp edges in order to improve the estimation speed of the latent image.
  • image filters are used to take advantage of sharp edge recovery and noise suppression.
  • Equation 3 the numerical optimization process of Equation 3 is improved by excluding a pixel value.
  • the latent image estimation process is largely composed of two stages of simple deconvolution and prediction.
  • the blur is removed using a simple fast deconvolution with a Gaussian prior to estimate the lattice image L. . Due to the characteristics of the Gaussian fryer, the latticed image L contains noise at smooth edges and flat areas.
  • an image filter is used to obtain sharp edge reconstruction and noise removal to obtain an estimated latticed image L 'with improved accuracy.
  • simple edges and suppressed noise in the flat region of the latticed image are used as important features when the latticed image is used for the blur kernel estimation, simple deconvolution results in estimating despite the deterioration of image quality.
  • the lattice image L ' provides a high quality lattice image for accurate blur kernel estimation.
  • CG conjugate gradient method
  • Equation 3 as an energy function with only image derivatives can significantly reduce the number of image demarcations and fast Fourier transforms.
  • the formulation of the energy function additionally provides a speedup of the CG, and is well-conditioned with a small condition number in the calculation scheme derived from Equation 3. To provide and improve the speed of convergence.
  • FIG. 1 is a flowchart illustrating a method of removing blur of an image according to an exemplary embodiment of the present invention.
  • an image including blur is provided (step 110).
  • the prediction step (step 120) is located at the beginning of the repeated loop to provide an initial value of the lattice image L for blur kernel estimation when an image with blur is provided.
  • the gradient map ⁇ P x , P y ⁇ is calculated along the x direction and the y direction of the latent image L to predict the prominent edge in the latent image where the noise is suppressed in the flat region.
  • the input of the prediction step in the iterative performance of steps 120 to 150 is the estimated latent image L obtained by performing the deconvolution step in the previous iteration except for the first time.
  • the blur kernel K is estimated using the gradient map ⁇ P x , P y ⁇ and the image B including the blur estimated through the calculation in step 120.
  • the latent image L is estimated using the blur kernel K and the image B including the blur.
  • the estimated latticed image L is provided as an input of the prediction step (step 120) of the next iteration process.
  • the accuracy of the estimation is improved by performing steps 120 and 130 repeatedly to estimate the blur kernel K and the latent image L more effectively.
  • a gray scale version of an image B and a latent image L including the blur is used in an iterative process for updating the accuracy of the blur kernel K and the latent image L.
  • the final deconvolution step (step 150) is performed repeatedly to obtain the final blur kernel K and then to obtain the final image from which the blur is removed, the final deconvolution for each color channel of the image blur containing the final blur kernel K and the blur.
  • the evolution is performed (step 150).
  • FIG. 2 is a view illustrating an image in which blur is removed according to the number of iterations performed in the method for removing blur of an image according to an exemplary embodiment of the present invention shown in FIG. 1.
  • FIG. 2A illustrates an original image including blur
  • FIG. 2B illustrates a final image from which blur is removed according to an embodiment of the present invention.
  • (c) to (e) of FIG. 2 shows the results of performing the steps 120 to 140 of FIG. 1 once, three times and five times, respectively, and the predicted gradient map ⁇ P x , P y ⁇ And deconvolution results including the estimated blur kernel.
  • Image can be estimated, and a more accurate blur kernel can be predicted based on the estimated lattice image. Then, the blur image is removed to obtain the final image (b) by using the more accurately estimated blur kernel.
  • the predicting step (step 120) of FIG. 1 estimates the image gradient map ⁇ P x , P y ⁇ by setting only the gradient in the lattice image L but leaving the other area at zero.
  • the convolution of gradient zero is always zero, regardless of the estimated blur kernel, and consequently only prominent edges in the blur kernel estimation step (step 130) affect the blur kernel optimization.
  • the prediction step uses a shock filter to reconstruct the strong edges.
  • Shock filters are an efficient tool for enhancing the characteristics of an image by restoring sharp edges from an image with blur.
  • the shock filter may be expressed as in Equation 4.
  • Equation 4 I t means an image at time t, And Denotes Laplacian and gradient of I t , respectively. Dt also means a time step for a single evolution.
  • FIG. 3 is a flowchart showing a more detailed processing of the prediction step shown in FIG.
  • the prediction step may include a bidirectional filtering step, a shock filtering step, and a gradient threshold applying step.
  • a bidirectional filter is applied to suppress the noise and small detail that may exist for the currently estimated latticed image L (step 121).
  • the image size supported by bidirectional filtering may be fixed (for example, 5 ⁇ 5).
  • a shock filter is applied to reconstruct the strong edges in the estimated latticed image L (step 123).
  • the latent image L ' which is the resultant image of the shock filter, is improved in contrast, but at the same time, noise is increased.
  • the gradient map of the latent image L ' Is calculated (step 125), and noise is removed by applying a threshold to the calculated gradient map (truncate) the gradient (step 127).
  • the truncated gradient map ⁇ P x , P y ⁇ is the final output of the prediction step.
  • the omission of the gradient may be performed by setting, for example, a gradient smaller than a threshold value to zero.
  • the threshold for truncating the gradient first divides the direction of the gradient by a predetermined angle (for example, 45 degrees) and generates a histogram according to the gradient size for each direction (here, 180 to 360 degrees).
  • the figures may differ only in sign and are computed as angles in the same direction), and for each direction generated may comprise at least a predetermined multiple (e.g. twice) of the maximum of the vertical and horizontal size of the blur kernel. Set the gradient size as the threshold.
  • the deconvolution step (step 140) estimates the latent image L based on the given blur kernel K and the image B with the provided blur.
  • the energy function may be expressed as in Equation 5.
  • Equation 5 Means the partial differential operator and order in different directions, Means the weight for each partial derivative, Denotes a weight (eg, 0.1) for the normalization term.
  • Equation 5 can be optimized very quickly through pixel-wise division in the frequency domain through only two fast Fourier operations.
  • the optimized result of Equation 5 may include the flat edge and the ringing effect.
  • the results of performing a single deconvolution based on prediction step (step 120) do not affect accurate blur kernel estimation.
  • a multi-scale iterative process is performed to effectively remove blur from an image including large blur.
  • FIG. 4 illustrates kernels estimated at different scales in the method for removing blur of an image according to an exemplary embodiment of the present invention.
  • the sharp edge estimation is applied to the deconvolution result obtained through the blur kernel updated in the previous iteration process while performing the iteration at a particular scale.
  • a blur kernel for a large blur may be estimated using a small size bidirectional filter and a shock filter through a multi-scale iterative process.
  • the multi-scale iterative process makes it possible to estimate large blurs that have not been addressed using one scale.
  • the method for removing blur of an image according to an embodiment of the present invention performs two fast Fourier transforms and simple image filtering in gradient map prediction of a latent image for blur kernel estimation, and performs bidirectional filtering, shock filtering, and a gradient threshold. Value application can be done very quickly. This is a very fast process for conventional blur removal methods (e.g. Shan et al. 2008) compared to performing 30 to 60 fast Fourier transforms.
  • the blur kernel estimation using the estimated gradient map ⁇ P x , P y ⁇ uses the energy function of Equation 6.
  • Equation (6) Is the weight for each partial derivative, And May change as shown in Equation 7.
  • the present invention uses only image derivatives without including pixel values in the energy function.
  • the present invention uses the Tychonov normalization term instead of the L 1 norm of K used in the conventional blur removal method.
  • Equation 6 may be represented again in a deterministic form as shown in Equation 8.
  • Equation 10 Is Means a complex conjugate of. Can be precomputed before iteration of the conjugate gradient method (CG). Therefore, the number of fast Fourier transforms can be reduced ten times because only two fast Fourier transforms are performed in the gradient calculation.
  • Equation 6 elements having a value smaller than 1/20 of the largest value are set to 0, and then normalized so that the sum is 1 for non-zero values.
  • the number of iterations and the speed of convergence for optimization convergence are very important.
  • the calculation is optimized at a much faster speed than the conventional case including the pixel value.
  • FIG 5 illustrates the convergence speed of the blur kernel estimation according to an embodiment of the present invention in comparison with the conventional blur kernel estimation method.
  • the blur kernel estimation error is dramatically reduced through repetition within several times, but the conventional blur kernel estimation method using pixel values is more effective than the present invention. It can be seen that the blur kernel estimation error is reduced more slowly.
  • the original version of "Shan et al. 2008” requires more computation because it uses the L 1 norm for the normalization term of the energy function.
  • a large sized matrix is generated, which causes a shortage of memory and an excessive amount of computation.
  • the blur kernel estimation according to an embodiment of the present invention performs two fast Fourier transforms at each step of the Gradient Gradient Method (CG), but "Shan-L2" performs one pixel value image and five partial derivatives. Since we use six images of images, we perform a total of 14 fast Fourier transforms. In addition, since “Shan-L2" uses a pixel value, more iterations are required than the present invention.
  • CG Gradient Gradient Method
  • the blur kernel estimation method according to an embodiment of the present invention is 40 times faster than "Shan-L2" and 10 times faster than other conventional methods using pixel values.
  • FIG. 6 shows the accuracy of a blur kernel estimation in accordance with an embodiment of the present invention.
  • the present invention is compared with the conventional method using pixel values by using test images added with different Gaussian noise.
  • the kernel estimating method according to an embodiment of the present invention has substantially the same accuracy as the conventional kernel estimating method using pixel values despite not using pixel values.
  • the kernel estimation method of the present invention has better accuracy than conventional kernel estimation methods using pixel values due to the well-defined calculation scheme obtained by excluding pixel values.
  • FIG. 7 illustrates an image from which blur is removed using a blur estimation method of an image according to an embodiment of the present invention.
  • the estimated blur kernel is substantially the same as the original blur kernel, and the image from which the blur is removed accurately restores the fine detail of the original image.
  • FIG. 8 illustrates an actual image from which blur is removed by using the blur estimation method of an image according to an embodiment of the present invention.
  • Each image shown in FIG. 8 includes different complex structures and camera motions.
  • each image of which blur has been removed has a sharpening of sharp edges to more clearly show the shape and structure of an object.
  • FIG. 9 shows processing time taken to remove blur of the images shown in FIG. 8.
  • the experimental environment is a PC with an Intel Core 2 CPU 2.66GHz, 3.25GB RAM, and an NVIDIA GeForce GTX graphics card based on MS Windows XP (32bit).
  • the blur removal method implemented for the experiment was implemented using the GPU acceleration function of the graphics card.
  • the method for removing blur of an image may remove blur within a few seconds from an image including an input blur even when a kernel size is large.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

한장의 이미지로부터 용이하고 신속하게 블러를 제거할 수 있고 이미지의 품질을 향상시킬 수 있는 이미지의 블러 제거 방법이 개시된다. 이미지의 블러 제거 방법은 블러가 포함된 이미지를 제공받는 단계와, 제공된 블러가 포함된 이미지로부터 블러가 없는 이미지를 추정 하는 이미지 추정 단계와, 블러가 포함된 이미지 및 추정된 블러가 없는 이미지로부터 블러 정보를 추정하는 블러 정보 추정 단계 및 블러가 포함된 이미지 및 추정된 블러 정보에 기초하여 블러가 포함된 이미지에서 블러를 제거하는 블러 제거 단계를 포함하되, 이미지 추정 단계 및 블러 정보 추정 단계는 반복적으로 수행한다. 따라서, 한장의 이미지에 포함된 블러를 신속하게 제거할 수 있고, 효과적으로 블러를 제거하여 이미지의 품질을 향상시킬 수 있다.

Description

이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체
본 발명은 이미지 처리 방법에 관한 것으로, 더욱 상세하게는 한 장의 이미지만으로 신속하고 효과적으로 블러를 제거할 수 있는 이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체에 관한 것이다.
블러 현상은 이미지 획득 장치를 이용하여 이미지를 획득하는 과정에서 흔히 발생할 수 있는 현상으로 이미지의 품질을 저하시키는 주요한 원인 중 하나이다.
어두운 실내나 저녁 무렵의 야외와 같이 광량이 부족한 환경에서 카메라 등의 장치를 이용하여 이미지를 획득하는 경우, 선명한 이미지를 얻기 위해서는 충분한 광량이 있어야 하고 이를 위해 이미지 센서를 빛에 오래 노출시켜야 한다. 그러나, 노출 시간이 길어지면 이미지 센서의 흔들림으로 인해 획득한 이미지에 블러가 발생하게 된다.
블러 현상을 제거하기 위해 그 동안 많은 연구가 있었지만, 이미지에서 블러를 제거하는 것은 여전히 해결하기 어려운 문제이다. 이는 이미지로부터 블러를 추정하고 제거하는 문제가 주어진 정보의 양에 비해 알아내야 하는 정보의 양이 더 많이 필요하기 때문이다.
종래의 대부분의 해결책들은 상기와 같은 문제를 해결하기 위해 여러 장의 이미지를 사용하거나 센서의 노출 시간을 사용하는 등 부가적인 정보를 필요로 하거나, 블러의 모양이 2차원 벡터로 표현될 수 있는 선형 모션으로 제한하는 방식 등과 같이 극히 제한된 형태의 블러 만을 가정하여 문제를 해결하였다.
Ytizhakey 등(YTIZHZKEY, Y., MOR, I., A., And KOPEIKA, N. S. 1998. Direct method for restoration of motion-blurred images. Journal of Opt. Soc. Am. A. 15, 6, 1512-1519)은 이미지가 등방성을 가질 것이라는 가정을 이용하여 2D 벡터로 표현될 수 있는 블러를 추정하였다. Rav-Acha와 Peleg(RAV-ACHA, A., AND PELEG, S. 2005. Two motion-blurred images are better than one. Pattern Recognition Letters 26, 311317.)은 두 장의 블러가 있는 이미지를 이용하여 블러를 추정하는 방법을 제시하였으며, Yuan 등(YUAN, L., SUN, J., QUAN, L., AND SHUM, H.-Y. 2007. Image deblurring with blurred/noisy image pairs. ACM Trans. Graphics 26, 3, 1.)은 블러는 없지만 노이즈가 있는 이미지와 블러가 있는 이미지를 이용하여 블러를 추정하고 제거하는 방법을 제시하였다.
Money와 Kang(MONEY, J. H., AND KANG, S. H. 2008. Total variation minimizing blind deconvolution with shock filter reference. Image and Vision Computing 26, 2, 302314.)은 블러가 있는 이미지에 쇼크 필터(shock filter)를 적용하여 선명한 에지(sharp edges)를 복원한 후, 이를 이용하여 가우시안 블러(Gaussian blur) 및 2D 벡터로 표현 가능한 블러를 추정하는 방법을 제시하였다.
최근에는 한 장의 이미지로부터 적은 수의 파라미터로 표현 가능한 모션 블러 보다 일반적인 블러를 추정하고 제거하는 방법들이 소개되었다. Fergus 등(FERGUS, R., SINGH, B., HERTZMANN, A., ROWEIS, S. T., AND FREEMAN, W. 2006. Removing camera shake from a single photograph. ACM Trans. Graphics 25, 787794.)은 일반적인 이미지가 갖는 통계적인 특성을 이용하여 블러를 추정하는 방법을 제시하였으며, Jia(JIA, J. 2007. Single image motion deblurring using transparency. In Proc. CVPR 2007, 18.)는 이미지에서 블러가 발생된 영역에 대한 정보를 알파 매트(alpha matte) 기법을 이용하여 알아낸 후 이미지의 블러를 제거하는 방법을 제시하였다. 그러나, Fergus 등이 제시한 방법은 통계적 모델의 복잡도로 인하여 좋은 결과를 내기 힘들고 많은 시간이 소모된다는 단점이 있으며, Jia가 제시한 방법의 경우 알파 매트 기법의 결과에 매우 의존적이기 때문에 좋은 매트를 구할 수 있어야만 만족스러운 결과를 얻을 수 있다는 단점이 있다.
Shan 등(SHAN, Q., JIA, J., AND AGARWALA, A. 2008. High-quality motion deblurring from a single image. ACM Trans. Graphics 27, 73.)은 Fergus 등이 제시한 일반적인 이미지가 갖는 통계적 특성을 보다 계산하기 쉬운 형태로 제시하여 이를 이용한 블러의 추정 및 제거를 수행하는 방법을 제시하였다. 그러나, 한 장의 이미지를 처리하는데 수 분에서 십여 분 이상의 처리 시간을 필요로 하기 때문에 실용적으로 사용하기 어려운 단점이 있다.
상기한 바와 같은 문제점을 극복하기 위한 본 발명의 제1 목적은, 한장의 이미지로부터 용이하고 신속하게 블러를 제거할 수 있고, 이미지의 품질을 향상시킬 수 있는 이미지의 블러 제거 방법을 제공하는 것이다.
본 발명의 제2 목적은, 한장의 이미지로부터 용이하고 신속하게 블러를 제거할 수 있고, 이미지의 품질을 향상시킬 수 있는 이미지의 블러 제거 방법이 기록된 기록매체를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 이미지의 블러 제거 방법은, 블러가 포함된 이미지를 제공받는 단계와, 제공된 상기 블러가 포함된 이미지로부터 블러가 없는 이미지를 추정 하는 이미지 추정 단계와, 상기 블러가 포함된 이미지 및 추정된 상기 블러가 없는 이미지로부터 블러 정보를 추정하는 블러 정보 추정 단계 및 상기 블러가 포함된 이미지 및 추정된 상기 블러 정보에 기초하여 상기 블러가 포함된 이미지에서 블러를 제거하는 블러 제거 단계를 포함하되, 상기 이미지 추정 단계 및 상기 블러 정보 추정 단계는 반복적으로 수행한다. 상기 선명한 이미지 추정 단계는, 상기 블러가 포함된 이미지의 그라디언트(gradient) 정보를 예측하는 그라디언트 정보 예측 단계 및 상기 추정된 블러 정보 및 상기 블러가 포함된 이미지에 기초하여 제1 디컨볼루션을 수행하는 제1 디컨볼루션 수행 단계를 포함할 수 있다. 상기 그라디언트 정보 예측 단계는, 상기 블러가 포함된 원본 이미지에 양방향 필터를 적용하는 단계와, 상기 양방향 필터가 적용된 이미지에 쇼크 필터를 적용하는 단계와, 상기 쇼크 필터가 적용된 이미지의 그라디언트 맵을 산출하는 단계와, 산출된 상기 그라디언트 맵에 임계값을 적용하는 단계를 포함한다. 상기 산출된 상기 그라디언트 맵에 임계값을 적용하는 단계는, 상기 산출된 그라디언트의 방향 및 크기에 기초하여 히스토그램을 생성하는 단계와, 상기 생성된 히스토그램에 포함된 각 방향에 상응하는 블러 정보의 수직 및 수평 크기 중 최대값의 소정 배수 이상의 픽셀을 포함할 수 있는 그라디언트의 크기를 임계값으로 설정하는 단계 및 설정된 상기 임계값을 상기 그라디언트 맵에 적용하여 그라디언트를 생략(truncate)하는 단계를 포함할 수 있다. 상기 설정된 상기 임계값을 상기 그라디언트 맵에 적용하여 그라디언트를 생략(truncate)하는 단계는 상기 임계값보다 작은 그라디언트를 0으로 설정할 수 있다. 상기 블러 정보 추정 단계는, 상기 블러가 포함된 이미지 및 상기 생략된 그라디언트에 기초하여 상기 블러 정보를 추정할 수 있다. 상기 블러 정보 추정 단계는 픽셀 값을 포함시키지 않고 이미지 도함수만을 포함하는 에너지 함수를 이용하여 블러 정보를 추정할 수 있다. 상기 이미지 추정 단계 및 상기 블러 정보 추정 단계는, 상기 블러가 포함된 이미지 및 상기 추정된 블러가 없는 이미지의 해상도를 변화시키면서 반복적으로 수행될 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 이미지의 블러 제거 방법이 기록된 기록 매체는, 블러가 포함된 이미지를 제공받는 단계와, 제공된 상기 블러가 포함된 이미지로부터 블러가 없는 이미지를 추정 하는 이미지 추정 단계와, 상기 블러가 포함된 이미지 및 추정된 상기 블러가 없는 이미지로부터 블러 정보를 추정하는 블러 정보 추정 단계 및 상기 블러가 포함된 이미지 및 추정된 상기 블러 정보에 기초하여 상기 블러가 포함된 이미지에서 블러를 제거하는 블러 제거 단계를 수행하되, 상기 이미지 추정 단계 및 상기 블러 정보 추정 단계는 반복적으로 수행하는 프로그램을 기록한다.
상술한 바와 같은 이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체에 따르면, 제공된 블러가 포함된 이미지에 대해 이미지 필터를 적용하여 에지를 복원하고 잡음을 제거하여 그라디언트 맵을 예측한 후, 상기 그라디언트 맵과 블러가 포함된 이미지에 기초하여 블러 커널을 추정하고, 추정된 블러 커널과 블러가 포함된 이미지에 대해 디컨볼루션을 수행하여 레이턴트 이미지를 추정한다. 그리고 상기한 과정들을 반복하여 블러 커널의 추정 정확도를 향상시켜 최종 블러 커널을 추정한 후 추정된 최종 블러 커널과 블러가 포함된 이미지에 대해 최종 디컨볼루션을 수행하여 이미지의 블러를 제거한다. 상기 블러 커널 추정과정에서는 픽셀 값을 사용하지 않고 이미지 도함수만을 사용한다.
따라서, 블러가 포함된 한 장의 영상만으로 이미지의 품질을 유지하면서 블러를 제거할 수 있고, 종래의 블러 제거 방법보다 획기적으로 블러 제거에 소요되는 처리 시간을 단축시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법을 나타내는 흐름도이다.
도 2는 도 1에 도시된 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서 반복 수행 회수에 따라 블러가 제거된 이미지를 나타낸다.
도 3은 도 1에 도시된 예측 단계의 보다 상세한 처리 과정을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서 서로 다른 스케일에서 추정된 커널을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 블러 커널 추정의 수렴 속도를 종래의 블러 커널 추정 방법과 비교하여 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 블러 커널 추정의 정확도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 이미지의 블러 추정 방법을 이용하여 블러가 제거된 이미지를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 이미지의 블러 추정 방법을 이용하여 블러가 제거된 실제 이미지를 나타낸다.
도 9는 도 8에 도시된 이미지들의 블러 제거에 소요된 처리 시간을 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등 물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
일반적으로 모션 블러는 수학식 1과 같이 표현될 수 있다.
수학식 1
Figure PCTKR2009005825-appb-M000001
수학식 1에서 B는 블러가 포함된 이미지(blurred image)를 의미하고, K는 이미지의 블러 정보를 나타내는 모션 블러 커널(blur kernel) 또는 점 확산 함수(PSF: Point Spread Function)를 의미하며, L은 레이턴트 이미지(latent image) 즉, 블러가 없는 선명한 이미지를 의미한다. 또한, N은 이미지 획득 과정에서 도입된 알수없는 잡음을 의미하고, *는 컨볼루션 연산자(convolution operator)를 의미한다.
상기 수학식 1의 블라인드 디컨볼루션(blind deconvolution)을 위해서는 반복 처리 과정(iterative process)에서 L과 K의 최적화가 필요하다. 또한, 레이턴트 이미지 추정 및 블러 커널 추정은 수학식 2 및 수학식 3의 해결을 통해 획득할 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 2
Figure WO-DOC-MATHS-2
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 3
Figure WO-DOC-MATHS-3
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 2 및 수학식 3에서
Figure WO-DOC-37
는 데이터 조정 항(data fitting term)을 의미하고,
Figure WO-DOC-FIGURE-2
및
Figure WO-DOC-FIGURE-3
는 정규화항(regularization terms)을 의미한다.
반복적 최적화의 목적은 블러 커널 K의 정확도를 점진적으로 개선(refine)하는 것이다. 블러가 제거된 최종 이미지는 최종 블러 커널 K와 주어진 블러가 포함된 이미지 B에 대한 디컨볼루션 연산을 수행함으로써 얻어진다. 반복적 최적화 도중 추정된 레이턴트 이미지는 블러가 제거된 최종 이미지에 직접적인 영향을 미치지 않고, 모션 블러 커널 K의 개선에 영향을 미침으로써 블러가 제거된 최종 이미지에는 간접적으로 영향을 미치게 된다.
레이턴트 이미지 추정을 위한 반복적 최적화 과정을 통해 레이턴트 이미지에서 선명한 에지(sharp edge) 복원과 평탄한 영역(smooth region)에서의 노이즈 감쇄 특성을 얻을 수 있고, 이는 보다 정확한 모션 블러 커널을 추정하는데 이용된다. 주어진 이미지가 균일한 블러를 포함하는 것으로 가정하는 경우에도 선명한 에지(sharp edges) 주변에서 더 정확한 모션 블러 커널을 획득할 수 있다. 예를 들어, 균일한 강도(constant intensity)를 가지는 영역에서는 모션 블러 커널을 추정할 수 없으나, 일반적으로 자연 이미지(natural image)는 강한 에지(strong edges)를 포함하고 있으므로 모션 블러 커널은 레이턴트 이미지(latent image) 추정 과정에서 복원된 에지를 통해 효과적으로 예측될 수 있다.
또한, 일반적인 자연 이미지에서는 평탄한 영역이 선명한 에지 영역 보다 더 많은 영역을 차지하기 때문에 평탄한 영역에서의 잡음 억압도 중요하다. 만약 평탄한 영역에서 잡음이 억압되지 않으면, 수학식 3의 데이터 조정 항은 잡음에 의해 상당히 큰 영향을 받게 되고, 이로 인해 선명한 에지로부터 블러 커널을 추정함에 있어 정확도가 손상된다.
수학식 2의 해를 구하는 과정에서 선명한 에지 복원 및 잡음 억압을 위한 종래의 방법들은 계산적으로 복잡한 비선형 최적화(non-linear optimization) 방법을 사용한다. 또한, 수학식 3를 이용한 종래의 블러 커널 추정 방법은 막대한 행렬 및 벡터에 대해 연산을 필요로 한다. 결과적으로 레이턴트 이미지 및 블러 커널 추정을 위한 종래의 블라인드 디컨볼루션의 반복적 수행 방법은 계산 량이 매우 큰 단점이 있다.
상기한 바와 같은 종래의 단점을 극복하기 위해 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 레이턴트 이미지 추정 및 블러 커널 추정 과정에서 계산량을 감소시킴으로써 빠른 블라인드 디컨볼루션 방법을 제공한다.
본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 레이턴트 이미지의 추정 속도를 향상시키기 위해 레이턴트 이미지가 선명한 에지를 충분히 포함하는 것으로 가정하고, 수학식 2에서 계산 복잡도가 높은 비선형 정규화항(non-linear regularization term)을 최적화하는 대신 이미지 필터를 사용하여 선명한 에지 복원 및 잡음 억압 특성을 이용한다.
또한, 블러 커널 추정 과정에서는 픽셀 값(pixel value)을 제외함으로써 수학식 3의 계산 최적화(numerical optimization process) 속도를 향상시킨다.
본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서 레이턴트 이미지 추정 과정은 크게 단순 디컨볼루션 및 예측의 두 가지 단계으로 구성된다.
단순 디컨볼루션 단계에서는 블러가 포함된 이미지 B와 블러 커널 K가 주어진 경우, 먼저 레이턴트 이미지 L을 추정하기 위해 가우시안 프라이어(Gaussian prior)를 가지는 단순하고 빠른 디컨볼루션을 이용하여 블러를 제거한다. 가우시안 프라이어의 특징으로 인하여, 레이턴트 이미지 L은 평탄한 에지(smooth edges) 및 평탄한 영역에 잡음을 포함한다.
레이턴트 이미지 L의 예측 단계에서는 이미지 필터를 사용하여 선명한 에지 복원과 잡음을 제거하여 정확도가 개선된(refined) 추정 레이턴트 이미지 L'를 획득한다. 여기서, 레이턴트 이미지의 평탄한 영역에서 선명한(strong) 에지 및 억압된 잡음은 레이턴트 이미지가 블러 커널 추정에 사용될 때 중요한 특징으로 이용되기 때문에 단순 디컨볼루션은 이미지 품질이 떨어짐에도 불구하고 결과적으로 추정 레이턴트 이미지 L'는 정확한 블러 커널 추정에 필요한 고품질의 레이턴트 이미지를 제공한다.
블러 커널 추정 단계에서는 상기 수학식 3의 해를 구하기 위해 켤레 구배법(CG: Conjugate Gradient)을 사용한다. 또한, 수학식 3의 해를 구하는 과정에서 에너지 함수의 그라디언트 계산이 여러번 수행된다.
그라디언트 계산은 거대한 행렬 및 벡터의 곱셈을 포함하기 때문에 연산이 매우 복잡하지만 컨볼루션 연산과 연관된 곱셈은 고속 푸리에 변환(FFT: Fast Fourier Transform)을 이용하여 계산 속도를 향상시킬 수 있다.
그러나, 순차적으로 고속 푸리에 변환을 수행하는 과정에서 고속 푸리에 변환의 직접적인 연접(concatenation)에 방해가 되는 이미지 경계를 적절하게 조정하는 것이 필요하다.
수학식 3을 단지 이미지 도함수(image derivatives)를 가지는 에너지 함수로 공식화함으로써 이미지 경계 조절 및 고속 푸리에 변환의 수를 현저하게 감소시킬 수 있다. 또한, 상기 에너지 함수의 공식화는 부가적으로 켤레 구배법(CG)의 처리 속도 향상을 제공하고, 수학식 3으로부터 유도되는 계산 체계에 작은 조건수(condition number)를 가지는 올바른 조건(well-conditioned)을 제공하고 수렴 속도를 향상시킨다.
도 1은 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법을 나타내는 흐름도이다.
도 1을 참조하면, 먼저 블러가 포함된 이미지가 제공된다(단계 110).
예측 단계(단계 120)는 블러가 포함된 이미지가 제공되었을 때 블러 커널 추정을 위한 레이턴트 이미지 L의 초기값을 제공하기 위해 반복된 루프의 처음에 위치한다.
예측 단계에서는 평탄한 영역에서 노이즈가 억압된 레이턴트 이미지에서 두드러진 에지를 예측하기 위해 레이턴트 이미지 L의 x 방향 및 y 방향을 따라 그라디언트 맵{Px, Py}을 계산한다.
단계 120 내지 단계 150의 반복적 수행에서 예측 단계의 입력은 가장 처음을 제외하고 이전 반복 과정에서 디컨볼루션 단계의 수행을 통해 획득한 추정된 레이턴트 이미지 L이 된다.
블러 커널 추정 단계(단계 130)에서는 단계 120에서 계산을 통해 예측된 그라디언트 맵{Px, Py} 및 블러가 포함된 이미지 B를 이용하여 블러 커널 K를 추정한다.
디컨볼루션 단계(단계 140)에서는, 블러 커널 K 및 블러가 포함된 이미지 B를 이용하여 레이턴트 이미지 L을 추정한다. 여기서, 상기 추정된 레이턴트 이미지 L은 다음 반복 과정의 예측 단계(단계 120)의 입력으로 제공된다.
본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 보다 효과적으로 블러 커널 K 및 레이턴트 이미지 L을 추정하기 위해 단계 120 및 단계 130을 반복적으로 수행함으로써 추정의 정확도를 향상시킨다.
본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 블러 커널 K 및 레이턴트 이미지 L의 정확도 갱신을 위한 반복적 처리 과정에서 블러가 포함된 이미지 B 및 레이턴트 이미지 L의 그레이 스케일 버전을 이용한다.
최종 디컨볼루션 단계(단계 150)는 반복적 수행을 통해 최종 블러 커널 K가 얻어진 후 블러가 제거된 최종 이미지를 얻기 위해 상기 최종 블러 커널 K와 블러가 포함된 이미지 B의 각 컬러 채널에 대한 최종 디컨볼루션을 수행한다(단계 150).
도 2는 도 1에 도시된 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서 반복 수행 회수에 따라 블러가 제거된 이미지를 나타낸다.
도 2를 참조하면, 도 2의 (a)는 블러가 포함된 원본 이미지를 나타내고, 도 2의 (b)는 본 발명의 일 실시예에 따라 블러가 제거된 최종 이미지를 나타낸다.
또한, 도 2의 (c) 내지 (e)는 각각 도 1의 단계 120 내지 단계 140을 1회, 3회 및 5회 반복 수행한 결과를 나타내는 것으로, 예측된 그라디언트 맵{Px, Py}과 추정된 블러 커널을 포함하는 디컨볼루션 결과를 나타낸다. 도 2에서는 도시된 예측된 그라디언트 맵{Px, Py}은 시각화를 위해 포아송 복원(Poisson reconstruction)을 사용하였다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 도 1의 단계 120 내지 단계 140의 반복 회수가 증가할수록(도 5의 (e), 5th iteration) 더욱 정확하게 레이턴트 이미지를 추정할 수 있고, 추정된 레이턴트 이미지에 기초하여 더욱 정확한 블러 커널을 블러 커널을 예측할 수 있다. 그리고, 더욱 정확하게 추정된 블러 커널을 이용하여 블러가 제거된 최종 이미지(b)를 얻을 수 있다.
이하, 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법을 보다 상세하게 설명한다.
먼저, 도 1의 예측 단계(단계 120)는 레이턴트 이미지 L에서 두드러진 에지만 남기고 다른 영역은 그라디언트를 0으로 설정함으로써 이미지 그라디언트 맵{Px, Py}을 추정한다. 그라디언트 0의 컨볼루션은 추정된 블러 커널에 상관없이 항상 0이므로 결과적으로 블러 커널 추정 단계(단계 130)에서 두드러진 에지만 블러 커널 최적화에 영향을 미친다.
또한, 예측 단계에서는 강한(strong) 에지를 복원하기 위해 쇼크 필터 사용한다. 쇼크 필터는 블러가 포함된 이미지로부터 선명한 에지를 복원함으로써 이미지의 특징을 강화시키는 효율적인 도구이다.
쇼크 필터는 수학식 4와 같이 표현될 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 4
Figure WO-DOC-MATHS-4
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 4에서, It 는 시간 t에서의 이미지를 의미하고,
Figure WO-DOC-71
및
Figure WO-DOC-72
는 각각 It의 라플라시안 및 그라디언트를 의미한다. 또한, dt는 단일 전개(evolution)에 대한 시간 단계(time step)를 의미한다.
도 3은 도 1에 도시된 예측 단계의 보다 상세한 처리 과정을 나타내는 흐름도이다.
도 3을 참조하면, 예측 단계는 예측 단계는 양방향 필터링 단계, 쇼크 필터링 단계 및 그라디언트 임계값 적용 단계를 포함할 수 있다.
먼저, 현재 추정된 레이턴트 이미지 L에 대해 존재 가능한 노이즈 및 작은 디테일(small detail)을 억압하기 위해 양방향 필터를 적용한다(단계 121). 여기서, 양방향 필터링에서 지원 가능한 이미지 크기는 고정(예를 들면, 5×5)될 수 있다.
이후, 추정된 레이턴트 이미지 L에서 강한(strong) 에지를 복원하기 위해 쇼크 필터가 적용된다(단계 123). 여기서, 쇼크 필터가 적용된 결과 이미지인 레이턴트 이미지 L'는 에지의 컨트래스트가 향상되나 동시에 노이즈가 증가한다.
[규칙 제26조에 의한 보정 24.11.2009]　
따라서, 레이턴트 이미지 L'의 그라디언트 맵
Figure WO-DOC-76
을 계산하고(단계 125), 계산된 그라디언트 맵에 임계값을 적용하여 그라디언트를 생략(truncate)함으로써 노이즈를 제거한다(단계 127). 생략된(truncated) 그라디언트 맵 {Px, Py}이 예측 단계의 최종 출력이 된다. 여기서, 상기 그라디언트의 생략은 예를 들어 임계값보다 작은 그라디언트를 0으로 설정함으로써 수행될 수 있다.
그라디언트의 생략(truncating)을 위한 임계값은 먼저, 그라디언트의 방향을 소정 각도(예를 들면, 45도) 간격으로 구분하고 각 방향에 대해 그라디언트 크기에 따른 히스토그램을 생성하고(여기서, 180도 내지 360도 사이는 부호만 다르고 크기는 동일한 방향의 각도로 계산), 생성된 각각의 방향에 대해 블러 커널의 수직 및 수평 크기 중 최대값의 소정 배수(예를 들면, 2배) 이상의 픽셀을 포함할 수 있는 그라디언트 크기를 임계값으로 설정한다.
디컨볼루션 단계(단계 140)에서는 주어진 블러 커널 K 및 제공된 블러가 포함된 이미지 B에 기초하여 레이턴트 이미지 L을 추정한다. 여기서 레이턴트 이미지 L을 추정하기 위해 에너지 함수를 사용한다. 에너지 함수는 수학식 5와 같이 표현될 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 5
Figure WO-DOC-MATHS-5
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 5에서,
Figure WO-DOC-80
는 서로 다른 방향에서 편미분 연산자 및 차수를 의미하며,
Figure WO-DOC-81
는 각 편미분에 대한 가중치를 의미하고,
Figure WO-DOC-82
는 정규화항에 대한 가중치(예를 들면, 0.1)를 의미한다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 5의 첫번째 항은 링잉 효과(ringing artifacts)를 감소시키기 위해 이미지 도함수를 사용하는 Shan 등(SHAN, Q., JIA, J., AND AGARWALA, A. 2008. High-quality motion deblurring from a single image. ACM Trans. Graphics 27, 73.)이 제안한 블러 모델에 기초한다. 또한, 정규화 항
Figure WO-DOC-FIGURE-10
는 평탄한 그라디언트를 가지는 레이턴트 이미지 L을 취한다.
상기 수학식 5는 단지 두 번의 고속 푸리에 연산을 통한 주파수 영역에서 픽셀별 나눗셈 연산(pixel-wise division)을 통해 매우 빠르게 최적화될 수 있다. 수학식 5가 최적화된 결과는 평탄한 에지 및 링잉 효과를 포함할 수 있다. 그러나, 단계 120에서 강한 에지만 복원하고 링잉 효과를 포함한 나머지는 생략(truncate)하기 때문에, 예측 단계(단계 120)에 기초한 단일 디컨볼루션의 수행 결과는 정확한 블러 커널 추정에 영향을 미치지 않는다.
본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 큰 블러(large blur)가 포함된 이미지에서 효과적으로 블러를 제거하기 위해 멀티-스케일 반복 처리(multi-scale iterative process)를 수행한다.
도 4은 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서 서로 다른 스케일에서 추정된 커널을 나타낸다.
도 4을 참조하여 멀티-스케일 반복 처리 과정을 설명하면, 먼저, 블러의 범위가 좁고 심각한 국부화 오류(severe localization errors) 없이 에지를 추정할 수 있는 낮은 해상도(low resolution)에서 선명한 에지를 추정한다.
높은 해상도에서는 이전의 낮은 해상도를 통해 획득한 디컨볼루션된 이미지로부터 심각한 국부화 오류를 피하면서 선명한 에지 추정을 시작한다.
특정 스케일에서 반복 처리를 수행하는 동안 선명한 에지 추정은 이전의 반복 처리 과정에서 갱신된 블러 커널을 통해 얻어진 디컨볼루션 결과에 적용된다.
상기한 바와 같이 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 멀티-스케일 반복 처리 과정을 통해 작은 사이즈의 양방향 필터 및 쇼크 필터를 이용하여 큰 블러에 대한 블러 커널을 추정할 수 있다.
멀티-스케일 반복 처리 과정은 하나의 스케일을 이용해서는 다루지 못했던 큰 블러를 추정할 수 있게 한다. 또한, 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법에서는 블러 커널 추정을 위한 레이턴트 이미지의 그라디언트 맵 예측에서 두 번의 고속 푸리에 변환과 단순한 이미지 필터링을 수행하고, 양방향 필터링, 쇼크 필터링 및 그라디언트 임계값 적용은 매우 빠르게 수행될 수 있다. 이는 종래의 블러 제거 방법(예를 들면, Shan et al. 2008)이 30 내지 60번의 고속 푸리에 변환을 수행하는 것에 비해 매우 빠르게 처리되는 것이다.
추정된 그라디언트 맵{Px, Py}을 이용한 블러 커널 추정은 수학식 6의 에너지 함수를 이용한다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 6
Figure WO-DOC-MATHS-6
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 6에서
Figure WO-DOC-FIGURE-11
는 각 편미분을 위한 가중치를 의미하며,
Figure WO-DOC-FIGURE-12
및
Figure WO-DOC-FIGURE-13
는 수학식 7과 같이 변화할 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 7
Figure WO-DOC-MATHS-7
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 6에서 각
Figure WO-DOC-FIGURE-14
는 맵을 형성하고, 맵 I는
Figure WO-DOC-FIGURE-15
로 정의된다. 여기서, (x, y)는 I에서 픽셀의 인덱스를 나타낸다. 또한,
Figure WO-DOC-FIGURE-16
는 티코노프 정규화(Tikhonov regularization)에 대한 가중치를 의미한다.
수학식 6에 기재된 바와 같이 본 발명에서는 에너지 함수에서 픽셀 값을 포함시키지 않고 단지 이미지 도함수만을 사용한다. 또한, 본 발명에서는 종래의 블러 제거 방법에서 사용한 K의 L1 노름(norm) 대신 티코노프 정규화항을 사용한다.
수학식 6은 수학식 8과 같이 행렬식 형태로 다시 표현될 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 8
Figure WO-DOC-MATHS-8
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 8에서
Figure WO-DOC-FIGURE-17
는 다섯 개의
Figure WO-DOC-FIGURE-18
로 구성된 행렬을 의미하고,
Figure WO-DOC-FIGURE-19
는 블러 커널 K의 벡터를 의미한다. 또한,
Figure WO-DOC-FIGURE-20
는 다섯 개의
Figure WO-DOC-FIGURE-21
로 구성된 행렬을 의미한다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 8을 최소화하기 위해 켤레 구배법(CG)를 사용하면,
Figure WO-DOC-FIGURE-22
의 그라디언트는 수학식 9와 같이 정의된다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 9
Figure WO-DOC-MATHS-9
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 9에서
Figure WO-DOC-FIGURE-23
의 계산은
Figure WO-DOC-FIGURE-24
의 크기로 인해 많은 시간을 요구한다. 레이턴트 이미지 L과 블러 커널 K의 크기가 각각 n×n 및 m×m인 경우
Figure WO-DOC-FIGURE-25
의 크기는 5n2×m2이 된다. 따라서,
Figure WO-DOC-FIGURE-26
의 직접적인 계산은 엄청난 계산량과 큰 저장 용량을 요구한다. 비록
Figure WO-DOC-FIGURE-27
의 크기는 m2×m2로 상대적으로 작지만 여전히 계산에 많은 시간을 필요로 한다.
[규칙 제26조에 의한 보정 24.11.2009]　
그러나,
Figure WO-DOC-FIGURE-28
가 다섯개의
Figure WO-DOC-FIGURE-29
와 K 간의 컨볼루션에 상응하기 때문에 고속 푸리에 변환을 이용하여 계산 속도를 향상시킬 수 있다. 특히,
Figure WO-DOC-FIGURE-30
의 계산은 여섯 번의 고속 푸리에 변환이 필요하다. 즉, 한 번의
Figure WO-DOC-FIGURE-31
과 다섯 번의
Figure WO-DOC-FIGURE-32
의 고속 푸리에 변환이 필요하다. 여기서,
Figure WO-DOC-FIGURE-33
및
Figure WO-DOC-FIGURE-34
은 각각 푸리에 변환(forward FFT) 및 역 푸리에 변환(inverse FFT)을 의미하고,
Figure WO-DOC-FIGURE-35
는 픽셀별 곱셈을 의미한다.
Figure WO-DOC-FIGURE-36
는 켤레 구배법(CG)의 계산 전에 미리 계산할 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
상술한 방법과 유사하게 여섯 번의 고속 푸리에 변환을 통해
Figure WO-DOC-FIGURE-37
(여기서,
Figure WO-DOC-FIGURE-38
)의 계산 속도를 향상시킬 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
결과적으로, 켤레 구배법(CG)의 각 반복 단계에서 그라디언트
Figure WO-DOC-FIGURE-39
의 계산에 총 12번의 고속 푸리에 변환이 수행된다. 그리고, 전처리 단계에서
Figure WO-DOC-FIGURE-40
뿐만 아니라
Figure WO-DOC-FIGURE-41
도 고속 푸리에 변환을 통해 계산할 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
본 발명에서는 고속 푸리에 변환의 회수를 감소시킴으로써 계산 속도를 더욱 향상시키기 위해
Figure WO-DOC-FIGURE-42
와
Figure WO-DOC-FIGURE-43
를 연관시켜
Figure WO-DOC-FIGURE-44
를 직접적으로 계산한다.
Figure WO-DOC-FIGURE-45
는 수학식 10과 같이 표현될 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 10
Figure WO-DOC-MATHS-10
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 10에서,
Figure WO-DOC-FIGURE-46
는
Figure WO-DOC-FIGURE-47
의 켤레 복소수(complex conjugate)를 의미한다.
Figure WO-DOC-FIGURE-48
는 켤레 구배법(CG)의 반복 이전에 미리 계산될 수 있다. 따라서, 그라디언트 계산에 단지 두 번의 고속 푸리에 변환이 수행되기 때문에 고속 푸리에 변환 회수를 10회 감소시킬 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
상술한 바와 같은 효율적인 계산은 수학식 6에서 픽셀 값을 사용하지 않고 이미지 도함수만을 사용하는데서 기인한다. 즉, 본 발명에서는 단지 이미지 편미분만을 사용하기 때문에
Figure WO-DOC-FIGURE-49
를 계산하기 전에 이미지의 경계(boundary)를 편미분 값이 0인 값들을 가지는 영역으로 확장함으로써 이미지 경계 문제를 회피한다.
상기 수학식 6의 최적화 이후, 가장 큰 값의 1/20보다 작은 값을 가지는 요소들을 0으로 설정한 후, 0이 아닌 값들에 대해서는 합계가 1이 되도록 정규화한다.
계산 최적화 과정에서 최적화 수렴을 위한 반복 수행 회수 및 수렴 속도는 매우 중요하다. 본 발명의 일 실시예에 따른 블러 커널 추정 방법은 픽셀 값을 포함하는 종래의 경우보다 매우 빠른 속도로 계산이 최적화된다.
도 5는 본 발명의 일 실시예에 따른 블러 커널 추정의 수렴 속도를 종래의 블러 커널 추정 방법과 비교하여 나타낸 것이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 블러 커널 추정은 수 회 이내의 반복을 통해 획기적으로 블러 커널 추정 에러가 감소하지만, 픽셀 값을 이용하는 종래의 블러 커널 추정 방법은 본 발명에 비해 블러 커널 추정 에러가 더욱 천천이 감소함을 알 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
상기한 바와 같이 계산 최적화의 빠른 수렴은 수학식 9에서 행렬
Figure WO-DOC-FIGURE-50
의 잘 정의된 조건에 기인한다.
Figure WO-DOC-FIGURE-51
는 수학식 11과 같이 표현될 수 있다.
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 11
Figure WO-DOC-MATHS-11
[규칙 제26조에 의한 보정 24.11.2009]　
수학식 11에서
Figure WO-DOC-FIGURE-52
는
Figure WO-DOC-FIGURE-53
로 정의된다. 여기서,
Figure WO-DOC-FIGURE-54
는
Figure WO-DOC-FIGURE-55
에 의존하는 양에 의해 쉬프트된 후의
Figure WO-DOC-FIGURE-56
의 벡터 표현이다. 이미지 편미분은 에지 픽셀을 제외하고는 일반적으로 0에 가깝다. 따라서,
Figure WO-DOC-FIGURE-57
의 성분 값은 대각(diagonal) 영역에서는 큰 값을 가지고, 대각선이 아닌 영역(off-diagonal region)에서는 급격하게 작은 값이 된다.
블러 커널 추정 속도의 비교를 위해, 티코노프 정규화항이 커널 추정의 정규화항에 사용된 것을 제외하고 에너지 함수가 "Shan et al. 2008"과 동일한 상태에서 커널 추정 방법을 고려한다. 여기서, 티코노프 정규화항이 이용된 "Shan et al. 2008"을 "Shan-L2"라 지칭한다.
"Shan et al. 2008"의 원래 버전은 에너지 함수의 정규화항에 L1노름을 사용하기 때문에 더 많은 계산량을 필요로 한다. 또한, 상기 "Shan et al. 2008"의 원래 버전에서 커널 추정 단계에서는 엄청난 크기의 행렬이 생성되기 때문에 메모리 부족 및 과도한 계산량을 초래하는 단점이 있다.
반면에 본 발명의 일 실시예에 따른 블러 커널 추정은 각 켤레 구배법(CG)의 수행 단계에서 두 번의 고속 푸리에 변환을 수행하지만, "Shan-L2"는 한 장의 픽셀 값 이미지와 다섯 장의 편미분된 이미지로 구성된 여섯 장의 이미지를 사용하기 때문에 총 14번의 고속 푸리에 변환을 수행한다. 또한, "Shan-L2"는 픽셀 값을 사용하기 때문에 본 발명보다 더 많은 반복 수행이 필요하다.
도 5에 도시된 바와 같이 본 발명의 일 실시예에 따른 블러 커널 추정 방법에서는 5번의 켤레 구배법(CG) 처리를 반복하여 수행하였으나, 유사한 정확도를 얻기 위해 "Shan-L2"는 30번의 반복 수행이 필요함을 알 수 있다.
결과적으로, 본 발명의 일 실시예에 따른 블러 커널 추정 방법은 "Shan-L2"에 비해 40배 이상 빠르며, 픽셀 값을 사용하는 종래의 다른 방법들 보다도 10배 이상 빠르다.
도 6은 본 발명의 일 실시예에 따른 블러 커널 추정의 정확도를 나타낸다.
본 발명의 일 실시예에 따른 커널 추정 방법의 정확도를 검증하기 위해 서로 다른 가우시안 잡음을 부가한 테스트 이미지를 이용하여 본 발명과 픽셀 값을 사용하는 종래의 방법을 비교하였다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 커널 추정 방법에서는 픽셀 값을 사용하지 않음에도 불구하고 픽셀 값을 사용한 종래의 커널 추정 방법과 실질적으로 동일한 정확도를 가진다. 또한, 일부의 경우에는 본 발명의 커널 추정 방법이 픽셀 값을 제외함으로써 얻어지는 잘 정의된 계산 체계로 인해 픽셀 값을 사용하는 종래의 커널 추정 방법보다 더 우수한 정확도를 가진다.
도 7은 본 발명의 일 실시예에 따른 이미지의 블러 추정 방법을 이용하여 블러가 제거된 이미지를 나타낸다.
도 7을 참조하면, 추정된 블러 커널은 원래의 블러 커널과 실질적으로 동일하고, 블러가 제거된 이미지는 원본 이미지의 섬세한 디테일을 정확하게 복원되었음을 알 수 있다.
도 8은 본 발명의 일 실시예에 따른 이미지의 블러 추정 방법을 이용하여 블러가 제거된 실제 이미지를 나타낸다. 도 8에 도시된 각 이미지들은 서로 다른 복잡한 형상(complex structures) 및 카메라 모션(camera motions)을 포함한다.
도 8을 참조하면, 블러가 제거된 각 이미지는 선명한 에지가 상당히 강화되어 객체의 형태와 구조를 더욱 분명하게 나타냄을 알 수 있다.
도 9는 도 8에 도시된 이미지들의 블러 제거에 소요된 처리 시간을 나타낸다.
실험 환경은 MS Windows XP(32bit) 기반의 Intel Core 2 CPU 2.66GHz, 3.25GB RAM, NVIDIA GeForce GTX 그래픽 카드를 가지는 PC이다. 실험을 위하여 구현된 블러 제거 방법은 그래픽 카드의 GPU 가속 기능을 이용하여 구현되었다. 도 9를 참조하면, 본 발명의 일 실시예에 따른 이미지의 블러 제거 방법은 커널 크기가 큰 경우에도 입력된 블러가 포함된 이미지로부터 수 초 이내에 블러를 제거할 수 있음을 보여준다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (9)

  1. 블러가 포함된 이미지를 제공받는 단계;
    제공된 상기 블러가 포함된 이미지로부터 블러가 없는 이미지를 추정 하는 이미지 추정 단계;
    상기 블러가 포함된 이미지 및 추정된 상기 블러가 없는 이미지로부터 블러 정보를 추정하는 블러 정보 추정 단계; 및
    상기 블러가 포함된 이미지 및 추정된 상기 블러 정보에 기초하여 상기 블러가 포함된 이미지에서 블러를 제거하는 블러 제거 단계를 포함하되,
    상기 이미지 추정 단계 및 상기 블러 정보 추정 단계는 반복적으로 수행하는 것을 특징으로 하는 이미지의 블러 제거 방법.
  2. 제1항에 있어서, 상기 선명한 이미지 추정 단계는,
    상기 블러가 포함된 이미지의 그라디언트(gradient) 정보를 예측하는 그라디언트 정보 예측 단계; 및
    상기 추정된 블러 정보 및 상기 블러가 포함된 이미지에 기초하여 제1 디컨볼루션을 수행하는 제1 디컨볼루션 수행 단계를 포함하는 것을 특징으로 하는 이미지의 블러 제거 방법.
  3. 제2항에 있어서, 상기 그라디언트 정보 예측 단계는,
    상기 블러가 포함된 이미지에 양방향 필터를 적용하는 단계;
    상기 양방향 필터가 적용된 이미지에 쇼크 필터를 적용하는 단계;
    상기 쇼크 필터가 적용된 이미지의 그라디언트 맵을 산출하는 단계;
    산출된 상기 그라디언트 맵에 임계값을 적용하는 단계를 포함하는 것을 특징으로 하는 이미지의 블러 제거 방법.
  4. 제3항에 있어서, 상기 산출된 상기 그라디언트 맵에 임계값을 적용하는 단계는,
    상기 산출된 그라디언트의 방향 및 크기에 기초하여 히스토그램을 생성하는 단계;
    상기 생성된 히스토그램에 포함된 각 방향에 상응하는 블러 정보의 수직 및 수평 크기 중 최대값의 소정 배수 이상의 픽셀을 포함할 수 있는 그라디언트의 크기를 임계값으로 설정하는 단계; 및
    설정된 상기 임계값을 상기 그라디언트 맵에 적용하여 그라디언트를 생략(truncate)하는 단계를 포함하는 이미지의 블러 제거 방법.
  5. 제4항에 있어서, 상기 설정된 상기 임계값을 상기 그라디언트 맵에 적용하여 그라디언트를 생략(truncate)하는 단계는,
    상기 임계값보다 작은 그라디언트를 0으로 설정하는 것을 특징으로 하는 이미지의 블러 제거 방법.
  6. 제4항에 있어서, 상기 블러 정보 추정 단계는,
    상기 블러가 포함된 이미지 및 상기 생략된 그라디언트에 기초하여 상기 블러 정보를 추정하는 것을 특징으로 하는 이미지의 블러 제거 방법.
  7. 제4항에 있어서, 상기 블러 정보 추정 단계는,
    픽셀 값을 포함시키지 않고 이미지 도함수만을 포함하는 에너지 함수를 이용하여 블러 정보를 추정하는 것을 특징으로 하는 이미지의 블러 제거 방법.
  8. 제1항에 있어서, 상기 이미지 추정 단계 및 상기 블러 정보 추정 단계는,
    상기 블러가 포함된 이미지 및 상기 추정된 블러가 없는 이미지의 해상도를 변화시키면서 반복적으로 수행되는 것을 특징으로 하는 이미지의 블러 제거 방법.
  9. 이미지에 포함된 블러의 제거를 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록 매체에 있어서,
    블러가 포함된 이미지를 제공받는 단계;
    제공된 상기 블러가 포함된 이미지로부터 블러가 없는 이미지를 추정 하는 이미지 추정 단계;
    상기 블러가 포함된 이미지 및 추정된 상기 블러가 없는 이미지로부터 블러 정보를 추정하는 블러 정보 추정 단계; 및
    상기 블러가 포함된 이미지 및 추정된 상기 블러 정보에 기초하여 상기 블러가 포함된 이미지에서 블러를 제거하는 블러 제거 단계를 수행하되,
    상기 이미지 추정 단계 및 상기 블러 정보 추정 단계는 반복적으로 수행하는 프로그램을 기록한 기록 매체.
PCT/KR2009/005825 2008-12-31 2009-10-12 이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체 Ceased WO2010076945A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200980155499.0A CN102326379B (zh) 2008-12-31 2009-10-12 从图像中去除模糊的方法
DE112009004059.4T DE112009004059B4 (de) 2008-12-31 2009-10-12 Verfahren zum Entfernen von Unschärfe von einem Bild und Aufzeichnungsmedium, auf dem das Verfahren aufgezeichnet ist

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0138195 2008-12-31
KR1020080138195A KR100990791B1 (ko) 2008-12-31 2008-12-31 영상의 블러 제거 방법 및 블러 제거 방법이 기록된 기록매체

Publications (2)

Publication Number Publication Date
WO2010076945A2 true WO2010076945A2 (ko) 2010-07-08
WO2010076945A3 WO2010076945A3 (ko) 2010-08-12

Family

ID=42285081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/005825 Ceased WO2010076945A2 (ko) 2008-12-31 2009-10-12 이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체

Country Status (6)

Country Link
US (1) US8380000B2 (ko)
JP (1) JP4938070B2 (ko)
KR (1) KR100990791B1 (ko)
CN (1) CN102326379B (ko)
DE (1) DE112009004059B4 (ko)
WO (1) WO2010076945A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056212A (ko) * 2019-11-08 2021-05-18 한국전기연구원 하이브리드 펄스를 이용한 엑스선 영상 획득 및 처리 방법, 장치 및 시스템

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011049565A1 (en) * 2009-10-21 2011-04-28 Hewlett-Packard Development Company, L.P. Real-time video deblurring
JP5184574B2 (ja) * 2010-04-30 2013-04-17 パナソニック株式会社 撮像装置、画像処理装置、および画像処理方法
CN101986345B (zh) * 2010-11-04 2012-06-06 浙江大学 一种图像去模糊方法
US9535537B2 (en) * 2010-11-18 2017-01-03 Microsoft Technology Licensing, Llc Hover detection in an interactive display device
CN102572201B (zh) * 2010-12-31 2015-01-28 北京大学 一种图像网纹去除方法及系统
KR101839617B1 (ko) * 2011-07-11 2018-03-19 포항공과대학교 산학협력단 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
US8705881B2 (en) * 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JP2013152583A (ja) * 2012-01-25 2013-08-08 Nagoya Institute Of Technology 画像処理装置
CN102708541B (zh) * 2012-02-22 2015-01-14 贵州大学 微扰法解图像模糊
KR101810876B1 (ko) * 2012-03-13 2018-01-26 삼성전자주식회사 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
WO2013148139A1 (en) 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image and point spread function cost functions with spatial mask fidelity
US9262815B2 (en) 2012-03-29 2016-02-16 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US9202265B2 (en) * 2012-04-30 2015-12-01 Nikon Corporation Point spread function cost function with non-uniform weights
US8867856B2 (en) 2012-11-12 2014-10-21 Adobe Systems Incorporated De-noising image content using directional filters for image de-blurring
CN103337055B (zh) * 2013-06-24 2016-07-20 暨南大学 一种基于梯度拟合的文本图像去模糊方法
WO2015017194A1 (en) * 2013-07-29 2015-02-05 Nikon Corporation Multiple phase method for image deconvolution
US9430817B2 (en) 2013-11-12 2016-08-30 Microsoft Technology Licensing, Llc Blind image deblurring with cascade architecture
US9659351B2 (en) * 2014-03-12 2017-05-23 Purdue Research Foundation Displaying personalized imagery for improving visual acuity
CN104932868B (zh) * 2014-03-17 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
CN105096261B (zh) * 2014-05-13 2018-04-17 北京大学 图像处理装置和图像处理方法
CN105469363B (zh) 2014-09-05 2018-05-18 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置
CN104794691B (zh) * 2015-04-07 2017-06-23 浙江大学 利用广义高斯模型进行单张失焦图像清晰重建的方法
KR101624503B1 (ko) 2015-05-11 2016-05-26 한화탈레스 주식회사 번짐 영상의 복원 방법
CN105493140B (zh) * 2015-05-15 2018-02-02 北京大学深圳研究生院 图像去模糊方法及系统
KR101596203B1 (ko) * 2015-06-16 2016-02-22 중앙대학교 산학협력단 모션 블러 이미지 복원 방법 및 장치
JP6541454B2 (ja) * 2015-06-17 2019-07-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017010092A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR101671391B1 (ko) * 2015-07-07 2016-11-02 한국과학기술연구원 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
US9852330B1 (en) 2015-07-27 2017-12-26 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
US11354881B2 (en) 2015-07-27 2022-06-07 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
CN105512461B (zh) * 2015-11-26 2019-02-12 深圳市华星光电技术有限公司 背光源mura值的计算方法、系统及检测装置
CN105957043B (zh) * 2016-06-22 2018-12-14 西北工业大学 基于梯度自动激活的模糊图像盲复原方法
WO2018097677A1 (en) 2016-11-28 2018-05-31 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and computer-readable recording medium thereof
KR101862490B1 (ko) 2016-12-13 2018-05-29 삼성전기주식회사 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
US10628995B2 (en) 2017-04-17 2020-04-21 Microsoft Technology Licensing, Llc Anti-aliasing of graphical elements defined based on functions
CN107610056B (zh) * 2017-08-11 2020-08-11 南京信息工程大学 基于全变分的混合加权维纳滤波图像去噪方法
US11276159B1 (en) 2018-05-15 2022-03-15 United Launch Alliance, L.L.C. System and method for rocket engine health monitoring using digital image correlation (DIC)
KR102126916B1 (ko) 2018-11-30 2020-06-26 동국대학교 산학협력단 블러된 영상 복원을 위한 장치 및 방법
CN110874826B (zh) * 2019-11-18 2020-07-31 北京邮电大学 应用于离子束精准镀膜的工件图像去雾化方法及装置
US20220405882A1 (en) * 2021-06-22 2022-12-22 Gopro, Inc. Convolutional neural network super-resolution system and method
DE102021004828B4 (de) 2021-09-24 2025-12-11 Mercedes-Benz Group AG Verfahren zur kamerabasierten Bestimmung eines Abstands in einem Fahrzeuginnenraum und Fahrzeug mit einer Kamera
US12555206B2 (en) 2021-12-20 2026-02-17 POSTECH Research and Business Development Foundation Inverse kernel-based defocus deblurring method and apparatus
CN116612048B (zh) * 2023-07-17 2023-09-26 山东产研卫星信息技术产业研究院有限公司 一种光学卫星遥感影像去模糊处理方法及系统
CN118822962B (zh) * 2024-06-21 2025-04-08 长光卫星技术股份有限公司 一种高分辨率光学遥感影像模糊退化自动监测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832839A (ja) * 1994-07-19 1996-02-02 Sharp Corp 雑音除去装置
JP4344968B2 (ja) 1999-10-28 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
KR100688536B1 (ko) 2005-03-09 2007-03-02 삼성전자주식회사 영상신호 잡음제거장치 및 영상신호 잡음제거방법
CN1904941A (zh) * 2005-07-29 2007-01-31 清华大学 一种图像处理中的去模糊方法
US20070165961A1 (en) * 2006-01-13 2007-07-19 Juwei Lu Method And Apparatus For Reducing Motion Blur In An Image
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP2007334457A (ja) * 2006-06-12 2007-12-27 Toshiba Corp 画像処理装置及び画像処理方法
US20080137978A1 (en) * 2006-12-07 2008-06-12 Guoyi Fu Method And Apparatus For Reducing Motion Blur In An Image
JP4799428B2 (ja) * 2007-01-22 2011-10-26 株式会社東芝 画像処理装置及び方法
KR101399012B1 (ko) * 2007-09-12 2014-05-26 삼성전기주식회사 영상 복원 장치 및 방법
JP2009182576A (ja) * 2008-01-30 2009-08-13 Canon Inc 画像処理装置、撮像装置、印刷装置及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056212A (ko) * 2019-11-08 2021-05-18 한국전기연구원 하이브리드 펄스를 이용한 엑스선 영상 획득 및 처리 방법, 장치 및 시스템
KR102801623B1 (ko) 2019-11-08 2025-05-07 한국전기연구원 하이브리드 펄스를 이용한 엑스선 영상 획득 및 처리 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US20100166332A1 (en) 2010-07-01
KR100990791B1 (ko) 2010-10-29
JP2010157210A (ja) 2010-07-15
CN102326379A (zh) 2012-01-18
DE112009004059T5 (de) 2012-07-12
KR20100079658A (ko) 2010-07-08
JP4938070B2 (ja) 2012-05-23
US8380000B2 (en) 2013-02-19
WO2010076945A3 (ko) 2010-08-12
CN102326379B (zh) 2014-11-05
DE112009004059B4 (de) 2017-07-27

Similar Documents

Publication Publication Date Title
WO2010076945A2 (ko) 이미지의 블러 제거 방법 및 이미지의 블러 제거 방법이 기록된 기록매체
Cho et al. Fast motion deblurring
EP2189939B1 (en) Image restoration from multiple images
Faramarzi et al. Unified blind method for multi-image super-resolution and single/multi-image blur deconvolution
Tom et al. Reconstruction of a high resolution image from registration and restoration of low resolution images
WO2022092900A1 (en) Method and device for training a super-resolution network
US20130058588A1 (en) Motion Deblurring Using Image Upsampling
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
WO2016183716A1 (zh) 图像去模糊方法及系统
KR20130104258A (ko) 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
Repetti et al. A penalized weighted least squares approach for restoring data corrupted with signal-dependent noise
CN111047544A (zh) 一种基于非线性退化模型的饱和图像去模糊方法
Xu et al. Image deblurring with blur kernel estimation in RGB channels
CN103093436B (zh) 利用图像局部结构方向导数的模糊核多尺度迭代估计方法
WO2022270854A1 (ko) 선예도 개선을 위한 심층 기울기 사전정보기반 l0 스무딩 방법
CN117115044A (zh) 图像盲去运动模糊方法、装置、电子设备及存储介质
Mery et al. A fast non-iterative algorithm for the removal of blur caused by uniform linear motion in X-ray images
Wang et al. Color image restoration based on saturation-value total variation plus L1 fidelity
JP4859516B2 (ja) 画像処理装置および画像復元方法
Ono et al. Poisson image restoration with likelihood constraint via hybrid steepest descent method
van Zwanenberg et al. A tool for deriving camera spatial frequency response from natural scenes (NS-SFR)
WO2024111931A1 (en) Airy-disk correction for deblurring image
Subbarao et al. Localized and computationally efficient approach to shift-variant image deblurring
Ng et al. Regularized blind deconvolution using recursive inverse filtering
LI et al. Double-channel cyclic image deblurring algorithm based on edge features.

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980155499.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09836266

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 112009004059

Country of ref document: DE

Ref document number: 1120090040594

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09836266

Country of ref document: EP

Kind code of ref document: A2