WO2012027931A1 - 失真图像处理方法及装置 - Google Patents

失真图像处理方法及装置 Download PDF

Info

Publication number
WO2012027931A1
WO2012027931A1 PCT/CN2010/079275 CN2010079275W WO2012027931A1 WO 2012027931 A1 WO2012027931 A1 WO 2012027931A1 CN 2010079275 W CN2010079275 W CN 2010079275W WO 2012027931 A1 WO2012027931 A1 WO 2012027931A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distortion
terminal
parameter
distorted
Prior art date
Application number
PCT/CN2010/079275
Other languages
English (en)
French (fr)
Inventor
刘专
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to US13/382,750 priority Critical patent/US8649630B2/en
Priority to EP10854843.9A priority patent/EP2450847A4/en
Publication of WO2012027931A1 publication Critical patent/WO2012027931A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to the field of image processing technologies, and in particular, to a distortion image processing method and apparatus. Background technique
  • MID Mobile Internet Devices
  • other terminals quickly integrated into people's lives, shooting has become an important part of daily life.
  • the image When shooting with the terminal, the image may be blurred due to the shaking of the hand or the movement of the subject, that is, the image may be distorted.
  • the technical problem to be solved by the present invention is to provide a distortion image processing method and apparatus, thereby ensuring that the terminal restores the distorted image to a clear image.
  • the present invention provides the following solutions:
  • a distortion image processing method comprising:
  • the terminal After performing the image conversion processing on the acquired distortion image, the terminal acquires the distortion parameter of the distortion image;
  • the terminal performs recovery processing on the distorted image based on the distortion parameter.
  • the terminal performs image conversion processing on the acquired distortion image, including:
  • the terminal performs image conversion processing on a partial region of the selected distorted image.
  • obtaining distortion parameters of the distortion image includes:
  • the terminal converts the acquired distortion image to a corresponding spectral domain image
  • the terminal acquires the distortion parameter based on the spectrum domain image.
  • obtaining distortion parameters of the distortion image includes:
  • the terminal converts the acquired distortion image to a corresponding cepstrum domain image
  • the terminal acquires the distortion parameter based on the cepstrum domain image.
  • Converting the distortion image to the corresponding cepstrum domain image by the terminal includes:
  • the terminal converts the distorted image g( X , Fourier transform to obtain the distorted image g( X , corresponding spectral domain image G ( M , V );
  • the distortion parameter according to the cepstrum domain image includes:
  • the terminal extracts an edge map of the cepstrum domain image to obtain a binary image
  • Sil ⁇ ⁇ sin (" + ; where x ., y. a coordinate parameter of a pixel in the binary image;
  • the terminal determines an angle component corresponding to the accumulated array having a maximum value as a distortion angle in the distortion parameter.
  • the distortion parameter according to the cepstrum domain image includes:
  • the terminal rotates the cepstrum domain image by a distortion angle in the distortion parameter to obtain a two-dimensional image matrix
  • the terminal averages the two-dimensional image matrix by columns to obtain a row vector
  • the terminal determines the position of the first negative value of the real part of the row vector in the vector as the distortion length in the distortion parameter.
  • a distorted image processing apparatus comprising:
  • An obtaining module configured to obtain a distortion parameter of the distortion image after performing image conversion processing on the acquired distortion image
  • the obtaining module includes:
  • a conversion unit configured to perform image conversion processing on the distorted image, the image conversion processing including converting the distorted image to a corresponding spectral domain image or a cepstrum domain image;
  • a parameter obtaining unit configured to acquire a distortion parameter in the corresponding image after the conversion unit converts.
  • the obtaining module includes:
  • a selecting unit configured to select a partial image in the distorted image, so that the acquiring module obtains a distortion parameter of the distorted image after performing image conversion processing on the selected partial distorted image.
  • the distortion image processing method and apparatus obtains distortion parameters of the distortion image by performing image conversion processing on the acquired distortion image by the terminal; the terminal corrects the distortion based on the distortion parameter. The image is restored. This ensures that the terminal can quickly and accurately restore the distorted image to a clear image, improving the user's experience.
  • FIG. 1 is a schematic flowchart of a method for processing a distorted image according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a schematic diagram of a method for processing a distorted image according to an embodiment of the present invention
  • FIG. detailed description is a schematic flowchart of a method for processing a distorted image according to an embodiment of the present invention
  • the distortion image processing method provided by the embodiment of the present invention, as shown in FIG. 1, may specifically include the following steps:
  • Step 11 After performing the image conversion processing on the obtained distortion image, the terminal acquires a distortion parameter of the distortion image;
  • Step 12 The terminal performs recovery processing on the distortion image based on the distortion parameter. Therefore, the terminal with shooting function can quickly and accurately restore the distorted image to a clear image, thereby improving the user experience.
  • the clear scene image can be set to / ( x , , T is the total exposure time, X. W, W respectively represent the displacement of the pixel in the horizontal ⁇ direction and the vertical direction in the image of the moment included in T), the system
  • the distorted image g( x ) is an image ( x , integrated with time and superimposed with random noise.
  • Fourier transform is performed on the above equation, and transformed by Euler's formula and trigonometric function formula)
  • the parameter ", V is the distortion image in the corresponding spectral domain image G (" , v) position parameter.
  • the point spread function causing image distortion may include two important parameters, one of which is the distortion angle in the embodiment of the present invention, which may start in the horizontal right direction; the second is the distortion length. It represents the range of trajectories in which a pixel is distorted with displacement. Then, after estimating the above two parameters, the image processing method can be used to recover the distorted image.
  • the estimation of the distortion parameter can be performed based on the spectral domain image corresponding to the distorted image. Normally, when the distortion angle is 0, the size of H ( u , can be:
  • TtuL is a normalized sine function in the field of digital signal processing and communication.
  • the distortion length L can be estimated based on the coordinate parameter of the first zero point of G (", V).
  • the estimation of the distortion parameter may also be performed in the cepstrum domain image corresponding to the distorted image.
  • the existing distortion image g( X , the conversion formula to the cepstrum domain can be:
  • the existing formula and the partial definition are transformed, as follows:
  • G(u, v) ⁇ log(l+ ⁇ G(u, v) ⁇ ) ⁇ 2 .
  • the direction of the line is fitted from the spectral domain image dark line in the cepstrum domain image, and the subscript parameter of the distortion angle from C ⁇ (g) can be derived.
  • the distortion length L is introduced.
  • the process of calculating the distortion angle may specifically include:
  • the cumulative array AA is obtained, and the maximum value of the accumulated array AA is found, and the corresponding component can be the distorted image g. ( x , the distortion angle ⁇
  • Hough transform was originally proposed in the field of image edge detection. After finding the boundary point set, it needs to be connected to form a complete boundary graphic description. Hough is implemented from an empty image The mapping relationship between the parameters and the space. The basic idea is:
  • the process of extracting the distortion length from the zero crossing value subscript of ⁇ 3 ⁇ 4(g(x,j) can be as follows:
  • the cepstrum domain image c ⁇ (G(", ) is rotated by 0 degrees ( ⁇ can be the estimated distortion angle) to obtain the matrix H.
  • ⁇ can be the estimated distortion angle
  • the average value by column is obtained as a row vector " v g[] , which converts the two-dimensional data into one-dimensional data, and can determine the position of the first negative value of the real part in the vector as distortion. Length.
  • the embodiment of the present invention can bring the distortion parameter into the formula (1) to obtain the frequency domain expression of the point spread function:
  • the distortion image restoration process can be performed using the Lucy-Richardson method.
  • the optimal estimation criterion for the Lucy-Richardson recovery method is the maximum likelihood criterion, that is, to maximize the probability density function, the iterative formula can be:
  • ⁇ +1 y) ⁇ y)lK-x, -y)
  • A is the time domain expression of the point spread function.
  • Step one according to the obtained distortion parameter, a point spread function is introduced;
  • Step 2 bringing the time domain expression of the point spread function into the formula (2);
  • the number of iterations M may be 200 times;
  • Step 5: Output the restored image / ⁇ " , .
  • the terminal By performing the distortion image processing method provided by the embodiment of the present invention described above, it is ensured that the terminal quickly and accurately restores the distorted image to a clear image, thereby improving the user experience.
  • the amount of acquired three-dimensional image data is also larger, for example, a 3.2 megapixel camera can achieve resolution of 2048 pixels*1536 pixels when acquiring images, and the image file size is reached. 3M, which puts higher requirements on the hardware computing processing capability of the terminal.
  • the motion distortion operator caused by the hand shake is a distortion consistent with the entire image
  • only the portion of the distortion image can be selected for the estimation of the distortion parameter, which is not only It will not have any negative impact on the estimation of distortion parameters. Instead, it reduces the amount of data that needs to be processed, so that the terminal can obtain more accurate distortion parameters and speed up the response speed of the terminal, which brings better to the user. Experience.
  • embodiments of the present invention may employ a small window portion distorted image of 256 pixels * 256 pixels for distortion parameter estimation.
  • the partial distortion image selection process involved in the embodiment of the present invention may be selected by the user through the display screen in the acquired distortion image, or may be set by the system to any small area of the image matrix, such as a small area from the upper left corner. Determined as the estimated area of the distortion parameter.
  • the acquired distortion image can be subjected to noise cancellation processing. Specifically, random noise cancellation can be performed on the acquired distortion image by using a median filtering method or the like.
  • Step 21 The terminal acquires a distorted image.
  • Step 22 The terminal performs noise cancellation processing on the acquired distortion image.
  • Step 23 The terminal selects a part of the image in the distorted image.
  • Step 24 The terminal performs image conversion processing on the selected partial distortion image.
  • the terminal may convert the selected partial distortion image to a corresponding spectral domain image.
  • the terminal may convert the selected partial distortion map to the corresponding cepstral domain image.
  • Step 25 The terminal acquires a distortion parameter in the converted image.
  • the process of obtaining the distortion parameter can be referred to the above description relating to the embodiment of the present invention.
  • Step 26 The terminal performs recovery processing on the distortion image based on the acquired distortion parameter.
  • recovery processing of the distorted image reference may be made to the above description relating to the embodiment of the present invention.
  • Step 27 The terminal outputs the restored image.
  • the terminal can output the restored image through a display screen, a printer, or the like.
  • the embodiment of the invention further provides a distortion image processing device, which may specifically include an acquisition module 31 and a recovery module 32. among them
  • the obtaining module 31 is configured to obtain distortion parameters of the distortion image after performing image conversion processing on the acquired distortion image;
  • the recovery module 32 is configured to perform recovery processing on the distortion image based on the distortion parameter acquired by the acquisition module 31.
  • the obtaining module 31 may specifically include:
  • the converting unit 311 is configured to perform image conversion processing on the distorted image
  • the parameter obtaining unit 312 is configured to acquire a distortion parameter in the corresponding image after the conversion by the conversion unit 311.
  • the converting unit 311 can convert the distorted image to the corresponding spectral domain image. Specifically, the converting unit 311 can obtain the distortion image g( x , obtained by Fourier transform Corresponding spectral domain image, .
  • the converting unit 311 can also convert the distorted image to the corresponding scrambled spectral domain image.
  • the process can be specifically as follows:
  • G(w,v)
  • the parameter obtaining unit 312 may specifically obtain the distortion parameter in the spectrum domain image corresponding to the distortion image.
  • the distortion parameter may specifically include a distortion angle and a distortion length.
  • a distortion angle By analyzing the Fourier spectral domain characteristics of the distorted image, it can be found that there are obvious parallel and equally spaced dark lines on the plane of the spectral domain image corresponding to the distorted image. The direction of the dark lines is perpendicular to the image distortion direction. These equidistant lines, the response The distortion length L. From the direction of the straight line, the distortion angle can be inferred. Therefore, the parameter acquisition unit 312 can perform estimation of the distortion parameter based on the spectral domain image corresponding to the distortion image.
  • the parameter obtaining unit 312 may specifically obtain the distortion parameter in the inverted spectrum domain image corresponding to the distortion image.
  • the parameter acquisition unit 312 can perform an Hough transform on the edge map extracted from the cepstrum domain image, that is, the Hough transform, to obtain an accumulated array?), and find the accumulation.
  • the maximum value of the array, the corresponding 0 component can be the distortion angle of the distorted image.
  • the parameter acquisition unit 312 can rotate the cepstral domain image C ⁇ ( G (", V )) by -0 degrees when estimating the distortion length ( ⁇ can be the estimated distortion angle), the matrix is obtained, the distortion direction of the distorted image becomes horizontal; and the average is calculated as a row vector by column
  • the parameter obtaining unit 312 can determine the position of the first negative value of the real part of the "v g [] in the vector as the distortion length.
  • the obtaining module 31 may further include: a selecting unit 313, configured to select a partial image in the distorted image, so that the acquiring module 31 performs image conversion on the selected partially distorted image, and The distortion parameter is obtained in the converted corresponding image.
  • the obtaining module 31 may further include: a noise removing unit 314, configured to perform noise cancellation processing on the distortion image acquired by the terminal.
  • the noise removing unit 314 may perform random noise cancellation on the acquired distortion image by using a median filtering method or the like.
  • the recovery module 32 may specifically bring the distortion parameter acquired by the acquisition module 31 into a point spread function formula that causes image distortion, that is, in the formula (1), obtain a frequency domain expression of the point spread function:
  • the recovery module 32 then uses the inverse Fourier transform to obtain the time domain expression of the point spread function. Recovery module 32 can then utilize a variety of methods to recover the distorted image.
  • the recovery module 32 can perform the distortion image restoration process using the Lucy-Richardson method.
  • the recovery module 32 can also be used to output the restored image.
  • a complete structural schematic diagram of the distorted image processing apparatus provided by the embodiment of the present invention can be as shown in FIG.
  • the distortion image processing method and apparatus provided by the present invention acquires distortion parameters of the distortion image by performing image conversion processing on the acquired distortion image by the terminal; and the terminal performs restoration processing on the distortion image based on the distortion parameter. This ensures that the terminal can quickly and accurately restore the distorted image to a clear image, improving the user's experience.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

失真图像处理方法及装置 技术领域
本发明涉及图像处理技术领域， 具体涉及一种失真图像处理方法及装 置。 背景技术
随着相机， 以及具有拍摄功能的手机、 移动互联网设备（MID, Mobile Internet Devices )等终端迅速融入人们的生活， 拍摄已经成为日常生活的重 要组成部分。
在使用终端进行拍摄时， 由于手的抖动或者是被拍摄物体的移动等因 素， 会造成拍摄出的图像存在模糊， 即出现图像失真的情况。
而现有技术在解决图像失真时， 主要是应用在获取图像的过程中， 釆 用传感器与滚动类型快门相结合的摄像头机构来处理。 比如， 利用附接至 摄像头设备的位移传感器进行运动参数估计， 来跟踪图像传感器视景中景 物的位移， 且所使用的图像传感器相对于摄像头主体可旋转， 以便基于所 检测的位移来支持终端中的扫描功能器件调整扫描方向。 或者通过几次连 续曝光来创建增强图像， 每次曝光中的整个光敏传感器同时曝光， 并将该 系列的所有曝光进行组合以形成完整的图像。 但是， 釆用现有的运动补偿 等技术来防止获取图像过程中的运动失真， 仍然存在不同程度的图像失真 情况， 导致用户体验度降低。 发明内容
本发明所要解决的技术问题是提供一种失真图像处理方法及装置， 从 而可以确保终端将失真图像恢复至清晰图像。 为解决上述技术问题， 本发明提供方案如下：
一种失真图像处理方法， 该方法包括：
终端将获取的失真图像进行图像转换处理后， 获取失真图像的失真参 数；
终端基于所述失真参数， 对所述失真图像进行恢复处理。
所述终端将获取的失真图像进行图像转换处理包括：
终端将选取的所述失真图像的部分区域进行图像转换处理。
所述终端将获取的失真图像进行图像转换处理后， 获取失真图像的失 真参数包括：
终端将获取的失真图像转换至对应的频谱域图像；
终端基于所述频谱域图像， 获取所述失真参数。
所述终端将获取的失真图像进行图像转换处理后， 获取失真图像的失 真参数包括：
终端将获取的失真图像转换至对应的倒频谱域图像；
终端基于所述倒频谱域图像， 获取所述失真参数。
所述终端将所述失真图像转换至对应的倒频谱域图像包括：
终端将失真图像 g(X， 经过傅立叶变换， 得到所述失真图像 g(X， 对应 的频谱域图像 G(M，V)；
终端对所述 G(M，V)进行变换， 变换公式为 (M，v) = | log(l+ | G(M， |) |2； 终端对所述 ("， V)进行二维傅立叶反变换得到失真图像 g(X， 对应的倒 频谱域图像^^ ）。
所述终端基于所述倒频谱域图像， 获取所述失真参数包括：
终端提取所述倒频谱域图像的边缘图， 得到二值图像；
终端对所述二值图像进行霍夫 Hough变换， 得到累加数组 A , 所 述霍夫 Hough变换公式为 = x。c°^+y。sil^ = ^sin("+ ; 其中， x。、 y。为所 述二值图像中像素点的坐标参数；
终端将具有最大值的所述累加数组 所对应的角度 分量， 确定为 所述失真参数中的失真角度。
所述终端基于所述倒频谱域图像， 获取所述失真参数包括：
终端将所述倒频谱域图像旋转负所述失真参数中的失真角度， 得到二 维图像矩阵；
终端将所述二维图像矩阵按列求平均值， 得到行向量；
终端将所述行向量实数部的第一个负值在向量中的位置， 确定为所述 失真参数中的失真长度。
一种失真图像处理装置， 该装置包括：
获取模块， 用于将获取的失真图像进行图像转换处理后， 获取失真图 像的失真参数；
恢复模块， 用于基于所述失真参数， 对所述失真图像进行恢复处理。 所述获取模块包括：
转换单元， 用于对失真图像进行图像转换处理， 所述图像转换处理包 括将失真图像转换至对应的频谱域图像或倒频谱域图像；
参数获取单元， 用于在所述转换单元转换后的对应图像中获取失真参 数。
所述获取模块包括：
选取单元， 用于选取所述失真图像中的部分图像， 以便所述获取模块 在将选取的部分失真图像进行图像转换处理后， 获取失真图像的失真参数。
从以上所述可以看出， 本发明提供的失真图像处理方法及装置， 通过 终端将获取的失真图像进行图像转换处理后， 获取失真图像的失真参数； 终端基于所述失真参数， 对所述失真图像进行恢复处理。 从而可以确保终 端快速、 准确的将失真图像恢复至清晰图像， 提高用户的体验度。 附图说明
图 1为本发明实施例提供的失真图像处理方法流程示意图一； 图 2为本发明实施例提供的失真图像处理方法流程示意图二； 图 3为本发明实施例提供的失真图像处理装置结构示意图。 具体实施方式
本发明实施例提供的失真图像处理方法， 如附图 1 所示， 具体可以包 括以下步骤：
步骤 11 , 终端将获取的失真图像进行图像转换处理后， 获取失真图像 的失真参数；
步骤 12, 终端基于所述失真参数， 对所述失真图像进行恢复处理。 从而使具有拍摄功能的终端可快速、 准确的将失真图像恢复至清晰图 像， 提高用户的体验度。
为了便于对本发明实施例的理解， 下面对图像失真模型的建立过程进 行说明：
可设清晰的景物图像为/ (x， ， T为总曝光时间， X。W、 W分别表示 在^ 包括在 T内）时刻图像中像素点在水平 ^方向与竖直 方向的位移量， 系统叠加随机噪声为 "(x， ， 则失真图像 g(x， 时域形式的表达式可以为： g(x, y) = YJYJ h(x - y - j)f(x, y) + n(x, y) = j。 f[x― x0 (t), y - y0 (t)]dt + n(x, y) 其中， 参数 M、 N可表示为失真图像的范围参数， i、 j可表示为像素 点在图像矩阵中的位置参数。
通过上述表达式可以看出， 失真图像 g(x， 为图像 (x， 与时间的积分 并叠加了随机噪声。 对上式进行傅立叶变换， 并利用欧拉公式以及三角函 数变换公式进行变换后得到引起图像失真的点扩展函数（PSF: point-spread function ) 的频域表达式： (u, v) ~ πιι , 其中 = M Cos 6> + vsin 6> ( l ) 上述表达式中， 参数"、 V为失真图像 在对应频谱域图像 G("，v)中 的位置参数。
通过上述表达式可以看出， 引起图像失真的点扩展函数可以包括两个 重要的参数， 其一为失真角度 在本发明实施例中， 可以以水平向右方向 为起始； 其二为失真长度 它表示一个像素点随着位移而导致失真的轨迹 范围。 那么， 在估计出上述两个参数之后， 便可以利用各种图像恢复方法 对失真图像进行恢复处理。
通过分析失真图像经傅立叶变换后得到的频谱域图像特点可以发现, 失真图像对应的频谱域图像的平面上存在明显的相互平行等间距的暗紋， 暗紋的方向与图像失真方向垂直,这些等间距的直线，可以反应失真长度 L。 从直线的方向，可以推断出失真角度^ 因此，本发明的一个可选实施例中， 可以基于失真图像对应的频谱域图像进行失真参数的估计。 而通常情况下， 当失真角度 =0 时， H(u， 的大小可为：
| H(,,v) H ^^ l
7luL · sin(^wL)
其中， TtuL 为数字信号处理和通信领域理论中的归一化 sine函数，
, 1 , 2
u = ±—,士一
其在 L L 周期性的大小为零。 在去掉噪声的情况下， 根据 G(u, v) = F(u, v)H(u, v) ( ("，v)为原始图像/ (x，j 对应的频域形式表达式）， 则 相应位置的 ^"， 也为零。 所以， 本发明实一个可选实施例中， 可以根据 G("， V)的第一个零点的坐标参数 "来估计失真长度 L。 在本发明实施例提供的失真图像处理方法的一个优选实施例中， 还可 以釆用在失真图像对应的倒频谱域图像中进行失真参数的估计。 从而可以 避免在频谱域图像 G(U, V)中进行失真长度 L估计时，由于受噪声干扰或失真 范围较大等原因， 可能导致的估计值偏离实际值有较大误差的情况。
现有失真图像 g(X， 转换至倒频谱域的计算公式可为：
C g(w)) =
Figure imgf000008_0001
fft{g(x, y)) |)} . 即在失真图像 g(x， 对数功率谱上再做傅立叶反变换得到。
而本发明实施例中， 为了避免通过现有公式可能无法获取有效图像的 情况， 对现有公式以及部分定义进行了变换， 具体可如下所示：
设 G("， v)为失真图像 g(x， 对应的频谱域图像 , 则对 G(u, v)进行变换 , 令：
G(u, v) = \ log(l+ \ G(u, v) \) \2 . 对 (Μ，ν)进行二维傅立叶反变换， 即可得到本发明实施例所提供的失真 图像 y)对应的倒频谱域图像。
具体计算公式可如下所示： r ( ( 、、 -½ \ G{u, v) \ ej2^+vy)dudv
Cep(g(x, y ) = 4^ π ；
在将频谱域图像转换至倒频谱域图像之后， 从频谱域图像暗紋在倒频 谱域图像中拟合直线的方向， 可以推算出失真角度 从 C^(g ）的过零 点值下标参数可以推出失真长度 L。
在本发明的一个优选的具体实施例中，推算失真角度 的过程具体可以 包括：
通过对从倒频谱域图像提取的边缘图， 即二值图像 BW 进行霍夫 (Hough)变换， 得到累加数组 AA , 并找出累加数组 AA 的最大值， 其 对应的 分量即可为失真图像 g(x， 的失真角度^
Hough变换最初的提出是在图像边缘检测领域， 在找出边界点集之后， 需要连接起来形成完整的边界图形描述。 Hough 所实现的是一种从图像空 间到参数空间的映射关系。 其基本思想是：
1、 直角坐标 ^平面上的任意一条直线 y="x+¾ , 对应在参数平面 "6上 都有一个点与其对应；
2、 过 ^平面一个点 (x， 的所有直线， 构成参数平面 ^上的一条直线；
3、 如果点（χι， ）与点 (χ2， )共线， 那么这两点在参数平面 ^上的直线 将有一个交点；
4、在参数平面 ^上相交直线最多的点， 对应的 ^平面上的直线就是要 求的解。
在算法实现过程中，由于考虑到竖直方向的直线在参数 ^平面上的"的 值无穷大， 所以釆用另一种参数形式， c。 +jSit^ = ?, 这样， 对于 ^平 面内的点 (X。， ) , 变换公式为：
p = x0 cos ^ + j0 sin ^ = ^ sin(a + Θ) . 因此， 如果要检测图像中的直线， 可以建立二维累加数组 ^， 其元素可 以写为 对于二值图像上的每个目标点（X。J。）， 让 0依次变化而按照 = cos + y。sin0 = sin( +0)计算 , 并对 累力口： Α(ρ,θ) = Α(ρ,θ) + \ ^ 所有 的目标点计算完之后， 累加数组中最大值的点就对应了直线的参数。 因此， Hough 变换把直线检测问题转换到参数空间里对点的检测问题， 通过在参 数空间里进行简单的累加统计完成检测任务。
在本发明的一个优选的具体实施例中，从 <¾(g(x，j )的过零点值下标推 出失真长度 的获取过程可以如下所述：
将倒频谱域图像 c^(G("， )旋转- 0度 (^可为估计出的失真角度)，得到矩 阵 H,此时， 失真图像的失真方向就变为水平方向；
将 按列求平均值得出为一个行向量 "vg[] , 这样就将二维数据转化为 一维数据， 并可以将 实数部的第一个负值在向量中的位置确定为失真 长度 。
本发明实施例在获取失真参数后， 可以将失真参数带入公式（1 ) 中， 得到点扩展函数的频域表达式：
= ηπίΣ _]πα
(u,v) πιι e .
再利用傅立叶逆变换得到点扩展函数的时域表达式。 然后可以利用多 种方法来进行失真图像的恢复。
在本发明的一个优选实施例中， 可以釆用露西-理查德森 （Lucy- Richardson )方法进行失真图像恢复处理。 这是因为 Lucy-Richardson恢复 方法在当点扩展函数已知， 但是图像噪声信息未知时， 也可以使用进行有 效地失真图像恢复。 Lucy-Richardson恢复方法的最优估计准则为最大似然 准则， 即要使概率密度函数 最大， 其迭代公式可为：
Λ+1 y) = Λ y)lK-x, -y)
Figure imgf000010_0001
其中， A 为点扩展函数的时域表达式。
当上式的迭代收敛时， 公式模型的极大似然函数能够达到令人满意的 效果。
本发明实施例的具体恢复步骤可以为：
步骤一， 根据获取的失真参数， 推出点扩展函数；
步骤二， 将点扩展函数的时域表达式带入公式（2 ) 中；
步骤三， 令 A =
Figure imgf000010_0002
, 并确定迭代次数 M, 其中 为恢复处理后的图 像， g (x， 为失真图像， 为当前迭代次数。
另外， 本发明一个优选实施例中， 迭代次数 M可以为 200次； 步骤四： 进行定点迭代， 判断当前迭代次数 '·是否小于等于确定的迭代 次数 M, 当判断结构为是时， 重新执行步骤四， 根据公式（2 )式再进行一 次迭代， 并将 加一； 否者， 转至步骤五； 步骤五： 输出恢复处理后的图像/ =^" ， 。
通过执行上述本发明实施例提供的失真图像处理方法， 可确保终端快 速、 准确的将失真图像恢复至清晰图像， 从而提高用户的体验度。
随着终端所设置的摄像头像素越来越高， 获取的三维图像数据量也越 来越大，例如一个 320万像素摄像头，获取图像时可以达到 2048像素 *1536 像素的解析度， 图像文件大小达到 3M, 这对于终端的硬件计算处理能力提 出了更高的要求。 而实际上， 由于手抖动引起的运动失真算子是对整幅图 像一致的失真， 因此， 在本发明的一个优选实施例中， 可以只选取失真图 像中的部分进行失真参数的估计， 这不但不会对失真参数的估计带来任何 负面的影响， 反而由于减少了需要处理的数据量， 使终端可以获取更为准 确的失真参数， 并加快了终端的响应速度， 给用户带来更好的体验。 例如， 本发明实施例可以釆用 256像素 *256像素的小窗口部分失真图像来进行失 真参数估计。 本发明实施例所涉及的部分失真图像选取过程， 可以由用户 通过显示屏幕， 在获取的失真图像中滑动选取， 也可以由系统默认， 将图 像矩阵的任何小区域， 比如左上角起的小区域确定为失真参数的估计区域。 对于终端处理系统来说， 只需要记住选取的部分失真图像中的像素的坐标 即可。
在获取图像的过程中， 不可避免的会叠加源自暗电流和光度学因素等 随机噪声， 为了减轻随机噪声对获取失真参数的影响， 提高失真参数估计 精度， 本发明一个优选实施例中， 还可以对获取的失真图像进行噪声消除 处理。 具体的可以釆用中值滤波法等对获取的失真图像进行随机噪声消除。
下面结合附图 2,对本发明实施例提供的失真图像处理方法的一个完整 实施例进行详细的描述。
该实施例具体可以包括：
步骤 21 , 终端获取失真图像。 步骤 22, 终端对获取的失真图像进行噪声消除处理。
步骤 23 , 终端在失真图像中选取部分图像。
步骤 24, 终端对选取的部分失真图像进行图像转换处理。
具体的， 终端可以将选择的部分失真图像转换至对应的谱图域图像。 或者， 终端可以将选择的部分失真图转换至对应的倒频谱域图像。 具体转换过程可参考上述有关于本发明实施例的描述。
步骤 25 , 终端在转换后的图像中， 获取失真参数。
获取失真参数的过程可参考上述有关于本发明实施例的描述。
步骤 26, 终端基于获取的失真参数， 对失真图像进行恢复处理。 对失真图像进行恢复处理过程可参考上述有关于本发明实施例的描 述。
步骤 27, 终端输出恢复后的图像。
终端可以将恢复后的图像通过显示屏、 打印机等进行输出。
本发明实施例还提供了一种失真图像处理装置， 该装置具体可以包括 获取模块 31以及恢复模块 32。 其中
获取模块 31 , 用于将获取的失真图像进行图像转换处理后， 获取失真 图像的失真参数；
恢复模块 32, 用于基于获取模块 31获取的失真参数，对失真图像进行 恢复处理。
在本发明一个可选实施例中， 获取模块 31具体可以包括：
转换单元 311 , 用于用于对失真图像进行图像转换处理；
参数获取单元 312,用于在所述转换单元 311转换后的对应图像中获取 失真参数。
本发明实施例中， 转换单元 311 可以将失真图像转换至对应的频谱域 图像。 具体的， 转换单元 311可以将失真图像 g(x， 经傅立叶变换后， 得到 对应的频谱域图像 ， 。
本发明实施例中， 转换单元 311 还可以将失真图像转换至对应的倒频 谱域图像。 该过程具体可以如下所述：
设 G("， V)为失真图像 g(X， 对应的频谱域图像 , 则对 G(U, V)进行变换 , 令：
G(w,v) = |log(l+|G(i,v)|)|2. 对 (Μ，ν)进行二维傅立叶反变换， 即可得到本发明实施例所提供的失真 图像 y)对应的倒频谱域图像。
具体计算公式可如下所示： r ( ( 、、 -½ \G(u,v)\eJ2^+vy)dudv
Cep(g(x,y ) = 4^ π ；
本发明实施例中， 参数获取单元 312具体可以在失真图像对应的频谱 域图像中获取失真参数。
本发明实施例中， 失真参数具体可以包括失真角度 和失真长度 。 通过分析失真图像的傅立叶频谱域特点可以发现， 失真图像对应的频 谱域图像的平面上存在明显的相互平行等间距的暗紋， 暗紋的方向与图像 失真方向垂直,这些等间距的直线， 反应了失真长度 L。 从直线的方向， 可 以推断出失真角度^ 因此， 参数获取单元 312可以基于失真图像对应的频 谱域图像进行失真参数的估计。
本发明实施例中， 参数获取单元 312具体还可以在失真图像对应的倒 频谱域图像中获取失真参数。
具体的， 参数获取单元 312在推算失真角度 0时， 可以通过对从倒频谱 域图像提取的边缘图， 即二值图像 BW进行霍夫 （Hough)变换， 得到累加 数组 ? ), 并找出累加数组 的最大值， 其对应的 0分量即可为失真 图像 的失真角度 Hough变换公式具体可为： p = x0 cos Θ + y0 m d = A sin(a + Θ) . 参数获取单元 312 在推算失真长度 时， 可以将倒频谱域图像 C^(G("，V))旋转 - 0度 (^可为估计出的失真角度)， 得到矩阵 此时， 失真图 像的失真方向就变为水平方向； 并将 按列求平均值得出为一个行向量
"vg[]， 这样就将二维数据转化为一维数据， 然后， 参数获取单元 312可以 将" vg[]实数部的第一个负值在向量中的位置确定为失真长度 。
在本发明一个可选实施例中， 获取模块 31具体还可以包括： 选取单元 313 , 用于选取失真图像中的部分图像， 以便所述获取模块 31对选择的部分失真图像进行图像转换， 并在转换后的对应图像中获取失 真参数。
在本发明一个可选实施例中， 获取模块 31具体还可以包括： 除噪单元 314 , 用于对终端获取的失真图像进行噪声消除处理。
具体的， 除噪单元 314 可以釆用中值滤波法等对获取的失真图像进行 随机噪声消除。
本发明实施例中， 恢复模块 32具体可以将获取模块 31获取的失真参 数， 带入引起图像失真的点扩展函数公式， 即公式（1 ) 中， 得到点扩展函 数的频域表达式：
= sin^L _]πα
(u, v) πιι e .
恢复模块 32再利用傅立叶逆变换得到点扩展函数的时域表达式。 然后， 恢复模块 32可以利用多种方法来进行失真图像的恢复。
在本发明的一个优选实施例中， 恢复模块 32 可以釆用露西-理查德森 ( Lucy- Richardson )方法进行失真图像恢复处理。
恢复模块 32还可以用于将恢复后的图像输出。
本发明实施例提供的失真图像处理装置一个完整结构示意图可如附图 3所示。 本发明提供的失真图像处理方法及装置， 通过终端将获取的失真图像 进行图像转换处理后， 获取失真图像的失真参数； 终端基于所述失真参数， 对所述失真图像进行恢复处理。 从而可以确保终端快速、 准确的将失真图 像恢复至清晰图像， 提高用户的体验度。
以上所述仅是本发明的实施方式， 应当指出， 对于本技术领域的普通 技术人员来说， 在不脱离本发明原理的前提下， 还可以作出若干改进和润 饰， 这些改进和润饰也应视为本发明的保护范围。

Claims

权利要求书
1、 一种失真图像处理方法， 其特征在于， 该方法包括：
终端将获取的失真图像进行图像转换处理后， 获取失真图像的失真参 数；
终端基于所述失真参数， 对所述失真图像进行恢复处理。
2、 如权利要求 1所述的方法， 其特征在于， 所述终端将获取的失真图 像进行图像转换处理包括：
终端将选取的所述失真图像的部分区域进行图像转换处理。
3、 如权利要求 1或 2所述的方法， 其特征在于， 所述终端将获取的失 真图像进行图像转换处理后， 获取失真图像的失真参数包括：
终端将获取的失真图像转换至对应的频谱域图像；
终端基于所述频谱域图像， 获取所述失真参数。
4、 如权利要求 1或 2所述的方法， 其特征在于， 所述终端将获取的失 真图像进行图像转换处理后， 获取失真图像的失真参数包括：
终端将获取的失真图像转换至对应的倒频谱域图像；
终端基于所述倒频谱域图像， 获取所述失真参数。
5、 如权利要求 4所述的方法， 其特征在于， 所述终端将所述失真图像 转换至对应的倒频谱域图像包括：
终端将失真图像 g(x， 经过傅立叶变换， 得到所述失真图像 g(x， 对应 的频谱域图像 G("，v) ;
终端对所述 G("，v)进行变换， 变换公式为 ("， = | log(l+ | G(M， |) |2； 终端对所述 (Μ， v)进行二维傅立叶反变换得到失真图像 g(x， 对应的倒 频谱域图像 c^(g(x， ）。
6、 如权利要求 4所述的方法， 其特征在于， 所述终端基于所述倒频谱 域图像， 获取所述失真参数包括：
终端提取所述倒频谱域图像的边缘图， 得到二值图像；
终端对所述二值图像进行霍夫 Hough变换， 得到累加数组 AA , 所 述霍夫 Hough变换公式为 = x。c°s^y。sil^ = sin("+ ; 其中， x。、 。为所 述二值图像中像素点的坐标参数；
终端将具有最大值的所述累加数组 θ、所对应的角度 0分量， 确定为 所述失真参数中的失真角度。
7、 如权利要求 4所述的方法， 其特征在于， 所述终端基于所述倒频谱 域图像， 获取所述失真参数包括：
终端将所述倒频谱域图像旋转负所述失真参数中的失真角度， 得到二 维图像矩阵；
终端将所述二维图像矩阵按列求平均值， 得到行向量；
终端将所述行向量实数部的第一个负值在向量中的位置， 确定为所述 失真参数中的失真长度。
8、 一种失真图像处理装置， 其特征在于， 该装置包括：
获取模块， 用于将获取的失真图像进行图像转换处理后， 获取失真图 像的失真参数；
恢复模块， 用于基于所述失真参数， 对所述失真图像进行恢复处理。
9、 如权利要求 8所述的装置， 其特征在于， 所述获取模块包括： 转换单元， 用于对失真图像进行图像转换处理， 所述图像转换处理包 括将失真图像转换至对应的频谱域图像或倒频谱域图像；
参数获取单元， 用于在所述转换单元转换后的对应图像中获取失真参 数。
10、 如权利要求 8或 9所述的装置， 其特征在于， 所述获取模块包括： 选取单元， 用于选取所述失真图像中的部分图像， 以便所述获取模块 在将选取的部分失真图像进行图像转换处理后， 获取失真图像的失真参数。
PCT/CN2010/079275 2010-08-30 2010-11-30 失真图像处理方法及装置 WO2012027931A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/382,750 US8649630B2 (en) 2010-08-30 2010-11-30 Method and apparatus for processing distorted image
EP10854843.9A EP2450847A4 (en) 2010-08-30 2010-11-30 A method and device for distorted image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2010102682789A CN101937560A (zh) 2010-08-30 2010-08-30 失真图像处理方法及装置
CN201010268278.9 2010-08-30

Publications (1)

Publication Number Publication Date
WO2012027931A1 true WO2012027931A1 (zh) 2012-03-08

Family

ID=43390874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/079275 WO2012027931A1 (zh) 2010-08-30 2010-11-30 失真图像处理方法及装置

Country Status (4)

Country Link
US (1) US8649630B2 (zh)
EP (1) EP2450847A4 (zh)
CN (1) CN101937560A (zh)
WO (1) WO2012027931A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247031B (zh) * 2013-04-19 2016-03-09 华为技术有限公司 一种畸变图像校正的方法、终端及系统
DE102016211310B3 (de) * 2016-06-23 2017-07-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur messung einer aberration, abbildungssysteme und verfahren zur messung einer aberration
CN106373106B (zh) * 2016-09-21 2019-01-08 哈尔滨工业大学 基于倒频谱直线势能函数的工业图像运动模糊抑制方法
CN107317953B (zh) * 2017-06-30 2020-09-01 上海兆芯集成电路有限公司 图像获取方法及其装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735837A (zh) * 2003-01-08 2006-02-15 奥普提克斯晶硅有限公司 图像投影的系统和方法
US20070206159A1 (en) * 2002-04-08 2007-09-06 Nec Viewtechnology, Ltd. Method for correcting for distortion of projected image, program for correcting image distortion, and projection-type image display device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101288A (en) * 1997-07-28 2000-08-08 Digital Equipment Corporation Method for recovering radial distortion parameters from a single camera image
JP3429280B2 (ja) * 2000-09-05 2003-07-22 理化学研究所 画像のレンズ歪みの補正方法
US7365326B2 (en) * 2000-12-26 2008-04-29 Honeywell International Inc. Camera having distortion correction
GB2379114A (en) * 2001-08-21 2003-02-26 Sony Uk Ltd Introducing test signals into a data signal
US7884854B2 (en) * 2007-07-11 2011-02-08 Hewlett-Packard Development Company, L.P. Reducing motion blur from an image
US20090168871A1 (en) * 2007-12-31 2009-07-02 Ning Lu Video motion estimation
KR100969150B1 (ko) * 2008-09-23 2010-07-08 한양대학교 산학협력단 Ｐｓｆ 파라미터 추정을 기반으로 한 영상 복원 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206159A1 (en) * 2002-04-08 2007-09-06 Nec Viewtechnology, Ltd. Method for correcting for distortion of projected image, program for correcting image distortion, and projection-type image display device
CN1735837A (zh) * 2003-01-08 2006-02-15 奥普提克斯晶硅有限公司 图像投影的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2450847A4 *

Also Published As

Publication number Publication date
CN101937560A (zh) 2011-01-05
US8649630B2 (en) 2014-02-11
EP2450847A1 (en) 2012-05-09
US20130156325A1 (en) 2013-06-20
EP2450847A4 (en) 2017-02-01

Similar Documents

Publication Publication Date Title
JP6336638B2 (ja) 信号間の変換を推定するための信号処理装置及び方法
WO2018176938A1 (zh) 红外光斑中心点提取方法、装置和电子设备
US8208746B2 (en) Adaptive PSF estimation technique using a sharp preview and a blurred image
Ji et al. Motion blur identification from image gradients
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
US7616826B2 (en) Removing camera shake from a single photograph using statistics of a natural image
CN110992272B (zh) 基于深度学习的暗光图像增强方法、装置、设备及介质
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
WO2017112050A1 (en) Generating composite images using estimated blur kernel size
US20130271616A1 (en) Method of analyzing motion blur using double discrete wavelet transform
JP2007020167A (ja) 露光時間中に画像をキャプチャするイメージセンサアレーと少なくとも一つの運動センサを備える撮像装置により撮られたキャプチャ画像をボケ補正する方法、撮像装置、画像をボケ補正する方法およびコンピュータ読取り可能な媒体
WO2014045026A1 (en) Systems and methods for reducing noise in video streams
Chu et al. Stabilization and extraction of 2D barcodes for camera phones
WO2014070273A1 (en) Recursive conditional means image denoising
WO2012027931A1 (zh) 失真图像处理方法及装置
Zhang et al. Combining inertial measurements with blind image deblurring using distance transform
Wang et al. Digital image forgery detection based on the consistency of defocus blur
CN111833368A (zh) 一种基于相位一致性边缘检测的语音还原方法
JP4588000B2 (ja) 撮像装置および撮像方法
Bhagat et al. Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques
Wang et al. SID: Sensor-assisted image deblurring system for mobile devices
JP2006339957A (ja) 画像補正装置
Zhou Vibration extraction using rolling shutter cameras
CN110516634B (zh) 一种翻页检测方法、装置、设备及存储介质
Atanassov et al. Temporal image stacking for noise reduction and dynamic range improvement

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13382750

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010854843

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10854843

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE