JP5076758B2 - Image processing method and program - Google Patents
Image processing method and program Download PDFInfo
- Publication number
- JP5076758B2 JP5076758B2 JP2007234557A JP2007234557A JP5076758B2 JP 5076758 B2 JP5076758 B2 JP 5076758B2 JP 2007234557 A JP2007234557 A JP 2007234557A JP 2007234557 A JP2007234557 A JP 2007234557A JP 5076758 B2 JP5076758 B2 JP 5076758B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing method
- image processing
- blurred
- clear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000000034 method Methods 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 27
- 238000009499 grossing Methods 0.000 claims description 9
- 238000002945 steepest descent method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002939 conjugate gradient method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 238000013477 bayesian statistics method Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、ボケ画像から鮮明な画像の復元または低解像度画像の高精細化を行う画像処理方法およびプログラムに関する。 The present invention relates to an image processing method and program for restoring a clear image from a blurred image or increasing the definition of a low-resolution image.
従来、カメラ等の撮像装置における撮像レンズの焦点ズレ等によって生じたボケ画像を復元するために、ボケ画像からエッジ成分を抽出して、このエッジ成分を元のボケ画像に割合を変えながら付加してエッジ強調を行うことにより、画像を鮮明にする手法が用いられている。 Conventionally, in order to restore a blurred image caused by a focus shift of an imaging lens in an imaging device such as a camera, an edge component is extracted from the blurred image and added to the original blurred image while changing the ratio. Thus, a method of sharpening an image by performing edge enhancement is used.
また、近年、ベイズ理論と呼ばれる統計理論に基づいて画像を復元する方法の開発も盛んに行われている。非特許文献１は、ボケ画像の基となる鮮明な画像とは、ベイズ理論に基づいて計算される目的関数が最小となるときであるとして、準ニュートン法を用いる画像の復元処理を行う手法を開示している。非特許文献２では、目的関数の計算において、非特許文献１の準ニュートン法の代わりに、Ｓｈｅｒｍａｎ−Ｍｏｒｒｉｓ行列を用いる最小化手法によって、非特許文献１よりも短い時間で画像復元する手法を開示している。
従来技術である画像のエッジ成分を元のボケ画像に割合を変えながら付加して復元する手法は、処理時間は短いが、ボケの程度が酷い画像には適用できない。一方、非特許文献１および非特許文献２の画像復元方法では、復元処理において膨大なサイズの行列演算を行う必要があり、メモリ容量の増大を招き処理時間が非常に長くなる。さらに、近年の電子カメラ等における撮像素子の画素数増大により、画像をブロック分割しなければメモリ容量が足りず復元処理できない。ところが、このブロック分割を行うと、各々のブロックの境界において画素値の誤差（リンキング）が生じ、画像の不連続性が目立つようになる場合がある。 The conventional technique of adding and restoring the edge component of an image to the original blurred image while changing the ratio is short in processing time but cannot be applied to an image with a severe degree of blur. On the other hand, in the image restoration methods of Non-Patent Document 1 and Non-Patent Document 2, it is necessary to perform an enormous size matrix operation in the restoration process, which causes an increase in memory capacity and a very long processing time. Furthermore, due to an increase in the number of pixels of an image sensor in a recent electronic camera or the like, unless the image is divided into blocks, the memory capacity is insufficient and restoration processing cannot be performed. However, when this block division is performed, an error (linking) of pixel values occurs at the boundary of each block, and the discontinuity of the image may become conspicuous.
上記従来技術が有する問題に鑑み、本発明の目的は、ボケ画像を復元または低解像度画像を高精細化する画像処理において、ブロック分割することなく少ないメモリ容量で高速に画像処理する技術を提供することにある。 SUMMARY OF THE INVENTION In view of the above-described problems of the prior art, an object of the present invention is to provide a technique for performing high-speed image processing with a small memory capacity without performing block division in image processing for restoring a blurred image or increasing the definition of a low-resolution image. There is.
第１の発明に係る画像処理方法は、ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、１次元ベクトルに作用する２次元行列演算をボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに目的関数の勾配ベクトルを算出する工程と、行列演算を伴わない数値最適化法および算出した勾配ベクトルを用いて、目的関数の値が最大または最小となるように鮮明な画像の画像データを求める工程とを備えることを特徴とする。 Image processing method according to the first invention comprises the steps of converting the sequence of image data for storing the pixel values of the blurred image from 2D to 1D vector, a two-dimensional matrix operations a blurred image which acts in a one-dimensional vector replaced filtering process smoothing or edge components extracted for the image data, calculating a gradient vector of the objective function with the values of the statistical parameters required for the calculation of the objective function for estimating a sharp image, without matrix operation And a step of obtaining image data of a clear image so that the value of the objective function is maximized or minimized using the numerical optimization method and the calculated gradient vector.
第２の発明は、第１の発明において、１次元ベクトルへの変換は、画像の外周に隣接するように配列させるとともに、隣接する画像の画素と同じ画素値を有する複数の画素を新たに付加してから行うことを特徴とする。 According to a second aspect, in the first aspect, the conversion to the one-dimensional vector is arranged so as to be adjacent to the outer periphery of the image, and a plurality of pixels having the same pixel value as the pixels of the adjacent image are newly added. Then, it is performed after that.
第３の発明は、第１の発明において、鮮明な画像の画像データを求める工程は、複数回行うことを特徴とする。 According to a third invention, in the first invention, the step of obtaining the image data of a clear image is performed a plurality of times.
第４の発明は、第１の発明において、数値最適化法として、共役勾配法または最急降下法を用いることを特徴とする。 According to a fourth invention, in the first invention, the conjugate gradient method or the steepest descent method is used as the numerical optimization method.
第５の発明は、第１の発明において、ボケ画像とは、平滑化によって取得される画像であることを特徴とする。 In a fifth aspect based on the first aspect, the blurred image is an image acquired by smoothing.
第６の発明は、第１の発明において、ボケ画像とは、レンズの焦点ズレによって取得される画像であることを特徴とする。 In a sixth aspect based on the first aspect, the blurred image is an image acquired by a focal shift of the lens.
第７の発明は、第１の発明において、ボケ画像とは、低解像度画像を１より大きな拡大率を用いて拡大して取得される画像であることを特徴とする。 According to a seventh aspect, in the first aspect, the blurred image is an image obtained by enlarging a low-resolution image using an enlargement ratio larger than 1.
第８の発明のプログラムは、第１の発明ないし第７の発明のいずれかの画像処理方法の各工程を、コンピュータに実行させることを特徴とする。 According to an eighth aspect of the invention, there is provided a program for causing a computer to execute each step of the image processing method according to any one of the first to seventh aspects.
本発明によれば、画像のフィルタリング処理と行列演算のない数値最適化法とを採用することにより、１枚の画像をブロック分割することなく、且つより少ないメモリ容量で高速な処理が可能となる。 According to the present invention, it is possible to perform high-speed processing with less memory capacity without dividing a single image into blocks by employing image filtering processing and numerical optimization method without matrix operation. .
図１は、本発明の一実施形態に係る画像処理方法の全体の流れを示す。以下、図１の流れに沿って、本実施形態の処理について説明する。 FIG. 1 shows the overall flow of an image processing method according to an embodiment of the present invention. Hereinafter, the processing of the present embodiment will be described along the flow of FIG.
ステップＳ１では、鮮明な画像に復元したいボケ画像を取得する。本実施形態におけるボケ画像とは、例えば、電子カメラ等の撮像装置の撮像レンズが焦点ズレを起こすことによって生じた画像である。 In step S1, a blurred image to be restored to a clear image is acquired. The blurred image in the present embodiment is an image generated when an imaging lens of an imaging device such as an electronic camera causes a focus shift.
ステップＳ２では、図２に示すように、ボケ画像ｇの画素の外周に新たに画素（点線）を付加する。新たに付加した画素、例えば、画素２０と画素２１とには、隣接する画像の画素１０と同じ画素値が入る。そして、ボケ画像データを２次元配列の行列から１次元配列のベクトル型に変換する。
In step S2, as shown in FIG. 2, a pixel (dotted line) is newly added to the outer periphery of the pixel of the blurred image g. The newly added pixel, for example, the
ここで、ボケ画像ｇの画素の周りに新たに画素を付加する理由は、ボカシフィルタが中心対称の場合、後述する式（１）におけるボカシフィルタ行列Ｈとその転置行列ＨTとはほぼ等しいとして扱え、以下にて説明する演算を容易にする。すなわち、ボカシフィルタが中心対称の場合でも、原則的にボカシフィルタ行列Ｈとその転置行列ＨTとは等しくない。その原因は、ボカシフィルタが中心対称の場合には、図２に示すように、例えば、ボケ画像ｇの画素の外周上にある画素１０の周りには隣接する画素が存在しない部分があり、それゆえボケ画像ｇの画素の外周上にある画素１０と他の領域にある画素とで扱い方が異なるからであり、中心対称でない場合には、ＨとＨT端処理の影響による差だけではない。そこで、図２に示すように、ボケ画像ｇの画素の外周上にある画素１０と同じ画素値を有する画素２０と画素２１とを付加させることで、ボケ画像ｇの画素の外周上にある画素１０と他の領域にある画素に対する扱い方の違いをなくす。これにより、ボカシフィルタが中心対称の場合に、ボカシフィルタ行列Ｈとその転置行列ＨTとが等しいとして扱っても、処理結果にはあまり影響しない。なお、新たに付加する画素の幅は任意に決めることができ、図２においては２画素分の幅を加えているが、状況に応じて適宜変更が可能であり、本実施形態ではフィルタ半径より大きい画素数の幅分を付加させる。
Here, the reason why a new pixel is added around the pixel of the blurred image g is that the blur filter matrix H and its transposed matrix H T in Equation (1) described later are substantially equal when the blur filter is centrally symmetric. It makes it easy to perform the operations described below. That is, even when the blur filter is centrally symmetric, the blur filter matrix H and its transposed matrix H T are not equal in principle. The reason is that when the blur filter is centrosymmetric, as shown in FIG. 2, for example, there is a portion where no neighboring pixels exist around the
次に、ステップＳ３へ進む前に、ベイズ統計、確率モデル、最急降下法および目的関数について簡単に説明する。 Next, before proceeding to step S3, the Bayesian statistics, the probability model, the steepest descent method, and the objective function will be briefly described.
１次元ベクトル表現されたボケ画像ｇに対する同様に１次元ベクトル表現された本来の鮮明な画像をｆとすると、両画像は次の式（１）のように関係付けることができる。 Assuming that the original clear image expressed in the same one-dimensional vector with respect to the blurred image g expressed in the one-dimensional vector is f, both images can be related as in the following equation (1).
式（１）のｎは、１次元ベクトル表現された画像に付加されるホワイトノイズである。 In Expression (1), n is white noise added to an image expressed in a one-dimensional vector.
一方、ベイズ統計とは、例えば、ある２つの事象Ａ、Ｂがあるときに、事象Ａが生じたときに事象Ｂが生じる確率が、事象Ｂが生じたときに事象Ａが生じる確率を用いて次式（２）のように表せる関係をいう。 On the other hand, with Bayesian statistics, for example, when there are two events A and B, the probability that event B will occur when event A occurs is the probability that event A will occur when event B occurs. The relationship expressed by the following equation (2).
式（２）により、本実施形態におけるボケ画像ｇから鮮明な画像ｆを求めるということを、鮮明な画像ｆがあるとき、ボケ画像ｇになる確率を用いて表すことができる。そのような確率を、ベイズ統計および非特許文献１のモデルに基づいて表すと次式（３）となる。 By the expression (2), obtaining a clear image f from the blurred image g in the present embodiment can be expressed using the probability that the clear image f is present when there is a clear image f. Such a probability is expressed by the following equation (3) based on Bayesian statistics and the model of Non-Patent Document 1.
式（３）のβは、ホワイトノイズｎの分布をガウス分布としたときの分散の逆数である。ａは画像ｆのエッジ成分の分散を与える行列で、画像の縦、横、斜め４５度および斜め１３５度方向の成分から成る。統計パラメータｍおよびｌは、行列ａの対角成分の平均と分散を用いて見積もることができ、４方向の成分から成るベクトルある。この式（３）は確率モデルと呼ばれる。確率モデルの式（３）が最大となるときの鮮明な画像ｆが、当該モデルにおける求める鮮明な画像ｆである。ただし、本実施形態では、式（３）の最大となる鮮明な画像ｆを求める代わりに、目的関数ＪB（ｇ，ｆ；β，ｍ，ｌ）＝−ｌｎＰ（ｇ，ｆ；β，ｍ，ｌ）の値が最小となる鮮明な画像ｆを求める。本実施形態における目的関数ＪBを、非特許文献１のモデルを基に具体的に表すと次式（４）のようになる。 Β in Expression (3) is the reciprocal of the variance when the distribution of white noise n is a Gaussian distribution. a is a matrix that gives the variance of the edge component of the image f, and consists of components in the vertical, horizontal, diagonal 45 degrees and diagonal 135 degrees of the image. The statistical parameters m and l can be estimated using the mean and variance of the diagonal components of the matrix a, and are vectors consisting of components in four directions. This equation (3) is called a probability model. A clear image f when the formula (3) of the probability model is maximized is a clear image f to be obtained in the model. However, in the present embodiment, instead of obtaining the clear image f that is the maximum of the expression (3), the objective function J B (g, f; β, m, l) = − lnP (g, f; β, m , L) finds a clear image f with a minimum value. When the objective function J B in the present embodiment is specifically expressed based on the model of Non-Patent Document 1, the following equation (4) is obtained.
式（４）のＮは、画像の画素数を表し、統計パラメータｍおよびｌの添え字ｋは、画像の縦（ｋ＝１）、横（ｋ＝２）、斜め４５度（ｋ＝３）および斜め１３５度（ｋ＝４）の各方向における行列ａの対角成分の平均と分散を用いて見積もることを表す。Ｑkは、各方向の画像のエッジ成分を求める２次元行列の演算子を表す。 In Expression (4), N represents the number of pixels of the image, and the subscript k of the statistical parameters m and l is the vertical (k = 1), horizontal (k = 2), and 45 degrees oblique (k = 3) of the image. In addition, the estimation is performed by using the average and the variance of the diagonal components of the matrix a in each direction of 135 degrees oblique (k = 4). Q k represents a two-dimensional matrix operator for obtaining the edge component of the image in each direction.
本実施形態では、目的関数ＪBを最小にする鮮明な画像ｆを求めるために、非特許文献１に用いられた行列演算を伴う準ニュートン法ではなく、内部処理において行列演算を行わない最急降下法を用いる。最急降下法では、最適解のある検索方向を目的関数ＪBの勾配の方向として、その勾配をパラメータμで調節しながら最適解を見つけ出す手法である。最急降下法を式で表すと式（５）のようになる。 In the present embodiment, in order to obtain a clear image f that minimizes the objective function J B , the steepest descent in which the matrix operation is not performed in the internal processing is used instead of the quasi-Newton method with the matrix operation used in Non-Patent Document 1. Use the law. The steepest descent method is a method of finding an optimal solution while adjusting the gradient by the parameter μ with the search direction having the optimal solution as the gradient direction of the objective function J B. When the steepest descent method is expressed by an equation, the equation (5) is obtained.
目的関数ＪBの勾配が０になる位置、すなわち目的関数が極値になるときの鮮明な画像ｆが求めるべきものである。目的関数ＪBの勾配は、式（４）よりベクトル形式で表すと式（６）のようになる。 A position where the gradient of the objective function J B becomes 0, that is, a clear image f when the objective function becomes an extreme value, should be obtained. If the gradient of the objective function J B is expressed in vector form from Equation (4), Equation (6) is obtained.
なお、式（６）中のギリシャ文字の添え字αおよびγは１〜Ｎで和を取ることを示す。ｖk iは次式（７）のように表される。 In addition, the suffixes α and γ of the Greek letters in the equation (6) indicate that 1 to N is to be summed. v k i is expressed by the following equation (7).
ステップＳ３では、ＪBを計算するのに必要となる統計パラメータｍおよびｌを、ｆ＝ｇとして求める。本来であれば鮮明な画像ｆからそれらの値を算出すべきである。しかしながら、鮮明な画像ｆは現ステップにおいてはまだ不明であり、ボケ画像ｇから求める値と最終的に得られた鮮明な画像ｆから求める値とでは処理結果に大きな違いが経験的に無いことから、ｆ＝ｇとして計算する。 In step S3, statistical parameters m and l necessary for calculating J B are obtained as f = g. Originally, those values should be calculated from a clear image f. However, the clear image f is still unknown at the current step, and there is no empirical difference in processing results between the value obtained from the blurred image g and the value obtained from the finally obtained clear image f. , F = g.
ステップＳ４では、本実施形態において式（１）のボカシフィルタが拡張したガウス型フィルタＧ0ｅｘｐ（−（ｒ／σ）δ）である仮定として復元処理を行うため、ユーザから当該フィルタのパラメータσの値の入力を受け付ける。なお、δは任意に決めることができるが、本実施形態ではδ＝０．５とする。 In step S4, since the restoration process is performed on the assumption that the blur filter of Expression (1) is an expanded Gaussian filter G 0 exp (− (r / σ) δ ) in the present embodiment, the user sets the parameter σ of the filter. Accepts input of the value of. Note that δ can be arbitrarily determined, but in the present embodiment, δ = 0.5.
ステップＳ５では、ステップＳ３およびステップＳ４にて得られたパラメータの値を用いて式（６）および式（７）を計算して、目的関数ＪBの勾配ベクトルを求める。ここで、式（６）および式（７）の中にＨｆ、ＱkｆおよびＱT kｖkの行列演算の項が存在する。しかしながら、ＨｆおよびＱkｆは平滑化およびエッジ成分抽出を行う行列演算であり、さらに、ＱT kも同様にしてエッジ成分の抽出フィルタにできる。すなわち、Ｈｆ、ＱkｆおよびＱT kｖkの行列演算を平滑化およびエッジ成分抽出のフィルタリング処理に置き換えることが可能である。これにより、ステップＳ２におけるボカシフィルタ行列Ｈとその転置行列ＨTとが等しいとする処理と併せることで、勾配ベクトルの計算において直接行列演算を行なわない処理が可能となり、目的関数ＪBの勾配ベクトルが少ないメモリ領域で高速に計算できる。 In step S5, and calculates the equations (6) and (7) using the values of the parameters obtained in steps S3 and S4, obtains the gradient vector of the objective function J B. Here, the terms of matrix operation of Hf, Q k f, and Q T k v k exist in the equations (6) and (7). However, Hf and Q k f are matrix operations that perform smoothing and edge component extraction, and Q T k can be similarly used as an edge component extraction filter. That is, it is possible to replace the matrix operation of Hf, Q k f, and Q T k v k with a filtering process of smoothing and edge component extraction. Thereby, in combination with the process of making the blur filter matrix H equal to the transposed matrix H T in step S2, it is possible to perform a process that does not perform a direct matrix operation in the calculation of the gradient vector, and the gradient vector of the objective function J B Can be calculated at high speed in a small memory area.
ステップＳ６では、ステップＳ５にて求めた目的関数ＪBの勾配ベクトルと式（５）とを用いて、鮮明な画像ｆを新たに算出された鮮明な画像ｆ’に更新する（ｆ＝ｆ’）。上述したように、ステップＳ６において、行列演算を伴わない最適化を用いることで、全ての処理において行列演算を用いないようにできる。なお、本実施形態では、勾配を調節するパラメータμはホワイトノイズｎの分散β-1に等しいとする。 In step S6, the clear image f is updated to a newly calculated clear image f ′ using the gradient vector of the objective function J B obtained in step S5 and equation (5) (f = f ′). ). As described above, in step S6, by using optimization that does not involve matrix calculation, matrix calculation can be prevented from being used in all processes. In the present embodiment, it is assumed that the parameter μ for adjusting the gradient is equal to the variance β −1 of the white noise n.
ステップＳ７では、ステップＳ６において更新した鮮明な画像ｆを用いて、新たな目的関数ＪBの勾配ベクトルを求める。 In step S7, by using the clear image f updating in step S6, it obtains the gradient vector of the new objective function J B.
ステップＳ８では、ステップＳ７で求めた目的関数ＪBの勾配ベクトルの成分のうち、最大値となる成分が１より小さいか否かを判定する。１より小さい場合には、最急降下法によるボケ画像処理は収束したとして、ステップＳ９（ＹＥＳ側）に移行する。一方、１以上の場合には、画像処理はまだ収束していないとして、ステップＳ６（ＮＯ側）に戻り、目的関数ＪBの勾配ベクトル成分の最大値が１より小さくなるまでステップＳ６からステップＳ８の処理を行い、鮮明な画像ｆを求める。 In step S8, of the components of the gradient vector of the objective function J B obtained in step S7, components having the maximum value is equal to or less than 1 or. If it is smaller than 1, the blur image processing by the steepest descent method has converged, and the process proceeds to step S9 (YES side). On the other hand, in the case of 1 or more, as the image processing is not yet converged, the step S6 returns to (NO side), the step S8 from step S6 to the maximum value of the gradient vector components of the objective function J B is less than 1 To obtain a clear image f.
ステップＳ９では、得られた鮮明な画像ｆを１次元配列のベクトルから２次元配列のデータ型に変換する。ステップＳ２において付加した画素を鮮明な画像ｆから取り除く。残りのものが、ボケ画像ｇの基である鮮明な画像ｆであり、保存して画像処理を終了する。 In step S9, the obtained clear image f is converted from a one-dimensional array vector to a two-dimensional array data type. The pixel added in step S2 is removed from the clear image f. The remaining one is a clear image f that is the basis of the blurred image g, and is stored and the image processing is terminated.
このように本実施形態は、目的関数ＪBの勾配ベクトル計算における行列演算を平滑化およびエッジ成分抽出のフィルタリング処理に置き換え、且つ行列演算を必要としない最急降下法を用いて鮮明な画像ｆを求めることにより、大幅なメモリ容量削減が可能となり、高速な演算処理が実現できる。そして、処理装置の回路規模を小型化することもできる。 As described above, the present embodiment replaces the matrix operation in the gradient vector calculation of the objective function J B with the filtering process of smoothing and edge component extraction, and uses the steepest descent method that does not require the matrix operation to produce a clear image f. As a result, the memory capacity can be greatly reduced, and high-speed arithmetic processing can be realized. And the circuit scale of a processing apparatus can also be reduced in size.
また、本実施形態において、行列演算を回避することよって、膨大な画素数を有する画像の復元処理についても、従来技術において行われていた画像のブロック分割を行う必要が無くなる。これにより、各ブロックの境界で生じる画像の不連続性（リンキング）を回避することができる。
≪本実施形態に関する補足事項≫
本実施形態では、復元処理において鮮明な画像ｆを求めるために最急降下法を用いたが、本発明はこれに限定されない。例えば、共役勾配法のような行列演算を伴わない数値最適化法を適宜選択して使用することができる。
Further, in the present embodiment, by avoiding the matrix operation, it is not necessary to perform block division of the image, which has been performed in the prior art, for the restoration processing of the image having a huge number of pixels. As a result, image discontinuity (linking) that occurs at the boundary of each block can be avoided.
≪Supplementary items regarding this embodiment≫
In the present embodiment, the steepest descent method is used to obtain a clear image f in the restoration process, but the present invention is not limited to this. For example, a numerical optimization method that does not involve matrix operation such as the conjugate gradient method can be appropriately selected and used.
なお、本実施形態では、ステップＳ８において、更新された鮮明な画像ｆを用いて求められる目的関数ＪBの勾配ベクトル成分の最大値が１より小さいか否かで判定したが、本発明はこれに限定されない。例えば、画像処理のループの回数が所定の値より大きいか否かで判定してもよいし、目的関数ＪBの勾配ベクトル成分の最大値およびループの回数との両方を用いて判定してもよい。 In the present embodiment, in step S8, the determination is made based on whether or not the maximum value of the gradient vector component of the objective function J B obtained using the updated clear image f is smaller than 1. It is not limited to. For example, the determination may be made based on whether or not the number of image processing loops is greater than a predetermined value, or may be determined using both the maximum value of the gradient vector component of the objective function J B and the number of loops. Good.
なお、本実施形態では、ボカシフィルタが中心対称の場合を考え、ボカシフィルタ行列Ｈとその転置行列ＨTとは等しいとしたが、本発明はこれに限定されない。ボカシフィルタが中心対称でない場合には、ボカシフィルタ行列Ｈとその転置行列ＨTとは互いに別々のボカシフィルタ行列として扱うことができる。 In the present embodiment, considering the case where the blur filter is centrally symmetric, the blur filter matrix H and the transposed matrix H T are equal, but the present invention is not limited to this. When the blur filter is not centrally symmetric, the blur filter matrix H and its transposed matrix H T can be handled as separate blur filter matrices.
なお、本実施形態では、復元処理が施されるボケ画像として、電子カメラ等の撮像装置の撮像レンズが焦点ズレを起こすことによって生じた画像としたが、本発明はこれに限定されない。例えば、平滑化処理によって取得される画像でもよいし、低解像度画像を１より大きな拡大率を用いて拡大して取得される画像でもよい。 In the present embodiment, the blurred image subjected to the restoration process is an image generated by causing the imaging lens of the imaging apparatus such as an electronic camera to defocus, but the present invention is not limited to this. For example, an image obtained by smoothing processing may be used, or an image obtained by enlarging a low-resolution image using an enlargement ratio larger than 1 may be used.
なお、本実施形態では、復元処理におけるボカシフィルタとしてガウス型フィルタを拡張したものを用いたが、本発明はこれに限定されない。例えば、井戸型フィルタ等を適宜選択して行ってもよい。または、実際の撮像装置における光学系によるボカシの影響をボカシフィルタとして評価したものを用いることも好適である。 In the present embodiment, an extended Gaussian filter is used as the blur filter in the restoration process, but the present invention is not limited to this. For example, a well-type filter or the like may be selected as appropriate. Alternatively, it is also preferable to use an image obtained by evaluating the influence of blur due to the optical system in an actual imaging apparatus as a blur filter.
なお、本実施形態では、ボケ画像を復元する画像処理に対して適用されたが、本発明はこれに限定されない。例えば、画像の圧縮・解凍処理に対しても適用可能である。すなわち、画像を圧縮する時に、性質の明らかなボカシフィルタを用いて画像の平滑化処理を行えば、非常に効率よく圧縮が可能となる。そこで、平滑化処理された画像データを圧縮して、用いたボカシフィルタの情報と統計パラメータｍおよびｌとを付加したファイルを生成することで、解凍時において、平滑化処理された画像を解凍作業とともに復元処理することが可能となる。これにより、効率良く画像が圧縮できるだけでなく、ネットワークに無駄な負荷をかけること無く画像を送受信することが可能となる。 In this embodiment, the present invention is applied to image processing for restoring a blurred image, but the present invention is not limited to this. For example, the present invention can be applied to image compression / decompression processing. That is, when an image is compressed, if the smoothing process of the image is performed using a blur filter with clear characteristics, the image can be compressed very efficiently. Therefore, by compressing the smoothed image data and generating a file to which information on the used blur filter and the statistical parameters m and l are added, the smoothed image is decompressed at the time of decompression. At the same time, restoration processing can be performed. As a result, not only can the image be efficiently compressed, but also the image can be transmitted and received without applying unnecessary load on the network.
なお、本発明は、低解像度画像の高精細化処理に対しても適用可能である。例えば、電子ビデオカメラ等で撮像される動画ファイルは、撮像素子の画素値の一部を間引いて高速に読み出しすることで作成される。したがって、動画の１コマの画像は、一般的に静止画像と比較して低解像度であり、その画像を引き伸ばして印刷してもぼやけたものになる。そこで、引き伸ばす際に、本発明による画像の復元処理を行えば、鮮明な画像で印刷が可能となる。また、防犯カメラ等で撮影された画像の高精細化に用いることも可能である。 The present invention can also be applied to high definition processing of low resolution images. For example, a moving image file captured by an electronic video camera or the like is created by thinning out a part of pixel values of an image sensor and reading it out at high speed. Therefore, a single frame image of a moving image generally has a lower resolution than a still image, and even if the image is stretched and printed, it becomes blurred. Therefore, if the image restoration processing according to the present invention is performed at the time of enlargement, printing with a clear image becomes possible. It can also be used to increase the definition of images taken with a security camera or the like.
なお、本発明に係る画像処理方法における各工程を実現するためのプログラムを備え、ボケ画像から鮮明な画像を復元または低解像度画像を高精細化する画像処理装置に対しても適用可能である。 Note that the present invention can also be applied to an image processing apparatus that includes a program for realizing each step in the image processing method according to the present invention and restores a clear image from a blurred image or increases the definition of a low-resolution image.
なお、本発明に係る画像処理方法における各工程を実現するためのプログラムを備え、ボケ画像から鮮明な画像を復元または低解像度画像を高精細化する画像処理装置としてコンピュータを機能させることに対しても適用可能である。 In addition, for providing a program for realizing each step in the image processing method according to the present invention and causing a computer to function as an image processing apparatus that restores a clear image from a blurred image or enhances a low-resolution image. Is also applicable.
なお、本発明に係る画像処理方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。 Note that the present invention is also applicable to a recording medium that stores a computer program for realizing each process in the image processing method according to the present invention.
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。 It should be noted that the present invention can be implemented in various other forms without departing from the spirit or main features thereof. For this reason, the above-described embodiment is merely an example in all respects and should not be construed in a limited manner. The present invention is shown by the scope of the claims, and the present invention is not limited to the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
以上説明したように、本発明は、ボケ画像の復元または低解像度画像の高精細化の高速処理が要求される、電子カメラ等の画像の画像処理装置等に応用可能な技術である。 As described above, the present invention is a technique that can be applied to an image processing apparatus for an image such as an electronic camera, which requires high-speed processing for restoring a blurred image or increasing the definition of a low-resolution image.
Claims (8)
前記ボケ画像の画素値を格納する画像データの配列を２次元から１次元ベクトルに変換する工程と、
前記１次元ベクトルに作用する２次元行列演算を前記ボケ画像の画像データに対する平滑化またはエッジ成分抽出のフィルタリング処理に置き換え、前記鮮明な画像を推定する目的関数の計算に必要となる統計パラメータの値とともに前記目的関数の勾配ベクトルを算出する工程と、
行列演算を伴わない数値最適化法および算出した前記勾配ベクトルを用いて、前記目的関数の値が最大または最小となるように前記鮮明な画像の画像データを求める工程と、
を備えることを特徴とする画像処理方法。 An image processing method for obtaining a clear image from a blurred image,
Converting an array of image data storing pixel values of the blurred image from a two-dimensional to a one-dimensional vector;
Replacing a two-dimensional matrix operations acting on the one-dimensional vector in the filtering process, smoothing or edge components extracted for the image data of the blurred image, the values of the statistical parameters required for the calculation of the objective function for estimating the clear image And calculating a gradient vector of the objective function,
A matrix using the gradient vector calculated numerical optimization methods and without calculation, the value of the objective function determined image data of the clear image to be the maximum or minimum step,
An image processing method comprising:
前記１次元ベクトルへの前記変換は、画像の外周に隣接するように配列させるとともに、隣接する前記画像の画素と同じ画素値を有する複数の画素を新たに付加してから行うことを特徴とする画像処理方法。 The image processing method according to claim 1,
The conversion into the one-dimensional vector is performed after arranging a plurality of pixels having the same pixel value as the pixels of the adjacent image while arranging the pixels so as to be adjacent to the outer periphery of the image. Image processing method.
前記鮮明な画像の画像データを求める工程は、複数回行うことを特徴とする画像処理方法。 The image processing method according to claim 1,
An image processing method characterized in that the step of obtaining image data of a clear image is performed a plurality of times.
前記数値最適化法として、共役勾配法または最急降下法を用いることを特徴とする画像処理方法。 The image processing method according to claim 1,
An image processing method using a conjugate gradient method or a steepest descent method as the numerical optimization method.
前記ボケ画像とは、平滑化によって取得される画像であることを特徴とする画像処理方法。 The image processing method according to claim 1,
The blurred image is an image obtained by smoothing.
前記ボケ画像とは、レンズの焦点ズレによって取得される画像であることを特徴とする画像処理方法。 The image processing method according to claim 1,
The blurred image is an image acquired by a lens focus shift.
前記ボケ画像とは、低解像度画像を１より大きな拡大率を用いて拡大して取得される画像であることを特徴とする画像処理方法。 The image processing method according to claim 1,
The blurred image is an image obtained by enlarging a low-resolution image using an enlargement ratio larger than one.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007234557A JP5076758B2 (en) | 2007-09-10 | 2007-09-10 | Image processing method and program |
| US12/452,286 US8326071B2 (en) | 2007-09-10 | 2008-08-25 | Image processing method to restore an image |
| PCT/JP2008/002297 WO2009034688A1 (en) | 2007-09-10 | 2008-08-25 | Image processing method and program |
| US13/614,964 US20130004095A1 (en) | 2007-09-10 | 2012-09-13 | Image Processing Method and Program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007234557A JP5076758B2 (en) | 2007-09-10 | 2007-09-10 | Image processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009069902A JP2009069902A (en) | 2009-04-02 |
| JP5076758B2 true JP5076758B2 (en) | 2012-11-21 |
Family
ID=40606126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007234557A Active JP5076758B2 (en) | 2007-09-10 | 2007-09-10 | Image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5076758B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011033744A1 (en) * | 2009-09-15 | 2011-03-24 | 日本電気株式会社 | Image processing device, image processing method, and program for processing image |
| KR101862490B1 (en) | 2016-12-13 | 2018-05-29 | 삼성전기주식회사 | image correct processor and computer readable recording medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4692245B2 (en) * | 2005-11-28 | 2011-06-01 | コニカミノルタエムジー株式会社 | Phase contrast X-ray imaging system for asbestos and phase contrast X-ray imaging method for asbestos |
-
2007
- 2007-09-10 JP JP2007234557A patent/JP5076758B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009069902A (en) | 2009-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6957197B2 (en) | Image processing device and image processing method | |
| US9652830B2 (en) | Method and apparatus for performing hierarchical super-resolution of an input image | |
| US9692939B2 (en) | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence | |
| JP4799428B2 (en) | Image processing apparatus and method | |
| Faramarzi et al. | Unified blind method for multi-image super-resolution and single/multi-image blur deconvolution | |
| JP6462372B2 (en) | Super-resolution device and program | |
| JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2011180798A (en) | Image processing apparatus, image processing method, and program | |
| US20180089809A1 (en) | Image deblurring with a multiple section, regularization term | |
| US20130004095A1 (en) | Image Processing Method and Program | |
| KR20130055664A (en) | System and method for all-in-focus imaging from multiple images acquired with hand-held camera | |
| JPWO2007122838A1 (en) | Super-resolution method and super-resolution program based on hierarchical Bayesian method | |
| JP5076758B2 (en) | Image processing method and program | |
| JP5146159B2 (en) | Image restoration method, image restoration program, and image restoration apparatus | |
| JP2007299068A (en) | Image processing device and image restoration method | |
| WO2015047538A1 (en) | Psf estimation using multiple smaller images | |
| JP5076757B2 (en) | Image processing method and program | |
| JP5198500B2 (en) | Signal processing apparatus and program | |
| JP5498970B2 (en) | Image reduction device, image enlargement device, and program thereof | |
| JPWO2014077024A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| Abang et al. | Application of blind deconvolution and Lucy-Richardson Deconvolution for image deblurring | |
| JP5784472B2 (en) | Image processing apparatus, method, and program | |
| JP6817784B2 (en) | Super-resolution device and program | |
| Luo et al. | Super-resolving compressed images via parallel and series integration of artifact reduction and resolution enhancement | |
| JP5157715B2 (en) | Image restoration method, program, and image restoration apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120731 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120813 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5076758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |