JP6124849B2 - The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program - Google Patents

The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program Download PDF

Info

Publication number
JP6124849B2
JP6124849B2 JP2014178610A JP2014178610A JP6124849B2 JP 6124849 B2 JP6124849 B2 JP 6124849B2 JP 2014178610 A JP2014178610 A JP 2014178610A JP 2014178610 A JP2014178610 A JP 2014178610A JP 6124849 B2 JP6124849 B2 JP 6124849B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
image
optical system
processing
means
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014178610A
Other languages
Japanese (ja)
Other versions
JP2015097380A5 (en )
JP2015097380A (en )
Inventor
崇 鬼木
崇 鬼木
弘至 畠山
弘至 畠山
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、画像の鮮鋭化処理に関する。 The present invention relates to a sharpening process of image.

元画像にアンシャープマスクを適用してぼかした画像と元画像との差分を、元画像に加算あるいは減算することで画像を鮮鋭化するアンシャープマスク処理は知られている。 The difference between the blurred image and the original image by applying an unsharp mask on the original image, unsharp masking to sharpen an image by adding or subtracting the original image is known. ぼかした画像と入力画像の差分が大きいところほど画像はより鮮鋭化される。 As the place where the difference between the blurred image and the input image is larger the image is more sharpened. また、特許文献1は、像高方向に配列する画素信号列に対して非対称な1次元のフィルタを適用することで光学系の点像強度分布関数(PSF:Point Spread Function)の影響を低減する方法を提案している。 Further, Patent Document 1, the optical system point spread function by applying the asymmetric one-dimensional filter to the pixel signal sequence arranged in an image height direction: to reduce the effects of (PSF Point Spread Function) It has proposed a method.

特開2010−81263号公報 JP 2010-81263 JP

しかしながら、従来のアンシャープマスク処理は、アンシャープマスクに回転対称なフィルタを利用しており、非対称収差やサジタルハロのような複雑な形状のPSFの影響を受けて劣化した画像を鮮鋭化することは困難である。 However, the conventional unsharp mask processing, utilizes a rotationally symmetric filter unsharp mask, to sharpen the complex images degraded by the influence of PSF shapes such as asymmetric aberrations and Sajitaruharo is Have difficulty. 即ち、収差が大きく発生しているアジムス方向の収差を補正しようとすると収差の小さなアジムス方向ではアンダーシュートが発生し、逆にアンダーシュートを抑制すると収差が十分に補正できない。 That is, aberration undershoot is generated in a small azimuth direction when you try to correct the aberration of the larger Occurring azimuth direction aberration can not be corrected sufficiently suppress the aberration undershoot reversed.

また、特許文献1の方法は、像高方向への非対称性しか考慮しておらず、補正フィルタも1次元となっているため、像高方向以外の方向への非対称性を改善することができない。 Further, the method of Patent Document 1 does not take into account only asymmetry of the image height direction, since also a one-dimensional correction filter, it is impossible to improve the asymmetry in the direction other than the image height direction . 像高方向とはメリジオナルのアジムス方向である。 The image height direction is azimuth direction of meridional. さらに、フィルタに関しても、マイナスタップ係数の個数でフィルタの非対称性を調整しており、像高方向の補正についても光学系のPSFのぼけ方とは異なるため、従来手法では十分に鮮鋭化することができない。 Furthermore, with regard filter, and adjusting the asymmetry of the filter in the number of negative tap coefficients, because different from the blur side of PSF of the optical system also corrects the image height direction, sufficiently to sharpening the conventional method can not.

本発明は、鮮鋭化効果に優れた画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することを例示的な目的とする。 The present invention relates to an image processing apparatus having excellent sharpening effect, the image capturing apparatus, image processing method, and an exemplary object to provide an image processing program.

本発明の画像処理装置は、光学系を介した撮像により生成された撮影画像を取得し、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行う処理手段を有し、前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは 2次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする。 The image processing apparatus of the present invention obtains a captured image generated by the imaging through the optical system, which is generated based on the information of the point spread function of the optical system corresponding to the imaging conditions of the optical system includes a processing unit for performing unsharp masking for the captured image using a filter, the filter used in the unsharp mask processing with respect to the captured image, the filter data of the two-dimensional taps are distributed rotationally asymmetric characterized in that it contains.

本発明によれば、鮮鋭化効果に優れた画像処理装置、撮像装置、画像処理方法、および、画像処理プログラムを提供することができる。 According to the present invention, it is possible to provide an image processing apparatus having excellent sharpening effect, the image capturing apparatus, image processing method, and an image processing program.

本発明の撮像装置のブロック図である。 It is a block diagram of an imaging apparatus of the present invention. (実施例1、2、3) (Examples 1, 2, 3) 本発明の画像処理方法を示すフローチャートである。 Is a flowchart illustrating an image processing method of the present invention. (実施例1、2、3) (Examples 1, 2, 3) アンシャープマスク処理による鮮鋭化の模式図である。 It is a schematic diagram of a sharpening by unsharp masking. xy平面における撮影光学系のPSFの模式図である。 It is a schematic diagram of the PSF of the imaging optical system in the xy plane. 回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 It is a schematic diagram of a sharpening process by the rotation symmetric unsharp mask. 非回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 By rotationally asymmetric unsharp mask is a schematic diagram of the sharpening process. アンシャープマスクの模式図と概略断面図である。 It is a schematic view and a schematic sectional view of unsharp mask. 本発明の画像処理方法を示すフローチャートである。 Is a flowchart illustrating an image processing method of the present invention. (実施例1) (Example 1) ベイヤー配列の模式図である。 It is a schematic diagram of the Bayer arrangement. 入力画像の分割方法を説明するための図である。 It is a diagram for explaining a method of dividing the input image. 入力画像の像高方向の補間方法を説明するための図である。 Image height direction interpolation process of the input image is a diagram for explaining the. 本発明の画像処理方法を示すフローチャートである。 Is a flowchart illustrating an image processing method of the present invention. (実施例2) (Example 2) 本発明の画像処理方法を示すフローチャートである。 Is a flowchart illustrating an image processing method of the present invention. (実施例3) (Example 3)

図3は、本実施形態のアンシャープマスク処理(画像鮮鋭化処理)による鮮鋭化の模式図であり、図3(A)の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像を表し、図3(B)の実線は補正成分を表している。 Figure 3 is a schematic diagram of a sharpening by unsharp masking processing of this embodiment (the image sharpening process), the solid line is the input image of FIG. 3 (A), the image broken line obtained by blurring the input image in the unsharp mask , the dotted line represents the image after sharpening, the solid line in FIG. 3 (B) represents a correction component. 図3の横軸は座標であり、縦軸は画素値または輝度値である。 The horizontal axis of FIG. 3 are the coordinates, the vertical axis represents the pixel value or brightness value. 図3は、後述する図4の所定の方向(例えば、X方向)における断面に相当する。 Figure 3 is a predetermined direction in FIG. 4 to be described later (e.g., X-direction) corresponds to a cross section taken along.

元画像をf(x,y)、補正成分をh(x,y)とすると、鮮鋭化後の画像g(x,y)は次式で表すことができる。 The original image f (x, y), the correction component When h (x, y), image g (x, y) after the sharpening can be expressed by the following equation.

g(x,y)=f(x,y)+m×h(x,y)・・・(1) g (x, y) = f (x, y) + m × h (x, y) ··· (1)
数式(1)では、補正信号h(x,y)は定数倍されて入力画像であるf(x,y)に加算されている。 In Equation (1), the correction signal h (x, y) is being added to f (x, y) is a constant multiplied by the input image. 数式(1)において、mは定数であり、mの値を変化させることにより、補正量を調整することができる。 In Equation (1), m is constant, by varying the value of m, it is possible to adjust the amount of correction. なお、mは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせた調整係数m(x,y)を用いることにより入力画像の位置に応じて補正量を調整することもできる。 Incidentally, m is may be constant constant regardless of the position of the input image, depending on the position of the input image by using the adjustment made different depending on the position of the input image coefficient m (x, y) it is also possible to adjust the correction amount. また、定数mや調整係数m(x,y)は光学系の焦点距離や絞り値や被写体距離といった撮影条件に応じて異ならせることもできる。 Moreover, the constant m and adjustment coefficient m (x, y) can also be varied according to the shooting conditions such as focal length and the aperture value and the object distance of the optical system. 定数mの代わりに調整係数m(x,y)を用いることができることは以下の説明においても同様である。 Alternatively adjustment coefficient m (x, y) of the constant m can can be used is the same in the following description.

補正成分h(x,y)はアンシャープマスクをUSMとすると、次式のように表すことができる。 Correction component h (x, y) is when the unsharp mask and USM, can be expressed by the following equation. USM(x,y)は、例えば、USMのある座標(x,y)におけるタップ値である。 USM (x, y) is, for example, the tap value at the coordinates (x, y) with USM.

h(x,y)=f(x,y)−f(x,y)*USM(x,y)・・・(2) h (x, y) = f (x, y) -f (x, y) * USM (x, y) ··· (2)
数式(2)の右辺を変形して次式で表すことができる。 It can be expressed by the following equation by transforming the right-hand side of equation (2).

h(x,y)=f(x,y)*(δ(x,y)−USM(x,y))・・・(3) h (x, y) = f (x, y) * (δ (x, y) -USM (x, y)) ··· (3)
ここで、*はコンボリューション(畳み込み積分、積和)、δはデルタ関数(理想点像)である。 Where * convolution (convolution integral, sum of products), the δ is a delta function (ideal point image). 「デルタ関数」とは、USM(x,y)とタップ数が等しく中心の値が1でそれ以外が0で埋まっているデータである。 The "delta function", USM (x, y) value of equal center taps and there is otherwise 1 is data buried in 0.

数式(2)を変形することで数式(3)を表現できるため、数式(2)と数式(3)は等価である。 Since by deforming the equation (2) can be represented the formula (3), Equation (2) and Equation (3) are equivalent. よって、以下、数式(2)を用いて補正成分の生成について説明する。 Therefore, hereinafter, it illustrates the formation of the correction component using equation (2).

数式(2)では、撮影画像f(x,y)と撮影画像f(x,y)をアンシャープマスクUSMでぼかした画像の差分をとり、この差分情報に基づいて補正成分h(x,y)を生成している。 In Equation (2), the captured image f (x, y) and captured image f (x, y) obtains a difference image obtained by blurring with unsharp masking USM, correction component h (x, based on the difference information, y ) it is generating. 一般的なアンシャープマスク処理では、アンシャープマスクUSMにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。 In general unsharp masking is Gaussian filter unsharp mask USM, median filter, smoothing filter, such as a moving average filter is used.

例えば、図3(A)の実線で示す撮影画像f(x,y)に対して、アンシャープマスクUSMとしてガウシアンフィルタを使用した場合、撮影画像f(x,y)をぼかした画像は図3(A)の破線で示すようになる。 For example, Figure 3 captured image f (x, y) indicated by a solid line in (A) with respect to the case of using a Gaussian filter as unsharp masking USM, image blurred captured image f (x, y) is 3 It is as shown by the broken line in (a). 補正成分h(x,y)は、数式(2)に示すように、撮影画像f(x,y)とぼかした画像の差分となるため、図3(A)の実線から図3(A)の破線を減算することで図3(B)の実線で表現される成分となる。 Correction component h (x, y) is, the formula as shown in (2), captured image f (x, y) to become and the blurred image difference, FIG from the solid line in FIG. 3 (A) 3 (A) the component represented by the solid line in FIG. 3 by subtracting the dashed (B). このように算出された補正成分を用いて、数式(1)の演算を行うことによって、図3(A)の実線に示す撮影画像f(x,y)を図3(A)の点線のように鮮鋭化することができる。 Thus by using the calculated compensation value, by performing the calculation of Equation (1), as shown by the dotted line shown in FIG. 3 (A) the captured image f (x, y) shown by the solid line shown in FIG. 3 (A) it is possible to sharpen to.

次に、被写体の光学像を形成する撮影光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。 Then, for an image degraded by the photographing optical system for forming an optical image of a subject, the case of sharpening an image by applying an unsharp masking process. 撮影光学系を介して得られた撮影画像f(x,y)は撮影前の画像(被写体の像)をI(x,y)、撮影光学系の点光源に対する応答を表す関数であるPSFをpsf(x,y)とすると、次式のように、表すことができる。 Photographing optical system through-obtained captured image f (x, y) is the image before shooting (image of the subject) I (x, y), the PSF is a function representing a response to a point source of the imaging optical system psf (x, y) When, can be as follows, it expressed.

f(x,y)=I(x,y)*psf(x,y)・・・(4) f (x, y) = I (x, y) * psf (x, y) ··· (4)
ここで、撮影光学系が回転対称な共軸光学系であれば、画像の中心部に対応するPSFは回転対称となる。 Here, if the imaging optical system is rotationally symmetric coaxial optical system, PSF corresponding to the center portion of the image is rotationally symmetric. そのため、画像の中心部については回転対称なUSMを適用することで撮影画像f(x,y)を元の画像I(x,y)に近づける鮮鋭化を行うことができる。 Therefore, the center portion of the image can be performed sharpening to approximate the captured image f (x, y) by applying a rotational symmetric USM the original image I (x, y). 補正量は撮影画像とアンシャープマスクでぼかした撮影画像の差分値となるため、精度良く補正するためにはアンシャープマスクUSMは単純な平滑化フィルタを使用するのではなく、よりpsf(x,y)に近い形状のマスクを使用した方がよい。 Since the correction amount is to be the difference value of the captured image blurred by the captured image and the unsharp mask, unsharp masking USM in order to accurately corrected rather than using a simple smoothing filter, more psf (x, it is better to use the shape mask of close to y). 例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるPSFとは分布の形状が異なる。 For example, if the captured image under the influence of the spherical aberration is deteriorated, although affecting the rotational symmetry if the spherical aberration, the shape of the distribution of the PSF according to the influence of the spherical aberration in the smoothing filter, such as a Gaussian filter different. そのため、回転対称にぼける影響を低減する場合であっても、撮影光学系のPSFを使用する方が精度良く補正することができる。 Therefore, even if reducing the blurring effect on rotational symmetry, can be better to use the PSF of the imaging optical system is corrected with good accuracy.

本実施形態はUSMにPSFを用いる。 This embodiment uses a PSF to USM. 図3(A)に示す撮影画像f(x,y)は簡略化のため対称な形状となっているが、画像の形状が対称でなくてもよい。 Figure 3 (A) to show captured image f (x, y) is has a symmetrical shape for simplicity, the shape of the image may not be symmetrical. 元の画像I(x,y)の形状が非対称であってもpsf(x,y)に相当する元の画像I(x,y)にかかる劣化関数が回転対称であれば、回転対称なUSMを用いて鮮鋭化することができる。 Original image I (x, y) psf even shape asymmetric (x, y) original image I (x, y) corresponding to when the deterioration function has rotational symmetry according to the rotational symmetrical USM it can be sharpened using.

一方、画像の中心部以外の位置については撮影光学系が回転対称な共軸光学系であっても、PSFは通常非対称な形状となる。 On the other hand, the photographing optical system for the location other than the center portion of the image even rotationally symmetric coaxial optical system, PSF is usually asymmetrical shape. 図4は、xy平面における撮影光学系のPSFの模式図であり、図4(A)は軸上のPSF、図4(B)は軸外のPSFを表している。 Figure 4 is a schematic diagram of the PSF of the imaging optical system in the xy plane, FIG. 4 (A) on the axis PSF, Fig. 4 (B) represents the off-axis of the PSF.

例えば、元の画像(被写体)が理想点像であったとすると、数式(4)から撮影画像f(x,y)は撮影光学系のPSFになる。 For example, if the original image (object) is assumed to be an ideal point image, Equation (4) from the captured image f (x, y) is the PSF of the imaging optical system. 図4(B)に対応する画角に理想点像があり、撮影光学系のPSFの影響を受けて元の画像(被写体)が劣化したとすれば、入力画像として得られる画像は図4(B)の形状のようにぼけた画像となる。 Figure 4 (B) there is an ideal point image on the viewing angle corresponding to, if the original image (subject) is deteriorated under the influence of PSF of the imaging optical system, an image obtained as the input image FIG. 4 ( a blurred image as the shape of B). このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。 For such a blurred image asymmetrically, the case of performing sharpening by unsharp masking.

図5、図6は非対称に劣化した画像に対するアンシャープ処理の模式図であり、図5は回転対称なアンシャープマスクを用いた場合、図6は回転非対称なアンシャープマスクを用いて処理を行った場合を示している。 5, FIG. 6 is a schematic diagram of the unsharp processing for images degraded asymmetrically, 5 in the case of using a rotationally symmetric unsharp mask, FIG. 6 performs the process using a rotationally asymmetric unsharp mask It shows the case was. 縦軸と横軸は図3と同様である。 Vertical and horizontal axes are the same as in FIG.

図5(A)、図6(A)の実線は図4(B)のy軸方向の断面を表しており、点線はアンシャープマスクでぼかした撮影画像を表している。 FIG. 5 (A), the solid line shown in FIG. 6 (A) represents the y-axis direction of the cross section of FIG. 4 (B), the dotted line represents a captured image blurred by unsharp masking. 図5の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図6の非回転対称なアンシャープマスクには撮像装置のPSFを適用している。 Applying the Gaussian filter to the rotationally symmetric unsharp mask of FIG. 5, it is applied to PSF of the imaging device in a non-rotational symmetric unsharp mask of FIG.

図5(B)、図6(B)は、それぞれ各アンシャープマスクでぼかした撮影画像と元の撮影画像の差分値をプロットしたものであり、補正成分を表している。 FIG. 5 (B), the FIG. 6 (B) plots the difference value between the captured image and the original captured image blurred by the Unsharp Mask respectively represent a correction component. 便宜的に、図5(A)、図6(A)においては、撮影画像がPSFによって、よりぼけて裾野が広くなっている方をY軸のプラス側とする。 For convenience, in FIG. 5 (A), the FIG. 6 (A), the by shot image PSF, to the person who skirt is wide and the positive side of the Y-axis more blurred.

図5(A)では、実線のピーク位置に対してプラス側のぼけた画像と元の画像の差分値が小さく、マイナス側のぼけた画像と元の画像の差分値が大きくなっている。 In FIG. 5 (A), the difference value of the positive side of the blurred image and the original image to the solid line of the peak position is small, the difference value on the minus side of the blurred image and the original image is large. そのため、図5(B)の補正成分も中心のピーク位置対して右側(プラス側)より左側(マイナス側)の方が極値は小さくなってしまっている。 Therefore, it correction component even for the peak position of the center shown in FIG. 5 (B) from the right side (positive side) left (negative side) extreme value is has become smaller.

図5(A)と図5(B)の曲線を比較すればわかるように、撮影画像のプラス側は補正成分の補正量が小さく、裾野が狭いマイナス側は補正量が大きいため、数式(4)による鮮鋭化を行っても非対称なぼけを補正することはできない。 Figure 5 (A) and as can be seen from the comparison curve of FIG. 5 (B), since the positive side of the captured image smaller correction amount of the correction component, is large narrow negative correction amount Susono, equation (4 ) can not be corrected asymmetric blur even if the sharpening by. 例えば、アンシャープマスクを変えずに数式(4)の定数mを変更することで補正量を調整する場合を考える。 For example, consider the case of adjusting the amount of correction by changing the constants m in Equation (4) without changing the unsharp mask. 画像のプラス側を十分に補正するために定数mの値を大きくすると、画像のマイナス側は補正過剰(アンダーシュート)になり、画像のマイナス側の補正量を適切になるように定数mの値を設定すると、画像のプラス側は補正不足となる。 Increasing the value of the constant m in order to sufficiently correct the positive side of the image, the negative side of the image becomes overcorrected (undershoot), the value of the constant m such that the appropriate amount of correction on the negative side of the image If you set, the plus side of the image is insufficiently corrected.

このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。 Thus, even if the unsharp mask processing using a rotationally symmetric unsharp mask for the image blur asymmetrically, it is difficult to sharpen to improve asymmetry. このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。 Such a problem also occurs using a rotationally symmetric filters other than Gaussian filter as rotationally symmetric unsharp mask.

一方、図6(A)では、実線のピーク位置に対してプラス側がぼけた画像と元画像の差分値が大きく、マイナス側がぼけた画像と元の画像の差分値が大きくなっており、この傾向は図5(A)と逆になっている。 On the other hand, in FIG. 6 (A), the larger the difference value of the positive side blurred image and the original image to the solid line of the peak position, the difference value on the minus side is blurred images and the original image is larger, the tendency It is reversed FIG 5 and (a). そのため、図6(B)の補正成分も中心のピーク位置対して左側(マイナス側)より右側(プラス側)の方が極値は小さくなっている。 Therefore, it correction component shown in FIG. 6 (B) even for the peak position of the center from the left side (negative side) right (positive side) of the extreme value is smaller.

図6(A)の実線で表された撮影画像に対して、こうした補正成分を適用すれば、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、そしてマイナス側のぼけが小さい方には補正量が小さくなる。 Against captured image represented by the solid line in FIG. 6 (A), if applying such correction component, large correction amount is larger blur positive side with respect to the peak position, and the negative side of the blur the correction amount becomes smaller the smaller.

こうした非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。 In such asymmetric unsharp mask, because the tendency of the balance correction amount of the balance and the correction component of the blurring direction of the input image matches, even excess or deficiency of the correction which becomes a problem when applying a rotation symmetrical unsharp mask less likely to occur. さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、数式(4)の定数mの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。 Further, as compared with the case of rotationally symmetrical unsharp mask, to become less likely to be over-corrected, the value of the constant m in Equation (4) can also take a relatively large, more sharpened while reducing asymmetry be able to. また、より精度良く補正を行うためには、補正成分の補正量のバランスはぼけた画像と元の画像の差分となるため、撮影光学系のPSFによってより大きくぼけた部分が、アンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。 Further, in order to perform a more accurate correction, since the difference between the correction amount of the balance blurred image and the original image of the correction component, is greater blurred parts by PSF of the imaging optical system, the unsharp mask there should also be more blurred than the other portions. このように、さらに精度によく補正するには、アンシャープマスクとして撮影光学系のPSFを利用することが理想的である。 Thus, in order to correct well further precision, it is ideal to use the PSF of the imaging optical system as unsharp masking.

続いて、後述の各実施例において利用するフィルタと補正信号、そして各実施例のアンシャープマスク処理について説明する。 Subsequently, filter the correction signal utilized in the Examples below, and the unsharp mask processing of the embodiment will be described.

実施例1では、数式(1)、(2)により導かれる以下の式を用いて鮮鋭化を実行する。 In Example 1, the formula (1), to perform the sharpening using the formula derived by (2).

g(x,y)=f(x,y)+m×{f(x,y)−f(x,y)*USM(x,y)}・・・(5) g (x, y) = f (x, y) + m × {f (x, y) -f (x, y) * USM (x, y)} ··· (5)
実施例2では、数式(1)、(3)により導かれる以下の式を用いて鮮鋭化を実行する。 In Example 2, the formula (1), to perform the sharpening using the formula derived by (3).

g(x,y)=f(x,y)+m×f(x,y)*{δ(x,y)−USM(x,y)}・・・(6) g (x, y) = f (x, y) + m × f (x, y) * {δ (x, y) -USM (x, y)} ··· (6)
実施例3では、数式(6)をさらに変形した以下の式を用いて鮮鋭化を実行する。 In Example 3, to perform the sharpening using the following formula which is further modified to equation (6).

g(x,y)=f(x,y)*{δ(x,y)+m×(δ(x,y)−USM(x,y))}・・・(7) g (x, y) = f (x, y) * {δ (x, y) + m × (δ (x, y) -USM (x, y))} ··· (7)
また、数式(7)は次式のように変形することもできる。 Further, Equation (7) can be modified as follows.

g(x,y)=f(x,y)*{(1+m)×δ(x,y)−m×USM(x,y)}・・・(8) g (x, y) = f (x, y) * {(1 + m) × δ (x, y) -m × USM (x, y)} ··· (8)
実施例3では、数式(7)を用いて鮮鋭化を実行しているが、数式(8)を用いても同様に鮮鋭化を実行することができる。 In Example 3, although running sharpening using Equation (7), also using Equation (8) can be executed similarly sharpening.

なお、PSFは、光学系を介して形成される像の像高、光学系の焦点距離、F値、および被写体距離を含む撮影条件ごとに異なる。 Incidentally, PSF is different image height of an image formed through the optical system, the focal length of the optical system, for each imaging condition including F value, and the subject distance. 以下の実施例では撮影条件として像高を例に説明しているが、光学系の焦点距離、F値、および被写体距離に対して異なる収差情報を取得し、それに基づいてアンシャープマスクを生成してもよい。 The following examples are described as an example of the image height as the photographing conditions, the focal length of the optical system, F value, and obtains the different aberrations information to the object distance, to generate an unsharp mask based on it it may be.

図1は、実施例1の撮像装置100のブロック図である。 Figure 1 is a block diagram of an imaging apparatus 100 of the first embodiment. 撮像装置100には、入力画像の鮮鋭化処理(画像処理方法)を行うプログラムが記憶手段120にインストールされており、鮮鋭化処理は撮像装置100の画像処理部104(画像処理装置)により実行される。 The imaging apparatus 100, a program for performing a sharpening process of the input image (image processing method) has been installed in the storage unit 120, the sharpening process is performed by the image processing unit 104 of the imaging apparatus 100 (image processing apparatus) that. 記憶手段120は、ROMやハードディスクドライブなどから構成されるが、後述する記録部108が兼ねてもよい。 Storage means 120 is composed of a ROM or a hard disk drive, it may also serve as the recording unit 108 to be described later.

撮像装置100は、撮影光学系101(レンズ)および撮像装置本体(カメラ本体)を備えて構成されている。 Imaging device 100 is configured to include an imaging optical system 101 (lens) and the imaging device body (camera body). 撮影光学系101は、絞り101aおよびフォーカスレンズ101bを備え、撮像装置本体と一体的に構成されている。 Taking optical system 101, the aperture comprises a 101a and the focus lens 101b, and is integrated with the image pickup apparatus main body. ただし本実施例は、これに限定されるものではなく、撮影光学系101が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。 However, the present embodiment is not limited thereto, the imaging optical system 101 is also applicable to an imaging device which is replaceably attached to the imaging apparatus main body.

撮像素子102は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal−Oxide Semiconductor)などの二次元撮像素子である。 Imaging element 102, CCD (Charge Coupled Device) or CMOS (Complementary Metal-Oxide Semiconductor) is a two-dimensional image pickup device such as. 撮像素子102は、撮影光学系101を介して得られた被写体像(結像光)を光電変換して撮影画像を生成する。 The imaging device 102 generates a captured image object image obtained through the photographing optical system 101 (imaging light) by photoelectrically converting. 被写体像は、撮像素子102により光電変換が行われてアナログ信号(電気信号)に変換され、このアナログ信号はA/Dコンバータ103によりデジタル信号に変換され、このデジタル信号は画像処理部104に入力される。 Object image is performed photoelectric conversion is converted into an analog signal (electrical signal) by the image pickup device 102, the analog signal is converted into a digital signal by the A / D converter 103, the digital signal is input to the image processing unit 104 It is.

画像処理部104は、このデジタル信号に対して所定の処理を行うとともに所定のアンシャープマスク処理を行う画像処理手段である。 The image processing unit 104 is an image processing means for performing predetermined unsharp masking performs predetermined processing on the digital signal. なお、本実施例では、撮像装置の画像処理部が鮮鋭化処理を行っているが、パーソナルコンピュータ(PC)や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。 In this embodiment, the image processing unit of the imaging apparatus is performing a sharpening process, a personal computer (PC) or a dedicated apparatus may perform sharpening processing as the image processing apparatus.

画像処理部104は、状態検知部107から撮像装置100の撮像条件情報を取得する。 The image processing unit 104 acquires imaging conditions information of the imaging apparatus 100 from the state detection unit 107. 撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離などに関する情報である。 The imaging condition information, iris, Range, or the focal length of the zoom lens is information about such. 状態検知部107は、システムコントローラ106から直接に撮像条件情報を取得することができるが、これに限定されるものではない。 State detection unit 107 can be directly acquire the imaging condition information from the system controller 106, but is not limited thereto. 例えば、撮影光学系101に関する撮像条件情報は、撮影光学系制御部105から取得することもできる。 For example, the imaging condition information related to a shooting optical system 101 can be acquired from the photographing optical system control unit 105.

続いて、画像処理部104では入力画像に対して画像鮮鋭化処理を行う。 Subsequently, the image sharpening processing to the image processing unit 104 in the input image. 画像処理部104は、点像強度分布選択部(PSF選択部)201、補正信号生成部202、補正信号適用部203を有する。 The image processing unit 104, the point spread selector (PSF selection section) 201, the correction signal generation unit 202 includes a correction signal application unit 203. 但し、画像処理部104が画像処理装置として構成される場合、撮像装置100のシステムコントローラ106は、撮影画像と対応付けて収差情報を記憶してもよい。 However, if the image processing unit 104 is configured as an image processing apparatus, the system controller 106 of the imaging apparatus 100 may store the aberration information in association with the captured image. そして、その場合は、画像処理装置は、補正信号生成部202と補正信号適用部203を有して、PSF選択部201を有しなくてもよい。 Then, in that case, the image processing apparatus, a correction signal generating unit 202 and the correction signal application unit 203 may not have a PSF selection section 201.

画像処理部104で処理された出力画像を、記録部108に所定のフォーマットで保存する。 The output image processed by the image processing unit 104, is stored in the recording unit 108 in a predetermined format. また、記録部108は、撮影光学系101の撮影条件と撮影光学系のPSFとの関係を記憶する記憶手段としても機能する。 The recording unit 108 also functions as a storage means for storing a relationship between the PSF of the imaging conditions of the imaging optical system of the imaging optical system 101.
画像表示部112は、画像鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。 The image display unit 112 can display an image obtained by performing predetermined processing for display after the image sharpening process. 画像表示部112には、高速表示のために簡易処理を行って得られた画像を表示してもよい。 The image display unit 112, an image may be displayed obtained by performing a simple process for the high-speed display.

以上の一連の処理は、システムコントローラ106によって制御される。 A series of processes described above is controlled by the system controller 106. システムコントローラ106は、マイクロコンピュータ、CPU(プロセッサ)として構成される。 The system controller 106 is a microcomputer configured as CPU (processor). また、撮影光学系101の機械的な駆動は、システムコントローラ106の指示に基づいて、撮影光学系制御部105により行われる。 Furthermore, mechanical drive of the photographing optical system 101 based on an instruction of the system controller 106, performed by the photographing optical system control unit 105.

撮影光学系101には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。 The imaging optical system 101 may insert an optical element such as a low-pass filter or an infrared cut filter. ローパスフィルタなどのPSFの特性に影響を与える光学素子を用いる場合、アンシャープマスクを作成する時点でこの素子の影響を考慮すれば、より高精度な画像鮮鋭化処理が可能である。 When using the optical element to influence the properties of the PSF such as a low-pass filter, in consideration of the influence of the element at the time of creating an unsharp mask can be more accurate image sharpening processing. 赤外カットフィルタにおいても、分光波長のPSFの積分値であるRGBチャンネル(RGB色成分)の各PSF、特にRチャンネルのPSFに影響するため、アンシャープマスクを作成する時点でその素子の影響を考慮することがより好ましい。 Also in the infrared cut filter, the PSF of the RGB channels (RGB color components) is the integral value of the PSF of the spectral wavelength, particularly because it affects the PSF of the R channel, the influence of the element at the time of creating an unsharp mask it is more preferable to consider.

次に、図2を参照して、本実施例における画像処理方法について説明する。 Next, with reference to FIG. 2, the image processing method in this embodiment. 図2は、本実施例の全体的な流れを示すフローチャートであり、「S」は「ステップ(工程)」を表す。 Figure 2 is a flow chart showing the overall flow of the present embodiment, "S" represents "step (step)". 図2に示すフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム(画像処理プログラム)として具現化が可能である。 Flowchart shown in FIG. 2 can be embodied as a program (image processing program) for executing the functions of each step in the computer. これは他のフローチャートにおいても同様である。 This also applies to other flowcharts. 図2の各ステップは、システムコントローラ106の指示に基づいて、画像処理部104により行われる。 Each step of FIG. 2, based on an instruction from the system controller 106, performed by the image processing unit 104.

まず、撮影画像を入力画像として取得し(S11)、続いて、PSF選択部201は入力画像の撮影条件に対応した撮影光学系のPSFを記録部108より取得する(取得ステップS12)。 First acquires the captured image as the input image (S11), followed by, PSF selection section 201 acquires from the recording unit 108 the PSF of the imaging optical system corresponding to the photographing condition of the input image (obtaining step S12). PSF選択部201が取得するPSFの情報は、2次元のタップのデータや、PSFの構成要素となる複数の1次元のタップのデータや、係数であってもよい。 PSF of information acquired PSF selection section 201 is, data of the two-dimensional taps, and the data of a plurality of one-dimensional tap is a component of the PSF, or may be a factor.

次に、補正信号生成部202は、S12で取得したPSFの情報を用いてアンシャープマスク及び補正信号を生成する(生成ステップS13)。 Next, the correction signal generator 202 generates an unsharp mask and the correction signal by using the PSF of the information acquired in S12 (generation step S13).

ここで、図7を参照して、アンシャープマスクについて説明する。 Here, with reference to FIG. 7, described unsharp masking. アンシャープマスクは撮影光学系の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。 Unsharp mask number the tap is determined in accordance with the accuracy of aberration characteristics and the required sharpening of the photographing optical system. 図7(a)のアンシャープマスクは、一例として、11×11タップの2次元のマスクである。 Unsharp mask of FIG. 7 (a), as an example, is a two-dimensional mask 11 × 11 taps. また、図7(a)では、各タップ内の値(係数)を省略しているが、このアンシャープマスクの一断面を図7(b)に示す。 Further, in FIG. 7 (a), although not a value (coefficient) in each tap, showing one section of the unsharp mask in FIG. 7 (b). 図7(b)において、横軸はタップ、縦軸はタップの値である。 In FIG. 7 (b), the horizontal axis represents the tap, the vertical axis represents the value of the tap.

アンシャープマスクの各タップの値(係数値)の分布は、収差により広がった信号値(撮影光学系のPSF)の分布が理想的である。 Distribution of values ​​of each tap of the unsharp mask (coefficient value), the distribution of the spread signal value by the aberration (PSF of the imaging optical system) is ideal. このようにPSFの情報を用いてアンシャープマスクを生成してもよいし、PSF選択部201が取得したPSFをそのままアンシャープマスクとして使用してもよい。 Thus may generate an unsharp mask using the information of the PSF, may be used the PSF PSF selection unit 201 has acquired as an unsharp mask intact. 補正信号生成部202におけるアンシャープマスクを用いて補正信号を生成する場合、補正信号生成の処理については後述する。 When generating the correction signal by using the unsharp mask in the correction signal generation unit 202 will be described later process of the correction signal generation.

次に、補正信号適用部203は、S13で生成された補正信号を用いて入力画像に対して鮮鋭化処理を実行する(鮮鋭化ステップS14)。 Next, the correction signal application unit 203 performs a sharpening process on the input image using the correction signal generated by S13 (sharpening step S14). S14における詳細な処理の内容についても後述する。 It will also be described later contents of the detailed process in S14.

図8(a)は、本実施例の詳細な処理の流れをフローチャートである。 8 (a) is a flowchart of the detailed process flow of this embodiment. 図8(a)の各ステップは、システムコントローラ106の指示に基づいて、画像処理部104により行われる。 Each step in FIG. 8 (a), based on an instruction from the system controller 106, performed by the image processing unit 104.

まず、撮影画像を入力画像として取得する(S111)。 First, to obtain the captured image as the input image (S 111). ここでは、入力画像として使用する補正対象としての色成分データは、例えば、デモザイキング後のGチャンネルの画像データである。 Here, the color component data as correction target to be used as an input image is an image data of the G channel after demosaicing. 但し、RチャンネルやBチャンネルの画像データや、RGBすべてのチャンネルの画像データ、あるいはデモザイキング前の画像データであってもよい。 However, and image data of the R channel or B channel, RGB all channels image data, or demosaicing may be a previous image data.

図9は、離散的な規則配列であるベイヤー配列の模式図である。 Figure 9 is a schematic diagram of the Bayer array is a discrete ordered array. 例えば、単純にRGBの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として処理してもよいし、ある特定のチャンネルのみ入力画像として使用してもよい。 For example, simply as it is extracted data for each channel of RGB, may be processed as an input image for each color, it may be used as a specific channel only the input image. あるいは図9に示すように、GチャンネルをG1、G2の2つにわけ、4チャンネルとして取り扱ってもよい。 Alternatively, as shown in FIG. 9, may handle G channel G1, G2 of 2 Tsuniwake as 4 channels. このようにGチャンネルを2つに分けることで、R、G1、G2、Bのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。 By thus dividing the G channel into two, R, G1, G2, the image data obtained by extracting the respective B for the resolution are equal, it becomes easier to processing and data processing.

次に、PSF選択部201は入力画像に対応した撮影光学系のPSFの情報を記録部108より取得する(S112)。 Next, PSF selection section 201 acquires from the recording unit 108 the PSF information of the photographing optical system corresponding to the input image (S112). PSF選択部201が取得するPSFの情報は、2次元のタップのデータや、PSFの構成要素となる複数の1次元のタップのデータや、係数であってもよい。 PSF of information acquired PSF selection section 201 is, data of the two-dimensional taps, and the data of a plurality of one-dimensional tap is a component of the PSF, or may be a factor. 2次元のデータを複数の1次元のデータで分解する方法としては、例えば、特異値分解定理などがある。 The method for decomposing a two-dimensional data by a plurality of one-dimensional data, for example, there is such singular value decomposition theorem. こうした定理を用いて分解された主成分を記録部108に記録しておき、撮影条件に応じてPSFの主成分に対応するこれら複数の1次元のタップデータを取得してきてもよい。 The principal component decomposition using such theorem may be recorded in the recording unit 108 may have to obtain the tap data of the plurality of one-dimensional corresponding to the main component of the PSF according to the shooting conditions.

PSFは像高によって変化するため、補正精度を高めるためには、像高に応じてアンシャープマスクを変化させることが好ましいが、記録部108に記録するデータ容量はコストアップをもたらす。 Since the PSF that varies with the image height, in order to improve the correction accuracy, they are preferable to change the unsharp mask dependent on the image height, capacity of data recorded in the recording unit 108 results in a cost increase. そこで、本実施例は、アンシャープマスクを像高ごとに変化させるために、入力画像を複数の領域に分割し、領域ごとに少なくとも2点の像高におけるPSFの情報を用いて補間処理を行うことで中間に相当するアンシャープマスクを生成している。 The present embodiment, in order to change the unsharp mask for each image height, an input image is divided into a plurality of regions, performs interpolation processing using the PSF of the information at the image height of at least two points for each area It is generating the unsharp mask, which corresponds to the middle by. 補間方法の詳細については後述のS114において説明する。 For more information about the interpolation method will be described in S114 to be described later.

次に、入力画像の領域の分割について説明する。 Next, a description will be given division of the region of the input image. 図10は入力画像の模式図であり、便宜上入力画像の長辺方向をx軸、短辺方向をy軸とし、画像の中心を座標の原点とする。 Figure 10 is a schematic diagram of the input image, x-axis and the long side direction of convenience the input image, the short-side direction and the y-axis, the center of the image as the origin of coordinates. 本実施例は、図10に示すように、一例として、入力画像を領域Aから領域Gの8つの領域に分割し、各領域の周辺部、および原点の点像強度分布関数の情報を取得する。 In this embodiment, as shown in FIG. 10, as an example, it divides the input image from the area A into eight regions G, acquires the information of the peripheral portion, and the origin point spread function of the respective areas .

次に、補正信号生成部202はS112で取得したPSFを用いてフィルタリング処理を行う(S113)。 Next, the correction signal generation unit 202 performs filtering processing using the PSF obtained in S112 (S113). 本実施例は、PSFをアンシャープマスクとして使用し、入力画像にアンシャープマスクをコンボリューション処理(畳み込み積分、積和)する。 This embodiment uses a PSF as unsharp masking, the unsharp mask convolution process (convolution product-sum) to the input image. S112で取得したPSFは周辺8つ中心1つの計9つあるため、それぞれに対応したアンシャープマスクによりぼけた入力画像、つまりアンシャープマスクをフィルタリングした画像データは9つできることになる。 S112 because the PSF obtained in one central one total nine neighborhood 8, the input image blur by unsharp mask corresponding to each, i.e. image data obtained by filtering the unsharp mask becomes possible to nine.

次に、補正信号生成部202はS113で生成した、アンシャープマスクをフィルタリングした複数の画像データ用いて像高方向の補間処理を行い、1つのアンシャープマスクでフィルタリングされた画像データを生成する(補間ステップS114)。 Next, the correction signal generating unit 202 generated in S113, performs interpolation processing of the image height direction using a plurality of image data obtained by filtering the unsharp mask, to generate the image data filtered by one unsharp mask ( interpolation step S114).

図11を参照し、像高方向の補間処理について説明する。 Referring to FIG. 11, a description will be given image height direction interpolation process. 図11において、原点に対して領域Cがある方向をx軸の正の方向、領域Aがある方向をy軸の正の方向とすると、図11は、x軸y軸がともに正となる入力画像の第1象限の領域を示している。 11, when the positive direction of the x-axis the direction in which region C with respect to the origin, the direction in which region A is a positive direction of the y-axis, Figure 11 is an input to the x-axis y-axis are both positive It shows a first quadrant region of the image. ここで、P0は原点、P1、P2、P3はそれぞれ領域A、領域B、領域Cの周辺像高とし、S112においてPSF選択部201が各像高P0、P1、P2、P3のPSFを取得したとする。 Here, P0 is the origin, P1, P2, P3 each region A, region B, the peripheral image height region C, PSF selection section 201 in S112 acquires the PSF of each image height P0, P1, P2, P3 to.

図11において、白丸で表された点Pnは画像内の任意の点(像高)を表しており、領域B内の点Pnは点P0と点P2のPSFの情報を用いて、S113で作成したアンシャープマスクを入力画像にフィルタリング処理したデータを使用する。 In Figure 11, Pn points represented by white circles represents the arbitrary point in the image (image height), the Pn points in region B using a PSF of information of the point P0 and the point P2, created in S113 to use a filtering process data an unsharp mask to the input image. 同様に、領域A及び領域C内の点Pnはそれぞれ点P0と点P1、点P0と点P3の像高に対応するアンシャープマスクを、S113において入力画像にフィルタリング処理したデータを使用する。 Similarly, regions A and point Pn each point P0 and the point in the region C P1, the unsharp mask corresponding to the image height of the point P0 and the point P3, using a filtering process data to the input image at S113.

続いて、領域内の2つの像高から任意の点Pnにおけるフィルタリング処理したデータに相当する補間データの生成について説明する。 The following describes the generation of interpolation data corresponding to the filtering data at Pn any point from the two image heights in the region. 図11に示すように、領域B内に点Pnがあり、原点P0からの距離がd0、点P2からの距離がd2であるとする。 As shown in FIG. 11, there is a point Pn in the region B, the distance from the origin P0 is d0, the distance from the point P2 is assumed to be d2. また、S113において、点P0、P2に対応するPSFを用いてフィルタリングした入力画像をそれぞれF0、F2とすると、任意の点Pnに相当する補間データFnは、次式のようになる。 Further, in S113, when the input image filtered using PSF corresponding to the point P0, P2 respectively F0, F2, interpolation data Fn corresponding to Pn any point is as follows.

Fn=F0×(1−d0)+F2×d2・・・(9) Fn = F0 × (1-d0) + F2 × d2 ··· (9)
このような補間処理を行うことで、各領域内の任意の像高における補間データを生成することができ、S113おいて生成された複数の画像データから1つの画像データが生成される。 Such interpolation processing by performing, it is possible to generate interpolated data at an arbitrary image height in each area, one image data is generated from a plurality of image data S113 Oite generated. このようにして生成された画像データは、像高に応じて異なるPSFを用いて入力画像をフィルタリング処理する場合よりもデータ量を少なくすることができるので、処理速度を改善することができる。 The image data which has been generated, since it is possible to reduce the amount of data than when filtering an input image using a different PSF depending on the image height, it is possible to improve the processing speed.

なお、数式(9)は第1象限の領域Bに関する計算式となっているが、他の領域、他の象限についても同様な演算を行うことにより補間処理後のデータを作成することができる。 Incidentally, Equation (9) can create the data after the interpolation processing by performing although a calculation formula for the first quadrant region B, the other region, the same operation for the other quadrants. また、像高の補間に使用する計算式は数式(9)に限らず、計算式に2次曲線を使用したり、あるいは各フィルタリングした入力画像に対してある定数を掛けることで重み付けしてもよい。 The calculation formula used to image height of the interpolation is not limited to Equation (9), or use a quadratic curve equation, or be weighted by multiplying the constants with respect to each filtered input image good.

次に、補正信号生成部202は、S114で生成した補間データを用いて補正信号を生成する(S115)。 Next, the correction signal generator 202 generates a correction signal by using the interpolation data generated by the S114 (S115). 本実施例において、補正成分は数式(2)で示されるものであり、入力画像とS114で生成した補間データの差分をとることで生成される。 In the present embodiment, correction component are those represented by the formula (2) is generated by taking the difference between the interpolated data generated by the input image and S114.

次に、補正信号適用部203は、S115で生成した補正信号を入力画像に適用することによって画像を鮮鋭化する(S116)。 Next, the correction signal application unit 203, to sharpen an image by applying the input image generated correction signal S115 (S116). 本実施例において、補正信号の適用処理は数式(1)に対応し、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して定数mの値を決定する。 In this embodiment, application process of the correction signal corresponds to Equation (1), determines the value of the constant m in consideration of the over correction or insufficient correction of noise and sharpening of the image. このようにして決定した定数m、S115で生成した補正信号、そして入力画像を使用し、鮮鋭化処理を行う。 Generated correction signal by a constant m, S115 determined this way, and using the input image, performs a sharpening process.

数式(1)は第1項と第2項を加算する形で表現されているが、これは定数mが正の場合であり、定数mが負の場合は減算になる。 While Equation (1) is expressed in the form of adding first and second terms, this is the case constant m is positive, if the constant m is negative becomes subtraction. このように、本実施例の鮮鋭化処理では補正信号を入力画像に適用する際、適用処理が加算あるいは減算となるが、定数mの符号の違いによるもので本質的には同じことを意味するため、定数mの符号によって変えれば演算はどちらであっても構わない。 Thus, when the sharpening process of the present embodiment of applying the correction signal to the input image, but application processing is addition or subtraction, it is essentially in due to a difference in sign of the constant m mean the same thing Therefore, operation be changed depending on the sign of the constant m may be either. 本実施例では、撮影光学系のPSFをアンシャープマスクに用いているため、入力画像の周辺部にみられるような撮影光学系の非対称なPSFによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。 In this embodiment, the use of the PSF of the imaging optical system in the unsharp mask, even images degraded by asymmetric PSF of the imaging optical system as seen in the peripheral portion of the input image, accuracy input image well corrected can be sharpened.

本実施例では、像高方向の補間をフィルタリング後に行ったが、補正信号に対して行ってもよいし(図8(b))、鮮鋭化後の画像に対して行ってもよい(図8(c))。 In this embodiment, it was subjected to interpolation of image height direction after filtering, may be performed with respect to the correction signal (FIG. 8 (b)), may be performed on the image after the sharpening (Fig. 8 (c)).

図8(b)においては、入力画像に設定された複数の領域のそれぞれについて少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数の補正信号を生成する。 In FIG. 8 (b), we obtain the point spread function at the image height of at least two points for each of the plurality of areas set in the input image, a plurality of correction signals based on the plurality of point spread functions to generate. そして、複数の補正信号を像高方向に補間処理を行って1つの補正信号を生成し、この1つの補正信号を、前記入力画像に適用することによって入力画像を鮮鋭化する。 Then, by performing interpolation processing a plurality of correction signals in the image height direction generates one of the correction signal, the one of the correction signal, to sharpen the input image by applying to the input image. 図8(c)においては、入力画像に設定された複数の領域のそれぞれについて少なくとも2点の像高における点像強度分布関数を取得し、複数の点像強度分布関数に基づいて複数の補正信号を生成する。 In FIG. 8 (c), the obtains the point spread function at the image height of at least two points for each of the plurality of areas set in the input image, a plurality of correction signals based on the plurality of point spread functions to generate. そして、複数の補正信号をそれぞれ前記入力画像に適用することによって複数の鮮鋭化後の画像を取得し、複数の鮮鋭化後の画像を像高方向に補間処理を行って1つの鮮鋭化後の画像を生成する。 Then, to get an image after a plurality of sharpening by applying multiple correction signals to each of the input image, one performs interpolation processing an image after a plurality of sharpening the image height direction after sharpening to generate an image.

図8(b)は、補正信号を生成した後に像高方向の補間処理を行う場合の詳細な処理の流れを示したフローチャートである。 8 (b) is a flowchart showing the detailed flow of processing when after generating a correction signal performs interpolation processing of the image height direction. S121、S122、S123はS111、S112、S113にそれぞれ対応する。 S121, S122, S123 is S 111, S112, corresponding respectively to S113. 図8(a)に対して、S114、S115の処理が異なるため、図8(b)においてそれらの処理に対応するS124、及びS125について説明する。 FIG respect 8 (a), S114, since the processing of S115 is different, S124 correspond to those of the processing in FIG. 8 (b), the and S125 will be described.

S124において、補正信号生成部202はS123で入力画像に対してアンシャープマスクをフィルタリングしたデータから補正信号を生成する。 In S124, the correction signal generation unit 202 generates a correction signal from the data obtained by filtering the unsharp mask for the input image in S123. 補正信号は入力画像とフィルタリングしたデータを用いて、数式(2)に基づいて、入力画像とフィルタリングしたデータの差分をとることで生成される。 Correction signal using the input image and the filtered data, on the basis of the equation (2) is generated by taking the difference between the input image and the filtered data. このような処理により生成された補正信号はS123で生成したデータ分だけ生成される。 Correction signal generated by such processing is generated by the generated data amount in S123.

次に、S125において、補正信号生成部202はS124で生成した複数の補正信号を用いて像高方向の補間処理を実行する。 Next, in S125, it executes interpolation processing of the image height direction using a plurality of correction signal correction signal generator 202 generated in S124. S125で実行される補間処理は補間する対象が変わるものの、基本的な処理の流れはS114における補間処理と同様である。 Although the interpolation process executed in S125 is changed is subject to interpolation, the flow of the basic processing is the same as interpolation processing in S114. S114では、S112で取得したPSFをアンシャープマスクとして入力画像に畳み込んだデータを像高方向に補間している。 In S114, which interpolates the data convoluted in the input image of the PSF acquired in S112 as unsharp mask in the image height direction.

一方、S125では入力画像とアンシャープマスクを入力画像に畳み込んだデータの差分を補正信号とし、その補正信号を像高方向に補間処理を行う。 On the other hand, the difference between the data convolved with the input image the input image and the unsharp mask in S125 as the correction signal, interpolation is performed the correction signal to the image height direction. 数式(2)におけるf(x,y)*USMを像高方向に補間するのがS114であり、h(x,y)を像高方向に補間するのがS125となる。 Equation (2) in f (x, y) * USM a is S114 for interpolates the image height direction, h (x, y) is to interpolate the image height direction becomes S125.

よって、S114におけるf(x,y)*USMのデータをh(x,y)に置き換えることでS125の処理、つまり補正信号を像高方向に補間処理を実現することができる。 Thus, the process of S125 by replacing f (x, y) * USM data of the h (x, y) in S114, i.e. it is possible to realize an interpolation process to the correction signal to the image height direction. このようにして補正信号を補間処理した後の補正信号のデータを用いて、S126において補正信号適用部203は入力画像に対して補正信号を適用する。 Thus the to the correction signal by using the data of the correction signal after the interpolation processing, the correction signal application unit 203 in S126 applies a correction signal to the input image. S126における補正信号の適用処理についてはS116と同様な処理になるため、詳細な説明は割愛する。 To become a process similar to S116 for application processing of the correction signal in S126, detailed description thereof is omitted.

次に、図8(c)を参照して、補正信号を適用した後の入力画像に対して像高方向の補間を行う場合の処理の流れを説明する。 Next, referring to FIG. 8 (c), illustrating the flow of processing when performing image height direction of interpolation on the input image after applying the correction signal. S131、S132、S133、S134はS121、S122、S123、S124にそれぞれ対応する。 S131, S132, S133, S134 are S121, S122, S123, corresponding respectively to S124.

図8(b)に対してS125、及びS126の処理が異なるため、それらの処理に対応するS135、及びS136について説明する。 Since S125, and processing of S126 is different for Figure 8 (b), S135 corresponds to their processing, and S136 will be described. S135において、補正信号適用部203はS134で生成した補正信号を用いて、入力画像に対して鮮鋭化処理を行う。 In S135, the correction signal application unit 203 using the correction signal generated by S134, performs the sharpening process on the input image. S134で生成した補正信号はS132で選択されたPSFを用いて作成された複数のアンシャープマスクの分だけ生成される。 Generated correction signal S134 is generated by the amount of a plurality of unsharp mask generated using the PSF selected in S132. よって、S135では数式(1)に基づいてS134で生成された複数の補正信号をそれぞれ入力画像に適用することで、鮮鋭化処理を行う。 Thus, by applying a plurality of correction signals generated in S134 in the input image respectively based on the equation (1) in S135, it performs the sharpening process.

次に、S136において、S135で生成した複数の鮮鋭化画像を像高方向に補間処理する。 Next, in S136, an interpolation process a plurality of sharpened images generated in S135 in the image height direction. S136で実行される補間処理は補間する対象が変わるものの、基本的な処理の流れはS114、あるいはS125における補間処理と同様である。 Although the interpolation process executed in S136 is changed is subject to interpolation, the flow of the basic processing is the same as interpolation processing in S114 or S125,. S125とS136を比較すると、数式(1)におけるh(x,y)を像高方向に補間するのがS125であり、g(x,y)を像高方向に補間するのがS136となる。 Comparing S125 and S136, a is S125 to interpolate Equation (1) in h (x, y) to the image height direction, g (x, y) is to interpolate the image height direction becomes S136. よって、S125におけるh(x,y)のデータをg(x,y)に置き換えることでS136の処理、つまり鮮鋭化後の画像を像高方向に補間処理を実現することができる。 Therefore, the data of h (x, y) in S125 g (x, y) process S136 by replacing, i.e. it is possible to realize an interpolation process an image after sharpening the image height direction.

実施例2の撮像装置は、実施例1の撮像装置と同様の構成を有する。 Imaging apparatus of the second embodiment has the same configuration as the imaging apparatus of Embodiment 1. 実施例2は、図8に示す画像処理方法の代わりに図12に示す画像処理方法を使用する点で実施例1と相違する。 Example 2 is different from the first embodiment in that it uses the image processing method shown in FIG. 12 in place of the image processing method shown in FIG. 図12は、実施例2の画像処理方法を示すフローチャートであり、各ステップは、システムコントローラ106の指示に基づいて、画像処理部104より行われる。 Figure 12 is a flow chart showing the image processing method of Example 2, each step, based on an instruction from the system controller 106 is performed from the image processing unit 104.

本実施例は、補正信号の生成方法が実施例1と異なる。 This example method of generating a correction signal is different from example 1. S211、S212はS111、S112と同様である。 S211, S212 is similar to S 111, S112. 実施例1は、数式(2)に基づいて補正信号を生成するのに対し、本実施例は、数式(3)に基づいて補正信号を生成する。 Example 1, compared to generate a correction signal based on the equation (2), this embodiment generates a correction signal based on the equation (3). 本実施例の補正信号生成部202で補正信号を生成する際に、まず理想点像とPSF選択部201が選択してきたPSFの差分をとり、フィルタを生成する(S213)。 When generating the correction signal by the correction signal generation unit 202 of the present embodiment, first taking the difference of the PSF that ideal point image and PSF selection section 201 has been selected, to produce a filter (S213). 次に、補正信号生成部202は、生成したフィルタを入力画像に対して入力画像を畳み込むことで補正信号を生成する(S214)。 Next, the correction signal generator 202 generates a correction signal by convolving the input image the generated filter to the input image (S214). S215、S216、S217はS114、S115、S116と同様であるため、説明を割愛する。 S215, S216, since S217 is similar to S114, S115, S116, description thereof will be omitted. これにより、数式(6)に基づく鮮鋭化処理を実行することができる。 Thus, it is possible to perform the sharpening processing based on the equation (6).

なお、像高方向の補間に関しては、実施例1で示すように、補正信号の段階で実行してもよいし、補正信号を入力画像に適用して鮮鋭化した段階で像高方向の補間を実行してもよい。 With respect to the image height direction interpolation, as shown in Example 1, may be executed at the stage of the correction signal, the by applying the correction signal to the input image interpolation the image height direction sharpening stages it may be executed.

実施例3の撮像装置は、実施例1の撮像装置と同様の構成を有する。 Imaging device of the third embodiment has the same configuration as the imaging apparatus of Embodiment 1. 実施例3は、図8に示す画像処理方法の代わりに図13に示す画像処理方法を使用する点で実施例1と相違する。 Example 3 is different from the first embodiment in that it uses the image processing method shown in FIG. 13 in place of the image processing method shown in FIG. 図13は、実施例3の画像処理方法を示すフローチャートであり、各ステップは、システムコントローラ106の指示に基づいて、画像処理部104より行われる。 Figure 13 is a flow chart showing the image processing method of the third embodiment, each step, based on an instruction from the system controller 106 is performed from the image processing unit 104.

本実施例は、補正信号の生成方法や補正信号の適用方法が実施例1、2と異なり、本実施例は、数式(7)に基づいてフィルタを生成し、入力画像に対して生成したフィルタを適用する。 Filter this embodiment is different application methods generation method and the correction signal of the correction signal the first and second embodiments, this embodiment, which generates a filter based on equation (7) to generate the input image to apply. よって、図13のフローチャートの中で処理の内容が実施例1、2と異なるところはS313のフィルタの生成、S314のフィルタの適用になる。 Therefore, generation of filtering the contents of processing of Examples 1 and 2 differs from the in S313 in the flowchart of FIG. 13, the application of the S314 in the filter. S311、S312はS111、S112と同様である。 S311, S312 is similar to S 111, S112.

本実施例では、S312で選択したPSFをアンシャープマスクとして利用し、数式(7)の中括弧の部分に相当するフィルタを生成する(S312)。 In this embodiment, utilizing the PSF selected in S312 as the unsharp mask, in the equation (7) generating a filter corresponding to the portion of the brackets (S312). なお、本実施例では、補正信号生成部202が生成する補正信号はフィルタである。 In the present embodiment, the correction signal is the correction signal generation unit 202 generates is a filter. 次に、補正信号適用部203は、S313において生成したフィルタを入力画像に畳み込みを行い、鮮鋭化する(S314)。 Next, the correction signal application unit 203 performs a convolution on the input image a filter generated in S313, to sharpen (S314). 本実施例の鮮鋭化処理では、予め撮影光学系のPSFをアンシャープマスクとして生成したフィルタ(補正信号)を、撮影画像に対して一度の畳み込みで鮮鋭化することができる。 In the sharpening process of this embodiment, a filter that generated the PSF in advance the photographing optical system as unsharp masking (correction signal), it is possible to sharpen in one convolution relative to the captured image.

以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。 Having described embodiments of the present invention, the present invention may be variously modified and changed within the scope of the invention.

本発明の画像処理方法は、撮像装置や専用の画像処理装置に適用することができる。 The image processing method of the present invention can be applied to an imaging apparatus or a dedicated image processing apparatus.

104…画像処理部、201…点像強度分布関数選択部(取得手段)、202…補正信号生成部(生成手段)、203…補正信号適用部(鮮鋭化手段) 104 ... image processing unit, 201 ... point spread function selecting section (obtaining means), 202 ... correction signal generator (generator means), 203 ... correction signal application unit (sharpening means)

Claims (18)

  1. 光学系を介した撮像により生成された撮影画像を取得し、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行う処理手段を有し、 With respect to the captured image using a filter generated on the basis of the acquired photographed image generated by the imaging through the optical system, and information on point spread function of the optical system corresponding to the imaging conditions of the optical system includes a processing unit that performs an unsharp mask processing,
    前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは 2次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする画像処理装置。 The filter used in the unsharp mask processing on the captured image, the image processing apparatus which comprises a filter data of two-dimensional strip is distributed rotationally asymmetric.
  2. 前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは、前記2次元のタップのデータが、像高方向および像高方向以外の方向において非対称に分布しているフィルタを含むことを特徴とする請求項に記載の画像処理装置。 Claim filter used in the unsharp mask processing with respect to the captured image, data of the two-dimensional taps, characterized in that it comprises a filter that is distributed asymmetrically in the direction other than the image height direction and an image height direction the image processing apparatus according to 1.
  3. 前記処理手段は、 The processing means,
    前記フィルタを前記撮影画像に適用した画像と、前記撮影画像との差分をとることによって補正信号を生成する生成手段と、 An image of applying the filter to the captured image, a generation unit for generating a correction signal by taking the difference between the captured image,
    前記生成手段が生成した前記補正信号を定数倍して前記撮影画像に加算することによって、または、前記生成手段が生成した前記補正信号を前記撮影画像の位置に応じた調整係数を用いて調整して前記撮影画像に加算することによって、前記撮影画像を鮮鋭化する鮮鋭化手段と、 By adding to the photographed image by a constant multiple of the correction signal the generating means has generated, or to adjust the correction signal the generating means is generated by using an adjustment coefficient corresponding to the position of the captured image by adding to the photographed image Te, and sharpening means for sharpening the captured image,
    を有することを特徴とする請求項1 または2に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, characterized in that it has a.
  4. 前記処理手段は、 The processing means,
    前記点像強度分布関数と理想点像との差分情報に基づいて生成されたフィルタを、前記撮影画像に畳み込み積分することによって補正信号を生成する生成手段と、 Generating means for generating a correction signal by a filter generated on the basis of difference information between the point image intensity distribution function and the ideal point image, convolving the captured image,
    前記生成手段が生成した前記補正信号を定数倍して前記撮影画像に加算することによって、または、前記生成手段が生成した前記補正信号を前記撮影画像の位置に応じた調整係数を用いて調整して前記撮影画像に加算することによって、前記撮影画像を鮮鋭化する鮮鋭化手段と、 By adding to the photographed image by a constant multiple of the correction signal the generating means has generated, or to adjust the correction signal the generating means is generated by using an adjustment coefficient corresponding to the position of the captured image by adding to the photographed image Te, and sharpening means for sharpening the captured image,
    を有することを特徴とする請求項1 または2に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, characterized in that it has a.
  5. 前記処理手段は、 The processing means,
    前記点像強度分布関数と理想点像との差分情報を定数倍して前記理想点像に加算することによって、または、前記差分情報を前記撮影画像の位置に応じた調整係数を用いて調整して前記理想点像に加算することによって、フィルタを生成する生成手段と、 By adding to the ideal point image by a constant multiple of the difference information between the point image intensity distribution function and the ideal point image, or adjusted using an adjustment coefficient corresponding to the difference information on the position of the captured image by adding to the ideal point image Te, a generating means for generating a filter,
    前記生成手段が生成した前記フィルタを、前記光学系を介した撮像により生成された撮影画像に畳み込み積分することによって前記撮影画像を鮮鋭化する鮮鋭化手段と、 And sharpening means for sharpening the captured image by said generating means to said filter generated, convolving the captured image generated by the imaging through the optical system,
    を有することを特徴とする請求項1 または2に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, characterized in that it has a.
  6. 前記処理手段は、 The processing means,
    1と定数の和と理想点像の積と、前記点像強度分布関数と前記定数の積との差分情報に基づいて、または、前記撮影画像の位置に応じた調整係数と1の和と理想点像の積と、前記点像強度分布関数と前記調整係数の積との差分情報に基づいて、フィルタを生成する生成手段と、 1 and the product of the sum and the ideal point image constant, based on the difference information between the product of the constant and the point image intensity distribution function, or adjustment factor and one of the sum and the ideal in accordance with the position of the captured image the product of the point image, based on difference information between the product of the adjustment factor and the point image intensity distribution function generating means for generating a filter,
    前記生成手段が生成した前記フィルタを、前記撮影画像に畳み込み積分することによって前記撮影画像を鮮鋭化する鮮鋭化手段と、 And sharpening means for sharpening the captured image by the filter in which the generation means is generated, convolving said captured image,
    を有することを特徴とする請求項1 または2に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, characterized in that it has a.
  7. 前記撮影条件は、像高、焦点距離、F値、および被写体距離のうち少なくとも一つを含むことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。 The photographing conditions, the image height, the focal length, F values, and an image processing apparatus according to any one of claims 1 to 6, characterized in that it comprises at least one of the object distance.
  8. 前記処理手段は、前記撮影画像を構成する複数の色成分のうちの各色成分または特定の色成分に対してアンシャープマスク処理を行うことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。 The processing means, in any one of claims 1 to 7, characterized in that the unsharp masking for each color component or a specific color component among the plurality of color components constituting the captured image the image processing apparatus according.
  9. 前記撮影画像は、色成分ごとに離散的に規則配列された画像データであり、 The captured image is an image data which are discretely regularly arranged for each color component,
    前記処理手段は、補正対象の色成分について補間した画像に対してアンシャープマスク処理を行うことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。 The processing means, the image processing apparatus according to any one of claims 1 to 7, characterized in that the unsharp mask processing on the image obtained by interpolating the color components of the correction target.
  10. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。 The processing means, according to any one of claims 1 to 9, characterized in that it comprises an acquisition means for acquiring information of the point image intensity distribution function of the optical system based on the imaging conditions of the optical system the image processing apparatus.
  11. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有し、該取得手段は前記撮影画像に設定された複数の領域のそれぞれについて少なくとも2点の像高における点像強度分布関数を取得し、 Said processing means includes acquisition means for acquiring information of the point image intensity distribution function of the optical system based on the imaging conditions of the optical system, the said means for obtaining a plurality of areas set in the photographed image get the point spread function at the image height of at least two points for each,
    前記処理手段は、前記撮影画像の複数の領域と対応する点像強度分布関数から得られる複数の画像データを用いて像高方向に補間処理を行って1つの画像データを生成し、該1つの画像データを用いて前記補正信号を生成することを特徴とする請求項またはに記載の画像処理装置。 The processing means, the captured image by performing a plurality of interpolation processing on the image height direction using a plurality of image data obtained from the area and the corresponding point spread function to generate a single image data, the one the image processing apparatus according to claim 3 or 4, characterized in that to generate the correction signal with the image data.
  12. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有し、該取得手段は前記撮影画像に設定された複数の領域のそれぞれについて少なくとも2点の像高における点像強度分布関数を取得し、 Said processing means includes acquisition means for acquiring information of the point image intensity distribution function of the optical system based on the imaging conditions of the optical system, the said means for obtaining a plurality of areas set in the photographed image get the point spread function at the image height of at least two points for each,
    前記処理手段は、複数の点像強度分布関数に基づいて複数の補正信号を生成し、該複数の補正信号を像高方向に補間処理を行って1つの補正信号を生成し、前記1つの補正信号を、前記撮影画像に適用することを特徴とする請求項またはに記載の画像処理装置。 The processing means generates a plurality of correction signals based on the plurality of point spread functions, performs interpolation processing correction signal the plurality of the image height direction generates one of the correction signal, the one correction the image processing apparatus according to signals, in claim 3 or 4, characterized in that applied to the captured image.
  13. 前記処理手段は、前記光学系の撮影条件に基づいて前記光学系の前記点像強度分布関数の情報を取得する取得手段を有し、該取得手段は前記撮影画像に設定された複数の領域のそれぞれについて少なくとも2点の像高における点像強度分布関数を取得し、 Said processing means includes acquisition means for acquiring information of the point image intensity distribution function of the optical system based on the imaging conditions of the optical system, the said means for obtaining a plurality of areas set in the photographed image get the point spread function at the image height of at least two points for each,
    前記処理手段は、複数の点像強度分布関数に基づいて複数の補正信号を生成し、前記複数の補正信号をそれぞれ前記撮影画像に適用することによって複数の鮮鋭化後の画像を取得し、前記複数の鮮鋭化後の画像を像高方向に補間処理を行って1つの鮮鋭化後の画像を生成することを特徴とする請求項またはに記載の画像処理装置。 The processing means, based on a plurality of point spread function to generate a plurality of correction signals, to acquire an image after a plurality of sharpening by applying the plurality of correction signals to each said captured image, wherein the image processing apparatus according to claim 3 or 4, characterized in that to generate the image after a single sharpening performs interpolation processing an image after a plurality of sharpening the image height direction.
  14. 光学系が形成した被写体の光学像を光電変換する撮像素子と、 An image sensor for photoelectrically converting an optical image of an object optical system is formed,
    前記撮像素子から得られる撮影画像を処理する画像処理部と、を有し、 Has an image processing unit for processing the shot image obtained from the image sensor,
    前記画像処理部は、前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行い、 The image processing unit performs an unsharp mask processing on the captured image using the optical system filters said generated based on the information of the point spread function of the optical system corresponding to the photographing conditions,
    前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは 2次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする撮像装置。 The filter used in the unsharp mask processing on the captured image, the imaging apparatus characterized by comprising a filter data of two-dimensional strip is distributed rotationally asymmetric.
  15. 前記光学系の撮影条件と前記光学系の点像強度分布関数との関係を記憶する記憶手段を有することを特徴とする請求項14に記載の撮像装置。 The imaging apparatus according to claim 14, characterized in that it comprises a storage means for storing a relationship between the image capturing conditions point spread function of the optical system of the optical system.
  16. 前記光学系を有することを特徴とする請求項14または15に記載の撮像装置。 The imaging apparatus according to claim 14 or 15, characterized in that it has the optical system.
  17. 光学系を介した撮像により生成された撮影画像を取得するステップと、 Obtaining a photographed image generated by the imaging through the optical system,
    前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、 And performing an unsharp masking process with respect to the photographed image by using a filter the generated on the basis of the information of the point spread function of the optical system corresponding to the imaging conditions of the optical system,
    を有し、 Have,
    前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは 2次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする画像処理方法。 The filter used in the unsharp mask processing on the captured image, the image processing method of the data of the two-dimensional taps, characterized in that it comprises a filter that is distributed rotationally asymmetric.
  18. コンピュータに、 On the computer,
    光学系を介した撮像により生成された撮影画像を取得するステップと、 Obtaining a photographed image generated by the imaging through the optical system,
    前記光学系の撮影条件に対応する前記光学系の点像強度分布関数の情報に基づいて生成されたフィルタを用いて前記撮影画像に対するアンシャープマスク処理を行うステップと、 And performing an unsharp masking process with respect to the photographed image by using a filter the generated on the basis of the information of the point spread function of the optical system corresponding to the imaging conditions of the optical system,
    を含む処理を実行させるための画像処理プログラムであって、 An image processing program for executing the processing including,
    前記撮影画像に対するアンシャープマスク処理に用いられるフィルタは 2次元のタップのデータが回転非対称に分布しているフィルタを含むことを特徴とする画像処理プログラム。 The filter used in the unsharp mask processing on the captured image, the image processing program data for two-dimensional taps, characterized in that it comprises a filter that is distributed rotationally asymmetric.
JP2014178610A 2013-10-09 2014-09-03 The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program Active JP6124849B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013211503 2013-10-09
JP2013211503 2013-10-09
JP2014178610A JP6124849B2 (en) 2013-10-09 2014-09-03 The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2014178610A JP6124849B2 (en) 2013-10-09 2014-09-03 The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program
CN 201410515307 CN104580879B (en) 2013-10-09 2014-09-30 The image processing apparatus, an image pickup apparatus and an image processing method
CN 201710802678 CN107623816A (en) 2013-10-09 2014-09-30 Image processing apparatus, image pickup apparatus, and image processing method
RU2014140323A RU2631521C2 (en) 2013-10-09 2014-10-06 Image processing device, image shooting device, image processing method and permanent machine-readable medium
US14508199 US9563941B2 (en) 2013-10-09 2014-10-07 Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
EP20140188071 EP2860694A3 (en) 2013-10-09 2014-10-08 Image processing apparatus, image pickup apparatus, image processing method, image processing program, and non-transitory computer-readable storage medium
EP20170166511 EP3223234A1 (en) 2013-10-09 2014-10-08 Image processing apparatus, image pickup apparatus, image processing method, image processing program, and non-transitory computer-readable storage medium
US15267792 US9747672B2 (en) 2013-10-09 2016-09-16 Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium

Publications (3)

Publication Number Publication Date
JP2015097380A true JP2015097380A (en) 2015-05-21
JP2015097380A5 true JP2015097380A5 (en) 2016-06-30
JP6124849B2 true JP6124849B2 (en) 2017-05-10

Family

ID=53374473

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014178610A Active JP6124849B2 (en) 2013-10-09 2014-09-03 The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program
JP2017005372A Active JP6234623B2 (en) 2013-10-09 2017-01-16 The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017005372A Active JP6234623B2 (en) 2013-10-09 2017-01-16 The image processing method and an imaging apparatus using the same, an image processing apparatus, an image processing program

Country Status (1)

Country Link
JP (2) JP6124849B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4577565B2 (en) * 2005-03-03 2010-11-10 ソニー株式会社 Image processing method, image processing apparatus, a program, and the imaging apparatus
JP2010219683A (en) * 2009-03-13 2010-09-30 Sony Corp Image processing device, image processing method, and program
US8330825B2 (en) * 2010-02-22 2012-12-11 Eastman Kodak Company Zoom lens system characterization for image sharpening
WO2011122284A1 (en) * 2010-03-31 2011-10-06 キヤノン株式会社 Image processing device and image capturing apparatus using same
JP5367053B2 (en) * 2011-02-28 2013-12-11 キヤノン株式会社 Image processing apparatus, image processing program, an image processing method and an imaging apparatus
JP5274623B2 (en) * 2011-07-04 2013-08-28 キヤノン株式会社 The image processing apparatus, an imaging apparatus, an image processing program, and image processing method
JP5344647B2 (en) * 2011-08-01 2013-11-20 キヤノン株式会社 Image processing method, image processing apparatus and image processing program

Also Published As

Publication number Publication date Type
JP6234623B2 (en) 2017-11-22 grant
JP2017073828A (en) 2017-04-13 application
JP2015097380A (en) 2015-05-21 application

Similar Documents

Publication Publication Date Title
US20080013941A1 (en) Method and apparatus for increasing depth of field for an imager
US20070268376A1 (en) Imaging Apparatus and Imaging Method
US20130033578A1 (en) Processing multi-aperture image data
US20120300104A1 (en) Image sensor and image capturing apparatus
US20030063815A1 (en) Correction data generation method and imaging apparatus cross-reference to related applications
US20080043126A1 (en) Image pickup apparatus and method and apparatus for manufacturing the same
US20080074507A1 (en) Image pickup apparatus and method and apparatus for manufacturing the same
US20110285879A1 (en) Image processing device and image pickup device using the same
US8482637B2 (en) Imaging device and imaging method having zoom optical system including a light wavefront modulation element
US20040165253A1 (en) Non-linear wavefront coding systems and methods
US20090067742A1 (en) Image restoration apparatus and method
JP2004165840A (en) Image processing program
US20110135216A1 (en) Image processing method, image processing apparatus, and image pickup apparatus for correcting degradation component of image
JP2010039448A (en) Image photographing device, and distance calculating method and focused image acquiring method therefor
JP2012023498A (en) Image processing device and image processing program
JP2008245157A (en) Imaging device and method therefor
US20110149103A1 (en) Image processing apparatus and image pickup apparatus using same
US20110199514A1 (en) Image processing apparatus and image processing method
US20130038748A1 (en) Image processing apparatus, image processing method, image pickup apparatus, and a non-transitory computer-readable storage medium
JP2010086138A (en) Image processing method, image processing apparatus, and image pickup apparatus
US20120189226A1 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program
WO2013180192A1 (en) Information processing method, information processing apparatus, and program storage medium
JP2012073691A (en) Image processing system, imaging apparatus, image processing method, and program
JP2008017157A (en) Imaging device, and its manufacturing device and method
US20100053350A1 (en) Image Device and Method of Same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160511

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160511

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170404

R151 Written notification of patent or utility model registration

Ref document number: 6124849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151