JP5425136B2 - Image processing method, image processing apparatus, imaging apparatus, and image processing program - Google Patents
Image processing method, image processing apparatus, imaging apparatus, and image processing program Download PDFInfo
- Publication number
- JP5425136B2 JP5425136B2 JP2011104397A JP2011104397A JP5425136B2 JP 5425136 B2 JP5425136 B2 JP 5425136B2 JP 2011104397 A JP2011104397 A JP 2011104397A JP 2011104397 A JP2011104397 A JP 2011104397A JP 5425136 B2 JP5425136 B2 JP 5425136B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- restoration
- optical
- imaging
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 87
- 238000012545 processing Methods 0.000 title claims description 63
- 238000003672 processing method Methods 0.000 title claims description 19
- 230000003287 optical effect Effects 0.000 claims description 163
- 238000011084 recovery Methods 0.000 claims description 81
- 238000012937 correction Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 36
- 238000012546 transfer Methods 0.000 description 26
- 230000004075 alteration Effects 0.000 description 20
- 238000004519 manufacturing process Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 206010010071 Coma Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Description
本発明は、画像に含まれるぼけ成分を低減するための画像回復処理を行う画像処理技術に関する。 The present invention relates to an image processing technique for performing an image restoration process for reducing a blur component included in an image.
デジタルカメラや交換レンズ等の光学機器を用いて被写体を撮像して得られた画像には、撮影光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。 Spherical aberration, coma, curvature of field, astigmatism, etc. of the photographic optical system (hereinafter simply referred to as the optical system) are included in the image obtained by imaging the subject using an optical device such as a digital camera or an interchangeable lens. A blur component as an image degradation component due to the above is included. Such a blur component is generated when a light beam emitted from one point of a subject to be collected again at one point on the imaging surface when an aberration is not caused and there is no influence of diffraction is formed by forming an image with a certain spread.
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、光学系の収差の影響によって発生するぼけであって、ピントのずれによって発生するぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。 The blur component here is optically represented by a point spread function (PSF) and is a blur generated by the influence of aberration of the optical system. What is a blur generated by a focus shift? Different. In addition, color blur in a color image can also be said to be a difference in blurring for each wavelength of light with respect to axial chromatic aberration, spherical spherical aberration, and color coma aberration of the optical system. Further, in the case where the lateral color shift is also caused by the chromatic aberration of magnification of the optical system, it can be said that it is a positional shift or a phase shift due to a difference in imaging magnification for each wavelength of light.
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）とＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部を表す。 An optical transfer function (OTF) obtained by Fourier transform of a point spread function (PSF) is frequency component information of aberration and is represented by a complex number. The absolute value of the optical transfer function (OTF), that is, the amplitude component is called MTF (Modulation Transfer Function), and the phase component is called PTF (Phase Transfer Function). MTF and PTF are frequency characteristics of an amplitude component and a phase component of image degradation due to aberration, respectively. Here, the phase component is expressed as the phase angle by the following formula. Re (OTF) and Im (OTF) represent the real part and the imaginary part of the OTF, respectively.
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。
PTF = tan −1 (Im (OTF) / Re (OTF))
As described above, the optical transfer function (OTF) of the optical system deteriorates the amplitude component and the phase component of the image, and each point of the subject in the deteriorated image becomes asymmetrically blurred like coma.
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。このため、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の拡がりが発生する。 Further, the chromatic aberration of magnification is generated by shifting the imaging position due to the difference in imaging magnification for each wavelength of light, and acquiring this as, for example, RGB color components according to the spectral characteristics of the imaging device. For this reason, not only the image forming position shifts between RGB, but also the image forming position shift for each wavelength, that is, the spread of the image due to the phase shift, occurs in each color component.
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正（低減）する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以下の説明では、光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と記す。 There is known a method for correcting (reducing) the deterioration of the amplitude (MTF) and the deterioration of the phase (PTF) using information on the optical transfer function (OTF) of the optical system. This method is called image restoration or image restoration. In the following description, processing for correcting image degradation using information on the optical transfer function (OTF) of the optical system is referred to as image restoration processing or simply restoration processing. I write.
実際に光学機器を製造する場合、レンズの形状、保持機構および駆動機構に製造誤差による個体差が発生する。この個体差は光学伝達関数（ＯＴＦ）に影響を与える。したがって、製造誤差にも対応してより高精度に画像回復処理を行うためには、光学機器の個体ごとの光学伝達関数（ＯＴＦ）に基づいて画像回復フィルタを生成することが望ましい。 When optical devices are actually manufactured, individual differences due to manufacturing errors occur in the lens shape, holding mechanism, and drive mechanism. This individual difference affects the optical transfer function (OTF). Therefore, in order to perform image restoration processing with higher accuracy corresponding to manufacturing errors, it is desirable to generate an image restoration filter based on an optical transfer function (OTF) for each optical device.
特許文献１には、予め保持した複数の画像回復フィルタを用いて回復処理した複数の画像のうち所定の評価量が得られた画像に対して用いられた画像回復フィルタを実際の画像回復処理に用いる画像回復処理方法が開示されている。この方法によれば、上述した製造誤差による光学機器の個体差に対応することが可能である。 In Patent Document 1, an image restoration filter used for an image having a predetermined evaluation amount among a plurality of images restored using a plurality of image restoration filters held in advance is used as an actual image restoration process. An image restoration processing method to be used is disclosed. According to this method, it is possible to cope with individual differences of optical devices due to the above-described manufacturing errors.
しかしながら、特許文献１にて開示された方法を用いる場合、複数の画像回復フィルタによる回復処理を試行する必要があるため、最終的に回復画像を出力するまでに多大な処理時間を要する。 However, when the method disclosed in Patent Document 1 is used, it is necessary to try a recovery process using a plurality of image recovery filters, and thus it takes a lot of processing time to finally output a recovered image.
また、特許文献１にて開示された方法とは別に、光学機器の個体ごとに光学伝達関数を計測し、該個体ごとの画像回復フィルタを保持することで、個体差に対応することも考えられる。しかし、現像処理ソフトのように、複数の個体を一括して処理するシステムにおいては、それぞれの個体に対応した画像回復フィルタを予め保持しておくことは保持データ量が肥大化してしまい、現実的ではない。画像回復フィルタは、前述したようにＰＳＦの広がりを理想的には一点に補正するフィルタであるため、２次元かつ非対称な係数データ群であり、保持データ量の増大を招きやすい。 In addition to the method disclosed in Patent Document 1, it may be possible to cope with individual differences by measuring an optical transfer function for each optical device and holding an image restoration filter for each individual. . However, in a system that processes a plurality of individuals at once, such as development processing software, holding an image restoration filter corresponding to each individual in advance increases the amount of retained data, which is realistic. is not. Since the image restoration filter is a filter that ideally corrects the spread of the PSF to one point as described above, it is a two-dimensional and asymmetric coefficient data group, and tends to increase the amount of retained data.
本発明は、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像が得られるようにした画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供する。 The present invention provides an image processing method, an image processing device, an imaging device, and an image processing program that can obtain a good recovery image corresponding to individual differences of optical devices while suppressing an increase in processing time and the amount of retained data. provide.
本発明の一側面としての画像処理方法は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成し、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を取得し、該第１の画像回復成分を、特定光学機器に対応する補正情報を用いて補正して第２の画像回復成分を生成し、該第２の画像回復成分と入力画像とを合成して第２の回復画像を生成することを特徴とする。 An image processing method according to one aspect of the present invention provides a common image restoration filter for a plurality of optical devices having different optical characteristics, and provides different correction information for each optical device according to the difference in optical characteristics. A first recovered image is generated by performing image recovery processing using an image recovery filter on an input image generated by imaging using a specific optical device among the plurality of optical devices, and input A first image restoration component corresponding to the difference between the image and the first restored image is obtained, and the second image is corrected by correcting the first image restoration component using correction information corresponding to the specific optical device. A recovery component is generated, and the second image recovery component and the input image are combined to generate a second recovery image.
また、本発明の他の一側面としての画像処理装置は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、該複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して画像回復フィルタを用いた画像回復処理を行う画像回復手段とを有する。そして、画像回復手段は、光学特性の相異に応じて光学機器ごとに異なる補正情報を取得し、入力画像に対して画像回復処理を行うことにより第１の回復画像を生成し、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を取得し、該第１の画像回復成分を、特定光学機器に対応する補正情報を用いて補正して第２の画像回復成分を生成し、該第２の画像回復成分と入力画像とを合成して第２の回復画像を生成することを特徴とする。 An image processing apparatus according to another aspect of the present invention includes a storage unit that holds a common image restoration filter for a plurality of optical devices having different optical characteristics, and a specific optical device among the plurality of optical devices. And an image restoration means for performing an image restoration process using an image restoration filter on an input image generated by imaging using the. Then, the image recovery means acquires correction information that differs for each optical device according to the difference in optical characteristics, generates a first recovered image by performing image recovery processing on the input image, A first image restoration component corresponding to a difference from the first restored image is acquired, the first image restoration component is corrected using correction information corresponding to the specific optical device, and a second image restoration component is obtained. And generating a second restored image by synthesizing the second image restoration component and the input image.
なお、撮像を行って画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。 Note that an imaging apparatus including an imaging system that performs imaging to generate an image and the image processing apparatus also constitutes another aspect of the present invention.
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意するステップと、複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成するステップと、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を取得するステップと、該第１の画像回復成分を、特定光学機器に対応する補正情報を用いて補正して第２の画像回復成分を生成するステップと、該第２の画像回復成分と入力画像とを合成して第２の回復画像を生成するステップとを含む処理を実行させることを特徴とする。 Furthermore, an image processing program according to another aspect of the present invention provides a computer with a step of preparing a common image restoration filter for a plurality of optical devices having different optical characteristics, and according to the difference in the optical characteristics. Preparing different correction information for each optical device, and performing image recovery processing using an image recovery filter on an input image generated by imaging using a specific optical device among a plurality of optical devices Generating a first restored image; obtaining a first image restoration component corresponding to a difference between the input image and the first restored image; and supplying the first image restoration component to the specific optical device. generating and generating a second image recovery components is corrected using the corresponding correction information, a second restored image by synthesizing the input image and image recovery the second component Characterized in that to execute a process including the.
本発明によれば、画像回復フィルタとして複数の光学機器に対して共通のフィルタを用意し、該画像回復フィルタと光学機器ごとに用意された補正情報とを用いて最終的な回復画像（第２の回復画像）を得る。このため、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像を得ることができる。 According to the present invention, a common filter is prepared for a plurality of optical devices as an image restoration filter, and a final restored image (second image) is prepared using the image restoration filter and correction information prepared for each optical device. Recovery image). For this reason, it is possible to obtain a good restored image according to individual differences of optical devices while suppressing an increase in processing time and the amount of retained data.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
まず、具体的な実施例の説明に先立って、実施例にて用いられる用語の定義と画像回復処理について説明する。 First, prior to description of a specific embodiment, definitions of terms used in the embodiment and image restoration processing will be described.
「入力画像」
入力画像は、撮像により生成された画像である。具体的には、入力画像は、撮影光学系（以下、単に光学系ともいう）により形成された光学像としての被写体像をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により光電変換して得られた撮像信号から生成されたデジタル画像である。該入力画像は、レンズや各種光学フィルタを含む光学系の収差、つまりは光学伝達関数（ＯＴＦ）に応じて劣化している。光学系は、レンズの他に、曲率を有するミラー等の反射面を用いて構成してもよい。
"Input image"
The input image is an image generated by imaging. Specifically, the input image is an image obtained by photoelectrically converting a subject image as an optical image formed by a photographing optical system (hereinafter also simply referred to as an optical system) using an image sensor such as a CCD sensor or a CMOS sensor. A digital image generated from a signal. The input image is deteriorated in accordance with aberration of an optical system including a lens and various optical filters, that is, an optical transfer function (OTF). The optical system may be configured using a reflecting surface such as a mirror having a curvature in addition to the lens.
また、実施例にて説明する画像処理方法は、光学系を介さずに画像を撮像により生成する装置にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置は、レンズ等により構成される光学系を持たないが、撮像素子からの撮像信号を用いて画像を生成する。そして、生成された画像には、光学系による劣化成分ではないが、光学伝達関数に相当する撮像システムの伝達関数に応じた劣化成分が含まれる。このため、光学系を持たなくても、撮像システム伝達関数に基づいて画像回復フィルタを生成する場合には、実施例にて説明する画像処理方法を用いることができる。このように、実施例にいう光学伝達関数（ＯＴＦ）には、撮像システムの伝達関数も含む。 The image processing method described in the embodiments can also be applied to an apparatus that generates an image by imaging without using an optical system. For example, a scanner (reading device) or an X-ray imaging device that performs imaging by bringing an imaging element into close contact with a subject surface does not have an optical system including a lens or the like, but an image is captured using an imaging signal from the imaging element. Generate. The generated image includes a deterioration component corresponding to the transfer function of the imaging system corresponding to the optical transfer function, although it is not a deterioration component due to the optical system. Therefore, the image processing method described in the embodiment can be used when generating an image restoration filter based on the imaging system transfer function without having an optical system. Thus, the optical transfer function (OTF) in the embodiment includes the transfer function of the imaging system.
また、入力画像の色成分は、例えば、ＲＧＢの色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いたり、色温度を用いたりしてもよい。 Further, the color component of the input image has information on RGB color components, for example. In addition to this, the color component can be used by selecting a commonly used color space such as brightness, hue, and saturation expressed in LCH, luminance and color difference signal expressed in YCbCr, and the like. . As other color spaces, XYZ, Lab, Yuv, JCh, or color temperature may be used.
さらに、入力画像には、光学系の焦点距離、絞り値、撮影距離等の撮像条件や、この画像を補正するための各種補正情報を付帯することができる。光学機器から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像への付帯情報として補正情報を付帯することが好ましい。また、補正情報は、光学機器と画像処理装置とを有線もしくは無線通信により接続して、又は着脱可能な記憶媒体を介して受け渡すこともできる。 Furthermore, the input image can be accompanied by imaging conditions such as the focal length, aperture value, and shooting distance of the optical system, and various correction information for correcting this image. When the image is transferred from the optical device to another image processing apparatus and correction processing is performed, it is preferable that the correction information is attached as the additional information to the image as described above. In addition, the correction information can be transferred by connecting the optical device and the image processing apparatus by wired or wireless communication or via a removable storage medium.
「画像回復処理」および「画像回復フィルタ」
画像回復処理の概要は以下の通りである。劣化した画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分）を示し、（ｘ，ｙ）は画像上の座標を示す。
"Image recovery processing" and "Image recovery filter"
The outline of the image restoration process is as follows. The degraded image (input image) is g (x, y), and the original image that is not degraded is f (x, y). Further, a point spread function (PSF) that is a Fourier pair of the optical transfer function is assumed to be h (x, y). At this time, the following equation holds. Here, * indicates convolution (convolution integration), and (x, y) indicates coordinates on the image.
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
g (x, y) = h (x, y) * f (x, y)
Further, when the above equation is converted into a display format on a two-dimensional frequency plane by Fourier transformation, a product format for each frequency is obtained as in the following equation. H is a Fourier transform of the point spread function (PSF) and is an optical transfer function (OTF). G and F are Fourier transforms of g and f, respectively. (U, v) indicates the coordinates on the two-dimensional frequency plane, that is, the frequency.
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
G (u, v) = H (u, v) · F (u, v)
In order to obtain the original image from the deteriorated image, both sides may be divided by H as follows.
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
G (u, v) / H (u, v) = F (u, v)
A restored image corresponding to the original image f (x, y) is obtained by performing inverse Fourier transform on this F (u, v) and returning it to the actual surface.
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。 Here, assuming that the result of inverse Fourier transform of H −1 is R, the original image can be similarly obtained by performing convolution processing on the actual image as in the following equation.
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元画像であるとき、一般に、画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数（セルの数）は多いほど回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平および垂直方向に３ずつ程度のタップ数を有するエッジ強調フィルタ（ハイパスフィルタ）等とは異なる。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
g (x, y) * R (x, y) = f (x, y)
This R (x, y) is called an image restoration filter. When the image is a two-dimensional image, generally, the image restoration filter is also a two-dimensional filter having taps (cells) corresponding to each pixel of the image. In general, as the number of taps (number of cells) of the image restoration filter increases, the restoration accuracy improves. Therefore, the number of taps that can be realized is set according to the required image quality, image processing capability, aberration characteristics, and the like. Since the image restoration filter needs to reflect at least aberration characteristics, it is different from a conventional edge enhancement filter (high-pass filter) having about three taps in the horizontal and vertical directions. Since the image restoration filter is created based on the optical transfer function (OTF), both the amplitude component and the phase component can be corrected with high accuracy.
また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い（回復ゲイン）に応じてノイズが増幅されてしまう。 In addition, since an actual image has a noise component, using the image restoration filter created by taking the perfect inverse of the optical transfer function (OTF) as described above, the noise component is amplified together with the degraded image, In general, a good image cannot be obtained. This is because the MTF is raised so that the MTF (amplitude component) of the optical system is returned to 1 over the entire frequency in a state where the amplitude of noise is added to the amplitude component of the image. The MTF, which is amplitude degradation due to the optical system, returns to 1, but at the same time, the power spectrum of the noise also rises. As a result, the noise is amplified according to the degree to which the MTF is raised (recovery gain).
したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。 Therefore, when there is noise, a good image cannot be obtained as a viewing image. This can be expressed as follows: N represents a noise component.
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、下記の式１に示すウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて画像の高周波側の回復率を抑制する方法が知られている。
G (u, v) = H (u, v) .F (u, v) + N (u, v)
G (u, v) / H (u, v) = F (u, v) + N (u, v) / H (u, v)
Regarding this point, for example, a method of suppressing the recovery rate on the high frequency side of the image according to the intensity ratio (SNR) of the image signal and the noise signal, such as the Wiener filter shown in the following formula 1, is known. ing.
上記式１において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性である。また、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。 In the above equation 1, M (u, v) is the frequency characteristic of the Wiener filter. | H (u, v) | is the absolute value (MTF) of the optical transfer function (OTF).
この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、光学系のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。 In this method, for each frequency, the recovery gain is suppressed as the MTF is small, and the recovery gain is increased as the MTF is large. In general, since the MTF of the optical system is high on the low frequency side and low on the high frequency side, it is a method of substantially suppressing the recovery gain on the high frequency side of the image.
ここで、画像回復フィルタの例を、図２に示す。画像回復フィルタでは、収差特性や要求される回復精度に応じてタップ数、すなわちカーネルサイズが決められる。図２に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。図２では各タップ内の値を省略しているが、この画像回復フィルタの１つの断面を図３に示している。画像回復フィルタの各タップの値（係数値）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を理想的には元の１点に戻す役割を果たす。 An example of the image restoration filter is shown in FIG. In the image restoration filter, the number of taps, that is, the kernel size is determined according to the aberration characteristics and the required restoration accuracy. The image restoration filter shown in FIG. 2 is a two-dimensional filter having 11 × 11 cells. Each cell corresponds to one pixel of the image. In FIG. 2, values in each tap are omitted, but one cross section of this image restoration filter is shown in FIG. The distribution of the values (coefficient values) of the taps of the image restoration filter plays a role of ideally returning the signal value (PSF) spread spatially due to aberration to the original one point.
このような画像回復フィルタの各タップを劣化画像の各画素に対応させてコンボリューション処理が行われる。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心タップと一致させる。そして、劣化画像とフィルタの対応画素ごとに劣化画像の信号値とフィルタの係数値との積をとり、その総和を劣化画像におけるフィルタ中心タップに対応する画素の信号値として置き換える。 Convolution processing is performed by making each tap of such an image restoration filter correspond to each pixel of the deteriorated image. In the convolution process, in order to improve the signal value of a certain pixel in the deteriorated image, the pixel is matched with the center tap of the image restoration filter. Then, the product of the signal value of the deteriorated image and the coefficient value of the filter is calculated for each corresponding pixel of the deteriorated image and the filter, and the sum is replaced with the signal value of the pixel corresponding to the filter center tap in the deteriorated image.
画像回復の実空間と周波数空間での特性を、図４および図５を用いて説明する。図４中の（ａ）は回復前のＰＳＦを、（ｂ）は回復後のＰＳＦを示している。また、図５中の（Ｍ）の（ａ）は回復前のＭＴＦを、（Ｍ）の（ｂ）は回復後のＭＴＦを示している。さらに、図５の（Ｐ）の（ａ）は回復前のＰＴＦを、（Ｐ）の（ｂ）は回復後のＰＴＦを示している。回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは零ではない。回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、回復後のＰＳＦは対称で鮮鋭になる。 The characteristics of image restoration in real space and frequency space will be described with reference to FIGS. In FIG. 4, (a) shows the PSF before recovery, and (b) shows the PSF after recovery. In FIG. 5, (M) (a) shows the MTF before recovery, and (M) (b) shows the MTF after recovery. Further, (P) (a) in FIG. 5 shows PTF before recovery, and (b) in (P) shows PTF after recovery. The PSF before recovery has an asymmetric spread, and due to this asymmetry, the PTF is not zero. Since the recovery process amplifies the MTF and corrects the PTF to zero, the PSF after recovery becomes symmetrical and sharp.
この画像回復フィルタは、光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。実施例で用いる画像回復フィルタは、適宜変更が可能であり、例えばウィナーフィルタを用いてもよい。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで画像回復フィルタを作成することができる。 This image restoration filter can be obtained by inverse Fourier transform of a function designed based on the inverse function of the optical transfer function (OTF) of the optical system. The image restoration filter used in the embodiment can be appropriately changed. For example, a Wiener filter may be used. When the Wiener filter is used, an image restoration filter can be created by performing inverse Fourier transform on Equation 1.
実施例では、このような画像回復フィルタを、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器に対して共通のフィルタとして用いる。ただし、共通の画像回復フィルタとして、光学機器における代表的な撮像条件、例えば光学系の焦点距離、絞り値および撮影距離（被写体距離）に対応する複数の画像回復フィルタを用意する。 In the embodiment, such an image restoration filter is manufactured as the same model, but is used as a common filter for a plurality of optical devices having individual differences due to manufacturing errors. However, as a common image restoration filter, a plurality of image restoration filters corresponding to typical imaging conditions in an optical device, for example, a focal length of an optical system, an aperture value, and an imaging distance (subject distance) are prepared.
「個別補正情報」
個別補正情報は、例えば、製造誤差による個体差を有する光学機器ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性（結像特性）の回転対称性が崩れ、該像面上での位置（又は領域）ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。
"Individual correction information"
The individual correction information is information indicating blurring for each optical device having individual differences due to manufacturing errors, for example. Deflection is the rotational symmetry of the design optical characteristics (imaging characteristics) on the image plane of the optical system because the optical elements such as a plurality of lenses constituting the optical system are decentered from each other due to manufacturing errors. Is collapsed, and the imaging state is different for each position (or region) on the image plane. If there is no manufacturing error, the imaging characteristic of the optical system has rotational symmetry. Note that the image plane of the optical system can be read as a light receiving surface or an image of the image sensor. Further, the position on the image plane can be read as the image height.
画像中の片ぼけの例を図６に示す。製造誤差がない場合の結像特性（ＭＴＦ）を基準としたとき、画像の左側はＭＴＦが低く鮮鋭度が低くなっており、右側はＭＴＦが高く鮮鋭度が高くなっている。個別補正情報は、このような画像上の位置ごとに異なる結像特性（つまりは片ぼけ）を示す情報であり、結像特性（光学特性）の相異に応じて光学機器の個体ごとに異なる情報である。 An example of blurring in the image is shown in FIG. When the imaging characteristics (MTF) when there is no manufacturing error is used as a reference, the left side of the image has low MTF and low sharpness, and the right side has high MTF and high sharpness. The individual correction information is information indicating different imaging characteristics (that is, one-sided blur) for each position on the image, and is different for each optical device depending on the difference in imaging characteristics (optical characteristics). Information.
個別補正情報は、像面（撮像素子の受光面又は画像）における位置と結像特性との関係を示すテーブルデータとしてもよいし、像面における位置ごとの結像特性を示す関数およびその係数としてもよい。個別補正情報を関数として保持することで、テーブルデータとして保持するよりも保持データ量を削減することができる。 The individual correction information may be table data indicating the relationship between the position on the image plane (the light receiving surface or image of the image sensor) and the imaging characteristics, or a function indicating the imaging characteristics for each position on the image plane and its coefficient. Also good. By retaining the individual correction information as a function, the amount of retained data can be reduced as compared with retaining as table data.
光学機器の個体ごとの個別補正情報は、該光学機器の製造時においてその光学特性を個別に計測することで取得することができる。なお、個別補正情報は、製造された全ての光学機器に保持させてもよいが、選択された複数の個体のみに保持させてもよい。 Individual correction information for each optical device can be obtained by individually measuring the optical characteristics at the time of manufacturing the optical device. The individual correction information may be held in all manufactured optical devices, but may be held only in a plurality of selected individuals.
個別補正情報は、実際の像面が理想とする像面に対してどのように変形しているかを示す情報とすることができるので、画像上の各位置の光学伝達関数（ＯＴＦ）を測定する場合に比べて容易に作成することができる。 Since the individual correction information can be information indicating how the actual image plane is deformed with respect to the ideal image plane, the optical transfer function (OTF) at each position on the image is measured. It can be created easily compared to the case.
なお、画像を構成する色成分ごと（すなわち、色光ごと）に結像特性が異なる場合には、個別補正情報を、色成分ごとに異なる情報として作成することが望ましい。また、画像における画素の特徴量（これについては後述する）に応じて、画像回復効果の程度である回復度合いを調整するために、個別補正情報を該特徴量に応じて変更するようにしてもよい。 In addition, when the imaging characteristics are different for each color component constituting the image (that is, for each color light), it is desirable to create the individual correction information as different information for each color component. The individual correction information may be changed according to the feature amount in order to adjust the degree of restoration, which is the degree of the image restoration effect, according to the feature amount of the pixel in the image (which will be described later). Good.
個別補正情報は、片ぼけに限らず、製造誤差に関するあらゆる要因によって画像上の位置によって結像特性が異なる場合に用いることができる。 The individual correction information is not limited to one-sided blur and can be used when the imaging characteristics differ depending on the position on the image due to all factors relating to manufacturing errors.
図１には、本発明の実施例１である画像処理方法を用いて行われる画像回復処理における画像回復フィルタと個別補正情報との関係を示している。光学機器２１，２２，２３，・・・は、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器であり、デジタルカメラやビデオカメラ等の撮像装置や、撮像装置に対して着脱可能な交換レンズを含む。各光学機器を用いた撮像により生成された画像は、画像処理装置１０に入力画像として受け渡される。画像処理装置１０は、画像回復処理を実行するためのコンピュータプログラムである画像処理プログラムを搭載したコンピュータであり、入力画像に対して画像回復処理を行って、その結果である回復画像を出力する。 FIG. 1 shows a relationship between an image restoration filter and individual correction information in an image restoration process performed using the image processing method according to the first embodiment of the present invention. The optical devices 21, 22, 23,... Are a plurality of optical devices that are manufactured as the same model but have individual differences due to manufacturing errors. For optical devices such as digital cameras and video cameras, And an interchangeable lens that can be removed. An image generated by imaging using each optical device is transferred to the image processing apparatus 10 as an input image. The image processing apparatus 10 is a computer equipped with an image processing program that is a computer program for executing image recovery processing. The image processing device 10 performs image recovery processing on an input image and outputs a recovered image as a result.
画像処理装置１０は、その内部メモリ（記憶手段）１１に、光学機器２１，２２，２３，・・・に対して共通の画像回復フィルタであって、前述したように代表的な撮像条件に対応する複数の画像回復フィルタを保持している。これら共通の画像回復フィルタは、例えば、撮像装置２１，２２，２３，・・・の光学系の設計上の光学伝達関数（ＯＴＦ）に基づいて作成することができる。 The image processing apparatus 10 is an image restoration filter common to the optical devices 21, 22, 23,... In its internal memory (storage means) 11, and corresponds to typical imaging conditions as described above. A plurality of image restoration filters are held. These common image restoration filters can be created based on the optical transfer function (OTF) in the design of the optical system of the imaging devices 21, 22, 23,.
一方、光学機器２１，２２，２３，・・・はそれぞれ、個体ごとに異なる個別補正情報Ａ，Ｂ，Ｃ，・・・をその内部メモリ（図示せず）に保持している。 On the other hand, each of the optical devices 21, 22, 23,... Holds individual correction information A, B, C,... Different for each individual in its internal memory (not shown).
図７のフローチャートには、本実施例における画像回復処理の手順を示している。ここでは、光学機器として、レンズ一体型の撮像装置又は交換レンズが装着された撮像装置を想定している。画像処理装置１０は、ステップＳ１１にて、複数の光学機器２１，２２，２３，・・・のうち画像回復処理を行う入力画像の取り込み先である光学機器から、有線もしくは無線による通信により又は着脱可能な記憶媒体を介して入力画像を取得する。以下の説明において、入力画像の取り込み先である光学機器を、特定光学機器という。 The flowchart of FIG. 7 shows the procedure of image restoration processing in the present embodiment. Here, it is assumed that the optical apparatus is an image pickup apparatus with an integrated lens or an interchangeable lens. In step S11, the image processing apparatus 10 removes from or attaches to the optical device that is the destination of the input image to be subjected to the image restoration processing among a plurality of optical devices 21, 22, 23,. An input image is obtained via a possible storage medium. In the following description, an optical device from which an input image is captured is referred to as a specific optical device.
次に、ステップＳ１２では、画像処理装置１０は、内部メモリ１１に保持された複数の画像回復フィルタから、特定光学機器における入力画像の生成時（撮像時）の撮像条件に対応する画像回復フィルタを選択又は生成する。ここで選択又は生成された画像回復フィルタを、使用画像回復フィルタともいう。撮像条件に関する情報は、特定光学機器から直接取得してもよいし、入力画像に付帯された撮像条件情報から取得してもよい。 Next, in step S <b> 12, the image processing apparatus 10 selects an image restoration filter corresponding to the imaging condition at the time of generating an input image (at the time of imaging) from the plurality of image restoration filters held in the internal memory 11. Select or generate. The image restoration filter selected or generated here is also referred to as a used image restoration filter. The information regarding the imaging conditions may be acquired directly from the specific optical device, or may be acquired from the imaging condition information attached to the input image.
使用画像回復フィルタとしては、内部メモリ１１に予め保持された複数の画像回復フィルタの中から実際の撮像条件に対応したもの又は近いものを選択すればよい。また、代表的な撮像条件に対応した画像回復フィルタを実際の撮像条件に応じて補正したものを使用画像回復フィルタとして生成してもよい。例えば代表的な撮像条件に対応した複数の画像回復フィルタのうち実際の撮像条件に近い２つの代表的な撮像条件に対応した画像回復フィルタから補間処理により使用画像回復フィルタを生成してもよい。 As the used image restoration filter, a filter corresponding to or close to the actual imaging condition may be selected from a plurality of image restoration filters stored in the internal memory 11 in advance. Further, an image restoration filter corresponding to a typical imaging condition may be generated as a use image restoration filter by correcting it according to the actual imaging condition. For example, the used image restoration filter may be generated by interpolation processing from image restoration filters corresponding to two typical imaging conditions close to the actual imaging condition among a plurality of image restoration filters corresponding to the typical imaging conditions.
なお、仮に光学機器２１，２２，２３，・・・間に製造誤差による個体差がない場合であっても、光学系の結像特性、すなわち光学伝達関数（ＯＴＦ）が、該光学系の像面上、つまりは入力画像上における位置（又は領域）によって異なる。このため、使用画像回復フィルタは、入力画像上の位置（又は領域）によって変更することが望ましい。 Even if there is no individual difference due to manufacturing errors between the optical devices 21, 22, 23,..., The imaging characteristics of the optical system, that is, the optical transfer function (OTF), is an image of the optical system. It differs depending on the position (or region) on the surface, that is, on the input image. For this reason, it is desirable to change the used image restoration filter depending on the position (or region) on the input image.
次に、ステップＳ１３では、画像処理装置１０は、特定光学機器から前述した個別補正情報を取得して、内部メモリ１１に保持する。 Next, in step S <b> 13, the image processing apparatus 10 acquires the individual correction information described above from the specific optical device and stores it in the internal memory 11.
次に、ステップＳ１４では、画像処理装置１０は、ステップＳ１２にて選択又は生成した使用画像回復フィルタを用いて入力画像に対して画像回復処理を行い、その結果画像としての１次回復画像（第１の回復画像）を生成する。 Next, in step S14, the image processing apparatus 10 performs image restoration processing on the input image using the use image restoration filter selected or generated in step S12, and as a result, a primary restoration image (first image) is obtained. 1 recovered image) is generated.
次に、ステップＳ１５では、画像処理装置１０は、ステップＳ１３で内部メモリ１１に保持した特定光学機器に対応する個別補正情報を用いて、１次回復画像に対して補正処理を行い、その結果画像としての２次回復画像（第２の回復画像）を生成する。そして、ステップＳ１６にて、該２次回復画像を出力する。 Next, in step S15, the image processing apparatus 10 performs a correction process on the primary recovered image using the individual correction information corresponding to the specific optical device held in the internal memory 11 in step S13, and the resulting image A secondary recovery image (second recovery image) is generated. In step S16, the secondary recovery image is output.
ここで、ステップＳ１５にて行われる１次回復画像に対する補正処理を、図８を用いて説明する。図中の記号ｍは、画像の色成分を表す。例えば、画像ＡがＲ，Ｇ，Ｂの３つの色成分により構成されている場合に、Ａｍは画像ＡのＲ成分、Ｇ成分およびＢ成分であるＡＲ，ＡＧ，ＡＢを表す。ただし、画像Ａは、入力画像ｇ、１次回復画像ｆｄ、回復画像成分Ｓおよび２次回復画像ｆであり、より詳しくは、画素の信号値を表す。 Here, the correction process for the primary recovery image performed in step S15 will be described with reference to FIG. The symbol m in the figure represents the color component of the image. For example, when the image A is composed of three color components R, G, and B, Am represents AR, AG, and AB that are the R component, G component, and B component of the image A. However, the image A is an input image g, a primary recovery image fd, a recovery image component S, and a secondary recovery image f, and more specifically represents a pixel signal value.
入力画像ｇｍに対して使用画像回復フィルタを用いた画像回復処理を行い、１次回復画像ｆｄｍを生成する。使用画像回復フィルタは、入力画像ｇｍのＲ，Ｇ，Ｂの色成分ごとに用意され、互いに異なる画像回復フィルタである。 An image restoration process using a use image restoration filter is performed on the input image gm to generate a primary restoration image fdm. The used image restoration filter is prepared for each of the R, G, and B color components of the input image gm and is a different image restoration filter.
そして、下記の式２に示すように、１次回復画像ｆｄｍにおける各画素の信号値から元の入力画像ｇｍにおける対応画素の信号値を減算して、画素ごとの第１の画像回復成分Ｓｍを取得する。この第１の画像回復成分Ｓｍは、画像回復処理の前後における画像（画素の信号値）の差分に相当し、画像の収差成分を表す。 Then, as shown in Equation 2 below, the signal value of the corresponding pixel in the original input image gm is subtracted from the signal value of each pixel in the primary recovery image fdm, and the first image recovery component Sm for each pixel is obtained. get. The first image restoration component Sm corresponds to a difference between images (pixel signal values) before and after the image restoration process, and represents an aberration component of the image.
次に、画素ごとに第１の画像回復成分Ｓｍに対して個別補正情報に基づく補正係数μｍを乗じて、第２の画像回復成分（Ｓｍ×μｍ）を生成する。色成分ごと（すなわち、色光ごと）に光学系の結像特性が異なることから、個別補正情報は、色成分ごとに異なる情報として用意されている。そして、画素ごとに第２の画像回復成分（Ｓｍ×μｍ）と入力画像ｇｍとを合成（加算）して、２次回復画像ｆｍを生成する。この２次回復画像ｆｍの生成は、下記の式３のように表現することができる。 Next, a second image restoration component (Sm × μm) is generated by multiplying the first image restoration component Sm by a correction coefficient μm based on the individual correction information for each pixel. Since the imaging characteristics of the optical system are different for each color component (that is, for each color light), the individual correction information is prepared as different information for each color component. Then, the second image restoration component (Sm × μm) and the input image gm are synthesized (added) for each pixel to generate a secondary restoration image fm. The generation of the secondary recovery image fm can be expressed as the following Expression 3.
ここで、μｍ＝０の場合は入力画像ｇｍが得られ、μｍ＝１の場合は１次回復画像ｇｍが得られる。すなわち、補正係数μｍは、入力画像からどれだけ収差を除去するかを制御する係数である。したがって、１次回復画像が過剰回復となっている場合はμｍ＜１とすれば回復度合いを減少させることができ、１次回復画像が回復不足となっている場合はμｍ＞１とすることで回復度合いを増加させることができる。 Here, when μm = 0, an input image gm is obtained, and when μm = 1, a primary recovery image gm is obtained. That is, the correction coefficient μm is a coefficient that controls how much aberration is removed from the input image. Therefore, if the primary recovery image is overrecovered, the degree of recovery can be reduced if μm <1, and if the primary recovery image is insufficiently recovered, μm> 1. The degree of recovery can be increased.
回復度合いの調整について、図９に示すＭＴＦを用いて説明する。図９の（ａ１）は製造誤差がない光学機器を用いた撮像により得られた入力画像のＭＴＦであり、（ｂ１）は（ａ１）の入力画像を回復処理して得られる適切なＭＴＦである。 The adjustment of the degree of recovery will be described using the MTF shown in FIG. (A1) in FIG. 9 is an MTF of an input image obtained by imaging using an optical device having no manufacturing error, and (b1) is an appropriate MTF obtained by performing a recovery process on the input image of (a1). .
（ａ２）および（ａ３）はそれぞれ、片ぼけ等によって入力画像の左右でＭＴＦが低くなった状態および高くなった状態を示している。製造誤差による個体差に対応していない共通の画像回復フィルタ（使用画像回復フィルタ）を用いて画像回復処理を行うと、（ｂ２）および（ｂ３）に示すように、（ｂ１）に示すＭＴＦに比べて、回復不足（ｂ２）および過剰回復（ｂ３）が発生する。そこで、画像回復処理により得られる第１の画像回復成分を個別補正情報（補正係数）を用いて補正することで、（ｂ２）および（ｂ３）に示すＭＴＦを（ｂ１）に示すＭＴＦに近づけるように回復度合いを調整することができる。 (A2) and (a3) respectively show a state in which the MTF has become low and a state in which it has become high on the left and right of the input image due to one-sided blurring or the like. When image restoration processing is performed using a common image restoration filter (used image restoration filter) that does not correspond to individual differences due to manufacturing errors, as shown in (b2) and (b3), the MTF shown in (b1) In comparison, insufficient recovery (b2) and excessive recovery (b3) occur. Therefore, by correcting the first image restoration component obtained by the image restoration process using the individual correction information (correction coefficient), the MTF shown in (b2) and (b3) is brought closer to the MTF shown in (b1). The degree of recovery can be adjusted.
個別補正情報に基づく補正係数μｍについて、図１０を用いて説明する。図１０の（ａ）は、製造誤差がない光学機器を用いて得られた入力画像を回復処理して生成された１次回復画像のＭＴＦを１（目標値）としたときの、製造誤差を有する光学機器を用いて得られた入力画像を回復処理して生成された１次回復画像のＭＴＦを示している。入力画像が片ぼけしていたことにより、その１次回復画像の左側部分は回復不足となり、右側部分は過剰回復となっている。 The correction coefficient μm based on the individual correction information will be described with reference to FIG. FIG. 10A shows the manufacturing error when the MTF of the primary recovery image generated by performing the recovery process on the input image obtained using the optical apparatus having no manufacturing error is 1 (target value). 2 shows an MTF of a primary recovered image generated by performing a recovery process on an input image obtained using an optical apparatus having the optical device. Since the input image is blurred, the left side portion of the primary recovery image is insufficiently recovered and the right side portion is excessively recovered.
図１０の（ｂ）は、個別補正情報に基づいて、画像の位置（画素）ごとに生成された補正係数を示す。補正係数は、図８に示した補正処理において、画像の位置ごとに製造誤差成分を相殺するように回復度合い（つまりは第１の画像回復成分）を補正する。１より大きい補正係数は回復度合いを強め、１より小さい補正係数は回復度合いを弱める。特定光学機器に対応する個別補正情報から、該特定光学機器を用いて得られる入力画像は、片ぼけによって左側部分のＭＴＦが右側部分に比べて低いことが分かる。そこで、左側部分の回復度合いを強め、右側部分の回復度合いを弱めるように補正係数を設定することで、図１０の（ｃ）に示すように画像全体において適切な回復度合い（ＭＴＦ＝１）が得られる。 FIG. 10B shows a correction coefficient generated for each position (pixel) of the image based on the individual correction information. In the correction process shown in FIG. 8, the correction coefficient corrects the degree of recovery (that is, the first image recovery component) so as to cancel out the manufacturing error component for each image position. A correction coefficient greater than 1 increases the degree of recovery, and a correction coefficient less than 1 decreases the degree of recovery. From the individual correction information corresponding to the specific optical device, it can be seen that the input image obtained by using the specific optical device has a lower MTF in the left portion than in the right portion due to blurring. Therefore, by setting the correction coefficient so as to increase the degree of recovery of the left part and weaken the degree of recovery of the right part, an appropriate degree of recovery (MTF = 1) is obtained in the entire image as shown in FIG. can get.
個別補正情報は、入力画像内での結像特性の分布を示す情報であってもよいし、テーブルデータや関数として保持された補正係数そのものであってもよい。 The individual correction information may be information indicating the distribution of imaging characteristics in the input image, or may be correction data itself stored as table data or a function.
また、画像回復処理において、収差がより顕著に目立つ画像のエッジ部分にのみ画像回復効果を与えるように回復度合いを変更してもよい。例えば、画像の画素値（信号値）の変化が低い平坦部と画素値の変化が大きいエッジ部とが存在する場合、画像回復成分は前述したように収差成分に相当するため、エッジ部に絶対値の大きな画像回復成分が存在している。一方、平坦部の画像回復成分は収差成分ではなく、増幅されたノイズ成分を支配的に含む。このため、平坦部の画像回復成分を零に補正することで、エッジ部にのみ画像回復効果を与え、平坦部は入力画像のままとすることができる。 In the image restoration process, the degree of restoration may be changed so that the image restoration effect is given only to the edge portion of the image where the aberration is more noticeable. For example, when there is a flat portion where the pixel value (signal value) change of the image is low and an edge portion where the pixel value change is large, the image restoration component corresponds to the aberration component as described above. An image restoration component having a large value exists. On the other hand, the image restoration component of the flat portion predominantly includes an amplified noise component, not an aberration component. Therefore, by correcting the image restoration component of the flat portion to zero, an image restoration effect can be given only to the edge portion, and the flat portion can be left as the input image.
さらに、平坦部とエッジ部で回復度合いを変更するだけでなく、画素値の変化量、言い換えれば、画素の特徴量に応じて回復度合いを変更してもよい。画素の特徴量に応じて回復度合いを変更する方法としては、画像回復成分の補正だけでなく、個別補正情報や該個別補正情報を用いて補正された画像回復成分の補正によってもよい。画素の特徴量としては、平坦部とエッジ部以外に、例えば、輝度の飽和度がある。 Furthermore, not only the restoration degree is changed between the flat part and the edge part, but the restoration degree may be changed according to the change amount of the pixel value, in other words, the feature amount of the pixel. As a method of changing the degree of recovery according to the feature amount of the pixel, not only the correction of the image recovery component but also correction of the image recovery component corrected using the individual correction information or the individual correction information may be used. As the feature amount of the pixel, there is, for example, luminance saturation other than the flat portion and the edge portion.
このように本実施例では、個体差を持つ複数の光学機器に対して、データ量が大きな画像回復フィルタは共通に用意し、データ量が小さな個別補正情報を用いて結像特性が異なる個々の光学機器に適した回復画像（２次回復画像）を得る。これにより、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。 As described above, in this embodiment, an image restoration filter having a large amount of data is prepared in common for a plurality of optical apparatuses having individual differences, and individual correction information having different image formation characteristics using individual correction information having a small amount of data. A recovered image (secondary recovered image) suitable for optical equipment is obtained. Thereby, it is possible to obtain a good restored image reflecting individual differences of optical devices while suppressing an increase in processing time and data amount.
従来は、回復度合いを変更するためには、式２を再度用いて、画像回復フィルタのゲインを変更して画像回復フィルタを再生成するという画像のフィルタリングが必要であり、画像における位置に応じて回復度合いを詳細に調整する負荷が大きい。これに対して、本実施例によれば、個体差に応じて画素ごとに回復度合いを変更するために必要な処理は画像の合成であるため、負荷が小さく、補正処理を高速に行うことができる。 Conventionally, in order to change the degree of restoration, it is necessary to perform image filtering by re-using equation 2 and changing the gain of the image restoration filter to regenerate the image restoration filter, depending on the position in the image. The load for adjusting the degree of recovery in detail is large. On the other hand, according to the present embodiment, the processing necessary for changing the degree of recovery for each pixel according to individual differences is image synthesis, so that the load is small and correction processing can be performed at high speed. it can.
なお、光学機器２１，２２，２３，・・・が交換レンズである場合に、画像処理装置１０をレンズ交換型の撮像装置に搭載することで、光学機器２１，２２，２３，・・・の個体差に対応する良好な回復画像を撮像装置から出力することができる。本発明は、この場合の撮像装置も実施例として含む。 In the case where the optical devices 21, 22, 23,... Are interchangeable lenses, the optical processing devices 21, 22, 23,. A good recovery image corresponding to the individual difference can be output from the imaging device. The present invention includes an imaging apparatus in this case as an example.
図１１には、本発明の実施例２である撮像装置の構成を示している。該撮像装置は、撮像により画像を生成する撮像系と、実施例１にて説明した画像処理装置を含む。 FIG. 11 shows the configuration of an image pickup apparatus that is Embodiment 2 of the present invention. The imaging apparatus includes an imaging system that generates an image by imaging and the image processing apparatus described in the first embodiment.
不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。 A light beam from a subject (not shown) forms an image on an image sensor 102 constituted by a CCD sensor, a CMOS sensor, or the like by an imaging optical system 101.
撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。撮像光学系制御部１０６は、システムコントローラ１１０からの制御信号に応じて、変倍レンズや絞り１０１ａの駆動やＡＦを制御する。 The imaging optical system 101 includes a variable power lens (not shown), a diaphragm 101a, and a focus lens 101b. By moving the zoom lens in the optical axis direction, zooming that changes the focal length of the imaging optical system 101 is possible. The diaphragm 101a adjusts the amount of light reaching the image sensor 102 by increasing or decreasing the aperture diameter of the diaphragm. The focus lens 101b is controlled in position in the optical axis direction by an unillustrated autofocus (AF) mechanism or manual focus mechanism in order to perform focus adjustment according to the subject distance. The imaging optical system control unit 106 controls driving of the variable power lens and the diaphragm 101a and AF in accordance with a control signal from the system controller 110.
撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含ませてもよい。ただし、光学フィルタは撮像光学系１０１の光学伝達関数（ＯＴＦ）の特性に影響を与える場合があるので、この場合は画像回復フィルタを作成する際に光学フィルタの考慮が必要になる。 The imaging optical system 101 may include an optical filter such as a low-pass filter or an infrared cut filter. However, since the optical filter may affect the characteristics of the optical transfer function (OTF) of the imaging optical system 101, in this case, it is necessary to consider the optical filter when creating the image restoration filter.
撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。 The subject image formed on the image sensor 102 is converted into an electric signal by the image sensor 102. An analog output signal from the image sensor 102 is converted into a digital image signal by the A / D converter 103 and input to the image processing unit 104.
画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する。撮像素子１０２から画像処理部１０４のうちカラー入力画像を生成する部分までが撮像系に相当する。また、画像処理部１０４は、入力画像に対して実施例１にて説明した画像回復処理を行う画像処理装置として機能する部分（画像回復手段）を含む。 The image processing unit 104 generates a color input image by performing various processes on the input digital imaging signal. The part from the image sensor 102 to the part that generates the color input image in the image processing unit 104 corresponds to the imaging system. Further, the image processing unit 104 includes a portion (image recovery means) that functions as an image processing apparatus that performs the image recovery process described in the first embodiment on the input image.
画像処理部１０４は、撮像条件検知部１０７から、撮像光学系１０１の焦点距離、絞り値、撮影距離を含む撮像条件を取得する。撮像条件検知部１０７は、システムコントローラ１１０から撮像条件の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。 The image processing unit 104 acquires imaging conditions including the focal length, aperture value, and imaging distance of the imaging optical system 101 from the imaging condition detection unit 107. The imaging condition detection unit 107 may obtain information on imaging conditions from the system controller 110 or may be obtained from the imaging optical system control unit 106 that controls the imaging optical system 101.
そして、画像処理部１０４は、実施例１にて説明したように、撮像条件に応じた画像回復フィルタ（使用画像回復フィルタ）を記憶部１０８から選択したり生成したりする。画像回復フィルタは、実施例１にて説明したように、他の同機種の撮像装置にも共通して用いられる画像回復フィルタである。記憶部１０８は、実施例１にて説明した画像処理装置１０の内部メモリ１１に代わる記憶手段である。さらに、画像処理部１０４は、記憶部１０８から、この撮像装置の個別補正情報を読み出し、該個別補正情報に基づいて生成した補正係数を用いて、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を補正する。これにより、第２の画像回復成分を生成する。そして、第２の画像回復成分を入力画像に合成して、出力画像としての第２の回復画像を生成する。
Then, as described in the first embodiment, the image processing unit 104 selects or generates an image restoration filter (used image restoration filter) corresponding to the imaging condition from the storage unit 108. As described in the first embodiment, the image restoration filter is an image restoration filter that is also used in common with other imaging apparatuses of the same model. The storage unit 108 is a storage unit that replaces the internal memory 11 of the image processing apparatus 10 described in the first embodiment. Further, the image processing unit 104 reads the individual correction information of the imaging device from the storage unit 108, and uses the correction coefficient generated based on the individual correction information to calculate the difference between the input image and the first restored image. The corresponding first image restoration component is corrected. As a result, a second image restoration component is generated. Then, the second image restoration component is synthesized with the input image to generate a second restoration image as an output image.
画像処理部１０４は、第２の回復画像を画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５に、第２の回復画像を表示する。 The image processing unit 104 stores the second recovered image in the image recording medium 109 in a predetermined format. In addition, the second recovery image is displayed on the display unit 105.
本実施例によれば、画像処理部１０４での処理時間や記憶部１０８にて保持すべきデータ量の増大を抑制しつつ、該撮像装置の他の撮像装置に対する個体差を反映した良好な回復画像（第２の回復画像）を得ることができる。 According to the present embodiment, it is possible to achieve a good recovery reflecting individual differences between the imaging device and other imaging devices while suppressing an increase in the processing time in the image processing unit 104 and the amount of data to be held in the storage unit 108. An image (second recovered image) can be obtained.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
光学機器の個体差を反映した良好な回復画像が得られる画像処理装置を提供できる。 It is possible to provide an image processing apparatus capable of obtaining a good restored image reflecting individual differences of optical devices.
１０ 画像処理装置
１１ 内部メモリ
２１〜２３ 光学機器
DESCRIPTION OF SYMBOLS 10 Image processing apparatus 11 Internal memory 21-23 Optical apparatus
Claims (10)
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、前記画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成し、
前記入力画像と前記第１の回復画像との差分に相当する第１の画像回復成分を取得し、
該第１の画像回復成分を、前記特定光学機器に対応する前記補正情報を用いて補正して第２の画像回復成分を生成し、
該第２の画像回復成分と前記入力画像とを合成して第２の回復画像を生成することを特徴とする画像処理方法。 A common image restoration filter is prepared for a plurality of optical devices having different optical characteristics, and different correction information is prepared for each optical device according to the difference in the optical properties,
A first recovered image is generated by performing an image recovery process using the image recovery filter on an input image generated by imaging using a specific optical device among the plurality of optical devices,
Obtaining a first image restoration component corresponding to a difference between the input image and the first restoration image;
Correcting the first image restoration component using the correction information corresponding to the specific optical device to generate a second image restoration component;
An image processing method comprising: synthesizing the second image restoration component and the input image to generate a second restored image.
前記第１の画像回復成分を、前記位置ごとに異なる前記補正情報を用いて補正して前記第２の画像回復成分を生成することを特徴とする請求項１に記載の画像処理方法。 Performing the image restoration process using the image restoration filter prepared for each position in the one input image,
The image processing method according to claim 1, wherein the second image restoration component is generated by correcting the first image restoration component using the correction information that is different for each position.
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して前記画像回復フィルタを用いた画像回復処理を行う画像回復手段とを有し、
前記画像回復手段は、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を取得し、
前記入力画像に対して前記画像回復処理を行うことにより第１の回復画像を生成し、
前記入力画像と前記第１の回復画像との差分に相当する第１の画像回復成分を取得し、
該第１の画像回復成分を、前記特定光学機器に対応する前記補正情報を用いて補正して第２の画像回復成分を生成し、
該第２の画像回復成分と前記入力画像とを合成して第２の回復画像を生成することを特徴とする画像処理装置。 Storage means for holding a common image restoration filter for a plurality of optical devices having different optical characteristics;
Image recovery means for performing image recovery processing using the image recovery filter for an input image generated by imaging using a specific optical device among the plurality of optical devices;
The image restoration means includes
Obtain different correction information for each optical device according to the difference in the optical characteristics,
Generating a first restored image by performing the image restoration process on the input image;
Obtaining a first image restoration component corresponding to a difference between the input image and the first restoration image;
Correcting the first image restoration component using the correction information corresponding to the specific optical device to generate a second image restoration component;
An image processing apparatus, wherein the second image restoration component and the input image are combined to generate a second restoration image.
請求項８に記載の画像処理装置とを有することを特徴とする撮像装置。 An imaging system for performing imaging and generating an image;
An image pickup apparatus comprising the image processing apparatus according to claim 8.
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意するステップと、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、前記画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成するステップと、
前記入力画像と前記第１の回復画像との差分に相当する第１の画像回復成分を取得するステップと、
該第１の画像回復成分を、前記特定光学機器に対応する前記補正情報を用いて補正して第２の画像回復成分を生成するステップと、
該第２の画像回復成分と前記入力画像とを合成して第２の回復画像を生成するステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。
On the computer,
Providing a common image restoration filter for a plurality of optical devices having different optical characteristics;
Preparing different correction information for each optical device according to the difference in the optical characteristics;
Generating a first recovered image by performing an image recovery process using the image recovery filter on an input image generated by imaging using a specific optical device among the plurality of optical devices;
Obtaining a first image restoration component corresponding to a difference between the input image and the first restoration image;
Correcting the first image restoration component using the correction information corresponding to the specific optical device to generate a second image restoration component;
An image processing program for executing a process including a step of generating a second restored image by synthesizing the second image restoration component and the input image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011104397A JP5425136B2 (en) | 2011-05-09 | 2011-05-09 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
| US13/467,098 US8861852B2 (en) | 2011-05-09 | 2012-05-09 | Image processing method for image restoration, image processing apparatus and image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011104397A JP5425136B2 (en) | 2011-05-09 | 2011-05-09 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012235421A JP2012235421A (en) | 2012-11-29 |
| JP2012235421A5 JP2012235421A5 (en) | 2013-08-01 |
| JP5425136B2 true JP5425136B2 (en) | 2014-02-26 |
Family
ID=47435283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011104397A Expired - Fee Related JP5425136B2 (en) | 2011-05-09 | 2011-05-09 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5425136B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9438771B2 (en) | 2013-10-08 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium |
| CN107623816A (en) | 2013-10-09 | 2018-01-23 | 佳能株式会社 | Image processing equipment, image pick up equipment and image processing method |
| CN109691082B (en) | 2016-08-25 | 2021-01-15 | 富士胶片株式会社 | Image processing device, image processing system, image processing method, and imaging optical system set |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009021905A (en) * | 2007-07-13 | 2009-01-29 | Hoya Corp | Contour enhancement apparatus |
-
2011
- 2011-05-09 JP JP2011104397A patent/JP5425136B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012235421A (en) | 2012-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5409589B2 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
| JP5284537B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus using the same | |
| JP5546229B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP6525718B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP5441652B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| US9007482B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
| JP5188651B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| JP5409829B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP5147994B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| JP5959976B2 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
| JP5264968B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and image processing program | |
| JP5791437B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2011123589A5 (en) | ||
| JP2011124692A5 (en) | ||
| JP2011215707A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP5344648B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| WO2011121763A1 (en) | Image processing apparatus and image capturing apparatus using same | |
| JP5479187B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| JP5425135B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5425136B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2019036115A (en) | Image processing method, image processing device, imaging device, and program | |
| JP5645981B2 (en) | Imaging apparatus, image processing apparatus, image processing method, image processing program, and storage medium | |
| JP5611439B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| WO2011121761A1 (en) | Image processing apparatus and image capturing apparatus using same | |
| JP2016092676A (en) | Image processing apparatus, imaging apparatus, camera system and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130617 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130617 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130617 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131126 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5425136 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |