JP5425135B2 - Image processing method, image processing apparatus, imaging apparatus, and image processing program - Google Patents
Image processing method, image processing apparatus, imaging apparatus, and image processing program Download PDFInfo
- Publication number
- JP5425135B2 JP5425135B2 JP2011104396A JP2011104396A JP5425135B2 JP 5425135 B2 JP5425135 B2 JP 5425135B2 JP 2011104396 A JP2011104396 A JP 2011104396A JP 2011104396 A JP2011104396 A JP 2011104396A JP 5425135 B2 JP5425135 B2 JP 5425135B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical
- image restoration
- filter
- correction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 91
- 238000012545 processing Methods 0.000 title claims description 87
- 238000003672 processing method Methods 0.000 title claims description 22
- 230000003287 optical effect Effects 0.000 claims description 175
- 238000012937 correction Methods 0.000 claims description 88
- 238000011084 recovery Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 38
- 238000012546 transfer Methods 0.000 description 27
- 238000004519 manufacturing process Methods 0.000 description 16
- 230000004075 alteration Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 206010010071 Coma Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本発明は、画像に含まれるぼけ成分を低減するための画像回復処理を行う画像処理技術に関する。 The present invention relates to an image processing technique for performing an image restoration process for reducing a blur component included in an image.
デジタルカメラや交換レンズ等の光学機器を用いて被写体を撮像して得られた画像には、撮影光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。 Spherical aberration, coma, curvature of field, astigmatism, etc. of the photographic optical system (hereinafter simply referred to as the optical system) are included in the image obtained by imaging the subject using an optical device such as a digital camera or an interchangeable lens. A blur component as an image degradation component due to the above is included. Such a blur component is generated when a light beam emitted from one point of a subject to be collected again at one point on the imaging surface when an aberration is not caused and there is no influence of diffraction is formed by forming an image with a certain spread.
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、光学系の収差の影響によって発生するぼけであって、ピントのずれによって発生するぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。 The blur component here is optically represented by a point spread function (PSF) and is a blur generated by the influence of aberration of the optical system. What is a blur generated by a focus shift? Different. In addition, color blur in a color image can also be said to be a difference in blurring for each wavelength of light with respect to axial chromatic aberration, spherical spherical aberration, and color coma aberration of the optical system. Further, in the case where the lateral color shift is also caused by the chromatic aberration of magnification of the optical system, it can be said that it is a positional shift or a phase shift due to a difference in imaging magnification for each wavelength of light.
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）とＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部を表す。
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。
An optical transfer function (OTF) obtained by Fourier transform of a point spread function (PSF) is frequency component information of aberration and is represented by a complex number. The absolute value of the optical transfer function (OTF), that is, the amplitude component is called MTF (Modulation Transfer Function), and the phase component is called PTF (Phase Transfer Function). MTF and PTF are frequency characteristics of an amplitude component and a phase component of image degradation due to aberration, respectively. Here, the phase component is expressed as the phase angle by the following formula. Re (OTF) and Im (OTF) represent the real part and the imaginary part of the OTF, respectively.
PTF = tan −1 (Im (OTF) / Re (OTF))
As described above, the optical transfer function (OTF) of the optical system deteriorates the amplitude component and the phase component of the image, and each point of the subject in the deteriorated image becomes asymmetrically blurred like coma.
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。このため、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の拡がりが発生する。 Further, the chromatic aberration of magnification is generated by shifting the imaging position due to the difference in imaging magnification for each wavelength of light, and acquiring this as, for example, RGB color components according to the spectral characteristics of the imaging device. For this reason, not only the image forming position shifts between RGB, but also the image forming position shift for each wavelength, that is, the spread of the image due to the phase shift, occurs in each color component.
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正（低減）する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以下の説明では、光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と記す。 There is known a method for correcting (reducing) the deterioration of the amplitude (MTF) and the deterioration of the phase (PTF) using information on the optical transfer function (OTF) of the optical system. This method is called image restoration or image restoration. In the following description, processing for correcting image degradation using information on the optical transfer function (OTF) of the optical system is referred to as image restoration processing or simply restoration processing. I write.
実際に光学機器を製造する場合、レンズの形状、保持機構および駆動機構に製造誤差による個体差が発生する。この個体差は光学伝達関数（ＯＴＦ）に影響を与える。したがって、製造誤差にも対応してより高精度に画像回復処理を行うためには、光学機器の個体ごとの光学伝達関数（ＯＴＦ）に基づいて画像回復フィルタを生成することが望ましい。 When optical devices are actually manufactured, individual differences due to manufacturing errors occur in the lens shape, holding mechanism, and drive mechanism. This individual difference affects the optical transfer function (OTF). Therefore, in order to perform image restoration processing with higher accuracy corresponding to manufacturing errors, it is desirable to generate an image restoration filter based on an optical transfer function (OTF) for each optical device.
特許文献１には、予め保持した複数の画像回復フィルタを用いて回復処理した複数の画像のうち所定の評価量が得られた画像に対して用いられた画像回復フィルタを実際の画像回復処理に用いる画像回復処理方法が開示されている。この方法によれば、上述した製造誤差による光学機器の個体差に対応することが可能である。 In Patent Document 1, an image restoration filter used for an image having a predetermined evaluation amount among a plurality of images restored using a plurality of image restoration filters held in advance is used as an actual image restoration process. An image restoration processing method to be used is disclosed. According to this method, it is possible to cope with individual differences of optical devices due to the above-described manufacturing errors.
しかしながら、特許文献１にて開示された方法を用いる場合、複数の画像回復フィルタによる回復処理を試行する必要があるため、最終的に回復画像を出力するまでに多大な処理時間を要する。 However, when the method disclosed in Patent Document 1 is used, it is necessary to try a recovery process using a plurality of image recovery filters, and thus it takes a lot of processing time to finally output a recovered image.
また、特許文献１にて開示された方法とは別に、光学機器の個体ごとに光学伝達関数を計測し、該個体ごとの画像回復フィルタを保持することで、個体差に対応することも考えられる。しかし、現像処理ソフトのように、複数の個体を一括して処理するシステムにおいては、それぞれの個体に対応した画像回復フィルタを予め保持しておくことは保持データ量が肥大化してしまい、現実的ではない。画像回復フィルタは、前述したようにＰＳＦの広がりを理想的には一点に補正するフィルタであるため、２次元かつ非対称な係数データ群であり、保持データ量の増大を招きやすい。 In addition to the method disclosed in Patent Document 1, it may be possible to cope with individual differences by measuring an optical transfer function for each optical device and holding an image restoration filter for each individual. . However, in a system that processes a plurality of individuals at once, such as development processing software, holding an image restoration filter corresponding to each individual in advance increases the amount of retained data, which is realistic. is not. Since the image restoration filter is a filter that ideally corrects the spread of the PSF to one point as described above, it is a two-dimensional and asymmetric coefficient data group, and tends to increase the amount of retained data.
本発明は、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像が得られるようにした画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供する。 The present invention provides an image processing method, an image processing device, an imaging device, and an image processing program that can obtain a good recovery image corresponding to individual differences of optical devices while suppressing an increase in processing time and the amount of retained data. provide.
本発明の一側面としての画像処理方法は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う。具体的には、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて上記画像に対する画像回復処理を行うことを特徴とする。 An image processing method according to one aspect of the present invention provides a common image restoration filter for a plurality of optical devices having different optical characteristics, and correction information that differs for each optical device according to the difference in the optical characteristics. And performing image restoration processing on an image generated by imaging using the specific optical device among the plurality of optical devices using an image restoration filter and correction information corresponding to the specific optical device . Specifically, a corrected image restoration filter is generated by correcting the image restoration filter using correction information corresponding to a specific optical device, and an image restoration process is performed on the image using the corrected image restoration filter. And
また、本発明の他の一側面としての画像処理装置は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、該光学特性の相異に応じて光学機器ごとに異なる補正情報を取得し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う画像回復手段とを有する。そして、画像回復手段は、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて上記画像に対する画像回復処理を行うことを特徴とする。 An image processing apparatus according to another aspect of the present invention includes a storage unit that holds a common image restoration filter for a plurality of optical devices having different optical characteristics, and an optical unit that is configured according to the difference in the optical characteristics. Different correction information is acquired for each device, and an image generated by imaging using a specific optical device among the plurality of optical devices is used using an image restoration filter and correction information corresponding to the specific optical device. Image recovery means for performing image recovery processing . The image restoration means generates a corrected image restoration filter by correcting the image restoration filter using the correction information corresponding to the specific optical device, and performs an image restoration process on the image using the correction image restoration filter. It is characterized by.
なお、撮像を行って画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。 Note that an imaging apparatus including an imaging system that performs imaging to generate an image and the image processing apparatus also constitutes another aspect of the present invention.
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意し、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う画像処理を実行させる。そして、該画像処理は、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて画像に対する画像回復処理を行うことを特徴とする。 Further, the image processing program as another aspect of the present invention causes a computer to prepare a common image restoration filter to a plurality of optical devices whose optical characteristics are different from each other, optical depending on the differences of the optical properties providing a different correction information for each device, using the correction information for the image generated by imaging using a specific optical apparatus in the optical apparatus of the plurality of, corresponding to the image restoration filter and the particular optics to execute image processing for performing image restoration processing. The image processing includes generating a corrected image restoration filter by correcting the image restoration filter using the correction information corresponding to the specific optical device, and performing image restoration processing on the image using the correction image restoration filter. Features.
本発明によれば、画像回復フィルタとして複数の光学機器に対して共通のフィルタを用意し、該画像回復フィルタと光学機器ごとに用意された補正情報とを用いて画像回復処理を行う。具体的には、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて画像回復処理を行う。このため、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像を得ることができる。
According to the present invention, a common filter is prepared for a plurality of optical devices as an image recovery filter, and image recovery processing is performed using the image recovery filter and correction information prepared for each optical device. Specifically, a corrected image restoration filter is generated by correcting the image restoration filter using correction information corresponding to the specific optical device, and image restoration processing is performed using the corrected image restoration filter. For this reason, it is possible to obtain a good restored image according to individual differences of optical devices while suppressing an increase in processing time and the amount of retained data.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
まず、具体的な実施例の説明に先立って、実施例にて用いられる用語の定義と画像回復処理について説明する。 First, prior to description of a specific embodiment, definitions of terms used in the embodiment and image restoration processing will be described.
「入力画像」
入力画像は、撮像により生成された画像である。具体的には、入力画像は、撮影光学系（以下、単に光学系ともいう）により形成された光学像としての被写体像をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により光電変換して得られた撮像信号から生成されたデジタル画像である。該入力画像は、レンズや各種光学フィルタを含む光学系の収差、つまりは光学伝達関数（ＯＴＦ）に応じて劣化している。光学系は、レンズの他に、曲率を有するミラー等の反射面を用いて構成してもよい。
"Input image"
The input image is an image generated by imaging. Specifically, the input image is an image obtained by photoelectrically converting a subject image as an optical image formed by a photographing optical system (hereinafter also simply referred to as an optical system) using an image sensor such as a CCD sensor or a CMOS sensor. A digital image generated from a signal. The input image is deteriorated in accordance with aberration of an optical system including a lens and various optical filters, that is, an optical transfer function (OTF). The optical system may be configured using a reflecting surface such as a mirror having a curvature in addition to the lens.
また、実施例にて説明する画像処理方法は、光学系を介さずに画像を撮像により生成する装置にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置は、レンズ等により構成される光学系を持たないが、撮像素子からの撮像信号を用いて画像を生成する。そして、生成された画像には、光学系による劣化成分ではないが、光学伝達関数に相当する撮像システムの伝達関数に応じた劣化成分が含まれる。このため、光学系を持たなくても、撮像システム伝達関数に基づいて画像回復フィルタを生成する場合には、実施例にて説明する画像処理方法を用いることができる。このように、実施例にいう光学伝達関数（ＯＴＦ）には、撮像システムの伝達関数も含む。 The image processing method described in the embodiments can also be applied to an apparatus that generates an image by imaging without using an optical system. For example, a scanner (reading device) or an X-ray imaging device that performs imaging by bringing an imaging element into close contact with a subject surface does not have an optical system including a lens or the like, but an image is captured using an imaging signal from the imaging element. Generate. The generated image includes a deterioration component corresponding to the transfer function of the imaging system corresponding to the optical transfer function, although it is not a deterioration component due to the optical system. Therefore, the image processing method described in the embodiment can be used when generating an image restoration filter based on the imaging system transfer function without having an optical system. Thus, the optical transfer function (OTF) in the embodiment includes the transfer function of the imaging system.
また、入力画像の色成分は、例えば、ＲＧＢの色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いたり、色温度を用いたりしてもよい。 Further, the color component of the input image has information on RGB color components, for example. In addition to this, the color component can be used by selecting a commonly used color space such as brightness, hue, and saturation expressed in LCH, luminance and color difference signal expressed in YCbCr, and the like. . As other color spaces, XYZ, Lab, Yuv, JCh, or color temperature may be used.
さらに、入力画像には、光学系の焦点距離、絞り値、撮影距離等の撮像条件や、この画像を補正するための各種補正情報を付帯することができる。光学機器から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像への付帯情報として補正情報を付帯することが好ましい。また、補正情報は、光学機器と画像処理装置とを有線もしくは無線通信により接続して、又は着脱可能な記憶媒体を介して受け渡すこともできる。 Furthermore, the input image can be accompanied by imaging conditions such as the focal length, aperture value, and shooting distance of the optical system, and various correction information for correcting this image. When the image is transferred from the optical device to another image processing apparatus and correction processing is performed, it is preferable that the correction information is attached as the additional information to the image as described above. In addition, the correction information can be transferred by connecting the optical device and the image processing apparatus by wired or wireless communication or via a removable storage medium.
「画像回復処理」および「画像回復フィルタ」
画像回復処理の概要は以下の通りである。劣化した画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分）を示し、（ｘ，ｙ）は画像上の座標を示す。
"Image recovery processing" and "Image recovery filter"
The outline of the image restoration process is as follows. The degraded image (input image) is g (x, y), and the original image that is not degraded is f (x, y). Further, a point spread function (PSF) that is a Fourier pair of the optical transfer function is assumed to be h (x, y). At this time, the following equation holds. Here, * indicates convolution (convolution integration), and (x, y) indicates coordinates on the image.
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
g (x, y) = h (x, y) * f (x, y)
Further, when the above equation is converted into a display format on a two-dimensional frequency plane by Fourier transformation, a product format for each frequency is obtained as in the following equation. H is a Fourier transform of the point spread function (PSF) and is an optical transfer function (OTF). G and F are Fourier transforms of g and f, respectively. (U, v) indicates the coordinates on the two-dimensional frequency plane, that is, the frequency.
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
G (u, v) = H (u, v) · F (u, v)
In order to obtain the original image from the deteriorated image, both sides may be divided by H as follows.
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
G (u, v) / H (u, v) = F (u, v)
A restored image corresponding to the original image f (x, y) is obtained by performing inverse Fourier transform on this F (u, v) and returning it to the actual surface.
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。 Here, assuming that the result of inverse Fourier transform of H −1 is R, the original image can be similarly obtained by performing convolution processing on the actual image as in the following equation.
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元画像であるとき、一般に、画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数（セルの数）は多いほど回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平および垂直方向に３ずつ程度のタップ数を有するエッジ強調フィルタ（ハイパスフィルタ）等とは異なる。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
g (x, y) * R (x, y) = f (x, y)
This R (x, y) is called an image restoration filter. When the image is a two-dimensional image, generally, the image restoration filter is also a two-dimensional filter having taps (cells) corresponding to each pixel of the image. In general, as the number of taps (number of cells) of the image restoration filter increases, the restoration accuracy improves. Therefore, the number of taps that can be realized is set according to the required image quality, image processing capability, aberration characteristics, and the like. Since the image restoration filter needs to reflect at least aberration characteristics, it is different from a conventional edge enhancement filter (high-pass filter) having about three taps in the horizontal and vertical directions. Since the image restoration filter is created based on the optical transfer function (OTF), both the amplitude component and the phase component can be corrected with high accuracy.
また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い（回復ゲイン）に応じてノイズが増幅されてしまう。 In addition, since an actual image has a noise component, using the image restoration filter created by taking the perfect inverse of the optical transfer function (OTF) as described above, the noise component is amplified together with the degraded image, In general, a good image cannot be obtained. This is because the MTF is raised so that the MTF (amplitude component) of the optical system is returned to 1 over the entire frequency in a state where the amplitude of noise is added to the amplitude component of the image. The MTF, which is amplitude degradation due to the optical system, returns to 1, but at the same time, the power spectrum of the noise also rises. As a result, the noise is amplified according to the degree to which the MTF is raised (recovery gain).
したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。 Therefore, when there is noise, a good image cannot be obtained as a viewing image. This can be expressed as follows: N represents a noise component.
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、下記の式１に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて画像の高周波側の回復率を抑制する方法が知られている。
G (u, v) = H (u, v) .F (u, v) + N (u, v)
G (u, v) / H (u, v) = F (u, v) + N (u, v) / H (u, v)
Regarding this point, for example, a method of suppressing the recovery rate on the high frequency side of the image according to the intensity ratio (SNR) of the image signal and the noise signal, such as the Wiener filter shown in the following Equation 1, is known. ing.
上記式１において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性である。また、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。 In the above equation 1, M (u, v) is the frequency characteristic of the Wiener filter. | H (u, v) | is the absolute value (MTF) of the optical transfer function (OTF).
この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、光学系のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。 In this method, for each frequency, the recovery gain is suppressed as the MTF is small, and the recovery gain is increased as the MTF is large. In general, since the MTF of the optical system is high on the low frequency side and low on the high frequency side, it is a method of substantially suppressing the recovery gain on the high frequency side of the image.
ここで、画像回復フィルタの例を、図２に示す。画像回復フィルタでは、収差特性や要求される回復精度に応じてタップ数、すなわちカーネルサイズが決められる。図２に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。図２では各タップ内の値を省略しているが、この画像回復フィルタの１つの断面を図３に示している。画像回復フィルタの各タップの値（係数値）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を理想的には元の１点に戻す役割を果たす。 An example of the image restoration filter is shown in FIG. In the image restoration filter, the number of taps, that is, the kernel size is determined according to the aberration characteristics and the required restoration accuracy. The image restoration filter shown in FIG. 2 is a two-dimensional filter having 11 × 11 cells. Each cell corresponds to one pixel of the image. In FIG. 2, values in each tap are omitted, but one cross section of this image restoration filter is shown in FIG. The distribution of the values (coefficient values) of the taps of the image restoration filter plays a role of ideally returning the signal value (PSF) spread spatially due to aberration to the original one point.
このような画像回復フィルタの各タップを劣化画像の各画素に対応させてコンボリューション処理が行われる。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心タップと一致させる。そして、劣化画像とフィルタの対応画素ごとに劣化画像の信号値とフィルタの係数値との積をとり、その総和を劣化画像におけるフィルタ中心タップに対応する画素の信号値として置き換える。 Convolution processing is performed by making each tap of such an image restoration filter correspond to each pixel of the deteriorated image. In the convolution process, in order to improve the signal value of a certain pixel in the deteriorated image, the pixel is matched with the center tap of the image restoration filter. Then, the product of the signal value of the deteriorated image and the coefficient value of the filter is calculated for each corresponding pixel of the deteriorated image and the filter, and the sum is replaced with the signal value of the pixel corresponding to the filter center tap in the deteriorated image.
画像回復の実空間と周波数空間での特性を、図４および図５を用いて説明する。図４中の（ａ）は回復前のＰＳＦを、（ｂ）は回復後のＰＳＦを示している。また、図５中の（Ｍ）の（ａ）は回復前のＭＴＦを、（Ｍ）の（ｂ）は回復後のＭＴＦを示している。さらに、図５の（Ｐ）の（ａ）は回復前のＰＴＦを、（Ｐ）の（ｂ）は回復後のＰＴＦを示している。回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは零ではない。回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、回復後のＰＳＦは対称で鮮鋭になる。 The characteristics of image restoration in real space and frequency space will be described with reference to FIGS. In FIG. 4, (a) shows the PSF before recovery, and (b) shows the PSF after recovery. In FIG. 5, (M) (a) shows the MTF before recovery, and (M) (b) shows the MTF after recovery. Further, (P) (a) in FIG. 5 shows PTF before recovery, and (b) in (P) shows PTF after recovery. The PSF before recovery has an asymmetric spread, and due to this asymmetry, the PTF is not zero. Since the recovery process amplifies the MTF and corrects the PTF to zero, the PSF after recovery becomes symmetrical and sharp.
この画像回復フィルタは、光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。実施例で用いる画像回復フィルタは、適宜変更が可能であり、例えばウィナーフィルタを用いてもよい。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで画像回復フィルタを作成することができる。 This image restoration filter can be obtained by inverse Fourier transform of a function designed based on the inverse function of the optical transfer function (OTF) of the optical system. The image restoration filter used in the embodiment can be appropriately changed. For example, a Wiener filter may be used. When the Wiener filter is used, an image restoration filter can be created by performing inverse Fourier transform on Equation 1.
実施例では、このような画像回復フィルタを、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器に対して共通のフィルタとして用いる。ただし、共通の画像回復フィルタとして、光学機器における代表的な撮像条件、例えば光学系の焦点距離、絞り値および撮影距離（被写体距離）に対応する複数の画像回復フィルタを用意する。 In the embodiment, such an image restoration filter is manufactured as the same model, but is used as a common filter for a plurality of optical devices having individual differences due to manufacturing errors. However, as a common image restoration filter, a plurality of image restoration filters corresponding to typical imaging conditions in an optical device, for example, a focal length of an optical system, an aperture value, and an imaging distance (subject distance) are prepared.
「個別補正情報」
個別補正情報は、例えば、製造誤差による個体差を有する光学機器ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性（結像特性）の回転対称性が崩れ、該像面上での位置（又は領域）ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。
"Individual correction information"
The individual correction information is information indicating blurring for each optical device having individual differences due to manufacturing errors, for example. Deflection is the rotational symmetry of the design optical characteristics (imaging characteristics) on the image plane of the optical system because the optical elements such as a plurality of lenses constituting the optical system are decentered from each other due to manufacturing errors. Is collapsed, and the imaging state is different for each position (or region) on the image plane. If there is no manufacturing error, the imaging characteristic of the optical system has rotational symmetry. Note that the image plane of the optical system can be read as a light receiving surface or an image of the image sensor. Further, the position on the image plane can be read as the image height.
画像中の片ぼけの例を図６に示す。製造誤差がない場合の結像特性（ＭＴＦ）を基準としたとき、画像の左側はＭＴＦが低く鮮鋭度が低くなっており、右側はＭＴＦが高く鮮鋭度が高くなっている。個別補正情報は、このような画像上の位置ごとに異なる結像特性（つまりは片ぼけ）を示す情報であり、結像特性（光学特性）の相異に応じて光学機器の個体ごとに異なる情報である。 An example of blurring in the image is shown in FIG. When the imaging characteristics (MTF) when there is no manufacturing error is used as a reference, the left side of the image has low MTF and low sharpness, and the right side has high MTF and high sharpness. The individual correction information is information indicating different imaging characteristics (that is, one-sided blur) for each position on the image, and is different for each optical device depending on the difference in imaging characteristics (optical characteristics). Information.
個別補正情報は、像面（撮像素子の受光面又は画像）における位置と結像特性との関係を示すテーブルデータとしてもよいし、像面における位置ごとの結像特性を示す関数およびその係数としてもよい。個別補正情報を関数として保持することで、テーブルデータとして保持するよりも保持データ量を削減することができる。 The individual correction information may be table data indicating the relationship between the position on the image plane (the light receiving surface or image of the image sensor) and the imaging characteristics, or a function indicating the imaging characteristics for each position on the image plane and its coefficient. Also good. By retaining the individual correction information as a function, the amount of retained data can be reduced as compared with retaining as table data.
光学機器の個体ごとの個別補正情報は、該光学機器の製造時においてその光学特性を個別に計測することで取得することができる。なお、個別補正情報は、製造された全ての光学機器に保持させてもよいが、選択された複数の個体のみに保持させてもよい。 Individual correction information for each optical device can be obtained by individually measuring the optical characteristics at the time of manufacturing the optical device. The individual correction information may be held in all manufactured optical devices, but may be held only in a plurality of selected individuals.
個別補正情報は、実際の像面が理想とする像面に対してどのように変形しているかを示す情報とすることができるので、画像上の各位置の光学伝達関数（ＯＴＦ）を測定する場合に比べて容易に作成することができる。 Since the individual correction information can be information indicating how the actual image plane is deformed with respect to the ideal image plane, the optical transfer function (OTF) at each position on the image is measured. It can be created easily compared to the case.
なお、画像を構成する色成分ごと（すなわち、色光ごと）に結像特性が異なる場合には、個別補正情報を、色成分ごとに異なる情報として作成することが望ましい。また、画像における画素の特徴量（これについては後述する）に応じて、画像回復効果の程度である回復度合いを調整するために、個別補正情報を該特徴量に応じて変更するようにしてもよい。 In addition, when the imaging characteristics are different for each color component constituting the image (that is, for each color light), it is desirable to create the individual correction information as different information for each color component. The individual correction information may be changed according to the feature amount in order to adjust the degree of restoration, which is the degree of the image restoration effect, according to the feature amount of the pixel in the image (which will be described later). Good.
個別補正情報は、片ぼけに限らず、製造誤差に関するあらゆる要因によって画像上の位置によって結像特性が異なる場合に用いることができる。 The individual correction information is not limited to one-sided blur and can be used when the imaging characteristics differ depending on the position on the image due to all factors relating to manufacturing errors.
図１には、本発明の実施例１である画像処理方法を用いて行われる画像回復処理における画像回復フィルタと個別補正情報との関係を示している。光学機器２１，２２，２３，・・・は、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器であり、デジタルカメラやビデオカメラ等の撮像装置や、撮像装置に対して着脱可能な交換レンズを含む。各光学機器を用いた撮像により生成された画像は、画像処理装置１０に入力画像として受け渡される。画像処理装置１０は、画像回復処理を実行するためのコンピュータプログラムである画像処理プログラムを搭載したコンピュータであり、入力画像に対して画像回復処理を行って、その結果である回復画像を出力する。 FIG. 1 shows a relationship between an image restoration filter and individual correction information in an image restoration process performed using the image processing method according to the first embodiment of the present invention. The optical devices 21, 22, 23,... Are a plurality of optical devices that are manufactured as the same model but have individual differences due to manufacturing errors. For optical devices such as digital cameras and video cameras, And an interchangeable lens that can be removed. An image generated by imaging using each optical device is transferred to the image processing apparatus 10 as an input image. The image processing apparatus 10 is a computer equipped with an image processing program that is a computer program for executing image recovery processing. The image processing device 10 performs image recovery processing on an input image and outputs a recovered image as a result.
画像処理装置１０は、その内部メモリ（記憶手段）１１に、光学機器２１，２２，２３，・・・に対して共通の画像回復フィルタであって、前述したように代表的な撮像条件に対応する複数の画像回復フィルタを保持している。これら共通の画像回復フィルタは、例えば、撮像装置２１，２２，２３，・・・の光学系の設計上の光学伝達関数（ＯＴＦ）に基づいて作成することができる。 The image processing apparatus 10 is an image restoration filter common to the optical devices 21, 22, 23,... In its internal memory (storage means) 11, and corresponds to typical imaging conditions as described above. A plurality of image restoration filters are held. These common image restoration filters can be created based on the optical transfer function (OTF) in the design of the optical system of the imaging devices 21, 22, 23,.
一方、光学機器２１，２２，２３，・・・はそれぞれ、個体ごとに異なる個別補正情報Ａ，Ｂ，Ｃ，・・・をその内部メモリ（図示せず）に保持している。 On the other hand, each of the optical devices 21, 22, 23,... Holds individual correction information A, B, C,... Different for each individual in its internal memory (not shown).
図７のフローチャートには、本実施例における画像回復処理の手順を示している。ここでは、光学機器として、レンズ一体型の撮像装置又は交換レンズが装着された撮像装置を想定している。画像処理装置１０は、ステップＳ１１にて、複数の光学機器２１，２２，２３，・・・のうち画像回復処理を行う入力画像の取り込み先である光学機器から、有線もしくは無線による通信により又は着脱可能な記憶媒体を介して入力画像を取得する。以下の説明において、入力画像の取り込み先である光学機器を、特定光学機器という。 The flowchart of FIG. 7 shows the procedure of image restoration processing in the present embodiment. Here, it is assumed that the optical apparatus is an image pickup apparatus with an integrated lens or an interchangeable lens. In step S11, the image processing apparatus 10 removes from or attaches to the optical device that is the destination of the input image to be subjected to the image restoration processing among a plurality of optical devices 21, 22, 23,. An input image is obtained via a possible storage medium. In the following description, an optical device from which an input image is captured is referred to as a specific optical device.
次に、ステップＳ１２では、画像処理装置１０は、内部メモリ１１に保持された複数の画像回復フィルタから、特定光学機器における入力画像の生成時（撮像時）の撮像条件に対応する画像回復フィルタを選択又は生成する。ここで選択又は生成された画像回復フィルタを、使用画像回復フィルタともいう。撮像条件に関する情報は、特定光学機器から直接取得してもよいし、入力画像に付帯された撮像条件情報から取得してもよい。 Next, in step S <b> 12, the image processing apparatus 10 selects an image restoration filter corresponding to the imaging condition at the time of generating an input image (at the time of imaging) from the plurality of image restoration filters held in the internal memory 11. Select or generate. The image restoration filter selected or generated here is also referred to as a used image restoration filter. The information regarding the imaging conditions may be acquired directly from the specific optical device, or may be acquired from the imaging condition information attached to the input image.
使用画像回復フィルタとしては、内部メモリ１１に予め保持された複数の画像回復フィルタの中から実際の撮像条件に対応したもの又は近いものを選択すればよい。また、代表的な撮像条件に対応した画像回復フィルタを実際の撮像条件に応じて補正したものを使用画像回復フィルタとして生成してもよい。例えば代表的な撮像条件に対応した複数の画像回復フィルタのうち実際の撮像条件に近い２つの代表的な撮像条件に対応した画像回復フィルタから補間処理により使用画像回復フィルタを生成してもよい。 As the used image restoration filter, a filter corresponding to or close to the actual imaging condition may be selected from a plurality of image restoration filters stored in the internal memory 11 in advance. Further, an image restoration filter corresponding to a typical imaging condition may be generated as a use image restoration filter by correcting it according to the actual imaging condition. For example, the used image restoration filter may be generated by interpolation processing from image restoration filters corresponding to two typical imaging conditions close to the actual imaging condition among a plurality of image restoration filters corresponding to the typical imaging conditions.
なお、仮に光学機器２１，２２，２３，・・・間に製造誤差による個体差がない場合であっても、光学系の結像特性、すなわち光学伝達関数（ＯＴＦ）が、該光学系の像面上、つまりは入力画像上における位置（又は領域）によって異なる。このため、使用画像回復フィルタは、入力画像上の位置（又は領域）によって変更することが望ましい。 Even if there is no individual difference due to manufacturing errors between the optical devices 21, 22, 23,..., The imaging characteristics of the optical system, that is, the optical transfer function (OTF), is an image of the optical system. It differs depending on the position (or region) on the surface, that is, on the input image. For this reason, it is desirable to change the used image restoration filter depending on the position (or region) on the input image.
次に、ステップＳ１３では、画像処理装置１０は、特定光学機器から前述した個別補正情報を取得して、内部メモリ１１に保持する。 Next, in step S <b> 13, the image processing apparatus 10 acquires the individual correction information described above from the specific optical device and stores it in the internal memory 11.
次に、ステップＳ１４では、画像回復手段としての画像処理装置１０は、ステップＳ１２で内部メモリ１１に保持した使用画像回復フィルタを、ステップＳ１３で内部メモリ１１に保持した個別補正情報から生成した補正フィルタを用いて補正する。 Next, in step S14, the image processing apparatus 10 serving as an image restoration unit uses the correction filter generated from the individual correction information held in the internal memory 11 in step S13 and the used image restoration filter held in the internal memory 11 in step S12. Use to correct.
図８中の（ａ）には補正前の画像回復フィルタを示しており、（ｂ）には個別補正情報に対応するように生成された補正フィルタを示しており、ともに係数値は省略されている。補正フィルタは、ハイパスフィルタやローパスフィルタを用いることができる。 (A) in FIG. 8 shows an image restoration filter before correction, and (b) shows a correction filter generated so as to correspond to individual correction information, both of which are omitted in coefficient values. Yes. A high-pass filter or a low-pass filter can be used as the correction filter.
画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、図２に示したように、例えば１１×１１タップという比較的多くのタップ数を有する。これに対して、補正フィルタは、画像回復フィルタのゲインを増減する機能を主とすることで、例えば３×３タップといった少ないタップ数、つまりはデータ量で画像回復フィルタを補正することができる。 Since the image restoration filter is generated based on the optical transfer function (OTF), as shown in FIG. 2, the image restoration filter has a relatively large number of taps, for example, 11 × 11 taps. On the other hand, the correction filter mainly corrects the gain of the image restoration filter, so that the image restoration filter can be corrected with a small number of taps, for example, 3 × 3 taps, that is, a data amount.
画像回復フィルタに補正フィルタをコンボリューションすることにより、画像回復フィルタの特性を補正することができる。補正の前後の画像回復フィルタの係数値の変化を、図９に示す。図９中の（ａ）と（ｂ）はそれぞれ、補正前の画像回復フィルタと補正後の画像回復フィルタの同一断面での係数値を示している。 By convolving the correction filter with the image restoration filter, the characteristics of the image restoration filter can be corrected. FIG. 9 shows changes in the coefficient values of the image restoration filter before and after the correction. (A) and (b) in FIG. 9 indicate coefficient values in the same cross section of the image restoration filter before correction and the image restoration filter after correction, respectively.
また、図１０には、補正フィルタによる画像回復フィルタの補正の有無と、画像回復処理によるＭＴＦの変化との関係を示す。図１０中の（ａ）は回復処理前の入力画像のＭＴＦであり、（ｂ）は補正フィルタにより補正をしていない画像回復フィルタを用いた回復処理後の画像のＭＴＦである。（ｃ）は補正フィルタとしてのハイパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のＭＴＦである。（ｄ）は補正フィルタとしてのローパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のＭＴＦである。このように、製造誤差による個体差のある光学機器により生成された画像のＭＴＦを、該光学機器から取得した個別補正情報に基づいて補正した画像回復フィルタを用いて、該個体差に応じて回復させることができる。 FIG. 10 shows the relationship between the presence / absence of the correction of the image restoration filter by the correction filter and the change in MTF caused by the image restoration process. (A) in FIG. 10 is the MTF of the input image before the recovery process, and (b) is the MTF of the image after the recovery process using the image recovery filter that is not corrected by the correction filter. (C) is the MTF of the image after the recovery process using the image recovery filter corrected by the high-pass filter as the correction filter. (D) is the MTF of the image after the restoration process using the image restoration filter corrected by the low-pass filter as the correction filter. In this way, the MTF of an image generated by an optical device having individual differences due to manufacturing errors is recovered according to the individual difference using an image restoration filter that is corrected based on individual correction information acquired from the optical device. Can be made.
図１１には、入力画像の複数の位置に対して予め離散的に用意されて内部メモリ１１に保持された複数の画像回復フィルタを示している。互いに同一の番号（１〜８）が付された画像回復フィルタは、互いに同一の画像回復フィルタであることを示している。図１１では、光学系の結像特性の回転対称性に対応するように、互いに同一の画像回復フィルタが画像の中心回りで回転対称性を有するように適用される。ただし、互いに同一の画像回復フィルタであっても、それらの向きは異なる。 FIG. 11 shows a plurality of image restoration filters prepared discretely in advance for a plurality of positions of the input image and held in the internal memory 11. The image restoration filters with the same numbers (1 to 8) are the same image restoration filters. In FIG. 11, the same image restoration filters are applied so as to have rotational symmetry around the center of the image so as to correspond to rotational symmetry of the imaging characteristics of the optical system. However, even in the same image restoration filter, their directions are different.
図１２には、図１１に示した複数の画像回復フィルタを、特定光学機器から取得した個別補正情報に基づいて補正する、すなわち補正フィルタをコンボリューションすることで作成した補正画像回復フィルタを示している。入力画像の複数の位置のそれぞれに適用される補正画像回復フィルタは、全て異なるフィルタとなっている（全て異なる番号が付されている）。このように、個別補正情報に基づいて補正された複数の画像回復フィルタには、製造誤差による画像上の位置ごとの結像特性の相異が反映されている。画像回復フィルタを、入力画像上での位置に応じてどのように補正するかは、製造誤差の発生の仕方に依存する。 FIG. 12 shows a corrected image restoration filter that is created by correcting the plurality of image restoration filters shown in FIG. 11 based on individual correction information acquired from a specific optical device, that is, by convolving the correction filter. Yes. The corrected image restoration filters applied to each of a plurality of positions of the input image are all different filters (all are given different numbers). As described above, the plurality of image restoration filters corrected based on the individual correction information reflect the difference in the imaging characteristics for each position on the image due to the manufacturing error. How the image restoration filter is corrected according to the position on the input image depends on how the manufacturing error occurs.
また、入力画像における画素値の変化量、言い換えれば、画素の特徴量に応じて回復度合い、つまりは個別補正情報を変更してもよい。画素の特徴量としては、例えば、画像の画素値（信号値）の変化が低い平坦部と画素値の変化が大きいエッジ部や、画素の輝度飽和度がある。 Further, the degree of recovery, that is, the individual correction information may be changed according to the amount of change of the pixel value in the input image, in other words, according to the feature amount of the pixel. Examples of the feature amount of the pixel include a flat portion where the change in the pixel value (signal value) of the image is low, an edge portion where the change in the pixel value is large, and the luminance saturation of the pixel.
次に、ステップＳ１５では、画像処理装置１０は、入力画像に対して、補正画像回復フィルタを用いた画像回復処理を行う。そして、ステップＳ１６にて、画像回復処理の結果画像としての回復画像を出力する。 Next, in step S15, the image processing apparatus 10 performs an image restoration process using a corrected image restoration filter on the input image. In step S16, a recovered image is output as a result image of the image recovery process.
本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタは共通に用意し、該画像回復フィルタをデータ量が小さな個別補正情報を用いて補正することで、結像特性が異なる個々の光学機器に適した画像回復処理を行う。これにより、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。 In this embodiment, for a plurality of optical devices having individual differences, an image restoration filter with a large amount of data is prepared in common, and the image restoration filter is corrected using individual correction information with a small amount of data. Image restoration processing suitable for individual optical devices having different imaging characteristics is performed. Thereby, it is possible to obtain a good restored image reflecting individual differences of optical devices while suppressing an increase in processing time and data amount.
なお、光学機器２１，２２，２３，・・・が交換レンズである場合に、画像処理装置１０をレンズ交換型の撮像装置に搭載することで、光学機器２１，２２，２３，・・・の個体差に対応する良好な回復画像を撮像装置から出力することができる。本発明は、この場合の撮像装置も実施例として含む。 In the case where the optical devices 21, 22, 23,... Are interchangeable lenses, the optical processing devices 21, 22, 23,. A good recovery image corresponding to the individual difference can be output from the imaging device. The present invention includes an imaging apparatus in this case as an example.
図１３のフローチャートには、本発明の実施例２である画像処理方法を用いた画像回復処理の手順を示している。 The flowchart of FIG. 13 shows the procedure of image restoration processing using the image processing method according to the second embodiment of the present invention.
画像処理装置１０は、ステップＳ２１にて、図１に示した複数の光学機器２１，２２，２３，・・・のうち入力画像の取り込み先である特定光学機器から、有線もしくは無線による通信により又は該光学機器に対して着脱可能な記憶媒体を介して入力画像を取得する。 In step S21, the image processing apparatus 10 transmits a wired or wireless communication from a specific optical device that is a destination of the input image among the plurality of optical devices 21, 22, 23,... Shown in FIG. An input image is acquired via a storage medium that is detachable from the optical device.
次に、ステップＳ２２では、画像処理装置１０は、内部メモリ１１に保持された複数の画像回復フィルタから、実施例１のステップＳ１２と同様にして、特定光学機器での撮像条件に対応する画像回復フィルタ（使用画像回復フィルタ）を選択又は生成する。そして、使用画像回復フィルタを内部メモリ１１に保持する。 Next, in step S22, the image processing apparatus 10 performs image recovery corresponding to the imaging conditions of the specific optical device from the plurality of image recovery filters held in the internal memory 11 in the same manner as in step S12 of the first embodiment. A filter (used image restoration filter) is selected or generated. Then, the used image restoration filter is held in the internal memory 11.
次に、ステップＳ２３では、画像処理装置１０は、特定光学機器から個別補正情報を取得して、内部メモリ１１に保持する。 Next, in step S <b> 23, the image processing apparatus 10 acquires individual correction information from the specific optical device and stores it in the internal memory 11.
次に、ステップＳ２４では、画像処理装置１０は、ステップＳ２１にて特定光学機器から取り込んだ入力画像に対して、ステップＳ２２で内部メモリ１１に保持した使用画像回復フィルタを用いた画像回復処理を行う。 Next, in step S24, the image processing apparatus 10 performs image recovery processing using the used image recovery filter held in the internal memory 11 in step S22 on the input image captured from the specific optical device in step S21. .
次に、ステップＳ２５では、画像処理装置１０は、画像回復処理の結果画像である回復画像を、ステップＳ２３にて内部メモリ１１に保持した個別補正情報から生成した補正フィルタ用いて補正する。そして、ステップＳ２６で、補正後の回復画像を出力する。 Next, in step S25, the image processing apparatus 10 corrects the recovered image, which is a result image of the image recovery process, using the correction filter generated from the individual correction information held in the internal memory 11 in step S23. In step S26, the corrected restored image is output.
本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタを共通に用意し、該画像回復フィルタによって画像回復処理が行われた回復画像を、データ量が小さな個別補正情報を用いて補正する。これにより、結像特性が異なる個々の光学機器に適した画像回復処理を行う。このため、本実施例でも、実施例１と同様に、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。 In this embodiment, an image restoration filter having a large data amount is prepared in common for a plurality of optical devices having individual differences, and a restored image that has been subjected to image restoration processing by the image restoration filter is reduced in data amount. Correction is performed using the individual correction information. As a result, image restoration processing suitable for individual optical devices having different imaging characteristics is performed. For this reason, also in the present embodiment, as in the first embodiment, it is possible to obtain a good recovered image reflecting individual differences of optical devices while suppressing an increase in processing time and data amount.
図１４には、本発明の実施例３である撮像装置の構成を示している。該撮像装置は、撮像により画像を生成する撮像系と、実施例１にて説明した画像処理装置を含む。 FIG. 14 shows the configuration of an image pickup apparatus that is Embodiment 3 of the present invention. The imaging apparatus includes an imaging system that generates an image by imaging and the image processing apparatus described in the first embodiment.
不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。 A light beam from a subject (not shown) forms an image on an image sensor 102 constituted by a CCD sensor, a CMOS sensor, or the like by an imaging optical system 101.
撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。撮像光学系制御部１０６は、システムコントローラ１１０からの制御信号に応じて、変倍レンズや絞り１０１ａの駆動やＡＦを制御する。 The imaging optical system 101 includes a variable power lens (not shown), a diaphragm 101a, and a focus lens 101b. By moving the zoom lens in the optical axis direction, zooming that changes the focal length of the imaging optical system 101 is possible. The diaphragm 101a adjusts the amount of light reaching the image sensor 102 by increasing or decreasing the aperture diameter of the diaphragm. The focus lens 101b is controlled in position in the optical axis direction by an unillustrated autofocus (AF) mechanism or manual focus mechanism in order to perform focus adjustment according to the subject distance. The imaging optical system control unit 106 controls driving of the variable power lens and the diaphragm 101a and AF in accordance with a control signal from the system controller 110.
撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含ませてもよい。ただし、光学フィルタは撮像光学系１０１の光学伝達関数（ＯＴＦ）の特性に影響を与える場合があるので、この場合は画像回復フィルタを作成する際に光学フィルタの考慮が必要になる。 The imaging optical system 101 may include an optical filter such as a low-pass filter or an infrared cut filter. However, since the optical filter may affect the characteristics of the optical transfer function (OTF) of the imaging optical system 101, in this case, it is necessary to consider the optical filter when creating the image restoration filter.
撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。 The subject image formed on the image sensor 102 is converted into an electric signal by the image sensor 102. An analog output signal from the image sensor 102 is converted into a digital image signal by the A / D converter 103 and input to the image processing unit 104.
画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する。撮像素子１０２から画像処理部１０４のうちカラー入力画像を生成する部分までが撮像系に相当する。また、画像処理部１０４は、入力画像に対して実施例１にて説明した画像回復処理を行う画像処理装置として機能する部分（画像回復手段）を含む。 The image processing unit 104 generates a color input image by performing various processes on the input digital imaging signal. The part from the image sensor 102 to the part that generates the color input image in the image processing unit 104 corresponds to the imaging system. Further, the image processing unit 104 includes a portion (image recovery means) that functions as an image processing apparatus that performs the image recovery process described in the first embodiment on the input image.
画像処理部１０４は、撮像条件検知部１０７から、撮像光学系１０１の焦点距離、絞り値、撮影距離を含む撮像条件を取得する。撮像条件検知部１０７は、システムコントローラ１１０から撮像条件の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。 The image processing unit 104 acquires imaging conditions including the focal length, aperture value, and imaging distance of the imaging optical system 101 from the imaging condition detection unit 107. The imaging condition detection unit 107 may obtain information on imaging conditions from the system controller 110 or may be obtained from the imaging optical system control unit 106 that controls the imaging optical system 101.
そして、画像処理部１０４は、実施例１にて説明したように、撮像条件に応じた画像回復フィルタ（使用画像回復フィルタ）を記憶部１０８から選択したり生成したりする。画像回復フィルタは、実施例１にて説明したように、他の同機種の撮像装置にも共通して用いられる画像回復フィルタである。記憶部１０８は、実施例１にて説明した画像処理装置１０の内部メモリ１１に代わる記憶手段である。さらに、画像処理部１０４は、記憶部１０８から、この撮像装置の個別補正情報を読み出し、該個別補正情報から生成した補正フィルタを用いて使用画像回復フィルタを補正することで、補正画像回復フィルタを生成する。なお、撮像装置の出荷前に全ての画像回復フィルタの個別補正情報に応じた補正を行っておいてもよい。 Then, as described in the first embodiment, the image processing unit 104 selects or generates an image restoration filter (used image restoration filter) corresponding to the imaging condition from the storage unit 108. As described in the first embodiment, the image restoration filter is an image restoration filter that is also used in common with other imaging apparatuses of the same model. The storage unit 108 is a storage unit that replaces the internal memory 11 of the image processing apparatus 10 described in the first embodiment. Further, the image processing unit 104 reads out the individual correction information of the imaging device from the storage unit 108, and corrects the used image recovery filter using the correction filter generated from the individual correction information, so that the corrected image recovery filter is changed. Generate. Note that correction according to the individual correction information of all the image restoration filters may be performed before shipment of the imaging device.
画像処理部１０４は、補正画像回復フィルタを用いて、入力画像に対する画像回復処理を行う。そして、画像処理部１０４は、画像回復処理により得られた回復画像を、画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５に、回復画像を表示する。 The image processing unit 104 performs an image restoration process on the input image using the corrected image restoration filter. Then, the image processing unit 104 stores the recovered image obtained by the image recovery process in the image recording medium 109 in a predetermined format. Further, the restored image is displayed on the display unit 105.
本実施例によれば、画像処理部１０４での処理時間や記憶部１０８にて保持すべきデータ量の増大を抑制しつつ、該撮像装置の他の撮像装置に対する個体差を反映した良好な回復画像を得ることができる。 According to the present embodiment, it is possible to achieve a good recovery reflecting individual differences between the imaging device and other imaging devices while suppressing an increase in the processing time in the image processing unit 104 and the amount of data to be held in the storage unit 108. An image can be obtained.
本実施例では、実施例１にて説明した画像処理装置の機能を搭載した撮像装置について説明したが、これに代えて実施例２にて説明した画像処理装置の機能を搭載してもよい。この場合、画像処理部１０４は、撮像条件に応じた使用画像回復フィルタを用いて入力画像に対する画像回復処理を行い、これにより得られた回復画像を、記憶部１０８から読み出した個別補正情報から生成した補正フィルタを用いて補正する。 In this embodiment, the image pickup apparatus having the function of the image processing apparatus described in the first embodiment has been described. However, instead of this, the function of the image processing apparatus described in the second embodiment may be mounted. In this case, the image processing unit 104 performs image restoration processing on the input image using a use image restoration filter corresponding to the imaging condition, and generates a restored image obtained thereby from the individual correction information read from the storage unit 108. Correction is performed using the corrected filter.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
光学機器の個体差を反映した良好な回復画像が得られる画像処理装置を提供できる。 It is possible to provide an image processing apparatus capable of obtaining a good restored image reflecting individual differences of optical devices.
１０ 画像処理装置
１１ 内部メモリ
２１〜２３ 光学機器
DESCRIPTION OF SYMBOLS 10 Image processing apparatus 11 Internal memory 21-23 Optical apparatus
Claims (10)
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像処理方法であって、
前記特定光学機器に対応する前記補正情報を用いて前記画像回復フィルタを補正することにより補正画像回復フィルタを生成し、
前記補正画像回復フィルタを用いて前記画像に対する前記画像回復処理を行うことを特徴とする画像処理方法。 A common image restoration filter is prepared for a plurality of optical devices having different optical characteristics, and different correction information is prepared for each optical device according to the difference in the optical properties,
An image processing method for performing image recovery processing on an image generated by imaging using a specific optical device among the plurality of optical devices, using the image recovery filter and the correction information corresponding to the specific optical device Because
Generating a corrected image restoration filter by correcting the image restoration filter using the correction information corresponding to the specific optical instrument;
Image processing method comprising rows Ukoto the image restoration processing on the image using the corrected image restoration filter.
該位置ごとに用意された前記画像回復フィルタと、該位置ごとに異なる前記補正情報とを用いて前記画像回復処理を行うことを特徴とする請求項１に記載の画像処理方法。 Preparing the image restoration filter for each position in one image;
The image processing method according to claim 1, wherein the image restoration process is performed using the image restoration filter prepared for each position and the correction information different for each position.
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を取得し、前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像回復手段とを有し、
前記画像回復手段は、前記特定光学機器に対応する前記補正情報を用いて前記画像回復フィルタを補正することにより補正画像回復フィルタを生成し、前記補正画像回復フィルタを用いて前記画像に対する前記画像回復処理を行うことを特徴とする画像処理装置。 Storage means for holding a common image restoration filter for a plurality of optical devices having different optical characteristics;
Different correction information is acquired for each optical device according to the difference in the optical characteristics, and the image restoration filter and the image are generated for an image generated by imaging using a specific optical device among the plurality of optical devices. possess an image restoration means that performs image restoration processing using said correction information corresponding to a particular optical instruments,
The image restoration means generates a corrected image restoration filter by correcting the image restoration filter using the correction information corresponding to the specific optical apparatus, and uses the corrected image restoration filter to restore the image restoration for the image. An image processing apparatus that performs processing.
請求項８に記載の画像処理装置とを有することを特徴とする撮像装置。 An imaging system for performing imaging and generating an image;
An image pickup apparatus comprising the image processing apparatus according to claim 8.
互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意し、
前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意し、
前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像処理を実行させるコンピュータプログラムであって、
前記画像処理は、前記特定光学機器に対応する前記補正情報を用いて前記画像回復フィルタを補正することにより補正画像回復フィルタを生成し、前記補正画像回復フィルタを用いて前記画像に対する前記画像回復処理を行うことを特徴とする画像処理プログラム。 On the computer,
Providing a common image restoration filter to a plurality of optical devices whose optical characteristics are different from each other,
The prepared different correction information for each of the optical instrument according to differences in optical properties,
Image processing for performing image recovery processing on an image generated by imaging using a specific optical device among the plurality of optical devices, using the image recovery filter and the correction information corresponding to the specific optical device. What computer program der to be executed,
The image processing generates a corrected image restoration filter by correcting the image restoration filter using the correction information corresponding to the specific optical device, and the image restoration processing for the image using the correction image restoration filter image processing program and performs.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011104396A JP5425135B2 (en) | 2011-05-09 | 2011-05-09 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
| US13/467,098 US8861852B2 (en) | 2011-05-09 | 2012-05-09 | Image processing method for image restoration, image processing apparatus and image pickup apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011104396A JP5425135B2 (en) | 2011-05-09 | 2011-05-09 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012234484A JP2012234484A (en) | 2012-11-29 |
| JP5425135B2 true JP5425135B2 (en) | 2014-02-26 |
Family
ID=47434719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011104396A Expired - Fee Related JP5425135B2 (en) | 2011-05-09 | 2011-05-09 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5425135B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014202922A (en) * | 2013-04-05 | 2014-10-27 | キヤノン株式会社 | Imaging device and control method of the same |
| JP6221399B2 (en) * | 2013-06-21 | 2017-11-01 | 株式会社リコー | Imaging system, imaging optical system, and manufacturing method of imaging system |
| JP6253365B2 (en) * | 2013-11-22 | 2017-12-27 | キヤノン株式会社 | Image processing method, imaging apparatus, and image processing apparatus |
| JP7224980B2 (en) * | 2019-03-15 | 2023-02-20 | キヤノン株式会社 | Image processing device, image processing method, and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006129236A (en) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | Ringing eliminating device and computer readable recording medium with ringing elimination program recorded thereon |
| JP4730412B2 (en) * | 2008-08-12 | 2011-07-20 | ソニー株式会社 | Image processing apparatus and image processing method |
| JP5268533B2 (en) * | 2008-09-30 | 2013-08-21 | キヤノン株式会社 | Image processing method, image processing apparatus, imaging apparatus, and image processing program |
| JP2010177919A (en) * | 2009-01-28 | 2010-08-12 | Toshiba Corp | Image recording apparatus and manufacturing apparatus of the same |
-
2011
- 2011-05-09 JP JP2011104396A patent/JP5425135B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012234484A (en) | 2012-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5409589B2 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
| US9007482B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
| JP5959976B2 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
| JP5441652B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5546229B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5284537B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus using the same | |
| JP6525718B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP5264968B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and image processing program | |
| JP5791437B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2011123589A5 (en) | ||
| US10192296B2 (en) | Image pickup apparatus, camera system, and image processing apparatus that restore an image with a filter corresponding to an image pickup plane position | |
| JP2011124692A5 (en) | ||
| JP5344648B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2011215707A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| WO2011121763A1 (en) | Image processing apparatus and image capturing apparatus using same | |
| JP5425135B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5653464B2 (en) | Imaging apparatus, image processing apparatus, image processing method, image processing program, and storage medium | |
| US8861852B2 (en) | Image processing method for image restoration, image processing apparatus and image pickup apparatus | |
| JP6821526B2 (en) | Image processing method, image processing device, imaging device, and program | |
| JP5268533B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5425136B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5645981B2 (en) | Imaging apparatus, image processing apparatus, image processing method, image processing program, and storage medium | |
| JP5611439B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| WO2011121761A1 (en) | Image processing apparatus and image capturing apparatus using same | |
| JP2016092676A (en) | Image processing apparatus, imaging apparatus, camera system and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130618 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130618 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131126 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5425135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |