JP5541750B2 - Image processing apparatus, imaging apparatus, image processing method, and program - Google Patents
Image processing apparatus, imaging apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP5541750B2 JP5541750B2 JP2012223839A JP2012223839A JP5541750B2 JP 5541750 B2 JP5541750 B2 JP 5541750B2 JP 2012223839 A JP2012223839 A JP 2012223839A JP 2012223839 A JP2012223839 A JP 2012223839A JP 5541750 B2 JP5541750 B2 JP 5541750B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- transfer function
- optical system
- imaging
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 97
- 238000012545 processing Methods 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000003287 optical effect Effects 0.000 claims description 94
- 238000012546 transfer Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000006866 deterioration Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 206010067482 No adverse event Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに係り、特に撮像光学系による画像の劣化を高解像度かつ高品位に補正するものに関する。 The present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program, and more particularly to an apparatus that corrects image degradation caused by an imaging optical system with high resolution and high quality.
撮像光学系を介して撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光を１点に収束させることができず、微小な広がりを持つ。このような微小な広がりを持った分布を、点像強度分布関数（ＰＳＦ）と呼ぶ。このような撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。 A subject photographed via the imaging optical system cannot be focused at one point due to the influence of diffraction, aberration, etc. generated by the imaging optical system, and has a very small spread. A distribution having such a minute spread is called a point spread function (PSF). Due to the influence of such an imaging optical system, the captured image is formed by convolving the PSF with the subject image, and the image is blurred and the resolution is deteriorated.
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術が提案されている。特許文献１には、画像劣化を補正するためのフィルタ係数を保持して画像処理を行う方法が開示されている。 In recent years, it has become common to hold captured images as electronic data, and a technique for correcting image deterioration due to an optical system by image processing has been proposed. Patent Document 1 discloses a method for performing image processing while holding a filter coefficient for correcting image deterioration.
しかしながら、画像回復フィルタを用いたフィルタ処理による画像の劣化補正を行う場合、画像回復フィルタを作成するための光学伝達関数の情報（ＯＴＦ情報）を画素ごとに装置に保持しておく必要がある。しかしながら、ＯＴＦ情報は、撮像素子と撮像光学系のそれぞれの情報によって算出されるため、非常に膨大な量となり、装置の内部にそれらの全てを保持することは困難である。 However, when performing image degradation correction by filter processing using an image restoration filter, it is necessary to store information on the optical transfer function (OTF information) for creating the image restoration filter in the apparatus for each pixel. However, since the OTF information is calculated based on the information of the image sensor and the imaging optical system, the amount of the OTF information is very large, and it is difficult to hold all of them inside the apparatus.
そこで本発明は、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及び、プログラムを提供する。 Therefore, the present invention provides an image processing apparatus, an imaging apparatus, an image processing method, and a program that reduce the amount of data required for reconstructing the optical transfer function of the imaging optical system.
本発明の一側面としての画像処理装置は、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理装置であって、前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有する。 An image processing apparatus according to one aspect of the present invention is an image processing apparatus that corrects an image acquired via an imaging optical system and an imaging element, and includes a real part and an imaginary part of an optical transfer function of the imaging optical system. Each having a reconstruction unit that reconstructs an optical transfer function using coefficients obtained by approximating each with a predetermined function , and an image restoration processing unit that corrects an image using the reconstructed optical transfer function. .
本発明の他の側面としての撮像装置は、撮像光学系を介した被写体像を撮像する撮像素子と、前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有する。 An imaging apparatus according to another aspect of the present invention approximates an imaging element that captures a subject image via an imaging optical system, and a real part and an imaginary part of an optical transfer function of the imaging optical system by predetermined functions , respectively. A reconstructing unit that reconstructs an optical transfer function using the coefficient obtained by the above, and an image restoration processing unit that corrects an image using the reconstructed optical transfer function.
本発明の他の側面としての画像処理方法は、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理方法であって、前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを有する。 An image processing method according to another aspect of the present invention is an image processing method for correcting an image acquired via an imaging optical system and an imaging device, wherein the real part and the imaginary part of the optical transfer function of the imaging optical system are corrected. A reconstruction step of reconstructing an optical transfer function using a coefficient obtained by approximating each part with a predetermined function , and an image restoration processing step of correcting an image using the reconstructed optical transfer function Have.
本発明の他の側面としてのプログラムは、撮像光学系と撮像素子とを介して取得された画像を補正する画像処理プログラムであって、前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを情報処理装置に実行させる。
A program according to another aspect of the present invention is an image processing program for correcting an image acquired via an imaging optical system and an imaging element, and includes a real part and an imaginary part of an optical transfer function of the imaging optical system. A reconstruction step for reconstructing an optical transfer function using coefficients obtained by approximating each with a predetermined function , and an image restoration processing step for correcting an image using the reconstructed optical transfer function are processed. Let the device run.
本発明の他の目的及び特徴は、以下の実施例において説明される。 Other objects and features of the present invention are illustrated in the following examples.
本発明によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することができる。 According to the present invention, it is possible to provide an image processing device, an imaging device, an image processing method, and a program that reduce the amount of data required for reconstructing the optical transfer function of the imaging optical system.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、一般的な画像回復処理方法について説明する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, a general image restoration processing method will be described.
実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。 In real space (x, y), the image before being deteriorated by the optical system is f (x, y), the PSF (point image intensity distribution function) is h (x, y), and the deteriorated image is g (x , Y), these are expressed by the following equation (1).
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ… （１）
ここで、ｆ（ｘ，ｙ）は劣化を受ける前の画像、ｇ（ｘ，ｙ）は劣化した画像、ｈ（ｘ，ｙ）は点像強度分布関数（ＰＳＦ）である。前記の式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。
g (x, y) = ∫∫f (X, Y) * h (x−X, y−Y) dXdY (1)
Here, f (x, y) is an image before being deteriorated, g (x, y) is a deteriorated image, and h (x, y) is a point spread function (PSF). When Fourier transform is applied to the above equation (1) to convert from the real space (x, y) to the frequency space (u, v), the relationship of the following equation (2) is established.
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。
G (u, v) = F (u, v) * H (u, v) (2)
Here, F (u, v) is the Fourier transform of f (x, y), G (u, v) is the Fourier transform of g (x, y), and H (u, v) is h (x, y). Fourier transform of For this reason, the following formula | equation (3) is materialized.
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化をうける前の画像ｆ（ｘ，ｙ）を得ることができる。
F (u, v) = G (u, v) / H (u, v) (3)
Expression (3) is obtained by converting the Fourier transform G (u, v) of the degraded image g (x, y) to the Fourier transform H (u, v) of the point spread function h (x, y) on the frequency space. By dividing, it means that the Fourier transform F (u, v) of the image f (x, y) before being deteriorated is obtained. Therefore, if inverse Fourier transform is applied to F (u, v), an image f (x, y) before being deteriorated can be obtained.
しかしながら実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じたノイズが増幅し、良好な画像を得ることはできない。 However, in practice, if it is attempted to obtain an image before being deteriorated by performing such processing, noise generated by the imaging element is amplified, and a good image cannot be obtained.
そこで、ノイズ増幅を抑制するための画像回復手法として、以下の式（４）で表されるウィーナーフィルタを用いることが知られている。 Therefore, it is known to use a Wiener filter represented by the following formula (4) as an image restoration technique for suppressing noise amplification.
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜＾２／（｜Ｈ（ｕ，ｖ）｜＾２＋Γ） … （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ）であり、Γはノイズの増幅量を低減するための定数である。
1 / H (u, v) * | H (u, v) | ^ 2 / (| H (u, v) | ^ 2 + Γ) (4)
Here, H (u, v) is an optical transfer function (OTF), and Γ is a constant for reducing the amount of noise amplification.
上記の式（４）を、撮像光学系の周波数と位相情報を持つＯＴＦに積算すれば、光学系の回折や収差によって発生したＰＳＦの位相を０にし、周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。式（４）を効果的に用いるには、撮像光学系の正確なＯＴＦ情報を得る必要がある。ＯＴＦ情報を得る方法として、例えば撮像光学系の設計値情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことで求めることもできる。一般に、カメラに用いられる撮像光学系は、その光学性能（Ｆ値、収差等）が像高間で大きく変動する。このため、被写体画像の劣化を補正するには、上記の式（４）をそのままの形で周波数空間上での一括計算はできず、像高ごとに式（４）を実空間上のフィルタに変換して、劣化を補正する処理を行う。 If the above formula (4) is integrated into the OTF having the frequency and phase information of the imaging optical system, the phase of the PSF generated by the diffraction and aberration of the optical system is set to 0, and the frequency characteristics are amplified, thereby achieving high resolution. A good image can be obtained. In order to effectively use Expression (4), it is necessary to obtain accurate OTF information of the imaging optical system. As a method for obtaining OTF information, for example, if there is design value information of the imaging optical system, it can be obtained by calculation from that information. It can also be obtained by photographing a point light source and subjecting the intensity distribution to Fourier transform. In general, the optical performance (F value, aberration, etc.) of an imaging optical system used in a camera varies greatly between image heights. For this reason, in order to correct the deterioration of the subject image, the above equation (4) cannot be collectively calculated in the frequency space as it is, and the equation (4) is used as a filter in the real space for each image height. Conversion is performed to correct the deterioration.
撮像光学系により結像された光学像は、撮像素子により電気的にサンプリングされる。本来連続量である光学像が離散的な値に変換されるため、光学像は、周波数空間において、サンプリング周波数を周期にもつ周波数信号となる。この周期性により、周波数信号がサンプリング周波数の２分の１を超えて分布している場合、周波数信号が重なるため、正確な信号が再現できない。このサンプリング周波数の２分の１の値をナイキスト周波数という。ナイキスト周波数は、ｆｎ＝１／（２＊ｂ）（ただし、ｂは撮像素子の画素ピッチ）で表される。 The optical image formed by the imaging optical system is electrically sampled by the imaging element. Since an optical image that is originally a continuous amount is converted into a discrete value, the optical image becomes a frequency signal having a sampling frequency as a period in a frequency space. Due to this periodicity, when the frequency signal is distributed in excess of one half of the sampling frequency, the frequency signal overlaps, so that an accurate signal cannot be reproduced. The half value of this sampling frequency is called the Nyquist frequency. The Nyquist frequency is represented by fn = 1 / (2 * b) (where b is the pixel pitch of the image sensor).
撮像素子の直前における光学像の空間周波数特性は、撮像光学系のＯＴＦで表される。画像回復処理を行う場合、画像回復フィルタの１タップの大きさと撮像素子の１画素の大きさを一致させる必要があり、また、撮像素子の開口特性も反映させることが好ましい。前者はＯＴＦを撮像素子のナイキスト周波数を最大値とする空間周波数で切り出すことに相当し、後者は撮像素子によってＯＴＦにローパスフィルタがかかることに相当する。このため、画像回復フィルタの作成に用いられるＯＴＦ情報は、撮像光学系のみでは一意に決定されず、撮像素子に依存する。 The spatial frequency characteristic of the optical image immediately before the image pickup element is expressed by OTF of the image pickup optical system. When performing image restoration processing, it is necessary to make the size of one tap of the image restoration filter coincide with the size of one pixel of the image sensor, and it is preferable to reflect the aperture characteristics of the image sensor. The former corresponds to cutting out the OTF at a spatial frequency that maximizes the Nyquist frequency of the image sensor, and the latter corresponds to applying a low-pass filter to the OTF by the image sensor. For this reason, the OTF information used for creating the image restoration filter is not uniquely determined only by the imaging optical system, but depends on the imaging element.
まず、本発明の実施例１における画像処理装置について説明する。図１は、本実施例における画像処理装置の一例としての構成図である。本実施例の画像処理装置は、劣化した画像を補正する機能を有し、例えばコンピュータにインストールされ、以下の画像処理方法をコンピュータに実行させるプログラム（ソフトウエア）として構成される。 First, an image processing apparatus according to Embodiment 1 of the present invention will be described. FIG. 1 is a configuration diagram as an example of an image processing apparatus according to the present exemplary embodiment. The image processing apparatus according to this embodiment has a function of correcting a deteriorated image, and is configured as a program (software) that is installed in, for example, a computer and causes the computer to execute the following image processing method.
図１において、画像処理装置は、光学伝達関数（以下、「ＯＴＦ」ともいう。）を再構成するための係数を算出する係数算出装置１００（係数算出部）を有する。係数算出装置１００は、撮像光学系（撮像レンズ１１２）の設計値又は測定値からＯＴＦを算出する。また係数算出装置１００（次数決定部）は、ＯＴＦを係数（係数データ）に変換し、その精度（フィッティング処理の精度）に応じて後にＯＴＦの再構成に用いられる係数の次数を決定する。更に係数算出装置１００は、点像強度分布関数（以下、「ＰＳＦ」ともいう。）の空間的な分布の大きさから、後にＯＴＦを再現する際に必要なタップ数を決定する。係数算出装置１００は、種々の撮像光学系（撮像レンズ１１２）と撮像素子１１１の組み合わせについて、決定された次数までの係数とＯＴＦのタップ数とを算出し、画像回復処理装置１２０へ出力する。 In FIG. 1, the image processing apparatus includes a coefficient calculation apparatus 100 (coefficient calculation unit) that calculates coefficients for reconstructing an optical transfer function (hereinafter also referred to as “OTF”). The coefficient calculation apparatus 100 calculates the OTF from the design value or measurement value of the imaging optical system (imaging lens 112). Further, the coefficient calculation apparatus 100 (order determination unit) converts the OTF into a coefficient (coefficient data), and determines the order of the coefficient used later for OTF reconstruction according to the accuracy (accuracy of the fitting process). Furthermore, the coefficient calculation apparatus 100 determines the number of taps required for reproducing the OTF later from the size of the spatial distribution of the point spread function (hereinafter also referred to as “PSF”). The coefficient calculation device 100 calculates the coefficients up to the determined order and the number of taps of the OTF for the combination of various image pickup optical systems (image pickup lenses 112) and the image pickup device 111, and outputs them to the image restoration processing device 120.
カメラ１１０は、撮像素子１１１及び撮像レンズ１１２を有する。カメラ１１０は、撮像レンズ１１２で撮像された被写体画像に、撮像レンズ１１２を特定するＩＤ番号（レンズＩＤ）、撮影条件（絞り、ズーム、被写体距離等）、及び、撮像素子１１１による表現が可能な空間周波数のナイキスト周波数の値を付加して出力する。 The camera 110 includes an imaging element 111 and an imaging lens 112. The camera 110 can express the subject image captured by the imaging lens 112 using an ID number (lens ID) that identifies the imaging lens 112, imaging conditions (aperture, zoom, subject distance, etc.), and the imaging element 111. The value of the Nyquist frequency of the spatial frequency is added and output.
画像回復処理装置１２０は、係数算出装置１００及びカメラ１１０から出力された種々の情報を保持し、これらの情報を用いて撮像レンズ１１２を介して得られた被写体画像（劣化画像）を補正する。以下、画像回復処理装置１２０の内部構成について詳述する。画像回復情報保持部１２１は、係数算出装置１００により算出された種々の撮像レンズ１１２と撮像素子１１１との組み合わせのそれぞれについて、係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数を記録して保持する。このように、画像回復情報保持部１２１は、撮像レンズ１１２の種類及び撮影条件などに応じて、撮像レンズ１１２のＯＴＦを再構成するための係数データなどを保持するデータ保持部である。 The image restoration processing device 120 holds various information output from the coefficient calculation device 100 and the camera 110, and corrects the subject image (degraded image) obtained through the imaging lens 112 using the information. Hereinafter, the internal configuration of the image restoration processing apparatus 120 will be described in detail. The image restoration information holding unit 121 includes a coefficient (coefficient data), the number of taps, a lens ID, a shooting condition, and a Nyquist for each of the combinations of the various imaging lenses 112 and the imaging element 111 calculated by the coefficient calculation apparatus 100. Record and hold the frequency. As described above, the image restoration information holding unit 121 is a data holding unit that holds coefficient data or the like for reconfiguring the OTF of the imaging lens 112 in accordance with the type of the imaging lens 112 and the imaging conditions.
ＯＴＦ再構成部１２２（再構成部）は、カメラ１１０から撮像レンズ１１２のレンズＩＤ、撮影条件、及び、撮像素子１１１のナイキスト周波数を取得する。またＯＴＦ再構成部１２２は、撮影者が被写体画像の撮影に用いたカメラ１１０のレンズＩＤ及び撮影条件から、画像回復情報保持部１２１に保持されている係数及びタップ数のうち特定の係数及びタップ数を選択する。このようにＯＴＦ再構成部１２２は、各像高のＰＳＦの大きさ及び撮像素子１１１の画素ピッチに応じて、係数を用いて再構成されるＯＴＦのタップ数を決定するタップ数決定部である。なお、各像高のＰＳＦの大きさに応じていなくても、関数でフィッティングした係数を有することで、本実施例の効果を得ることができるが、各像高のＰＳＦの大きさに応じてタップ数を決定すると、余分な値を持たなくて良いためより好ましい。 The OTF reconstruction unit 122 (reconstruction unit) acquires the lens ID of the imaging lens 112, the imaging conditions, and the Nyquist frequency of the imaging element 111 from the camera 110. Further, the OTF reconstruction unit 122 uses a specific coefficient and tap among the coefficients and the number of taps held in the image recovery information holding unit 121 based on the lens ID of the camera 110 and the shooting conditions used by the photographer for shooting the subject image. Select a number. As described above, the OTF reconstruction unit 122 is a tap number determination unit that determines the number of OTF taps to be reconstructed using coefficients according to the size of the PSF of each image height and the pixel pitch of the image sensor 111. . Note that the effect of the present embodiment can be obtained by having a coefficient fitted with a function even if the PSF size does not correspond to the PSF size of each image height, but according to the PSF size of each image height. It is more preferable to determine the number of taps because it is not necessary to have an extra value.
またＯＴＦ再構成部１２２は、周波数空間において、撮像素子１１１のナイキスト周波数までをサンプリングし、選択された係数及びタップ数を用いてフィルタ処理部１２３で使用されるＯＴＦを再構成する。このようにＯＴＦ再構成部１２２は、撮像素子１１１のナイキスト周波数とタップ数とに応じて、ＯＴＦを再構成する。以下、ＯＴＦ再構成部１２２で作成されたＯＴＦを再構成ＯＴＦと称する場合がある。フィルタ処理部１２３は、ＯＴＦ再構成部１２２で作成された再構成ＯＴＦを用いて、撮影された被写体画像の劣化を補正するための画像回復フィルタを作成する。そして、この画像回復フィルタを用いて実空間上で被写体画像に対するフィルタ処理を行い、被写体画像を補正する。 The OTF reconstruction unit 122 samples up to the Nyquist frequency of the image sensor 111 in the frequency space, and reconstructs the OTF used by the filter processing unit 123 using the selected coefficient and the number of taps. As described above, the OTF reconstruction unit 122 reconfigures the OTF according to the Nyquist frequency and the number of taps of the image sensor 111. Hereinafter, the OTF created by the OTF reconstruction unit 122 may be referred to as a reconstruction OTF. The filter processing unit 123 uses the reconstructed OTF created by the OTF reconstructing unit 122 to create an image restoration filter for correcting deterioration of the captured subject image. Then, using this image restoration filter, a subject image is filtered in real space to correct the subject image.
次に、本実施例における係数算出方法について詳述する。本実施例では、撮像光学系（撮像レンズ１１２）のＯＴＦ（設計値又は測定値）を所定の関数へのフィッティング処理により近似することで、係数を作成する。フィッティング処理の際に用いられる関数として、本実施例ではＬｅｇｅｎｄｒｅ多項式が用いられる。ただし、本実施例はこれに限定されるものではなく、例えばＣｈｅｂｕｙｓｈｅｖ多項式などの他の式を用いてもよい。Ｌｅｇｅｎｄｒｅ多項式は、以下の式（５）のように表される。ここで、［ｘ］はｘを超えない最大の整数である。 Next, the coefficient calculation method in the present embodiment will be described in detail. In this embodiment, the coefficient is created by approximating the OTF (design value or measurement value) of the imaging optical system (imaging lens 112) by a fitting process to a predetermined function. In the present embodiment, a Legendre polynomial is used as a function used in the fitting process. However, the present embodiment is not limited to this, and other formulas such as Chebyshev polynomials may be used. The Legendre polynomial is expressed as the following equation (5). Here, [x] is a maximum integer not exceeding x.
ＯＴＦはｚ＝ｆ（ｘ，ｙ）の形で表されるため、本実施例では以下の式（６）中の係数ａｉｊを算出する必要がある。 Since OTF is expressed in the form of z = f (x, y), in this embodiment, it is necessary to calculate the coefficient a ij in the following equation (6).
上記の式（６）は直交関数であり、係数ａｉｊの値はフィッティング処理の際の次数に依存しないで決定される。このように、撮像光学系のＯＴＦを所定の関数へのフィッティング処理により近似し、係数を作成することで、必要なデータの記憶量を低減させることができる。式（６）の直交関数の性質を利用することにより、ＯＴＦのフィッティング処理が低次数でも十分高精度に実行可能な場合、この次数で打ち切ることができ、装置内に保持すべき係数の情報量をより抑えることが可能となる。 The above equation (6) is an orthogonal function, and the value of the coefficient a ij is determined without depending on the order in the fitting process. In this way, by approximating the OTF of the imaging optical system by a fitting process to a predetermined function and creating a coefficient, it is possible to reduce the storage amount of necessary data. By utilizing the property of the orthogonal function of Equation (6), if the OTF fitting process can be executed with sufficiently high accuracy even at a low order, the order can be terminated at this order, and the information amount of the coefficient to be held in the apparatus Can be further suppressed.
図２は、係数算出装置１００による係数算出方法を示す図であり、上記の式（５）、（６）を用いて光学伝達関数（ＯＴＦ）のフィッティング処理を行う具体的な方法を示している。図２において、ｆｕｍ、ｆｖｍはそれぞれ、ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数である。また、Ｎｘ、Ｎｙはそれぞれ、ＯＴＦのｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向の奇数のタップ数である。係数算出装置１００では、ＯＴＦの実部及び虚部のそれぞれに対して、フィッティング処理により係数を算出する。 FIG. 2 is a diagram illustrating a coefficient calculation method performed by the coefficient calculation apparatus 100, and illustrates a specific method for performing an optical transfer function (OTF) fitting process using the equations (5) and (6). . In FIG. 2, fum and fvm are the Nyquist frequencies in the OTF meridional and sagittal directions, respectively. Nx and Ny are odd tap numbers in the OTF meridional and sagittal directions, respectively. In the coefficient calculation apparatus 100, coefficients are calculated by fitting processing for each of the real part and the imaginary part of the OTF.
ＯＴＦの実部は、ｍｅｒｉｄｉｏｎａｌ方向とｓａｇｉｔｔａｌ方向のそれぞれにおいて対称である。ＯＴＦの虚部は、ｍｅｒｉｄｉｏｎａｌ方向において正負逆ではあるが対称であり、ｓａｇｉｔｔａｌ方向において対称である。このような対称性により、フィッティング対象のＯＴＦのデータとしては、定義域全体の少なくとも１／４の領域などの対称性を有する領域の情報があれば十分である。本実施例では、このような理由により、ＯＴＦから実部及び虚部ともに定義域全体の１／４の領域を対象として、ＤＣ成分が含まれるように切り出してＯＴＦの高精度なフィッティング処理を行う。
本実施例では、ＯＴＦデータがＮｘ（行）×Ｎｙ（列）タップの場合の例を示しており、このＯＴＦデータから、１〜［Ｎｘ／２］＋１行、１〜［Ｎｙ／２］＋１列のデータを切り出しているが、特にこれに限定されるものではない。
The real part of the OTF is symmetric in each of the meridional direction and the sagittal direction. The imaginary part of the OTF is symmetrical in the meridional direction, although it is positive and negative, and is symmetric in the sagittal direction. Due to such symmetry, it is sufficient for the OTF data to be fitted to have information on areas having symmetry, such as at least a quarter of the entire definition area. In the present embodiment, for such a reason, the OTF high-precision fitting process is performed by cutting out the real part and the imaginary part from the OTF so that the DC component is included in a quarter of the entire domain. .
In this embodiment, an example in which the OTF data is Nx (row) × Ny (column) tap is shown. From this OTF data, 1 to [Nx / 2] +1 row, 1 to [Ny / 2] +1 Although the data of the column is cut out, it is not particularly limited to this.
図３は、係数算出装置１００の出力データの一例であり、上記の係数算出方法で算出された係数を示している。図３に示されるように、本実施例では、像高（像高１〜１０）ごとに、ＯＴＦの実部及び虚部の係数をｘｙともに１０次まで算出している。像高ごとの係数を一まとめにし、更にレンズＩＤ、絞り、ズーム、及び、被写体距離の情報を付加することで、１つの係数データが完成する。本実施例では一例として、レンズＩＤ：Ｎｏ１２３、絞り：Ｆ２．８、ズーム：ＷＩＤＥ、被写体距離：至近、の各条件における１０像高分の係数が示されている。また、このように作成した係数を次数別に像高ごとに関数化してもよい。係数算出装置１００は、このような情報を全てのレンズＩＤ、絞り、ズーム、及び、被写体距離の組み合わせに対して作成して出力する。 FIG. 3 is an example of output data of the coefficient calculation apparatus 100, and shows the coefficients calculated by the coefficient calculation method described above. As shown in FIG. 3, in this embodiment, the coefficients of the real part and the imaginary part of the OTF are calculated up to the 10th order for each image height (image heights 1 to 10). Coefficients for each image height are grouped together, and further information on lens ID, aperture, zoom, and subject distance is added to complete one coefficient data. In this embodiment, as an example, coefficients for 10 image heights are shown for each of the following conditions: lens ID: No123, aperture: F2.8, zoom: WIDE, subject distance: close. Further, the coefficient thus created may be converted into a function for each image height according to the order. The coefficient calculation apparatus 100 creates and outputs such information for all combinations of lens IDs, apertures, zooms, and subject distances.
続いて、本実施例における再構成ＯＴＦのタップ数決定方法について詳述する。画像にフィルタ処理を行う際、処理時間はそのフィルタのタップ数に大きく依存する。このため、フィルタ処理を行う際に所望の画像劣化補正効果が得られ、リンギング等の弊害が生じなければ、フィルタタップ数は小さいほうがより好ましい。 Subsequently, a method for determining the number of taps of the reconfiguration OTF in the present embodiment will be described in detail. When filtering an image, the processing time greatly depends on the number of taps of the filter. For this reason, it is more preferable that the number of filter taps is smaller as long as a desired image deterioration correction effect is obtained when the filter processing is performed and no adverse effects such as ringing occur.
劣化画像の補正に用いられる画像回復フィルタは、実空間上のフィルタである。従って、実空間上でフィルタに必要なタップ数を決定すればよい。画像回復フィルタは、点像強度分布関数（ＰＳＦ）による画像の劣化を補正するフィルタであるから、ＰＳＦが実空間上で分布している領域と同程度の領域を確保できればよい。すなわち、画像回復フィルタに必要なタップ数は、実空間上におけるＰＳＦ分布領域のタップ数である。実空間と周波数空間は互いに逆数の関係にあるため、実空間で決定されたタップ数を周波数空間で用いることができる。 An image restoration filter used for correcting a deteriorated image is a filter in real space. Therefore, the number of taps necessary for the filter in real space may be determined. Since the image restoration filter is a filter that corrects image degradation due to the point spread function (PSF), it is only necessary to secure an area equivalent to the area where the PSF is distributed in real space. That is, the number of taps necessary for the image restoration filter is the number of taps in the PSF distribution region in the real space. Since the real space and the frequency space are reciprocal, the number of taps determined in the real space can be used in the frequency space.
これについて、図４及び図５を参照して詳述する。図４は、タップ数をＰＳＦの空間分布に比べて十分大きい領域でとった場合を示している。図５は、図４と同じＰＳＦに対して、タップ数をＰＳＦの空間分布と略同一の領域でとった場合を示している。図４において、実空間でのタップ数は周波数空間での最小周波数ピッチに対応している。一方、図５のように実空間のタップ数を小さくすることは、周波数空間を粗くサンプリングすることを意味し、最小周波数ピッチが大きくなることを示している。このとき、周波数空間でのナイキスト周波数の値は変化しない。このため、実空間上でＰＳＦの空間分布を削ってしまうほどタップ数を少なくすると、画像回復処理の際にリンキング等の上記弊害が発生しやすくなる。従って、フィルタタップ数は、ＰＳＦの空間分布と略同一の領域サイズに決定することが望ましい。 This will be described in detail with reference to FIGS. FIG. 4 shows a case where the number of taps is taken in a sufficiently large area compared to the spatial distribution of PSF. FIG. 5 shows a case where the number of taps is taken in a region substantially the same as the spatial distribution of the PSF with respect to the same PSF as in FIG. In FIG. 4, the number of taps in the real space corresponds to the minimum frequency pitch in the frequency space. On the other hand, reducing the number of taps in the real space as shown in FIG. 5 means that the frequency space is roughly sampled, and the minimum frequency pitch is increased. At this time, the value of the Nyquist frequency in the frequency space does not change. For this reason, if the number of taps is reduced so that the spatial distribution of the PSF in the real space is deleted, the above-described adverse effects such as linking are likely to occur during the image restoration process. Therefore, it is desirable to determine the number of filter taps to be approximately the same region size as the PSF spatial distribution.
画像回復情報保持部１２１には、係数算出装置１００から出力された係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数が記憶される。ＯＴＦ再構成部１２２は、カメラ１１０からレンズＩＤ、撮影条件、及び、ナイキスト周波数を取得する。続いて、ＯＴＦ再構成部１２２は、画像回復情報保持部１２１から、選択されたタップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数の各情報を読み出し、これらの情報を用いて画像回復フィルタの作成に用いられる再構成ＯＴＦを作成する。 The image restoration information holding unit 121 stores a coefficient (coefficient data) output from the coefficient calculation apparatus 100, the number of taps, a lens ID, an imaging condition, and a Nyquist frequency. The OTF reconstruction unit 122 acquires the lens ID, the shooting condition, and the Nyquist frequency from the camera 110. Subsequently, the OTF reconstruction unit 122 reads the selected number of taps, lens ID, imaging condition, and Nyquist frequency information from the image recovery information holding unit 121, and uses these pieces of information to read the image recovery filter. A reconstructed OTF used for creation is created.
次に、図６を参照して、ＯＴＦ再構成部１２２による再構成ＯＴＦの作成方法について詳述する。再構成ＯＴＦの作成に必要なｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のナイキスト周波数を、それぞれｆｕｃ＿ｒｍ、ｆｖｃ＿ｉｍとする。また、ｍｅｒｉｄｉｏｎａｌ、ｓａｇｉｔｔａｌ方向のタップ数を、それぞれＭｘ、Ｍｙとする。ここで、ナイキスト周波数ｆｕｍ，ｆｖｍに対して、０＜ｆｕｍ＿ｎ≦ｆｕｍ、０＜ｆｖｍ＿ｎ≦ｆｖｍ、０＜Ｍｘ≦Ｎｘ、０＜Ｍｙ≦Ｎｙが成立し、タップ数Ｍｘ、Ｍｙは奇数である。 Next, with reference to FIG. 6, a method for creating a reconstructed OTF by the OTF reconstructing unit 122 will be described in detail. The meridional and sagittal Nyquist frequencies necessary for creating the reconstructed OTF are assumed to be fuc_rm and fvc_im, respectively. In addition, the tap numbers in the meridional and sagittal directions are Mx and My, respectively. Here, 0 <fum_n ≦ fum, 0 <fvm_n ≦ fvm, 0 <Mx ≦ Nx, and 0 <My ≦ Ny are established with respect to the Nyquist frequencies fum and fvm, and the tap numbers Mx and My are odd numbers.
ここで、前記の式（１）、（２）中のｘ、ｙをｕ、ｍに置き換え、−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦１、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦１の領域を［Ｍｘ／２］＋１、［Ｍｙ／２］＋１タップでサンプリングする。そして前記係数を式（２）に代入すると、再構成ＯＴＦの１／４の領域が作成される。このような手順は、再構成ＯＴＦの実部（１２２−１−１）及び虚部（１２２−２−１）の両方について同様に行われる。本実施例では、実部及び虚部ともに、定義域全体の１／４の領域の再構成ＯＴＦから、定義域−ｆｕｍ＿ｎ／ｆｕｍ≦ｕ≦ｆｕｍ＿ｎ／ｆｕｍ、−ｆｖｍ＿ｎ／ｆｖｍ≦ｖ≦ｆｖｍ＿ｎ／ｆｖｍ、タップ数Ｍｘ、Ｍｙである再構成ＯＴＦの作成方法について説明する。 Here, x and y in the above formulas (1) and (2) are replaced with u and m, and a region of −fum_n / fum ≦ u ≦ 1 and −fvm_n / fvm ≦ v ≦ 1 is set to [Mx / 2]. Sampling is performed with +1 and [My / 2] +1 taps. Then, when the coefficient is substituted into Equation (2), a quarter region of the reconstructed OTF is created. Such a procedure is similarly performed for both the real part (122-1-1) and the imaginary part (122-2-1) of the reconstructed OTF. In the present embodiment, both the real part and the imaginary part are obtained from the reconstructed OTF of a quarter of the entire domain, from the domain -fum_n / fum≤u≤fum_n / fum, -fvm_n / fvm≤v≤fvm_n / fvm A method of creating a reconstructed OTF having the tap numbers Mx and My will be described.
まず、再構成ＯＴＦの実部の作成方法について説明する。再構成ＯＴＦの実部（１２２−１−１）を用いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域と、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に分離する。続いて、１〜［Ｍｘ／２］＋１行、１〜［Ｍｙ／２］列の領域の数値データを、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋１列の領域に対して線対称になるように、１〜［Ｍｘ／２］＋１行、［Ｍｙ／２］＋２〜Ｍｙ列の領域に代入する（実部（１２２−１−２））。
更に、実部（１２２−１−２）で作成された１／２領域の再構成ＯＴＦを、１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域と、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に分離する（実部（１２２−１−３））。前記１〜［Ｍｘ／２］行、１〜Ｍｙ列の領域の数値データを、［Ｍｘ／２］＋１行、１〜Ｍｙ列の領域に対して線対称になるように［Ｍｘ／２］＋２行、１〜Ｍｙ列の領域に代入する。
First, a method for creating a real part of the reconstructed OTF will be described. Using the real part (122-1-1) of the reconstructed OTF, an area of 1 to [Mx / 2] +1 row, 1 to [My / 2] column, and 1 to [Mx / 2] +1 row, [ My / 2] +1 areas are separated. Subsequently, the numerical data in the region of 1 to [Mx / 2] +1 row and 1 to [My / 2] column is transferred to the region of 1 to [Mx / 2] +1 row and [My / 2] +1 column. Substitution is made in the region of 1 to [Mx / 2] +1 rows and [My / 2] +2 to My columns so as to be line symmetric (real part (122-1-2)).
Further, the reconstructed OTF of the ½ region created by the real part (122-1-2) is represented by 1 to [Mx / 2] rows, 1 to My column regions, and [Mx / 2] +1 rows. 1 to My column area (real part (122-1-3)). [Mx / 2] +2 so that the numerical data of the 1 to [Mx / 2] row and 1 to My column regions are line-symmetric with respect to the [Mx / 2] +1 row and 1 to My column regions. Substitute into the region of row, 1-My column.
次に、再構成ＯＴＦの虚部の作成方法について説明する。虚部（１２２−２−２）については実部（１２２−１−２）と同様の方法で作成することができる。また、虚部（１２２−２−３）については、正負を入れ替えて代入する必要がある。上述のような作成方法が可能なのは、ＯＴＦの特徴によるものである。 Next, a method for creating an imaginary part of the reconstructed OTF will be described. The imaginary part (122-2-2) can be created in the same manner as the real part (122-1-2). Moreover, about an imaginary part (122-2-3), it is necessary to replace positive / negative and substitute. The creation method described above is possible because of the characteristics of OTF.
図７は、ＯＴＦ再構成部１２２の再構成ＯＴＦパラメータを示しており、再構成ＯＴＦのナイキスト周波数とタップ数の関係図（再構成ＯＴＦの断面図）である。前述のように、ナイキスト周波数は、撮像素子１１１の空間分解能から決定されるカメラボディ（カメラ１１０）に依存したパラメータである。またタップ数は、撮像レンズ１１２のＰＳＦに依存したパラメータである。これら２つのパラメータと前記係数より、所望の再構成ＯＴＦが作成される。図７において、ナイキスト周波数についてはｆ＿ｎｙｑ１＞ｆ＿ｎｙｑ２が成立し、タップ数についてはＮ＞Ｍ１＞Ｍ２が成立する。本実施例では、図７に示されるように、ナイキスト周波数とタップ数とを所望の値に制御することが可能である。 FIG. 7 shows the reconstruction OTF parameter of the OTF reconstruction unit 122, and is a relationship diagram (cross-sectional view of the reconstruction OTF) between the Nyquist frequency and the number of taps of the reconstruction OTF. As described above, the Nyquist frequency is a parameter depending on the camera body (camera 110) determined from the spatial resolution of the image sensor 111. The number of taps is a parameter depending on the PSF of the imaging lens 112. From these two parameters and the coefficients, a desired reconstruction OTF is created. In FIG. 7, f_nyq1> f_nyq2 holds for the Nyquist frequency, and N> M1> M2 holds for the number of taps. In this embodiment, as shown in FIG. 7, the Nyquist frequency and the number of taps can be controlled to desired values.
以上の方法により、被写体画像の劣化を補正するための画像処理を行った場合の一例を以下に示す。図８Ａは、ＯＴＦ再構成部１２２の再構成ＯＴＦデータの実部を示し、図８Ｂは再構成ＯＴＦデータの虚部を示す図である。図８Ａ、図８Ｂにおいて、２０１はナイキスト周波数２３８ｌｉｎｅｓ／ｍｍ、一辺のタップ数１９３において、撮像光学系の設計値情報から計算したＯＴＦを用いて、Ｌｅｇｅｎｄｒｅ多項式の１０次係数から作成した再構成ＯＴＦである。２０２、２０３は、ナイキスト周波数を変化させずタップ数のみを変化させた場合の再構成ＯＴＦである。２０４は、ナイキスト周波数とタップ数を同時に変化させた再構成ＯＴＦである。このように本実施例では、ナイキスト周波数やタップ数を制御可能である。このため、撮像レンズ１１２とカメラボディとの組み合わせが変わった場合でも、保持データを増加させることなく対応可能である。 An example of performing image processing for correcting deterioration of a subject image by the above method is shown below. FIG. 8A shows the real part of the reconstructed OTF data of the OTF reconstructing unit 122, and FIG. 8B shows the imaginary part of the reconstructed OTF data. 8A and 8B, 201 is a reconstructed OTF created from the 10th-order coefficient of the Legendre polynomial, using the OTF calculated from the design value information of the imaging optical system at a Nyquist frequency of 238 lines / mm and the number of taps on one side of 193. is there. Reference numerals 202 and 203 denote reconstructed OTFs when only the number of taps is changed without changing the Nyquist frequency. Reference numeral 204 denotes a reconstructed OTF in which the Nyquist frequency and the number of taps are changed simultaneously. Thus, in this embodiment, the Nyquist frequency and the number of taps can be controlled. For this reason, even when the combination of the imaging lens 112 and the camera body is changed, it is possible to cope without increasing the holding data.
図９は、本実施例において、タップ数とＰＳＦデータの関係を示す図である。図９は、図８Ａ、図８Ｂに対応するＰＳＦであり、図８Ａ、図８Ｂに対応してナイキスト周波数とタップ数が変化する。また、タップ数はＰＳＦの空間分布を削り取っていないため、後の画像回復フィルタによる被写体画像の劣化補正処理で所望の効果を得ることができる。 FIG. 9 is a diagram illustrating the relationship between the number of taps and PSF data in the present embodiment. FIG. 9 is a PSF corresponding to FIGS. 8A and 8B, and the Nyquist frequency and the number of taps change corresponding to FIGS. 8A and 8B. Further, since the number of taps does not remove the spatial distribution of the PSF, a desired effect can be obtained by subjecting the subject image to the deterioration correction processing by the image restoration filter later.
図１０は、本実施例における画像回復フィルタの概念図である。画像回復フィルタは、図１０の上段に示される形式の実空間の２次元データであり、そのタップ数は空間周波数上の情報であるＯＴＦのタップ数と等しい。図１１は、画像回復フィルタにより補正された被写体画像を示す。図１１は、図８Ａ、図８Ｂに示される係数再現ＯＴＦから作成した画像回復フィルタにより補正された被写体画像の一例である。図１１からわかるように、撮像レンズ１１２により劣化した被写体画像が高解像度かつ高品位に補正されている。 FIG. 10 is a conceptual diagram of an image restoration filter in the present embodiment. The image restoration filter is real space two-dimensional data in the form shown in the upper part of FIG. 10, and the number of taps is equal to the number of taps of OTF, which is information on the spatial frequency. FIG. 11 shows the subject image corrected by the image restoration filter. FIG. 11 is an example of a subject image corrected by the image restoration filter created from the coefficient reproduction OTF shown in FIGS. 8A and 8B. As can be seen from FIG. 11, the subject image deteriorated by the imaging lens 112 is corrected to high resolution and high quality.
本実施例によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた画像処理装置を提供することができる。 According to the present embodiment, it is possible to provide an image processing apparatus in which the storage amount of data necessary for the reconstruction of the optical transfer function of the imaging optical system is reduced.
次に、図１２を参照して、本発明の実施例２について説明する。図１２は、本実施例における撮像装置の構成図である。実施例１では、画像処理装置は撮像装置とは別の装置（例えばパソコン）に画像処理方法を実行するためのプログラムをインストールして用いられるが、本実施例では、画像処理装置が撮像装置に含まれている。 Next, Embodiment 2 of the present invention will be described with reference to FIG. FIG. 12 is a configuration diagram of the imaging apparatus in the present embodiment. In the first embodiment, the image processing apparatus is used by installing a program for executing the image processing method in an apparatus (for example, a personal computer) different from the imaging apparatus. In the present embodiment, the image processing apparatus is installed in the imaging apparatus. include.
撮像装置４００には、絞り４０１ａ及びフォーカスレンズ４０１ｂを備えた撮像光学系４０１（レンズ）が交換可能に装着される。ただし本実施例はこれに限定さえるものではなく、撮像光学系が一体化された撮像装置にも適用可能である。撮像光学系４０１を介して得られた被写体画像は、撮像素子４０２により光電変換が行われてアナログ信号に変換され、Ａ／Ｄ変換器４０３によりデジタル信号に変換される。画像処理部４０４は、このデジタル信号に対して、状態検知部４０７及び記憶部４０８の各情報を用いて所定の画像処理を行う。システムコントローラ４１０は、画像処理部４０４、表示部４０５、撮像光学系制御部４０６、状態検知部４０７、及び、画像記録媒体４０９の各部を制御する。撮像光学系制御部４０６は撮像光学系４０１の動作を制御し、状態検知部４０７は撮像光学系制御部４０６の情報から撮像光学系４０１の状態を検知する。 An imaging optical system 401 (lens) including a diaphragm 401a and a focus lens 401b is attached to the imaging apparatus 400 in a replaceable manner. However, the present embodiment is not limited to this, and can also be applied to an imaging apparatus in which an imaging optical system is integrated. A subject image obtained via the imaging optical system 401 is photoelectrically converted by the imaging element 402 to be converted into an analog signal, and converted into a digital signal by the A / D converter 403. The image processing unit 404 performs predetermined image processing on the digital signal using each information of the state detection unit 407 and the storage unit 408. The system controller 410 controls the image processing unit 404, the display unit 405, the imaging optical system control unit 406, the state detection unit 407, and the image recording medium 409. The imaging optical system control unit 406 controls the operation of the imaging optical system 401, and the state detection unit 407 detects the state of the imaging optical system 401 from information of the imaging optical system control unit 406.
画像処理部４０４は、本実施例における画像処理装置を備えており、撮像光学系４０１の光学伝達関数（ＯＴＦ）を再構成して被写体画像を補正する機能を有する。記憶部４０８は、係数算出装置で算出された再構成ＯＴＦを作成するための係数（係数データ）、タップ数、レンズＩＤ、撮影条件、及び、ナイキスト周波数に関する情報を保持している。画像処理部４０４は、撮像光学系４０１と撮像素子４０２から得られた情報を記憶部４０８に記憶された情報と照合して、画像回復フィルタの作成に必要な情報を読み出し、画像回復フィルタを作成する。また画像処理部４０４は、作成された画像回復フィルタを用いて、画像記録媒体４０９に記録されている被写体画像を補正する。補正された被写体画像は、表示部４０５において表示される。本実施例における画像処理方法の詳細は、実施例１と同様であるため省略する。本実施例によれば、撮像光学系の光学伝達関数の再構成に必要なデータの記憶量を低減させた撮像装置（画像処理装置）を提供することができる。 The image processing unit 404 includes the image processing apparatus according to the present embodiment, and has a function of correcting the subject image by reconstructing the optical transfer function (OTF) of the imaging optical system 401. The storage unit 408 holds information on the coefficient (coefficient data) for creating the reconstructed OTF calculated by the coefficient calculation device, the number of taps, the lens ID, the imaging condition, and the Nyquist frequency. The image processing unit 404 collates information obtained from the imaging optical system 401 and the imaging element 402 with information stored in the storage unit 408, reads information necessary for creating an image restoration filter, and creates an image restoration filter. To do. The image processing unit 404 corrects the subject image recorded on the image recording medium 409 using the created image restoration filter. The corrected subject image is displayed on the display unit 405. The details of the image processing method in the present embodiment are the same as those in the first embodiment, and will be omitted. According to the present embodiment, it is possible to provide an imaging apparatus (image processing apparatus) in which the storage amount of data necessary for reconstruction of the optical transfer function of the imaging optical system is reduced.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１１１ 撮像素子
１１２ 撮像レンズ
１２１ 画像回復情報保持部
１２２ ＯＴＦ再構成部
111 Image sensor 112 Imaging lens 121 Image recovery information holding unit 122 OTF reconstruction unit
Claims (11)
前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする画像処理装置。 An image processing apparatus for correcting an image acquired via an imaging optical system and an imaging element,
A reconstruction unit which reconstructs the optical transfer function using the coefficients obtained by approximating the respective predetermined function of the real and imaginary parts of the optical transfer function of the imaging optical system,
An image processing apparatus comprising: an image restoration processing unit that corrects an image using the reconstructed optical transfer function.
前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成部と、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理部を有することを特徴とする撮像装置。 An image sensor that captures a subject image via an imaging optical system;
A reconstruction unit which reconstructs the optical transfer function using the coefficients obtained by approximating the respective predetermined function of the real and imaginary parts of the optical transfer function of the imaging optical system,
An image pickup apparatus comprising: an image restoration processing unit that corrects an image using the reconstructed optical transfer function.
前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを有することを特徴とする画像処理方法。 An image processing method for correcting an image acquired via an imaging optical system and an imaging element,
A reconstruction step of reconstructing the optical transfer function using the coefficients obtained by approximating the respective predetermined function of the real and imaginary parts of the optical transfer function of the imaging optical system,
An image processing method comprising: an image restoration processing step of correcting an image using the reconstructed optical transfer function.
前記撮像光学系の光学伝達関数の実部と虚部をそれぞれ所定の関数で近似することにより得られた係数を用いて光学伝達関数を再構成する再構成ステップと、
前記再構成された光学伝達関数を用いて画像を補正する画像回復処理ステップを情報処理装置に実行させることを特徴とする画像処理プログラム。 An image processing program for correcting an image acquired via an imaging optical system and an imaging element,
A reconstruction step of reconstructing the optical transfer function using the coefficients obtained by approximating the respective predetermined function of the real and imaginary parts of the optical transfer function of the imaging optical system,
An image processing program causing an information processing apparatus to execute an image restoration processing step of correcting an image using the reconstructed optical transfer function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012223839A JP5541750B2 (en) | 2012-10-09 | 2012-10-09 | Image processing apparatus, imaging apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012223839A JP5541750B2 (en) | 2012-10-09 | 2012-10-09 | Image processing apparatus, imaging apparatus, image processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010216320A Division JP5153846B2 (en) | 2010-09-28 | 2010-09-28 | Image processing apparatus, imaging apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013033496A JP2013033496A (en) | 2013-02-14 |
| JP5541750B2 true JP5541750B2 (en) | 2014-07-09 |
Family
ID=47789285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012223839A Active JP5541750B2 (en) | 2012-10-09 | 2012-10-09 | Image processing apparatus, imaging apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5541750B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308592B2 (en) | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9990698B2 (en) | 2014-12-01 | 2018-06-05 | Canon Kabushiki Kaisha | Control apparatus, lens apparatus, and non-transitory computer-readable storage medium that determine data as coefficient data corresponding to an order less than a predetermined order of an approximation function |
| JP6448526B2 (en) * | 2015-12-02 | 2019-01-09 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and image processing program |
| JP2017123532A (en) * | 2016-01-06 | 2017-07-13 | キヤノン株式会社 | Image processing device, imaging device, image processing method, image processing program and recording medium |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH096959A (en) * | 1995-06-21 | 1997-01-10 | Dainippon Printing Co Ltd | Spatial frequency characteristic setting method and setting method for digital filter |
| JPH10200710A (en) * | 1997-01-13 | 1998-07-31 | Konica Corp | Image processing unit |
| JPH11272866A (en) * | 1998-03-23 | 1999-10-08 | Olympus Optical Co Ltd | Image restoring method |
| JP2000004363A (en) * | 1998-06-17 | 2000-01-07 | Olympus Optical Co Ltd | Image restoring method |
| JP2002024816A (en) * | 2000-07-07 | 2002-01-25 | Yokogawa Electric Corp | Image processing method and image processing device using the same |
| GB0110748D0 (en) * | 2001-05-02 | 2001-06-27 | Apical Ltd | Image enhancement methods and apparatus therefor |
| JP4684702B2 (en) * | 2005-03-25 | 2011-05-18 | 株式会社トプコン | Eye optical characteristic measuring method and eye optical characteristic measuring apparatus |
| JP4712631B2 (en) * | 2005-07-28 | 2011-06-29 | 京セラ株式会社 | Imaging device |
| JP2008167336A (en) * | 2006-12-29 | 2008-07-17 | Seiko Epson Corp | Apparatus, method, and program for restoring image |
| JP5060967B2 (en) * | 2008-01-09 | 2012-10-31 | ライトロン株式会社 | Apparatus, method, and program for restoring degraded image |
-
2012
- 2012-10-09 JP JP2012223839A patent/JP5541750B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308592B2 (en) | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013033496A (en) | 2013-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5153846B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP5414752B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5274623B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| US9747672B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP5535053B2 (en) | Image processing apparatus and image processing method | |
| JP5615393B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2013051599A5 (en) | ||
| JP5541750B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6071860B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5451704B2 (en) | Image processing apparatus, image processing method, program, and image processing system | |
| JP5730036B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program. | |
| JP6573386B2 (en) | Control device, lens device, image processing system, control method, image processing method, program, and storage medium | |
| JP2007048257A (en) | Signal processor | |
| JP6537228B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2010177919A (en) | Image recording apparatus and manufacturing apparatus of the same | |
| JP2010177918A (en) | Image recording apparatus and manufacturing apparatus of the same | |
| JP5611439B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2016119532A (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP6385206B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2018088587A (en) | Image processing method and image processing apparatus | |
| JP2017028583A (en) | Image processor, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2017123532A (en) | Image processing device, imaging device, image processing method, image processing program and recording medium | |
| JP2015231193A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
| JP6555881B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2018107541A (en) | Image processing apparatus, imaging device, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140430 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5541750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |