JP5409588B2 - Focus adjustment method, focus adjustment program, and imaging apparatus - Google Patents
Focus adjustment method, focus adjustment program, and imaging apparatus Download PDFInfo
- Publication number
- JP5409588B2 JP5409588B2 JP2010281257A JP2010281257A JP5409588B2 JP 5409588 B2 JP5409588 B2 JP 5409588B2 JP 2010281257 A JP2010281257 A JP 2010281257A JP 2010281257 A JP2010281257 A JP 2010281257A JP 5409588 B2 JP5409588 B2 JP 5409588B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- focus
- transfer function
- image restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、ペリクルミラー等の半透過反射素子と、該半透過反射素子を透過した光により形成された光学像を光電変換する光電変換素子とを用いて、撮影光学系の焦点調節を行う方法、コンピュータプログラムおよび撮像装置に関する。 The present invention relates to a method for adjusting the focus of a photographing optical system using a transflective element such as a pellicle mirror and a photoelectric conversion element that photoelectrically converts an optical image formed by light transmitted through the transflective element. The present invention relates to a computer program and an imaging apparatus.
一眼レフカメラには、撮影光学系の光軸に対して斜めに配置した半透過反射素子により撮影光学系からの光の一部を光学ファインダに向けて反射する一方、他の一部をＣＣＤセンサ等の撮像素子（光電変換素子）に向けて透過させるものがある。特許文献１には、半透過反射素子としてのペリクルミラーを用いたカメラが開示されている。 In a single-lens reflex camera, a transflective element disposed obliquely with respect to the optical axis of the photographing optical system reflects part of the light from the photographing optical system toward the optical viewfinder, while the other part is a CCD sensor. Some of them are transmitted toward an image pickup device (photoelectric conversion device). Patent Document 1 discloses a camera using a pellicle mirror as a transflective element.
このようなカメラでは、半透過反射素子を透過した光により形成される被写体像を光電変換する撮像素子の出力から生成された画像のコントラスト状態を示すコントラスト評価信号を用いた、いわゆるコントラスト検出方式のオートフォーカスを行うことができる。コントラスト検出方式のオートフォーカス（以下、コントラストＡＦという）では、撮影光学系に含まれるフォーカス素子（フォーカスレンズ）の移動に伴って変化するコントラスト評価信号の値が最大となる位置を合焦状態と判定する。 In such a camera, a so-called contrast detection method using a contrast evaluation signal indicating a contrast state of an image generated from an output of an image sensor that photoelectrically converts a subject image formed by light transmitted through a transflective element. Auto focus can be performed. In contrast detection autofocus (hereinafter referred to as contrast AF), the position where the value of the contrast evaluation signal that changes as the focus element (focus lens) included in the photographic optical system moves is determined to be the in-focus state. To do.
ただし、撮影光学系の光軸に対して斜めに配置された半透過反射素子を透過する光は、その透過面（入射面と射出面）において屈折作用を受けるため、アジムス方向によって光路長が変化し、光軸上でも非点収差が発生する。このため、アジムス方向（垂直方向と水平方向）によってコントラスト評価信号の値が最も高くなる結像位置が異なり、この影響によってコントラストＡＦの性能が低下する。 However, the light passing through the transflective element disposed obliquely with respect to the optical axis of the photographing optical system is refracted at the transmission surface (incident surface and exit surface), so the optical path length varies depending on the azimuth direction. Astigmatism also occurs on the optical axis. For this reason, the image forming position where the value of the contrast evaluation signal is highest differs depending on the azimuth direction (vertical direction and horizontal direction), and the performance of contrast AF deteriorates due to this influence.
特許文献２には、ペリクルミラーの撮像素子側の透過面を、垂直面方向と水平面方向とで異なる曲率を有するトロイダル面によって形成することで、非点収差を補正して、結像位置を補正するカメラ（カメラ付き望遠鏡）が開示されている。 In Patent Document 2, a transmission surface on the imaging element side of a pellicle mirror is formed by a toroidal surface having different curvatures in the vertical plane direction and the horizontal plane direction, thereby correcting astigmatism and correcting the imaging position. A camera (a telescope with a camera) is disclosed.
しかしながら、特許文献２にて開示されたカメラでは、ペリクルミラー上に回転非対称面であるトロイダル面を形成するために、ペリクルミラーの製造が困難であり、コストアップの要因となる。また、特許文献２では、望遠レンズを有する望遠鏡を前提としている。このため、像高によるペリクルミラーへの光の入射角度の変化は小さく、トロイダル面によって非点収差を良好に補正することは可能であるが、この技術を、像高によって光の入射角度が大きく変化する広角レンズに適用しても、十分な補正を行うことができない。 However, in the camera disclosed in Patent Document 2, since the toroidal surface which is a rotationally asymmetric surface is formed on the pellicle mirror, it is difficult to manufacture the pellicle mirror, which causes an increase in cost. Patent Document 2 is premised on a telescope having a telephoto lens. For this reason, the change in the incident angle of the light to the pellicle mirror due to the image height is small, and it is possible to correct the astigmatism favorably by the toroidal surface. Even when applied to a changing wide-angle lens, sufficient correction cannot be performed.
本発明は、ペリクルミラー等の半透過反射素子により発生する非点収差を画像処理によって補正することで、コントラストＡＦによる高精度なピント合わせを行うことができるようにした焦点調節方法、焦点調節プログラムおよび撮像装置を提供する。 The present invention relates to a focus adjustment method and a focus adjustment program capable of performing high-precision focusing by contrast AF by correcting astigmatism generated by a transflective element such as a pellicle mirror by image processing. And an imaging apparatus.
本発明の一側面としての焦点調節方法は、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する撮像装置に適用される。該焦点調節方法は、光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、撮影光学系に含まれるフォーカス素子を移動させてコントラスト評価信号の値が撮影光学系の合焦状態に対応する値となる位置にフォーカス素子を移動させるステップとを有する。そして、画像生成ステップにおいて、光電変換素子の出力から生成された画像に対して、半透過反射素子の光学伝達関数の絶対値成分のアジムス方向間での差が画像回復処理前よりも減少するように該光学伝達関数を補正した補正光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより評価画像を生成することを特徴とする。 According to another aspect of the present invention, there is provided a focus adjustment method in which at least one of an entrance surface and an exit surface is inclined with respect to an optical axis of a photographing optical system, and transmits a part of light incident on the photographing optical system. The present invention is applied to an imaging apparatus having a transflective element that reflects another part and a photoelectric conversion element that photoelectrically converts an optical image formed by light transmitted through the transflective element. The focus adjustment method includes an image generation step of generating an evaluation image using an output of a photoelectric conversion element, a step of generating a contrast evaluation signal indicating a contrast state of the evaluation image, and a focus element included in the photographing optical system. Moving the focus element to a position where the value of the contrast evaluation signal becomes a value corresponding to the in-focus state of the photographing optical system. Then, in the image generation step, the difference between the azimuth directions of the absolute value component of the optical transfer function of the transflective element is reduced with respect to the image generated from the output of the photoelectric conversion element as compared with that before the image restoration processing. Further, an evaluation image is generated by performing an image restoration process using an image restoration filter created based on the corrected optical transfer function obtained by correcting the optical transfer function .
また、本発明の他の一側面としての焦点調節プログラムは、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する撮像装置に設けられたコンピュータに、光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、撮影光学系に含まれるフォーカス素子を移動させてコントラスト評価信号の値が撮影光学系の合焦状態に対応する値となる位置にフォーカス素子を移動させるステップとを含む動作を実行させる。そして、画像生成ステップにおいて、光電変換素子の出力から生成された画像に対して、半透過反射素子の光学伝達関数の絶対値成分のアジムス方向間での差が画像回復処理前よりも減少するように該光学伝達関数を補正した補正光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより評価画像を生成することを特徴とする。 According to another aspect of the present invention, there is provided a focus adjustment program in which at least one of an entrance surface and an exit surface is arranged to be tilted with respect to an optical axis of a photographic optical system. A computer provided in an imaging apparatus having a transflective element that transmits a part and reflects another part and a photoelectric conversion element that photoelectrically converts an optical image formed by light transmitted through the transflective element In addition, an image generation step of generating an evaluation image using the output of the photoelectric conversion element, a step of generating a contrast evaluation signal indicating a contrast state of the evaluation image, and a contrast by moving a focus element included in the photographing optical system An operation including a step of moving the focus element to a position where the value of the evaluation signal becomes a value corresponding to the in-focus state of the photographing optical system. Then, in the image generation step, the difference between the azimuth directions of the absolute value component of the optical transfer function of the transflective element is reduced with respect to the image generated from the output of the photoelectric conversion element as compared with that before the image restoration processing. Further, an evaluation image is generated by performing an image restoration process using an image restoration filter created based on the corrected optical transfer function obtained by correcting the optical transfer function .
さらに、本発明の他の一側面としての撮像装置は、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する。該撮像装置は、光電変換素子の出力を用いて評価画像を生成する画像生成部と、該評価画像のコントラスト状態を示すコントラスト評価信号を生成する評価信号生成部と、撮影光学系に含まれるフォーカス素子を移動させてコントラスト評価信号の値が撮影光学系の合焦状態に対応する値となる位置にフォーカス素子を移動させる焦点調節部とを有する。そして、画像生成部は、光電変換素子の出力から生成された画像に対して、半透過反射素子の光学伝達関数の絶対値成分のアジムス方向間での差が画像回復処理前よりも減少するように該光学伝達関数を補正した補正光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより評価画像を生成することを特徴とする。
Furthermore, an imaging apparatus according to another aspect of the present invention is configured such that at least one of the incident surface and the exit surface is inclined with respect to the optical axis of the photographing optical system, and a part of the light incident on the photographing optical system. A transflective element that transmits the light and reflects the other part, and a photoelectric conversion element that photoelectrically converts an optical image formed by the light transmitted through the transflective element. The imaging apparatus includes an image generation unit that generates an evaluation image using an output of the photoelectric conversion element, an evaluation signal generation unit that generates a contrast evaluation signal indicating a contrast state of the evaluation image, and a focus included in the imaging optical system A focus adjustment unit that moves the element to a position where the value of the contrast evaluation signal becomes a value corresponding to the in-focus state of the photographing optical system. Then, the image generation unit causes the difference between the azimuth directions of the absolute value component of the optical transfer function of the transflective element to be smaller than that before the image restoration processing with respect to the image generated from the output of the photoelectric conversion element. Further, an evaluation image is generated by performing an image restoration process using an image restoration filter created based on the corrected optical transfer function obtained by correcting the optical transfer function .
本発明では、半透過反射素子にて発生した非点収差による結像位置のずれを含む画像に対して、該半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより、該ずれが良好に補正された評価画像を生成する。そして、この評価画像を用いてコントラストＡＦを行う。これにより、半透過反射素子に複雑な形状の面を形成する等、半透過反射素子の製造を困難にすることなく、コントラストＡＦによる高精度なピント合わせを可能とする。 In the present invention, an image using an image restoration filter created on the basis of the optical transfer function of the transflective element is used for an image including a shift in the imaging position due to astigmatism generated in the transflective element. By performing the recovery process, an evaluation image in which the deviation is corrected is generated. Then, contrast AF is performed using this evaluation image. Thereby, it is possible to focus with high accuracy by contrast AF without making it difficult to manufacture the transflective element, such as forming a complex-shaped surface on the transflective element.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
はじめに、具体的な実施例の説明に先立って、本発明の実施例において行われる画像回復処理について説明する。ここでは、光学系を通した撮像により劣化した（ぼけた）画像を、該光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて電子的に補正する画像処理を画像回復処理と呼ぶ。 First, prior to description of a specific embodiment, an image restoration process performed in the embodiment of the present invention will be described. Here, the image restoration processing is an image processing in which an image deteriorated (blurred) by imaging through an optical system is electronically corrected using an image restoration filter created based on the optical transfer function of the optical system. Call.
画像の劣化（ぼけ）の要因として、光学系の球面収差、コマ収差、像面湾曲、非点収差、色収差等が挙げられる。この光学系に、該光学系の光軸に対して斜めに配置されたペリクルミラー等の半透過反射素子が含まれている場合、該半透過反射素子で発生する非点収差もこの１つである。このような画像の劣化は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。ここにいう画像のぼけは、光学的には点像分布関数（ＰＳＦ：Point Spread Function）により表され、ピントのずれによるぼけとは異なる。 Factors of image degradation (blur) include spherical aberration, coma aberration, field curvature, astigmatism, chromatic aberration, and the like of the optical system. When this optical system includes a transflective element such as a pellicle mirror disposed obliquely with respect to the optical axis of the optical system, astigmatism generated in the transflective element is also one of these. is there. Such image degradation occurs when the light beam emitted from one point of the subject should be collected again at one point on the imaging surface when there is no aberration and no influence of diffraction, and the image is formed with a certain spread. The blur of the image here is optically expressed by a point spread function (PSF) and is different from the blur due to the focus shift.
また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。また、横方向の色ずれも、撮像光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。 In addition, color bleeding in a color image can also be said to be a difference in blurring for each wavelength of light with respect to axial chromatic aberration, chromatic spherical aberration, and chromatic coma aberration of the optical system. In addition, the lateral color misregistration can be said to be a positional deviation or a phase misalignment due to a difference in imaging magnification for each wavelength of light when the lateral chromatic aberration is caused by the chromatic aberration of magnification of the imaging optical system.
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。実施例では、特に断りがない限り、振幅成分と位相成分は、これらのＭＴＦとＰＴＦを指す。 An optical transfer function (OTF) obtained by Fourier transform of a point spread function (PSF) is frequency component information of aberration and is represented by a complex number. The absolute value of the optical transfer function (OTF), that is, the amplitude component is referred to as MTF (Modulation Transfer Function), and the phase component is referred to as PTF (Phase Transfer Function). In the embodiment, unless otherwise specified, the amplitude component and the phase component refer to these MTF and PTF.
位相成分としてのＰＴＦを、位相角として以下の式で表す。Ｒｅ（ＯＴＦ）とＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部を表す。 PTF as a phase component is expressed by the following formula as a phase angle. Re (OTF) and Im (OTF) represent the real part and the imaginary part of the OTF, respectively.
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数は画像の振幅成分と位相成分を劣化させるため、劣化画像は特にその周辺部ほど被写体の各点がコマ収差のように非対称にぼけた状態になる。
PTF = tan −1 (Im (OTF) / Re (OTF))
As described above, since the optical transfer function of the optical system deteriorates the amplitude component and the phase component of the image, the deteriorated image is in a state where each point of the subject is asymmetrically blurred like coma aberration, particularly in the peripheral portion thereof.
そして、画像回復処理は概略的には以下のような画像処理である。劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像（理想画像）をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。 The image restoration process is roughly the following image process. The degraded image (input image) is g (x, y), and the original image (ideal image) that is not degraded is f (x, y). Further, a point spread function (PSF) that is a Fourier pair of the optical transfer function is assumed to be h (x, y). At this time, the following equation holds. * Indicates convolution, and (x, y) indicates coordinates on the image.
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
g (x, y) = h (x, y) * f (x, y)
When the above equation is converted into a display format on the two-dimensional frequency plane by Fourier transformation, a product format for each frequency is obtained as in the following equation. H is a Fourier transform of the point spread function (PSF) and is an optical transfer function (OTF). (U, v) indicates the coordinates on the two-dimensional frequency plane, that is, the frequency.
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から理想画像を得るためには、以下のように、両辺をＨで除算すればよい。
G (u, v) = H (u, v) · F (u, v)
In order to obtain an ideal image from a deteriorated image, both sides may be divided by H as follows.
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、理想画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
G (u, v) / H (u, v) = F (u, v)
A restored image corresponding to the ideal image f (x, y) is obtained by performing inverse Fourier transform on this F (u, v) and returning it to the actual surface.
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に理想画像を得ることができる。 Here, assuming that the result of inverse Fourier transform of H −1 is R, an ideal image can be similarly obtained by performing convolution processing on the actual image as in the following equation.
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
Ｒ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元画像であるとき、通常は画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数が多いほど回復精度が向上する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平／垂直方向においてそれぞれ３タップや５タップ程度のエッジ強調フィルタ（ハイパスフィルタ）とは一線を隔する。画像回復フィルタは光学伝達関数に基づいて作成されるため、収差の振幅成分および位相成分の劣化をともに高精度に補正することができる。
g (x, y) * R (x, y) = f (x, y)
R (x, y) is referred to as an image restoration filter. When the image is a two-dimensional image, the image restoration filter is usually a two-dimensional filter having taps (cells) corresponding to the pixels of the image. In general, the greater the number of taps of the image restoration filter, the better the restoration accuracy. Since the image restoration filter needs to reflect at least aberration characteristics, the image restoration filter is separated from the conventional edge enhancement filter (high-pass filter) of about 3 taps or 5 taps in the horizontal / vertical direction. Since the image restoration filter is created based on the optical transfer function, it is possible to correct both the amplitude component and the phase component of the aberration with high accuracy.
ただし、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成された画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。 However, since there is a noise component in an actual image, using an image restoration filter created by taking the perfect reciprocal of the optical transfer function greatly amplifies the noise component as the degraded image is restored. This is because the MTF is raised so that the MTF (amplitude component) of the imaging optical system is returned to 1 over the entire frequency in a state where the amplitude of noise is added to the amplitude component of the image.
撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。したがって、ノイズがある場合には、鑑賞用画像として良好な画像は得られない。 The MTF, which is amplitude degradation due to the photographing optical system, returns to 1, but at the same time, the noise power spectrum also rises, and as a result, the noise is amplified according to the degree to which the MTF is raised (recovery gain). Therefore, when there is noise, a good image cannot be obtained as a viewing image.
このことは以下の式で表すことができる。Ｎはノイズ成分である。 This can be expressed by the following equation. N is a noise component.
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、以下の式（１）に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。
G (u, v) = H (u, v) .F (u, v) + N (u, v)
G (u, v) / H (u, v) = F (u, v) + N (u, v) / H (u, v)
With respect to this point, for example, a method of controlling the degree of recovery according to the intensity ratio (SNR) between the image signal and the noise signal is known, such as a Wiener filter represented by the following formula (1).
Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性であり、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。 M (u, v) is the frequency characteristic of the Wiener filter, and | H (u, v) | is the absolute value (MTF) of the optical transfer function (OTF).
この方法は、周波数ごとに、ＭＴＦが低いほどＳＮＲの項の影響が大きくなって回復ゲインが抑制され、ＭＴＦが高いほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは低周波側が高く、高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。 In this method, for each frequency, the lower the MTF, the greater the influence of the SNR term, thereby suppressing the recovery gain, and the higher the MTF, the stronger the recovery gain. In general, since the MTF of the photographing optical system is high on the low frequency side and low on the high frequency side, this is a method of substantially suppressing the recovery gain on the high frequency side of the image.
さらに、より好ましくは、実施例で用いられる画像回復フィルタは、以下に説明するように、上述した従来のウィナーフィルタよりも高精度に非点収差を補正可能なものであるとよい。 More preferably, the image restoration filter used in the embodiments may correct astigmatism with higher accuracy than the above-described conventional Wiener filter, as will be described below.
すなわち、実施例で用いられる画像回復フィルタは、従来のウィナーフィルタに代表される画像回復フィルタとは異なり、収差の非対称性を補正する機能を有する。ここでは、実施例で用いられる画像回復フィルタの作成方法を説明する前に、従来の画像回復フィルタであるウィナーフィルタの作成方法について説明する。 That is, the image restoration filter used in the embodiment has a function of correcting asymmetry of aberration, unlike an image restoration filter represented by a conventional Wiener filter. Here, before explaining the creation method of the image restoration filter used in the embodiment, the creation method of the Wiener filter which is a conventional image restoration filter will be explained.
画像回復フィルタである式（１）に光学伝達関数Ｈ（ｕ，ｖ）を乗じて回復後の周波数特性を考えると、右辺にはＯＴＦに関して、ＭＴＦである｜Ｈ（ｕ，ｖ）｜しか残らないため、位相は補正された状態になっている。これは、例えば図９（ａ）に示すＰＳＦようなコマ収差の場合に、アジムス方向ごとに対称となり、図９（ｂ）に示す状態になることを意味している。図９（ｂ）に示す状態では、位相が補正されてもアジムス方向ごとのＭＴＦが異なるために、回転非対称なＰＳＦとなっている。ここで、図９中のｘ１，ｘ２は、像面上のＰＳＦの位置での座標軸を示しており、θはアジムス方向を示している。
これをＭＴＦの周波数特性で表したものが図１０（Ａ）であり、この図中の（ａ），（ｂ）は回復前のメリジオナル方向とサジタル方向のＭＴＦである。ウィナーフィルタを用いて画像回復処理を行った場合、各アジムス方向のＭＴＦは向上するものの、（ｃ），（ｄ）に示すようにアジムス方向間の差異は補正されない。
Considering the frequency characteristics after restoration by multiplying the expression (1), which is an image restoration filter, by the optical transfer function H (u, v), only the | H (u, v) | Since there is no phase, the phase is corrected. This means that, for example, in the case of coma aberration such as PSF shown in FIG. 9 (a), it becomes symmetrical for each azimuth direction and the state shown in FIG. 9 (b) is obtained. In the state shown in FIG. 9B, even if the phase is corrected, the MTF for each azimuth direction is different, so that the rotationally asymmetric PSF is obtained. Here, x1 and x2 in FIG. 9 indicate coordinate axes at the position of the PSF on the image plane, and θ indicates the azimuth direction.
FIG. 10A shows the MTF frequency characteristics, and (a) and (b) in this figure are the MTFs in the meridional direction and the sagittal direction before recovery. When the image restoration processing is performed using the Wiener filter, the MTF in each azimuth direction is improved, but the difference between the azimuth directions is not corrected as shown in (c) and (d).
次に、非対称収差を補正する機能を有する実施例で用いられる画像回復フィルタについて説明する。上記のように回復後のＯＴＦのアジムス特性は、｜Ｈ（ｕ，ｖ）｜のアジムス特性に依存している。このため、アジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いた式（２）のようにすることで、あたかもアジムス方向間にてＭＴＦの差がない撮影光学系を通した撮像により得られたような画像を得ることができる。 Next, an image restoration filter used in an embodiment having a function of correcting asymmetric aberration will be described. As described above, the azimuth characteristic of the recovered OTF depends on the azimuth characteristic of | H (u, v) |. For this reason, by using Equation (2) using OTF (rH (u, v)) common between the azimuth directions, it is possible to capture the image through the imaging optical system with no difference in MTF between the azimuth directions. An image like that obtained by the above can be obtained.
これを図１０（Ｂ）を用いて説明する。回復前のＭＴＦは、図１０（Ｂ）中の（ａ），（ｂ）に示すように、アジムス方向ごとに異なっている。しかし、回復後は（ｃ），（ｄ）に示すように、アジムス方向間でＭＴＦが揃っている。このように、実施例で用いる画像回復フィルタによって非対称収差の原因であるアジムス依存性を補正することが可能である。この状態のＰＳＦは、図９（ｃ）に示すように、回転対称になる。 This will be described with reference to FIG. The MTF before recovery is different for each azimuth direction as shown in (a) and (b) of FIG. However, after recovery, as shown in (c) and (d), the MTFs are aligned between the azimuth directions. As described above, it is possible to correct the azimuth dependency that is the cause of the asymmetric aberration by the image restoration filter used in the embodiment. The PSF in this state is rotationally symmetric as shown in FIG.
また、式（２）では、アジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いた。しかし、アジムス方向ごとのＭＴＦ（ＯＴＦの絶対値成分）の差が、画像回復処理前のＭＴＦの差よりも減少するように補正されたＯＴＦ（補正光学伝達関数）を用いることで非対称収差の補正量を制御することができる。この場合の画像回復処理後のＭＴＦを図１０（Ｃ）に示す。図１０（Ｃ）中の（ｃ），（ｄ）に示すようにＭＴＦが完全に一致しなくとも、図１０（Ａ）中の（ｃ），（ｄ）に対してアジムス方向間でのＭＴＦの差が減少し、非対称収差が低減されることになる。 Moreover, in Formula (2), OTF (rH (u, v)) common between azimuth directions was used. However, correction of asymmetric aberrations is achieved by using an OTF (corrected optical transfer function) that is corrected so that the difference in MTF (absolute value component of OTF) in each azimuth direction is smaller than the difference in MTF before image restoration processing. The amount can be controlled. FIG. 10C shows the MTF after the image restoration process in this case. As shown in (c) and (d) in FIG. 10C, even if the MTFs do not completely match, the MTF between the azimuth directions with respect to (c) and (d) in FIG. This reduces the difference in asymmetrical aberrations.
以下に示す各実施例では、上記ウィナーフィルタやアジムス方向間でのＭＴＦの差を画像回復処理前よりも減少させるように補正されたＯＴＦに基づいて作成された画像回復フィルタを適宜用いることができる。ただし、後者の画像回復フィルタを用いることで、半透過反射素子で発生する非点収差をより高精度に補正することができる。 In each embodiment described below, an image restoration filter created based on the above-described Wiener filter or an OTF corrected so as to reduce the MTF difference between the azimuth directions than before the image restoration processing can be used. . However, by using the latter image restoration filter, astigmatism generated in the transflective element can be corrected with higher accuracy.
図１には、本発明の実施例である焦点調節方法を用いる撮像装置の構成例を示している。不図示の被写体から撮影光学系１０１に入射した光の一部は、半透過反射素子であるペリクルミラー１１１で反射して、光学ファインダの一部を構成する焦点板１１２に向かい、焦点板１１２上に被写体像（光学像）を形成する。この被写体像は、焦点板１１２とともに光学ファインダを構成するファインダ光学系１１３を通して撮影者により観察される。 FIG. 1 shows a configuration example of an imaging apparatus using a focus adjustment method that is an embodiment of the present invention. A part of light incident on the photographing optical system 101 from a subject (not shown) is reflected by a pellicle mirror 111 which is a semi-transmissive reflection element, and is directed to a focusing screen 112 constituting a part of the optical viewfinder. A subject image (optical image) is formed on the surface. This subject image is observed by the photographer through a finder optical system 113 that forms an optical finder together with the focusing screen 112.
また、撮影光学系１０１に入射した光の他の一部は、ペリクルミラー１１１を透過して撮像素子（光電変換素子）１０２に向かい、撮像素子１０２上に被写体像を形成する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等により構成され、被写体像を光電変換する。 Further, another part of the light incident on the photographing optical system 101 passes through the pellicle mirror 111 and travels toward the image sensor (photoelectric conversion element) 102 to form a subject image on the image sensor 102. The image sensor 102 is configured by a CCD sensor, a CMOS sensor, or the like, and photoelectrically converts a subject image.
ペリクルミラー１１１は、撮影光学系１０１の光軸に対して斜め４５度に傾いた入射面および射出面を有する。光軸に対するペリクルミラー１１１の傾き角度をより大きく（光軸に対して垂直に近づける）ことで、撮影光学系１０１から撮像素子１０２までの距離（バックフォーカス）を短くしてもよい。また、本実施例では、半透過反射素子としてペリクルミラーを用いるが、ペリクルミラー以外の素子、例えば硝子基板上に半透過薄膜を形成した素子を用いてもよい。半透過反射素子の基板を厚くすることで、該半透過反射素子の面精度を向上させることはできる一方、透過光の非点収差が増大するため、本実施例の後述する画像回復処理を用いたコントラストＡＦによって、より顕著な効果が得られる。 The pellicle mirror 111 has an entrance surface and an exit surface that are inclined by 45 degrees with respect to the optical axis of the imaging optical system 101. The distance (back focus) from the imaging optical system 101 to the image sensor 102 may be shortened by increasing the tilt angle of the pellicle mirror 111 with respect to the optical axis (making it closer to the optical axis). In this embodiment, a pellicle mirror is used as the semi-transmissive reflective element. However, an element other than the pellicle mirror, for example, an element in which a semi-transmissive thin film is formed on a glass substrate may be used. By increasing the thickness of the substrate of the transflective element, the surface accuracy of the transflective element can be improved, but the astigmatism of the transmitted light increases. Therefore, the image restoration process described later in this embodiment is used. A more remarkable effect can be obtained by the contrast AF.
さらに、本実施例では、入射面および射出面の双方が撮影光学系の光軸に対して傾いた半透過反射素子を用いているが、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いた半透過反射素子を用いてもよい。 Further, in this embodiment, the transflective element in which both the incident surface and the exit surface are inclined with respect to the optical axis of the photographing optical system is used, but at least one of the incident surface and the emergent surface is the photographing optical system. A transflective element inclined with respect to the optical axis may be used.
撮像光学系１０１は、絞り１０１ａとフォーカスレンズ（フォーカス素子）１０１ｂを含む。絞り１０１ａは、その開口径が変更されることで撮像光学系１０１のＦナンバーを可変設定する。フォーカスレンズ１０１ｂは、光軸方向に移動することで、撮像光学系１０１の被写体に対するピント合わせを行う。絞り１０１ａとフォーカスレンズ１０１ｂの動作は、システムコントローラ１１０からの指示を受けた撮像光学系制御部１０６により制御される。 The imaging optical system 101 includes a diaphragm 101a and a focus lens (focus element) 101b. The aperture 101a variably sets the F number of the imaging optical system 101 by changing its aperture diameter. The focus lens 101b moves in the optical axis direction to focus on the subject of the imaging optical system 101. The operations of the diaphragm 101a and the focus lens 101b are controlled by the imaging optical system control unit 106 that receives an instruction from the system controller 110.
被写体像を光電変換した撮像素子１０２から出力されたアナログ撮像信号は、Ａ／Ｄ変換器１０３でデジタル撮像信号に変換され、該デジタル撮像信号は画像処理部１０４に入力される。画像処理部１０４は、デジタル撮像信号に対して各種画像処理を行うことで、画像を生成する。生成された画像は、出力画像として表示部１０５に表示されたり、半導体メモリ等の画像記録媒体１０９に記録されたりする。 An analog imaging signal output from the imaging element 102 obtained by photoelectrically converting the subject image is converted into a digital imaging signal by the A / D converter 103, and the digital imaging signal is input to the image processing unit 104. The image processing unit 104 generates an image by performing various types of image processing on the digital imaging signal. The generated image is displayed on the display unit 105 as an output image or recorded on an image recording medium 109 such as a semiconductor memory.
また、画像処理部１０４は、デジタル撮像信号から生成した画像に対して画像回復処理を行うことで、フォーカス評価のための評価画像を生成する。そして、画像処理部１０４は、評価画像のコントラスト状態を示すコントラスト評価信号を生成する。システムコントローラ１１０は、コントラスト評価信号の値が最大値（合焦状態に対応する値）となる位置（フォーカス位置）を合焦フォーカス位置として決定し、該合焦フォーカス位置にフォーカスレンズ１０１ｂを移動させる。このようにコントラスト評価信号を用いたオートフォーカス（ＡＦ）を、コントラストＡＦという。以下の説明において、コントラスト評価信号の値を、コントラスト評価値という。 Further, the image processing unit 104 generates an evaluation image for focus evaluation by performing an image restoration process on an image generated from the digital imaging signal. Then, the image processing unit 104 generates a contrast evaluation signal indicating the contrast state of the evaluation image. The system controller 110 determines a position (focus position) at which the value of the contrast evaluation signal becomes the maximum value (value corresponding to the in-focus state) as the in-focus position, and moves the focus lens 101b to the in-focus position. . Such autofocus (AF) using the contrast evaluation signal is called contrast AF. In the following description, the value of the contrast evaluation signal is referred to as a contrast evaluation value.
ペリクルミラー１１１を透過することで屈折作用を受けて非点収差を持った光により形成された被写体像が光電変換された画像（劣化画像）をコントラストＡＦに用いると、アジムス方向によってコントラスト評価値が最大となるフォーカス位置が異なる。この結果、合焦精度が低下する。このため、本実施例では、劣化画像に対して画像回復処理を行って評価画像を生成し、該評価画像を用いてコントラストＡＦを行う。なお、劣化画像をそのまま撮影画像として出力すると、各点が非対称にぼけた撮影画像が得られてしまうので、このような非対称のぼけが補正された評価画像を撮影画像として出力してもよい。画像処理部１０４での具体的な処理の内容については後述する。 When an image (degraded image) obtained by photoelectrically converting a subject image formed by light having astigmatism that is refracted by being transmitted through the pellicle mirror 111 is used for contrast AF, the contrast evaluation value depends on the azimuth direction. The maximum focus position is different. As a result, the focusing accuracy decreases. For this reason, in this embodiment, the degraded image is subjected to image restoration processing to generate an evaluation image, and contrast AF is performed using the evaluation image. Note that if the deteriorated image is output as it is as a captured image, a captured image in which each point is asymmetrically blurred is obtained. Therefore, an evaluation image in which such asymmetric blur is corrected may be output as a captured image. Details of specific processing in the image processing unit 104 will be described later.
なお、撮像光学系１０１は、撮像装置と一体に設けられていてもよいし、撮像装置に対して交換可能に設けられていてもよい。また、撮像光学系として、レンズ以外の光学素子、例えば、曲率を有するミラー（反射面）を用いることもできる。 The imaging optical system 101 may be provided integrally with the imaging device, or may be provided so as to be replaceable with respect to the imaging device. Further, as the imaging optical system, an optical element other than a lens, for example, a mirror having a curvature (reflection surface) can be used.
図２には、被写体の一点から発せられた光束が撮像光学系１０１を通過して撮像素子１０２上にスポットを形成する際のスポットの形状と、該スポットの形状により得られるコントラスト評価値とを示している。ここでは、撮像光学系１０１に入射する光束の断面が円形である場合を示している。 FIG. 2 shows a spot shape when a light beam emitted from one point of an object passes through the imaging optical system 101 to form a spot on the image sensor 102 and a contrast evaluation value obtained by the spot shape. Show. Here, the case where the cross section of the light beam incident on the imaging optical system 101 is circular is shown.
図２（ａ），（ｂ）はそれぞれ、撮像光学系１０１からの光路内にペリクルミラー１１１が配置されていない場合における撮像素子１０２に到達する光束とスポットの形状とを示している。また、図２（ｃ）はこの場合におけるフォーカス位置Ｆに応じたコントラスト評価値Ｃを示している。図２（ｄ），（ｅ）はそれぞれ、撮像光学系１０１からの光路内にペリクルミラー１１１が配置されている場合における撮像素子１０２に到達する光束とスポットの形状とを示している。また、図２（ｆ）はこの場合におけるフォーカス位置Ｆに応じたコントラスト評価値Ｃを示している。 FIGS. 2A and 2B respectively show the light flux reaching the image sensor 102 and the spot shape when the pellicle mirror 111 is not disposed in the optical path from the image pickup optical system 101. FIG. 2C shows a contrast evaluation value C corresponding to the focus position F in this case. FIGS. 2D and 2E respectively show the light flux reaching the image sensor 102 and the spot shape when the pellicle mirror 111 is disposed in the optical path from the image pickup optical system 101. FIG. 2F shows the contrast evaluation value C corresponding to the focus position F in this case.
光路内にペリクルミラー１１１が配置されていない図２（ｂ）では、スポット形状は円形であり、図２（ｃ）に示すようにコントラスト評価値はアジムス方向間で差はない。 In FIG. 2B where the pellicle mirror 111 is not arranged in the optical path, the spot shape is circular, and the contrast evaluation value is not different between the azimuth directions as shown in FIG.
しかし、光路内にペリクルミラー１１１が配置された図２（ｅ）では、スポット形状は、ペリクルミラー１１１での屈折により発生した非点収差によって非対称な形状となっている。そして、この場合、図２（ｆ）に示すようにコントラスト評価値には、アジムス方向間で差が生じる。図２（ｆ）中の実線の山と破線の山は、互いに異なるアジムス方向でのコントラスト評価値を示している。そして、このようにアジムス方向によってコントラスト評価値が異なることにより、それぞれのコントラスト評価値により得られる合焦フォーカス位置がずれる。 However, in FIG. 2E in which the pellicle mirror 111 is disposed in the optical path, the spot shape is asymmetric due to astigmatism generated by refraction at the pellicle mirror 111. In this case, as shown in FIG. 2F, the contrast evaluation value has a difference between the azimuth directions. A solid peak and a broken peak in FIG. 2 (f) indicate contrast evaluation values in different azimuth directions. Then, since the contrast evaluation value differs depending on the azimuth direction as described above, the focus position obtained by each contrast evaluation value is shifted.
図２（ｅ）に示すスポット形状は、点像分布関数（ＰＳＦ）と等価である。よって、図２（ｂ）のスポット形状が図２（ｅ）のスポット形状に劣化する原因は、ペリクルミラー１１１を光が透過するときの光学伝達関数として表すことができる。 The spot shape shown in FIG. 2 (e) is equivalent to a point spread function (PSF). Therefore, the cause of the deterioration of the spot shape of FIG. 2B to the spot shape of FIG. 2E can be expressed as an optical transfer function when light passes through the pellicle mirror 111.
以下、ペリクルミラー１１１を光が透過することにより発生した画像上の非点収差成分を補正するために、図１に示した画像処理部１０４が行う処理について、図３を用いて説明する。図３中の黒丸印はそれが画像（又は画像を構成する画素データ）であることを示す。画像処理部１０４は、画像生成部および評価信号生成部として機能する。また、画像処理部１０４の動作は、システムコントローラ１１０によって制御される。撮像装置に設けられたコンピュータとしてのシステムコントローラ１１０は、コンピュータプログラムである焦点調節プログラムに従って画像処理部１０４の動作を制御しながらコントラストＡＦを行う。 Hereinafter, processing performed by the image processing unit 104 shown in FIG. 1 in order to correct an astigmatism component on an image generated by light passing through the pellicle mirror 111 will be described with reference to FIG. Black circles in FIG. 3 indicate that it is an image (or pixel data constituting the image). The image processing unit 104 functions as an image generation unit and an evaluation signal generation unit. The operation of the image processing unit 104 is controlled by the system controller 110. A system controller 110 as a computer provided in the imaging apparatus performs contrast AF while controlling the operation of the image processing unit 104 in accordance with a focus adjustment program that is a computer program.
まず、画像処理部１０４は、図１に示す状態検知部１０７から、撮像状態を示す情報（撮像状態情報）を取得する。ここにいう撮像状態は、絞り１０１ａの開口径（Ｆナンバー）、撮影距離（被写体距離）、撮影光学系１０１の焦点距離（撮影光学系１０１がズームレンズである場合）等を含む。状態検知部１０７は、システムコントローラ１１０から撮像状態情報を得てもよいし、撮像光学系制御部１０６から得てもよい。 First, the image processing unit 104 acquires information indicating the imaging state (imaging state information) from the state detection unit 107 illustrated in FIG. The imaging state here includes the aperture diameter (F number) of the stop 101a, the shooting distance (subject distance), the focal length of the shooting optical system 101 (when the shooting optical system 101 is a zoom lens), and the like. The state detection unit 107 may obtain imaging state information from the system controller 110 or may be obtained from the imaging optical system control unit 106.
次に、画像処理部１０４は、画像回復フィルタ取得工程において、撮像状態に応じた画像回復フィルタを記憶部１０８から選択する。さらに、画像処理部１０４は、画像取得工程において、デジタル撮像信号から生成した画像（劣化画像）のうち、撮影画面内に設定された部分領域であるＡＦ領域（焦点検出領域）内の部分画像を入力画像として取得する。そして、画像処理部１０４は、画像回復工程（画像生成ステップ）において、該入力画像に対して画像回復処理を実行する。 Next, the image processing unit 104 selects an image restoration filter corresponding to the imaging state from the storage unit 108 in the image restoration filter acquisition step. Furthermore, in the image acquisition process, the image processing unit 104 extracts a partial image in an AF area (focus detection area), which is a partial area set in the shooting screen, from an image (degraded image) generated from a digital imaging signal. Obtained as an input image. Then, the image processing unit 104 executes an image restoration process on the input image in an image restoration step (image generation step).
ここで、画像回復フィルタとしては、撮像状態に応じて記憶部１０８から選択したものをそのまま用いてもよいし、予め用意した画像回復フィルタをより撮像状態に適したフィルタに補正して用いてもよい。画像回復フィルタの補正処理は、２次元フィルタ同士の対応タップ（セル）の係数値を線形補間、多項式補間又はスプライン補間等を用いて補間するように行えばよい。 Here, as the image restoration filter, one selected from the storage unit 108 according to the imaging state may be used as it is, or an image restoration filter prepared in advance may be used after being corrected to a filter more suitable for the imaging state. Good. The correction processing of the image restoration filter may be performed so as to interpolate coefficient values of corresponding taps (cells) between the two-dimensional filters using linear interpolation, polynomial interpolation, spline interpolation, or the like.
図４および図５にはそれぞれ、２次元フィルタとしての画像回復フィルタと、該画像回復フィルタの１つの断面での各タップ（セル）の係数値を示している。画像回復フィルタのタップ数は、ペリクルミラー１１１により発生した収差の広がりや要求される回復精度に応じて決められるが、図４では、例としての１１×１１タップを有する画像回復フィルタを示している。それぞれのタップには係数値が設定されており、画像回復フィルタは、それらの係数値が分布したマトリックスデータとして構成されている。 4 and 5 respectively show an image restoration filter as a two-dimensional filter and coefficient values of each tap (cell) in one section of the image restoration filter. The number of taps of the image restoration filter is determined according to the spread of aberrations generated by the pellicle mirror 111 and the required restoration accuracy. FIG. 4 shows an example image restoration filter having 11 × 11 taps. . Coefficient values are set for each tap, and the image restoration filter is configured as matrix data in which those coefficient values are distributed.
そして、画像回復工程では、このような係数値分布を有する画像回復フィルタを用いて、劣化画像に対するコンボリューション（畳み込み積分または積和）処理を行う。これにより、ペリクルミラー１１１にて発生した非点収差により空間的に広がった劣化画像の画素値（画素の信号値）を、ペリクルミラー１１１がないとした場合の理想状態に戻すことができる。 In the image restoration step, a convolution (convolution integration or product sum) process is performed on the degraded image using an image restoration filter having such a coefficient value distribution. Thereby, the pixel value (pixel signal value) of the deteriorated image spatially spread due to astigmatism generated in the pellicle mirror 111 can be returned to the ideal state when the pellicle mirror 111 is not present.
コンボリューション処理では、劣化画像におけるある画素値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、劣化画像と画像回復フィルタの対応画素ごとに画素値と画像回復フィルタの係数値との積をとり、その総和を中心画素の画素値として置き換える。 In the convolution process, in order to improve a certain pixel value in the degraded image, the pixel is matched with the center of the image restoration filter. Then, the product of the pixel value and the coefficient value of the image restoration filter is taken for each corresponding pixel of the degraded image and the image restoration filter, and the sum is replaced with the pixel value of the central pixel.
なお、画像回復フィルタの縦横のタップ数は必ずしも同じである必要はなく、縦横のタップ数が異なる画像回復フィルタを用いてもよい。 Note that the number of vertical and horizontal taps of the image restoration filter is not necessarily the same, and an image restoration filter having a different number of vertical and horizontal taps may be used.
画像回復フィルタは、ペリクルミラー１１１の光学伝達関数に基づいて作成されるが、ペリクルミラー１１１の光学伝達関数は、コンピュータを用いた光学設計ツールや光学解析ツールを用いて計算により求められる。また、実際に計測した光学伝達関数に基づいて画像回復フィルタを作成してもよい。 The image restoration filter is created based on the optical transfer function of the pellicle mirror 111. The optical transfer function of the pellicle mirror 111 is obtained by calculation using an optical design tool or an optical analysis tool using a computer. Further, an image restoration filter may be created based on the actually measured optical transfer function.
画像回復フィルタは、例えば、式（１）や式（２）に示すように、光学伝達関数の逆関数に基づいた関数を逆フーリエ変換して得ることができる。このような実空間での画像回復フィルタを用いて、画像に対してコンボリューション処理を行うことで、画像回復処理にて画像のフーリエ変換や逆フーリエ変換を行う必要をなくすることができる。ただし、画像に対して画像回復フィルタを用いたコンボリューション処理を行うことは、それぞれのフーリエ変換の積をとることと等価であるため、周波数空間で画像回復処理を行うことも可能である。 The image restoration filter can be obtained by, for example, inverse Fourier transform of a function based on the inverse function of the optical transfer function, as shown in Expression (1) and Expression (2). By performing convolution processing on an image using such an image restoration filter in real space, it is possible to eliminate the need for performing Fourier transform or inverse Fourier transform of the image in the image restoration processing. However, performing convolution processing using an image restoration filter on an image is equivalent to taking the product of the respective Fourier transforms, and thus image restoration processing can also be performed in the frequency space.
ペリクルミラー１１１を光が透過することにより発生する非点収差は、撮影光学系１０１の絞り１０１ａによって制御されるＦナンバーに応じて変化する。また、非点収差の状態は、像高に応じたケラレ（口径食）の程度やペリクルミラー１１１への光の入射角度によって変化し、さらには、撮影距離や撮影光学系１０１の焦点距離の変化によっても変化する。したがって、撮影状態に応じて最適な画像回復フィルタを用いることが好ましい。この点は、像高によらず画像全体に一定の鮮鋭化を行うエッジ強調フィルタ処理とは異なる。 Astigmatism generated when light passes through the pellicle mirror 111 changes in accordance with the F number controlled by the stop 101a of the photographing optical system 101. Also, the state of astigmatism changes depending on the degree of vignetting according to the image height and the incident angle of light on the pellicle mirror 111, and further changes in the shooting distance and the focal length of the shooting optical system 101. It also changes depending on. Therefore, it is preferable to use an optimal image restoration filter according to the shooting state. This is different from edge enhancement filter processing that performs constant sharpening on the entire image regardless of the image height.
また、画像処理部１０４は、演算部と一時的記憶部（バッファー）とを有し、上述した画像処理の工程ごとに必要に応じて一時的記憶部に対して画像の書き込み（記憶）および読み出しを行う。なお、一時的記憶部の機能を、画像処理部１０４の外に設けられた記憶部１０８に持たせてもよい。 The image processing unit 104 includes a calculation unit and a temporary storage unit (buffer), and writes (stores) and reads images to and from the temporary storage unit as necessary for each of the above-described image processing steps. I do. Note that the function of the temporary storage unit may be provided in the storage unit 108 provided outside the image processing unit 104.
そして、図３において、画像処理部１０４は、画像回復処理を行うことでペリクルミラー１１１により発生した非点収差成分を補正した補正画像（回復画像）を評価画像として用いて、コントラスト評価値を算出する。補正画像を評価画像として用いることにより、図２（ｃ）に示したようなアジムス方向間でずれのないコントラスト評価値が得られる。 In FIG. 3, the image processing unit 104 calculates a contrast evaluation value by using, as an evaluation image, a corrected image (recovered image) obtained by correcting the astigmatism component generated by the pellicle mirror 111 by performing image recovery processing. To do. By using the corrected image as the evaluation image, a contrast evaluation value without deviation between the azimuth directions as shown in FIG. 2C is obtained.
画像処理部１０４は、上述した画像取得工程、画像回復工程およびコントラスト評価値の算出工程を、フォーカスレンズ１０１ｂを所定量ずつ移動させながら複数回繰り返す。 The image processing unit 104 repeats the image acquisition process, the image restoration process, and the contrast evaluation value calculation process described above a plurality of times while moving the focus lens 101b by a predetermined amount.
焦点調節部としてのシステムコントローラ１１０は、複数のフォーカス位置のそれぞれにおいて算出されたコントラスト評価値のうち最大値を有するコントラスト評価値が得られたフォーカス位置を合焦フォーカス位置として決定する。そして、システムコントローラ１１０は、決定した合焦フォーカス位置にフォーカスレンズ１０１ｂを移動させる。これにより、撮影光学系１０１の合焦状態が得られる。 The system controller 110 serving as a focus adjusting unit determines a focus position at which a contrast evaluation value having the maximum value is obtained from the contrast evaluation values calculated at each of a plurality of focus positions as a focus focus position. Then, the system controller 110 moves the focus lens 101b to the determined focus position. Thereby, the in-focus state of the photographing optical system 101 is obtained.
上記の方法で撮影光学系１０１の合焦状態を得た後、システムコントローラ１１０は、被写体の撮影を行って、画像処理部１０４により生成された入力撮影画像を得る。この入力撮影画像もペリクルミラー１１１を介した撮像により生成されるため、非点収差によって劣化している。このため、本実施例では、上述した画像回復処理を入力撮影画像に対しても行う。 After obtaining the in-focus state of the photographic optical system 101 by the above method, the system controller 110 shoots the subject and obtains the input photographic image generated by the image processing unit 104. Since this input captured image is also generated by imaging through the pellicle mirror 111, it is degraded by astigmatism. For this reason, in this embodiment, the above-described image restoration processing is also performed on the input photographed image.
すなわち、まず画像処理部１０４は、画像取得工程において、撮影画面全体に相当する入力撮影画像を取得する。次に、画像回復フィルタ取得工程において、撮像状態に応じた画像回復フィルタを記憶部１０８から選択する（又はこれを補正する）。そして、画像処理部１０４は、画像回復工程において、画像回復フィルタを用いて入力撮影画像に対する画像回復処理を実行するとともに、その他必要な処理を実行して、非点収差によるぼけが低減された高画質の出力撮影画像を得る。 That is, first, the image processing unit 104 acquires an input captured image corresponding to the entire captured screen in the image acquisition process. Next, in the image restoration filter acquisition step, an image restoration filter corresponding to the imaging state is selected from the storage unit 108 (or corrected). In the image restoration process, the image processing unit 104 performs image restoration processing on the input photographed image using an image restoration filter and performs other necessary processing to reduce blur due to astigmatism. An output photographic image with image quality is obtained.
なお、図６に示すように、ペリクルミラー１１１を、撮影光学系１０１からの光路内に配置される光路内位置（第１の位置）と該光路から退避する退避位置（第２の位置）との間で軸部１１１ａ回りで回動可能（移動可能）としてもよい。そして、ペリクルミラー１１１を光路内位置に配置してコントラストＡＦを行った後、ペリクルミラー１１１を退避位置に回動させて撮影を行うようにしてもよい。 As shown in FIG. 6, the pellicle mirror 111 is positioned in the optical path from the imaging optical system 101 (first position), and the retracted position (second position) to retract from the optical path. It is good also as rotation (movable) around the shaft part 111a. Then, after the pellicle mirror 111 is disposed at the position in the optical path and the contrast AF is performed, the pellicle mirror 111 may be rotated to the retracted position to perform imaging.
この場合、コントラストＡＦを行う際にはペリクルミラー１１１による非点収差成分を補正するための画像回復処理を行うが、撮影画像にはペリクルミラー１１１による非点収差成分は含まれないので、非点収差成分を補正するための画像回復処理は行わない。すなわち、ペリクルミラー１１１が光路内位置にあるときと退避位置にあるときとで、画像回復処理を行うか否かを切り替える。このことは、後述する実施例２でも同じである。 In this case, when performing contrast AF, image restoration processing for correcting the astigmatism component by the pellicle mirror 111 is performed. However, since the astigmatism component by the pellicle mirror 111 is not included in the captured image, the astigmatism component is not detected. Image restoration processing for correcting the aberration component is not performed. That is, whether to perform the image restoration process is switched between when the pellicle mirror 111 is in the optical path position and when it is in the retracted position. This is the same in the second embodiment described later.
なお、ペリクルミラー１１１を光路内から退避させる方式は図６に示した回動方式に限られず、例えば図７（ａ），（ｂ）に示すように、ペリクルミラー１１１が撮像素子１０２の辺が延びる方向に平行移動するスライド方式を採用してもよい。このことも、後述する実施例２でも同じである。 The method for retracting the pellicle mirror 111 from the optical path is not limited to the rotation method shown in FIG. 6. For example, as shown in FIGS. 7A and 7B, the pellicle mirror 111 has a side of the image sensor 102. You may employ | adopt the slide system which translates in the extending direction. This is the same in Example 2 described later.
本発明の実施例２について説明する。実施例１では、ペリクルミラー１１１のみの光学伝達関数に基づいて画像回復フィルタを作成する場合について説明しが、画像回復フィルタを、ペリクルミラー１１１だけでなく撮影光学系１０１の光学伝達関数も考慮して作成してもよい。本実施例の焦点調節方法を適用する撮像装置の構成は、実施例１にて図１を用いて説明したものと同じである。 A second embodiment of the present invention will be described. In the first embodiment, the case where the image restoration filter is created based on the optical transfer function of only the pellicle mirror 111 will be described. May be created. The configuration of the imaging apparatus to which the focus adjustment method of this embodiment is applied is the same as that described in Embodiment 1 with reference to FIG.
本実施例では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。そして、画像処理部１０４は、画像回復フィルタ取得工程において、撮像状態に応じた画像回復フィルタを記憶部１０８から選択する。続いて、画像処理部１０４は、画像取得工程において、画像処理部１０４により生成されたＡＦ領域内の入力画像（劣化画像）を取得し、さらに画像回復工程において該入力画像に対して該画像回復フィルタを用いた画像回復処理を行う。 In the present embodiment, the image processing unit 104 acquires imaging state information from the state detection unit 107. Then, the image processing unit 104 selects an image restoration filter corresponding to the imaging state from the storage unit 108 in the image restoration filter acquisition step. Subsequently, the image processing unit 104 acquires an input image (degraded image) in the AF area generated by the image processing unit 104 in the image acquisition step, and further performs image recovery on the input image in the image recovery step. Image restoration processing using a filter is performed.
本実施例でも、画像回復フィルタは撮像状態に応じて記憶部１０８から選択したものをそのまま用いてもよいし、予め用意した画像回復フィルタをより撮像状態に適したフィルタに補正して用いてもよい。 Also in this embodiment, the image restoration filter selected from the storage unit 108 according to the imaging state may be used as it is, or the image restoration filter prepared in advance may be used after being corrected to a filter more suitable for the imaging state. Good.
本実施例では、画像回復フィルタを、撮像光学系１０１とペリクルミラー１１１を含めたトータルの光学系の光学伝達関数に基づいて作成する。これにより、該トータルの光学系によって発生する収差の広がりや要求される回復精度に応じたタップ数や係数値を有する画像回復フィルタが作成される。 In this embodiment, the image restoration filter is created based on the optical transfer function of the total optical system including the imaging optical system 101 and the pellicle mirror 111. Thereby, an image restoration filter having a tap number and a coefficient value corresponding to the spread of aberrations generated by the total optical system and the required restoration accuracy is created.
先に説明したように、撮影光学系１０１によるぼけ（劣化）の発生要因として、球面収差、コマ収差、像面湾曲、非点収差、色収差等が挙げられる。これら撮影光学系１０１の収差も当然ながら光学伝達関数で表現でき、ペリクルミラー１１１の光学伝達関数と合成することが可能である。具体的には、撮影光学系１０１における最も物体側の入射面からペリクルミラー１１１の射出面までのトータルの光学系の光学伝達関数を計算や計測によって求めることが可能である。 As explained above, spherical aberration, coma, curvature of field, astigmatism, chromatic aberration, and the like are factors that cause blur (deterioration) due to the photographing optical system 101. Naturally, the aberration of the photographing optical system 101 can also be expressed by an optical transfer function, and can be combined with the optical transfer function of the pellicle mirror 111. Specifically, the total optical transfer function from the entrance surface closest to the object side to the exit surface of the pellicle mirror 111 in the photographing optical system 101 can be obtained by calculation or measurement.
また、撮影光学系１０１とペリクルミラー１１１のそれぞれの光学伝達関数を周波数空間で周波数ごとに乗算することで、トータルの光学系の光学伝達関数として求めることも可能である。 It is also possible to obtain the optical transfer function of the total optical system by multiplying the optical transfer functions of the photographing optical system 101 and the pellicle mirror 111 for each frequency in the frequency space.
なお、撮影光学系１０１およびペリクルミラー１１１以外に、複屈折を有する光学ローパスフィルタ等、光学伝達関数に影響を与える光学素子が存在する場合には、これを含めた光学伝達関数に基づいて画像回復フィルタを作成してもよい。さらに、撮像素子１０２の画素開口の形状や開口率や画素ごとに設けられるカラーフィルタ等も考慮した光学伝達関数に基づいて画像回復フィルタを作成してもよい。 If there is an optical element that affects the optical transfer function, such as an optical low-pass filter having birefringence, in addition to the photographing optical system 101 and the pellicle mirror 111, image restoration is performed based on the optical transfer function including the optical element. You may create a filter. Furthermore, an image restoration filter may be created based on an optical transfer function that takes into consideration the shape and aperture ratio of the pixel aperture of the image sensor 102, a color filter provided for each pixel, and the like.
本実施例では、撮影光学系１０１とペリクルミラー１１１を含めたトータルの光学伝達関数を計算または計測し、その逆関数に基づいた関数を逆フーリエ変換することで画像回復フィルタを得ることができる。実施例１でも説明したが、このような実空間での画像回復フィルタを用いて、画像に対してコンボリューション処理を行うことで、画像回復処理にて画像のフーリエ変換や逆フーリエ変換を行う必要をなくすることができる。ただし、画像に対して画像回復フィルタを用いたコンボリューション処理を行うことは、それぞれのフーリエ変換の積をとることと等価であるため、周波数空間で画像回復処理を行うことも可能である。 In the present embodiment, an image restoration filter can be obtained by calculating or measuring a total optical transfer function including the photographing optical system 101 and the pellicle mirror 111 and performing inverse Fourier transform on the function based on the inverse function. As described in the first embodiment, it is necessary to perform Fourier transform and inverse Fourier transform of the image in the image restoration process by performing the convolution process on the image using the image restoration filter in the real space. Can be eliminated. However, performing convolution processing using an image restoration filter on an image is equivalent to taking the product of the respective Fourier transforms, and thus image restoration processing can also be performed in the frequency space.
また、本実施例でも、ペリクルミラー１１１を光が透過することにより発生する非点収差は、撮影光学系１０１の絞り１０１ａによって制御されるＦナンバーに応じて変化する。また、非点収差の状態は、像高に応じたケラレ（口径食）の程度やペリクルミラー１１１への光の入射角度によって変化し、さらには、撮影距離や撮影光学系１０１の焦点距離の変化によっても変化する。さらに、撮影光学系１０１を含めた光学伝達関数も、Ｆナンバー、撮影距離、像高、焦点距離等によって変化する。したがって、撮影状態に応じて最適な画像回復フィルタを用いることが好ましい。 Also in this embodiment, the astigmatism generated by the light passing through the pellicle mirror 111 changes in accordance with the F number controlled by the stop 101a of the photographing optical system 101. Also, the state of astigmatism changes depending on the degree of vignetting according to the image height and the incident angle of light on the pellicle mirror 111, and further changes in the shooting distance and the focal length of the shooting optical system 101. It also changes depending on. Further, the optical transfer function including the photographing optical system 101 also varies depending on the F number, photographing distance, image height, focal length, and the like. Therefore, it is preferable to use an optimal image restoration filter according to the shooting state.
そして、システムコントローラ１１０は、画像回復処理によって撮影光学系１０１とペリクルミラー１１１を含むトータルの光学系により発生した収差成分が補正された補正画像（回復画像）を評価画像として用いて、コントラスト評価値を算出する。画像回復フィルタ取得工程、画像取得工程および画像回復工程をフォーカスレンズ１０１ｂを所定量ずつ移動させながら複数回繰り返す点は、実施例１と同じである。本実施例によれば、トータルの光学系により発生した収差成分が補正された評価画像を用いてコントラスト評価値を算出するので、実施例１よりもさらに精度良く合焦フォーカス位置を求めることができる。 Then, the system controller 110 uses the corrected image (recovered image) in which the aberration components generated by the total optical system including the photographing optical system 101 and the pellicle mirror 111 are corrected by the image recovery process as the evaluation image, and the contrast evaluation value Is calculated. The image recovery filter acquisition step, the image acquisition step, and the image recovery step are the same as in the first embodiment in that the focus lens 101b is moved a predetermined amount and is repeated a plurality of times. According to the present embodiment, the contrast evaluation value is calculated using the evaluation image in which the aberration components generated by the total optical system are corrected. Therefore, the in-focus focus position can be obtained with higher accuracy than in the first embodiment. .
こうして撮影光学系１０１の合焦状態を得た後、システムコントローラ１１０は、被写体を撮影して入力撮影画像を得る。この入力撮影画像も撮影光学系１０１とペリクルミラー１１１を介した撮像により生成されるため、これらの収差によって劣化している。このため、上述した画像回復処理を入力撮影画像にも行うことで、トータルの光学系により発生した収差成分によるぼけが低減された高画質の出力撮影画像を得ることができる。 After obtaining the in-focus state of the photographic optical system 101 in this way, the system controller 110 captures an object and obtains an input captured image. Since this input captured image is also generated by imaging through the imaging optical system 101 and the pellicle mirror 111, it is degraded by these aberrations. For this reason, by performing the above-described image restoration process also on the input photographed image, it is possible to obtain a high-quality output photographed image in which blur due to the aberration component generated by the total optical system is reduced.
なお、本実施例でも、図６に示すように、ペリクルミラー１１１を、撮影光学系１０１からの光路内に配置される光路内位置（第１の位置）と該光路から退避する退避位置（第２の位置）との間で軸部１１１ａ回りで回動可能（移動可能）としてもよい。そして、ペリクルミラー１１１を光路内位置に配置してコントラストＡＦを行ってもよいし、ペリクルミラー１１１を退避位置に回動させてコントラストＡＦを行ってもよい。 In this embodiment as well, as shown in FIG. 6, the pellicle mirror 111 is positioned in the optical path (first position) in the optical path from the imaging optical system 101 and the retracted position (first position) in which the pellicle mirror 111 is retracted from the optical path. (Position 2) may be rotatable (movable) around the shaft portion 111a. Then, the contrast AF may be performed by arranging the pellicle mirror 111 at the position in the optical path, or the contrast AF may be performed by rotating the pellicle mirror 111 to the retracted position.
この場合、ペリクルミラー１１１を光路内位置に配置した状態でコントラストＡＦを行う場合は、撮影光学系１０１とペリクルミラー１１１を含むトータルの光学系の光学伝達関数に基づいて生成された画像回復フィルタを用いて画像回復処理を行う。一方、ペリクルミラー１１１を退避位置に配置した状態でコントラストＡＦを行う場合は、撮影光学系１０１のみの光学系の光学伝達関数に基づいて生成された画像回復フィルタを用いて画像回復処理を行う。すなわち、ペリクルミラー１１１が光路内位置にあるときと退避位置にあるときとで、画像回復フィルタを変更する。 In this case, when performing contrast AF with the pellicle mirror 111 placed at the position in the optical path, an image restoration filter generated based on the optical transfer function of the total optical system including the imaging optical system 101 and the pellicle mirror 111 is used. To perform image restoration processing. On the other hand, when contrast AF is performed with the pellicle mirror 111 placed at the retracted position, image restoration processing is performed using an image restoration filter generated based on the optical transfer function of the optical system of the photographing optical system 101 alone. That is, the image restoration filter is changed between when the pellicle mirror 111 is in the optical path position and when it is in the retracted position.
図８には、本発明の実施例３である焦点調節方法を用いる撮像装置の構成例を示している。図８において、図１に示した構成要素と共通する又は同様の機能を有する構成要素には、図１と同符号を付して説明に代える。 FIG. 8 shows a configuration example of an imaging apparatus using a focus adjustment method that is Embodiment 3 of the present invention. In FIG. 8, the same reference numerals as those in FIG. 1 are given to the constituent elements that are the same as or similar to the constituent elements shown in FIG.
本実施例では、撮影光学系１０１からの光路内に光軸に対して傾いて配置されたペリクルミラー１１１で反射した光を、位相差ＡＦユニット１１５に導く。位相差ＡＦユニット１１５は、二次結像光学系１１５ａと受光素子１１５ｂとを有し、二次結像光学系１１５ａにより形成された対の被写体像を受光素子１１５ｂによって光電変換する。受光素子１１５ｂからのアナログ出力は、Ａ／Ｄ変換器１０３にてデジタル信号に変換され、該デジタル信号は画像処理部１０４に入力される。画像処理部１０４は、入力されたデジタル信号から、対の被写体像に対応する対の像信号を生成する。 In the present embodiment, the light reflected by the pellicle mirror 111 disposed in the optical path from the photographing optical system 101 and tilted with respect to the optical axis is guided to the phase difference AF unit 115. The phase difference AF unit 115 includes a secondary imaging optical system 115a and a light receiving element 115b, and photoelectrically converts a pair of subject images formed by the secondary imaging optical system 115a by the light receiving element 115b. The analog output from the light receiving element 115 b is converted into a digital signal by the A / D converter 103, and the digital signal is input to the image processing unit 104. The image processing unit 104 generates a pair of image signals corresponding to the pair of subject images from the input digital signal.
システムコントローラ１１０は、対の像信号に対して相関演算を行うことでこれら像信号間の位相差を算出し、該位相差から撮影光学系１０１の焦点状態（デフォーカス量）を算出する。そして、システムコントローラ１１０は、該デフォーカス量に応じて、撮影光学系１０１の合焦状態を得るためのフォーカスレンズ１０１ｂの移動量を算出し、該移動量だけフォーカスレンズ１０１ｂを移動させる。これにより、位相差検出方式によるＡＦ（以下、位相差ＡＦという）が行われる。 The system controller 110 calculates a phase difference between these image signals by performing a correlation operation on the pair of image signals, and calculates a focus state (defocus amount) of the photographing optical system 101 from the phase difference. Then, the system controller 110 calculates the movement amount of the focus lens 101b for obtaining the in-focus state of the photographing optical system 101 according to the defocus amount, and moves the focus lens 101b by the movement amount. Thereby, AF by the phase difference detection method (hereinafter referred to as phase difference AF) is performed.
また、ペリクルミラー１１１を透過した光により形成された被写体像は、実施例１，２と同様に撮像素子１０２により光電変換される。画像処理部１０４は、撮像素子１０２の出力（Ａ／Ｄ変換器１０３からのデジタル撮像信号）から生成した入力画像に対して、実施例１、２で説明した画像回復処理を行って評価画像を生成し、コントラストＡＦを行う。 The subject image formed by the light transmitted through the pellicle mirror 111 is photoelectrically converted by the image sensor 102 as in the first and second embodiments. The image processing unit 104 performs the image restoration processing described in the first and second embodiments on the input image generated from the output of the image sensor 102 (digital image pickup signal from the A / D converter 103) to obtain an evaluation image. Generate contrast AF.
本実施例では、ペリクルミラー１１１で反射した光を用いた位相差ＡＦと、ペリクルミラー１１１を透過した光を用いたコントラストＡＦとを組み合わせて行うことができる。例えば、位相差ＡＦによってフォーカスレンズ１０１ｂを合焦位置の近傍に高速で移動させた後、コントラストＡＦによってフォーカスレンズ１０１ｂを合焦位置に高精度に移動させることができる。また、位相差ＡＦとコントラストＡＦとを使い分けることも可能である。例えば、コントラストＡＦによって、位相差ＡＦ用のＡＦ領域以外のＡＦ領域においてピント合わせを行うことができる。 In this embodiment, the phase difference AF using the light reflected by the pellicle mirror 111 and the contrast AF using the light transmitted through the pellicle mirror 111 can be combined. For example, after the focus lens 101b is moved to the vicinity of the in-focus position at high speed by phase difference AF, the focus lens 101b can be moved to the in-focus position with high accuracy by contrast AF. It is also possible to use phase difference AF and contrast AF properly. For example, focusing can be performed in an AF area other than the AF area for phase difference AF by contrast AF.
なお、本実施例では、ペリクルミラー１１１で反射した光を位相差ＡＦユニット１１５に導くため、光学ファインダに代えて電子ビューファインダ１１４を設け、電子ビューファインダ１１４内のＬＣＤ１１４ａに画像処理部１０４にて生成された画像を表示する。 In this embodiment, in order to guide the light reflected by the pellicle mirror 111 to the phase difference AF unit 115, an electronic viewfinder 114 is provided instead of the optical viewfinder, and the image processing unit 104 is provided on the LCD 114a in the electronic viewfinder 114. Display the generated image.
本実施例においても、入力撮影画像に対しても画像回復処理を行うことで、ペリクルミラー１１１で発生した非点収差成分や撮影光学系１０１で発生した収差成分が良好に補正された出力撮影画像を得ることができる。 Also in this embodiment, by performing image restoration processing on the input photographed image, an output photographed image in which the astigmatism component generated in the pellicle mirror 111 and the aberration component generated in the photographing optical system 101 are well corrected. Can be obtained.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
半透過反射素子を有する場合でも、高精度な焦点調節が行える撮像装置を提供できる。 Even in the case of having a transflective element, it is possible to provide an imaging apparatus that can perform high-precision focus adjustment.
１０１ 撮影光学系
１０２ 撮像素子
１０４ 画像処理部
１１０ システムコントローラ
１１１ ペリクルミラー
DESCRIPTION OF SYMBOLS 101 Image | photographing optical system 102 Image pick-up element 104 Image processing part 110 System controller 111 Pellicle mirror
Claims (6)
前記光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、
該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、
前記撮影光学系に含まれるフォーカス素子を移動させて前記コントラスト評価信号の値が前記撮影光学系の合焦状態に対応する値となる位置に前記フォーカス素子を移動させるステップとを有し、
前記画像生成ステップにおいて、前記光電変換素子の出力から生成された画像に対して、前記半透過反射素子の光学伝達関数の絶対値成分のアジムス方向間での差が画像回復処理前よりも減少するように該光学伝達関数を補正した補正光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより前記評価画像を生成することを特徴とする焦点調節方法。 A transflective element in which at least one of the incident surface and the exit surface is arranged to be inclined with respect to the optical axis of the photographing optical system, and transmits a part of the light incident on the photographing optical system and reflects the other part. And a focus adjustment method for an imaging apparatus having a photoelectric conversion element that photoelectrically converts an optical image formed by light transmitted through the transflective element,
An image generation step of generating an evaluation image using the output of the photoelectric conversion element;
Generating a contrast evaluation signal indicating a contrast state of the evaluation image;
Moving the focus element included in the photographing optical system to move the focus element to a position where the value of the contrast evaluation signal becomes a value corresponding to the in-focus state of the photographing optical system,
In the image generation step, the difference between the azimuth directions of the absolute value component of the optical transfer function of the transflective element is reduced compared to that before the image restoration process with respect to the image generated from the output of the photoelectric conversion element. In this way, the evaluation image is generated by performing an image restoration process using an image restoration filter created based on the corrected optical transfer function obtained by correcting the optical transfer function .
前記画像生成ステップにおいて、前記半透過反射素子が前記第１の位置にあるときと前記第２の位置にあるときとで、前記画像回復処理を行うか否かを切り替える又は前記画像回復フィルタを変更することを特徴とする請求項１又は２に記載の焦点調節方法。 The transflective element is movable between a first position where light incident on the photographing optical system is incident and a second position where the light is not incident;
In the image generation step, whether or not to perform the image restoration processing is switched between when the transflective element is in the first position and when it is in the second position, or the image restoration filter is changed. The focus adjustment method according to claim 1, wherein the focus adjustment method is performed.
前記光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、
該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、
前記撮影光学系に含まれるフォーカス素子を移動させて前記コントラスト評価信号の値が前記撮影光学系の合焦状態に対応する値となる位置に前記フォーカス素子を移動させるステップとを含む動作を実行させる焦点調節プログラムであって、
前記画像生成ステップにおいて、前記光電変換素子の出力から生成された画像に対して、前記半透過反射素子の光学伝達関数の絶対値成分のアジムス方向間での差が画像回復処理前よりも減少するように該光学伝達関数を補正した補正光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより前記評価画像を生成することを特徴とする焦点調節プログラム。 A transflective element in which at least one of the incident surface and the exit surface is arranged to be inclined with respect to the optical axis of the photographing optical system, and transmits a part of the light incident on the photographing optical system and reflects the other part. And a computer provided in an imaging apparatus having a photoelectric conversion element that photoelectrically converts an optical image formed by light transmitted through the transflective element,
An image generation step of generating an evaluation image using the output of the photoelectric conversion element;
Generating a contrast evaluation signal indicating a contrast state of the evaluation image;
Moving a focus element included in the photographing optical system to move the focus element to a position where a value of the contrast evaluation signal becomes a value corresponding to a focused state of the photographing optical system. A focus adjustment program,
In the image generation step, the difference between the azimuth directions of the absolute value component of the optical transfer function of the transflective element is reduced compared to that before the image restoration process with respect to the image generated from the output of the photoelectric conversion element. A focus adjustment program for generating the evaluation image by performing an image restoration process using an image restoration filter created based on a corrected optical transfer function obtained by correcting the optical transfer function as described above.
前記光電変換素子の出力を用いて評価画像を生成する画像生成部と、
該評価画像のコントラスト状態を示すコントラスト評価信号を生成する評価信号生成部と、
前記撮影光学系に含まれるフォーカス素子を移動させて前記コントラスト評価信号の値が前記撮影光学系の合焦状態に対応する値となる位置に前記フォーカス素子を移動させる焦点調節部とを有し、
前記画像生成部は、前記光電変換素子の出力から生成された画像に対して、前記半透過反射素子の光学伝達関数の絶対値成分のアジムス方向間での差が画像回復処理前よりも減少するように該光学伝達関数を補正した補正光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより前記評価画像を生成することを特徴とする撮像装置。 A transflective element in which at least one of the incident surface and the exit surface is arranged to be inclined with respect to the optical axis of the photographing optical system, and transmits a part of the light incident on the photographing optical system and reflects the other part. And a photoelectric conversion element that photoelectrically converts an optical image formed by light transmitted through the transflective element,
An image generation unit that generates an evaluation image using an output of the photoelectric conversion element;
An evaluation signal generator for generating a contrast evaluation signal indicating the contrast state of the evaluation image;
A focus adjusting unit that moves the focus element included in the photographing optical system and moves the focus element to a position where the value of the contrast evaluation signal becomes a value corresponding to the in-focus state of the photographing optical system;
The image generation unit reduces the difference between the azimuth directions of the absolute value component of the optical transfer function of the transflective element with respect to the image generated from the output of the photoelectric conversion element as compared with that before the image restoration processing. Thus, the evaluation image is generated by performing an image restoration process using an image restoration filter created based on the corrected optical transfer function obtained by correcting the optical transfer function as described above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010281257A JP5409588B2 (en) | 2010-12-17 | 2010-12-17 | Focus adjustment method, focus adjustment program, and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010281257A JP5409588B2 (en) | 2010-12-17 | 2010-12-17 | Focus adjustment method, focus adjustment program, and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012128301A JP2012128301A (en) | 2012-07-05 |
| JP5409588B2 true JP5409588B2 (en) | 2014-02-05 |
Family
ID=46645358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010281257A Expired - Fee Related JP5409588B2 (en) | 2010-12-17 | 2010-12-17 | Focus adjustment method, focus adjustment program, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5409588B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6272112B2 (en) * | 2014-03-31 | 2018-01-31 | キヤノン株式会社 | Distance detection device, imaging device, distance detection method, and parallax amount detection device |
| JP6751426B2 (en) * | 2018-09-07 | 2020-09-02 | 一般財団法人Ｎｈｋエンジニアリングシステム | Imaging device |
| CN112747904B (en) * | 2020-12-30 | 2021-12-28 | 中国科学院长春光学精密机械与物理研究所 | Method for assembling and adjusting infrared transfer function measuring instrument |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4912737B2 (en) * | 2006-05-11 | 2012-04-11 | オリンパス株式会社 | Laser scanning microscope and microscope observation method |
-
2010
- 2010-12-17 JP JP2010281257A patent/JP5409588B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012128301A (en) | 2012-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8044331B2 (en) | Image pickup apparatus and method for manufacturing the same | |
| JP4749959B2 (en) | Imaging device, manufacturing apparatus and manufacturing method thereof | |
| US8059955B2 (en) | Image pickup apparatus and method and apparatus for manufacturing the same | |
| US7944490B2 (en) | Image pickup apparatus and method and apparatus for manufacturing the same | |
| JP5791437B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| US10192296B2 (en) | Image pickup apparatus, camera system, and image processing apparatus that restore an image with a filter corresponding to an image pickup plane position | |
| JP4818957B2 (en) | Imaging apparatus and method thereof | |
| US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
| US11082604B2 (en) | Image capturing apparatus, method of controlling the same, camera system, and storage medium | |
| JP5501069B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2012256118A (en) | Image restoration device and method thereof | |
| US20100295973A1 (en) | Determinate and indeterminate optical systems | |
| WO2006106737A1 (en) | Imaging device and imaging method | |
| JP5409588B2 (en) | Focus adjustment method, focus adjustment program, and imaging apparatus | |
| JP2009086017A (en) | Imaging device and imaging method | |
| JP5425135B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5487955B2 (en) | Imaging apparatus and imaging method | |
| JP4818956B2 (en) | Imaging apparatus and method thereof | |
| JP2008245265A (en) | Imaging apparatus and its manufacturing apparatus and method | |
| JP5425136B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5197784B2 (en) | Imaging device | |
| JP4948967B2 (en) | Imaging device, manufacturing apparatus and manufacturing method thereof | |
| JP6639208B2 (en) | Imaging device and control method thereof | |
| JP4948990B2 (en) | Imaging device, manufacturing apparatus and manufacturing method thereof | |
| JP5679718B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130624 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130624 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131105 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5409588 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |