JP5344647B2 - Image processing method, image processing apparatus, and image processing program - Google Patents
Image processing method, image processing apparatus, and image processing program Download PDFInfo
- Publication number
- JP5344647B2 JP5344647B2 JP2011168468A JP2011168468A JP5344647B2 JP 5344647 B2 JP5344647 B2 JP 5344647B2 JP 2011168468 A JP2011168468 A JP 2011168468A JP 2011168468 A JP2011168468 A JP 2011168468A JP 5344647 B2 JP5344647 B2 JP 5344647B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- transfer function
- optical system
- processing
- photoelectric conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 85
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000003287 optical effect Effects 0.000 claims abstract description 108
- 238000012546 transfer Methods 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 abstract description 28
- 238000011161 development Methods 0.000 description 25
- 238000011084 recovery Methods 0.000 description 8
- 230000004075 alteration Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、撮影により生成された画像に含まれる、撮影光学系による画像劣化成分を低減する画像処理技術に関する。 The present invention relates to an image processing technique for reducing an image degradation component by an imaging optical system included in an image generated by imaging.
デジタルカメラ等の撮像装置により撮影光学系を通して被写体を撮像して生成された画像には、撮影光学系（以下、単に光学系ともいう）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。 An image generated by imaging a subject through an imaging optical system such as a digital camera has spherical aberration, coma aberration, field curvature, astigmatism, etc. of the imaging optical system (hereinafter also simply referred to as an optical system). A blur component as an image degradation component due to the above is included. Such a blur component is generated when a light beam emitted from one point of a subject to be collected again at one point on the imaging surface when an aberration is not caused and there is no influence of diffraction is formed by forming an image with a certain spread.
ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。 The blur component here is optically represented by a point spread function (PSF) and is different from the blur due to the focus shift. In addition, color bleeding in a color image can also be said to be a difference in blurring for each wavelength of light with respect to axial chromatic aberration, chromatic spherical aberration, and chromatic coma aberration of the optical system.
画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系のＯＴＦの情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。 As a method for correcting a blur component of an image, a method for correcting the blur component using information of an optical transfer function (OTF) of an optical system is known. This method is called image restoration or image restoration. Hereinafter, the process of correcting (reducing) the blur component of the image using the OTF information of the optical system is called an image restoration process.
画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、ＯＴＦのフーリエペアであるＰＳＦをｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。ＨはＰＳＦをフーリエ変換したものであり、ＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。
The outline of the image restoration process is as follows. A degraded image (input image) including a blur component is denoted by g (x, y), and an original image that is not degraded is denoted by f (x, y). Further, a PSF which is a Fourier pair of OTF is set to h (x, y). At this time, the following equation holds. Here, * indicates convolution and (x, y) indicates coordinates on the image.
g (x, y) = h (x, y) * f (x, y)
Further, when the above equation is converted into a display format on a two-dimensional frequency plane by Fourier transformation, a product format for each frequency is obtained as in the following equation. H is a Fourier transform of PSF and is an OTF. (U, v) indicates the coordinates on the two-dimensional frequency plane, that is, the frequency.
G (u, v) = H (u, v) · F (u, v)
In order to obtain the original image from the deteriorated image, both sides may be divided by H as follows.
G (u, v) / H (u, v) = F (u, v)
A restored image corresponding to the original image f (x, y) is obtained by performing inverse Fourier transform on this F (u, v) and returning it to the actual surface.
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、以下の式で表されるウィナーフィルタ（Wiener filter）を用いて、画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。
１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）｜２＋Γ） …（ａ）
ウィナーフィルタを効果的に用いるためには、光学系の正確なＯＴＦのデータを得る必要がある。ＯＴＦデータを得る方法としては、例えば光学系の設計値の情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布に対してフーリエ変換を行うことでも求めることが可能である。
Here, assuming that the result of inverse Fourier transform of H −1 is R, the original image can be similarly obtained by performing convolution processing on the actual image as in the following equation.
g (x, y) * R (x, y) = f (x, y)
This R (x, y) is called an image restoration filter. Since an actual image has a noise component, using an image restoration filter created by taking the complete reciprocal of OTF as described above amplifies the noise component together with the deteriorated image, and generally a good image is obtained. I can't. Regarding this point, there is known a method of suppressing the recovery rate on the high frequency side of an image according to the intensity ratio between the image signal and the noise signal by using a Wiener filter represented by the following equation.
1 / H (u, v) * | H (u, v) | 2 / (| H (u, v) | 2 + Γ) (a)
In order to use the Wiener filter effectively, it is necessary to obtain accurate OTF data of the optical system. As a method for obtaining OTF data, for example, if there is information on design values of the optical system, it can be obtained by calculation from the information. It can also be obtained by photographing a point light source and performing Fourier transform on the intensity distribution.
一般に、撮像装置に用いられる光学系は、その光学特性（Ｆ値や収差等）が像高に応じて大きく変動する。このため、画像劣化成分を補正するためには、上記（ａ）式で表したウィナーフィルタをそのままの形で用いて周波数空間上で一括計算を行うことはできず、像高ごとに（ａ）式を実空間上のフィルタに変換して用いる必要がある。 In general, the optical characteristics (F value, aberration, and the like) of an optical system used in an imaging apparatus vary greatly depending on the image height. For this reason, in order to correct the image degradation component, it is not possible to perform batch calculation in the frequency space using the Wiener filter expressed by the above formula (a) as it is, and for each image height (a) It is necessary to convert the expression into a filter in the real space and use it.
ここで、データ量という観点から、ＯＴＦデータについて説明する。ＯＴＦデータは２次元データであり、実部と虚部を持つ。さらに、一般的な画像回復処理にＯＴＦデータを用いる場合、色成分をＲＧＢ３つの変数で持つことが多い。このため、１つの像高におけるＯＴＦデータは、ｘ方向のタップ数×ｙ方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となり、そのデータ量は多い。 Here, OTF data will be described from the viewpoint of data amount. OTF data is two-dimensional data and has a real part and an imaginary part. Further, when OTF data is used for general image restoration processing, the color component often has RGB three variables. Therefore, the OTF data at one image height is the number of taps in the x direction × the number of taps in the y direction × 2 (real part, imaginary part) × 3 (RGB), and the amount of data is large.
さらに、大きさが一定のイメージサークルを有する光学系に対して、該光学系により形成された被写体像の光電変換を行う撮像素子として様々な大きさのものが組み合わせ可能な撮像システムがある。このような撮像システムでは、それぞれの撮像素子の光電変換領域（撮像領域）の大きさに対応したＯＴＦデータが別々に必要となる。これにより、保持すべきデータ量が膨大になる。 Further, there is an imaging system in which an optical system having a constant size image circle can be combined with various sizes as an imaging device that performs photoelectric conversion of a subject image formed by the optical system. In such an imaging system, OTF data corresponding to the size of the photoelectric conversion area (imaging area) of each imaging element is required separately. As a result, the amount of data to be held becomes enormous.
画像回復技術の分野において、特許文献１には、光学系においてそれぞれ変化するズーム状態、デフォーカス量および絞り値に応じた画像回復フィルタを生成する手法が開示されている。 In the field of image restoration technology, Patent Document 1 discloses a method of generating an image restoration filter corresponding to a zoom state, a defocus amount, and an aperture value that change in an optical system.
しかしながら、従来では、光学系に対して様々な大きさの撮像素子を組み合わせることができる場合において、各組み合わせで画像回復処理を行うために予め保持すべき光学伝達関数のデータ量を低減させる効果的な手法は提案されていない。 However, conventionally, when image pickup devices of various sizes can be combined with the optical system, it is effective to reduce the amount of data of the optical transfer function to be held in advance for performing image restoration processing in each combination. No method has been proposed.
本発明は、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復処理を行うために予め保持すべき光学伝達関数のデータ量を低減させることができる画像処理方法、画像処理装置および画像処理プログラムを提供する。 The present invention enables image processing that can reduce the amount of data of an optical transfer function that should be held in advance to perform image restoration processing, even when image pickup devices of various sizes can be combined with a photographing optical system. A method, an image processing apparatus, and an image processing program are provided.
本発明の一側面としての画像処理プログラムは、コンピュータに、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を実行させる。該画像処理プログラムは、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、生成された画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。 An image processing program according to an aspect of the present invention is an input generated by shooting performed in combination with a shooting optical system and any one of a plurality of imaging elements having different photoelectric conversion areas. The image restoration process is executed on the image. The image processing program includes the steps of preparing data of an optical transfer function of the photographing optical system at a plurality of specific points in the image circle of the photographing optical system, the size of the image circle, and the image sensor used for generating the input image From the result of comparing the size of the photoelectric conversion area, a step of selecting the first number of specific points from among the plurality of specific points and generating an image restoration filter for each pixel based on the size of the photoelectric conversion area Determining an area to be processed and generating an optical transfer function in each of a second number of pixels greater than the first number in the area to be processed using an optical transfer function at the first number of specific points Generating an image restoration filter for each pixel from the optical transfer function at each of the second number of pixels, and generating the image restoration Characterized by a step of performing image restoration processing using a filter.
また、本発明の他の一側面としての画像処理方法は、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う。該画像処理方法は、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択するステップと、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、生成された画像回復フィルタを用いて画像回復処理を行うステップとを有することを特徴とする。 An image processing method according to another aspect of the present invention is generated by photographing performed in combination with a photographing optical system and any one of a plurality of imaging elements having different photoelectric conversion areas. Image restoration processing is performed on the input image. The image processing method includes the steps of preparing data of an optical transfer function of the photographing optical system at a plurality of specific points in the image circle of the photographing optical system, and the image sensor used for generating the size of the image circle and the input image From the result of comparing the size of the photoelectric conversion area, a step of selecting the first number of specific points from among the plurality of specific points and generating an image restoration filter for each pixel based on the size of the photoelectric conversion area Determining an area to be processed and generating an optical transfer function in each of a second number of pixels greater than the first number in the area to be processed using an optical transfer function at the first number of specific points Generating an image restoration filter for each pixel from the optical transfer function at each of the second number of pixels; and the generated image restoration filter Characterized by a step of performing image restoration processing using.
さらに、本発明の他の一側面としての画像処理装置は、撮影光学系と互いに光電変換領域の大きさが異なる複数の撮像素子のうちいずれか１つとを組み合わせて行われた撮影により生成された入力画像に対して画像回復処理を行う。該画像処理装置は、撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを記憶する記憶部と、イメージサークルの大きさと入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、複数の特定点のうち第１の数の特定点を選択する特定点選択部と、光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定する領域決定部と、第１の数の特定点における光学伝達関数を用いて、処理対象領域内における第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成する関数生成部と、第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するフィルタ生成部と、生成された画像回復フィルタを用いて画像回復処理を行う処理部とを有することを特徴とする。 Furthermore, an image processing apparatus according to another aspect of the present invention is generated by photographing performed in combination with a photographing optical system and any one of a plurality of imaging elements having different photoelectric conversion areas. Image restoration processing is performed on the input image. The image processing apparatus includes a storage unit that stores data of an optical transfer function of the photographing optical system at a plurality of specific points in the image circle of the photographing optical system, and the size of the image circle and the imaging used to generate the input image Based on the result of comparing the size of the photoelectric conversion region of the element, a specific point selection unit that selects the first number of specific points among the plurality of specific points, and an image for each pixel based on the size of the photoelectric conversion region Each of the second number of pixels larger than the first number in the processing target region using the region determination unit that determines the processing target region for generating the recovery filter and the optical transfer function at the first number of specific points A function generation unit that generates an optical transfer function in each of the pixels, a filter generation unit that generates an image restoration filter for each pixel from the optical transfer functions in each of the second number of pixels, and a generated image And having a processing unit that performs image restoration processing using a restoration filter.
なお、上記画像処理装置を内蔵した撮像装置も、本発明の他の一側面を構成する。 Note that an imaging apparatus incorporating the image processing apparatus also constitutes another aspect of the present invention.
本発明によれば、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復フィルタを作成する画素数（第２の数）よりも少ない数の特定点での光学伝達関数のデータを用意しておけば足りる。このため、画像回復処理を行うために予め用意（保持）すべき光学伝達関数のデータ量を低減させることができる。 According to the present invention, even when an image sensor of various sizes can be combined with the photographing optical system, the number of specific points at a number smaller than the number of pixels (second number) for creating the image restoration filter It is sufficient to prepare optical transfer function data. For this reason, it is possible to reduce the data amount of the optical transfer function to be prepared (held) in advance for performing the image restoration process.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１には、本発明の実施例１である画像処理方法の手順を示している。この画像処理方法は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に搭載されたコンピュータやパーソナルコンピュータにより、コンピュータプログラムである画像処理プログラムに従って実行される。ここでは、動作の主体を「コンピュータ」とする。 FIG. 1 shows the procedure of an image processing method that is Embodiment 1 of the present invention. This image processing method is executed by a computer or personal computer mounted on an imaging apparatus such as a digital video camera or a digital still camera according to an image processing program that is a computer program. Here, the subject of the operation is “computer”.
ステップ１０１において、コンピュータは、撮像装置により撮影光学系と、該撮影光学系により形成された被写体像を光電変換する撮像素子とを用いた撮影により生成された撮影画像（入力画像）を取得する。本実施例は、撮影光学系を有する交換レンズと、互いに光電変換領域の大きさが異なる複数の撮像素子（つまりは機種が異なる複数の撮像装置）のうちいずれか１つとを組み合わせて撮影が行われる撮影システムを想定している。 In step 101, the computer acquires a photographic image (input image) generated by photographing using a photographing optical system by the imaging device and an imaging element that photoelectrically converts a subject image formed by the photographing optical system. In this embodiment, imaging is performed by combining an interchangeable lens having an imaging optical system and any one of a plurality of imaging elements having different photoelectric conversion area sizes (that is, a plurality of imaging apparatuses having different models). Is assumed.
また、このステップにおいて、コンピュータは、撮影光学系のイメージサークル内における複数の特定点のそれぞれにおける該撮影光学系の光学伝達関数（ＯＴＦ）のデータを含むデータベースを用意する。具体的には、複数の特定点のＯＴＦデータをメモリ（記憶部）に記憶させて保持しておく。複数の特定点は、後に詳しく説明するが、例えばイメージサークル内において撮影光学系の光軸位置から延びる直線に沿った位置に設定することが望ましい。 Further, in this step, the computer prepares a database including data on the optical transfer function (OTF) of the photographing optical system at each of a plurality of specific points in the image circle of the photographing optical system. Specifically, OTF data of a plurality of specific points is stored in a memory (storage unit) and held. The plurality of specific points will be described in detail later. For example, it is desirable to set the specific points at positions along a straight line extending from the optical axis position of the photographing optical system in the image circle.
次にステップ１０２において、コンピュータは、取得した撮影画像に付加されている撮影光学系のイメージサークルの大きさ（例えば、直径）を示す情報と、撮像素子の光電変換領域の大きさ（例えば、対角長）を示す情報とを比較する。そして、ステップ１０３において、コンピュータは、これらの大きさの比較結果（大きさ比）に基づいて、ＯＴＦデータベースにＯＴＦデータが記憶されている複数の特定点のうち、第１の数の特定点を選択する。例えば、複数の特定点の数が１０個であり、大きさ比がほぼ１である（イメージサークルの直径と撮像素子の対角長とがほぼ一致する）場合は、全部である１０個（第１の数）の特定点を選択する。しかし、大きさ比がほぼ０．７である（イメージサークルの直径よりも撮像素子の対角長が３割ほど短い）場合は、１０の特定点のうち撮影光学系の光軸位置の側から７個（第１の数）の特定点を選択する。 Next, in step 102, the computer displays information indicating the size (for example, the diameter) of the image circle of the imaging optical system added to the acquired captured image and the size (for example, the size of the photoelectric conversion region of the image sensor). The information indicating the (angle length) is compared. In step 103, the computer selects a first number of specific points from among a plurality of specific points whose OTF data is stored in the OTF database based on the comparison result (size ratio) of these sizes. select. For example, when the number of the plurality of specific points is 10 and the size ratio is approximately 1 (the diameter of the image circle and the diagonal length of the image sensor substantially coincide), the total number is 10 (first 1) specific points. However, when the size ratio is approximately 0.7 (the diagonal length of the image sensor is about 30% shorter than the diameter of the image circle), the optical axis position side of the imaging optical system is selected from the 10 specific points. Seven (first number) specific points are selected.
また、このステップでは、コンピュータは、撮像素子の光電変換領域の大きさに基づいて、ＯＴＦ展開領域を決定する。ＯＴＦ展開領域とは、上述した第１の数の特定点におけるＯＴＦデータ（以下、特定ＯＴＦデータという）を用いて、撮影画像（光電変換領域）の全画素または一部の画素における画素ごとのＯＴＦデータを生成する領域を意味する。このＯＴＦ展開領域は、後述する画像回復フィルタを生成し、該画像回復フィルタを用いた画像回復処理を行う処理対象領域に相当する。 In this step, the computer determines the OTF development area based on the size of the photoelectric conversion area of the image sensor. The OTF development area is the OTF for each pixel in all or some of the pixels of the captured image (photoelectric conversion area) using the OTF data at the first number of specific points (hereinafter referred to as specific OTF data). It means the area where data is generated. This OTF development area corresponds to a processing target area for generating an image restoration filter to be described later and performing an image restoration process using the image restoration filter.
なお、撮影光学系（交換レンズ）の機種または個体を特定可能な光学系識別情報と、撮像素子の機種または個体を特定可能な撮像素子識別情報とから、撮影光学系のイメージサークルの大きさと撮像素子の光電変換領域の大きさとを知ることも可能である。 The size and image of the image circle of the photographic optical system are determined from the optical system identification information that can identify the model or individual of the photographing optical system (interchangeable lens) and the image sensor identification information that can identify the model or individual of the imaging element. It is also possible to know the size of the photoelectric conversion region of the element.
次にステップ１０４において、コンピュータは、ＯＴＦ展開領域内に２次元方向に離散的に設定された複数の代表点の光軸位置からの距離と方向に応じた変換処理を特定ＯＴＦデータに対して行い、該複数の代表点のそれぞれにおけるＯＴＦデータを生成する。言い換えれば、複数の代表点に特定ＯＴＦデータを展開する。 Next, in step 104, the computer performs conversion processing on the specific OTF data according to the distance and direction from the optical axis position of a plurality of representative points discretely set in the two-dimensional direction within the OTF expansion region. , OTF data at each of the plurality of representative points is generated. In other words, the specific OTF data is developed at a plurality of representative points.
そして、ステップ１０５において、コンピュータは、該複数の代表点のそれぞれにおけるＯＴＦデータを用いて（変換して）、これら代表点のそれぞれにおける画像回復フィルタを生成する。ここで生成する画像回復フィルタは、ウィナーフィルタが望ましい。ただし、ウィナーフィルタ以外の画像回復フィルタであってもよい。 In step 105, the computer uses (converts) the OTF data at each of the plurality of representative points to generate an image restoration filter at each of the representative points. The image restoration filter generated here is preferably a Wiener filter. However, an image restoration filter other than the Wiener filter may be used.
次に、ステップ１０６において、コンピュータは、複数の代表点の画像回復フィルタを用いて、ＯＴＦ展開領域内（つまりは処理対象領域内）の全画素、すなわち第１の数よりも多い第２の数の画素における画素ごとに画像回復フィルタを生成する。 Next, in step 106, the computer uses the image restoration filters of a plurality of representative points to use all the pixels in the OTF development area (that is, the processing target area), that is, the second number larger than the first number. An image restoration filter is generated for each pixel in the pixels.
そして、ステップ１０７において、コンピュータは、撮影画像におけるＯＴＦ展開領域（処理対象領域）の各画素に対して、画像回復フィルタを用いたコンボリューション処理を行う。これにより、ステップ１０８において、撮影画像（処理対象領域）に含まれる画像劣化成分であるぼけ成分が低減（補正）された回復画像が得られる。 In step 107, the computer performs convolution processing using an image restoration filter on each pixel in the OTF development region (processing target region) in the captured image. As a result, in step 108, a restored image is obtained in which the blur component, which is an image degradation component included in the captured image (processing target region), is reduced (corrected).
以下、上述した画像処理においてＯＴＦ展開領域を決定した後にコンピュータが行う処理の概要について、図２を用いて説明する。 Hereinafter, an outline of processing performed by the computer after determining the OTF development area in the above-described image processing will be described with reference to FIG.
図２（ａ）において、２０１は撮影光学系のイメージサークルを示す。Ｏはイメージサークルにおける撮影光学系の光軸位置に対応する中心である。２０２はＯＴＦデータベースにＯＴＦデータが記憶される複数の特定点を示しており、ここではイメージサークルの中心からイメージサークルの外周における特定の方位（角度方向）の１点に向かって延びる直線に沿って、所定の像高間隔で設定されている。そして、図２（ａ）中に矢印で示すように、これら特定点のＯＴＦデータ（特定ＯＴＦデータ）を、イメージサークルの中心回りの各方位に回転処理するとともに、水平方向と垂直方向で像高を合わせるように補間処理する。これにより、特定ＯＴＦデータを、図２（ｂ）に示すようにイメージサークルの全体（実際には、ＯＴＦ展開領域）に展開することができる。 In FIG. 2A, reference numeral 201 denotes an image circle of the photographing optical system. O is the center corresponding to the optical axis position of the imaging optical system in the image circle. Reference numeral 202 denotes a plurality of specific points where the OTF data is stored in the OTF database. Here, along a straight line extending from the center of the image circle to one point in a specific direction (angular direction) on the outer periphery of the image circle. Are set at predetermined image height intervals. Then, as indicated by arrows in FIG. 2A, the OTF data (specific OTF data) of these specific points is rotated in each direction around the center of the image circle, and the image height in the horizontal and vertical directions. Interpolate to match. Thereby, the specific OTF data can be developed over the entire image circle (actually, the OTF development region) as shown in FIG.
図２（ｂ）において、２０３は撮影光学系のイメージサークルであり、２０４は各方位および各像高に展開されたＯＴＦデータである。本実施例にて採用する回転処理を用いたＯＴＦデータ展開方法は、回転演算処理に加えて、像高方向での補間演算処理を必要とする。しかし、最初から図２（ｂ）に示すような多数のＯＴＦデータをデータベースとして保持する場合に比べて、保持すべきＯＴＦデータ（特定ＯＴＦデータ）のデータ量を低減することができる。 In FIG. 2B, 203 is an image circle of the photographing optical system, and 204 is OTF data developed in each direction and each image height. The OTF data expansion method using rotation processing employed in this embodiment requires interpolation calculation processing in the image height direction in addition to rotation calculation processing. However, the amount of OTF data to be held (specific OTF data) can be reduced compared to the case where a large number of OTF data as shown in FIG.
なお、回転処理によりＯＴＦデータが生成される画素はＯＴＦ展開領域の全画素であってもよいし、少なくとも一部の画素であってもよい。 Note that the pixels for which the OTF data is generated by the rotation process may be all the pixels in the OTF development area, or at least some of the pixels.
ここで、本実施例では、特定ＯＴＦデータを回転処理する場合には、該回転処理によってナイキスト周波数内でのデータ欠落が生じないような方法を採る。これを、図３を用いて説明する。 Here, in this embodiment, when the specific OTF data is rotated, a method is adopted in which no data is lost within the Nyquist frequency by the rotation. This will be described with reference to FIG.
図３（ａ）において、３０１はＯＴＦデータベースから選択された特定ＯＴＦデータを示しており、３０２は特定ＯＴＦデータの周波数帯域を示しており、Ｎ×Ｎタップ３０３により構成されている。なお、ＯＴＦデータは複素数であるため、そのプロファイルを図示することはできないが、説明のために実部の周波数空間プロファイルを図示している。 In FIG. 3A, 301 indicates specific OTF data selected from the OTF database, 302 indicates the frequency band of the specific OTF data, and includes N × N taps 303. Since the OTF data is a complex number, its profile cannot be shown, but the frequency space profile of the real part is shown for explanation.
図３（ｂ）は、図３（ａ）に示した特定ＯＴＦデータ３０１をイメージサークルの中心回りでθ度だけ回転させて得られるＯＴＦデータ３０６を示している。この回転処理後のＯＴＦデータ３０６では、使用される周波数帯域３０５内の四隅３０４のデータが欠落する。このため、回転処理前の特定ＯＴＦデータ３０１の周波数帯域と等しい周波数帯域３０５を、等しいタップ数（Ｎ×Ｎタップ）で使用することができない。 FIG. 3B shows OTF data 306 obtained by rotating the specific OTF data 301 shown in FIG. 3A around the center of the image circle by θ degrees. In the OTF data 306 after the rotation processing, data at the four corners 304 in the frequency band 305 to be used are missing. For this reason, the frequency band 305 equal to the frequency band of the specific OTF data 301 before the rotation process cannot be used with the same number of taps (N × N taps).
そこで本実施例では、図３（ｃ）に示すように、回転処理前の周波数帯域として、回転処理後に使用される周波数帯域３０８内（ナイキスト周波数内）でのデータ欠落が生じない広い周波数帯域３０７を有するＯＴＦデータを、特定ＯＴＦデータとして使用する。 Therefore, in this embodiment, as shown in FIG. 3 (c), as a frequency band before the rotation process, a wide frequency band 307 in which no data is lost in the frequency band 308 (in the Nyquist frequency) used after the rotation process. Is used as the specific OTF data.
図２（ｃ）には、互いに大きさが異なるＯＴＦ展開領域の代表点にＯＴＦデータを展開する例を示している。２０５は撮影光学系のイメージサークルを示している。２０６は第１の撮像素子の光電変換領域の大きさに対応した第１のＯＴＦ展開領域を示している。また、２０７は第２の撮像素子の光電変換領域の大きさに対応した第２のＯＴＦ展開領域を示している。第２の撮像素子の光電変換領域は、第１の撮像素子の光電変換領域よりも大きさが小さく、これに対応して、第２のＯＴＦ展開領域２０７は第１のＯＴＦ展開領域２０６よりも狭い。 FIG. 2C shows an example in which OTF data is developed at representative points in OTF development areas having different sizes. Reference numeral 205 denotes an image circle of the photographing optical system. Reference numeral 206 denotes a first OTF development area corresponding to the size of the photoelectric conversion area of the first image sensor. Reference numeral 207 denotes a second OTF development area corresponding to the size of the photoelectric conversion area of the second image sensor. The photoelectric conversion area of the second image sensor is smaller in size than the photoelectric conversion area of the first image sensor. Correspondingly, the second OTF development area 207 is larger than the first OTF development area 206. narrow.
撮影光学系を有する交換レンズに、第１の撮像素子が搭載された撮像装置が組み合わされた場合は、図２（ａ）に示す形態でメモリに保持された特定ＯＴＦデータ２０２は、第１のＯＴＦ展開領域２０６内の代表点２０８にまず展開され、その後、第１のＯＴＦ展開領域２０６内の全画素に展開される。そして、全画素に展開されたＯＴＦデータから第１のＯＴＦ展開領域２０６内の画素ごとに画像回復フィルタが生成される。 When an image pickup apparatus equipped with the first image pickup device is combined with an interchangeable lens having a photographing optical system, the specific OTF data 202 held in the memory in the form shown in FIG. The image is first developed at the representative point 208 in the OTF development area 206, and then developed to all pixels in the first OTF development area 206. Then, an image restoration filter is generated for each pixel in the first OTF development area 206 from the OTF data developed for all pixels.
また、上記交換レンズに、第２の撮像素子が搭載された撮像装置が組み合わされた場合は、図２（ａ）に示す形態でメモリに保持された特定ＯＴＦデータ２０２は、第２のＯＴＦ展開領域２０７内の代表点２０９にまず展開され、その後、第２のＯＴＦ展開領域２０７内の全画素に展開される。そして、全画素に展開されたＯＴＦデータから第２のＯＴＦ展開領域２０７内の画素ごとに画像回復フィルタが生成される。 In addition, when an image pickup apparatus equipped with a second image pickup device is combined with the interchangeable lens, the specific OTF data 202 held in the memory in the form shown in FIG. The image is first developed at the representative point 209 in the area 207 and then developed to all the pixels in the second OTF development area 207. Then, an image restoration filter is generated for each pixel in the second OTF development area 207 from the OTF data developed for all pixels.
図４には、本実施例において、撮影画像の全体に対して画像回復処理が行われる場合の処理の概要を示している。図４（ａ）において、４０１は撮影画像内の代表点に対して生成された（展開された）ＯＴＦデータである。 FIG. 4 shows an outline of processing when image restoration processing is performed on the entire captured image in the present embodiment. In FIG. 4A, 401 is OTF data generated (expanded) for a representative point in a captured image.
図４（ｂ）において、４０２は各代表点のＯＴＦデータから生成された画像回復フィルタである。図４（ｃ）において、４０３は代表点以外の各点（各画素）に対して生成された画像回復フィルタである。代表点以外の各点では、その近傍の代表点の画像回復フィルタをそのまま使用してもよいし、近傍の複数の代表点の画像回復フィルタを用いた補間処理等により生成した画像回復フィルタを使用してもよい。 In FIG. 4B, reference numeral 402 denotes an image restoration filter generated from the OTF data of each representative point. In FIG. 4C, reference numeral 403 denotes an image restoration filter generated for each point (each pixel) other than the representative point. At each point other than the representative point, the image restoration filter of the neighboring representative point may be used as it is, or an image restoration filter generated by interpolation processing using the image restoration filter of a plurality of neighboring representative points is used. May be.
以上説明したように、本実施例によれば、撮影光学系に対して様々な大きさの撮像素子を組み合わせることができる場合でも、画像回復フィルタを作成する画素数（第２の数）よりも少ない数の特定点でのＯＴＦデータを保持（用意）しておけば足りる。このため、画像回復処理を行うために予め保持すべきＯＴＦデータ量を低減させることができる。 As described above, according to the present embodiment, even when an image pickup device of various sizes can be combined with the photographing optical system, the number of pixels for creating the image restoration filter (second number) is more than that. It is sufficient to store (prepare) OTF data at a small number of specific points. For this reason, it is possible to reduce the amount of OTF data to be held in advance for performing the image restoration process.
なお、図４（ｂ）および図４（ｃ）において、代表点以外の各点（各画素）に対して生成された画像回復フィルタを用いて、代表点以外の各点の画像回復フィルタを作成したが、本発明はこれに限られない。図４（ａ）において、生成された（展開された）ＯＴＦデータを補間処理することにより代表点以外の各点のＯＴＦデータを生成し、そのＯＴＦデータをフーリエ変換することにより代表点以外の各点の画像回復フィルタとしてもよい。 4B and 4C, an image restoration filter for each point other than the representative point is created using the image restoration filter generated for each point (each pixel) other than the representative point. However, the present invention is not limited to this. In FIG. 4A, OTF data of each point other than the representative point is generated by performing interpolation processing on the generated (development) OTF data, and each OTF data other than the representative point is Fourier-transformed. A point image restoration filter may be used.
図５には、実施例１にて説明した画像処理方法（画像処理プログラム）を実行するコンピュータ、つまりは画像処理装置を内蔵した撮像装置を含む撮像システムを示している。 FIG. 5 shows an imaging system including a computer that executes the image processing method (image processing program) described in the first embodiment, that is, an imaging apparatus incorporating the image processing apparatus.
５０１は撮影光学系であり、複数のレンズ（変倍レンズやフォーカスレンズ）５０１ｂと絞り５０１ａとを含む。レンズ５０１ｂは、光学系制御部５０６により光軸方向に移動されて、変倍や焦点調節を行う。絞り５０１ａは、光学系制御部５０６により絞り開口径が変更されて光量調節を行う。 Reference numeral 501 denotes a photographing optical system, which includes a plurality of lenses (a variable magnification lens and a focus lens) 501b and a diaphragm 501a. The lens 501b is moved in the optical axis direction by the optical system control unit 506 to perform zooming and focus adjustment. The diaphragm 501a adjusts the light amount by changing the diaphragm aperture diameter by the optical system controller 506.
撮影光学系５０１および光学系制御部５０６を含む交換レンズは、撮像素子５０２を含む撮像装置に対して着脱可能に装着される。本実施例では、撮影光学系５０１に対して、光電変換領域の大きさが互いに異なる撮像素子を備えた複数の撮像装置（つまりは複数の撮像素子）のいずれか１つを組み合わせることができる。 An interchangeable lens including the imaging optical system 501 and the optical system control unit 506 is detachably attached to an imaging apparatus including the imaging element 502. In this embodiment, any one of a plurality of image pickup apparatuses (that is, a plurality of image pickup elements) including image pickup elements having different photoelectric conversion area sizes can be combined with the photographing optical system 501.
撮像装置において、状態検出部５０７は、撮影光学系５０１の焦点距離（ズーム位置）、絞り開口径（絞り値）およびフォーカスレンズ位置（被写体距離）等の状態を検出し、検出した各状態を画像処理部５０４に送る。画像処理部５０４は、検出された撮影光学系５０１の状態に応じた画像回復フィルタを生成する。 In the imaging apparatus, the state detection unit 507 detects states such as a focal length (zoom position), an aperture diameter (aperture value), and a focus lens position (subject distance) of the photographing optical system 501, and images the detected states. The data is sent to the processing unit 504. The image processing unit 504 generates an image restoration filter corresponding to the detected state of the photographing optical system 501.
撮像素子５０２は、撮影光学系５０１により形成された被写体像を光電変換し、アナログ撮像信号（出力信号）を出力する。アナログ撮像信号は、Ａ／Ｄ変換部５０３にてデジタル撮像信号に変換され、画像処理部５０４に入力される。画像処理部５０４は、デジタル撮像信号に対して各種画像処理を行い、撮影画像を生成する。画像処理部５０４は、実施例１にて説明したコンピュータに相当し、生成された撮影画像に対して、実施例１にて説明した画像回復処理を行う。記憶部５０８は、撮影光学系５０１のイメージサークル内の複数の特定点における撮影光学系５０１のＯＴＦデータを記憶するメモリとして機能する。画像処理部５０４と記憶部５０８とにより画像処理装置が構成される。 The image sensor 502 photoelectrically converts the subject image formed by the photographing optical system 501 and outputs an analog image signal (output signal). The analog imaging signal is converted into a digital imaging signal by the A / D conversion unit 503 and input to the image processing unit 504. The image processing unit 504 performs various types of image processing on the digital imaging signal to generate a captured image. The image processing unit 504 corresponds to the computer described in the first embodiment, and performs the image restoration processing described in the first embodiment on the generated captured image. The storage unit 508 functions as a memory that stores OTF data of the photographing optical system 501 at a plurality of specific points in the image circle of the photographing optical system 501. The image processing unit 504 and the storage unit 508 constitute an image processing apparatus.
画像処理部５０４には、特定点選択部５０４ａと、領域決定部５０４ｂと、関数生成部５０４ｃと、フィルタ生成部５０４ｄと、回復処理部５０４ｅとが設けられている。特定点選択部５０４ａは、イメージサークルの大きさと撮影画像の生成に用いられた撮像素子５０２の光電変換領域の大きさとを比較した結果から、第１の数の特定点を選択する。 The image processing unit 504 includes a specific point selection unit 504a, a region determination unit 504b, a function generation unit 504c, a filter generation unit 504d, and a recovery processing unit 504e. The specific point selection unit 504a selects the first number of specific points based on the result of comparing the size of the image circle with the size of the photoelectric conversion region of the image sensor 502 used to generate the captured image.
また、領域決定部５０４ｂは、撮像素子５０２の光電変換領域の大きさに基づいてＯＴＦ展開領域（処理対象領域）を決定する。関数生成部５０４ｃは、第１の数の特定点におけるＯＴＦデータ（特定ＯＴＦデータ）を用いて、ＯＴＦ展開領域内における第１の数より多い第２の数の画素のそれぞれにおけるＯＴＦデータを生成する。すなわち、実施例１にいう、特定ＯＴＦデータを展開する。 In addition, the region determination unit 504b determines an OTF development region (processing target region) based on the size of the photoelectric conversion region of the image sensor 502. The function generation unit 504c uses the OTF data at the first number of specific points (specific OTF data) to generate OTF data for each of the second number of pixels larger than the first number in the OTF expansion region. . That is, the specific OTF data referred to in the first embodiment is developed.
なお、実施例１では、特定ＯＴＦデータをまずＯＴＦ展開領域内の代表点に展開し、さらに代表点のＯＴＦデータをＯＴＦ展開領域内の全画素に展開する場合について説明した。しかし、特定ＯＴＦデータを、代表点への展開を経ることなく、直接、ＯＴＦ展開領域内の全画素に展開するようにしてもよい。 In the first embodiment, the specific OTF data is first developed at the representative points in the OTF development area, and the OTF data of the representative points is further developed at all pixels in the OTF development area. However, the specific OTF data may be directly developed on all pixels in the OTF development area without being developed to the representative points.
フィルタ生成部５０４ｄは、ＯＴＦ展開領域内の全画素に対して、画素ごとにＯＴＦデータから画像回復フィルタを生成する。このとき、フィルタ生成部５０４ｄは、状態検出部５０７を通じて検出された撮影光学系５０１の状態に応じた画像回復フィルタを生成する。 The filter generation unit 504d generates an image restoration filter from the OTF data for each pixel for all the pixels in the OTF development area. At this time, the filter generation unit 504d generates an image restoration filter corresponding to the state of the photographing optical system 501 detected through the state detection unit 507.
そして、回復処理部５０４ｅは、ＯＴＦ展開領域内の全画素に対して、画素ごとの画像回復フィルタを用いた画像回復処理を行う。 Then, the recovery processing unit 504e performs image recovery processing using an image recovery filter for each pixel on all the pixels in the OTF development area.
画像処理部５０４から出力された画像（回復画像）は、表示部５０５に表示されたり、画像記録媒体５０９に記録されたりする。 The image (recovered image) output from the image processing unit 504 is displayed on the display unit 505 or recorded on the image recording medium 509.
システムコントローラ５１０は、撮像装置における画像処理部５０４の動作、状態検出部５０７の動作、表示部５０５の画像表示および画像記録媒体５０９への画像記録を制御するとともに、光学系制御部５０６を介して撮影光学系５０１の動作を制御する。 The system controller 510 controls the operation of the image processing unit 504, the operation of the state detection unit 507, the image display of the display unit 505, and the image recording on the image recording medium 509 in the imaging apparatus, and via the optical system control unit 506. The operation of the photographing optical system 501 is controlled.
上記実施例２では、画像処理装置を内蔵した撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像（入力画像）を取得し、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。 In the second embodiment, the imaging apparatus incorporating the image processing apparatus has been described. However, the image processing method of the present invention can also be implemented by an image processing program installed in a personal computer. In this case, the personal computer corresponds to the image processing apparatus. The personal computer acquires a captured image (input image) before image recovery processing generated by the imaging device, performs image recovery processing by an image processing program, and outputs the recovered image obtained as a result.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
撮影により生成された画像に対する画像回復処理を行う画像処理装置および撮像装置を提供できる。 It is possible to provide an image processing apparatus and an imaging apparatus that perform an image restoration process on an image generated by photographing.
５０１ 撮影光学系
５０２ 撮像素子
５０４ 画像処理部
501 Imaging optical system 502 Image sensor 504 Image processing unit
Claims (6)
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、
前記イメージサークルの大きさと前記入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択するステップと、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、
前記第１の数の特定点における光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、
前記第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、
生成された画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理プログラム。 Image processing for causing a computer to perform image restoration processing on an input image generated by photographing performed by combining any one of a plurality of imaging elements having different photoelectric conversion areas with a photographing optical system A program,
Preparing data of an optical transfer function of the photographing optical system at a plurality of specific points in an image circle of the photographing optical system;
Selecting from the result of comparing the size of the photoelectric conversion area of an imaging device used to generate the magnitude and the input image of the image circle, a specific point of the first number of the plurality of specific points When,
Determining a processing target region for generating an image restoration filter for each pixel based on the size of the photoelectric conversion region;
Using put that light science transfer function to a specific point of the first number, and generates an optical science transfer function that put each of the pixels of the first second number greater than the number of the processing target area Steps,
And generating the images restoration filters for each pixel from the put that light science transfer function to each of the second number of pixels,
The image processing program characterized by including a step of performing the image restoration processing using the generated images restoration filter.
前記複数の特定点のそれぞれにおける前記光学伝達関数のデータは、該回転処理によってナイキスト周波数内でのデータ欠落が生じない周波数帯域を有するデータであることを特徴とする請求項１に記載の画像処理プログラム。 Wherein at least a part of the optical science transfer function that put the second number of pixels, generated by the rotation processing to put that light science transfer function to a specific point of the first number,
2. The image processing according to claim 1, wherein the data of the optical transfer function at each of the plurality of specific points is data having a frequency band in which data loss does not occur within the Nyquist frequency by the rotation processing. program.
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを用意するステップと、
前記イメージサークルの大きさと前記入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択するステップと、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定するステップと、
前記第１の数の特定点における光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成するステップと、
前記第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するステップと、
生成された画像回復フィルタを用いて前記画像回復処理を行うステップとを有することを特徴とする画像処理方法。 An image processing method for performing image restoration processing on an input image generated by photographing performed by combining any one of a plurality of imaging elements having different photoelectric conversion area sizes with a photographing optical system. ,
Preparing data of an optical transfer function of the photographing optical system at a plurality of specific points in an image circle of the photographing optical system;
Selecting from the result of comparing the size of the photoelectric conversion area of an imaging device used to generate the magnitude and the input image of the image circle, a specific point of the first number of the plurality of specific points When,
Determining a processing target region for generating an image restoration filter for each pixel based on the size of the photoelectric conversion region;
Using put that light science transfer function to a specific point of the first number, and generates an optical science transfer function that put each of the pixels of the first second number greater than the number of the processing target area Steps,
And generating the images restoration filters for each pixel from the put that light science transfer function to each of the second number of pixels,
Image processing method characterized by a step of performing the image restoration processing using the generated images restoration filter.
前記撮影光学系のイメージサークル内における複数の特定点における該撮影光学系の光学伝達関数のデータを記憶する記憶部と、
前記イメージサークルの大きさと前記入力画像の生成に用いられた撮像素子の光電変換領域の大きさとを比較した結果から、前記複数の特定点のうち第１の数の特定点を選択する特定点選択部と、
前記光電変換領域の大きさに基づいて、画素ごとの画像回復フィルタを生成する処理対象領域を決定する領域決定部と、
前記第１の数の特定点における光学伝達関数を用いて、前記処理対象領域内における前記第１の数より多い第２の数の画素のそれぞれにおける光学伝達関数を生成する関数生成部と、
前記第２の数の画素のそれぞれにおける光学伝達関数から該画素ごとの画像回復フィルタを生成するフィルタ生成部と、
生成された画像回復フィルタを用いて前記画像回復処理を行う処理部とを有することを特徴とする画像処理装置。 An image processing apparatus that performs an image restoration process on an input image generated by photographing performed by combining any one of a plurality of imaging elements having different photoelectric conversion area sizes with a photographing optical system. ,
A storage unit for storing data of an optical transfer function of the photographing optical system at a plurality of specific points in an image circle of the photographing optical system;
Particular be selected from the result of comparing the size of the photoelectric conversion area of an imaging device used to generate the magnitude and the input image of the image circle, a specific point of the first number of the plurality of specific points A point selector,
Based on the size of the photoelectric conversion region, a region determination unit that determines a processing target region for generating an image restoration filter for each pixel;
Using put that light science transfer function to a specific point of the first number, and generates an optical science transfer function that put each of the pixels of the first second number greater than the number of the processing target area A function generator,
A filter generation unit that generates images restoration filters for each pixel from the put that light science transfer function to each of the second number of pixels,
The image processing apparatus characterized by having a processing unit that performs the image restoration processing using the generated images restoration filter.
該撮像素子からの出力信号を用いて生成された入力画像に対して画像回復処理を行う請求項５に記載の画像処理装置とを有することを特徴とする撮像装置。 An image sensor that photoelectrically converts a subject image formed by the photographing optical system;
An image processing apparatus comprising: the image processing apparatus according to claim 5, wherein an image restoration process is performed on an input image generated using an output signal from the image sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011168468A JP5344647B2 (en) | 2011-08-01 | 2011-08-01 | Image processing method, image processing apparatus, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011168468A JP5344647B2 (en) | 2011-08-01 | 2011-08-01 | Image processing method, image processing apparatus, and image processing program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013034068A JP2013034068A (en) | 2013-02-14 |
| JP2013034068A5 JP2013034068A5 (en) | 2013-08-01 |
| JP5344647B2 true JP5344647B2 (en) | 2013-11-20 |
Family
ID=47789580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011168468A Expired - Fee Related JP5344647B2 (en) | 2011-08-01 | 2011-08-01 | Image processing method, image processing apparatus, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5344647B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6124849B2 (en) * | 2013-10-09 | 2017-05-10 | キヤノン株式会社 | Image processing method, imaging apparatus using the same, image processing apparatus, and image processing program |
| CN108886575B (en) * | 2016-03-17 | 2019-11-26 | 富士胶片株式会社 | Image processing apparatus, image processing system and image processing method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3876724B2 (en) * | 2002-02-18 | 2007-02-07 | コニカミノルタフォトイメージング株式会社 | Camera system and photographing lens |
| JP2006121384A (en) * | 2004-10-21 | 2006-05-11 | Canon Inc | Imaging device |
| JP2007034141A (en) * | 2005-07-29 | 2007-02-08 | Olympus Imaging Corp | Camera system and lens unit |
| JP5448715B2 (en) * | 2009-10-22 | 2014-03-19 | キヤノン株式会社 | Imaging apparatus and control method thereof |
-
2011
- 2011-08-01 JP JP2011168468A patent/JP5344647B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013034068A (en) | 2013-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5414752B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP4942216B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and program | |
| JP5824297B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| JP5274623B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| JP5388671B2 (en) | Imaging apparatus and image conversion method | |
| JP5991749B2 (en) | Image processing apparatus and method | |
| JP6045185B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5730036B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program. | |
| JP2012146281A (en) | Image processing apparatus, image processing method and program, and image processing system | |
| JP2015115733A (en) | Image processing method, image processor, imaging device, and image processing program | |
| JP5268533B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5344647B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP5425135B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2019036115A (en) | Image processing method, image processing device, imaging device, and program | |
| JP5425136B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP2020030569A (en) | Image processing method, image processing device, imaging device, lens device, program, and storage medium | |
| JP5820650B2 (en) | Imaging device | |
| JP2016119532A (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP5611439B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP6537228B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2017028583A (en) | Image processor, imaging apparatus, image processing method, image processing program, and storage medium | |
| JP2015198380A (en) | Image processing system, imaging apparatus, image processing program, and image processing method | |
| JP2015119428A (en) | Image processing method, image processor, imaging device, image processing program, and storage medium | |
| JP2017123532A (en) | Image processing device, imaging device, image processing method, image processing program and recording medium | |
| JP6552375B2 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, AND IMAGE PROCESSING PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130618 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130618 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130618 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130808 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5344647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |