JP5479187B2 - Image processing apparatus and imaging apparatus using the same - Google Patents
Image processing apparatus and imaging apparatus using the same Download PDFInfo
- Publication number
- JP5479187B2 JP5479187B2 JP2010082806A JP2010082806A JP5479187B2 JP 5479187 B2 JP5479187 B2 JP 5479187B2 JP 2010082806 A JP2010082806 A JP 2010082806A JP 2010082806 A JP2010082806 A JP 2010082806A JP 5479187 B2 JP5479187 B2 JP 5479187B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recovery
- color
- adjustment coefficient
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は画像処理に関する発明であり、特に画像を回復(復元)処理するものに関する。 The present invention relates to image processing, and more particularly to an image restoration (restoration) process.
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な画像処理装置及びその方法が提案されている。デジタルカメラで被写体を撮像して得られた画像は撮像光学系の収差によって、収差の影響を取り除いた画像に比べその画質は劣化している。その劣化の例として、画像のぼけや、波長ごとのぼけ方の相違により生じる色付きが挙げられる。画像のぼけは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因であり、色付きは、撮像光学系の軸上色収差、色の球面収差、色のコマ収差、倍率色収差等が原因である。光学的には、このぼけは点像分布関数(PSF)とも呼ばれる。 Along with the digitization of information, various image processing apparatuses and methods for photographed images have been proposed by handling images as signal values. An image obtained by imaging a subject with a digital camera has deteriorated in image quality due to the aberration of the imaging optical system as compared with an image from which the influence of the aberration is removed. Examples of the deterioration include blurring of an image and coloring caused by a difference in blurring method for each wavelength. Image blur is caused by spherical aberration, coma, field curvature, astigmatism, etc. of the imaging optical system. Colored is axial chromatic aberration, color spherical aberration, color coma, magnification of the imaging optical system. This is due to chromatic aberration. Optically, this blur is also called a point spread function (PSF).
このような画像のぼけを補正する方法として、撮像光学系の光学伝達関数(OTF)の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以下この撮像光学系の光学伝達関数(OTF)の情報を用いて画像の劣化を補正する処理を画像回復処理と記す。 As a method for correcting such blurring of an image, there is known a method of correcting using information on an optical transfer function (OTF) of an imaging optical system. This method is called “image restoration” and “image restoration”. Hereinafter, processing for correcting image degradation using information on the optical transfer function (OTF) of the imaging optical system will be referred to as image restoration processing.
画像回復処理に用いられるフィルタとして、画像信号とノイズ信号の強度比(SNR)に応じて回復度合いを制御するウィナーフィルタが知られている。 As a filter used for image restoration processing, a Wiener filter that controls the degree of restoration according to the intensity ratio (SNR) of an image signal and a noise signal is known.
特許文献1では、回復度合いを調整するために、画像回復フィルタにパラメータαを用いている。調整パラメータαにより、何も作用しないフィルタ(α=0)から逆フィルタ(α=1)に変化するように構成しているため、元の撮影画像から最大に回復した画像までの範囲で画像の回復度合いが調整可能になる。
In
画像回復処理ではないが、特許文献2には、倍率色収差のみを補正する方法として画像回復フィルタを用いずに画像のぼけと色付きを分離し、画素の信号値の座標に関する幾何変換処理と画素補間処理を用いて補正する方法が開示されている。 Although not image restoration processing, Patent Document 2 discloses that as a method of correcting only chromatic aberration of magnification, blurring and coloring of an image are separated without using an image restoration filter, and geometric conversion processing and pixel interpolation are performed on the coordinates of pixel signal values. A method of correcting using processing is disclosed.
しかしながら、従来の技術では画像回復処理と倍率色収差補正の相互の作用が考慮されていなかったので、画像処理を行ったにも関わらず色付きが発生してしまう場合があった。 However, in the conventional technology, since the mutual action of the image restoration processing and the magnification chromatic aberration correction is not taken into consideration, coloring may occur even though the image processing is performed.
そこで、本発明は色付きを低減させた、より良質な画像を得ることが可能な画像処理装置を提供することを課題とする。
偽色とは、画像処理により生じてしまった色付きである。
Accordingly, an object of the present invention is to provide an image processing apparatus capable of obtaining a higher quality image with reduced coloring.
The false color is a color generated by image processing.
上記課題を解決するために、本発明は、
複数の色成分を有する入力画像を回復処理する画像回復処理手段と、
前記入力画像と回復処理した回復画像の差分情報を取得する差分情報取得手段と、
前記回復処理における回復度合いを調整するための調整係数を設定する調整係数設定手段と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する回復調整画像生成手段と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する倍率色収差補正手段を有することを特徴とする。
In order to solve the above problems, the present invention provides:
Image restoration processing means for restoring an input image having a plurality of color components;
Difference information acquisition means for acquiring difference information between the input image and the recovered image subjected to the recovery process;
Adjustment coefficient setting means for setting an adjustment coefficient for adjusting the degree of recovery in the recovery process;
Recovery adjustment image generation means for generating a recovery adjustment image by combining the difference information according to the adjustment coefficient with respect to the input image;
Magnification chromatic aberration correction means for adjusting a correction amount of chromatic aberration of magnification with respect to the input image or the restoration adjustment image according to the adjustment coefficient.
本発明の効果は、倍率色収差補正量を回復度合いに応じて調整することにより、高画質な出力画像を得ることができる点にある。 The effect of the present invention is that a high-quality output image can be obtained by adjusting the magnification chromatic aberration correction amount according to the degree of recovery.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
まず、具体的な実施例の説明に先立って、各実施例に用いられる画像処理技術について説明する。 First, prior to description of specific embodiments, image processing techniques used in the embodiments will be described.
本発明の画像処理装置の機能ブロック図例を図1に示す。本発明の画像処理装置は画像回復処理手段11、差分情報取得手段12、調整係数設定手段13、倍率色収差補正処理手段14、回復調整画像生成処理手段15を有する。
An example of a functional block diagram of the image processing apparatus of the present invention is shown in FIG. The image processing apparatus of the present invention includes an image restoration processing unit 11, a difference information acquisition unit 12, an adjustment
次に、上記各手段について図2を用いて説明する。図2は画像処理の流れを示し、符号g,f,fd,S,Sdは各工程における画像を表している。各符号の付帯記号mは、画像の色成分を表している。例えば、画像がR、G、B(赤、青、黄)の色成分を有する場合、Amは(AR,AG,AB)であり、(AのR成分、AのG成分、AのB成分)を表している。 Next, each means will be described with reference to FIG. FIG. 2 shows a flow of image processing, and symbols g, f, fd, S, and Sd represent images in each process. The supplementary symbol m of each symbol represents the color component of the image. For example, if the image has R, G, B (red, blue, yellow) color components, Am is (A R , A G , A B ), and (A R component, A G component, B component of A).
まず、画像回復処理手段11はRGBの色成分を有する入力画像gmに対して各色成分ごとに画像回復フィルタを用いて画像回復処理を行い、1次回復画像fdmを得る。 First, the image restoration processing means 11 performs an image restoration process on the input image g m having RGB color components by using an image restoration filter for each color component to obtain a primary restored image fd m .
次に差分情報取得手段12は、この1次回復画像fdmから元の入力画像gmを式1のように対応する画素ごとに信号値を減算することで、色成分ごとの回復成分情報Sm(差分情報)を生成する。
Then difference data acquisition means 12, an original input image g m from the primary restored image fd m by subtracting a signal value for each corresponding pixel as shown in
次に、回復成分情報Smを3×3の係数要素を有する行列として表現できる色合成比調整係数ωに応じて合成し、色合成回復成分情報Sdmを生成する。色合成調整係数ωは調整係数設定手段13により設定される。図2のωの付帯記号は、ωABのとき、色成分A用の色合成回復成分情報SdAを生成するための色成分Bの色合成比調整係数を表している。例としてR成分の色合成回復成分情報SdRの生成について説明する。R用の色合成回復成分情報SdRは、R,G,Bの各回復成分情報SR,SG,SBの各画素の信号値に、色合成比調整係数ωRR,ωRG,ωRBをそれぞれ掛け合わせて、色成分間で合成することで生成される。合成とは、複数の画像の対応する画素ごとの信号値を加算してひとつの画像を生成することである。そして、他の色成分についても同様の処理を行うことで、色合成回復成分情報が生成される。よって、色合成回復成分情報Sdmの生成は式2として表現できる。式2のnに関するΣはR,G,Bについて和をとることを表している。 Next, synthesized in accordance with the color combination ratio adjustment factor ω that can represent the recovery component information S m as a matrix having coefficients elements 3 × 3, and generates a color combining restoration component information Sd m. The color composition adjustment coefficient ω is set by the adjustment coefficient setting means 13. 2 represents the color composition ratio adjustment coefficient of the color component B for generating the color composition recovery component information Sd A for the color component A when ω AB . As an example, generation of the R component color synthesis recovery component information Sd R will be described. The color synthesis recovery component information Sd R for R includes the color synthesis ratio adjustment coefficients ω RR , ω RG , ω and the signal values of the respective R, G, B recovery component information S R , S G , S B. It is generated by multiplying each RB and combining between the color components. Combining is to generate a single image by adding signal values for corresponding pixels of a plurality of images. Then, the same process is performed for the other color components, thereby generating color synthesis recovery component information. Therefore, generation of the color combining restoration component information Sd m can be expressed as Equation 2. Σ relating to n in Equation 2 represents taking the sum of R, G, and B.
つまり、差分情報を、入力画像と回復画像の前記色成分ごとの差分量を色成分の混合比を示す色合成比調整係数に応じて合成することで取得する。 That is, the difference information is acquired by combining the difference amount for each color component between the input image and the restored image according to the color composition ratio adjustment coefficient indicating the mixing ratio of the color components.
そして、回復調整画像生成処理手段15は、この各色成分の色合成回復成分情報Sdmと元の入力画像gmとを色成分ごとに合成することで、回復調整画像fmを得る。この処理は式3として表現できる。 Then, the recovery adjust the image generation processing unit 15, it synthesizes the input image g m color combining restoration component information Sd m and the original of each color component for each color component to obtain a recovery adjust image f m. This process can be expressed as Equation 3.
ここまでが本発明の画像処理の基本的な流れであるが、画像回復フィルタが倍率色収差を補正する画像回復フィルタである場合、色合成比調整係数ωの値を考慮することなく画像回復処理を行ってしまうと、偽色が発生してしまう場合がある。そこで、倍率色収差補正処理手段14は調整係数設定手段13が設定した色合成比調整係数ωに応じて、画像回復フィルタの成分(画素値)を補正し、補正された画像回復フィルタを用いて画像回復処理を行う。 This is the basic flow of the image processing of the present invention. However, when the image restoration filter is an image restoration filter that corrects lateral chromatic aberration, the image restoration processing is performed without considering the value of the color composition ratio adjustment coefficient ω. Otherwise, false colors may occur. Therefore, the magnification chromatic aberration correction processing means 14 corrects the component (pixel value) of the image restoration filter in accordance with the color composition ratio adjustment coefficient ω set by the adjustment coefficient setting means 13, and the image is obtained using the corrected image restoration filter. Perform recovery processing.
色合成比調整係数ωがあらかじめ設定されている場合は、倍率色収差補正処理手段14は設定された値に応じて画像回復フィルタを補正する。画像回復処理を行った後で色合成比調整係数ωが設定あるいは変更された場合は、フィードバック手段を設けて、画像回復フィルタを補正すればよい。このように、画像回復フィルタの倍率色収差補正成分を色合成比調整係数ω(調整係数)に応じて補正することで、回復度合いに応じた倍率色収差補正がなされるので、色ずれが低減した、良質な画像を得ることができる。 When the color composition ratio adjustment coefficient ω is set in advance, the magnification chromatic aberration correction processing unit 14 corrects the image restoration filter according to the set value. When the color composition ratio adjustment coefficient ω is set or changed after the image restoration process is performed, a feedback unit may be provided to correct the image restoration filter. Thus, by correcting the magnification chromatic aberration correction component of the image restoration filter according to the color composition ratio adjustment coefficient ω (adjustment coefficient), the magnification chromatic aberration correction according to the degree of restoration is performed, so that the color shift is reduced. A good quality image can be obtained.
次に、図2の各工程やデータについてより詳細に説明する。 Next, each process and data in FIG. 2 will be described in more detail.
(入力画像gm)
入力画像gmは、撮像光学系を介して撮像素子により光電変換されて得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数(OTF)により劣化している。撮像光学系はレンズの他にも曲率を有するミラー(反射面)を用いることもできる。
(Input image g m )
The input image g m is a digital image obtained by photoelectric conversion by the imaging device via the imaging optical system, and is deteriorated by an optical transfer function (OTF) due to the aberration of the imaging optical system including the lens and various optical filters. doing. The imaging optical system can also use a mirror (reflection surface) having a curvature in addition to the lens.
入力画像は、例えばRGB等、複数の色成分を有しており、各画素にひとつの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理(デモザイキング処理)して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。このモザイク画像は色補間処理(デモザイキング処理)やガンマ変換などの信号値変換や、JPEGなどの画像圧縮など、諸々の画像処理を行う前の画像として、RAW画像と呼ぶこともできる。 The input image has a plurality of color components, such as RGB, and may be a mosaic image having a signal value of one color component for each pixel, or the mosaic image is subjected to color interpolation processing (demosaicing processing). A demosaic image having signal values of a plurality of color components in each pixel may be used. This mosaic image can also be called a RAW image as an image before various image processing such as signal value conversion such as color interpolation processing (demosaicing processing) and gamma conversion, and image compression such as JPEG.
単板の撮像素子で複数の色成分を有する入力画像を得るには、各画素に分光透過率の異なるカラーフィルタを配置して、上記のような各画素にひとつの色成分の信号値を有するモザイク画像を取得する。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。 In order to obtain an input image having a plurality of color components with a single-plate image sensor, color filters having different spectral transmittances are arranged in each pixel, and each pixel has a signal value of one color component as described above. Get a mosaic image. In this case, an image having a plurality of color component signal values in each pixel can be generated by performing the above-described color interpolation processing.
単板に対して、多板、例えば3板の撮像素子を用いて入力画像を得るには、各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を取得すればよい。この場合、各撮像素子間で、対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。 In order to obtain an input image using a multi-plate, for example, three-plate image sensor for a single plate, a color filter having a different spectral transmittance is arranged for each image sensor, and a different color component for each image sensor What is necessary is just to acquire an image signal value. In this case, since each image sensor has a signal value of each color component for the corresponding pixel, each pixel has a signal value of a plurality of color components without performing color interpolation processing in particular. An image can be generated.
また、入力画像gmにはレンズの焦点距離、絞り、撮影距離などの撮影条件やこの画像を補正するための各種の補正情報を付帯することができる。撮像から出力までの一連の処理をひとつの閉じた撮像装置で行う場合には、画像に撮影条件情報や補正情報を付帯しなくとも装置内で取得することができる。しかし、撮像装置からRAW画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮影条件情報や補正情報を付帯することが好ましい。ただし、画像処理装置にあらかじめ補正情報が記憶されており、撮像条件情報から調整係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。ここでの補正情報とは、特に色合成比調整係数ωと、これに関連付けられた倍率色収差補正量である。この補正情報については後述する。 The focal length of the lens in the input image g m, the diaphragm can be attached to various types of correction information for correcting the imaging conditions and the image such as shooting distance. When a series of processing from imaging to output is performed by a single closed imaging device, the image can be acquired in the device without adding imaging condition information and correction information to the image. However, when a RAW image is acquired from an imaging device and correction processing or development processing is performed by another image processing device, it is preferable to add shooting condition information and correction information to the image as described above. However, if the correction information is stored in advance in the image processing apparatus and the system in which the adjustment coefficient can be selected from the imaging condition information is configured, it is not always necessary to add the correction information to the image. The correction information here is, in particular, the color composition ratio adjustment coefficient ω and the magnification chromatic aberration correction amount associated therewith. This correction information will be described later.
(画像回復処理)
次に、図2の四角で囲った回復処理(画像回復処理)について説明する。画像回復処理に用いられる画像回復フィルタを説明するために、画像回復フィルタの模式図を図3(A)に示す。画像回復フィルタは撮像系の収差特性や要求される回復精度に応じてタップ数を決めることができ、図3(A)では例として11×11タップの2次元のフィルタとしている。フィルタの各タップが画像の各画素に対応しており、画像回復処理の工程でこの画像回復フィルタが入力画像の画素に対してコンボリューション処理(畳み込み積分、積和)される。コンボリューション処理とはある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させ、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとることである。そして、その総和を中心画素の信号値として置き換える処理として一般的に知られている。
(Image recovery processing)
Next, the recovery process (image recovery process) enclosed by the square in FIG. 2 will be described. In order to describe the image restoration filter used for the image restoration processing, a schematic diagram of the image restoration filter is shown in FIG. The image restoration filter can determine the number of taps according to the aberration characteristics of the imaging system and the required restoration accuracy. In FIG. 3A, the image restoration filter is an 11 × 11 tap two-dimensional filter as an example. Each tap of the filter corresponds to each pixel of the image, and this image restoration filter is subjected to convolution processing (convolution integration, product sum) on the pixels of the input image in the image restoration processing step. In order to improve the signal value of a pixel, the convolution process is to match the pixel with the center of the image restoration filter, and multiply the image signal value by the filter coefficient value for each corresponding pixel of the image and the image restoration filter. Is to take. Then, it is generally known as a process for replacing the sum as a signal value of the central pixel.
図3(A)は各タップ内の値を省略しているが、この画像回復フィルタの1断面を図3(B)に示す。画像回復フィルタの各タップのもつ値(係数値)の分布が、収差によって空間的に広がった信号値を理想的には元の1点に戻す役割を果たしている。この画像回復フィルタは、撮像系の光学伝達関数(OTF)を計算若しくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。 In FIG. 3A, values in each tap are omitted, but one cross section of this image restoration filter is shown in FIG. The distribution of the values (coefficient values) of each tap of the image restoration filter plays a role of ideally returning the signal value spatially spread by the aberration to the original one point. The image restoration filter can be obtained by calculating or measuring an optical transfer function (OTF) of the imaging system and performing inverse Fourier transform on a function based on the inverse function.
画像回復処理では、ノイズの影響を考慮する必要があるため、ウィナーフィルタや、関連する種々の画像回復フィルタの作成方法を選択して、回復処理に適した画像回復フィルタを用いることができる。 Since it is necessary to consider the influence of noise in the image restoration process, an image restoration filter suitable for the restoration process can be used by selecting a Wiener filter or various related image restoration filter creation methods.
尚、画像回復フィルタは撮像光学系のOTFのみならず、撮像の過程でOTFを劣化させる要因を考慮して生成ことができる。撮像の過程でOTFを劣化させるものとして、例えば、複屈折を有する光学ローパスフィルタがあり、OTFの周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響しているし、光源の分光特性や各種波長フィルタの分光特性などもOTFを劣化させる要因として挙げることができる。これらの要因考慮した広義の光学伝達関数(OTF)に基づいて、画像回復フィルタを作成することが望ましい。 Note that the image restoration filter can be generated in consideration of not only the OTF of the imaging optical system but also the factors that degrade the OTF during the imaging process. For example, there is an optical low-pass filter having birefringence that degrades the OTF during the imaging process, and suppresses high-frequency components with respect to the frequency characteristics of the OTF. Further, the shape and aperture ratio of the pixel aperture of the image sensor also affect the frequency characteristics, and the spectral characteristics of the light source and the spectral characteristics of various wavelength filters can be cited as factors that degrade the OTF. It is desirable to create an image restoration filter based on an optical transfer function (OTF) in a broad sense that considers these factors.
被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置など、レンズのような撮像光学系を持たない装置の場合、OTFは撮像システムの伝達関数に相当する。撮像光学系を持たない装置であっても、画像のサンプリングなどにより出力画像は少なからず劣化し、この劣化特性が撮像システム伝達関数にあたる。したがって、撮像光学系を持たずとも、システムの伝達関数に基づいて画像回復フィルタを生成すれば、回復画像を生成することができる。以下、撮像光学系、あるいは撮像光学系を持たないがOTFを取得可能なシステムを両方含めて撮像系と記す。 In the case of an apparatus that does not have an imaging optical system such as a lens, such as a scanner (reading apparatus) or an X-ray imaging apparatus that performs imaging by bringing an imaging element into close contact with a subject surface, the OTF corresponds to a transfer function of the imaging system. Even in an apparatus that does not have an imaging optical system, the output image is deteriorated due to image sampling and the like, and this deterioration characteristic corresponds to the imaging system transfer function. Therefore, a recovery image can be generated by generating an image recovery filter based on the transfer function of the system without having an imaging optical system. Hereinafter, an imaging optical system or a system that does not have an imaging optical system but can acquire an OTF is referred to as an imaging system.
また、複数の色成分を有する画像に対して画像回復処理を行う場合は、複数の色成分それぞれについて画像回復フィルタを用意することで、より良質な画像を得ることができる。例えば、入力画像がRGB形式のカラー画像である場合は、R、G、Bの各色成分に対応した3つの画像回復フィルタを作成すれば良い。こうすることで、撮像系による色収差を良好に補正することができる。 Further, when performing image restoration processing on an image having a plurality of color components, it is possible to obtain a higher quality image by preparing an image restoration filter for each of the plurality of color components. For example, when the input image is an RGB color image, three image restoration filters corresponding to the R, G, and B color components may be created. By doing so, chromatic aberration due to the imaging system can be corrected satisfactorily.
尚、図3(A)に示したように、画像回復フィルタの縦横のタップ数は縦横同じ数である必要はなく、任意に変更することができる。具体的には、画像回復フィルタを100以上に分割した2次元フィルタとすることで、撮像系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対してもより精度よく回復することができる。また、コマ収差、軸外色フレア、サジタルフレア、像面湾曲、非点収差等の非対称収差についても精度良く回復することができる。 As shown in FIG. 3A, the number of vertical and horizontal taps of the image restoration filter need not be the same in the vertical and horizontal directions, and can be arbitrarily changed. Specifically, by using a two-dimensional filter that divides the image restoration filter into 100 or more, for aberrations that spread greatly from the imaging position such as spherical aberration, coma aberration, axial chromatic aberration, and off-axis color flare due to the imaging system. However, it can recover more accurately. Also, asymmetrical aberrations such as coma, off-axis color flare, sagittal flare, field curvature, and astigmatism can be recovered with high accuracy.
さらに、画像回復処理を行う画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理が行われていないことが好ましい。したがって、画像回復処理はモザイク画像(RAW画像)に対して行うことが好ましい。ただし、デモザイク画像でも、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することでより高精度な回復処理を行うことができる。また、回復の要求精度が低い場合や諸々の画像処理が行われた画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。 In addition, if the degradation process of the image to be subjected to image restoration processing is linear, the reverse process for restoring the original image before degradation can be processed with high accuracy, so that the input image is subjected to various adaptive nonlinear processes. Preferably not. Therefore, it is preferable to perform the image restoration process on the mosaic image (RAW image). However, even in the demosaic image, if the deterioration process by the color interpolation process is linear, it is possible to perform a higher-accuracy recovery process by taking this deterioration function into consideration when generating the image recovery filter. Further, when the required accuracy of recovery is low, or when only images that have been subjected to various image processing can be obtained, recovery processing may be performed on the demosaic image.
(1次回復画像fdm)
次に、上記の画像回復処理により生成された1次回復画像fdm(回復画像)について説明する。従来技術の多くはこの1次回復画像に諸々の画像処理を施した画像を出力画像としている。この1次回復画像が所望の画質を満たしていれば、出力画像fmとして用いることができる。しかし、実際の撮影状態での光学伝達関数(OTF)と画像回復フィルタの作成時に想定している光学伝達関数(OTF)とに相違がある場合には、回復画像は所望の特性とは異なったものとなる。このような光学伝達関数(OTF)の相違は、撮像装置の製造誤差、機構精度による焦点ずれ、立体物撮影による焦点ずれ、照明光源の分光変動、センサの輝度飽和、撮像装置の処理精度等によって発生する。さらに、この回復度合いが色成分ごとに異なることで、画像に偽色が発生する。収差が大幅に回復され、画像の鮮鋭度が向上したとしても、このような偽色がある場合には、画質としては低品質なものとなってしまう。鮮鋭度が向上しているからこそ、偽色が顕著に目立ってしまうと云うこともできる。この偽色の発生を抑えるために、以下の処理を行う。
(Primary recovery image fd m )
Next, the primary recovery image fd m (recovered image) generated by the image recovery process will be described. In many of the conventional techniques, an image obtained by performing various image processes on the primary recovery image is used as an output image. If the primary recovery image satisfies the desired quality can be used as an output image f m. However, if there is a difference between the optical transfer function (OTF) in the actual photographing state and the optical transfer function (OTF) assumed when the image restoration filter is created, the restored image has different desired characteristics. It will be a thing. Such differences in the optical transfer function (OTF) depend on manufacturing errors of the imaging device, focus shift due to mechanism accuracy, focus shift due to three-dimensional object shooting, spectral fluctuation of the illumination light source, sensor luminance saturation, processing accuracy of the imaging device, and the like. Occur. Furthermore, since the degree of recovery differs for each color component, a false color is generated in the image. Even if the aberration is greatly recovered and the sharpness of the image is improved, if there is such a false color, the image quality will be low. It can also be said that the false color becomes noticeable because the sharpness is improved. In order to suppress the occurrence of this false color, the following processing is performed.
(回復成分情報Sm)
1次回復画像fdmから元の入力画像gmを式1のように、色成分ごとに画素ごとの減算処理を行うことで色成分ごとの回復成分情報Sm(差分情報)を生成することができる。この回復成分情報Smは、入力画像gmの収差成分と画像回復処理により発生した弊害を含んでいる。例えば、ノイズの増加成分やリンギング成分、さらに偽色成分も含んでいる。ここでいう成分とは、画素が有する情報とも言える。
(Recovery component information S m )
The original input image g m from the primary restored image fd m as shown in
(色合成比調整係数ω、色合成回復成分情報Sdm、回復調整画像fm)
色合成比調整係数ωは、ひとつの色成分Aの色合成回復成分情報Sdmを生成するために、該色成分Aを含む少なくとも2つの色成分の合成比を決める係数である。したがって、回復成分情報Smから色合成回復成分情報Sdmを生成する処理は式2及び、これを色成分m,nについて展開して記した式4として表現することができる。
(Color composition ratio adjustment coefficient ω, color composition recovery component information Sd m , recovery adjustment image f m )
The color combination ratio adjustment factor omega, in order to generate a color combining restoration component information Sd m of one color component A, a factor that determines the combination ratio of the at least two color components including the color components A. Thus, the process of generating a color combining restoration component information Sd m from the recovery component information S m can be expressed as Equation 4 that describes expand Equation 2 and the same color component m, the n.
式4の9つの色合成比調整係数ωの決定あるいは設定あるいは選択方法について、具体的に2つの例を挙げて説明する。 The method for determining, setting, or selecting the nine color composition ratio adjustment coefficients ω in Equation 4 will be described with two specific examples.
1つ目は、回復調整画像として1次回復画像fdmと同じ画像を得るための色合成比調整係数ωについて説明する。式4の色合成比調整係数ωの対角成分を1として残りの成分を0と置く(単位行列)と、色合成回復成分情報Sdmは自分自身の色成分の回復成分情報Smと等しくなる。この場合、回復調整画像としては収差成分を最大限に補正しようとするものであるが、同時に偽色が発生する可能性が高くなる傾向にある。しかし、色合成比調整係数を調整することで、回復調整画像を入力画像とすることができるのでシステムの安定性を高くすることができる。 First, a description will be given color combination ratio adjustment factor to obtain the same image as the primary restored image fd m as a recovery adjustment image omega. Put the remaining ingredients and 0 diagonal component of the color combination ratio adjustment coefficient of formula 4 omega as 1 (unit matrix), the color combining restoration component information Sd m equal to recover component information S m of their own color component Become. In this case, the recovery adjustment image is intended to correct the aberration component to the maximum, but at the same time, there is a tendency that a possibility of generating a false color increases. However, by adjusting the color composition ratio adjustment coefficient, the recovery adjustment image can be used as the input image, so that the stability of the system can be increased.
2つ目は、偽色を発生させないための色合成比調整係数ωである。式4の色合成比調整係数ωの全要素を1/3と置くと、色合成回復成分情報Sdmはすべての色成分の回復成分情報Smを平均化したものになり、色合成回復成分情報SdR、SdG、SdBともに同じ値になる。色合成回復成分情報Sdmが等しいということは、この後の工程で入力画像gmに色合成回復成分情報Sdmを合成する際に、色成分に関する付加情報の相違が無いことになるので、偽色が発生しない。ただし、各色成分の収差情報を平均化しているので、上記の1つ目の1次回復画像fdmを出力画像とする場合に比べて回復度合い、すなわち鮮鋭度は低下することになる。しかし、回復成分情報Smを平均化しても、各色成分の回復成分情報SR、SG、SBの間には少なからず正の相関(類似性)があるので、入力画像gmに対して回復調整画像の鮮鋭度は向上している。したがって、色合成比調整係数ωの全要素を1/3とする条件が、偽色発生リスクを除去した回復条件である。
The second is a color composition ratio adjustment coefficient ω for preventing false colors from being generated.
以上、偽色発生リスクを最大化した場合と最小化した場合の色合成比調整係数ωの設定について記した。この色合成比調整係数ωを連続的に設定可能にすることで、偽色発生リスクと回復度合いのバランスを調整することができる。これにより、偽色の発生のリスクと回復度合い(鮮鋭度の回復度合い)とのバランスをとりながら所望の画質を有する画像を得ることが可能になる。 The setting of the color composition ratio adjustment coefficient ω when the false color generation risk is maximized and minimized is described above. By making it possible to set the color composition ratio adjustment coefficient ω continuously, it is possible to adjust the balance between the false color occurrence risk and the degree of recovery. This makes it possible to obtain an image having a desired image quality while balancing the risk of false color occurrence and the degree of recovery (the degree of sharpness recovery).
式4に示したように色合成比調整係数ωは9つの設定自由度を有しているため、各要素値の設定が煩雑になる場合がある。例えば、操作手段などを用いて一般ユーザーがこの色合成比調整係数ωを9つそれぞれ設定する場合である。 As shown in Expression 4, the color composition ratio adjustment coefficient ω has nine setting degrees of freedom, and thus setting of each element value may be complicated. For example, this is a case where the general user sets nine color composition ratio adjustment coefficients ω using the operation means.
そこで、この煩雑さを低減させるために色合成比調整係数ωの各要素間に従属関係を持たせて、調整係数を制御するパラメータを低減する方法について説明する。 Therefore, in order to reduce this complexity, a method for reducing the parameter for controlling the adjustment coefficient by providing a dependency relationship between the elements of the color composition ratio adjustment coefficient ω will be described.
色合成比調整係数ωの決定方法の一例として、はじめに2つの制約条件を付加する。1つ目の条件は、式5のように式4の行列ωの行ごとの和をそれぞれ1とするものである。 As an example of a method for determining the color composition ratio adjustment coefficient ω, two constraint conditions are first added. The first condition is that the sum for each row of the matrix ω of Equation 4 is set to 1 as shown in Equation 5.
これは、例えばR成分の色合成回復成分情報SdRを生成するための回復成分情報SR、SG、SBの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Sdm間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。 This means that, for example, the mixture ratio of the recovery component information S R , S G , and S B for generating the R component color synthesis recovery component information Sd R is normalized. Thus the mixture ratio to normalize, or are weighted in any respectively different color combining restoration component information Sd m ratio is to be easily compared.
2つ目の条件は、式6のように行列ωの列ごとの和を1とするものである。 The second condition is that the sum for each column of the matrix ω is 1 as shown in Equation 6.
これは、各色合成回復成分情報SdR、SdG、SdBを生成する際に、回復成分情報SR、SG、SBを各色成分に分配してそれぞれ使い果たすことを意味している。 This means that when generating each color synthesis recovery component information Sd R , Sd G , Sd B , the recovery component information S R , S G , S B is distributed to each color component and used up.
上記の2つの制約条件を施すと、色合成比調整係数ωは式7として表現することができる。 When the above two constraints are applied, the color composition ratio adjustment coefficient ω can be expressed as Equation 7.
さらに、回復度合いを確保しながら偽色の発生リスクを抑制するためには、各色合成回復成分情報Sdmは色成分間での類似性が高い、すなわち相違が小さい方が好ましい。したがって、ある色成分の回復成分情報Smを各色成分の色合成回復成分情報Sdmにできるだけ均等に配分すれば良いことになるので、式7の各列の分散が小さい方が偽色発生リスクを低減できることができる。これに基づいて、式7の各列の分散を最小化すると色合成比調整係数ωは式8として記すことができる。 Furthermore, in order to suppress the risk of a false color while ensuring recovery degree, the color synthesizing restoration component information Sd m has a high similarity between the color components, i.e. towards differences is small is preferred. Therefore, it means that the recovery component information S m of a certain color component can be as much as possible evenly distributed in the color combining restoration component information Sd m for each color component, each row it is false color risk small variance of the formula 7 Can be reduced. Based on this, when the variance of each column in Equation 7 is minimized, the color composition ratio adjustment coefficient ω can be expressed as Equation 8.
式8は設定パラメータがひとつの設定値ωによって設定可能なので、回復度合いと偽色発生リスクのバランスの調整を容易に制御することができる。式8においてω=1とすると、行列ωは単位行列となり、回復度合いと偽色発生リスクがともに最大になる。また、ω=1/3とすると、行列ωはすべての要素が1/3となり、偽色発生リスクが無くなる。したがって、1/3≦ω≦1の範囲で色合成比調整係数ωを低下させていけば、偽色発生リスクを低減することができる。 Since the set parameter can be set by the single set value ω in Expression 8, the adjustment of the balance between the recovery degree and the risk of occurrence of false color can be easily controlled. If ω = 1 in Equation 8, the matrix ω is a unit matrix, and both the degree of recovery and the risk of false color occurrence are maximized. If ω = 1/3, the matrix ω is 1/3 for all elements, and there is no risk of false color generation. Therefore, if the color composition ratio adjustment coefficient ω is reduced in the range of 1/3 ≦ ω ≦ 1, the risk of false color generation can be reduced.
その他の効果として、1つのパラメータでバランス調整が可能となるので、よりユーザビリティを向上させることができる。 As another effect, the balance can be adjusted with one parameter, so that usability can be further improved.
その他の効果として、撮像装置や画像処理装置を提供する側としても好適な調整パラメータを少ない自由度で制御できることにより、装置開発工程や生産工程での作業効率を向上させることができる。 As another effect, it is possible to control adjustment parameters suitable for the side providing the image pickup apparatus and the image processing apparatus with a small degree of freedom, thereby improving work efficiency in the apparatus development process and the production process.
尚、ここまでに色合成比調整係数ωの決定方法について一例を示したが、決定方法に関してはこれに限るものではない。例えば、行列ωの全要素を0(ゼロ)にすると、色合成回復成分情報Sdmがすべての色成分で0(ゼロ)になるので、回復調整画像fmは入力画像gmそのものとなる。このように、1/3≦ω≦1に限らず、0≦ω≦1の範囲で色合成比調整係数ωを調整することで、入力画像から最大回復度合いの画像までの範囲で出力画像を調整して回復調整画像を得ることができる。また、式5の右辺を1よりも大きく設定することで、さらに補正を強調させることも可能である。 Although an example of the method for determining the color composition ratio adjustment coefficient ω has been described so far, the determination method is not limited to this. For example, if all elements of the matrix ω to 0 (zero), the color combining restoration component information Sd m is 0 (zero) in all color components, the recovery adjust image f m is the input image g m itself. In this way, the output image is not limited to 1/3 ≦ ω ≦ 1, but by adjusting the color composition ratio adjustment coefficient ω in the range of 0 ≦ ω ≦ 1, the output image can be displayed in the range from the input image to the image with the maximum recovery degree. A recovery adjustment image can be obtained by adjustment. Further, the correction can be further emphasized by setting the right side of Expression 5 to be larger than 1.
また、行列ωの各要素の設定自由度は1つに限定せず、別の制約条件に基づけば、他の設定自由度で調整することもできる。例えば、式7によれば、調整係数の設定自由度は6である。 Further, the setting freedom of each element of the matrix ω is not limited to one, and can be adjusted with another setting freedom based on another constraint condition. For example, according to Equation 7, the degree of freedom for setting the adjustment coefficient is 6.
(回復強度調整係数μ)
以上説明した色合成比調整係数は各色成分の混合比を調整することができるパラメータであった。一方、これから説明する回復強度調整係数は回復度合いを調整することが可能なパラメータである。
(Recovery strength adjustment coefficient μ)
The color composition ratio adjustment coefficient described above is a parameter that can adjust the mixing ratio of each color component. On the other hand, the recovery strength adjustment coefficient described below is a parameter that can adjust the recovery degree.
式8の色合成比調整係数ωの設定方法を用いて、さらに回復調整画像fmとして、入力画像gmや強調補正した画像が得る方法を説明する。 Using the method of setting the color composition ratio adjustment coefficient equation 8 omega, further as the recovery adjust image f m, it is described how the input image g m and emphasis correction image obtained.
式8によって決定された行列ωに回復強度調整係数μを用いて回復調整画像fmを得る方法は式9により表される。 How to obtain a recovery adjust image f m with recovery strength adjustment factor μ in ω determined matrix by Equation 8 is expressed by Equation 9.
μ=0とすると、式9の右辺第2項は0(ゼロ)になるので、回復調整画像fmとして、入力画像gmそのものを得ることになる。また、μ=1とすると、式9は式3と等しくなり、式8により決定した色合成比調整係数ωを用いて回復度合いと偽色発生リスクが調整された回復調整画像fmを得ることができる。回復強度調整係数μの基本範囲は0≦μ≦1であるが、μ>1とすることで強調補正した画像を得ることができる。 If μ = 0, the second term on the right side of Equation 9 is 0 (zero), so that the input image g m itself is obtained as the recovery adjustment image f m . Also, if mu = 1, the formula 9 is equal to Equation 3 to obtain a recovery adjust image f m recovery degree and false color risk using the color combination ratio adjustment factor ω determined by Equation 8 is adjusted Can do. The basic range of the recovery strength adjustment coefficient μ is 0 ≦ μ ≦ 1, but by making μ> 1, it is possible to obtain an image with enhanced correction.
さらに、回復強度調整係数μを色成分ごとに変更すれば、色成分ごとに回復度合いを調整することができる。これは、被写体を照明する光源の分光変動や撮像系の製造誤差などの要因で色成分ごとに光学伝達関数(OTF)が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整するのに有効である。例えば、照明光源の分光特性(波長ごとの強度比)が変化すると、色成分ごとに収差量が変わってしまう。こういった場合、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した回復調整画像fmを得ることができる。式10は回復強度調整係数μを色成分ごとに変更する場合の式である。 Furthermore, if the recovery intensity adjustment coefficient μ is changed for each color component, the degree of recovery can be adjusted for each color component. This is because the degree of recovery for each color component when the optical transfer function (OTF) changes for each color component due to factors such as spectral fluctuations of the light source that illuminates the subject and manufacturing errors in the imaging system, and the balance of chromatic aberration changes. It is effective to adjust the strength of For example, when the spectral characteristic (intensity ratio for each wavelength) of the illumination light source changes, the amount of aberration changes for each color component. In these cases, the recovery intensity adjustment factor μ by setting for each color component, it is possible to obtain a recovery adjust image f m which is suitable for each color component in accordance with the spectral characteristic at the time of shooting. Expression 10 is an expression for changing the recovery intensity adjustment coefficient μ for each color component.
また、回復強度調整係数μを用いたその他の例えば撮像系に製造誤差がある場合、画像の左右対称な位置で劣化度合いが異なるものがあり、ぼけやその相対的な色付きの差として入力画像に現れることがある。ぼけについては、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差による画像の劣化を低減することができる。色付きについては、画像の位置による色付き量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。つまり、画素の特徴量に応じて回復強度調整係数μを調整することで、より好ましい画質を得ることが可能となる。 In addition, when there is a manufacturing error in another imaging system using the recovery strength adjustment coefficient μ, for example, there is a thing with a different degree of deterioration at a symmetrical position of the image, and the input image is blurred or its relative color difference. May appear. As for blurring, the recovery strength adjustment coefficient μ is set in accordance with the fluctuation of the blur amount depending on the position of the image, so that the deterioration of the image due to the manufacturing error can be reduced. With respect to coloring, a manufacturing error can be absorbed by setting the recovery intensity adjustment coefficient μ for each color component according to the variation of the coloring amount depending on the position of the image. That is, it is possible to obtain a more preferable image quality by adjusting the recovery intensity adjustment coefficient μ according to the feature amount of the pixel.
このように、回復強度調整係数μを用いることで、色合成比調整係数ωの決定を式8のように容易にしながらも回復度合いを調整することができる。回復強度調整係数μを導入した場合の処理の流れを図4に示す。色合成比調整係数ωと回復強度調整係数μを分離することで、回復度合いと偽色発生リスクとのバランス調整を色合成比調整係数ωで行い、その色合成比調整係数ωにおける回復度合いの調整を回復強度調整係数μで行うことができる。 In this way, by using the recovery strength adjustment coefficient μ, it is possible to adjust the degree of recovery while facilitating the determination of the color composition ratio adjustment coefficient ω as in Expression 8. FIG. 4 shows the flow of processing when the recovery strength adjustment coefficient μ is introduced. By separating the color composition ratio adjustment coefficient ω and the recovery intensity adjustment coefficient μ, the color composition ratio adjustment coefficient ω is used to adjust the balance between the degree of recovery and the risk of occurrence of false color, and the degree of recovery in the color composition ratio adjustment coefficient ω is adjusted. Adjustment can be made with the recovery strength adjustment factor μ.
この調整による回復度合いの変化の模式図を図5に示す。色合成比調整係数ωを変化させることにより偽色発生リスクを調整でき、さらに回復強度調整係数μを変化させることにより、設定した色合成比調整係数ωと入力画像の間で回復度合いを調整することができる。 A schematic diagram of the change in the degree of recovery by this adjustment is shown in FIG. The risk of false color generation can be adjusted by changing the color composition ratio adjustment coefficient ω, and the degree of recovery is adjusted between the set color composition ratio adjustment coefficient ω and the input image by changing the recovery intensity adjustment coefficient μ. be able to.
ここで、図5に示した色合成比調整係数ω及び回復強度調整係数μの変化に対する回復調整画像fmの回復度合いの線形性について説明する。色合成比調整係数ω及び回復強度調整係数μをともに1とした最大回復度合いの回復調整画像fmと等しい1次回復画像fdmを基準とする。そして、1次回復画像fdmと回復調整画像fmとの画像の類似性を式11の評価関数Jmとして定義する。 Will now be described linearity of degree of recovery Recovery adjusted image f m with respect to the color composition ratio adjustment factor ω and changes in the recovery intensity adjustment factor μ shown in FIG. And color synthesis ratio adjustment factor ω and recovery strength adjustment factor μ together 1 and the maximum degree of recovery Recovery adjusting image f m equal 1 reference primary restored image fd m. Then, the similarity between the primary recovery image fd m and the recovery adjustment image f m is defined as the evaluation function J m of Equation 11.
右辺の記号の2がついた二重縦線は2次元ノルムを示しており、分母のX,Yは画像の水平方向及び垂直方向の画素数を示している。回復調整画像fmとして式9、色合成比調整係数ωとして式8をそれぞれ代入すると、評価関数Jmは色合成比調整係数ω及び回復強度調整係数μに対して1次式となることから、直線的な回復度合いの調整が可能であることが分かる。 The double vertical line with the symbol 2 on the right side indicates a two-dimensional norm, and the denominators X and Y indicate the number of pixels in the horizontal and vertical directions of the image. When Expression 9 is substituted as the restoration adjustment image f m and Expression 8 is substituted as the color composition ratio adjustment coefficient ω, the evaluation function J m becomes a linear expression with respect to the color composition ratio adjustment coefficient ω and the recovery intensity adjustment coefficient μ. It can be seen that the linear recovery degree can be adjusted.
図6(a)の試験画像を用いて、回復度合い調整の線形性を評価した実験結果を図6(b)に示す。この結果から図5に示した線形性が正しく再現されていることが分かる。
このような回復度合い調整の直線性は、前記の調整パラメータ数の低減と同様に、ユーザーが可変に調整する場合に設定値とレスポンス(回復画像)の対応が取り易いという利点がある。
FIG. 6B shows the experimental results of evaluating the linearity of the recovery degree adjustment using the test image of FIG. From this result, it can be seen that the linearity shown in FIG. 5 is correctly reproduced.
Similar to the reduction in the number of adjustment parameters, such recovery degree adjustment linearity has an advantage that it is easy to make correspondence between a set value and a response (recovered image) when the user variably adjusts.
色合成比調整係数ωを用いて偽色発生リスクを低減することを上記したが、回復強度調整係数μを用いて回復度合いを調整することは、ノイズやリンギングを抑制することが可能である。出力画像としての画質の評価は目的に応じて異なる。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として少なくとも撮影画像(入力画像)そのものを出力できることは出力画像の保障として重要である。これらの場合に対して回復強度調整係数μを調整することで自由度の高い対応を行うことができる。また、一般の写真撮影においても、収差の残っていることでフレアがかった柔らか味のある画像から収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。この場合に対しても回復強度調整係数μを調整することで対応を行うことができる。 Although it has been described above that the risk of false color occurrence is reduced using the color composition ratio adjustment coefficient ω, adjusting the degree of recovery using the recovery intensity adjustment coefficient μ can suppress noise and ringing. The evaluation of image quality as an output image varies depending on the purpose. For example, in the case of portraits, noise and ringing are very disturbing. On the other hand, when you want to read numbers from a car license plate with a surveillance camera, it is most important to identify the numbers even if there is noise or ringing. In addition, when an adverse effect such as noise, ringing, or false color appears for some reason, it is important to guarantee at least a captured image (input image) as an output image. In these cases, it is possible to cope with a high degree of freedom by adjusting the recovery strength adjustment coefficient μ. Also in general photography, the image quality required as an output image varies depending on the user and the subject, from a soft image with flare due to the remaining aberration to a sharp image from which aberration has been removed. This case can also be dealt with by adjusting the recovery strength adjustment coefficient μ.
本発明のその他の効果を図7の処理フローを用いて説明する。偽色発生リスクを調整する場合にも、回復度合いを調整する場合にも、画像の合成比を変化させるだけなので画像回復フィルタを再計算する必要がない。さらに、調整パラメータの変更の度に入力画像に対してコンボリューション処理を行う必要もない。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像に対して予め用意された調整パラメータか、ユーザーが設定した調整パラメータか、画像情報から自動的に決定された調整パラメータを用いて画像合成処理を行い、回復画像とする。この回復画像を評価して、そのまま回復調整画像(出力画像)とするか再度回復度合いを変更するかを判定する。回復度合いを変更する場合には、調整パラメータを変更し、再度画像合成処理を行う。この調整パラメータが上記の色合成比調整係数ωや回復強度調整係数μである。このように、回復度合いの制御を後の工程で行えるため、回復成分情報を抽出するための初めの回復処理では画素単位でフィルタを変更しなくて良い。つまり、回復度合いと偽色(弊害)発生リスクを調整するために色合成比調整係数を変更しても、画像回復フィルタを再計算する必要が無いため、画像処理の負荷を低減し高速な処理を行うことができる。 Other effects of the present invention will be described with reference to the processing flow of FIG. In both cases of adjusting the false color occurrence risk and adjusting the restoration degree, it is not necessary to recalculate the image restoration filter because only the image composition ratio is changed. Further, it is not necessary to perform convolution processing on the input image every time the adjustment parameter is changed. The captured image is used as an input image, and an image restoration filter is generated using a restoration parameter as an initial value, or image restoration processing is performed on the input image using an image restoration filter prepared in advance as an initial value. Image restoration processing is performed using an adjustment parameter prepared in advance for the restored image, an adjustment parameter set by the user, or an adjustment parameter automatically determined from the image information to obtain a restored image. The restored image is evaluated, and it is determined whether the restored adjustment image (output image) is used as it is or whether the restoration degree is changed again. When changing the degree of recovery, the adjustment parameter is changed and the image composition process is performed again. These adjustment parameters are the color composition ratio adjustment coefficient ω and the recovery intensity adjustment coefficient μ described above. As described above, since the degree of recovery can be controlled in a later step, it is not necessary to change the filter for each pixel in the initial recovery process for extracting the recovery component information. In other words, even if the color composition ratio adjustment coefficient is changed to adjust the degree of recovery and the risk of false color (detrimental) occurrence, there is no need to recalculate the image recovery filter, reducing the load on image processing and speeding up processing. It can be performed.
このように、調整時の画像回復フィルタの再計算の必要の有無、及び画像回復処理である入力画像と画像回復フィルタのコンボリューション処理の必要の有無の点で、より画像処理を行う際に、処理負荷を低減することが可能となった。 Thus, when performing image processing more in terms of the necessity of recalculation of the image restoration filter at the time of adjustment and the necessity of convolution processing of the input image and the image restoration filter that are image restoration processing, It became possible to reduce processing load.
尚、ここでの出力画像としての採用の判定や回復度合いの変更に伴う調整パラメータの変更は、ユーザーが主観的な評価に基づいて行っても良いし、予め画像の評価関数を設定しておいて自動的に行っても良い。 Here, the adjustment of the adjustment parameter accompanying the determination of adoption as the output image or the change of the recovery degree may be made based on subjective evaluation by the user, or an image evaluation function is set in advance. And you can do it automatically.
また、入力画像の画素の特徴量に応じて調整係数を設定してもよい。画素の特徴量とは、画素の信号値、画素値の変化量等である。これら画素の特徴量に応じて調整係数を変更することは、画像の位置によって回復度合いを変更することを意味している。本発明は、最終的な回復度合いは画像合成処理において画像を画素単位で合成することで行うので、その際の混合比を変更するだけで容易に調整することができる。即ち、従来の方法のように回復フィルタを画素ごとに再生成したり、予め画素値ごとの回復フィルタをデータ保持する必要がないため、予め保持するデータ量を低減し、さらに処理を高速に行うことができる。 Further, the adjustment coefficient may be set according to the feature amount of the pixel of the input image. The feature amount of a pixel is a signal value of the pixel, a change amount of the pixel value, or the like. Changing the adjustment coefficient according to the feature amount of these pixels means changing the degree of recovery depending on the position of the image. In the present invention, the final degree of recovery is performed by synthesizing the image in units of pixels in the image synthesizing process, and can be easily adjusted by simply changing the mixing ratio at that time. That is, unlike the conventional method, there is no need to regenerate the recovery filter for each pixel, or it is not necessary to store the recovery filter for each pixel value in advance. be able to.
また、調整係数の設定値としては、他にもISO感度やSN比の変化に関する設定情報、ズーム(焦点距離)、撮影距離(合焦距離)、絞り値や、上記の製造誤差に対応した設定値などがある。 Other setting values for the adjustment coefficient include setting information relating to changes in ISO sensitivity and SN ratio, zoom (focal length), shooting distance (focusing distance), aperture value, and settings corresponding to the above manufacturing errors. There are values.
尚、本発明の画像処理の基本的な処理について説明してきたが、ここで説明した各工程は実際の処理上ではいくつかの工程を同時に処理できる場合はまとめて処理することができる。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理方法の具体的なアルゴリズムをこれに限定するものではなく、目的を達成しうる範囲で必要に応じた変形が可能である。 The basic processing of the image processing according to the present invention has been described. However, in the actual processing, the steps described here can be collectively processed when several steps can be processed at the same time. It is also possible to add necessary processing steps as appropriate before and after each step. Furthermore, the formulas and equal signs used in the description are not intended to limit the specific algorithm of the image processing method of the present invention, and can be modified as necessary within a range where the object can be achieved.
以下、本発明の具体的な実施例について説明する。 Hereinafter, specific examples of the present invention will be described.
図8は本発明の画像処理方法を撮像装置に適用した場合の基本構成の一例を示している。不図示の被写体像を撮像光学系101で撮像素子102に結像する。撮像素子102で結像光が電気信号に変換されA/Dコンバータ103でデジタル信号に変換し、画像処理部104に入力される。画像処理部104で所定の処理と併せて画像回復処理を行う。まず、状態検知部107から撮像装置の撮像状態の情報を得る。状態検知部107はシステムコントローラ110から直接、状態情報を得ても良いし、例えば撮像系に関する撮像状態情報は撮像光学系制御部から得ることもできる。次に撮像状態に応じた画像回復フィルタを記憶部108から選択し、画像処理部104に入力された画像に対して画像回復処理及び調整パラメータに応じた回復度合いの調整を行う。ここでいう調整パラメータとは、色合成比調整係数ω、回復強度調整係数μなどである。画像回復フィルタは撮像状態に応じて記憶部108から選択したものをそのまま用いても良いし、予め用意した画像回復フィルタを補正して、より撮像状態に適したフィルタに加工したものを用いることもできる。
FIG. 8 shows an example of a basic configuration when the image processing method of the present invention is applied to an imaging apparatus. A subject image (not shown) is formed on the
そして、画像処理部104で処理した出力画像を画像記録媒体109に所定のフォーマットで保存する。この出力画像は本発明の画像処理方法を用いた画像回復処理により画素値、画素値の変化量などを考慮した回復度合いに調整され、さらに偽色の発生度合いと回復度合いのバランスのとれた鮮鋭化された画像である。また、画像処理部104は少なくとも演算部と一時的記憶部(バッファー)を有する。上記の画像処理の各工程ごとに必要に応じて1次的記憶部に対して画像の書き込み(記憶)及び読み出しを行う。例えば、回復画像生成工程では、入力画像と色合成回復成分情報の合成を行うために初めに取得した入力画像を一時的に記憶しておく必要がある。また、一時的に記憶するための記憶部は前記一時的記憶部(バッファー)に限定せず、記憶部108でも良く、記憶機能を有する記憶部のデータ容量や通信速度に応じて好適なものを適宜選択して用いることができる。
Then, the output image processed by the
また、表示部105には、回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、高速表示のために画像回復処理を行わない、または簡易的な回復処理を行った画像を表示しても良い。
Further, the
一連の制御はシステムコントローラ110で行われ、撮像光学系の機械的な駆動はシステムコントローラ110の指示により撮像光学系制御部106で行う。絞り101aは、Fナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ101bは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス(AF)機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数(OTF)の特性に影響を与える素子を用いる場合には画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタにおいても、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響するため画像回復フィルタを作成する時点での考慮が必要になる場合がある。
A series of control is performed by the
また、撮像光学系101は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。絞りの開口径制御やマニュアルフォーカスなどの機能は撮像装置の目的に応じて用いなくても良い。
Further, although the imaging
図9に画像回復フィルタの選択及び補正に関する説明図を示す。図9は、記憶部108に格納された画像回復フィルタ群の模式図を示す。格納されたフィルタは、ズーム位置、絞り径、被写体距離の3つの状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点(黒丸)の座標が予め格納された画像回復フィルタの状態位置である。図9では説明のためにフィルタの位置を各状態に対して直交した格子点上に配置しているが各フィルタの位置は格子点から外れても構わない。また、撮像状態の種類の数においても図示するために3つの状態に対する3次元図としたが、4つ以上の状態を対象とした4次元以上の撮像状態空間であっても良い。
FIG. 9 is an explanatory diagram regarding selection and correction of the image restoration filter. FIG. 9 is a schematic diagram of the image restoration filter group stored in the
画像回復フィルタの具体的な選択方法を説明する。図9中大きな白丸で示した状態が検知された実際の撮像状態であるとする。実際の撮像状態位置またはその極近傍にフィルタが存在する場合には、そのフィルタを選択して画像回復処理に用いることができる。ひとつの方法は、実際の撮像状態と格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短いものを選択する方法である。図9では小さな白丸で示した位置のフィルタが選択される。また、別の方法として、フィルタ選択に撮像状態空間中の方向による重み付けをすることができる。即ち、撮像状態空間中の距離と方向ウェイトの積を評価関数として選択する方法である。 A specific method for selecting the image restoration filter will be described. Assume that a state indicated by a large white circle in FIG. 9 is an actual imaging state detected. When a filter exists in the actual imaging state position or in the vicinity thereof, the filter can be selected and used for image restoration processing. One method is to calculate the distance in the imaging state space between the actual imaging state and the stored imaging state, and select the one with the shortest distance. In FIG. 9, a filter at a position indicated by a small white circle is selected. As another method, filter selection can be weighted by a direction in the imaging state space. That is, it is a method of selecting the product of the distance in the imaging state space and the direction weight as the evaluation function.
次に、画像回復フィルタを補正して生成する方法について説明する。フィルタを補正するにあたって、実際の撮像状態と格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短いものを選択する。このとき状態相違量が最も小さくなるためこの後の補正量も少なくでき、撮像状態での本来のフィルタに近いものを生成することができる。図9では小さな白丸で示した位置のフィルタが選択される。この選択された画像回復フィルタの状態と実際の撮像状態の状態相違量ΔA,ΔB,ΔCを算出する。この状態相違量に基づいて状態補正係数を算出し、選択された画像回復フィルタを補正することで、実際の撮像状態に対応した画像回復フィルタを生成することができる。また、別の方法として実際の撮像状態近傍の複数の画像回復フィルタを選択し、状態相違量に応じて補間処理することで撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、2次元フィルタ同士の対応タップの係数値を線形補間、多項式補間、スプライン補間などを用いて補間すれば良い。 Next, a method for correcting and generating the image restoration filter will be described. In correcting the filter, the distance in the imaging state space between the actual imaging state and the stored imaging state is calculated, and the one with the shortest distance is selected. At this time, since the state difference amount becomes the smallest, the subsequent correction amount can also be reduced, and a filter close to the original filter in the imaging state can be generated. In FIG. 9, a filter at a position indicated by a small white circle is selected. State difference amounts ΔA, ΔB, ΔC between the state of the selected image restoration filter and the actual imaging state are calculated. By calculating a state correction coefficient based on this state difference amount and correcting the selected image restoration filter, an image restoration filter corresponding to the actual imaging state can be generated. As another method, an image restoration filter suitable for the imaging state can be generated by selecting a plurality of image restoration filters in the vicinity of the actual imaging state and performing interpolation processing according to the state difference amount. In this interpolation process, the coefficient values of the corresponding taps between the two-dimensional filters may be interpolated using linear interpolation, polynomial interpolation, spline interpolation, or the like.
また、画像回復フィルタの生成に用いる光学伝達関数(OTF)は、撮像光学系に入射した光が光学素子を透過して画像を形成する光学伝達関数(OTF)であり、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の状態で実際に光学伝達関数(OTF)を計測して求めることもできる。 The optical transfer function (OTF) used to generate the image restoration filter is an optical transfer function (OTF) in which light incident on the imaging optical system transmits an optical element to form an image, and is an optical design tool or optical analysis. It can be obtained by calculation using a tool. Furthermore, the optical transfer function (OTF) can be actually measured and obtained in the state of the imaging optical system alone or the imaging apparatus.
また、光学伝達関数(OTF)は1つの撮影状態においても撮像光学系の像高(画像の位置)に応じて変化するので、本発明の回復処理を像高に応じた画像の分割された領域ごとに変更して行うことが望ましい。画像回復フィルタを画像上をコンボリューション処理をしながら走査させ、所定の領域ごとにフィルタを順次変更すれば良い。 Further, since the optical transfer function (OTF) changes according to the image height (image position) of the imaging optical system even in one photographing state, the recovery processing of the present invention is performed by dividing the image according to the image height. It is desirable to change every time. The image restoration filter may be scanned on the image while performing convolution processing, and the filter may be sequentially changed for each predetermined region.
記憶部108は、画像回復フィルタ以外に、色合成比調整係数、回復強度調整係数を含む画像補正情報を格納させてもよい。
The
本実施例の撮像装置は、実施例の説明の導入で記した画像処理方法を画像処理部104で行うことを基本構成としている。図10に画像処理部104で行う画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。画像処理部104は取得工程で入力画像を取得する。ここでの入力画像は画素ごとにひとつの色成分情報をもったモザイク画像である。次に状態検知部107から撮像状態情報を得て、記憶部108から撮像状態に応じた画像回復フィルタを選択し、画像回復工程でこの画像回復フィルタを用いて入力画像に対して回復処理を行い、1次回復画像を生成する。
The image pickup apparatus according to the present embodiment has a basic configuration in which the image processing method described in the introduction of the description of the embodiment is performed by the
回復成分情報生成工程で、入力画像と1次回復画像の各画素の信号値の差分から回復成分情報を生成する。ここで、この後に色成分間での画像合成を行うために入力画像と回復成分情報の色補間処理(デモザイキング処理)を行う。この色補間処理は正規の色補間処理として、以降の処理をこの色補間された画像について行うこともできるし、ここでは正規の色補間処理とは異なる、例えば簡易的な方法で色補間を行うこともできる。そして、前記の色合成比調整係数ωや回復強度調整係数μの調整パラメータの設定値を取得し、色合成回復成分情報生成工程で色成分ごとの回復成分情報に対して調整パラメータを作用し、色合成回復成分情報を生成する。調整パラメータとしての色合成比調整係数ωや回復強度調整係数μは必要に応じてどちらか一方のみとすることもできる。また、本実施例ではユーザーが調整パラメータを設定することなく、自動的に設定している。この設定方法としては、撮像条件や像高に応じて、予め用意してある設定値から自動的に選択して用いることができる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定することができる。 In the recovery component information generation step, recovery component information is generated from the difference between the signal values of the pixels of the input image and the primary recovery image. Here, after this, color interpolation processing (demosaicing processing) of the input image and the recovery component information is performed in order to perform image synthesis between the color components. This color interpolation processing can be performed as normal color interpolation processing, and the subsequent processing can be performed on the color-interpolated image. Here, for example, color interpolation is performed by a simple method different from the normal color interpolation processing. You can also. Then, setting values of the adjustment parameters of the color composition ratio adjustment coefficient ω and the recovery intensity adjustment coefficient μ are acquired, and the adjustment parameters are applied to the recovery component information for each color component in the color synthesis recovery component information generation step. Color synthesis recovery component information is generated. Only one of the color synthesis ratio adjustment coefficient ω and the recovery intensity adjustment coefficient μ as the adjustment parameters can be used as necessary. In this embodiment, the user does not set adjustment parameters automatically, but sets them automatically. As this setting method, it is possible to automatically select from preset values prepared in advance according to the imaging conditions and image height. Further, it is possible to determine the feature amount of the pixel from the image and automatically change and set the adjustment parameter.
ここで、設定された調整係数に応じて、倍率色収差の補正量を設定しても良いし、予め記憶された調整係数に応じた倍率色収差の補正量を設定してもよい。 Here, the correction amount of the lateral chromatic aberration may be set according to the set adjustment coefficient, or the correction amount of the lateral chromatic aberration may be set according to the adjustment coefficient stored in advance.
次に、回復画像生成工程で、前記の色合成回復成分情報を入力画像に合成して2次回復画像を生成する。この回復画像生成工程では、前記の色補間処理された画像に対して行うこともできるし、色合成回復成分情報に色成分ごとのマスクをしてモザイク画像のときの色成分情報配列に戻し、モザイク状態の入力画像と合成することもできる。 Next, in the recovered image generation step, the color composite recovery component information is combined with the input image to generate a secondary recovered image. In this restored image generation step, it can be performed on the color-interpolated image, or the color synthesis recovery component information is masked for each color component and returned to the color component information array at the time of the mosaic image, It can also be combined with the mosaic input image.
そして、その他必要な画像処理として、色補間処理(デモザイキング処理)、シェーディング補正、歪曲収差補正などを行い、出力画像を得る。また、幾何変換を用いた倍率色収差補正を行っても良く、その補正量は調整係数に応じて変更される。ここで説明したその他の処理を含めた諸々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。 As other necessary image processing, color interpolation processing (demosaicing processing), shading correction, distortion aberration correction, and the like are performed to obtain an output image. Further, the lateral chromatic aberration correction using geometric transformation may be performed, and the correction amount is changed according to the adjustment coefficient. Various image processes including the other processes described here can be inserted before, after, or in the middle of the above flow as necessary.
図11に色合成比調整係数ω=1/2、回復強度調整係数μ=1の場合、画像処理により画像がどのように変化するかを模式図を用いて示す。図中の各四角の枠内は、横方向が画像の位置、縦方向が画素値であり、画像の断面を現している。 FIG. 11 is a schematic diagram showing how an image changes due to image processing when the color composition ratio adjustment coefficient ω = 1/2 and the recovery intensity adjustment coefficient μ = 1. In each square frame in the figure, the horizontal direction is the position of the image, and the vertical direction is the pixel value, representing a cross section of the image.
これまで色成分をR,G,Bの3成分として説明してきたが、ここでは簡易的に2成分において説明する。ω=1/2の条件は、2つの色成分の場合に偽色発生リスクが0(ゼロ)になる条件である。gmは劣化している入力画像のある断面を模式的に示している。太実線は第一の色成分であり、点線は第二の色成分を示している。 So far, the color components have been described as three components of R, G, and B, but here, the description will be made simply with two components. The condition of ω = 1/2 is a condition that the false color occurrence risk becomes 0 (zero) in the case of two color components. g m schematically shows a cross section of a deteriorated input image. A thick solid line indicates the first color component, and a dotted line indicates the second color component.
図11(a)の処理は倍率色収差補正成分を含めた画像回復フィルタを用い、さらに後段で回復調整画像fmに対して倍率色収差補正を行う場合である。(b)の処理は倍率色収差補正成分を含まない画像回復フィルタを用い、さらに前段で入力画像gmに対して座標の幾何変換による倍率色収差補正(倍率色収差補正手段による補正)を行う場合である。言い換えれば、図11(b)の処理は画像回復フィルタに倍率色収差補正の機能を含ませるのではなく、座標の幾何変換処理による倍率色収差補正gm|shift工程を、画像回復処理工程の前工程で行っている。(c)の処理は倍率色収差補正成分を含まない画像回復フィルタを用い、さらに後段で回復調整画像fmに対して倍率色収差補正を行う場合である。 Processing of FIG. 11 (a) is a case of using the image restoration filter including the magnification chromatic aberration correction components, it performs the magnification chromatic aberration correction with respect to further recover adjusted image f m later. The process (b) is a case where an image restoration filter that does not include a magnification chromatic aberration correction component is used, and magnification chromatic aberration correction (correction by magnification chromatic aberration correction means) is performed on the input image g m in the previous stage. . In other words, the process of FIG. 11B does not include the function of correcting the chromatic aberration of magnification in the image restoration filter, but the magnification chromatic aberration correction g m | shift process by the geometric transformation process of coordinates is performed before the image restoration process process. Is going on. Process (c) is a case of using the image restoration filter does not include the chromatic aberration of magnification correction component further performs the magnification chromatic aberration correction with respect to the recovery adjust image f m later.
gm|shiftは(b)について座標の幾何変換による倍率色補正を行った画像である。fdmはgm、gm|shiftそれぞれに対して画像回復処理を行った後の画像である。 g m | shift is an image obtained by performing magnification color correction by geometric transformation of coordinates for (b). fd m is an image after the image restoration processing is performed on each of g m and g m | shift.
図11の1次回復画像(回復画像)fdmは、処理(a)、(b)、(c)とも画像のぼけ成分が補正され、(a)においては倍率色収差も同時に補正されている。Smは、(a)及び(c)に対してはfdmからgmを減算し(差分情報取得)、(b)に対してはfdmからgm|shiftを減算した回復成分情報である。Sdmは、第1の色成分及び第2の色成分の回復成分情報Smを平均化した色合成回復成分情報である。fmは、この色合成回復成分情報Sdmと入力画像gmとを合成した回復調整画像(2次回復画像)である。fm|shiftは、回復調整画像fmに対して座標の幾何変換による倍率色収差補正を行う。そして、Omはこれらの画像処理を経た出力画像である。 Primary restored image (restored image) fd m in FIG. 11, the process (a), (b), is corrected blur component of the image with (c), it has been corrected magnification chromatic aberration simultaneously in (a). S m is, (a) and for the (c) subtracting the g m from fd m (difference information acquisition), g m from fd m for (b) | in recovery component information obtained by subtracting the shift is there. Sd m is color synthesis recovery component information obtained by averaging the recovery component information S m of the first color component and the second color component. f m is a recovery adjustment image (secondary recovery image) obtained by combining the color synthesis recovery component information Sd m and the input image g m . f m | shift performs lateral chromatic aberration correction by geometric transformation of coordinates on the recovery adjustment image f m . O m is an output image that has undergone these image processes.
図11の(a)の画像回復フィルタの倍率色収差補正成分の補正量は色合成比調整係数あるいは回復強度調整係数に応じて変化させる。調整係数(色合成比調整係数、回復強度調整係数)に応じた倍率色収差量の設定方法を説明する。 The correction amount of the magnification chromatic aberration correction component of the image restoration filter in FIG. 11A is changed in accordance with the color synthesis ratio adjustment coefficient or the restoration intensity adjustment coefficient. A method for setting the amount of chromatic aberration of magnification according to the adjustment coefficient (color composition ratio adjustment coefficient, recovery intensity adjustment coefficient) will be described.
調整係数(色合成比調整係数、回復強度調整係数)を大きく設定した場合は、回復度合いが高いので倍率色収差が補正されるので、倍率色収差補正量を小さくする。また、調整係数(色合成比調整係数、回復強度調整係数)を小さく設定した場合、回復度合いが低いので回復度合いが高い場合に比べて倍率色収差が補正されないため、倍率色収差補正量を大きくする。言い換えれば、倍率色収差補正手段は前記調整係数が大きい色成分よりも調整係数が小さい色成分の倍率色収差を大きく補正する。 When the adjustment coefficient (color composition ratio adjustment coefficient, recovery intensity adjustment coefficient) is set large, the degree of recovery is high and the lateral chromatic aberration is corrected. Therefore, the lateral chromatic aberration correction amount is reduced. Further, when the adjustment coefficient (color composition ratio adjustment coefficient, recovery strength adjustment coefficient) is set small, the magnification chromatic aberration correction amount is increased because the degree of recovery is low and the magnification chromatic aberration is not corrected compared to the case where the degree of recovery is high. In other words, the magnification chromatic aberration correcting means corrects magnification chromatic aberration of a color component having a smaller adjustment coefficient than that of a color component having a larger adjustment coefficient.
より具体的に言えば、図6において、色合成比調整係数ωを1/3とした場合(各色成分の合成比を同じにした場合)は、回復強度調整係数μに関わらず倍率色収差の補正が行われないため、倍率色収差補正量を最大にする。ここでいう最大とは、回復前の画像の倍率色収差量である。ここでは、具体的な値として色合成比調整係数、回復強度調整係数の最大値を1とする。 More specifically, in FIG. 6, when the color composition ratio adjustment coefficient ω is 1/3 (when the composition ratio of each color component is the same), the correction of the chromatic aberration of magnification is performed regardless of the recovery intensity adjustment coefficient μ. Therefore, the magnification chromatic aberration correction amount is maximized. The maximum here is the amount of lateral chromatic aberration of the image before recovery. Here, the maximum value of the color synthesis ratio adjustment coefficient and the recovery intensity adjustment coefficient is set to 1 as specific values.
つまり、色合成比調整係数ωを1、回復強度調整係数μを1とした場合は、倍率色収差の補正が行われるため、倍率色収差補正量を零としてよい。さらに、回復強度調整係数μを零とした場合は、色合成比調整係数ωに関わらず倍率色収差の補正が行われないため、倍率色収差補正量を最大にする。つまり、色合成比調整係数の値が1に対して小さくなる場合(色合成比調整比係数が1/3に近づく場合)、倍率色収差補正量は大きく設定する。色合成比調整係数が最大(1)である場合、倍率色収差補正量を零にする。 That is, when the color composition ratio adjustment coefficient ω is 1 and the recovery intensity adjustment coefficient μ is 1, the magnification chromatic aberration correction amount may be zero because the magnification chromatic aberration is corrected. Further, when the recovery intensity adjustment coefficient μ is set to zero, the magnification chromatic aberration correction amount is maximized because the magnification chromatic aberration is not corrected regardless of the color composition ratio adjustment coefficient ω. That is, when the value of the color composition ratio adjustment coefficient is smaller than 1 (when the color composition ratio adjustment coefficient is close to 1/3), the magnification chromatic aberration correction amount is set to be large. When the color composition ratio adjustment coefficient is the maximum (1), the magnification chromatic aberration correction amount is set to zero.
これらの色合成比調整係数ω、回復強度係調整数μの関係による倍率色収差補正量は、関数として保持することでω、μから算出することが可能であるし、テーブルデータとして保持して参照することにより決定することも可能である。 The magnification chromatic aberration correction amount based on the relationship between the color composition ratio adjustment coefficient ω and the recovery strength adjustment number μ can be calculated from ω and μ by holding it as a function, or stored and referenced as table data. It is also possible to decide by doing.
上記説明のとおり、倍率色収差補正量を調整係数に応じて変更することにより、より色付きを低減した良質な画像を得ることができる点にある。より限定すれば、第1調整係数よりも第2調整係数の方が大きい場合、該第1調整係数を設定した画素に対する倍率色収差補正量を、該第2調整係数を設定した画素に対する倍率色収差補正量よりも小さくすることを特徴とする。以上、倍率色収差補正を画像回復フィルタに持たせた場合の好ましい形態について説明した。 As described above, by changing the magnification chromatic aberration correction amount according to the adjustment coefficient, it is possible to obtain a high-quality image in which coloring is further reduced. More specifically, when the second adjustment coefficient is larger than the first adjustment coefficient, the magnification chromatic aberration correction amount for the pixel for which the first adjustment coefficient is set is calculated as the magnification chromatic aberration correction for the pixel for which the second adjustment coefficient is set. It is characterized by being smaller than the amount. In the above, the preferable form at the time of giving a magnification chromatic aberration correction to the image restoration filter was demonstrated.
次に、画像回復フィルタには倍率色収差補正成分を含めず、画像回復処理よりも前の工程で倍率色収差補正を行うこともできる。図11(b)を実施例3の説明図として用いる。図11(a)、(c)と比べると、図11(b)のように色合成回復成分情報Sdmを生成するよりも前段の工程で倍率色収差補正を行う場合が最も鮮鋭な出力画像Omが得られることが分かる。即ち、色合成回復成分情報Sdmを生成する工程で、回復成分情報Smに倍率色収差が残留している場合、色合成回復成分情報Sdmが倍率色収差を含めた広がりを持ってしまうため個々の色成分の補正精度が低下する。よって、幾何変換による倍率色収差補正と倍率色収差補正機能を持たない画像回復処理を組み合わせて行うことが好ましい。さらに好ましくは、調整係数に応じて回復画像の回復度合いが変化するので、幾何変換による倍率色収差補正量も該調整係数に応じて調整することが好ましい。 Next, the image restoration filter does not include the magnification chromatic aberration correction component, and the magnification chromatic aberration correction can be performed in a step before the image restoration processing. FIG. 11B is used as an explanatory diagram of the third embodiment. FIG. 11 (a), the compared with (c), FIG. 11 (b) sharpest output image O may perform magnification chromatic aberration correction in the preceding step than to produce a color combining restoration component information Sd m as It can be seen that m is obtained. That is, each order in the step of generating a color combining restoration component information Sd m, if the magnification chromatic aberration recovery component information S m is left, color synthesis recovery component information Sd m will have a spread, including chromatic aberration of magnification The color component correction accuracy decreases. Therefore, it is preferable to perform a combination of lateral chromatic aberration correction by geometric conversion and image restoration processing that does not have a lateral chromatic aberration correction function. More preferably, since the degree of recovery of the recovered image changes in accordance with the adjustment coefficient, it is preferable to adjust the magnification chromatic aberration correction amount by geometric conversion in accordance with the adjustment coefficient.
つまり、入力画像に対して、幾何変換による倍率色収差補正を行った後に、画像回復処理を行い回復画像を得る。そして、該回復画像と入力画像の差分情報を取得し、その差分情報を調整係数に応じて該回復画像に演算して第1の回復調整画像を生成する。生成された第1の回復調整画像に対して、再度、該調整係数に応じて幾何変換による倍率色収差の補正量を変更させて、幾何変換による倍率色収差補正を行うことにより第2の回復調整画像(出力画像)を得る。ここで、画像回復処理には倍率色収差補正機能を付与しない。 That is, after correcting the chromatic aberration of magnification by geometric transformation for the input image, the image recovery process is performed to obtain a recovered image. Then, difference information between the restored image and the input image is acquired, and the difference information is calculated on the restored image according to an adjustment coefficient to generate a first restored adjusted image. The second recovery adjustment image is obtained by changing the correction amount of the chromatic aberration of magnification by the geometric transformation again according to the adjustment coefficient and performing the correction of the chromatic aberration of magnification by the geometric transformation on the generated first recovery adjustment image. (Output image) is obtained. Here, the chromatic aberration correction function for magnification is not added to the image restoration process.
先に述べたように、幾何変換による倍率色収差補正を行った場合でも、調整係数の設定値に応じて、第1の回復調整画像の鮮鋭度が変化してしまう。よって、第2の回復調整画像を生成する際の調整係数に応じた倍率色補正は、倍率色の補正量を微小調整を行いたい場合に特に有効である。 As described above, even when magnification chromatic aberration correction is performed by geometric transformation, the sharpness of the first recovery adjustment image changes according to the setting value of the adjustment coefficient. Therefore, the magnification color correction according to the adjustment coefficient when generating the second recovery adjustment image is particularly effective when fine adjustment of the magnification color correction amount is desired.
鮮鋭度の変化(調整係数の大小)の程度に合わせて、倍率色の補正量をどの程度調整するかは、第1の回復調整画像を生成する前に行った幾何変換による倍率色補正量と調整係数の対応に依存する。本実施例では、第1の回復調整画像を生成する前に倍率色補正を行っているので、鮮鋭度が最小(調整係数が最小)の場合に最適な倍率色収差補正となる。つまり、調整係数が大きくなる(鮮鋭になる)にしたがって倍率色収差が発生し、その収差量も大きくなる。よって、第1の調整係数が第2の調整係数よりも大きい値が設定された場合、第2の回復調整画像を生成する際、該第1の調整係数に対応した倍率色補正量を、第2の調整係数に対応した倍率色収差量よりも大きくする。 The degree to which the correction amount of the magnification color is adjusted in accordance with the degree of change in sharpness (adjustment coefficient magnitude) depends on the magnification color correction amount by geometric transformation performed before generating the first restoration adjustment image. Depends on adjustment factor correspondence. In this embodiment, since the magnification color correction is performed before the first restoration adjustment image is generated, the magnification chromatic aberration correction is optimum when the sharpness is minimum (the adjustment coefficient is minimum). That is, as the adjustment coefficient increases (becomes sharper), lateral chromatic aberration occurs, and the amount of aberration increases. Therefore, when the first adjustment coefficient is set to a value larger than the second adjustment coefficient, when the second recovery adjustment image is generated, the magnification color correction amount corresponding to the first adjustment coefficient is set to the first adjustment coefficient. The amount of chromatic aberration of magnification corresponding to the adjustment coefficient of 2 is set larger.
倍率色収差は座標の幾何変換処理でも補正することができるため、図11(b)のようにぼけの補正は画像回復処理により行う。一方、倍率色収差(色付き)の補正は調整係数に応じて補正量に基づいた座標の幾何変換による倍率色収差補正工程により除去あるいは低減し、ぼけを画像回復フィルタによる画像回復処理として調整することが好ましい。 Since the lateral chromatic aberration can be corrected by coordinate transformation processing of coordinates, blur correction is performed by image restoration processing as shown in FIG. On the other hand, it is preferable that correction of lateral chromatic aberration (colored) is removed or reduced by a lateral chromatic aberration correction step by coordinate transformation based on a correction amount according to the adjustment coefficient, and blur is adjusted as an image restoration process by an image restoration filter. .
以上のとおり、倍率色収差の補正量を画像回復処理の回復度合い、つまり調整係数に応じて変更することにより、画像として色付きが目立たない状態に補正することができる。 As described above, by changing the correction amount of the chromatic aberration of magnification according to the recovery degree of the image recovery process, that is, the adjustment coefficient, it is possible to correct the image so that coloring is not conspicuous.
図12の(a)及び(c)は、画像のエッジのプロファイルについてぼけ量の異なる2つの場合の模式図である。それぞれ、太実線、細実線、点線は画像が有する異なる色成分を示している。(b)及び(d)は、それぞれ(a)及び(c)に対して太実線で表した色成分を固定して、残りの2つの色成分を平行移動(幾何変換)して適正な補正量で倍率色収差を補正したものである。このとき、補正量AとBとは異なる。よって、ぼけの度合い、即ち回復度合いに応じて倍率色収差の補正量を対応させる必要があるのである。実施例1あるいは2の画像処理方法を用いることにより、画像回復の度合いに応じて変化する倍率色収差を、最適な補正量で補正できるため、高画質な出力画像を得ることができる。 (A) and (c) of FIG. 12 are schematic views in two cases where the amount of blur is different for the edge profile of the image. Each of the thick solid line, the thin solid line, and the dotted line indicates different color components of the image. In (b) and (d), the color components represented by thick solid lines are fixed with respect to (a) and (c), respectively, and the remaining two color components are translated (geometrically converted) to perform appropriate correction. The magnification chromatic aberration is corrected by the amount. At this time, the correction amounts A and B are different. Therefore, it is necessary to make the correction amount of the lateral chromatic aberration correspond to the degree of blur, that is, the degree of recovery. By using the image processing method of the first or second embodiment, it is possible to correct the chromatic aberration of magnification that changes in accordance with the degree of image restoration with an optimal correction amount, so that a high-quality output image can be obtained.
図15に画像処理を情報処理装置に実行させる場合の概略構成図を示す。151は画像処理部、152はRAM、153ROM、154はCPU、155はネットワークと接続するネットワークインタフェイスカード(NIC)である。156はモニタなどの表示部、157はハードディスクドライブやメモリカードなどの記憶装置、158はその他の機器を接続可能なI/Fである。159はキーボード、マウスなどの操作部、150はシステムバスであり上記説明した要素を相互に接続している。CPU154は、ROM153または記憶装置157に格納されたプログラム(画像処理プログラム)を、ワークメモリであるRAM152にロードして当該プログラムを実行する。当該プログラムに従いシステムバス150を介して各要素を制御することで、画像処理プログラムの機能を実現する。尚、図15は画像処理を実施する情報処理装置の一般的な構成を示し、その構成の一部を欠いても、他のデバイスが追加されても、本発明の範囲に含まれる。
FIG. 15 shows a schematic configuration diagram for causing the information processing apparatus to execute image processing.
図16(A)には、本発明の実施例3である画像処理システムの構成を示している。画像処理装置201は、コンピュータ機器により構成され、実施例1、2にて説明した画像処理方法を該コンピュータ機器に実行させるための画像処理ソフトウェア(画像処理プログラム)206を搭載している。
FIG. 16A shows the configuration of an image processing system that is Embodiment 3 of the present invention. The
撮像装置202は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体203は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により生成された画像(撮影画像データ)を記憶する。
The
画像処理装置201は、撮像装置(撮像機器)202または記憶媒体203から撮影画像データを取得し、所定の画像処理を行った出力画像(回復調整画像)データを出力機器205、撮像装置202及び記憶媒体203のうち少なくとも1つに出力する。また、出力先を画像処理装置201に内蔵された記憶部とし、該記憶部に出力画像データを保存しておくこともできる。出力機器205としては、プリンタ等が挙げられる。画像処理装置201には、モニタである表示機器204が接続されており、ユーザーはこの表示機器204を通して画像処理作業を行うとともに、回復調整画像を評価することができる。画像処理ソフトウェア206は、画像回復処理機能(調整係数に応じた倍率色収差補正機能)及び回復度合い調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。
The
また、図16(B)には、別の画像処理システムの構成を示している。実施例1のように撮像装置(撮像機器)202単体で実施例1〜3の画像処理を行う場合は、撮像装置202から直接、出力機器205に回復調整画像を出力することができる。
FIG. 16B shows the configuration of another image processing system. When the image processing according to the first to third embodiments is performed by the imaging device (imaging device) 202 alone as in the first embodiment, the recovery adjustment image can be directly output from the
また、出力機器205に、実施例1,2の画像処理方法を実行する画像処理装置を搭載することで、出力機器205は、画像回復処理あるいは回復度合い調整を行うことも可能である。さらに、出力機器205の出力時の画像劣化特性を考慮して回復度合い調整を行うことで、より高画質な画像を提供することができる。
In addition, by mounting the image processing apparatus that executes the image processing methods of the first and second embodiments on the
ここで、調整係数に応じた倍率色収差補正機能を含む補正処理を含む画像処理を行うための補正データの内容と補正データの流れについて説明する。図17には、補正データの内容を示す。補正情報セットは、以下の補正に関する情報を有している。 Here, the content of correction data and the flow of correction data for performing image processing including correction processing including a magnification chromatic aberration correction function according to the adjustment coefficient will be described. FIG. 17 shows the contents of the correction data. The correction information set has the following information regarding correction.
・補正制御情報
補正制御情報は、撮像装置202、画像処理装置201、出力機器205のどの機器で回復処理及び回復度合い調整処理を行うかに関する設定情報と、これに伴い他の機器に伝送するデータの選択情報である。例えば、撮像装置202で回復処理のみ行い、画像処理装置201で回復度合いの調整を行う場合、画像回復フィルタを伝送する必要は無いが、少なくとも撮影画像と1次回復画像(または回復成分情報)を伝送する必要がある。
Correction control information The correction control information includes setting information related to which of the
・撮像装置情報
撮像装置情報は、製品名称に相当する撮像装置202の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
Imaging Device Information Imaging device information is identification information of the
・撮像状態情報
撮像状態情報は、撮影時の撮像装置の状態に関する情報である。例えば、焦点距離、絞り値、撮影距離、ISO感度、ホワイトバランスなどである。
Imaging state information The imaging state information is information relating to the state of the imaging device at the time of shooting. For example, focal length, aperture value, shooting distance, ISO sensitivity, white balance, and the like.
・撮像装置個別情報
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数(OTF)は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。また、個々に最適な回復度合い調整パラメータに補正するための補正値を含む。
Imaging Device Individual Information Imaging device individual information is identification information of individual imaging devices with respect to the above imaging device information. Since the optical transfer function (OTF) of the imaging apparatus has individual variations due to variations in manufacturing errors, the individual imaging apparatus information is effective information for setting an optimum recovery degree adjustment parameter individually. In addition, a correction value for correcting to an optimum recovery degree adjustment parameter is included.
・画像回復フィルタ群
画像回復フィルタ群は、画像回復処理で用いる画像回復フィルタのセットである。画像回復処理を行う機器が画像回復フィルタを有していない場合、別の機器から画像回復フィルタを伝送する必要がある。
Image Recovery Filter Group The image recovery filter group is a set of image recovery filters used in image recovery processing. When a device that performs image restoration processing does not have an image restoration filter, it is necessary to transmit the image restoration filter from another device.
・回復成分情報
既に画像回復処理が行われ、回復成分情報が生成されている場合、撮影画像と回復成分情報を別の機器に伝送すれば、別の機器で回復度合い調整処理を行うことができる。
・ Recovery component information When image recovery processing has already been performed and recovery component information has been generated, if the captured image and the recovery component information are transmitted to another device, the recovery degree adjustment processing can be performed by another device. .
・調整パラメータ群
調整パラメータ群は色合成比調整係数ω、回復強度調整係数μ、あるいはこれらの調整係数に関連付けられた倍率色収差補正量のセットである。色合成比調整係数ω、回復強度調整係数μは前記のとおり、画像の位置に応じて変更可能である。また撮影状態に応じても変更可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでも良いし、調整係数を決定するための関数でも良い。
調整係数に応じて決定される倍率色収差補正量も調整パラメータのひとつとして保持することができる。また、倍率色収差補正量は、調整係数に応じてテーブルデータや関数によって自動的に決定することもできるし、ユーザーが可変に設定することも可能である。さらにあらかじめ用意された複数のプリセット値からユーザーが選択して設定することも可能である。
Adjustment Parameter Group The adjustment parameter group is a color composition ratio adjustment coefficient ω, a recovery intensity adjustment coefficient μ, or a set of magnification chromatic aberration correction amounts associated with these adjustment coefficients. As described above, the color composition ratio adjustment coefficient ω and the recovery intensity adjustment coefficient μ can be changed according to the position of the image. It can also be changed according to the shooting state. The adjustment parameter group data may be table data of the adjustment coefficient itself or a function for determining the adjustment coefficient.
A magnification chromatic aberration correction amount determined according to the adjustment coefficient can also be held as one of the adjustment parameters. Further, the magnification chromatic aberration correction amount can be automatically determined by table data or a function according to the adjustment coefficient, or can be variably set by the user. Further, the user can select and set from a plurality of preset values prepared in advance.
・ユーザー設定情報
ユーザー設定情報は、ユーザーの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。さらに、撮像装置の提供者(メーカー)がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。
User setting information The user setting information is an adjustment parameter for adjusting the degree of recovery according to the user's preference or a correction function of the adjustment parameter. Although the user can variably set the adjustment parameter, using the user setting information can always obtain a desired output image as an initial value. Further, it is preferable that the user setting information is updated by the learning function with the sharpness most preferred from the history of the user determining the adjustment parameter. Furthermore, a provider (manufacturer) of the imaging apparatus can provide preset values corresponding to some sharpness patterns via a network.
上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本発明の画像処理装置を搭載した機器であれば回復度合い調整処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動及び手動で取捨選択可能である。例えば、別の機器で回復度合い調整処理を行う場合に、補正情報セットに回復成分情報が含まれていれば画像回復フィルタ群は基本的には必要ない。 The correction information set is preferably attached to individual image data. By attaching the necessary correction information to the image data, the recovery degree adjustment process can be performed by any device equipped with the image processing apparatus of the present invention. Further, the contents of the correction information set can be selected automatically and manually as necessary. For example, when the restoration degree adjustment process is performed by another device, the image restoration filter group is basically unnecessary if the restoration component information is included in the correction information set.
補正情報セットを用いた場合の処理の一例を示す。まず、画像処理装置201は、撮像装置202または記憶媒体203等から画像を取得し、画像処理を行うための補正情報を取得する。ここで補正情報は、記憶手段等にあらかじめ記憶されていたものを用いても良いし、ユーザーの入力や選択により調整係数設定手段が設定した調整係数、あるいは画像に付帯された調整係数などを用いても良い。補正情報には倍率色収差補正に関するデータがセットされていた場合、画像処理装置は該倍率色収差補正に関するデータを読み込み、そのデータに応じて倍率色収差の補正量を調整する。
An example of processing when a correction information set is used is shown. First, the
以上、本発明の画像処理を用いたシステムに関する実施例を示したが、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although the Example regarding the system using the image processing of this invention was shown, a various deformation | transformation and change are possible within the range of the summary.
(変形例)
図13(A)及び図13(B)に倍率色収差補正処理を含めたフローチャートを示す。図13(A)は、初めに入力画像に対して倍率色収差補正処理を行い、画像回復処理では上記の倍率色補正成分を持たない画像回復フィルタを用いている。デモザイキング処理よりも前の工程で倍率色収差補正処理を行うため、倍率色収差補正処理では必要に応じて仮の色補間処理を行っても構わない。
(Modification)
FIGS. 13A and 13B are flowcharts including the magnification chromatic aberration correction process. In FIG. 13A, the magnification chromatic aberration correction process is first performed on the input image, and the image restoration filter that does not have the magnification color correction component described above is used in the image restoration process. Since the magnification chromatic aberration correction process is performed in a process prior to the demosaicing process, a provisional color interpolation process may be performed as necessary in the magnification chromatic aberration correction process.
一方、図13(B)では、初めに画像回復処理では上記の倍率色補正成分を持たない画像回復フィルタを用い、回復成分情報に対して倍率色収差補正処理を行っている。ただし、この場合、2次回復画像を生成するために入力画像に対して倍率色収差補正処理を行う必要があるため、図13(A)の方法がより好ましい。 On the other hand, in FIG. 13B, first, in the image restoration process, the above-described image restoration filter having no magnification color correction component is used, and the magnification chromatic aberration correction process is performed on the restoration component information. However, in this case, since it is necessary to perform the magnification chromatic aberration correction process on the input image in order to generate the secondary recovery image, the method of FIG. 13A is more preferable.
次にホワイトバランスと回復度合いの調整の関係について図14(A)、(B)を用いて説明する。ホワイトバランスはデジタルカメラにおける色調の調整方法で適切な色、もしくは撮影者によって意図された色味を出すために使用される。また、白色を生成するためのRAW画像のRGB信号の混合比をホワイトバランス係数とする。 Next, the relationship between white balance and recovery degree adjustment will be described with reference to FIGS. White balance is used to adjust the color tone of a digital camera to produce an appropriate color or a color intended by a photographer. Further, the mixing ratio of the RGB signals of the RAW image for generating white is used as the white balance coefficient.
上記のとおり、色合成回復成分情報を生成するためには、回復成分情報を色成分間で色合成比調整係数ωに応じて色合成することである。このとき、ホワイトバランスを考慮しないと、ωの設定により意図した混合比にならない。例えば、ω=1/3はR,G,Bの各回復成分を均等に平均化するので、得られる色合成回復成分情報は色味の無い状態である。しかし、ホワイトバランス係数が1:1:1でない限り、1/3ずつ混合した色合成回復成分情報は色味をもつことになる。即ち、偽色発生リスクを0(ゼロ)にできていないことになってしまう。 As described above, in order to generate the color synthesis recovery component information, the recovery component information is color-synthesized between the color components according to the color synthesis ratio adjustment coefficient ω. At this time, if the white balance is not taken into consideration, the intended mixing ratio cannot be achieved by setting ω. For example, when ω = 1/3, the recovery components of R, G, and B are evenly averaged, so that the obtained color synthesis recovery component information is in a state without color. However, unless the white balance coefficient is 1: 1: 1, the color composition recovery component information mixed by 1/3 has a color. That is, the risk of false color generation is not set to 0 (zero).
そこで、図14(A)のように、入力画像に対してホワイトバランス処理を行う。このホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を除算に相当する処理を行い、信号値のレベルを正規化する処理である。正規化することで、色合成比調整係数ωに応じた混合比で色合成回復成分情報を生成することができる。そして、2次回復画像を生成する前に逆ホワイトバランス処理を行うことで画像のホワイトバランスを元の状態に戻している。この逆ホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を乗算に相当する処理を行い、正規化された信号値のレベルを元に戻す処理である。別の方法として図14(B)では、図14(A)のように画像でホワイトバランスの考慮を行うのではなく、回復度合いの調整パラメータをホワイトバランス係数に応じて補正している。調整パラメータは、色合成比調整係数ωや回復強度調整係数μである。 Therefore, as shown in FIG. 14A, white balance processing is performed on the input image. This white balance process is a process of normalizing the level of the signal value by performing a process corresponding to the division of the signal value of each color component by the white balance coefficient. By normalizing, the color composition recovery component information can be generated with a mixing ratio corresponding to the color composition ratio adjustment coefficient ω. Then, the white balance of the image is returned to the original state by performing reverse white balance processing before generating the secondary recovery image. This inverse white balance process is a process of performing a process corresponding to multiplication of the signal value of each color component with a white balance coefficient to restore the level of the normalized signal value. As another method, in FIG. 14B, the white balance is not considered in the image as in FIG. 14A, but the adjustment parameter of the recovery degree is corrected according to the white balance coefficient. The adjustment parameters are a color composition ratio adjustment coefficient ω and a recovery intensity adjustment coefficient μ.
以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて決定しても構わない。また、本発明の目的を達成可能な範囲では当然ながら処理工程の順序を変更しても構わない。 As described above, the preferred context of each processing step and the processing to be considered have been described. However, when there is a restriction from another viewpoint on the order of the processing steps, the present invention is not limited to this. It may be determined according to the required image quality. In addition, as long as the object of the present invention can be achieved, the order of the processing steps may naturally be changed.
以上、本発明の画像処理方法を用いた撮像装置に関する実施例を示したが、本発明の撮像装置は、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although the Example regarding the imaging device using the image processing method of this invention was shown, various deformation | transformation and change are possible for the imaging device of this invention within the range of the summary.
しかしながら、実際の撮影画像は上述した画像回復技術を用いても、例えばR,G,Bの色成分ごとに回復度合いが想定しているものと異なっていた場合、思わぬ偽色が発生し、良質な回復画像を得られない場合がある。ここで、偽色とは、理想的な回復画像には現れない色付きのことである。 However, even if the actual image captured using the above-described image restoration technique, for example, if the degree of restoration is different from that assumed for each of R, G, B color components, an unexpected false color occurs, There are cases where a high-quality recovered image cannot be obtained. Here, the false color is a color that does not appear in an ideal recovered image.
101 画像回復処理手段
102 差分情報取得手段
103 調整係数設定手段
104 倍率色収差補正手段
105 回復調整画像生成手段
101 Image restoration processing means 102 Difference information acquisition means 103 Adjustment coefficient setting means 104 Magnification chromatic aberration correction means 105 Recovery adjustment image generation means
Claims (6)
前記入力画像と回復処理した回復画像の差分情報を取得する差分情報取得手段と、
前記回復処理における回復度合いを調整するための調整係数を設定する調整係数設定手段と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する回復調整画像生成手段と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する倍率色収差補正手段を有することを特徴とする画像処理装置。 Image restoration processing means for restoring an input image having a plurality of color components;
Difference information acquisition means for acquiring difference information between the input image and the recovered image subjected to the recovery process;
Adjustment coefficient setting means for setting an adjustment coefficient for adjusting the degree of recovery in the recovery process;
Recovery adjustment image generation means for generating a recovery adjustment image by combining the difference information according to the adjustment coefficient with respect to the input image;
An image processing apparatus, comprising: a magnification chromatic aberration correction unit that adjusts a correction amount of magnification chromatic aberration with respect to the input image or the recovery adjustment image according to the adjustment coefficient.
前記調整係数を、前記色成分ごとに設定することを特徴とする請求項1に記載の画像処理装置。 The difference information is obtained by synthesizing a difference amount for each color component of the input image and the restored image according to a color synthesis ratio adjustment coefficient indicating a mixing ratio of the color components,
The image processing apparatus according to claim 1, wherein the adjustment coefficient is set for each of the color components.
前記撮影画像を入力画像として処理する請求項1乃至3いずれか1項に記載の画像処理装置とを有することを特徴とする撮像装置。 An image sensor that photoelectrically converts a subject image formed by the imaging optical system to generate a captured image; and
An imaging apparatus comprising: the image processing apparatus according to claim 1, wherein the captured image is processed as an input image.
前記入力画像と回復処理した回復画像の差分情報を取得する差分情報取得工程と、
前記回復処理における回復度合いを調整するための調整係数を設定する調整係数設定工程と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する回復調整画像生成工程と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する倍率色収差補正工程とを情報処理装置に実行させる画像処理プログラム。 An image recovery process for recovering an input image having a plurality of color components;
A difference information acquisition step for acquiring difference information between the input image and the recovered image that has undergone recovery processing;
An adjustment coefficient setting step for setting an adjustment coefficient for adjusting the degree of recovery in the recovery process;
A recovery adjustment image generation step of generating a recovery adjustment image by combining the difference information according to the adjustment coefficient with respect to the input image;
An image processing program for causing an information processing apparatus to execute a magnification chromatic aberration correction step of adjusting a correction amount of magnification chromatic aberration with respect to the input image or the recovery adjustment image according to the adjustment coefficient.
前記入力画像と回復処理した回復画像の差分情報を取得する工程と、
前記回復処理における回復度合いを調整するための調整係数を設定する工程と、
前記入力画像に対して、前記差分情報を前記調整係数に応じて合成することで回復調整画像を生成する工程と、
前記調整係数に応じて、前記入力画像または前記回復調整画像に対する倍率色収差の補正量を調整する工程を有することを特徴とする画像処理方法。 Recovering an input image having a plurality of color components;
Obtaining difference information between the input image and the recovered image after the recovery process;
Setting an adjustment coefficient for adjusting the degree of recovery in the recovery process;
Generating a recovery adjustment image by combining the difference information according to the adjustment coefficient with respect to the input image;
An image processing method comprising adjusting a correction amount of chromatic aberration of magnification with respect to the input image or the recovery adjustment image according to the adjustment coefficient.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010082806A JP5479187B2 (en) | 2010-03-31 | 2010-03-31 | Image processing apparatus and imaging apparatus using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010082806A JP5479187B2 (en) | 2010-03-31 | 2010-03-31 | Image processing apparatus and imaging apparatus using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011217087A JP2011217087A (en) | 2011-10-27 |
JP5479187B2 true JP5479187B2 (en) | 2014-04-23 |
Family
ID=44946388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010082806A Expired - Fee Related JP5479187B2 (en) | 2010-03-31 | 2010-03-31 | Image processing apparatus and imaging apparatus using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5479187B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5911314B2 (en) * | 2012-01-25 | 2016-04-27 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP6189172B2 (en) * | 2013-10-17 | 2017-08-30 | 株式会社東芝 | Image processing apparatus, image processing method, and program |
JP6415062B2 (en) * | 2014-02-21 | 2018-10-31 | キヤノン株式会社 | Image processing apparatus, image processing method, control program, and recording medium |
JP6415063B2 (en) * | 2014-02-21 | 2018-10-31 | キヤノン株式会社 | Image processing apparatus, image processing method, control program, and recording medium |
JP6043381B2 (en) | 2014-04-01 | 2016-12-14 | キヤノン株式会社 | Imaging system, imaging apparatus, control method, and program |
JP6561685B2 (en) * | 2015-08-27 | 2019-08-21 | コニカミノルタ株式会社 | Image forming system, image forming apparatus, and management apparatus |
JP6602390B2 (en) * | 2015-09-28 | 2019-11-06 | 株式会社日立国際電気 | Imaging apparatus and imaging method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4598623B2 (en) * | 2005-06-21 | 2010-12-15 | 日東光学株式会社 | Image processing device |
JP2007300208A (en) * | 2006-04-27 | 2007-11-15 | Kyocera Corp | Imaging apparatus |
JP5124835B2 (en) * | 2008-02-05 | 2013-01-23 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and program |
-
2010
- 2010-03-31 JP JP2010082806A patent/JP5479187B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011217087A (en) | 2011-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5284537B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus using the same | |
JP5188651B2 (en) | Image processing apparatus and imaging apparatus using the same | |
JP5441652B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
JP5147994B2 (en) | Image processing apparatus and imaging apparatus using the same | |
JP5546229B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
JP6525718B2 (en) | Image processing apparatus, control method therefor, and control program | |
US8754957B2 (en) | Image processing apparatus and method | |
JP5054248B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
JP2011124692A5 (en) | ||
JP5991749B2 (en) | Image processing apparatus and method | |
JP5479187B2 (en) | Image processing apparatus and imaging apparatus using the same | |
JP2011123589A5 (en) | ||
WO2011121763A1 (en) | Image processing apparatus and image capturing apparatus using same | |
JP2015115733A (en) | Image processing method, image processor, imaging device, and image processing program | |
JP2012156715A (en) | Image processing device, imaging device, image processing method, and program | |
JP2012234484A (en) | Image processing method, image processor, imaging apparatus and image processing program | |
JP2012235421A (en) | Image processing method, image processor, imaging apparatus and image processing program | |
WO2011121761A1 (en) | Image processing apparatus and image capturing apparatus using same | |
JP2017126952A (en) | Image processing unit, imaging apparatus, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5479187 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |