JP4945943B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP4945943B2 JP4945943B2 JP2005205356A JP2005205356A JP4945943B2 JP 4945943 B2 JP4945943 B2 JP 4945943B2 JP 2005205356 A JP2005205356 A JP 2005205356A JP 2005205356 A JP2005205356 A JP 2005205356A JP 4945943 B2 JP4945943 B2 JP 4945943B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- component
- mtf
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 85
- 238000000034 method Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 82
- 238000009499 grossing Methods 0.000 claims description 55
- 238000012937 correction Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000004075 alteration Effects 0.000 description 100
- 230000014509 gene expression Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 201000005569 Gout Diseases 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明は、光学系を通して撮像された画像を補正する画像処理装置に関する。 The present invention relates to an image processing apparatus that corrects an image captured through an optical system.
次のような色収差補正装置が特許文献１によって知られている。この色収差補正装置では、３色が揃ったカラー画像に対して、各ＲＧＢ面撮像素子の配置傾きによって生じたＲＧＢ間の焦点ずれを、基準色面に対して他の色面に平滑化ないしは鮮鋭化フィルタを掛けて、色面間の相関が最大となるように可変フィルタのパラメータを探索して補正する。
The following chromatic aberration correction apparatus is known from
しかしながら、従来の装置によれば、ある色成分面を鮮鋭化しても、元から焦点ボケにより失ってしまったナイキスト周波数のような微細構造は復元せず、他の色成分で解像している微細構造とのＭＴＦの一致は不可能なため、ＭＴＦが不整合な状態が残ってかえって不自然な偽色・偽構造が発生してしまう可能性がある。すなわち、従来の装置によれば、単一の色成分面内の平滑化ないし鮮鋭化を通して、ＭＴＦの状態を変化させているため、単一色成分内では予測し得ない画像構造部のＭＴＦ回復には対処することができないという問題が生じていた。 However, according to the conventional apparatus, even if a certain color component surface is sharpened, the fine structure such as the Nyquist frequency that has been lost due to the out-of-focus blur is not restored, and resolution is performed with other color components. Since the MTF cannot be matched with the fine structure, there is a possibility that an unnatural false color / false structure may be generated because the MTF remains in an inconsistent state. That is, according to the conventional apparatus, since the state of the MTF is changed through smoothing or sharpening in the single color component plane, the MTF recovery of the image structure portion that cannot be predicted within the single color component is achieved. Had a problem that could not be dealt with.
請求項１に記載の画像処理装置は、光軸方向の色成分間の焦点ずれによって発生した色成分間のＭＴＦ特性が不整合な状態の画像を、ＭＴＦ特性の高い色成分の色情報を用いてＭＴＦ特性の低い色成分の色情報を補正することによって、各色成分間のＭＴＦ特性を整合させることを特徴とする画像処理装置であって、前記ＭＴＦ特性の高い色成分の信号を平滑化し、前記ＭＴＦ特性が高い色成分の平滑化していない信号と、平滑化した前記ＭＴＦ特性の高い色成分の信号との差分から得られる補正情報に基づいて、前記ＭＴＦ特性の低い色成分のＭＴＦ特性を補正して、各色成分間のＭＴＦ特性を整合させることを特徴とする。
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、光学系を通して撮像され、複数の色成分からなり、撮像面において少なくとも２つの色成分の間でＭＴＦ特性が高い色成分と低い色成分が存在する第１の画像を第２の画像に変換する画像処理装置を備え、前記第１の画像の前記少なくとも２つの色成分の内のＭＴＦ特性が高い１つの色成分のＭＴＦ特性をＭＴＦ特性が低い他の色成分のＭＴＦ特性に近づけるよう、前記ＭＴＦ特性が高い１つの色成分を有する画素において平滑化処理を行う平滑化手段と、前記平滑化手段によって平滑化処理されたＭＴＦ特性が高い１つの色成分を用いて、前記第２の画像の色差成分を生成する色差成分生成手段と、前記第１の画像の平滑化処理されないＭＴＦ特性が高い１つの色成分とＭＴＦ特性が低い他の色成分を用いて、前記第２の画像の輝度成分を生成する輝度成分生成手段と、を備えることを特徴とする。
請求項３に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記第２の画像の色差成分と輝度成分とを使用して、前記第１の画像と同じ複数の色成分からなる表色系の画像に逆変換する逆変換手段をさらに備えることを特徴とする。
請求項４に記載の画像処理装置は、請求項２または３に記載の画像処理装置において、前記平滑化手段は、複数種類の色差成分を生成するとき、各々の色差成分ごとに、前記平滑化処理の平滑化の度合いを決定することを特徴とする。
請求項５に記載の画像処理装置は、請求項２〜４のいずれか一項に記載の画像処理装置において、前記平滑化手段は、画素ごとにそれぞれの平滑化の度合いで平滑化処理を行うことを特徴とする。
請求項６に記載の画像処理装置は、請求項２〜５のいずれか一項に記載の画像処理装置において、前記平滑化手段は、複数の画素にまたがって共通の平滑化の度合いで平滑化処理を行うことを特徴とする。
請求項７に記載の画像処理装置は、請求項２〜６のいずれか一項に記載の画像処理装置において、前記第１の画像は、各画素に全ての色成分を有することを特徴とする。
The image processing apparatus according to
The image processing device according to
The image processing device according to
The image processing device according to
The image processing apparatus according to claim 5 is the image processing apparatus according to any one of
The image processing device according to claim 6 is the image processing device according to any one of
The image processing device according to claim 7 is the image processing device according to any one of
第１の発明によれば、ＭＴＦ特性の低い色成分の色情報をＭＴＦ特性の高い色成分の色情報を利用して補正することによってＭＴＦ特性を整合させるようにしたので、単一色成分では回復し得ない周波数成分のＭＴＦ回復が可能となり、高精細な軸上色収差補正が可能となる。
さらに、第２の発明によれば、色差成分のみに対してＭＴＦ整合のための平滑化を経た色信号を用いて軸上色収差補正を行い、軸上色収差の影響が目立たない輝度成分は、元の平滑化のなされていない色信号を用いて生成するので、鮮鋭感を維持した画像構造非破壊性の高い補正が可能となる。
According to the first aspect of the invention, the color information of the color component having a low MTF characteristic is corrected by using the color information of the color component having a high MTF characteristic so that the MTF characteristic is matched. This makes it possible to recover the MTF of frequency components that cannot be obtained, and to perform high-definition axial chromatic aberration correction.
Further, according to the second invention, axial chromatic aberration correction is performed using only a color difference component that has undergone smoothing for MTF matching, and a luminance component that is not significantly affected by axial chromatic aberration is Therefore, it is possible to perform correction with high image structure non-destructiveness while maintaining sharpness.
―第１の実施の形態―
第１の実施の形態では、軸上色収差に関する光学系情報は全く持たずに画像自身の中から自己検出して補正する方式を示す。横方向の収差である倍率色収差の自己検出法は、空間方向のＲＧＢ面間の類似性を測ることで比較的行いやすいが、縦方向の収差である軸上色収差の自己検出法として、何を指標とすればよいのか自明ではないので、その手法を示す。それにより同一レンズ状態でも被写体距離によって変化する軸上色収差にも対応することができる。すなわち、無限遠焦点の風景写真で手前の被写体が赤かぶり、遠方の被写体が青かぶりになるような状況や、至近撮影でレンズピント位置に対して被写体位置のセンチメートルオーダーの前後配置関係による急激な軸上色収差の応答変化が起きるような状況にも対応することができる。
-First embodiment-
In the first embodiment, there is shown a method for correcting by self-detecting from an image itself without having any optical system information regarding axial chromatic aberration. The self-detection method of lateral chromatic aberration, which is a lateral aberration, is relatively easy to measure by measuring the similarity between the RGB planes in the spatial direction, but what is a self-detection method for longitudinal chromatic aberration, which is a longitudinal aberration? Since it is not obvious whether it should be used as an indicator, the method is shown. As a result, it is possible to cope with axial chromatic aberration that varies depending on the subject distance even in the same lens state. In other words, in a landscape photograph with an infinite focus, the subject in the foreground is red-fogged and the subject in the distance is blue-fogged, or in a close-up shooting due to the centimeter-order relationship of the subject position relative to the lens focus position. It is possible to cope with a situation in which a change in response of a longitudinal chromatic aberration occurs.
図１は、第１の実施の形態における画像処理装置をデジタルカメラに搭載した場合の一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、レンズ１０１と、ＣＣＤなどで構成される撮像素子１０２と、画像処理装置１１０とを備えている。撮像素子１０２においては、例えば、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがＢａｙｅｒ配列されている。この撮像素子１０２で撮像される画像データはＲＧＢ表色系で示されるものとし、画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在しているものとする。すなわちＢａｙｅｒ画像であるものとする。
FIG. 1 is a block diagram showing a configuration of an embodiment when the image processing apparatus according to the first embodiment is mounted on a digital camera. The
画像処理装置１１０は、ＣＰＵやその他周辺回路を含み、後述する画像処理を実行する制御装置１１１と、撮像素子１０２によって撮像された画像を格納する画像メモリ１１２と、画像処理後の画像を表示するモニタ１１３とを備えている。このデジタルカメラにおいては、レンズ１０１を通して撮像素子１０２で撮像されたＢａｙｅｒ画像の画像データは、制御装置１１１によってＡ／Ｄ変換されてデジタル信号に変換され、画像メモリ１１２に記憶される。
The
このように撮像素子１０２によって撮像され、画像メモリに記憶された画像データにおいては、軸上色収差に伴う色滲みが発生している可能性がある。すなわち、無彩色の黒線被写体を撮像した場合に、軸上色収差がない場合には、図２（ａ）に示すようなＲＧＢの各成分にぼけ信号は発生しないが、例えば、結像面においてＲ成分に大きな軸上色収差がある場合には、図２（ｂ）に示すようにＲ成分にぼけ信号が発生する。すなわち、Ｇ成分とＢ成分の信号は鮮明な色成分信号であるのに対して、Ｒ成分の信号はぼけた色成分信号となっている。
As described above, in the image data picked up by the
この場合、Ｒ成分に発生したぼけ信号が、黒線被写体位置に回り込んで赤だけ浮き上がるので全体的に赤っぽい線として撮像され、特に黒線被写体のエッジ部近辺では赤滲みが発生する。なお、Ｂ成分に大きな軸上色収差がある場合は、青滲みが発生し、ＲとＢ共に大きな軸上色収差がある場合は、マゼンタ滲みが発生する。 In this case, the blur signal generated in the R component wraps around the black line subject position and floats only by red, so that it is captured as a reddish line as a whole, and red blurring occurs particularly near the edge of the black line subject. When the B component has a large axial chromatic aberration, blue blur occurs. When both R and B have a large axial chromatic aberration, magenta blur occurs.
このような画像は、一般にＢａｙｅｒ配列のような単板撮像素子を利用して撮像され、欠落色成分を補間するので、補間アルゴリズム依存性が生じて状況はより複雑になるが、高性能なアルゴリズムほど忠実に軸上色収差を再現してしまうことが多い。そこで、本実施の形態では、補間アルゴリズム依存のないＢａｙｅｒ配列の状態のままで鮮鋭感を損なわないように輝度成分は従来のまま補間し、色差成分の生成において色成分間のＭＴＦ特性の違いをぼけた側に合わせる変換を行ってから従来の色差成分生成処理を行うようにして、軸上色収差に伴う色滲みの発生を防ぐ。 Such an image is generally captured using a single-plate image sensor such as a Bayer array, and the missing color component is interpolated. Therefore, the dependency on the interpolation algorithm occurs and the situation becomes more complicated. In many cases, axial chromatic aberration is reproduced as faithfully as possible. Therefore, in this embodiment, the luminance component is interpolated as it is so as not to impair the sharpness in the Bayer array state that does not depend on the interpolation algorithm, and the difference in MTF characteristics between the color components is generated in the generation of the color difference component. The conventional color-difference component generation processing is performed after the conversion to match the blurred side to prevent the occurrence of color blur due to axial chromatic aberration.
ここで、無彩色の黒線被写体を撮像した場合に、上述したような軸上色収差による色滲みが発生する原理について説明する。光学系を通して無彩色の黒線被写体を撮像したとき、軸上色収差が無い場合には、図３（ａ）に示すように撮像面でＲＧＢ各成分の焦点が一致している状態である。すなわち図３（ｂ）に示すように、ＲＧＢ各成分のＭＴＦ特性が整合している状態である。これに対して、Ｒ成分に軸上色収差がある場合には、図３（ｃ）に示すようにＲ成分のみ焦点が撮像面からずれており、図３（ｄ）に示すように、撮像面におけるＭＴＦ特性の不整合が生じている状態である。 Here, a description will be given of the principle of occurrence of color blur due to axial chromatic aberration as described above when an achromatic black line subject is imaged. When an achromatic black line subject is imaged through the optical system, if there is no longitudinal chromatic aberration, the RGB components are in focus on the imaging surface as shown in FIG. That is, as shown in FIG. 3B, the MTF characteristics of the RGB components are matched. On the other hand, when there is axial chromatic aberration in the R component, only the R component is defocused from the imaging surface as shown in FIG. 3C, and as shown in FIG. This is a state in which there is a mismatch in MTF characteristics.
第１の実施の形態においては、制御装置１１１は、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消する。すなわち各色成分のＭＴＦ特性を一致させる、または近づけることによって整合させて、軸上色収差を解消する。具体的には、次のような原理によって軸上色収差に伴う色滲みを解消する。 In the first embodiment, the control device 111 corrects an inconsistency in the MTF characteristics between the color components when any one of the RGB color components has axial chromatic aberration and color blur is caused accordingly. Thus, the color blur caused by the longitudinal chromatic aberration is eliminated. That is, the axial chromatic aberration is eliminated by matching the MTF characteristics of the respective color components by matching or bringing them close to each other. Specifically, the color blur accompanying axial chromatic aberration is eliminated by the following principle.
例えば、ＲＧＢの各成分の信号レベルが、図４（ａ）〜（ｃ）の各図に示すような画像に対しては、Ｒ成分やＢ成分のようなぼけた色成分信号のＭＴＦ特性を、Ｇ成分のような鮮明な色成分信号のＭＴＦ特性を利用して鮮鋭化してＭＴＦを整合させる。このために、まず、鮮明な色成分信号を基準色成分として、当該基準色成分のＭＴＦ特性を、ぼけた色成分信号のＭＴＦ特性に近づける、または一致するように平滑化してぼかす。すなわち、図４に示す例では、Ｇ成分のＭＴＦ特性を、Ｒ成分、およびＢ成分のそれぞれのＭＴＦ特性に近づけるように平滑化する。 For example, with respect to an image in which the signal level of each RGB component is as shown in each of FIGS. 4A to 4C, the MTF characteristics of the blurred color component signal such as the R component and the B component are shown. The MTF is matched by sharpening using the MTF characteristic of a clear color component signal such as the G component. For this purpose, first, the clear color component signal is used as a reference color component, and the MTF characteristic of the reference color component is smoothed and blurred so as to approach or match the MTF characteristic of the blurred color component signal. That is, in the example illustrated in FIG. 4, the MTF characteristics of the G component are smoothed so as to approach the MTF characteristics of the R component and the B component.
その結果、図４（ｄ）に示すようなＧ成分のＭＴＦ特性をＲ成分のＭＴＦ特性に近づけるように強くぼかした＜Ｇ＞強と、図４（ｅ）に示すようなＧ成分のＭＴＦ特性をＢ成分のＭＴＦ特性に近づけるように弱くぼかした＜Ｇ＞弱とを得る。そして、図４（ｆ）に示すように、色差成分Ｃｒ、Ｃｂを、Ｒ成分およびＢ成分のそれぞれに対応して平滑化したＧ成分、すなわち＜Ｇ＞強および＜Ｇ＞弱を用いて生成する。 As a result, MTF characteristics of the G component as shown in the MTF characteristics of the G component as shown in FIG. 4 (d) blurred strongly closer to the MTF characteristics of the R component and <G> strong, FIG 4 (e) <G> Weak is obtained by weakly blurring so as to approach the MTF characteristics of the B component. Then, as shown in FIG. 4 (f), the color difference components Cr and Cb are generated using the smoothed G components corresponding to the R component and the B component, that is, <G> strong and <G> weak. To do.
その後、生成した色差成分ＣｒおよびＣｂと、平滑化を行っていない元のＧ成分とに基づいてＲＧＢ表色系に戻せば、Ｒ、Ｇ、Ｂ各成分のＭＴＦ特性をＧ成分のＭＴＦ特性になぞらえるようにして一致させる、または近づけることが可能となり、整合がとれる。換言すれば、Ｒ成分およびＢ成分のそれぞれに、Ｇ成分と、異なる平滑化度合いでＧ成分を平滑化して得た＜Ｇ＞強および＜Ｇ＞弱のそれぞれとの差分とを加えることによって、Ｒ、Ｂ各成分のＭＴＦ特性を、鮮明なＧ成分のＭＴＦ特性に整合させることができる。 Then, if the RGB color system is restored based on the generated color difference components Cr and Cb and the original G component that has not been smoothed, the MTF characteristics of the R, G, and B components are changed to the MTF characteristics of the G component. They can be matched or brought close to each other so that they can be matched. In other words, by adding to each of the R component and the B component the difference between the G component and each of the <G> strong and <G> weak obtained by smoothing the G component with different smoothing degrees, The MTF characteristics of the R and B components can be matched with the clear GTF MTF characteristics.
すなわち、Ｒ成分は次式（１）により、Ｂ成分は次式（２）によりそれぞれ補正することによって、ＭＴＦ特性が高い他の色成分（Ｇ成分）を利用して、Ｒ、Ｂの各成分の軸上色収差を補正することが可能になる。
Ｒ´＝Ｒ＋（Ｇ−＜Ｇ＞強） ・・・（１）
Ｂ´＝Ｂ＋（Ｇ―＜Ｇ＞弱） ・・・（２）
That is, the R component is corrected by the following equation (1), the B component is corrected by the following equation (2), and the other components (G component) having a high MTF characteristic are used to correct each of the R and B components. It is possible to correct the longitudinal chromatic aberration.
R ′ = R + (G− <G> strong ) (1)
B '= B + (G- <G> weak ) (2)
このように、ＭＴＦ特性が低い色成分のみからでは回復し得ない微細構造情報を、ＭＴＦ特性が高い他の色成分を利用して復元することによって、従来にない高精細な軸上色収差補正が可能となる。さらに、色差成分のみに対してＭＴＦ整合のための平滑化を経た色信号を用いて軸上色収差補正を行い、軸上色収差の影響が目立たない輝度成分は、元の平滑化のなされていない色信号を用いて生成するので、鮮鋭感を維持した画像構造破壊性の少ない補正が可能となる。 In this way, by reconstructing fine structure information that cannot be recovered from only a color component having a low MTF characteristic by using another color component having a high MTF characteristic, high-precision axial chromatic aberration correction that has not been conventionally possible can be achieved. It becomes possible. Further, axial chromatic aberration correction is performed using color signals that have undergone smoothing for MTF matching for only the chrominance component, and luminance components that are not conspicuous by the axial chromatic aberration are the unsmoothed color components. Since the image is generated using the signal, it is possible to perform correction with less image structure destructiveness while maintaining sharpness.
以下、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消する処理について具体的に説明する。 Hereinafter, a process for correcting the mismatch of the MTF characteristics between the color components and eliminating the color blur due to the longitudinal chromatic aberration will be described in detail.
（１−１）Ｂａｙｅｒの画像入力
まず、撮像素子１０２で撮像されたＢａｙｅｒ画像を画像メモリ１１２から読み込んで、画像処理の対象とする。なお、Ｂａｙｅｒ画像の各画素[ｉ，ｊ]には、図５に示すように、Ｒ、Ｇ、Ｂのいずれかの色成分の色情報、すなわち色成分値（ＣＣＤの信号値に対応する値）が存在する。また、[ｉ，ｊ]は画素位置を示す座標である。
(1-1) Bayer Image Input First, a Bayer image captured by the
（１−２）方向判定
従来の補間処理と同様にＢａｙｅｒ画像を用いてＲ／Ｂ画素位置に於ける類似性の方向判定を行う。なお、第１の実施の形態では、次に説明するように、一般的な公知の手法により方向判定を行う。
(1-2) Direction Determination Similarity determination at the R / B pixel position is performed using the Bayer image as in the conventional interpolation process. In the first embodiment, as will be described below, direction determination is performed by a general known method.
（１−２−１）類似度の算出
次式（３）および（４）により、Ｒ，Ｂ位置についてそれぞれ縦方向の類似度Ｃｖ［ｉ，ｊ］、横方向の類似度Ｃｈ［ｉ，ｊ］を算出する。
Cv[i,j]={(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2+|G[i,j-1]-G[i,j+1]|}/2 ・・・（３）
Ch[i,j]={(|G[i-1,j]-Z[i, j]|+|G[i+1,j]-Z[i,j]|)/2+|G[i-1,j]-G[i+1,j]|}/2 ・・・（４）
なお、式（３）および（４）において、ＺはＲまたはＢを表す。
(1-2-1) Calculating Similarity According to the following equations (3) and (4), the vertical similarity Cv [i, j] and the horizontal similarity Ch [i, j for the R and B positions, respectively. ] Is calculated.
Cv [i, j] = {(| G [i, j-1] -Z [i, j] | + | G [i, j + 1] -Z [i, j] |) / 2 + | G [i, j-1] -G [i, j + 1] |} / 2 (3)
Ch [i, j] = {(| G [i-1, j] -Z [i, j] | + | G [i + 1, j] -Z [i, j] |) / 2 + | G [i-1, j] -G [i + 1, j] |} / 2 (4)
In the formulas (3) and (4), Z represents R or B.
（１−２−２）類似性判定
次に、次の条件式（５）に基づいて、類似度を比較して方向指標に変換する。
If |Cv[i,j]-Ch[i,j]|=<Th1 THEN HV[i,j]=0 → 縦横類似性不明
else if Cv[i,j]<Ch[i, j] THEN HV[i,j]=1 → 縦類似
else HV[i,j]= -1 THEN 横類似 ・・・（５）
なお、閾値Th1は２５６階調のときは１０前後の値をとり、画像のノイズが多いときはさらに高めに設定する。
(1-2-2) Similarity Determination Next, based on the following conditional expression (5), the similarities are compared and converted into direction indicators.
If | Cv [i, j] -Ch [i, j] | = <Th1 THEN HV [i, j] = 0 → Vertical / horizontal similarity unknown
else if Cv [i, j] <Ch [i, j] THEN HV [i, j] = 1 → vertical similarity
else HV [i, j] = -1 THEN Lateral Similarity (5)
The threshold value Th1 takes a value of around 10 when there are 256 gradations, and is set higher when there is a lot of image noise.
（１−３）複数通りのぼかしＢａｙｅｒ画像作成
ＲＧＢ色成分間のＭＴＦ整合を行うため、各色成分に対して複数通りのぼかし画像を生成する。ただし、この実施形態ではＢａｙｅｒ配列で輝度を表すＧ成分の配置密度が高いので、Ｒ，Ｂ成分のＭＴＦは元々Ｂａｙｅｒサンプリングに伴って劣っていると考えられ、可能性としてＧ成分について複数通りのぼかし（平滑化）を行えばよい。したがって、図６に示すような代表的な弱い平滑化フィルタ（図６（ａ））と強い平滑化フィルタ（図６（ｂ））を用いてＧ成分について２通りのぼかし画像を生成する。なお、もっと細かくたくさんのぼかし方を用意してもよいし、原画像とこれらによるぼかし画像の線形結合で中間状態を考えてもよい。
(1-3) Creation of Plural Blur Bayer Images In order to perform MTF matching between RGB color components, a plurality of blur images are generated for each color component. However, in this embodiment, since the arrangement density of the G component representing luminance in the Bayer array is high, it is considered that the MTF of the R and B components is originally inferior with the Bayer sampling. What is necessary is to perform blurring (smoothing). Therefore, two types of blurred images are generated for the G component using a typical weak smoothing filter (FIG. 6A) and a strong smoothing filter (FIG. 6B) as shown in FIG. It should be noted that more detailed methods of blurring may be prepared, or an intermediate state may be considered by linear combination of the original image and the blurred image by these.
このように図６に示す２種類の平滑化フィルタを用いてぼかし画像を生成し、図７（ａ）に示す「Ｂａｙｅｒ０：ぼかしなし画像」、図７（ｂ）に示す「Ｂａｙｅｒ１：ぼかし弱画像」（図６（ａ）に示した弱い平滑化フィルタを用いてぼかした画像）、および図７（ｃ）に示す「Ｂａｙｅｒ２：ぼかし強画像」（図６（ｂ）に示した強い平滑化フィルタを用いてぼかした画像）の３種類のＢａｙｅｒ画像を得る。すなわち、ぼかしを行わない場合を含めた複数の平滑化の度合いで平滑化を行う。 In this way, a blurred image is generated using the two types of smoothing filters shown in FIG. 6, and “Bayer0: unblurred image” shown in FIG. 7A and “Bayer1: blurred image weakly” shown in FIG. 7B. (Image blurred using the weak smoothing filter shown in FIG. 6A), and “Bayer 2: blur strong image” shown in FIG. 7C (strong smoothing filter shown in FIG. 6B) 3 types of Bayer images are obtained. That is, smoothing is performed at a plurality of smoothing levels including the case where no blurring is performed.
（１−４）ぼかし組み合せによる複数通りの仮色差面生成
（１−３）で得た各ぼかし画像における３通りのＧ面を使用して、各画素に３通りの色差面であるＣｒ面とＣｂ面を作成する。すなわち、ＢａｙｅｒのＲ信号とＧ、Ｇ'、Ｇ柏M号に基づいて作ったＣｒ面をそれぞれＣｒ０，Ｃｒ１，Ｃｒ２とし、ＢａｙｅｒのＢ信号とＧ、Ｇ'、Ｇ柏M号に基づいて作ったＣｂ面をそれぞれＣｂ０、Ｃｂ１、Ｃｂ２として、３通りのＣｒ面、および３通りのＣｂ面を作成する。次式（６）〜（１１）は、これらのＣｒ０，Ｃｂ０、Ｃｒ１，Ｃｂ１、Ｃｒ２、Ｃｂ２を模式的に表したものである。
(1-4) Generation of Temporary Color Difference Surfaces by Combination of Blur Using 3 G surfaces in each blurred image obtained in (1-3) Create a Cb plane. That is, Cr planes created on the basis of Bayer's R signal and G, G 'and G 柏 M are Cr0, Cr1 and Cr2, respectively, and are created on the basis of Bayer's B signal and G, G' and G 号 M. The three Cb planes and three Cb planes are created with the Cb planes Cb0, Cb1, and Cb2, respectively. The following formulas (6) to (11) schematically represent these Cr0, Cb0, Cr1, Cb1, Cr2, and Cb2.
Cr0=R-<G> ・・・（６）
Cb0=B-<G> ・・・（７）
Cr1=R-<G'> ・・・（８）
Cb1=B-<G'> ・・・（９）
Cr2=R-<G"> ・・・（１０）
Cb2=B-<G"> ・・・（１１）
Cr0 = R- <G> (6)
Cb0 = B- <G> (7)
Cr1 = R- <G '> (8)
Cb1 = B- <G '> (9)
Cr2 = R- <G "> (10)
Cb2 = B- <G "> (11)
このうち、Ｃｒ０面の生成について説明する。具体的には、次式（１２）によってＲ位置にＣｒ０面を生成し、次式（１３）〜（１５）により、Ｒ位置以外の位置にＣｒ０面を補間する。なお、他のＣｒ１，Ｃｒ２、Ｃｂ０、Ｃｂ１、およびＣｂ２の各面についても同様に算出できる。
If HV[i,j]=1 THEN Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1])/2
else if HV[i,j]=-1 THEN Cr0[i,j]=R[i,j]-(G[i-1,j]+G[i+1,j])/2
else Cr0[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ・・・（１２）
Among these, the generation of the Cr0 plane will be described. Specifically, a Cr0 surface is generated at the R position by the following equation (12), and the Cr0 surface is interpolated at a position other than the R position by the following equations (13) to (15). In addition, it can calculate similarly about each surface of other Cr1, Cr2, Cb0, Cb1, and Cb2.
If HV [i, j] = 1 THEN Cr0 [i, j] = R [i, j]-(G [i, j-1] + G [i, j + 1]) / 2
else if HV [i, j] =-1 THEN Cr0 [i, j] = R [i, j]-(G [i-1, j] + G [i + 1, j]) / 2
else Cr0 [i, j] = R [i, j]-(G [i, j-1] + G [i, j + 1] + G [i-1, j] + G [i + 1, j ]) / 4 (12)
Ｂ位置にＣｒ０面を補間
Cr0[i,j]=(Cr0[i-1,j-1]+Cr0[i-1,j+1]+Cr0[i+1,j-1]+Cr0[i+1,j+1])/4・・・（１３）
Ｇ位置にＣｒ０面を補間 (same lines as R rows)
Cr0[i,j]=(Cr0[i-1,j]+Cr0[i+1,j])/2 ・・・（１４）
Ｇ位置にＣｒ０面を補間(same lines as B rows)
Cr0[i,j]=(Cr0[i,j-1]+Cr0[i,j+1])/2 ・・・（１５）
なお、色差面の生成方法については、上述した方法に限定されず、その他の公知の方法により生成してもよい。
Interpolate Cr0 surface at B position
Cr0 [i, j] = (Cr0 [i-1, j-1] + Cr0 [i-1, j + 1] + Cr0 [i + 1, j-1] + Cr0 [i + 1, j + 1 ]) / 4 ... (13)
Interpolate Cr0 surface at G position (same lines as R rows)
Cr0 [i, j] = (Cr0 [i-1, j] + Cr0 [i + 1, j]) / 2 (14)
Interpolate the Cr0 plane at the G position (same lines as B rows)
Cr0 [i, j] = (Cr0 [i, j-1] + Cr0 [i, j + 1]) / 2 (15)
In addition, about the production | generation method of a color difference surface, it is not limited to the method mentioned above, You may produce | generate by the other well-known method.
（１−５）色指標の作成
次に、上述した（１−３）でぼかした各画像から生成され得る仮想的カラー画像の色の変化を相互に比較するための色指標、すなわち彩度の指標を作成する。上述したように、軸上色収差によるＭＴＦ不整合が合わせられると、軸上色収差に伴うエッジ部での色付き・色滲みは減る方向に作用する。したがって、正確なその減り方を測るため、２種類の色差面ＣｒおよびＣｂの各ぼかし方を組み合わせた場合も考慮して色指標を作成する。
(1-5) Creation of Color Index Next, a color index for comparing color changes of virtual color images that can be generated from the images blurred in (1-3) described above, that is, saturation Create indicators. As described above, when the MTF mismatch due to the axial chromatic aberration is matched, the coloring and color blurring at the edge portion due to the axial chromatic aberration acts in a decreasing direction. Therefore, in order to accurately measure how to decrease the color index, a color index is created in consideration of a combination of the two types of color difference surfaces Cr and Cb.
なお、色指標とは、各々の画素の色の特徴を示し、各画素が低彩度であるか高彩度であるかを判定するために参照される指標であり、入力画像のＭＴＦ特性を変化させた場合に生成され得るカラー画像の色応答を見るための指標である。換言すれば、ＭＴＦ特性を変化させるための平滑化の度合いに応じて色応答がどのように変化するか、すなわち、ＭＴＦ特性を変化させるための平滑化の度合いに応じて色変化の度合いがどのように変化するかをモニタするための指標である。 The color index indicates the color characteristics of each pixel and is an index that is referred to in order to determine whether each pixel has low saturation or high saturation, and changes the MTF characteristics of the input image. This is an index for viewing the color response of a color image that can be generated when In other words, how the color response changes according to the degree of smoothing for changing the MTF characteristic, i.e., how much the color change depends on the degree of smoothing for changing the MTF characteristic. It is an index for monitoring how it changes.
ここで、色応答とは、任意の平滑化度合いで平滑化した結果、どのような色に変化するかを観察した場合の色の応答を意味し、色応答の変化とは、異なる複数の平滑化度合いで平滑化した場合の、それぞれの間の色応答の変化を意味する。 Here, the color response means a color response when observing what color is changed as a result of smoothing at an arbitrary smoothing degree, and the change in color response is a plurality of different smoothing. This means the change in color response between the two when smoothed with a degree of conversion.
ここで述べる平滑化とは、式（１）、（２）を介して他の色成分を鮮鋭化するための補正信号を得るための途中過程処理の意味も含めて用いており、具体的には図４のボカシ量を少しずつ変えていった場合の最終的に得られるＲ´ＧＢ´画像の色の応答を見ることになる。すなわち、平滑化処理は、アンシャープマスク処理によるＭＴＦ補正画像を得るためのアンシャープ処理をも指す。さらに説明すると、Ｇ成分に対しては平滑化処理を行い、Ｒ，Ｂ成分に対しては鮮鋭化処理を行っているともいえる。 The smoothing described here includes the meaning of an intermediate process for obtaining a correction signal for sharpening other color components via the equations (1) and (2). 4 shows the color response of the finally obtained R′GB ′ image when the blur amount in FIG. 4 is changed little by little. That is, the smoothing process also refers to an unsharp process for obtaining an MTF corrected image by an unsharp mask process. More specifically, it can be said that a smoothing process is performed on the G component and a sharpening process is performed on the R and B components.
作成する色指標をＣｄｉｆｆとすると、その基本形は次式（１６）によって定義される。なお、本実施の形態では、色指標としてＣｄｉｆｆを定義するが、例えば、色差のみを色指標として定義して使用してもよい。
Cdiff[i,j]=|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]| ・・・（１６）
If the color index to be created is Cdiff, the basic form is defined by the following equation (16). In the present embodiment, Cdiff is defined as a color index. However, for example, only a color difference may be defined and used as a color index.
Cdiff [i, j] = | Cr [i, j] | + | Cb [i, j] | + | Cr [i, j] -Cb [i, j] | (16)
式（１６）で定義した色指標において、２種類の色差面ＣｒおよびＣｂの各ぼかし方に対して、評価すべき色指標の組み合せは、次式（１７）〜（２５）で表されるように全部で９通りある。
Cdiff_r0b0[i,j]=|Cr0*[i,j]|+|Cb0*[i,j]|+|Cr0*[i,j]-Cb0*[i,j]| ・・・（１７）
Cdiff_r1b0[i,j]=|Cr1[i,j]|+|Cb0[i,j]|+|Cr1[i,j]-Cb0[i,j]| ・・・（１８）
Cdiff_r0b1[i,j]=|Cr0[i,j]|+|Cb1[i,j]|+|Cr0[i,j]-Cb1[i,j]| ・・・（１９）
Cdiff_r1b1[i,j]=|Cr1[i,j]|+|Cb1[i,j]|+|Cr1[i,j]-Cb1[i,j]| ・・・（２０）
Cdiff_r2b0[i,j]=|Cr2[i,j]|+|Cb0[i,j]|+|Cr2[i,j]-Cb0[i,j]| ・・・（２１）
Cdiff_r0b2[i,j]=|Cr0[i,j]|+|Cb2[i,j]|+|Cr0[i,j]-Cb2[i,j]| ・・・（２２）
Cdiff_r2b1[i,j]=|Cr2[i,j]|+|Cb1[i,j]|+|Cr2[i,j]-Cb1[i,j]| ・・・（２３）
Cdiff_r1b2[i,j]=|Cr1[i,j]|+|Cb2[i,j]|+|Cr1[i,j]-Cb2[i,j]| ・・・（２４）
Cdiff_r2b2[i,j]=|Cr2[i,j]|+|Cb2[i,j]|+|Cr2[i,j]-Cb2[i,j]| ・・・（２５）
In the color index defined by Expression (16), the combination of color indices to be evaluated for each of the two types of color difference surfaces Cr and Cb is expressed by the following Expressions (17) to (25). There are 9 ways in total.
Cdiff_r0b0 [i, j] = | Cr0 * [i, j] | + | Cb0 * [i, j] | + | Cr0 * [i, j] -Cb0 * [i, j] | (17)
Cdiff_r1b0 [i, j] = | Cr1 [i, j] | + | Cb0 [i, j] | + | Cr1 [i, j] -Cb0 [i, j] | (18)
Cdiff_r0b1 [i, j] = | Cr0 [i, j] | + | Cb1 [i, j] | + | Cr0 [i, j] -Cb1 [i, j] | (19)
Cdiff_r1b1 [i, j] = | Cr1 [i, j] | + | Cb1 [i, j] | + | Cr1 [i, j] -Cb1 [i, j] | (20)
Cdiff_r2b0 [i, j] = | Cr2 [i, j] | + | Cb0 [i, j] | + | Cr2 [i, j] -Cb0 [i, j] | (21)
Cdiff_r0b2 [i, j] = | Cr0 [i, j] | + | Cb2 [i, j] | + | Cr0 [i, j] -Cb2 [i, j] | (22)
Cdiff_r2b1 [i, j] = | Cr2 [i, j] | + | Cb1 [i, j] | + | Cr2 [i, j] -Cb1 [i, j] | (23)
Cdiff_r1b2 [i, j] = | Cr1 [i, j] | + | Cb2 [i, j] | + | Cr1 [i, j] -Cb2 [i, j] | (24)
Cdiff_r2b2 [i, j] = | Cr2 [i, j] | + | Cb2 [i, j] | + | Cr2 [i, j] -Cb2 [i, j] | (25)
Ｒ成分のＭＴＦのみが低い場合は、Ｃｒ生成側のみのＧ成分がぼかされればよいし、Ｂ成分のＭＴＦのみが低い場合は、Ｃｂ生成側のみのＧ成分がぼかされればよく、その両方のＭＴＦが低い場合は両側のＧ成分がぼかされていなければならない。 When only the R component MTF is low, only the G component on the Cr generation side needs to be blurred, and when only the B component MTF is low, only the G component on the Cb generation side needs to be blurred. If the MTF is low, the G components on both sides must be blurred.
ここで、Ｒ、ＢともにＧ成分のぼかしのないＣｄｉｆｆ＿ｒ０ｂ０だけは、単にＣｒおよびＣｂ成分を生成しただけの値を用いずに、更にそれに対して色差面補正処理を行ったＣｒ０＊、Ｃｂ０＊を用いている。これは、画像構造に起因する偽色の発生に伴って受ける色指標の変動要因に対して、危険性の多いぼかし処理側よりも安全な解を出しやすいぼかしなし側を安定的に色評価されるようにするためである。また、反対色ペアのような画像構造があっても意図的にＣｄｉｆｆ＿ｒ０ｂ０の彩度を下げておくことによって、軸上色収差のＭＴＦ整合とは異なり画像構造が要因となって彩度が下がってしまう可能性のあるぼかし側のＣｄｉｆｆに対抗しておいて、画像構造破壊を防ぐような色指標評価値に変えるためでもある。 Here, only Cdiff_r0b0 without blurring of the G component in both R and B does not use the value that merely generated the Cr and Cb components, and further uses Cr0 * and Cb0 * that have been subjected to color difference plane correction processing on them. Used. This is a stable color evaluation on the non-blurred side, which is more likely to provide a safer solution than the risky blurring side, with respect to the variation factors of the color index due to the occurrence of false colors due to the image structure. This is to ensure that In addition, even if there is an image structure such as an opposite color pair, intentionally lowering the saturation of Cdiff_r0b0 reduces the saturation due to the image structure, unlike MTF matching of axial chromatic aberration. This is also for changing to a color index evaluation value that prevents the image structure destruction in opposition to the possible blur side Cdiff.
Ｃｒ０およびＣｂ０に対する色差面補正処理の例としては、次式（２６）に示すようなローパス処理がある。
Cr*[i,j]
={36×Cr[i,j]
+24×(Cr[i-2,j]+ Cr[i+2,j]+Cr[i,j-2]+ Cr[i,j+2])
+16×(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])
+6×(Cr[i-4,j]+ Cr[i+4,j]+Cr[i,j-4]+ Cr[i,j+4])
+4×(Cr[i-2,j-4]+Cr[i+2,j-4]+Cr[i-2,j+4]+Cr[i+2,j+4]
Cr[i-4,j-2]+Cr[i+4,j-2]+Cr[i-4,j+2]+Cr[i+4,j+2])
+(Cr[i-4,j-4]+Cr[i+4,j-4]+Cr[i-4,j+4]+Cr[i+4,j+4])}/256 ・・・（２６）
As an example of the color difference plane correction process for Cr0 and Cb0, there is a low-pass process as shown in the following equation (26).
Cr * [i, j]
= {36 × Cr [i, j]
+ 24 × (Cr [i-2, j] + Cr [i + 2, j] + Cr [i, j-2] + Cr [i, j + 2])
+ 16 × (Cr [i-2, j-2] + Cr [i + 2, j-2] + Cr [i-2, j + 2] + Cr [i + 2, j + 2])
+ 6 × (Cr [i-4, j] + Cr [i + 4, j] + Cr [i, j-4] + Cr [i, j + 4])
+ 4 × (Cr [i-2, j-4] + Cr [i + 2, j-4] + Cr [i-2, j + 4] + Cr [i + 2, j + 4]
Cr [i-4, j-2] + Cr [i + 4, j-2] + Cr [i-4, j + 2] + Cr [i + 4, j + 2])
+ (Cr [i-4, j-4] + Cr [i + 4, j-4] + Cr [i-4, j + 4] + Cr [i + 4, j + 4])} / 256 (26)
この色差面補正処理は、式（２６）に示したローパス処理に限定されず、その他の方法としてメディアンフィルタ等を用いてもよし、フィルタの範囲を変えてもよい。また、式（２６）では、Ｃｒ＊［ｉ，ｊ］を算出する例について説明したが、Ｃｂ＊［ｉ，ｊ］も同様に算出可能である。 This color difference surface correction process is not limited to the low-pass process shown in Expression (26), and other methods such as a median filter may be used, or the filter range may be changed. Moreover, although the example which calculates Cr * [i, j] was demonstrated in Formula (26), Cb * [i, j] is similarly computable.
なお、収差に伴うＭＴＦ不整合のぼかし量に対する非常に微妙な色変化の情報は、余計なフィルタリング処理によって失われてしまう可能性があるので、色差面生成直後の状態で比較するのが好ましいことから、Ｃｄｉｆｆ＿ｒ０ｂ０以外は色差面補正処理を行わないように定義している。また、Ｃｄｉｆｆ＿ｒ０ｂ０も色差面補正処理を行わないように定義してもよい。 Note that very subtle color change information with respect to the amount of blurring due to MTF mismatch due to aberrations may be lost by extra filtering processing, so it is preferable to compare in the state immediately after the color difference plane generation. Therefore, it is defined that the color difference plane correction processing is not performed except for Cdiff_r0b0. Also, Cdiff_r0b0 may be defined not to perform the color difference plane correction process.
（１−６）ぼかし量の決定
軸上色収差に伴うＭＴＦ不整合をなくして生成された色差面は、色滲みによる色発生が減り低彩度側に変化すると考えられる。上述したぼかし処理では、画像構造に伴って発生する補間偽色の要因を低彩度側にシフトする対策も事前に施された色指標を生成しているので、相互に色指標を比較して最も低い彩度レベルとなるようなぼかし量のＣｒとＣｂの組み合せを、最終的に画像生成のために利用するぼかし量とすることができる。すなわち、次式（２７）に示す条件式により、Ｃｄｉｆｆ＿ｒ０ｂ０ からＣｄｉｆｆ＿ｒ２ｂ２の中で値が最小になるものを画素ごとに抽出し、そのときのＣｒ，およびＣｂを生成するのに用いたぼかし量がそれぞれＧ、Ｇ'、およびＧ"のいずれであるかを画素ごとに判定することによって、最終的に画像生成のために利用する離散的なぼかし量、すなわち平滑化の度合いを決定することができる。
(1-6) Determination of blurring amount It is considered that the color difference surface generated by eliminating the MTF mismatch due to the longitudinal chromatic aberration reduces the color generation due to the color blur and changes to the low saturation side. In the blurring process described above, since the color index that has been pre-measured to shift the factor of interpolation false color that occurs with the image structure to the low saturation side is generated, the color index is compared with each other. A combination of Cr and Cb having a blur amount that provides the lowest saturation level can be finally used as a blur amount to be used for image generation. That is, according to the conditional expression shown in the following equation (27), the smallest value among Cdiff_r0b0 to Cdiff_r2b2 is extracted for each pixel, and the blurring amounts used to generate Cr and Cb at that time are respectively By determining whether each pixel is G, G ′, or G ″, it is possible to finally determine a discrete blurring amount that is used for image generation, that is, a degree of smoothing.
(Cr生成時Gぼかし量, Cb生成時Gぼかし量)
= arg min (Cdiff_r0b0, Cdiff_r1b0, ... , Cdiff_r2b2)
(G,G',G" for Cr),
(G,G',G" for Cb) ・・・（２７）
これによって、生成した色指標のそれぞれを画素単位で評価して、画素毎にどの色差面を生成するときにどの色成分をどれだけぼかすかを決定することができる。これは、被写体距離によって軸上色収差の状態が変化している場合にも対応が可能となる。
(G blur amount at Cr generation, G blur amount at Cb generation)
= arg min (Cdiff_r0b0, Cdiff_r1b0, ..., Cdiff_r2b2)
(G, G ', G "for Cr),
(G, G ', G "for Cb) (27)
Thus, each of the generated color indexes can be evaluated on a pixel basis, and it can be determined which color component is to be blurred when generating which color difference plane for each pixel. This can be dealt with even when the state of axial chromatic aberration changes depending on the subject distance.
（１−７）実際の色差面生成
上述した処理で画素毎に決められた離散的なぼかし量のＧ成分をＭＴＦ特性の違いに関する情報として用いて、最終出力画像に用いる色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を次のように求める。まず、次式（２８）によってＲ画素位置へのＣｒ値の設定を行い、次式（２９）によってＢ画素位置へのＣｂ値の設定を行う。
Cr[i,j]=one of {Cr0, Cr1, Cr2} R位置 ・・・（２８）
Cb[i,j]=one of {Cb0, Cb1, Cb2} B位置 ・・・（２９）
そして、上述した式（１３）〜（１５）によって、Ｃｒ面とＣｂ面とを補間する。その後、公知の種々の色差面補正の手法を使用して、色差面補正を行う。例えば、条件によって補正をしたり、しなかったりを選択する適応的色差補正の手法などを使用する。これは通常のＢａｙｅｒ補間で発生する偽色抑制処理を組み込むためである。こうして、軸上色収差の除去されたＣｒ面、およびＣｂ面、すなわち実際の色差面が生成される。
(1-7) Actual Color Difference Surface Generation The color difference component Cr [i, used in the final output image is obtained by using the discrete blur amount G component determined for each pixel in the above-described process as information on the difference in MTF characteristics. j] and Cb [i, j] are obtained as follows. First, the Cr value at the R pixel position is set by the following equation (28), and the Cb value is set at the B pixel position by the following equation (29).
Cr [i, j] = one of {Cr0, Cr1, Cr2} R position (28)
Cb [i, j] = one of {Cb0, Cb1, Cb2} B position (29)
Then, the Cr surface and the Cb surface are interpolated by the above-described equations (13) to (15). Thereafter, color difference surface correction is performed using various known color difference surface correction methods. For example, an adaptive color difference correction method for selecting whether to correct or not according to conditions is used. This is to incorporate a false color suppression process that occurs in normal Bayer interpolation. Thus, the Cr surface and the Cb surface from which the longitudinal chromatic aberration is removed, that is, the actual color difference surface is generated.
（１−８）実際の輝度面生成
ぼかし処理のない元のＢａｙｅｒ信号を用いて実際の輝度面を生成する。これは、軸上色収差の影響をあまり受けない輝度面は、元のＢａｙｅｒ信号を使うことにより鮮鋭な解像が保たれた状態で復元することができるためである。なお、本実施の形態では、次式（３０）に示すように、輝度をＧ面として処理を行うが、Ｙ面を輝度として処理を行ってもよい。輝度面の生成は、公知の種々の方法により生成することができる。また、国際公開番号：ＷＯ２００２／０７１７６１号公報に開示されているように、Ｂａｙｅｒ面から直接生成するものであってもよい。
(1-8) Actual luminance plane generation An actual luminance plane is generated using the original Bayer signal without blurring. This is because a luminance surface that is not significantly affected by axial chromatic aberration can be restored in a state in which a sharp resolution is maintained by using the original Bayer signal. In the present embodiment, as shown in the following equation (30), the process is performed using the luminance as the G plane, but the process may be performed using the Y plane as the luminance. The luminance plane can be generated by various known methods. Further, as disclosed in International Publication No. WO2002 / 071761, it may be generated directly from the Bayer surface.
Ｂａｙｅｒ面上のＲ／Ｂ位置
if HV[i,j]=1 THEN Gout[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2×Z[i,j]-Z[i,j-2]-Z[i,j+2])/4
else if HV[i,j]=-1 THEN Gout[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2×Z[i,j]-Z[i-2,j]-Z[i+2,j])/4
else Gout[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4×Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ・・・（３０）
なお、式（３０）において、ＺはＲ位置ではＺ＝Ｒとなり、Ｂ位置ではＺ＝Ｂとなる。また、Ｂａｙｅｒ面上のＧ位置Ｇｏｕｔ［ｉ，ｊ］は、Ｂａｙｅｒ信号をそのまま代入することにより求められる。
R / B position on the Bayer surface
if HV [i, j] = 1 THEN Gout [i, j] = (G [i, j-1] + G [i, j + 1]) / 2
+ (2 × Z [i, j] -Z [i, j-2] -Z [i, j + 2]) / 4
else if HV [i, j] =-1 THEN Gout [i, j] = (G [i-1, j] + G [i + 1, j]) / 2
+ (2 × Z [i, j] -Z [i-2, j] -Z [i + 2, j]) / 4
else Gout [i, j] = (G [i, j-1] + G [i, j + 1] + G [i-1, j] + G [i + 1, j]) / 4
+ (4 × Z [i, j] -Z [i, j-2] -Z [i, j + 2] -Z [i-2, j] -Z [i + 2, j]) / 8 (30)
In Equation (30), Z is Z = R at the R position and Z = B at the B position. Further, the G position Gout [i, j] on the Bayer plane can be obtained by substituting the Bayer signal as it is.
（１−９）表色系変換
上述した処理で、軸上色収差の除去されたＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報から、次式（３１）および（３２）によってＲＧＢ表色系への変換を行う。
Rout[i,j]=Cr[i,j]+Gout[i,j] ・・・（３１）
Bout[i,j]=Cb[i,j]+Gout[i,j] ・・・（３２）
(1-9) Color system conversion From the three color information of the Cr surface and Cb surface from which axial chromatic aberration has been removed and the G surface retaining sharpness in the above-described processing, the following equations (31) and ( 32), conversion to the RGB color system is performed.
Rout [i, j] = Cr [i, j] + Gout [i, j] (31)
Bout [i, j] = Cb [i, j] + Gout [i, j] (32)
以上の処理によって、読み込んだＢａｙｅｒ画像において、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消することができる。そして、この軸上色収差に伴う色滲みを解消したＲＧＢ画像は、モニタ１１３に出力されて表示される。
With the above processing, in the read Bayer image, if any of the RGB color components has axial chromatic aberration, and color blur occurs with this, the MTF characteristic mismatch between the color components is corrected, Color blur due to axial chromatic aberration can be eliminated. Then, the RGB image in which the color blur due to the longitudinal chromatic aberration is eliminated is output to the
図８は、第１の実施の形態における画像処理装置１１０の動作を示すフローチャートである。図８に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。ステップＳ１０において、（１−１）で上述したように、撮像素子１０２で撮像されたＢａｙｅｒ画像を画像メモリ１１２から読み込んで、ステップＳ２０へ進む。ステップＳ２０では、（１−２）で上述したように、Ｂａｙｅｒ画像を用いてＲ／Ｂ画素位置における方向判定を行う。その後、ステップＳ３０へ進む。
FIG. 8 is a flowchart showing the operation of the
ステップＳ３０では、（１−３）で上述した複数通りのぼかしＢａｙｅｒ画像作成処理を実行して、ステップＳ４０へ進む。ステップＳ４０では、（１−４）で上述したぼかし組み合せによる複数通りの仮色差面生成処理を実行して、ステップＳ５０へ進む。ステップＳ５０では、（１−５）で上述した色指標の作成処理を実行して、ステップＳ６０へ進む。ステップＳ６０では、（１−６）で上述したように、最終的に画像生成のために利用するぼかし量を決定して、ステップＳ７０へ進む。 In step S30, the plurality of blur Bayer image creation processes described above in (1-3) are executed, and the process proceeds to step S40. In step S40, a plurality of provisional color difference plane generation processes by the blur combination described in (1-4) are executed, and the process proceeds to step S50. In step S50, the color index creating process described in (1-5) is executed, and the process proceeds to step S60. In step S60, as described above in (1-6), the blurring amount to be finally used for image generation is determined, and the process proceeds to step S70.
ステップＳ７０では、（１−７）で上述した実際の色差面生成処理を実行してステップＳ８０へ進み、（１−８）で上述した実際の輝度面生成処理を実行する。そして、ステップＳ９０へ進み、（１−９）で上述したように表色系変換処理を行って、軸上色収差の除去されたＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報からＲＧＢ表色系への変換を行う。その後、ステップＳ１００へ進み、軸上色収差に伴う色滲みを解消した画像をモニタ１１３に出力し、処理を終了する。
In step S70, the actual color difference plane generation process described in (1-7) is executed, and the process proceeds to step S80. In step (1-8), the actual luminance plane generation process is executed. Then, the process proceeds to step S90, and the color system conversion process is performed as described above in (1-9), and the Cr surface and the Cb surface from which the longitudinal chromatic aberration has been removed, and the
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）軸上色収差に起因した色成分間のＭＴＦ特性の不整合を、ＭＴＦの高い側の色成分をぼかし処理によって低い側の色成分と整合させてから色差成分を生成するようにした。これによって、軸上色収差に起因したＭＴＦ差の違いに伴って発生する色の滲みを抑制することができる。
（２）撮像画像に対して軸上色収差補正を行うための補正量を撮像画像自身に基づいて決定するようにした。これによって、被写体までの距離によって特性が変化する軸上色収差であっても、画素ごとに適切な補正量を決定して、軸上色収差補正を行うことができる。
（３）さらに、このように撮像画像自身を用いて適切な補正量を決定して、軸上色収差補正を行うことができることから、撮像光学系に関する情報が不明な場合であっても、適切に軸上色収差補正を行うことができる。
（４）色指標を作成するに当たって、Ｒ、ＢともにＧ成分のぼかしのないＣｄｉｆｆ＿ｒ０ｂ０だけは、単にＣｒおよびＣｂ成分を生成しただけの値を用いずに、更にそれに対して色差面補正処理を行ったＣｒ０＊、Ｃｂ０＊を用いるようにした。これによって、Ｂａｙｅｒサンプリングと画像構造に起因する偽色の発生に伴って受ける色指標の変動要因に対して、危険性の多いぼかし処理側よりも安全な解を出しやすいぼかしなし側を安定的に色評価されるようにすることができる。また、反対色ペアのような画像構造があっても意図的にＣｄｉｆｆ＿ｒ０ｂ０の彩度を下げておくことによって、軸上色収差のＭＴＦ整合とは異なり画像構造が要因となって彩度が下がってしまう可能性のあるぼかし側のＣｄｉｆｆに対抗しておいて、画像構造破壊を防ぐように色指標評価値に変えることができる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) The color difference component is generated after the MTF characteristic mismatch between the color components caused by the longitudinal chromatic aberration is matched with the color component on the lower side by blurring the color component on the higher MTF side. Accordingly, it is possible to suppress color bleeding that occurs due to a difference in MTF difference due to axial chromatic aberration.
(2) The correction amount for performing axial chromatic aberration correction on the captured image is determined based on the captured image itself. As a result, even if the axial chromatic aberration has a characteristic that changes depending on the distance to the subject, an appropriate correction amount can be determined for each pixel to perform the axial chromatic aberration correction.
(3) Furthermore, since an appropriate correction amount can be determined using the captured image itself and axial chromatic aberration correction can be performed in this way, even if information regarding the imaging optical system is unknown, On-axis chromatic aberration correction can be performed.
(4) In creating the color index, only Cdiff_r0b0 without blurring of the G component in both R and B is not subjected to the value that merely generated the Cr and Cb components, but is further subjected to color difference plane correction processing. Cr0 * and Cb0 * were used. As a result, the non-blurred side, which is more likely to provide a safer solution than the highly dangerous blurring processing side, can be stably prevented with respect to the variation factors of the color index received due to the generation of false colors due to Bayer sampling and the image structure. Color can be evaluated. In addition, even if there is an image structure such as an opposite color pair, intentionally lowering the saturation of Cdiff_r0b0 reduces the saturation due to the image structure, unlike MTF matching of axial chromatic aberration. It can be changed to a color index evaluation value so as to prevent destruction of the image structure against the possible blur side Cdiff.
―第２の実施の形態―
上述した第１の実施の形態では、（１−７）実際の色差面生成において、式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求め、式（１３）〜（１５）によって、Ｃｒ面とＣｂ面とを補間した後に、（１−８）実際の輝度面生成、および（１−９）表色系変換に示した各処理を行う場合について説明した。
-Second embodiment-
In the first embodiment described above, in (1-7) actual color difference plane generation, the color difference components Cr [i, j] and Cb [i, j] are obtained by the expressions (28) and (29), and the expression After interpolating the Cr surface and the Cb surface according to (13) to (15), the processing shown in (1-8) actual luminance surface generation and (1-9) color system conversion is performed. explained.
これに対して、第２の実施の形態では、式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求めた後に、Ｒ位置のＣｒ面、Ｂ位置のＣｂ面だけを使用して、その位置における（１−８）実際の輝度面生成、および（１−９）表色系変換の各処理を行って、元のＲ成分とＢ成分の値を書き換える。これによって、補間処理前のＭＴＦ整合したＢａｙｅｒ画像、すなわち軸上色収差を解消させたＢａｙｅｒ画像を得ることができる。その後、この軸上色収差を解消させたＢａｙｅｒ画像に対して補間処理を行って補間後のＲＧＢ画像を得る。 On the other hand, in the second embodiment, after obtaining the color difference components Cr [i, j] and Cb [i, j] by the equations (28) and (29), the Cr surface at the R position, the B position (1-8) actual luminance plane generation at that position and (1-9) color system conversion processing are performed using only the Cb plane of rewrite. Thus, an MTF-matched Bayer image before interpolation processing, that is, a Bayer image in which axial chromatic aberration is eliminated can be obtained. Thereafter, an interpolation process is performed on the Bayer image from which the longitudinal chromatic aberration has been eliminated to obtain an RGB image after interpolation.
なお、図１に示した画像処理装置１１０を搭載したデジタルカメラ１００のブロック図、図２および図３に示した軸上色収差による色滲みが発生する原理を示す図、および図４に示したＭＴＦ特性を整合させて軸上色収差を補正する原理を示す図については、第１の実施の形態と同様のため、説明を省略する。
1 is a block diagram of the
式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求めた後に、各面の補間前のＣｒ面、およびＣｂ面を使用して（１−８）実際の輝度面生成、および（１−９）表色系変換の各処理を行うことによって、図９に示すような、ＭＴＦが整合したＢａｙｅｒ画像、すなわち軸上色収差が補正されたＢａｙｅｒ画像が出力される。この図９に示すＢａｙｅｒ画像に対して、公知の補間処理を実行することによって、補間後のＲＧＢ画像を得ることができる。 After obtaining the color difference components Cr [i, j] and Cb [i, j] by the equations (28) and (29), the Cr surface before interpolation of each surface and the Cb surface are used (1-8). By performing each process of actual luminance plane generation and (1-9) color system conversion, a Bayer image in which MTF is matched, that is, a Bayer image in which axial chromatic aberration is corrected, is output as shown in FIG. Is done. By performing a known interpolation process on the Bayer image shown in FIG. 9, an RGB image after interpolation can be obtained.
図１０は、第２の実施の形態における画像処理装置１１０の処理を示すフローチャートである。図８に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。なお、図１０においては、図８に示す第１の実施の形態における処理と同一の処理内容については、同じステップ番号を付与し、相違点を中心に説明する。
FIG. 10 is a flowchart illustrating processing of the
ステップＳ７１において、式（２８）および（２９）で色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］を求めて、ステップＳ８０へ進む。その後、ステップＳ９１で、補間前のＣｒ面、およびＣｂ面と、鮮鋭感を保持したＧ面の３つの色情報から、式（３１）および（３２）によってＲＧＢ表色系への変換を行う。その後、ステップＳ９２へ進む。ステップＳ９２では、軸上色収差が補正されたＢａｙｅｒ画像を出力してステップＳ９３へ進み、当該Ｂａｙｅｒ画像に対して、公知のＢａｙｅｒ補間処理を実行して、軸上色収差が補正されたＲＢＧ画像を得る。 In step S71, the color difference components Cr [i, j] and Cb [i, j] are obtained by the equations (28) and (29), and the process proceeds to step S80. Thereafter, in step S91, conversion from the three color information of the Cr surface and Cb surface before interpolation and the G surface retaining sharpness into the RGB color system is performed by equations (31) and (32). Thereafter, the process proceeds to step S92. In step S92, a Bayer image in which axial chromatic aberration is corrected is output, and the process proceeds to step S93. A known Bayer interpolation process is performed on the Bayer image to obtain an RBG image in which axial chromatic aberration is corrected. .
以上説明した第２の実施の形態によれば、第１の実施の形態とは、軸上色収差補正処理の中での補間処理の実行位置を変更し、一旦ＭＴＦが整合したＢａｙｅｒ画像を出力した後に補間処理を行うようにした。これによって、軸上色収差の補正処理と、補間処理とを分離した処理として扱うことができ、ＭＴＦ整合したＢａｙｅｒ画像に対して、様々な補間処理を適用することが可能になる。 According to the second embodiment described above, the execution position of the interpolation process in the axial chromatic aberration correction process is changed from the first embodiment, and a Bayer image in which the MTF is matched is output once. Interpolation processing was performed later. Accordingly, the axial chromatic aberration correction process and the interpolation process can be handled as separate processes, and various interpolation processes can be applied to the MTF-matched Bayer image.
―第３の実施の形態―
第１および２の実施の形態では、単板式カラー撮像素子によって撮像されたＢａｙｅｒ画像のように補間を行う前の画像データに対する軸上色収差補正について説明したが、第３の実施の形態では、３板式カラー撮像素子で撮影されたカラー画像の軸上色収差や補間済のカラー画像の軸上色収差を補正する。すなわち、各画素にＲ、Ｇ、Ｂの色成分の情報が全て存在するカラー画像のデータの軸上色収差補正について説明する。
-Third embodiment-
In the first and second embodiments, axial chromatic aberration correction has been described for image data before interpolation, such as a Bayer image captured by a single-plate color image sensor, but in the third embodiment, 3 The axial chromatic aberration of the color image photographed by the plate type color image sensor and the axial chromatic aberration of the interpolated color image are corrected. That is, correction of axial chromatic aberration of color image data in which all R, G, and B color component information exists in each pixel will be described.
具体的には、元のカラー画像データを輝度と色差成分に分け、色差成分のデータを軸上色収差のないデータに置き換えるため、第１の実施の形態と同様にある色成分のデータを複数通りぼかす。そして、それらを組み合わせてできる色差成分のセットの内、最も彩度が低くなるような色指標を与えるぼかしの組み合せを探索して、そのぼかしを通して得られる色差成分に置き換える。 Specifically, in order to divide the original color image data into luminance and chrominance components and replace the chrominance component data with data without axial chromatic aberration, a plurality of types of color component data are provided as in the first embodiment. Blur. Then, a combination of blurs that gives a color index with the lowest saturation is searched for from among a set of color difference components that can be combined, and is replaced with a color difference component obtained through the blur.
なお、図１に示した画像処理装置１１０を搭載したデジタルカメラ１００のブロック図と、図２および図３に示した軸上色収差による色滲みが発生する原理を示す図、および図４に示したＭＴＦ特性を整合させて軸上色収差を補正する原理を示す図については、第１の実施の形態と同様のため、説明を省略する。ただし、３板式カラー撮像素子を使用して各画素にＲ、Ｇ、Ｂ成分が揃ったカラー画像を取得する場合は、撮像素子１０２を単板式カラー撮像素子から３板式カラー撮像素子に置き換えるものとする。また、第３の実施の形態では、Ｇ成分に対するぼかしのみならず、Ｒ成分とＢ成分に対するぼかしも行うものとする。これによって、Ｇ成分に軸上色収差がある場合でもそれを補正することが可能となる。
1 is a block diagram of the
（２−１）カラー画像入力
第３の実施の形態では、画像メモリ１１２に、３板式カラー撮像素子で撮影されたカラー画像やあらかじめ補間処理を行ったカラー画像を各画素にＲ［ｉ，ｊ］、Ｇ［ｉ，ｊ］、Ｂ［ｉ，ｊ］が揃っている状態で保存しておき、これらのカラー画像を読み込んで、画像処理の対象とする。
(2-1) Color Image Input In the third embodiment, a color image captured by a three-plate color image sensor or a color image that has been previously subjected to interpolation processing is stored in the
（２−２）表色系変換による輝度成分退避
読み込んだカラー画像を、次式（３３）により表色系変換して、輝度成分を退避しておく。すなわち、後述する処理でぼかしを入れる前の状態の画像の輝度成分を制御装置１１１が有するメモリ空間に退避しておく。
Y[i,j]=(R[i,j]+2×G[i,j]+B[i,j])/4 ・・・（３３）
(2-2) Luminance component saving by color system conversion The read color image is color system converted by the following equation (33) to save the luminance component. That is, the luminance component of the image in the state before blurring is saved in the memory space of the control device 111 in a process described later.
Y [i, j] = (R [i, j] + 2 × G [i, j] + B [i, j]) / 4 (33)
（２−３）複数通りのぼかしＲ、Ｇ、Ｂ面画像作成
第３の実施の形態では、図１１に示す平滑化フィルタを使用して、ＲＧＢの各成分についてぼかし画像（Ｒ、Ｇ、Ｂ面画像）を作成する。なお、本実施の形態では、説明の簡略化のため、図１１に示す１つの平滑化フィルタのみを使用する例について説明するが、第１の実施の形態と同様に、弱い平滑化フィルタと強い平滑化フィルタの２種類を使用してＲ、Ｇ、Ｂ面画像を作成してもよい。
(2-3) Creation of Plural Blur R, G, B Surface Images In the third embodiment, the smoothed filter shown in FIG. 11 is used to create a blurred image (R, G, B for each component of RGB. (Surface image). In this embodiment, for the sake of simplification of explanation, an example in which only one smoothing filter shown in FIG. 11 is used will be described. However, similarly to the first embodiment, a weak smoothing filter and a strong filter are used. R, G, and B plane images may be created using two types of smoothing filters.
そして、図１２に示すように、図１２（ａ）〜（ｃ）のＲＧＢの各成分についてのぼかしなし画像と、図１１の平滑化フィルタを使用して作成した図１２（ｄ）〜（ｆ）のぼかしあり画像とを使用して、次に示す処理を行う。 Then, as shown in FIG. 12, FIGS. 12D to 12F created using the non-blurred images for the RGB components of FIGS. 12A to 12C and the smoothing filter of FIG. ) And the blurred image are used to perform the following processing.
（２−４）ぼかし組み合せによる複数通りの仮色差面生成
上記６通りのＲＧＢ面、すなわち図１２（ａ）〜（ｃ）のぼかしなし画像と、図１２（ｄ）〜（ｆ）のぼかしあり画像とを使って、次式（３４）〜（３９）により各画素に３通りのＣｒ面と３通りのＣｂ面とを作成する。
Cr00=R-G ・・・（３４）
Cb00=B-G ・・・（３５）
Cr01=R-G' ・・・（３６）
Cb01=B-G' ・・・（３７）
Cr10=R'-G ・・・（３８）
Cb10=B'-G ・・・（３９）
(2-4) Generation of Temporary Color Difference Surfaces by Combination of Blur The above six RGB planes, that is, non-blurred images of FIGS. 12 (a) to 12 (c) and blurs of FIGS. 12 (d) to (f). Using the images, three Cr surfaces and three Cb surfaces are created for each pixel by the following equations (34) to (39).
Cr00 = RG (34)
Cb00 = BG (35)
Cr01 = RG '(36)
Cb01 = BG '(37)
Cr10 = R'-G (38)
Cb10 = B'-G (39)
（２−５）色指標の作成
式（３４）〜（３９）により作成したＣｒおよびＣｂの各ぼかし方に対して、評価すべき色指標、すなわち彩度に関する指標の組み合せは次式（４０）〜（４８）で表されるように全部で９通りある。
Cdiff_r00b00[i,j]=|Cr00[i,j]|+|Cb00[i,j]|+|Cr00[i,j]-Cb00[i,j]|・・・（４０）
Cdiff_r01b00[i,j]=|Cr01[i,j]|+|Cb00[i,j]|+|Cr01[i,j]-Cb00[i,j]|・・・（４１）
Cdiff_r00b01[i,j]=|Cr00[i,j]|+|Cb01[i,j]|+|Cr00[i,j]-Cb01[i,j]|・・・（４２）
Cdiff_r01b01[i,j]=|Cr01[i,j]|+|Cb01[i,j]|+|Cr01[i,j]-Cb01[i,j]|・・・（４３）
Cdiff_r10b00[i,j]=|Cr10[i,j]|+|Cb00[i,j]|+|Cr10[i,j]-Cb00[i,j]|・・・（４４）
Cdiff_r10b01[i,j]=|Cr10[i,j]|+|Cb01[i,j]|+|Cr10[i,j]-Cb01[i,j]|・・・（４５）
Cdiff_r01b10[i,j]=|Cr01[i,j]|+|Cb10[i,j]|+|Cr01[i,j]-Cb10[i,j]|・・・（４６）
Cdiff_r00b10[i,j]=|Cr00[i,j]|+|Cb10[i,j]|+|Cr00[i,j]-Cb10[i,j]|・・・（４７）
Cdiff_r10b10[i,j]=|Cr10[i,j]|+|Cb10[i,j]|+|Cr10[i,j]-Cb10[i,j]|・・・（４８）
(2-5) Creation of color index For each Cr and Cb blurring method created by the equations (34) to (39), the color index to be evaluated, that is, the combination of the indexes related to saturation, is expressed by the following equation (40) There are nine ways in total as represented by (48).
Cdiff_r00b00 [i, j] = | Cr00 [i, j] | + | Cb00 [i, j] | + | Cr00 [i, j] -Cb00 [i, j] | (40)
Cdiff_r01b00 [i, j] = | Cr01 [i, j] | + | Cb00 [i, j] | + | Cr01 [i, j] -Cb00 [i, j] | (41)
Cdiff_r00b01 [i, j] = | Cr00 [i, j] | + | Cb01 [i, j] | + | Cr00 [i, j] -Cb01 [i, j] | (42)
Cdiff_r01b01 [i, j] = | Cr01 [i, j] | + | Cb01 [i, j] | + | Cr01 [i, j] -Cb01 [i, j] | (43)
Cdiff_r10b00 [i, j] = | Cr10 [i, j] | + | Cb00 [i, j] | + | Cr10 [i, j] -Cb00 [i, j] | (44)
Cdiff_r10b01 [i, j] = | Cr10 [i, j] | + | Cb01 [i, j] | + | Cr10 [i, j] -Cb01 [i, j] | (45)
Cdiff_r01b10 [i, j] = | Cr01 [i, j] | + | Cb10 [i, j] | + | Cr01 [i, j] -Cb10 [i, j] | (46)
Cdiff_r00b10 [i, j] = | Cr00 [i, j] | + | Cb10 [i, j] | + | Cr00 [i, j] -Cb10 [i, j] | (47)
Cdiff_r10b10 [i, j] = | Cr10 [i, j] | + | Cb10 [i, j] | + | Cr10 [i, j] -Cb10 [i, j] | (48)
なお、第３の実施の形態では、式（４０）に示すように、Cdiff_r00b00は色差面補正処理を行わないように定義しているが、第１の実施の形態における式（１７）のように、ＣｒおよびＣｂ成分に対して、例えば式（２６）で示したローパス処理などの補正処理を行ってもよい。 In the third embodiment, as shown in Expression (40), Cdiff_r00b00 is defined not to perform the color difference plane correction process, but as in Expression (17) in the first embodiment. , Cr, and Cb components may be subjected to correction processing such as low-pass processing shown in Expression (26), for example.
（２−６）ぼかし量の決定
第１の実施の形態における（１−６）と同様に、式（４０）〜（４８）で算出した色指標をそれぞれ比較して、最小値を与えるぼかし量のＣｒとＣｂの組み合せを、最終的に画像生成のために利用するぼかし量として決定する。すなわち、次式（４９）によって、Ｃｄｉｆｆ＿ｒ００ｂ００ からＣｄｉｆｆ＿ｒ１０ｂ１０の中で値が最小になるものを画素ごとに抽出し、そのときのＣｒ，およびＣｂを生成するために、ＲＧＢの各成分を図１１に示す平滑化フィルタでぼかす必要があるか否かを決定する。
(2-6) Determination of blurring amount Similar to (1-6) in the first embodiment, the color index calculated by the equations (40) to (48) is compared, and the blurring amount giving the minimum value The combination of Cr and Cb is finally determined as the blurring amount used for image generation. That is, according to the following equation (49), the components having the smallest value among Cdiff_r00b00 to Cdiff_r10b10 are extracted for each pixel, and each component of RGB is shown in FIG. 11 in order to generate Cr and Cb at that time. Determine whether it is necessary to blur with a smoothing filter.
(Cr生成用Rぼかし量, Cr生成用Gぼかし量, Cb生成用Gぼかし量, Cb生成用Bぼかし量)
= arg min (Cdiff_r00b00, Cdiff_r01b00, ... , Cdiff_r10b10)
(R,R' for Cr)
(G,G' for Cr)
(G,G' for Cb)
(B,B' for Cb) ・・・（４９）
(Cr blurring amount for Cr generation, G blurring amount for Cr generation, G blurring amount for Cb generation, B blurring amount for Cb generation)
= arg min (Cdiff_r00b00, Cdiff_r01b00, ..., Cdiff_r10b10)
(R, R 'for Cr)
(G, G 'for Cr)
(G, G 'for Cb)
(B, B 'for Cb) (49)
（２−７）置き換え用の色差面生成
上述した（２−６）の結果に基づいて、次式（５０）および（５１）により、最終出力画像に用いる色差成分の置き換え値Ｃｒ［ｉ，ｊ］、およびＣｂ［ｉ，ｊ］を設定する。
Cr[i,j]=one of {Cr00, Cr01, Cr10} ・・・（５０）
Cb[i,j]=one of {Cb00, Cb01, Cb10} ・・・（５１）
(2-7) Generation of Replacement Color Difference Surface Based on the result of (2-6) described above, the replacement value Cr [i, j of the color difference component used for the final output image is obtained by the following equations (50) and (51). ] And Cb [i, j] are set.
Cr [i, j] = one of {Cr00, Cr01, Cr10} (50)
Cb [i, j] = one of {Cb00, Cb01, Cb10} (51)
（２−８）色変換
次に、次式（５２）〜（５４）により、上述した（２−２）で退避させた輝度成分と、（２−７）の処理で軸上色収差の補正された色差成分を統合して最終出力画像を生成する。
R[i,j]=Y[i,j]+（3/4）×Cr[i,j]-（1/4）×Cb[i,j] ・・・（５２）
G[i,j]=Y[i,j]-（1/4）×Cr[i,j]-（1/4）×Cb[i,j] ・・・（５３）
B[i,j]=Y[i,j]-（1/4）×Cr[i,j]+（3/4）×Cb[i,j] ・・・（５４）
(2-8) Color Conversion Next, with the following equations (52) to (54), the luminance component saved in the above (2-2) and the axial chromatic aberration are corrected by the processing of (2-7). The final color image is generated by integrating the color difference components.
R [i, j] = Y [i, j] + (3/4) × Cr [i, j] − (1/4) × Cb [i, j] (52)
G [i, j] = Y [i, j]-(1/4) × Cr [i, j]-(1/4) × Cb [i, j] (53)
B [i, j] = Y [i, j]-(1/4) × Cr [i, j] + (3/4) × Cb [i, j] (54)
以上の処理によって、カラー画像において、ＲＧＢいずれかの色成分に軸上色収差があり、これに伴って色滲みが生じた場合に、各色成分間のＭＴＦ特性の不整合を補正して、軸上色収差に伴う色滲みを解消することができる。そして、この軸上色収差に伴う色滲みを解消したカラー画像は、モニタ１１３に出力されて表示される。
With the above processing, if there is axial chromatic aberration in any of the RGB color components in the color image, and color blur occurs with this, the mismatch of the MTF characteristics between the color components is corrected, and the axial Color blur due to chromatic aberration can be eliminated. Then, the color image in which the color blur due to the longitudinal chromatic aberration is eliminated is output to the
図１３は、第３の実施の形態における画像処理装置１１０の動作を示すフローチャートである。図１３に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。ステップＳ１１０において、（２−１）で上述したように、画像メモリ１１２からカラー画像を読み込んで、ステップＳ１２０へ進む。ステップＳ１２０では、（２−２）で上述したように、読み込んだカラー画像を表色系変換して、輝度成分を制御装置１１１が有するメモリ空間に退避しておく。その後、ステップＳ１３０へ進む。
FIG. 13 is a flowchart illustrating the operation of the
ステップＳ１３０では、（２−３）で上述した複数通りのぼかしＲ、Ｇ、Ｂ面画像作成処理を実行して、ステップＳ１４０へ進む。ステップＳ１４０では、（２−４）で上述したぼかし組み合せによる複数通りの仮色差面生成処理を実行して、ステップＳ１５０へ進む。ステップＳ１５０では、（２−５）で上述した色指標の作成処理を実行して、ステップＳ１６０へ進む。ステップＳ１６０では、（２−６）で上述したように、最終的に画像生成のために利用するぼかし量を決定して、ステップＳ１７０へ進む。 In step S130, the plurality of blur R, G, and B plane image creation processes described above in (2-3) are executed, and the process proceeds to step S140. In step S140, a plurality of provisional color difference plane generation processes by the combination of blurs described above in (2-4) are executed, and the process proceeds to step S150. In step S150, the color index creation processing described above in (2-5) is executed, and the flow advances to step S160. In step S160, as described above in (2-6), the blurring amount to be finally used for image generation is determined, and the process proceeds to step S170.
ステップＳ１７０では、（２−７）で上述した置き換え用の色差面生成処理を実行してステップＳ１８０へ進み、（２−８）で上述したように、（２−２）で退避させた輝度成分と、（２−７）の処理で軸上色収差の補正された色差成分を統合して最終出力画像を生成する。その後、ステップＳ１９０へ進み、軸上色収差に伴う色滲みを解消したカラー画像を、モニタ１１３に出力して表示し、処理を終了する。
In step S170, the replacement color difference plane generation process described above in (2-7) is executed, and the process proceeds to step S180. As described above in (2-8), the luminance component saved in (2-2). Then, the final output image is generated by integrating the color difference components whose axial chromatic aberration is corrected in the processing of (2-7). Thereafter, the process proceeds to step S190, where a color image from which color blur due to axial chromatic aberration has been eliminated is output and displayed on the
以上説明した第３の実施の形態によれば、従来技術とは異なり、高ＭＴＦの他の色成分情報を利用して、低ＭＴＦの色成分情報を補正しているので、鮮鋭な軸上色収差補正ができる。また、Ｇ成分に対するぼかしのみならず、Ｒ成分とＢ成分に対するぼかしも行うものとした。これによって、Ｇ成分に軸上色収差がある場合でもそれを補正することが可能となる。 According to the third embodiment described above, unlike the prior art, the low MTF color component information is corrected using other color component information of the high MTF, so that sharp axial chromatic aberration is obtained. Can be corrected. In addition to blurring for the G component, blurring for the R component and the B component is also performed. As a result, even when there is axial chromatic aberration in the G component, it can be corrected.
―第４の実施の形態―
第４の実施の形態では、デジタルカメラ１００で所定距離だけ離れた被写体にピントを合わせ、レンズ１０１のピント位置における被写体像がかぶる軸上色収差の一般的傾向を補正する。なお、図１に示した画像処理装置１１０を搭載したデジタルカメラ１００のブロック図と、図２および図３に示した軸上色収差による色滲みが発生する原理を示す図、および図４に示したＭＴＦ特性を整合させて軸上色収差を補正する原理を示す図については、第１の実施の形態と同様のため、説明を省略する。
-Fourth embodiment-
In the fourth embodiment, the
まず、あらかじめレンズ１０１が固有に持っている軸上色収差情報を調べておく。すなわち、所定距離に設置した基準被写体を撮影し、レンズ１０１が取りうる可変パラメータ、例えばレンズ種、ズーム位置、絞り値、ピント位置などの各々についてＲＧＢ間のＭＴＦ特性の違いを次のように事前に調査しておく。そして、この可変パラメータのそれぞれを変化させながら、例えば図１４に示すような評価用撮影チャートを撮像し、そのときの黒線の信号レベルの出方を観測して、ＲＧＢ間のＭＴＦ特性の違いを算出する。
First, axial chromatic aberration information inherently possessed by the
この算出結果に基づいて、各可変パラメータの設定状況における最も鮮鋭な色成分に対して、ぼけた色成分に合わせるのに必要な一様ＬＰＦを特定し、図１５に示すように、可変パラメータの各設定状況ごとに、被写体の位置（被写体までの距離）と特定した一様ＬＰＦの種類とを対応づけて、制御装置１１１が有するメモリに格納しておく。 Based on this calculation result, a uniform LPF necessary to match the blurred color component is identified for the sharpest color component in each variable parameter setting state. As shown in FIG. For each setting situation, the position of the subject (distance to the subject) and the specified type of uniform LPF are associated with each other and stored in the memory of the control device 111.
そして、撮像素子１０２で撮像した対象画像内の主要被写体が映っている部分の軸上色収差を補正するために、次のように処理する。まず、対象画像内における主要被写体位置を検出する。このとき、一般的に主要被写体はフォーカス位置（ピント位置）、またはその近傍に存在していることが多いことを加味して、まずは画像データから上述した可変パラメータを取得して、対象画像におけるフォーカス位置を特定する。なお、各可変パラメータは、撮像された画像データ内の例えばＥｘｉｆ情報内に、光学系に関する外部情報として記憶されており、制御装置１１３は画像データを参照してフォーカス位置を特定することができる。
Then, in order to correct the axial chromatic aberration in the portion where the main subject in the target image captured by the
この特定したフォーカス位置の周りには主要被写体が広がっているものと仮定し、フォーカス位置の周囲の所定範囲内を対象範囲として、その範囲内でエッジ検出を行って、検出したエッジをグループ化することによりオブジェクト抽出して、そのオブジェクトを主要被写体とみなしてオブジェクトを含む範囲に対して軸上色収差補正を行う。具体的には、特定したフォーカス位置から主要被写体までの距離を判定し、さらに画像データから撮像時における可変パラメータの設定状況を判定する。そして、判定した可変パラメータの設定状況に対応する図１５に示す表を参照することによって、その主要被写体まで距離に対応付けられた一様ＬＰＦを選択する。 Assuming that the main subject is spreading around the specified focus position, the predetermined range around the focus position is set as the target range, edge detection is performed within that range, and the detected edges are grouped. Thus, the object is extracted, and the object is regarded as a main subject, and axial chromatic aberration correction is performed on a range including the object. Specifically, the distance from the specified focus position to the main subject is determined, and further, the setting state of the variable parameter at the time of imaging is determined from the image data. Then, by referring to the table shown in FIG. 15 corresponding to the determined setting state of the variable parameter, the uniform LPF associated with the distance to the main subject is selected.
そして、上述した対象範囲を、選択した一様ＬＰＦでぼかして、第１の実施の形態、および第３の実施の形態で上述したように、当該対象範囲内における軸上色収差補正を行う。これによって、光学系に関する外部情報として記憶された可変パラーメータの設定状況に基づいて、その状況に合った一様ＬＰＦを判定し、この一様ＬＰＦを用い適切な色成分に対して、適切な度合いの平滑化を行うことができる。 Then, the target range described above is blurred by the selected uniform LPF, and axial chromatic aberration correction within the target range is performed as described above in the first embodiment and the third embodiment. Thus, based on the setting state of the variable parameters stored as external information related to the optical system, a uniform LPF suitable for the state is determined, and an appropriate degree is set for an appropriate color component using the uniform LPF. Can be smoothed.
図１６は、第４の実施の形態における画像処理装置１１０の動作を示すフローチャートである。図１６に示す処理は、レンズ１０１を介して撮像素子１０２によって撮像された画像が画像メモリ１１２に記憶されると起動するプログラムとして制御装置１１１によって実行される。ステップＳ２１０において、画像メモリ１１２から画像を読み込んでステップＳ２２０へ進む。ステップＳ２２０では、上述したように画像データからォーカス位置を特定して、ステップＳ２３０へ進む。
FIG. 16 is a flowchart illustrating the operation of the
ステップＳ２３０では、画像データから撮像時における可変パラメータの設定状況を判定し、その可変パラメータの設定状況に対応する図１５に示す表を参照することによって、フォーカス位置、すなわち主要被写体まで距離に対応付けられた一様ＬＰＦを選択する。その後、ステップＳ２４０へ進み、選択した一様ＬＰＦを使用して読み込んだ画像をぼかして、ステップＳ２５０へ進む。ステップＳ２５０では、入力画像、すなわち画像メモリ１１２から読み込んだ画像がＢａｙｅｒ配列のような単板式カラー撮像素子出力画像、または補間済みのカラー画像のいずれであるかを判定する。
In step S230, the setting state of the variable parameter at the time of imaging is determined from the image data, and the focus position, that is, the distance to the main subject is associated with the table shown in FIG. 15 corresponding to the setting state of the variable parameter. Select the uniform LPF. Thereafter, the process proceeds to step S240, the image read using the selected uniform LPF is blurred, and the process proceeds to step S250. In step S250, it is determined whether the input image, that is, the image read from the
そして、入力画像がＢａｙｅｒ配列のような単板式カラー撮像素子出力画像であると判断した場合には、ステップＳ２６０へ進み、上述した第１の実施の形態における図８のステップＳ７０〜ステップＳ１００の処理を実行して、画像の軸上色収差を補正し、モニタ１１３に出力した後に処理を終了する。これに対して、入力画像が補間済みのカラー画像であると判断した場合には、ステップＳ２７０へ進み、上述した第３の実施の形態における図１３のステップＳ１７０〜ステップＳ１９０の処理を実行して、カラー画像の軸上色収差を補正し、モニタ１１３に出力した後に処理を終了する。
If it is determined that the input image is a single-plate color image sensor output image such as a Bayer array, the process proceeds to step S260, and the processes in steps S70 to S100 of FIG. 8 in the first embodiment described above. Is executed to correct the axial chromatic aberration of the image and output it to the
上述した第４の実施の形態によれば、第１または第３の実施の形態における作用効果に加えて、次のような作用効果を得ることができる。
（１）画像データに含まれるフォーカス位置情報に基づいて主要被写体を抽出し、抽出した主要被写体までの距離を判定して図１５に示す表を参照することによって、その主要被写体まで距離に対応付けられた一様ＬＰＦを選択して、主要被写体が存在する範囲の画像をぼかすようにした。これによって、主要被写体までの距離に基づいて、あらかじめ設定された一様ＬＰＦを選択して画像をぼかせばよいため、ぼかし量を決定するための種々の処理が不要となり、処理を高速化できる。
（２）主要被写体までの距離を判定するにあたっては、画像データに含まれるフォーカス位置の周囲の所定範囲内を対象範囲として、その範囲内でエッジ検出を行って、検出したエッジをグループ化することによりオブジェクト抽出して、そのオブジェクトを主要被写体とみなすようにした。これによって、一般的に主要被写体はフォーカス位置、またはその近傍に存在していることが多いことを加味して、正確に主要被写体を抽出することができる。
According to the fourth embodiment described above, the following operational effects can be obtained in addition to the operational effects of the first or third embodiment.
(1) The main subject is extracted based on the focus position information included in the image data, the distance to the extracted main subject is determined, and the table shown in FIG. The selected uniform LPF was selected to blur the image in the range where the main subject exists. Accordingly, since it is only necessary to select a preset uniform LPF based on the distance to the main subject and blur the image, various processes for determining the blur amount are not necessary, and the process can be speeded up.
(2) When determining the distance to the main subject, a predetermined range around the focus position included in the image data is set as a target range, edge detection is performed within the range, and the detected edges are grouped. The object is extracted by the above and the object is regarded as the main subject. This makes it possible to accurately extract the main subject in consideration of the fact that the main subject generally exists at or near the focus position.
―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した第１および２の実施の形態では、撮像素子１０２においては、例えば、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがＢａｙｅｒ配列されており、この撮像素子１０２で撮像される画像データはＲＧＢ表色系で示されるものとし、画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在しているものとする例ついて説明した。しかしこれに限定されず、撮像素子１０２に２板式カラー撮像素子を用い、画像データを構成する各々の画素には、ＲＧＢの何れか２つの色成分の色情報が存在しているものとしてもよい。すなわち、撮像素子１０２は、撮像面におけるＭＴＦ特性が異なる複数の色成分を有する各画素において少なくとも１つの色成分が欠落した画像を撮像するものであればよい。
-Modification-
The image processing apparatus according to the above-described embodiment can be modified as follows.
(1) In the first and second embodiments described above, in the
（２）上述した第１〜３の実施の形態では、（１−６）および（２−６）でぼかし量を決定するに当たって、最終的に画像生成のために利用する離散的なぼかし量を判定する例について説明した。しかしこれに限定されず、連続的なぼかし量を判定するようにしてもよい。例えばＣｒ１、Ｃｒ２をまとめてＣｒ＿ｂｌｕｒのように表し、次式（５５）および（５６）に示すように、線形結合を行う。なお、ここでは、Ｇ"のぼかし方とＧのぼかしなしの線形結合状態（加重係数（ｓ、ｔ））でＣｒ＿ｂｌｕｒ、およびＣｂ＿ｂｌｕｒを生成する例について説明するが、同様の方法でG'を加えた線形結合とすることもできる。
Cr_blur = R-{s*<G">+(1-s)*<G>}・・・（５５）
Cb_blur = B-{t*<G">+(1-t)*<G>}・・・（５６）
ただし、0=<(s,t)=<1とする。
(2) In the first to third embodiments described above, when determining the blurring amount in (1-6) and (2-6), the discrete blurring amount used for image generation is finally used. An example of determination has been described. However, the present invention is not limited to this, and a continuous blur amount may be determined. For example, Cr1 and Cr2 are collectively expressed as Cr_blur, and linear combination is performed as shown in the following equations (55) and (56). Here, an example in which Cr_blur and Cb_blur are generated using a linear combination state (weighting coefficients (s, t)) without blurring G ″ will be described, but G ′ is added in the same manner. It can also be a linear combination.
Cr_blur = R- {s * <G "> + (1-s) * <G>} (55)
Cb_blur = B- {t * <G "> + (1-t) * <G>} (56)
However, 0 = <(s, t) = <1.
式（５５）および（５６）で生成したＣｒ＿ｂｌｕｒ、およびＣｂ＿ｂｌｕｒに基づいて、ぼかし側に対応する色指標Ｃｄｉｆｆ＿ｂｌｕｒを次式（５７）により生成する。
Cdiff_blur = |Cr_blur[i,j]|+|Cb_blur[i,j]|+|Cr_blur[i,j]-Cb_blur[i,j]| ・・・（５７）
そして、Ｃｄｉｆｆ＿ｂｌｕｒの最小値を与える（ｓ，ｔ）の組み合せを、図１７に示すように２次元探索する。次にＣｄｉｆｆ＿ｂｌｕｒの最小値と、ぼかしなし側色指標Ｃｄｉｆｆ＿ｒ０ｂ０とを比較して、ぼかし量（ｓ，ｔ）を採用するか、ぼかしなしにするかを決定する。この比較はＣｄｉｆｆ＿ｒ０ｂ０だけを特別に扱っている場合にのみ行うものとする。
Based on Cr_blur and Cb_blur generated in Expressions (55) and (56), a color index Cdiff_blue corresponding to the blurring side is generated according to Expression (57) below.
Cdiff_blur = | Cr_blur [i, j] | + | Cb_blur [i, j] | + | Cr_blur [i, j] -Cb_blur [i, j] | (57)
Then, a combination of (s, t) that gives the minimum value of Cdiff_blur is two-dimensionally searched as shown in FIG. Next, the minimum value of Cdiff_blur and the non-blurring side color index Cdiff_r0b0 are compared to determine whether to use the blurring amount (s, t) or not. This comparison is performed only when only Cdiff_r0b0 is specially handled.
なお、このように判定した連続的なぼかし量によって画像をぼかす場合には、第１の実施の形態の（１−７）で上述した実際の色差面生成処理において、最終出力画像に用いる色差成分Ｃｒ［ｉ，ｊ］、Ｃｂ［ｉ，ｊ］は、式（２８）および（２９）に代えて、次式（５８）および（５９）によって求めればよい。
Cr[i,j]=one of {Cr0, Cr_blur(s; 0=<s=<1)} R位置 ・・・（５８）
Cb[i,j]=one of {Cb0, Cb_blur(t; 0=<t=<1)} B位置 ・・・（５９）
When the image is blurred by the continuous blur amount determined in this way, the color difference component used for the final output image in the actual color difference plane generation process described in (1-7) of the first embodiment. Cr [i, j] and Cb [i, j] may be obtained by the following equations (58) and (59) instead of equations (28) and (29).
Cr [i, j] = one of {Cr0, Cr_blur (s; 0 = <s = <1)} R position (58)
Cb [i, j] = one of {Cb0, Cb_blur (t; 0 = <t = <1)} B position (59)
（３）上述した第１の実施の形態では、Ｂａｙｅｒ面から生成された直後の複数通りの色差面の組み合せを比較してから、ぼかし量を決定して、通常の補間処理を行う例について説明した。しかしこれに限定されず、複数通りのぼかしに対応する色差面の補間を通常の補間処理と適応的な色差面の補正処理を行った後に、ぼかし量を決定するようにしてもよい。 (3) In the first embodiment described above, an example is described in which normal interpolation processing is performed by determining a blurring amount after comparing a plurality of combinations of color difference surfaces immediately after being generated from a Bayer surface. did. However, the present invention is not limited to this, and the amount of blur may be determined after performing normal color interpolation processing and adaptive color difference surface correction processing for color difference planes corresponding to a plurality of types of blurring.
（４）第１〜３の実施の形態では、画素単位で複数のぼかし方に対する生成された色成分の色応答をみることにより、画素単位でぼかし方を決定していた。しかし、これに限定されず、軸上色収差の発生要因からして画素レベルでの急激な変化は少ないであろうと仮定することができるので、もう少し大きな範囲でぼかし方の均一手法が選ばれるように、複数の画素にまたがったブロック単位に処理を行ってもよい。 (4) In the first to third embodiments, the blurring method is determined in pixel units by looking at the color responses of the generated color components for a plurality of blurring methods in pixel units. However, the present invention is not limited to this, and it can be assumed that there will be little sudden change at the pixel level due to the cause of axial chromatic aberration, so that a uniform method of blurring is selected in a slightly larger range. The processing may be performed in units of blocks extending over a plurality of pixels.
例えば、画像メモリ１１２から読み込んだＢａｙｅｒ画像を６４画素×６４画素の大きさの複数のブロックに分割し、第１の実施の形態で上述したように画素単位の色指標を算出して、各ブロック内の色指標の平均値を算出する。そして、ブロック内の色指標の平均値に基づいて、ブロック単位での色指標比較を行い、最小値を与えるぼかし方のセットをブロック内に対して共通に適用して、ブロックごとに軸上色収差補正を行ってもよい。
For example, a Bayer image read from the
なお、この場合には、各ブロック単位で軸上色収差補正を行うため、各ブロック間の境界上に不自然な色の違いが発生する可能性がある。これを回避するために、さらに次のように変形してもよい。すなわち、色指標を算出した後に、その色指標の複数画素間（例えば１６×１６や６４×６４）における平均値をとり、それらを（１−６）または（２−６）と同様にして画素単位の評価を行うようにする。これによって、平均した範囲程度では均一なぼかし量が決定されることになり、ブロック境界での不自然さをなくすことができる。 In this case, since axial chromatic aberration correction is performed in units of blocks, an unnatural color difference may occur on the boundary between the blocks. In order to avoid this, the following modifications may be made. That is, after calculating a color index, an average value of a plurality of pixels of the color index (for example, 16 × 16 or 64 × 64) is taken, and these are calculated in the same manner as in (1-6) or (2-6). Try to evaluate the units. As a result, a uniform blur amount is determined in the average range, and unnaturalness at the block boundary can be eliminated.
（５）上述した第３の実施の形態では、ＲＧＢ表色系で示されるカラー画像を、ＹＣｂＣｒ形式の画像データに変換してから軸上色収差補正を行う例について説明した。しかしこれに限定されず、ＲＧＢ形式のデータのままの状態で軸上色収差補正を行ってもよい。すなわち、図４におけるＭＴＦ整合処理（式（１）、（２））を、Ｒ、Ｇ、Ｂ各々について直接行うようにしてもよい。 (5) In the above-described third embodiment, an example in which axial chromatic aberration correction is performed after a color image represented by the RGB color system is converted to image data in the YCbCr format has been described. However, the present invention is not limited to this, and axial chromatic aberration correction may be performed with the data in the RGB format as it is. That is, the MTF matching processing (Equations (1) and (2)) in FIG. 4 may be directly performed for each of R, G, and B.
（６）上述した第４の実施の形態では、画像データに含まれるフォーカス位置情報に基づいて主要被写体を抽出し、その主要被写体が存在する範囲のみを補正する例について説明した。しかし、これに限定されず画像全体に対して軸上色収差補正を行ってもよい。 (6) In the above-described fourth embodiment, the example in which the main subject is extracted based on the focus position information included in the image data and only the range where the main subject exists has been described. However, the present invention is not limited to this, and axial chromatic aberration correction may be performed on the entire image.
（７）上述した第４の実施の形態では、画像データ内に含まれているフォーカス位置に基づいて被写体までの距離を特定する例について説明した。しかしこれに限定されず、画像データ内に含まれる「接写撮影」、「ポートレート撮影」、「風景撮影」のようなカメラの撮影モードに基づいて、被写体までの距離を特定してもよい。例えば、接写撮影モードのときは被写体は至近に存在するものと判定して、図１５に示した対応表を参照するようにすればよい。 (7) In the above-described fourth embodiment, the example in which the distance to the subject is specified based on the focus position included in the image data has been described. However, the present invention is not limited to this, and the distance to the subject may be specified based on the camera shooting modes such as “close-up shooting”, “portrait shooting”, and “landscape shooting” included in the image data. For example, in the close-up shooting mode, it may be determined that the subject is in the vicinity and the correspondence table shown in FIG. 15 is referred to.
（８）上述した第１〜第４の実施の形態では、デジタルカメラ１００に搭載した制御装置１１１によって、各種画像処理を行い、レンズ１０１を介して撮像素子１０２で撮像した画像の軸上色収差補正を行う例について説明した。しかしこれに限定されず、例えば、上述した内容の画像処理を実行するプログラムをパソコンなどの電子機器にインストールしておき、デジタルカメラで撮像した画像を各種インターフェースを介して当該電子機器に取り込んでから軸上色収差補正を行うようにしてもよい。なお、このようなプログラムは、ＣＤなどの記録媒体やインターネットなどの電気通信回線を介してパソコンなどの電子機器に提供される。
(8) In the first to fourth embodiments described above, various image processing is performed by the control device 111 mounted on the
（９）上述した第１〜第４の実施の形態では、上述した図４に示す原理によってＭＴＦを整合させ、軸上色収差を補正する例について説明したが、これに限定されず、図１８に示すように、ＲＧＢの各色成分から輝度面Ｙ（図１８（ｄ））を生成し、当該輝度面Ｙを平滑化して、ＭＴＦを整合させるようにしてもよい。 (9) In the above-described first to fourth embodiments, the example in which the MTF is matched and the axial chromatic aberration is corrected according to the principle shown in FIG. 4 is described. However, the present invention is not limited to this, and FIG. As shown, a luminance plane Y (FIG. 18D) may be generated from each RGB color component, and the luminance plane Y may be smoothed to match the MTF.
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。 Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired.
１００ デジタルカメラ
１０１ レンズ
１０２ 撮像素子
１１０ 画像処理装置
１１１ 制御装置
１１２ 画像メモリ
１１３ モニタ
DESCRIPTION OF
Claims (7)
前記ＭＴＦ特性の高い色成分の信号を平滑化し、前記ＭＴＦ特性が高い色成分の平滑化していない信号と、平滑化した前記ＭＴＦ特性の高い色成分の信号との差分から得られる補正情報に基づいて、前記ＭＴＦ特性の低い色成分のＭＴＦ特性を補正して、各色成分間のＭＴＦ特性を整合させることを特徴とする画像処理装置。 An image with inconsistent MTF characteristics between color components generated due to defocusing between color components in the optical axis direction is used, and color information with low MTF characteristics is obtained using color information with color components with high MTF characteristics. An image processing apparatus characterized by matching the MTF characteristics between the color components by correcting,
Based on the correction information obtained from the difference between the smoothed signal of the color component having a high MTF characteristic and the smoothed signal of the color component having a high MTF characteristic and the smoothed signal of the color component having a high MTF characteristic. And correcting the MTF characteristics of the color components having a low MTF characteristic to match the MTF characteristics between the color components .
光学系を通して撮像され、複数の色成分からなり、撮像面において少なくとも２つの色成分の間でＭＴＦ特性が高い色成分と低い色成分が存在する第１の画像を第２の画像に変換する画像処理装置を備え、
前記第１の画像の前記少なくとも２つの色成分の内のＭＴＦ特性が高い１つの色成分のＭＴＦ特性をＭＴＦ特性が低い他の色成分のＭＴＦ特性に近づけるよう、前記ＭＴＦ特性が高い１つの色成分を有する画素において平滑化処理を行う平滑化手段と、
前記平滑化手段によって平滑化処理されたＭＴＦ特性が高い１つの色成分を用いて、前記第２の画像の色差成分を生成する色差成分生成手段と、
前記第１の画像の平滑化処理されないＭＴＦ特性が高い１つの色成分とＭＴＦ特性が低い他の色成分を用いて、前記第２の画像の輝度成分を生成する輝度成分生成手段と、を備えることを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
An image that is picked up through an optical system, is composed of a plurality of color components, and converts a first image having a color component having a high MTF characteristic and a low color component between at least two color components on the image pickup surface into a second image. Equipped with a processing device,
One color having a high MTF characteristic so that the MTF characteristic of one color component having a high MTF characteristic among the at least two color components of the first image is close to the MTF characteristic of another color component having a low MTF characteristic. Smoothing means for performing a smoothing process on pixels having components;
A color difference component generating means for generating a color difference component of the second image using one color component having a high MTF characteristic smoothed by the smoothing means ;
Luminance component generation means for generating a luminance component of the second image using one color component with high MTF characteristics that is not smoothed of the first image and another color component with low MTF characteristics. An image processing apparatus.
前記第２の画像の色差成分と輝度成分とを使用して、前記第１の画像と同じ複数の色成分からなる表色系の画像に逆変換する逆変換手段をさらに備えることを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The image processing apparatus further includes an inverse conversion unit configured to inversely convert the color difference component and the luminance component of the second image into a color system image including the same plurality of color components as the first image. Image processing device.
前記平滑化手段は、複数種類の色差成分を生成するとき、各々の色差成分ごとに、前記平滑化処理の平滑化の度合いを決定することを特徴とする画像処理装置。 The image processing apparatus according to claim 2 or 3,
The smoothing means determines the smoothing degree of the smoothing process for each color difference component when generating a plurality of types of color difference components .
前記平滑化手段は、画素ごとにそれぞれの平滑化の度合いで平滑化処理を行うことを特徴とする画像処理装置。 In the image processing apparatus according to any one of claims 2 to 4,
The image processing apparatus according to claim 1, wherein the smoothing unit performs a smoothing process at a degree of smoothing for each pixel .
前記平滑化手段は、複数の画素にまたがって共通の平滑化の度合いで平滑化処理を行うことを特徴とする画像処理装置。 In the image processing device according to any one of claims 2 to 5,
The image processing apparatus according to claim 1, wherein the smoothing unit performs a smoothing process at a common degree of smoothing over a plurality of pixels .
前記第１の画像は、各画素に全ての色成分を有することを特徴とする画像処理装置。
In the image processing device according to any one of claims 2 to 6,
The image processing apparatus according to claim 1, wherein the first image has all color components in each pixel .
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005205356A JP4945943B2 (en) | 2005-07-14 | 2005-07-14 | Image processing device |
| US11/988,443 US8233710B2 (en) | 2005-07-14 | 2006-07-14 | Image processing device and image processing method |
| PCT/JP2006/314073 WO2007007878A1 (en) | 2005-07-14 | 2006-07-14 | Image processing device and image processing method |
| US13/303,934 US8509533B2 (en) | 2005-07-14 | 2011-11-23 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005205356A JP4945943B2 (en) | 2005-07-14 | 2005-07-14 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007028042A JP2007028042A (en) | 2007-02-01 |
| JP4945943B2 true JP4945943B2 (en) | 2012-06-06 |
Family
ID=37788234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005205356A Active JP4945943B2 (en) | 2005-07-14 | 2005-07-14 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4945943B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100911378B1 (en) | 2007-02-23 | 2009-08-10 | 삼성전자주식회사 | Lens correction method and lens correction apparatus |
| KR101399012B1 (en) * | 2007-09-12 | 2014-05-26 | 삼성전기주식회사 | apparatus and method for restoring image |
| US8149319B2 (en) * | 2007-12-03 | 2012-04-03 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems for color-correlated objects |
| JP5171361B2 (en) | 2008-04-07 | 2013-03-27 | 株式会社日立製作所 | Imaging device |
| CN102844788B (en) * | 2010-03-31 | 2016-02-10 | 佳能株式会社 | Image processing apparatus and use the image pick-up device of this image processing apparatus |
| WO2011121761A1 (en) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | Image processing apparatus and image capturing apparatus using same |
| JP5494249B2 (en) * | 2010-06-03 | 2014-05-14 | 株式会社ニコン | Image processing apparatus, imaging apparatus, and image processing program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001103358A (en) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | Chromatic aberration correction device |
| JP2003050990A (en) * | 2001-08-07 | 2003-02-21 | Minolta Co Ltd | Image processor and program making computer function as the image processor |
| JP2004241991A (en) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | Imaging apparatus, image processor, and image processing program |
-
2005
- 2005-07-14 JP JP2005205356A patent/JP4945943B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007028042A (en) | 2007-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8233710B2 (en) | Image processing device and image processing method | |
| JP5040655B2 (en) | Image processing apparatus and image processing method | |
| JP4706635B2 (en) | Image processing apparatus having color misregistration correction function, image processing program, and electronic camera | |
| JP5047048B2 (en) | Image processing apparatus, imaging apparatus, control method, program, and storage medium | |
| JP5546229B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP5045421B2 (en) | Imaging apparatus, color noise reduction method, and color noise reduction program | |
| JP6525718B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP6327922B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4700445B2 (en) | Image processing apparatus and image processing program | |
| JP5441652B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
| JP4979595B2 (en) | Imaging system, image processing method, and image processing program | |
| US20090207271A1 (en) | Image Processor Correcting Color Misregistration, Image Processing Program, Image Processing Method, and Electronic Camera | |
| US20090219417A1 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
| JP4945943B2 (en) | Image processing device | |
| JP2011123589A5 (en) | ||
| JP4945942B2 (en) | Image processing device | |
| JP5165300B2 (en) | Video processing apparatus and video processing program | |
| JP4986820B2 (en) | Image processing apparatus and image processing method | |
| JP2006023959A (en) | Signal processing system and signal processing program | |
| JP6282123B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5479187B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| JP4717371B2 (en) | Image processing apparatus and image processing program | |
| JP5528139B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP4797478B2 (en) | Image processing device | |
| JP2011160255A5 (en) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4945943 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |