JP5034789B2

JP5034789B2 - Imaging device

Info

Publication number: JP5034789B2
Application number: JP2007225708A
Authority: JP
Inventors: 忠雄新屋
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2007-08-31
Filing date: 2007-08-31
Publication date: 2012-09-26
Anticipated expiration: 2027-08-31
Also published as: JP2009060367A

Description

本発明は、緑色（Ｇ）のフィルタを市松状に配列するとともに、赤色（Ｒ）のフィルタ及び青色（Ｂ）のフィルタをライン内では同一で、かつライン間では交互となるように配列されているフィルタを有する撮像素子と、撮像素子から出力される信号に基づいて、ＢのフィルタまたはＲのフィルタに対応する補間対象画素において、Ｇの補間値を出力する補間回路を有する撮像装置に関する。 In the present invention, the green (G) filters are arranged in a checkered pattern, and the red (R) filter and the blue (B) filter are arranged to be the same in the line and alternate between the lines. The present invention relates to an image pickup device having an image pickup device having a filter and an interpolation circuit that outputs a G interpolation value in a pixel to be interpolated corresponding to the B filter or the R filter based on a signal output from the image pickup device.

一般的に、デジタルカメラやデジタルビデオカメラ等の撮像装置は、例えばＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等の撮像素子を有している。撮像素子は、撮影対象物（被写体）から発した光をレンズなどの光学系によって受光素子に結像させ、その像の光による明暗を電荷の量に光電変換し、それを順次読み出して電気信号に変換する。この受光素子の受光平面には、二次元的に複数の色フィルタを配置した、いわゆるベイヤー配列のカラーフィルタが設けられている。この色フィルタは、一般的には、Ｒ（赤）、Ｇ（緑）及びＢ（青）の三色が、図６に示す様に格子状に設けられている。図６に示す色フィルタにおいては、Ｇのフィルタを市松状に配列するとともに、Ｒのフィルタ及びＢのフィルタをライン内では同一で、かつライン間では交互となるように配列されている。撮像素子の出力信号からは、１画素につきＲＧＢのいずれか１色の信号しか得ることができない。従って、各画素について、ＲＧＢ全ての色の信号を得るために、周辺の画像信号を用いた補間処理が行われる。 In general, an imaging apparatus such as a digital camera or a digital video camera has an imaging element such as a CCD image sensor (Charge Coupled Device Image Sensor) or a CMOS image sensor (Complementary Metal Oxide Semiconductor Image Sensor). The image sensor forms an image of light emitted from the object to be photographed (subject) on the light receiving element by an optical system such as a lens, photoelectrically converts light and darkness of the image light into the amount of electric charge, and sequentially reads out the electric signal. Convert to A so-called Bayer array color filter in which a plurality of color filters are two-dimensionally arranged is provided on the light receiving plane of the light receiving element. In general, this color filter is provided with three colors of R (red), G (green), and B (blue) in a lattice shape as shown in FIG. In the color filter shown in FIG. 6, the G filters are arranged in a checkered pattern, and the R filters and the B filters are arranged in the same manner in the line and alternately in the lines. From the output signal of the image sensor, only one of RGB signals can be obtained per pixel. Therefore, for each pixel, interpolation processing using surrounding image signals is performed in order to obtain signals of all RGB colors.

この補間処理において、もっとも簡単な方法としては、補間対象の色毎に、二次元のローパスフィルター（ＬＰＦ）処理を行う方法がある。しかし、この方法のように一義的にＬＰＦ処理を行っただけでは、補間後の画像の空間周波数特性には高周波成分が含まれないため、ぼやけた画像になってしまう場合がある。 In this interpolation process, the simplest method is a method of performing a two-dimensional low-pass filter (LPF) process for each color to be interpolated. However, if the LPF process is uniquely performed as in this method, the spatial frequency characteristic of the image after interpolation does not include a high frequency component, and thus a blurred image may occur.

そこで、この問題を解決するために、補間画素周辺の画像特性、即ち相関性を判断し、この結果によってＬＰＦ処理を変化させる方法がある。例えば、補間画素周辺で水平方向の相関性が強いと判断された場合、横方向にのみＬＰＦ処理を行うとともに、垂直方向の相関性が強いと判断された場合、縦方向にのみＬＰＦ処理を行う。 Therefore, in order to solve this problem, there is a method of determining the image characteristics around the interpolation pixel, that is, the correlation, and changing the LPF processing based on the result. For example, when it is determined that the horizontal correlation around the interpolation pixel is strong, LPF processing is performed only in the horizontal direction, and when it is determined that the vertical correlation is strong, LPF processing is performed only in the vertical direction. .

また、横方向と縦方向の相関関係の度合いに基づいて、横方向のＬＰＦ処理結果と、縦方向のＬＰＦ処理結果とを重み付け加算して、補間する方法がある（特許文献１参照）。図７を参照して、特許文献１に記載の補間回路９００を説明する。補間回路９００は、水平補間回路９０１、垂直補間回路９０２、ＨＶ相関検出回路９０３及び加重平均回路９０４を備えている。 In addition, there is a method of performing interpolation by weighting and adding the LPF processing result in the horizontal direction and the LPF processing result in the vertical direction based on the degree of correlation between the horizontal direction and the vertical direction (see Patent Document 1). With reference to FIG. 7, an interpolation circuit 900 described in Patent Document 1 will be described. The interpolation circuit 900 includes a horizontal interpolation circuit 901, a vertical interpolation circuit 902, an HV correlation detection circuit 903, and a weighted average circuit 904.

ここで、各画素の位置及び各画素における色信号の値は、Ｒ、Ｂ及びＧ等の色信号を示す記号と、「１１」、「２１」及び「３３」等の画素位置を示す記号との連結により表記される。図６に示すようなカラーフィルタを有する場合、撮像素子から出力された信号は、各画素の位置と対応づけて、図８のように表記される。また、図８に示される各信号に基づいて生成された補正信号の値は、ｒ、ｂ及びｇ等の色信号を示す記号と、「１１」、「２１」及び「３３」等の画素位置を示す記号との連結により表記される。例えば、Ｒ３３の画素位置に対応する緑の補正信号は、ｇ３３と表記される。ここでは、ｇ３３を算出する場合について説明する。 Here, the position of each pixel and the value of the color signal in each pixel are a symbol indicating a color signal such as R, B, and G, and a symbol indicating a pixel position such as “11”, “21”, and “33”. It is expressed by concatenation of When the color filter as shown in FIG. 6 is provided, the signal output from the image sensor is expressed as shown in FIG. 8 in association with the position of each pixel. Further, the value of the correction signal generated based on each signal shown in FIG. 8 includes symbols indicating color signals such as r, b, and g, and pixel positions such as “11”, “21”, and “33”. It is expressed by concatenation with a symbol indicating. For example, the green correction signal corresponding to the pixel position of R33 is denoted as g33. Here, a case where g33 is calculated will be described.

水平補間回路９０１は、補間対象画素Ｒ３３において、水平方向の相関性が強いときに好適な水平補間値ＶＡＬ＿Ｈを算出し、加重平均回路９０４に出力する。ＶＡＬ＿Ｈは、下記の（式９−１）によって算出される。 The horizontal interpolation circuit 901 calculates a suitable horizontal interpolation value VAL_H when the correlation in the horizontal direction is strong in the interpolation target pixel R33 and outputs it to the weighted average circuit 904. VAL_H is calculated by the following (Equation 9-1).

ＶＡＬ＿Ｈ＝（Ｇ３２＋Ｇ３４）／２
・・・（式９−１）
垂直補間回路９０２は、補間対象画素Ｒ３３において、垂直方向の相関性が強いときに好適な水平補間値ＶＡＬ＿Ｖを算出し、加重平均回路９０４に出力する。ＶＡＬ＿Ｖは、下記の（式９−２）によって算出される。 VAL_H = (G32 + G34) / 2
... (Formula 9-1)
The vertical interpolation circuit 902 calculates a suitable horizontal interpolation value VAL_V when the correlation in the vertical direction is strong in the interpolation target pixel R33 and outputs it to the weighted average circuit 904. VAL_V is calculated by the following (formula 9-2).

ＶＡＬ＿Ｖ＝（Ｇ２３＋Ｇ４３）／２
・・・（式９−２）
ＨＶ相関検出回路９０３は、（式９−３）により、水平軸における信号レベルの変化量Ｄｉｆ＿Ｈと、垂直軸における信号レベルの変化量Ｄｉｆ＿Ｖを算出する。これにより、補間対象画素の近傍において、水平軸及び垂直軸のそれぞれの相関性が判断される。 VAL_V = (G23 + G43) / 2
... (Formula 9-2)
The HV correlation detection circuit 903 calculates the signal level change amount Dif_H on the horizontal axis and the signal level change amount Dif_V on the vertical axis by (Equation 9-3). As a result, the correlation between the horizontal axis and the vertical axis is determined in the vicinity of the interpolation target pixel.

Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜
・・・（式９−３）
ここで、Ｄｉｆ＿Ｈ＜Ｄｉｆ＿Ｖなら垂直方向より水平方向の相関性が強いと判定される。一方、Ｄｉｆ＿Ｈ＞Ｄｉｆ＿Ｖなら水平方向より垂直方向の相関性が強いと判定される。 Dif_H = | G32-G34 |
Dif_V = | G23-G43 |
... (Formula 9-3)
Here, if Dif_H <Dif_V, it is determined that the correlation in the horizontal direction is stronger than the vertical direction. On the other hand, if Dif_H> Dif_V, it is determined that the correlation in the vertical direction is stronger than the horizontal direction.

ＨＶ相関検出回路９０３は、更に、水平方向の相関性と垂直方向の相関性を示す係数であるＨＶ相関係数Ｋ＿ＨＶを算出する。ＨＶ相関係数Ｋ＿ＨＶは、下記の（式９−４）によって算出される。 The HV correlation detection circuit 903 further calculates an HV correlation coefficient K_HV that is a coefficient indicating the correlation in the horizontal direction and the correlation in the vertical direction. The HV correlation coefficient K_HV is calculated by the following (Equation 9-4).

Ｋ＿ＨＶ＝（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５
・・・（式９−４）
ここで、
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＜−Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝０
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＞Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝１
このように算出することにより、Ｄｉｆ＿ＨとＤｉｆ＿Ｖとの差分に対するＨＶ相関係数Ｋ＿ＨＶの値は、図９のグラフで示される。 K_HV = (Dif_H−Dif_V) / (2 × Th_HV) +0.5
... (Formula 9-4)
here,
If (Dif_H-Dif_V) <-Th_HV, K_HV = 0
If (Dif_H-Dif_V)> Th_HV, K_HV = 1
By calculating in this way, the value of the HV correlation coefficient K_HV with respect to the difference between Dif_H and Dif_V is shown in the graph of FIG.

具体的には、ＨＶ相関係数Ｋ＿ＨＶは、水平方向の相関性が強いほどその値が小さい。また、予め設定されたＨＶ相関閾値−Ｔｈ＿ＨＶより（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）が小さい場合、ＨＶ相関係数Ｋ＿ＨＶは、０になる。 Specifically, the value of the HV correlation coefficient K_HV decreases as the horizontal correlation increases. When (Dif_H-Dif_V) is smaller than a preset HV correlation threshold value -Th_HV, the HV correlation coefficient K_HV is zero.

一方、ＨＶ相関係数Ｋ＿ＨＶは、垂直方向の相関性が強いほどその値が大きい。また、予め設定されたＨＶ相関閾値Ｔｈ＿ＨＶより（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）が大きい場合、ＨＶ相関係数Ｋ＿ＨＶは、１になる。ＨＶ相関係数Ｋ＿ＨＶは、加重平均回路９０４に入力される。 On the other hand, the value of the HV correlation coefficient K_HV increases as the correlation in the vertical direction increases. Further, when (Dif_H−Dif_V) is larger than a preset HV correlation threshold Th_HV, the HV correlation coefficient K_HV is 1. The HV correlation coefficient K_HV is input to the weighted average circuit 904.

加重平均回路９０４は、水平補間回路９０１から出力されたＶＡＬ＿Ｈ、垂直補間回路９０２から出力されたＶＡＬ＿Ｖ及びＨＶ相関検出回路９０３から出力されたＨＶ相関係数Ｋ＿ＨＶから、Ｒ３３画素におけるＧ色の補間色ｇ３３の値を算出する。補間色ｇ３３は、下記の（式９−５）によって算出される。 The weighted average circuit 904 uses the VAL_H output from the horizontal interpolation circuit 901, the VAL_V output from the vertical interpolation circuit 902, and the HV correlation coefficient K_HV output from the HV correlation detection circuit 903, to interpolate G color at the R33 pixel. The value of g33 is calculated. The interpolation color g33 is calculated by the following (Formula 9-5).

ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ
・・・（式９−５）
これにより、Ｒ３３画素の近傍において、水平方向の相関性が強ければ、水平方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｈ）が、補間色ｇ３３の値として算出される。一方、垂直方向の相関性が強ければ、垂直方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｖ）が、補間色ｇ３３の値として算出される。また、水平方向の相関性と垂直方向の相関性が中間的であれば、その度合いに応じた加重平均結果が、補間色ｇ３３の値として算出される。 g33 = (1-K_HV) × VAL_H + K_HV × VAL_V
... (Formula 9-5)
As a result, if the correlation in the horizontal direction is strong in the vicinity of the R33 pixel, the interpolation value (VAL_H) subjected to LPF processing only in the horizontal direction is calculated as the value of the interpolation color g33. On the other hand, if the correlation in the vertical direction is strong, an interpolation value (VAL_V) subjected to LPF processing only in the vertical direction is calculated as the value of the interpolation color g33. If the correlation in the horizontal direction and the correlation in the vertical direction are intermediate, a weighted average result corresponding to the degree is calculated as the value of the interpolation color g33.

このように、従来の補間方法においては、水平方向に隣接する左右２画素の平均値と、垂直方向に隣接する上下２画素の平均値に基づいて、対象画素の補間値を出力する。従来の補間方法においては、単純な二次元ＬＰＦ処理に比べて高周波成分を増加させることができる。 Thus, in the conventional interpolation method, the interpolation value of the target pixel is output based on the average value of the left and right two pixels adjacent in the horizontal direction and the average value of the upper and lower two pixels adjacent in the vertical direction. In the conventional interpolation method, the high frequency component can be increased as compared with a simple two-dimensional LPF process.

ここで図１０を参照して、従来の補間方法による補間例を説明する。従来の補間方法においては、上記（式９−１）に示したように、水平方向の相関性が強い場合に適した水平補間値は、水平方向に隣接する左右２画素（Ｇ３２及びＧ３４）の平均値ＶＡＬ＿Ｈである。このＶＡＬ＿Ｈは、図１０の点Ｐに相当する。一方、上記（式９−２）に示したように、垂直方向の相関性が強い場合に適した垂直補間値は、垂直方向に隣接する上下２画素（Ｇ２３とＧ４３）の平均値ＶＡＬ＿Ｖである。このＶＡＬ＿Ｖは、図１０の点Ｑに相当する。更に、水平方向及び垂直方向の相関性の度合いに応じ、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖの加重平均をｇ３３として出力している。 Here, an example of interpolation by the conventional interpolation method will be described with reference to FIG. In the conventional interpolation method, as shown in the above (Equation 9-1), the horizontal interpolation value suitable when the horizontal correlation is strong is the two left and right pixels (G32 and G34) adjacent in the horizontal direction. Average value VAL_H. This VAL_H corresponds to the point P in FIG. On the other hand, as shown in the above (Equation 9-2), the vertical interpolation value suitable for the case where the correlation in the vertical direction is strong is the average value VAL_V of the two upper and lower pixels (G23 and G43) adjacent in the vertical direction. . This VAL_V corresponds to the point Q in FIG. Furthermore, the weighted average of the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V is output as g33 according to the degree of correlation between the horizontal direction and the vertical direction.

このように、図１０の点Ｐと点Ｑとの中点Ｓに補間値が固定されるような単純な二次元ＬＰＦ処理に比べると、従来の補間方法においては、点Ｐから点Ｑの値を取ることができるため、補間値の取りうる範囲が広くなる。これにより、補間画素と隣接画素との信号レベル差が大きくなるので、補間後の画像の高周波成分が増加し、実際の入力画像に近い信号を出力することが期待できる。
特開２００１−３２０７２０号公報 In this way, in comparison with a simple two-dimensional LPF process in which the interpolation value is fixed at the midpoint S between the points P and Q in FIG. Therefore, the range of interpolation values that can be taken is widened. Thereby, since the signal level difference between the interpolation pixel and the adjacent pixel becomes large, it is expected that the high frequency component of the image after interpolation increases and a signal close to the actual input image is output.
JP 2001-320720 A

しかしながら、上述した特許文献１に記載の方法は、入力画像に高周波成分が多く含まれている場合には、補間後の画像の高周波成分は不十分で、画像の輪郭がぼやける問題があった。具体的には、入力画像にエッジのある被写体が含まれている場合、エッジ部分がぼやけてしまう可能性がある。一般的な自然画においては、上述した特許文献１に記載の補間方法では、上記の補間値の取りうる範囲に収まるのは、補間画素の５０％以下となる場合もある。 However, the method described in Patent Document 1 described above has a problem that, when an input image contains many high-frequency components, the high-frequency components of the image after interpolation are insufficient and the contour of the image is blurred. Specifically, when an object having an edge is included in the input image, the edge portion may be blurred. In a general natural image, in the interpolation method described in Patent Document 1 described above, it may be 50% or less of the interpolation pixels that fall within the range that the interpolation value can take.

ここで、具体的な数値で説明する。図１１に、各画素の入力画素信号を示す。図１１における信号の色配列は、図８と同様である。図１１に示す例では、Ｒ３３画素を頂点として、右上に信号レベルの高い被写体が撮像されている状態を示している。上記（式９−１）及び（式９−２）により、水平補間値ＶＡＬ＿Ｈ及び垂直補間値ＶＡＬ＿Ｖは、以下の通りである。 Here, specific numerical values will be described. FIG. 11 shows the input pixel signal of each pixel. The signal color arrangement in FIG. 11 is the same as in FIG. The example shown in FIG. 11 shows a state in which a subject with a high signal level is imaged on the upper right with the R33 pixel as a vertex. From the above (Equation 9-1) and (Equation 9-2), the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V are as follows.

ＶＡＬ＿Ｈ＝（Ｇ３２＋Ｇ３４）／２＝１００
ＶＡＬ＿Ｖ＝（Ｇ２３＋Ｇ４３）／２＝９９
次に、水平軸における信号レベルの変化量Ｄｉｆ＿Ｈ及び垂直軸における信号レベルの変化量Ｄｉｆ＿Ｖは、上記（式９−３）により、以下のように算出される。 VAL_H = (G32 + G34) / 2 = 100
VAL_V = (G23 + G43) / 2 = 99
Next, the change level Dif_H of the signal level on the horizontal axis and the change level Dif_V of the signal level on the vertical axis are calculated as follows using the above (Equation 9-3).

Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜＝１００
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜＝１０２
ここで、ＨＶ相関閾値Ｔｈ＿ＨＶが１００の場合、ＨＶ相関係数Ｋ＿ＨＶは、下記のように算出される。 Dif_H = | G32−G34 | = 100
Dif_V = | G23−G43 | = 102
Here, when the HV correlation threshold Th_HV is 100, the HV correlation coefficient K_HV is calculated as follows.

Ｋ＿ＨＶ＝（ＤｉｆＨ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５＝０．４９
これにより、Ｒ３３画素におけるＧ色の補間値ｇ３３は、上記（式９−５）により、下記のように算出される。 K_HV = (DifH−Dif_V) / (2 × Th_HV) + 0.5 = 0.49
As a result, the G-color interpolation value g33 in the R33 pixel is calculated as follows using the above (Equation 9-5).

ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ＝９９．５１
以上により、ｇ３３は、９９．５１であると算出される。 g33 = (1-K_HV) × VAL_H + K_HV × VAL_V = 99.51
As described above, g33 is calculated to be 99.51.

ここで、図１１に示した画像においては、右上の３×３＝９画素がフィルタの色（ＲＧＢ）に関わらず全て信号レベルが１５０であるから、画素位置Ｒ３３は、無彩色の明るい被写体が撮像されている可能性が高い。従って、Ｒ３３画素におけるＧ色の補間値ｇ３３も、信号レベルが１５０に近いことが望ましいと考えられるが、上記の従来の方法では、上記演算結果で示したように、補間値ｇ３３は９９．５１と算出されてしまう。 Here, in the image shown in FIG. 11, since the signal level of all 3 × 3 = 9 pixels in the upper right is 150 regardless of the color (RGB) of the filter, the pixel position R33 is an achromatic bright subject. There is a high possibility of being imaged. Accordingly, it is considered that the G-color interpolation value g33 in the R33 pixel is also preferably close to a signal level of 150. However, in the above-described conventional method, the interpolation value g33 is 99.51 as shown in the calculation result. Will be calculated.

ここで、ＮＴＳＣ（National Television Standards Committee）方式のテレビジョンにおいて、輝度信号Ｙは、０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂで表される。このように、一般的には、Ｇ信号は、他の色に比べて、輝度に対して大きな比重（０．５９）を占める。従って特に上記の例の様に、補間対象画素の上及び右に隣接するＧ２３及びＧ３４の信号レベルが１５０であるのに対し、補間色ｇ３３が９９．５１になることから、補間後の画像は頂点が暗く、エッジが丸い画像となってしまう。従って、この補間後の画像は、高周波成分の少ないぼやけた画像になってしまう問題がある。 Here, in the NTSC (National Television Standards Committee) television, the luminance signal Y is represented by 0.30 × R + 0.59 × G + 0.11 × B. As described above, in general, the G signal occupies a large specific gravity (0.59) with respect to luminance as compared with other colors. Therefore, as in the above example, while the signal level of G23 and G34 adjacent to the upper and right sides of the interpolation target pixel is 150, the interpolation color g33 is 99.51. The image is dark with vertices and rounded edges. Therefore, there is a problem that the image after the interpolation becomes a blurred image with few high frequency components.

更に、上記の例の場合、Ｒ３３の信号レベルが１５０であるのに対し、ｇ３３の信号レベルが９９．５１であることから、この画素だけは無彩色とならず赤味がついてしまう問題がある。 Further, in the case of the above example, the signal level of R33 is 150, whereas the signal level of g33 is 99.51, so that there is a problem that only this pixel is not achromatic but reddish. .

このような補間回路を有する撮像装置によれば、適切に画素値が補間されず、適切な画像を出力することができない問題がある。 According to the imaging apparatus having such an interpolation circuit, there is a problem that pixel values are not properly interpolated and an appropriate image cannot be output.

そこで本発明は、補間後の画像に高周波成分が多く含まれる補間回路を有する撮像装置を提供することを目的とする。 Therefore, an object of the present invention is to provide an imaging apparatus having an interpolation circuit in which a high-frequency component is included in a post-interpolation image.

上記課題を解決するために、本発明の特徴に係る撮像装置（１０）は、緑色（Ｇ）のフィルタを市松状に配列するとともに、赤色（Ｒ）のフィルタ及び青色（Ｂ）のフィルタをライン内では同一で、かつライン間では交互となるように配列されているフィルタを有する撮像素子（２０２）と、撮像素子から出力される信号に基づいて、ＢのフィルタまたはＲのフィルタに対応する補間対象画素において、Ｇの補間値を出力する補間回路を有し、補間回路は、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として水平方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、水平方向の左右の相関性の強さを示す水平相関係数Ｋ＿ＬＲを出力する水平相関検出回路（１０５）と、水平相関係数Ｋ＿ＬＲと、補間対象画素の左右に隣接する画素の信号値とに基づいて、補間対象画素における水平方向の相関性を示す水平補間値ＶＡＬ＿Ｈを出力する水平補間回路（１０１）と、補間対象画素の信号値と、補間対象画素と同色の画素であって、補間対象画素を中心として垂直方向に対称な位置にある少なくとも一対の画素の信号値とに基づいて、垂直方向の上下の相関性の強さを示す垂直相関係数Ｋ＿ＵＤを出力する垂直相関検出回路（１０６）と、垂直相関係数Ｋ＿ＵＤと、補間対象画素の上下に隣接する画素の信号値とに基づいて、補間対象画素における垂直方向の相関性を示す垂直補間値ＶＡＬ＿Ｖを出力する垂直補間回路（１０２）と、補間対象画素の上下及び左右に隣接する画素の信号値に基づいて、補間対象画素における水平方向または垂直方向の相関性の強さを示すＨＶ相関係数Ｋ＿ＨＶを出力するＨＶ相関検出回路（１０３）と、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖとに基づいて、ＨＶ相関係数Ｋ＿ＨＶで加重平均することにより、補間対象画素における信号値を出力する加重平均回路（１０４）と、を備える。水平相関検出回路が出力する前記水平相関係数Ｋ＿ＬＲは、補間対象画素と左方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第１の差分と、前記補間対象画素と右方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第２の差分について、前記第１の差分と前記第２の差分との差分が予め定められた水平相関閾値の範囲外の場合、前記第１の差分と前記第２の差分のうち差分の小さい方向に、前記補間対象画素と隣接する画素の信号値を前記水平補間値ＶＡＬ＿Ｈとするための係数である。垂直相関検出回路が出力する前記垂直相関係数Ｋ＿ＵＤは、補間対象画素と上方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第３の差分と、前記補間対象画素と下方向に位置する少なくとも１画素以上の同色の画素との信号レベルの第４の差分について、前記第３の差分と前記第４の差分との差分が予め定められた垂直相関閾値の範囲外の場合、前記第３の差分と前記第４の差分のうち差分の小さい方向に、補間対象画素と隣接する画素の信号値を前記垂直補間値ＶＡＬ＿Ｖとするための係数である。
In order to solve the above-described problems, an imaging apparatus (10) according to a feature of the present invention has a green (G) filter arranged in a checkered pattern, and a red (R) filter and a blue (B) filter. And an image sensor (202) having filters that are the same and alternately arranged between lines, and an interpolation corresponding to a B filter or an R filter based on a signal output from the image sensor The target pixel has an interpolation circuit that outputs an interpolation value of G, and the interpolation circuit is a pixel that is the same color as the signal value of the interpolation target pixel and is symmetrical in the horizontal direction about the interpolation target pixel. A horizontal correlation detection circuit (105) for outputting a horizontal correlation coefficient K_LR indicating the strength of left-right correlation in the horizontal direction based on signal values of at least a pair of pixels at different positions, and a horizontal correlation coefficient _LR and a horizontal interpolation circuit (101) that outputs a horizontal interpolation value VAL_H indicating a horizontal correlation in the interpolation target pixel based on the signal values of pixels adjacent to the left and right of the interpolation target pixel; Based on the signal value and the signal value of at least a pair of pixels that are the same color as the pixel to be interpolated and that are symmetrical about the pixel to be interpolated in the vertical direction, the strong correlation between the vertical direction and the vertical direction is strong. Based on the vertical correlation detection circuit (106) for outputting the vertical correlation coefficient K_UD indicating the length, the vertical correlation coefficient K_UD, and the signal values of pixels adjacent to the upper and lower sides of the interpolation target pixel. The vertical interpolation circuit (102) that outputs the vertical interpolation value VAL_V indicating the correlation between the interpolation target pixel and the signal value of the pixel adjacent to the top and bottom and left and right of the interpolation target pixel Weighted by the HV correlation coefficient K_HV based on the HV correlation detection circuit (103) that outputs the HV correlation coefficient K_HV indicating the strength of the correlation in the direction or the vertical direction, and the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V A weighted average circuit (104) that outputs a signal value in the interpolation target pixel by averaging. The horizontal correlation coefficient K_LR output by the horizontal correlation detection circuit includes a first difference in signal level between the interpolation target pixel and at least one pixel of the same color located in the left direction, and the interpolation target pixel and the right direction. When the difference between the first difference and the second difference is outside the predetermined horizontal correlation threshold range for the second difference in signal level with at least one pixel of the same color pixel located in This is a coefficient for setting the signal value of the pixel adjacent to the interpolation target pixel to the horizontal interpolation value VAL_H in the direction of smaller difference between the first difference and the second difference. The vertical correlation coefficient K_UD output from the vertical correlation detection circuit includes a third difference in signal level between the interpolation target pixel and at least one pixel of the same color positioned in the upward direction, and the interpolation target pixel and the downward direction. If the difference between the third difference and the fourth difference is outside a predetermined vertical correlation threshold range with respect to the fourth difference in signal level with at least one pixel of the same color pixel located in This is a coefficient for setting the signal value of the pixel adjacent to the interpolation target pixel to the vertical interpolation value VAL_V in the direction of smaller difference between the third difference and the fourth difference.

ここで、水平相関検出回路（１０５）が出力する水平相関係数Ｋ＿ＬＲは、第１の差分と第２の差分が水平相関閾値の範囲内の場合、第１の差分と第２の差分のうち、差分の小さい方向に重みを付ける係数である。この場合、水平補間回路（１０１）が出力する水平補間値ＶＡＬ＿Ｈは、補間対象画素に隣接する左右の画素のうち、差分の小さい方向の画素の信号値に重みが付加されて算出される。
Here, when the first difference and the second difference are within the range of the horizontal correlation threshold , the horizontal correlation coefficient K_LR output from the horizontal correlation detection circuit (105) is the first difference and the second difference. is a coefficient to weight the smaller direction of the difference. In this case, the horizontal interpolation value VAL_H output from the horizontal interpolation circuit (101) is calculated by adding a weight to the signal value of the pixel in the direction of small difference among the left and right pixels adjacent to the interpolation target pixel.

また、垂直相関検出回路（１０６）が出力する垂直相関係数Ｋ＿ＵＤは、第３の差分と第４の差分の差分が垂直相関閾値の範囲内の場合、第３の差分と第４の差分のうち、差分の小さい方向に重みを付ける係数である。この場合、垂直補間回路（１０２）が出力する垂直補間値ＶＡＬ＿Ｖは、補間対象画素に隣接する上下の画素うち、差分の小さい方向の画素の信号値に重みが付加されて算出される。 Also, the vertical correlation coefficient K_UD output from the vertical correlation detection circuit (106) is the difference between the third difference and the fourth difference when the difference between the third difference and the fourth difference is within the range of the vertical correlation threshold. among them, is a coefficient to weight the smaller direction of the difference. In this case, the vertical interpolation value VAL_V output by the vertical interpolation circuit (102) is calculated by adding a weight to the signal value of the pixel in the direction of small difference between the upper and lower pixels adjacent to the interpolation target pixel.

本発明によれば、補間後の画像に高周波成分が多く含まれる補間回路を有する構成としたので、高精細な補間画像信号を得ることができる撮像装置を提供することができる。 According to the present invention, since the interpolated image includes an interpolation circuit that includes a large amount of high-frequency components, it is possible to provide an imaging apparatus that can obtain a high-definition interpolated image signal.

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。 Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.

（実施の形態）
図１及び図２を参照して、本発明の実施の形態に係る補間回路１と、この補間回路１を有する撮像装置１０を説明する。撮像装置１０は、静止画を出力してもよいし、動画を出力してもよい。 (Embodiment)
With reference to FIG.1 and FIG.2, the interpolation circuit 1 which concerns on embodiment of this invention and the imaging device 10 which has this interpolation circuit 1 are demonstrated. The imaging device 10 may output a still image or a moving image.

本発明の実施の形態に係る撮像装置１０は、図２に示すように、レンズ２０１、撮像素子２０２、信号処理手段２０３、切り換え手段２０４及び記憶手段２０５を備えている。 As shown in FIG. 2, the imaging apparatus 10 according to the embodiment of the present invention includes a lens 201, an imaging element 202, a signal processing unit 203, a switching unit 204, and a storage unit 205.

レンズ２０１は、撮影対象物から発した光を撮像素子２０２の受光素子に結像させる。 The lens 201 forms an image of light emitted from the object to be photographed on the light receiving element of the image sensor 202.

撮像素子２０２は、一般的にＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等である。撮像素子２０２は、レンズ２０１によって受光素子に結像された像の光による明暗を、電荷の量に光電変換し、それを順次読み出して電気信号に変換する。このとき、受光素子の受光平面には、二次元的に複数の色フィルタが配置されている。この色フィルタは、いわゆるベイヤー配列のカラーフィルタである。具体的には、この色フィルタは、Ｒ（赤）、Ｇ（緑）及びＢ（青）の三色が、図６に示す様に格子状に設けられている。図６に示す色フィルタにおいては、Ｇのフィルタを市松状に配列するとともに、Ｒのフィルタ及びＢのフィルタをライン内では同一でライン間では交互となるように配列されている。信号処理手段２０３は、撮像素子２０２から、１画素につきＲＧＢのいずれか１色の信号のみ得られる。 The image sensor 202 is generally a CCD image sensor (Charge Coupled Device Image Sensor), a CMOS image sensor (Complementary Metal Oxide Semiconductor Image Sensor), or the like. The image sensor 202 photoelectrically converts light and darkness of the image formed on the light receiving element by the lens 201 into an amount of electric charge, and sequentially reads and converts it into an electric signal. At this time, a plurality of color filters are two-dimensionally arranged on the light receiving plane of the light receiving element. This color filter is a so-called Bayer color filter. Specifically, in this color filter, three colors of R (red), G (green), and B (blue) are provided in a lattice shape as shown in FIG. In the color filter shown in FIG. 6, the G filters are arranged in a checkered pattern, and the R filters and the B filters are arranged so as to be the same in the line and alternate between the lines. The signal processing means 203 can obtain only one of RGB signals for each pixel from the image sensor 202.

信号処理手段２０３は、撮像素子２０２から得られた信号について、ガンマ補正、輪郭強調、ノイズ除去の信号処理をする。この際、信号処理手段２０３の補間回路１は、撮像素子２０２から出力される信号に基づいて、ＢのフィルタまたはＲのフィルタに対応する補間対象画素において、Ｇの補間値を出力する。補間回路１によるＧの補間値の出力については、後に詳述する。 The signal processing unit 203 performs signal processing of gamma correction, contour enhancement, and noise removal on the signal obtained from the image sensor 202. At this time, the interpolation circuit 1 of the signal processing unit 203 outputs the G interpolation value in the interpolation target pixel corresponding to the B filter or the R filter based on the signal output from the image sensor 202. The output of the G interpolation value by the interpolation circuit 1 will be described in detail later.

信号処理手段２０３によって、撮像素子２０２からの信号が処理されると、処理された信号は、切り換え手段２０４及び記憶手段２０５に入力される。 When the signal processing unit 203 processes the signal from the image sensor 202, the processed signal is input to the switching unit 204 and the storage unit 205.

切り換え手段２０４は、信号処理手段２０３から出力された信号に基づいて画像を構成し、リアルタイムで表示装置等に出力する手段である。一方、記憶手段２０５は、信号処理手段２０３から出力された信号を蓄積するメモリである。記憶手段２０５に記憶された画像の信号データは、切り換え手段２０４によるコマンドにより、表示装置等に出力される。 The switching unit 204 is a unit that configures an image based on the signal output from the signal processing unit 203 and outputs the image to a display device or the like in real time. On the other hand, the storage means 205 is a memory for accumulating signals output from the signal processing means 203. The image signal data stored in the storage unit 205 is output to a display device or the like by a command from the switching unit 204.

図１に示すように、補間回路１は、水平補間回路１０１、垂直補間回路１０２、ＨＶ相関検出回路１０３、加重平均回路１０４、水平相関検出回路１０５及び垂直相関検出回路１０６を有している。以下、図８に示す補間対象画素Ｒ３３について、補間値ｇ３３を算出する場合について説明する。 As shown in FIG. 1, the interpolation circuit 1 includes a horizontal interpolation circuit 101, a vertical interpolation circuit 102, an HV correlation detection circuit 103, a weighted average circuit 104, a horizontal correlation detection circuit 105, and a vertical correlation detection circuit 106. Hereinafter, a case where the interpolation value g33 is calculated for the interpolation target pixel R33 illustrated in FIG. 8 will be described.

水平補間回路１０１は、水平相関係数Ｋ＿ＬＲと、補間対象画素の左右に隣接する画素の信号値に基づいて、補間対象画素における水平方向の相関性を示す水平補間値ＶＡＬ＿Ｈを出力する。水平補間値ＶＡＬ＿Ｈは、補間対象画素であるＲ３３において、水平方向の相関性が強いときに、好適な水平補間値である。 The horizontal interpolation circuit 101 outputs a horizontal interpolation value VAL_H indicating the horizontal correlation of the interpolation target pixel based on the horizontal correlation coefficient K_LR and the signal values of the pixels adjacent to the left and right of the interpolation target pixel. The horizontal interpolation value VAL_H is a suitable horizontal interpolation value when the horizontal correlation is strong in the interpolation target pixel R33.

水平補間回路１０１には、補間対象画素Ｒ３３の左に隣接する画素Ｇ３２の信号値と、補間対象画素素Ｒ３３の右に隣接する画素Ｇ３４の信号値と、水平相関検出回路１０５によって算出された水平相関係数Ｋ＿ＬＲが入力される。水平補間回路１０１によって算出された水平補間値ＶＡＬ＿Ｈは、加重平均回路１０４に出力される。 In the horizontal interpolation circuit 101, the signal value of the pixel G32 adjacent to the left of the interpolation target pixel R33, the signal value of the pixel G34 adjacent to the right of the interpolation target pixel element R33, and the horizontal correlation calculated by the horizontal correlation detection circuit 105 are displayed. A correlation coefficient K_LR is input. The horizontal interpolation value VAL_H calculated by the horizontal interpolation circuit 101 is output to the weighted average circuit 104.

ここで、水平補間値ＶＡＬ＿Ｈは、下記の（式１−１）によって算出される。 Here, the horizontal interpolation value VAL_H is calculated by the following (Equation 1-1).

ＶＡＬ＿Ｈ＝（１−Ｋ＿ＬＲ）×Ｇ３２＋Ｋ＿ＬＲ×Ｇ３４
・・・（式１−１）
上記（式１−１）から明らかな様に、水平相関係数Ｋ＿ＬＲが”０”から”１”と変化することに伴い、水平補間値ＶＡＬ＿Ｈは、”Ｇ３２”から”Ｇ３４”の範囲で変化する。具体的には、水平補間値ＶＡＬ＿Ｈは、式（１−２）に示すように、Ｇ３２及びＧ３４のうちの最小値から、Ｇ３２及びＧ３４のうちの最大値の値を取る。 VAL_H = (1−K_LR) × G32 + K_LR × G34
... (Formula 1-1)
As is clear from the above (Equation 1-1), as the horizontal correlation coefficient K_LR changes from “0” to “1”, the horizontal interpolation value VAL_H changes in the range of “G32” to “G34”. To do. Specifically, the horizontal interpolation value VAL_H takes the value of the maximum value of G32 and G34 from the minimum value of G32 and G34, as shown in Expression (1-2).

（Ｇ３２、Ｇ３４）ｍｉｎ ≦ ＶＡＬ＿Ｈ ≦ （Ｇ３２、Ｇ３４）ｍａｘ
・・・（式１−２）
水平相関検出回路１０５は、補間対象画素と、補間対象画素と同色の画素であって、補間対象画素を中心として水平方向に対称な少なくとも一対の画素の信号値に基づいて、水平方向の左右の相関性の強さを示す水平相関係数Ｋ＿ＬＲを出力する。ここで、水平相関検出回路１０５が出力する水平相関係数Ｋ＿ＬＲは、補間対象画素と左方向に位置する同色の画素との信号レベルの差分と、補間対象画素と右方向に位置する同色の画素との信号レベルの差分とを算出して、差分の小さい方に重みを付ける係数である。これにより、水平補間回路１０１が出力する水平補間値ＶＡＬ＿Ｈは、補間対象画素に隣接する左右の画素のうち、差分の小さい方向の画素の信号値に重みが付加されて算出される。 (G32, G34) min ≦ VAL_H ≦ (G32, G34) max
... (Formula 1-2)
The horizontal correlation detection circuit 105 is a pixel to be interpolated and a pixel having the same color as the pixel to be interpolated, and based on the signal values of at least a pair of pixels that are symmetrical in the horizontal direction around the pixel to be interpolated. A horizontal correlation coefficient K_LR indicating the strength of correlation is output. Here, the horizontal correlation coefficient K_LR output by the horizontal correlation detection circuit 105 includes the difference in signal level between the interpolation target pixel and the same color pixel located in the left direction, and the same color pixel located in the right direction from the interpolation target pixel. This is a coefficient for calculating the difference between the signal levels and weighting the smaller difference. As a result, the horizontal interpolation value VAL_H output from the horizontal interpolation circuit 101 is calculated by adding a weight to the signal value of the pixel in the direction of small difference among the left and right pixels adjacent to the interpolation target pixel.

水平相関検出回路１０５には、補間対象画素Ｒ３３の信号値と、補間対象画素Ｒ３３の左に隣接する画素Ｇ３２を挟んでＲ信号の画素Ｒ３１の信号値と、補間対象画素Ｒ３３の右に隣接する画素Ｇ３４を挟んでＲ信号の画素Ｒ３５の信号値が入力される。水平相関検出回路１０５によって算出された水平相関係数Ｋ＿ＬＲは、水平補間回路１０１に出力される。 The horizontal correlation detection circuit 105 is adjacent to the signal value of the interpolation target pixel R33, the signal value of the R signal pixel R31 across the pixel G32 adjacent to the left of the interpolation target pixel R33, and the right of the interpolation target pixel R33. The signal value of the R signal pixel R35 is input across the pixel G34. The horizontal correlation coefficient K_LR calculated by the horizontal correlation detection circuit 105 is output to the horizontal interpolation circuit 101.

ここで、水平相関係数Ｋ＿ＬＲは、下記の（式１−３）によって算出される。 Here, the horizontal correlation coefficient K_LR is calculated by the following (Equation 1-3).

Ｋ＿ＬＲ＝（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）／（２×Ｔｈ＿ＬＲ）＋０．５
・・・（式１−３）
但し、（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）＜−Ｔｈ＿ＬＲの場合、
Ｋ＿ＬＲ＝０
また、（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）＞Ｔｈ＿ＬＲの場合、
Ｋ＿ＬＲ＝１
上記（式１−３）において水平相関閾値Ｔｈ＿ＬＲは、予め定められる所定の閾値である。水平相関閾値Ｔｈ＿ＬＲは、被写体や撮影条件等に応じて任意に定められてもよい。 K_LR = (| R31−R33 | − | R33−R35 |) / (2 × Th_LR) +0.5
... (Formula 1-3)
However, if (| R31-R33 |-| R33-R35 |) <-Th_LR,
K_LR = 0
If (| R31-R33 |-| R33-R35 |)> Th_LR,
K_LR = 1
In the above (Equation 1-3), the horizontal correlation threshold Th_LR is a predetermined threshold. The horizontal correlation threshold Th_LR may be arbitrarily determined according to the subject, shooting conditions, and the like.

上記（式１−３）により算出することにより、｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜に対する水平相関係数Ｋ＿ＬＲの値は、図３のグラフで示される。 The value of the horizontal correlation coefficient K_LR with respect to | R31-R33 |-| R33-R35 | is calculated by the above (Equation 1-3), and is shown in the graph of FIG.

具体的には、｜Ｒ３１−Ｒ３３｜＜｜Ｒ３３−Ｒ３５｜の場合、補間対象画素Ｒ３３を中心に、右方向より左方向の相関性が強いと判断される。この場合、水平相関係数Ｋ＿ＬＲの値は小さくなる。ここで、｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜が、予め設定された水平相関閾値−Ｔｈ＿ＬＲより小さい場合、水平相関係数Ｋ＿ＬＲは、０になる。一方、｜Ｒ３１−Ｒ３３｜＞｜Ｒ３３−Ｒ３５｜の場合、補間対象画素Ｒ３３を中心に、左方向より右方向の相関性が強いと判断される。この場合、水平相関係数Ｋ＿ＬＲの値は大きくなる。ここで、｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜が、予め設定された水平相関閾値Ｔｈ＿ＬＲより大きい場合、水平相関係数Ｋ＿ＬＲは、１になる。 Specifically, in the case of | R31−R33 | <| R33−R35 |, it is determined that the correlation in the left direction is stronger than the right direction around the interpolation target pixel R33. In this case, the value of the horizontal correlation coefficient K_LR becomes small. Here, when | R31−R33 | − | R33−R35 | is smaller than a preset horizontal correlation threshold −Th_LR, the horizontal correlation coefficient K_LR is zero. On the other hand, in the case of | R31-R33 |> | R33-R35 |, it is determined that the correlation in the right direction is stronger than the left direction around the interpolation target pixel R33. In this case, the value of the horizontal correlation coefficient K_LR becomes large. Here, when | R31−R33 | − | R33−R35 | is greater than a preset horizontal correlation threshold Th_LR, the horizontal correlation coefficient K_LR is 1.

ここでは、補間対象画素と同じ色の左右の一対の画素を使って水平相関係数Ｋ＿ＬＲを算出したが、２対以上の画素を使用して算出してもよい。この場合、被写体や撮影条件等に応じて２対以上の画素から任意の画素対を選択的に使用して、水平相関係数Ｋ＿ＬＲを算出したり、あるいは、（式１−３）においてＲ３１の信号の代わりに、補間対象画素の左側にあるＲ３１を含む２個以上の画素の信号値の平均を代入し、逆に補間対象画素の右側にあるＲ３５を含む２個以上の画素の信号値の平均をＲ３５の信号値の代わりに代入して水平相関係数Ｋ＿ＬＲを算出してもよい。 Here, the horizontal correlation coefficient K_LR is calculated using a pair of left and right pixels of the same color as the interpolation target pixel, but may be calculated using two or more pairs of pixels. In this case, the horizontal correlation coefficient K_LR is calculated by selectively using an arbitrary pixel pair from two or more pixels according to the subject, shooting conditions, etc., or R31 in (Equation 1-3) Instead of the signal, the average of the signal values of two or more pixels including R31 on the left side of the interpolation target pixel is substituted, and conversely, the signal values of two or more pixels including R35 on the right side of the interpolation target pixel are calculated. The horizontal correlation coefficient K_LR may be calculated by substituting the average instead of the signal value of R35.

垂直補間回路１０２は、垂直相関係数Ｋ＿ＵＤと、補間対象画素の上下に隣接する画素の信号値に基づいて、補間対象画素における垂直方向の相関性を示す垂直補間値ＶＡＬ＿Ｖを出力する。垂直補間値ＶＡＬ＿Ｖは、補間対象画素であるＲ３３において、垂直方向の相関性が強いときに、好適な垂直補間値である。水平補間回路１０１と垂直補間回路１０２は、参照する画素が、補間対象画素に対して水平方向の画素か或いは垂直方向の画素かである点は異なるが、同様の処理を行う。 The vertical interpolation circuit 102 outputs a vertical interpolation value VAL_V indicating the correlation in the vertical direction of the interpolation target pixel based on the vertical correlation coefficient K_UD and the signal values of the pixels adjacent to the upper and lower sides of the interpolation target pixel. The vertical interpolation value VAL_V is a preferable vertical interpolation value when the correlation in the vertical direction is strong in R33, which is the interpolation target pixel. The horizontal interpolation circuit 101 and the vertical interpolation circuit 102 are different in that the pixel to be referenced is a pixel in the horizontal direction or a pixel in the vertical direction with respect to the interpolation target pixel, but performs the same processing.

垂直補間回路１０２には、補間対象画素Ｒ３３の上に隣接する画素Ｇ２３の信号値と、補間対象画素素Ｒ３３の下に隣接する画素Ｇ４３の信号値と、垂直相関検出回路１０６によって算出された垂直相関係数Ｋ＿ＵＤが入力される。垂直補間回路１０２によって算出された垂直補間値ＶＡＬ＿Ｖは、加重平均回路１０４に出力される。 In the vertical interpolation circuit 102, the signal value of the pixel G23 adjacent above the interpolation target pixel R33, the signal value of the pixel G43 adjacent below the interpolation target pixel element R33, and the vertical correlation calculated by the vertical correlation detection circuit 106 are displayed. A correlation coefficient K_UD is input. The vertical interpolation value VAL_V calculated by the vertical interpolation circuit 102 is output to the weighted average circuit 104.

ここで、垂直補間値ＶＡＬ＿Ｖは、下記の（式１−４）によって算出される。 Here, the vertical interpolation value VAL_V is calculated by the following (Equation 1-4).

ＶＡＬ＿Ｖ＝（１−Ｋ＿ＵＤ）×Ｇ２３＋Ｋ＿ＵＤ×Ｇ４３
・・・（式１−４）
上記（式１−４）から明らかな様に、垂直相関係数Ｋ＿ＵＤが”０”から”１”と変化することに伴い、垂直補間値ＶＡＬ＿Ｖは、”Ｇ２３”から”Ｇ４３”の範囲で変化する。具体的には、垂直補間値ＶＡＬ＿Ｖは、式（１−５）に示す様に、Ｇ２３及びＧ４３のうちの最小値から、Ｇ２３及びＧ４３のうちの最大値の値を取る。 VAL_V = (1−K_UD) × G23 + K_UD × G43
... (Formula 1-4)
As is clear from the above (Equation 1-4), the vertical interpolation value VAL_V changes in the range from “G23” to “G43” as the vertical correlation coefficient K_UD changes from “0” to “1”. To do. Specifically, the vertical interpolation value VAL_V takes the value of the maximum value of G23 and G43 from the minimum value of G23 and G43, as shown in Expression (1-5).

（Ｇ２３、Ｇ４３）ｍｉｎ ≦ ＶＡＬ＿Ｖ ≦ （Ｇ２３、Ｇ４３）ｍａｘ
・・・（式１−５）
垂直相関検出回路１０６は、補間対象画素と、補間対象画素と同色の画素であって、補間対象画素を中心として垂直方向に対称な少なくとも一対の画素の信号値に基づいて、垂直方向の上下の相関性の強さを示す垂直相関係数Ｋ＿ＵＤを出力する。ここで、垂直相関検出回路１０６が出力する垂直相関係数Ｋ＿ＵＤは、補間対象画素と上方向に位置する同色の画素との信号レベルの差分と、補間対象画素と下方向に位置する同色の画素との信号レベルの差分とを算出して、差分の小さい方に重みを付ける係数である。これにより、垂直補間回路１０２が出力する垂直補間値ＶＡＬ＿Ｖは、補間対象画素に隣接する上下の画素うち、差分の小さい方向の画素の信号値に重みが付加されて算出される。 (G23, G43) min ≦ VAL_V ≦ (G23, G43) max
... (Formula 1-5)
The vertical correlation detection circuit 106 is a pixel to be interpolated and a pixel having the same color as the pixel to be interpolated and based on the signal values of at least a pair of pixels symmetrical in the vertical direction around the pixel to be interpolated. A vertical correlation coefficient K_UD indicating the strength of correlation is output. Here, the vertical correlation coefficient K_UD output from the vertical correlation detection circuit 106 is the difference in signal level between the interpolation target pixel and the same color pixel located in the upward direction, and the same color pixel located downward from the interpolation target pixel. This is a coefficient for calculating the difference between the signal levels and weighting the smaller difference. Thus, the vertical interpolation value VAL_V output from the vertical interpolation circuit 102 is calculated by adding a weight to the signal value of the pixel in the direction of small difference between the upper and lower pixels adjacent to the interpolation target pixel.

垂直相関検出回路１０６には、補間対象画素Ｒ３３の信号値と、補間対象画素Ｒ３３の上に隣接する画素Ｇ２３を挟んでＲ信号の画素Ｒ１３の信号値と、補間対象画素Ｒ３３の下に隣接する画素Ｇ４３を挟んでＲ信号の画素Ｒ５３の信号値が入力される。垂直相関検出回路１０６によって算出された垂直相関係数Ｋ＿ＵＤは、垂直補間回路１０２に出力される。 The vertical correlation detection circuit 106 is adjacent to the signal value of the interpolation target pixel R33, the signal value of the R signal pixel R13 across the pixel G23 adjacent to the interpolation target pixel R33, and the interpolation target pixel R33. The signal value of the R signal pixel R53 is input across the pixel G43. The vertical correlation coefficient K_UD calculated by the vertical correlation detection circuit 106 is output to the vertical interpolation circuit 102.

ここで、垂直相関係数Ｋ＿ＵＤは、下記の（式１−６）によって算出される。 Here, the vertical correlation coefficient K_UD is calculated by the following (Equation 1-6).

Ｋ＿ＵＤ＝（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）／（２×Ｔｈ＿ＵＤ）＋０．５
・・・（式１−６）
但し、（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）＜−Ｔｈ＿ＵＤの場合、
Ｋ＿ＵＤ＝０
また、（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）＞Ｔｈ＿ＵＤの場合、
Ｋ＿ＵＤ＝１
上記（式１−６）において垂直相関閾値Ｔｈ＿ＵＤは、予め定められる所定の閾値であって、予め定められる。垂直相関閾値Ｔｈ＿ＵＤは、被写体や撮影条件等に応じて任意に定められてもよい。 K_UD = (| R13−R33 | − | R33−R53 |) / (2 × Th_UD) +0.5
... (Formula 1-6)
However, if (| R13-R33 |-| R33-R53 |) <-Th_UD,
K_UD = 0
If (| R13-R33 |-| R33-R53 |)> Th_UD,
K_UD = 1
In the above (Equation 1-6), the vertical correlation threshold Th_UD is a predetermined threshold that is determined in advance. The vertical correlation threshold Th_UD may be arbitrarily determined according to the subject, shooting conditions, and the like.

上記（式１−６）により算出することにより、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜に対する垂直相関係数Ｋ＿ＵＤの値は、図４のグラフで示される。 The value of the vertical correlation coefficient K_UD with respect to | R13-R33 |-| R33-R53 | is calculated by the above (formula 1-6) and is shown in the graph of FIG.

具体的には、｜Ｒ１３−Ｒ３３｜＜｜Ｒ３３−Ｒ５３｜の場合、補間対象画素Ｒ３３を中心に、下方向より上方向の相関性が強いと判断される。この場合、垂直相関係数Ｋ＿ＵＤの値は小さくなる。ここで、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜が、予め設定された垂直相関閾値−Ｔｈ＿ＵＤより小さい場合、垂直相関係数Ｋ＿ＵＤは、０になる。一方、｜Ｒ１３−Ｒ３３｜＞｜Ｒ３３−Ｒ５３｜の場合、補間対象画素Ｒ３３を中心に、上方向より下方向の相関性が強いと判断される。この場合、垂直相関係数Ｋ＿ＵＤの値は大きくなる。ここで、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜が、予め設定された垂直相関閾値Ｔｈ＿ＵＤより大きい場合、垂直相関係数Ｋ＿ＵＤは、１になる。 Specifically, in the case of | R13−R33 | <| R33−R53 |, it is determined that the correlation in the upward direction is stronger than the downward direction centering on the interpolation target pixel R33. In this case, the value of the vertical correlation coefficient K_UD is small. Here, when | R13−R33 | − | R33−R53 | is smaller than a preset vertical correlation threshold −Th_UD, the vertical correlation coefficient K_UD becomes zero. On the other hand, in the case of | R13-R33 |> | R33-R53 |, it is determined that the correlation in the downward direction is stronger than the upward direction with the interpolation target pixel R33 as the center. In this case, the value of the vertical correlation coefficient K_UD becomes large. Here, when | R13−R33 | − | R33−R53 | is larger than a preset vertical correlation threshold Th_UD, the vertical correlation coefficient K_UD becomes 1.

ここでは、補間対象画素と同じ色の上下の一対の画素を使って垂直相関係数Ｋ＿ＵＤを算出したが、２対以上の画素を使用して算出してもよい。この場合、被写体や撮影条件等に応じて２対以上の画素から任意の画素対を選択的に使用して、垂直相関係数Ｋ＿ＵＤを算出したり、あるいは、（式１−６）においてＲ１３の信号の代わりに、補間対象画素の上側にあるＲ１３を含む２個以上の画素の信号値の平均を代入し、逆に補間対象画素の下側にあるＲ５３を含む２個以上の画素の信号値の平均をＲ５３の信号値の代わりに代入して垂直相関係数Ｋ＿ＵＤを算出してもよい。 Here, the vertical correlation coefficient K_UD is calculated using a pair of upper and lower pixels of the same color as the interpolation target pixel, but may be calculated using two or more pairs of pixels. In this case, the vertical correlation coefficient K_UD is calculated by selectively using an arbitrary pixel pair from two or more pixels according to the subject, shooting conditions, or the like. Instead of the signal, the average of the signal values of two or more pixels including R13 above the interpolation target pixel is substituted, and conversely, the signal values of two or more pixels including R53 below the interpolation target pixel May be substituted for the signal value of R53 to calculate the vertical correlation coefficient K_UD.

ＨＶ相関検出回路１０３は、補間対象画素の上下及び左右の画素の信号値に基づいて、補間対象画素における水平方向または垂直方向の相関性の強さを示すＨＶ相関係数Ｋ＿ＨＶを出力する。具体的には、ＨＶ相関検出回路１０３は、（式１−７）により、水平軸における信号レベルの変化量Ｄｉｆ＿Ｈと、垂直軸における信号レベルの変化量Ｄｉｆ＿Ｖを算出する。これにより、補間対象画素の近傍において、水平軸及び垂直軸のそれぞれの相関性が判断される。 The HV correlation detection circuit 103 outputs an HV correlation coefficient K_HV indicating the strength of the horizontal or vertical correlation in the interpolation target pixel based on the signal values of the upper and lower and left and right pixels of the interpolation target pixel. Specifically, the HV correlation detection circuit 103 calculates the signal level change amount Dif_H on the horizontal axis and the signal level change amount Dif_V on the vertical axis by (Equation 1-7). As a result, the correlation between the horizontal axis and the vertical axis is determined in the vicinity of the interpolation target pixel.

Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜
・・・（式１−７）
ここで、Ｄｉｆ＿Ｈ＜Ｄｉｆ＿Ｖなら垂直方向より水平方向の相関性が強いと判定される。一方、Ｄｉｆ＿Ｈ＞Ｄｉｆ＿Ｖなら水平方向より垂直方向の相関性が強いと判定される。 Dif_H = | G32-G34 |
Dif_V = | G23-G43 |
... (Formula 1-7)
Here, if Dif_H <Dif_V, it is determined that the correlation in the horizontal direction is stronger than the vertical direction. On the other hand, if Dif_H> Dif_V, it is determined that the correlation in the vertical direction is stronger than the horizontal direction.

ＨＶ相関検出回路１０３は、更に、水平方向の相関性と垂直方向の相関性を示す係数であるＨＶ相関係数Ｋ＿ＨＶを算出する。ＨＶ相関係数Ｋ＿ＨＶは、下記の（式１−８）によって算出される。 The HV correlation detection circuit 103 further calculates an HV correlation coefficient K_HV that is a coefficient indicating the correlation in the horizontal direction and the correlation in the vertical direction. The HV correlation coefficient K_HV is calculated by the following (Equation 1-8).

Ｋ＿ＨＶ＝（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５
・・・（式１−８）
ここで、
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＜−Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝０
（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）＞Ｔｈ＿ＨＶの場合は、Ｋ＿ＨＶ＝１
このように算出することにより、Ｄｉｆ＿ＨとＤｉｆ＿Ｖとの差分に対するＨＶ相関係数Ｋ＿ＨＶの値は、図９のグラフで示される。 K_HV = (Dif_H−Dif_V) / (2 × Th_HV) +0.5
... (Formula 1-8)
here,
If (Dif_H-Dif_V) <-Th_HV, K_HV = 0
If (Dif_H-Dif_V)> Th_HV, K_HV = 1
By calculating in this way, the value of the HV correlation coefficient K_HV with respect to the difference between Dif_H and Dif_V is shown in the graph of FIG.

加重平均回路１０４は、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖに基づいて、ＨＶ相関係数Ｋ＿ＨＶで加重平均することにより、補間対象画素における信号値を出力する。加重平均回路１０４は、水平補間回路１０１から出力されたＶＡＬ＿Ｈ、垂直補間回路１０２から出力されたＶＡＬ＿Ｖ及びＨＶ相関検出回路１０３から出力されたＨＶ相関係数Ｋ＿ＨＶから、Ｒ３３画素におけるＧ色の補間色ｇ３３の値を算出する。補間色ｇ３３は、下記の（式１−９）によって算出される。 The weighted average circuit 104 outputs a signal value in the interpolation target pixel by performing weighted averaging with the HV correlation coefficient K_HV based on the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V. The weighted average circuit 104 uses the VAL_H output from the horizontal interpolation circuit 101, the VAL_V output from the vertical interpolation circuit 102, and the HV correlation coefficient K_HV output from the HV correlation detection circuit 103 to interpolate G color in the R33 pixel. The value of g33 is calculated. The interpolation color g33 is calculated by the following (Equation 1-9).

ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ
・・・（式１−９）
これにより、Ｒ３３画素の近傍において、水平方向の相関性が強ければ、水平方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｈ）が、補間色ｇ３３の値として算出される。一方、垂直方向の相関性が強ければ、垂直方向にのみＬＰＦ処理された補間値（ＶＡＬ＿Ｖ）が、補間色ｇ３３の値として算出される。また、水平方向の相関性と垂直方向の相関性が中間的であれば、その度合いに応じた加重平均結果が、補間色ｇ３３の値として算出される。 g33 = (1-K_HV) × VAL_H + K_HV × VAL_V
... (Formula 1-9)
As a result, if the correlation in the horizontal direction is strong in the vicinity of the R33 pixel, the interpolation value (VAL_H) subjected to LPF processing only in the horizontal direction is calculated as the value of the interpolation color g33. On the other hand, if the correlation in the vertical direction is strong, an interpolation value (VAL_V) subjected to LPF processing only in the vertical direction is calculated as the value of the interpolation color g33. If the correlation in the horizontal direction and the correlation in the vertical direction are intermediate, a weighted average result corresponding to the degree is calculated as the value of the interpolation color g33.

ここで、水平補間値ＶＡＬ＿Ｈ及び垂直補間値ＶＡＬ＿Ｖは、本発明に特有な水平相関検出回路１０５及び垂直相関検出回路１０６によってそれぞれ出力された水平相関係数Ｋ＿ＬＲ及び垂直相関係数Ｋ＿ＵＤを考慮して算出されている。 Here, the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V consider the horizontal correlation coefficient K_LR and the vertical correlation coefficient K_UD output by the horizontal correlation detection circuit 105 and the vertical correlation detection circuit 106, respectively, which are unique to the present invention. It has been calculated.

このように、本発明の実施の形態によれば、補間対象画素において、水平方向では左右どちらの方向に相関性が強いか、また垂直方向では上下どちらの方向に相関性が強いか、を判断することができる。これにより周囲の信号との関係を考慮した補間値を算出することができる。 As described above, according to the embodiment of the present invention, it is determined whether the pixel to be interpolated has a strong correlation in the horizontal direction in the horizontal direction or a strong correlation in the vertical direction in the vertical direction. can do. Thereby, an interpolation value can be calculated in consideration of the relationship with surrounding signals.

ここで図５を参照して、本発明の実施の形態に係る補間方法による補間例を説明する。図５は、従来の補間方法による補間例を説明した図１０に対応する図である。 Here, with reference to FIG. 5, an example of interpolation by the interpolation method according to the embodiment of the present invention will be described. FIG. 5 is a diagram corresponding to FIG. 10 illustrating an example of interpolation by a conventional interpolation method.

図５においては、水平補間値ＶＡＬ＿Ｈは、二重矢印で示されている。水平補間値ＶＡＬ＿Ｈは、補間対象画素Ｇ３３の左右の相関性の度合いに応じて、Ｇ３２の信号値からＧ３４の信号値までの値をとる。また、垂直補間値ＶＡＬ＿Ｖは、一重矢印で示されている。垂直補間値ＶＡＬ＿Ｖは、補間対象画素Ｒ３３の上下の相関性の度合いに応じて、Ｇ２３の信号値からＧ４３の信号値までの値をとる。 In FIG. 5, the horizontal interpolation value VAL_H is indicated by a double arrow. The horizontal interpolation value VAL_H takes a value from the G32 signal value to the G34 signal value according to the degree of left-right correlation of the interpolation target pixel G33. The vertical interpolation value VAL_V is indicated by a single arrow. The vertical interpolation value VAL_V takes a value from the signal value of G23 to the signal value of G43 according to the degree of correlation between the upper and lower sides of the interpolation target pixel R33.

また、Ｒ３３におけるＧ色の補間値ｇ３３は、補間対象画素Ｒ３３の水平垂直の相関性の度合いに応じて、水平補間値ＶＡＬ＿Ｈと垂直補間値ＶＡＬ＿Ｖの加重平均として算出される。従って、Ｇ色の補間値ｇ３３は、水平補間値ＶＡＬ＿Ｈの取りうる値の範囲と、垂直補間値ＶＡＬ＿Ｖの取りうる値の範囲との論理和の範囲である。これにより、補間対象画素と、補間対象画素に隣接する画素との信号レベル差が大きくなるように補間対象画素の補間値を出力することができる。従って、本発明の実施の形態によれば、高周波成分を含み、急峻な信号レベル差にも対応可能な補間後の画像信号を得ることができる。本実施の形態においては、加重平均回路１０４によって加重平均演算をすることで連続的に水平補間と垂直補間とを切り換えたが、ＨＶ相関閾値Ｔｈ＿ＨＶを０に近い小さな値にすることで、二値的な切り換えを行うことも可能であり、被写体や撮影条件等に応じて任意に定められてもよい。 The G color interpolation value g33 in R33 is calculated as a weighted average of the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V in accordance with the degree of horizontal and vertical correlation of the interpolation target pixel R33. Accordingly, the G-color interpolation value g33 is a logical sum range of a range of values that the horizontal interpolation value VAL_H can take and a range of values that the vertical interpolation value VAL_V can take. Thereby, the interpolation value of the interpolation target pixel can be output so that the signal level difference between the interpolation target pixel and the pixel adjacent to the interpolation target pixel becomes large. Therefore, according to the embodiment of the present invention, it is possible to obtain an interpolated image signal that includes a high-frequency component and can cope with a steep signal level difference. In this embodiment, the weighted average circuit 104 performs weighted average calculation to continuously switch between horizontal interpolation and vertical interpolation. However, by setting the HV correlation threshold Th_HV to a small value close to 0, binary Switching may be performed, and may be arbitrarily determined according to the subject, shooting conditions, and the like.

ここで、具体的な数値で説明する。図１１に、各画素の入力画素信号を示す。図１１における信号の色配列は、図８と同様である。図１１に示す例では、Ｒ３３画素を頂点として、右上に信号レベルの高い被写体が撮像されている状態を示している。 Here, specific numerical values will be described. FIG. 11 shows the input pixel signal of each pixel. The signal color arrangement in FIG. 11 is the same as in FIG. The example shown in FIG. 11 shows a state in which a subject with a high signal level is imaged on the upper right with the R33 pixel as a vertex.

まず、水平相関検出回路１０５によって、上記（式１−３）に従って水平相関係数Ｋ＿ＬＲが算出される。このとき、水平相関閾値Ｔｈ＿ＬＲを１００とすると、
Ｋ＿ＬＲ＝（｜Ｒ３１−Ｒ３３｜−｜Ｒ３３−Ｒ３５｜）／（２×Ｔｈ＿ＬＲ）＋０．５
＝（｜５０−１５０｜−｜１５０−１５０｜）／（２×１００）＋０．５
＝１．０
・・・（式２−１）
この結果、水平補間回路１０１により、（式１−１）に従って水平補間値ＶＡＬ＿Ｈが算出される。 First, the horizontal correlation coefficient K_LR is calculated by the horizontal correlation detection circuit 105 in accordance with the above (Equation 1-3). At this time, assuming that the horizontal correlation threshold Th_LR is 100,
K_LR = (| R31−R33 | − | R33−R35 |) / (2 × Th_LR) +0.5
= (| 50-150 |-| 150-150 |) / (2 × 100) +0.5
= 1.0
... (Formula 2-1)
As a result, the horizontal interpolation value VAL_H is calculated by the horizontal interpolation circuit 101 according to (Equation 1-1).

ＶＡＬ＿Ｈ＝（１−Ｋ＿ＬＲ）×Ｇ３２＋Ｋ＿ＬＲ×Ｇ３４
＝（１−１）×５０＋１×１５０
＝１５０
・・・（式２−２）
同様に、垂直相関検出回路１０６５によって、上記（式１−６）に従って垂直相関係数Ｋ＿ＵＤが算出される。このとき、垂直相関閾値Ｔｈ＿ＵＤを１００とすると、
Ｋ＿ＵＤ＝（｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜）／（２×Ｔｈ＿ＵＤ）＋０．５
＝（｜１５０−１５０｜−｜１５０−４６｜）／（２×１００）＋０．５
＝（−１０４）／（２×１００）＋０．５
ここで、｜Ｒ１３−Ｒ３３｜−｜Ｒ３３−Ｒ５３｜＝−１０４となり、−Ｔｈ＿ＵＤ＝−１００より小さくなることから、（式１−６）の条件式に従い、
Ｋ＿ＵＤ＝０
・・・（式２−３）
この結果、垂直補間回路１０２により、（式１−４）に従って垂直補間値ＶＡＬ＿Ｖが算出される。 VAL_H = (1−K_LR) × G32 + K_LR × G34
= (1-1) × 50 + 1 × 150
= 150
... (Formula 2-2)
Similarly, the vertical correlation coefficient K_UD is calculated by the vertical correlation detection circuit 1065 according to the above (Equation 1-6). At this time, assuming that the vertical correlation threshold Th_UD is 100,
K_UD = (| R13−R33 | − | R33−R53 |) / (2 × Th_UD) +0.5
= (| 150-150 |-| 150-46 |) / (2 × 100) +0.5
= (-104) / (2 × 100) +0.5
Here, | R13−R33 | − | R33−R53 | = −104, which is smaller than −Th_UD = −100. Therefore, according to the conditional expression (Expression 1-6),
K_UD = 0
... (Formula 2-3)
As a result, the vertical interpolation circuit 102 calculates the vertical interpolation value VAL_V according to (Equation 1-4).

ＶＡＬ＿Ｖ＝（１−Ｋ＿ＵＤ）×Ｇ２３＋Ｋ＿ＵＤ×Ｇ４３
＝（１−０）×１５０＋０×４８
＝１５０
・・・（式２−４）
上記（式２−２）及び（式２−４）によって水平補間値ＶＡＬ＿Ｈ及び垂直補間値ＶＡＬ＿Ｖが算出されると、ＨＶ相関検出回路１０３によって、上記（式１−７）に従って水平軸及び垂直軸のそれぞれの相関性が判断される。 VAL_V = (1−K_UD) × G23 + K_UD × G43
= (1-0) x 150 + 0 x 48
= 150
... (Formula 2-4)
When the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V are calculated by the above (Equation 2-2) and (Equation 2-4), the HV correlation detection circuit 103 causes the horizontal axis and the vertical axis according to the above (Equation 1-7). Each correlation is determined.

Ｄｉｆ＿Ｈ＝｜Ｇ３２−Ｇ３４｜
＝｜５０−１５０｜
＝１００
Ｄｉｆ＿Ｖ＝｜Ｇ２３−Ｇ４３｜
＝｜１５０−４８｜
＝１０２
・・・（式２−５）
従って、図１１に示す例の場合、補間対象画素において、垂直方向より水平方向の相関性がやや強いと判定される。このとき、水平相関閾値Ｔｈ＿ＬＲを１００とすると、ＨＶ相関係数Ｋ＿ＨＶは、
Ｋ＿ＨＶ＝（Ｄｉｆ＿Ｈ−Ｄｉｆ＿Ｖ）／（２×Ｔｈ＿ＨＶ）＋０．５
＝（１００−１０２）／（２×１００）＋０．５
＝０．４９
・・・（式２−６）
これにより、Ｒ３３画素におけるＧ色の補間値ｇ３３は、上記（式１−９）により、下記の様に算出される。 Dif_H = | G32-G34 |
= | 50-150 |
= 100
Dif_V = | G23-G43 |
= | 150-48 |
= 102
... (Formula 2-5)
Therefore, in the example illustrated in FIG. 11, it is determined that the correlation in the horizontal direction is slightly stronger than the vertical direction in the interpolation target pixel. At this time, assuming that the horizontal correlation threshold Th_LR is 100, the HV correlation coefficient K_HV is
K_HV = (Dif_H−Dif_V) / (2 × Th_HV) +0.5
= (100-102) / (2 × 100) +0.5
= 0.49
... (Formula 2-6)
As a result, the G-color interpolation value g33 in the R33 pixel is calculated as follows according to (Equation 1-9).

ｇ３３＝（１−Ｋ＿ＨＶ）×ＶＡＬ＿Ｈ＋Ｋ＿ＨＶ×ＶＡＬ＿Ｖ
＝（１−０．４９）×１５０＋０．４９×１５０
＝１５０
・・・（式２−７）
図１１に示す例の場合、補間対象画素であるＲ３３を頂点として、右上に信号レベルの高い被写体が撮像されている状態を示しており、Ｒ３３のＧ色の補間値ｇ３３も信号レベルが１５０に近いことが望ましいと考えられる。従来の方法によれば、ｇ３３は９９．５１となりエッジが丸い画像が生成されるところ、本発明の実施の形態に係る補間回路１によれば、信号レベル１５０を算出することができる。 g33 = (1-K_HV) × VAL_H + K_HV × VAL_V
= (1-0.49) x 150 + 0.49 x 150
= 150
... (Formula 2-7)
In the case of the example shown in FIG. 11, a state in which a subject with a high signal level is imaged on the upper right with R33 being an interpolation target pixel as a vertex is shown, and the G-color interpolation value g33 of R33 also has a signal level of 150. It is considered desirable to be close. According to the conventional method, g33 becomes 99.51 and an image with a rounded edge is generated. However, according to the interpolation circuit 1 according to the embodiment of the present invention, the signal level 150 can be calculated.

このように、本発明の実施の形態に係る撮像装置によれば、ＲまたはＢの色フィルタに対応する補間対象画素について、適切なＧ色の補間値を出力することができる。具体的には、撮像装置に係る補間回路は、補間対象画素の信号値と補間対象画素の水平方向及び垂直方向の同色の画素の信号値と比較することにより、水平方向において左右どちらの方向に相関性が強いか、また、垂直方向において上下どちらの方向に相関性が強いかを判断して、その結果を反映した補間値を出力することができる。これにより、被写体のエッジがシャープになり高周波成分を有する画像を出力することができる。更に、適切な補間値を出力することにより、他の色との信号値のバランスを崩すことなく、被写体の色を再現することができる。 As described above, according to the imaging apparatus according to the embodiment of the present invention, it is possible to output an appropriate G color interpolation value for the interpolation target pixel corresponding to the R or B color filter. Specifically, the interpolation circuit according to the imaging apparatus compares the signal value of the pixel to be interpolated with the signal value of the same color pixel in the horizontal direction and the vertical direction of the pixel to be interpolated. It is possible to determine whether the correlation is strong or whether the correlation is strong in the vertical direction in the vertical direction, and an interpolation value reflecting the result can be output. As a result, the edge of the subject becomes sharp and an image having a high frequency component can be output. Furthermore, by outputting an appropriate interpolation value, it is possible to reproduce the color of the subject without breaking the balance of the signal values with other colors.

（その他の実施の形態）
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 (Other embodiments)
It goes without saying that the present invention includes various embodiments not described herein. Therefore, the technical scope of the present invention is defined only by the invention specifying matters according to the scope of claims reasonable from the above description.

本発明の実施の形態に係る撮像装置の補間回路の回路ブロック図ある。3 is a circuit block diagram of an interpolation circuit of the imaging apparatus according to the embodiment of the present invention. FIG. 本発明の実施の形態に係る撮像装置を説明する図である。It is a figure explaining the imaging device concerning an embodiment of the invention. 本発明の実施の形態に係る補間回路において、水平相関係数の値を説明する図である。It is a figure explaining the value of a horizontal correlation coefficient in the interpolation circuit which concerns on embodiment of this invention. 本発明の実施の形態に係る補間回路において、垂直相関係数の値を説明する図である。It is a figure explaining the value of a vertical correlation coefficient in the interpolation circuit which concerns on embodiment of this invention. 本発明の実施の形態に係る補間回路において、補間対象画素の補間値を説明する図である。It is a figure explaining the interpolation value of an interpolation object pixel in the interpolation circuit which concerns on embodiment of this invention. 一般的な撮像装置の色フィルタを説明する図である。It is a figure explaining the color filter of a common imaging device. 従来の撮像装置の補間回路の回路ブロック図ある。It is a circuit block diagram of the interpolation circuit of the conventional imaging device. 一般的な撮像装置の色フィルタの画素及び信号値を説明する図である。It is a figure explaining the pixel and signal value of a color filter of a general imaging device. 本発明の実施の形態に係る補間回路、および従来の補間回路において、垂直相関係数の値を説明する図である。It is a figure explaining the value of a vertical correlation coefficient in the interpolation circuit which concerns on embodiment of this invention, and the conventional interpolation circuit. 従来の補間回路において、補間対象画素の補間値を説明する図である。It is a figure explaining the interpolation value of the interpolation object pixel in the conventional interpolation circuit. 各画素の信号値の一例を説明する図である。It is a figure explaining an example of the signal value of each pixel.

Explanation of symbols

１、９００補間回路
１０撮像装置
１０１、９０１水平補間回路
１０２、９０２垂直補間回路
１０３、９０３ＨＶ相関検出回路
１０４、９０４加重平均回路
１０５水平相関検出回路
１０６垂直相関検出回路
２０１レンズ
２０２撮像素子
２０３信号処理手段
２０４切り換え手段
２０５記憶手段 DESCRIPTION OF SYMBOLS 1,900 Interpolation circuit 10 Imaging device 101, 901 Horizontal interpolation circuit 102, 902 Vertical interpolation circuit 103, 903 HV correlation detection circuit 104, 904 Weighted average circuit 105 Horizontal correlation detection circuit 106 Vertical correlation detection circuit 201 Lens 202 Imaging element 203 Signal Processing means 204 Switching means 205 Storage means

Claims

The green (G) filter is arranged in a checkered pattern, and the red (R) filter and the blue (B) filter are the same in the line and alternately arranged between the lines. An imaging device having an imaging device and an interpolation circuit that outputs a G interpolation value in an interpolation target pixel corresponding to the B filter or the R filter based on a signal output from the imaging device,
Based on the signal value of the interpolation target pixel and the signal value of at least a pair of pixels that are pixels of the same color as the interpolation target pixel and that are symmetrical about the interpolation target pixel in the horizontal direction. A horizontal correlation detection circuit that outputs a horizontal correlation coefficient K_LR indicating the strength of left and right correlations of
A horizontal interpolation circuit that outputs a horizontal interpolation value VAL_H indicating a correlation in the horizontal direction of the interpolation target pixel based on the horizontal correlation coefficient K_LR and signal values of pixels adjacent to the left and right of the interpolation target pixel;
Based on the signal value of the interpolation target pixel and the signal value of at least a pair of pixels that are pixels of the same color as the interpolation target pixel and are symmetrical about the interpolation target pixel in the vertical direction. A vertical correlation detection circuit that outputs a vertical correlation coefficient K_UD indicating the strength of the upper and lower correlations of
A vertical interpolation circuit that outputs a vertical interpolation value VAL_V indicating the correlation in the vertical direction of the interpolation target pixel based on the vertical correlation coefficient K_UD and the signal values of pixels adjacent to the upper and lower sides of the interpolation target pixel;
An HV correlation detection circuit that outputs an HV correlation coefficient K_HV indicating the strength of correlation in the horizontal direction or the vertical direction of the interpolation target pixel based on signal values of pixels adjacent to the upper and lower sides and the left and right of the interpolation target pixel; ,
A weighted average circuit that outputs a signal value in the interpolation target pixel by performing weighted averaging with the HV correlation coefficient K_HV based on the horizontal interpolation value VAL_H and the vertical interpolation value VAL_V;
Equipped with a,
The horizontal correlation coefficient K_LR output by the horizontal correlation detection circuit includes a first difference in signal level between the interpolation target pixel and at least one pixel of the same color located in the left direction, and the interpolation target pixel. For a second difference in signal level with at least one pixel of the same color located in the right direction, the difference between the first difference and the second difference is outside a predetermined horizontal correlation threshold range. A coefficient for setting a signal value of a pixel adjacent to the interpolation target pixel to the horizontal interpolation value VAL_H in a direction in which the difference is smaller between the first difference and the second difference,
The vertical correlation coefficient K_UD output from the vertical correlation detection circuit includes a third difference in signal level between the interpolation target pixel and at least one pixel of the same color located in the upward direction, and the interpolation target pixel. For the fourth difference in signal level with at least one pixel of the same color located in the lower direction, the difference between the third difference and the fourth difference is outside the predetermined vertical correlation threshold range. In this case, the coefficient is used to set the signal value of the pixel adjacent to the interpolation target pixel to the vertical interpolation value VAL_V in the direction of smaller difference between the third difference and the fourth difference.
An imaging apparatus characterized by that.

The horizontal correlation coefficient K_LR output by the horizontal correlation detection circuit is obtained by calculating the first difference and the second difference when the first difference and the second difference are within the range of the horizontal correlation threshold. among them, a coefficient to weight the smaller direction of said difference,
The horizontal interpolation value VAL_H output by the horizontal interpolation circuit is calculated by adding a weight to the signal value of the pixel in the direction of small difference among the left and right pixels adjacent to the interpolation target pixel. The imaging device according to claim 1.

The vertical correlation coefficient K_UD output by the vertical correlation detection circuit is the third difference and the fourth difference when the difference between the third difference and the fourth difference is within the range of the vertical correlation threshold. of the difference, a coefficient to weight the smaller direction of said difference,
The vertical interpolation value VAL_V output by the vertical interpolation circuit is calculated by adding a weight to the signal value of the pixel in the direction of small difference among the upper and lower pixels adjacent to the interpolation target pixel. The imaging device according to claim 1 or 2.