WO2006048962A1 - 画素信号処理装置及び画素信号処理方法 - Google Patents

画素信号処理装置及び画素信号処理方法 Download PDF

Info

Publication number
WO2006048962A1
WO2006048962A1 PCT/JP2005/013454 JP2005013454W WO2006048962A1 WO 2006048962 A1 WO2006048962 A1 WO 2006048962A1 JP 2005013454 W JP2005013454 W JP 2005013454W WO 2006048962 A1 WO2006048962 A1 WO 2006048962A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
spectral sensitivity
pixel signal
sensitivity characteristic
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/013454
Other languages
English (en)
French (fr)
Inventor
Tetsuya Kuno
Junko Makita
Hiroaki Sugiura
Narihiro Matoba
Masashi Tamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to US10/582,501 priority Critical patent/US7554583B2/en
Publication of WO2006048962A1 publication Critical patent/WO2006048962A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to a pixel signal processing apparatus and method, and in particular, when each of pixels arranged on a two-dimensional plane does not have at least one color component value among a plurality of color component values,
  • the present invention relates to a pixel signal processing apparatus and method for obtaining a color image by generating color component values that the pixel does not have by interpolation.
  • Such pixel signal processing is performed by, for example, each of a plurality of color component values, for example, one color component value of three primary colors of red (R), green (G), and blue (B).
  • a plurality of types of photoelectric conversion elements that generate image data are used as a part of a color imaging apparatus that further includes, for example, an array of image sensors arranged in a two-dimensional plane on the basis of the output pixel signal. It is used to interpolate the color component values (shortage color component values) that are missing at each pixel position.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-197512 (paragraphs 0048 to 0049, FIG. 7)
  • This conventional method assumes that there is a positive correlation between each color component value (for example, R, G, B component values in a Bayer array) in a region near the interpolation target pixel. ing. Therefore, in areas where there is no positive correlation between color component values (for example, the boundary between one color and another), for example, when there is no correlation or where there is a negative correlation, interpolation is appropriate. There is a problem that interpolation error becomes large because the interpolation cannot be performed.
  • each color component value for example, R, G, B component values in a Bayer array
  • An object of the present invention is to provide a pixel signal processing apparatus that can always perform interpolation using an optimal interpolation method regardless of how color component values change in an area near a pixel subject to interpolation processing.
  • h (h is any one of 1 to N) 1) A pixel that generates a pixel signal having the spectral sensitivity characteristic k at the pixel position to be interpolated where the pixel signal having the spectral sensitivity characteristic 1 exists (k is one of 1 to N excluding h).
  • the pixel signal of the k-th spectral sensitivity characteristic at the interpolation target pixel position is obtained.
  • a pixel signal processing apparatus having
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus provided with a pixel signal processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is an explanatory diagram showing three primary color filters of R, G, and B arranged in a bay type.
  • FIG. 3 is a diagram showing the arrangement of R pixels on the imaging surface of an image sensor.
  • FIG. 4 is a diagram showing the arrangement of G pixels on the imaging surface of the image sensor.
  • FIG. 5 is a diagram showing the arrangement of B pixels on the imaging surface of the image sensor.
  • FIG. 6 is a diagram showing an LPF value of an R signal.
  • FIG. 7 is a diagram showing an LPF value of a G signal.
  • FIG. 8 is a diagram showing an LPF value of a B signal.
  • FIG. 9 is a diagram showing HPF values of R signals.
  • FIG. 10 is a diagram showing HPF values of G signals.
  • FIG. 11 is a diagram showing an HPF value of a B signal.
  • ⁇ 12 A block diagram showing the configuration of the computing means of the first embodiment.
  • FIG. 13 is an explanatory diagram schematically showing the principle of pixel interpolation according to the first embodiment when there is a positive correlation between the k signal and the h signal.
  • FIG. 14 is an explanatory diagram schematically showing the principle of pixel interpolation in the first embodiment when there is no correlation between the k signal and the h signal.
  • FIG. 15 is an explanatory diagram schematically showing the principle of pixel interpolation in the first embodiment when there is no correlation between the k signal and the h signal.
  • FIG. 16 is an explanatory diagram schematically showing the principle of pixel interpolation in the first embodiment when there is a negative correlation between the k signal and the h signal.
  • ⁇ 17] is a flowchart showing an interpolation procedure in the first and second embodiments of the present invention.
  • FIG. 18 is a diagram illustrating an array of G signals subjected to pixel interpolation at R pixel positions.
  • FIG. 19 is a diagram showing an array of G signals subjected to pixel interpolation at a B pixel position.
  • FIG. 20 is a diagram showing an array of R signals subjected to pixel interpolation at G pixel positions.
  • FIG. 21 is a diagram showing an array of B signals subjected to pixel interpolation at G pixel positions.
  • FIG. 22 is a diagram showing an array of R signals subjected to pixel interpolation at a B pixel position.
  • FIG. 23 is a diagram showing an array of B signals subjected to pixel interpolation at R pixel positions.
  • ⁇ 24 A block diagram showing the configuration of the computing means of the second embodiment.
  • FIG.25 Pixel interpolation source of Embodiment 2 when there is a positive correlation between k signal and h signal It is explanatory drawing which shows a theory typically.
  • FIG. 26 is an explanatory view schematically showing the principle of pixel interpolation in the second embodiment when there is no correlation between the k signal and the h signal.
  • FIG. 27 is an explanatory view schematically showing the principle of pixel interpolation in the second embodiment when there is no correlation between the k signal and the h signal.
  • FIG. 28 is an explanatory diagram schematically showing the principle of pixel interpolation in the second embodiment when there is a negative correlation between the k signal and the h signal.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus provided with the pixel signal processing apparatus according to Embodiment 1 of the present invention.
  • the light incident from the lens 1 forms an image on the imaging surface of the two-dimensional image sensor 2 composed of, for example, a solid-state imaging device.
  • the image sensor 2 has a plurality of photoelectric conversion elements arranged two-dimensionally, and the plurality of photoelectric conversion elements are arranged in a Bayer type, for example, as shown in FIG. , Red (R), green (G), and blue (B) are covered with color filters having spectral sensitivity characteristics corresponding to the three primary colors, and each photoelectric conversion element corresponds to the color of the color filter.
  • An analog signal of a color component is output.
  • horizontal and vertical represent the horizontal direction (H) and vertical direction (V) of the imaging surface, respectively.
  • the photoelectric conversion element constitutes a pixel, and the position occupied by each photoelectric conversion element on the imaging surface corresponds to the pixel position. Since each pixel is two-dimensionally arranged on the imaging surface of the image sensor, their position can be expressed by coordinate values on the HV coordinate plane (or HV plane).
  • Figure 2 shows only a part of the image sensor, that is, the range of 7 rows and 7 columns.
  • the horizontal position and vertical position of the center pixel, and thus the coordinate value is represented by (i, j).
  • the horizontal (row direction) position of the surrounding pixels is represented by i 3, i 2, "-i + 3, the position in the vertical direction (column direction) is represented by j 3, j 2, “+3”.
  • the pixel corresponding to the photoelectric conversion element covered with the R color filter is covered with the R pixel
  • the pixel corresponding to the photoelectric conversion element covered with the G color filter is covered with the G pixel
  • the B color filter is covered with A pixel corresponding to the photoelectric conversion element.
  • the image sensor 2 photoelectrically converts incident light and outputs an analog signal at a level corresponding to the amount of incident light for each pixel.
  • This analog signal is converted into a digital signal by the AZD converter 3 and output, and is written in the frame memory 4 as a color component value (pixel signal) of each pixel.
  • each signal is written in association with the position of each pixel on the imaging plane, and hence the position on the HV coordinate plane.
  • each of the photoelectric conversion elements constituting each pixel since each of the photoelectric conversion elements constituting each pixel is covered with a filter, it receives light of any one color of red, green, and blue.
  • the color of light received by each photoelectric conversion element is sometimes referred to as “light reception color”, and the color other than the light reception color for each pixel is sometimes referred to as “insufficient color”.
  • each pixel From each of the photoelectric conversion elements constituting each pixel, only a signal representing one color component value corresponding to the received light color can be obtained. That is, for the R pixel, the R component value is known, while the G and B component values are unknown, and for the G pixel, the G component value is known, while the B and R component values are unknown, For the B pixel, the B component value is known, while the R and G component values are unknown. Because each pixel has all the R, G, and B color component values, a powerful image can be obtained, so the unknown color component value written in frame memory 4 at each pixel position is insufficient. Also called component value. In the pixel signal processing of the present invention, an unknown color component value (insufficient color component value) is obtained by interpolation in each pixel.
  • the pixel signals stored in the frame memory 4 are distributed and stored in the two-dimensional memories 6r, 6g, and 6b for each of the R, G, and B signals by the demultiplexer 5. That is, the R signal is stored in the two-dimensional memory 6r, the G signal is stored in the two-dimensional memory 6g, and the B signal is stored in the two-dimensional memory 6b.
  • FIG. 3, FIG. 4, and FIG. 5 show the arrangement of R pixels, G pixels, and B pixels on the imaging surface of the image sensor 2 separately for each color. Also in each of the two-dimensional memories 6r, 6g, and 6b, the signal (color component value) of each pixel is written in association with the position on the imaging surface, and hence the position on the HV coordinate plane. Therefore, FIGS. 3, 4, and 5 also represent the positions on the HV coordinate plane of the pixel signals distributed from the demultiplexer 5 and stored.
  • the frame memory 4 is of a so-called interlaced readout method in which the image sensor 2 reads out one row at a time in two rows. This is necessary when reading must be performed.
  • the so-called progressive readout type image sensor 2 that sequentially reads out the pixels in the pixel array shown in FIG. 2 one by one sequentially, the pixel signal sent from the image sensor 2 is directly distributed by the demultiplexer 5. Therefore, the same operation can be realized without the frame memory 2.
  • the low-pass filters 8r, 8g, and 8b are provided corresponding to the memories 6r, 6g, and 6b, respectively, and low frequency of each color component with respect to the pixel signal read from the memories 6r, 6g, and 6b. Output the component. That is, each of the low-pass filters 8r, 8g, and 8b is a low-frequency filter for each pixel signal at a plurality of pixel positions in an area near the pixel position (an area including the pixel position). Calculate the components. The calculation method will be described in detail later.
  • Figures 6, 7, and 8 show output examples of the low-pass filters 8r, 8g, and 8b.
  • the high-pass filters 7r, 7g, and 7b are also provided corresponding to the memories 6r, 6g, and 6b, respectively, and each color component with respect to the pixel signals read from the memories 6r, 6g, and 6b.
  • the high frequency component of is output. That is, each of the high-pass filters 7r, 7g, and 7b calculates, for each pixel, a change component of the pixel signal of each color at a plurality of pixel positions in a region near the pixel position. The calculation method will be described in detail later.
  • Figures 9, 10, and 11 show output examples of high-pass filters 7r, 7g, and 8r. [0019] As shown in FIG. 6, FIG. 7, FIG. 8, FIG. 9, FIG. 10 and FIG.
  • the calculation means 10 is based on the pixel signals read from the two-dimensional memories 6r, 6g, 6b, the outputs of the low-pass filters 8r, 8g, 8b, and the outputs of the high-pass filters 7r, 7g, 7b. For each pixel, the difference between the low frequency components and the uncorrelated value are obtained, and further, the interpolation value is obtained.
  • the arithmetic means 10 has, as shown in FIG. 12, selection means 23k, 23h, 24k, 24h, 21, difference calculation means 25, 26, coefficient multiplication means 27, 28, addition means 29, And control means 30.
  • the selection unit 21 selects one of the two-dimensional memories 6r, 6g, and 6b, and supplies the pixel signal read from the selected two-dimensional memory 6r, 6g, and 6b to the addition unit 29 To do.
  • the selection means 23k receives the outputs RHPF, GHPF, and BHPF of the high-pass filters 7r, 7g, and 7c, selects one of these, and outputs it.
  • the selection means 23h receives the outputs RHPF, GHPF, BHPF of the high-pass filters 7r, 7g, 7c, and selects and outputs the other one of them.
  • the selection means 24k receives the output RLPF, GLPF, BLPF of the low-pass filters 8r, 8g, 8c, and selects one of these and outputs it.
  • the selection means 24h receives the output RLPF, GLPF, BLPF of the low-pass filters 8r, 8g, 8c, selects the other one of these and outputs it.
  • the selection by the selection means 21, 23k, 23h, 24k, 24h is controlled by the control means 30.
  • the selection means 21 selects the h-th color.
  • the two-dimensional memory storing the color component value of the color is selected, and the color component value of the h-th color of the pixel to be interpolated (for example, represented by h (i, j)) is read.
  • the k-th color high-pass filter output kHPF is selected, the selection means 23h selects the h-th color high-pass filter output hHPF, and the selection means 24k selects the k-th color low-pass filter output kLPF. Then, the selection means 24h selects the output hLPF of the h-th color low-pass filter.
  • the difference calculating means 25 is a difference between the k-th HPF signal kHPF and the h-th HPF signal hHPF (the former Subtract the latter from) to obtain (kHPF hHPF) as the uncorrelated value.
  • the difference calculating means 26 obtains a difference (kLPF ⁇ hLPF) between the k-th LPF signal kLPF and the h-th LPF signal hLPF (the former force minus the latter).
  • the coefficient multiplication unit 27 multiplies the output (kHPF—hHPF) of the difference calculation unit 25 by a predetermined constant q, and outputs a product q (kHPF—hHPF).
  • the coefficient multiplying unit 28 multiplies the output (kLPF—hLPF) of the difference calculating unit 26 by a predetermined constant r and outputs a product r (kLPF—hLPF).
  • the adding unit 29 includes a pixel value h output from the selecting unit 21, a value q (kHPF—hHPF) output from the coefficient multiplying unit 27, and a value r (kLPF—hLPF) output from the coefficient multiplying unit 28. And the sum
  • the output of the adding means 29 is used as the color component value (interpolation value) of the kth color of the interpolation target pixel.
  • the high-pass filters 7r, 7g, 7b and the selection means 23k, 23h use the pixel signals of the kth spectral sensitivity characteristics at a plurality of pixel positions in the vicinity of the interpolation target pixel position.
  • Change component generation means for generating a change component of the h-th spectral sensitivity characteristic pixel signal at a plurality of pixel positions in a region in the vicinity of the interpolation target pixel position.
  • the low-pass filters 8r, 8g, and 8b and the selection means 24k and 24h use the low frequency of the pixel signal of the kth spectral sensitivity characteristic at a plurality of pixel positions in the vicinity of the interpolation target pixel position.
  • Low-frequency component generation means for generating a component and a low-frequency component of a pixel signal having the h-th spectral sensitivity characteristic at a plurality of pixel positions in a region near the interpolation target pixel position Is configured.
  • the selecting means 21, the coefficient multiplying means 27, 28, and the adding means 29, the h-th color pixel signal at the pixel position to be interpolated, and the difference between the low frequency components (kLPF—hLPF) Interpolation value calculation means for obtaining a pixel signal (interpolation value) of the kth color at the interpolation target pixel position based on the non-correlation value (kHPF ⁇ hHPF) is configured. More specifically, the interpolation value calculation means calculates the pixel signal of one color (hth color) at the position of the interpolation target pixel and the decorrelation value (kHPF ⁇ hHPF) obtained by the difference calculation means 25.
  • the interpolation value calculated by the interpolation value calculation means is stored in, for example, a two-dimensional memory (any one of 6r, 6g, 6b) for the pixel signal of the kth color, or outputted from the output terminal 11. .
  • Fig. 4 shows an arrangement of G signals on the HV coordinate plane.
  • the G signal shown in the figure is a signal obtained through the G color filter originally placed on the image sensor 2, and the blank area is the other R and B color filters. This is where the G color signal is missing. It is necessary to interpolate the G signal at this missing location.
  • k (i, j) is a color signal that is missing at coordinates (i, j) on the image sensor 2 and is a color signal to be interpolated.
  • h (i, j) is a color signal existing in advance at a position of (i, j) (value is known).
  • kHPF and hHPF are HPF values calculated by a predetermined calculation for the k signal and h signal power at the positions (i, j) and the surrounding pixel positions, respectively.
  • kLP F and hLPF are LPF values calculated by different predetermined calculations for the k signal and h signal power at the position (i, j) and the surrounding pixel positions, respectively.
  • the HPF value is a true spatial high-frequency component estimated from a known pixel signal (image sensor output)
  • the LPF value is a true value estimated from a known pixel signal (image sensor output).
  • the spatial low-frequency component of The true value here refers to the value of a spatially continuous pixel signal that would be obtained when the pixel interval of the image sensor is infinitesimal and there is no photoelectric conversion error.
  • q and r are predetermined constants.
  • Curves d are the LPF values of the k and h signals, respectively, and curves e and f are the HPF values of the k and h signals, respectively.
  • Figure 13 shows the case where there is a positive correlation between the k signal and the h signal.
  • Figures 14 and 15 show the case where there is no correlation between the k signal and the h signal. The case where there is a negative correlation between the signal and the h signal is shown.
  • the difference between curves c and d at pixel position (i, j) is a value r (kLPF-hLPF) that is proportional to the difference in low-frequency components (kLPF-hLPF).
  • the difference between curves e and f at pixel position (i, j) is the decorrelation value (kHPF – hHPF).
  • the HPF values shown by curves e and f are overlapped because they are the same value when the changes of the k and h signals are similar, and the decorrelation value (kHPF-hHPF) is "0".
  • the k signal at the pixel position (i 1, j) and (i + 1, j) is used and the average value is set as the k signal at the pixel position (i, j).
  • the signal level interpolated by the non-linear method is indicated by white triangles ( ⁇ ) in FIG. 13.
  • ⁇ white triangles
  • the known value h (i, j) at the pixel position (i, j) is multiplied by the coefficient of the uncorrelated value (kHPF—hHPF) and the difference between the low frequency components (kLPF—hLPF).
  • kHPF—hHPF the coefficient of the uncorrelated value
  • kLPF—hLPF the difference between the low frequency components
  • the non-correlation value is approximately “0”, and the pixel position (i, j ) Is multiplied by the low-frequency component difference (kLPF — hLPF) multiplied by the coefficient!:
  • h (i, j) is added to the interpolated signal k (i, This interpolated signal k ( i, j) are indicated by white circles ( ⁇ ) in Fig. 13. It can be seen that pixel interpolation can be realized with high accuracy for the true value. Even when the correlation is large, pixel interpolation can be performed with high accuracy.
  • Figures 14 and 15 show the color signal level at each pixel and the position of each pixel on the image sensor 2.
  • the k signal is constant, and there is no correlation between changes in the k signal and the h signal.
  • the pixel-interpolated signal level is the signal level indicated by the white square mark (mouth) in FIG. It can be seen that the signal level indicated by the white square mark is a value at a position away from the true value of the k signal, so that an interpolation error has occurred. This is because the k signal to be interpolated at the pixel position (i, j) has no correlation with the reference h signal.
  • the h signal h (i, j) at the pixel position (i, j) is added to (kLPF—hLPF) multiplied by the coefficient r, and then (kHPF—hHPF ) Multiplied by factor q.
  • the interpolated signal level is positioned at a white circle ( ⁇ ), and is interpolated with high accuracy with respect to the true value of the k signal.
  • how much the signal change between the k signal and the h signal is not correlated is obtained as a value of (kHPF-hHPF). This is why (kHPF – hHPF) is called the “uncorrelated value”.
  • the difference between low frequency components (kLPF – hLPF) represents the degree of correlation, and the higher the degree of correlation, the closer to a certain value. Therefore, even if there is no correlation between the signals by multiplying both (kLPF-hLPF) and (kHPF-hHPF) by the respective coefficients!:, Q and adding to h (i, j) Pixel interpolation can be performed with high accuracy.
  • FIG. 15 shows another example in which the k signal changes, the h signal does not change, and there is no correlation between the two color signals, contrary to FIG. Interpolation using only the color correlation change by the method disclosed in Patent Document 1 (JP 2001-197512) adds the signal level of (kLPF-h LPF) to the signal of Mi, j). It corresponds to that.
  • the pixel-interpolated signal level is the signal level indicated by a white square mark (mouth) in FIG. It can be seen that the signal level indicated by the white square mark is a value at a position away from the true value of the k signal, causing an interpolation error.
  • the h signal h (i, j) at the pixel position (i, j) is added to (kLPF—hLPF) multiplied by the coefficient r, and then (kHPF—hHPF ) Multiplied by factor q. Since hHPF is “0”, (kH PF ⁇ hHPF) at the pixel position (i, j) is a positive value. Therefore, in the interpolation method according to the present embodiment, the interpolated signal level is positioned at a white circle ( ⁇ ), and is interpolated with high accuracy with respect to the true value of the k signal.
  • both values of (kLPF—hLPF) and (kHPF—hHPF) are coefficients for h (i, j)! : And q are added together to perform pixel interpolation with high accuracy even when there is no correlation between the signals shown in FIG.
  • FIG. 14 and FIG. 15 illustrate the case where there is no correlation between color signals.
  • Figure 16 shows the negative phase between the k and h signals. Indicates the case where there is a relationship.
  • Proportional to the uncorrelated value (kHPF—hHPF) of the difference ⁇ (a—c) between curve a and chain line c at pixel position (i, j) and the difference ⁇ (d—b) between curve d and curve b Is equal to the value q (kHPF -hHPF).
  • Pixel interpolation by the bilinear interpolation method is a signal level indicated by a white triangle ( ⁇ ), and an interpolation error occurs with respect to the true value as in FIG.
  • FIG. 17 shows a flowchart of the calculation procedure of the calculation means 10. As described in the flowchart, the calculation of the interpolation value includes the following six processes.
  • Step S1 Processing for obtaining a G signal (GonR) at the R pixel position.
  • Step S2 Processing for obtaining the G signal (GonB) at the B pixel position.
  • Step S3 Processing for obtaining the R signal (RonG) at the G pixel position.
  • Step S4 Processing for obtaining the B signal (BonG) at the G pixel position.
  • Step S5 Processing for obtaining the B signal (BonR) at the R pixel position.
  • Step S6 Processing for obtaining the R signal (RonB) at the B pixel position.
  • step S1 the calculation process of step S1 will be described.
  • Fig. 4 we focus on the coordinates (i, j) of the ⁇ (unknown value) pixel for which no G signal exists.
  • LPF value GL of G signal at coordinates (i, j) PF is calculated by the following equation (2), for example.
  • GLPF (i, j) [ ⁇ G (i-3, j) + G (i-1, j) + G (i + l, j) + G (i + 3, j) ⁇ / 4
  • the parentheses () of each signal mean the coordinates of the pixel.
  • GLPF (i + l, j) [ ⁇ G (i-3, j) / 8 + G (il, j) / 4 + G (i + l, j) / 4 + G (i + 3 , j) / 4 + G (i + 5, j) / 8 ⁇
  • the LPF value of the G signal can be calculated.
  • the calculation of the LPF value of the G signal is calculated by LPF8g in FIG.
  • GHPF (i, j) [ ⁇ -G (i-3, j) + G (i-1, j) + G (i + l, j) G (i + 3, j) ⁇ + ⁇ — G (i, j-3) + G (i, j-1) + G (i, j + 1) -G (i, j + 3) ⁇ ] / 2
  • GHPF (i + 1, j) G (i-3, j) / 4-G (il, j) + 2.5G (i + l, j) G (i + 3, j) -G ( i + 5, j) / 4 ⁇ + ⁇ -G (i + l, j-4) / 4-G (i + l, G 2) + 2.5G (i + l, j) -G (i + 1 , j + 2) -G (i + 1, j + 4) / 4 ⁇ ] / 2
  • the HPF value of the G signal can be calculated.
  • the calculation of the HPF value of the G signal is shown in Fig. 1. Calculated by HPF7g and input to computing means 10.
  • the LPF value and HPF value of the R signal are calculated by the following equations. First, in the j-th row where no R signal is present in any pixel, the values of the upper and lower powers are also calculated. The LPF value RLPF of the R signal at pixel coordinates (i, j) is calculated using the following equation (6).
  • RLPF (i, j) [[ ⁇ R (i-3, G 1) + R (i— 3, j + 1) ⁇ / 2 + ⁇ R (i— 1, j— 1) + R (i
  • the LPF value RLPF of the R signal at the coordinates (i + 1, j) is calculated by the following equation (7).
  • RLPF (i + 1, j) [[ ⁇ R (i— 1, j 1) + R (i— 1, j + 1) ⁇ / 2 + ⁇ R (i + 1, j 1) + R
  • the L signal L at the pixel position (i, j + 1) of the row where the R signal exists in advance for example, j + 1 row
  • PF value RLPF is calculated by the following formula (8).
  • RLPF (i, j + 1) [(R (i— 3, j + l) + R (i— 1, j + l) + R (i + l, j + l) + R (i +3, j + l) ⁇ / 4
  • the LPF value RLPF of the 1 ⁇ signal at the pixel position (i + 1,] + 1) of the row in which the R signal exists in advance, for example, j1 row is calculated by the following equation (9).
  • RLPF (i + 1, j + 1) ([R (i— 3, j + l) / 8 + R (i-l, j + l) / 4 + R (i + l, j + 1)
  • the LPF value of the R signal can be calculated.
  • the LPF value of the R signal is calculated by the LPF 8r shown in FIG.
  • HPF value RHPF of the R signal at the coordinates (i, j) is calculated by the following equation (10).
  • RHPF (i, j) [- ⁇ R (i-3, j— 1) + R (i— 3, j + 1) ⁇ / 2 + ⁇ R (i— 1, j— 1) + R (i
  • RHPF (i + 1, j) ⁇ R (i-3, j— 1) + R (i— 3, j + 1) ⁇ / 2 / 4- ⁇ R (i- 1, j— 1 ) + R (i-1, j + l) ⁇ / 2 + 2.5 ⁇ R (i + l, G 1) + R (i + 1, j + 1) ⁇ / 2- ⁇ R (i + 3, j -l) + R (i + 3, j + l) ⁇ / 2- ⁇ R (i + 5, jl) + R (i + 5, j + l) ⁇ / 2/4]
  • the H of the R signal at the pixel position (i, j + 1) in the row where the R signal exists in advance for example, j + 1 row.
  • PF value RHPF is calculated by the following formula (12).
  • RHPF (i, j + 1) [— (R (i— 3, j + l) + R (i— 1, j + l) + R (i + l, j + 1) — R ( i +
  • the HPF value RHPF is calculated by the following equation (13).
  • RHPF (i + l, j + l) [ ⁇ —R (i— 3, j + l) / 4— R (i— 1, j + l) + 2.5R (i + l, j + 1) -R (i + 3, j + 1) -R (i + 5, j + l) / 4 ⁇
  • the HPF value of the R signal can also be calculated.
  • the HP F value of the R signal is calculated by the HPF 7r in FIG.
  • the arrangement of the B pixels is the same as the arrangement of the R pixels except that the coordinate values are different. Therefore, similar to the R signal LPF and HPF calculation formulas shown in Eqs. (6) to (13), they can be calculated simply by changing their coordinates, and the detailed formulas are omitted.
  • the LPF value of the B signal is calculated by the LPF 8b shown in FIG.
  • the calculation of the HPF value of the B signal is calculated by the HPF 7b in FIG.
  • LPF and HPF calculation formulas shown above are merely examples of forces that are used to calculate values for use in formula (1).
  • they are used in LPF value calculation formulas and HPF value calculation formulas.
  • V other number of pixels and coefficients may be set appropriately depending on the size and resolution of the image!
  • step S1 the missing G signal at the R pixel position is calculated.
  • the G signal at the R pixel position is calculated by the following equation (14) according to equation (1). Since the R pixel exists at the position of (i + n, j + m) (n and m are odd numbers), the coordinate value is different from the equation (1).
  • G (i + n, j + m) (R (i + n, j + m) + q (GHPF (i + n, j + m) -RHPF (i + n, j + m)) ⁇ + r (GLPF (i + n, j + m) — RLPF (i + n, j + m))
  • GHPF, GLPF, RHPF, and RLPF shown in equation (14) are the HPL output and LPF value calculated from equations (2) to (13) described above.
  • Figure 18 shows two-dimensionally the G signal gr obtained as a result of interpolation using Eq. (14) at the corresponding R pixel position.
  • Step S2 interpolates the missing G signal at the B pixel position.
  • the G signal at the B pixel position is calculated by the following equation (15) according to equation (1). Since the B pixel exists at the position (i + s, j + t) (where s and t are even numbers), the coordinate value differs from equation (1).
  • G (i + s, j + t) (B (i + s, j + t) + q (GHPF (i + s, j + t) BHPF (i + s, j + t)) ⁇
  • FIG. 19 two-dimensionally shows the G signal gb obtained as a result of interpolation according to equation (15) at the corresponding B pixel position.
  • FIG. 19 also shows the result gr of the interpolation by equation (14).
  • the G signal at all pixel positions is obtained by interpolation of the G signal at the R pixel position according to equation (14) and interpolation of the G signal at the B pixel position according to equation (15).
  • Step S3 interpolates the missing R signal at the G pixel position.
  • the R signal at the G pixel position is calculated by the following equations (16) and (17) according to equation (1).
  • G pixel exists at (i + s, j + m) (s is even number, m is odd number) and (i + n, j + t) (n is odd number, t is even number).
  • the coordinate values are different from those in equation (1).
  • R (i + s, j + m) (G (i + s, j + m) + q (RHPF (i + s, j + m) — GHPF (i + s, j + m)) ⁇ + r (RLPF (i + s, j + m) — GLPF (i + s, j + m))
  • R (i + n, j + t) (G (i + n, j + t) + q (RHPF (i + n, j + t) -GHPF (i + n, j + t)) ⁇
  • FIG. 20 two-dimensionally shows the R signal rg obtained as a result of interpolation according to equations (16) and (17) at the corresponding G pixel position.
  • RLPF, RHPF, GLPF, and GHPF are also described above in equations (16) and (17).
  • the forces GLPF and GH PF which are the output values of LPF and HPF shown in equations (2) to (13), are newly calculated using the interpolation values gr and gb calculated in step S1 and step S2. May be.
  • the interpolation values gr and gb calculated by the calculation means 10 are once output to the two-dimensional memory 6g, temporarily stored and held, and then calculated again by the HPF 7g and LP F8g. It becomes.
  • Step S4 interpolates the missing B signal at the G pixel position!
  • the B signal at the position of the G pixel is calculated by the following equations (18) and (19) according to equation (1).
  • G pixel exists at (i + s, j + m) (s is even number, m is odd number) and (i + n, j + t) (n is odd number, t is even number).
  • the coordinate values are different from those in equation (1).
  • B (i + s, j + m) (G (i + s, j + m) + q (BHPF (i + s, j + m) —GHPF (i + s, j + m)) ⁇ + r (BLPF (i + s, j + m) -GLPF (i + s, j + m))
  • B (i + n, j + t) (G (i + n, j + t) + q (BHPF (i + n, j + t) -GHPF (i + n, j + t)) ⁇
  • FIG. 21 two-dimensionally shows the B signal bg obtained as a result of interpolation according to equations (18) and (19) at the corresponding G pixel position.
  • BLPF, BHPF, GLPF, and GHPF are the steps for the output GLPF and GHPF, which are the output values of LPF and HPF described above.
  • a new calculation may be performed using the interpolation values gr and gb calculated in S1 and step S2.
  • Step S5 interpolates the missing R signal at the B pixel position.
  • the R signal at the B pixel position is calculated by the following equation (20) according to equation (1). Since B pixel exists at the position of (i + s, j + t) (s and t are even numbers), the equation (
  • the coordinate value is different from 1).
  • R (i + s, j + t) (G (i + s, j + t) + q (RHPF (i + s, j + t) — GHPF (i + s, j + t)) ⁇
  • FIG. 22 two-dimensionally shows the R signal rb obtained as a result of interpolation according to equation (20) at the corresponding B pixel position.
  • FIG. 22 also shows the R signal rg obtained as a result of interpolation according to equations (16) and (17) at the corresponding G pixel position.
  • the R signals of all pixels are obtained.
  • RLPF, RHPF, GLPF, and GHPF are the output values of LPF and HPF described above.
  • the interpolation values gr and gb calculated in steps S1 and S2 are used. May be newly calculated.
  • RLPF and RHPF may be newly calculated using the interpolation value rg calculated in step S3.
  • Step S6 interpolates the missing B signal at the R pixel position.
  • the B signal at the R pixel position is calculated by the following equation (21) according to equation (1). Since the R pixel exists at the position (i + n, j + m) (where n and m are odd numbers), the coordinate value differs from that of Equation (1).
  • B (i + n, j + m) (G (i + n, j + m) + q (BHPF (i + n, j + m) -GHPF (i + n, j + m)) ⁇ + r (BLPF (i + n, j + m) -GLPF (i + n, j + m))
  • FIG. 23 two-dimensionally shows the B signal br obtained as a result of the interpolation according to the equation (21) at the corresponding R pixel position.
  • FIG. 23 also shows the G pixel positions corresponding to the B signals bg obtained as a result of interpolation according to equations (18) and (19).
  • the B signals of all pixels are obtained.
  • BLPF, BHPF, GLPF, and GHPF are the output values of LPF and HPF described above.
  • the interpolation values gr and gb calculated in steps S1 and S2 are used. May be newly calculated.
  • BLPF and BHPF may be newly calculated using the interpolation value bg calculated in step S4.
  • the color signals missing in each pixel are interpolated by the operations in steps S1 to S6, and R, G, and B signals for all pixels are obtained.
  • FIG. 24 shows the configuration of the computing means of the second embodiment.
  • the computing means shown in FIG. 24 is generally the same as the computing means of FIG. 12, but includes a ratio calculating means 32 instead of the difference calculating means 26, and an adding means 33 and a multiplying means instead of the adding means 29. It differs in having 34 combinations.
  • the ratio calculation means 32 obtains a ratio kLPFZhLP F between the output of the selection means 24k and the output of the selection means 24h.
  • the LPF 8r, 8g, 8b, the selection means 24k, 24h, and the ratio calculation means 32 the k-th spectral sensitivity at a plurality of pixel positions in the vicinity of the interpolation target pixel position.
  • the coefficient multiplication means 28 draws a predetermined coefficient!: On the output kLPFZhLPF of the ratio calculation means 32 and outputs the product r (kLPFZhLPF).
  • the adding means 33 adds the pixel value h output from the selecting means 21 and the value q (kHPF—hHPF) output from the coefficient multiplying means 27, and adds the sum.
  • the multiplying means 34 outputs the output of the adding means 33.
  • the output of the multiplication means 34 is used as the color component value (interpolation value) of the kth color of the interpolation target pixel.
  • the selection means 21, the coefficient multiplication means 27, 28, the addition means 33, and the multiplication means 34 the ratio of the pixel signal of the h-th color and the low frequency component at the interpolation target pixel position.
  • an interpolation value calculation means for obtaining a pixel signal (interpolation value) of the kth color at the interpolation target pixel position is configured. More specifically, this interpolation value calculation means calculates the pixel signal of one color (hth color) at the position of the interpolation target pixel and the decorrelation value (kHPF—hHPF) obtained by the difference calculation means 25.
  • the interpolation value calculated by the interpolation value calculation means is stored in, for example, a two-dimensional memory (any one of 6r, 6g, 6b) for the pixel signal of the kth color, or is output from the output terminal 11 .
  • Equation (22) k (i, j) is the missing color signal at the coordinates (i, j) on the image sensor 2 as in Equation (1). is there. Mi, j) is a color signal existing in advance at the position (i, j).
  • kHPF and hHPF are the HPF values calculated by a predetermined calculation for the pixel force around the (i, j) position of the k and h signals.
  • kLPF and hLPF are LPF values calculated by another predetermined calculation from pixels around the position of (i, j) of the k and h signals.
  • q and r are predetermined constants.
  • each signal level and the position of each pixel on the image sensor 2 are shown. To simplify the explanation, only one line of the image sensor 2 is shown, and the calculation is limited to one-dimensional direction. Described above is the arrangement of each color filter. H is h pixels, k is k pixels, and the parentheses () of each pixel are coordinates indicating the pixel position. Curve a is the true value of the k signal, and curve b is the true value of the h signal. On the curves a and b, the black circles ( ⁇ ) indicate the pixel signal values of the k and h signals output from the image sensor 2.
  • Curve d is the LPF value of k signal and h signal, respectively, and curve e , f are the HPF values of the k and h signals, respectively.
  • FIG. 25 shows the case where there is a positive correlation between the k signal and the h signal
  • FIGS. 26 and 27 show the case where there is no correlation between the k signal and the h signal
  • FIG. The case where there is a negative correlation between the signal and the h signal is shown.
  • the k signal at the pixel position (i 1, j) and (i + 1, j) is used and the average value is set as the k signal at the pixel position (i, j).
  • the signal level interpolated by the non-linear method is the force indicated by the white triangle ( ⁇ ) in Fig. 25.
  • the signal change is strong and correlated in the local region of the image. Therefore, the following equation (23) holds between the LPF value indicating a gradual change of the signal and each signal.
  • k (i, j): h (i, j) kLPF (i, j): hLPF (i, j)
  • equation (23) the signal of k (i, j) at (i, j) with h pixels can be expressed by the following equation (24).
  • k (i, j) h (i, j) X kLPF (i, j) / hLPF (i, j)
  • Equation (24) assumes that there is a strong correlation to signal changes in the local region of the image, and the above assumption is valid in most regions of the image. High-precision pixel interpolation is possible in a large area. However, as in the first embodiment, a pixel interpolation error occurs in a region having no correlation such as an edge of an image or a region having a negative correlation.
  • the ratio of the curves c and d at the pixel position (i, j) is kLPFZhLPF.
  • the difference between curves e and f at pixel position (i, j) is (kHPF – hHPF).
  • a known value h (i, j) force (kHPF—hHPF) multiplied by a coefficient q is added at a pixel position (i, j), and a coefficient r is added to kLPFZhLPF. Multiply what you multiplied.
  • the interpolated signal k (i, j) calculated by this method shown in Equation (22) is shown in Fig. 25 with white circles ( ⁇ ).
  • Pixel interpolation can be realized with high accuracy for the true value.
  • (kHPF-hHPF) is close to "0"
  • the LPF force is proportional to the ratio between the signals of the required changes.
  • the interpolation signal is calculated by multiplying the calculated value. This method enables accurate pixel interpolation when the correlation between color signals is large.
  • Equation (24) (kHPF (i, j) -hHPF (i, j)) is the difference between the signal components at the edge of the image, and there is a strong correlation at the edge with changes in the k and h signals.
  • FIG. 26 and FIG. 27 show the signal levels and the positions of the pixels on the image sensor 2. In the signals shown in Fig. 26 and Fig. 27, there is no correlation between changes in the k and h signals.
  • FIG. 27 shows another example in which the k signal changes, the h signal does not change, and there is no correlation between the two color signals.
  • the signal of h (i, j) is multiplied by the signal level ratio of kLPFZhLPF multiplied by the coefficient r.
  • the pixel-interpolated signal level is the signal level indicated by the white square mark (mouth) in FIG. Since the signal level indicated by the white square mark is a value at a position away from the true value of the k signal, it can be divided that an interpolation error has occurred.
  • h signal h (i, j) at pixel position (i, j) is multiplied by (kLPF-hLPF) multiplied by coefficient r, and Multiply by (kLPF / h LPF).
  • hHPF is “0”
  • (kH PF ⁇ hHPF) at the pixel position (i, j) is a positive value.
  • the interpolated signal level is positioned at a white circle ( ⁇ ), and is interpolated with high accuracy with respect to the true value of the k signal.
  • FIG. 26 and FIG. 27 illustrate the case where there is no correlation between color signals.
  • Figure 28 shows the case where there is a negative correlation between the k and h signals.
  • Pixel interpolation by the non-linear interpolation method is a signal level indicated by a white triangle ( ⁇ ), and an interpolation error occurs with respect to the true value as in FIG. If the correlation is negative, pixel interpolation using only the color correlation change according to Eq. (24) further increases the interpolation error as shown by the white square (mouth).
  • pixel interpolation can be realized with high accuracy as indicated by white circles ( ⁇ ).
  • the pixel interpolation calculation process is performed according to the flow chart procedure shown in FIG. When all of the six processes shown in the flowchart are complete, the pixel signals of the missing color are aligned at all the pixels at all the pixel positions on one screen.
  • step S1 the missing G signal at the R pixel position is calculated.
  • the G signal at the R pixel position is calculated by the following equation (25) according to equation (22). Since the R pixel exists at the position (i + n, j + m) (where n and m are odd numbers), the coordinate value differs from equation (22).
  • G (i + n, j + m) (R (i + n, j + m) + q (GHPF (i + n, j + m) — RHPF (i + n, j + m)) ⁇ Xr (GLPF (i + n, j + m) / RLPF (i + n, j + m))
  • Fig. 18 shows the result of interpolation by equation (25) at the corresponding R pixel position.
  • Step S2 interpolates the missing G signal at the B pixel position.
  • the G signal at the B pixel position is calculated by the following equation (26) according to equation (22). Since the B pixel exists at the position (i + s, j + t) (where s and t are even numbers), the coordinate value differs from equation (22).
  • G (i + s, j + t) (B (i + s, j + t) + q (GHPF (i + s, j + t) — BHPF (i + s, j + t)) ⁇
  • FIG. 19 shows the result of interpolation gb according to equation (26) at the corresponding B pixel position.
  • Fig. 19 also shows the result gr of the interpolation by equation (25).
  • the G signal at all pixel positions is obtained by interpolation of the G signal at the R pixel position according to equation (25) and interpolation of the G signal at the B pixel position according to equation (26).
  • Step S3 interpolates the missing R signal at the G pixel position.
  • the R signal at the G pixel position is calculated by the following equations (27) and (28) according to equation (22).
  • G pixel exists at (i + s, j + m) (s is even, m is odd) and (i + n, j + t) (n is odd, t is even). Accordingly, the coordinate values are different from those in Eq. (22).
  • R (i + s, j + m) (G (i + s, j + m) + q (RHPF (i + s, j + m) -GHPF (i + s, j + m)) ⁇ Xr (RLPF (i + s, j + m) / GLPF (i + s, j + m))
  • R (i + n, j + t) (G (i + n, j + t) + q (RHPF (i + n, j + t) -GHPF (i + n, j + t)) ⁇
  • FIG. 20 two-dimensionally shows the R signal rg obtained as a result of interpolation according to equations (27) and (28) at the corresponding G pixel position.
  • RLPF, RHPF, GLPF, and GHPF are the interpolation values gr calculated in steps S1 and S2 for the forces GLPF and GHPF that are the output values of LPF and HPF described above. You can use gb to make a new calculation.
  • Step S4 interpolates the missing B signal at the G pixel position.
  • the B signal at the position of the G pixel is calculated by the following equations (29) and (30) according to equation (22).
  • G pixel exists at (i + s, j + m) (s is even, m is odd) and (i + n, j + t) (n is odd, t is even). Accordingly, the coordinate values are different from those in Eq. (22).
  • B (i + s, j + m) (G (i + s, j + m) + q (BHPF (i + s, j + m) -GHPF (i + s, j + m)) ⁇ Xr (BLPF (i + s, j + m) / GLPF (i + s, j + m))
  • B (i + n, j + t) (G (i + n, j + t) + q (BHPF (i + n, j + t) -GHPF (i + n, j + t)) ⁇
  • Figure 21 corresponds to the B signal bg obtained as a result of interpolation using Equation (29) and Equation (30), respectively. It is shown two-dimensionally at the G pixel position.
  • BLPF, BHPF, GLPF, and GHPF are the step values for the forces GLPF and GHPF that are the output values of LPF and HPF described above.
  • a new calculation may be performed using the interpolation values gr and gb calculated in S1 and step S2.
  • Step S5 interpolates the missing R signal at the B pixel position.
  • the R signal at the B pixel position is calculated by the following equation (31) according to equation (22). Since the B pixel exists at the position (i + s, j + t) (where s and t are even numbers), the coordinate value differs from equation (22).
  • R (i + s, j + t) (G (i + s, j + t) + q (RHPF (i + s, j + t) — GHPF (i + s, j + t)) ⁇
  • FIG. 22 two-dimensionally shows the R signal rb obtained as a result of interpolation according to Equation (31) at the corresponding B pixel position.
  • FIG. 22 also shows the R signal rg obtained as a result of interpolation according to equations (27) and (28) at the corresponding G pixel position.
  • R signals of all pixels are obtained.
  • RLPF, RHPF, GLPF, and GHPF are the output values of LPF and HPF described above.
  • the interpolation values gr and gb calculated in steps S1 and S2 are used. May be newly calculated.
  • RLPF and RHPF may be newly calculated using the interpolation value rg calculated in step S3.
  • Step S6 interpolates the missing B signal at the R pixel position.
  • the B signal at the R pixel position is calculated by the following equation (32) according to equation (22). Since the R pixel exists at the position of (i + n, j + m) (n and m are odd numbers), the coordinate value is different from the equation (22).
  • B (i + n, j + m) (G (i + n, j + m) + q (BHPF (i + n, j + m) -GHPF (i + n, j + m)) ⁇ Xr (BLPF (i + n, j + m) / GLPF (i + n, j + m))
  • FIG. 23 two-dimensionally shows the B signal br obtained as a result of interpolation according to Equation (32) at the corresponding R pixel position.
  • Figure 23 also shows the result of interpolation according to equations (18) and (19).
  • the B signal bg is shown at the corresponding G pixel position.
  • B signals of all pixels are obtained.
  • BLPF, BHPF, GLPF, and GHPF are the output values of LPF and HPF described above.
  • the interpolation values gr and gb calculated in steps S1 and S2 are used. May be newly calculated.
  • BLPF and BHPF may be newly calculated using the interpolation value bg calculated in step S4.
  • the order of generating the signals of the respective colors is not limited to the order shown in FIG. 17, and the order of generating the signals may be changed.
  • step S1 and step S2, step S3 and step S4, and step S5 and step S6 can be interchanged.
  • Embodiments 1 and 2 the arithmetic expression for performing two-dimensional filtering on LPF and HPF has been described.
  • the correlation of the output signal around the interpolation target pixel is determined, and the correlation is determined.
  • the output value of HPF and LPF may be used only with the output signals of pixels arranged in the direction determined to be strong.
  • HPF 7r, 7g, 7b, LPF 8r, 8g, 8b and the computing means 10 described in the first and second embodiments can be realized at least partially by software, that is, by a programmed computer. it can.
  • the pixel signal processing apparatus according to the present invention has been described above, the pixel signal processing method clarified by the description of these apparatuses also forms part of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

　２次元平面上に配列され、各々が複数の数の分光感度特性のうちの１つを有する画素信号の組に基づき、第ｈの分光感度特性の画素信号が存在する補間対象画素位置における第ｋの分光感度特性の画素信号を生成する場合に、補間対象画素位置の近傍における第ｋ及び第ｈの分光感度特性の画素信号相互間の相関の程度に対応した低周波数成分の差を算出し（８ｒ、８ｇ、８ｂ、２４ｋ、２４ｈ、２６）、補間対象画素位置の近傍の領域内における第ｋ及び第ｈの分光感度特性の画素信号相互間の非相関の程度に対応した非相関値を算出し（７ｒ、７ｇ、７ｂ、２３ｋ、２３ｈ、２５）と、算出された差と、非相関値とを用いて補間対象画素位置における第ｋの分光感度特性の画素信号を求める（２７，２８、２９）。色成分値相互間の相関関係が種々異なっていても、正確に補間を行うことができる。

Description

画素信号処理装置及び画素信号処理方法
技術分野
[0001] 本発明は、画素信号処理装置及び方法に関し、特に 2次元平面上に配列された画 素の各々が複数の色成分値のうちの少なくとも一つの色成分値を有していないとき、 その画素が有していない色成分値を補間により生成することでカラー画像を得る画 素信号処理装置及び方法に関するものである。
背景技術
[0002] このような画素信号処理は、例えば、各々が複数の色成分値、例えば赤 (R)、緑（ G)、青 (B)の 3原色のうちの 、ずれか一つの色成分値を発生する複数種類の光電 変換素子が 2次元平面上に、例えばべィャ型に配列された撮像素子をさらに備える カラー撮像装置の一部として用いられ、撮像素子力も出力された画素信号に基き、 各画素位置にぉ 、て欠落して 、る色成分値 (不足色成分値)を補間するために用い られる。
[0003] 従来の、赤、緑、青のカラーフィルタがべィャ型に配置された撮像素子を有する撮 像装置では、各々の画素につき、 G、 Bまたは B、 Rまたは R、 Gの色成分値が不足し ており、例えば下記の特許文献 1に示されるように、解像感を高めるために、色毎の 局所的な画素信号の分布に基づいて各画素の画素信号を平均値で置き換え、これ によって想定される既知色幾何学図形と不足色幾何学図形の線形相似比に基づく 補間方法を用いている。
特許文献 1 :特開 2001— 197512公報（段落 0048〜0049、図 7)
発明の開示
発明が解決しょうとする課題
[0004] この従来の方法は、補間処理対象画素の近傍の領域内において、それぞれの色 成分値 (例えば、ベィャ型配列における R、 G、 B成分値）間に正の相関があると仮定 している。そのため、色成分値相互間に正の相関がない領域 (例えばある色と別の色 との境界など）、例えば相関がない場合や、負の相関がある領域では、補間を適切に 行うことができず、補間誤差が大きくなるという問題があった。
本発明は、補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘ら ず常に最適の補間方法で補間を行うことができる画素信号処理装置を提供すること を目的とする。
課題を解決するための手段
[0005] この発明は、
2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 h (hは 1から Nのうちのいずれか一つ） の分光感度特性の画素信号が存在する補間対象画素位置における第 k (kは hを除 く 1から Nのうちの 、ずれか一つ）の分光感度特性の画素信号を生成する画素信号 処理装置において、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第 kの 分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領 域内の複数の画素位置における、上記第 hの分光感度特性の画素信号の低周波数 成分との差を算出する差算出手段と、
上記補間対象画素位置の近傍の領域内における上記第 kの分光感度特性の画素 信号と上記第 hの分光感度特性の画素信号との非相関の程度に対応した非相関値 を算出する非相関値算出手段と、
上記補間対象画素位置における上記第 hの分光感度特性の画素信号と、上記差と 、上記非相関値とに基づいて、上記補間対象画素位置における上記第 kの分光感 度特性の画素信号を求める補間値算出手段と
を有する画素信号処理装置を提供する。
発明の効果
[0006] この発明によれば、補間対象の画素が色の境界付近にある場合など、色成分値相 互間の相関関係が種々異なっていても、正確に補間を行うことができる。
図面の簡単な説明
[0007] [図 1]この発明の実施の形態 1の画素信号処理装置を備えた撮像装置の構成を示す ブロック図である。 [図 2]べィャ型に配置された R、 G、 Bの 3原色の色フィルタを示す説明図である。
[図 3]イメージセンサの撮像面上における、 R画素の配置を示す図である。
[図 4]イメージセンサの撮像面上における、 G画素の配置を示す図である。
[図 5]イメージセンサの撮像面上における、 B画素の配置を示す図である。
[図 6]R信号の LPF値を示す図である。
[図 7]G信号の LPF値を示す図である。
[図 8]B信号の LPF値を示す図である。
[図 9]R信号の HPF値を示す図である。
[図 10]G信号の HPF値を示す図である。
[図 11]B信号の HPF値を示す図である。
圆 12]実施の形態 1の演算手段の構成を示すブロック図である。
圆 13]k信号と h信号の間に正の相関がある場合の、実施の形態 1の画素補間の原 理を模式的に示す説明図である。
圆 14]k信号と h信号の間に相関がない場合の、実施の形態 1の画素補間の原理を 模式的に示す説明図である。
圆 15]k信号と h信号の間に相関がない場合の、実施の形態 1の画素補間の原理を 模式的に示す説明図である。
圆 16]k信号と h信号の間に負の相関がある場合の、実施の形態 1の画素補間の原 理を模式的に示す説明図である。
圆 17]この発明の実施の形態 1、 2における補間手順を示すフローチャートである。
[図 18]R画素位置における画素補間した G信号の配列を示す図である。
[図 19]B画素位置における画素補間した G信号の配列を示す図である。
[図 20]G画素位置における画素補間した R信号の配列を示す図である。
[図 21]G画素位置における画素補間した B信号の配列を示す図である。
[図 22]B画素位置における画素補間した R信号の配列を示す図である。
[図 23]R画素位置における画素補間した B信号の配列を示す図である。
圆 24]実施の形態 2の演算手段の構成を示すブロック図である。
[図 25]k信号と h信号の間に正の相関がある場合の、実施の形態 2の画素補間の原 理を模式的に示す説明図である。
[図 26]k信号と h信号の間に相関がない場合の、実施の形態 2の画素補間の原理を 模式的に示す説明図である。
[図 27]k信号と h信号の間に相関がない場合の、実施の形態 2の画素補間の原理を 模式的に示す説明図である。
[図 28]k信号と h信号の間に負の相関がある場合の、実施の形態 2の画素補間の原 理を模式的に示す説明図である。
符号の説明
[0008] 1 レンズ、 2 イメージセンサ、 3 AZD変換器、 4 フレームメモリ、 5 デマ ルチプレクサ、 6r R信号用 2次元メモリ、 6g G信号用 2次元メモリ、 6b B信号 用 2次元メモリ、 7r R信号用 HPF、 8r R信号用 LPF、 7g G信号用 HPF、 8 g G信号用 LPF、 7b B信号用 HPF、 8b B信号用 LPF、 10 演算手段、 11 出力端子、 21、 23h、 23k、 24h、 24k 選択手段、 25、 26 差計算手段、 27 、 28 係数乗算手段、 29 加算手段、 30 制御手段、 32 比計算手段、 33 加算手段、 34 乗算手段。
発明を実施するための最良の形態
[0009] 以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形 態は、デジタルスチルカメラの一部として用いるのに適したものである力 本発明はこ れに限定されない。
[0010] 実施の形態 1.
図 1はこの発明の実施の形態 1の画素信号処理装置を備えた撮像装置の構成を表 すブロック図である。
レンズ 1から入射した光は、例えば固体撮像素子で構成される 2次元イメージセン サ 2の撮像面に結像する。イメージセンサ 2は、 2次元的に配列された複数の光電変 換素子を有し、この複数の光電変換素子は、例えば図 2に示すように、べィャ (Baye r)型に配置された、赤 (R)、緑 (G)、青 (B)の 3原色に対応する分光感度特性を有す るカラーフィルタで覆われており、各光電変換素子からは、カラーフィルタの色に対応 した色成分のアナログ信号が出力される。 [0011] 図 2において、横、縦はそれぞれ撮像面の水平方向（H)、垂直方向（V)を表す。 光電変換素子は画素を構成し、撮像面上で各光電変換素子が占める位置が画素位 置に対応する。各画素は、撮像素子の撮像面上に 2次元的に配列されているので、 それらの位置は、 HV座標面（または HV面）上の座標値で表すことができる。図 2は イメージセンサの一部のみ、即ち 7行 7列の範囲を示す。中心の画素の水平方向位 置お、垂直方向位置 、従って座標値を (i, j)で表し、その周囲の画素の水平方向 (行方向）の位置を、 i 3, i 2、 "-i+ 3を、垂直方向（列方向）の位置を、 j 3、 j 2、 " + 3で表している。
また以下の説明で、 Rのカラーフィルタで覆われた光電変換素子に対応した画素を R画素、 Gのカラーフィルタで覆われた光電変換素子に対応した画素を G画素、 Bの カラーフィルタで覆われた光電変換素子に対応した画素を B画素と呼ぶ。
[0012] イメージセンサ 2は入射光を光電変換し入射光量に応じたレベルのアナログ信号を 画素ごとに出力する。このアナログ信号は AZD変換器 3でデジタル信号に変換され 、出力され、各画素の持つ色成分値 (画素信号）として、フレームメモリ 4に書き込ま れる。この際、各信号は、各画素の、撮像面上での位置、従って HV座標面上での位 置に対応づけて書き込まれる。
[0013] 上記のように、各画素を構成する光電変換素子の各々は、フィルタにより覆われて いるので、赤、緑、青のいずれか 1つの色の光を受光する。各光電変換素子で受光 する光の色を「受光色」と、各画素について受光色以外の色を「不足色」ということが ある。
各画素を構成する光電変換素子の各々からは、受光色に対応する一つの色成分 値を表す信号しか得られない。即ち、 R画素については、 R成分値が既知である一方 、 G及び B成分値が未知であり、 G画素については、 G成分値が既知である一方、 B 及び R成分値が未知であり、 B画素については、 B成分値が既知である一方、 R及び G成分値が未知である。各画素について、 R、 G、 B全ての色成分値を持つことで、力 ラー画像を得ることができるので、フレームメモリ 4に書き込まれている、各画素位置 における未知の色成分値は不足色成分値とも言われる。本発明の画素信号処理は 、各画素において未知である色成分値 (不足色成分値)を補間により求めるものであ る。
[0014] フレームメモリ 4に記憶された画素信号は、デマルチプレクサ 5で R、 G、 B信号ごと に 2次元メモリ 6r、 6g、 6bに分配され、記憶される。即ち R信号が 2次元メモリ 6rに、 G 信号が 2次元メモリ 6gに、 B信号が 2次元メモリ 6bにそれぞれ記憶される。
[0015] 図 3、図 4、図 5はそれぞれ、イメージセンサ 2の撮像面上における、 R画素、 G画素 、 B画素の配置を色毎に別々に示す。 2次元メモリ 6r、 6g、 6bの各々においても、各 画素の信号 (色成分値）は、撮像面上での位置、従って HV座標面上での位置に対 応付けて書き込まれる。したがって、図 3、図 4、図 5は、デマルチプレクサ 5から分配 され、記憶された画素信号の、 HV座標面上での位置を表すものでもある。
[0016] なお、フレームメモリ 4はイメージセンサ 2が 2行に 1行ずつ読み出しを行ういわゆる インターレース読み出し方式のものであり、 1枚 (フレーム）の画素信号がすべて揃う ために 2度の（2フィールドの）読み出しを行わなければならない場合に必要である。 図 2に示した画素配列における画素を上力 順次 1行ずつ読み出すいわゆるプログ レツシブ読み出し方式のイメージセンサ 2の場合には、イメージセンサ 2から送られて きた画素の信号をそのままデマルチプレクサ 5で振り分けていけばよいため、フレー ムメモリ 2がなくても同様の動作を実現することができる。
[0017] ローパスフィルタ 8r、 8g、 8bはそれぞれメモリ 6r、 6g、 6bに対応して設けられたもの であり、メモリ 6r、 6g、 6bから読み出された画素信号に対して各色成分の低周波数 成分を出力する。即ち、ローパスフィルタ 8r、 8g、 8bの各々は、各画素について、そ の画素位置の近傍の領域（当該画素位置を含む領域）内の複数の画素位置におけ る、各色の画素信号の低周波数成分を算出する。その算出方法についての後に詳 しく述べる。図 6、図 7、図 8にローパスフィルタ 8r、 8g、 8bの出力例を示す。
[0018] 同様にハイパスフィルタ 7r、 7g, 7bもそれぞれメモリ 6r、 6g、 6bに対応して設けら れたものであり、メモリ 6r、 6g、 6bから読み出された画素信号に対して各色成分の高 周波数成分を出力する。即ち、ハイパスフィルタ 7r、 7g、 7bの各々は、各画素につい て、その画素位置の近傍の領域内の複数の画素位置における、各色の画素信号の 変化成分を算出する。その算出方法についての後に詳しく述べる。図 9、図 10、図 1 1にハイパスフィルタ 7r、 7g、 8rの出力例を示す。 [0019] 図 6、図 7、図 8、図 9、図 10、図 1 Uこ示されるよう【こ、ローノ スフイノレタ 8r、 8g、 8b の出力（RLPF, GLPF、 BLPF)、及びハイパスフィルタ 7r、 7g、 7bの出力（RHPF、 GHPF、 BHPF)はすべての画素について求められる。
[0020] 演算手段 10は、 2次元メモリ 6r、 6g、 6bから読み出された画素信号と、ローパスフィ ルタ 8r、 8g、 8bの出力、及びハイパスフィルタ 7r、 7g、 7bの出力とに基づいて、各画 素について低周波数成分の差と非相関値とを求め、さらに、補間値を求める。
演算手段 10は、 f列えば、図 12に示すように、選択手段 23k、 23h、 24k、 24h、 21と 、差計算手段 25、 26と、係数乗算手段 27、 28と、加算手段 29と、制御手段 30とを 有する。
[0021] 選択手段 21は、 2次元メモリ 6r、 6g、 6bのうちの一つを選択し、選択された 2次元メ モリ 6r、 6g、 6bから読み出された画素信号を加算手段 29に供給する。
選択手段 23kは、ハイパスフィルタ 7r、 7g、 7cの出力 RHPF、 GHPF、 BHPFを受 け、これらのうちの 1つを選択して出力する。選択手段 23hは、ハイパスフィルタ 7r、 7 g、 7cの出力 RHPF、 GHPF、 BHPFを受け、これらのうちの他の 1つを選択して出 力する。
選択手段 24kは、ローパスフィルタ 8r、 8g、 8cの出力 RLPF、 GLPF、 BLPFを受 け、これらのうちの 1つを選択して出力する。選択手段 24hは、ローパスフィルタ 8r、 8 g、 8cの出力 RLPF、 GLPF、 BLPFを受け、これらのうちの他の 1つを選択して出力 する。
[0022] 選択手段 21、 23k、 23h、 24k、 24hによる選択は制御手段 30により制御される。
補間対象画素が R、 G、 Bのうちの第 hの色の色成分値を有し、補間対象画素の第 k の色の色成分値を補間により求めるときは、選択手段 21が第 hの色の色成分値を記 憶している 2次元メモリを選択し、補間対象画素の第 hの色の色成分値 (例えば h (i, j )で表される）を読み出し、選択手段 23kが第 kの色のハイパスフィルタの出力 kHPF を選択し、選択手段 23hが、第 hの色のハイパスフィルタの出力 hHPFを選択し、選 択手段 24kが第 kの色のローパスフィルタの出力 kLPFを選択し、選択手段 24hが、 第 hの色のローパスフィルタの出力 hLPFを選択する。
[0023] 差計算手段 25は、第 kの HPF信号 kHPFと、第 hの HPF信号 hHPFとの差、（前者 から後者を引 、たもの） (kHPF hHPF)を非相関値として求める。
差計算手段 26は、第 kの LPF信号 kLPFと、第 hの LPF信号 hLPFとの差 (前者力 ら後者を引いたもの）（kLPF— hLPF)を求める。
LPF8r、 8g、 8bと、選択手段 24k、 24hと、差計算手段 26とで、補間対象画素位 置の近傍の領域内の複数の画素位置における、第 kの分光感度特性の画素信号の 低周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、 第 hの分光感度特性の画素信号の低周波数成分との差を算出する差算出手段が構 成されている。
[0024] 係数乗算手段 27は、差計算手段 25の出力（kHPF— hHPF)に所定の定数 qを掛 けて、積 q (kHPF— hHPF)を出力する。
係数乗算手段 28は、差計算手段 26の出力 (kLPF—hLPF)に所定の定数 rを掛 けて、積 r (kLPF— hLPF)を出力する。
加算手段 29は、選択手段 21から出力される画素値 hと、係数乗算手段 27から出力 される値 q (kHPF— hHPF)と、係数乗算手段 28から出力される値 r (kLPF— hLPF )とを加算して、その和
h + q (kHPF - hHPF) + r (kLPF - hLPF)
を出力する。
加算手段 29の出力が、補間対象画素の第 kの色の色成分値 (補間値)として用い られる。
[0025] 上記のうち、ハイパスフィルタ 7r、 7g、 7bと、選択手段 23k、 23hとで、補間対象画 素位置の近傍の領域内の複数の画素位置における、第 kの分光感度特性の画素信 号の変化成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、 第 hの分光感度特性の画素信号の変化成分とを生成する変化成分生成手段が構成 されている。
[0026] また、ローパスフィルタ 8r、 8g、 8bと、選択手段 24k、 24hとで、補間対象画素位置 の近傍の領域内の複数の画素位置における、第 kの分光感度特性の画素信号の低 周波数成分と、補間対象画素位置の近傍の領域内の複数の画素位置における、第 hの分光感度特性の画素信号の低周波数成分とを生成する低周波数成分生成手段 が構成されている。
[0027] また、選択手段 21と、係数乗算手段 27、 28と、加算手段 29とにより、補間対象画 素位置における第 hの色の画素信号と、低周波数成分の差 (kLPF— hLPF)と、非 相関値 (kHPF— hHPF)とに基づいて、補間対象画素位置における第 kの色の画素 信号 (補間値)を求める補間値算出手段が構成されている。より詳しく言うと、この補 間値算出手段は、補間対象画素の位置における一つの色 (第 hの色)の画素信号と 、差計算手段 25で求めた非相関値 (kHPF— hHPF)に第 1の所定の係数 (q)を掛 けたものと、差計算手段 26で求めた差 (kLPF— hLPF)に第 2の所定の係数 (r)を掛 けたものとを加算することにより、補間対象画素位置における他の色 (第 kの色）の画 素信号を求める。
[0028] 補間値算出手段で算出された補間値は例えば第 kの色の画素信号のための 2次元 メモリ（6r、 6g、 6bのいずれか）に記憶され、或いは出力端子 11から出力される。
[0029] 以下、上記した補間方法についてさらに詳しく説明する。
[0030] 上記のように、図 4は、 HV座標面上における G信号の配列を示したものである。
図に記載されている G信号は元々イメージセンサ 2上に Gの色フィルタが配置され ているため、その色フィルタを介して得られる信号であり、空白の箇所は他の R, Bの 色フィルタが配置されているため、 Gの色信号が欠落した場所である。この欠落した 場所における G信号を補間する必要がある。
補間のための従来の方法として、周辺の画素の平均値を用いる平均補間方法 (バ イリ-ァ補間）があるが、信号の変化の大きい箇所では精度の高い補間が期待できな い。
[0031] そこで、本実施の形態では、補間処理対象画素の近傍の領域内での色成分値の 変化の様子に相似の関係がない領域においても正確に補間を行うことができ、また 補間処理対象画素の近傍の領域内での色成分値の変化の仕方に拘らず常に最適 の補間方法で補間を行うものであり、上記した演算手段 10における補間演算は、以 下の式（1)により表される。
[0032] k (i, j)
= (i, j) +q{kHPF (i, j) hHPF (i, j) } +r{kLPF (i, j) -hLPF (i, j) }
…ひ）
[0033] 式（1)において、 k (i, j)はイメージセンサ 2上の座標 (i, j)において、欠落した色信 号であり、補間される色信号である。 h(i, j)は (i, j)の位置に予め存在する（値が既 知の）色信号である。 kHPF, hHPFは、それぞれ (i, j)の位置とその周辺の画素位 置における k信号および h信号力も所定の演算により算出された HPF値である。 kLP F, hLPFは、それぞれ (i, j)の位置とその周辺の画素位置における k信号および h信 号力も別の所定の演算により算出された LPF値である。
ここで HPF値とは、既知の画素信号 (イメージセンサ出力）から推測される真値の空 間高周波成分であり、 LPF値とは、既知の画素信号 (イメージセンサ出力）から推測 される真値の空間低周波成分である。ここで言う真値は、イメージセンサの画素間隔 が無限小であり、光電変換誤差がないときに得られるであろう空間的に連続した画素 信号の値を意味する。
qおよび rは予め定めた定数である。
[0034] 式（1)に示した算出式の意味について図 13〜図 16を参照して説明する。これらの 図には、各画素における色信号レベルとイメージセンサ 2上の各画素の位置が示さ れている。また、これらの図では、説明を簡単にするため、イメージセンサ 2の 1行だ けを記載し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィ ルタの配列であり、 hは h画素、 kは k画素、各画素の括弧（ ）内は画素位置を示す座 標である。また、曲線 aは k信号の真値であり、曲線 bは h信号の真値である。曲線 a、 b上において、黒丸印（參）で示した箇所は、イメージセンサ 2から得られた k信号およ び h信号の画素信号値である。曲線 dはそれぞれ k信号、 h信号の LPF値であり、 曲線 e, fはそれぞれ k信号、 h信号の HPF値である。これら図を参照して、画素位置（ i, j)における k信号の画素補間を行う方法を具体的に述べる。
図 13は、 k信号と h信号との間に正の相関がある場合を示し、図 14及び図 15は、 k 信号と h信号との間に相関がない場合を示し、図 16は、 k信号と h信号との間に負の 相関がある場合を示す。
[0035] 最初に図 13を参照して k信号と h信号との間に正の相関がある場合について説明 する。画素位置 (i, j)における曲線 cと dの差が低周波数成分の差 (kLPF— hLPF) に比例する値 r(kLPF— hLPF)となる。また、画素位置 (i, j)における曲線 eと fの差 が非相関値 (kHPF— hHPF)となる。曲線 eと fで示される HPF値は k信号と h信号の 変化が同様の場合、同じ値となるため重なって描写されており、非相関値 (kHPF— hHPF)は" 0"である。
従来技術によるバイリニア方法では、画素位置 (i 1, j)と (i+ 1, j)における k信号 を用いてその平均値を画素位置 (i, j)における k信号とする。ノ ィリニア方法によって 補間された信号レベルを、図 13において、白三角印（△)で示したが、求められるべ き真値との間に補間誤差が生じて 、る。
本実施の形態による補間方法では、画素位置 (i, j)において既知の値 h (i, j)に非 相関値 (kHPF— hHPF)と低周波数成分の差 (kLPF— hLPF)とをそれぞれ係数 q 、 rを乗じた後加算するが、図 13に示すように k信号と h信号との間に相関がある場合 、非相関値は略" 0"であり、結局、画素位置 (i, j)において既知の値 h (i, j)に低周波 数成分の差 (kLPF— hLPF)を係数!:を乗じた後加算したものが、補間信号 k (i, と なる。この補間信号 k(i, j)を図 13に白丸印（〇）にて示す。真値に対して精度良く画 素補間が実現できていることが分かる。このように、本実施の形態により、色信号間の 相関が大きい場合にも精度良く画素補間を行うことができる。
[0036] 次に色信号間に相関が無い場合について説明する。図 14と図 15に各画素におけ る色信号レベルとイメージセンサ 2上の各画素の位置を示す。図 14及び図 15に示し た信号では k信号は一定であり、 k信号と h信号の変化に相関が無い。
[0037] まず、図 14を参照して説明する。図 14の例では、 k信号に変化が無いため曲線 eで 示される k信号の HPF値 kHPFは" 0"である。上記特許文献 1 (特開 2001— 19751 2号公報）に開示された方法による色の相関変化だけを用いた補間は、 Mi, j)の信 号に (kLPF— hLPF)に比例した値を加算することに相当する。
この場合、画素補間された信号レベルは、図 14において、白四角印（口）で示す信 号レベルとなる。白四角印に示す信号レベルは k信号の真値から離れた位置の値と なるため補間誤差が生じていることが分かる。これは、画素位置 (i, j)における補間 対象の k信号は、参照とする h信号との間に相関が無いためである。 一方、本実施の形態による画素補間方法では、画素位置 (i, j)における h信号 h (i , j)に（kLPF— hLPF)に係数 rを掛けたものを加算し、さらに（kHPF— hHPF)に係 数 qを掛けたものを加算する。 kHPFは" 0"であるため、画素位置 (i, j)における（kH PF-hHPF)は負の値となる。よって、本実施の形態による補間方法では補間された 信号レベルは白丸印（〇）の位置となり、 k信号の真値に対して精度高く補間される。 本実施の形態では k信号と h信号との信号変化にどれだけ相関が無いかは、 (kHPF -hHPF)の値として求められることとなる。（kHPF— hHPF)を「非相関値」と呼ぶの はこのためである。一方、低周波数成分の差 (kLPF— hLPF)は、相関の度合いを 表し、相関の度合いが高いほど一定の値により近くなる。よって、（kLPF— hLPF)と (kHPF— hHPF)の両方の値がそれぞれの係数!:、 qを掛けた上で h (i, j)に加算さ れることにより信号間に相関が無い場合でも精度高く画素補間を行うことができる。
[0038] 図 15には図 14とは逆に k信号が変化して、 h信号に変化が無い、 2つの色信号間 に相関が無い別の例を示す。上記特許文献 1 (特開 2001— 197512号公報）に開 示された方法による色の相関変化だけを用いた補間は、 Mi, j)の信号に (kLPF—h LPF)の信号レベルを加算することに相当する。
この場合、画素補間された信号レベルを図 15にお ヽて白四角印（口）で示す信号 レベルとなる。白四角印に示す信号レベルは k信号の真値から離れた位置の値とな るため補間誤差が生じて 、ることが分かる。
一方、本実施の形態による画素補間方法では、画素位置 (i, j)における h信号 h (i , j)に（kLPF— hLPF)に係数 rを掛けたものを加算し、さらに（kHPF— hHPF)に係 数 qを掛けたものを加算する。 hHPFは" 0"であるため、画素位置 (i, j)における（kH PF-hHPF)は正の値となる。よって、本実施の形態による補間方法では補間された 信号レベルは白丸印（〇）の位置となり、 k信号の真値に対して精度高く補間される。 本実施の形態では、（kLPF— hLPF)と（kHPF— hHPF)の両方の値が h (i, j)にそ れぞれの係数！:、 qを掛けた上で加算されることにより図 15に示す信号間に相関が無 い場合においても精度高く画素補間を行うことができる。
[0039] 図 14及び図 15では色信号間に相関が無い場合について説明した力 次に色信号 間に負の相関がある場合について説明する。図 16に k信号と h信号との間に負の相 関がある場合を示す。画素位置 (i, j)における、曲線 aと鎖線 cの差 Δ (a— c)と、曲線 dと曲線 bの差 Δ (d— b)の和力 非相関値 (kHPF— hHPF)に比例する値 q (kHPF -hHPF)に等しい。バイリニア補間方法による画素補間は白三角印（△)で示す信 号レベルであり図 13と同様に真値に対して補間誤差が生じている。また、負の相関 関係である場合、上記特許文献 1 (特開 2001— 197512号公報）に開示された方法 による色の相関変化だけを用いた画素補間では白四角印（口）で示すようにさらに補 間誤差が拡大する。本実施の形態による補間方法では白丸印（〇）で示すように精 度高く画素補間が実現できている。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となつ て 、る場合の 、ずれにぉ 、ても精度の高 、画素補間を行うことができる。
[0040] 画素補間の演算処理について以下に具体的に説明する。図 17に演算手段 10の 演算の手順をフローチャートとして示す。フローチャートに記載するように、補間値の 算出は、以下の 6つの処理を含む。
ステップ S1； R画素位置における G信号（GonR)を求めるための処理。
ステップ S2 ;B画素位置における G信号（GonB)を求めるための処理。
ステップ S3 ;G画素位置における R信号 (RonG)を求めるための処理。
ステップ S4 ;G画素位置における B信号（BonG)を求めるための処理。
ステップ S5 ;R画素位置における B信号（BonR)を求めるための処理。
ステップ S6 ;B画素位置における R信号 (RonB)を求めるための処理。
これら 6つの処理は、
「h色（h=R、 G、又は B)の画素信号が存在する画素位置における k色（k=R、 G、 又は B、但し hは kとは異なる）の画素信号を求めるための処理」
と一般化して言うことができる。これらの 6つの処理の各々は画面上（1フレーム内）の すべての画素位置につ 、て行われる。
[0041] 上記の 6つの処理がすべて終わったときに、 1画面上のすべての画素位置のすべ ての画素における不足した色の画素信号が揃う。
[0042] まず、ステップ S1の演算処理について説明する。図 4において、 G信号が予め存在 しな ヽ (値が未知の）画素の座標 (i, j)に着目する。座標 (i, j)の G信号の LPF値 GL PFは、例えば次式（2)にて算出される。
[0043] GLPF(i, j) = [{G(i-3, j)+G(i - 1, j)+G(i+l, j)+G(i+3, j)}/4
+ {G(i, j-3)+G(i, j-l)+G(i, j + l)+G(i, j + 3)}/4]/2
…
[0044] 各信号の括弧（ ）内は画素の座標を意味している。
[0045] G信号が予め存在している画素位置（i+1, j)の G信号の LPF値 GLPFは、次式（
3)にて算出される。
[0046] GLPF(i+l, j) = [{G(i - 3, j)/8 + G(i-l, j)/4 + G(i+l, j)/4 + G(i+3 , j)/4 + G(i+5, j)/8}
+ {G(i+l, j-4)/8 + G(i+l, j-2)/4 + G(i+l, j)/4 + G(i+l, j + 2)/ 4 + G(i+l, j+4)/8}]/2
… ）
[0047] G画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式（2)および式
(3)にて G信号の LPF値を算出することができる。 G信号の LPF値の演算は図 1の L PF8gによって算出され、演算手段 10に入力される。
[0048] また、 G信号が予め存在しな!、画素位置（i, j)の G信号の HPF値 GHPFは、次式（
4)にて算出される。
[0049] GHPF(i, j) = [{-G(i-3, j)+G(i - 1, j)+G(i+l, j) G(i+3, j)} + {— G( i, j-3) +G(i, j-1) +G(i, j + 1) -G(i, j + 3) }]/2
…(
[0050] G信号が予め存在している画素位置（i+1, j)の G信号の HPF値 GHPFは、次式（
5)にて算出される。
[0051] GHPF (i+1, j) = G(i - 3, j)/4-G(i-l, j)+2.5G(i+l, j) G(i+3 , j)-G(i+5, j)/4} + {-G(i+l, j-4)/4-G(i+l,ト 2)+2.5G(i+l, j) -G(i+1, j + 2) -G(i+1, j+4)/4}]/2
… ）
[0052] G画素の配列はいずれも同じ画素間隔の繰り返しであるため、上記式 (4)および式
(5)にて G信号の HPF値を算出することができる。 G信号の HPF値の演算は図 1の HPF7gによって算出され、演算手段 10に入力される。
[0053] R信号の LPF値、 HPF値は次式によって算出される。まずどの画素にも R信号が存 在しない j行目においては、上下の行力も値を算出する。画素の座標 (i, j)の R信号 の LPF値 RLPFは、次式（6)にて算出される。
[0054] RLPF(i, j) = [[{R(i-3,ト 1)+R(i— 3, j + 1) }/2+ {R(i— 1, j— 1)+R(i
-1, j + l)}/2+{R(i+l, j-l)+R(i+l, j + l)}/2+{R(i+3,ト 1)+R(i
+ 3, j + l)}/2]/4
+ [{R(i-1, j-3)+R(i+l, j-3)}/2+{R(i-l, j-l)+R(i+l,
2+{R(i-l, j + l)+R(i+l, j + l)}/2+{R(i-l, j + 3)+R(i+l, j + 3)}/2
]/4]/2
ー(6)
[0055] 座標 (i+1, j)の R信号の LPF値 RLPFは、次式（7)にて算出される。
[0056] RLPF (i+1, j) = [[{R(i— 1, j 1)+R(i— 1, j + 1) }/2+ {R(i+ 1, j 1)+R
(i+1, j + l)}/2+{R(i+3, j-1) +R(i+3, j + l)}/2]/3
+ {R(i+1, j-3)+R(i+l, j-l)+R(i+l, j + l)+R(i+l, j + 3)}/4]/2 … ）
[0057] 一方、 R信号が予め存在する行、例えば j + 1行の画素位置 (i, j + 1)の R信号の L
PF値 RLPFは、次式（8)にて算出される。
[0058] RLPF(i, j + 1) = [{R(i— 3, j + l)+R(i— 1, j + l)+R(i+l, j + l)+R(i+3, j + l)}/4
+ [{R(i-1, j-l)+R(i+l, j-l)}/2+{R(i-l, j + l)+R(i+l, j + 2+{R(i-l, j + 3)+R(i+l, j + 3)}/2]/3]/2
…
[0059] さらに、 R信号が予め存在する行、例えば j 1行の画素位置 (i+1,】+1)の1^信号 の LPF値 RLPFは、次式（9)にて算出される。
[0060] RLPF (i+1, j + 1) = [[R(i— 3, j + l)/8+R(i-l, j + l)/4+R(i+l, j + 1)
/4+R(i+3, j + l)/4+R(i+5, j + l)/8
+R(i+1, j-3)/8+R(i+l, j-l)/4+R(i+l, j + l)/4+R(i+l, j + 3) /4+R(i+l, j + 5)/8]/2
… ）
[0061] R画素の配列は（i, j)、 (i+1, j)、 (i, j + l)、 (i+1, j + 1)の繰り返しであるため、 上記式 (6)から式（9)にて R信号の LPF値を算出することができる。 R信号の LPF値 の演算は図 1の LPF8rによって算出され、演算手段 10に入力される。
[0062] また、座標 (i, j)における R信号の HPF値 RHPFは、次式（10)にて算出される。
[0063] RHPF(i, j) = [-{R(i-3, j— 1)+R(i— 3, j + 1) }/2+{R(i— 1, j— 1)+R(i
-1, j + l)}/2+{R(i+l, j-l)+R(i+l, j + l)}/2-{R(i+3,ト 1)+R(i + 3, j + l)}/2
-{R(i-1, j-3)+R(i+l, j-3)}/2+{R(i-l, j-l)+R(i+l, j-l)}/2 + {R(i— 1, j + l)+R(i+l, j + l)}/2-{R(i-l, j + 3)+R(i+l, j + 3)}/2] /2
… 。）
[0064] 座標 (i+1, j)における R信号の HPF値 RHPFは、次式（11)にて算出される。
[0065] RHPF (i+1, j) = {R(i - 3, j— 1)+R(i— 3, j + 1) }/2/4- {R(i- 1, j— 1 ) +R(i - 1, j + l)}/2 + 2.5{R(i+l,ト 1) +R(i+1, j + 1) }/2-{R(i+3, j -l)+R(i+3, j + l)}/2-{R(i+5, j-l)+R(i+5, j + l)}/2/4]
+ [— R(i+1, j— 3)+R(i+l, j— 1)+R(i+1, j + 1)— R(i+1, j + 3)]/2 ー（11)
[0066] 一方、 R信号が予め存在する行、例えば j + 1行の画素位置 (i, j + 1)の R信号の H
PF値 RHPFは、次式（12)にて算出される。
[0067] RHPF(i, j + 1) = [— {R(i— 3, j + l)+R(i— 1, j + l)+R(i+l, j + 1)— R(i+
3, j + 1)}
+ [-{R(i-1, j-3) +R(i+1, j-3)}/2/4-{R(i-l,ト 1) +R(i+1,ト l)}/2 + 2.5{R(i - 1, j + 1) +R(i+1, j + 1) }/2-{R(i-l, j + 3) +R(i+1, j + 3)}/2-{R(i-l, j + 5)+R(i+l, j + 5)}/2/4]/2
-(12)
[0068] さらに、 R信号が予め存在する行、例えば j 1行の画素位置 (i+1,】+1)の1^信号 の HPF値 RHPFは、次式（13)にて算出される。
[0069] RHPF(i+l, j + l) = [{—R(i— 3, j + l)/4— R(i— 1, j + l)+2.5R(i+l, j + 1) -R(i+3, j + 1) -R(i+5, j + l)/4}
+ {-R(i+1, j-3)/4-R(i+l,ト l)+2.5R(i+l, j + 1)— R(i+1, j + 3 )-R(i+l, j + 5)/4}]/2
•••(13)
[0070] R画素の配列は（i, j)、 (i+1, j)、 (i, j + 1), (i+1, j + 1)の繰り返しであるため、 上記式（10)から式（13)にて R信号の HPF値も算出することができる。 R信号の HP F値の演算は図 1の HPF7rによって算出され、演算手段 10に入力される。
[0071] 最後に、 B信号の LPF値、 HPF値であるが、 B画素の配列は R画素の配列と座標 値が異なるだけであり、同様の配列をしている。よって、式 (6)から式（13)に示した R 信号の LPF、 HPFの算出式と同様に、その座標を変えるだけで算出することができ るためその詳細式は省略する。 B信号の LPF値の演算は図 1の LPF8bによって算出 され、演算手段 10に入力される。また、 B信号の HPF値の演算は図 1の HPF7bによ つて算出され、演算手段 10に入力される。
[0072] 以上示した LPFおよび HPFの算出式は式（1)に用いるための値を算出する式であ る力 一例に過ぎず、例えば、 LPF値の演算式および HPF値の演算式において用 V、る画素数や係数は画像の大きさや解像度に応じて他の値を適切に設けても良!、。
[0073] 上述した式（2)から式（13)により、 R, G, B信号の画像全ての画素位置に対する L PF値と、 HPF値とが求められる。ステップ S1では R画素の位置における欠落した G 信号を算出する。 R画素の位置における G信号は式（1)に従い次式（14)にて算出さ れる。 R画素は（i+n, j+m) (n, mは奇数）の位置に存在するため、これに伴い式（ 1)とは座標値が異なるものとなる。
[0074] G(i+n, j+m) = {R(i+n, j+m) +q(GHPF(i+n, j+m) -RHPF (i+n, j + m))}+r(GLPF(i+n, j+m)— RLPF(i+n, j+m))
•••(14)
[0075] 式（14)にて示した GHPF, GLPF, RHPF, RLPFは上述した式（2)から式（13) にて算出した HPL出力および LPF値である。定数 q、 rは画像が最適に補間されるよ うに予め定めておけばよい。例えば、 q = 0.25、 r=lで良好に画素補間を行うことが できるが、この値に限定されるものではない。図 18は、式（14)による補間の結果得ら れた G信号 grをそれぞれ対応する R画素位置に 2次元的に示す。
[0076] 次に、ステップ S2の演算処理に移る。ステップ S2は B画素の位置において欠落し た G信号を補間する。 B画素の位置における G信号は式（1)に従い次式（15)にて算 出される。 B画素は (i+s, j+t) (s, tは偶数)の位置に存在するため、これに伴い式（ 1)とは座標値が異なるものとなる。
[0077] G(i+s, j+t) = {B(i+s, j+t) +q(GHPF(i+s, j+t) BHPF(i+s, j+t))}
+r(GLPF(i + s, j + t) -BLPF(i + s, j + t))
ー（15)
[0078] 図 19は、式（15)による補間の結果得られた G信号 gbをそれぞれ対応する B画素 位置に 2次元的に示す。図 19には、式（14)による補間の結果 grも示されている。式 (14)による、 R画素位置の G信号の補間、及び式（15)による、 B画素位置における G信号の補間により、全画素位置における G信号が得られる。
[0079] 次に、ステップ S3の演算処理に移る。ステップ S3は G画素の位置において欠落し た R信号を補間する。 G画素の位置における R信号は式（1)に従い次式（16)、式（1 7)にて算出される。 G画素は (i+s, j+m) (sは偶数、 mは奇数)の位置と (i+n, j+t ) (nは奇数、 tは偶数）とに存在するため、これに伴い式（1)とは座標値が異なるもの となる。
[0080] R(i+s, j+m) = {G(i+s, j+m)+q(RHPF (i+s, j +m)— GHPF (i+s, j+m ))}+r(RLPF (i+s, j+m)— GLPF(i+s, j+m))
•••(16)
[0081] R(i+n, j+t) = {G(i+n, j+t) +q(RHPF(i+n, j+t) -GHPF (i+n, j+t))}
+r(RLPF (i+n, j+t) GLPF(i+n, j+t))
-(17)
[0082] 図 20は、式（16)及び式（17)による補間の結果得られた R信号 rgをそれぞれ対応 する G画素位置に 2次元的に示す。
なお、式（16)および式（17)においても RLPF, RHPF, GLPF, GHPFは上述し た式（2)から式（13)に示した LPFおよび HPFの出力値である力 GLPFおよび GH PFについては、ステップ S1およびステップ S2で算出した補間値 gr、 gbを用いて新 たに算出してもよい。その場合、図 1に示すように、演算手段 10にて算出した補間値 gr、 gbを一度 2次元メモリ 6gへ出力し、一時的に記憶保持した後、再度 HPF7g、 LP F8gにて算出することとなる。
[0083] 次に、ステップ S4の演算処理に移る。ステップ S4は G画素の位置にお!、て欠落し た B信号を補間する。 G画素の位置における B信号は式（1)に従い次式（18)、式（1 9)にて算出される。 G画素は (i+s, j+m) (sは偶数、 mは奇数)の位置と (i+n, j+t ) (nは奇数、 tは偶数）とに存在するため、これに伴い式（1)とは座標値が異なるもの となる。
[0084] B(i+s, j+m) = {G(i+s, j+m)+q(BHPF (i+s, j +m)—GHPF (i+s, j+m ))}+r(BLPF(i+s, j+m) -GLPF (i+s, j+m))
•••(18)
[0085] B(i+n, j+t) = {G(i+n, j+t) +q(BHPF(i+n, j+t) -GHPF (i+n, j+t))}
+r(BLPF(i+n, j+t) -GLPF (i+n, j+t))
•••(19)
[0086] 図 21は、式（18)及び式（19)による補間の結果得られた B信号 bgをそれぞれ対応 する G画素位置に 2次元的に示す。
なお、本式（18)および式（19)においても BLPF, BHPF, GLPF, GHPFは上述 した LPFおよび HPFの出力値である力 GLPFおよび GHPFについては、ステップ
S1およびステップ S2で算出した補間値 gr、 gbを用いて新たに算出してもよい。
[0087] 次に、ステップ S5の演算処理に移る。ステップ S5は B画素の位置において欠落し た R信号を補間する。 B画素の位置における R信号は式（1)に従い次式（20)にて算 出される。 B画素は (i + s, j + t) (s, tは偶数)の位置に存在するため、これに伴い式（
1)とは座標値が異なるものとなる。
[0088] R(i+s, j+t) = {G(i+s, j+t) +q(RHPF(i+s, j+t)— GHPF(i+s, j+t))}
+r(RLPF (i+s, j+t) -GLPF (i+s, j+t)) [0089] 図 22は、式（20)による補間の結果得られた R信号 rbをそれぞれ対応する B画素位 置に 2次元的に示す。図 22にはまた、式（16)及び式（17)による補間の結果得られ た R信号 rgをそれぞれ対応する G画素位置に示されている。式（16)及び式（17)に よる補間と、式（31)による補間の結果、すべての画素の R信号が揃う。
なお、式（20)においても RLPF, RHPF, GLPF, GHPFは上述した LPFおよび H PFの出力値であるが、 GLPFおよび GHPFについては、ステップ S1およびステップ S2で算出した補間値 gr、 gbを用いて新たに算出してもよい。また、 RLPF、 RHPFも 、ステップ S3にて算出した補間値 rgを用いて新たに算出してよい。
[0090] 次に、ステップ S6の演算処理に移る。ステップ S6は R画素の位置において欠落し た B信号を補間する。 R画素の位置における B信号は式（1)に従い次式（21)にて算 出される。 R画素は（i+n, j +m) (n, mは奇数）の位置に存在するため、これに伴い 式（1)とは座標値が異なるものとなる。
[0091] B (i+n, j +m) = {G (i+n, j +m) +q (BHPF (i+n, j +m) -GHPF (i+n, j + m) ) } +r (BLPF (i+n, j +m) -GLPF (i+n, j +m) )
ー(21)
[0092] 図 23は、式（21)による補間の結果得られた B信号 brをそれぞれ対応する R画素位 置に 2次元的に示す。図 23にはまた、式（18)及び式（19)による補間の結果得られ た B信号 bgがそれぞれ対応する G画素位置が示されている。式（18)及び式（19)に よる補間と、式（21)による補間の結果、すべての画素の B信号が揃う。
なお、式（21)においても BLPF, BHPF, GLPF, GHPFは上述した LPFおよび H PFの出力値であるが、 GLPFおよび GHPFについては、ステップ S1およびステップ S2で算出した補間値 gr、 gbを用いて新たに算出してもよい。また、 BLPF、 BHPFも 、ステップ S4にて算出した補間値 bgを用いて新たに算出してよい。
[0093] 以上ステップ S1からステップ S6の演算により、各画素において欠落した色信号を 補間し、全画素の R, G, B信号が得られる。
[0094] 実施の形態 2.
次に実施の形態 2の画像信号処理装置を説明する。実施の形態 2の画像信号処 理装置を備えた撮像装置の全体的構成は、図 1に示すごとくであるが、演算手段 10 の構成が実施の形態 1とは異なる。図 24は、実施の形態 2の演算手段の構成を示す 。図 24に示された演算手段は、概して図 12の演算手段と同様であるが、差計算手段 26の代わりに比計算手段 32を備え、加算手段 29の代わりに、加算手段 33と乗算手 段 34の組合せを有する点で異なる。
[0095] 比計算手段 32は、選択手段 24kの出力と選択手段 24hの出力の比 kLPFZhLP Fを求める。
この実施の形態 2では、 LPF8r、 8g、 8bと、選択手段 24k、 24hと、比計算手段 32 とで、補間対象画素位置の近傍の領域内の複数の画素位置における、第 kの分光感 度特性の画素信号の低周波数成分と、補間対象画素位置の近傍の領域内の複数 の画素位置における、第 hの分光感度特性の画素信号の低周波数成分との比を算 出する比算出手段が構成されている。
係数乗算手段 28は、比計算手段 32の出力 kLPFZhLPFに所定の係数!:を描け、 その積 r (kLPFZhLPF)を出力する。
加算手段 33は、選択手段 21から出力される画素値 hと、係数乗算手段 27から出力 される値 q (kHPF— hHPF)とを加算して、その和
h + q (kHPF-hHPF)
を出力する。
[0096] 乗算手段 34は、加算手段 33の出力
h + q (kHPF-hHPF)
と、係数乗算手段 28の出力
r (kLPF/hLPF)
とを乗算し、その積
{h + q (kHPF-hHPF) } Xr (kLPF— hLPF)
を出力する。
乗算手段 34の出力が、補間対象画素の第 kの色の色成分値 (補間値)として用い られる。
[0097] 上記のうち、選択手段 21と、係数乗算手段 27、 28と、加算手段 33と、乗算手段 34 とにより、補間対象画素位置における第 hの色の画素信号と、低周波数成分の比 (k LPFZhLPF)と、非相関値 (kHPF— hHPF)とに基づいて、補間対象画素位置に おける第 kの色の画素信号 (補間値)を求める補間値算出手段が構成されている。よ り詳しく言うと、この補間値算出手段は、補間対象画素の位置における一つの色 (第 hの色)の画素信号と、差計算手段 25で求めた非相関値 (kHPF— hHPF)に第 1の 所定の係数 (q)を掛けたものとの和と、比計算手段 32で求めた低周波数成分の比（ kLPF/hLPF)に第 2の所定の係数 (r)を掛けたものとを乗算することにより、補間対 象画素位置における他の色 (第 kの色）の画素信号を求める。
[0098] 補間値算出手段で算出された補間値は例えば第 kの色の画素信号のための 2次元 メモリ（6r、 6g、 6bのいずれか）に記憶され、或いは出力端子 11から出力される。
[0099] 上記した演算手段 10による補間演算は次式（22)で表される。
[0100] k(i, j)
= [ (i, j) +q{kHPF (i, j) -hHPF (i, j) }]
Xr{kLPF (i, j) /hLPF (i, j) }
- (22)
[0101] 式（22)において、式（1)と同様に k(i, j)はイメージセンサ 2上の座標（i, j)におい て、欠落した色信号であり、補間される色信号である。 Mi, j)は (i, j)の位置に予め 存在する色信号である。 kHPF, hHPFは k信号および h信号の（i, j)の位置の周辺 の画素力も所定の演算により算出された HPF値である。 kLPF, hLPFは k信号およ び h信号の（i, j)の位置の周辺の画素から別の所定の演算により算出された LPF値 である。 qおよび rは予め定めた定数である。
[0102] 式（22)に示した算出式の意味について図 25〜図 28を参照して説明する。これら の図には、図 13〜図 16と同様に、各信号レベルとイメージセンサ 2上の各画素の位 置が示されている。また、説明を簡単にするため、イメージセンサ 2の 1行だけを記載 し、一次元方向だけに演算を限定して示す。上部に記載したのは各色フィルタの配 列であり、 hは h画素、 kは k画素、各画素の括弧（ ）内は画素位置を示す座標である 。また、曲線 aは k信号の真値であり、曲線 bは h信号の真値である。曲線 a、 b上にお いて、黒丸印（參）で示した箇所は、イメージセンサ 2から出力された k信号及び h信 号の画素信号値である。曲線 dはそれぞれ k信号、 h信号の LPF値であり、曲線 e , fはそれぞれ k信号、 h信号の HPF値である。これら図を参照して、画素位置 (i, j) における k信号の画素補間を行う方法を具体的に述べる。
図 25は、 k信号と h信号との間に正の相関がある場合を示し、図 26及び図 27は、 k 信号と h信号との間に相関がない場合を示し、図 28は、 k信号と h信号との間に負の 相関がある場合を示す。
[0103] 最初に図 25を参照して k信号と h信号との間に正の相関がある場合について説明 する。曲線 eと fで示される HPF値、は k信号と h信号の変化が同様の場合、同じ値と なるため重なって描写されて 、る。
従来技術によるバイリニア方法では、画素位置 (i 1, j)と (i+ 1, j)における k信号 を用いてその平均値を画素位置 (i, j)における k信号とする。ノ ィリニア方法によって 補間された信号レベルを、図 25において白三角印（△)で示した力 求められるべき 真値と補間誤差が生じて!/、る。
[0104] 一方、本実施の形態による補間方法では、画素位置 (i, j)において既知の値 h(i, j
)に非相関値 (kHPF— hHPF)を係数 qを乗じた後加算し、加算結果に、比 kLPFZ hLPFに係数!:を乗じたものを乗算することにより得られた値が、補間信号 k (i, j)とな る。 kLPFZhLPFは、 LPF値の比を表すものであり、この比は、相関の程度を表し、 相関の度合いが高いほど「1」により近くなる。
[0105] 実施の形態 1にて述べたように画像の局所的な領域では信号の変化には強 、相関 がある。よって、信号の緩やかな変化を示す LPF値とそれぞれの信号との間には次 式 (23)が成り立つ。
[0106] k(i, j)： h (i, j) =kLPF (i, j)： hLPF (i, j)
- (23)
[0107] 式（23)を変形すると、 h画素のある (i, j)における k(i, j)の信号は次式（24)で表 すことができる。
[0108] k(i, j) =h(i, j) X kLPF (i, j) /hLPF (i, j)
•••(24)
[0109] 式（24)は画像の局所的な領域では信号の変化に強い相関を持つと仮定しており 、画像のほとんどの領域では上記仮定が成り立つため、信号の変化に正の相関の高 い領域では精度の高い画素補間を可能とする。しかし、実施の形態 1と同様に画像 のエッジなど相関がない領域や、負の相関を有する領域では画素補間誤差が発生 する。
[0110] 図 25では画素位置（i, j)における、曲線 cと dとの比が kLPFZhLPFとなる。画素 位置 (i, j)における曲線 eと fの差が (kHPF— hHPF)となる。本実施の形態による補 間方法では、画素位置（i, j)において既知の値 h (i, j)力ら（kHPF— hHPF)に係数 qを掛けたものを加算し、 kLPFZhLPFに係数 rを掛けたものを乗ずる。式（22)で示 す本方法によって算出された補間信号 k (i, j)を図 25に白丸印（〇）にて示す。真値 に対して精度良く画素補間が実現できている。図 25に示したように、 k信号と h信号と の信号の変化が同様である場合、（kHPF— hHPF)は" 0"に近くなるため、 LPF力 求められる変化の信号間の比に比例した値を掛けることにより補間信号が算出される ことになる。本方法により、色信号間の相関が大きい場合精度良く画素補間を行うこ とがでさる。
[0111] 次に色信号間に相関が無い場合について説明する。画像のエッジなどでは各色の 間の相関が低くなるため式 (24)では補間誤差が生じてしまう。そこで、エッジ部では 相関が低くなることを考慮し、式（24)に HPFの信号差 (kHPF— hHPF)を挿入し、 上記式（22)の補間方法とすることで上記の問題を解決することができる。式（22)に おいて、（kHPF (i, j) -hHPF (i, j) )は画像エッジ部の信号成分の差であり、 k信号 と h信号の変化にエッジ部でも強い相関がある場合には、 "0"となるため、式（22)で r = 1であれば、式（24)と同じ式となる。各色の相関が無い場合には、（kHPF (i, j) hHPF (i, j) )が各色の信号の固有の値に関係するので、各色について高精度の画 素補間を実現することができる。
[0112] 図 26及び図 27に各信号レベルとイメージセンサ 2上の各画素の位置を示す。図 2 6及び図 27に示した信号では k信号と h信号の変化に相関が無い。
[0113] まず、図 26を参照して説明する。図 26の例では、 k信号に変化が無いため曲線 eで 示される k信号の HPF値 kHPFは" 0"である。
式 (24)で示した色の相関変化だけを用いた補間を行う場合、画素位置 (i, にお ける補間対象の k信号は変化していないにもかかわらず、参照とする h信号が変化し ているため、白四角印（口）で示す信号レベルに画素補間され、補間誤差が生じる。 しかし、 k信号と h信号との信号変化にどれだけ相関が無いかは、（kHPF— hHPF) の値として求められることとなる。よって、（kHPF— hHPF)の値に係数 qを掛けたも の力 h(i, j)の値に加算され、加算結果に、 r (kLPFZhLPF)が乗算される。図 26 の場合、 kHPFは" 0"であり、画素位置（i, j)における（kHPF— hHPF)は負の値に なるため、 Mi, j)の値はある値が差し引かれることとなる。本実施の形態による演算（ 式 (24) )の画素補間の信号レベルを白丸印（〇）にて示す。真値と比べ精度高く補 間できている。このように信号間に相関が無い場合でも精度高く画素補間を行うこと ができる。
[0114] 図 27には図 26とは逆に k信号が変化して、 h信号に変化が無い、 2つの色信号間 に相関が無い別の例を示す。式 (22)による色の相関変化だけを用いた補間を行う 場合、 h(i, j)の信号に kLPFZhLPFの信号レベル比に係数 rを掛けたものが乗算さ れること〖こなる。この場合、画素補間された信号レベルを図 27において白四角印（口 )で示す信号レベルとなる。白四角印に示す信号レベルは k信号の真値から離れた 位置の値となるため補間誤差が生じていることが分力る。
一方、本実施の形態による画素補間方法では、画素位置 (i, j)における h信号 h (i , j)に（kLPF— hLPF)に係数 rを掛けたものが加算され、加算結果に、 r(kLPF/h LPF)が乗算される。図 27の場合、 hHPFは" 0"であり、画素位置（i, j)における（kH PF-hHPF)は正の値となる。本実施の形態による補間方法では補間された信号レ ベルは白丸印（〇）の位置となり、 k信号の真値に対して精度高く補間される。
[0115] 図 26及び図 27では色信号間に相関が無い場合について説明した力 次に色信号 間に負の相関がある場合について説明する。図 28に k信号と h信号との間に負の相 関がある場合を示す。ノ ィリニア補間方法による画素補間は白三角印（△)で示す信 号レベルであり図 25と同様に真値に対して補間誤差が生じている。また、負の相関 関係である場合、式 (24)による色の相関変化だけを用いた画素補間では白四角印 (口）で示すようにさらに補間誤差が拡大する。本実施の形態による補間方法では白 丸印（〇）で示すように精度高く画素補間が実現できて 、る。
以上のように、色信号間に正の相関がある場合、相関が無い場合、負の相関となつ て 、る場合の 、ずれにぉ 、ても精度の高 、画素補間を行うことができる。
[0116] 画素補間の演算処理については実施の形態 1と同様に、図 17に示したフローチヤ ートの手順にて行う。フローチャートに示した 6つの処理がすべて終わったときに、 1 画面上のすべての画素位置のすべての画素における不足した色の画素信号が揃う
[0117] 各手順における演算処理を具体的に説明する。まず、各色信号 R, G, Bの HPF、 LPF値は実施の形態 1と同様に式（2)力 式（ 13)に示す演算にて求められる。
[0118] まず、ステップ S1の演算処理について説明する。ステップ S1では R画素の位置に おける欠落した G信号を算出する。 R画素の位置における G信号は式（22)に従い次 式（25)にて算出される。 R画素は (i+n, j+m) (n, mは奇数)の位置に存在するた め、これに伴い式（22)とは座標値が異なるものとなる。
[0119] G(i+n, j+m) = {R(i+n, j+m) +q(GHPF(i+n, j+m)— RHPF(i+n, j + m))}Xr(GLPF(i+n, j+m) /RLPF(i+n, j+m))
ー(25)
[0120] 定数 q、 rは画像が最適に補間されるように予め定めておけばよい。例えば、 q = 0.
25、 r=lでも良好に画素補間を行うことができる。図 18は、式（25)による補間の結 果 grをそれぞれ対応する R画素位置に示す。
[0121] 次に、ステップ S2の演算処理に移る。ステップ S2は B画素の位置において欠落し た G信号を補間する。 B画素の位置における G信号は式（22)に従い次式（26)にて 算出される。 B画素は (i+s, j+t) (s, tは偶数)の位置に存在するため、これに伴い 式（22)とは座標値が異なるものとなる。
[0122] G(i+s, j+t) = {B(i+s, j+t) +q(GHPF(i+s, j+t)— BHPF(i+s, j+t))}
Xr(GLPF(i + s, j + t) /BLPF(i + s, j + t))
•••(26)
[0123] 図 19は、式（26)による補間の結果 gbをそれぞれ対応する B画素位置に示す。図 1 9には、式（25)による補間の結果 grも示されている。式（25)による、 R画素位置の G 信号の補間、及び式（26)による、 B画素位置における G信号の補間により、全画素 位置における G信号が得られる。 [0124] 次に、ステップ S3の演算処理に移る。ステップ S3は G画素の位置において欠落し た R信号を補間する。 G画素の位置における R信号は式（22)に従い次式（27)、式（ 28)にて算出される。 G画素は (i+s, j+m) (sは偶数、 mは奇数)の位置と (i+n, j +t) (nは奇数、 tは偶数）とに存在するため、これに伴い式（22)とは座標値が異なる ものとなる。
[0125] R(i+s, j+m) = {G(i+s, j+m)+q(RHPF (i+s, j+m) -GHPF (i+s, j+m ))}Xr(RLPF (i+s, j+m) /GLPF (i+s, j+m))
-(27)
[0126] R(i+n, j+t) = {G(i+n, j+t) +q(RHPF(i+n, j+t) -GHPF (i+n, j+t))}
Xr(RLPF (i+n, j+t) /GLPF (i+n, j+t))
-(28)
[0127] 図 20は、式（27)及び式（28)による補間の結果得られた R信号 rgをそれぞれ対応 する G画素位置に 2次元的に示す。
なお、式（27)および式（28)においても RLPF, RHPF, GLPF, GHPFは上述し た LPFおよび HPFの出力値である力 GLPFおよび GHPFについては、ステップ S1 およびステップ S2で算出した補間値 gr、 gbを用いて新たに算出してもよ 、。
[0128] 次に、ステップ S4の演算処理に移る。ステップ S4は G画素の位置において欠落し た B信号を補間する。 G画素の位置における B信号は式（22)に従い次式（29)、式（ 30)にて算出される。 G画素は (i+s, j+m) (sは偶数、 mは奇数)の位置と (i+n, j +t) (nは奇数、 tは偶数）とに存在するため、これに伴い式（22)とは座標値が異なる ものとなる。
[0129] B(i+s, j+m) = {G(i+s, j+m)+q(BHPF (i+s, j+m) -GHPF (i+s, j+m ))}Xr(BLPF(i+s, j+m) /GLPF (i+s, j+m))
-(29)
[0130] B(i+n, j+t) = {G(i+n, j+t) +q(BHPF(i+n, j+t) -GHPF (i+n, j+t))}
Xr(BLPF(i+n, j+t) /GLPF (i+n, j+t))
… 。）
[0131] 図 21は、式（29)及び式（30)による補間の結果得られた B信号 bgをそれぞれ対応 する G画素位置に 2次元的に示す。
なお、本式（29)および式（30)においても BLPF, BHPF, GLPF, GHPFは上述 した LPFおよび HPFの出力値である力 GLPFおよび GHPFについては、ステップ
S1およびステップ S2で算出した補間値 gr、 gbを用いて新たに算出してもよい。
[0132] 次に、ステップ S5の演算処理に移る。ステップ S5は B画素の位置において欠落し た R信号を補間する。 B画素の位置における R信号は式（22)に従い次式（31)にて 算出される。 B画素は (i+s, j+t) (s, tは偶数)の位置に存在するため、これに伴い 式（22)とは座標値が異なるものとなる。
[0133] R(i+s, j+t) = {G(i+s, j+t) +q(RHPF(i+s, j+t)— GHPF(i+s, j+t))}
Xr(RLPF (i+s, j+t) /GLPF (i+s, j+t))
ー(31)
[0134] 図 22は、式（31)による補間の結果得られた R信号 rbをそれぞれ対応する B画素位 置に 2次元的に示す。図 22にはまた、式（27)及び式（28)による補間の結果得られ た R信号 rgがそれぞれ対応する G画素位置に示されている。式（27)及び式（28)に よる補間と、式（31)による補間の結果、すべての画素の R信号が揃う。
なお、式（31)においても RLPF, RHPF, GLPF, GHPFは上述した LPFおよび H PFの出力値であるが、 GLPFおよび GHPFについては、ステップ S1およびステップ S2で算出した補間値 gr、 gbを用いて新たに算出してもよい。また、 RLPF、 RHPFも 、ステップ S3にて算出した補間値 rgを用いて新たに算出してよい。
[0135] 次に、ステップ S6の演算処理に移る。ステップ S6は R画素の位置において欠落し た B信号を補間する。 R画素の位置における B信号は式（22)に従い次式（32)にて 算出される。 R画素は (i+n, j+m) (n, mは奇数)の位置に存在するため、これに伴 い式（22)とは、座標値が異なるものとなる。
[0136] B(i+n, j+m) = {G(i+n, j+m) +q (BHPF (i+n, j+m) -GHPF (i+n, j + m))}Xr (BLPF (i+n, j+m) /GLPF (i+n, j+m))
-(32)
[0137] 図 23は、式（32)による補間の結果得られた B信号 brをそれぞれ対応する R画素位 置に 2次元的に示す。図 23にはまた、式（18)及び式（19)による補間の結果得られ た B信号 bgがそれぞれ対応する G画素位置に示されている。式（18)及び式（19)に よる補間と、式（32)による補間の結果、すべての画素の B信号が揃う。
なお、式（32)においても BLPF, BHPF, GLPF, GHPFは上述した LPFおよび H PFの出力値であるが、 GLPFおよび GHPFについては、ステップ S1およびステップ S2で算出した補間値 gr、 gbを用いて新たに算出してもよい。また、 BLPF、 BHPFも 、ステップ S4にて算出した補間値 bgを用いて新たに算出してよい。
[0138] 以上ステップ S1からステップ S6の演算により、各画素において欠落した色信号を 補間し、全画素の R, G, B信号が得られる。
[0139] 実施の形態 1及び 2において、各色の信号を生成する順序は図 17に示した順序に 限るものではなぐ信号を生成する順序を入れ替えても差し支えない。例えば、ステツ プ S1とステップ S2、ステップ S3とステップ S4、ステップ S5とステップ S6は演算の順 序を差し替えることができる。
[0140] また、実施の形態 1及び 2において、 LPFおよび HPFを 2次元のフィルタリングを行 う演算式を記載したが、補間対象画素の周囲における出力信号の相関性の判定を 行 、、相関性の強 、と判断された方向に並んだ画素の出力信号のみを用いて HPF および LPFの出力値として用 ヽても良 、。
[0141] さらに、実施の形態 1及び 2で説明した HPF7r、 7g、 7b、 LPF8r、 8g、 8b及び演 算手段 10は少なくともその一部をソフトウェアにより、即ちプログラムされたコンビユー タにより実現することができる。また、以上本発明に係る画素信号処理装置について 説明したが、これらの装置に関する説明により明らかにした画素信号処理の方法もま た本発明の一部を成す。
[0142] 実施の形態 1及び 2で説明した方法で補間を行うと、各信号 (R, G, B)間に相関が あるときは、相関を利用した画素補間を行うことができ、画像のエッジ部分など相関が 無い箇所においても、精度の高い画素補間を行うことができ、上記特許文献 1 (特開 2001— 197512号公報）に開示された方法が抱える、色の境界付近での黒ずみや 白抜けなどの画像劣化が発生すると言う問題が著しく改善される。

Claims

請求の範囲
[1] 2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 h (hは 1から Nのうちのいずれか一つ） の分光感度特性の画素信号が存在する補間対象画素位置における第 k (kは hを除 く 1から Nのうちの 、ずれか一つ）の分光感度特性の画素信号を生成する画素信号 処理装置において、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第 kの 分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領 域内の複数の画素位置における、上記第 hの分光感度特性の画素信号の低周波数 成分との差を算出する差算出手段と、
上記補間対象画素位置の近傍の領域内における上記第 kの分光感度特性の画素 信号と上記第 hの分光感度特性の画素信号との非相関の程度に対応した非相関値 を算出する非相関値算出手段と、
上記補間対象画素位置における上記第 hの分光感度特性の画素信号と、上記差と 、上記非相関値とに基づいて、上記補間対象画素位置における上記第 kの分光感 度特性の画素信号を求める補間値算出手段と
を有する画素信号処理装置。
[2] 上記補間値算出手段は、上記補間対象画素位置における上記第 hの分光感度特 性の画素信号と、上記非相関値に第 1の所定の係数を掛けたものと、上記差に第 2 の所定の係数を掛けたものとを加算することにより、上記補間対象画素位置における 上記第 kの分光感度特性の画素信号を求めることを特徴とする請求項 1に記載の画 素信号処理装置。
[3] 上記差算出手段が、
それぞれ上記第 1乃至第 Nの分光感度特性の画素信号の低周波数成分を生成す る複数のローパスフィルタと、
上記ローパスフィルタから出力される低周波数成分のうちの、上記第 kの分光感度 特性の画素信号の周波数成分と、上記第 hの分光感度特性の画素信号の周波数成 分とを選択する選択手段と、 上記選択手段で選択された上記第 kの分光感度特性の画素信号の低周波数成分 と、上記第 hの分光感度特性の画素信号の低周波数成分の差を求める差計算手段 と
を有することを特徴とする請求項 1に記載の画素信号処理装置。
[4] 2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 h (hは 1から Nのうちのいずれか一つ） の分光感度特性の画素信号が存在する補間対象画素位置における第 k (kは hを除 く 1から Nのうちの 、ずれか一つ）の分光感度特性の画素信号を生成する画素信号 処理装置において、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第 kの 分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領 域内の複数の画素位置における、上記第 hの分光感度特性の画素信号の低周波数 成分との比を算出する比算出手段と、
上記補間対象画素位置の近傍の領域内における上記第 kの分光感度特性の画素 信号と上記第 hの分光感度特性の画素信号との非相関の程度に対応した非相関値 を算出する非相関値算出手段と、
上記補間対象画素位置における上記第 hの分光感度特性の画素信号と、上記比と 、上記非相関値とに基づいて、上記補間対象画素位置における上記第 kの分光感 度特性の画素信号を求める補間値算出手段と
を有し、
上記補間値算出手段は、上記補間対象画素位置における上記第 hの分光感度特 性の画素信号と、上記非相関値に第 1の所定の係数を掛けたものとの和に、上記比 に第 2の所定の係数を掛けたものとを乗算することにより、上記補間対象画素位置に おける上記第 kの分光感度特性の画素信号を求めることを特徴とする画素信号処理 装置。
[5] 上記非相関値算出手段が、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第 kの 分光感度特性の画素信号の変化成分と、上記補間対象画素位置の近傍の領域内 の複数の画素位置における、上記第 hの分光感度特性の画素信号の変化成分とを 生成する変化成分生成手段と、
上記変化成分生成手段で生成された上記第 kの分光感度特性の画素信号の変化 成分と、上記 hの分光感度特性の画素信号の変化成分の差を上記非相関値として 求める差計算手段と
を有することを特徴とする請求項 1に記載の画素信号処理装置。
[6] 2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 h (hは 1から Nのうちのいずれか一つ） の分光感度特性の画素信号が存在する補間対象画素位置における第 k (kは hを除 く 1から Nのうちの 、ずれか一つ）の分光感度特性の画素信号を生成する画素信号 処理方法において、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第 kの 分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領 域内の複数の画素位置における、上記第 hの分光感度特性の画素信号の低周波数 成分との差を算出する差算出ステップと、
上記補間対象画素位置の近傍の領域内における上記第 kの分光感度特性の画素 信号と上記第 hの分光感度特性の画素信号との非相関の程度に対応した非相関値 を算出する非相関値算出ステップと、
上記補間対象画素位置における上記第 hの分光感度特性の画素信号と、上記差と 、上記非相関値とに基づいて、上記補間対象画素位置における上記第 kの分光感 度特性の画素信号を求める補間値算出ステップと
を有する画素信号処理方法。
[7] 上記補間値算出ステップは、上記補間対象画素位置における上記第 hの分光感度 特性の画素信号と、上記非相関値に第 1の所定の係数を掛けたものと、上記差に第 2の所定の係数を掛けたものとを加算することにより、上記補間対象画素位置におけ る上記第 kの分光感度特性の画素信号を求めることを特徴とする請求項 6に記載の 画素信号処理方法。
[8] 上記差算出ステップが、 それぞれ上記第 1乃至第 Nの分光感度特性の画素信号の低周波数成分を生成す
Figure imgf000035_0001
上記ローパスフィルタンリングステップにおけるフィルタリングにより得られる低周波 数成分のうちの、上記第 kの分光感度特性の画素信号の周波数成分と、上記第 hの 分光感度特性の画素信号の周波数成分とを選択する選択ステップと、
上記選択ステップで選択された上記第 kの分光感度特性の画素信号の低周波数 成分と、上記第 hの分光感度特性の画素信号の低周波数成分の差を求める差計算 ステップと
を有することを特徴とする請求項 6に記載の画素信号処理方法。
[9] 2次元平面上に配列され、各々が第 1乃至第 Nの分光感度特性のうちのいずれか 1 つを有する画素の画素信号の組に基づき、第 h (hは 1から Nのうちのいずれか一つ） の分光感度特性の画素信号が存在する補間対象画素位置における第 k (kは hを除 く 1から Nのうちの 、ずれか一つ）の分光感度特性の画素信号を生成する画素信号 処理方法において、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第 kの 分光感度特性の画素信号の低周波数成分と、上記補間対象画素位置の近傍の領 域内の複数の画素位置における、上記第 hの分光感度特性の画素信号の低周波数 成分との比を算出する比算出ステップと、
上記補間対象画素位置の近傍の領域内における上記第 kの分光感度特性の画素 信号と上記第 hの分光感度特性の画素信号との非相関の程度に対応した非相関値 を算出する非相関値算出ステップと、
上記補間対象画素位置における上記第 hの分光感度特性の画素信号と、上記比と 、上記非相関値とに基づいて、上記補間対象画素位置における上記第 kの分光感 度特性の画素信号を求める補間値算出ステップと
を有し、
上記補間値算出ステップは、上記補間対象画素位置における上記第 hの分光感度 特性の画素信号と、上記非相関値に第 1の所定の係数を掛けたものとの和に、上記 比に第 2の所定の係数を掛けたものとを乗算することにより、上記補間対象画素位置 における上記第 kの分光感度特性の画素信号を求めることを特徴とする画素信号処 理方法。
上記非相関値算出ステップが、
上記補間対象画素位置の近傍の領域内の複数の画素位置における、上記第 kの 分光感度特性の画素信号の変化成分と、上記補間対象画素位置の近傍の領域内 の複数の画素位置における、上記第 hの分光感度特性の画素信号の変化成分とを 生成する変化成分生成ステップと、
上記変化成分生成ステップで生成された上記第 kの分光感度特性の画素信号の 変化成分と、上記 hの分光感度特性の画素信号の変化成分の差を上記非相関値と して求める差計算ステップと
を有することを特徴とする請求項 6に記載の画素信号処理方法。
PCT/JP2005/013454 2004-11-04 2005-07-22 画素信号処理装置及び画素信号処理方法 Ceased WO2006048962A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/582,501 US7554583B2 (en) 2004-11-04 2005-07-22 Pixel signal processor and pixel signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-320181 2004-11-04
JP2004320181A JP3926363B2 (ja) 2004-11-04 2004-11-04 画素信号処理装置及び画素信号処理方法

Publications (1)

Publication Number Publication Date
WO2006048962A1 true WO2006048962A1 (ja) 2006-05-11

Family

ID=36318979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/013454 Ceased WO2006048962A1 (ja) 2004-11-04 2005-07-22 画素信号処理装置及び画素信号処理方法

Country Status (5)

Country Link
US (1) US7554583B2 (ja)
JP (1) JP3926363B2 (ja)
KR (1) KR100755601B1 (ja)
TW (1) TWI267309B (ja)
WO (1) WO2006048962A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184174B2 (en) * 2005-09-01 2012-05-22 Olympus Corporation Image processor and image processing program to correct a spatial frequency band of an image

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057675B2 (ja) * 2006-03-03 2012-10-24 オリンパスメディカルシステムズ株式会社 生体観察装置
JP2007293431A (ja) * 2006-04-21 2007-11-08 Megachips Lsi Solutions Inc 画像処理装置
JP4735978B2 (ja) * 2006-07-21 2011-07-27 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4626636B2 (ja) * 2007-09-18 2011-02-09 ソニー株式会社 ディジタル信号処理装置、液晶表示装置、ディジタル信号処理方法及びコンピュータプログラム
JP5098054B2 (ja) * 2007-11-22 2012-12-12 オリンパス株式会社 画像処理装置及び画像処理プログラム
TWI346452B (en) * 2008-03-17 2011-08-01 Holtek Semiconductor Inc Low pass filtering method
US8229212B2 (en) * 2008-04-08 2012-07-24 Qualcomm Incorporated Interpolation system and method
KR101580168B1 (ko) * 2008-12-30 2015-12-24 주식회사 동부하이텍 컬러 보간 장치
EP2380345B1 (en) * 2009-01-16 2016-10-26 Dual Aperture International Co. Ltd. Improving the depth of field in an imaging system
JP5248368B2 (ja) * 2009-03-06 2013-07-31 株式会社東芝 画像処理装置
JP5306061B2 (ja) * 2009-06-01 2013-10-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5663564B2 (ja) 2010-04-20 2015-02-04 富士フイルム株式会社 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム
WO2011132619A1 (ja) 2010-04-20 2011-10-27 富士フイルム株式会社 固体撮像素子及び撮像装置
JP5895849B2 (ja) * 2011-01-28 2016-03-30 日本電気株式会社 ２次元信号符号化装置
JP6407643B2 (ja) * 2014-09-19 2018-10-17 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理システム及び画像処理方法
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11168744A (ja) * 1997-12-05 1999-06-22 Sharp Corp データ補間処理方法及びそれを用いたカラー撮像装置
JP2001078211A (ja) * 1999-09-08 2001-03-23 Mitsubishi Electric Corp 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
JP2001086523A (ja) * 1999-09-09 2001-03-30 Fuji Photo Film Co Ltd 信号生成方法および装置並びに記録媒体
JP2002525722A (ja) * 1998-09-15 2002-08-13 フェーズ・ワン・アクティーゼルスカブ 画像処理方法とシステム
JP2003092765A (ja) * 2001-09-18 2003-03-28 Olympus Optical Co Ltd 信号処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630307A (en) * 1984-09-10 1986-12-16 Eastman Kodak Company Signal processing method and apparatus for sampled image signals
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
GB9605527D0 (en) * 1996-03-15 1996-05-15 Vlsi Vision Ltd Image restoration
JP4269366B2 (ja) 1997-11-28 2009-05-27 ソニー株式会社 カメラ信号処理装置及びカメラ信号処理方法
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JP3968480B2 (ja) 1997-12-12 2007-08-29 ソニー株式会社 相関値算出回路およびその算出方法
JP3997273B2 (ja) 1998-02-25 2007-10-24 有限会社ビーテック 単板カラーカメラの信号補間方法
US6415053B1 (en) * 1998-04-20 2002-07-02 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US6791609B2 (en) * 1999-12-20 2004-09-14 Texas Instruments Incorporated Digital still camera system and method
JP2001197512A (ja) 2000-01-14 2001-07-19 Mitsubishi Electric Corp 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
JP2002112276A (ja) 2000-09-29 2002-04-12 Toshiba Corp カラー固体撮像装置
US7071978B2 (en) * 2001-07-18 2006-07-04 Hewlett-Packard Development Company, L.P. Image mosaic data reconstruction
US7236190B2 (en) * 2002-10-31 2007-06-26 Freescale Semiconductor, Inc. Digital image processing using white balance and gamma correction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11168744A (ja) * 1997-12-05 1999-06-22 Sharp Corp データ補間処理方法及びそれを用いたカラー撮像装置
JP2002525722A (ja) * 1998-09-15 2002-08-13 フェーズ・ワン・アクティーゼルスカブ 画像処理方法とシステム
JP2001078211A (ja) * 1999-09-08 2001-03-23 Mitsubishi Electric Corp 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
JP2001086523A (ja) * 1999-09-09 2001-03-30 Fuji Photo Film Co Ltd 信号生成方法および装置並びに記録媒体
JP2003092765A (ja) * 2001-09-18 2003-03-28 Olympus Optical Co Ltd 信号処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184174B2 (en) * 2005-09-01 2012-05-22 Olympus Corporation Image processor and image processing program to correct a spatial frequency band of an image

Also Published As

Publication number Publication date
JP3926363B2 (ja) 2007-06-06
KR100755601B1 (ko) 2007-09-06
US7554583B2 (en) 2009-06-30
US20070019087A1 (en) 2007-01-25
TW200616465A (en) 2006-05-16
TWI267309B (en) 2006-11-21
JP2006135468A (ja) 2006-05-25
KR20070042493A (ko) 2007-04-23

Similar Documents

Publication Publication Date Title
JP2020043435A (ja) 画像処理装置、画像処理方法および画像処理プログラム
USRE47062E1 (en) Image processing apparatus and method for generating a restoration image
JP3926363B2 (ja) 画素信号処理装置及び画素信号処理方法
JP4700445B2 (ja) 画像処理装置および画像処理プログラム
EP2184915A1 (en) Image processing device, image processing method, and image processing program
US20030197793A1 (en) Imaging device
US8111299B2 (en) Demosaicking single-sensor camera raw data
US8131110B2 (en) Reducing signal overshoots and undershoots in demosaicking
US7609305B2 (en) Methods and systems for anti shading correction in image sensors
JP4246428B2 (ja) トーンスケール関数の生成方法
JP5786355B2 (ja) デフォーカス量検出装置および電子カメラ
JP3729842B1 (ja) 画素信号処理装置及び方法
JP2004229055A (ja) 画像処理装置
CN100589582C (zh) 图像处理装置、非摄像色信号算出装置以及图像处理方法
JP2012239133A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP4334484B2 (ja) 画素信号処理装置及び方法
JP5228929B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4334496B2 (ja) 画素信号処理装置、及び画素信号処理方法
JP4334488B2 (ja) 画素信号処理装置及び方法
JPWO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP4374726B2 (ja) 撮影装置、及び記憶媒体
JP2023082340A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2000278703A (ja) 撮像装置及びカラー撮像信号の処理方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2007019087

Country of ref document: US

Ref document number: 10582501

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020067013924

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 10582501

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05766436

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP