WO2005112470A1 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2005112470A1
WO2005112470A1 PCT/JP2005/008827 JP2005008827W WO2005112470A1 WO 2005112470 A1 WO2005112470 A1 WO 2005112470A1 JP 2005008827 W JP2005008827 W JP 2005008827W WO 2005112470 A1 WO2005112470 A1 WO 2005112470A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpolation
circuit
image processing
sensitivity difference
pixel
Prior art date
Application number
PCT/JP2005/008827
Other languages
English (en)
French (fr)
Inventor
Taketo Tsukioka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to US11/596,207 priority Critical patent/US8259202B2/en
Publication of WO2005112470A1 publication Critical patent/WO2005112470A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention provides an image processing apparatus and an image processing apparatus that processes an image output from a single-chip imaging system, a two-chip imaging system, or a three-chip pixel-shifted imaging system to generate a color digital image having three color component values for each pixel. It concerns the processing program. Background technology
  • Single-chip imaging systems used in digital cameras and the like use a single-chip image sensor with a different color filter for each pixel.In the output image from the device, one type of color is used for each pixel. Only component values can be obtained. As a result, in order to generate a color digital image, interpolation processing is needed to compensate for missing color component values at each pixel. This interpolation process is also required when using a two-chip imaging system or a three-pixel pixel shift imaging system. Unless the processing method is devised when performing the interpolation processing, the final color image will be degraded such as blurred or false colors. For this reason, various methods have been proposed.
  • FIG. 1 is an explanatory diagram showing a conventional example based on edge detection described in Japanese Patent Application Laid-Open No. 8-289686.
  • a single-chip Bayer array image sensor having a color filter arrangement shown in FIG.
  • a cross-shaped neighborhood is taken around B5, which is the pixel of interest, and the interpolation values Gh, Gv for G in the horizontal and vertical directions for the pixel of interest are As shown in (1),
  • Gv (G2 + G8) / 2 + (2 * B5-Bl-B9) / 4 (1) It is estimated.
  • the present invention has been made in view of such problems of the related art, and has an image processing apparatus and an image processing apparatus having a configuration capable of performing an interpolation process with high accuracy and little side effect even when there is a variation in sensor sensitivity.
  • the purpose is to provide a processing program. Disclosure of the invention
  • the image processing apparatus employs an image processing apparatus in which an image is captured by an imaging device having a sensitivity difference between pixels for acquiring a specific color component.
  • a plurality of interpolation means for compensating for missing color components at each pixel of the data;
  • a mixing means for mixing outputs from the plurality of interpolation means; and
  • a control means for controlling at least one of the interpolation means and the mixing means in accordance with the sensitivity difference.
  • An image processing apparatus is an image processing apparatus that processes data captured by an image sensor having a sensitivity difference between pixels for acquiring a specific color component.
  • Each pixel of the data has a plurality of interpolating means for compensating for missing color components, and a mixing means for mixing outputs from the plurality of interpolating means, wherein the interpolating means and the mixing means determine the sensitivity difference. It is characterized by being set according to. According to this configuration, the interpolation means and the mixing means are set so as to be able to cope with a case where there is a sensitivity difference in the input data, so that an interpolation result without failure is obtained.
  • the image processing apparatus is characterized in that at least one of the plurality of interpolation means is a linear filter, and a coefficient thereof is set according to the sensitivity difference. I do. According to this configuration, since the filter coefficient is set so that the effect of the sensitivity difference does not affect the interpolation result, an interpolation result that does not fail even for input data having a sensitivity difference can be obtained.
  • the image processing apparatus according to the first embodiment or the second embodiment.
  • the coefficient is set so that an amplification degree of a frequency component generated in the data due to the sensitivity difference is suppressed to a predetermined range. According to this configuration, it is possible to eliminate the influence of the sensitivity difference on the interpolation result by removing the frequency component that the sensitivity difference gives to the interpolation result.
  • control means includes sensitivity difference estimating means for estimating a sensitivity difference of the image sensor, and performs control based on the estimation result.
  • the sensitivity difference estimating means estimates the sensitivity difference based on a type of the image sensor or an imaging condition of the data. I do.
  • the method of estimating a general sensitivity difference (for example, comparing the values of pixels of the same color component in an image) makes it possible to reduce the amount of occurrence of the sensitivity difference specific to a specific sensor or specific shooting conditions. It can respond optimally to patterns.
  • the image processing apparatus wherein the mixing means has a selection means for selecting any one of the plurality of interpolation results, and the control means comprises: The selection means determines which of the interpolation results to select in accordance with According to this configuration, an optimal interpolation result can be selected according to the sensitivity difference, and even if there is a sensitivity difference, interpolation processing without failure can be performed.
  • the image processing apparatus wherein the mixing means includes weighted averaging means for weighing the plurality of interpolation results, and the control means is configured to perform the averaging according to the sensitivity difference.
  • the weight of the weighted averaging means is determined. According to this configuration, a plurality of interpolation results are obtained according to the sensitivity difference. Optimal weighted averaging can be performed, and interpolation processing without failure can be performed even when there is a sensitivity difference.
  • control means has a sensitivity difference measuring means for measuring an amount of a sensitivity difference remaining in the result of the plurality of interpolation results.
  • the mixing means is controlled based on the measurement result. According to this configuration, after directly measuring the effect of the sensitivity difference included in the interpolation result, the mixing means can be controlled so as to reduce the effect of the sensitivity difference, so that the sensitivity difference can be more reliably calculated than the indirect sensitivity difference estimation. This can prevent the interpolation result from being broken.
  • control means includes a direction determination means for determining an edge direction in the vicinity of each pixel of the data, and the mixing is performed based on a result of the direction determination. Controlling the means.
  • the image processing program for color component interpolation transmits, to a computer, data captured by an image sensor having a sensitivity difference between pixels for acquiring a specific color component.
  • the image processing program for color component interpolation stores, in a computer, data captured by an image sensor having a sensitivity difference between pixels for acquiring a specific color component.
  • the plurality of interpolation processing procedures and the mixing procedure are set according to the sensitivity difference.
  • the controlling step includes a step of setting the coefficient of the filter so that the amplification degree of the frequency component generated in the data due to the sensitivity difference is suppressed to a predetermined range.
  • the image processing program for color component interpolation includes: changing a sensitivity difference of the image sensor to a type of the image sensor or a photographing condition of the data. It includes a procedure for estimating based on the base.
  • the step of mixing includes a step of performing a weighted average process of performing a weighted average of the results of the plurality of interpolation processes.
  • the controlling step is Determining a weight of the weighted averaging process according to the sensitivity difference.
  • the controlling step includes a step of determining an edge direction near each pixel of the data. Controlling the mixing procedure based on the processing result of the step of determining the edge direction.
  • the image processing program for color component interpolation includes a software Xa for performing color component interpolation processing of image data having a sensitivity difference between pixels for acquiring a specific color component. Can do it.
  • FIG. 1 is an explanatory diagram of the prior art.
  • FIG. 2 is a configuration diagram of the first embodiment.
  • FIG. 3 is a configuration diagram of the G interpolation circuit 106.
  • FIG. 4 is an explanatory diagram of the interpolation method of the interpolation circuit A113.
  • FIG. 5 is a flowchart of the processing of the G interpolation circuit 106.
  • FIG. 6 is an explanatory diagram of the G step.
  • FIG. 7 is a characteristic diagram of the function g.
  • FIG. 8 is an explanatory diagram of the neighborhood pattern processed by the RB interpolation circuit 109.
  • FIG. 9 is an explanatory diagram of the processing of the RB interpolation circuit 109.
  • FIG. 10 is a flowchart corresponding to the first embodiment.
  • FIG. 11 is a configuration diagram of the second embodiment.
  • FIG. 12 is a configuration diagram of the G interpolation circuit 206.
  • FIG. 13 is a flowchart of the processing of the G interpolation circuit 206.
  • FIG. 14 is a characteristic diagram of the linear filter.
  • FIG. 15 is a configuration diagram of the third embodiment.
  • FIG. 16 is a configuration diagram of the G interpolation circuit 306.
  • FIG. 17 is a flowchart corresponding to the second embodiment.
  • FIG. 18 is a characteristic diagram of a filter used in the level difference detection circuit 320.
  • FIG. 19 is a configuration diagram of the fourth embodiment.
  • FIG. 20 is a configuration diagram of the RB interpolation circuit 409.
  • FIG. 21 is an explanatory diagram of the interpolation method of the G interpolation circuit 406.
  • FIG. 22 is a flowchart of the process of the RB interpolation circuit 409.
  • FIG. 23 is an explanatory diagram of data used in the RB interpolation circuit 409.
  • FIG. 24 is a characteristic diagram of a filter used in the LPF circuit 420.
  • FIG. 25 is a configuration diagram of the G interpolation circuit 406.
  • FIG. 26 is a configuration diagram of the G interpolation circuit 206 in a modification of the second embodiment.
  • FIG. 27 is a configuration diagram of the RB interpolation circuit 409 in the modification of the fourth embodiment.
  • FIG. 28 is an explanatory diagram illustrating an example of a color difference signal.
  • FIG. 29 is a flowchart corresponding to a modification of the second embodiment.
  • FIG. 30 is a flowchart corresponding to the fourth embodiment.
  • FIG. 31 is a flowchart corresponding to a modification of the fourth embodiment.
  • FIG. 2 is a configuration diagram of the first embodiment
  • FIG. 3 is a configuration diagram of the G interpolation circuit 106
  • FIG. 4 is an explanatory diagram of an interpolation method of the interpolation circuit A113
  • FIG. 5 shows a processing procedure of the G interpolation circuit 106.
  • FIG. 6 is an explanatory diagram of the G step
  • FIG. 7 is a characteristic diagram of the function g
  • FIG. 8 is an explanatory diagram of a neighborhood pattern processed by the RB interpolator 109
  • FIG. 9 is an explanatory diagram of the process of the RB interpolator 109
  • a digital camera 100 includes an optical system 101, a single-chip Bayer array CCD102, and an A / D circuit 103 that performs gain adjustment, A / D conversion of the output from the single-chip Bayer array CCD102, and outputs the digital image. Is provided.
  • a noise reduction circuit 105 for reducing noise caused by the single-chip Bayer array CCD 102 with respect to the output of the A / D circuit 103 and recording the result in the single-chip image buffer 104 is provided.
  • the output of the A / D circuit 103 is stored in an image buffer (first buffer), and the image signal is supplied from the first buffer to the noise reduction circuit 105. Is also good.
  • the single-chip image buffer 104 functions as a second buffer.
  • the digital camera 100 supplements the image in the single-chip image buffer 104 with the G component at the pixel position where the G component is missing by interpolation from surrounding pixels, thereby forming a G image buffer 107 (third buffer).
  • a G interpolation circuit 106 for outputting to the The optical system 101 and the single-chip Bayer array CCD 102 constitute an “imaging device” of the image processing apparatus according to claim 1.
  • the digital camera 100 further gain-adjusts the value of the pixel in which the R or B component is obtained with respect to the image in the single-chip image buffer 104, the WB correction circuit 108, and all the pixels obtained from the G image buffer 107. It has an RB interpolation circuit 109 that outputs a color image in which color components missing in all pixels are supplemented from the G component and the R and B components subjected to WB correction by the WB correction circuit 109. Also, an image quality adjustment circuit 110 for performing gradation conversion, edge enhancement, compression, etc. on the output of the RB interpolation circuit 109, a recording circuit 111 for recording the output of the image quality adjustment circuit 110 on a recording medium, and an optical system.
  • the G interpolation circuit 106 has the configuration shown in FIG. In FIG. 3, a G interpolation circuit 106 performs two different types of interpolation processing on the image in the single-chip image buffer 104 at the pixel where the G component is missing, and an interpolation circuit B1 14 and an interpolation circuit It has a mixing circuit 116 that mixes the outputs of Al 13 and interpolation circuit Bl 14 to generate G components for all pixels.
  • the interpolation circuit A113 and the interpolation circuit B114 of the G interpolation circuit 106 correspond to the “plurality of interpolation means for compensating for missing color components” according to claim 1 of the present invention. Further, the mixing circuit 116 corresponds to “a mixing means for mixing outputs from a plurality of interpolation means”.
  • the G interpolation circuit 106 includes a step amount estimating circuit 115 for reading out the vicinity of the pixel processed by the mixing circuit 116 from the single-plate image buffer 104 and estimating the sensitivity difference of the G component occurring in the vicinity.
  • a mixing ratio determination circuit 117 that determines a mixing ratio in the mixing circuit 116 of the outputs from the two types of interpolation circuits based on the level difference output from the level difference estimation circuit 115 is included.
  • the level difference estimating circuit 115 and the mixing ratio determining circuit 117 correspond to the “controlling means for controlling the interpolating means and the mixing means according to the sensitivity difference”.
  • the operation of the digital camera 100 will be described.
  • an optical image by the optical system 101 is first captured by the single-chip Bayer array CCD 102 and output as an analog signal.
  • the analog signal is subjected to A / D conversion after gain adjustment by the A / D conversion circuit 103, and becomes a single-plate digital image having only one kind of color component for each pixel.
  • a noise reduction circuit 105 performs processing for reducing noise caused by the characteristics of the single-chip Bayer array CCD 102 on this image, and outputs the processed noise to a single-chip image buffer 104.
  • the G interpolation circuit 106 reads, for each pixel of the image in the single-chip image buffer 104, the neighborhood of 5 ⁇ 5 of the central pixel (pixel of interest) and performs the processing shown in the flowchart of FIG. Then, by interpolating the G component in the pixel where the G component is missing, the G component without missing in all pixels is Output to 107.
  • the interpolation circuit A113 calculates the G component VI for the central pixel of X. If the G component has already been obtained at the center pixel, the interpolation circuit A113 sets the value to V 1. If the G component has not been obtained, a known interpolation method based on direction discrimination as described below is used. In the following description, it is assumed that data as shown in FIG. 4 is obtained near the central pixel. In Fig. 4, the G component is obtained for each of the Gr.Gb pixels.However, in order to distinguish the arrangement, Gr on the same row as the R pixel and Gr on the same row as the B pixel. It is described.
  • the average Gr ' (Gr0 + Grl) / 2 of the left and right G pixels (GrO and Grl) of the center pixel (R in Fig. 4) is calculated.
  • the average Gb ' (GbO + Gbl) / 2 of the G pixels (GbO and Gbl) above and below the center pixel (R in Fig. 4) is calculated.
  • the interpolation circuit B114 calculates the G component V2 for the central pixel of X.
  • the interpolation circuit B114 stores the coefficient C—i, j (i, j is an integer from 1 to 5) of a 5 ⁇ 5 linear filter in the internal ROM, and obtains the following equation (3),
  • V2 ( ⁇ C_k.1 * X (k, l)) / ⁇ C_k.1 (3)
  • Equation (3) X (k, l) represents the pixel value at the coordinates (k.1) of the neighborhood data X, and the sum is an integer set (k , 1) Take everything.
  • the filter coefficients C-i and j are set so that their frequency characteristics become 0 at the horizontal and vertical Nyquist frequencies. Therefore, the filter coefficient C_i.j is, as described in claim 5 of the present invention, “the frequency component of the frequency component generated in the data due to the difference in sensitivity (between the pixels acquiring the specific color component).
  • the amplification degree is set to be within a predetermined range.
  • the frequency component caused by the difference in sensitivity corresponds to the Nyquist frequency.
  • the step difference estimation circuit 115 estimates how much a sensitivity difference of the G component has occurred in X.
  • the single-chip Bayer array CCD102 has a color filter array as shown in Fig. 6, but due to the characteristics of the sensor, under certain shooting conditions, the same G component is acquired between the Gr and Gb pixels. Regardless, there is a difference in sensitivity, and there is a difference between the pixel values of Gr and Gb even when shooting a flat subject. This difference is hereinafter referred to as a G step.
  • the step difference estimation circuit 115 calculates the upper limit value of the step difference between the Gr pixel and the Gb pixel generated when various objects are photographed under various lighting conditions in advance, and the surrounding R pixel value and B pixel value.
  • the conditions and amount of the G step difference depend on the manufacturer of the single-chip Bayer array CCD 102 and the imaging conditions. Therefore, in the present embodiment, the above-described table is prepared for each model number of the single-chip Bayer array CCD 102 and for each shutter speed. Then, when the step amount estimating circuit 115 operates, the control unit 112 obtains the model number of the single-chip Bayer array CCD 102 and the shutter speed at the time of photographing, and outputs them to the step amount estimating circuit 115. The step amount estimating circuit 115 obtains the step amount using a table that matches the model number of the designated single-chip Bayer array CCD102 and the shutter speed.
  • the level difference estimating circuit 115 corresponds to “sensitivity difference estimating means for estimating the sensitivity difference of the imaging device” according to claim 6.
  • the sensitivity difference estimating means estimates the sensitivity difference based on the type of the imaging device or the imaging condition of the data from the model number of the single-chip Bayer array CCD102 and the shutter speed at the time of imaging.
  • S4 The mixture ratio determination circuit 117 mixes the result of VI among the interpolation results VI and V2 obtained in the processing of Sl and S2 according to the step amount estimation value F input from the step amount estimation circuit 115.
  • the usage rate ⁇ indicating how much is used in the circuit 116 is calculated.
  • the mixing ratio determination circuit 117 uses the VI using the function g determined as shown in Fig. 7 so that even if the step remains in the interpolation result, it does not exceed the upper limit step amount T that is not visually noticeable.
  • the ratio ⁇ is determined and output to the mixing circuit 116.
  • the mixing circuit 116 corresponds to “weighted averaging means for averaging a plurality of interpolation results”.
  • the control means (mixing ratio determining circuit 117, step amount estimating circuit 115) is for "determining the weight of the weighted averaging means according to the sensitivity difference".
  • the mixing circuit 116 writes V3 at the corresponding pixel position of the G image buffer 107 as the value of the G pixel at the central pixel of 5 ⁇ 5 neighborhood.
  • the G image buffer 107 can obtain a G component without any missing pixels.
  • the WB correction circuit 108 reads one pixel at a time from the single-chip image buffer 104, and if the obtained color component is R or B, multiplies the pixel value by the gain necessary for white balance. Output to the RB interpolation circuit 109.
  • the pixel value is directly output to the RB interpolation circuit 109.
  • the RB interpolation circuit 109 sequentially holds the gain-adjusted pixel values output from the WB correction circuit 108 in an internal buffer. Then, after the process of the WB correction circuit 108 is completed for all the pixels of the single-chip image buffer 104, the RGB three-color components for all the pixels in the buffer are calculated by a known method. First, the RB interpolation circuit 109 reads 5 ⁇ 5 neighborhood of each pixel of the internal buffer. As shown in Figs. 8 (a) and (b), there are various nearby patterns depending on the color component obtained at the target pixel, but the processing method is the same.
  • the RB interpolation circuit 109 also reads from the G image buffer 107 a 5x5 neighborhood corresponding to a 5x5 neighborhood read from the internal buffer. Then, the final RGB components are calculated by the following procedure.
  • the neighborhood data read from the internal buffer is X
  • the neighborhood data read from the G image buffer 107 is Y.
  • data XR is generated from X by setting the values of pixels for which no R component has been obtained to 0.
  • data XB is generated from X in which the values of pixels for which the B component has not been obtained are set to 0.
  • R ' RL + GH-GL1.
  • the image quality adjustment circuit 110 stores a color image in which the missing color components have been compensated for in each pixel of the single-chip image buffer 104. It is output. Thereafter, the image quality adjustment circuit 110 performs processing such as color conversion, edge enhancement, and gradation conversion on the input color image, and outputs the processed color image to the recording circuit 111.
  • processing such as color conversion, edge enhancement, and gradation conversion on the input color image, and outputs the processed color image to the recording circuit 111.
  • the recording circuit 111 records the input image on a recording medium (not shown) and the recording process ends, the entire imaging operation of the digital camera 100 is completed.
  • FIG. 10 shows a flowchart of the processing procedure using software. This software performs A / D conversion of the output from the single-plate Bayer CCD and saves the MW data file for development. Hereinafter, each step of the flowchart will be described.
  • S7 Read veneer data from the RAW data file and store it in Knob 1 as a two-dimensional array.
  • S9 The buffer 2 is scanned first in the row direction and then in the column direction to select unprocessed pixels for S10 to S12. Here, if there is no unprocessed pixel, the process proceeds to S13. If there are unprocessed pixels, go to S10.
  • S10 Read the 5x5 block near the unprocessed pixel from buffer 2.
  • S13 WB processing equivalent to the WB correction circuit 108 is performed on the image in the buffer 2, and the image is output to the buffer 2.
  • S14 Scan buffer 2 first in the row direction and then in the column direction to select unprocessed pixels for S15 to S17. At this time, if there is no unprocessed pixel, go to S18.If there is an unprocessed pixel, go to S15.
  • the S15 Read the neighboring 5x5 block corresponding to the pixel position of the unprocessed pixel from buffer 2 and buffer 3.
  • FIGS. 11 to 14 and FIG. 26 show a second embodiment of the present invention.
  • 11 is a configuration diagram of the second embodiment
  • FIG. 12 is a configuration diagram of the G interpolation circuit 206
  • FIG. 13 is a flowchart of the processing of the G interpolation circuit 206
  • FIG. 14 is an interpolation circuit C213
  • FIG. 26 is a characteristic diagram of a linear filter used in the direction discriminating circuit 218, and
  • FIG. 26 is a diagram of a G interpolation circuit 206 according to a modification of the second embodiment.
  • the second embodiment is directed to a digital camera as in the first embodiment.
  • the digital camera 200 of the second embodiment is different from the digital camera 100 (FIG. 2) of the first embodiment except that the G interpolation circuit 106 is changed to a G interpolation circuit 206.
  • FIG. 12 shows the configuration of the G interpolation circuit 206.
  • the G interpolation circuit 206 has two types of interpolation circuits C213 and D214, a level difference estimation circuit 115, a direction discrimination circuit 218, and a selection circuit 216.
  • the level difference estimating circuit 115 inputs an image signal from the single-chip image buffer 104 and outputs the image signal to the LPF control circuit 217.
  • the interpolation circuit C213 and the interpolation circuit D214 input parameters required for interpolation from the LPF control circuit 217 and an image signal from the single-chip image buffer 104, respectively, and output the signals to the selection circuit 216.
  • the selection circuit 216 also receives an image signal from the direction determination circuit 218 and outputs the image signal to the G image buffer 107.
  • the direction determination circuit 218 inputs an image signal from the single-plate image buffer 104.
  • the G interpolation circuit 206 reads out the neighboring blocks of each pixel from the single-chip image in the single-chip image buffer 104 and reads the G component of the central pixel. Is calculated. However, the size of the read block is NxN (N is an integer of 5 or more), which is larger than that of the G interpolation circuit 106.
  • the two types of interpolation circuits C213 and D214 correspond to the “plurality of interpolation means for compensating for missing color components”.
  • the selection circuit 216 corresponds to the “mixing means” described in claim 1.
  • the level difference estimating circuit 115, the LPF control circuit 217, and the direction discriminating circuit 218 correspond to the “control means” described in claim 1.
  • the level difference estimating circuit 115 corresponds to the “sensitivity difference estimating means” described in claim 6.
  • the sensitivity difference estimating means is for “estimating the sensitivity difference based on the type of the image sensor or the photographing condition of the data”.
  • FIG. 13 is a flowchart of a process for the neighborhood of each pixel of the G interpolation circuit 206.
  • X be the data of the read neighboring block.
  • the sensitivity difference (G step difference) is obtained between the Gr pixel and the Gb pixel under a certain shooting condition despite the same G component acquisition. ) Is attached.
  • the level difference estimating circuit 115 estimates the level difference between the Gr pixel and the Gb pixel in X, similarly to S3 in FIG. 5 of the first embodiment.
  • the parameter ⁇ for the LPF control circuit 217 to control the processing in the interpolation circuit C213 and the interpolation circuit D214 is determined in accordance with the level difference F inputted from the level difference estimation circuit 115. .
  • the interpolation circuit C213 Will be described as an example.
  • the interpolator C213 has two types of linear filter coefficients.
  • the frequency characteristics of the interpolator C213 are shown in Figs. 14 (a) and (b) for the filters P-i, j, Q_i, j in the interpolator C213, for example. It is set as follows.
  • a new filter coefficient C_i, j is calculated by the mixing ratio (control ratio) input from the LPF control circuit 217 according to equation (6).
  • the filter coefficient C_i.j corresponds to the “coefficient of each filter” described in claim 3. Further, the filter coefficient C i.j is “set according to the sensitivity difference” as described in claim 4.
  • the filter coefficient P_i, j in the interpolation circuit C213 corresponds to the “coefficient” according to claim 5.
  • FIG. 7 shows an example of a desirable characteristic of the function g.
  • X (k, l) represents the pixel value at the coordinates (k, 1) of the neighborhood data X, and the sum is In this case, all the pairs of integers representing the coordinates of the pixel from which the G component is obtained, 1) are taken.
  • the interpolation circuit D214 performs filtering using a finoleta that mixes two types of filter coefficients as in the case of the interpolation circuit C213, but replaces them with P-- i, j and Q_i, j. The difference is that P ⁇ _i, j and Q ⁇ _i. That is, instead of Equation (5), Equation (8),
  • the direction discriminating circuit 218 discriminates the direction of the edge in the read neighborhood in order to determine which of the output VI of the interpolating circuit C213 and the output V2 of the interpolating circuit D214 is to be used in the selecting circuit 216.
  • a bandpass filter F1 for detecting horizontal edges and a bandpass filter F2 for detecting vertical edges are stored in the internal ROM.
  • the coefficient of F1 is set such that its frequency characteristic is shown in FIG. 14 (c)
  • the coefficient of F2 is set such that its frequency characteristic is shown in FIG. 14 (d).
  • the direction discrimination circuit 218 multiplies the G component of X by the filters F1 and F2, and obtains Dh and Dv as a result. At that time, in order to limit the processing to the G component, the sum is calculated only for the pixel position where the G component is obtained, similarly to the interpolation circuit C213. In general, if the direction of the nearby edge is closer to horizontal than at 45 °, Dv is larger, and if it is closer to vertical than at 45 °, Dh is larger. Then, the direction discrimination circuit 218 compares the obtained Dh with the magnitude of Dv, and when Dh is less than Dv, judges that it is a horizontal edge and outputs 1 to the selection circuit 216. If Dh> Dv, it is determined as a vertical edge and 0 is output to the selection circuit 216.
  • the direction discriminating circuit 218 corresponds to “a direction discriminating unit that determines an edge direction near each pixel of data” according to claim 12.
  • V3 (Dv / (Dv + Dh)) * V2 + (Dh / (Dv + Dh)) * V1 (9)
  • the level difference is determined for each pixel and the processing is performed according to the level difference.
  • an interpolation process which is not affected by the level difference in advance is performed so that any level difference does not cause a failure.
  • FIG. 26 shows such a modification.
  • FIG. 26 shows the configuration of the G interpolation circuit 206 according to a modification of the second embodiment.
  • the G interpolation circuit 206 is different from the configuration of FIG. 12 in that the level difference estimation circuit 115 and the LPF control circuit 217 are omitted.
  • an interpolation circuit E223 is provided in place of the interpolation circuit C213, and an interpolation circuit F224 is provided in place of the interpolation circuit D214.
  • the operation of the other circuits is the same in the modified example.
  • the interpolation circuit E223 is different from the interpolation circuit C213 in that the interpolation circuit C213 has two types of filters P i .j. Filtering is performed only with i and j.
  • the interpolation circuit F224 performs filtering only with P P—i, j.
  • the selection circuit 216 in the example of FIG. 26 has an operation of selecting either the interpolation result of the interpolation circuit E223 or the interpolation result of the interpolation circuit F224. This is equivalent to “selection means for selecting”.
  • the configuration in FIG. 26 corresponds to the requirement described in claim 2. That is, the interpolation circuit E223 and the interpolation circuit F224 correspond to “a plurality of interpolation means for compensating for missing color components in each pixel of data” in claim 2.
  • the selection circuit 116 corresponds to “mixing means for mixing outputs from the plurality of interpolation means”.
  • the interpolating means and the mixing means are “set according to a sensitivity difference (between pixels acquiring the specific color component)” according to claim 2.
  • the corresponding processing can be realized by software also in the modification shown in FIG.
  • the inter-G processing of FIG. 11 may be replaced with the flowchart of FIG.
  • the flowchart of FIG. 29 will be described.
  • S70 Performs the same filter processing as interpolator E223, and sets the result to VI.
  • S71 Performs the same filter processing as interpolation circuit F224, and sets the result to V2.
  • S72 The same edge direction discrimination processing as in the direction discrimination circuit 218 is performed, and the process proceeds to S73 where the edge is determined as a horizontal edge and S74 where the edge is determined as a vertical edge.
  • S73 The result VI of S70 is set as the final G component interpolation result V3.
  • S74 The result V2 of S71 is set as the final G component interpolation result V3.
  • FIG. 15 to 18 show a third embodiment of the present invention.
  • FIG. 15 is a block diagram of the third embodiment
  • FIG. 16 is a block diagram of the G interpolation circuit 306
  • FIG. 17 is a flowchart of RAW development software corresponding to the third embodiment
  • FIG. FIG. 6 is a characteristic diagram of a filter used in the circuit 320.
  • Third embodiment example Is directed to a digital camera as in the first embodiment.
  • the digital camera 300 of the third embodiment is different from the digital camera 100 of the first embodiment (FIG. 2) except that the G interpolation circuit 106 is changed to a G interpolation circuit 306.
  • the composition and work are the same for ffl.
  • the same components as those in FIG. 2 are denoted by the same reference numerals, and detailed description is omitted.
  • FIG. 16 is a configuration diagram of the G interpolation circuit 306, which includes two types of interpolation circuits A113 and B114, an internal buffer A317 and an internal buffer B318 holding respective outputs, a step detection circuit 320, and a selection circuit. Consists of 319.
  • the level difference detection circuit 320 and the selection circuit 319 input from the internal buffer A317 and the internal buffer B318.
  • the level difference detection circuit 320 outputs to the selection circuit 319, and the selection circuit 319 outputs to the G image buffer 107.
  • the interpolation circuit A113 and the interpolation circuit B114 perform the same operation as in the first embodiment.
  • FIG. 17 is a flowchart showing the processing of the G interpolation circuit 306. Similar to the G interpolation circuit 106 in the first embodiment, the G interpolation circuit 306 converts the image obtained by compensating for the lack of the G component in all pixels with respect to the single image in the single image buffer 104 into a G image. Generated in buffer 107.
  • a buffer is provided inside, and once the interpolation results of the two types of G components for the entire single image in the single image buffer 104 are generated in the buffer, Each pixel determines which of the two types of interpolation results is to be selected, and the final output is obtained.
  • FIG. 17 the flowchart of FIG. 17 will be described.
  • the interpolation circuit B114 performs the same process on X as S2 in the flowchart of FIG. 5 in the first embodiment. Therefore, the coefficient C i, j of the linear filter corresponds to the “coefficient” described in claim 5. Then, the processing result V2 is written to the pixel Q at the pixel position corresponding to P in the internal buffer B318.
  • the G interpolation circuit 306 scans the internal buffer A317, identifies one pixel P that has not been subjected to the processing described below, and reads the neighboring MxM block. At the same time, an MxM block near the pixel Q corresponding to the pixel position of P is read from the internal buffer B318.
  • M is a predetermined integer of 7 or more.
  • the neighborhood block of P is Na
  • the neighborhood block of Q is Nb.
  • the level difference detection circuit 320 determines the level difference between the Gr pixel and the Gb pixel in the read neighboring Na based on how much the Nyquist frequency component is included in the neighborhood. For this purpose, the level difference detection circuit 320 internally holds a filter coefficient of size MxM such that the frequency characteristics in the horizontal and vertical directions are as shown in FIG. Then, this filter is applied to Na, and the absolute value of the output is used as the step difference estimated value F, and the amplitude intensity at the Nyquist frequency at the pixel position P is estimated.
  • the step difference detection circuit 320 determines that the step near the pixel P is below the level that is conspicuous when the step difference estimated value F is equal to or larger than the internally set threshold T, and outputs 1 to the selection circuit 319. I do. In addition, the step difference estimated value F is determined internally. If the difference is equal to or smaller than the threshold T, 0 is output to the selection circuit 319.
  • S48 On the other hand, when 0 is input from the level difference detection circuit 320, the pixel value of the center (attention) of the pixel Q is read from the internal buffer 7B318, and the pixel corresponding to the pixel ⁇ of the image in the single-chip image buffer 104 is read. The final interpolation result at the position is V3. S49: Then, the final interpolation result V3 is written to the pixel position of the G image buffer 107 corresponding to the pixel ⁇ . S50: When the processes from S44 to S49 are completed for all the pixels in the internal buffer A317, the G interpolation circuit 306 terminates all the processes. If all the processes have not been completed, the process returns to S44, and the loop process from S44 to S50 is repeated.
  • the same processing as the processing by the G interpolation circuit 306 can be performed by software.
  • the processing of S9 to S12 is replaced with the processing of S40 to S50 of FIG.
  • the processing may be shifted from the processing in S50 to the processing in S13 in FIG.
  • the two types of interpolation circuits A113 and B114 in FIG. 16 correspond to the “plurality of interpolation means” described in claim 1.
  • the selection circuit 319 corresponds to the “mixing means” described in claim 1.
  • the selection circuit 319 (“mixing means”) selects one of the interpolation results of the two types of interpolation circuits A113 and B114, and thus selects one of the plurality of interpolation results described in claim 8. It has a selection means for selecting whether the Further, the level difference detection circuit 320 corresponds to the “control means” according to claim 1. Note that the level difference detection circuit 320 corresponds to “a sensitivity difference measuring means for measuring an amount of a sensitivity difference remaining in a result among a plurality of interpolation results” according to claim 11.
  • FIG. 19 to 25 and 27 show a fourth embodiment of the present invention.
  • 19 is a configuration diagram of the fourth embodiment
  • FIG. 20 is a configuration diagram of the RB interpolation circuit 409
  • FIG. 21 is an explanatory diagram of the interpolation method of the G interpolation circuit 406,
  • FIG. 22 is a flowchart of the processing of the RB interpolation circuit 409.
  • FIG. 23 is an explanatory diagram of data used in the RB interpolation circuit 409
  • FIG. 24 is a characteristic diagram of a filter used in the LPF circuit 420
  • FIG. 25 is a configuration diagram of the G interpolation circuit 406
  • FIG. 15 is a configuration diagram of an RB interpolation circuit 409 in a modification of the embodiment.
  • This embodiment is directed to a digital camera as in the first embodiment.
  • the digital camera 400 is different from the digital camera 100 (FIG. 2) of the first embodiment in that a G interpolation circuit 406 is used instead of the G interpolation circuit 106, a G image buffer H417 and a G image are used instead of the G image buffer 104.
  • the difference is that an RB interpolation circuit 409 is provided instead of the buffer V418 and the RB interpolation circuit 109, but the configuration and operation in other points are the same.
  • the same components as those in FIG. 2 are denoted by the same reference numerals, and detailed description is omitted.
  • the G interpolation circuit 406 has the configuration shown in FIG. 25, and includes an interpolation circuit H441 and an interpolation circuit V442.
  • the interpolation circuit H441 outputs to the G image buffer H417
  • the interpolation circuit V442 outputs to the G image buffer V418.
  • the RB interpolation circuit 409 has the configuration shown in FIG. 20, and includes an internal buffer 424 for holding the output from the WB correction circuit 108, a G image buffer H417, a G image buffer V418, and an internal buffer.
  • An LPF circuit 420 input from the 424, a step amount estimation circuit 423 and a direction determination circuit 422 connected to the internal buffer 424 are provided.
  • a direction discriminating circuit 422 an internal buffer 424, a G image buffer H417, a G image buffer V418, an LPF circuit 420, and a mixing circuit 421 connected to the image quality adjusting circuit 110 are provided. . Next, the operation of the present embodiment will be described.
  • the G interpolation circuit 406 performs the following operation for each pixel of the image in the single-chip image buffer 104. First, the type of the color component obtained at each pixel in the single-chip image buffer 104 is examined. If the obtained color component is G, the processing for that pixel is skipped, and the processing moves to the next pixel.
  • the interpolation circuit H441 calculates the average Gh of the left and right G pixels of the center pixel P, and the interpolation circuit H442 calculates the average Gv of the upper and lower G pixels. For example, if the neighborhood of 3x3 is as shown in Fig. 21, Gh and Gv are given by Eq.
  • Gv (Gb0 + Gbl) / 2 (10) Then, Gh is written into an address corresponding to P in the G image buffer H417, and Gv is written into an address corresponding to P in the G image buffer V418.
  • the WB correction circuit 108 reads out the single-chip image buffer 104 one pixel at a time, and when the obtained color component is R or B, After multiplying the pixel value by the gain necessary for balance, the pixel value is output to the internal buffer 424 of the RB interpolation circuit 409. If the obtained color component is G, the pixel value is directly output to the internal buffer 424 of the RB interpolation circuit 409.
  • a single-chip image after WB correction is obtained in the internal buffer 424. This image is hereinafter referred to as Z.
  • the RB interpolation circuit 409 performs an interpolation process on the vicinity of each pixel of Z according to the following principle. Then, the obtained RGB three color components are sequentially output to the image quality adjustment circuit 110.
  • the horizontal and vertical color difference signals RG and BG are generated at the position of the R pixel or B pixel, and the result is interpolated to obtain the Obtain the color difference components in the horizontal and vertical directions.
  • the color differences in the horizontal and vertical directions are mixed according to the direction of the nearby edge, and the color difference component of the central pixel in the vicinity is estimated.
  • the G component of the neighboring central pixel is estimated, and the color difference component obtained in (2) is added to the estimation result to obtain the final R component and B component for the central pixel.
  • a sensitivity difference occurs between G pixels in different rows or columns due to the characteristics of the single-chip Bayer array CCD 102.
  • FIG. 28 is an explanatory diagram showing what kind of color difference signal can be obtained in the flat part when there is a G step due to the process (1).
  • FIG. 28 (a) shows single-plate data when a flat gray object is photographed, but the values differ between the Gr pixel and the Gb pixel due to the apparent sensitivity difference.
  • processing (1) is performed on this veneer data (Figs. 28 (b) and (c))
  • the horizontal color difference component and the vertical A value difference occurs between the color difference components despite the flat portion.
  • the difference is constant regardless of the pixel position.
  • the RB interpolation circuit 409 estimates the amount of the G step in the vicinity, and changes the interpolation method based on the estimated amount of the step to remove the influence of the step.
  • the horizontal and vertical color difference components are divided into high-frequency components and low-frequency components, and the high-frequency components are mixed at a mixing ratio based on the direction of the neighboring edges.
  • the mixing ratio is made variable according to the level difference.When the level difference is small, the mixing ratio is the same as the high-frequency component, and when the level difference is large, the mixing ratio is uniform regardless of the direction. Near mixing ratio Control so that Then, the mixed low-frequency component and high-frequency component are added to create a final color difference component.
  • the interpolation circuit H441 and the interpolation circuit V442 correspond to the “interpolating means” of claim 1.
  • the mixing circuit 421 corresponds to the “mixing means” of claim 1.
  • the level difference estimating circuit 423 and the direction discriminating circuit 422 correspond to the “control means” of claim 1.
  • the level difference estimating circuit 423 corresponds to the “sensitivity difference estimating means” of Claim 6.
  • the mixing circuit 421 corresponds to “weighted averaging means” in claim 9
  • the direction discriminating circuit 422 corresponds to “direction discriminating means” in claim 12.
  • the RB interpolation circuit 409 reads the vicinity of N ⁇ N of the target pixel Q from the internal buffer 424.
  • N is a predetermined integer.
  • the read neighbor data is referred to as X.
  • the G interpolation result at the pixel positions corresponding to the R and B pixels included in X is read from each of the G image buffer H417 and the G image buffer V418. Let these data be YH and YV, respectively.
  • the data pattern there are cases where the shaded central pixel in X is R and G, but the processing is the same. Therefore, the flow processing will be described below only for the pattern shown in FIG.
  • the direction discrimination circuit 422 calculates the mixing ratio of the horizontal color difference component and the vertical color difference component in the above (2).
  • the direction discrimination circuit 422 first multiplies the G component of X by a bandpass filter F1 that detects a horizontal edge and a bandpass filter F2 that detects a vertical edge, and the results Dh and Get Dv.
  • the method of calculation and the frequency characteristics of F 1 and F 2 are the same as S 34 in FIG. 13 in the second embodiment.
  • the direction determination circuit 422 uses Dh and Dv to calculate The utilization rate 3 of the horizontal interpolation result and the utilization rate r of the vertical interpolation result are calculated by using Equation (11),
  • the step amount estimating circuit 423 determines the ratio ⁇ for mixing the processing results of the interpolation affected by the step and the interpolation processing not affected by the step.
  • the level difference estimating circuit 423 stores, in the internal ROM, a table in which the R pixel value and the ⁇ pixel value in the vicinity and the generated G level difference are associated with each other, similarly to S3 in FIG. 5 according to the first embodiment. Have. Then, the average R ′ of the R pixels and the average B ′ of the B pixels included in X are calculated, and these are indexed to access the table to obtain the G level difference F. Next, the final mixing ratio ⁇ is output to the mixing circuit 421 by referring to a table in which the G step amount F and the mixing ratio ⁇ are associated. This table is also provided in the ROM and preferably has the characteristics shown in FIG.
  • the LPF circuit 420 After the above processing is completed, the color difference R-G.B-G at the center of the neighborhood is estimated.
  • the LPF circuit 420 first performs the following filtering on the data of X.YH.YV.
  • F3.F4.F5 is a linear filter of the same size as X, YH, and YV, and the coefficient values are stored in the internal ROM of the LPF circuit 420.
  • a single pass filter F3 having a frequency characteristic indicated by characteristic A in FIG. 24 is applied to YH and YV to obtain Ghl.Gvl.
  • F3—k, 1 represents a coefficient of the filter F3.
  • YH (k, l) indicates the pixel value at the coordinates (k, l) of YH. Both the denominator and the numerator are an integer set (the coordinates of the pixel position at which the data is obtained in YH). k, 1) And take the sum.
  • Gh2 and Gv2 are obtained by applying a low-pass filter F4 having a frequency characteristic indicated by characteristic B in FIG. 24 to YH and YV.
  • the calculation method is the same as in equation (12).
  • the ⁇ -pass filter F4 is applied to the R.B component of X to obtain R2 and B2.
  • B2 ( ⁇ F4_s, t X (s, t)) I ⁇ F4_s, t (13)
  • X (k, l) indicates the pixel value at the coordinates (k, 1) of X.
  • both the denominator and the numerator are an integer set (k, 1) representing the coordinates of the R pixel position in X Take the sum of all
  • both the denominator and the numerator take the sum of all integer pairs (s, t) representing the coordinates of the B pixel position in X.
  • the 1 ⁇ !? circuit 420 outputs the result 6111 112,0 1 ⁇ 2,112.82 to the mixing circuit 421.
  • the color difference component R-G.B-G at the center pixel of X is obtained as follows based on the input data.
  • the color difference component Crl.Cbl which is not affected by the G step is calculated by the following equation (14).
  • the process of S64 corresponds to the requirement of claim 10. That is, the claims
  • the “multiple interpolation results” of 10 correspond to Gh and Gv in equation (10).
  • the “plurality of frequency components” correspond to Ghl and Gvl in equation (12) and Gh2-Ghl and Gv2_Gvl in equation (14).
  • “Different weights for each frequency component” correspond to the coefficient 1/2 for Ghl and Gvl in equation (14), and ⁇ for Gh2-Ghl and r for Gv2-Gvl in equation (14).
  • the LPF circuit 420 multiplies the G component of X by a mouth-pass filter F5, estimates the value GO of the G component of the central pixel of X, and outputs it to the mixing circuit 421.
  • F5 has a frequency characteristic in the horizontal and vertical directions indicated by characteristic C in FIG.
  • the formula for GO is:
  • GO ( ⁇ F5_k, 1 X (k, 1)) I ⁇ F5_k.1 (17)
  • X (k, l) indicates the pixel value at the coordinate (k.1) of X
  • the denominator and the numerator are the sums of all integer pairs (k, 1) representing the coordinates of the G pixel position in X.
  • the image quality adjustment circuit 110 When the processing of the RB interpolation circuit 409 is completed for all the pixels of the internal buffer 424, the image quality adjustment circuit 110 outputs a color image in which each pixel of the single-chip image buffer 104 has a missing color component. Will be. Subsequent processing is the same as in the first embodiment.
  • the processing similar to that of the present embodiment can be realized as software for developing a RAW data file, as in the case of the first embodiment. Specifically, in the flowchart of FIG. 10, a buffer 4 is provided in addition to the buffer 3, and a specific step is changed.
  • FIG. 30 shows the flowchart after the change. Below, the flow chart Each step will be described.
  • S80 Same as S7 in Fig. 10.
  • S81 Same as S8 in Fig. 10.
  • S82 Search for unprocessed R pixel positions or B pixel positions in buffer 2. If an unprocessed one is found, proceed to S83; otherwise, proceed to S86.
  • S83 Read the 3x3 neighborhood of the unprocessed pixel.
  • S84 Within the read neighborhood, calculate the average value Gh of the G pixels horizontally adjacent to the center pixel, and output it to the buffer 3 at the position corresponding to the target pixel.
  • S85 Calculate the average value Gv of the G pixels vertically adjacent to the central pixel in the read neighborhood, and output it to the position corresponding to the target pixel in the buffer 4.
  • the calculation expression is as shown in Expression (10).
  • S86 Same as S13 in Fig. 10.
  • S87 Search for pixels in buffer 2 that have not been processed from S87 to S90. If found, go to S88, otherwise go to S91.
  • S88 For an unprocessed pixel (hereinafter referred to as Q) in buffer 2, read the neighborhood of NxN (N is a predetermined integer) around the corresponding pixel position.
  • this data is referred to as X.
  • the step amount is determined for each pixel and the processing is performed in accordance with the judgment.However, no step is affected beforehand so that no failure occurs even if any step occurs. It is also conceivable to implement only interpolation processing.
  • FIG. 27 shows such a modification.
  • FIG. 27 shows a configuration of an RB interpolation circuit 409 according to the modification, and a step amount estimation circuit 423 is omitted from FIG.
  • a mixing circuit 431 is provided instead of the mixing circuit 421. The operation of the other circuits is the same in the modification. After calculating Crl, Cbl, and G0 according to Equations (14) and (17), the mixing circuit 431 calculates Instead of (18), the following equation (19),
  • the requirements described in FIG. 27 correspond to the requirements described in claim 2. That is, the interpolation circuit E223 and the interpolation circuit F224 correspond to “a plurality of interpolation means for compensating for missing color components in each pixel of data” in claim 2.
  • the selection circuit 116 corresponds to “mixing means for mixing outputs from the plurality of interpolation means”.
  • the interpolating means and the mixing means are “set in accordance with the sensitivity difference (between pixels acquiring the specific color component)” according to claim 2.
  • S102 Same processing as S64 in FIG. 22, but does not calculate Equations (15) and (16).
  • S103 The same as S65 in FIG.
  • S104 This is the same process as S66 in Fig. 22, except that the final R component and B component are calculated by using equation (19) instead of equation (18).
  • the image processing program according to claim 13 corresponds to the RAW development software (FIGS. 5, 10, 13, 17, 22.30) described in the first to fourth embodiments.
  • the image processing program of claim 13 similar to the invention of claim 1, it is possible to perform interpolation without failure even when there is a sensitivity difference by optimally mixing a plurality of interpolation results according to the sensitivity difference. Play an effect To do.
  • the image processing program of claim 14 corresponds to the RAW development software (FIGS. 10, 29, 30, 31) described in the modified example of the second embodiment and the modified example of the fourth embodiment.
  • the image processing program according to claim 14 is similar to the invention according to claim 2, since the interpolation means and the mixing means are set so as to be able to cope with a case where there is a sensitivity difference in the input data. The effect is obtained that a result is obtained.
  • An image processing program according to claim 15 corresponds to an embodiment of the image processing apparatus according to claims 3 and 5. That is, it corresponds to the first to third embodiments and has the following operational effects.
  • An image processing program according to claim 16 corresponds to an embodiment of the image processing apparatus according to claims 4 and 5. That is, it corresponds to the first to third embodiments, but the second embodiment corresponds to the modified example shown in FIG.
  • the image processing program according to claim 16 has the following effects.
  • B By removing the frequency component that the sensitivity difference gives to the interpolation result, the effect of the sensitivity difference on the interpolation result can be prevented.
  • An image processing program according to a seventeenth aspect corresponds to the first and second embodiments, and has the operation and effect according to the seventh aspect.
  • a general method of estimating the sensitivity difference can be used to calculate the amount or pattern of the sensitivity difference that is specific to a specific sensor or specific shooting conditions. Can respond optimally.
  • the “procedure for estimating the sensitivity difference” is S3 in FIG. 5
  • the “type of image sensor” is the model number of the image sensor in the description of S8 in FIG. 5
  • the “photographing condition” is This corresponds to the shutter speed in the description of S3 in FIG.
  • An image processing program according to claim 18 corresponds to the first and fourth embodiments, and has the effects and advantages described in claim 9. That is, a plurality of interpolation results can be optimally weighted and averaged according to the sensitivity difference, and interpolation processing without failure can be performed even when there is a sensitivity difference.
  • An image processing program corresponds to the second and fourth embodiments, and has the effects and advantages described in the twenty-second aspect. That is, high-precision interpolation can be performed by mixing a plurality of interpolation results according to the edge direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

高精度で、かつセンサの感度ばらつきがある場合でも、副作用の少ない補間処理を行える構成の画像処理装置および画像処理プログラムの提供。単板Bayer配列CCD（１０２）の出力はＡＤ変換、ノイズ低減された後、G補間回路（１０６）に入力される。G補間回路（１０６）は二種類の補間回路を有し、補間回路B（１１４）は、単板Bayer配列CCD（１０２）のＧ画素の画素値に生じる見かけ上の感度差を結果に反映させないかわりに解像力の劣る補間処理を、補間回路A（１１３）は見かけ上の感度差を結果にそのまま反映させてしまうが解像力に優れた補間処理を行う。そして、G補間回路（１０６）は注目画素における感度差の量を推定し、感度差が大きい場合は補間回路B（１１４）の結果、小さい場合は補間回路A（１１３）の結果がより多く使われるように二種類の補間回路の出力を合成して最終的な結果を出力する。

Description

明 細 書
画像処理装置および画像処理プログラム 技 術 分 野
本発明は、 単板撮像系、 または二板撮像系や三板画素ずら し撮像系 から出力された画像を処理し、 画素ごとに 3色成分値をもつカラーデ ジタル画像を生成する画像処理装置および画像処理プログラムに関す るものである。 背 景 技 術
デジタルカメラ等に利用されている単板撮像系では、 画素ごとに異な る色フ ィ ルタを装着した単板撮像素子を用いており、 素子からの出力 画像においては、 各画素につき一種類の色成分値しか得られない。 そ の結果、 カラーデジタル画像を生成するために、 各画素で欠落してい る色成分値を補う補間処理が必要となる。 この補間処理は、 二板撮像 系や三板画素ずらし撮像系を用いる場合でも同様に必要となる。 補間 処理を行なう際には、 処理方法を工夫しないと最終的なカラー画像に ぼけや偽色などの劣化が生じる。 そのため、 従来より種々の方法が提 案されている。
図 1 は、 特開平 8— 2 9 8 6 6 9号公報に記載されたエツジ検出に 基づく従来例を示す説明図である。 この従来例においては、 図 1 (a)に 示す色フィルタ配置を持つ単板 Bayer配列撮像素子を対象としている。 この撮像素子に対し、 図 1 (b)に示すように注目画素である B5の周囲に 十字状の近傍をとり、 注目画素に対する水平方向と垂直方向の Gに対す る補間値 Gh,Gvを式（1)に示されているように、
Gh = (G4+G6)/2+(2*B5-B3-B7)/4,
Gv = (G2+G8)/2+(2*B5-Bl-B9)/4 (1) と推定する。
次に、 水平、 垂直どちらの方向に段差が多いかを示す評価値 dH. dVを、 式 （2)、
dH = I G4-G6 I + I B3-2*B5+B7 I ,
dV= I G2-G8 I + I B1 -2*B5+B9 I (2) と計算し、 評価値が小さく、 より平坦と判断された方向の補間値を用 いる。 なお、 1 x 1 は Xの絶対値を表す。
上記のような画像処理と しては、 実際の撮像系では、 ライ ン間でゲ イ ンの差が生じたり、 同じ色フ ィ ルタを有する画素でもフ ィ ルタの分 光特性が微妙に違っていたりするので、 同じ色成分が得られるはずの 画素間に感度ばらつきが生じる。 しかしながら、 上記の特許文献 1 に 記載された従来技術では、 注目画素で得られている色成分自体は、 特 に補正することなくそのまま補間処理の結果と して用いている。 また、 注目画素で欠落する色成分を求める際も、 注目画素自体の情報が結果 にそのまま反映される特性となっている。 その結果、 画素間の感度ば らつきがそのまま補間処理の結果に反映されてしまい、 うつすらと格 子縞が見えるなどの副作用が生じていた、 という問題があった。
本発明は、 従来技術のこのような問題点に鑑みてなされたものであり、 高精度で、 かつセンサの感度ばらつきがある場合でも、 副作用の少な い補間処理を行える構成の画像処理装置および画像処理プログラムを 提供することを目的とする。 発 明 の 開 示
( 1 ) . 上記目的を達成するために、 本発明の第 1 の実施形態にかか る画像処理装置は、 特定色成分を取得する画素の間に感度差がある撮 像素子により撮影されたデータを処理する画像処理装匱であって、 前記データの各画素で、 欠落する色成分を補う複数の補間手段と、 前 記複数の補間手段からの出力を混合する混合手段と、 前記補間手段お よび混合手段の少なく とも一方を前記感度差に応じて制御する制御手 段と、 を有することを特徴とする。 この構成によれば、 感度差に応じ て複数の補間結果を最適に混合することで、 感度差のある場合でも破 綻のない補間が行える。
( 2 ) . 本発明の第 2の実施形態にかかる画像処理装置は、 特定色成 分を取得する画素の間に感度差がある撮像素子により撮影されたデー タを処理する画像処理装置であって、
前記データの各画素で、 欠落する色成分を補う複数の補間手段と、 前記複数の補間手段からの出力を混合する混合手段とを有し、 前記補 間手段および混合手段が、 前記感度差に応じて設定されていることを 特徴とする。 この構成によれば、 補間手段と混合手段が、 入力データ に感度差がある場合に対処できるように設定されているので、 破綻の ない補間結果が得られる。
( 3 ) . 第 1 の実施形態にかかる画像処理装置は、 前記複数の補間手 段の少なく ともひとつは線形フ ィ ルタであり、 前記制御手段は前記感 度差に応じて各フ ィ ルタの係数を設定することを特徴とする。 この構 成によれば、 感度差に応じてフ ィ ルタ係数を制御して、 感度差の影響 が補間結果に及ばないようにできるため、 感度差のある入力データに 対しても破綻ない補間結果が得られる。
( 4 ) . 第 2の実施形態にかかる画像処理装置は、 前記複数の補間手 段の少なく ともひとつは線形フ ィルタであり、 その係数が前記感度差 に応じて設定されていることを特徴とする。 この構成によれば、 フ ィ ルタ係数を、 感度差の影響が補間結果に及ばないように設定している ため、 感度差のある入力データに対しても破綻ない補間結果が得られ る。
( 5 ) . 第 1 の実施形態、 または第 2の実施形態にかかる画像処理装 置は、 前記係数は、 前記感度差が原因で前記データに生じる周波数成 分の増幅度を所定の範囲に抑えるよう設定されることを特徴とする。 この構成によれば、 感度差が補間結果に与える周波数成分を取り除く ことにより、 補間結果に感度差の影響が生じないようにすることが出 来る。
( 6 ) . また、 第 1 の実施形態にかかる画像処理装置は、 前記制御手 段は、 前記撮像素子の感度差を推定する感度差推定手段を備え、 推定 結果に基いて制御を行うことを特徴とする。 この構成によれば、 感度 差が実際どの程度あるかを推定するため、 推定結果に応じて適切な処 理を行うことができ、 結果的に感度差の補間結果への影響がより少な くなる。
( 7 ) . また、 第 1 の実施形態にかかる画像処理装置は、 前記感度差 推定手段は、 前記撮像素子の種類ないし前記データの撮影条件に基い て感度差を推定するこ とを特徴とする。 この構成によれば、 一般的な 感度差の推定を行う方法（例えば画像内の同じ色成分の画素の値を比較 するなど） より、 特定センサや特定撮影条件に固有の感度差の発生量 やパターンに、 最適に対応できる。
( 8 ) . また、 第 1 の実施形態にかかる画像処理装置は、 前記混合手 段は、 前記複数の補間結果のいずれかを選択する選択手段を有し、 前 記制御手段は、 前記感度差に応じて前記選択手段が前記いずれの補間 結果を選択するかを決定することを特徴とする。 この構成によれば、 感度差に応じて最適な補間結果を選択でき、 感度差がある場合でも破 綻のない補間処理が行える。
( 9 ) . また、 第 1 の実施形態にかかる画像処理装置は、 前記混合手 段は前記複数の補間結果を加重平均する加重平均手段を有し、 前記制 御手段は前記感度差に応じて前記加重平均手段の重みを決定するこ と を特徴とする。 この構成によれば、 感度差に応じて複数の補間結果を 最適に加重平均でき、 感度差がある場合でも破綻のない補間処理が行 える。
( 1 0 ) . 第 1 の実施形態、 または第 2の実施形態にかかる画像処理 装置は、 前記混合手段は前記複数の補間結果各々を複数の周波数成分 に分解し、 周波数成分ごとに異なる重みで加重平均した後再合成する ことを特徴とする。 この構成によれば、 複数の周波数成分に分解した 後で成分ごとに異なる重みで合成することにより、 感度差に影響を受 ける周波数成分だけを選択的に調整するのが容易にできる。 その結果、 補間結果に余分なぼけを生じさせずに、 感度差に起因する破綻を防い だ補間処理が行える。
( 1 1 ) . また、 第 1 の実施形態にかかる画像処理装置は、 前記制御 手段は、 前記複数の補間結果のうち、 結果に残留する感度差の量を測 定する感度差測定手段を有し、 測定結果に基いて前記混合手段を制御 することを特徴とする。 この構成によれば、 補間結果に含まれる感度 差の影響を直接測定した上で、 感度差の影響が少なく なるように混合 手段を制御できるので、 間接的な感度差推定より確実に感度差に起因 する補間結果の破綻を防ぐことができる。
( 1 2 ) . また、 第 1 の実施形態にかかる画像処理装置は、 前記制御 手段は前記データの各画素の近傍におけるェッジ方向を判定する方向 判別手段を備え、 方向判別結果に基いて前記混合手段を制御すること を特徴とする。 このような構成とするこ とによ り、 複数の補間結果を ェッジ方向に応じて混合することで、 高精度な補間が行える。
( 1 3 ) . 第 1 の実施形態にかかる色成分補間用の画像処理プロダラ ムは、 コ ンピュータに、 特定色成分を取得する画素の間に感度差があ る撮像素子により撮影されたデータを読み込む手順と、 前記データの 各画素で欠落する色成分を補う複数の補間処理の手順と、 前記複数の 補間処理の手順に基づく 出力を混合する手順と、 前記補間処理の手順、 および前記混合する手順の少なく とも一方を前記感度差に応じて制御 する手順と、 を実行させる。
( 1 4) . 第 2の実施形態にかかる色成分補間用の画像処理プロダラ ムは、 コ ンピュータに、 特定色成分を取得する画素の間に感度差があ る撮像素子により撮影されたデータを読み込む手順と、 前記データの 各画素で欠落する色成分を補う複数の補間処理の手順と、 前記複数の 補間処理の手順に基づく 出力を混合する手順を実行させるための画像 処理プログラムであって、 前記複数の補間処理の手順と前記混合する 手順とが前記感度差に応じて設定されていることを特徴とする。
( 1 5) . また、 （ 1 3) に記載の第 1の実施形態にかかる色成分補 間用の画像処理プログラムは、 前記複数の補間処理の少なく とも一つ は線形フ ィ ルタによる補間処理であり、 前記制御する手順は、 前記フ ィルタの係数が前記感度差が原因で前記データに生じる周波数成分の 増幅度を所定の範囲に抑えるよう設定する手順を含むこと、 を特徽と する。
( 1 6) . また、 （ 1 4) に記載の第 2の実施形態にかかる色成分補 間用の画像処理プログラムは、 前記複数の補間処理の少なく とも一つ は線形フ ィルタによる補間処理であり、 かつそのフィルタ係数が前記 感度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲 に抑えるよう設定されていること、 を特徴とする。
( 1 7) . また、 第 1の実施形態にかかる色成分補間用の画像処理プ ログラムは、 前記制御する手順は、 前記撮像素子の感度差を前記撮像 素子の種類ないし前記データの撮影条件に基プいて推定する手順を含 むこと、 を特徴とする。
( 1 8) . また、 第 1の実施形態にかかる色成分補間用の画像処理プ ログラムは、 前記混合する手順は、 前記複数の補間処理の結果を加重 平均する加重平均処理を行う手順を含み、 前記制御する手順は、 前記 感度差に応じて前記加重平均処理の重みを決定する手順を含むこと、 を特徴とする。
( 1 9 ) . また、 第 1 の実施形態にかかる色成分補間用の画像処理プ ログラムは、 前記制御する手順は、 前記データの各画素の近傍におけ るエツジ方向を判定する手順を含み、 前記ェッジ方向を判定する手順 の処理結果に基づいて前記混合する手順を制御すること、 を特徴とす る。
第 1、 第 2の実施形態にかかる色成分補間用の画像処理プログラム は、 ソフ ト ゥ Xァにより、 特定色成分を取得する画素の間に感度差が ある画像データの色成分補間の処理を行なうことができる。
本発明においては、 高精度で、 かつセンサの感度ばらつきがある場 合でも、 副作用の少ない補間処理を行える構成の画像処理装置および 画像処理プログラムが得られる。 図面の簡単な説明
図 1 は従来技術の説明図である。
図 2は第 1の実施形態例の構成図である。
図 3は G補間回路 106の構成図である。
図 4は補間回路 A1 13の補間法の説明図である。
図 5は G補間回路 106の処理のフローチヤ一 トである。
図 6は G段差の説明図である。
図 7は関数 gの特性図である。
図 8は RB補間回路 109の処理する近傍パターンの説明図である。
図 9は RB補間回路 109の処理の説明図である。
図 1 0は第 1の実施形態例に対応するフローチャー トである。
図 1 1 は第 2の実施形態例の構成図である。
図 1 2は G補間回路 206の構成図である。 図 1 3は G補間回路 206の処理のフローチャー トである。
図 1 4は線形フィルタの特性図である。
図 1 5は第 3の実施形態例の構成図である。
図 1 6は G補間回路 306の構成図である。
図 1 7は第 2の実施形態例に対応するフローチヤ一トである。
図 1 8は段差検出回路 320で用いるフィルタの特性図である。
図 1 9は第 4の実施形態例の構成図である。
図 2 0は RB補間回路 409の構成図である。
図 2 1 は G補間回路 406の補間法の説明図である。
図 2 2は RB補間回路 409の処理のフローチヤ一トである。
図 2 3は RB補間回路 409で使用するデータの説明図である。
図 2 4は LPF回路 420で使用するフィル夕の特性図である。
図 2 5は G補間回路 406の構成図である。
図 2 6は第 2の実施形態例の変形例中 G補間回路 206の構成図である。 図 2 7は第 4の実施形態例の変形例中 RB補間回路 409の構成図である。 図 2 8は色差信号の例を示す説明図である。
図 2 9は第 2の実施形態例の変形例に対応するフローチャー トであ る。
図 3 0は第 4の実施形態例に対応するフローチヤートである。
図 3 1 は第 4の実施形態例の変形例に対応するフローチャー トであ る。 発明を実施するための最良の形態
以下、 本発明の実施の形態について図を参照して説明する。 図 2〜図 10は、 本発明の第 1の実施形態例を示すものである。 図 2は第 1 の実施 形態例の構成図、 図 3は G補間回路 106の構成図、 図 4は補間回路 A1 13の 補間法の説明図、 図 5は G補間回路 106の処理手順を示すフローチャー ト、 図 6は G段差の説明図、 図 7は関数 gの特性図、 図 8は RB補間回路 109の処 理する近傍パターンの説明図、 図 9は RB補間回路 109の処理の説明図、 図 10は第 1の実施形態例に対応する RAW現像ソフ トのフローチャー トで ある。
図 2において、 デジタルカメラ 100は、 光学系 101、 単板 Bayer配列 CCD102, 単板 Bayer配列 CCD102からの出力をゲイ ン調整、 A/D変換して デジタル画像と して出力する A/D回路 103が設けられている。 また、 A/D 回路 103の出力に対し、 単板 Bayer配列 CCD102に起因するノィズを低減 し、 結果を単板画像バッファ 104に記録するノィズ低減回路 105を有し ている。 なお、 図示を省略しているが、 A/D回路 103の出力を画像バッ ファ （第 1 のバッファ） に格納し、 第 1 のバッフ ァから画像信号をノ ィズ低減回路 105に供給しても良い。 この場合には、 単板画像バッファ 104は第 2のバッファと して機能する。 また、 デジタルカメラ 100は、 単板画像バッファ 104内の画像に対し、 G成分の欠落する画素位置での G 成分を周囲画素からの補間により補って、 G画像バッファ 107 (第 3の バッフ ァ） に出力する G補間回路 106を有している。 光学系 101、 単板 Bayer配列 CCD102は、 請求項 1 に記載された画像処理装置の 「撮像素 子」 を構成する。
デジタルカメラ 100は、 さらに、 単板画像バッファ 104内の画像に対 し Rまたは B成分の得られている画素の値をゲイ ン調整する WB補正回路 108、 G画像バッファ 107から得られる全画素の G成分と WB補正回路 109に より WB補正された Rおよび B成分とから全画素で欠落する色成分を補つ たカラ一画像を出力する RB補間回路 109を有している。 また、 RB補間回 路 109の出力に階調変換、 エッジ強調、 圧縮等を施す画質調整回路 1 10、 画質調整回路 1 10の出力を記録媒体に記録する記録回路 1 1 1、 および、 光学系 101や単板 Bayer配列 CCD102や上記の回路群の動作を制御する制 御回路 1 12を有している。 G補間回路 106は、 図 3に示されている構成である。 図 3において、 G補 間回路 106は、 単板画像バッファ 104内の画像に対し、 G成分が欠落する 画素において 2種類の異なる補間処理を行う補間回路 A1 13および補間回 路 B1 14、 補間回路 Al 13および補間回路 B l 14の出力を混合して全画素の G 成分を生成する混合回路 1 16を有している。 G補間回路 106の補間回路 A1 13および補間回路 B 1 14は、 本発明の請求項 1 に記載された 「欠落し た色成分を補う複数の補間手段」 に相当する。 また、 混合回路 1 16は、 請求項 1 に記載された 「複数の補間手段からの出力を混合する混合手 段」 に相当する。
さらに、 G補間回路 106は、 前記混合回路 1 16で処理する画素の近傍を 単板画像バッフ ァ 104から読み出し、 近傍で生じる G成分の感度差を推 定する段差量推定回路 1 15を含む。 また、 段差量推定回路 1 15の出力す る段差量に基いて、 二種類の補間回路からの出力の混合回路 1 16におけ る混合比を決定する混合比決定回路 1 17、 を含む。 段差量推定回路 1 15、 混合比決定回路 1 17は、 請求項 1 に記載された 「補間手段および混合手 段を前記感度差に応じて制御する制御手段」 に相当する。 以下、 デジ タルカメラ 100の作用を説明する。
図 2で図示しないシャ ツ夕が押下されると、 最初に光学系 101による 光学像が単板 Bayer配列 CCD102で撮像され、 アナログ信号と して出力さ れる。 当該アナログ信号は、 A/D変換回路 103でゲイ ン調整の後 A/D変換 され、 各画素あたり一種類の色成分しかない単板状態のデジタル画像 となる。 この画像に対し、 ノ イ ズ低減回路 105が、 単板 Bayer配列 CCD102の特性に起因するノィズを低減する処理を行って、 単板画像バ ッファ 104に出力する。 次に、 G補間回路 106が単板画像バッファ 104内 の画像の各画素に対し、 中央画素 （注目画素） の 5x5近傍を読み出して 図 5のフローチャー トで示す処理を行う。 そして、 G成分が欠落する画 素における G成分を補間して、 全画素で欠落のない G成分を G画像バッフ ァ 107に出力する。
以下、 図 5のフローチャー ト の各ステップを説明する。 説明中、 読み 出した中央画素の 5x5近傍のデータを Xとする。
S1 ： 補間回路 A113が、 Xの中央画素に対する G成分 VIを算出する。 補 間回路 A113は、 中央画素で既に G成分が得られている場合はその値を V 1 とする。 G成分が得られていない場合は、 以下に述べるような、 公知 の方向判別に基く補間法を用いる。 以下の説明中、 中央画素の近傍で は図 4に示すようなデータが得られているとする。 なお、 図 4中、 Gr.Gb 画素ではいずれも G成分が得られているが、 配置を区別するため、 R画 素と同じ行にあるものは Gr、 B画素と同じ行にあるものは Gbと記載して いる。 最初に、 中央画素 （図 4では R) の左右の G画素（GrOおよび Grl)の 平均 Gr' = (Gr0+Grl)/2を算出する。 次に中央画素 （図 4では R) の上下 の G画素（GbOおよび Gbl)の平均 Gb' = (GbO+Gbl) /2を算出する。 続いて 水平方向の G画素の差分 Dh = I GrO- Grl I、 および Dv = 1)0-01)11を算 出する。 Dhく Dvなら Gr'を VIとし、 そうでないなら Gb'を VIとする
S2:補間回路 B114が、 Xの中央画素に対する G成分 V2を算出する。 補間 回路 B114は、 内部 ROMに 5x5の線形フ ィルタの係数 C— i, j (i, jは 1から 5ま での整数） を記憶しており、 以下の式（3)、
V2 = (∑C_k.1 * X(k, l))/∑C_k.1 (3)
の計算を行う。
(3) 式中、 X(k， l)は、 近傍データ Xの座標（k.1)における画素値を表 し、 和は、 G成分が得られている画素の座標を表す整数組（k, 1)全てに ついてとる。 なお、 フ ィ ルタ係数 C一 i， jは、 その周波数特性が、 水平、 垂直ナイキス ト周波数で 0になるよう設定されている。 したがって、 フ ィ ルタ係数 C_i.jは、 本発明の請求項 5に記載されたように、 「 （特定 色成分を取得する画素の間の） 感度差が原因で前記データに生じる周 波数成分の増幅度を所定の範囲に抑えるよう設定される」 ものである。 また、 感度差に起因する周波数成分は、 ナイキス ト周波数に対応する。
S3 :段差量推定回路 1 15は、 Xにおいて、 G成分の感度差がどの程度発 生しているかを推定する。 単板 Bayer配列 CCD102は、 図 6に示すような 色フ ィ ルタ配列を持っているが、 センサの特性上、 ある撮影条件では Gr画素と Gb画素の間に同じ G成分取得用であるにもかかわらず感度差が ついてしまい、 平坦な被写体を撮影した場合でも Grと Gbの画素値に差 が生じる。 この差を以下 G段差と呼ぶことにする。
G段差がどの程度あるかは、 本実施形態例の場合、 近傍に存在する R 成分と B成分の大きさに依存する。 そこで、 段差量推定回路 1 15は、 あ らかじめ種々の照明条件で種々の被写体を撮影した際に生じた Gr画素 と Gb画素間の段差量の上限値と、 周囲の R画素値および B画素値の関係 を整理して作成されたテーブル LUTを内部 ROMに備えている。 そして、 X に含まれる R画素の平均 R 'と B画素の平均 B 'を算出し、 これらをイ ンデ ックスにして内部 ROMに含まれるテーブル LUTを引いて、 段差量の上限 値 Fを F= LUT (R' , Β' ) と求め、 混合比決定回路 1 17に出力する。
なお、 G段差の発生条件や発生量は、 単板 Bayer配列 CCD102のメーカ 一や撮影条件に依存する。 そのため、 本実施形態例では、 前述のテー ブルは、 単板 Bayer配列 CCD 102の型番、 およびシャ ツタ速度ごとに用意 されている。 そして、 段差量推定回路 1 15の動作時に、 制御部 1 12は、 単板 Bayer配列 CCD102の型番と撮影時のシャ ッタ速度を取得して、 段差 量推定回路 1 15に出力する。 段差量推定回路 1 15では、 指定された単板 Bayer配列 CCD102の型番、 およびシャ ッタ速度に合致するテーブルを用 いて段差量を求める。 ここで、 前記段差量推定回路 1 15は、 請求項 6に 記載された 「撮像素子の感度差を推定する感度差推定手段」 に相当す る。 また、 感度差推定手段は、 単板 Bayer配列 CCD102の型番と撮影時の シャ ツタ速度から、 請求項 7に記載された 「撮像素子の種類ないし前 記データの撮影条件に基いて感度差を推定する」 ものである。 S4:混合比決定回路 117は、 段差量推定回路 115から入力された段差量 推定値 Fに応じて、 前記 Sl、 S2の処理で得られた補間結果 VI, V2のうち VIの結果を、 混合回路 116においてどの程度用いるかを表す使用率 αを 算出する。 Grと Gbの間に段差がある場合、 補間回路 ΑΠ3の処理方法で は、 結果 VIにそのまま段差が現れてしまい、 平坦部であるにもかかわ らず一画素間隔の横縞あるいは縦縞が発生する。 一方補間回路 B114の 処理方法では、 結果 V2に段差の影響は現れないが、 エッジ部などでは 補間回路 A113に比してボケが生じる。 そこで、 混合比決定回路 117は、 段差が補間結果に残留した場合でも視覚的に目立たない上限の段差量 T を超えないように、 図 7のように定められた関数 gを用いて VIの使用率 αを定め、 混合回路 116に出力する。
S5 : すると、 混合回路 116では、 二種類の補間回路から得られた補間 結果 V1,V2、 および VIの使用率 αを受け、 最終的な混合結果 V3を式 （4)、 V3 = a *V1 + (l-a)*V2 (4) と計算する。 このように、 混合回路 116は、 請求項 9に記載された 「複 数の補間結果を加重平均する加重平均手段」 に相当する。 また、 制御 手段 （混合比決定回路 117、 段差量推定回路 115) は、 請求項 9に記載 された 「感度差に応じて前記加重平均手段の重みを決定する」 もので ある。
最後に、 混合回路 116は、 5x5近傍中央画素における G画素の値として、 V3を G画像バッファ 107の対応する画素位置に書きこむ。 ここまでの処 理が単板画像バッファ 104内の画像の全画素について終了すると、 G画 像バッフ ァ 107には全画素で欠落のない G成分が得られる。 次に、 WB補 正回路 108が単板画像バッファ 104から一画素づっ読み出しを行い、 得 られている色成分が Rまたは Bの場合、 ホワイ トバランスに必要なゲイ ンを画素値に乗じた後 RB補間回路 109に出力する。 また、 得られている 色成分が Gの場合、 画素値を直接 RB補間回路 109に出力する。 RB補間回路 109では、 WB補正回路 108から出力されるゲイ ン調整され た画素値を順次内部のバッ フ ァ に保持する。 そして、 単板画像バッ フ ァ 104の全画素に対して WB補正回路 108の処理が終了した後、 バッフ ァ 内の全画素に対する RGB3色成分を公知の方法で計算する。 最初に、 RB 補間回路 109は内部バッ フ ァの各画素の 5x5近傍を読み出す。 図 8 (a)、 ( b ) に示すように、 注目画素で得られている色成分によって近傍の パターンが種々あるが、 処理方法は同じである。
次に、 RB補間回路 109は G画像バッファ 107からも内部バッファから読 み出した 5x5近傍に対応する 5x5近傍を読み出す。 そして、 以下の手順 で最終的な RGB成分を算出する。 以下、 内部バッファから読み出した近 傍データを X，G画像バッファ 107から読み出した近傍データを Yとする。 先に、 Xから、 R成分の得られていない画素の値を 0にセッ ト したデータ XRを生成する。 同様に、 Xから、 B成分の得られていない画素の値を 0に セッ ト したデータ XBを生成する。
次に、 Yから、 Xにおいて R成分の得られていない画素と同じ座標にあ る画素の画素値を 0にセッ ト したデータ YRを生成する。 同様に、 Y力ゝら、 Xにおいて B成分の得られていない画素と同じ座標にある画素の値を 0に セッ ト したデータ XBを生成する。 図 9に、 X.Y,XR，XB， YR.YBの例を示し た。 そして、 このデータがそろった後、 以下の （a) 〜 （d) の処理 を行う。
(a) XR.XB, YR.YBに同じ係数の 5x5のローパスフ ィルタをかけ、 結 果を RL,BL.GL1,GL2とする。 （b) Yに、 5x5のバン ドパスフ ィ ルタをか け、 結果を GHとする。 （ c) Yの中央の画素値を最終的な G成分 G'とする。
(d) 以下の式（5)、
R' = RL+GH-GL1.
B' = BL+GH-GL2 (5) で最終的な R成分 R' および B成分 B' を算出する。 このようにして得 られた（R'，G',B')を、 画質調整回路 110に出力する。
RB補間回路 109の以上の処理が内部バッファの全画素に対して終了す ると、 画質調整回路 110には、 単板画像バッファ 104の各画素で色成分 の欠落が補われたカラ一画像が出力されたことになる。 その後、 画質 調整回路 110は、 入力されたカラー画像に対して色変換、 エッジ強調、 階調変換などの処理を施し、 記録回路 111に出力する。 記録回路 111が 図示しない記録媒体に入力された画像を記録し、 記録処理が終了する と、 デジタルカメラ 100の全撮像動作は完了する。
なお、 本実施形態例は回路であつたが、 同様の処理をソフ ト ウェア で行うことも可能である。 図 10にソフ ト ウヱァによる処理手順のフロ —チャー トを示す。 このソフ ト ウェアは、 単板べィヤー配列 CCDからの 出力を A/D変換して保存した MWデータファイルに対し、 現像処理を行 うものである。 以下、 フローチャー トの各ステップを説明する。
S7:RAWデータフ ア イルから単板データを読み込んで、 ノくッ フ ァ 1 に 二次元配列と して格納する。 S8:バッファ 1の画像に、 ノイズ低減回路 105相当のノィズ低減処理を行つてバッファ 2に出力する。 S9:バッファ 2を先に行方向に、 次に列方向に走査して、 S10から S12に対する未処理 画素を選択する。 ここで、 未処理画素がなければ、 S13に進む。 未処理 画素があれば S10に進む。 S10： 未処理画素の近傍 5x5プロックをバッフ ァ 2から読み出す。 S11:図 5のフローチヤ一ト に従って未処理画素に対 する G成分の補間処理を行う。 S12： 補間処理の結果を、 バッファ 1およ びバッファ 2とは別に設けられたバッフ ァ 3の未処理画素に対応するァ ドレスに書きこむ。 そして S9に戻る。
S13:バッファ 2内の画像に対し、 WB補正回路 108相当の WB処理を行つ て、 ノ ッファ 2に出力する。 S14:バッフ ァ 2を先に行方向に、 次に列方 向に走査して、 S15から S17に対する未処理画素を選択する。 この際に、 未処理画素がなければ S18に移行し、 未処理画素があれば S15に移行す る。 S15： バッファ 2およびバッファ 3から、 未処理画素の画素位置に対 応する近傍 5x5プロックを読み出す。
S 16 : RB補間回路 109相当の処理を行って、 未処理画素に対する RGB成 分を算出する。 S17： 算出した RGB成分を、 バッファ 1 の未処理画素に 対応するア ド レスに書きこみ、 S14に戻る。 S18 :バッ フ ァ 1 内の画像に 対し、 画質調整回路 1 10相当の画質調整処理を行ってバッフ ァ 2に出力 する。 S 19 : ノ ッファ 2の画像を指定されたフ ァイ ルに出力し終了する。 図 1 1〜図 14、 図 26は、 本発明の第 2の実施形態例を示すものである。 図 1 1は第 2の実施形態例の構成図、 図 12は G補間回路 206の構成図、 図 13は G補間回路 206の処理のフ口一チャー ト、 図 14は補間回路 C213およ び方向判別回路 218で用いる線形フィルタの特性図、 図 26は第 2の実施 形態例の変形例における G補間回路 206の搆成図である。
第 2の実施形態例は、 第 1 の実施形態例と同様にデジタルカメラを 対象と している。 図 1 1において、 第 2の実施形態例のデジタルカメラ 200は、 第 1 の実施形態例のデジタルカメラ 100 (図 2) とは、 G補間回 路 106が G補間回路 206に変更されている以外は構成、 作用とも同一であ る。 図 2と同じ構成には同じ符号を付しており、 詳細な説明は省略する。 図 12は、 G補間回路 206の構成を示すものである。 G補間回路 206は、 二種類の補間回路 C213および補間回路 D214、 段差量推定回路 1 15、 方向 判別回路 218、 選択回路 216を有している。 段差量推定回路 1 15は、 単板 画像バッファ 104から画像信号を入力し、 LPF制御回路 217に出力する。 補間回路 C213、 および補間回路 D214は、 LPF制御回路 217から補間に必 要なパラメ一タ、 単板画像バッファ 104から画像信号をそれぞれ入力し、 選択回路 216に出力する。 選択回路 216は、 この他に方向判別回路 218か ら画像信号を入力し、 G画像バッフ ァ 107に出力する。 方向判別回路 218 は、 単板画像バッファ 104から画像信号を入力する。
次に、 デジタルカメラ 200の作用を説明する。 デジタルカメラ 200に おいて、 G補間回路 206以外は、 図 2で説明したデジタルカメラ 100と構 成、 作用とも同一なので、 以下の説明は G補間回路 206についてのみ説 明する。 G補間回路 206は、 第 1 の実施形態例における G補間回路 1 06と 同様に、 単板画像バッファ 1 04内の単板画像に対し各画素の近傍ブロッ クを読み出して、 中央画素の G成分を算出する。 ただし、 読み出すプロ ックのサイズは NxN ( Nは 5以上の整数） で、 G補間回路 1 06に比して大 きくなつている。
第 2の実施形態例において、 二種類の補間回路 C213および補間回路 D214は、 請求項 1 に記載された 「欠落する色成分を補う複数の補間手 段」 に相当する。 また、 選択回路 216は、 請求項 1 に記載された前記 「混合手段」 に相当する。 さらに、 段差量推定回路 1 15、 LPF制御回路 2 17、 方向判別回路 218は、 請求項 1 に記載された前記 「制御手段」 に 相当する。 また、 段差量推定回路 1 15は請求項 6に記載された前記 「感 度差推定手段」 に相当する。 この感度差推定手段は、 請求項 7に記載 された前記 「撮像素子の種類ないし前記データの撮影条件に基いて感 度差を推定する」 ものである。
図 13は、 G補間回路 206各画素の近傍に対する処理のフローチャー ト である。 以下、 フローチャー トの各ステップを説明する。 説明文中、 読み出した近傍ブロックのデータを Xとする。
S30： 本実施の形態例においても、 単板 Bayer配列 CCD 102の特性によ り、 ある撮影条件で Gr画素と Gb画素の間に同じ G成分取得用であるにも かかわらず感度差 （G段差） がついてしまう。 段差量推定回路 1 1 5は、 第一の実施の形態例図 5の S3と同様に、 Xにおける Gr画素と Gb画素間の 段差量を推定する。
S31 :段差量推定回路 1 1 5から入力される段差量 Fに応じて、 LPF制御回 路 21 7が補間回路 C21 3および補間回路 D2 1 4における処理を制御するた めのパラメータ《を決定する。 αの説明のために、 先に補間回路 C213 を例に補間処理の内容を説明する。 補間回路 C213は二種類の線形フ ィ ルタ係数を備えており、 その周波数特性は、 例えば補間回路 C213内の フィルタ P— i,j, Q_i, j について図 14(a)および（b)に示すように設定 されている。 （i. jはそれぞれ 1から Nまでの整数） いずれも水平方向と 垂直方向で帯域特性が異なり、 水平方向のナイキス ト周波数でのレス ポンスは P_i , jで 0、 Q_i , jで 1に設定されている。
補間回路 C213では、 LPF制御回路 217から入力される混合比 （制御 比） ひにより新たなフ ィ ルタ係数 C_i,jを式（6)、
C— i.j = a *Q_i. j + (l-α )*P_i. j (6) と計算し、 このフ ィ ルタ を Xに適用する。 フ ィ ル夕係数 C_i. jは、 請求 項 3に記載の 「各フィルタの係数」 に相当する。 また、 フィルタ係数 C i.jは、 請求項 4に記載されているように 「感度差に応じて設定され る」 ものである。 補間回路 C213内のフィルタ係数 P_i, jは、 請求項 5に 記載の前記 「係数」 に相当する。
ここで αを 0にすると、 P—i , jによるフ ィルタ リ ングとなるが、 Grと Gbの間に生じた段差は主にナイキス ト周波数の成分に影響を与えるた め、 フ ィ ルタ リ ング結果に段差の影響は現れない。 一方 αを 1にすると、 Q—i,jによるフ ィ ルタ リ ングとなり、 段差の影響が直接結果に反映して しまう。 そこで、 LPF制御回路 217は、 混合比 αを推定された段差量 Fに 対する関数 g(F)により決定することで、 補間回路 C213のフ ィルタ リ ン グ結果に含まれる段差の影響がどんな場合にも小さく とどまるよう調 整する。 図 7は、 関数 gの好ましい特性の一例を示している。
S32:補間回路 C213は、 前述のように、 LPF制御回路 217から出力され た混合比 αから式（6)によりフィルタ係数 C_i, jを計算した後、 式（7)、 VI = (∑C_k.1 * X(k.1))/∑C— k.1 (7) の演算を行う。 そして、 VIを選択回路 216に出力する。 （7) 式中、 X(k， l)は、 近傍データ Xの座標（k, 1)における画素値を表し、 和は、 Xに おいて G成分が得られている画素の座標を表す整数組 , 1)全てについ てとる。
S33： 補間回路 D214は、 補間回路 C213と同様に二種類のフィルタ係数 を混合したフ ィ ノレタによ り フ ィ ルタ リ ングを行うが、 P— i， jおよび Q_i, jにかえて、 それらを 90度回転した P~_i, jおよび Q~_i. jを用いる点 が異なる。 つまり、 式 （5) にかえて、 式（8)、
C一 i.j = a*Q~_i. j + (卜 α)*Ρ j (8) という係数を作成し、 その後補間回路 C213と同一のフィルタ リ ング処 理を行う。 そして、 結果を V2として選択回路 216に出力する。
S34:方向判別回路 218は、 選択回路 216において補間回路 C213の出力 VIと補間回路 D214の出力 V2のいずれを用いるか決定するために、 読み 出された近傍におけるエッジの方向を判別する。 そのために、 水平方 向のエッジを検出するバン ドバスフ ィルタ F1と、 垂直方向のエッジを 検出するバン ドパスフィルタ F2を内部の ROMに保持している。 F1の係数 は、 その周波数特性が図 14(c)に示したもの、 F2の係数は、 その周波数 特性が図 14(d)に示したもののように設定されている。
方向判別回路 218は、 Xの G成分にフィルタ F1および F2を乗算し、 その 結果 Dhおよび Dvを得る。 その際、 処理を G成分に限定するため、 補間 回路 C213と同じく G成分の得られている画素位置のみに関する和をとる。 一般に、 近傍のエッジの方向が斜め 45° より水平に近い場合、 Dvの方 が大きく なり、 斜め 45° より垂直に近い場合、 Dhが大きく なる。 そこ で、 方向判別回路 218は、 得られた Dhと Dvの大小を比較して、 Dhく Dvの 時は水平エツジと判断して選択回路 216に 1 を出力する。 Dh〉Dvの場合 には、 垂直エッジと判断して選択回路 216に 0を出力する。 方向判別回 路 218は、 請求項 1 2に記載されている 「データの各画素の近傍におけ るエッジ方向を判定する方向判別手段」 に相当する。
S35:選択回路 216では、 補間回路 C213からの入力 VIと補間回路 D214か らの入力 V2、 および方向判別回路 218からのェッジ方向の入力に基づき、 エッジ方向が 1 の場合、 V2を最終的な補間結果 V3とする。 S36 : —方、 エッジ方向が 0の場合、 VIを最終的な補間結果 V3とする。 そして、 最後 に V3を、 G画像バッファ 107の Xの中央画素に対応する画素位置に書きこ む。
G補間回路 206の作用に関して、 同様の処理をソフ ト ウェアで行うこ とも可能である。 そのためには、 図 10のフローチャー ト中、 51 1の6補 間処理を、 図 5に示したフローチャー トから、 図 13に示したフローチヤ 一トに変更すればよい。
なお、 本実施形態例にはいくつかの変形例が考えられる。 例えば、 補間回路 C213と補間回路 D214の補間結果のいずれかを選択するかわり に、 方向判別回路 218で計算する Dh. Dvを用いて加重平均してもよい。 この場合、 選択回路 216のかわりに加重平均を行う回路を設け、 最終的 な結果 V3を例えば、 式（9)、
V3 = (Dv/ (Dv+Dh) ) *V2+ (Dh/ (Dv+Dh) ) *V1 (9) と計算する。
また、 本実施形態例では画素ごとに段差量を判断しそれに応じた処 理を行っていたが、 どのような段差が生じても破綻を生じないように、 あらかじめ段差に影響を受けない補間処理のみを実装することも考え られる。 このような変形例を図 26に示す。 図 26は、 第 2の実施形態例 の変形例における G補間回路 206の構成を示すものである。 G補間回路 206は、 図 12の構成と比較して段差量推定回路 1 15、 LPF制御回路 217が 除かれている。
また、 補間回路 C213に代えて補間回路 E223が、 補間回路 D214に代え て補間回路 F224が設けられている。 このほかの回路の作用は変形例に おいても同一である。 補間回路 E223は、 補間回路 C213が二種類のフ ィ ルタ P i . j . Q i , jを備えていたのに対して、 Q i , jは備えておらず、 P i , jのみによるフィルタ リ ングを行う。 補間回路 F224も同様に、 P~— i , j のみによるフィルタ リ ングを行う。 その結果、 常に段差に影響を受け ない補間結果が得られる。 図 26の例における選択回路 216は、 補間回路 E223、 または補間回路 F224の補間結果のいずれかを選択する作用を有 しており、 請求項 8に記載された 「複数の補間結果のいずれかを選択 する選択手段」 に相当する。
図 26の構成は、 請求項 2に記載の要件と対応する。 すなわち、 補間 回路 E223、 補間回路 F224は、 請求項 2に記載の 「データの各画素で、 欠落する色成分を補う複数の補間手段」 に相当する。 また、 選択回路 1 16は、 「前記複数の補間手段からの出力を混合する混合手段」 に相当 する。 こ こで、 前記補間手段および混合手段は、 請求項 2に記載の 「前記 （特定色成分を取得する画素の間の） 感度差に応じて設定され ている」 ものである。
さらに、 図 26に記載の変形例についても、 対応する処理をソフ ト ウ エアで実現可能である。 そのためには、 図 10のフローチャー トにおい て、 図 1 1の G間処埋を図 29に示すフローチャー ト に置き換えればよい。 以下、 図 29のフローチャー トについて説明する。 S70： 補間回路 E223と 同一のフ ィ ルタ処理を行い、 結果を V Iとする。 S71 ： 補間回路 F224と同 一のフ ィルタ処理を行い、 結果を V2とする。 S72： 方向判別回路 218と 同一のエツジ方向判別処理を行い、 水平ェッジと判断した揚合 S73に、 垂直エッジと判断した揚合 S74に進む。 S73： S70の結果 V Iを、 最終的な G成分補間結果 V3とする。 S74： S71の結果 V2を、 最終的な G成分補間結 果 V3とする。
図 15〜図 18は、 本発明の第 3の実施形態例を示すものである。 図 15 は第 3の実施形態例の構成図、 図 16は G補間回路 306の構成図、 図 17は 第 3の実施形態例に対応する RAW現像ソフ ト のフローチャー ト、 図 18は 段差検出回路 320で用いるフィルタの特性図である。 第 3の実施形態例 は、 第 1 の実施形態例と同様にデジタルカメラを対象と している。 図 15において、 第 3の実施形態例のデジタルカメラ 300は、 第 1 の実施形 態例のデジタルカメラ 100 (図 2) とは、 G補間回路 106が G補間回路 306 に変更されている以外は構成、 作 fflとも同一である。 図 2と同じ構成に は同じ符号を付しており、 詳細な説明は省略する。
図 16は、 G補間回路 306の構成図であり、 二種類の補間回路 A113およ び補間回路 B114、 各々の出力を保持する内部バッファ A317および内部 バッ フ ァ B318、 段差検出回路 320、 選択回路 319よりなる。 段差検出回 路 320および選択回路 319は内部バッファ A317および内部バッフ ァ B318 から入力する。 段差検出回路 320は選択回路 319へ出力し、 選択回路 319 は G画像バッファ 107に出力する。 このうち、 補間回路 A113および補間 回路 B114は、 第 1 の実施形態例と同一の作用を行う。
次にデジタルカメラ 300の作用を説明する。 G補間回路 306以外は、 構 成、 作用ともデジタルカメラ 100と同一なので、 以下の説明は G補間回 路 306についてのみ説明する。 図 17は、 G補間回路 306の処理を示すフロ 一チャートである。 G補間回路 306は、 第 1 の実施形態例における G補間 回路 106と同様に、 単板画像バッ フ ァ 104内の単板画像に対し、 全画素 で G成分の欠落を補った画像を G画像バッファ 107に生成する。 ただし、 第 1 の実施形態例と異なり内部にバッフ ァを備えており、 一度単板画 像バッファ 104内の単板画像全体に対する二種類の G成分の補間結果を バッ フ ァに生成した後、 二種類の補間結果のいずれを選択するかを各 画素で判断して最終的な出力とする。 以下、 図 17のフローチャー ト に ついて説明する。
S40: 単板画像バッファ 104内の画像の各画素を先に水平方向、 次に 垂直方向に走査し、 未処理画素 Pを抽出する。 そして、 未処理画素 Pの 近傍 5x5プロックを読み出す。 以下このプロックのデータを Xとする。
S41：補間回路 A113が、 Xに第一の実施の形態例中図 5のフローにおけ る S Iと同一の処理を行う。 そして、 結果 V Iを内部バッファ A317の Pに対 応する画素位置に書き込む。
S42 :補間回路 B1 14が、 Xに第一の実施の形態例中図 5のフローチヤ一 トにおける S2と同一の処理を行う。 したがって、 線形フ ィ ルタの係数 C i , jは、 請求項 5に記載された前記 「係数」 に相当する。 そして、 処理 結果の V2を内部バッファ B318の Pに対応する画素位置の画素 Qに書き込 む。
S43 :単板画像バッファ 104内の全画素に対し以上の処理が終了すると、 S44に進む。 まだ終了していなければ S40に戻る。 以上の処理により、 単板画像バッファ 104内の全画素に対し、 補間回路 A1 13および補間回路 B1 14による G成分の二通りの補間結果が、 内部バッファ A317および内部 バッファ B318に得られる。
S44： G補間回路 306は、 次に、 内部バッファ A317を走査して後述の 処理をまだ施していない画素 Pをひとつ特定し、 その近傍 MxMプロック を読み出す。 同時に、 内部バッファ B318からも、 Pの画素位置に対応す る画素 Qの近傍 MxMブロックを読み出す。 ここで、 Mは 7以上の所定の整 数である。 以下、 Pの近傍ブロックを Na, Qの近傍ブロックを Nbとする。
S45 :段差検出回路 320は、 読み出した近傍 Na内の Gr画素と Gb画素間の 段差量を、 近傍にナイキス ト周波数の成分がどの程度含まれているか により判断する。 そのために、 段差検出回路 320は、 水平、 垂直方向の 周波数特性が図 18に示したような、 大きさ MxMのフ ィルタ係数を内部に 保持している。 そして、 このフ ィルタを Naにかけ、 出力の絶対値をと つて段差量推定値 Fと し、 画素位置 Pにおけるナイキス ト周波数での振 幅強度を見積もる。
S46 :段差検出回路 320は、 段差量推定値 Fが内部に定められた閾値 T以 上の場合、 画素 P近傍での段差は目立ってしまう レベル以下だと判断し、 選択回路 319に 1 を出力する。 また、 段差量推定値 Fが内部に定められ た閾値 T以下の場合には、 選択回路 319に 0を出力する。
S47 :選択回路 319は、 段差検出回路 320から 1 が入力されると、 内部 バッファ A317から画素 Ρの中央 （注目） 画素値を読み出して、 単板画像 バッフ ァ 104内の画像の画素 Ρに対応する画素位置での、 最終的な補間 結果 V3とする。
S48 ： 一方、 段差検出回路 320から 0が入力されると、 内部バッ フ 7 B318から画素 Qの中央 （注目） 画素値を読み出して、 単板画像バッファ 104内の画像の画素 Ρに対応する画素位置での、 最終的な補間結果 V3と する。 S49 : そして、 最終的な補間結果 V3を、 G画像バッファ 107の、 画 素 Ρに対応する画素位置に書き込む。 S50： S44から S49までの処理が、 内部バッファ A317の全ての画素に対して終了すると、 G補間回路 306は 全処理を終了する。 全処理が終了していない場合は S44に戻り、 S44〜 S50のループ処理を繰り返す。
G補間回路 306による処理と同様の処理を、 ソフ ト ウ ァで行うこと も可能である。 そのためには、 図 10のフローチャー ト中、 S9から S 12の 処理を図 17の S40から S50の処理に置き換える。 そして、 S50の処理から 図 10の S13の処理に移行するように構成すれば良い。
図 16の二種類の補間回路 A1 13および補間回路 B1 14は、 請求項 1 に記 載された前記 「複数の補間手段」 に相当する。 また、 選択回路 319は請 求項 1 に記載された前記 「混合手段」 に相当する。 この選択回路 319 (「混合手段」） は、 二種類の補間回路 A1 13または補間回路 B1 14の補間 結果のいずれかを選択するので、 請求項 8に記載された前記 「複数の 補間結果のいずれかを選択する選択手段を有する」 ものである。 さら に、 段差検出回路 320は、 請求項 1 に記載された前記 「制御手段」 に相 当する。 なお、 段差検出回路 320は、 請求項 1 1 に記載された 「複数の 補間結果のうち、 結果に残留する感度差の量を測定する感度差測定手 段」 に相当する。 図 19〜図 25、 図 27は、 本発明の第 4の実施形態例を示すものである。 図 19は第 4の実施形態例の構成図、 図 20は RB補間回路 409の構成図、 図 21は G補間回路 406の補間法の説明図、 図 22は RB補間回路 409の処理のフ ローチャー ト、 図 23は RB補間回路 409で使用するデータの説明図、 図 24 は LPF回路 420で使用するフ ィルタの特性図、 図 25は G補間回路 406の構 成図、 図 27は第 4の実施形態例の変形例中 RB補間回路 409の構成図であ る。
本実施形態例は、 第 1 の実施の形態例と同じく デジタルカメラを対 象としている。 デジタルカメラ 400は、 第 1 の実施形態例のデジタル力 メラ 100 (図 2) とは、 G補間回路 106にかえて G補間回路 406、 G画像バッ ファ 104にかえて G画像バッファ H417および G画像バッファ V418、 RB補間 回路 109にかえて RB補間回路 409がそれぞれ備わっている点が異なるが、 その他の点での構成、 作用は同一である。 図 2と同じ構成には同じ符 号を付しており、 詳細な説明は省略する。
G補間回路 406は図 25に示す構成を有しており、 補間回路 H441および 補間回路 V442を備える。 補間回路 H441は G画像バッファ H417に、 補間回 路 V442は G画像バッフ ァ V418に出力する。 RB補間回路 409は図 20に示す 構成を有しており、 WB補正回路 108からの出力を保持する内部バッファ 424と、 G画像バッ フ ァ H417、 G画像バッ フ ァ V418、 および内部バッ フ ァ 424から入力する LPF回路 420と、 内部バッフ ァ 424に接続する段差量推 定回路 423および方向判別回路 422が設けられている。 また、 方向判別 回路 422、 内部バッ フ ァ 424、 G画像バッ フ ァ H417、 G画像バッ フ ァ V418、 LPF回路 420、 および画質調整回路 1 10に接続している混合回路 421とが 備わっている。 次に本実施形態例の作用について説明する。
図示しないシャ ツタが押下されてから、 各画素あたり一種類の色成 分しかない単板状態のデジタル画像が単板画像バッファ 104に出力され るまでは、 第一の実施の形態例と同一なので説明を省略する。 その後 は、 G補間回路 406が単板画像バッファ 104内の画像の各画素に対して以 下の動作を行う。 最初に、 単板画像バッファ 104内の各画素で得られて いる色成分の種類を調べる。 そして、 得られている色成分が Gの場合、 その画素に対する処理をスキップし、 次の画素に処理を移す。
得られている色成分が Rまたは Bの場合、 周囲の 3x3近傍を読み出す。 そして、 補間回路 H441が中央画素 Pの左右の G画素の平均 Ghを、 補間回 路 H442が上下の G画素の平均 Gvを計算する。 例えば、 3x3近傍が図 21の ような場合、 Gh、 Gvは式（10)、
Gh = (Gr0+Grl) /2.
Gv = (Gb0+Gbl ) /2 (10) となる。 そして、 Ghを、 G画像バッファ H417の Pに対応するア ドレスに、 Gvを、 G画像バッファ V418の Pに対応するァ ドレスに書きこむ。
G補間回路 406がこれらの処理を実行するのに並行して、 WB補正回路 108が単板画像バッファ 104から一画素づっ読み出しを行い、 得られて いる色成分が Rまたは Bの場合、 ホワイ トバランスに必要なゲイ ンを画 素値に乗じた後で RB補間回路 409の内部バッファ 424に出力する。 また、 得られている色成分が Gの場合、 画素値を直接 RB補間回路 409の内部バ ッフ ァ 424に出力する。 単板画像バッファ 104の全画素に対して WB補正 回路 108と G補間回路 406の処理が終了すると、 内部バッフ ァ 424には WB 補正後の単板画像が得られる。 この画像を以下 Zとする。 また、 G画像 バッフ ァ H417および G画像バッフ ァ V418には、 Zの R画素および B画素の 位置における G成分の水平方向と垂直方向の補間値が得られる。 これら のデータに基づいて、 RB補間回路 409では、 Zの各画素の近傍に対し、 以下の原理で補間処理を行う。 そして、 得られた RGB 3色成分を順次画 質調整回路 1 10に出力する。
( 1 ) 先に水平方向と垂直方向の色差信号 R-Gおよび B-Gを R画素また は B画素の位置で作り、 その結果を補間して、 近傍中央画素における水 平方向と垂直方向の色差成分を得る。 （2 ) 次に、 水平方向と垂直方向 の色差を近傍のェッジの方向に応じて混合し、 近傍中央画素の色差成 分を推定する。 （3 ) さらにその次に近傍中央画素の G成分を推定し、 推定結果に （2 ) で得た色差成分を加えて中央画素に対する最終的な R 成分と B成分を得る。 （4 ) 本実施形態例においては、 単板 Bayer配列 CCD 102の特性により、 異なる行または列の G画素間に感度差 （G段差） が発生する。 図 28は、 （ 1 ) の処理により G段差がある場合に平坦部で どのような色差信号が得られるかを示した説明図である。 図 28 (a)は、 平坦なグレーの被写体を撮影した場合の単板データを示しているが、 Gr画素と Gb画素では見かけ上の感度差のために値が異なつている。 こ の単板データに対して （ 1 )の処理を行うと （図 28 (b)および（c) )、 図 28 (d)および（e)に示すように、 最終的に水平色差成分と垂直色差成分 の間に平坦部にもかかわらず値の差が生じる。 しかも画素位置によら ず差は一定となる。
このよう に、 G段差がある場合に （ 1 )の処理をそのまま行うと、 水 平色差成分と垂直色差成分の低域にその影響が生じる。 そして、 この 状態でさらに （2 )の処理を行うと、 混合比が近傍のエッジの向きゃグ ラデーシヨ ンの方向により変動するのに応じて色差成分低域に生じる 影響が場所によって変わり、 結果的に色むらが生じる。 このように、 G 段差のある場合に （ 1 )から （ 3 )の処理を工夫なく行うと、 段差の影 響が補間結果に色むらとなって現れる。 そこで、 RB補間回路 409では、 近傍内の G段差量を推定し、 推定された段差量に基いて補間方法を変更 することで段差の影響を除いている。 具体的には、 水平， 垂直色差成 分それぞれを高域成分と低域成分にわけ、 高域成分は近傍のエツジの 方向に基づいた混合比で混合する。 一方、 低域成分に対しては、 その 混合比を段差量に応じて可変と し、 段差量が小さい場合は高域成分と 同じ混合比に、 段差量が大きい場合は向きによらず均等な混合比に近 づく ように制御する。 そして、 混合した低域成分と高域成分を加算し て最終的な色差成分を作る。
第 4の実施形態例においては、 補間回路 H441、 補間回路 V442は請求 項 1 の 「補間手段」 に該当する。 また、 混合回路 42 1は請求項 1 の 「混 合手段」 に該当する。 さらに、 段差量推定回路 423、 方向判別回路 422 は請求項 1 の 「制御手段」 に該当する。 なお、 段差量推定回路 423は請 求項 6の 「感度差推定手段」 に該当する。 また、 混合回路 42 1は請求項 9 の 「加重平均手段」 に該当し、 方向判別回路 422は、 請求項 1 2 の 「方向判別手段」 に該当する。
以上の原理に基く具体的な処理ステップを図 22のフローチャー ト に 示す。 以下、 各ステップを説明するが、 フローの処理を開始する前に、 RB補間回路 409は、 内部バッファ 424から注目画素 Qの NxN近傍を読み出 す。 Nは所定の整数である。 以下、 読み出された近傍データを Xとする。 また、 G画像バッファ H41 7、 G画像バッファ V41 8の各々からも、 Xに含ま れる R画素および B画素に対応する画素位置の G補間結果を読み出す。 こ れらのデータを各々 YH . YVとする。
図 23に、 N = 7のときのデータ X . YH . YVの具体例を示した。 空白にな つている画素は、 データが得られていないことを示す。 データのバタ ーンとしては、 この他、 X内の網掛けした中央画素が Rの場合と Gの場合 があるが、 処理は同一である。 そこで、 以下では図 23に示したパター ンの場合についてのみフローの処理を説明する。
S62 :上記 （2 ) における水平の色差成分と垂直の色差成分の混合率 を、 方向判別回路 422が計算する。 方向判別回路 422は、 先に Xの G成分 に対し、 水平方向のエッジを検出するバン ドパスフ ィ ルタ F 1と、 垂直 方向のエッジを検出するバン ドパスフ ィルタ F2を乗算して結果 Dhおよ び Dvを得る。 計算の仕方および F 1 . F2の周波数特性は、 第 2の実施形態 例中、 図 1 3の S34と同一である。 次に、 方向判別回路 422は Dhと Dvから、 水平補間結果の利用率 3と垂直補間結果の利用率 rを、 式（11)、
β = Dv/(Dh+Dv),
γ = Dh/(Dh+Dv) (11) で計算する。 そして、 結果を混合回路 421に出力する。
S63:上記 （4)において、 段差の影響を受ける補間と影響を受けない 補間の処理結果を混合する比率 αを決定するのが段差量推定回路 423で ある。 段差量推定回路 423は、 第一の実施形態例である図 5の S3と同様 に、 近傍内の R画素値および Β画素値と、 発生する G段差量とを対応付け たテーブルを内部 ROMに備えている。 そして、 Xに含まれる R画素の平均 R'と B画素の平均 B'を算出し、 これらをイ ンデッ クスにしてテーブルに アクセスして、 G段差量 Fを求める。 次に、 G段差量 Fと混合比 αを対応 付けたテーブルを参照し、 最終的な混合比 αを混合回路 421に出力する。 このテーブルは同じく ROMに与えられており、 好ま しくは図 7に示すよ うな特性を持つ。
S64： 以上の処理が終了した後、 近傍中心での色差 R- G.B-Gを推定す る。 そのために、 まず LPF回路 420が X.YH.YVのデータに以下のフィルタ リ ングを行う。 なお、 以下の文中、 F3.F4.F5は Xや YHや YVと同一サイズ の線形フィルタであり、 係数の値は LPF回路 420の内部 ROMに保持されて いる。
先に、 水平および垂直方向において、 図 24中特性 Aで示した周波数特 性を持つ口一パスフィルタ F3を YHおよび YVにかけて、 Ghl.Gvlを得る。
YH, YVではデータが部分的にしか得られていないため、 フ ィルタをかけ る際には正規化を行う。 具体的な計算式は、 例えば Ghlについて式（12)、 Ghl = (∑ F3_k.1 YH(k, 1)) I ∑F3_k.1 (12) となる。 式中、 F3— k, 1はフィルタ F3の係数を表す。 また、 YH(k, l)は、 YHの座標（k, l)における画素値を示しており、 分母、 分子とも、 YHにお いてデータの得られている画素位置の座標を表す整数組（k, 1)全てに関 して和をとる。
次に、 水平、 垂直方向において、 図 24中特性 Bで示した周波数特性を 持つローパスフィルタ F4を YHおよび YVにかけ、 Gh2,Gv2を得る。 計算法 は式（12)と同様である。 さらに、 Xの R.B成分にも π—パスフ ィルタ F4 を適用し、 R2および B2を得る。 計算式は、 式（12)にかえて式（13)、 R2 = (∑F4_k, 1 X(k, 1)) I ∑F4_k, 1,
B2 = (∑F4_s, t X(s, t)) I ∑F4_s, t (13) となる。 式中、 X(k, l)は、 Xの座標（k, 1)における画素値を指し、 R2の 式では分母、 分子とも、 Xにおいて R画素位置の座標を表す整数組（k, 1) の全てに関して和をとる。 同様に、 B2の式では分母、 分子とも、 Xにお いて B画素位置の座標を表す整数組（s, t)の全てに関して和をとる。
以上の処理が終わると、 1^!?回路420は結果6111 112,0 1^ 2,112.82を 混合回路 421に出力する。 混合回路 421では、 入力データに基き Xの中央 画素における色差成分 R-G.B-Gの色差成分を以下のように求める。 最初 に、 G段差の影響のない色差成分 Crl.Cblを、 以下の式 （14) で計算す る。
Crl = R2 - ]3 * (Gh2-Ghl)一 γ * (Gv2_Gvl)一 (Ghl-Kvl)/2
式 (14)
Cbl = B2- )3* (Gh2-Ghl) - γ* (Gv2-Gvl)― (Ghl- JvD/2 , 次に、 G段差の影響を含む色差成分 Cr2,Cb2を、 式（15)、
Cr2 = R2 - β * Gh2 - γ * Gv2,
Cb2 = B2 - β * Gh2 - r * Gv2 (15) で計算する。 最後に、 G段差の影響のない色差成分と G段差の影響を含 む色差成分を合成して最終的な色差を式（16)、
Cr = a *Cr2 + (l-α )*Crl,
Cb = *Cb2 + (1- )*Cbl (16) で計算する。
上記 S64の処理は、 請求項 1 0の要件に相当する。 すなわち、 請求項 1 0の 「複数の補間結果」 は、 式（10)における Ghおよび Gvに相当する。 また、 「複数の周波数成分」 は、 式（12)における Ghl、 および Gvlと、 式 (14)における Gh2- Ghlおよび Gv2_Gvlに相当する。 「周波数成分ごとに異 なる重み」 は、 式（14)における Ghl, Gvlに対する係数 1/2と、 式（14)に おける、 Gh2- Ghlに対する βおよび Gv2-Gvlに対する rに対応する。
S65:混合回路 421が色差を推定した後、 LPF回路 420は Xの G成分に口一 パスフ ィ ルタ F5をかけ、 Xの中央画素の G成分の値 GOを推定して混合回 路 421に出力する。 F5は水平、 垂直方向において図 24中特性 Cで示した 周波数特性を持つ。 GOの計算式は、 式（17)
GO = (∑F5_k, 1 X(k, 1)) I ∑F5_k.1 (17) である。 式中、 X(k, l)は、 Xの座標（k.1)における画素値を指し、 分母、 分子とも、 Xにおいて G画素位置の座標を表す整数組（k, 1)全てに関して 和をとる。
S66:最後に、 混合回路 421は Xの中央画素の R成分 R0および B成分 B0の 値を式（18)、
R0 = Cr + GO, BO = Cb + GO (18) で計算する。 そして、 得られた RGB三色成分（RO, GO, BO)を画質調整回路 110に出力する。
RB補間回路 409の処理が内部バッファ 424の全画素に対して終了する と、 画質調整回路 110には、 単板画像バッファ 104の各画素で色成分の 欠落が補われたカラー画像が出力されたことになる。 以降の処理は第 1の実施形態例と同一である。 なお、 本実施形態例と同様の処理を第 1の実施形態例と同様に、 RAWデータフアイルを現像するソフ ト ウェア と して実現することも可能である。 具体的には、 図 10のフローチヤ一 トにおいて、 ノ ッフ ァ 3に加えてバッファ 4を設け、 特定のステップ に変更を加える。
図 30は、 変更後のフローチャー トである。 以下、 フローチャー トの 各ステップを説明する。 S80： 図 10の S7と同一である。 S81 ： 図 10の S8 と同一である。 S82： バッファ 2内の R画素位置または B画素位置で、 未 処理のものがあるかどうか探索する。 未処理のものが見つかれば S83に、 なければ S86に進む。 S83： 未処理画素の 3x3近傍を読み出す。 S84： 読 み出した近傍内で、 中央画素に水平方向に隣接する G画素の平均値 Ghを 計算し、 バッファ 3の注目画素に対応する位置に出力する。 S85 : 読み 出した近傍内で、 中央画素に垂直方向に隣接する G画素の平均値 Gvを 計算し、 バッフ 4内の注目画素に対応する位置に出力する。 S84および S85において、 例えば近傍が図 21の場合、 計算式は式 （ 1 0 ) に示した ものになる。 S86： 図 10の S13と同一である。 S87： S87から S90の処理が まだ施されていないバッファ 2中の画素を探索する。 見つかれば S88に、 なければ S91に進む。 S88： バッファ 2内の未処理画素 （以下 Qと呼ぶ） に対し、 その対応する画素位置の周囲 NxN近傍 （Nは所定の整数） を読 み出す。 以下このデータを Xとする。 また、 バッ フ ァ 3 , 4それぞれか らも、 Qに対応する百素位置の周囲 NxN近傍を読み出す。 以下このデー タをそれぞれ YHおよび YVとする。 S89 : 図 22のフローチャートに示され た R B補間処理を行う。 S90 ： バッファ 1 の Qに対応する画素位置に、 S89の結果である R G B値を書き込む。 S91 ： 図 10の S18と同一である。 S92： 図 10の S19と同一である。
また、 本実施形態例においては、 画素ごとに段差量を判断しそれに 応じた処理を行っていたが、 どのような段差が生じても破綻を生じな いように、 あらかじめ段差に影響を受けない補間処理のみを実装する ことも考えられる。 このような変形例を図 27に示す。 図 27は変形例に おける RB補間回路 409の構成を示すもので、 図 20に比較して段差量推定 回路 423が除かれている。 また、 混合回路 421に替えて混合回路 431が設 けられている。 その他の回路の作用は変形例においても同一である。 混合回路 431は、 式 （14)、 式（17)により Crl,Cbl，G0を計算した後、 式 ( 18)に代えて、 以下の式（19)、
RO = Crl + GO, BO = Cbl + GO ( 19) で最終的な ROおよび BOを計算する。 その結果、 常に段差に影響を受け ない補間結果が得られる。
図 27に記載の要件は、 請求項 2に記載の要件に対応する。 すなわち、 補間回路 E223、 補間回路 F224は、 請求項 2に記載の 「データの各画素 で、 欠落する色成分を補う複数の補間手段」 に相当する。 また、 選択 回路 1 16は、 「前記複数の補間手段からの出力を混合する混合手段」 に 相当する。 こ こで、 前記補間手段および混合手段は、 請求項 2 に記載 の 「前記 （特定色成分を取得する画素の間の） 感度差に応じて設定さ れている」 ものである。
なお、 図 27に記載の変形例についても、 同様の処理をソフ ト ウェア で実行することが可能である。 その場合、 図 30に示すソフ ト処理のフ 口一チャー トにおいて、 S89の RB補間処理を、 図 22のフローチャー トで はなく 図 31のフローチヤ一トで実施すればよい。 図 31のフローチヤ一 トは、 図 22のフローチャー トで S63の処理を行わないもので、 各ステツ プの処理内容は以下のとおりである。 S 101 ： 図 22の S62と同一である。
S 102 ： 図 22の S64と同様の処理であるが、 式 （15)、 式 （16) の計算は 行わない。 S103： 図 22の S65と同一である。 S104： 図 22の S66と同様の 処理であるが、 式 （18) に代えて式 （19) で最終的な R成分と B成分を
5十算する。
次に、 本発明の請求項に記載された画像処理プログラムの実施形態 例との対応を説明する。 請求項 1 3の画像処理プログラムは、 実施例 形態例 1 から 4 に記載した RAW現像ソ フ ト （図 5. 10, 13, 17, 22. 30) に対応する。 請求項 1 3の画像処理プログラムは、 請求項 1 の発 明と同様の、 感度差に応じて複数の補間結果を最適に混合することで 感度差のある場合でも破綻のない補間が行える、 という作用効果を奏 する。
請求項 1 3にかかる画像処理プログラムの各実施形態例との対応関 係は、 次の通りである。
( a ) 実施形態例 1 の全体のフローチャー ト ： 図 10のフローチヤ一 卜の S1 1で図 5のフローチヤ一トの処理を行うものである。 「データを読 み込む手順」 は、 図 10の S7、 「複数の補間処理の手順」 は、 図 10の S1 1 内 （図 5のフローチャー ト） で、 図 5の S 1および S2、 「出力を混合する 手順」 は、 図 10の S1 1内 （図 5のフローチャー ト） で、 図 5の S5、 「感度 差に応じて制御する手順」 は、 図 10の S 1 1内 （図 5のフローチャー ト） で、 図 5の S3および S4の処理に対応する。
( b. ) 実施例形態例 2の全体のフローチャー ト ： 図 10のフローチヤ 一卜 の S1 1内 （図 13のフローチャー ト） で図 13のフローチャー ト の処理 を行う。 「データを読み込む手順」 は、 図 10の S7、 「複数の補間処理の 手順」 は、 図 10の S 1 1内 （図 13のフローチャー ト） で、 図 13の S32およ び S33、 「出力を混合する手順」 は、 図 10の S1 1内 （図 13のフローチヤ一 ト） で、 図 13の S34、 S35および S36、 「感度差に応じて制御する手順」 は、 図 10の S 1 1内 （図 13のフローチャー ト） で、 図 13の S30および S31の 処理に対応する。
( c ) 実施形態例 3の全体のフローチャー ト ： 図 10のフローチヤ一 トの S9から S12を図 17のフローチヤ一トに置き換えて処理を行う。 「デ 一夕を読み込む手順」 は、 図 10の S7、 「複数の補間処理の手順」 は、 図 17の S41および S42、 「出力を混合する手順」 は、 図 17の S46、 S47および S48、 「感度差に応じて制御する手順」 は、 図 17の S45の処理に対応する。
( d ) 実施形態例 4の全体のフ口一チャー ト ： 図 30の S89で図 22のフ 口一チャー ト の処理を行う。 「データを読み込む手順」 は、 図 30の S80、 「複数の補間処理の手順」 は、 図 30の S84および S85、 「出力を混合する 手順」 は、 図 30の S89内 （図 22のフローチャー ト） で、 図 22の S64、 「感 度差に応じて制御する手順」 は、 図 30の S89内 （図 22のフローチヤ一 ト） で、 図 22の S63の処理に対応する。
請求項 1 4の画像処理プログラムは、 実施形態例 2の変形例および 実施形態例 4の変形例に記載した RAW現像ソフ ト （図 1 0, 29, 30, 31 ) に対応する。 請求項 1 4の画像処理プログラムは、 請求項 2の発明と 同様の、 補間手段と混合手段が、 入力データに感度差がある場合に対 処できるように設定されているので、 破綻のない補間結果が得られる、 という作用効果を奏する。
請求項 1 4にかかる画像処理プログラムの各実施形態例との対応関 係は、 次の通りである。
( a ) 実施形態例 2の変形例における全体のフローチャー ト ： 図 1 0 のフローチャー トの S 1 1で図 29のフローチャー ト の処理を行う。 「デー タを読み込む手順」 は、 図 1 0の S7、 「複数の補間処理の手順」 は、 図 1 0 の S 1 1内 （図 29のフローチャー ト） で、 図 29の S70および S71、 「出力を 混合する手順」 は、 図 1 0の S 1 1内 （図 29のフ ローチャー ト） で、 図 29 の S72、 S73および S74の処理に対応する。
( b ) 実施形態例 4の変形例における全体のフローチャー ト ： 図 30 の S89で図 31のフローチヤ一トの処理を行う。 「データを読み込む手 順」 は、 図 30の S80、 「複数の補間処理の手順」 は、 図 30の S84および S85、 「出力を混合する手順」 は、 図 30の S89内 （図 31のフ ローチヤ一 ト） で、 図 31の S64、 「感度差に応じて制御する手順」 は、 図 30の S89内 (図 31のフローチャー ト） で、 図 31の S68の処理に対応する。
請求項 1 5にかかる画像処理プログラムは、 請求項 3、 請求項 5に 記載の画像処理装置の実施形態例に対応する。 すなわち、 実施形態例 1〜3に対応し、 次の作用効果を奏する。 （a ) 制御する手順が、 フ ィ ルタ係数を、 感度差の影響が補間結果に及ばないように設定するため、 感度差のある入力データに対しても破綻ない補間結果が得られる。 ( b ) 感度差が補間結果に与える周波数成分を取り除く こ とによ り補 間結果に感度差の影響が生じないように出来る。
請求項 1 6にかかる画像処理プログラムは、 請求項 4、 請求項 5に 記載の画像処理装置の実施形態例に対応する。 すなわち、 実施形態例 1 〜 3に対応するが、 実施形態例 2は図 2 6に記載の変形例が対応す る。 請求項 1 6にかかる画像処理プログラムは、 次の作用効果を奏す る。 （a ) フ ィ ルタ係数が、 感度差の影響が補間結果に及ばないように 設定されているため、 感度差のある入力データに対しても破綻ない補 間結果が得られる。 （b ) 感度差が補間結果に与える周波数成分を取り 除く ことにより補間結果に感度差の影響が生じないように出来る。 請求項 1 7の画像処理プログラムは、 実施形態例 1、 2に対応し、 請求項 7に記載の作用効果を奏する。 すなわち、 一般的な感度差の推 定を行う方法（例えば画像内の同じ色成分の画素の値を比較するなど） より、 特定センサや特定撮影条件に固有の感度差の発生量やパターン に、 最適に対応できる。 請求項 1 7の画像処理プログラムの 「感度差 を推定する手順」 は図 5の S3、 「撮像素子の種類」 は、 図 5の S8の説明中 にある撮像素子の型番、 「撮影条件」 は、 図 5の S3の説明中にある、 シ ャッタ速度に対応する。
請求項 1 8の画像処理プログラムは、 実施形態例 1、 4に対応し、 請求項 9に記載の作用効果を奏する。 すなわち、 感度差に応じて複数 の補間結果を最適に加重平均でき、 感度差がある場合でも破綻のない 補間処理が行える。
請求項 1 8にかかる画像処理プログラムの各実施形態例との対応関 係は、 「加重平均処理を行う手順」 について、 （ a ) 実施形態例 1 の全 体のフローチャー ト ： 図 1 0のフ ローチャー ト の S 1 1で、 図 5のフ ローチ ヤー トの処理を行う。 図 10の S 1 1内 （図 5のフローチャー ト） で、 図 5の S5の処理を行う。 （b ) 実施形態例 4の全体のフローチャー ト ： 図 30の S89で図 22のフローチャー トの処理を行う。 図 30の S89内 （図 22のフロ 一チャート） で、 図 22の S64の処理を行う。
請求項 1 9の画像処理プログラムは、 実施形態例 2、 4に対応し、 請求項 1 2に記載の作用効果を奏する。 すなわち、 複数の補間結果を エツジ方向に応じて混合することで、 高精度な補間が行える。
請求項 1 9にかかる画像処理プログラムの各実施形態例との対応関 係は、 「エッジ方向を判別する手順」 について、 （ a ) 実施形態例 2の 全体のフローチャート ： 図 1 0のフローチャー トの S 1 1で図 1 3のフローチ ヤー トの処理を行う。 図 1 0の S 1 1内 （図 13のフローチャー ト） で、 図 13 の S34の処理を行う。 （b ) 実施形態例 4の全体のフローチャー ト ： 図 30の S89で図 22のフローチャー トの処理を行う。 図 30の S89内 （図 22の フローチャート） で、 図 22の S62に対応の処理を行う。 産業上の利用可能性
以上説明したように、 本発明によれば、 高精度で、 かつセンサの感 度ばらつきがある場合でも、 副作用の少ない補間処理を行える構成の 画像処理装置および画像処理プログラムを提供することができる。

Claims

請 求 の 範 囲
1 . 特定色成分を取得する画素の間に感度差がある撮像素子により 撮影されたデータを処理する画像処理装置であって、
前記データの各画素で、 欠落する色成分を補う複数の補間手段と、 前記複数の補間手段からの出力を混合する混合手段と、 前記補間手段 および混合手段の少なく とも一方を前記感度差に応じて制御する制御 手段と、 を有することを特徴とする画像処理装置。
2 . 特定色成分を取得する画素の間に感度差がある撮像素子により 撮影されたデータを処理する画像処理装置であって、
前記データの各画素で、 欠落する色成分を補う複数の補間手段と、 前記複数の補間手段からの出力を混合する混合手段とを有し、 前記補 間手段および混合手段が、 前記感度差に応じて設定されているこ とを 特徴とする画像処理装置。
3 . 前記複数の補間手段の少なく ともひとつは線形フ ィ ルタであり、 前記制御手段は前記感度差に応じて各フ イ ルクの係数を設定するこ と を特徴とする請求項 1記載の画像処理装置。
4 . 前記複数の補間手段の少なく ともひとつは線形フ ィルタであり、 その係数が前記感度差に応じて設定されていることを特徴とする請求 項 2記載の画像処理装置。
5 . 前記係数は、 前記感度差が原因で前記データに生じる周波数成 分の増幅度を所定の範囲に抑えるよう設定されることを特徴とする請 求項 3または請求項 4記載の画像処理装置。
6 . 前記制御手段は、 前記撮像素子の感度差を推定する感度差推定 手段を備え、 推定結果に基いて制御を行うことを特徴とする請求項 1 記載の画像処理装置。
7 . 前記感度差推定手段は、 前記撮像素子の種類ないし前記データ の撮影条件に基いて感度差を推定することを特徴とする請求項 6記載 の画像処理装置。
8 . 前記混合手段は、 前記複数の補間結果のいずれかを選択する選 択手段を有し、 前記制御手段は、 前記感度差に応じて前記選択手段が 前記いずれの補間結果を選択するかを決定することを特徴とする請求 項 1記載の画像処理装置。
9 . 前記混合手段は前記複数の補間結果を加重平均する加重平均手 段を有し、 前記制御手段は前記感度差に応じて前記加重平均手段の重 みを決定することを特徴とする請求項 1記載の画像処理装置。
1 0 . 前記混合手段は前記複数の補間結果各々 を複数の周波数成分 に分解し、 周波数成分ごとに異なる重みで加重平均した後再合成する ことを特徴とする請求項 1 または請求項 2記載の画像処理装置。
1 1 . 前記制御手段は、 前記複数の補間結果のうち、 結果に残留す る感度差の量を測定する感度差測定手段を有し、 測定結果に基いて前 記混合手段を制御するこ とを特徴とする請求項 1記載の画像処理装置。
1 2 . 前記制御手段は前記データの各画素の近傍におけるエッジ方 向を判定する方向判別手段を備え、 方向判別結果に基いて前記混合手 段を制御することを特徴とする請求項 1記載の画像処理装置。
1 3 . コ ンピュータに、 特定色成分を取得する画素の間に感度差が ある撮像素子により撮影されたデータを読み込む手順と、 前記データ の各画素で欠落する色成分を補う複数の補間処理の手順と、 前記複数 の補間処理の手順に基づく 出力を混合する手順と、 前記補間処理の手 順、 および前記混合する手順の少なく とも一方を前記感度差に応じて 制御する手順と、 を実行させるための画像処理プログラム。
1 4 . コ ンピュータに、 特定色成分を取得する画素の間に感度差が ある撮像素子により撮影されたデータを読み込む手順と、 前記データ の各画素で欠落する色成分を補う複数の補間処理の手順と、 前記複数 の補間処理の手順に基づく 出力を混合する手順を実行させるための画 像処理プログラムであって、 前記複数の補間処理の手順と前記混合す る手順とが前記感度差に応じて設定されていること、 を特徴とする画 像処理プログラム。
1 5 . 前記複数の補間処理の少なく とも一つは線形フ ィルタによる 補間処理であり、 前記制御する手順は、 前記フ ィ ルタの係数が前記感 度差が原因で前記データに生じる周波数成分の増幅度を所定の範囲に 抑えるよう設定する手順を含むこと、 を特徽とする請求項 1 3に記載 の画像処理プログラム。
1 6 . 前記複数の補間処理の少なく とも一つは線形フ ィ ルタによる 補間処理であり、 かつそのフィルタ係数が前記感度差が原因で前記デ 一タに生じる周波数成分の増幅度を所定の範囲に抑えるよう設定され ていること、 を特徴とする請求項 1 4に記載の画像処理プログラム。
1 7 . 前記制御する手順は、 前記撮像素子の感度差を前記撮像素子 の種類ないし前記データの撮影条件に基プいて推定する手順を含むこ と、 を特徴とする請求項 1 3に記載の画像処理プログラム。
1 8 . 前記混合する手順は、 前記複数の補間処理の結果を加重平均 する加重平均処理を行う手順を含み、 前記制御する手順は、 前記感度 差に応じて前記加重平均処理の重みを決定する手順を含むこと、 を特 徴とする請求項 1 3に記載の画像処理プログラム。
1 9 . 前記制御する手順は、 前記データの各画素の近傍におけるェ ッジ方向を判定する手順を含み、 前記エツジ方向を判定する手順の処 理結果に基づいて前記混合する手順を制御すること、 を特徴とする請 求項 1 3に記載の画像処理プログラム。
PCT/JP2005/008827 2004-05-13 2005-05-10 画像処理装置および画像処理プログラム WO2005112470A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/596,207 US8259202B2 (en) 2004-05-13 2005-05-10 Image processing device and image processing program for acquiring specific color component based on sensitivity difference between pixels of an imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004143128A JP4717371B2 (ja) 2004-05-13 2004-05-13 画像処理装置および画像処理プログラム
JP2004-143128 2004-05-13

Publications (1)

Publication Number Publication Date
WO2005112470A1 true WO2005112470A1 (ja) 2005-11-24

Family

ID=35394532

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/008827 WO2005112470A1 (ja) 2004-05-13 2005-05-10 画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US8259202B2 (ja)
JP (1) JP4717371B2 (ja)
WO (1) WO2005112470A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231745A1 (en) * 2006-06-16 2010-09-16 Ming Li Imaging device and signal processing method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005058415A1 (de) * 2005-12-07 2007-06-14 Olympus Soft Imaging Solutions Gmbh Verfahren zur Farbkorrekturberechnung
JP2009005166A (ja) * 2007-06-22 2009-01-08 Olympus Corp 色補間装置及び画像処理システム
US8035704B2 (en) 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
US8131067B2 (en) * 2008-09-11 2012-03-06 Seiko Epson Corporation Image processing apparatus, image processing method, and computer-readable media for attaining image processing
TWI376646B (en) * 2008-12-23 2012-11-11 Silicon Motion Inc Pixel processing method and image processing system
JP5359553B2 (ja) * 2009-05-25 2013-12-04 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
JP5401191B2 (ja) * 2009-07-21 2014-01-29 富士フイルム株式会社 撮像装置及び信号処理方法
KR101665137B1 (ko) 2010-04-07 2016-10-12 삼성전자주식회사 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5780747B2 (ja) * 2010-12-15 2015-09-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8654225B2 (en) * 2011-05-31 2014-02-18 Himax Imaging, Inc. Color interpolation system and method thereof
JP5883992B2 (ja) * 2013-05-23 2016-03-15 富士フイルム株式会社 画素混合装置およびその動作制御方法
JP6626272B2 (ja) * 2015-05-26 2019-12-25 ハンファテクウィン株式会社 画像処理装置、画像処理方法及び撮像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04140992A (ja) * 1990-10-02 1992-05-14 Canon Inc 撮像装置
JPH07236147A (ja) * 1993-08-31 1995-09-05 Sanyo Electric Co Ltd 単板式カラービデオカメラの色分離回路
JPH08298669A (ja) * 1995-03-17 1996-11-12 Eastman Kodak Co 適応カラー補間単一センサカラー電子カメラ
JP2002238057A (ja) * 2001-02-08 2002-08-23 Ricoh Co Ltd 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
JP2003230158A (ja) * 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2004363902A (ja) * 2003-06-04 2004-12-24 Nikon Corp 撮像装置
JP2005160044A (ja) * 2003-10-31 2005-06-16 Sony Corp 画像処理装置および画像処理方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563538B1 (en) * 1997-09-26 2003-05-13 Nikon Corporation Interpolation device, process and recording medium on which interpolation processing program is recorded
JP3660504B2 (ja) * 1998-07-31 2005-06-15 株式会社東芝 カラー固体撮像装置
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP2002016930A (ja) * 2000-06-28 2002-01-18 Canon Inc 撮像装置及び方法、信号処理装置及び方法
JP2002209223A (ja) * 2001-01-09 2002-07-26 Sony Corp 画像処理装置および方法、並びに記録媒体
US7079705B2 (en) * 2002-10-30 2006-07-18 Agilent Technologies, Inc. Color interpolation for image sensors using a local linear regression method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04140992A (ja) * 1990-10-02 1992-05-14 Canon Inc 撮像装置
JPH07236147A (ja) * 1993-08-31 1995-09-05 Sanyo Electric Co Ltd 単板式カラービデオカメラの色分離回路
JPH08298669A (ja) * 1995-03-17 1996-11-12 Eastman Kodak Co 適応カラー補間単一センサカラー電子カメラ
JP2002238057A (ja) * 2001-02-08 2002-08-23 Ricoh Co Ltd 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム
JP2003230158A (ja) * 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2004363902A (ja) * 2003-06-04 2004-12-24 Nikon Corp 撮像装置
JP2005160044A (ja) * 2003-10-31 2005-06-16 Sony Corp 画像処理装置および画像処理方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231745A1 (en) * 2006-06-16 2010-09-16 Ming Li Imaging device and signal processing method
US8471936B2 (en) * 2006-06-16 2013-06-25 Sony Corporation Imaging device and signal processing method

Also Published As

Publication number Publication date
JP4717371B2 (ja) 2011-07-06
US20080043115A1 (en) 2008-02-21
US8259202B2 (en) 2012-09-04
JP2005328215A (ja) 2005-11-24

Similar Documents

Publication Publication Date Title
WO2005112470A1 (ja) 画像処理装置および画像処理プログラム
JP4700445B2 (ja) 画像処理装置および画像処理プログラム
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
JP5574615B2 (ja) 画像処理装置、その制御方法、及びプログラム
KR100505681B1 (ko) 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법
US7667738B2 (en) Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera
JP4350706B2 (ja) 画像処理装置及び画像処理プログラム
CN1312939C (zh) 图像处理方法、图像处理程序、图像处理装置
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20130057734A1 (en) Image processing apparatus, image processing method, information recording medium, and program
JP2013219705A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
US7982787B2 (en) Image apparatus and method and program for producing interpolation signal
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6415093B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20120287299A1 (en) Image processing device, storage medium storing image processing program, and electronic camera
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
JP5153842B2 (ja) 画像処理装置、画像処理プログラム
JP4483746B2 (ja) 欠陥画素補正方法及び装置
JP4239483B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4583871B2 (ja) 画素信号生成装置、撮像装置および画素信号生成方法
JP4196055B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP2014110507A (ja) 画像処理装置および画像処理方法
JP6987621B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 11596207

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 11596207

Country of ref document: US