WO2013065518A1 - 撮像装置及び画像処理方法 - Google Patents

撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2013065518A1
WO2013065518A1 PCT/JP2012/077302 JP2012077302W WO2013065518A1 WO 2013065518 A1 WO2013065518 A1 WO 2013065518A1 JP 2012077302 W JP2012077302 W JP 2012077302W WO 2013065518 A1 WO2013065518 A1 WO 2013065518A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
thinning
line
filters
white balance
Prior art date
Application number
PCT/JP2012/077302
Other languages
English (en)
French (fr)
Inventor
善工 古田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2013541708A priority Critical patent/JP5603506B2/ja
Priority to CN201280053307.7A priority patent/CN104025574B/zh
Publication of WO2013065518A1 publication Critical patent/WO2013065518A1/ja
Priority to US14/264,800 priority patent/US8982236B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to an imaging apparatus and an image processing method, and more particularly to a technique for calculating a white balance gain at high speed and with high accuracy.
  • a white balance gain (WB gain) is calculated based on an image that is thinned out (extracted) from an image of the entire area of the image sensor, and an image of a partial area of the image sensor is captured by electronic zoom.
  • An imaging apparatus that performs white balance correction using the calculated WB gain is described. Thereby, the WB gain can be calculated with high accuracy by detecting the color temperature from the image of the region where white is more likely to exist than the region to be captured.
  • Patent Document 2 pixel signals are read out from a solid-state image sensor, or signals of a plurality of pixels in the same color line in the vertical direction are added and read out, and the read signals are detected (color-specific levels). There is a description of calculating the WB gain by performing integration processing.
  • the imaging device applied to the imaging device described in Patent Documents 1 and 2 has a Bayer array color filter array (see paragraph [0023] of FIG. 4, FIG. 4 and Patent Document 2). FIG. 3).
  • green (G) pixels are arranged in a checkered pattern, and red (R) and blue (B) are line-sequentially arranged, so that the high-frequency signal folds beyond the reproduction band of each color and the phase of each color.
  • red (R) and blue (B) are line-sequentially arranged, so that the high-frequency signal folds beyond the reproduction band of each color and the phase of each color.
  • low frequency coloring color moire
  • the color filter array of the image sensor is arranged so as to satisfy an array restriction condition in which any target pixel is adjacent in any one of three colors including the color of the target pixel and four sides of the target pixel.
  • Patent Document 3 A color imaging device having a three-color random arrangement has been proposed (Patent Document 3).
  • Patent Document 4 the ratio of the G filter is increased compared to the R filter and the B filter, and the color resolution in the horizontal direction and the vertical direction is compared with the case where the color filters of the same ratio are arranged in a lattice structure.
  • an imaging apparatus that can reduce color moire in a luminance signal has been proposed.
  • color mixture occurs due to light leakage from adjacent pixels.
  • the degree of color mixing depends on photographing conditions such as the focal length of the photographing lens and the F value of the aperture.
  • RGB pixels exist on one line, but since RGB filters are randomly arranged, any of them may be used when calculating the WB gain. Even if this line is thinned and read out, a color signal affected by the same degree of color mixing is obtained, and a highly accurate WB gain in which the influence of color mixing is reduced cannot be calculated.
  • the present invention has been made in view of such circumstances, and it is possible to calculate a high-accuracy white balance gain in consideration of the influence of noise and the influence of color mixing between adjacent pixels at high speed. It is an object of the present invention to provide an imaging apparatus and an image processing method that can quickly perform the operation.
  • an imaging apparatus includes an imaging optical system and an imaging element on which a subject image is formed via the imaging optical system, and is arranged in a two-dimensional manner.
  • a color filter array including three primary colors is arranged on the photoelectric conversion element, a color filter of the three primary colors is arrayed on each line, and a color filter array including a plurality of lines having different ratios of the number of the three primary color filters.
  • a white balance gain calculating means for calculating a white balance gain based on each color signal corresponding to a color filter of each color of a line in which the ratio of the number of color filters of the three primary colors is more uniform among the plurality of lines And acquired via the image sensor based on the white balance gain calculated by the white balance gain calculating means.
  • a white balance correction means performs white balance correction on the color signals.
  • an image sensor having a special color filter array in which the ratio of the number of the three primary color filters is different depending on the line is used, and the ratio of the number of the three primary color filters is more uniform.
  • the white balance gain is calculated based on the color signal.
  • An imaging apparatus is an imaging optical system and an imaging element on which a subject image is formed via the imaging optical system, and is arranged on a photoelectric conversion element arranged in a two-dimensional manner.
  • An image sensor having a color filter array including a plurality of lines in which color filters including primary colors are arranged, color filters of three primary colors are arranged in each line, and the ratio of the number of color filters of the three primary colors is different;
  • Thinning pattern determining means for determining one thinning pattern from a plurality of thinning patterns for selecting a line to be thinned and read out of the lines, and the color filter for each line acquired by the image sensor Among the color signals corresponding to the predetermined line selected according to the thinning pattern determined by the thinning pattern determination means
  • White balance gain calculating means for calculating a white balance gain based on the color signal, and white balance correction for each color signal acquired via the image sensor based on the white balance gain calculated by the white balance gain calculating means.
  • White balance correction means for performing.
  • a thinning pattern for selecting a line with little color mixture (a line with an uneven ratio of the number of color filters of three primary colors) is determined under shooting conditions in which color mixing increases, and thinning is read according to the determined thinning pattern.
  • a white balance gain is calculated based on the color signal, and a highly accurate white balance gain in which the influence of color mixing is reduced is calculated.
  • a thinning pattern for selecting a line with less influence of noise (a line with a more uniform ratio of the number of three primary color filters) is determined, and thinning is read according to the determined thinning pattern.
  • the white balance gain is calculated based on the color signal of a predetermined line.
  • the thinning pattern determination unit obtains one thinning pattern from the plurality of thinning patterns based on at least one of an F value and a zoom magnification at the time of photographing by the photographing optical system. It is preferable to determine.
  • the color mixture increases as the F value of the photographing optical system approaches the open F value.
  • a condensing microlens is disposed on each photoelectric conversion element of the image sensor. These microlenses are arranged at a distance from the center of the image sensor to correct the incident angle of the light beam. Accordingly, the photoelectric conversion elements are arranged slightly shifted (scaled). If the angle of incidence on the microlens deviates from the angle of incidence assumed in advance due to the zoom magnification, color mixing increases. In view of this, in another aspect of the present invention, it is determined whether or not there is a shooting condition with a large amount of color mixing based on at least one of the F value and zoom magnification during shooting.
  • the thinning pattern determination unit includes a color temperature detection unit that detects a color temperature of the ambient light, and the color temperature of the ambient light detected by the color temperature detection unit Based on this, it is preferable to determine one thinning pattern from the plurality of thinning patterns.
  • the color temperature of the ambient light is an intermediate color temperature at which the levels of the color signals of the three primary colors are substantially equal, the influence of the mixed color on the calculation accuracy of the white balance gain is small, but when the color temperature is low or high, The mixed color component greatly affects the calculation accuracy of the white balance gain. Therefore, in still another aspect of the present invention, an appropriate thinning pattern is selected based on the color temperature of the ambient light.
  • the thinning pattern determination unit determines whether or not the shooting condition includes a large number of mixed colors, and the ratio of the number of the three primary color filters is not uniform under the shooting condition where the mixed colors are large. It is preferable to determine a thinning pattern for selecting a simple line, and to select a thinning pattern for selecting a line having a more uniform ratio of the number of pixels corresponding to the color filters of the three primary colors under photographing conditions with little color mixture.
  • the imaging apparatus further includes sensitivity setting means for setting shooting sensitivity, and the thinning pattern determination means is configured to perform the above operation when the shooting sensitivity set by the sensitivity setting means is low sensitivity.
  • the thinning pattern determination means is configured to perform the above operation when the shooting sensitivity set by the sensitivity setting means is low sensitivity.
  • the shooting sensitivity When the shooting sensitivity is low, the influence of noise is small, so that it is possible to calculate a white balance gain with high accuracy by thinning out and reading out a line with less color mixture.
  • the shooting sensitivity when the shooting sensitivity is high, the influence of noise is large. Therefore, when obtaining the integrated average value of each color signal, it is more accurate to thin out and read out lines with a more uniform ratio of the number of the three primary color filters. A white balance gain can be calculated. Therefore, in still another aspect of the present invention, the thinning pattern is selected based on the photographing sensitivity.
  • the imaging apparatus further includes sensitivity setting means for setting imaging sensitivity, wherein the plurality of thinning patterns include thinning patterns having different thinning rates, and the thinning pattern determination means includes the sensitivity setting.
  • the photographing sensitivity set by the means is low sensitivity
  • a thinning pattern having a high thinning rate among the thinning patterns having different thinning rates is determined, and when the set photographing sensitivity is high sensitivity, It is preferable to determine a thinning pattern having a low thinning rate among thinning patterns having different thinning rates.
  • the influence of the noise component is small. Therefore, the calculation speed is increased by increasing the thinning rate, while the thinning rate is decreased when the shooting sensitivity is high. Thus, the influence of the noise component is reduced and the calculation of the highly accurate white balance gain is given priority over the increase in the calculation speed.
  • An imaging apparatus includes a sensitivity setting unit that sets a shooting sensitivity and a determination unit that determines whether or not to place importance on a calculation speed.
  • the thinning pattern determination means has a high thinning rate among the thinning patterns having different thinning rates when the photographing sensitivity set by the sensitivity setting means is low.
  • the thinning patterns having different thinning rates are selected.
  • the thinning pattern for selecting a line having a high thinning rate and a more uniform ratio of the number of the color filters of the three primary colors is determined and set.
  • thinning is performed to select a line having a low thinning rate and a non-uniform ratio of the number of the three primary color filters among the thinning patterns having different thinning rates. It is preferable to determine the pattern.
  • the photographing sensitivity is high, if the influence of noise on the calculation accuracy of the white balance gain can be reduced, it is possible to calculate the white balance gain with higher accuracy by thinning out and reading out the line with less color mixture. Therefore, in still another aspect of the present invention, even when the photographing sensitivity is high, if the calculation speed is not important, a thinning pattern for thinning out and reading out lines with a low thinning rate and less color mixture is determined. . In this case, by using a thinning pattern having a low thinning rate, the integrated average value of more color signals is calculated, so that the influence of noise on the calculation accuracy of the white balance gain can be reduced.
  • the imaging apparatus includes a calculation unit that calculates an offset value for each color signal corresponding to the color filters of the three primary colors, and the white balance gain calculation unit calculates the white balance gain.
  • the integrated average value for each color signal of the line used for the color signal is calculated, the offset value calculated for each color signal is subtracted from the integrated average value, and the white value is calculated based on the ratio of the integrated average values for the subtracted color signals. It is preferable to calculate the balance gain. By performing offset correction for each color signal, it is possible to improve white balance gain calculation accuracy.
  • the imaging element is an imaging element having an element structure that shares an amplifier for each predetermined pixel group, and the calculation unit is configured to calculate each pixel that shares the amplifier.
  • a first calculation unit that calculates an offset value for each position with respect to the amplifier; a position of each pixel in the thinning pattern determined by the thinning pattern determination unit; and the position calculated by the first calculation unit.
  • Second calculating means for calculating an offset value for each color signal based on an offset value for each position with respect to the amplifier.
  • the offset value for each color signal can be calculated in consideration of the offset component step generated by the underlying element structure including the shared amplifier. By correcting the accumulated average value of each color signal by this offset value, white The calculation accuracy of the balance gain can be improved.
  • the color filter array of the imaging element includes a first filter corresponding to the first color that contributes most to obtain a luminance signal, and a color other than the first color.
  • the basic arrangement pattern is repeatedly arranged in a horizontal direction and a vertical direction
  • the first filter includes: The second filter is arranged in each line in the horizontal, vertical, diagonally upper right and diagonally lower right directions of the color filter array, and the second filter is arranged in the horizontal and vertical directions of the color filter array in the basic array pattern.
  • the ratio of the number of pixels of the first color corresponding to the first filter is one or more arranged in each line, and the ratio of the number of pixels of each color of the second color corresponding to the second filter Big It is preferred.
  • one first filter corresponding to the first color that contributes most to obtain a luminance signal is placed in each of the horizontal, vertical, diagonally upper right, and diagonally lower right lines of the color filter array. Since the above arrangement is made, the reproduction accuracy of the synchronization process in the high frequency region can be improved, and the second filter corresponding to two or more second colors other than the first color is also applicable. Since at least one color filter array is arranged in each horizontal and vertical line, the generation of color moire (false color) can be suppressed and high resolution can be achieved. Further, since the color filter array has a predetermined basic array pattern repeatedly arranged in the horizontal direction and the vertical direction, when performing the synchronization (interpolation) process in the subsequent stage, the process is repeatedly performed according to the pattern. Thus, the subsequent processing can be simplified as compared with the random arrangement.
  • the color filter array of the image sensor includes a predetermined basic array pattern in which red (R), green (G), and blue (B) color filters are arrayed.
  • the basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction, the predetermined basic array pattern is a square array pattern corresponding to 6 ⁇ 6 pixels, and the color filter array corresponds to 3 ⁇ 3 pixels.
  • one or more G filters corresponding to the G signal that contributes most to obtain a luminance signal are arranged in each line in the horizontal, vertical, diagonal upper right, and diagonal lower right directions.
  • the reproduction accuracy of the synchronization processing in the region can be improved, and more than one R and B filters corresponding to the R signal and B signal are arranged in each horizontal and vertical line. Therefore, it is possible to suppress the occurrence of color moire (false color) and achieve high resolution.
  • the plurality of thinning patterns include lines having a ratio of the number of RGB color filters of 1: 4: 1 when thinning out one line every six lines.
  • a thinning pattern to be read out and a thinning pattern to read out a line having a ratio of the number of RGB color filters of 1: 1: 1 are included.
  • This thinning pattern is 1/6 thinning, the thinning rate is the highest, and the amount of calculation at the time of calculating the white balance gain is the smallest, and the speed can be increased.
  • the plurality of thinning patterns may be a line having a ratio of the number of RGB color filters of 1: 4: 1 when thinning out two lines every six lines.
  • a thinning pattern to be read out and a thinning pattern to read out a line having a ratio of the number of RGB color filters of 1: 1: 1 are included.
  • the plurality of thinning patterns include lines having a ratio of the number of RGB color filters of 1: 4: 1 when three lines are thinned out every six lines. This includes a thinning pattern to be read and a thinning pattern to read a line having a ratio of the number of RGB color filters of 5: 8: 5.
  • the plurality of thinning patterns include lines having a ratio of the number of RGB color filters of 1: 4: 1 when four lines are thinned out every six lines. It includes a thinning pattern to be read and a thinning pattern to read a line having a ratio of the number of RGB color filters of 1: 2: 1.
  • This thinning pattern is 4/6 thinning, the thinning rate is low, and the amount of calculation when calculating the white balance gain is large, but the white balance gain with little influence of noise can be calculated.
  • An image processing method is an image acquisition step of acquiring a mosaic image corresponding to a color filter array via an imaging element in which a photographing optical system and color filters of three primary colors are arrayed.
  • Each line of the mosaic image includes a color signal corresponding to three primary colors, and an image acquisition step of acquiring a mosaic image in which the ratio of the number of pixels corresponding to the three primary colors differs from line to line;
  • a white balance gain calculating step of calculating a white balance gain based on each color signal corresponding to a color filter of each color of the line in which the ratio of the number of color filters of the three primary colors in the line is more uniform, and the white balance gain calculating step
  • An image processing method is an image acquisition step of acquiring a mosaic image corresponding to a color filter array via an imaging element in which a photographing optical system and color filters of three primary colors are arrayed.
  • a thinning pattern determination step of determining one thinning pattern according to the shooting conditions from a plurality of thinning patterns for selecting a line to be thinned and read out of the lines, and the color filter of each line acquired by the imaging device Is selected according to the thinning pattern determined by the thinning pattern determination step.
  • a white balance gain calculating step for calculating a white balance gain based on a color signal of a predetermined line, and each color signal acquired via the image sensor based on the white balance gain calculated by the white balance gain calculating step.
  • an image sensor having a special color filter array in which the ratio of the number of the three primary color filters is different depending on the line is used, but each color of the line in which the ratio of the number of the three primary color filters is more uniform. Since the white balance gain is calculated based on each color signal corresponding to the color filter, it is possible to calculate the white balance gain with high accuracy with little influence of noise components. Also, the white balance gain is calculated based on the color signal of a line with little color mixing (a line with a non-uniform ratio of the number of the three primary color filters) under shooting conditions with a lot of color mixing.
  • the white balance gain is calculated based on the color signal of the line that is less affected by noise (the line in which the ratio of the number of the three primary color filters is more uniform), it is possible to calculate the white balance gain with high accuracy. It is possible to correct white balance with high accuracy.
  • the figure which shows embodiment of the image pick-up element applied to the imaging device which concerns on this invention 1 is a block diagram showing an embodiment of an imaging apparatus according to the present invention.
  • the figure which shows two thinning patterns in the case of 1/6 thinning The figure which shows three thinning patterns in the case of 2/6 thinning
  • the figure which shows three thinning patterns in the case of 3/6 thinning The figure which shows three thinning patterns in the case of 4/6 thinning
  • Main part block diagram which shows the internal structure of the digital signal processing part shown in FIG.
  • the figure which shows an example of the signal level of RGB for every color temperature The flowchart which shows 3rd Embodiment of the calculation method of WB gain.
  • step difference) has arisen in offset with each color of RGB The figure which shows an example of the image pick-up element in which 4 pixels of 2x2 share one amplifier
  • FIG. 1 is a diagram showing an embodiment of an image pickup element applied to an image pickup apparatus according to the present invention, and particularly shows a new color filter array arranged on the light receiving surface of the image pickup element 1.
  • the color filter array of the image pickup device 1 includes a basic array pattern including a square array pattern corresponding to 6 ⁇ 6 pixels, and the basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction. That is, in this color filter array, filters of each color (R filter, G filter, B filter) of red (R), green (G), and blue (B) are arranged with a predetermined periodicity. Since the R filter, G filter, and B filter are arranged with a predetermined periodicity in this way, when performing image processing or the like of RGB RAW data (mosaic image) read out from the image sensor 1, according to repeated patterns. Processing can be performed.
  • RGB RAW data mosaic image
  • the G filter corresponding to the most contributing color (G color in this embodiment) for obtaining the luminance 4 signal is the horizontal, vertical, diagonal upper right, diagonal right of the color filter array. It is placed in each line in each direction below.
  • the G filter corresponding to the luminance system pixel is arranged in the horizontal, vertical, diagonally upper right, and diagonally lower right lines of the color filter array, the synchronization processing in the high frequency region is performed regardless of the high frequency direction. The reproduction accuracy can be improved.
  • R filters and B filters corresponding to R and B colors other than the G color are arranged in the horizontal and vertical lines of the color filter array.
  • the basic array pattern of 6 ⁇ 6 pixels shown in FIG. 1 is divided into 4 ⁇ 3 ⁇ 3 pixels, a 3 ⁇ 3 pixel A array surrounded by a solid line frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame.
  • the array is an array arranged alternately in the horizontal and vertical directions.
  • the G filters are arranged at the four corners and the center, respectively, and arranged on both diagonal lines.
  • the R filter is arranged in the horizontal direction with the central G filter interposed therebetween, and the B filter is arranged in the vertical direction.
  • the B filter is arranged in the horizontal direction with the central G filter interposed therebetween.
  • the R filters are arranged in the vertical direction. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the A array and the B array become a square array G filter corresponding to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions.
  • FIG. 2 is a block diagram showing an embodiment of an imaging apparatus according to the present invention.
  • the image pickup device 10 is a digital camera that is provided with the image pickup device 1 shown in FIG. 1 and can take still images and moving images.
  • the operation of the entire device is centrally controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the imaging device 10 is provided with operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • operation units 38 such as a shutter button, a mode dial, a playback button, a MENU / OK key, a cross key, and a BACK key.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the imaging device 10 based on the input signal.
  • the shutter button is an operation button for inputting an instruction to start shooting, and is configured by a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed.
  • the mode dial is selection means for selecting a shooting mode, a scene position such as a person, a landscape, a night view, a moving image mode, and the like.
  • the playback button is a button for switching to a playback mode in which a captured still image or moving image is displayed on the liquid crystal monitor 30.
  • the MENU / OK key is an operation key having both a function as a menu button for instructing to display a menu on the screen of the liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of the selection contents. It is.
  • the cross key is an operation unit for inputting instructions in four directions, up, down, left, and right, and functions as a button (cursor moving operation means) for selecting an item from the menu screen or instructing selection of various setting items from each menu. To do.
  • the up / down key of the cross key functions as a zoom switch for shooting or a playback zoom switch in playback mode
  • the left / right key functions as a frame advance (forward / reverse feed) button in playback mode.
  • the BACK key is used to delete a desired object such as a selection item, cancel an instruction content, or return to the previous operation state.
  • the image light indicating the subject is imaged on the light receiving surface of the image sensor 1 through the photographing optical system (zoom lens) 12 and the diaphragm 14.
  • the photographing optical system 12 is driven by a lens driving unit 36 controlled by the CPU 40, and performs focus control, zoom control, and the like.
  • the diaphragm 14 is composed of, for example, five diaphragm blades and is driven by a diaphragm driving unit 34 controlled by the CPU 40.
  • the F value is controlled in seven stages from F1.4 to F11 in increments of 1AV.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34, and controls the charge accumulation time (shutter speed) in the image sensor 1 and image signal readout from the image sensor 1 via the device controller 32. Etc.
  • the signal charge accumulated in the image sensor 1 is read out as a voltage signal corresponding to the signal charge based on a read signal applied from the device control unit 32.
  • the voltage signal read from the image sensor 1 is applied to the analog signal processing unit 18 where the R, G, B signals for each pixel are sampled and held, and the gain designated by the CPU 40 (corresponding to ISO sensitivity). And then added to the A / D converter 20.
  • the A / D converter 20 converts R, G, and B signals that are sequentially input into digital R, G, and B signals and outputs them to the image input controller 22.
  • the digital signal processing unit 24 performs color mixing correction, white balance correction, gamma correction processing, and synchronization processing on the digital image signal input via the image input controller 22 (spatial color signals associated with the primary color filter array). Predetermined signal processing such as interpolation of misalignment and conversion of color signals into simultaneous equations, YC processing (processing for generating luminance data and color difference data of image data), sharpness correction, and the like is performed.
  • 46 is a ROM (EEPROM) in which various parameters and tables used for camera control programs, image processing, and the like are stored.
  • EEPROM EEPROM
  • the digital signal processing unit 24 includes a processing unit that calculates a white balance gain (hereinafter referred to as “WB gain”) used for white balance correction, and details of the WB gain calculation will be described later.
  • WB gain a white balance gain
  • the image data processed by the digital signal processing unit 24 is output to the VRAM 50.
  • the VRAM 50 includes an A area and a B area each storing image data representing an image for one frame.
  • image data representing an image for one frame is rewritten alternately in the A area and the B area.
  • the written image data is read from an area other than the area where the image data is rewritten.
  • the image data read from the VRAM 50 is encoded by the video encoder 28 and output to the image display liquid crystal monitor 30 provided on the back of the camera, whereby the subject image (live view image) is displayed on the liquid crystal monitor 30. Displayed on the screen.
  • the image sensor 1 starts the AF operation and the AE operation, and the focus in the photographing optical system 12 is set via the lens driving unit 36. Control is performed so that the lens comes to the in-focus position.
  • the image data output from the A / D converter 20 when the shutter button is half-pressed is taken into the AE detection unit 44.
  • the AE detection unit 44 integrates the G signals of the entire screen or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting EV value) from the integrated value input from the AE detection unit 44, and based on this shooting EV value, the aperture value (F value) and the electronic shutter (shutter speed) of the image sensor 1. Is determined according to a predetermined program diagram.
  • the program diagram is designed for shooting (exposure) conditions including a combination of the F value and shutter speed, or a combination of these and shooting sensitivity (ISO sensitivity), corresponding to the brightness of the subject. Yes, by shooting under the shooting conditions determined according to the program diagram, it is possible to take an image with appropriate brightness regardless of the brightness of the subject.
  • the CPU 40 controls the aperture 14 via the aperture drive unit 34 based on the F value determined according to the program diagram, and charges on the image sensor 1 via the device control unit 32 based on the determined shutter speed. Control the accumulation time.
  • the AF processing unit 42 is a part that performs contrast AF processing.
  • the AF processing unit 42 extracts a high-frequency component of image data in a predetermined focus area from the image data, and indicates the in-focus state by integrating the high-frequency component.
  • An AF evaluation value is calculated.
  • AF control is performed by controlling the focus lens in the photographic optical system 12 so that the AF evaluation value is maximized.
  • the image data output from the A / D converter 20 in response to the press is stored in the memory from the image input controller 22. (SDRAM) Input to 48 and temporarily stored.
  • the image data temporarily stored in the memory 48 is appropriately read out by the digital signal processing unit 24.
  • the digital signal processing unit 24 performs predetermined signal processing such as color mixture correction, white balance correction, gamma correction processing, synchronization processing, YC processing, and sharpness correction on the read digital image signal, and YC-processed YC
  • the data is stored in the memory 48 again.
  • the YC data stored in the memory 48 is output to the compression / decompression processing unit 26, where a predetermined compression process such as JPEG (joint photographic experts group) is executed, and then an Exif file is generated to generate a media controller.
  • a predetermined compression process such as JPEG (joint photographic experts group) is executed, and then an Exif file is generated to generate a media controller.
  • the data is recorded on the memory card 54 via 52.
  • RGB color signals used for auto white balance (AWB) correction and the like are thinned and read out according to a predetermined thinning pattern among the lines obtained from the image sensor 1 in order to emphasize speed (to reduce the amount of calculation). Use line color signals.
  • line a and line c, line d and line f have the same filter arrangement, and the phases of lines a and c and lines d and f are shifted by 3 pixels.
  • Line b and line e are out of phase by 3 pixels but have the same filter arrangement.
  • a thinning pattern P 11 for reading out any one line from lines a, c, d, and f (( a) part) and a thinning pattern P 12 (part (b) in FIG. 3) for reading out one of the lines b and e.
  • the thinning pattern P 11 is the ratio of the number of RGB unequal, the ratio of G is higher than the RB (4-fold), whereas, in the case of thinning pattern P 12 is the thinning pattern P 11 , the ratio of R and B is high, and the ratio of the number of RGB is uniform.
  • the average value for each color has a relationship of R> G> B, and when the color temperature is high, the average value for each color is R ⁇ G ⁇ B. It becomes a relationship.
  • the accuracy of the B pixel or the R pixel is lowered, and therefore it is preferable to increase the number of pixels to be averaged.
  • the number of RB pixels is large (RGB pixel is evenly distributed) towards the thinning pattern P 12 is preferred.
  • the thinning pattern P 12 the G pixels R pixels in the horizontal direction, or B pixel is adjacent (R pixels or B is sandwiched pixels), the leakage of light from the adjacent pixels (color mixing) susceptible to the effects in the case of thinning pattern P 11, color mixing due light leakage different colors from adjacent pixels, less than thinning pattern P 12, less sensitive to color mixture. Therefore, the color mixture prone shooting conditions, towards the thinning pattern P 11 is preferred.
  • an optimum thinning pattern is determined according to the photographing conditions from a plurality of thinning patterns P 11 and P 12 having different ratios of the number of RGB, and a color signal of a predetermined line is read out in accordance with the determined thinning pattern. Then, an average value for each color of RGB is obtained, and a WB gain is calculated based on the obtained average value. Details of selection of a thinning pattern and calculation of a WB gain will be described later.
  • FIG. 4 shows three thinning patterns P 21 , P 22 , and P 23 when two lines are thinned and read out every six lines (2/6 thinning).
  • FIG. 4 shows a thinning pattern P 21 to read line a shown in FIG. 1, c, d, the two lines from f
  • FIG. 4 shows a thinning pattern P 22 to read one line from the e
  • line b shows a thinning pattern P 23 to read out two lines of e.
  • the three thinning patterns P 21 , P 22 , and P 23 have different ratios of the number of RGB color filters.
  • FIG. 5 shows three thinning patterns P 31 , P 32 , and P 33 when three lines are thinned and read out every six lines (3/6 thinning).
  • FIG. 5 shows a thinning pattern P 31 to read out the 3-line line a shown in FIG. 1, c, d, from f
  • FIG. 5C shows a thinning pattern P 21 for reading 2 lines from f and 1 line from lines b and e.
  • FIG. 5C shows two lines 1 to lines a, c, d and f, and lines b and e. It shows the thinning pattern P 33 to be read.
  • the three thinning patterns P 31 , P 32 , and P 33 are different in the ratio of the number of RGB color filters.
  • FIG. 6 shows three thinning patterns P 41 , P 42 , and P 43 when four lines are thinned and read out every six lines (4/6 thinning).
  • FIG. 6 shows a thinning pattern P 41 to read line a shown in FIG. 1, c, d, four lines of f,
  • the three thinning patterns P 41 , P 42 , and P 43 have different ratios of the number of RGB color filters.
  • R: G: B 5 : 14: 5
  • FIG. 7 is a table summarizing the combination of lines to be read (decimation pattern) from 1/6 thinning to 4/6 thinning (thinning pattern) shown in FIGS. 3 to 6 and the ratio of the number of RGB pixels in each thinning pattern. is there.
  • 1/6 thinning has the highest thinning rate (the number of lines to be read is small) and the amount of calculation is small, but the accuracy with respect to noise is low.
  • the thinning-out rate is the lowest (the number of lines to be read is large) and the calculation amount is large, but the accuracy with respect to noise is high.
  • FIG. 8 is a principal block diagram showing the internal configuration of the digital signal processing unit 24 shown in FIG.
  • the digital signal processing unit 24 includes a first signal processing system mainly including a color mixing correction unit 241, a white balance correction unit 242, and a signal processing unit 243, a thinning pattern determination unit 244, and a thinning reading unit. 245, an RGB integration unit 246, and a second signal processing system including a WB gain calculation unit 247.
  • the RAW data (mosaic image) in the color filter array output from the image sensor 1 at the time of shooting is temporarily stored in the memory 48, but the digital signal processing unit 24 reads the mosaic image from the memory 48. Then, display and recording images are generated.
  • the first signal processing system and the second signal processing system of the digital signal processing unit 24 appropriately read out a mosaic image (RGB color signal) from the memory 48 and perform parallel processing for speeding up.
  • a mosaic image RGB color signal
  • the color mixing correction unit 241 is a part that performs processing to reduce the influence of light leakage (color mixing) from adjacent pixels, and subtracts the signal components of RGB color signals according to the ratio of leakage from adjacent pixels. To reduce color mixing. Since the ratio of leakage from adjacent pixels changes depending on the incident angle of the light beam to each pixel, the ratio of color mixture is measured in advance at a plurality of incident angles while changing the incident angle of the light beam, and the measured color mixture It is necessary to use a ratio (correction parameter).
  • the RGB color signal subjected to the color mixture correction by the color mixture correction unit 241 is added to the white balance correction unit 242.
  • the WB gain for each RGB is added to the other input of the white balance correction unit 242 from the WB gain calculation unit 247, and the white balance correction unit 242 multiplies the RGB color signal by the WB gain for each RGB. To correct the white balance.
  • the RGB color signal subjected to white balance correction is added to the signal processing unit 243, where other signal processing such as gamma correction processing, synchronization processing, YC processing, and sharpness correction is performed.
  • the YC processed YC data is stored in the memory 48 again.
  • the YC data stored in the memory 48 is converted into an image display signal on the liquid crystal monitor 30 by the video encoder 28 and displayed on the liquid crystal monitor 30 as a post-view image.
  • an Exif file is generated and recorded on the memory card 54 via the media controller 52.
  • the thinning pattern determination unit 244 on the second signal processing system side determines one thinning pattern from a plurality of thinning patterns shown in FIGS. For example, a thinning pattern in which the lines a, c, d, and f are mainly selected is determined under shooting conditions in which color mixing increases, and a thinning pattern in which the lines b and e are mainly selected in shooting conditions with low color mixing. decide. Details of the operation of the thinning pattern determination unit 244 will be described later.
  • the thinning readout unit 245 thins out and reads out the color signal of a predetermined line in accordance with the thinning pattern determined by the thinning pattern determination unit 244 out of the RAW data (mosaic image) stored in the memory 48, and reads out each color of RGB The signal is output to the RGB integration unit 246.
  • the RGB integration unit 246 calculates an integrated average value for each RGB color signal for each divided area obtained by dividing one screen into 8 ⁇ 8 or 16 ⁇ 16, and calculates a ratio (R / G, B / G) is calculated. For example, when one screen is divided into 16 ⁇ 16 256 divided areas, 256 pieces of color information (R / G, B / G) are calculated.
  • the WB gain calculation unit 247 calculates the WB gain based on the color information (R / G, B / G) for each divided area input from the RGB integration unit 246. Specifically, the barycentric position of the distribution of color information for each of the 256 divided areas in the color space of the R / G and B / G axis coordinates is calculated, and the color of the ambient light is calculated from the color information indicated by the barycentric position. Estimate temperature. In addition, instead of the color temperature, a light source type having color information indicated by the position of the center of gravity, for example, blue sky, shade, clear, fluorescent lamp (daylight color, day white, white, warm white), tungsten, low tungsten, etc. is obtained. The light source type at the time of shooting may be estimated (see Japanese Patent Application Laid-Open No. 2007-53499), or the color temperature may be estimated from the estimated light source type.
  • a WB gain for each RGB or RB for performing appropriate white balance correction corresponding to the color temperature or light source type of the ambient light is prepared in advance, and the WB gain calculation unit 247 reads out the corresponding WB gain for each RGB or RB based on the estimated color temperature or light source type of the ambient light, and outputs the read WB gain to the white balance correction unit 242.
  • the speed of the signal processing can be increased. Since the WB gain is calculated based on the color signal of the thinned-out line without using all pixel data of the original image, the WB gain can be calculated at high speed. As a result, a post-view image for confirming the captured image can be viewed quickly.
  • the second signal processing system does not perform color mixture correction that increases the amount of calculation, but under shooting conditions where color mixture is likely to occur, line color signals that are less susceptible to color mixture are thinned out and read. A highly accurate WB gain can be calculated.
  • FIG. 9 is a flowchart showing a first embodiment of a WB gain calculation method.
  • Step S10 when the shutter button is pressed in the second stage (full press), a still image is actually captured, and RAW data acquired from the image sensor 1 by the actual capture is stored in the memory 48. (Step S10).
  • step S12 the zoom position and lens F value of the photographing optical system 12 (zoom lens) at the time of actual photographing are acquired, and a threshold value corresponding to the acquired zoom position and lens F value is selected (step S12).
  • a threshold value for determining whether or not color mixture is likely to occur is set based on the F value.
  • the angle of incidence on the microlens on the image sensor changes (the leakage of light from adjacent pixels changes) due to the zoom position (zoom magnification) of the zoom lens, and the amount of color mixture varies. I try to change it.
  • a threshold value table using F value and zoom position as parameters is prepared in advance, and the corresponding threshold value is read from the table from the F value and zoom position at the time of actual photographing.
  • step S14 it is determined whether or not the F value at the time of actual photographing is equal to or less than the selected threshold value (step S14).
  • the F value at the time of actual photographing is equal to or less than the threshold value (when “Yes”), it is determined that color mixing is likely to occur, and a thinning pattern corresponding to thinning-out readout of a line that is less affected by color mixing (with a small number of RB pixels). decide.
  • the color signal of a predetermined line is read out in accordance with the determined thinning pattern (step S16). For example, in the case of 1/6 decimation determines the thinning pattern P 11 shown in (a) portion of FIG. 4, reads a color signal of a line corresponding to the thinning pattern P 11 of the selection.
  • the F value at the time of actual photographing exceeds the threshold value (when “No”), it is determined that the influence of the mixed color is small, and the thinning-out readout of the line having more RB pixels than the line having the small influence of the mixed color is supported. Decide the thinning pattern to be used. Then, the color signal of a predetermined line is read out in accordance with the determined thinning pattern (step S18). For example, in the case of 1/6 decimation determines the thinning pattern P 12 shown in (b) portion of FIG. 4, reads a color signal of a line corresponding to the thinning pattern P 12 of the selection.
  • the integrated average value for each RGB is calculated from the RGB color signals read out in step S16 or S18, and the WB gain is calculated based on the integrated average value (step S20).
  • the WB gain is calculated by thinning out and reading out the color signal of the line with little influence of color mixing, so that the WB gain with high accuracy can be calculated.
  • the WB gain is calculated by thinning out and reading out the color signal of a line with more RB pixels (a line with a more uniform ratio of RGB pixels) than a line with less influence of color mixture. Therefore, the accuracy of the integrated average value of the RB pixels is increased, and a highly accurate WB gain can be calculated.
  • the threshold value is selected based on the zoom position and the F value at the time of actual photographing, and it is determined whether or not the photographing condition increases the color mixture. Based on either the position or the F value, it may be determined whether or not the shooting condition has a lot of color mixing, and the thinning pattern may be determined based on the determination result.
  • FIG. 10 is a flowchart showing a second embodiment of a WB gain calculation method.
  • the same step number is attached
  • the color temperature of the ambient light is calculated before the actual photographing (step S30).
  • the integrated average value for each color is calculated based on the RGB color signal of the live view image image data or the image data acquired when the shutter button is half-pressed, and the ambient light is calculated from the calculated integrated average value for each color. Calculate the color temperature.
  • step S30 After the actual photographing, it is determined whether or not the color temperature calculated in step S30 is out of the preset intermediate color temperature range (step S32).
  • the integrated average value for each RGB color at the low color temperature has a relationship of R> G> B, and the integrated average value for each RGB color at the high color temperature. Is in a relationship of R ⁇ G ⁇ B, as shown in part (c) of FIG.
  • a pixel (B pixel or R pixel) with a small output has an influence of light leakage from an adjacent pixel. It is easy to receive, and the calculation accuracy of the WB gain tends to deteriorate.
  • the color temperature calculated in step S30 is a color temperature that is outside the range of a predetermined intermediate color temperature (portion (b) in FIG. 11) in which the integrated average value for each of the RGB colors is substantially equal. (In the case of “Yes”), it is determined that color mixing is likely to occur, and the process proceeds to Step S16. In the intermediate color temperature range (in the case of “No”), it is determined that the influence of color mixing is small, and the RB The process proceeds to step S18 in which thinning-out reading of lines with many pixels is performed.
  • the WB gain is calculated by thinning out and reading out the color signal of the line with little influence of color mixing, so that the WB gain with high accuracy can be calculated.
  • the color signal of the line with many RB pixels is read out and the WB gain is calculated, so that the accuracy of the integrated average value of the RB pixels is increased and the accuracy is increased.
  • a high WB gain can be calculated.
  • FIG. 12 is a flowchart showing a third embodiment of a WB gain calculation method.
  • the same step number is attached
  • the CPU 40 calculates the brightness of the subject (shooting EV value) from the integrated value input from the AE detection unit 44 when the shutter button is half-pressed, and the F value, shutter speed, and shooting sensitivity (ISO) are based on this shooting EV value.
  • a shooting (exposure) condition comprising a combination of (sensitivity) is determined, and exposure control is performed according to the determined exposure condition at the time of actual shooting.
  • the shooting sensitivity is set low and exposure control is performed based on the F value and the shutter speed.
  • the brightness of the subject is dark and a sufficient signal amount cannot be obtained only with the F value and the shutter speed.
  • the shooting sensitivity gain
  • the noise is amplified and the noise becomes large.
  • step S40 it is determined whether or not the photographing sensitivity at the time of actual photographing is equal to or lower than a predetermined threshold (that is, whether or not the image is low in noise) (step S40).
  • a predetermined threshold that is, whether or not the image is low in noise
  • the photographing sensitivity is equal to or lower than a predetermined threshold (“Yes”), since the image is low in noise, priority is given to thinning-out readout of lines that are not easily affected by color mixture, and the process proceeds to step S16.
  • a predetermined threshold in the case of “No”
  • priority is given to thinning-out readout of a line with many RB pixels that is not easily affected by noise, and the process proceeds to step S18. Transition.
  • the WB gain is calculated by thinning out and reading out the color signal of the line with little influence of color mixture, it is possible to calculate the WB gain with high accuracy, and the noise.
  • the color signal of the line with many RB pixels is thinned out and the WB gain is calculated, so the accuracy of the integrated average value of the RB pixels is high and the WB gain is calculated with high accuracy. can do.
  • FIG. 13 is a flowchart showing the fourth embodiment of the WB gain calculation method, and shows a modification of the third embodiment shown in FIG.
  • the same step number is attached
  • the fourth embodiment shown in FIG. 13 is different from the third embodiment in the processing after it is determined that the photographing sensitivity exceeds a predetermined threshold (“No” in step S40).
  • step S40 if it is determined in step S40 that the photographing sensitivity exceeds the predetermined threshold (in the case of “No”), it is subsequently determined whether or not the calculation speed is important (step S50).
  • the continuous shooting mode is set as the shooting mode and it is necessary to process each image continuously shot at high speed, it is determined that the calculation speed is important.
  • step S50 If it is determined in step S50 that the speed is important (in the case of “Yes”), the process proceeds to step S52.
  • step S52 a thinning pattern for thinning out and reading out color signals of a line with many RB pixels is determined, but a thinning pattern with a high thinning rate is determined in order to emphasize speed. For example, as shown in part (a) of FIG. 4, a thinning pattern P 11 of 1/6 thinning is determined.
  • step S50 determines whether the speed is not important (in the case of “No”). If it is determined in step S50 that the speed is not important (in the case of “No”), the process proceeds to step S54.
  • step S54 a thinning pattern having a low thinning rate and corresponding to thinning-out reading of lines with little influence of color mixture is determined. For example, to determine the thinning pattern P 43 4/6 decimation shown in (c) portion of FIG. In this case, the ratio of the number of RB pixels is smaller than that of the G pixel, but since the thinning rate is low, the number of RB pixels is sufficiently large and even if the RB pixel contains a lot of noise. A highly accurate average value can be obtained.
  • FIG. 14 shows a case where a level difference (black level level difference) occurs in the offset in each color of RGB.
  • the RGB integration unit 246 illustrated in FIG. 8 calculates the offset values R offset , G offset , and B offset for each RGB color.
  • the calculation of these offset values R offset , G offset , and B offset is a signal in a light shielding region (optical black portion: OB portion) in the peripheral portion of the image sensor 1, and integrates signals for each pixel corresponding to RGB, It calculates by calculating
  • CMOS Complementary Metal-Oxide Semiconductor
  • CMOS Complementary Metal-Oxide Semiconductor
  • a difference in output level occurs depending on pixel positions 1 to 4 (upper left, upper right, lower left, and lower right positions with respect to the amplifier) with respect to the shared amplifier.
  • FIG. 16 shows a case where a step (black level step) is generated in the offset at pixel positions 1 to 4 with respect to the shared amplifier.
  • the RGB integrating unit 246 shown in FIG. 8 calculates the offset values Off1, Off2, Off3, and Off4 for each pixel position 1 to 4 with respect to the shared amplifier.
  • These offset values Off1, Off2, Off3, and Off4 are calculated by accumulating the signals of the OB portion of the image sensor 1 for each of the pixel positions 1 to 4 with respect to the shared amplifier and obtaining an average value thereof.
  • the integrated average values R data , G data, and B data for each of the RGB color signals that are thinned and read out from the thinning-out reading unit 245 are calculated, and the calculated offset values Off1, Off2, Off3, and Off4 are used. Offset correction of the integrated average values R data , G data, and B data for each color signal is performed.
  • one R pixel exists at each of the positions 1 and 4 and one G pixel exists at the positions 1 to 4.
  • Two pixels each exist, and one B pixel and one R pixel exist at positions 2 and 3, respectively.
  • the RGB offset values R offset , G offset , and B offset in the thinning lines a and d are calculated by the following equations based on the offset values Off1, Off2, Off3, and Off4 for the pixel positions 1 to 4 with respect to the shared amplifier. can do.
  • the offset value is calculated for each RGB color based on the offset values Off1, Off2, Off3, and Off4 of the pixel positions 1 to 4 with respect to the shared amplifier, and the accumulated average value for each RGB is corrected by the calculated offset value.
  • the offset value of RGB in the thinning lines a, d R offset, G offset is a formula for calculating the B offset, the offset value R offset, G offset, the B offset
  • the calculation formula to be calculated differs depending on the combination of one line or a plurality of lines to be read out. Accordingly, it is necessary to prepare a calculation formula for calculating the RGB offset values R offset , G offset , and B offset in accordance with the thinning pattern (see FIGS. 3 to 6) determined by the thinning pattern determination unit 244. There is.
  • [Others] 19 and 20 are diagrams showing other embodiments of the image sensor applied to the image pickup apparatus according to the present invention.
  • the color filter array of the image sensor of the embodiment shown in FIG. 19 includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 7 ⁇ 7 pixels, and the basic array pattern is in the horizontal direction and the vertical direction. Repeatedly arranged in the direction.
  • a basic array pattern pattern indicated by a thick frame
  • the basic array pattern is in the horizontal direction and the vertical direction. Repeatedly arranged in the direction.
  • the G filter is arranged in each of the horizontal, vertical, diagonal upper right, and diagonal lower right lines of the color filter array, and the R filter, B Filters are arranged in the horizontal and vertical lines of the color filter array.
  • the color filter array of the image pickup device of the embodiment shown in FIG. 20 includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 8 ⁇ 8 pixels. Repeatedly arranged in the direction.
  • the G filter is arranged in each of the horizontal, vertical, diagonal upper right, and diagonal lower right lines of the color filter array, and the R filter, B Filters are arranged in the horizontal and vertical lines of the color filter array.
  • the number of G filters is larger than that of R and B filters, and the ratio of the number of RGB color filters differs depending on the line.
  • the color filter array shown in FIGS. 19 and 20 is the same as the basic array pattern of 6 ⁇ 6 pixels shown in FIG. Since it is arranged in a line in each lower right direction, it is possible to improve the reproducibility of the synchronization processing in the high frequency region regardless of the direction of high frequency. In addition, since the R filter and the B filter are arranged in each line in the horizontal and vertical directions of the color filter array, it is possible to suppress the occurrence of color moire (false color).
  • the present invention can be applied not only to the image sensor having the basic array pattern of 6 ⁇ 6 pixels shown in FIG. 1 but also to an image sensor having another color filter array.
  • the present invention can be applied to any image sensor as long as the image sensor has a color filter array in which color filters are arranged and the ratio of the number of color filters of the three primary colors varies depending on the line.
  • the color filter array of the image sensor is not limited to the three primary colors RGB, and may include yellow or emerald.
  • color information (R / G, B / G) is acquired for each divided area obtained by dividing one screen into a plurality of areas, and a WB gain is calculated based on the color information of the plurality of divided areas.
  • the WB gain calculation method is not limited to this embodiment, and any method may be used as long as the WB gain is calculated based on the three primary color signals.
  • SYMBOLS 1 ... Imaging device, 10 ... Imaging device, 12 ... Imaging optical system, 14 ... Diaphragm, 24 ... Digital signal processing part, 30 ... Liquid crystal monitor, 38 ... Operation part, 40 ... Central processing unit (CPU), 46 ... ROM, 48 ... Memory, 54 ... Memory card, 242 ... White balance correction unit, 244 ... Thinning pattern determination unit, 245 ... Thinning reading unit, 246 ... RGB integration unit, 247 ... WB gain calculation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　各ラインにＲＧＢのカラーフィルタが配列されるとともに、ＲＧＢのカラーフィルタの個数の比率がラインにより異なる、特別なカラーフィルタ配列を有する撮像素子から出力されるＲＧＢの色信号のホワイトバランス補正を行う。前記ホワイトバランス補正に使用するＷＢゲインを算出する際に、前記撮像素子の全画素を使用せずに所定のラインを間引き読み出しし、間引き読み出しした所定のラインの色信号に基づいてＷＢゲインを算出する。また、間引きする所定のラインとして、混色が多い撮影条件（レンズＦ値、ズームポジション）では混色の少ないラインを選択し、混色が少ない撮影条件下では、ＲＧＢカラーフィルタの個数の比率がより均等なラインを選択するようにしている。

Description

撮像装置及び画像処理方法
　本発明は撮像装置及び画像処理方法に係り、特にホワイトバランスゲインを高速かつ精度よく算出する技術に関する。
　特許文献１には、撮像素子の全領域の画像から間引き（抽出）した画像に基づいてホワイトバランスゲイン（ＷＢゲイン）を算出するとともに、電子ズームにより撮像素子の一部の領域の画像を本撮像し、前記算出したＷＢゲインによりホワイトバランス補正を行う撮像装置が記載されている。これにより、本撮影される領域に比べて白が存在する確率の高い領域の画像から色温度を検出することにより、ＷＢゲインを精度よく算出できるようにしている。
　また、特許文献２には、固体撮像素子から画素の信号を間引き読み出しし、又は垂直方向の同色のラインにおける複数の画素の信号を加算して読み出し、その読み出した信号を検波（色別レベルの積分処理）することによりＷＢゲインを算出する記載がある。
　ところで、上記特許文献１、２に記載の撮像装置に適用されている撮像素子は、ベイヤ配列のカラーフィルタ配列を有している（特許文献１の段落［００２３］、図４、特許文献２の図３）。
　ベイヤ配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。
　このような問題を解決するために、撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献３）。
　また、特許文献４には、Ｒフィルタ、Ｂフィルタに比べてＧフィルタの割合を多くし、同じ割合の色フィルタを格子構造に配置した場合に比べて、色の水平方向及び垂直方向の解像度をアップするとともに、輝度信号における色モアレを低減することができる撮像装置が提案されている。
特開２００７－２９５３００号公報 特開２００３－１１６１４３号公報 特開２０００－３０８０８０号公報 特開平８－２３５４２号公報
　モザイク状のカラーフィルタ配列を有する撮像素子では、隣接する画素からの光の漏れ込みによる混色が発生する。混色の程度は、撮影レンズの焦点距離、絞りのＦ値等の撮影条件に依存する。
　混色の多いＲＧＢの色信号に基づいてＷＢゲインを算出すると、精度よくＷＢゲインを算出することができないという問題がある。
　特許文献１、２に記載のベイヤ配列を有する撮像素子の場合、ＲＧｒＲＧｒの順に繰り返すラインと、ＧｂＢＧｂの順に繰り返すラインとが交互に配列されており、１つのライン上にはＲＧＢの画素が存在せず、また、ＷＢゲインの算出時にラインの間引き読み出しを適宜変更しても、混色の影響を受けにくい間引き読み出し、混色の影響を受けやすい間引き読み出し等を行うことができない。
　一方、特許文献３に記載の３色ランダム配列としたカラー撮像素子の場合、１つのライン上にＲＧＢの画素が存在するが、ＲＧＢのフィルタがランダム配置されているため、ＷＢゲインの算出時にいずれのラインを間引き読み出ししても、同程度の混色の影響を受けた色信号が取得されることになり、混色の影響を低減させた精度の高いＷＢゲインを算出することができない。
　また、特許文献４に記載のカラーフィルタ配列は、水平、垂直方向のいずれのラインもＧフィルタが多く配置されているため、いずれのラインを間引き読み出ししてもＲＧＢの画素の個数の比率は不均等なものとなる。ＷＢゲインを求める際には、ＲＧＢの色信号毎の積算平均値を求めるが、平均する画素数が異なるため、特に高速化のために間引き率を高くすると、ＲＧＢの積算平均値の精度にバラツキが発生しやすく、ＷＢゲインを精度よく算出することができないという問題がある。
　本発明はこのような事情に鑑みてなされたもので、ノイズの影響及び隣接画素間の混色の影響を考慮した精度の高いホワイトバランスゲインを高速に算出することができ、精度の高いホワイトバランス補正を迅速に行うことができる撮像装置及び画像処理方法を提供することを目的とする。
　前記目的を達成するために本発明の一の態様に係る撮像装置は、撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、前記複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備えている。
　本発明の一の態様によれば、３原色のカラーフィルタの個数の比率がラインにより異なる特別なカラーフィルタ配列を有する撮像素子を使用し、３原色のカラーフィルタの個数の比率がより均等なラインの色信号に基づいてホワイトバランスゲインを算出するようにしている。これにより、ノイズ成分による３原色の検出精度（積算平均値）のバラツキが小さくなり、精度の高いホワイトバランスゲインを算出することができるようにしている。
　本発明の他の態様に係る撮像装置は、撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備えている。
　３原色のカラーフィルタの個数の比率が不均等なラインは、隣接画素から異なる色の光の漏れ込みによる混色が、均等なラインに比べて低い。そこで、混色が多くなる撮影条件下では、混色の少ないライン（３原色のカラーフィルタの個数の比率が不均等なライン）を選択する間引きパターンを決定し、その決定した間引きパターンにしたがって間引き読み出しした色信号に基づいてホワイトバランスゲインを算出し、混色の影響が低減された、精度の高いホワイトバランスゲインを算出するようにしている。
　一方、混色が少ない撮影条件下では、ノイズの影響の少ないライン（３原色のカラーフィルタの個数の比率がより均等なライン）を選択する間引きパターンを決定し、決定した間引きパターンにしたがって間引き読み出しした所定のラインの色信号に基づいてホワイトバランスゲインを算出するようにしている。
　混色が少ない撮影条件下では、３原色の色信号の個数の比率がより均等な方が、各色信号のノイズ成分による検出精度のバラツキが小さくなり、精度の高いホワイトバランスゲインを算出することができる。そこで、混色が少ない撮影条件下では、３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、その決定した間引きパターンにしたがって間引き読み出しした色信号に基づいて精度の高いホワイトバランスゲインを算出するようにしている。
　本発明の他の態様に係る撮像装置において、前記間引きパターン決定手段は、前記撮影光学系の撮影時のＦ値及びズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定することが好ましい。
　撮影光学系のＦ値が開放Ｆ値に近づく程、混色が多くなる。また、一般に撮像素子の各光電変換素子上には、集光用のマイクロレンズが配設されているが、これらのマイクロレンズは、光束の入射角補正のために撮像素子の中心からの距離に応じて光電変換素子に対してわずかにシフトして配設されている（スケーリングされている）。ズーム倍率によりマイクロレンズへの入射角が予め想定されている入射角から外れると、混色が多くなる。そこで、本発明の他の態様では、撮影時のＦ値及びズーム倍率の少なくとも一方に基づいて混色が多い撮影条件か否かを判別するようにしている。
　本発明の更に他の態様に係る撮像装置において、前記間引きパターン決定手段は、環境光の色温度を検出する色温度検出手段を含み、該色温度検出手段により検出された環境光の色温度に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定することが好ましい。環境光の色温度が、３原色の各色信号のレベルがほぼ等しくなるような中間色温度の場合、混色によるホワイトバランスゲインの算出精度への影響は少ないが、低色温度又は高色温度の場合、混色成分がホワイトバランスゲインの算出精度に大きく影響する。そこで、本発明の更に他の態様では、環境光の色温度に基づいて適切な間引パターンを選択するようにしている。
　本発明の更に他の態様に係る撮像装置において、前記間引きパターン決定手段は、混色が多い撮影条件かを判定し、混色が多い撮影条件下では前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、混色が少ない撮影条件下では前記３原色のカラーフィルタに対応する画素数の比率がより均等なラインを選択する間引きパターンを決定することが好ましい。
　本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段を備え、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定することが好ましい。
　撮影感度が低い場合、ノイズによる影響が小さいため、混色の少ないラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。一方、撮影感度が高い場合、ノイズによる影響が大きいため、各色信号の積算平均値を求める場合に、３原色のカラーフィルタの個数の比率がより均等なラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。そこで、本発明の更に他の態様では、撮影感度に基づいて間引きパターンを選択するようにしている。
　本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段を備え、前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定することが好ましい。
　撮影感度が低感度の場合には、ノイズ成分の影響が少ないため、間引き率を高くすることにより演算速度の高速化を図り、一方、撮影感度が高感度の場合には、間引き率を低くすることにより、演算速度の高速化よりもノイズ成分の影響を低減し、精度の高いホワイトバランスゲインを算出することを優先するようにしている。
　本発明の更に他の態様に係る撮像装置において、撮影感度を設定する感度設定手段と、演算速度を重視するか否かを判別する判別手段と、を備え、前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視する場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視しない場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定することが好ましい。
　撮影感度が高い場合でも、ホワイトバランスゲインの算出精度へのノイズの影響を少なくすることができれば、混色の少ないラインを間引き読み出しする方が、精度の高いホワイトバランスゲインを算出することができる。そこで、本発明の更に他の態様では、撮影感度が高い場合でも、演算速度を重視しない場合には、間引き率が低く、かつ混色の少ないラインを間引き読み出しする間引きパターンを決定するようにしている。この場合、間引き率が低い間引きパターンを使用することにより、より多くの色信号の積算平均値を算出することになるため、ホワイトバランスゲインの算出精度へのノイズの影響を少なくすることができる。
　本発明の更に他の態様に係る撮像装置において、前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段を備え、前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出することが好ましい。色信号毎にオフセットの補正を行うことにより、ホワイトバランスゲインの算出精度を向上させることができる。
　本発明の更に他の態様に係る撮像装置において、前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、前記算出手段は、前記アンプを共有する各画素の該アンプに対する位置毎のオフセット値を算出する第１の算出手段と、前記間引きパターン決定手段により決定された間引きパターンにおける各画素の前記アンプに対する位置と、前記第１の算出手段により算出された前記アンプに対する位置毎のオフセット値とに基づいて色信号毎のオフセット値を算出する第２の算出手段と、を含んでいる。共有アンプを含む下地の素子構造により発生するオフセット成分の段差を考慮した、前記色信号毎のオフセット値を算出することができ、このオフセット値により各色信号の積算平均値を補正することにより、ホワイトバランスゲインの算出精度を向上させることができる。
　本発明の更に他の態様に係る撮像装置において、前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいことが好ましい。
　これによれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に１つ以上配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができ、また、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。更に、前記カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化（補間）処理を行う際に、繰り返しパターにしたがって処理を行うことができ、ランダム配列に比べて後段の処理を簡略化することができる。
　本発明の更に他の態様に係る撮像装置において、前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている。
　上記カラーフィルタ配列は、輝度信号を得るために最も寄与するＧ信号に対応するＧフィルタを、水平、垂直、斜め右上、斜め右下方向の各ライン内に１つ以上配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができ、また、Ｒ信号、Ｂ信号に対応するＲ，Ｂフィルタについても水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。
　本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に１ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含んでいる。この間引きパターンは、１／６間引きとなり、間引き率が最も高く、ホワイトバランスゲインの算出時の演算量が最も少なく高速化が可能である。
　本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に２ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含んでいる。
　本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に３ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が５：８：５のラインを読み出す間引きパターンとを含んでいる。
　本発明の更に他の態様に係る撮像装置において、前記複数の間引きパターンは、６ライン毎に４ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：２：１のラインを読み出す間引きパターンとを含んでいる。この間引きパターンは、４／６間引きとなり、間引き率が低く、ホワイトバランスゲインの算出時の演算量が多くなるが、ノイズの影響の少ないホワイトバランスゲインを算出することができる。
　本発明の更に他の態様に係る画像処理方法は、撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、前記撮像素子の複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含んでいる。
　本発明の更に他の態様に係る画像処理方法は、撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の複数のラインの各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定工程と、前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定工程により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、を含んでいる。
　　本発明によれば、３原色のカラーフィルタの個数の比率がラインにより異なる特別なカラーフィルタ配列を有する撮像素子を使用するが、前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するようにしたため、ノイズ成分の影響が少なく精度の高いホワイトバランスゲインを算出することができる。また、混色が多い撮影条件下では混色の少ないライン（３原色のカラーフィルタの個数の比率が不均等なライン）の色信号に基づいてホワイトバランスゲインを算出し、一方、混色が少ない撮影条件下ではノイズの影響が少ないライン（３原色のカラーフィルタの個数の比率がより均等なライン）の色信号に基づいてホワイトバランスゲインを算出するようにしたため、精度の高いホワイトバランスゲインを算出することができ、精度の高いホワイトバランス補正を迅速に行うことができる。
本発明に係る撮像装置に適用される撮像素子の実施形態を示す図 本発明に係る撮像装置の実施形態を示すブロック図 １／６間引きする場合の２つの間引きパターンを示す図 ２／６間引きする場合の３つの間引きパターンを示す図 ３／６間引きする場合の３つの間引きパターンを示す図 ４／６間引きする場合の３つの間引きパターンを示す図 図３から図６に示した１／６間引きから４／６間引きにおける間引き読み出するラインの組み合わせ（間引きパターン）と、各間引きパターンにおけるＲＧＢの画素数の比率をまとめた図表 図２に示したデジタル信号処理部の内部構成を示す要部ブロック図 ＷＢゲインの算出方法の第１の実施形態を示すフローチャート ＷＢゲインの算出方法の第２の実施形態を示すフローチャート 色温度毎のＲＧＢの信号レベルの一例を示す図 ＷＢゲインの算出方法の第３の実施形態を示すフローチャート ＷＢゲインの算出方法の第４の実施形態を示すフローチャート ＲＧＢの各色でオフセットに段差（黒レベル段差）が生じている場合を示す図 ２×２の４画素が１つのアンプを共有している撮像素子の一例を示す図 共有アンプに対する画素の位置１～４でオフセットに段差（黒レベル段差）が生じている場合を示す図 基本配列パターンにおける各色の画素と、共有アンプに対する画素の位置１～４との関係を示す図 ２／６間引きされるラインａ，ｄの各色の画素と共有アンプに対する画素の位置１～４との関係を示す図 本発明に係る撮像装置に適用される撮像素子の他の実施形態を示す図 本発明に係る撮像装置に適用される撮像素子の更に他の実施形態を示す図
　以下、添付図面にしたがって本発明に係る撮像装置及び画像処理方法の好ましい実施の形態について詳説する。
　［撮像素子］
　図１は本発明に係る撮像装置に適用される撮像素子の実施形態を示す図であり、特に撮像素子１の受光面上に配置されている新規のカラーフィルタ配列に関して示している。
　この撮像素子１のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子１から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターにしたがって処理を行うことができる。
　図１に示すカラーフィルタ配列は、輝度４信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向の各ライン内に配置されている。
　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向のライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
　また、このカラーフィルタ配列は、上記Ｇの色以外のＲ，Ｂの色に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
　図１に示した６×６画素の基本配列パターンを３×３画素に４分割すると、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっている。
　Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
　［撮像装置］
　図２は本発明に係る撮像装置の実施形態を示すブロック図である。
　この撮像装置１０は、図１に示した撮像素子１が配設され、静止画や動画の撮影が可能なデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示用の液晶モニタ３０の表示制御などを行う。
　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、撮影モード、人物、風景、夜景等のシーンポジション、動画モード等を選択する選択手段である。
　再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
　撮影モード時において、被写体を示す画像光は、撮影光学系（ズームレンズ）１２、絞り１４を介して撮像素子１の受光面に結像される。撮影光学系１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、Ｆ値としてＦ1.4～Ｆ11まで１ＡＶ刻みで７段階に絞り制御される。
　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介して撮像素子１での電荷蓄積時間（シャッタ速度）や、撮像素子１からの画像信号の読み出し制御等を行う。
　撮像素子１に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ＹＣ処理（画像データの輝度データ及び色差データの生成処理）、シャープネス補正等の所定の信号処理を行う。
　図２において、４６は、カメラ制御プログラム、画像処理等に使用する各種のパラメータやテーブル等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。
　また、デジタル信号処理部２４は、ホワイトバランス補正に使用するホワイトバランスゲイン（以下「ＷＢゲイン」という）等を算出する処理部を含むが、ＷＢゲイン算出の詳細については後述する。
　デジタル信号処理部２４で処理された画像データはＶＲＡＭ５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている画像表示用の液晶モニタ３０に出力され、これにより被写体像（ライブビュー画像）が液晶モニタ３０の表示画面上に表示される。
　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像素子１は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影光学系１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。
　ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り値（Ｆ値）及び撮像素子１の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。
　ここで、プログラム線図とは、被写体の明るさに対応して、Ｆ値とシャッタ速度の組み合わせ、又はこれらと撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件が設計されたものであり、プログラム線図にしたがって決定された撮影条件で撮影を行うことにより、被写体の明るさにかかわらず、適正な明るさの画像を撮影することができる。
　ＣＰＵ４０は、上記プログラム線図にしたがって決定したＦ値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部３２を介して撮像素子１での電荷蓄積時間を制御する。
　ＡＦ処理部４２は、コントラストＡＦ処理を行う部分であり、例えば、画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影光学系１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。
　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出される。デジタル信号処理部２４は、読み出したデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行い、ＹＣ処理したＹＣデータを、再びメモリ４８に記憶させる。
　メモリ４８に記憶されたＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ここでJPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、Exifファイルが生成され、メディア・コントローラ５２を介してメモリカード５４に記録される。
　［間引きパターン］
　オートホワイトバランス（ＡＷＢ）補正などに用いるＲＧＢの各色信号は、速度を重視するため（演算量を少なくするため）、撮像素子１から得られる各ラインのうち、所定の間引きパターンにしたがって間引き読み出ししたラインの色信号を使用する。
　以下、撮像素子１から得られるモザイク画像の各ラインに対し、間引き読み出しするラインに対応する複数の間引きパターンについて説明する。
　＜１／６間引き＞
　図１に示したように６×６画素の基本配列パターンが水平方向及び垂直方向に繰り返し配置されているカラーフィルタ配列の場合、６種類のラインａ～ｆの繰り返しになる。
　これらのラインａ～ｆのうち、ラインａとラインｃ、ラインｄとラインｆは同じフィルタ配列となっており、ラインａ、ｃと、ラインｄ、ｆとは、位相が３画素分ずれているが、同じフィルタ配列になっている。また、ラインｂとラインｅは、位相が３画素分ずれているが、同じフィルタ配列になっている。
　図３に示すように、６ライン毎に１ラインを間引き読み出し（１／６間引き）する場合、ラインａ，ｃ，ｄ，ｆからいずれか１つのラインを読み出す間引きパターンＰ１１（図３の（ａ）部分）と、ラインｂ，ｅからいずれか１つのラインを読み出す間引きパターンＰ１２（図３の（ｂ）部分）とがある。
　間引きパターンＰ１１と間引きパターンＰ１２とは、ＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ１１の場合には、Ｒ：Ｇ：Ｂ＝１：４：１となり、間引きパターンＰ１２の場合には、Ｒ：Ｇ：Ｂ＝２：２：２＝１：１：１となる。
　即ち、間引きパターンＰ１１の場合には、ＲＧＢの個数の比率が不均等であり、Ｇの比率がＲＢに比べて高く（４倍）、一方、間引きパターンＰ１２の場合には、間引きパターンＰ１１に対しＲ、Ｂの比率が高くＲＧＢの個数の比率が均等になっている。
　ＷＢゲインを求める際には、まず、ＲＧＢの各色信号（ＲＧＢの色毎の画素の画素値）の平均値を求めるが、平均する画素数が多い程、精度の高い平均値を求めることができる。
　撮影時の環境光の色温度が低色温度の場合、色毎の平均値は、Ｒ＞Ｇ＞Ｂの関係になり、高色温度の場合、色毎の平均値は、Ｒ＜Ｇ＜Ｂの関係になる。このように出力が小さい色が含まれる色温度（低色温度、又は高色温度）の場合、Ｂ画素，又はＲ画素の精度が低くなるため、平均する画素数を増やすことが好ましい。
　即ち、出力が小さい色が含まれる色温度の場合、ＲＢ画素の個数が少ない間引きパターンＰ１１よりも、ＲＢ画素の個数が多い（ＲＧＢの画素が均等な）間引きパターンＰ１２の方が好ましい。
　一方、間引きパターンＰ１２の場合、Ｇ画素は左右方向にＲ画素、又はＢ画素が隣接しており（Ｒ画素、又はＢ画素に挟まっており）、隣接画素からの光の漏れ込み（混色）の影響を受けやすく、間引きパターンＰ１１の場合、隣接画素から異なる色の光の漏れ込みによる混色が、間引きパターンＰ１２よりも少なく、混色の影響を受けにくい。したがって、混色が発生しやすい撮影条件では、間引きパターンＰ１１の方が好ましい。
　本発明では、ＲＧＢの個数の比率が異なる複数の間引きパターンＰ１１、Ｐ１２から撮影条件に応じて最適な間引きパターンを決定し、その決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しし、ＲＧＢの色毎の平均値を求め、求めた平均値に基づいてＷＢゲインを算出するようにしている。尚、間引きパターンの選択、及びＷＢゲインの算出の詳細については後述する。
　＜２／６間引き＞
　図４は、６ライン毎に２ラインを間引き読み出し（２／６間引き）する場合の３つの間引きパターンＰ２１、Ｐ２２、Ｐ２３に関して示している。
　図４の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆから２ラインを読み出す間引きパターンＰ２１を示し、図４の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから１ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ２２を示し、図４の（ｃ）部分は、ラインｂ、ｅの２ラインを読み出す間引きパターンＰ２３を示している。
　上記３つの間引きパターンＰ２１、Ｐ２２，Ｐ２３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ２１の場合には、Ｒ：Ｇ：Ｂ＝２：８：２＝１：４：１となり、間引きパターンＰ２２の場合には、Ｒ：Ｇ：Ｂ＝３：６：３＝１：２：１となり、間引きパターンＰ２３の場合には、Ｒ：Ｇ：Ｂ＝４：４：４＝１：１：１となる。
　＜３／６間引き＞
　図５は、６ライン毎に３ラインを間引き読み出し（３／６間引き）する場合の３つの間引きパターンＰ３１、Ｐ３２、Ｐ３３に関して示している。
　図５の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆから３ラインを読み出す間引きパターンＰ３１を示し、図５の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから２ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ２１を示し、図５の（ｃ）部分は、ラインａ，ｃ，ｄ，ｆから１ライン，ラインｂ、ｅの２ラインを読み出す間引きパターンＰ３３を示している。
　上記３つの間引きパターンＰ３１、Ｐ３２，Ｐ３３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ３１の場合には、Ｒ：Ｇ：Ｂ＝３：１２：３＝１：４：１となり、間引きパターンＰ３２の場合には、Ｒ：Ｇ：Ｂ＝４：１０：４＝２：５：２となり、間引きパターンＰ３３の場合には、Ｒ：Ｇ：Ｂ＝５：８：５となる。
　＜４／６間引き＞
　図６は、６ライン毎に４ラインを間引き読み出し（４／６間引き）する場合の３つの間引きパターンＰ４１、Ｐ４２、Ｐ４３に関して示している。
　図６の（ａ）部分は、図１に示したラインａ，ｃ，ｄ，ｆの４ラインを読み出す間引きパターンＰ４１を示し、図６の（ｂ）部分は、ラインａ，ｃ，ｄ，ｆから３ライン，ラインｂ、ｅから１ラインを読み出す間引きパターンＰ４２を示し、図６の（ｃ）部分は、ラインａ，ｃ，ｄ，ｆから２ライン，ラインｂ、ｅの２ラインを読み出す間引きパターンＰ４３を示している。
　上記３つの間引きパターンＰ４１、Ｐ４２，Ｐ４３は、それぞれＲＧＢのカラーフィルタの個数の比率が異なり、間引きパターンＰ４１の場合には、Ｒ：Ｇ：Ｂ＝４：１６：４＝１：４：１となり、間引きパターンＰ４２の場合には、Ｒ：Ｇ：Ｂ＝５：１４：５となり、間引きパターンＰ４３の場合には、Ｒ：Ｇ：Ｂ＝６：１２：６＝１：２：１となる。
　図７は、上記図３から図６に示した１／６間引きから４／６間引きにおける間引き読み出するラインの組み合わせ（間引きパターン）と、各間引きパターンにおけるＲＧＢの画素数の比率をまとめた図表である。
　上記１／６間引きから４／６間引きのうち、１／６間引きは最も間引き率が高く（読み出すライン数が少なく）、計算量も少なくなるが、ノイズに対して精度が低くなり、４／６間引きは最も間引き率が低く（読み出すライン数が多く）、計算量も多くなるが、ノイズに対して精度が高くなる。
　［デジタル信号処理］
　図８は図２に示したデジタル信号処理部２４の内部構成を示す要部ブロック図である。
　図８に示すように、デジタル信号処理部２４は、主として混色補正部２４１、ホワイトバランス補正部２４２、及び信号処理部２４３からなる第１の信号処理系統と、間引きパターン決定部２４４、間引き読出部２４５、ＲＧＢ積算部２４６、及びＷＢゲイン算出部２４７からなる第２の信号処理系統とから構成されている。
　前述したように撮影時に撮像素子１から出力されたカラーフィルタ配列のままのＲＡＷデータ（モザイク画像）は、一旦メモリ４８に格納されるが、デジタル信号処理部２４は、メモリ４８からモザイク画像を読み出し、表示用及び記録用の画像を生成する。
　デジタル信号処理部２４の前記第１の信号処理系統及び第２の信号処理系統は、それぞれメモリ４８からモザイク画像（ＲＧＢの色信号）を適宜読み出し、高速化のために並列処理を行っている。
　混色補正部２４１は、隣接画素からの光の漏れ込み（混色）の影響を低減させる処理を行う部分であり、隣接画素からの漏れ込みの割合に応じてＲＧＢの色信号の信号成分を減算して混色を低減させる。隣接画素からの漏れ込みの割合は、各画素への光束の入射角等により変化するため、予め光束の入射角を変化させながら複数の入射角で混色の割合を測定し、その測定した混色の割合（補正パラメータ）を使用する必要がある。
　混色補正部２４１により混色補正されたＲＧＢの色信号は、ホワイトバランス補正部２４２に加えられる。ホワイトバランス補正部２４２の他の入力には、ＷＢゲイン算出部２４７からＲＧＢ毎のＷＢゲインが加えられており、ホワイトバランス補正部２４２は、ＲＧＢの色信号とＲＧＢ毎のＷＢゲインとを乗算することによりホワイトバランス補正を行う。
　ホワイトバランス補正されたＲＧＢの色信号は、信号処理部２４３に加えられ、ここで、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の他の信号処理が行われる。ＹＣ処理したＹＣデータは、再びメモリ４８に記憶される。メモリ４８に記憶されたＹＣデータは、ビデオ・エンコーダ２８により液晶モニタ３０での画像表示用の信号に変換され、ポストビュー画像として液晶モニタ３０に表示され、また、圧縮伸長処理部２６により所定の圧縮処理が実行されたのち、Exifファイルが生成され、メディア・コントローラ５２を介してメモリカード５４に記録される。
　一方、第２の信号処理系統側の間引きパターン決定部２４４は、図３から図６に示した複数の間引きパターンの中から撮影条件等に基づいて１つの間引きパターンを決定する。例えば、混色が多くなる撮影条件下では、ラインａ，ｃ，ｄ，ｆが主として選択される間引きパターンを決定し、混色が少ない撮影条件下では、ラインｂ，ｅが主として選択される間引きパターンを決定する。尚、間引きパターン決定部２４４の動作の詳細については後述する。
　間引き読出部２４５は、メモリ４８に記憶されたＲＡＷデータ（モザイク画像）のうち、間引きパターン決定部２４４により決定された間引きパターンにしたがって所定のラインの色信号を間引いて読み出し、読み出したＲＧＢの各色信号をＲＧＢ積算部２４６に出力する。
　ＲＧＢ積算部２４６は、１画面を８×８又は１６×１６に分割した分割エリア毎に、ＲＧＢの色信号毎の積算平均値を算出し、ＲＧＢ毎の積算平均値の比（Ｒ／Ｇ，Ｂ／Ｇ）からなる色情報を算出する。例えば、１画面を１６×１６の２５６の分割エリアに分割する場合には、２５６個の色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
　ＷＢゲイン算出部２４７は、ＲＧＢ積算部２４６から入力する分割エリア毎の色情報（Ｒ／Ｇ，Ｂ／Ｇ）に基づいてＷＢゲインを算出する。具体的には、２５６個の分割エリア毎の色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。尚、色温度の替わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし（特開２００７－５３４９９参照）、また、推定した光源種から色温度を推定してもよい。
　ＷＢゲイン算出部２４７には、予め環境光の色温度又は光源種に対応して、適正なホワイトバランス補正を行うためのＲＧＢ毎、又はＲＢ毎のＷＢゲインが用意されており、ＷＢゲイン算出部２４７は、前記推定した環境光の色温度又は光源種に基づいて対応するＲＧＢ毎、又はＲＢ毎のＷＢゲインを読み出し、この読み出したＷＢゲインをホワイトバランス補正部２４２に出力する。
　上記のように第１の信号処理系統によるモザイク画像の信号処理と並行して、第２の信号処理系統によりＷＢゲインの算出を行うようにしたため、信号処理の高速化を図ることができ、特にオリジナル画像の全画素のデータを使用せずに間引き読出したラインの色信号に基づいてＷＢゲインを算出するため、ＷＢゲインを高速に算出することができる。これにより、撮影した画像を確認するためのポストビュー画像を早く見ることができる。
　また、第２の信号処理系統側では、計算量が多くなる混色補正を行っていないが、混色が発生しやすい撮影条件下では、混色の影響を受けにくいラインの色信号を間引き読み出しするため、精度の高いＷＢゲインを算出することができる。
　［ＷＢゲイン算出の実施形態］
　＜第１の実施形態＞
　図９はＷＢゲインの算出方法の第１の実施形態を示すフローチャートである。
　図９において、まず、シャッタボタンの第２段階の押下（全押し）があると、静止画の本撮影が行われ、その本撮影により撮像素子１から取得されるＲＡＷデータがメモリ４８に格納される（ステップＳ１０）。
　続いて、本撮影時の撮影光学系１２（ズームレンズ）のズームポジション及びレンズＦ値を取得し、取得したズームポジション及びレンズＦ値に対応する閾値を選択する（ステップＳ１２）。
　即ち、レンズＦ値が開放Ｆ値に近づくほど程、混色が多くなるため、Ｆ値に基づいて混色が発生しやすいか否かを判別するための閾値を設定する。また、ズームレンズのズームポジション（ズーム倍率）により撮像素子上のマイクロレンズへの入射角が変化（隣接画素からの光の漏れ込みが変化）し、混色量が異なるため、ズームポジションによって前記閾値を変えるようにしている。具体的には、Ｆ値とズームポジションをパラメータとする閾値のテーブルを予め準備しておき、本撮影時のＦ値とズームポジションから対応する閾値をテーブルから読み出す。
　次に、本撮影時のＦ値が前記選択された閾値以下か否かを判別する（ステップＳ１４）。本撮影時のＦ値が閾値以下の場合（「Yes」の場合）、混色が発生しやすいと判断し、混色の影響の少ない（ＲＢの画素の少ない）ラインの間引き読出しに対応する間引きパターンを決定する。そして、決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しする（ステップＳ１６）。例えば、１／６間引きの場合には、図４の（ａ）部分に示した間引きパターンＰ１１を決定し、その選択した間引きパターンＰ１１に対応するラインの色信号を読み出す。
　一方、本撮影時のＦ値が閾値を越える場合（「No」の場合）、混色の影響が少ないと判断し、混色の影響の少ないラインに比べてＲＢの画素が多いラインの間引き読出しに対応する間引きパターンを決定する。そして、決定した間引きパターンにしたがって所定のラインの色信号を間引き読み出しする（ステップＳ１８）。例えば、１／６間引きの場合には、図４の（ｂ）部分に示した間引きパターンＰ１２を決定し、その選択した間引きパターンＰ１２に対応するラインの色信号を読み出す。
　上記ステップＳ１６、又はＳ１８により読み出したＲＧＢの色信号からＲＧＢ毎の積算平均値を算出し、その積算平均値に基づいてＷＢゲインを算出する（ステップＳ２０）。
　上記のように混色が発生しやすい撮影条件下では、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、混色の影響が少ない撮影条件下では、混色の影響の少ないラインに比べてＲＢの画素が多いライン（ＲＧＢの画素の比がより均等なライン）の色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
　尚、この第１の実施形態では、本撮影時のズームポジションとＦ値に基づいて閾値を選択し、混色が多くなる撮影条件か否かを判別するようにしたが、これに限らず、ズームポジション、又はＦ値のいずれか一方に基づいて混色が多い撮影条件か否かを判別し、その判別結果に基づいて間引きパターンを決定するようにしてもよい。
　＜第２の実施形態＞
　図１０はＷＢゲインの算出方法の第２の実施形態を示すフローチャートである。尚、図９に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１０に示すように、本撮影前に環境光の色温度を算出する（ステップＳ３０）。例えば、ライブビュー画像の画像データ、又はシャッタボタンの半押し時に取得した画像データのＲＧＢの色信号に基づいて色毎の積算平均値を算出し、算出した色毎の積算平均値から環境光の色温度を算出する。
　そして、本撮影後、ステップＳ３０で算出した色温度が、予め設定された中間色温度の範囲外か否かを判別する（ステップＳ３２）。
　低色温度時のＲＧＢの色毎の積算平均値は、図１１の（ａ）部分に示すように、Ｒ＞Ｇ＞Ｂの関係になり、高色温度時のＲＧＢの色毎の積算平均値は、図１１の（ｃ）部分に示すように、Ｒ＜Ｇ＜Ｂの関係になる。
　このように出力が小さい色が含まれる色温度（低色温度、又は高色温度）の場合、出力が小さい画素（Ｂ画素，又はＲ画素）は、隣接画素からの光の漏れ込みの影響を受けやすく、ＷＢゲインの算出精度が悪くなりやすい。
　そこで、ステップＳ３２では、ステップＳ３０で算出した色温度が、ＲＧＢの色毎の積算平均値がほぼ均等になる所定の中間色温度（図１１の（ｂ）部分）の範囲外となる色温度の場合（「Yes」の場合）には、混色が発生しやすいと判断し、ステップＳ１６に遷移させ、中間色温度範囲内（「No」の場合）には、混色の影響が少ないと判断し、ＲＢの画素が多いラインの間引き読出しを行うステップＳ１８に遷移させる。
　上記のように混色が発生しやすい色温度の場合には、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、混色の影響が少ない色温度の場合には、ＲＢの画素が多いラインの色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
　＜第３の実施形態＞
　図１２はＷＢゲインの算出方法の第３の実施形態を示すフローチャートである。尚、図９に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　ＣＰＵ４０は、シャッタボタンの半押し時にＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいてＦ値、シャッタ速度、及び撮影感度（ＩＳＯ感度）の組み合わせからなる撮影（露出）条件を決定し、本撮影時に前記決定した露出条件にしたがって露出制御を行う。
　被写体の明るさが明るい場合には、撮影感度を低く設定し、Ｆ値及びシャッタ速度により露出制御するが、被写体の明るさが暗く、Ｆ値及びシャッタ速度のみでは充分な信号量が得られない場合には、撮影感度（ゲイン）を上げるようにする。したがって、撮影感度が高い場合には、ノイズも増幅されノイズが大きくなる欠点がある。
　図１２において、本撮影時の撮影感度が所定の閾値以下か否か（即ち、ノイズの少ない画像か否か）を判別する（ステップＳ４０）。撮影感度が所定の閾値以下の場合（「Yes」の場合）には、ノイズの少ない画像であるため、混色の影響を受けにくいラインの間引き読み出しを優先し、ステップＳ１６に遷移させる。一方、撮影感度が所定の閾値を越える場合（「No」の場合）には、ノイズの多い画像であるため、ノイズの影響を受けにくいＲＢ画素の多いラインの間引き読み出しを優先し、ステップＳ１８に遷移させる。
　上記のようにノイズの少ない画像の場合には、混色の影響の少ないラインの色信号を間引き読出してＷＢゲインを算出するようにしたため、精度の高いＷＢゲインを算出することができ、また、ノイズの多い画像の場合には、ＲＢの画素が多いラインの色信号を間引き読み出してＷＢゲインを算出するようにしたため、ＲＢの画素の積算平均値の精度が高くなり、精度の高いＷＢゲインを算出することができる。
　＜第４の実施形態＞
　図１３はＷＢゲインの算出方法の第４の実施形態を示すフローチャートであり、図１２に示した第３の実施形態の変形例を示している。尚、図１２に示した第３の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
　図１３に示す第４の実施形態は、撮影感度が所定の閾値を越えている（ステップＳ４０の「No」）と判別された後の処理が、第３の実施形態と相違している。
　即ち、ステップＳ４０において、撮影感度が所定の閾値を越えていると判別されると（（「No」の場合）、続いて、演算速度を重視するか否かを判別する（ステップＳ５０）。
　例えば、撮影モードとして連写モードが設定され、連写される各画像を高速で処理する必要がある場合には、演算速度を重視すると判別する。
　ステップＳ５０で速度を重視すると判別されると（「Yes」の場合）、ステップＳ５２に遷移させる。ステップＳ５２では、ＲＢ画素の多いラインの色信号を間引き読み出しする間引きパターンを決定するが、速度を重視するため、間引き率の高い間引きパターンを決定する。例えば、図４の（ａ）部分に示したように、１／６間引きの間引きパターンＰ１１を決定する。
　一方、ステップＳ５０で速度を重視しないと判別されると（「No」の場合）、ステップＳ５４に遷移させる。ステップＳ５４では、間引き率の低い間引きパターンであって、混色の影響の少ないラインの間引き読出しに対応する間引きパターンを決定する。例えば、図６の（ｃ）部分に示す４／６間引きの間引きパターンＰ４３を決定する。この場合、Ｇ画素の画素に比べてＲＢ画素の画素数の比率が小さいが、間引き率が低いため、ＲＢ画素の画素数も十分に多くなり、ＲＢの画素にノイズが多く含まれていても精度の高い積算平均値を求めることができる。
　［色情報算出の実施形態］
　＜第１の実施形態＞
　撮像素子１から出力されるＲＧＢの色信号には、入射光の強度に対応する信号成分の他に、暗電流等に起因するオフセット成分が重畳されており、高感度や高温時、長時間露光時には、画素の暗電流成分によりオフセット成分に段差が生じやすい。
　図１４は、ＲＧＢの各色でオフセットに段差（黒レベル段差）が生じている場合に関して示している。
　そこで、このオフセット段差を考慮して色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出することで、精度の高いＷＢゲインを算出するようにしている。
　即ち、図８に示したＲＧＢ積算部２４６は、ＲＧＢの色毎にオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出する。これらオフセット値Ｒoffset,Ｇoffset,Ｂoffsetの算出は、撮像素子１の周辺部の遮光領域（オプティカルブラック部：ＯＢ部）の信号であって、ＲＧＢに対応する画素毎の信号を積算し、その平均値を求めることにより算出する。
　続いて、間引き読出部２４５から間引き読み出しされたＲＧＢの色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataを算出し、前記算出したオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを使用して、次式により、オフセット補正した色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
　［数１］
　Ｒ／Ｇ＝（Ｒdata－Ｒoffset）／（Ｇdata－Ｇoffset）
　Ｂ／Ｇ＝（Ｂdata－Ｂoffset）／（Ｇdata－Ｇoffset）
　このように色毎にオフセット補正することにより、精度の高い色情報を算出することができ、その結果、精度の高いＷＢゲインを算出することができる。
　＜第２の実施形態＞
　ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型の撮像素子には、ＣＭＯＳの下地に画素共有アンプが埋め込まれ、図１５に示すように２×２の４画素が１つのアンプを共有しているものがある。このような撮像素子の素子構造により、共有アンプに対する画素の位置１～４（アンプに対して左上、右上、左下、右下の位置）により出力レベルに差が生じる。
　図１６は、共有アンプに対する画素の位置１～４でオフセットに段差（黒レベル段差）が生じている場合に関して示している。
　そこで、このオフセット段差を考慮して色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出することで、精度の高いＷＢゲインを算出するようにしている。
　即ち、図８に示したＲＧＢ積算部２４６は、共有アンプに対する画素の位置１～４毎にオフセット値Off1,Off2,Off3,Off4を算出する。これらのオフセット値Off1,Off2,Off3,Off4の算出は、撮像素子１のＯＢ部の信号を、共有アンプに対する画素の位置１～４毎に積算し、その平均値を求めることにより算出する。
　続いて、間引き読出部２４５から間引き読み出しされたＲＧＢの色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataを算出し、前記算出したオフセット値Off1,Off2,Off3,Off4を使用して、色信号毎の積算平均値Ｒdata,Ｇdata,Ｂdataのオフセット補正を行う。
　いま、基本配列パターンにおける各色の画素と、共有アンプに対する画素の位置１～４とが、図１７に示す関係になっている場合において、２／６間引きによりラインａ，ｄを間引き読み出すると、ラインａ，ｄの各色の画素と共有アンプに対する画素の位置１～４とは、図１８に示す関係になる。
　即ち、基本配列パターン内のラインａ，ｄにおけるＲＧＢの共有アンプに対する画素の位置１～４は、Ｒ画素は、位置１、４にそれぞれ１画素ずつ存在し、Ｇ画素は、位置１～４にそれぞれ２画素ずつ存在し、Ｂ画素は、Ｒ画素は、位置２、３にそれぞれ１画素ずつ存在している。
　したがって、間引きラインａ，ｄにおけるＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetは、共有アンプに対する画素の位置１～４毎のオフセット値Off1,Off2,Off3,Off4に基づいて、次式により算出することができる。
　［数２］
　Ｒoffset＝(Off1＋Off4）／２
　Ｇoffset＝(Off1＋Off2＋Off3＋Off4）／４
　Ｂoffset＝(Off2＋Off3）／２
　上記［数２］式により算出したＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを使用して、前記［数１］式により、オフセット補正した色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。
　このように共有アンプに対する画素の位置１～４毎のオフセット値Off1,Off2,Off3,Off4に基づいてＲＧＢの色毎にオフセット値を算出し、算出したオフセット値によりＲＧＢ毎の積算平均値を補正することにより、精度の高い色情報を算出することができ、その結果、精度の高いＷＢゲインを算出することができる。
　尚、上記［数２］式は、間引きラインａ，ｄにおけるＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出するための計算式であるが、オフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出する計算式は、間引き読み出しする１又は複数ラインの組み合わせにより異なる。したがって、間引きパターン決定部２４４により決定される間引きパターン（図３～図６参照）に応じて、ＲＧＢのオフセット値Ｒoffset,Ｇoffset,Ｂoffsetを算出するための計算式を準備しておく必要がある。
　［その他］
　図１９及び２０はそれぞれ本発明に係る撮像装置に適用される撮像素子の他の実施形態を示す図である。
　図１９に示す実施形態の撮像素子のカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、図１に示した実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、ＧフィルタがＲ，Ｂフィルタよりも多く、かつラインによりＲＧＢのカラーフィルタの個数の比率が異なり、Ｒ：Ｇ：Ｂ＝２：３：２のラインと、Ｒ：Ｇ：Ｂ＝２：４：１、又はＲ：Ｇ：Ｂ＝１：４：２のラインがある。
　図２０に示す実施形態の撮像素子のカラーフィルタ配列は、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、図１に示した実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、ＧフィルタがＲ，Ｂフィルタよりも多く、かつラインによりＲＧＢのカラーフィルタの個数の比率が異なり、Ｒ：Ｇ：Ｂ＝３：２：３のラインと、Ｒ：Ｇ：Ｂ＝１：６：１のラインがある。
　図１９及び図２０に示すカラーフィルタ配列は、図１に示した６×６画素の基本配列パターンと同様、輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上、斜め右下の各方向のライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。また、Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
　このように本発明は、図１に示した６×６画素の基本配列パターンを有する撮像素子に限らず、他のカラーフィルタ配列を有する撮像素子にも適用でき、要は各ラインに３原色のカラーフィルタが配列され、かつ３原色のカラーフィルタの個数の比率がラインにより異なるカラーフィルタ配列を有する撮像素子であれば、いかなる撮像素子にも適用できる。
　また、撮像素子のカラーフィルタ配列はＲＧＢの３原色に限らず、黄色やエメラルドを含んでいてもよい。
　更に、この実施形態では、１画面を複数のエリアに分割した分割エリア毎に色情報（Ｒ／Ｇ，Ｂ／Ｇ）を取得し、複数の分割エリアの色情報に基づいてＷＢゲインを算出するようにしたが、ＷＢゲインの算出方法は、この実施形態に限定されず、３原色の色信号に基づいてＷＢゲインを算出する方法であれば、いかなる方法でもよい。
　また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１…撮像素子、１０…撮像装置、１２…撮影光学系、１４…絞り、２４…デジタル信号処理部、３０…液晶モニタ、３８…操作部、４０…中央処理装置（ＣＰＵ）、４６…ＲＯＭ、４８…メモリ、５４…メモリカード、２４２…ホワイトバランス補正部、２４４…間引きパターン決定部、２４５…間引き読出部、２４６…ＲＧＢ積算部、２４７…ＷＢゲイン算出部

Claims (20)

  1. 　撮影光学系と、
    　前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    　前記複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    　前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    　を備えた撮像装置。
  2. 　撮影光学系と、
    　前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が異なる複数のラインを含むカラーフィルタ配列を有する撮像素子と、
    　前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、
    　前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
    　前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    　を備えた撮像装置。
  3. 　前記間引きパターン決定手段は、前記撮影光学系の撮影時のＦ値及びズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する請求項２に記載の撮像装置。
  4. 　前記間引きパターン決定手段は、環境光の色温度を検出する色温度検出手段を含み、該色温度検出手段により検出された環境光の色温度に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する請求項２に記載の撮像装置。
  5. 　前記間引きパターン決定手段は、混色が多い撮影条件かを判定し、混色が多い撮影条件下では前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、混色が少ない撮影条件下では前記３原色のカラーフィルタに対応する画素数の比率がより均等なラインを選択する間引きパターンを決定する請求項２から４のいずれか１項に記載の撮像装置。
  6. 　撮影感度を設定する感度設定手段を備え、
    　前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記３原色のカラー
    フィルタの個数の比率がより均等なラインを選択する間引きパターンを決定する請求項２から５のいずれか１項に記載の撮像装置。
  7. 　撮影感度を設定する感度設定手段を備え、
    　前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
    　前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高い間引きパターンを決定し、前記設定された撮影感度が高感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低い間引きパターンを決定する請求項２から５のいずれか１項に記載の撮像装置。
  8. 　撮影感度を設定する感度設定手段と、
    　演算速度を重視するか否かを判別する判別手段と、を備え、
    　前記複数の間引きパターンは、間引き率の異なる間引きパターンを含み、
    　前記間引きパターン決定手段は、前記感度設定手段により設定された撮影感度が低感度の場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視する場合には、前記間引き率の異なる間引きパターンのうちの間引き率が高く、かつ前記３原色のカラーフィルタの個数の比率がより均等なラインを選択する間引きパターンを決定し、前記設定された撮影感度が高感度かつ演算速度を重視しない場合には、前記間引き率の異なる間引きパターンのうちの間引き率が低く、かつ前記３原色のカラーフィルタの個数の比率が不均等なラインを選択する間引きパターンを決定する請求項２から５のいずれか１項に記載の撮像装置。
  9. 　前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段を備え、
    　前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出する請求項２から８のいずれか１項に記載の撮像装置。
  10. 　前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、
    　前記算出手段は、前記アンプを共有する各画素の該アンプに対する位置毎のオフセット値を算出する第１の算出手段と、前記間引きパターン決定手段により決定された間引きパターンにおける各画素の前記アンプに対する位置と、前記第１の算出手段により算出された前記アンプに対する位置毎のオフセット値とに基づいて色信号毎のオフセット値を算出する第２の算出手段と、を含む請求項９に記載の撮像装置。
  11. 　前記撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    　前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、
    　前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    　前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項２から９のいずれか１項に記載の撮像装置。
  12. 　前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    　前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    　前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項２から１１のいずれか１項に記載の撮像装置。
  13. 　前記複数の間引きパターンは、６ライン毎に１ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含む請求項１２に記載の撮像装置。
  14. 　前記複数の間引きパターンは、６ライン毎に２ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含む請求項１２又は１３に記載の撮像装置。
  15. 　前記複数の間引きパターンは、６ライン毎に３ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が５：８：５のラインを読み出す間引きパターンとを含む請求項１２から１４のいずれか１項に記載の撮像装置。
  16. 　前記複数の間引きパターンは、６ライン毎に４ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：２：１のラインを読み出す間引きパターンとを含む請求項１２から１５のいずれか１項に記載の撮像装置。
  17. 　前記３原色のカラーフィルタに対応する色信号毎にオフセット値を算出する算出手段を備え、
    　前記ホワイトバランスゲイン算出手段は、前記ホワイトバランスゲインの算出に使用するラインの色信号毎の積算平均値を算出するとともに、該積算平均値から前記色信号毎に算出したオフセット値を減算し、減算した色信号毎の積算平均値の比に基づいてホワイトバランスゲインを算出する請求項１に記載の撮像装置。
  18. 　前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    　前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    　前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１に記載の撮像装置。
  19. 　撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、
    　前記撮像素子の複数のラインのうち前記３原色のカラーフィルタの個数の比率がより均等なラインの各色のカラーフィルタに対応する各色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
    　前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、
    　を含む画像処理方法。
  20. 　撮影光学系及び３原色のカラーフィルタが配列された撮像素子を介してカラーフィルタ配列に対応するモザイク画像を取得する画像取得工程であって、前記モザイク画像の複数のラインの各ラインには３原色に対応する色信号が含まれ、かつ３原色に対応する画素の個数の比率がラインにより異なるモザイク画像を取得する画像取得工程と、
    　前記複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定工程と、
    　前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定工程により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、
    　前記ホワイトバランスゲイン算出工程により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正工程と、
    　を含む画像処理方法。
PCT/JP2012/077302 2011-10-31 2012-10-23 撮像装置及び画像処理方法 WO2013065518A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013541708A JP5603506B2 (ja) 2011-10-31 2012-10-23 撮像装置及び画像処理方法
CN201280053307.7A CN104025574B (zh) 2011-10-31 2012-10-23 摄像装置及图像处理方法
US14/264,800 US8982236B2 (en) 2011-10-31 2014-04-29 Imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011239321 2011-10-31
JP2011-239321 2011-10-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/264,800 Continuation US8982236B2 (en) 2011-10-31 2014-04-29 Imaging apparatus

Publications (1)

Publication Number Publication Date
WO2013065518A1 true WO2013065518A1 (ja) 2013-05-10

Family

ID=48191873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077302 WO2013065518A1 (ja) 2011-10-31 2012-10-23 撮像装置及び画像処理方法

Country Status (4)

Country Link
US (1) US8982236B2 (ja)
JP (1) JP5603506B2 (ja)
CN (1) CN104025574B (ja)
WO (1) WO2013065518A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185239A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 画像データのオプティカル・ブラック補正装置およびその動作制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
EP3157254A4 (en) * 2014-06-13 2018-03-21 Olympus Corporation Solid-state image capturing device and image capturing method
KR102285756B1 (ko) 2015-02-13 2021-08-05 삼성전자주식회사 전자 시스템 및 영상 처리 방법
CN105208360B (zh) * 2015-09-23 2017-07-25 青岛海信移动通信技术股份有限公司 一种智能终端的图像预览方法、装置及终端
CN106791757B (zh) * 2015-11-23 2018-11-30 创意电子股份有限公司 影像校正系统及其方法
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
JP7037346B2 (ja) * 2017-03-10 2022-03-16 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US10616511B2 (en) * 2017-06-08 2020-04-07 Intel Corporation Method and system of camera control and image processing with a multi-frame-based window for image data statistics
CN108259793B (zh) * 2018-03-27 2020-11-27 思特威(上海)电子科技有限公司 图像传感器的黑电平校准方法及系统
CN110958401B (zh) * 2019-12-16 2022-08-23 北京迈格威科技有限公司 一种超级夜景图像颜色校正方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105805A (ja) * 1992-08-14 1994-04-19 Olympus Optical Co Ltd 内視鏡撮像装置
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2000032345A (ja) * 1998-07-10 2000-01-28 Olympus Optical Co Ltd 撮像装置
JP2004007133A (ja) * 2002-05-31 2004-01-08 Minolta Co Ltd 撮像装置
JP2007221273A (ja) * 2006-02-14 2007-08-30 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009027488A (ja) * 2007-07-20 2009-02-05 Sony Corp 撮像回路および撮像装置
JP2011101158A (ja) * 2009-11-05 2011-05-19 Nikon Corp 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP3664123B2 (ja) 2001-10-03 2005-06-22 ソニー株式会社 撮像装置および画質補正方法
JP2007053499A (ja) 2005-08-16 2007-03-01 Fujifilm Holdings Corp ホワイトバランス制御装置及び撮像装置
CN101433095B (zh) 2006-04-25 2012-05-30 佳能株式会社 摄像设备及其控制方法
JP4875399B2 (ja) * 2006-04-25 2012-02-15 キヤノン株式会社 撮像装置及びその制御方法並びに撮像システム
US7633538B2 (en) * 2006-09-11 2009-12-15 Aptina Imaging Corporation Color filter device and method for eliminating or reducing non-uniform color error caused by asymmetric color cross-talk in image sensor devices
US8164042B2 (en) * 2008-11-06 2012-04-24 Visera Technologies Company Limited Color filter arrays and image sensors using the same
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105805A (ja) * 1992-08-14 1994-04-19 Olympus Optical Co Ltd 内視鏡撮像装置
JPH10243407A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像信号処理装置及び画像入力処理装置
JP2000032345A (ja) * 1998-07-10 2000-01-28 Olympus Optical Co Ltd 撮像装置
JP2004007133A (ja) * 2002-05-31 2004-01-08 Minolta Co Ltd 撮像装置
JP2007221273A (ja) * 2006-02-14 2007-08-30 Canon Inc 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009027488A (ja) * 2007-07-20 2009-02-05 Sony Corp 撮像回路および撮像装置
JP2011101158A (ja) * 2009-11-05 2011-05-19 Nikon Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185239A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 画像データのオプティカル・ブラック補正装置およびその動作制御方法
JPWO2014185239A1 (ja) * 2013-05-13 2017-02-23 富士フイルム株式会社 画像データのオプティカル・ブラック補正装置およびその動作制御方法

Also Published As

Publication number Publication date
US8982236B2 (en) 2015-03-17
US20140232901A1 (en) 2014-08-21
JPWO2013065518A1 (ja) 2015-04-02
CN104025574B (zh) 2015-10-14
JP5603506B2 (ja) 2014-10-08
CN104025574A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
JP5603506B2 (ja) 撮像装置及び画像処理方法
JP5493010B2 (ja) 撮像装置及びその合焦位置検出方法
JP5860936B2 (ja) 撮像装置
TWI428006B (zh) 處理像素陣列及處理影像的方法
US8823858B2 (en) Imaging apparatus
JP5493011B2 (ja) 撮像装置及びその合焦位置検出方法
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
JP5361535B2 (ja) 撮像装置
JP5663564B2 (ja) 撮像装置並びに撮像画像処理方法と撮像画像処理プログラム
US10638037B2 (en) Image-capturing device and image processing device
JP2006165975A (ja) 撮像素子、撮像装置、画像処理方法
JP5600814B2 (ja) 画像処理装置及び方法並びに撮像装置
JP6099536B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
US20060197854A1 (en) Image capturing apparatus and computer software product
JPWO2013183378A1 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP5645474B2 (ja) 撮像装置及び撮像画像信号の補正方法
JP4993670B2 (ja) 撮像装置及びその制御方法
JP6270400B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6976789B2 (ja) 撮像装置及び撮像方法
JP2010239192A (ja) 固体撮像素子及び撮像装置及び画像信号処理方法
JP2007228152A (ja) 固体撮像装置および撮像方法
US20240214689A1 (en) Image-capturing device and image processing device
JP2024012869A (ja) 撮像装置及び撮像装置の画像データ読み出し方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12846060

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013541708

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12846060

Country of ref document: EP

Kind code of ref document: A1