WO2012114558A1 - カラー撮像素子 - Google Patents

カラー撮像素子 Download PDF

Info

Publication number
WO2012114558A1
WO2012114558A1 PCT/JP2011/067418 JP2011067418W WO2012114558A1 WO 2012114558 A1 WO2012114558 A1 WO 2012114558A1 JP 2011067418 W JP2011067418 W JP 2011067418W WO 2012114558 A1 WO2012114558 A1 WO 2012114558A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
array
pixels
filter
color filter
Prior art date
Application number
PCT/JP2011/067418
Other languages
English (en)
French (fr)
Inventor
林　健吉
田中　誠二
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to RU2013138724/07A priority Critical patent/RU2548566C1/ru
Priority to EP11859479.5A priority patent/EP2680589B1/en
Priority to JP2012524425A priority patent/JP5054856B1/ja
Priority to BR112012026632A priority patent/BR112012026632A2/pt
Priority to CN201180022503.3A priority patent/CN102884796B/zh
Priority to US13/560,403 priority patent/US8456553B2/en
Publication of WO2012114558A1 publication Critical patent/WO2012114558A1/ja
Priority to US13/887,024 priority patent/US9431444B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to a color image sensor, and more particularly to a color image sensor capable of suppressing the occurrence of color moire and increasing the resolution.
  • the output image of the single-plate color imaging device is a RAW image (mosaic image)
  • a multi-channel image is obtained by a process of interpolating missing color pixels from surrounding pixels (synchronization process).
  • the problem in this case is the reproduction characteristics of high-frequency image signals, and color imaging devices are more likely to cause aliasing than color imaging devices, so color moire (false color). It is an important issue to increase the reproducibility band and to improve the resolution while suppressing the occurrence of noise.
  • FIG. 13A When a black and white vertical stripe pattern (high-frequency image) as shown in FIG. 13A is incident on the Bayer array image sensor shown in FIG. 13B, it is distributed to the Bayer color array for each color.
  • R is a light flat image
  • B is a dark flat image
  • G is a light and shaded mosaic image.
  • FIG. 14A when an oblique black-and-white high-frequency image as shown in FIG. 14A is incident on the Bayer array image sensor shown in FIG. 14B, it is sorted into the Bayer color array for each color.
  • R and B are thin flat images and G is a dark flat color image. If the black value is 0 and the white value is 255, the image is diagonal. The black and white high-frequency image becomes green because only G is 255. In this way, with the Bayer array, an oblique high-frequency image cannot be reproduced correctly.
  • an optical low-pass filter made of a birefringent material such as crystal is disposed in front of the color image pickup device, and this is avoided by optically dropping high frequencies.
  • coloring due to folding of the high-frequency signal can be reduced, but there is a problem that the resolution is lowered due to its adverse effect.
  • the color filter arrangement of the color image sensor is determined based on an arrangement restriction condition in which any target pixel is adjacent in any one of three colors including the color of the target pixel and four sides of the target pixel.
  • Patent Document 1 A color image sensor having a three-color random array that satisfies the above has been proposed.
  • Patent Document 2 an image sensor having a color filter array alternately arranged at the second predetermined period in the other diagonal direction has been proposed (Patent Document 2).
  • R and B of the three primary colors of RGB are arranged every three pixels in the horizontal and vertical directions, and G is arranged between these R and B (patent). Reference 4).
  • JP 2000-308080 A JP 2005-136766 A Japanese Patent Laid-Open No. 11-285012 JP-A-8-23543
  • the color image sensor described in Patent Document 1 has a random filter arrangement, it is necessary to optimize for each random pattern when performing a subsequent synchronization (interpolation) process, and the synchronization process becomes complicated. There is a problem.
  • the random arrangement is effective for low-frequency color moire, but is not effective for false colors in the high-frequency part.
  • the color solid-state imaging device described in Patent Document 3 has an advantage that the occurrence of false colors can be suppressed because filters of all colors exist on an arbitrary straight line, but the ratio of the number of RGB pixels is equal. There is a problem that the high frequency reproducibility is lower than that of the Bayer array. In the case of the Bayer array, the ratio of the number of G pixels that contributes most to obtain the luminance signal is twice the number of R and B pixels.
  • the ratio of the number of G pixels to the number of R and B pixels is higher than that of the Bayer array, and there are lines of only G pixels in the horizontal or vertical direction. Or it is not effective for the false color of the high frequency part in the vertical direction.
  • the present invention has been made in view of such circumstances, and can suppress the generation of false colors and increase the resolution, and can simplify the subsequent processing as compared with the conventional random arrangement.
  • An object is to provide an imaging device.
  • a color filter having a predetermined color filter array is disposed on a plurality of pixels including photoelectric conversion elements arranged in a horizontal direction and a vertical direction.
  • the color filter array includes a first filter corresponding to the first color that contributes most to obtain a luminance signal and two or more colors other than the first color.
  • a predetermined basic arrangement pattern in which second filters corresponding to the second color are arranged is repeatedly arranged in a horizontal direction and a vertical direction, and the first filter includes the color filter
  • the second filter is disposed in each line in the horizontal, vertical, and oblique (NE, NW) directions of the array, and the second filter is arranged in the horizontal and vertical directions of the color filter array in the basic array pattern.
  • the ratio of the number of pixels of the first color corresponding to the first filter is one or more arranged in each line, and the ratio of the number of pixels of each color of the second color corresponding to the second filter large.
  • the first filter corresponding to the first color that contributes most to obtain the luminance signal is represented by the horizontal, vertical, and diagonal (NE, NE) of the color filter array. Since it is arranged in each line in the (NW) direction, it is possible to improve the reproduction accuracy of the synchronization processing in the high frequency region, and also supports two or more second colors other than the first color. Since at least one second filter is arranged in each horizontal and vertical line of the color filter array, the occurrence of color moire (false color) can be suppressed and high resolution can be achieved. .
  • the color filter array has a predetermined basic array pattern repeatedly arranged in the horizontal direction and the vertical direction, when performing the synchronization (interpolation) process in the subsequent stage, the process is repeatedly performed according to the pattern. As compared with the conventional random arrangement, the subsequent processing can be simplified.
  • the ratio of the number of pixels of the first color corresponding to the first filter and the number of pixels of each color of the second color corresponding to the second filter is made different, in particular for obtaining a luminance signal.
  • the ratio of the number of pixels of the first color that contributes is made larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter, so that aliasing can be suppressed and high-frequency reproduction can be achieved. Good.
  • the color filter array includes a portion in which the first filter is continuous for two or more pixels in each line in the horizontal, vertical, and diagonal (NE, NW) directions. It is out.
  • the color filter array includes a square array corresponding to 2 ⁇ 2 pixels formed of the first filter. Using the pixel value of 2 ⁇ 2 pixels, it is possible to determine a direction having a high correlation among horizontal, vertical, and diagonal (NE, NW) directions.
  • the color filter array in the predetermined basic array pattern is point symmetric with respect to the center of the basic array pattern. This makes it possible to reduce the circuit scale of the processing circuit in the subsequent stage.
  • the predetermined basic array pattern is a square array pattern corresponding to N ⁇ N (N: an integer of 4 to 8) pixels.
  • N an integer of 4 to 8 pixels.
  • the predetermined basic array pattern is a square array pattern corresponding to 6 ⁇ 6 pixels.
  • the predetermined basic array pattern is a square array pattern corresponding to N ⁇ N pixels, and N is preferably an integer of 4 or more and 8 or less, but N is even more advantageous at the time of synchronization than odd.
  • the first filter does not include a portion in which the first filter is continuous in two or more pixels in each line in the horizontal, vertical, and diagonal (NE, NW) directions. Therefore, it is disadvantageous for discrimination of the direction in which the luminance change is small.
  • N 8
  • signal processing becomes more complicated than when N is 6. Therefore, as the basic array pattern, N is 6, that is, a square array pattern corresponding to 6 ⁇ 6 pixels is most preferable.
  • the color filter array includes the first filter arranged in the center and four corners in a 3 ⁇ 3 pixel group, and the 3 ⁇ 3 pixel group in the horizontal direction and It is preferable that they are repeatedly arranged in the vertical direction. Since the first filters are arranged at the four corners of the 3 ⁇ 3 pixel group, when the 3 ⁇ 3 pixel group is repeatedly arranged in the horizontal direction and the vertical direction, the color filter array is the first filter.
  • a square array corresponding to 2 ⁇ 2 pixels composed of the above-described filters is included, and the pixel value of the 2 ⁇ 2 pixels is used, and the correlation among the horizontal, vertical, and diagonal (NE, NW) directions is high. The direction can be discriminated, and the first filter is arranged in each line in the horizontal, vertical and oblique (NE, NW) directions of the color filter array.
  • the second filter may be arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array. Good. Thereby, the color reproducibility in the oblique direction can be further improved.
  • the first color is a green (G) color
  • the second color is a red (R) color and a blue (B) color. It is characterized by.
  • the predetermined basic array pattern is a square array pattern corresponding to 6 ⁇ 6 pixels
  • the color filter array is a first corresponding to 3 ⁇ 3 pixels.
  • a second array in which G filters are arranged at the center and four corners, R filters are arranged above and below the center G filter, and B filters are arranged on the left and right. are preferably arranged alternately in the horizontal and vertical directions.
  • This basic array pattern includes a square array G filter corresponding to 2 ⁇ 2 pixels, and is a minimum size basic array pattern that is point-symmetric with respect to the center of the basic array pattern. Furthermore, according to the color filter array having the above-described configuration, when 5 ⁇ 5 pixels (local area of the mosaic image) are extracted around the first array or the second array, the four corners of the 5 ⁇ 5 pixels are extracted. There are 2 ⁇ 2 G pixels. The pixel values of these 2 ⁇ 2 G pixels can be used to determine the four correlation directions.
  • the first filter corresponding to the first color that contributes most to obtain the luminance signal is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array.
  • the ratio of the number of pixels of the first color corresponding to the first filter is set to a ratio of the number of pixels of the second color corresponding to the second filter of two or more colors other than the first color. Therefore, it is possible to improve the reproduction accuracy of the synchronization processing in the high frequency region and to suppress aliasing.
  • one or more second filters corresponding to two or more second colors other than the first color are arranged in each horizontal and vertical line of the color filter array in the basic array pattern. As a result, the generation of color moire (false color) can be suppressed and higher resolution can be achieved.
  • the color filter array according to the present invention performs processing according to the repeated pattern when performing the synchronization (interpolation) processing in the subsequent stage. Therefore, the subsequent processing can be simplified as compared with the conventional random arrangement.
  • FIG. 1 is a diagram showing a first embodiment of a single-plate color image sensor according to the present invention
  • FIG. 2 is a diagram showing a basic array pattern included in the color filter array of the color image sensor of the first embodiment
  • FIG. 3 is a diagram showing a state in which a basic array pattern of 6 ⁇ 6 pixels included in the color filter array of the color image sensor of the first embodiment is divided into an A array and a B array of 3 ⁇ 3 pixels, and these are arranged. Is
  • FIG. 4 is a diagram used for explaining a method of determining a correlation direction from pixel values of 2 ⁇ 2 G pixels included in the color filter array of the color image sensor of the first embodiment
  • FIG. 1 is a diagram showing a first embodiment of a single-plate color image sensor according to the present invention
  • FIG. 2 is a diagram showing a basic array pattern included in the color filter array of the color image sensor of the first embodiment
  • FIG. 3 is a diagram showing a state in which a basic array pattern of 6 ⁇ 6
  • FIG. 5 is a diagram used for explaining the concept of the basic array pattern included in the color filter array of the color image sensor;
  • FIG. 6 is a diagram showing a second embodiment of a single-plate color imaging device according to the present invention;
  • FIG. 7 is a diagram showing a third embodiment of a single-plate color imaging device according to the present invention;
  • FIG. 8 is a diagram showing a fourth embodiment of a single-plate color image sensor according to the present invention;
  • FIG. 9 is a diagram showing a fifth embodiment of a single-plate color image sensor according to the present invention;
  • FIG. 10 is a diagram showing a sixth embodiment of a single-plate color image sensor according to the present invention;
  • FIG. 11 is a diagram showing a seventh embodiment of a single-plate color image sensor according to the present invention;
  • FIG. 11 is a diagram showing a seventh embodiment of a single-plate color image sensor according to the present invention;
  • FIG. 12 is a diagram showing an eighth embodiment of a single-plate color image sensor according to the present invention.
  • FIG. 13 is a diagram used for explaining a problem of a color image sensor having a color filter with a conventional Bayer array;
  • FIG. 14 is another diagram used for explaining the problem of a color image sensor having a color filter with a conventional Bayer array.
  • FIG. 1 is a diagram showing a first embodiment of a single-plate color image pickup device according to the present invention, and particularly shows a color filter array of color filters provided in the color image pickup device.
  • This color image sensor is shown in FIG. 1 arranged on a light receiving surface of a plurality of pixels (not shown) composed of photoelectric conversion elements arranged in a horizontal direction and a vertical direction (two-dimensional array).
  • a color filter of a color filter array is formed, and any one of the three primary color filters of red (R), green (G), and blue (B) is arranged on each pixel.
  • the color image sensor is not limited to a CCD (Charge Coupled Device) color image sensor, but may be another type of image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the color filter array of the color imaging device of the first embodiment has the following features (1), (2), (3), (4), and (5).
  • the color filter array shown in FIG. 1 includes a basic array pattern P (pattern indicated by a thick frame) composed of a square array pattern corresponding to 6 ⁇ 6 pixels, and this basic array pattern P is repeatedly arranged in the horizontal direction and the vertical direction.
  • R, G, and B color filters R filter, G filter, and B filter
  • R filter, G filter, and B filter are arrayed with a predetermined periodicity.
  • the R filter, the G filter, and the B filter are arranged with a predetermined periodicity in this way, a repetitive pattern is used when performing the synchronization (interpolation) processing of the R, G, and B signals read from the color image sensor. Can be processed according to
  • the color filter array of the reduced image subjected to the thinning process can be the same as the color filter array before the thinning process, and a common processing circuit Can be used.
  • the G filter corresponding to the color that contributes most to obtain a luminance signal is horizontal, vertical, and diagonal (NE, NW) of the color filter array. ) Is located in each line of direction.
  • the G filter corresponding to the luminance system pixel is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, the synchronization processing in the high frequency region is performed regardless of the direction of high frequency. The reproduction accuracy can be improved.
  • the basic array pattern of the color filter array shown in FIG. 1 has the numbers of R, G, and B pixels corresponding to the R, G, and B filters in the basic array pattern as 8 pixels, 20 pixels, and 8 pixels, respectively. It has become. That is, the ratio of the number of pixels of RGB pixels is 2: 5: 2, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the ratio of R pixels and B pixels of other colors. It is larger than the ratio of the number of pixels.
  • the ratio between the number of G pixels and the number of R and B pixels is different, and in particular, the ratio of the number of G pixels that contributes most to obtain a luminance signal is equal to the number of R and B pixels. Since the ratio is larger than the ratio, aliasing at the time of the synchronization process can be suppressed and high frequency reproducibility can be improved.
  • the color filter array shown in FIG. 1 includes an R filter and a B filter corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color in the basic array pattern P.
  • One or more color filters are arranged in each line in the horizontal and vertical directions of the color filter array.
  • the R filter and B filter are arranged in the horizontal and vertical lines of the color filter array, the occurrence of color moire (false color) can be suppressed.
  • an optical low-pass filter for suppressing the generation of false colors can be prevented from being arranged in the optical path from the incident surface of the optical system to the imaging surface, or the occurrence of false colors can be prevented even when the optical low-pass filter is applied. Therefore, it is possible to apply a low-frequency component for cutting high-frequency components, and not to impair the resolution.
  • FIG. 2 shows a state where the basic array pattern P shown in FIG. 1 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array surrounded by a solid frame and a 3 ⁇ 3 pixel B array surrounded by a broken frame alternately in the horizontal and vertical directions. It can also be understood that the array is arranged.
  • G filters which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter is arranged in the horizontal direction with the central G filter interposed therebetween, and the B filter is arranged in the vertical direction.
  • the B filter is arranged in the horizontal direction with the central G filter interposed therebetween.
  • the R filters are arranged in the vertical direction. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the A array and the B array are arranged in a square array corresponding to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions as shown in FIG. G filter.
  • the G filter which is a luminance system pixel, is arranged at the four corners and the center in the 3 ⁇ 3 pixels in the A array or the B array, and the 3 ⁇ 3 pixels are alternately arranged in the horizontal direction and the vertical direction. This is because a square array G filter corresponding to 2 ⁇ 2 pixels is formed. It should be noted that with such an arrangement, the above-described features (1), (2), (3) and feature (5) described later are satisfied.
  • the color filter array shown in FIG. 1 includes a square array corresponding to 2 ⁇ 2 pixels composed of G filters.
  • this color filter array it is possible to determine a direction having a high correlation among the horizontal direction, the vertical direction, and the diagonal direction by using the information of the G pixel having the minimum pixel interval.
  • This direction discrimination result can be used for a process of interpolating from surrounding pixels (synchronization process).
  • 3 ⁇ 3 pixels in the A or B array are used as the target pixels for synchronization processing, and 5 ⁇ 5 pixels (local area of the mosaic image) are extracted centering on the A or B array.
  • 5 ⁇ 5 pixels local area of the mosaic image
  • the basic array pattern of the color filter array shown in FIG. 1 is point-symmetric with respect to the center of the basic array pattern (the centers of the four G filters). As shown in FIG. 2, the A array and the B array in the basic array pattern are also point-symmetric with respect to the central G filter.
  • the color filter arrangement of the first and third lines of the first to sixth lines in the horizontal direction is GBGGRG
  • the color filter array of the line is RGRGBB
  • the color filter array of the fourth and sixth lines is GRGGGB
  • the color filter array of the fifth line is BGBGR.
  • the basic array pattern P in which the basic array pattern is point-symmetric is referred to as a basic array pattern for convenience.
  • FIG. 6 is a diagram showing a second embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor according to the second embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 4 ⁇ 4 pixels. Repeatedly arranged in the direction.
  • the G filter is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, and the R filter and the B filter are arranged.
  • the color filter array is arranged in each line in the horizontal and vertical directions.
  • the basic array pattern is point-symmetric with respect to the center of the basic array pattern.
  • this color filter array does not include a square array corresponding to 2 ⁇ 2 pixels composed of G filters, but has a G filter adjacent in the horizontal direction, and has an oblique direction (upper right diagonal, upper left diagonal). Has adjacent G filters.
  • the pixel values of G pixels corresponding to these G filters can be used when determining the correlation in the vertical direction.
  • the basic arrangement pattern of the color filter array shown in FIG. 6 includes 4 pixels, 8 pixels, and R pixels corresponding to the R, G, and B filters in the basic arrangement pattern, respectively.
  • FIG. 7 is a diagram showing a third embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor of the third embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 5 ⁇ 5 pixels, and the basic array pattern is horizontal and vertical. Repeatedly arranged in the direction.
  • the G filter is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, and the R filter and the B filter are arranged.
  • the color filter array is arranged in each line in the horizontal and vertical directions.
  • the basic array pattern of the color filter array shown in FIG. 7 has 7 pixels, 11 pixels, and R pixels corresponding to the R, G, and B filters in the basic array pattern, respectively. 7 pixels. That is, the ratio of the number of RGB pixels is 7: 11: 7, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the ratio of R pixels and B pixels of other colors. It is larger than the ratio of the number of pixels.
  • the basic array pattern is not point-symmetric and does not include a square array corresponding to 2 ⁇ 2 pixels composed of G filters.
  • the color filter array of the color image sensor of the third embodiment has the same characteristics as the features (1), (2), (3) and (4) of the color filter array of the color image sensor of the first embodiment. Have.
  • FIG. 8 is a diagram showing a fourth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor of the fourth embodiment includes a basic array pattern (pattern indicated by a thick frame) consisting of a square array pattern corresponding to 5 ⁇ 5 pixels, as in the third embodiment.
  • This basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction.
  • the G filter is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, and the R filter and the B filter are arranged.
  • the color filter array is arranged in each line in the horizontal and vertical directions.
  • the basic array pattern of the color filter array shown in FIG. 8 has 6 pixels, 13 pixels, and R pixels corresponding to the R, G, and B filters in the basic array pattern, respectively.
  • this color filter array does not include a square array corresponding to 2 ⁇ 2 pixels made of a G filter, but the G filter has a cluster of 4 pixels adjacent to each other, and the horizontal direction is determined from the pixel values of these 4 pixels.
  • the correlation between the vertical direction and the diagonal direction can be determined with the minimum pixel interval. Note that the basic array pattern is not point-symmetric.
  • the color filter array of the color image sensor of the fourth embodiment is characterized by the features (1), (2), (3), (4) and (5) of the color filter array of the color image sensor of the first embodiment. Have the same characteristics.
  • FIG. 9 is a diagram showing a fifth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor of the fifth embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 5 ⁇ 5 pixels, This basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction.
  • the G filter is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array.
  • the R filter and the B filter are also horizontally and vertically in the color filter array.
  • the color filter array of the color imaging device of the first embodiment has a feature that is not in the color filter array.
  • the basic array pattern of the color filter array shown in FIG. 9 includes 8 pixels, 9 pixels, and R pixels corresponding to the R, G, and B filters in the basic array pattern, respectively.
  • this color filter array does not include a square array corresponding to 2 ⁇ 2 pixels made of G filters, and the basic array pattern is not point-symmetric.
  • the color filter array of the color image sensor of the fifth embodiment has the same characteristics as the features (1), (2), (3) and (4) of the color filter array of the color image sensor of the first embodiment. Have.
  • FIG. 10 is a diagram showing a sixth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color imaging device of the sixth embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 7 ⁇ 7 pixels, and the basic array pattern is horizontal and vertical. Repeatedly arranged in the direction.
  • the G filter is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, and the R filter and the B filter are arranged.
  • the color filter array is arranged in each line in the horizontal and vertical directions.
  • the basic arrangement pattern of the color filter array shown in FIG. 10 includes 12 pixels, 25 pixels, and R pixels corresponding to the R, G, and B filters in the basic arrangement pattern, respectively.
  • the color filter array includes a square array corresponding to 2 ⁇ 2 pixels made of a G filter, and the basic array pattern is point-symmetric with respect to the center of the basic array pattern.
  • the color filter array of the color image sensor of the sixth embodiment is characterized by the characteristics (1), (2), (3), (4), (5) of the color filter array of the color image sensor of the first embodiment. And it has the same characteristics as (6).
  • FIG. 11 is a diagram showing a seventh embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color imaging device of the seventh embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 8 ⁇ 8 pixels, and the basic array pattern is horizontal and vertical. Repeatedly arranged in the direction.
  • the basic array pattern of the color filter array shown in FIG. 11 has 16 pixels, 32 pixels, and R pixels corresponding to the R, G, and B filters in the basic array pattern, respectively. It has 16 pixels. That is, the ratio of the number of RGB pixels is 1: 2: 1, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the ratio of the R and B pixels of the other colors. It is larger than the ratio of the number of pixels.
  • the color filter array includes a square array corresponding to 2 ⁇ 2 pixels made of a G filter, and the basic array pattern is point-symmetric with respect to the center of the basic array pattern.
  • the color filter array of the color image sensor of the seventh embodiment has the characteristics (1), (2), (3), (4), (5) of the color filter array of the color image sensor of the first embodiment. And it has the same characteristics as (6).
  • the color filter array of the color image sensor of the first to seventh embodiments is a color filter array of the three primary colors of RGB, but the color filter array of the color image sensor of the eighth embodiment is In addition to the RGB filter, the color filter array is a color filter array of four color filters to which an emerald (E) E filter) is added.
  • E emerald
  • the color filter array of the color image sensor of the eighth embodiment includes a basic array pattern (pattern indicated by a thick frame) composed of a square array pattern corresponding to 8 ⁇ 8 pixels, as in the seventh embodiment.
  • the basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction.
  • the G filter is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, while the R filter, B filter, and E filter are arranged in the color filter array. It is arranged in each horizontal and vertical line.
  • the basic arrangement pattern of the color filter array shown in FIG. 12 has 16 pixel numbers of R, G, B, and E pixels corresponding to the R, G, B, and E filters in the basic arrangement pattern, respectively.
  • the color filter array includes a square array corresponding to 2 ⁇ 2 pixels made of a G filter, and the basic array pattern is point-symmetric with respect to the center of the basic array pattern.
  • the color filter array of the color image sensor of the eighth embodiment has the characteristics (1), (2), (3), (4), (5) of the color filter array of the color image sensor of the first embodiment. And it has the same characteristics as (6).
  • the color filter array of the color filters of the three primary colors of RGB and the color filter array of the four color filters of the three primary colors of RGB and another color have been described.
  • the type of filter is not limited to the above-described embodiment.
  • the present invention can also be applied to a color filter array of four color complementary color filters in which G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary colors RGB.
  • square basic array patterns corresponding to N ⁇ N (N: integer of 4 or more) pixels are repeatedly arranged in the horizontal direction and the vertical direction.
  • a rectangular basic array pattern corresponding to ⁇ M (N, M: integer of 4 or more, N ⁇ M) pixels may be repeatedly arranged in the horizontal direction and the vertical direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

　水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子である。このカラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する緑（Ｇ）に対応するＧフィルタとＧ以外の赤（Ｒ）、青（Ｂ）に対応するＲ，Ｂフィルタとが配列された所定の基本配列パターン（Ｐ）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返して配置され、Ｇフィルタは、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、Ｒ，Ｂフィルタは、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置される。また、Ｇフィルタに対応するＧ画素の画素数の比率は、Ｒ，Ｂフィルタに対応するＲ画素、Ｂ画素の各画素数の比率よりも大きくなっている。

Description

カラー撮像素子
　本発明はカラー撮像素子に係り、特に色モワレの発生の抑圧及び高解像度化が可能なカラー撮像素子に関する。
　単板カラー撮像素子の出力画像は、ＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ（偽色）の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
　単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
　図１３の（Ａ）に示すような白黒の縦縞模様（高周波画像）が、図１３の（Ｂ）に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図１３の（Ｃ）から（Ｅ）に示すようにＲは薄い平坦、Ｂは濃い平坦、Ｇは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、ＲＧＢ間に濃度差（レベル差）は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
　同様に、図１４の（Ａ）に示すような斜めの白黒の高周波画像が、図１４の（Ｂ）に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図１４の（Ｃ）から（Ｅ）に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となり、仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
　一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
　このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献１）。
　また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献２）。
　更に、ＲＧＢの３原色のカラー固体撮像素子において、Ｒ、Ｇ、Ｂを水平に配置した３画素のセットを垂直方向にジグザグにずらしながら配置することによって、ＲＧＢそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線（水平、垂直、斜めの直線）が全ての色を通過するようした色配列が提案されている（特許文献３）。
　更にまた、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素置きに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子が提案されている（特許文献４）。
特開２０００－３０８０８０号公報 特開２００５－１３６７６６号公報 特開平１１－２８５０１２号公報 特開平８－２３５４３号公報
　特許文献１に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段での同時化（補間）処理を行う際に、ランダムパターンごとに最適化する必要があり、同時化処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
　また、特許文献２に記載の画像センサは、Ｇ画素（輝度画素）が市松状に配置されているため、限界解像度領域(特に斜め方法)での画素再現精度が良くないという問題がある。
　特許文献３に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、ＲＧＢの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。尚、ベイヤー配列の場合、輝度信号を得るために最も寄与するＧの画素数の比率が、Ｒ、Ｂそれぞれの画素数の２倍になっている。
　一方、特許文献４に記載のカラー撮像素子は、Ｒ、Ｂそれぞれの画素数に対するＧの画素数の比率がベイヤー配列よりも高く、水平又は垂直方向にＧ画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
　本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。
　前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい。
　本発明の一の態様に係るカラー撮像素子によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができ、また、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。
　また、前記カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化（補間）処理を行う際に、繰り返しパターにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
　更に、前記第１のフィルタに対応する第１の色の画素数と前記第２のフィルタに対応する第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るために最も寄与する第１の色の画素数の比率を、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。
　本発明の他の態様に係るカラー撮像素子において、前記カラーフィルタ配列は、前記第１のフィルタが水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内で２画素以上連続する部分を含んでいる。
　これにより、最小画素間隔で、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向における輝度の変化の小さい方向（相関の高い方向）の判別ができる。
　本発明の更に他の態様に係るカラー撮像素子において、前記カラーフィルタ配列は、前記第１のフィルタからなる２×２画素に対応する正方配列を含んでいる。上記２×２画素の画素値を使用して、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちの相関の高い方向を判別することができる。
　本発明の更に他の態様に係るカラー撮像素子において、前記所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称であることが好ましい。これにより、後段に処理回路の回路規模を小さくすることが可能になる。
　本発明の更に他の態様に係るカラー撮像素子において、前記所定の基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上８以下の整数）画素に対応する正方配列パターンであることが好ましい。Ｎが４よりも小さい場合には、本発明に係るカラーフィルタ配列の条件を満足せず、Ｎが８を超える場合には、同時化等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。
　本発明の更に他の態様に係るカラー撮像素子において、前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであることが好ましい。
　上記のように所定の基本配列パターンは、Ｎ×Ｎ画素に対応する正方配列パターンであり、Ｎは４以上８以下の整数が好ましいが、Ｎは偶数の方が奇数よりも同時化処理時に有利であり、また、Ｎが４の場合は、前記基本配列パターン内に前記第１のフィルタが水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内で２画素以上連続する部分を含まないため、輝度の変化の小さい方向の判別に不利であり、Ｎが８の場合には、Ｎが６の場合に比べて信号処理が煩雑になる。したがって、前記基本配列パターンとしては、Ｎが６、即ち、６×６画素に対応する正方配列パターンが最も好ましい。
　本発明の更に他の態様に係るカラー撮像素子において、前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されていることが好ましい。前記３×３画素群の４隅に前記第１のフィルタが配置されているため、該３×３画素群が水平方向及び垂直方向に繰り返し配置されると、前記カラーフィルタ配列は、前記第１のフィルタからなる２×２画素に対応する正方配列を含むようになり、この２×２画素の画素値を使用して、水平、垂直、及び斜め（ＮＥ，ＮＷ）方向のうちの相関の高い方向を判別することができるとともに、前記第１のフィルタがカラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるようになる。
　本発明の更に他の態様に係るカラー撮像素子において、前記第２のフィルタは、前記カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるようにしてもよい。これにより、斜め方向の色再現性をより向上させることができる。
　本発明の更に他の態様に係るカラー撮像素子において、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色であることを特徴としている。
　本発明の更に他の態様に係るカラー撮像素子において、前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されていることが好ましい。
　この基本配列パターンは、２×２画素に対応する正方配列のＧフィルタを含み、また、基本配列パターンの中心に対して点対称となる最小サイズの基本配列パターンである。更に、上記構成のカラーフィルタ配列によれば、前記第１の配列又は第２の配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値は、４方向の相関方向の判別に使用することができる。
　本発明によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置するとともに、前記第１のフィルタに対応する第１の色の画素数の比率を、前記第１の色以外の２色以上の第２のフィルタに対応する第２の色の画素数の比率よりも大きくするようにしたため、高周波領域での同時化処理の再現精度を向上させ、かつエリアシングを抑制することができる。
　また、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタを、前記基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。
　更に、本発明に係るカラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化（補間）処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
図１は本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図であり； 図２は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり； 図３は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図であり； 図４は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するために使用した図であり； 図５はカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図であり； 図６は本発明に係る単板式のカラー撮像素子の第２の実施形態を示す図であり； 図７は本発明に係る単板式のカラー撮像素子の第３の実施形態を示す図であり； 図８は本発明に係る単板式のカラー撮像素子の第４の実施形態を示す図であり； 図９は本発明に係る単板式のカラー撮像素子の第５の実施形態を示す図であり； 図１０は本発明に係る単板式のカラー撮像素子の第６の実施形態を示す図であり； 図１１は本発明に係る単板式のカラー撮像素子の第７の実施形態を示す図であり； 図１２は本発明に係る単板式のカラー撮像素子の第８の実施形態を示す図であり； 図１３は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図であり； 図１４は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［カラー撮像素子の第１の実施形態］
　図１は本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　このカラー撮像素子は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子からなる複数の画素（図示せず）と、各画素の受光面上に配置された、図１に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのいずれかが配置される。
　尚、カラー撮像素子は、ＣＣＤ(Charge Coupled Device)カラー撮像素子に限らず、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
　＜カラーフィルタ配列の特徴＞
　第１の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。
　〔特徴(1)〕
　図１に示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
　また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理された縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
　〔特徴(2)〕
　図１に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
　輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
　〔特徴(3)〕
　図１に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
　〔特徴(4)〕
　図１に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。
　Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　図２は、図１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図２に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、Ａ配列とＢ配列の４隅のＧフィルタは、図３に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。
　これは、輝度系画素であるＧフィルタが、Ａ配列またはＢ配列における３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタが形成されるためである。尚、このような配列とすることで、前述の特徴(1),(2),(3),後述の特徴(5)が満たされる。
　〔特徴(5)〕
　図１に示すカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。
　図４に示すように、Ｇフィルタからなる２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
　即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。
　また、図３に示すように３×３画素のＡ配列又はＢ配列の画素を同時化処理の対象画素とし、Ａ配列又はＢ配列を中心に５×５画素（モザイク画像の局所領域）を抽出した場合、前記５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値を使用することにより、４方向の相関方向の判別を最小画素間隔のＧ画素の情報を使用して精度よく行うことができる。
　〔特徴(6)〕
　図１に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図２に示したように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
　図５に示すように太枠で示した基本配列パターンＰにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第２のラインのカラーフィルタ配列は、ＲＧＲＢＧＢであり、第４及び第６のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第５のラインのカラーフィルタ配列は、ＢＧＢＲＧＲとなっている。
　いま、図５において、基本配列パターンＰを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＰ’、それぞれ２画素ずつシフトした基本配列パターンをＰ”とすると、これらの基本配列パターンＰ’、Ｐ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
　即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図５に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第１の実施形態では、基本配列パターンが点対称になっている基本配列パターンＰを、便宜上、基本配列パターンという。
　尚、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
　［カラー撮像素子の第２の実施形態］
　図６は本発明に係る単板式のカラー撮像素子の第２の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　第２の実施形態のカラー撮像素子のカラーフィルタ配列は、４×４画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
　一方、このカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいないが、水平方向に隣接するＧフィルタを有し、また、斜め方向（右上斜め、左上斜め）に隣接するＧフィルタを有する。
　垂直方向には、Ｒフィルタ又はＢフィルタを挟んでＧフィルタが存在するため、これらのＧフィルタに対応するＧ画素の画素値を垂直方向の相関を判断する場合に使用することができる。
　また、図６に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ４画素、８画素、４画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　上記のように第２の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)及び(6)と同じ特徴を有している。
　［カラー撮像素子の第３の実施形態］
　図７は本発明に係る単板式のカラー撮像素子の第３の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　第３の実施形態のカラー撮像素子のカラーフィルタ配列は、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、図７に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ７画素、１１画素、７画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、７：１１：７になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　尚、基本配列パターンは、点対称になっておらず、また、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいない。
　この第３の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
　［カラー撮像素子の第４の実施形態］
　図８は本発明に係る単板式のカラー撮像素子の第４の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　第４の実施形態のカラー撮像素子のカラーフィルタ配列は、第３の実施形態と同様に、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、図８に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ６画素、１３画素、６画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、６：１３：６になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　また、このカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいないが、Ｇフィルタが互いに隣接する４画素のかたまりがあり、これらの４画素の画素値から水平方向、垂直方向、及び斜め方向の相関を、最小画素間隔で判断することができる。尚、基本配列パターンは、点対称になっていない。
　この第４の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)及び(5)と同じ特徴を有している。
　［カラー撮像素子の第５の実施形態］
　図９は本発明に係る単板式のカラー撮像素子の第５の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　第５の実施形態のカラー撮像素子のカラーフィルタ配列は、第３の実施形態と同様に、５×５画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、同様にＲフィルタ、Ｂフィルタも、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
　即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂフィルタの全てが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されており、これにより、斜め方向の色再現性をより向上させることができる点で、第１の実施形態のカラー撮像素子のカラーフィルタ配列にない特徴を有している。
　また、図９に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、９画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、８：９：８になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　一方、このカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでおらず、また、基本配列パターンは、点対称になっていない。
　この第５の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
　［カラー撮像素子の第６の実施形態］
　図１０は本発明に係る単板式のカラー撮像素子の第６の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　第６の実施形態のカラー撮像素子のカラーフィルタ配列は、７×７画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、図１０に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ１２画素、２５画素、１２画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１２：２５：１２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　また、このカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含み、更に基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
　この第６の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴を有している。
　［カラー撮像素子の第７の実施形態］
　図１１は本発明に係る単板式のカラー撮像素子の第７の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　第７の実施形態のカラー撮像素子のカラーフィルタ配列は、８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、第１の実施形態と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、図１１に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ１６画素、３２画素、１６画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　また、このカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含み、更に基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
　この基本配列パターンを４×４画素に４分割した場合、対角の４×４画像の配列は同じになり、水平方向又は垂直方向に隣接する４×４画素の配列は、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
　この第７の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴を有している。
　［カラー撮像素子の第８の実施形態］
　図１２は本発明に係る単板式のカラー撮像素子の第８の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
　上記第１から第７の実施形態のカラー撮像素子のカラーフィルタ配列は、いずれもＲＧＢの３原色のカラーフィルタのカラーフィルタ配列であるが、第８の実施形態のカラー撮像素子のカラーフィルタ配列は、ＲＧＢフィルタの他に、エメラルド（Ｅ）のＥフィルタ）を加えた４色のカラーフィルタのカラーフィルタ配列である点で相違する。
　第８の実施形態のカラー撮像素子のカラーフィルタ配列は、第７の実施形態と同様に８×８画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。
　このカラーフィルタ配列は、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、一方、Ｒフィルタ、Ｂフィルタ、Ｅフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
　また、図１２に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂ、Ｅフィルタに対応するＲ画素、Ｇ画素、Ｂ画素、Ｅ画素の画素数が、それぞれ１６画素、２４画素、１６画素、８画素になっている。即ち、ＲＧＢＥ画素の各画素数の比率は、２：３：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素、Ｅ画素の画素数の比率よりも大きくなっている。
　また、このカラーフィルタ配列は、Ｇフィルタからなる２×２画素に対応する正方配列を含み、更に基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。
　この第８の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、(5)及び(6)と同じ特徴を有している。
　［その他］
　上記実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列、及びＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、上述の実施形態に限定されない。
　また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも適用できる。
　更に、本実施形態のカラー撮像素子のカラーフィルタ配列は、Ｎ×Ｎ（Ｎ：４以上の整数）画素に対応する正方の基本配列パターンが水平方向及び垂直方向に繰り返し配置されているが、Ｎ×Ｍ（Ｎ、Ｍ：４以上の整数で、Ｎ≠Ｍ）画素に対応する矩形の基本配列パターンが水平方向及び垂直方向に繰り返し配置されて構成されるものでもよい。
　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

Claims (10)

  1. 　水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子であって、
    　前記カラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    　前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置され、
    　前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    　前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいカラー撮像素子。
  2. 　前記カラーフィルタ配列は、前記第１のフィルタが水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内で２画素以上連続する部分を含む請求項１に記載のカラー撮像素子。
  3. 　前記カラーフィルタ配列は、前記第１のフィルタからなる２×２画素に対応する正方配列を含む請求項１に記載のカラー撮像素子。
  4. 　前記所定の基本配列パターン内のカラーフィルタ配列は、該基本配列パターンの中心に対して点対称である請求項１から３のいずれか１項に記載のカラー撮像素子。
  5. 　前記所定の基本配列パターンは、Ｎ×Ｎ（Ｎ：４以上８以下の整数）画素に対応する正方配列パターンである請求項１から４のいずれか１項に記載のカラー撮像素子。
  6. 　前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンである請求項５に記載のカラー撮像素子。
  7. 　前記カラーフィルタ配列は、前記第１のフィルタが３×３画素群において中心と４隅に配置され、該３×３画素群が水平方向及び垂直方向に繰り返し配置されている請求項１から６のいずれか１項に記載のカラー撮像素子。
  8. 　前記第２のフィルタは、前記カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置される請求項１から７のいずれか１項に記載のカラー撮像素子。
  9. 　前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色である請求項１から８のいずれか１項に記載のカラー撮像素子。
  10. 　前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    　前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項９に記載のカラー撮像素子。
PCT/JP2011/067418 2011-02-21 2011-07-29 カラー撮像素子 WO2012114558A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
RU2013138724/07A RU2548566C1 (ru) 2011-02-21 2011-07-29 Элемент формирования цветного изображения
EP11859479.5A EP2680589B1 (en) 2011-02-21 2011-07-29 Color imaging device
JP2012524425A JP5054856B1 (ja) 2011-02-21 2011-07-29 カラー撮像素子
BR112012026632A BR112012026632A2 (pt) 2011-02-21 2011-07-29 elemento de criação de imagem colorida
CN201180022503.3A CN102884796B (zh) 2011-02-21 2011-07-29 彩色成像元件
US13/560,403 US8456553B2 (en) 2011-02-21 2012-07-27 Color imaging element
US13/887,024 US9431444B2 (en) 2011-02-21 2013-05-03 Single-plate color imaging element including color filters arranged on pixels

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-034627 2011-02-21
JP2011034627 2011-02-21
JP2011162415 2011-07-25
JP2011-162415 2011-07-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/560,403 Continuation US8456553B2 (en) 2011-02-21 2012-07-27 Color imaging element

Publications (1)

Publication Number Publication Date
WO2012114558A1 true WO2012114558A1 (ja) 2012-08-30

Family

ID=46720364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/067418 WO2012114558A1 (ja) 2011-02-21 2011-07-29 カラー撮像素子

Country Status (7)

Country Link
US (2) US8456553B2 (ja)
EP (1) EP2680589B1 (ja)
JP (2) JP5054856B1 (ja)
CN (1) CN102884796B (ja)
BR (1) BR112012026632A2 (ja)
RU (1) RU2548566C1 (ja)
WO (1) WO2012114558A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100095A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2014203844A1 (ja) * 2013-06-17 2014-12-24 コニカミノルタ株式会社 画像入力装置
JP6345851B1 (ja) * 2017-07-26 2018-06-20 株式会社ナックイメージテクノロジー 高速度ビデオカメラ用カラー固体撮像素子

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2548566C1 (ru) * 2011-02-21 2015-04-20 Фуджифилм Корпорэйшн Элемент формирования цветного изображения
EP2683167B1 (en) 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device
RU2548567C1 (ru) 2011-03-09 2015-04-20 Фуджифилм Корпорэйшн Элемент формирования цветных изображений
JP5378627B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
JP5539584B2 (ja) * 2011-03-24 2014-07-02 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
WO2013001869A1 (ja) * 2011-06-30 2013-01-03 富士フイルム株式会社 撮像装置及び撮像プログラム
EP2800377A4 (en) * 2011-12-28 2015-07-15 Fujifilm Corp IMAGING DEVICE
JP5702892B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5927068B2 (ja) 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子
CN104412580B (zh) * 2012-07-06 2016-04-06 富士胶片株式会社 彩色摄像元件以及摄像装置
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
DE112013003464B4 (de) 2012-07-06 2016-05-19 Fujifilm Corporation Farbbildgebungselement und Bildgebungsvorrichtung
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US8830395B2 (en) * 2012-12-19 2014-09-09 Marvell World Trade Ltd. Systems and methods for adaptive scaling of digital images
EP2887655A1 (fr) * 2013-12-20 2015-06-24 Swiss Timing Ltd. Filtre couleur adaptatif pour capteur numérique
CN112738497A (zh) * 2021-03-30 2021-04-30 北京芯海视界三维科技有限公司 传感设备、图像传感器和人机交互系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2000308080A (ja) 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2005136766A (ja) 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2007306490A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp 二次元カラー固体撮像素子
WO2009151903A2 (en) * 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59195864A (ja) * 1983-04-20 1984-11-07 Sanyo Electric Co Ltd カラ−撮像装置
JPS60263592A (ja) * 1984-06-11 1985-12-27 Toshiba Corp 固体撮像装置
JP2739586B2 (ja) * 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
EP0522143A1 (en) * 1991-01-25 1993-01-13 Eastman Kodak Company A solid state color image sensor using a field-staggered color filter pattern
JP3268891B2 (ja) 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP3935548B2 (ja) 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
JPH10341447A (ja) * 1997-04-11 1998-12-22 Fuji Photo Film Co Ltd 画像信号処理装置
JP2002525722A (ja) 1998-09-15 2002-08-13 フェーズ・ワン・アクティーゼルスカブ 画像処理方法とシステム
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US7123299B1 (en) * 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
EP1148735A1 (en) * 2000-04-20 2001-10-24 Koninklijke Philips Electronics N.V. Camera with color filter
JP3972816B2 (ja) 2000-09-07 2007-09-05 株式会社ニコン 画像処理装置および表色系変換方法
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
EP1395063A4 (en) 2001-05-15 2008-06-04 Matsushita Electric Ind Co Ltd FIGURE APPARATUS AND SIGNAL PROCESSING METHOD THEREFOR
US7027091B1 (en) * 2001-09-17 2006-04-11 Pixim, Inc. Detection of color filter array alignment in image sensors
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
EP1650979A1 (en) * 2004-10-21 2006-04-26 STMicroelectronics S.r.l. Method and system for demosaicing artifact removal
JP4253634B2 (ja) 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
JP4840740B2 (ja) 2004-12-01 2011-12-21 株式会社メガチップス 画素補間方法および画像判定方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US7755682B2 (en) * 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
US7701496B2 (en) * 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP4946581B2 (ja) 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
US20090027527A1 (en) * 2007-07-23 2009-01-29 Visera Technologies Company Limited Color filter arrays and image sensors using the same
US7825965B2 (en) 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
RU2383967C2 (ru) * 2008-04-10 2010-03-10 Общество с ограниченной ответственностью ООО "Юник Ай Сиз" Фотоприемная матрица цветного изображения
US8164042B2 (en) * 2008-11-06 2012-04-24 Visera Technologies Company Limited Color filter arrays and image sensors using the same
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5574615B2 (ja) 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5120441B2 (ja) * 2009-11-26 2013-01-16 株式会社ニコン 画像処理装置
RU2548566C1 (ru) * 2011-02-21 2015-04-20 Фуджифилм Корпорэйшн Элемент формирования цветного изображения
EP2683167B1 (en) 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device
CN103828354B (zh) * 2011-09-26 2016-01-06 富士胶片株式会社 彩色摄像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2000308080A (ja) 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2005136766A (ja) 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2007306490A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp 二次元カラー固体撮像素子
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成
WO2009151903A2 (en) * 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2680589A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100095A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5624227B2 (ja) * 2011-12-27 2014-11-12 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2014203844A1 (ja) * 2013-06-17 2014-12-24 コニカミノルタ株式会社 画像入力装置
JP6345851B1 (ja) * 2017-07-26 2018-06-20 株式会社ナックイメージテクノロジー 高速度ビデオカメラ用カラー固体撮像素子

Also Published As

Publication number Publication date
US9431444B2 (en) 2016-08-30
RU2013138724A (ru) 2015-03-27
EP2680589A1 (en) 2014-01-01
US20130240715A1 (en) 2013-09-19
CN102884796B (zh) 2014-07-09
EP2680589B1 (en) 2015-11-25
US20120293694A1 (en) 2012-11-22
JPWO2012114558A1 (ja) 2014-07-07
CN102884796A (zh) 2013-01-16
RU2548566C1 (ru) 2015-04-20
EP2680589A4 (en) 2014-09-03
JP5872406B2 (ja) 2016-03-01
US8456553B2 (en) 2013-06-04
BR112012026632A2 (pt) 2016-07-12
JP2013048408A (ja) 2013-03-07
JP5054856B1 (ja) 2012-10-24

Similar Documents

Publication Publication Date Title
JP5872406B2 (ja) カラー撮像素子
JP5095040B1 (ja) カラー撮像素子
JP5345258B2 (ja) カラー撮像素子
JP2013048409A (ja) カラー撮像装置
JP5621054B2 (ja) カラー撮像素子
US8743246B2 (en) Color imaging device
US8982253B2 (en) Color imaging element
WO2014007279A1 (ja) カラー撮像素子および撮像装置
WO2014006929A1 (ja) カラー撮像素子および撮像装置
US8711257B2 (en) Color imaging device

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180022503.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012524425

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 8812/CHENP/2012

Country of ref document: IN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859479

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012026632

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 2011859479

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2013138724

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112012026632

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121017