WO2013100037A1 - カラー撮像素子 - Google Patents

カラー撮像素子 Download PDF

Info

Publication number
WO2013100037A1
WO2013100037A1 PCT/JP2012/083842 JP2012083842W WO2013100037A1 WO 2013100037 A1 WO2013100037 A1 WO 2013100037A1 JP 2012083842 W JP2012083842 W JP 2012083842W WO 2013100037 A1 WO2013100037 A1 WO 2013100037A1
Authority
WO
WIPO (PCT)
Prior art keywords
array
color
filter
pixels
sub
Prior art date
Application number
PCT/JP2012/083842
Other languages
English (en)
French (fr)
Inventor
田中 誠二
智行 河合
林 健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP12862750.2A priority Critical patent/EP2800383A4/en
Priority to CN201280065005.1A priority patent/CN104025578B/zh
Publication of WO2013100037A1 publication Critical patent/WO2013100037A1/ja
Priority to US14/314,424 priority patent/US20140307135A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to a color image sensor, and more particularly to a color image sensor capable of reducing the occurrence of color moire and increasing the resolution.
  • a single color filter is provided on each pixel, so each pixel has only single color information.
  • the output image of the single-plate color imaging device is a RAW image (mosaic image)
  • a multi-channel image is obtained by a process of interpolating the missing color pixels from the surrounding pixels (a demosaicing process).
  • the problem in this case is the reproduction characteristics of the high-frequency image signal, and the color image sensor is more susceptible to aliasing than the black and white image sensor. It is an important issue to widen the reproduction band and to improve the resolution while suppressing the occurrence of).
  • the demosaicing process is a process for calculating all color information for each pixel from a mosaic image corresponding to the color filter array of a single-plate color image sensor, and is also called a synchronization process. For example, in the case of an image sensor made up of three color filters of RGB, this is a process of calculating color information for all RGB for each pixel from a mosaic image made of RGB.
  • the primary color Bayer array which is the color filter color array most widely used in single-plate color image sensors, arranges green (G) pixels in a checkered pattern and red (R) and blue (B) in a line-sequential manner. Therefore, there is a problem in the reproduction accuracy when the high frequency signal is generated in the oblique direction and the R and B signals in the horizontal and vertical directions.
  • an optical low-pass filter made of a birefringent material such as crystal is disposed in front of the color image pickup device, and this is avoided by optically dropping high frequencies.
  • coloring due to folding of the high-frequency signal can be reduced, but there is a problem that the resolution is lowered due to its adverse effect.
  • the color filter array of the color image sensor is configured such that an arbitrary pixel of interest satisfies an arrangement restriction condition in which any of the three colors including the color of the pixel of interest and the four sides of the pixel of interest are adjacent.
  • Patent Document 1 A color imaging device having a random color arrangement has been proposed (Patent Document 1).
  • Patent Document 2 an image sensor having a color filter array alternately arranged at the second predetermined period in the other diagonal direction has been proposed (Patent Document 2).
  • R and B of the three primary colors of RGB are arranged every three pixels in the horizontal and vertical directions, and G is arranged between these R and B (patent). Reference 4).
  • JP 2000-308080 A JP 2005-136766 A Japanese Patent Laid-Open No. 11-285012 JP-A-8-23543
  • the color image sensor described in Patent Document 1 has a problem that since the filter arrangement is random, it is necessary to optimize each random pattern when performing the demosaicing process in the subsequent stage, and the demosaicing process becomes complicated. is there. In addition, the random arrangement is effective for low-frequency color moire, but is not effective for false colors in the high-frequency part.
  • the image sensor described in Patent Document 2 has a problem that the pixel reproduction accuracy in the limit resolution region (particularly in the oblique direction) is not good because the G pixels (luminance pixels) are arranged in a checkered pattern.
  • the color solid-state imaging device described in Patent Document 3 has an advantage that the occurrence of false colors can be suppressed because filters of all colors exist on an arbitrary straight line, but the ratio of the number of RGB pixels is equal. There is a problem that the high frequency reproducibility is lower than that of the Bayer array. In the case of the Bayer array, the ratio of the number of G pixels that contributes most to obtain the luminance signal is twice the number of R and B pixels.
  • the ratio of the number of G pixels to the number of R and B pixels is higher than that of the Bayer array, but there are lines of only G pixels in the horizontal or vertical direction. It is not effective against false colors in the high-frequency part in the horizontal or vertical direction.
  • the present invention has been made in view of such circumstances, and can suppress the generation of false colors and increase the resolution, and can simplify the subsequent processing as compared with the conventional random arrangement.
  • An object is to provide an imaging device.
  • the invention according to one aspect of the present invention is a single plate type in which a color filter is provided on a plurality of pixels including photoelectric conversion elements arranged in a horizontal direction and a vertical direction.
  • the color imaging device includes a sub-array in which the color filters are arranged in an array pattern corresponding to N ⁇ N (N is an even number) pixels, and the sub-arrays are arranged in the horizontal and vertical directions.
  • Sub-array groups arranged in any one direction are repeatedly arranged in other directions in the horizontal and vertical directions, and sub-array groups adjacent to each other in the other direction are M pixels in one direction (M is less than N).
  • the color filters are arranged so as to be shifted by an interval, and the color filter includes a first filter corresponding to one or more first colors, and a second filter having two or more colors whose contribution ratio for obtaining a luminance signal is lower than that of the first color.
  • the number corresponding to the color of And the ratio of the number of pixels of the first color corresponding to the first filter is larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter, Are arranged along at least diagonal lines of the sub-array, and the second filter corresponding to each color of the second color is repeatedly arranged in the horizontal direction and the vertical direction in the color filter array.
  • the first filter is set to a value that is arranged in one or more filter lines in the horizontal, vertical, diagonal upper right, and diagonal lower right directions of the color filter array.
  • the sub-array group in which the sub-arrays are arranged in any one of the horizontal direction and the vertical direction is repeatedly arranged in the other direction in the horizontal direction and the vertical direction.
  • a first filter having a high contribution ratio for obtaining a luminance signal is arranged at least on the diagonal line of the array, and the first filter is a filter in the horizontal, vertical, diagonally upper right and diagonally lower right directions of the color filter array. Since the sub-array groups adjacent to each other are arranged so as to be arranged one or more in the line, the reproduction accuracy of the demosaicing process in the high frequency region can be improved.
  • the color filter array can be processed according to the repeated pattern when performing the demosaicing process in the subsequent stage. Compared with the random arrangement, the subsequent processing can be simplified.
  • one second filter corresponding to each of the second or more second colors other than the first color is included in each horizontal and vertical filter line of the color filter array in the basic array pattern. Since they are arranged as described above, the generation of color moire (false color) can be suppressed and high resolution can be achieved.
  • the ratio between the number of pixels of the first color corresponding to the first filter and the number of pixels of each of the second or more colors corresponding to the second filter is made different, in particular, to obtain a luminance signal. Since the ratio of the number of pixels of the first color having a high contribution ratio is larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter, aliasing can be suppressed. High frequency reproducibility is also good.
  • the basic array pattern is configured by an array pattern corresponding to 2N ⁇ 2N pixels, for example, when the color image sensor is a CMOS (Complementary Metal Oxide Semiconductor) image sensor, an even number (for example, four pixels) is used.
  • One amplifier circuit can be shared.
  • the basic array pattern includes one or more sub arrays respectively included in the sub array groups adjacent to each other.
  • the process can be performed according to the repetitive pattern, and the subsequent process can be simplified as compared with the conventional random arrangement.
  • N is an even number equal to or greater than 4, and the first filter is disposed along at least two diagonal lines of the sub-array. As a result, at least one first filter is disposed in each filter line in the horizontal and vertical directions of the color filter array.
  • At least one second filter of each color of the second color is disposed in each horizontal and vertical filter line of the color filter array in the sub array. It is preferable. Accordingly, at least one second filter corresponding to two or more second colors in the basic array pattern is arranged in each horizontal and vertical filter line of the color filter array.
  • the color filter array includes a square array corresponding to 2 ⁇ 2 pixels configured by the first filter.
  • the color filter array includes a square array corresponding to 2 ⁇ 2 pixels configured by the first filter.
  • the first filter is disposed along one diagonal line of the sub-array. Accordingly, one or more first filters are arranged in each horizontal and vertical filter line of the color filter array.
  • the sub-array groups arranged evenly in the other direction are divided by M pixel intervals in the same direction with respect to the sub-array groups arranged odd in the other direction. It is preferable that they are arranged so as to be shifted from each other. Accordingly, one or more first filters are arranged in each filter line in the horizontal, vertical, diagonal upper right and diagonal lower right directions of the color filter array.
  • N is preferably 10 or less. This is because when N exceeds 10 (N> 10), signal processing such as demosaicing becomes complicated, but no special effect can be obtained by increasing the size of the basic array pattern.
  • the first color is green (G) and the second color is red (R) and blue (B).
  • G green
  • R red
  • B blue
  • an imaging apparatus including the above-described color imaging element is also included in the present invention.
  • the first filter corresponding to the first color having a high contribution ratio for obtaining the luminance signal is included in each filter line in the horizontal, vertical, diagonal upper right and diagonal lower right directions of the color filter array.
  • the ratio of the number of pixels of the first color corresponding to the first filter of the second filter corresponding to each of the second colors of two or more colors other than the first color Since the ratio is larger than the ratio of the number of pixels, the reproduction accuracy of the demosaicing process in the high frequency region can be improved and the aliasing can be suppressed.
  • one second filter corresponding to each of two or more second colors other than the first color is included in each horizontal and vertical filter line of the color filter array in the basic array pattern. Since they are arranged as described above, the generation of color moire (false color) can be suppressed and high resolution can be achieved.
  • the color filter arrangement according to the present invention is such that a specific basic arrangement pattern is repeated in the horizontal direction and the vertical direction, so that when performing demosaicing processing in the subsequent stage, processing can be performed according to the repetition pattern.
  • the subsequent processing can be simplified as compared with the conventional random arrangement.
  • FIG. 1 is a diagram showing a first embodiment of a single-plate color image sensor according to the present invention.
  • FIG. It is a figure which shows the basic array pattern contained in the color filter array of the color image pick-up element of 1st Embodiment. It is a figure which shows a mode that the basic array pattern of 6x6 pixels contained in the color filter array of the color image sensor of 1st Embodiment was divided
  • FIG. 9 is repeatedly arranged in the horizontal and vertical directions. It is a figure which shows the color filter arrangement
  • FIG. 10 is a diagram used to explain that diagonal upper right (NE) and diagonal lower right (NW) lines in which no G filter is arranged do not occur in the color filter array of the color imaging element of the second embodiment. . It is a figure which shows 3rd Embodiment of the single-plate type color image pick-up element based on this invention. It is a figure which shows 4th Embodiment of the single-plate type color image pick-up element based on this invention.
  • FIG. 1 is a block diagram of a digital camera 9 having a color image sensor according to the present invention.
  • the digital camera 9 broadly includes a photographing optical system 10, a color imaging device 12, a photographing processing unit 14, an image processing unit 16, a driving unit 18, a control unit 20, and the like.
  • the subject is imaged by the photographing optical system 10, and a light image indicating the subject image is formed on the light receiving surface of the color image sensor 12 (the color image sensor of the first embodiment).
  • the color image sensor 12 is disposed above the light receiving surface of a plurality of pixels composed of photoelectric conversion elements arranged in a horizontal direction and a vertical direction (two-dimensional array) in FIG. This is a so-called single-plate color image pickup device including a color filter having a specific color filter array.
  • “upward” refers to the direction in which the subject light is incident on the imaging surface of the color imaging element 12.
  • the subject image formed on the color image sensor 12 is converted into a signal charge corresponding to the amount of incident light by the photoelectric conversion element of each pixel.
  • the signal charge accumulated in each photoelectric conversion element is sequentially read out from the color imaging element 12 as a voltage signal (image signal) corresponding to the signal charge based on a drive pulse given from the drive unit 18 according to a command from the control unit 20.
  • the image signals read from the color image sensor 12 are R, G, and B signals that indicate red (R), green (G), and blue (B) mosaic images corresponding to the color filter array of the color image sensor 12.
  • the image signal read from the color image sensor 12 is input to the imaging processing unit 14.
  • the imaging processing unit 14 is a correlated double sampling circuit (CDS) for removing reset noise included in the image signal, an AGC circuit for amplifying the image signal and controlling it to a certain level, and an A / D. It has a converter.
  • the imaging processing unit 14 performs correlated double sampling processing on the input image signal and amplifies it, and then outputs RAW data converted to a digital image signal to the image processing unit 16.
  • the image processing unit 16 calculates a white balance correction circuit, a gamma correction circuit, and a demosaicing processing circuit (calculates all RGB color information for each pixel from an RGB mosaic image associated with the color filter array of the single-plate color image sensor 12 ( A processing circuit that converts them simultaneously), a luminance / color difference signal generation circuit, a contour correction circuit, a color correction circuit, and the like.
  • the image processing unit 16 performs necessary signal processing on the RAW data of the mosaic image input from the imaging processing unit 14 in accordance with a command from the control unit 20 to obtain luminance data (Y data) and color difference data (Cr, Cb data).
  • Image data (YUV data) consisting of:
  • the image data generated by the image processing unit 16 is subjected to compression processing conforming to the JPEG standard for still images by a compression / decompression processing circuit, and compression processing conforming to the MPEG2 standard for moving images. After that, it is recorded on a recording medium (not shown) such as a memory card, and is output and displayed on a display means (not shown) such as a liquid crystal monitor.
  • a recording medium such as a memory card
  • a display means such as a liquid crystal monitor.
  • FIG. 2 shows a pixel arrangement of pixels provided in the color image sensor 12, and FIG. The color filter arrangement of the color filter is shown.
  • the color imaging device 12 is a diagram in which a plurality of pixels including photoelectric conversion elements 22 arranged in a horizontal direction and a vertical direction (two-dimensional arrangement) and a light receiving surface of each pixel are arranged. 3 of the color filter array shown in FIG.
  • R filter, G filter, and B filter one of RGB primary color filters (hereinafter referred to as R filter, G filter, and B filter) 23R, 23G, and 23B is disposed.
  • R filter, G filter, and B filter RGB primary color filters
  • the color image sensor 12 is not limited to a CCD (Charge Coupled Device) color image sensor, but may be another type of image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the color filter array of the color image sensor 12 of the first embodiment has the following features (1), (2), (3), (4), (5), and (6).
  • the color filter array shown in FIG. 3 includes a basic array pattern P (pattern indicated by a thick frame in the figure) composed of a square array pattern corresponding to 6 ⁇ 6 pixels, and the basic array pattern P is in the horizontal and vertical directions. It is arranged repeatedly. That is, in this color filter array, R filters 23R, G filters 23G, and B filters 23B of R, G, and B colors are arrayed with periodicity.
  • the R filter 23R, the G filter 23G, and the B filter 23B are arranged with periodicity in this way, when performing a demosaicing process or the like of the R, G, and B signals read from the color image sensor 12, a repetitive pattern is formed. Accordingly, processing can be performed.
  • the color filter array after the thinning process can be the same as the color filter array before the thinning process, and a common processing circuit is used. be able to.
  • the G filter 23G corresponding to the color that contributes most to obtain the luminance signal has horizontal, vertical, and diagonal (NE, NE, One or more filter lines are arranged in each filter line in the (NW) direction.
  • NE means a diagonal upper right direction
  • NW means a diagonal lower right direction.
  • the diagonally upper right and diagonally lower right directions are directions of 45 ° with respect to the horizontal direction, but in the case of an array of rectangular pixels, the diagonal diagonal direction is long. The angle can vary depending on the length of the side or short side.
  • the high frequency region is used regardless of the direction of high frequency. It is possible to improve the reproduction accuracy of the demosaicing process.
  • the basic array pattern P of the color filter array shown in FIG. 3 has 8 pixels, 20 pixels, and R pixels corresponding to the RGB filters 23R, 23G, and 23B in the basic array pattern, respectively. There are 8 pixels. That is, the ratio of the number of pixels of RGB pixels is 2: 5: 2, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the ratio of R pixels and B pixels of other colors. It is larger than the ratio of the number of pixels.
  • the ratio between the number of G pixels and the number of R and B pixels is different, and in particular, the ratio of the number of G pixels that contributes most to obtain a luminance signal is equal to the number of R and B pixels. Since the ratio is larger than the ratio, aliasing during the demosaicing process can be suppressed and high frequency reproducibility can be improved.
  • the color filter array shown in FIG. 3 includes an R filter 23R and a B filter 23B corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color.
  • R and B colors in this embodiment, R and B colors
  • P one or more are arranged in each filter line in the horizontal and vertical directions of the color filter array.
  • the R filter 23R and the B filter 23B are respectively disposed in the horizontal and vertical filter lines of the color filter array, it is possible to suppress the occurrence of color moire (false color).
  • an optical low-pass filter for suppressing the generation of false color can be prevented from being arranged in the optical path from the incident surface of the optical system to the imaging surface, or the occurrence of false color can be prevented even when the optical low-pass filter is applied. Therefore, it is possible to apply a low-frequency component for cutting high-frequency components, and not to impair the resolution.
  • FIG. 4 shows a state where the basic array pattern P shown in FIG. 3 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array 24a surrounded by a solid line frame in the figure and a 3 ⁇ 3 pixel B array 24b surrounded by a broken line frame in the figure. It can also be understood that the arrangement is alternately arranged in the horizontal and vertical directions.
  • G filters 23G which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter 23R is arranged in the horizontal direction and the B filter 23B is arranged in the vertical direction with the central G filter 23G interposed therebetween.
  • the B filter 23B is arranged in the horizontal direction and the R filter 23R is arranged in the vertical direction across the central G filter 23G. That is, in the A array 24a and the B array 24b, the positional relationship between the R filter 23R and the B filter 23B is reversed, but the other arrangements are the same.
  • the G filter 23G at the four corners of the A array 24a and the B array 24b corresponds to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions as shown in FIG.
  • the G filter 23G has a square arrangement.
  • the G filter 23G which is a luminance system pixel, is arranged at the four corners and the center in 3 ⁇ 3 pixels in the A array 24a or B array 24b, and these 3 ⁇ 3 pixels are alternately arranged in the horizontal direction and the vertical direction. This is because a square array G filter 23G corresponding to 2 ⁇ 2 pixels is formed.
  • sequence by setting it as such an arrangement
  • the color filter array shown in FIG. 3 includes a square array 25 (hereinafter simply referred to as the G square array 25, see FIG. 6) corresponding to 2 ⁇ 2 pixels provided with the G filter 23G.
  • 2 ⁇ 2 pixels provided with the G filter 23G are taken out, and the absolute difference between the pixel values of the G pixels in the horizontal direction, the absolute difference between the pixel values of the G pixels in the vertical direction, By obtaining the difference absolute value of the pixel values of the G pixels of the upper right diagonal and the upper left diagonal), it can be determined that there is a correlation in the direction with the smaller absolute difference value among the horizontal direction, the vertical direction, and the diagonal direction.
  • this color filter array it is possible to determine a direction having a high correlation among the horizontal direction, the vertical direction, and the diagonal direction by using the information of the G pixel having the minimum pixel interval.
  • This direction discrimination result can be used for a process of interpolating from surrounding pixels (a demosaicing process). Thereby, the demosaicing process by the image processing unit 16 can be executed.
  • a pixel of the 3 ⁇ 3 pixel A array 24a or B array 24b is a target pixel for the demosaicing process, and 5 ⁇ 5 pixels (a mosaic image local area) centering on the A array 24a or B array 24b.
  • 5 ⁇ 5 pixels a mosaic image local area centering on the A array 24a or B array 24b.
  • the basic array pattern P of the color filter array shown in FIG. 3 is point-symmetric with respect to the center (the center of the four G filters 23G). As shown in FIG. 4, the A array 24a and the B array 24b in the basic array pattern P are also point-symmetric with respect to the central G filter 23G.
  • the color filter array of the first and third lines of the first to sixth lines in the horizontal direction is GBGGRG
  • the second The color filter array of the line is RGRGBB
  • the color filter array of the fourth and sixth lines is GRGGGB
  • the color filter array of the fifth line is BGBGR.
  • the basic array pattern P in which the basic array pattern is point-symmetric is referred to as a basic array pattern for convenience.
  • FIG. 8 is a diagram showing a second embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the color image sensor of the second embodiment has basically the same configuration as the first embodiment except that the color filter array is different. For this reason, the same functions and configurations as those of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
  • the color filter array (hereinafter simply referred to as color filter array) of the color image sensor 26 of the second embodiment is a sub-array in which the RGB filters 23R, 23G, and 23B are arrayed in an array pattern corresponding to 4 ⁇ 4 pixels. It is configured.
  • FIG. 8 is a drawing in which a part of the color filter array is extracted (the same applies to FIG. 9 and subsequent figures).
  • the color filter array includes a plurality of sub-array groups 28 in which A arrays 27a and B arrays 27b are alternately arranged in the horizontal direction, and each sub-array group 28 is repeatedly arranged in the vertical direction. Further, in this color filter array, the sub array groups 28 adjacent to each other in the vertical direction are arranged shifted by one pixel interval in the horizontal direction.
  • the even-numbered sub-array groups 28 are arranged so as to be shifted by one pixel interval in the same direction with respect to the sub-array groups 28 arranged odd-numbered in the vertical direction.
  • the shift directions of the sub array groups 28 are alternately alternated along the vertical direction of the color filter array.
  • the second sub-array group 28 is shifted to the right in the figure with respect to the first sub-array group 28 in the vertical direction
  • the third sub-array is shifted with respect to the second sub-array group 28.
  • the group 28 shifts to the left in the figure, and the shift direction is switched to right, left, right.
  • G filters 23G are arranged along the two diagonal lines.
  • one R filter 23R and one B filter 23B are arranged in each filter line in the horizontal and vertical directions of the color filter array.
  • the B array 27b is basically the same array pattern as the A array 27a except that the positional relationship between the R filter 23R and the B filter 23B is reversed.
  • Such a color filter array is considered to be an array in which basic array patterns P1 (patterns indicated by thick frames in the figure) composed of square array patterns corresponding to 8 ⁇ 8 pixels are arranged in the horizontal and vertical directions, respectively. You can also The basic array pattern P1 includes sub arrays (at least one of the A array 27a and the B array 27b) included in the sub array groups 28 adjacent to each other.
  • basic array patterns P1 patterns indicated by thick frames in the figure
  • the basic array pattern P1 includes sub arrays (at least one of the A array 27a and the B array 27b) included in the sub array groups 28 adjacent to each other.
  • the color filter array shown in FIG. 8 is obtained by repeatedly arranging the basic array pattern P1 in the horizontal and vertical directions. For this reason, the color filter array has the above-mentioned feature (1).
  • the basic array pattern of the color filter array is not limited to the basic array pattern P1 shown in FIG. 9, and is not particularly limited as long as it is a square array pattern corresponding to 8 ⁇ 8 pixels.
  • a basic array pattern P1a (displayed by a dotted frame in FIG. 8) obtained by shifting the basic array pattern P1 shown in FIG. 8 by two pixels and one pixel in the horizontal and vertical directions, as shown in FIG.
  • the color filter array shown in FIG. 8 can be obtained even when repeatedly arranged in the horizontal and vertical directions.
  • the color filter array is formed by repeatedly arranging basic array patterns corresponding to arbitrary 8 ⁇ 8 pixels in the horizontal and vertical directions.
  • the reference pattern “P1” is added to the basic array pattern.
  • the G filter 23G is arranged on at least two diagonal lines of both the arrays 27a and 27b (condition 2), and the sub-array groups 28 adjacent to each other are shifted by one pixel interval (condition 3),
  • the G filter 23G is arranged in each filter line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array.
  • the color filter array can be regarded as an array in which the basic array patterns PNG are arranged. Pixels (hereinafter referred to as G blank pixels) where the G filter 23G of each sub-array (both arrays 27a and 27b) is not disposed are positioned on the same diagonal (NE, NW) line. As a result, an oblique line (hereinafter referred to as a G blank line) L in which the G filter 23G is not arranged is generated in the color filter array.
  • the adjacent sub-array groups 28 are arranged so as to be shifted by one pixel interval in the horizontal direction.
  • the extended line of the blank line L On the extended line of the blank line L, at least one G filter 23G of the sub array of the other sub array group 28 is arranged.
  • the G blank line L as in the comparative example shown in FIG. 11 does not occur.
  • the G filter 23G is arranged so as to satisfy the above-described condition 2, one or more G filters 23G are arranged on each horizontal and vertical filter line of the color filter arrangement.
  • the G filter 23G is arranged so as to satisfy the above-described conditions 1 to 3, so that the G filter 23G is in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter arrangement. Are arranged in each filter line.
  • the color filter array has the above-mentioned feature (2).
  • the color filter array includes a G square array 25.
  • the color filter array has the above-mentioned feature (5).
  • the R filter 23R and the B filter 23B are arranged in the filter lines in the horizontal and vertical directions of the color filter array in each sub array (both arrays 27a and 27b). For this reason, the R filter 23R and the B filter 23B are arranged in the filter lines in the horizontal and vertical directions of the color filter array even in the arbitrary basic array pattern P1. For this reason, the color filter array has the above-mentioned feature (4).
  • the number of R pixels, G pixels, and B pixels corresponding to the RGB filters 23R, 23B, and 23R in the basic array pattern P1 (hereinafter abbreviated as the number of RGB pixels as appropriate) is set. 16 pixels, 32 pixels, and 16 pixels. For this reason, since the ratio of the number of RGB pixels is 1: 2: 1, the color filter array has the above-described feature (3).
  • the color filter array of the second embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • the basic array pattern P1 is configured by an array pattern corresponding to “even ⁇ even” pixels, when the color image sensor 26 is a CMOS image sensor, for example, four pixels arranged in a square matrix form.
  • One amplifier circuit can be shared (the same applies to other embodiments).
  • FIG. 13 is a diagram showing a third embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the sub array groups 28 adjacent to each other are arranged by being shifted by one pixel interval in the horizontal direction.
  • the sub array groups 28 adjacent to each other are arranged so as to be shifted by two pixel intervals in the horizontal direction.
  • the third embodiment is basically the same as the first and second embodiments except that the deviation amounts of the adjacent sub-array groups 28 are different from each other.
  • the same reference numerals are given to the same components in terms of function and configuration, and the description thereof is omitted (the same applies to each of the fourth and subsequent embodiments).
  • the basic array pattern P2 composed of a square array pattern corresponding to 8 ⁇ 8 pixels is in the horizontal and vertical directions as in the second embodiment. It can also be regarded as an array arranged in each. Note that the basic array pattern P2 is not limited to the array pattern shown in FIG. 13, and any square array pattern corresponding to 8 ⁇ 8 pixels can be used as the basic array pattern. As a result, the color filter array has the above-mentioned feature (1).
  • the diagonal (NE, NW) line where the G filter 23G is not arranged does not occur in the color filter array.
  • the horizontal and vertical lines in which the G filter 23G is not arranged are not generated in the color filter array.
  • the G filter array 25 is included in the color filter array. Accordingly, the color filter array has the above-described feature (2) and feature (5).
  • the R filter 23R and the B filter 23B are arranged in each horizontal and vertical filter line of the color filter array in each sub-array, as in the second embodiment. For this reason, the R filter 23R and the B filter 23B are arranged in the horizontal and vertical filter lines of the color filter array even in an arbitrary basic array pattern P2. Thereby, the color filter array has the above-mentioned feature (4). Further, since the ratio of the number of RGB pixels is the same as in the second embodiment, the color filter array satisfies the above-described feature (3).
  • the basic array pattern P2 is not point-symmetric with respect to its center.
  • the color filter array of the third embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • FIG. 14 is a diagram showing a fourth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the sub array groups 28 adjacent to each other in the vertical direction are arranged so as to be shifted in the horizontal direction.
  • the sub array groups adjacent to each other in the horizontal direction are arranged so as to be shifted in the vertical direction.
  • the color filter array (hereinafter simply referred to as color filter array) of the color imaging device 32 includes a plurality of sub-array groups 33 in which the A array 27a and the B array 27b are alternately arranged in the vertical direction. Repeatedly arranged in the horizontal direction.
  • the sub array groups 33 adjacent to each other in the horizontal direction are arranged so as to be shifted by one pixel interval in the vertical direction. Specifically, the even-numbered sub array groups 33 are shifted by one pixel interval in the same direction with respect to the odd-numbered sub array groups 33 arranged in the horizontal direction. Thereby, the shift directions of the sub array groups 33 are alternately alternated along the horizontal direction of the color filter array.
  • Such a color filter array can also be regarded as an array in which basic array patterns P3, which are square array patterns corresponding to 8 ⁇ 8 pixels, are arranged in the horizontal and vertical directions, respectively.
  • the basic array pattern P3 is not limited to the array pattern shown in FIG. 14, and any square array pattern corresponding to 8 ⁇ 8 pixels can be used as the basic array pattern.
  • the color filter array has the above-mentioned feature (1).
  • the color filter array is the same as the second embodiment in that the sub array groups 33 adjacent to each other are different in the shifting direction from the second embodiment, but the adjacent sub array groups are shifted by one pixel interval. .
  • the G filter 23G is disposed in each filter line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array. Is done.
  • the G filter array 25 is included in the color filter array. Accordingly, the color filter array has the above-described feature (2) and feature (5).
  • the R filter 23R and the B filter 23B are arranged in the horizontal and vertical filter lines of the color filter array in each sub array (A array 27a and B array 27b). Therefore, it is arranged in each horizontal and vertical filter line of the color filter array in any basic array pattern P3. Thereby, the color filter array has the above-mentioned feature (4). Further, since the ratio of the number of RGB pixels is the same as in the second embodiment, the color filter array satisfies the above-described feature (3).
  • the color filter array of the fourth embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • FIG. 15 is a diagram showing a fifth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the sub array groups 33 adjacent to each other in the horizontal direction are arranged so as to be shifted by one pixel interval in the vertical direction.
  • the sub array groups 33 adjacent to each other are arranged so as to be shifted in the vertical direction by an interval of two pixels.
  • a basic array pattern P4 composed of an arbitrary square array pattern corresponding to 8 ⁇ 8 pixels is horizontally / It can also be understood that the array is arranged in the vertical direction. As a result, the color filter array has the above-mentioned feature (1).
  • the color filter array is basically the same as the color filter array of the fourth embodiment except that the sub array groups 33 adjacent to each other are shifted in the horizontal direction by an interval of two pixels.
  • the color filter array includes the G square array 25, and the R filter 23R and the B filter 23B are respectively disposed in the horizontal and vertical filter lines of the color filter array in an arbitrary basic array pattern P4.
  • the ratio of the number of pixels of RGB pixels is 1: 2: 1. Accordingly, the color filter array has the above-described features (5), (4), and (3).
  • the color filter array is the same as the third embodiment in that the sub-array groups 33 adjacent to each other are different in the shifting direction from the third embodiment, but the adjacent sub-array groups are shifted by two pixel intervals. is there. For this reason, since the color filter array satisfies the above-described condition 1, condition 2, and condition 3A, the G filter 23G is arranged in each filter line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array. Is done. Thereby, the color filter array has the above-mentioned feature (2).
  • the color filter array of the fifth embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • FIG. 16 is a diagram showing a sixth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the color filter arrays of the second to fifth embodiments are constituted by sub arrays (A array 27a and B array 27b) having a square array pattern corresponding to 4 ⁇ 4 pixels.
  • the color filter array (hereinafter simply referred to as color filter array) of the color image sensor 39 of the sixth embodiment is configured by a sub array having a square array pattern corresponding to 2 ⁇ 2 pixels.
  • the color filter array includes a sub array group 41a in which A arrays 40a and B arrays 40b are alternately arranged in the horizontal direction, and a sub array group 41b in which C arrays 40c and D arrays 40d are alternately arranged in the horizontal direction. And sub-array groups 41a and 41b are alternately arranged in the vertical direction. Further, in this color filter array, the sub array group 41a and the sub array group 41b adjacent to each other in the vertical direction are arranged so as to be shifted from each other by one pixel interval in the horizontal direction.
  • the G filter 23G is disposed along the diagonal line in the left diagonal (NW) direction of the two diagonal lines, and the B filter 23B is disposed along the diagonal line in the right diagonal (NE) direction.
  • the B array 40b is obtained by replacing the B filter 23B of the A array 40a with an R filter 23R.
  • the G filter 23G is arranged along the diagonal line in the left diagonal (NW) direction, and one B filter 23B and one R filter 23R are arranged along the diagonal line in the right diagonal (NE) direction.
  • the D array 40d is obtained by reversing the positional relationship between the R filter 23R and the B filter 23B of the C array 40c.
  • the color filter array having the above configuration can be regarded as an array in which basic array patterns P5 that are square array patterns corresponding to 4 ⁇ 4 pixels are arranged in the horizontal and vertical directions, respectively.
  • the basic array pattern P5 is not limited to the array pattern shown in FIG. 16, and an arbitrary square array pattern corresponding to 4 ⁇ 4 pixels is used as the basic array pattern. It can be.
  • the color filter array has the above-mentioned feature (1).
  • the color filter array includes a condition 1A in which each array 40a to 40d has an array pattern corresponding to 2 ⁇ 2 pixels, and a condition 2A in which the G filter 23G is disposed on one of the two diagonal lines of each array 40a to 40d. And the above-mentioned condition 3 in which the sub-array group 41a and the sub-array group 41b adjacent to each other are shifted by one pixel interval is satisfied.
  • one G filter 23G is arranged on each horizontal / vertical line of each of the arrays 40a to 40d. Therefore, the G filter 23G is arranged in each of the horizontal and vertical directions of the color filter array. It is arranged in the filter line. At this time, the G filter 23G is arranged in a checkered pattern simply by satisfying the condition 1A and the condition 2A, and therefore a diagonal line (NE, NW) in which the G filter 23G is not arranged is generated in the color filter array. However, when the condition 3 is further satisfied, the G filter 23G is arranged in each filter line in the diagonal (NE, NW) direction of the color filter array. Thereby, the color filter array has the above-mentioned feature (2).
  • the R filter 23R and the B filter 23B are respectively disposed in the horizontal and vertical filter lines of the color filter array in an arbitrary basic array pattern P5.
  • the color filter array has the above-mentioned feature (4).
  • the number of RGB pixels corresponding to the RGB filters 23R, 23B, and 23R in the arbitrary basic array pattern P5 is 4, 8, and 4. For this reason, since the ratio of the number of RGB pixels is 1: 2: 1, the color filter array has the above-described feature (3).
  • the basic array pattern P5 is not point-symmetric with respect to its center, and the G square array 25 is not included in the color filter array.
  • the color filter array of the sixth embodiment has the same features as the features (1), (2), (3), and (4) of the first embodiment.
  • the color filter array of the sixth embodiment has a C portion in FIG. 17 when the odd (even numbered) lines of the color image sensor 39 are thinned and read out as shown in the A portion and B portion in FIG.
  • the basic array pattern P5a is repeatedly arranged in the horizontal and vertical directions. Therefore, even when the color image sensor 39 is thinned and read out during moving image shooting, etc., demosaicing processing or the like can be performed according to the repeated pattern of the RGB filters 23R, 23G, and 23B.
  • FIG. 18 is a diagram showing a seventh embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the G filter 23G is arranged along the diagonal line in the diagonally left (NW) direction of each of the arrays 40a to 40d.
  • a The G filter 23G may be arranged along diagonal lines in the diagonally right (NE) direction of the B, C, and D arrays 46a to 46d.
  • the arrays 46a to 46d have the same pattern as the arrays when the arrays 40a to 40d of the sixth embodiment are rotated 90 ° clockwise in FIG.
  • the color filter array composed of such arrays 46a to 46d is basically the same array pattern as the color filter array of the sixth embodiment except that the arrangement of the G filter 23G is reversed. .
  • the basic array pattern P6 included in the color filter array is basically the same array pattern as the basic array pattern P5 of the sixth embodiment except that the arrangement of the G filter 23G is reversed.
  • the color filter array of the seventh embodiment also has the same features as the features (1), (2), (3), and (4) of the first embodiment.
  • the color filter array is the basic array as in the sixth embodiment.
  • the pattern P6a is repeatedly arranged in the horizontal and vertical directions.
  • FIG. 20 is a diagram showing an eighth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the color filter array of the second to fifth embodiments is configured by a sub array having a square array pattern corresponding to 4 ⁇ 4 pixels.
  • the color filter array is a sub array. The size of the array is further expanded.
  • the color filter array (hereinafter simply referred to as color filter array) of the color image pickup device 48 is configured by a sub array having a square array pattern corresponding to 6 ⁇ 6 pixels, specifically, an A array 49a and a B array 49b. Yes.
  • This color filter array is obtained by replacing the A array 28a and the B array 28b of the color filter array of the second embodiment with the A array 49a and the B array 49b, respectively.
  • the color filter array is formed by repeatedly arranging a sub array group 50 in which the A array 49a and the B array 49b are alternately arranged in the horizontal direction in the vertical direction.
  • the sub array groups 50 adjacent to each other are arranged so as to be shifted by one pixel interval in the horizontal direction.
  • G filters 23G are arranged along two diagonal lines, and one R filter 23R and one B filter 23B are provided in each horizontal and vertical filter line of the color filter array. It is arranged one by one. At this time, in the A array 49a and the B array 49b, the G filters 23G are arranged at positions other than the diagonal line so that the number of the G filters 23G is larger than the number of each of the R filters and the B filters 23R and 23B. ing.
  • the basic array pattern P7 composed of a square array pattern corresponding to 12 ⁇ 12 pixels is arrayed in the horizontal and vertical directions, respectively. It can also be captured.
  • the color filter array is basically the same as the color filter array of the second embodiment except that the size of the sub array (A array 49a and B array 49b) is enlarged.
  • the above-described features (1), (2), (4), and (5) are provided.
  • the number of RGB pixels corresponding to the RGB filters 23R, 23B, and 23R in the basic array pattern P7 is 32 pixels, 80 pixels, and 32 pixels. For this reason, since the ratio of the number of pixels of RGB pixels is 2: 5: 2, the color filter array has the above-described feature (3).
  • the color filter array of the eighth embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • the color filter array is configured by sub arrays having an array pattern corresponding to N ⁇ N (N is an even number) pixels of 8 ⁇ 8 pixels or more, sub array groups adjacent to each other in the vertical direction or the horizontal direction.
  • N is an even number
  • the basic array pattern is a square array pattern corresponding to any 2N ⁇ 2N pixels.
  • M is appropriately determined according to the size of the sub array so that the G filter 23G is disposed in each filter line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array.
  • N 10 or less. This is because when N is greater than 10 (N> 10), signal processing such as demosaicing is complicated, but a special effect by increasing the size of the basic array pattern cannot be obtained. .
  • FIG. 21 is a diagram showing a ninth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the color filter array is at least the color filter of the first embodiment by arranging the sub-array groups adjacent in the vertical direction or the horizontal direction so as to be shifted by the M pixel interval. It has arrangement characteristics (1), (2), (3), and (4).
  • the same effects as those of the second to eighth embodiments are achieved by shifting the position of the G filter 23G in the sub-arrays adjacent to each other. Is to be obtained.
  • the color filter array (hereinafter simply referred to as color filter array) of the color image pickup device 52 includes a basic array pattern P8 in which the RGB filters 23R, 23G, and 23B are arrayed in an array pattern corresponding to 8 ⁇ 8 pixels.
  • the array pattern P8 is repeatedly arranged in the horizontal direction and the vertical direction. For this reason, the color filter array has the above-mentioned feature (1).
  • the basic array pattern P8 is composed of four types of sub arrays having an array pattern corresponding to 4 ⁇ 4 pixels. These four types of sub arrays are an A array 53a, a B array 53b, a C array 53c, and a D array 53d, and the arrays 53a to 53d are arranged in a matrix so as to be adjacent to each other in the horizontal and vertical directions. Specifically, the A array 53a and the B array 53b, and the C array 53c and the D array 53d are adjacent to each other in the vertical direction. The A array 53a and the C array 53c, and the B array 53b and the D array 53d are adjacent to each other in the horizontal direction.
  • the A array 53a and the D array 53d are the same as the B array 27b (or the A array 27a is acceptable) of the second embodiment.
  • the G filter 23G is arranged at a position shifted by one pixel interval in the vertical direction from two diagonal lines.
  • one or more R filters 23R and B filters 23B are arranged in each filter line in the horizontal and vertical directions of the color filter array.
  • the arrays 53a to 53d satisfy the above condition 1, and the G filter 23G is arranged along at least two diagonal lines of one of the arrays 53a to 53d adjacent to each other in the horizontal direction or the vertical direction.
  • the G filters 23G are arranged in the filter lines in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array.
  • the color filter array has the above-mentioned feature (2).
  • the color filter array includes the G square array 25.
  • the color filter array has the above-mentioned feature (5).
  • the R filter 23R and the B filter 23B are arranged in each horizontal and vertical filter line of the color filter array in each sub array (each array 53a to 53d). For this reason, the R filter 23R and the B filter 23B are arranged in the horizontal and vertical filter lines of the color filter array also in the basic array pattern P8. For this reason, the color filter array has the above-mentioned feature (4).
  • the number of RGB pixels corresponding to the RGB filters 23R, 23B, and 23R in the basic array pattern P8 is 18, 28, and 18 pixels. For this reason, since the ratio of the number of RGB pixels is 1: 1.6: 1, the color filter array has the above-described feature (3).
  • the color filter array of the ninth embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • the arrangement of the G filters 23G in the B array 53b and the C array 53c is different from the arrangement of the G filters 23G in the A array 53a and the D array 53d. Although it is shifted by one pixel interval in the upward direction, the arrangement may be shifted by one pixel interval in the downward direction in the drawing or in the left-right direction (horizontal direction) in the drawing.
  • FIG. 22 is a diagram showing a tenth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the arrangement of the G filters 23G in the B array 53b and the C array 53c is shifted in the same direction with respect to the arrangement of the G filters 23G in the A array 53a and the D array 53d.
  • the shifting directions of the arrangement of the G filters 23G in the B array and the C array are different.
  • the color filter array (hereinafter simply referred to as color filter array) of the color image pickup device 55 includes a basic array pattern P9 in which the RGB filters 23R, 23G, and 23B are arrayed in an array pattern corresponding to 8 ⁇ 8 pixels.
  • the array pattern P9 is repeatedly arranged in the horizontal direction and the vertical direction. For this reason, the color filter array has the above-mentioned feature (1).
  • the basic array pattern P9 is basically the same pattern as the basic array pattern P8 of the ninth embodiment. However, the basic array pattern P9 has a B array 53b1 and a C array 53c1 that are different from the B array 53b and the C array 53c of the basic array pattern P8, respectively.
  • the arrangement of the G filters 23G in the B array 53b1 is shifted by one pixel interval in the right direction (horizontal direction) in the figure with respect to the arrangement of the G filters 23G in the A array 53a and the D array 53d.
  • the arrangement of the G filters 23G in the C array 53c1 is shifted by one pixel interval in the left direction (horizontal direction) in the figure with respect to the arrangement of the G filters 23G in the A array 53a and the D array 53d.
  • each of the arrays 53a, 53b1, 53c1, and 53d satisfies the above conditions 1 and 4, and the arrangement of the G filter 23G in the A array 53a and the D array 53d is within the B array 53b and the C array 53c.
  • the G filter 23G is arranged at a position shifted by Q (Q ⁇ N) pixel intervals in different directions (condition 5A)
  • the G filter 23G is horizontally, vertically, and diagonally arranged in the color filter array. It is arranged in each filter line in the (NE, NW) direction.
  • the color filter array has the above-mentioned feature (2).
  • the color filter array includes the G square array 25, the color filter array has the above-described feature (5).
  • the R filter 23R and the B filter 23B are arranged in the horizontal and vertical filter lines of the color filter array in the basic array pattern P9. For this reason, the color filter array has the above-mentioned feature (4).
  • the color filter array has the above-described feature (3).
  • the color filter array of the tenth embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • the arrangement of the G filter 23G in the B array 53b1 and the C array 53c1 is different from the arrangement of the G filter 23G in the A array 53a and the D array 53d.
  • the shifting direction of each arrangement may be changed as appropriate within the range in which the color filter array has the above-described feature (2).
  • the arrangement of one G filter 23G in the B array 53b1 and the C array 53c1 may be shifted in the horizontal direction, and the arrangement of the other G filter 23G may be shifted in the vertical direction.
  • FIG. 23 is a diagram showing an eleventh embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of the color image sensor.
  • the basic array patterns P8 and P9 of the ninth and tenth embodiments are configured by sub arrays having a square array pattern corresponding to 4 ⁇ 4 pixels.
  • the size of the sub-sequence is further expanded.
  • the color filter array (hereinafter simply referred to as color filter array) of the color image sensor 57 includes a basic array pattern P10 in which the RGB filters 23R, 23G, and 23B are arrayed in an array pattern corresponding to 12 ⁇ 12 pixels.
  • the array pattern P10 is repeatedly arranged in the horizontal direction and the vertical direction. For this reason, the color filter array has the above-mentioned feature (1).
  • the basic array pattern P10 includes an A array 58a, a B array 58b, a C array 58c, and a D array arranged in a matrix so as to be adjacent to each other in the horizontal and vertical directions. 58d.
  • the RGB filters 23R, 23G, and 23B are arranged in an array pattern corresponding to 6 ⁇ 6 pixels.
  • Each of the arrays 58a to 58d has an enlarged size, and the G filter 23G is disposed at a location other than the diagonal line in the A array 58a and the D array 58d. Further, the shift direction of the B array 58b is changed. Except for the point changed in the upward direction in the figure, it is basically the same as each of the arrays 53a, 53b1, 53c1, 53d of the tenth embodiment. For this reason, the color filter array has the above-described features (2), (4), and (5) as in the tenth embodiment.
  • the number of RGB pixels corresponding to the RGB filters 23R, 23B, and 23R in the basic array pattern P10 is 36 pixels, 72 pixels, and 36 pixels. For this reason, since the ratio of the number of RGB pixels is 1: 2: 1, the color filter array has the above-described feature (3).
  • the basic array pattern P10 is not point-symmetric with respect to the center.
  • the color filter array of the eleventh embodiment has the same characteristics as the characteristics (1), (2), (3), (4), and (5) of the color filter array of the first embodiment. Have.
  • the ninth or tenth It has the same features as the embodiment.
  • N is an even number
  • signal processing such as demosaicing is complicated, and further, no special effect can be obtained by increasing the size of the basic array pattern. It is preferable to do.
  • the arrangement of the G filters 23G in the B array and the C array is shifted by one pixel interval from the arrangement of the G filters 23G in the A array and the D array.
  • the shift amount of the arrangement of the G filter 23G may be changed within a range of 2 to Q pixel intervals.
  • the positions of the A and D arrays and the positions of the B and C arrays in the color filter array may be reversed.
  • the arrangement of the R filter 23R and the B filter 23B in each of the above embodiments is not limited to the arrangement shown in FIGS. 3 to 23, and may be appropriately changed within a range that satisfies at least the above-described feature (4).
  • each sub-array group by shifting the even-numbered sub-array groups in the same direction relative to the odd-numbered sub-array groups arranged in the vertical or horizontal direction,
  • the shift direction of each sub-array group is alternately staggered along the vertical direction or horizontal direction of the color filter array, but each sub-array is within the range in which the color filter array has the above-mentioned feature (2). You may change the deviation
  • the G filter of G color has been described as an example of the first filter having the first color of the present invention. However, instead of the G filter or a part of the G filter. A filter that satisfies any of the following conditions (1) to (4) may be used.
  • Condition (1) is that the contribution rate for obtaining the luminance signal is 50% or more. This contribution rate of 50% is a value determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention, and is used to obtain luminance data. Are determined to be included in the “first color” in which the contribution ratio is relatively higher than the R color, the B color, and the like.
  • the color having a contribution ratio of less than 50% is the second color (R color, B color, etc.) of the present invention, and the filter having this color is the second filter of the present invention.
  • Condition (2) is that the peak of the transmittance of the filter is in the range of wavelengths from 480 nm to 570 nm.
  • a value measured with a spectrophotometer is used as the transmittance of the filter.
  • This wavelength range is a range defined for distinguishing between the first color (G color, etc.) and the second color (R, B color, etc.) of the present invention, and the aforementioned contribution ratio is relative. This is a range determined so that peaks such as R color and B color that become lower in general are not included, and peaks such as G color in which the contribution ratio is relatively higher are included.
  • a filter having a transmittance peak within a wavelength range of 480 nm to 570 nm can be used as the first filter.
  • a filter having a transmittance peak outside the wavelength range of 480 nm to 570 nm is the second filter (R filter, B filter) of the present invention.
  • Condition (3) is that the transmittance within the wavelength range of 500 nm to 560 nm is higher than the transmittance of the second filter (R filter or B filter). Also in this condition (3), the value measured with a spectrophotometer, for example, is used as the transmittance of the filter.
  • the wavelength range of the condition (3) is also a range determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention. This is a range in which the transmittance of a filter having a color whose contribution rate is relatively higher than the color or B color is higher than the transmittance of an RB filter or the like. Therefore, a filter having a relatively high transmittance within a wavelength range of 500 nm to 560 nm can be used as the first filter, and a filter having a relatively low transmittance can be used as the second filter.
  • Condition (4) is that a filter of two or more colors including a color that contributes most to the luminance signal (for example, G color of RGB) among the three primary colors and a color different from the three primary colors is used as the first filter. Is to use. In this case, a filter corresponding to a color other than each color of the first filter is the second filter.
  • the G color G filter as the first filter is not limited to one type.
  • a plurality of types of G filters (G1 filter, G2 filter) can be used as the first filter. That is, the G filter of the color filter (basic array pattern) according to each of the above embodiments may be appropriately replaced with a G1 filter or a G2 filter.
  • the G1 filter transmits G light in the first wavelength band
  • the G2 filter transmits G light in the second wavelength band having a high correlation with the G1 filter (see FIG. 24).
  • an existing G filter for example, the G filter of the first embodiment
  • the G2 filter a filter having a high correlation with the G1 filter
  • the peak value of the spectral sensitivity curve of the light receiving element in which the G2 filter is disposed is, for example, in the wavelength range of 500 nm to 535 nm (near the peak value of the spectral sensitivity curve of the light receiving element in which the existing G filter is disposed). It is desirable to be.
  • a method described in Japanese Patent Application Laid-Open No. 2003-284084 is used as a method for determining the color filters of four colors (R, G1, G2, B).
  • the color of the image acquired by the color imaging device is set to four types, and the color information acquired is increased, so that the color can be more accurately compared with the case where only three types of colors (RGB) are acquired.
  • RGB three types of colors
  • the transmittances of the G1 and G2 filters are basically the same as the transmittance of the G filter of the first embodiment, the contribution rate for obtaining the luminance signal is higher than 50%. Therefore, the G1 and G2 filters satisfy the above condition (1).
  • the transmittance peak of each G1 and G2 filter (sensitivity peak of each G pixel) is in the wavelength range of 480 nm to 570 nm.
  • the transmittances of the G1 and G2 filters are higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, each G1 and G2 filter also satisfies the above-mentioned conditions (2) and (3).
  • G1 and G2 filters may be changed as appropriate. Moreover, you may increase the kind of G filter to three or more types.
  • Transparent filter (W filter)>
  • a color filter mainly including color filters corresponding to RGB colors is shown.
  • a part of these color filters may be used as the transparent filter W (white pixel).
  • the transparent filter W is a transparent color (first color) filter.
  • the transparent filter W is a filter that can transmit light corresponding to the wavelength range of visible light, and has a transmittance of 50% or more for each color of RGB, for example. Since the transmittance of the transparent filter W is higher than that of the G filter, the contribution rate for obtaining the luminance signal is also higher than that of the G color (60%), and satisfies the above condition (1).
  • the transmittance peak of the transparent filter W (the peak of the sensitivity of the white pixel) is in the wavelength range of 480 nm to 570 nm. Moreover, the transmittance of the transparent filter W is higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, the transparent filter W also satisfies the above-described conditions (2) and (3). As with the transparent filter W, the G filter satisfies the above-described conditions (1) to (3).
  • the transparent filter W satisfies the above-mentioned conditions (1) to (3), it can be used as the first filter of the present invention.
  • the color filter array a part of the G filter corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the transparent filter W, so the above condition (4) is also satisfied.
  • E filter a color filter mainly composed of color filters corresponding to RGB colors is shown. However, some of these color filters may be other color filters, for example, corresponding to emerald (E) colors.
  • a filter E emerald pixel
  • an emerald filter (E filter) may be arranged instead of a part of the first filter (G filter).
  • the peak of transmittance of the emerald filter E (the peak of sensitivity of the E pixel) is in the range of wavelengths from 480 nm to 570 nm. Further, the transmittance of the emerald filter E is higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, the emerald filter E satisfies the above-mentioned conditions (2) and (3). Further, in the color filter array, part of the G filter corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the emerald filter E, so the above condition (4) is also satisfied.
  • the emerald filter E has a peak on the shorter wavelength side than the G filter, but has a peak on the longer wavelength side than the G filter (it looks a little yellowish). is there.
  • those satisfying the conditions of the present invention can be selected.
  • an emerald filter E that satisfies the condition (1) can be selected.
  • the color filter array including the primary color RGB color filters has been described.
  • G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary color RGB.
  • the present invention can also be applied to a color filter array of four complementary color filters.
  • the color filter satisfying any one of the above conditions (1) to (4) is set as the first filter of the present invention, and the other color filter is set as the second filter.
  • Each color filter array of each of the above embodiments includes a basic array pattern in which color filters of each color are two-dimensionally arrayed in the horizontal direction (H) and the vertical direction (V), and this basic array pattern is in the horizontal direction (H ) And the vertical direction (V), but the present invention is not limited to this.
  • the basic arrangement pattern is repeatedly arranged in an oblique direction (NE, NW) using a so-called honeycomb arrangement basic arrangement pattern obtained by rotating the basic arrangement pattern of each of the above-described embodiments by 45 ° around the optical axis.
  • a color filter may be configured by an array pattern.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

 カラー撮像素子26のカラーフィルタ配列を、サブ配列群28を垂直方向に繰り返し配置することにより構成する。サブ配列群28を、RGBフィルタ23R,23G,23Bが4×4画素に対応する配列パターンで配列されてなるA配列27a,B配列27bを水平方向に交互に配置することにより構成する。垂直方向に互いに隣接するサブ配列群28同士を水平方向に1画素間隔分ずらして配置する。各配列27a,27bの2つの対角線上に沿ってGフィルタ23Gを配置する。RBフィルタ23R,23Bを、各配列27a,27b内において、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置する。

Description

カラー撮像素子
 本発明はカラー撮像素子に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子に関する。
 単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はRAW画像(モザイク画像)となるので、欠落している色の画素を、周囲の画素から補間する処理(デモザイキング処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
 デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理である。
 単板カラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
 図27のA部分に示すような白黒の縦縞模様(高周波画像)が、図27のB部分に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図27のC部分からE部分に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となる。本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
 同様に、図28のA部分に示すような斜めの白黒の高周波画像が、図28のB部分に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図28のC部分からE部分に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となる。仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
 一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
 このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む3色と着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
 また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されているとともに、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
 更に、RGBの3原色のカラー固体撮像素子において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようした色配列が提案されている(特許文献3)。
 更にまた、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
特開2000-308080号公報 特開2005-136766号公報 特開平11-285012号公報 特開平8-23543号公報
 特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターンごとに最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
 また、特許文献2に記載の画像センサは、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
 特許文献3に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。尚、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bそれぞれの画素数の2倍になっている。
 一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
 本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。
 上記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、カラーフィルタがN×N(Nは偶数)画素に対応する配列パターンで配列されてなるサブ配列を含み、サブ配列を水平方向及び垂直方向のいずれか一方向に並べてなるサブ配列群が水平方向及び垂直方向の他方向に繰り返して配置されており、かつ他方向に互いに隣接するサブ配列群同士が一方向にM(MはN未満)画素間隔分ずらして配置され、カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、さらに第1のフィルタに対応する第1の色の画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、第1のフィルタは、サブ配列の少なくとも対角線上に沿って配置され、第2の色の各色に対応する第2のフィルタは、カラーフィルタの配列内で水平方向及び垂直方向に繰り返し配置されている基本配列パターン内であって、カラーフィルタの配列に含まれる任意の2N×2N画素に対応する基本配列パターン内に、カラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置され、Mは、第1のフィルタがカラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置される値に設定されている。
 本発明の一の態様に係る発明によれば、サブ配列を水平方向及び垂直方向のいずれか一方向に並べてなるサブ配列群を水平方向及び垂直方向の他方向に繰り返して配置するとともに、各サブ配列の少なくとも対角線上に輝度信号を得るための寄与率の高い第1のフィルタを配置して、さらに、第1のフィルタがカラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置されるように、互いに隣接するサブ配列群同士をずらして配置したので、高周波領域でのデモザイキング処理の再現精度を向上させることができる。
 また、カラーフィルタ配列は、特定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
 また、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタについても、基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
 また、第1のフィルタに対応する第1の色の画素数と第2のフィルタに対応する2色以上の第2の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率が高い第1の色の画素数の比率を、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。
 さらに、基本配列パターンが2N×2N画素に対応する配列パターンで構成されるため、例えばカラー撮像素子がCMOS(Complementary Metal Oxide Semiconductor)撮像素子である場合に、偶数個(例えば4個)の画素で1個のアンプ回路を共有させることもできる。
 本発明の他の態様に係るカラー撮像素子において、基本配列パターンは、互いに隣接するサブ配列群にそれぞれ含まれるサブ配列をそれぞれ1以上含むことが好ましい。後段でのデモザイキング処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
 本発明の他の態様に係るカラー撮像素子において、Nは4以上の偶数であり、第1のフィルタがサブ配列の少なくとも2つの対角線上に沿って配置されていることが好ましい。これにより、第1のフィルタが少なくともカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置される。
 本発明のさらに他の態様に係るカラー撮像素子において、第2の色の各色の第2のフィルタは、サブ配列内でカラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置されていることが好ましい。これにより、基本配列パターン内においても2色以上の第2の色に対応する第2のフィルタがカラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置される。
 本発明のさらに他の態様に係るカラー撮像素子において、カラーフィルタの配列は、第1のフィルタで構成される2×2画素に対応する正方配列を含むことが好ましい。これにより、2×2画素の画素値を使用して、水平、垂直、斜め右上及び斜め右下方向のうちの相関の高い方向を判別することができる。
 本発明のさらに他の態様に係るカラー撮像素子において、Nが2である場合に、第1のフィルタがサブ配列の一方の対角線上に沿って配置されていることが好ましい。これにより、第1のフィルタがカラーフィルタの配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置される。
 本発明のさらに他の態様に係るカラー撮像素子において、他方向に奇数番目に配置されたサブ配列群に対して、他方向に偶数番目に配置されたサブ配列群が同方向にM画素間隔分だけずれて配置されていることが好ましい。これにより、第1のフィルタがカラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置される。
 本発明のさらに他の態様に係るカラー撮像素子において、Nが10以下であることが好ましい。Nが10を超える場合(N>10)には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。
 本発明のさらに他の態様に係るカラー撮像素子において、第1の色は緑色(G)であり、第2の色は赤色(R)及び青色(B)であることが好ましい。なお、上記のカラー撮像素子を備えた撮像装置も本発明に含まれる。
 本発明によれば、輝度信号を得るために寄与率の高い第1の色に対応する第1のフィルタを、カラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置するとともに、第1のフィルタに対応する第1の色の画素数の比率を、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタの画素数の比率よりも大きくするようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させ、かつエリアシングを抑制することができる。
 また、第1の色以外の2色以上の第2の色の各色に対応する第2のフィルタを、基本配列パターン内においてカラーフィルタの配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置するようにしたため、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
 更に、本発明に係るカラーフィルタの配列は、特定の基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明に係る単板式のカラー撮像素子を備えるデジタルカメラを示す図である。 本発明に係る単板式のカラー撮像素子の画素を示す図である。 本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図である。 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる6×6画素の基本配列パターンを3×3画素のA配列とB配列に分割し、これらを配置した様子を示す図である。 第1の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる2×2画素のG画素の画素値から相関方向を判別する方法を説明するために使用した図である。 カラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図である。 本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図である。 基本配列パターンを水平・垂直方向に繰り返して配置することにより、図8に示したカラーフィルタ配列が得られることを説明するための図である。 図9に示した基本配列パターンとは異なる基本配列パターンを水平・垂直方向に繰り返して配置した場合でも、図8に示したカラーフィルタ配列が得られることを説明するための図である。 互いに隣接するサブ配列群同士をずらして配置していない比較例のカラーフィルタ配列を示す図である。 第2の実施形態のカラー撮像素子のカラーフィルタ配列ではGフィルタが配置されていない斜め右上(NE)及び斜め右下(NW)方向のラインは生じないことを説明するために使用した図である。 本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図である。 第6の実施形態のカラー撮像素子を間引き読み出し駆動したときのカラーフィルタ配列を説明するための説明図である。 本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図である。 第7の実施形態のカラー撮像素子を間引き読み出し駆動したときのカラーフィルタ配列を説明するための説明図である。 本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第9の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第10の実施形態を示す図である。 本発明に係る単板式のカラー撮像素子の第11の実施形態を示す図である。 Rフィルタ(赤フィルタ)、G1フィルタ(第1の緑フィルタ)、G2フィルタ(第2の緑フィルタ)及びBフィルタ(青フィルタ)が配置される受光素子の分光感度特性を示すグラフである。 Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタ(透明フィルタ)が配置される受光素子の分光感度特性を示すグラフである。 Rフィルタ、Gフィルタ、Bフィルタ及びエメラルドフィルタE(Eフィルタ)が配置される受光素子の分光感度特性を示すグラフである。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
 以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
 [カラー撮像装置の全体構成]
 図1は本発明に係るカラー撮像素子を備えるデジタルカメラ9のブロック図である。デジタルカメラ9は、大別して、撮影光学系10、カラー撮像素子12、撮影処理部14、画像処理部16、駆動部18、制御部20などを備えている。
 撮影光学系10により被写体が撮像され、被写体像を示す光像がカラー撮像素子12(第1の実施形態のカラー撮像素子)の受光面上に結像される。
 カラー撮像素子12は、その撮像面上に図2中水平方向及び垂直方向に配列(二次元配列)された光電変換素子で構成される複数の画素と、各画素の受光面の上方に配置された特定のカラーフィルタ配列のカラーフィルタとを備えた、いわゆる単板式のカラー撮像素子である。ここで、「上方」とは、カラー撮像素子12の撮像面に対して被写体光が入射してくる側の方向を指す。
 カラー撮像素子12に結像された被写体像は、各画素の光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部20の指令に従って駆動部18から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)としてカラー撮像素子12から順次読み出される。カラー撮像素子12から読み出される画像信号は、カラー撮像素子12のカラーフィルタ配列に対応した赤(R)、緑(G)、青(B)のモザイク画像を示すR、G、B信号である。
 カラー撮像素子12から読み出された画像信号は、撮影処理部14に入力する。撮影処理部14は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路(CDS)、画像信号を増幅し、一定レベルの大きさにコントロールするためのAGC回路、及びA/D変換器を有している。この撮影処理部14は、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるRAWデータを画像処理部16に出力する。
 画像処理部16は、ホワイトバランス補正回路、ガンマ補正回路、デモザイキング処理回路(単板式のカラー撮像素子12のカラーフィルタ配列に伴うRGBのモザイク画像から画素毎にRGBの全ての色情報を算出(同時式に変換)する処理回路)、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を有している。画像処理部16は、制御部20からの指令に従い、撮影処理部14から入力したモザイク画像のRAWデータに所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
 画像処理部16で生成された画像データは、圧縮/伸張処理回路により静止画に対しては、JPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2規格に準拠した圧縮処理が施された後、図示しない記録メディア(例えばメモリカード)に記録され、また、液晶モニタ等の表示手段(図示せず)に出力されて表示される。
 [カラー撮像素子の第1の実施形態]
 図2及び図3は本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図であり、図2はカラー撮像素子12に設けられている画素の画素配列に関して示し、図3はカラーフィルタのカラーフィルタ配列に関して示している。
 図2に示すように、カラー撮像素子12は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子22からなる複数の画素と、各画素の受光面上に配置された、図3に示すカラーフィルタ配列のカラーフィルタとから構成されている。各画素上には、RGBの3原色のカラーフィルタ(以下、Rフィルタ、Gフィルタ、Bフィルタという)23R,23G,23Bのうちのいずれかが配置される。以下、Rフィルタ23Rが配置された画素を「R画素」、Gフィルタ23Gが配置された画素を「G画素」、Bフィルタ23Bが配置された画素を「B画素」という。
 尚、カラー撮像素子12は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
 <カラーフィルタ配列の特徴>
 第1の実施形態のカラー撮像素子12のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)、(5)、及び(6)を有している。
 〔特徴(1)〕
 図3に示すカラーフィルタ配列は、6×6画素に対応する正方配列パターンからなる基本配列パターンP(図中の太枠で示したパターン)を含み、この基本配列パターンPが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、R、G、Bの各色のRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列されている。
 このようにRフィルタ23R、Gフィルタ23G、Bフィルタ23Bが周期性をもって配列されているため、カラー撮像素子12から読み出されるR、G、B信号のデモザイキング処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。
 また、基本配列パターンPの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
 〔特徴(2)〕
 図3に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に1つ以上配置されている。ここで、NEは斜め右上方向を意味し、NWは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。
 輝度系画素に対応するGフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に1つ以上配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。
 〔特徴(3)〕
 図3に示すカラーフィルタ配列の基本配列パターンPは、その基本配列パターン内におけるRGBフィルタ23R,23G,23Bに対応するR画素、G画素、B画素の画素数が、それぞれ8画素、20画素、8画素になっている。即ち、RGB画素の各画素数の比率は、2:5:2になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素のそれぞれの画素数の比率よりも大きくなっている。
 上記のようにG画素の画素数とR,B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
 〔特徴(4)〕
 図3に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ23R、Bフィルタ23Bが、それぞれ基本配列パターンP内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に1つ以上配置されている。
 Rフィルタ23R及びBフィルタ23Bがそれぞれカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
 図4は、図3に示した基本配列パターンPを、3×3画素に4分割した状態に関して示している。
 図4に示すように基本配列パターンPは、図中の実線の枠で囲んだ3×3画素のA配列24aと、図中の破線の枠で囲んだ3×3画素のB配列24bとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
 A配列24a及びB配列24bは、それぞれ輝度系画素であるGフィルタ23Gが4隅と中央に配置され、両対角線上に配置されている。また、A配列24aは、中央のGフィルタ23Gを挟んでRフィルタ23Rが水平方向に配列され、Bフィルタ23Bが垂直方向に配列されている。一方、B配列24bは、中央のGフィルタ23Gを挟んでBフィルタ23Bが水平方向に配列され、Rフィルタ23Rが垂直方向に配列されている。即ち、A配列24aとB配列24bとは、Rフィルタ23RとBフィルタ23Bとの位置関係が逆転しているが、その他の配置は同様になっている。
 また、A配列24aとB配列24bの4隅のGフィルタ23Gは、図5に示すようにA配列とB配列とが水平、垂直方向に交互に配置されることにより、2×2画素に対応する正方配列のGフィルタ23Gとなる。
 これは、輝度系画素であるGフィルタ23Gが、A配列24aまたはB配列24bにおける3×3画素において4隅と中央に配置され、この3×3画素が水平方向、垂直方向に交互に配置されることで2×2画素に対応する正方配列のGフィルタ23Gが形成されるためである。尚、このような配列とすることで、前述の特徴(1)、(2)、(3)、及び後述の特徴(5)が満たされる。
 〔特徴(5)〕
 図3に示すカラーフィルタ配列は、Gフィルタ23Gが設けられた2×2画素に対応する正方配列25(以下、単にG正方配列25という、図6参照)を含んでいる。
 図6に示すように、Gフィルタ23Gが設けられた2×2画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(右上斜め、左上斜め)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
 即ち、このカラーフィルタ配列によれば、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(デモザイキング処理)に使用することができる。これにより、画像処理部16によるデモザイキング処理が実行可能となる。
 また、図5に示すように3×3画素のA配列24a又はB配列24bの画素をデモザイキング処理の対象画素とし、A配列24a又はB配列24bを中心に5×5画素(モザイク画像の局所領域)を抽出した場合、この5×5画素の4隅に2×2画素のG画素が存在することになる。これらの2×2画素のG画素の画素値を使用することにより、4方向の相関方向の判別を最小画素間隔のG画素の情報を使用して精度よく行うことができる。
 〔特徴(6)〕
 図3に示すカラーフィルタ配列の基本配列パターンPは、その中心(4つのGフィルタ23Gの中心)に対して点対称になっている。また、図4に示したように、基本配列パターンP内のA配列24a及びB配列24bも、それぞれ中心のGフィルタ23Gに対して点対称になっている。
 このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
 図7に示すように太枠で示した基本配列パターンPにおいて、水平方向の第1から第6のラインのうちの第1及び第3のラインのカラーフィルタ配列は、GBGGRGであり、第2のラインのカラーフィルタ配列は、RGRBGBであり、第4及び第6のラインのカラーフィルタ配列は、GRGGBGであり、第5のラインのカラーフィルタ配列は、BGBRGRとなっている。
 いま、図7において、基本配列パターンPを水平方向、及び垂直方向にそれぞれ1画素ずつシフトした基本配列パターンをPa、それぞれ2画素ずつシフトした基本配列パターンをPbとすると、これらの基本配列パターンPa、Pbを水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
 即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図7に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第1の実施形態では、基本配列パターンが点対称になっている基本配列パターンPを、便宜上、基本配列パターンという。
 尚、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
 [カラー撮像素子の第2の実施形態]
 図8は本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。なお、第2の実施形態のカラー撮像素子は、カラーフィルタ配列が異なる点を除けば、上記第1の実施形態と基本的には同じ構成である。このため、上記第1の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
 第2の実施形態のカラー撮像素子26のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが4×4画素に対応する配列パターンで配列されてなるサブ配列により構成されている。本実施形態のサブ配列には、A配列27a及びB配列27bの2種類がある。なお、図8はカラーフィルタ配列の一部を抽出した図面である(図9以降も同様)。
 カラーフィルタ配列は、A配列27a及びB配列27bが水平方向に交互に配置されてなるサブ配列群28を複数含み、各サブ配列群28が垂直方向に繰り返し配置されてなる。さらに、このカラーフィルタ配列では、垂直方向に互いに隣接するサブ配列群28が水平方向に1画素間隔分ずれて配置されている。
 また、本実施形態では、垂直方向に奇数番目に配置されたサブ配列群28に対して、偶数番目に配置されたサブ配列群28を同方向に1画素間隔分ずらして配置させている。これにより、各サブ配列群28のずれ方向がカラーフィルタ配列の垂直方向に沿って交互に互い違いとなる。具体的には、例えば垂直方向に1番目のサブ配列群28に対して2番目のサブ配列群28が図中右方向にずれ、この2番目のサブ配列群28に対して3番目のサブ配列群28が図中左方向にずれ、以下同様にして、ずれ方向が右、左、右・・・に切り替わる。
 A配列27aには、その2つの対角線上に沿ってGフィルタ23Gが配置されている。また、A配列27aには、Rフィルタ23R及びBフィルタ23Bがカラーフィルタ配列の水平・垂直方向の各フィルタライン内に1つずつ配置されている。一方、B配列27bは、Rフィルタ23RとBフィルタ23Bとの位置関係が逆転している点を除けば、A配列27aと基本的には同じ配列パターンである。
 このようなカラーフィルタ配列は、8×8画素に対応する正方配列パターンからなる基本配列パターンP1(図中の太枠で示したパターン)が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。この基本配列パターンP1は、互いに隣接するサブ配列群28にそれぞれ含まれるサブ配列(A配列27a及びB配列27bの少なくとも一方)をそれぞれ含んでいる。
 図9に示すように、基本配列パターンP1を水平・垂直方向に繰り返し配置することにより、図8に示したカラーフィルタ配列が得られる。このため、カラーフィルタ配列は前述の特徴(1)を有する。
 この際に、カラーフィルタ配列の基本配列パターンは、図9に示した基本配列パターンP1に限定されるものではなく、8×8画素に対応する正方配列パターンであれば特に限定はされない。例えば、図8に示した基本配列パターンP1を水平方向、垂直方向にそれぞれ2画素、1画素だけシフトさせた基本配列パターンP1a(図8中の点線枠で表示)を、図10に示すように水平・垂直方向に繰り返し配置した場合でも、図8に示したカラーフィルタ配列が得られる。このようにカラーフィルタ配列は、任意の8×8画素に対応する基本配列パターンを水平・垂直方向に繰り返し配置してなる。以下、第2の実施形態では基本配列パターンに符号「P1」を付す。
 図8に戻って、A配列27a及びB配列27bがN×N(Nは4以上の偶数,なお、N=2の場合は後述する)画素に対応する配列パターンを有し(条件1)、両配列27a,27bの少なくとも2つの対角線上にGフィルタ23Gが配置され(条件2)、さらに互いに隣接するサブ配列群28が1画素間隔分ずらして配置されている場合(条件3)には、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。
 一方、例えば図11に示す比較例のように、条件1及び条件2は満たされるが条件3を満たさない場合には、カラーフィルタ配列が基本配列パターンPNGを並べた配列とみなすことができるものの、各サブ配列(両配列27a,27b)のGフィルタ23Gの配置されていない画素(以下、G空白画素という)が、同一の斜め(NE,NW)方向のライン上に位置してしまう。その結果、カラーフィルタ配列に、Gフィルタ23Gが配置されていない斜めライン(以下、G空白ラインという)Lが生じる。
 これに対して、図12に示すように本実施形態では、互いに隣接するサブ配列群28が水平方向に1画素間隔分ずれて配置されているので、1つのサブ配列群28のサブ配列のG空白ラインLの延長線上には、他のサブ配列群28のサブ配列のGフィルタ23Gが少なくとも1つは配置されている。その結果、図11に示した比較例のようなG空白ラインLは生じない。
 また、Gフィルタ23Gは前述の条件2を満たすように配列されているので、カラーフィルタ配列の水平、垂直方向の各フィルタライン上にGフィルタ23Gは1以上配置される。このように、第2の実施形態では、前述の条件1~3を満たすようにGフィルタ23Gを配列することで、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
 さらに、前述の条件2を満たす場合には、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(5)を有する。
 図8に戻って、Rフィルタ23R及びBフィルタ23Bは、各サブ配列(両配列27a,27b)内において、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されている。このため、Rフィルタ23R及びBフィルタ23Bは、任意の基本配列パターンP1内においても、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。このため、カラーフィルタ配列は前述の特徴(4)を有する。
 さらに、第2の実施形態では、基本配列パターンP1内におけるRGBフィルタ23R,23B,23Rに対応するR画素、G画素、B画素の画素数(以下、適宜RGB画素の各画素数と略す)が、16画素、32画素、16画素となる。このため、RGB画素の各画素数の比率は1:2:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
 なお、基本配列パターンP1は、その中心に対して点対称とはなっていない。
 上記のように第2の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 また、基本配列パターンP1が「偶数×偶数」画素に対応する配列パターンで構成されるため、カラー撮像素子26がCMOS撮像素子である場合に、例えば正方行列状に配置された4個の画素で1個のアンプ回路を共有させることもできる(他の実施形態も同様)。
 [カラー撮像素子の第3の実施形態]
 図13は本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態では、互いに隣接するサブ配列群28を水平方向に1画素間隔分ずらして配置している。これに対して、第3の実施形態のカラー撮像素子30では、互いに隣接するサブ配列群28を水平方向に2画素間隔分ずらして配置している。
 なお、第3の実施形態は、互いに隣接するサブ配列群28のずれ量が異なる点を除けば、上記第1及び第2の実施形態と基本的には同じ構成であるので、これら各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する(第4の実施形態以降の各実施形態についても同様)。
 カラー撮像素子30のカラーフィルタ配列(以下、単にカラーフィルタ配列という)についても、第2の実施形態と同様に、8×8画素に対応する正方配列パターンからなる基本配列パターンP2が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。なお、基本配列パターンP2は、図13に示した配列パターンに限定されるものではなく、8×8画素に対応する任意の正方配列パターンを基本配列パターンとすることができる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
 互いに隣接するサブ配列群28を2画素間隔分ずらして配置した場合(条件3A)でも、カラーフィルタ配列ではGフィルタ23Gが配置されていない斜め(NE,NW)ラインは生じない。また、前述の条件2が満たされているので、カラーフィルタ配列にはGフィルタ23Gが配置されていない水平、垂直ラインも生じない。さらに、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(2)及び特徴(5)を有する。
 Rフィルタ23R及びBフィルタ23Bは、第2の実施形態と同様に、各サブ配列内においてカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されている。このため、Rフィルタ23R及びBフィルタ23Bは、任意の基本配列パターンP2においてもカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(4)を有する。さらに、RGB画素の各画素数の比率は第2の実施形態と同じであるので、カラーフィルタ配列は前述の特徴(3)を満たす。
 なお、第2の実施形態と同様に、基本配列パターンP2は、その中心に対して点対称とはなっていない。
 上記のように第3の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 [カラー撮像素子の第4の実施形態]
 図14は本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2及び第3の実施形態では、垂直方向に互いに隣接するサブ配列群28を水平方向にずらして配置している。これに対して、第4の実施形態のカラー撮像素子32では、水平方向に互いに隣接するサブ配列群を垂直方向にずらして配置している。
 カラー撮像素子32のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、A配列27a及びB配列27bが垂直方向に交互に配列されてなるサブ配列群33を複数含み、各サブ配列群33が水平方向に繰り返し配置されてなる。
 また、カラーフィルタ配列では、水平方向に互いに隣接するサブ配列群33を垂直方向に1画素間隔分ずらして配置している。具体的には、水平方向に奇数番目に配置されたサブ配列群33に対して、偶数番目に配置されたサブ配列群33を同方向に1画素間隔分ずらしている。これにより、各サブ配列群33のずれ方向がカラーフィルタ配列の水平方向に沿って交互に互い違いとなる。
 このようなカラーフィルタ配列についても、8×8画素に対応する正方配列パターンとなる基本配列パターンP3が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。なお、基本配列パターンP3は、図14に示した配列パターンに限定されるものではなく、8×8画素に対応する任意の正方配列パターンを基本配列パターンとすることができる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
 また、カラーフィルタ配列は、互いに隣接するサブ配列群33のずらし方向が第2実施形態とは異なるものの、互いに隣接するサブ配列群を1画素間隔分ずらすという点では第2実施形態と同じである。このため、カラーフィルタ配列は、前述の条件1、条件2、及び条件3を満たすので、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。さらに、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(2)及び特徴(5)を有する。
 Rフィルタ23R及びBフィルタ23Bは、第2の実施形態と同様に、各サブ配列(A配列27a及びB配列27b)内においてカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されているので、任意の基本配列パターンP3内においてもカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(4)を有する。さらに、RGB画素の各画素数の比率は第2の実施形態と同じであるので、カラーフィルタ配列は前述の特徴(3)を満たす。
 なお、基本配列パターンP3は、その中心に対して点対称とはなっていない。
 上記のように第4の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 [カラー撮像素子の第5の実施形態]
 図15は本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記の第4の実施形態では、水平方向に互いに隣接するサブ配列群33同士を垂直方向に1画素間隔分だけずらして配置している。これに対して、第5の実施形態のカラー撮像素子36では、互いに隣接するサブ配列群33同士を垂直方向に2画素間隔分だけずらして配置している。
 カラー撮像素子36のカラーフィルタ配列(以下、単にカラーフィルタ配列という)についても、第4の実施形態と同様に、8×8画素に対応する任意の正方配列パターンからなる基本配列パターンP4が水平・垂直方向にそれぞれ並べられた配列となっていると捉えることもできる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
 また、カラーフィルタ配列は、互いに隣接するサブ配列群33同士を水平方向に2画素間隔分だけずらしている点を除けば基本的には第4の実施形態のカラーフィルタ配列と同じである。このため、カラーフィルタ配列にはG正方配列25が含まれるとともに、任意の基本配列パターンP4内におけるカラーフィルタ配列の水平、垂直方向の各フィルタライン内にRフィルタ23R及びBフィルタ23Bがそれぞれ配置される。さらに、RGB画素の各画素数の比率は1:2:1となる。これにより、カラーフィルタ配列は、前述の特徴(5)、(4)、及び(3)を有する。
 また、カラーフィルタ配列は、互いに隣接するサブ配列群33のずらし方向が第3実施形態とは異なるものの、互いに隣接するサブ配列群同士を2画素間隔分ずらすという点では第3実施形態と同じである。このため、カラーフィルタ配列は、前述の条件1、条件2、及び条件3Aを満たすので、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
 なお、基本配列パターンP4は、その中心に対して点対称とはなっていない。
 上記のように第5の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 [カラー撮像素子の第6の実施形態]
 図16は本発明に係る単板式のカラー撮像素子の第6の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態から第5の実施形態のカラーフィルタ配列は、4×4画素に対応する正方配列パターンを有するサブ配列(A配列27a及びB配列27b)により構成されている。これに対して、第6の実施形態のカラー撮像素子39のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、2×2画素に対応する正方配列パターンを有するサブ配列により構成されている。
 カラーフィルタ配列は、A配列40a及びB配列40bが水平方向に交互に配列されてなるサブ配列群41aと、C配列40c及びD配列40dが水平方向に交互に配列されてなるサブ配列群41bとを含み、かつサブ配列群41aとサブ配列群41bとが垂直方向に交互に配置されてなる。さらに、このカラーフィルタ配列では、垂直方向に互いに隣接するサブ配列群41aとサブ配列群41bとが水平方向に1画素間隔分だけ互いにずれて配置されている。
 A配列40aには、その2つの対角線のうちの左斜め(NW)方向の対角線に沿ってGフィルタ23Gが配置され、右斜め(NE)方向の対角線に沿ってBフィルタ23Bが配置されている。また、B配列40bは、A配列40aのBフィルタ23BをRフィルタ23Rに置き換えたものである。
 C配列40cには、左斜め(NW)方向の対角線に沿ってGフィルタ23Gが配置され、右斜め(NE)方向の対角線に沿ってBフィルタ23B、Rフィルタ23Rがそれぞれ1つずつ配置されている。また、D配列40dは、C配列40cのRフィルタ23RとBフィルタ23Bとの位置関係を逆転させたものである。
 上記構成のカラーフィルタ配列は、4×4画素に対応する正方配列パターンとなる基本配列パターンP5が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。なお、上記第2の実施形態などと同様に、基本配列パターンP5は、図16に示した配列パターンに限定されるものではなく、4×4画素に対応する任意の正方配列パターンを基本配列パターンとすることができる。その結果、カラーフィルタ配列は前述の特徴(1)を有する。
 また、カラーフィルタ配列は、各配列40a~40dが2×2画素に対応する配列パターンを有する条件1Aと、各配列40a~40dの2つの対角線の一方上にGフィルタ23Gが配置される条件2Aと、互いに隣接するサブ配列群41aとサブ配列群41bとが1画素間隔分ずれて配置される前述の条件3とを満たしている。
 条件1A及び条件2Aを満たすことにより、各配列40a~40dの水平・垂直方向のラインにGフィルタ23Gがそれぞれ1つずつ配置されるので、Gフィルタ23Gがカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。この際に、単に条件1A及び条件2Aを満たすだけではGフィルタ23Gが市松模様状に配置されるため、カラーフィルタ配列にGフィルタ23Gが配置されていない斜め方向(NE,NW)のラインが生じるが、さらに条件3を満たすことにより、Gフィルタ23Gがカラーフィルタ配列の斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
 さらに、上記構成のカラーフィルタ配列では、Rフィルタ23R及びBフィルタ23Bが任意の基本配列パターンP5内におけるカラーフィルタ配列の水平、垂直方向の各フィルタライン内にそれぞれ配置される。これにより、カラーフィルタ配列は前述の特徴(4)を有する。また、任意の基本配列パターンP5内のRGBフィルタ23R,23B,23Rに対応するRGB画素の各画素数が4画素、8画素、4画素となる。このため、RGB画素の各画素数の比率は1:2:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
 なお、基本配列パターンP5は、その中心に対して点対称とはなっておらず、また、カラーフィルタ配列にはG正方配列25が含まれてはいない。
 上記のように第6の実施形態のカラーフィルタ配列は、第1の実施形態の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
 また、第6の実施形態のカラーフィルタ配列は、図17のA部分、B部分に示すようにカラー撮像素子39の奇数(偶数でも可)ラインを間引き読み出し駆動したときに、図17のC部分に示すように、基本配列パターンP5aが水平・垂直方向に繰り返し配置された配列となる。このため、動画撮影時などにカラー撮像素子39を間引き読み出し駆動した場合でも、RGBフィルタ23R,23G,23Bの繰り返しパターンに従ってデモザイキング処理等を行うことができる。
 [カラー撮像素子の第7の実施形態]
 図18は本発明に係る単板式のカラー撮像素子の第7の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第6の実施形態では、各配列40a~40dの左斜め(NW)方向の対角線に沿ってGフィルタ23Gが配置されているが、第7の実施形態のカラー撮像素子45のように、A、B、C、D配列46a~46dの右斜め(NE)方向の対角線に沿ってGフィルタ23Gが配置されていてもよい。
 各配列46a~46dは、それぞれ上記第6の実施形態の各配列40a~40dを図16中で時計回り方向に90°回転させたときの配列と同じパターンを有している。このような各配列46a~46dで構成されるカラーフィルタ配列は、Gフィルタ23Gの配置が逆転している点を除けば第6の実施形態のカラーフィルタ配列と基本的には同じ配列パターンである。
 また、カラーフィルタ配列に含まれる基本配列パターンP6についても、Gフィルタ23Gの配置が逆転している点を除けば第6の実施形態の基本配列パターンP5と基本的には同じ配列パターンである。このため、第7の実施形態のカラーフィルタ配列も、第1の実施形態の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。
 さらに、図19のA部分~C部分に示すように、カラー撮像素子45の奇数(偶数でも可)ラインを間引き読み出し駆動したときに、第6の実施形態と同様に、カラーフィルタ配列が基本配列パターンP6aを水平・垂直方向に繰り返し配置した配列となる。
 [カラー撮像素子の第8の実施形態]
 図20は本発明に係る単板式のカラー撮像素子の第8の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態から第5の実施形態のカラーフィルタ配列は4×4画素に対応する正方配列パターンを有するサブ配列により構成されているが、第8の実施形態のカラー撮像素子48ではサブ配列のサイズをさらに拡大している。
 カラー撮像素子48のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、6×6画素に対応する正方配列パターンを有するサブ配列、具体的にはA配列49aとB配列49bとにより構成されている。このカラーフィルタ配列は、第2の実施形態のカラーフィルタ配列のA配列28aとB配列28bをそれぞれA配列49aとB配列49bを置き換えたものである。このため、カラーフィルタ配列は、A配列49a及びB配列49bが水平方向に交互に配列されてなるサブ配列群50を垂直方向に繰り返し配置してなる。また、第2の実施形態と同様に、互いに隣接するサブ配列群50が水平方向に1画素間隔分ずらして配置されている。
 A配列49a及びB配列49bには、2つの対角線上に沿ってGフィルタ23Gが配置されるとともに、Rフィルタ23R及びBフィルタ23Bがカラーフィルタ配列の水平・垂直方向の各フィルタライン内に1つずつ配置されている。この際に、A配列49a及びB配列49bは、Gフィルタ23Gの数がR、Bフィルタ23R,23Bのそれぞれの数よりも多くなるように、対角線上以外の箇所にもGフィルタ23Gが配置されている。
 このようなカラーフィルタ配列についても、上記第2の実施形態などと同様に、12×12画素に対応する正方配列パターンからなる基本配列パターンP7が水平・垂直方向にそれぞれ並べられた配列であると捉えることもできる。また、このカラーフィルタ配列は、サブ配列(A配列49a及びB配列49b)のサイズを拡大した点を除けば、基本的には第2の実施形態のカラーフィルタ配列と同じであるので、第2の実施形態のカラーフィルタ配列と同様に前述の特徴(1)、(2)、(4)、及び(5)を有する。
 さらに、基本配列パターンP7内のRGBフィルタ23R,23B,23Rに対応するRGB画素の各画素数が32画素、80画素、32画素となる。このため、RGB画素の各画素数の比率は2:5:2となるので、カラーフィルタ配列は前述の特徴(3)を有する。
 なお、基本配列パターンP7は、その中心に対して点対称とはなっていない。
 上記のように第8の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 なお、カラーフィルタ配列が、8×8画素以上のN×N(Nは偶数)画素に対応する配列パターン有するサブ配列により構成されている場合でも、垂直方向または水平方向に互いに隣接するサブ配列群同士が水平方向または垂直方向にM画素間隔分だけ互いにずれて配置されている場合には、上記第2の実施形態と同様の特徴を有する。この場合には、基本配列パターンは、任意の2N×2N画素に対応する正方配列パターンとなる。ここで、Mは、Gフィルタ23Gがカラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置されるようにサブ配列のサイズに応じて適宜定められる。
 また、サブ配列のサイズを拡大する際には、Nを10以下にすることが好ましい。これはNが10を超える場合(N>10)には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。
 [カラー撮像素子の第9の実施形態]
 図21は本発明に係る単板式のカラー撮像素子の第9の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第2の実施形態から第8の実施形態では、垂直方向または水平方向に隣接するサブ配列群をM画素間隔分ずらして配置することで、カラーフィルタ配列が少なくとも第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、及び(4)を有するようにしている。これに対して、第9の実施形態のカラー撮像素子52では、互いに隣接するサブ配列内のGフィルタ23Gの位置をずらすことにより、上記第2の実施形態から第8の実施形態と同様の効果が得られるようにしている。
 カラー撮像素子52のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが8×8画素に対応する配列パターンで配列されてなる基本配列パターンP8を含み、この基本配列パターンP8が水平方向及び垂直方向に繰り返し配置されている。このため、カラーフィルタ配列は前述の特徴(1)を有する。
 基本配列パターンP8は、4×4画素に対応する配列パターンを有する4種類のサブ配列で構成されている。これら4種類のサブ配列は、A配列53a、B配列53b、C配列53c、D配列53dであり、各配列53a~53dは互いに水平・垂直方向に隣接するように行列状に配置されている。具体的には、A配列53aとB配列53b、C配列53cとD配列53dがそれぞれ垂直方向に隣接している。また、A配列53aとC配列53c、B配列53bとD配列53dがそれぞれ水平方向に隣接している。
 A配列53a及びD配列53dは、第2の実施形態のB配列27b(A配列27aでも可)と同じものである。B配列53b及びC配列53cには、2つの対角線上から垂直方向に1画素間隔分だけずれた位置にGフィルタ23Gが配置されている。また、B配列53b及びC配列53cには、Rフィルタ23R及びBフィルタ23Bがカラーフィルタ配列の水平・垂直方向の各フィルタライン内に1つ以上配置されている。
 このように、各配列53a~53dが上記条件1を満たし、さらにGフィルタ23Gが水平方向または垂直方向に互いに隣接している各配列53a~53dの一方の少なくとも2つの対角線上に沿って配置される(条件4)とともに、この一方のGフィルタ23Gの配置に対して他方のGフィルタ23Gの配置がQ(Q<N)画素間隔分だけずれた位置に配置される場合(条件5)には、Gフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。
 また、前述の条件4を満たす場合には、カラーフィルタ配列にはG正方配列25が含まれる。これにより、カラーフィルタ配列は前述の特徴(5)を有する。
 Rフィルタ23R及びBフィルタ23Bは、各サブ配列(各配列53a~53d)内において、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置されている。このため、Rフィルタ23R及びBフィルタ23Bは、基本配列パターンP8内においても、カラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。このため、カラーフィルタ配列は前述の特徴(4)を有する。
 さらに、第9の実施形態では、基本配列パターンP8内のRGBフィルタ23R,23B,23Rに対応するRGB画素の各画素数が、18画素、28画素、18画素となる。このため、RGB画素の各画素数の比率は1:1.6:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
 なお、基本配列パターンP8は、その中心に対して点対称とはなっていない。
 上記のように第9の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 なお、上記第9の実施形態のカラーフィルタ配列では、A配列53a及びD配列53dの内のGフィルタ23Gの配置に対して、B配列53b及びC配列53c内のGフィルタ23Gの配置が図中上方向に1画素間隔分だけずれているが、図中下方向または図中左右方向(水平方向)に1画素間隔分だけ配置をずらしてもよい。
 [カラー撮像素子の第10の実施形態]
 図22は本発明に係る単板式のカラー撮像素子の第10の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第9の実施形態では、A配列53a及びD配列53d内のGフィルタ23Gの配置に対して、B配列53b及びC配列53cのGフィルタ23Gの配置をそれぞれ同方向にずらしている。これに対して、第10の実施形態のカラー撮像素子55では、B配列及びC配列内のGフィルタ23Gの配置のずらし方向を異ならせている。
 カラー撮像素子55のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが8×8画素に対応する配列パターンで配列されてなる基本配列パターンP9を含み、この基本配列パターンP9が水平方向及び垂直方向に繰り返し配置されている。このため、カラーフィルタ配列は前述の特徴(1)を有する。
 基本配列パターンP9は、第9の実施形態の基本配列パターンP8と基本的には同じパターンである。ただし、基本配列パターンP9は、基本配列パターンP8のB配列53b及びC配列53cとはそれぞれ異なるB配列53b1及びC配列53c1を有している。
 B配列53b1内のGフィルタ23Gの配置は、A配列53a及びD配列53dのGフィルタ23Gの配置に対して図中右方向(水平方向)に1画素間隔分ずれている。一方、C配列53c1内のGフィルタ23Gの配置は、A配列53a及びD配列53d内のGフィルタ23Gの配置に対して図中左方向(水平方向)に1画素間隔分ずれている。
 このように、各配列53a,53b1,53c1,53dが上記条件1及び条件4を満たし、かつA配列53a及びD配列53d内のGフィルタ23Gの配置に対してB配列53b及びC配列53c内のGフィルタ23Gの配置がそれぞれ異なる方向にQ(Q<N)画素間隔分だけずれた位置に配置される場合(条件5A)にも、Gフィルタ23Gが、カラーフィルタ配列の水平、垂直、及び斜め(NE,NW)方向の各フィルタライン内に配置される。これにより、カラーフィルタ配列は前述の特徴(2)を有する。また、カラーフィルタ配列は、G正方配列25を含むので前述の特徴(5)を有する。
 Rフィルタ23R及びBフィルタ23Bは、第9の実施形態と同様に、基本配列パターンP9内においてカラーフィルタ配列の水平、垂直方向の各フィルタライン内に配置される。このため、カラーフィルタ配列は前述の特徴(4)を有する。
 また、RGB画素の各画素数の比率は、第9の実施形態と同じであるので、カラーフィルタ配列は前述の特徴(3)を有する。
 なお、基本配列パターンP9は、その中心に対して点対称とはなっていない。
 上記のように第10の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 なお、上記第10の実施形態のカラーフィルタ配列では、A配列53a及びD配列53d内のGフィルタ23Gの配置に対して、B配列53b1及びC配列53c1内のGフィルタ23Gの配置が図中右方向、図中左方向にそれぞれ1画素間隔分だけずれているが、各配置のずらし方向はカラーフィルタ配列が前述の特徴(2)を有する範囲で適宜変更してもよい。さらに、B配列53b1及びC配列53c1の一方のGフィルタ23Gの配置を水平方向にずらし、他方のGフィルタ23Gの配置を垂直方向にずらしてもよい。
 [カラー撮像素子の第11の実施形態]
 図23は本発明に係る単板式のカラー撮像素子の第11の実施形態を示す図であり、特にカラー撮像素子のカラーフィルタ配列に関して示している。上記第9及び第10の実施形態の基本配列パターンP8,P9は、4×4画素に対応する正方配列パターンを有するサブ配列により構成されているが、第11の実施形態のカラー撮像素子57では、サブ配列のサイズをさらに拡大している。
 カラー撮像素子57のカラーフィルタ配列(以下、単にカラーフィルタ配列という)は、RGBフィルタ23R,23G,23Bが12×12画素に対応する配列パターンで配列されてなる基本配列パターンP10を含み、この基本配列パターンP10が水平方向及び垂直方向に繰り返し配置されている。このため、カラーフィルタ配列は前述の特徴(1)を有する。
 基本配列パターンP10は、上記第9及び第10の実施形態と同様に、互いに水平・垂直方向に隣接するように行列状に配置されたA配列58a、B配列58b、C配列58c、及びD配列58dにより構成されている。各配列58a~58dは、RGBフィルタ23R,23G,23Bが6×6画素に対応する配列パターンで配列されてなる。
 このような各配列58a~58dは、個々のサイズを拡大し、かつA配列58a及びD配列58d内の対角線上以外の箇所にもGフィルタ23Gを配置し、さらに、B配列58bのずらし方向を図中上方向に変更した点を除けば、第10の実施形態の各配列53a,53b1,53c1,53dと基本的に同じである。このため、カラーフィルタ配列は、第10の実施形態と同様に、前述の特徴(2)、(4)、及び(5)を有する。
 また、基本配列パターンP10内のRGBフィルタ23R,23B,23Rに対応するRGB画素の各画素数は、36画素、72画素、36画素となる。このため、RGB画素の各画素数の比率は1:2:1となるので、カラーフィルタ配列は前述の特徴(3)を有する。
 なお、基本配列パターンP10は、その中心に対して点対称とはなっていない。
 上記のように第11の実施形態のカラーフィルタ配列は、第1の実施形態のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)、及び(5)と同じ特徴を有している。
 なお、図示は省略するが、基本配列パターンが8×8画素以上のN×N(Nは偶数)画素に対応する配列パターン有するサブ配列により構成されている場合でも、上記第9または第10の実施形態と同様の特徴を有する。ここで、上述したようにNが10を超えても、デモザイキング等の信号処理が複雑化し、さらに基本配列パターンのサイズを大きくすることによる格別な効果が得られないので、Nは10以下にすることが好ましい。
 また、第9の実施形態から第11の実施形態では、A配列及びD配列内のGフィルタ23Gの配置に対して、B配列及びC配列内のGフィルタ23Gの配置をそれぞれ1画素間隔分ずらしているが、カラーフィルタ配列が前述の特徴(2)を有する範囲内において、Gフィルタ23Gの配置のずらし量を2~Q画素間隔の範囲で変えてもよい。さらに、カラーフィルタ配列内における、A配列及びD配列の位置と、B配列及びC配列の位置とを逆転させてもよい。
 [その他]
 上記各実施形態のRフィルタ23R及びBフィルタ23Bの配置は、図3~図23に示した配置に限定されず、少なくとも前述の特徴(4)を満たす範囲内で適宜変更してもよい。
 上記第2の実施形態から第8の実施形態では、垂直方向または水平方向に奇数番目に配置されたサブ配列群に対して、偶数番目に配置されたサブ配列群を同方向にずらすことにより、各サブ配列群のずれ方向がカラーフィルタ配列の垂直方向または水平方向に沿って交互に互い違いとなるようにしているが、カラーフィルタ配列が前述の特徴(2)を有する範囲内において、各サブ配列群のずれ方向を適宜変更してもよい。
 [変形例]
 また、上述の各実施形態では、第1の色として緑(G)を採用し、第2の色として赤(R)及び青(B)を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
 <第1のフィルタ(第1の色)の条件>
 上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
 〔条件(1)〕
 条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
 なお、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
 〔条件(2)〕
 条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
 〔条件(3)〕
 条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
 〔条件(4)〕
 条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
 <複数種類の第1のフィルタ(Gフィルタ)>
 したがって、第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタ(G1フィルタ、G2フィルタ)を第1のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタまたはG2フィルタに適宜置き換えられてもよい。G1フィルタは第1の波長帯域のG光を透過し、G2フィルタはG1フィルタと相関の高い第2の波長帯域のG光を透過する(図24参照)。
 G1フィルタとしては、現存のGフィルタ(例えば第1実施形態のGフィルタ)を用いることができる。また、G2フィルタとしては、G1フィルタと相関の高いフィルタを用いることができる。この場合に、G2フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタが配置される受光素子の分光感度曲線のピーク値の近傍)にあることが望ましい。なお、4色(R、G1、G2、B)のカラーフィルタを決定する方法は、例えば特開2003-284084号に記載されている方法が用いられる。
 このようにカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
 なお、G1、G2フィルタの透過率は、第1実施形態のGフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。したがって、G1、G2フィルタは前述の条件(1)を満たす。
 また、カラーフィルタ配列(受光素子)の分光感度特性を示す図24において、各G1、G2フィルタの透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。各G1、G2フィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、各G1、G2フィルタは前述の条件(2)、(3)も満たしている。
 なお、各G1、G2フィルタの配置や個数は適宜変更してもよい。また、Gフィルタの種類を3種類以上に増加してもよい。
 <透明フィルタ(Wフィルタ)>
 上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタW(白色画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えて透明フィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
 透明フィルタWは、透明色(第1の色)のフィルタである。透明フィルタWは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。透明フィルタWの透過率は、Gフィルタよりも高くなるので、輝度信号を得るための寄与率もG色(60%)よりは高くなり、前述の条件(1)を満たす。
 カラーフィルタ配列(受光素子)の分光感度特性を示す図25において、透明フィルタWの透過率のピーク(白色画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、透明フィルタWの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、透明フィルタWは前述の条件(2)、(3)も満たしている。なお、Gフィルタについても透明フィルタWと同様に前述の条件(1)~(3)を満たしている。
 このように透明フィルタWは、前述の条件(1)~(3)を満たしているので、本発明の第1のフィルタとして用いることができる。なお、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部を透明フィルタWに置き換えているので、前述の条件(4)も満たしている。
 <エメラルドフィルタ(Eフィルタ)>
 上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタE(エメラルド画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてエメラルドフィルタ(Eフィルタ)を配置しても良い。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
 カラーフィルタ配列(受光素子)の分光感度特性を示す図26において、エメラルドフィルタEの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、エメラルドフィルタEの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、エメラルドフィルタEは前述の条件(2)、(3)を満たしている。また、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部をエメラルドフィルタEに置き換えているので、前述の条件(4)も満たしている。
 なお、図26に示した分光特性では、エメラルドフィルタEがGフィルタよりも短波長側にピークを持つが、Gフィルタよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにエメラルドフィルタEとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなエメラルドフィルタEを選択することもできる。
 <他の色の種類>
 上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)~(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
 <ハニカム配置>
 上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向(H)及び垂直方向(V)に2次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向(H)及び垂直方向(V)に繰り返し配置されてなるが、本発明はこれに限定されるものではない。
 例えば、上述の各実施形態の基本配列パターンを光軸回りに45°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向(NE、NW)に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。
 更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
 9…デジタルカメラ、12,26,30,32,36,39,45,48,52,55,57…カラー撮像素子、23R…Rフィルタ、23G…Gフィルタ、23B…Bフィルタ、24a,27a,40a,46a,49a,53a,58a…A配列、24b,27b,40b,46b,49b,53b,53b1,58b…B配列、40c,46c,53c,53c1,58c…C配列、40d,46d,53d,58d…D配列、28,33,41a,41b,50…サブ配列群、P,P1,P1a,P2,P3,P4,P5,P5a,P6,P6a,P7,P8,P9,P10…基本配列パターン

Claims (10)

  1.  水平方向及び垂直方向に配列された光電変換素子で構成される複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
     前記カラーフィルタの配列は、前記カラーフィルタがN×N(Nは偶数)画素に対応する配列パターンで配列されてなるサブ配列を含み、前記サブ配列を前記水平方向及び垂直方向のいずれか一方向に並べてなるサブ配列群が前記水平方向及び垂直方向の他方向に繰り返して配置されており、かつ前記他方向に互いに隣接する前記サブ配列群同士が前記一方向にM(MはN未満)画素間隔分ずらして配置され、
     前記カラーフィルタは、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを含み、さらに前記第1のフィルタに対応する第1の色の画素数の比率が、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなり、
     前記第1のフィルタは、前記サブ配列の少なくとも対角線上に沿って配置され、
     前記第2の色の各色に対応する前記第2のフィルタは、前記カラーフィルタの配列内で前記水平方向及び垂直方向に繰り返し配置されている基本配列パターン内であって、前記カラーフィルタの配列に含まれる任意の2N×2N画素に対応する基本配列パターン内に、前記カラーフィルタの配列の水平、垂直方向の各フィルタライン内に1以上配置され、
     前記Mは、前記第1のフィルタが前記カラーフィルタの配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に1つ以上配置される値に設定されているカラー撮像素子。
  2.  前記基本配列パターンは、互いに隣接する前記サブ配列群にそれぞれ含まれる前記サブ配列をそれぞれ1以上含む請求項1記載のカラー撮像素子。
  3.  前記Nは4以上の偶数であり、前記第1のフィルタが前記サブ配列の少なくとも2つの対角線上に沿って配置されている請求項1または2記載のカラー撮像素子。
  4.  前記第2の色の各色の前記第2のフィルタは、前記サブ配列内で前記カラーフィルタの配列の水平及び垂直方向の各フィルタライン内に1以上配置されている請求項3記載のカラー撮像素子。
  5.  前記カラーフィルタの配列は、前記第1のフィルタで構成される2×2画素に対応する正方配列を含む請求項3または4記載のカラー撮像素子。
  6.  前記Nが2である場合に、前記第1のフィルタが前記サブ配列の一方の対角線上に沿って配置されている請求項1記載のカラー撮像素子。
  7.  前記他方向に奇数番目に配置された前記サブ配列群に対して、前記他方向に偶数番目に配置された前記サブ配列群が同方向に前記M画素間隔分ずらして配置されている請求項1から6のいずれか1項に記載のカラー撮像素子。
  8.  前記Nが10以下である請求項1から7のいずれか1項に記載のカラー撮像素子。
  9.  前記第1の色は緑色(G)であり、前記第2の色は赤色(R)及び青色(B)である請求項1から8のいずれか1項に記載のカラー撮像素子。
  10.  請求項1~9のいずれか1項に記載のカラー撮像素子を備えた撮像装置。
PCT/JP2012/083842 2011-12-27 2012-12-27 カラー撮像素子 WO2013100037A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12862750.2A EP2800383A4 (en) 2011-12-27 2012-12-27 COLOR PICTURE ELEMENT
CN201280065005.1A CN104025578B (zh) 2011-12-27 2012-12-27 彩色摄像元件
US14/314,424 US20140307135A1 (en) 2011-12-27 2014-06-25 Color imaging element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011286011 2011-12-27
JP2011-286011 2011-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/314,424 Continuation US20140307135A1 (en) 2011-12-27 2014-06-25 Color imaging element

Publications (1)

Publication Number Publication Date
WO2013100037A1 true WO2013100037A1 (ja) 2013-07-04

Family

ID=48697516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083842 WO2013100037A1 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Country Status (5)

Country Link
US (1) US20140307135A1 (ja)
EP (1) EP2800383A4 (ja)
JP (1) JP5621057B2 (ja)
CN (1) CN104025578B (ja)
WO (1) WO2013100037A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP2013201723A (ja) * 2012-03-26 2013-10-03 Hoya Corp 撮像素子用オンチップカラーフィルタ配列
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20220081532A (ko) * 2020-12-09 2022-06-16 에스케이하이닉스 주식회사 이미지 시그널 프로세서 및 이미지 처리 시스템
KR20230047839A (ko) 2021-10-01 2023-04-10 삼성전자주식회사 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2000308080A (ja) 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2001111024A (ja) * 1999-10-07 2001-04-20 Fuji Film Microdevices Co Ltd 固体撮像装置
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2005136766A (ja) 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2009268078A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像素子及び撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1194987A (en) * 1981-09-30 1985-10-08 Yasuo Takemura Solid-state color television camera
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
EP2381688B1 (en) * 2001-01-09 2014-06-25 Sony Corporation Image pick up device
JP4019417B2 (ja) * 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP5151075B2 (ja) * 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5075934B2 (ja) * 2010-03-25 2012-11-21 株式会社東芝 固体撮像装置および画像記録装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2000308080A (ja) 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2001111024A (ja) * 1999-10-07 2001-04-20 Fuji Film Microdevices Co Ltd 固体撮像装置
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2005136766A (ja) 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2009268078A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像素子及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2800383A4

Also Published As

Publication number Publication date
CN104025578A (zh) 2014-09-03
EP2800383A1 (en) 2014-11-05
CN104025578B (zh) 2015-09-02
EP2800383A4 (en) 2015-09-02
US20140307135A1 (en) 2014-10-16
JPWO2013100037A1 (ja) 2015-05-11
JP5621057B2 (ja) 2014-11-05

Similar Documents

Publication Publication Date Title
JP5702894B2 (ja) カラー撮像素子および撮像装置
JP5927068B2 (ja) カラー撮像素子
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5698875B2 (ja) カラー撮像素子および撮像装置
JP5621057B2 (ja) カラー撮像素子
JP5698873B2 (ja) カラー撮像素子および撮像装置
JP5621054B2 (ja) カラー撮像素子
JP5702895B2 (ja) カラー撮像素子および撮像装置
JP5702892B2 (ja) カラー撮像素子および撮像装置
JP5621055B2 (ja) カラー撮像素子
US8976275B2 (en) Color imaging element
JP5411390B2 (ja) カラー撮像素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12862750

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551783

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012862750

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012862750

Country of ref document: EP