WO2013100035A1 - カラー撮像素子 - Google Patents

カラー撮像素子 Download PDF

Info

Publication number
WO2013100035A1
WO2013100035A1 PCT/JP2012/083840 JP2012083840W WO2013100035A1 WO 2013100035 A1 WO2013100035 A1 WO 2013100035A1 JP 2012083840 W JP2012083840 W JP 2012083840W WO 2013100035 A1 WO2013100035 A1 WO 2013100035A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
color
filters
pixels
array
Prior art date
Application number
PCT/JP2012/083840
Other languages
English (en)
French (fr)
Inventor
智行 河合
林 健吉
田中 誠二
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP12862082.0A priority Critical patent/EP2800378A4/en
Priority to CN201280064973.0A priority patent/CN104012084B/zh
Publication of WO2013100035A1 publication Critical patent/WO2013100035A1/ja
Priority to US14/314,555 priority patent/US8982253B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to a color image sensor, and more particularly to a color image sensor capable of suppressing the occurrence of color moire and increasing the resolution.
  • the output image of the single-plate color image pickup device is a RAW image (mosaic image)
  • a multi-channel image is obtained by a process (demosaic process) for interpolating missing color pixels from surrounding pixels.
  • the problem in this case is the reproduction characteristics of high-frequency image signals, and color imaging devices are more likely to cause aliasing than color imaging devices, so color moire (false color). It is an important issue to increase the reproducibility band and to improve the resolution while suppressing the occurrence of noise.
  • the demosaicing process is a process for calculating all color information for each pixel from a mosaic image corresponding to the color filter array of a single-plate color image sensor, and is also called a synchronization process. For example, in the case of an image sensor made up of three color filters of RGB, this is a process of calculating color information for all RGB for each pixel from a mosaic image made of RGB.
  • an optical low-pass filter made of a birefringent material such as crystal is disposed in front of the color image pickup device, and this is avoided by optically dropping high frequencies.
  • coloring due to folding of the high-frequency signal can be reduced, but there is a problem that the resolution is lowered due to its adverse effect.
  • the color filter arrangement of the color image sensor is determined based on an arrangement restriction condition in which any target pixel is adjacent in any one of three colors including the color of the target pixel and four sides of the target pixel.
  • Patent Document 1 A color image sensor having a three-color random array that satisfies the above has been proposed.
  • R and B of the three primary colors of RGB are arranged every three pixels in the horizontal and vertical directions, and G is arranged between these R and B (patent). Reference 4).
  • JP 2000-308080 A JP 2005-136766 A Japanese Patent Laid-Open No. 11-285012 JP-A-8-23543
  • the color imaging device described in Patent Document 1 has a problem that since the filter arrangement is random, it is necessary to optimize each random pattern when performing the demosaicing process in the subsequent stage, and the demosaicing process becomes complicated. is there.
  • the random arrangement is effective for low-frequency color moire, but is not effective for false colors in the high-frequency part.
  • the image sensor described in Patent Document 2 has a problem that the pixel reproduction accuracy in the limit resolution region (particularly in an oblique direction) is not good because G pixels (luminance pixels) are arranged in a checkered pattern.
  • the color solid-state imaging device described in Patent Document 3 has an advantage that the occurrence of false colors can be suppressed because filters of all colors exist on an arbitrary straight line, but the ratio of the number of RGB pixels is equal. There is a problem that the high frequency reproducibility is lower than that of the Bayer array. In the case of the Bayer array, the ratio of the number of G pixels that contributes most to obtain a luminance signal is twice the number of R and B pixels.
  • the ratio of the number of G pixels to the number of R and B pixels is higher than that of the Bayer array, but there are lines of only G pixels in the horizontal or vertical direction. It is not effective against false colors in the high-frequency part in the horizontal or vertical direction.
  • the present invention has been made in view of such circumstances, and can suppress the generation of false colors and increase the resolution, and can simplify the subsequent processing as compared with the conventional random arrangement.
  • An object is to provide an imaging device.
  • a color imaging device is a single image sensor in which a color filter is provided on a plurality of pixels including photoelectric conversion devices arranged in a horizontal direction and a vertical direction.
  • the plate-type color image pickup device includes a first filter corresponding to one or more first colors and two colors having a contribution ratio for obtaining a luminance signal lower than that of the first color.
  • M ⁇ N M, N: an integer of 4 or more, at least one being an odd number, M ⁇ N
  • the basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction, the first filter is arranged in a checkered pattern in the basic array pattern, and the second filter corresponding to each color of the second color is the basic filter
  • An array of color filters in the array pattern One or more pixels are arranged in each line in the horizontal and vertical directions, and the ratio of the number of pixels of the first color corresponding to the first filter is the number of pixels of each color of the second color corresponding to the second filter. Greater than the ratio.
  • the first filter corresponding to the first color having a high contribution rate for obtaining the luminance signal and the second color of at least two colors other than the first color A basic arrangement pattern of M ⁇ N (M, N: an integer of 4 or more, at least one is an odd number, M ⁇ N) in which second filters corresponding to colors are arranged is repeated in the horizontal direction and the vertical direction. Arranged. Thereby, when performing the demosaicing process in the subsequent stage, the process can be performed according to the repetitive pattern, and the subsequent process can be simplified as compared with the conventional random arrangement.
  • the first filter is arranged in a checkered pattern in the basic arrangement pattern.
  • the first filter is arranged in each of the horizontal, vertical, diagonally upper right, and diagonally lower right lines of the color filter array, and the reproduction accuracy of the demosaicing process in the high frequency region can be improved.
  • one or more second filters of each color are arranged in each horizontal and vertical line of the color filter array in the basic array pattern. Thereby, the generation of color moire (false color) can be suppressed and high resolution can be achieved.
  • the ratio of the number of pixels of the first color corresponding to the first filter is greater than the ratio of the number of pixels of each color of the second color corresponding to the second filter. Is also arranged to be larger. Thereby, aliasing can be suppressed and high frequency reproducibility is also good.
  • a color image pickup device is a single-plate color image pickup device in which color filters are arranged on a plurality of pixels including photoelectric conversion elements arranged in a horizontal direction and a vertical direction.
  • the arrangement of the color filters corresponds to a first filter corresponding to one or more first colors and two or more second colors having a contribution ratio for obtaining a luminance signal lower than that of the first color.
  • M ⁇ N M, N are integers, at least one is an odd number, M ⁇ N) and k (k is an integer of 2 or more) sub-arrays.
  • the basic arrangement pattern is repeatedly arranged in the horizontal direction and the vertical direction, and the first filter is arranged in a checkered pattern in the sub-array, and corresponds to each color of the second color
  • the second filter has a color filter within the basic array pattern.
  • the ratio of the number of pixels of the first color corresponding to the first filter is one or more in each horizontal and vertical line of the array of data, and the ratio of the second color corresponding to the second filter It is larger than the ratio of the number of pixels of each color.
  • the first filter corresponding to the first color having a high contribution rate for obtaining the luminance signal and the second color of at least two colors other than the first color M ⁇ N (M, N: integers, at least one is an odd number, M ⁇ N) in which k (k is an integer equal to or greater than 2) sub-arrays in which second filters corresponding to colors are arranged
  • M ⁇ N M, N: integers, at least one is an odd number, M ⁇ N
  • k is an integer equal to or greater than 2
  • the basic array pattern is repeatedly arranged in the horizontal direction and the vertical direction.
  • the first filter is arranged in a checkered pattern in the sub-array.
  • the first filter is arranged in each of the horizontal, vertical, diagonally upper right, and diagonally lower right lines of the color filter array, and the reproduction accuracy of the demosaicing process in the high frequency region can be improved.
  • one or more second filters of each color are arranged in each horizontal and vertical line of the color filter array in the basic array pattern. Thereby, the generation of color moire (false color) can be suppressed and high resolution can be achieved.
  • the ratio of the number of pixels of the first color corresponding to the first filter is greater than the ratio of the number of pixels of each color of the second color corresponding to the second filter. Is also arranged to be larger. Thereby, aliasing can be suppressed and high frequency reproducibility is also good.
  • M is 3, N is greater than M, k is 2, and the basic array pattern has 2 sub-arrays so that the number of pixels is 2M ⁇ N. It is preferable that they are formed side by side.
  • N is 3, M is smaller than N, k is 4, and the basic array pattern has 4 sub-arrays so that the number of pixels is 2M ⁇ 2N. It is preferable that they are formed side by side.
  • the first filter is arranged in each line in the horizontal, vertical, diagonally lower right and diagonally upper right directions of the color filter array. Therefore, the reproduction accuracy of the demosaicing process in the high frequency region can be improved.
  • the second filter corresponding to each color of the second color is arranged in each line in the horizontal, vertical, diagonally lower right and diagonally upper right directions of the color filter array. It is preferred that Thereby, the generation of color moire (false color) can be suppressed and high resolution can be achieved.
  • the first color is a green (G) color and the second color is a red (R) color and a blue (B) color.
  • the color filter includes an R filter, a G filter, and a B filter corresponding to the colors of red (R), green (G), and blue (B), and a basic array
  • the R filter, the G filter, and the B filter are preferably arranged so as not to be adjacent in the horizontal and vertical directions of the arrangement of the color filters. Accordingly, it is possible to easily make an arrangement in which the R filter, the G filter, and the B filter are arranged in the horizontal, vertical, diagonal upper right, and diagonal lower right lines.
  • the color filter includes an R filter, a G filter, and a B filter corresponding to the colors of red (R), green (G), and blue (B), and a basic array
  • the R filter, the G filter, and the B filter are preferably arranged along an oblique (NE or NW) direction of the arrangement of the color filters.
  • the color filter includes an R filter, a G filter, and a B filter corresponding to the colors of red (R), green (G), and blue (B), and a basic array
  • the R filters and the B filters are preferably arranged irregularly so that the same number of R filters and B filters or the difference between the R filters and the B filters is 1. Thereby, generation
  • the color filter includes an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and is arranged in a sub-array.
  • the R filter, the G filter, and the B filter are preferably arranged so as not to be adjacent to each other in the horizontal and vertical directions of the color filter array.
  • the color filter includes an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and is arranged in a sub-array.
  • the R filter, the G filter, and the B filter are preferably arranged along the diagonal upper right or diagonal lower right direction of the arrangement of the color filters.
  • the color filter includes an R filter, a G filter, and a B filter corresponding to red (R), green (G), and blue (B) colors, and is arranged in a sub-array.
  • the R filters and the B filters are preferably arranged irregularly so that the same number of R filters and B filters or the difference between the R filters and the B filters is 1. Note that an imaging apparatus including the above-described color imaging element is also included in the present invention.
  • the present invention it is possible to suppress the occurrence of false colors and increase the resolution, and to simplify the subsequent processing as compared with the conventional random arrangement.
  • each color filter of R, G, B exists in the diagonal upper right direction of the color image sensor of 2nd Embodiment.
  • the figure which shows 4th Embodiment of the single plate type color image pick-up element based on this invention The figure which shows that each color filter of R, G, B exists in the diagonally lower right direction of the color image sensor of 4th Embodiment. The figure which shows that each color filter of R, G, B exists in the diagonally lower right direction of the color image sensor of 4th Embodiment.
  • each color filter of R, G, B exists in the diagonally lower right direction of the color image sensor of 5th Embodiment.
  • the graph which shows the spectral sensitivity characteristic of the light receiving element by which R filter (red filter), G1 filter (1st green filter), G2 filter (2nd green filter), and B filter (blue filter) are arrange
  • positioned The graph which shows the spectral sensitivity characteristic of the light receiving element by which R filter, G filter, B filter, and emerald filter E (E filter) are arrange
  • positioned The figure used in order to explain the subject of the color image sensor which has the color filter of the conventional Bayer arrangement. Other figures used to explain the problems of a color image sensor having a color filter with a conventional Bayer array
  • FIG. 1 is a diagram showing a first embodiment of a single-plate color image pickup device according to the present invention, and particularly shows a color filter array of color filters provided in the color image pickup device.
  • This color image sensor is shown in FIG. 1 arranged on a light receiving surface of a plurality of pixels (not shown) composed of photoelectric conversion elements arranged in a horizontal direction and a vertical direction (two-dimensional array).
  • a color filter of a color filter array is formed, and any one of the three primary color filters of red (R), green (G), and blue (B) is arranged on each pixel.
  • the color image sensor is not limited to a CCD (Charge Coupled Device) color image sensor, and may be another type of image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the color filter array of the color image sensor of the first embodiment has the following features (1), (2), (3), (4), and (5).
  • the color filter array shown in FIG. 1 is a 4 ⁇ 6 pixel basic array pattern P1 (pattern indicated by a thick frame) composed of 2 ⁇ 3 pixel sub-arrays P1-1, P1-2, P1-3, and P1-4.
  • the basic array pattern P1 is repeatedly arranged in the horizontal direction and the vertical direction.
  • the sub arrays P1-1, P1-2, P1-3, and P1-4 have 3 pixels in the vertical direction and 2 pixels in the horizontal direction, and the basic array pattern P1 has 6 pixels in the vertical direction and 4 pixels in the horizontal direction. It is. That is, the sub-array is M ⁇ N pixels (M and N are integers, M ⁇ N), and the basic array pattern P1 is formed by arranging four sub-arrays so that the number of pixels is 2M ⁇ 2N. .
  • G filters that are luminance system pixels are arranged in a checkered pattern.
  • the checkered pattern can also be referred to as a checker pattern.
  • two G filters are arranged in the left column and one G filter is arranged in the right column, but the reverse is also possible. .
  • the R filter or the B filter is arranged along the diagonally lower right direction.
  • positioning R filter or B filter along a diagonal direction is not restricted to this, You may arrange
  • the B filter is arranged on the left side and the R filter is arranged on the right side
  • the R filter is arranged on the left side and the B filter is arranged on the right side.
  • the sub array P1-1 is arranged at the upper left
  • the sub array P1-2 is arranged under the sub array P1-1
  • the sub array P1-3 is arranged at the right side of the sub array P1-1.
  • Subsequence P1-4 is arranged below subsequence P1-3. Note that the arrangement of the sub arrays in the basic array pattern P1 is not limited to this. As long as the basic array pattern P1 is 4 ⁇ 6 pixels, any sub-array may be arranged.
  • R, G, and B color filters are arrayed with periodicity.
  • the color filter array of the reduced image subjected to the thinning process can be the same as the color filter array before the thinning process, and a common processing circuit Can be used.
  • the diagonal upper right direction is the diagonal direction of the right upward direction of the two diagonal lines of the pixel
  • the diagonal lower right direction is the diagonal line direction of the lower right direction of the two diagonal lines of the pixel.
  • the diagonally upper right and diagonally lower right directions are directions of 45 ° with respect to the horizontal direction, but in the case of an array of rectangular pixels, the diagonal diagonal direction is long. The angle can be changed according to the length of the side and the short side.
  • the G filter corresponding to the color that contributes most to obtain the luminance signal is the horizontal, vertical, and diagonally lower right of the color filter array, and It is arranged in each line in the diagonally upper right direction.
  • G filters are arranged in all horizontal and vertical lines in the basic array pattern P1. Further, as shown in FIG. 2, G filters are arranged in all of the diagonally lower right lines 1 to 9 passing through the basic array pattern P1, and as shown in FIG. 3, the diagonal upper right corner passing through the basic array pattern P1. G filters are arranged on all the direction lines 1 to 9.
  • the demosaicing process in the high frequency region is performed regardless of the direction of high frequency.
  • the reproduction accuracy can be improved.
  • the number of R, G, and B pixels corresponding to the R, G, and B filters in the sub-array is 2 pixels
  • the sub-arrays P1-3 and P1-4 have three pixels and one pixel, and the number of R, G, and B pixels corresponding to the R, G, and B filters in the sub-array is 1 respectively. There are 3 pixels, 2 pixels. Therefore, in the basic array pattern P1 of the color filter array shown in FIG. 1, the numbers of R pixels, G pixels, and B pixels corresponding to the R, G, and B filters in the basic array pattern are 6 pixels and 12 pixels, respectively. , 6 pixels.
  • the ratio of the number of pixels of RGB pixels is 1: 2: 1
  • the ratio of the number of G pixels that contributes most to obtain a luminance signal is the R pixel and the B pixel of other colors. It is larger than the ratio of the number of pixels.
  • the number of G filters is approximately double the number of R filters and B filters. can do.
  • the ratio between the number of G pixels and the number of R and B pixels is different, and in particular, the ratio of the number of G pixels that contributes most to obtain a luminance signal is equal to the number of R and B pixels. Since the ratio is larger than the ratio, aliasing during the demosaicing process can be suppressed and high frequency reproducibility can be improved.
  • the R filter and the B filter are irregularly arranged so that the number of R filters and B filters is the same in the basic array pattern, and the difference between the R filter and the B filter is 1 in the sub array. The Thereby, generation
  • the color filter array shown in FIG. 1 includes R filters and B filters corresponding to two or more other colors (R and B colors in this embodiment) other than the G color in the basic array pattern P1.
  • One or more color filters are arranged in each line in the horizontal and vertical directions of the color filter array.
  • R filters and B filters are arranged in all horizontal and vertical lines in the basic array pattern P1. Further, as shown in FIG. 2, R filters and B filters are arranged on all of the diagonally lower right lines 1 to 9 passing through the basic array pattern P1, and as shown in FIG. R filters and B filters are arranged on all of the lines 1 to 9 in the upper right direction passing therethrough.
  • the R filter and B filter are arranged in the horizontal and vertical lines of the color filter array, the occurrence of color moire (false color) can be suppressed.
  • an optical low-pass filter for suppressing the generation of false color can be prevented from being arranged in the optical path from the incident surface of the optical system to the imaging surface, or the occurrence of false color can be prevented even when the optical low-pass filter is applied. Therefore, it is possible to apply a low-frequency component for cutting high-frequency components, and not to impair the resolution.
  • the color filter array shown in FIG. 1 has symmetry. That is, the sub-arrays P1-2 and P1-4 shown in FIG. 1 are line-symmetric with respect to a horizontal line passing through the center of the sub-array. Such symmetry makes it possible to reduce or simplify the circuit scale of the subsequent processing circuit.
  • the basic array pattern of 2 pixels in the horizontal direction, 4 pixels in the horizontal direction including a 2 ⁇ 3 sub-array of 3 pixels in the vertical direction, and 6 pixels in the vertical direction has been described as an example.
  • the sub-array may be 2 pixels in the vertical direction and 3 pixels in the horizontal direction.
  • the basic array pattern is 4 pixels in the vertical direction and 6 pixels in the horizontal direction.
  • FIG. 4 is a diagram showing a second embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor of the second embodiment has the same characteristics as the characteristics (1), (2), (3), and (4) of the color filter array of the color image sensor of the first embodiment. is doing. Note that detailed description of features similar to those of the color filter array of the color image sensor of the first embodiment is omitted.
  • the color filter array shown in FIG. 4 includes a 6 ⁇ 4 pixel basic array pattern P2 (pattern indicated by a thick frame) composed of 3 ⁇ 4 pixel sub-arrays P2-1 and P2-2, and this basic array pattern P2 Are repeatedly arranged in the horizontal and vertical directions.
  • the sub arrays P2-1 and P2-2 have 4 pixels in the vertical direction and 3 pixels in the horizontal direction, and the basic array pattern P2 has 4 pixels in the vertical direction and 6 pixels in the horizontal direction. That is, the sub-array is M ⁇ N pixels (M and N are integers, M ⁇ N), and the basic array pattern P2 is formed by arranging two sub-arrays so that the number of pixels is 2M ⁇ N.
  • the G filters that are luminance pixels are arranged in a checkered pattern.
  • the left and right end columns are arranged in the top row and the second row from the bottom, and the center column is the second row from the top and the second row from the top.
  • the G filter is arranged in the lower row, but the reverse is also acceptable.
  • the R filter and the B filter are arranged along the diagonally lower right direction
  • the R filter and the B filter are arranged along the diagonally upper right direction. ing.
  • R filters, G filters, and B filters are arranged so as not to be adjacent to each other in the vertical and horizontal directions.
  • the R filter, the G filter, and the B filter are arranged so as not to be adjacent to each other in the vertical and horizontal directions, and the basic arrangement pattern P2 is repeatedly arranged in the vertical and horizontal directions.
  • the filters, G filters, and B filters are arranged so as not to be adjacent to each other in the vertical and horizontal directions. However, this condition is not essential.
  • the sub array P2-1 is arranged on the left side, and the sub array P2-2 is arranged on the right side of the sub array P1-1.
  • the arrangement of the sub arrays in the basic array pattern P1 is not limited to this. As long as the basic array pattern P1 is 6 ⁇ 4 pixels, any sub-array may be arranged.
  • R, G, and B color filters are arrayed with periodicity.
  • the G filter corresponding to the color that contributes most to obtain the luminance signal is the horizontal, vertical, diagonal upper right, and diagonal lower right of the color filter array. Located within each line of direction.
  • G filters are arranged in all horizontal and vertical lines in the basic array pattern P2. Further, as shown in FIG. 5, G filters are arranged in all of the diagonally lower right lines 1 to 9 passing through the basic array pattern P1, and as shown in FIG. 6, the diagonally upper right corner passing through the basic array pattern P2. G filters are arranged in all of the direction lines 1 to 9.
  • the number of R, G, and B pixels corresponding to the R, G, and B filters in the sub-array is 3 pixels, There are 6 pixels and 3 pixels. Therefore, in the basic array pattern P1 of the color filter array shown in FIG. 4, the numbers of R pixels, G pixels, and B pixels corresponding to the R, G, and B filters in the basic array pattern are 6 pixels and 12 pixels, respectively. , 6 pixels. That is, the ratio of the number of pixels of RGB pixels is 1: 2: 1, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the R pixel and the B pixel of other colors. It is larger than the ratio of the number of pixels.
  • the color filter array shown in FIG. 4 includes R filters and B filters corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color in the basic array pattern P2.
  • One or more color filters are arranged in each line in the horizontal and vertical directions of the color filter array.
  • R filters and B filters are arranged in all the horizontal and vertical lines in the basic array pattern P2. Further, as shown in FIG. 5, R filters and B filters are arranged on all of the diagonally lower right lines 1 to 9 passing through the basic array pattern P2, and as shown in FIG. R filters and B filters are arranged on all of the lines 1 to 9 in the upper right direction passing therethrough.
  • the 6 ⁇ 4 pixel basic array pattern including the 3 ⁇ 4 pixel sub-array in which the R filter and the B filter are arranged along the diagonally lower right direction has been described as an example.
  • the basic array pattern of 6 ⁇ 4 pixels composed of the sub-array of 3 ⁇ 4 pixels satisfying () to (4) is not limited to this.
  • the basic arrangement pattern of 4 pixels in the vertical direction including the 3 ⁇ 4 sub-array of 4 pixels in the vertical direction and 3 pixels in the horizontal direction and 6 pixels in the horizontal direction has been described as an example.
  • the sub-array may be 3 pixels in the vertical direction and 4 pixels in the horizontal direction.
  • the basic array pattern is 6 pixels in the vertical direction and 4 pixels in the horizontal direction.
  • FIG. 7 is a diagram showing a third embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor of the third embodiment includes the features (1), (2), (3), (4) and (5) of the color filter array of the color image sensor of the first embodiment. It has the same feature and the feature (6) not in the color filter array of the color image sensor of the first embodiment. Note that detailed description of features similar to those of the color filter array of the color image sensor of the first embodiment is omitted.
  • the color filter array shown in FIG. 7 includes a basic array pattern P3 (pattern indicated by a thick frame) of 6 ⁇ 5 pixels composed of sub-arrays P3-1 and P3-2 of 3 ⁇ 5 pixels, and this basic array pattern P2 Are repeatedly arranged in the horizontal and vertical directions.
  • the sub arrays P3-1 and P3-2 have 3 pixels in the vertical direction and 5 pixels in the horizontal direction, and the basic array pattern P3 has 6 pixels in the vertical direction and 5 pixels in the horizontal direction. That is, the sub-array is M ⁇ N pixels (M and N are integers, M ⁇ N), and the basic array pattern P3 is formed by arranging two sub-arrays so that the number of pixels is 2M ⁇ N.
  • G filters which are luminance pixels are arranged in a checkered pattern.
  • the right and left ends and the center column have G filters arranged in the top and bottom rows, and the other columns have G filters arranged in the center row.
  • the reverse is also acceptable.
  • the R filter and the B filter are arranged along the diagonally lower right direction, and in the sub array P3-2, the R filter and the B filter are arranged along the diagonally upper right direction. ing.
  • the R filter, the G filter, and the B filter are arrayed so as not to be adjacent to each other in the vertical and horizontal directions.
  • the R filter, the G filter, and the B filter are arranged so as not to be adjacent to each other in the vertical and horizontal directions. However, this condition is not essential.
  • the sub array P3-1 is disposed on the upper side, and the sub array P3-2 is disposed below the sub array P3-1.
  • the arrangement of the sub arrays in the basic array pattern P3 is not limited to this. As long as the basic array pattern P1 is 6 ⁇ 5 pixels, any sub-array may be arranged.
  • R, G, and B color filters are arrayed with periodicity.
  • the G filter corresponding to the color that contributes most to obtain the luminance signal is the horizontal, vertical, diagonal upper right and diagonal lower right of the color filter array. Located within each line of direction.
  • G filters are arranged in all the horizontal and vertical lines in the basic array pattern P3. Further, as shown in FIG. 8, G filters are arranged on all of the diagonally lower right lines 1 to 9 passing through the basic array pattern P3, and as shown in FIG. 9, the diagonal upper right corner passing through the basic array pattern P3. G filters are arranged in all of the direction lines 1 to 9.
  • the number of R, G, and B pixels corresponding to the R, G, and B filters in each sub-array is 3 pixels or There are 4 pixels, 8 pixels, 4 pixels, or 3 pixels. Therefore, in the basic array pattern P3 of the color filter array shown in FIG. 7, the numbers of R pixels, G pixels, and B pixels corresponding to the R, G, and B filters in the basic array pattern are 7 pixels and 16 pixels, respectively.
  • the ratio of the number of G pixels that contributes most to obtaining a luminance signal is larger than the ratio of the number of R pixels and B pixels of other colors.
  • the R filter has 3 pixels and the B filter has 4 pixels, and in the sub-array P3-1, the R filter has 4 pixels and the B filter has 3 pixels, but the reverse is also possible.
  • the color filter array shown in FIG. 7 includes R filters and B filters corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color in the basic array pattern P2.
  • One or more color filters are arranged in each line in the horizontal and vertical directions of the color filter array.
  • R filters and B filters are arranged in all horizontal and vertical lines in the basic array pattern P3. Also, as shown in FIG. 8, R filters and B filters are arranged on all of the diagonally lower right lines 1 to 9 passing through the basic array pattern P3. As shown in FIG. R filters and B filters are arranged in all of the lines 1 to 9 in the upper right direction passing therethrough.
  • the R filter, the G filter, and the B filter are arranged so as not to be adjacent to each other in the vertical and horizontal directions, but the basic that satisfies the feature (4) by arranging each color filter in this way.
  • An arrangement pattern can be made easy.
  • the color filter array shown in FIG. 7 has symmetry.
  • the sub-arrays P3-1 and P3-2 of the color filter array shown in FIG. 7 are point-symmetric with respect to the center of the sub-array pattern (center of the center R filter or B filter).
  • the color filter array shown in FIG. 7 includes a square array corresponding to 2 ⁇ 2 pixels composed of G filters. Since the G filters are arranged at the four corners of the sub arrays P3-1 and P3-2, a total of four sub arrays P3-1 and P3-2 are arranged in the horizontal direction and the vertical direction, or a basic array. When two patterns P3 are arranged in the left-right direction, a square array corresponding to 2 ⁇ 2 pixels composed of G filters appears at the center thereof.
  • this color filter array it is possible to determine a direction having a high correlation among the horizontal direction, the vertical direction, and the diagonal direction by using the information of the G pixel having the minimum pixel interval.
  • This direction discrimination result can be used for a process of interpolating from surrounding pixels (a demosaicing process).
  • the basic arrangement pattern of 3 pixels in the vertical direction, 6 pixels in the vertical direction including a 3 ⁇ 5 sub-array of 5 pixels in the horizontal direction, and 5 pixels in the horizontal direction has been described as an example.
  • the sub-array may be 5 pixels in the vertical direction and 3 pixels in the horizontal direction.
  • the basic array pattern is 5 pixels in the vertical direction and 3 pixels in the horizontal direction.
  • N ⁇ M satisfying at least the features (1) to (4) (M and N are integers, at least one is an odd number, M ⁇ N) is an example of the basic array pattern in which the sub-arrays are repeatedly arranged in the horizontal direction and the vertical direction, and the present invention is not limited to this.
  • the M pixel may be the number of pixels in the horizontal direction and N may be the number of pixels in the vertical direction, or the N pixels may be the number of pixels in the horizontal direction and M may be the number of pixels in the vertical direction.
  • M is preferably 3 or less.
  • FIG. 11 is a diagram showing a fourth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor of the fourth embodiment has the same characteristics as the characteristics (1), (2), (3) and (4) of the color filter array of the color image sensor of the first embodiment. is doing. Note that detailed description of features similar to those of the color filter array of the color image sensor of the first embodiment is omitted.
  • the color filter array shown in FIG. 11 includes a basic array pattern P4 (pattern indicated by a thick frame) composed of a square array pattern corresponding to 4 ⁇ 5 pixels, and this basic array pattern P4 is repeatedly arranged in the horizontal direction and the vertical direction. Has been.
  • the basic array pattern P4 has 4 pixels in the vertical direction and 5 pixels in the horizontal direction, but it may be reversed.
  • G filters that are luminance pixels are arranged in a checkered pattern.
  • the checkered pattern can also be referred to as a checker pattern.
  • the G filters are arranged second and second from the top and bottom in the columns at both ends and the center, and one G filter is arranged in the second and bottom from the other two columns.
  • the reverse is also acceptable.
  • R, G, and B color filters are arrayed with periodicity.
  • the G filter corresponding to the color that contributes most to obtain the luminance signal is the horizontal, vertical, diagonal upper right, and diagonal lower right of the color filter array. Located within each line of direction.
  • G filters are arranged in all horizontal and vertical lines in the basic array pattern P4. Further, as shown in FIG. 12, G filters are arranged in all of the diagonally lower right lines 1 to 8 passing through the basic array pattern P4, and as shown in FIG. 13, the diagonal upper right passing through the basic array pattern P4. G filters are arranged in all of the direction lines 1 to 8.
  • the basic array pattern P4 of the color filter array shown in FIG. 11 has 5 pixels, 10 pixels, 5 pixels for the R, G, and B pixels corresponding to the R, G, and B filters in the basic array pattern, respectively. It is a pixel. That is, the ratio of the number of pixels of RGB pixels is 1: 2: 1, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the R pixel and the B pixel of other colors. It is larger than the ratio of the number of pixels.
  • the number of G filters can be made approximately twice the number of R filters and B filters.
  • the R filters and the B filters are irregularly arranged so that the R filters and the B filters have the same number in the basic arrangement pattern. Thereby, generation
  • the color filter array shown in FIG. 11 has an R filter and a B filter corresponding to two or more other colors (R and B colors in this embodiment) other than the G color in the basic array pattern P4.
  • One or more color filters are arranged in each line in the horizontal and vertical directions of the color filter array.
  • R filters and B filters are arranged in all horizontal and vertical lines in the basic array pattern P4. Also, as shown in FIG. 12, R filters and B filters are arranged in all of the diagonally lower right lines 1 to 8 passing through the basic array pattern P4. As shown in FIG. R filters and B filters are arranged in all of the lines 1 to 8 in the upper right direction passing therethrough.
  • the R filter, the G filter, and the B filter are arranged so as not to be adjacent to each other in the vertical and horizontal directions, but the basic that satisfies the feature (4) by arranging the color filters in this way.
  • An arrangement pattern can be made easy.
  • FIG. 14 is a diagram showing a fifth embodiment of a single-plate color image sensor according to the present invention, and particularly shows a color filter array of color filters provided in the color image sensor.
  • the color filter array of the color image sensor of the fourth embodiment has the same characteristics as the characteristics (1), (2), (3) and (4) of the color filter array of the color image sensor of the first embodiment. is doing. Note that detailed description of features similar to those of the color filter array of the color imaging device of the first and fourth embodiments is omitted.
  • the color filter array shown in FIG. 14 includes a basic array pattern P5 (pattern indicated by a thick frame) consisting of a square array pattern corresponding to 4 ⁇ 5 pixels, and this basic array pattern P5 is repeatedly arranged in the horizontal direction and the vertical direction. Has been.
  • the basic array pattern P5 has 4 pixels in the vertical direction and 5 pixels in the horizontal direction, but it may be reversed.
  • G filters that are luminance system pixels are arranged in a checkered pattern.
  • the checkered pattern can also be referred to as a checker pattern.
  • the G filters are arranged second from the top and bottom in both ends and the middle row, and one G filter is arranged in the second and bottom from the other two rows.
  • the reverse is also acceptable.
  • the R filter and the B filter are arranged along the diagonally lower right direction.
  • the method of arranging the R filter and the B filter along the diagonal direction is not limited to this, and the R filter and the B filter may be reversed, and the R filter and the B filter may be arranged along the diagonal upper right direction. May be.
  • R, G, and B color filters are arrayed with periodicity.
  • the G filter corresponding to the color that contributes most to obtain the luminance signal is the horizontal, vertical, diagonal upper right, and diagonal lower right of the color filter array. Located within each line of direction.
  • G filters are arranged in all the horizontal and vertical lines in the basic array pattern P5. Further, as shown in FIG. 15, G filters are arranged in all of the diagonally lower right lines 1 to 8 passing through the basic array pattern P5, and as shown in FIG. 16, the upper right diagonal through the basic array pattern P5. G filters are arranged in all of the direction lines 1 to 8.
  • the numbers of R pixels, G pixels, and B pixels corresponding to the R, G, and B filters in the basic array pattern are 5 pixels, 10 pixels, 5 pixels, respectively. It is a pixel. That is, the ratio of the number of pixels of RGB pixels is 1: 2: 1, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the R pixel and the B pixel of other colors. It is larger than the ratio of the number of pixels.
  • the color filter array shown in FIG. 14 includes R filters and B filters corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color in the basic array pattern P5.
  • One or more color filters are arranged in each line in the horizontal and vertical directions of the color filter array.
  • R filters and B filters are arranged in all the horizontal and vertical lines in the basic array pattern P5. Further, as shown in FIG. 15, R filters and B filters are arranged on all of the diagonally lower right lines 1 to 8 passing through the basic array pattern P5. As shown in FIG. R filters and B filters are arranged in all of the lines 1 to 8 in the upper right direction passing therethrough.
  • the R filter, the G filter, and the B filter are arranged so as not to be adjacent to each other in the vertical and horizontal directions, but the basic that satisfies the feature (4) by arranging each color filter in this way.
  • An arrangement pattern can be made easy.
  • N ⁇ M satisfying the characteristics (1) to (4) (M and N are integers, at least one is an odd number, M ⁇ N) is an example of the basic arrangement pattern, and is not limited to this. However, since M (3) is not satisfied when M is 3 or less, M is preferably 4 or more.
  • the basic array pattern of N ⁇ M (M, N is an integer, at least one is an odd number, M ⁇ N) that satisfies at least the features (1) to (4) is limited to 4 ⁇ 5 pixels. Absent. If the G filters are arranged in a checkered pattern, basic array patterns with various numbers of pixels such as 5 ⁇ 6 pixels, 5 ⁇ 8 pixels, 7 ⁇ 6 pixels, and 7 ⁇ 8 pixels are possible. However, considering the ease of image processing such as demosaicing processing and thinning processing during moving image shooting, N is preferably 10 or less.
  • the G filter of G color has been described as an example of the first filter having the first color of the present invention. However, instead of the G filter or a part of the G filter. A filter that satisfies any of the following conditions (1) to (4) may be used.
  • Condition (1) is that the contribution rate for obtaining the luminance signal is 50% or more. This contribution rate of 50% is a value determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention, and is used to obtain luminance data. Are determined to be included in the “first color” in which the contribution ratio is relatively higher than the R color, the B color, and the like.
  • the color having a contribution ratio of less than 50% is the second color (R color, B color, etc.) of the present invention, and the filter having this color is the second filter of the present invention.
  • Condition (2) is that the peak of the transmittance of the filter is in the range of wavelengths from 480 nm to 570 nm.
  • a value measured with a spectrophotometer is used as the transmittance of the filter.
  • This wavelength range is a range defined for distinguishing between the first color (G color, etc.) and the second color (R, B color, etc.) of the present invention, and the aforementioned contribution ratio is relative. This is a range determined so that peaks such as R color and B color that become lower in general are not included, and peaks such as G color in which the contribution ratio is relatively higher are included.
  • a filter having a transmittance peak within a wavelength range of 480 nm to 570 nm can be used as the first filter.
  • a filter having a transmittance peak outside the wavelength range of 480 nm to 570 nm is the second filter (R filter, B filter) of the present invention.
  • Condition (3) is that the transmittance within the wavelength range of 500 nm to 560 nm is higher than the transmittance of the second filter (R filter or B filter). Also in this condition (3), the value measured with a spectrophotometer, for example, is used as the transmittance of the filter.
  • the wavelength range of the condition (3) is also a range determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention. This is a range in which the transmittance of a filter having a color whose contribution rate is relatively higher than the color or B color is higher than the transmittance of an RB filter or the like. Therefore, a filter having a relatively high transmittance within a wavelength range of 500 nm to 560 nm can be used as the first filter, and a filter having a relatively low transmittance can be used as the second filter.
  • Condition (4) is that a filter of two or more colors including a color that contributes most to the luminance signal (for example, G color of RGB) among the three primary colors and a color different from the three primary colors is used as the first filter. Is to use. In this case, a filter corresponding to a color other than each color of the first filter is the second filter.
  • the G color G filter as the first filter is not limited to one type.
  • a plurality of types of G filters (G1 filter, G2 filter) can be used as the first filter. That is, the G filter of the color filter (basic array pattern) according to each of the above embodiments may be appropriately replaced with a G1 filter or a G2 filter.
  • the G1 filter transmits G light in the first wavelength band
  • the G2 filter transmits G light in the second wavelength band having a high correlation with the G1 filter (see FIG. 17).
  • an existing G filter for example, the G filter of the first embodiment
  • the G2 filter a filter having a high correlation with the G1 filter
  • the peak value of the spectral sensitivity curve of the light receiving element in which the G2 filter is disposed is, for example, in the wavelength range of 500 nm to 535 nm (near the peak value of the spectral sensitivity curve of the light receiving element in which the existing G filter is disposed). It is desirable to be.
  • a method described in Japanese Patent Application Laid-Open No. 2003-284084 is used as a method for determining the color filters of four colors (R, G1, G2, B).
  • the color of the image acquired by the color imaging device is set to four types, and the color information acquired is increased, so that the color can be more accurately compared with the case where only three types of colors (RGB) are acquired.
  • RGB three types of colors
  • the transmittances of the G1 and G2 filters are basically the same as the transmittance of the G filter of the first embodiment, the contribution rate for obtaining the luminance signal is higher than 50%. Therefore, the G1 and G2 filters satisfy the above condition (1).
  • the transmittance peak of each G1 and G2 filter (sensitivity peak of each G pixel) is in the wavelength range of 480 nm or more and 570 nm or less.
  • the transmittances of the G1 and G2 filters are higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, each G1 and G2 filter also satisfies the above-mentioned conditions (2) and (3).
  • G1 and G2 filters may be changed as appropriate. Moreover, you may increase the kind of G filter to three or more types.
  • Transparent filter (W filter)>
  • a color filter mainly including color filters corresponding to RGB colors is shown.
  • a part of these color filters may be used as the transparent filter W (white pixel).
  • the transparent filter W is a transparent color (first color) filter.
  • the transparent filter W is a filter that can transmit light corresponding to the wavelength range of visible light, and has a transmittance of 50% or more for each color of RGB, for example. Since the transmittance of the transparent filter W is higher than that of the G filter, the contribution rate for obtaining the luminance signal is also higher than that of the G color (60%), and satisfies the above condition (1).
  • the transmittance peak of the transparent filter W (the peak of the sensitivity of the white pixel) is in the wavelength range of 480 nm to 570 nm. Moreover, the transmittance of the transparent filter W is higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, the transparent filter W also satisfies the above-described conditions (2) and (3). As with the transparent filter W, the G filter satisfies the above-described conditions (1) to (3).
  • the transparent filter W satisfies the above-mentioned conditions (1) to (3), it can be used as the first filter of the present invention.
  • the color filter array a part of the G filter corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the transparent filter W, so the above condition (4) is also satisfied.
  • E filter a color filter mainly composed of color filters corresponding to RGB colors is shown. However, some of these color filters may be other color filters, for example, corresponding to emerald (E) colors.
  • a filter E emerald pixel
  • an emerald filter (E filter) may be arranged instead of a part of the first filter (G filter).
  • the peak of the transmittance of the emerald filter E (the peak of the sensitivity of the E pixel) is in the wavelength range of 480 nm to 570 nm. Further, the transmittance of the emerald filter E is higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, the emerald filter E satisfies the above-mentioned conditions (2) and (3). Further, in the color filter array, part of the G filter corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the emerald filter E, so the above condition (4) is also satisfied.
  • the emerald filter E has a peak on the shorter wavelength side than the G filter, but has a peak on the longer wavelength side than the G filter (it looks a little yellowish). is there.
  • those satisfying the conditions of the present invention can be selected.
  • an emerald filter E that satisfies the condition (1) can be selected.
  • the color filter array including the primary color RGB color filters has been described.
  • G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary color RGB.
  • the present invention can also be applied to a color filter array of four complementary color filters.
  • the color filter satisfying any one of the above conditions (1) to (4) is set as the first filter of the present invention, and the other color filter is set as the second filter.
  • Each color filter array of each of the above embodiments includes a basic array pattern in which color filters of each color are two-dimensionally arrayed in the horizontal direction (H) and the vertical direction (V), and this basic array pattern is in the horizontal direction (H ) And the vertical direction (V), but the present invention is not limited to this.
  • the basic arrangement pattern is repeatedly arranged in an oblique direction (NE, NW) using a so-called honeycomb arrangement basic arrangement pattern obtained by rotating the basic arrangement pattern of each of the above-described embodiments by 45 ° around the optical axis.
  • a color filter may be configured by an array pattern.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

 2×3画素のサブ配列P1-1、P1-2、P1-3、P1-4からなる4×6画素の基本配列パターンP1が水平方向及び垂直方向に繰り返し配置されている。サブ配列P1-1、P1-2、P1-3、P1-4は、Gフィルタが両対角線上に配置されている。その結果、Gフィルタがカラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、Rフィルタ、Bフィルタがカラーフィルタ配列の水平及び垂直方向の各ライン内に配置される。また、基本配列パターンP1の輝度信号を得るために寄与率の高いG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きいため、デモザイキング処理に有効である。

Description

カラー撮像素子
 本発明はカラー撮像素子に係り、特に色モワレの発生の抑圧及び高解像度化が可能なカラー撮像素子に関する。
 単板カラー撮像素子の出力画像は、RAW画像(モザイク画像)であるため、欠落している色の画素を、周囲の画素から補間する処理(デモザイク処理)により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ(偽色)の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
 デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理である。
 単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑(G)画素を市松状に、赤(R)、青(B)を線順次に配置しているため、G信号は斜め方向で、R、B信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
 図20の(A)部分に示すような白黒の縦縞模様(高周波画像)が、図20(B)部分に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図20の(C)部分から(E)部分に示すようにRは薄い平坦、Bは濃い平坦、Gは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、RGB間に濃度差(レベル差)は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
 同様に、図21の(A)部分に示すような斜めの白黒の高周波画像が、図21の(B)部分に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図21の(C)部分から(E)部分に示すようにRとBは薄い平坦、Gは濃い平坦の色画像となり、仮に黒の値を0、白の値を255とすると、斜めの白黒の高周波画像は、Gのみ255となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
 一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
 このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む3色と該着目画素の4辺のいずれかにおいて隣接する配列制限条件を満たす3色ランダム配列としたカラー撮像素子が提案されている(特許文献1)。
 また、分光感度が異なる複数のフィルタを有し、そのうち第1のフィルタと第2のフィルタが、画像センサの画素格子の一方の対角方向に第1の所定の周期で交互に配置されていると共に、他方の対角方向に第2の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている(特許文献2)。
 更に、RGBの3原色のカラー固体撮像素子において、R、G、Bを水平に配置した3画素のセットを垂直方向にジグザグにずらしながら配置することによって、RGBそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線(水平、垂直、斜めの直線)が全ての色を通過するようした色配列が提案されている(特許文献3)。
 更にまた、RGBの3原色のうちのR,Bを水平方向及び垂直方向にそれぞれ3画素置きに配置し、これらのR,Bの間にGを配置したカラー撮像素子が提案されている(特許文献4)。
特開2000-308080号公報 特開2005-136766号公報 特開平11-285012号公報 特開平8-23543号公報
 特許文献1に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターン毎に最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
 また、特許文献2に記載の画像センサは、G画素(輝度画素)が市松状に配置されているため、限界解像度領域(特に斜め方向)での画素再現精度が良くないという問題がある。
 特許文献3に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、RGBの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するGの画素数の比率が、R、Bそれぞれの画素数の2倍になっている。
 一方、特許文献4に記載のカラー撮像素子は、R、Bそれぞれの画素数に対するGの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にG画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
 本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができると共に、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子を提供することを目的とする。
 前記目的を達成するために、本発明の一の態様に係るカラー撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとが配列されたM×N(M,N:4以上の整数であり、少なくとも1つは奇数、M≠N)の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第1のフィルタは、基本配列パターン内に市松模様状に配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内にカラーフィルタの配列の水平、及び垂直方向の各ライン内に1つ以上配置され、第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい。
 本発明の一の態様に係るカラー撮像素子によれば、輝度信号を得るための寄与率の高い第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列されたM×N(M,N:4以上の整数であり、少なくとも1つは奇数、M≠N)の基本配列パターンが水平方向及び垂直方向に繰り返して配置される。これにより、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
 また、第1のフィルタは、基本配列パターン内に市松模様状に配置される。これにより、第1のフィルタがカラーフィルタの配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、高周波領域でのデモザイキング処理の再現精度を向上させることができる。更に、各色の第2のフィルタは、基本配列パターン内にカラーフィルタの配列の水平、及び垂直方向の各ライン内に1つ以上配置される。これにより、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
 また、第1のフィルタ及び第2のフィルタは、第1のフィルタに対応する第1の色の画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなるように、配置される。これにより、エリアシングを抑制することができ高周波再現性もよい。
 本発明の一の態様に係るカラー撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、カラーフィルタの配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとが配列されたM×N(M,N:整数であり、少なくとも1つは奇数、M≠N)のサブ配列と、サブ配列をk(k:2以上の整数)個並べた基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第1のフィルタは、サブ配列内に市松模様状に配置され、第2の色の各色に対応する第2のフィルタは、基本配列パターン内にカラーフィルタの配列の水平、及び垂直方向の各ライン内に1つ以上配置され、第1のフィルタに対応する第1の色の画素数の比率は、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きい。
 本発明の一の態様に係るカラー撮像素子によれば、輝度信号を得るための寄与率の高い第1の色に対応する第1のフィルタと第1の色以外の2色以上の第2の色に対応する第2のフィルタとが配列されたM×N(M,N:整数であり、少なくとも1つは奇数、M≠N)のサブ配列をk(k:2以上の整数)個並べた基本配列パターンが水平方向及び垂直方向に繰り返して配置される。これにより、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
 また、第1のフィルタは、サブ配列内に市松模様状に配置される。これにより、第1のフィルタがカラーフィルタの配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置され、高周波領域でのデモザイキング処理の再現精度を向上させることができる。更に、各色の第2のフィルタは、基本配列パターン内にカラーフィルタの配列の水平、及び垂直方向の各ライン内に1つ以上配置される。これにより、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
 また、第1のフィルタ及び第2のフィルタは、第1のフィルタに対応する第1の色の画素数の比率が、第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きくなるように、配置される。これにより、エリアシングを抑制することができ高周波再現性もよい。
 本発明の他の態様に係るカラー撮像素子において、Mは3であり、NはMより大きく、kは2であり、基本配列パターンは、画素数が2M×Nとなるようにサブ配列が2個並べられて形成されることが好ましい。
 本発明の他の態様に係るカラー撮像素子において、Nは3であり、MはNより小さく、kは4であり、基本配列パターンは、画素数が2M×2Nとなるようにサブ配列が4個並べられて形成されることが好ましい。
 本発明の他の態様に係るカラー撮像素子において、第1のフィルタは、カラーフィルタの配列の水平、垂直、斜め右下及び斜め右上方向の各ライン内に配置されることが好ましい。これにより、高周波領域でのデモザイキング処理の再現精度を向上させることができる。
 本発明の他の態様に係るカラー撮像素子において、第2の色の各色に対応する第2のフィルタは、カラーフィルタの配列の水平、垂直、斜め右下及び斜め右上方向の各ライン内に配置されることが好ましい。これにより、色モワレ(偽色)の発生を抑圧して高解像度化を図ることができる。
 本発明の他の態様に係るカラー撮像素子において、第1の色は、緑(G)色であり、第2の色は、赤(R)色及び青(B)色であることが好ましい。
 本発明の他の態様に係るカラー撮像素子において、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、基本配列パターン内において、Rフィルタ、Gフィルタ及びBフィルタは、カラーフィルタの配列の水平及び垂直方向に隣接しないように配置されることが好ましい。これにより、Rフィルタ、Gフィルタ及びBフィルタが水平、垂直、斜め右上、及び斜め右下の各ライン内に配置されるような配置を容易に作ることができる。
 本発明の他の態様に係るカラー撮像素子において、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、基本配列パターン内において、Rフィルタ、Gフィルタ及びBフィルタは、カラーフィルタの配列の斜め(NE又はNW)方向に沿って配置されることが好ましい。これにより、配置に周期性をもたせ、後段に配置される処理回路の回路規模を小さくすることが可能になる。
 本発明の他の態様に係るカラー撮像素子において、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、基本配列パターン内において、Rフィルタ及びBフィルタは、RフィルタとBフィルタとが同じ数又はRフィルタとBフィルタとの差が1となるように、かつ不規則に配置されることが好ましい。これにより、色モワレ(偽色)の発生を抑圧することができる。
 本発明の他の態様に係るカラー撮像素子において、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、サブ配列内において、Rフィルタ、Gフィルタ及びBフィルタは、カラーフィルタの配列の水平及び垂直方向に隣接しないように配置されることが好ましい。
 本発明の他の態様に係るカラー撮像素子において、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、サブ配列内において、Rフィルタ、Gフィルタ及びBフィルタは、カラーフィルタの配列の斜め右上又は斜め右下方向に沿って配置されることが好ましい。
 本発明の他の態様に係るカラー撮像素子において、カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、サブ配列内において、Rフィルタ及びBフィルタは、RフィルタとBフィルタとが同じ数又はRフィルタとBフィルタとの差が1となるように、かつ不規則に配置されることが好ましい。なお、上記のカラー撮像素子を備えた撮像装置も本発明に含まれる。
 本発明によれば、偽色の発生の抑圧及び高解像度化を図ることができると共に、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図 第1の実施形態のカラー撮像素子の斜め右下方向にR、G、Bの各色フィルタが存在していることを示す図 第1の実施形態のカラー撮像素子の斜め右上方向にR、G、Bの各色フィルタが存在していることを示す図 本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図 第2の実施形態のカラー撮像素子の斜め右下方向にR、G、Bの各色フィルタが存在していることを示す図 第2の実施形態のカラー撮像素子の斜め右上方向にR、G、Bの各色フィルタが存在していることを示す図 本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図 第3の実施形態のカラー撮像素子の斜め右下方向にR、G、Bの各色フィルタが存在していることを示す図 第3の実施形態のカラー撮像素子の斜め右上方向にR、G、Bの各色フィルタが存在していることを示す図 第3の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる2×2画素のG画素の画素値から相関方向を判別する方法を説明するために使用した図 本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図 第4の実施形態のカラー撮像素子の斜め右下方向にR、G、Bの各色フィルタが存在していることを示す図 第4の実施形態のカラー撮像素子の斜め右下方向にR、G、Bの各色フィルタが存在していることを示す図 本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図 第5の実施形態のカラー撮像素子の斜め右下方向にR、G、Bの各色フィルタが存在していることを示す図 第5の実施形態のカラー撮像素子の斜め右下方向にR、G、Bの各色フィルタが存在していることを示す図 Rフィルタ(赤フィルタ)、G1フィルタ(第1の緑フィルタ)、G2フィルタ(第2の緑フィルタ)及びBフィルタ(青フィルタ)が配置される受光素子の分光感度特性を示すグラフ Rフィルタ、Gフィルタ、Bフィルタ及びWフィルタ(透明フィルタ)が配置される受光素子の分光感度特性を示すグラフ Rフィルタ、Gフィルタ、Bフィルタ及びエメラルドフィルタE(Eフィルタ)が配置される受光素子の分光感度特性を示すグラフ 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図
 以下、添付図面に従って本発明に係るカラー撮像素子の好ましい実施の形態について詳説する。
 <第1の実施の形態>
 図1は本発明に係る単板式のカラー撮像素子の第1の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
 このカラー撮像素子は、水平方向及び垂直方向に配列(二次元配列)された光電変換素子からなる複数の画素(図示せず)と、各画素の受光面上に配置された、図1に示すカラーフィルタ配列のカラーフィルタとから構成されており、各画素上には、赤(R)、緑(G)、青(B)の3原色のカラーフィルタのうちのいずれかが配置される。
 なお、カラー撮像素子は、CCD(Charge Coupled Device)カラー撮像素子に限らず、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。
 <カラーフィルタ配列の特徴>
 第1の実施形態のカラー撮像素子のカラーフィルタ配列は、下記の特徴(1)、(2)、(3)、(4)及び(5)を有している。
 〔特徴(1)〕
 図1に示すカラーフィルタ配列は、2×3画素のサブ配列P1-1、P1-2、P1-3、P1-4からなる4×6画素の基本配列パターンP1(太枠で示したパターン)を含み、この基本配列パターンP1が水平方向及び垂直方向に繰り返し配置されている。
 サブ配列P1-1、P1-2、P1-3、P1-4は、垂直方向に3画素、水平方向に2画素であり、基本配列パターンP1は、垂直方向に6画素、水平方向に4画素である。すなわち、サブ配列はM×N画素(M,Nは整数、M≠N)であり、基本配列パターンP1は画素数が2M×2Nとなるように4個のサブ配列が並べられて形成される。
 サブ配列P1-1、P1-2、P1-3、P1-4は、輝度系画素であるGフィルタが市松模様状に配置されている。なお、市松模様は、チェッカーパターンともいうことができる。なお、サブ配列P1-1、P1-2、P1-3、P1-4では、左側の列にGフィルタが2つ、右側の列にGフィルタが1つ配置されているが、逆でもかまわない。
 また、サブ配列P1-1、P1-3では、Rフィルタ又はBフィルタは、斜め右下方向に沿って配置されている。なお、Rフィルタ又はBフィルタを斜め方向に沿って配置する方法はこれに限らず、斜め右上方向に沿って配置してもよい。
 また、サブ配列P1-2では、左側にBフィルタ、右側にRフィルタが配置され、サブ配列P1-4では、左側にRフィルタ、右側にBフィルタが配置される。
 基本配列パターンP1は、左上にサブ配列P1-1が配置され、サブ配列P1-1の下にサブ配列P1-2が配置され、サブ配列P1-1の右側にサブ配列P1-3が配置され、サブ配列P1-3の下にサブ配列P1-4が配置される。なお、基本配列パターンP1内のサブ配列の配置はこれに限られない。基本配列パターンP1が4×6画素となるのであれば、どのようにサブ配列を配置してもよい。
 即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が周期性をもって配列されている。
 このようにRフィルタ、Gフィルタ、Bフィルタが周期性をもって配列されているため、カラー撮像素子から読み出されるR、G、B信号のデモザイキング処理(同時化処理)等を行う際に、繰り返しパターンに従って処理を行うことができる。
 また、基本配列パターンP1の単位で間引き処理して画像を縮小する場合、間引き処理された縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。なお、斜め右上方向は、画素の2つの対角線のうちの右上がり方向の対角線の方向であり、斜め右下方向は、画素の2つの対角線のうちの右下がり方向の対角線の方向である。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ45°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺、短辺の長さに応じてその角度は変わりうる。
 〔特徴(2)〕
 図1に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、及び斜め右下、及び斜め右上方向の各ライン内に配置されている。
 図1に示すように、基本配列パターンP1内の水平、垂直方向の全てのライン内にGフィルタが配置されている。また、図2に示すように、基本配列パターンP1を通る斜め右下方向の線1~9の全てにGフィルタが配置されており、図3に示すように、基本配列パターンP1を通る斜め右上方向の線1~9の全てにGフィルタが配置されている。
 これは、N×M(N、Mは整数であり、少なくとも1つは奇数)のサブ配列においてGフィルタが市松模様状に配置されたことによる効果である。
 輝度系画素に対応するGフィルタが、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。
 〔特徴(3)〕
 図1に示すカラーフィルタ配列のサブ配列P1-1、P1-2は、そのサブ配列内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ2画素、3画素、1画素になっており、サブ配列P1-3、P1-4は、そのサブ配列内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ1画素、3画素、2画素になっている。したがって、図1に示すカラーフィルタ配列の基本配列パターンP1は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ6画素、12画素、6画素になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素それぞれの画素数の比率よりも大きくなっている。
 このように、サブ配列P1-1、P1-2、P1-3、P1-4においてGフィルタを市松模様状に配置することによって、Gフィルタの数をRフィルタ及びBフィルタの数の略倍とすることができる。
 上記のようにG画素の画素数とR,B画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するG画素の画素数の比率を、R,B画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができると共に、高周波再現性もよくすることができる。
 また、Rフィルタ及びBフィルタは、基本配列パターン内ではRフィルタとBフィルタとが同じ数となり、サブ配列内ではRフィルタとBフィルタとの差が1となるように、かつ不規則に配置される。これにより、色モワレ(偽色)の発生を抑圧することができる。
 〔特徴(4)〕
 図1に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP1内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
 図1に示すように、基本配列パターンP1内の水平、垂直方向の全てのライン内にRフィルタ及びBフィルタが配置されている。また、図2に示すように、基本配列パターンP1を通る斜め右下方向の線1~9の全てにRフィルタ及びBフィルタが配置されており、図3に示すように、基本配列パターンP1を通る斜め右上方向の線1~9の全てにRフィルタ及びBフィルタが配置されている。
 Rフィルタ、Bフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ(偽色)の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
 〔特徴(5)〕
 図1に示すカラーフィルタ配列は、対称性を有する。すなわち、図1に示すサブ配列P1-2、P1-4は、そのサブ配列の中心を通る水平方向の線に対して線対称となっている。このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
 なお、本実施の形態では、水平方向に2画素、垂直方向に3画素の2×3のサブ配列を含む水平方向に4画素、垂直方向に6画素の基本配列パターンを例に説明したが、サブ配列を垂直方向に2画素、水平方向に3画素としてもよい。この場合には、基本配列パターンは、垂直方向に4画素、水平方向に6画素となる。
 なお、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
 <第2の実施の形態>
 図4は本発明に係る単板式のカラー撮像素子の第2の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
 第2の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。なお、第1の実施形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
 〔特徴(1)〕
 図4に示すカラーフィルタ配列は、3×4画素のサブ配列P2-1、P2-2からなる6×4画素の基本配列パターンP2(太枠で示したパターン)を含み、この基本配列パターンP2が水平方向及び垂直方向に繰り返し配置されている。
 サブ配列P2-1、P2-2は、垂直方向に4画素、水平方向に3画素であり、基本配列パターンP2は、垂直方向に4画素、水平方向に6画素である。すなわち、サブ配列はM×N画素(M,Nは整数、M≠N)であり、基本配列パターンP2は画素数が2M×Nとなるよう2個のサブ配列が並べられて形成される。
 サブ配列P2-1、P2-2は、輝度系画素であるGフィルタが市松模様状に配置されている。なお、サブ配列P2-1、P2-2では、左右端の列は一番上の行と下から2番目の行にGフィルタが配置され、中央の列は上から2番目の行と一番下の行にGフィルタが配置されているが、逆でもかまわない。
 また、サブ配列P2-1では、Rフィルタ及びBフィルタは、斜め右下方向に沿って配置されており、サブ配列P2-2では、Rフィルタ及びBフィルタは、斜め右上方向に沿って配置されている。
 サブ配列P2-1、P2-2内において、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列される。また、基本配列パターンP2内において、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列されると共に、基本配列パターンP2が上下左右に繰り返し配置された状態においても、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列される。ただし、この条件は必須ではない。
 基本配列パターンP2は、左側にサブ配列P2-1が配置され、サブ配列P1-1の右にサブ配列P2-2が配置される。なお、基本配列パターンP1内のサブ配列の配置はこれに限られない。基本配列パターンP1が6×4画素となるのであれば、どのようにサブ配列を配置してもよい。
 即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が周期性をもって配列されている。
 〔特徴(2)〕
 図4に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置されている。
 図4に示すように、基本配列パターンP2内の水平、垂直方向の全てのライン内にGフィルタが配置されている。また、図5に示すように、基本配列パターンP1を通る斜め右下方向の線1~9の全てにGフィルタが配置されており、図6に示すように、基本配列パターンP2を通る斜め右上方向の線1~9の全てにGフィルタが配置されている。
 〔特徴(3)〕
 図4に示すカラーフィルタ配列のサブ配列P2-1、P2-2は、そのサブ配列内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ3画素、6画素、3画素になっている。したがって、図4に示すカラーフィルタ配列の基本配列パターンP1は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ6画素、12画素、6画素になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素それぞれの画素数の比率よりも大きくなっている。
 〔特徴(4)〕
 図4に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP2内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
 図4に示すように、基本配列パターンP2内の水平、垂直方向の全てのライン内にRフィルタ及びBフィルタが配置されている。また、図5に示すように、基本配列パターンP2を通る斜め右下方向の線1~9の全てにRフィルタ及びBフィルタが配置されており、図6に示すように、基本配列パターンP1を通る斜め右上方向の線1~9の全てにRフィルタ及びBフィルタが配置されている。
 なお、本実施の形態では、Rフィルタ及びBフィルタが斜め右下方向に沿って配置された3×4画素のサブ配列を含む6×4画素基本配列パターンを例に説明したが、特徴(1)~(4)を満たす3×4画素のサブ配列からなる6×4画素の基本配列パターンはこれに限定されるものではない。
 また、本実施の形態では、垂直方向に4画素、水平方向に3画素の3×4のサブ配列を含む垂直方向に4画素、水平方向に6画素の基本配列パターンを例に説明したが、サブ配列を垂直方向に3画素、水平方向に4画素としてもよい。この場合には、基本配列パターンは、垂直方向に6画素、水平方向に4画素となる。
 <第3の実施の形態>
 図7は本発明に係る単板式のカラー撮像素子の第3の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
 第3の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)、(4)及び(5)と同じ特徴、及び第1の実施形態のカラー撮像素子のカラーフィルタ配列にはない特徴(6)を有している。なお、第1の実施形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
 〔特徴(1)〕
 図7に示すカラーフィルタ配列は、3×5画素のサブ配列P3-1、P3-2からなる6×5画素の基本配列パターンP3(太枠で示したパターン)を含み、この基本配列パターンP2が水平方向及び垂直方向に繰り返し配置されている。
 サブ配列P3-1、P3-2は、垂直方向に3画素、水平方向に5画素であり、基本配列パターンP3は、垂直方向に6画素、水平方向に5画素である。すなわち、サブ配列はM×N画素(M,Nは整数、M≠N)であり、基本配列パターンP3は画素数が2M×Nとなるよう2個のサブ配列が並べられて形成される。
 サブ配列P3-1、P3-2は、輝度系画素であるGフィルタが市松模様状に配置されている。なお、サブ配列P3-1、P3-2では、左右端及び中央の列は一番上と一番下の行にGフィルタが配置され、その他の列は中央の行にGフィルタが配置されているが、逆でもかまわない。
 また、サブ配列P3-1では、Rフィルタ及びBフィルタは、斜め右下方向に沿って配置されており、サブ配列P3-2では、Rフィルタ及びBフィルタは、斜め右上方向に沿って配置されている。
 サブ配列P3-1、P3-2内において、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列される。また、基本配列パターンP3内において、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列される。ただし、この条件は必須ではない。
 基本配列パターンP3は、上側にサブ配列P3-1が配置され、サブ配列P3-1の下にサブ配列P3-2が配置される。なお、基本配列パターンP3内のサブ配列の配置はこれに限られない。基本配列パターンP1が6×5画素となるのであれば、どのようにサブ配列を配置してもよい。
 即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が周期性をもって配列されている。
 〔特徴(2)〕
 図7に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置されている。
 図7に示すように、基本配列パターンP3内の水平、垂直方向の全てのライン内にGフィルタが配置されている。また、図8に示すように、基本配列パターンP3を通る斜め右下方向の線1~9の全てにGフィルタが配置されており、図9に示すように、基本配列パターンP3を通る斜め右上方向の線1~9の全てにGフィルタが配置されている。
 〔特徴(3)〕
 図7に示すカラーフィルタ配列のサブ配列P3-1、P3-2は、そのサブ配列内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ3画素又は4画素、8画素、4画素又は3画素になっている。したがって、図7に示すカラーフィルタ配列の基本配列パターンP3は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ7画素、16画素、7画素になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素の画素数の比率よりも大きくなっている。
 なお、サブ配列P3-1では、Rフィルタが3画素、Bフィルタが4画素であり、サブ配列P3-1では、Rフィルタが4画素、Bフィルタが3画素であるが、逆でもかまわない。
 〔特徴(4)〕
 図7に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP2内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
 図7に示すように、基本配列パターンP3内の水平、垂直方向の全てのライン内にRフィルタ、Bフィルタが配置されている。また、図8に示すように、基本配列パターンP3を通る斜め右下方向の線1~9の全てにRフィルタ、Bフィルタが配置されており、図9に示すように、基本配列パターンP3を通る斜め右上方向の線1~9の全てにRフィルタ、Bフィルタが配置されている。
 基本配列パターンP3においては、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列されているが、このように各色フィルタを配置することで特徴(4)を満足させる基本配列パターンを作りやすくすることができる。
 〔特徴(5)〕
 図7に示すカラーフィルタ配列は、対称性を有する。図7に示すカラーフィルタ配列のサブ配列P3-1,P3-2は、そのサブ配列パターンの中心(中心のRフィルタ又はBフィルタの中心)に対して点対称になっている。
 〔特徴(6)〕
 図7に示すカラーフィルタ配列は、Gフィルタからなる2×2画素に対応する正方配列を含んでいる。サブ配列P3-1、P3-2は、4隅にGフィルタが配置されているため、サブ配列P3-1、P3-2を水平方向及び垂直方向に2つずつ合計4個並べる、又は基本配列パターンP3を左右方向に2つ並べると、その中心部にGフィルタからなる2×2画素に対応する正方配列が出現する。
 図10に示すように、Gフィルタからなる2×2画素を取り出し、水平方向のG画素の画素値の差分絶対値、垂直方向のG画素の画素値の差分絶対値、斜め方向(右上斜め、左上斜め)のG画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
 即ち、このカラーフィルタ配列によれば、最小画素間隔のG画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理(デモザイキング処理)に使用することができる。
 また、本実施の形態では、垂直方向に3画素、水平方向に5画素の3×5のサブ配列を含む垂直方向に6画素、水平方向に5画素の基本配列パターンを例に説明したが、サブ配列を垂直方向に5画素、水平方向に3画素としてもよい。この場合には、基本配列パターンは、垂直方向に5画素、水平方向に3画素となる。
 なお、第1の実施の形態~第3の実施の形態は、少なくとも特徴(1)~(4)を満足するようなN×M(M、Nは整数であり、少なくとも1つは奇数、M≠N)のサブ配列を水平方向及び垂直方向に繰り返し配置した基本配列パターンの一例であり、これに限定されない。また、M画素が水平方向でNが垂直方向の画素数でもよいし、N画素が水平方向でMが垂直方向の画素数でもよい。ただし、Mが4以上となるとサブ配列を用いる必要性が低減し、また基本配列パターンの画素数が多くなるため、Mは3以下とするのが好ましい。
 <第4の実施の形態>
 図11は本発明に係る単板式のカラー撮像素子の第4の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
 第4の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。なお、第1の実施形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
 〔特徴(1)〕
 図11に示すカラーフィルタ配列は、4×5画素に対応する正方配列パターンからなる基本配列パターンP4(太枠で示したパターン)を含み、この基本配列パターンP4が水平方向及び垂直方向に繰り返し配置されている。基本配列パターンP4は、垂直方向に4画素、水平方向に5画素であるが逆でもかまわない。
 基本配列パターンP4は、輝度系画素であるGフィルタが市松模様状に配置されている。なお、市松模様は、チェッカーパターンともいうことができる。なお、基本配列パターンP4では、両端と中央の列は一番上と下から2番目にGフィルタが配置され、その他の2列は上から2番目と一番下にGフィルタが1つ配置されているが、逆でもかまわない。
 即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が周期性をもって配列されている。
 〔特徴(2)〕
 図11に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置されている。
 図11に示すように、基本配列パターンP4内の水平、垂直方向の全てのライン内にGフィルタが配置されている。また、図12に示すように、基本配列パターンP4を通る斜め右下方向の線1~8の全てにGフィルタが配置されており、図13に示すように、基本配列パターンP4を通る斜め右上方向の線1~8の全てにGフィルタが配置されている。
 これは、N×M画素(M、Nは整数、M≠N)の基本配列パターンにおいて、Gフィルタが市松模様状に配置されたことによる効果である。
 〔特徴(3)〕
 図11に示すカラーフィルタ配列の基本配列パターンP4は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ5画素、10画素、5画素になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素それぞれの画素数の比率よりも大きくなっている。
 このように、基本配列パターンP4においてGフィルタを市松模様状に配置することによって、Gフィルタの数をRフィルタ及びBフィルタの数の略倍とすることができる。
 また、Rフィルタ及びBフィルタは、基本配列パターン内ではRフィルタとBフィルタとが同じ数となるように、かつ不規則に配置される。これにより、色モワレ(偽色)の発生を抑圧することができる。
 〔特徴(4)〕
 図11に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP4内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
 図11に示すように、基本配列パターンP4内の水平、垂直方向の全てのライン内にRフィルタ、Bフィルタが配置されている。また、図12に示すように、基本配列パターンP4を通る斜め右下方向の線1~8の全てにRフィルタ、Bフィルタが配置されており、図13に示すように、基本配列パターンP4を通る斜め右上方向の線1~8の全てにRフィルタ、Bフィルタが配置されている。
 基本配列パターンP4においては、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列されているが、このように各色フィルタを配置することで特徴(4)を満足させる基本配列パターンを作りやすくすることができる。
 <第5の実施の形態>
 図14は本発明に係る単板式のカラー撮像素子の第5の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。
 第4の実施形態のカラー撮像素子のカラーフィルタ配列は、第1の実施形態のカラー撮像素子のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。なお、第1の実施形態及び第4の実施の形態のカラー撮像素子のカラーフィルタ配列と同様の特徴については、詳細な説明を省略する。
 〔特徴(1)〕
 図14に示すカラーフィルタ配列は、4×5画素に対応する正方配列パターンからなる基本配列パターンP5(太枠で示したパターン)を含み、この基本配列パターンP5が水平方向及び垂直方向に繰り返し配置されている。基本配列パターンP5は、垂直方向に4画素、水平方向に5画素であるが逆でもかまわない。
 基本配列パターンP5は、輝度系画素であるGフィルタが市松模様状に配置されている。なお、市松模様は、チェッカーパターンともいうことができる。なお、基本配列パターンP5は、両端と中央の列は一番上と下から2番目にGフィルタが配置され、その他の2列は上から2番目と一番下にGフィルタが1つ配置されているが、逆でもかまわない。
 また、基本配列パターンP5では、Rフィルタ及びBフィルタは、斜め右下方向に沿って配置されている。なお、Rフィルタ及びBフィルタを斜め方向に沿って配置する方法はこれに限らず、RフィルタとBフィルタを逆にした配置としてもよいし、Rフィルタ及びBフィルタを斜め右上方向に沿って配置してもよい。
 即ち、このカラーフィルタ配列は、R、G、Bの各色のフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が周期性をもって配列されている。
 〔特徴(2)〕
 図14に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色(この実施形態では、Gの色)に対応するGフィルタが、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に配置されている。
 図14に示すように、基本配列パターンP5内の水平、垂直方向の全てのライン内にGフィルタが配置されている。また、図15に示すように、基本配列パターンP5を通る斜め右下方向の線1~8の全てにGフィルタが配置されており、図16に示すように、基本配列パターンP5を通る斜め右上方向の線1~8の全てにGフィルタが配置されている。
 〔特徴(3)〕
 図14に示すカラーフィルタ配列の基本配列パターンP5は、その基本配列パターン内におけるR、G、Bフィルタに対応するR画素、G画素、B画素の画素数が、それぞれ5画素、10画素、5画素になっている。即ち、RGB画素の各画素数の比率は、1:2:1になっており、輝度信号を得るために最も寄与するG画素の画素数の比率は、他の色のR画素、B画素それぞれの画素数の比率よりも大きくなっている。
 〔特徴(4)〕
 図14に示すカラーフィルタ配列は、上記Gの色以外の2色以上の他の色(この実施形態では、R,Bの色)に対応するRフィルタ、Bフィルタが、基本配列パターンP5内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に1つ以上配置されている。
 図14に示すように、基本配列パターンP5内の水平、垂直方向の全てのライン内にRフィルタ、Bフィルタが配置されている。また、図15に示すように、基本配列パターンP5を通る斜め右下方向の線1~8の全てにRフィルタ、Bフィルタが配置されており、図16に示すように、基本配列パターンP5を通る斜め右上方向の線1~8の全てにRフィルタ、Bフィルタが配置されている。
 基本配列パターンP5においては、Rフィルタ、Gフィルタ、Bフィルタが上下、左右方向に互いに隣接しないように配列されているが、このように各色フィルタを配置することで特徴(4)を満足させる基本配列パターンを作りやすくすることができる。
 なお、第4の実施の形態及び第5の実施の形態は、特徴(1)~(4)を満足するようなN×M(M、Nは整数であり、少なくとも1つは奇数、M≠N)の基本配列パターンの一例であり、これに限定されない。ただし、Mが3以下となると特徴(4)を満たさなくなるため、Mは4以上とするのが好ましい。
 また、少なくとも特徴(1)~(4)を満足するようなN×M(M、Nは整数であり、少なくとも1つは奇数、M≠N)の基本配列パターンは4×5画素に限られない。Gフィルタが市松模様状に配置されていれば、5×6画素、5×8画素、7×6画素、7×8画素等の様々な画素数の基本配列パターン考えられる。ただし、デモザイキング処理、動画撮影時の間引き処理等の画像処理の容易さを考えると、Nは10以下であることが望ましい。
 [変形例]
 また、上述の各実施形態では、第1の色として緑(G)を採用し、第2の色として赤(R)及び青(B)を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
 <第1のフィルタ(第1の色)の条件>
 上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
 〔条件(1)〕
 条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
 なお、寄与率が50%未満となる色は本発明の第2色(R色、B色など)となり、この色を有するフィルタが本発明の第2のフィルタとなる。
 〔条件(2)〕
 条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。なお、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
 〔条件(3)〕
 条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
 〔条件(4)〕
 条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
 <複数種類の第1のフィルタ(Gフィルタ)>
 したがって、第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタ(G1フィルタ、G2フィルタ)を第1のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタまたはG2フィルタに適宜置き換えられてもよい。G1フィルタは第1の波長帯域のG光を透過し、G2フィルタはG1フィルタと相関の高い第2の波長帯域のG光を透過する(図17参照)。
 G1フィルタとしては、現存のGフィルタ(例えば第1実施形態のGフィルタ)を用いることができる。また、G2フィルタとしては、G1フィルタと相関の高いフィルタを用いることができる。この場合に、G2フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長500nmから535nmの範囲(現存のGフィルタが配置される受光素子の分光感度曲線のピーク値の近傍)にあることが望ましい。なお、4色(R、G1、G2、B)のカラーフィルタを決定する方法は、例えば特開2003-284084号に記載されている方法が用いられる。
 このようにカラー撮像素子により取得される画像の色を4種類とし、取得される色情報を増やすことにより、3種類の色(RGB)のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること(「色の判別性」を向上させること)ができる。
 なお、G1、G2フィルタの透過率は、第1実施形態のGフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は50%よりは高くなる。したがって、G1、G2フィルタは前述の条件(1)を満たす。
 また、カラーフィルタ配列(受光素子)の分光感度特性を示す図17において、各G1、G2フィルタの透過率のピーク(各G画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。各G1、G2フィルタの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、各G1、G2フィルタは前述の条件(2)、(3)も満たしている。
 なお、各G1、G2フィルタの配置や個数は適宜変更してもよい。また、Gフィルタの種類を3種類以上に増加してもよい。
 <透明フィルタ(Wフィルタ)>
 上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタW(白色画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えて透明フィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
 透明フィルタWは、透明色(第1の色)のフィルタである。透明フィルタWは、可視光の波長域に対応する光を透過可能であり、例えばRGBの各色の光の透過率が50%以上となるフィルタである。透明フィルタWの透過率は、Gフィルタよりも高くなるので、輝度信号を得るための寄与率もG色(60%)よりは高くなり、前述の条件(1)を満たす。
 カラーフィルタ配列(受光素子)の分光感度特性を示す図18において、透明フィルタWの透過率のピーク(白色画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、透明フィルタWの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、透明フィルタWは前述の条件(2)、(3)も満たしている。なお、Gフィルタについても透明フィルタWと同様に前述の条件(1)~(3)を満たしている。
 このように透明フィルタWは、前述の条件(1)~(3)を満たしているので、本発明の第1のフィルタとして用いることができる。なお、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部を透明フィルタWに置き換えているので、前述の条件(4)も満たしている。
 <エメラルドフィルタ(Eフィルタ)>
 上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタE(エメラルド画素)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてエメラルドフィルタ(Eフィルタ)を配置しても良い。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
 カラーフィルタ配列(受光素子)の分光感度特性を示す図19において、エメラルドフィルタEの透過率のピーク(E画素の感度のピーク)は波長480nm以上570nm以下の範囲内にある。また、エメラルドフィルタEの透過率は波長500nm以上560nm以下の範囲内で、RBフィルタの透過率よりも高くなる。このため、エメラルドフィルタEは前述の条件(2)、(3)を満たしている。また、カラーフィルタ配列では、RGBの3原色のうち最も輝度信号に寄与するG色に対応するGフィルタの一部をエメラルドフィルタEに置き換えているので、前述の条件(4)も満たしている。
 なお、図19に示した分光特性では、エメラルドフィルタEがGフィルタよりも短波長側にピークを持つが、Gフィルタよりも長波長側にピークを持つ(少し黄色よりの色に見える)場合もある。このようにエメラルドフィルタEとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件(1)を満たすようなエメラルドフィルタEを選択することもできる。
 <他の色の種類>
 上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)~(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
 <ハニカム配置>
 上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向(H)及び垂直方向(V)に2次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向(H)及び垂直方向(V)に繰り返し配置されてなるが、本発明はこれに限定されるものではない。
 例えば、上述の各実施形態の基本配列パターンを光軸回りに45°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向(NE、NW)に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。
 以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

Claims (15)

  1.  水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
     前記カラーフィルタの配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとが配列されたM×N(M,N:4以上の整数であり、少なくとも1つは奇数、M≠N)の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
     前記第1のフィルタは、前記基本配列パターン内に市松模様状に配置され、
     前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内に前記カラーフィルタの配列の水平、及び垂直方向の各ライン内に1つ以上配置され、
     前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きいカラー撮像素子。
  2.  水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、カラーフィルタが配設されてなる単板式のカラー撮像素子であって、
     前記カラーフィルタの配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとが配列されたM×N(M,N:整数であり、少なくとも1つは奇数、M≠N)のサブ配列と、前記サブ配列をk(k:2以上の整数)個並べた基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
     前記第1のフィルタは、前記サブ配列内に市松模様状に配置され、
     前記第2の色の各色に対応する前記第2のフィルタは、前記基本配列パターン内に前記カラーフィルタの配列の水平、及び垂直方向の各ライン内に1つ以上配置され、
     前記第1のフィルタに対応する第1の色の画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きいカラー撮像素子。
  3.  前記Mは3であり、前記Nは前記Mより大きく、
     前記kは2であり、
     前記基本配列パターンは、画素数が2M×Nとなるように前記サブ配列が2個並べられて形成される請求項2に記載のカラー撮像素子。
  4.  前記Nは3であり、前記Mは前記Nより小さく、
     前記kは4であり、
     前記基本配列パターンは、画素数が2M×2Nとなるように前記サブ配列が4個並べられて形成される請求項2に記載のカラー撮像素子。
  5.  前記第1のフィルタは、前記カラーフィルタの配列の水平、垂直、斜め右下及び斜め右上方向の各ライン内に1つ以上配置された請求項1から4のいずれか1項に記載のカラー撮像素子。
  6.  前記第2の色の各色に対応する前記第2のフィルタは、前記カラーフィルタの配列の水平、垂直、斜め右下及び斜め右上方向の各ライン内に1つ以上配置された請求項1から5のいずれか1項に記載のカラー撮像素子。
  7.  前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色である請求項1に記載のカラー撮像素子。
  8.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
     前記基本配列パターン内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタの配列の水平及び垂直方向に同色のカラーフィルタが隣接しないように配置される請求項7に記載のカラー撮像素子。
  9.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
     前記基本配列パターン内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタの配列の斜め右上又は斜め右下方向に沿って配置される請求項7に記載のカラー撮像素子。
  10.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
     前記基本配列パターン内において、前記Rフィルタ及び前記Bフィルタは、前記Rフィルタと前記Bフィルタとが同じ数又は前記Rフィルタと前記Bフィルタとの差が1となるように、かつ不規則に配置される請求項7に記載のカラー撮像素子。
  11.  前記第1の色は、緑(G)色であり、前記第2の色は、赤(R)色及び青(B)色である請求項2から4のいずれか1項に記載のカラー撮像素子。
  12.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
     前記サブ配列内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタの配列の水平及び垂直方向に隣接しないように配置される請求項11に記載のカラー撮像素子。
  13.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
     前記サブ配列内において、前記Rフィルタ、前記Gフィルタ及び前記Bフィルタは、前記カラーフィルタの配列の斜め右上又は斜め右下方向に沿って配置される請求項11に記載のカラー撮像素子。
  14.  前記カラーフィルタは、赤(R)、緑(G)、青(B)の色に対応するRフィルタ、Gフィルタ及びBフィルタを有し、
     前記サブ配列内において、前記Rフィルタ及び前記Bフィルタは、前記Rフィルタと前記Bフィルタとが同じ数又は前記Rフィルタと前記Bフィルタとの差が1となるように、かつ不規則に配置される請求項11に記載のカラー撮像素子。
  15.  請求項1~14のいずれか1項に記載のカラー撮像素子を備えた撮像装置。
PCT/JP2012/083840 2011-12-27 2012-12-27 カラー撮像素子 WO2013100035A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12862082.0A EP2800378A4 (en) 2011-12-27 2012-12-27 COLOR IMAGING ELEMENT
CN201280064973.0A CN104012084B (zh) 2011-12-27 2012-12-27 彩色摄像元件
US14/314,555 US8982253B2 (en) 2011-12-27 2014-06-25 Color imaging element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-286008 2011-12-27
JP2011286008 2011-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/314,555 Continuation US8982253B2 (en) 2011-12-27 2014-06-25 Color imaging element

Publications (1)

Publication Number Publication Date
WO2013100035A1 true WO2013100035A1 (ja) 2013-07-04

Family

ID=48697514

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083840 WO2013100035A1 (ja) 2011-12-27 2012-12-27 カラー撮像素子

Country Status (5)

Country Link
US (1) US8982253B2 (ja)
EP (1) EP2800378A4 (ja)
JP (1) JP5621055B2 (ja)
CN (1) CN104012084B (ja)
WO (1) WO2013100035A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5702895B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
JP6285888B2 (ja) * 2014-10-15 2018-02-28 富士フイルム株式会社 導電性フィルム、これを備える表示装置及び導電性フィルムの評価方法
JP6275618B2 (ja) * 2014-10-15 2018-02-07 富士フイルム株式会社 導電性フィルム、それを備える表示装置及び導電性フィルムの配線パターンの評価方法
JP6307410B2 (ja) * 2014-10-15 2018-04-04 富士フイルム株式会社 導電性フィルム、これを備える表示装置及び導電性フィルムの評価方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58219889A (ja) * 1982-06-14 1983-12-21 Shoichi Tanaka 固体撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2000308080A (ja) 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2005136766A (ja) 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2007184904A (ja) * 2005-12-30 2007-07-19 Internatl Business Mach Corp <Ibm> ピクセル・アレイ、ピクセル・アレイを含むイメージング・センサ、及びイメージング・センサを含むデジタルカメラ
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP4088959B2 (ja) 2001-01-09 2008-05-21 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4556102B2 (ja) * 2004-01-20 2010-10-06 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
JP4389865B2 (ja) * 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
JP4548390B2 (ja) * 2006-06-16 2010-09-22 ソニー株式会社 撮像装置及び信号処理方法
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58219889A (ja) * 1982-06-14 1983-12-21 Shoichi Tanaka 固体撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH11285012A (ja) 1998-01-20 1999-10-15 Hewlett Packard Co <Hp> デジタル・カメラ用画像センサ
JP2000308080A (ja) 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP2005136766A (ja) 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
JP2007184904A (ja) * 2005-12-30 2007-07-19 Internatl Business Mach Corp <Ibm> ピクセル・アレイ、ピクセル・アレイを含むイメージング・センサ、及びイメージング・センサを含むデジタルカメラ
JP2010512048A (ja) * 2006-11-30 2010-04-15 イーストマン コダック カンパニー 低解像度画像の生成

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2800378A4

Also Published As

Publication number Publication date
JP5621055B2 (ja) 2014-11-05
JPWO2013100035A1 (ja) 2015-05-11
CN104012084B (zh) 2015-06-24
US20140307132A1 (en) 2014-10-16
EP2800378A1 (en) 2014-11-05
CN104012084A (zh) 2014-08-27
US8982253B2 (en) 2015-03-17
EP2800378A4 (en) 2015-06-17

Similar Documents

Publication Publication Date Title
JP5054856B1 (ja) カラー撮像素子
JP5702894B2 (ja) カラー撮像素子および撮像装置
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5095040B1 (ja) カラー撮像素子
JP5621054B2 (ja) カラー撮像素子
JP5621055B2 (ja) カラー撮像素子
JP5345258B2 (ja) カラー撮像素子
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5380629B2 (ja) カラー撮像素子
WO2014007280A1 (ja) カラー撮像素子および撮像装置
JP5621057B2 (ja) カラー撮像素子
JP5702895B2 (ja) カラー撮像素子および撮像装置
WO2014006929A1 (ja) カラー撮像素子および撮像装置
JP5621058B2 (ja) カラー撮像素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12862082

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013551781

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012862082

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012862082

Country of ref document: EP