WO2013100039A1 - カラー撮像素子及び撮像装置 - Google Patents

カラー撮像素子及び撮像装置 Download PDF

Info

Publication number
WO2013100039A1
WO2013100039A1 PCT/JP2012/083844 JP2012083844W WO2013100039A1 WO 2013100039 A1 WO2013100039 A1 WO 2013100039A1 JP 2012083844 W JP2012083844 W JP 2012083844W WO 2013100039 A1 WO2013100039 A1 WO 2013100039A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
pixels
group
image
filter
Prior art date
Application number
PCT/JP2012/083844
Other languages
English (en)
French (fr)
Inventor
田中　誠二
智行 河合
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201280065014.0A priority Critical patent/CN104025580A/zh
Publication of WO2013100039A1 publication Critical patent/WO2013100039A1/ja
Priority to US14/314,782 priority patent/US9100558B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to a color image pickup device and an image pickup apparatus, and more particularly to a color image pickup device and an image pickup apparatus capable of reducing the occurrence of color moire and increasing the resolution.
  • Digital cameras that are equipped with color image sensors such as CCD color image sensors and CMOS color image sensors and acquire digital images have become widespread. In recent years, digital cameras can generate various image data according to the type of color image sensor.
  • the second group of RGB pixels are arranged with a 1 ⁇ 2 pixel interval shifted in the horizontal and vertical directions with respect to the first group of RGB pixels, respectively.
  • images with different sensitivities can be obtained by making the areas of the first group of RGB pixels different from those of the second group of RGB pixels, so that a wide DR image can be obtained. .
  • the first group of pixels and the second group of pixels are phase difference pixels that are highly sensitive to incident light from different directions, thereby forming a stereoscopic image composed of two viewpoint images with parallax. A visible parallax image is obtained.
  • Such various digital cameras are often provided with a single-plate color image sensor.
  • each pixel has only monochrome color information because a monochrome color filter is provided on each pixel.
  • the output image of the single-plate color imaging device is a RAW image (mosaic image)
  • a multi-channel image is obtained by a process of interpolating the missing color pixels from the surrounding pixels (a demosaicing process).
  • the problem in this case is the reproduction characteristics of the high-frequency image signal, and the color image sensor is more susceptible to aliasing than the black and white image sensor. It is an important issue to widen the reproduction band and to improve the resolution while suppressing the occurrence of).
  • the demosaicing process is a process for calculating all color information for each pixel from a mosaic image corresponding to the color filter array of a single-plate color image sensor, and is also called a synchronization process. For example, in the case of an image sensor made up of three color filters of RGB, this is a process of calculating color information for all RGB for each pixel from a mosaic image made of RGB.
  • the primary color Bayer array which is the color filter color array most widely used in single-plate color image sensors, arranges green (G) pixels in a checkered pattern and red (R) and blue (B) in a line-sequential manner. Therefore, there is a problem in the reproduction accuracy when the high frequency signal is generated in the oblique direction and the R and B signals in the horizontal and vertical directions.
  • an optical low-pass filter made of a birefringent material such as crystal is disposed in front of the color image pickup device, and this is avoided by optically dropping high frequencies.
  • coloring due to folding of the high-frequency signal can be reduced, but there is a problem that the resolution is lowered due to its adverse effect.
  • the color filter array of the color image sensor is configured such that an arbitrary pixel of interest satisfies an arrangement restriction condition in which any of the three colors including the color of the pixel of interest and the four sides of the pixel of interest are adjacent.
  • An arrangement restriction condition in which any of the three colors including the color of the pixel of interest and the four sides of the pixel of interest are adjacent.
  • R and B of the three primary colors of RGB are arranged every three pixels in the horizontal and vertical directions, and G is arranged between these R and B (patent). Reference 12).
  • the color image sensor described in Patent Document 9 has a problem that since the filter arrangement is random, it is necessary to optimize each random pattern when performing the demosaicing process in the subsequent stage, and the demosaicing process becomes complicated. is there. In addition, the random arrangement is effective for low-frequency color moire, but is not effective for false colors in the high-frequency part.
  • the image sensor described in Patent Document 10 has a problem that the pixel reproduction accuracy in the limit resolution region (particularly in the oblique direction) is not good because the G pixels (luminance pixels) are arranged in a checkered pattern.
  • the color solid-state imaging device described in Patent Document 11 has an advantage that the generation of false colors can be suppressed because filters of all colors exist on an arbitrary straight line, but the ratio of the number of RGB pixels is equal. There is a problem that the high frequency reproducibility is lower than that of the Bayer array. In the case of the Bayer array, the ratio of the number of G pixels that contributes most to obtain a luminance signal is twice the number of R and B pixels.
  • the ratio of the number of G pixels to the number of R and B pixels is higher than that of the Bayer array, but there are lines of only G pixels in the horizontal or vertical direction. It is not effective against false colors in the high-frequency part in the horizontal or vertical direction.
  • the present invention has been made in view of such circumstances, and can suppress the generation of false colors and increase the resolution, and can simplify the subsequent processing as compared with the conventional random arrangement.
  • An object is to provide an imaging device and an imaging apparatus.
  • an invention includes a first group of pixels including photoelectric conversion elements arranged in a matrix at predetermined pixel intervals in the horizontal direction and the vertical direction, A second group of pixels composed of photoelectric conversion elements arranged at positions shifted by a half of a predetermined pixel interval in the horizontal direction and the vertical direction with respect to each photoelectric conversion element of the group of pixels;
  • a color image pickup device including color filters arranged in the same specific color filter array on the pixel group, wherein the color filter array includes a first filter corresponding to one or more first colors;
  • a basic arrangement pattern in which a second filter corresponding to a second color of two or more colors having a contribution ratio for obtaining a luminance signal lower than that of the first color is arranged, and the basic arrangement pattern is in the horizontal direction and Vertical
  • at least one first filter is arranged in each line in the horizontal, vertical, diagonal upper right and diagonal lower right directions of the color filter array, and the second filter corresponding to each color of the second color.
  • One or more filters are arranged in the horizontal and vertical lines of the color filter array in the basic array pattern, and the ratio of the number of pixels of the first color corresponding to the first filter is the second filter. Is larger than the ratio of the number of pixels of each color of the second color.
  • the first filter corresponding to the first color having a high contribution rate for obtaining the luminance signal is arranged in the horizontal, vertical, diagonal upper right and diagonal lower right of the color filter array. Since it is arranged in each filter line in the direction, it is possible to improve the reproduction accuracy of the demosaicing process in the high frequency region.
  • at least one second filter corresponding to each of two or more second colors other than the first color is arranged in each horizontal and vertical filter line of the color filter array. Therefore, it is possible to suppress the occurrence of color moire (false color) and achieve high resolution.
  • the color filter arrangement can be performed according to the repetition pattern when performing the demosaicing process in the subsequent stage. Compared with, the subsequent processing can be simplified.
  • the ratio between the number of pixels of the first color corresponding to the first filter and the number of pixels of each of the second colors corresponding to the second filter is different. Since the ratio of the number of pixels of the first color having a high contribution ratio is larger than the ratio of the number of pixels of each color of the second color corresponding to the second filter, aliasing can be suppressed. High frequency reproducibility is also good.
  • the first group of pixels selectively receives subject light transmitted through one of two different regions of the photographing optical system
  • the second group of pixels includes: Subject light that has passed through the other of the two regions is selectively received.
  • the two regions are regions that are symmetrical with respect to the optical axis of the photographing optical system. As a result, a stereoscopically viewable parallax image is obtained.
  • the sensitivity of the second group of pixels is lower than the sensitivity of the first group of pixels.
  • the area of the second group of pixels is smaller than the area of the first group of pixels.
  • the light transmittance of the color filter on the second group of pixels is lower than the light transmittance of the color filter on the first group of pixels.
  • a microlens is provided above each of the first and second filters, and the microlens positioned on the second group of pixels is smaller than the microlens positioned on the first group of pixels.
  • An imaging apparatus includes a color imaging element according to an aspect of the present invention, and a photographing optical system that forms subject light on an imaging surface of the color imaging element.
  • the signals are output from the pixels of the first group and the second group that are adjacent to each other in the diagonally upper right direction or the diagonally lower right direction and are disposed below the same color filter.
  • First image generating means for generating an image by adding the output signals is provided. Thereby, a high-sensitivity image with low noise is obtained.
  • Second image generating means for generating an image having a larger number of pixels. Thereby, a high-resolution image is obtained.
  • charge accumulation time adjusting means for making the charge accumulation time of the second group of pixels shorter than the charge accumulation time of the first group of pixels
  • a third image generating unit configured to generate an image having an extended dynamic range based on an image configured by the output signal and an image configured by the output signal from the second group of pixels;
  • the first group and the second group of pixels that selectively receive subject light respectively transmitted through two regions of the photographing optical system.
  • a color image pickup device a photographing optical system that forms subject light on the image pickup surface of the color image pickup device, a first image constituted by output signals from the first group of pixels, and an output from the second group of pixels.
  • fourth image generation means for generating a parallax image including a second image constituted by signals. As a result, a stereoscopically viewable parallax image is obtained.
  • a color imaging element having a high-sensitivity pixel and a low-sensitivity pixel, and imaging for imaging subject light on an imaging surface of the color imaging element
  • a third unit that generates an image having an extended dynamic range based on an optical system, an image formed by output signals from the first group of pixels, and an image formed by output signals from the second group of pixels.
  • Image generating means
  • the first filter corresponding to the first color having a high contribution rate for obtaining the luminance signal is placed in each of the filter lines in the horizontal, vertical, diagonal upper right and diagonal lower right directions of the color filter array.
  • One or more pixels are arranged, and the ratio of the number of pixels of the first color corresponding to the first filter is set to the number of pixels of the second color corresponding to the second filter of two or more colors other than the first color. Since the ratio is made larger than the ratio, the reproduction accuracy of the demosaicing process in the high frequency region can be improved and the aliasing can be suppressed.
  • one or more second filters corresponding to each of the second or more second colors other than the first color are included in the horizontal and vertical filter lines of the color filter array in the basic array pattern. Since they are arranged, the generation of color moire (false color) can be suppressed and high resolution can be achieved.
  • the process can be performed according to the repeat pattern. Subsequent processing can be simplified compared to random arrangement.
  • FIG. 1 is a block diagram of a digital camera (imaging device) 10 according to a first embodiment provided with a color imaging device according to the present invention.
  • the CPU 11 of the digital camera 10 sequentially executes various programs and data read from a memory (not shown) based on control signals from the operation unit 12 including a shutter button and various operation buttons, so that each unit of the digital camera 10 is integrated. Control.
  • the lens unit (shooting optical system) 13 includes a zoom lens 14, a focus lens 15, a mechanical shutter 16, and the like.
  • the zoom lens 14 and the focus lens 15 are driven by the zoom mechanism 17 and the focus mechanism 18, respectively, and moved back and forth along the optical axis O1.
  • the mechanical shutter 16 has a movable part (not shown) that moves between a closed position where the object light is prevented from entering the color image sensor 20 and an open position where the object light is allowed to enter.
  • the mechanical shutter 16 opens / blocks the optical path from the lenses 14 and 15 to the color image sensor 20 by moving the movable part to each position.
  • the mechanical shutter 16 includes a diaphragm that controls the amount of subject light incident on the color image sensor 20.
  • the mechanical shutter 16, zoom mechanism 17, and focus mechanism 18 are controlled by the CPU 11 via a lens driver 21.
  • a color image sensor 20 is arranged behind the lens unit 13.
  • the color image sensor 20 converts subject light from the lenses 14 and 15 into an electrical output signal and outputs it.
  • the image sensor driver 23 controls driving of the color image sensor 20 under the control of the CPU 11.
  • the image processing circuit 22 performs various processing such as gradation conversion, white balance correction, and ⁇ correction processing on the output signal input from the color image sensor 20 to generate image data.
  • image data generated by the image processing circuit 22 in the normal shooting mode (hereinafter referred to as the normal shooting mode) is referred to as normal shooting image data.
  • the compression / decompression processing circuit 29 performs compression processing on each image data processed by the image processing circuit 22.
  • the compression / decompression processing circuit 29 performs decompression processing on the compressed image data obtained from the memory card 31 via the media I / F 30.
  • the media I / F 30 performs recording and reading of each image data with respect to the memory card 31.
  • the display unit 32 uses a liquid crystal display or the like and displays a through image, a reproduced image, and the like.
  • the digital camera 10 is provided with an auto-focus AF detection circuit, an AE detection circuit, and the like.
  • the CPU 11 executes AF processing by driving the focus mechanism 18 via the lens driver 21 based on the detection result of the AF detection circuit. Further, the CPU 11 executes the AE process by driving the mechanical shutter 16 via the lens driver 21 based on the detection result of the AE detection circuit.
  • FIG. 2 shows a pixel arrangement of pixels provided in the color image sensor 20, and FIG. The color filter arrangement of the color filter is shown.
  • the color image sensor 20 may be any type of image sensor such as a CCD (Charge Coupled Device) color image sensor or a CMOS (Complementary Metal Oxide Semiconductor) color image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the color imaging device 20 is disposed above the light receiving surface of each pixel, with a plurality of pixels 33 having photoelectric conversion elements PD arranged in a horizontal direction and a vertical direction (two-dimensional arrangement).
  • R filter, G filter, and B filter RGB primary color filters
  • the color filter array of the color image sensor 20 of the first embodiment has the following features (1), (2), (3), (4), (5), and (6).
  • the color filter array shown in FIG. 3 includes a basic array pattern P (pattern indicated by a thick frame in the figure) composed of a square array pattern corresponding to 6 ⁇ 6 pixels, and the basic array pattern P is in the horizontal and vertical directions. It is arranged repeatedly. That is, in this color filter array, R filters 34R, G filters 34G, and B filters 34B of R, G, and B colors are arrayed with periodicity.
  • the R filter 34R, G filter 34G, and B filter 34B are arranged with periodicity in this way, when performing demosaicing processing or the like of the R, G, and B signals read from the color image pickup device 20, the repetition pattern is used. Processing can be performed.
  • the color filter array after the thinning process can be the same as the color filter array before the thinning process, and a common processing circuit is used. be able to.
  • the G filter 34G corresponding to the color that contributes most to obtain a luminance signal is horizontal, vertical, and diagonal (NE, One or more filter lines are arranged in each filter line in the (NW) direction.
  • NE means a diagonal upper right direction
  • NW means a diagonal lower right direction.
  • the diagonally upper right and diagonally lower right directions are directions of 45 ° with respect to the horizontal direction, but in the case of an array of rectangular pixels, the diagonal diagonal direction is long. The angle can vary depending on the length of the side or short side.
  • the G filter 34G corresponding to the luminance system pixel is disposed in each of the filter lines in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, the G filter 34G does not depend on the direction in which the frequency becomes high. The reproduction accuracy of the mosaicing process can be improved.
  • the basic array pattern P of the color filter array shown in FIG. 3 includes 8 pixels, 20 pixels, and R pixels corresponding to the RGB filters 34R, 34G, and 34B in the basic array pattern. There are 8 pixels. That is, the ratio of the number of pixels of RGB pixels is 2: 5: 2, and the ratio of the number of G pixels that contributes most to obtain a luminance signal is the ratio of R pixels and B pixels of other colors. It is larger than the ratio of the number of pixels.
  • the ratio between the number of G pixels and the number of R and B pixels is different, and in particular, the ratio of the number of G pixels that contributes most to obtain a luminance signal is equal to the number of R and B pixels. Since the ratio is larger than the ratio, aliasing during the demosaicing process can be suppressed and high frequency reproducibility can be improved.
  • the color filter array shown in FIG. 3 includes an R filter 34R and a B filter 34B corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color.
  • R and B colors in this embodiment, R and B colors
  • P one or more are arranged in each filter line in the horizontal and vertical directions of the color filter array.
  • the R filter 34R and the B filter 34B are respectively arranged in the horizontal and vertical filter lines of the color filter array, the occurrence of color moire (false color) can be suppressed.
  • an optical low-pass filter for suppressing the generation of false color can be prevented from being arranged in the optical path from the incident surface of the optical system to the imaging surface, or the occurrence of false color can be prevented even when the optical low-pass filter is applied. Therefore, it is possible to apply a low-frequency component for cutting high-frequency components, and not to impair the resolution.
  • FIG. 4 shows a state where the basic array pattern P shown in FIG. 3 is divided into 4 ⁇ 3 ⁇ 3 pixels.
  • the basic array pattern P includes a 3 ⁇ 3 pixel A array 35a surrounded by a solid line frame in the drawing and a 3 ⁇ 3 pixel B array 35b surrounded by a broken line frame in the drawing. It can also be understood that the array is arranged alternately in the horizontal and vertical directions.
  • G filters 34G which are luminance system pixels, are arranged at the four corners and the center, and are arranged on both diagonal lines.
  • the R filter 34R is arranged in the horizontal direction and the B filter 34B is arranged in the vertical direction with the central G filter 34G interposed therebetween.
  • the B filter 34B is arranged in the horizontal direction and the R filter 34R is arranged in the vertical direction across the central G filter 34G. That is, in the A array 35a and the B array 35b, the positional relationship between the R filter 34R and the B filter 34B is reversed, but the other arrangements are the same.
  • the G filter 34G at the four corners of the A array 35a and the B array 35b corresponds to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions as shown in FIG.
  • the G filter 34G is square array.
  • the G filter 34G which is a luminance system pixel, is arranged at the four corners and the center of the 3 ⁇ 3 pixels in the A array 35a or the B array 35b, and the 3 ⁇ 3 pixels are alternately arranged in the horizontal direction and the vertical direction. This is because a square array G filter 34G corresponding to 2 ⁇ 2 pixels is formed.
  • sequence by setting it as such an arrangement
  • the color filter array shown in FIG. 3 includes a square array 36 (hereinafter simply referred to as the G square array 36, see FIG. 6) corresponding to 2 ⁇ 2 pixels provided with the G filter 34G.
  • 2 ⁇ 2 pixels provided with the G filter 34G are extracted, and the absolute difference between the pixel values of the G pixels in the horizontal direction, the absolute difference between the pixel values of the G pixels in the vertical direction, By obtaining the difference absolute value of the pixel values of the G pixels of the upper right diagonal and the upper left diagonal), it can be determined that there is a correlation in the direction with the smaller absolute difference value among the horizontal direction, the vertical direction, and the diagonal direction.
  • this color filter array it is possible to determine a direction having a high correlation among the horizontal direction, the vertical direction, and the diagonal direction by using the information of the G pixel having the minimum pixel interval.
  • This direction discrimination result can be used for a process of interpolating from surrounding pixels (a demosaicing process). Thereby, the demosaicing process by the image processing circuit 22 can be executed.
  • a pixel of the 3 ⁇ 3 pixel A array 35a or B array 35b is set as a target pixel for the demosaicing process, and 5 ⁇ 5 pixels (a mosaic image local area) centering on the A array 35a or B array 35b.
  • the (region) is extracted, there are 2 ⁇ 2 G pixels at four corners of 5 ⁇ 5 pixels.
  • the basic array pattern P of the color filter array shown in FIG. 3 is point-symmetric with respect to the center (the center of the four G filters 34G). As shown in FIG. 4, the A array 35a and the B array 35b in the basic array pattern P are also point-symmetric with respect to the central G filter 34G.
  • the color filter array of the first and third lines of the first to sixth lines in the horizontal direction is GBGGRG
  • the second The color filter array of the line is RGRGBB
  • the color filter array of the fourth and sixth lines is GRGGGB
  • the color filter array of the fifth line is BGBGR.
  • the basic array pattern P in which the basic array pattern is point-symmetric is referred to as a basic array pattern for convenience.
  • FIG. 8 is a block diagram of a digital camera (imaging device) 39 according to the second embodiment including a color image sensor according to the present invention.
  • the digital camera 10 having one type of shooting mode (normal shooting mode) has been described, but the digital camera 39 has a plurality of types of shooting modes.
  • the digital camera 39 has a high-sensitivity image shooting mode for generating an image that has been picked up with low noise and high sensitivity (hereinafter referred to as a high-sensitivity image), and has a higher resolution than the normal shooting image.
  • Each shooting mode is switched by the operation unit 12.
  • the digital camera 39 includes a color image sensor 41 and an image processing circuit 43 that are different from the digital camera 10 of the first embodiment, and the CPU 11 has a charge accumulation time adjustment unit (charge accumulation time adjustment unit) 44. Except for the point that functions as, the configuration is basically the same as in the first embodiment. For this reason, the same functions and configurations as those of the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the first group of pixels 46 ⁇ / b> A and the second group of pixels 46 ⁇ / b> B are provided on the imaging surface of the color image sensor 41.
  • the first group of pixels 46A is configured by photoelectric conversion elements PD A arranged in a matrix at predetermined pixel intervals p in the horizontal and vertical directions.
  • the pixel 46B of the second group also constituted by a photoelectric conversion element PD B arranged in a matrix in the pixel spacing p between the first group of pixels 46A.
  • the first group of pixels 46 ⁇ / b> A (photoelectric conversion elements PD A ) are arranged on odd-numbered pixel lines of the color image sensor 41.
  • the second group of pixels 46 ⁇ / b > B (photoelectric conversion elements PD B ) are arranged on the even pixel lines of the color image sensor 41.
  • each photoelectric conversion element PD B is arranged at a position shifted by 1 ⁇ 2p (half the predetermined pixel interval) in the horizontal and vertical directions with respect to each photoelectric conversion element PD A.
  • the photoelectric conversion elements PD A and PD B are basically the same except for the arrangement position.
  • an area where the first group of pixels 46A is arranged is referred to as “A face”, and an area where the second group of pixels 46B is arranged is referred to as “B face”. .
  • Output signals respectively output from the first group of pixels 46A and the second group of pixels 46B are input to the image processing circuit 43.
  • R, G, and B filters 34R, 34G, and 34B are arranged in the same color filter array above the first group of pixels 46A and the second group of pixels 46B, respectively.
  • the color filter array of the color image sensor 41 has an array pattern (hereinafter referred to as a special array pattern) in which the same color filter array is shifted by 1/2 p in the horizontal and vertical directions.
  • R, G, and B filters 34R, 34G, and 34B on the A plane are referred to as “R A , G A , B A filters 34R, 34G, and 34B”, and R, G, and B filters 34R, 34G, and 34B on the B plane.
  • R B , G B , B B filters 34R, 34G, 34B Is referred to as “R B , G B , B B filters 34R, 34G, 34B”.
  • R A, G A on side A, B A filter 34R, 34G, and color filter arrangement 34B "A surface color filter array"
  • the 34B color filter array is referred to as a “B-side color filter array”.
  • a surface color filter array comprises a basic arrangement pattern P A is a square array pattern corresponding to 6 ⁇ 6 pixels, including B surface color filter array is the same square array pattern basic arrangement pattern P B.
  • the basic array pattern P A and the basic array pattern P B are repeatedly arranged in the horizontal direction and the vertical direction, respectively.
  • the basic array patterns P A and P B are basically the same array pattern as the basic array pattern P of the first embodiment. For this reason, as described in the first embodiment, the A-side and B-side color filter arrays have the above-described features (1), (2), (3), (4), (5), and ( 6).
  • the color filter array of the color image sensor 41 is composed of an A-plane color filter array and a B-plane color filter array. Since the A-side and B-side color filter arrays have the above-described features (2) and (3), the color filter array of the color image sensor 41 has the above-described features (2) and (3) as well.
  • the A-side and B-side color filter arrays are formed by repeatedly arranging basic array patterns P A and P B in the horizontal direction and the vertical direction, respectively.
  • the color filter array of the color imaging device 41 includes a basic array pattern P1, and the basic array pattern P1 is repeatedly arranged in the horizontal direction and the vertical direction.
  • the color filter array of the color image sensor 41 also has the above-described feature (1).
  • the basic array pattern P1 has a basic arrangement pattern P A, by a basic array pattern P B in a position shifted 1 / 2p in the horizontal and vertical directions with respect to the basic arrangement pattern P A Has been. Since the A-side and B-side color filter arrays have the above-described feature (4), the color filter array of the color image sensor 41 has the above-described feature (4) as well.
  • the basic array pattern P1 is not point-symmetric with respect to the center.
  • the color filter array of the color image sensor 41 has the same characteristics as the characteristics (1), (2), (3), and (4) of the color filter array of the first embodiment.
  • the color filter array has a “special array pattern” similar to that of the second embodiment, but when the A-plane and B-plane array patterns are each a Bayer array, The resolution in the (NE) direction decreases.
  • the color filter array and a line L G diagonal (NW) direction of only the G filter 34G, R, B filters 34R, 34B only diagonal (NW) direction of the line L RB and oblique (NE) direction For example, the pixel spacing in the oblique (NE) direction of the G filter 34G becomes wider than the pixel spacing in the horizontal and vertical directions.
  • the R and B filters 34R and 34B since the resolution in the oblique (NE) direction is lowered in the color filter array, it is preferable to separately provide an optical low-pass filter having anisotropy in the oblique (NE) direction.
  • the resolution in the oblique (NE, NW) direction is high, so that even if an optical low-pass filter having anisotropy in the oblique (NE) direction is not disposed, Color moire (false color) that can be generated by an input image having a high frequency component in the direction can be suppressed.
  • a color filter array of the color imaging element 41 instead of the G square array 36 of the first embodiment, becomes G A, G B filter 34G is horizontal, vertical, and are disposed four at minimum intervals in a diagonal direction It has a G array 48 (see FIGS. 10 and 13). For this reason, four pixels provided with the G array 48 are taken out, the difference absolute value of the pixel values of the G pixels in the horizontal direction, the difference absolute value of the pixel values of the G pixels in the vertical direction, and the G values in the oblique directions (NE, NW) By obtaining the absolute difference value of the pixel values of the pixels, it can be determined that there is a correlation in the direction in which the absolute difference value is smaller. As a result, the color filter array of the color image sensor 41 has substantially the same features as the above-described feature (5).
  • the charge accumulation time adjustment unit 44 (see FIG. 8) independently controls the charge accumulation time (exposure time) of the first group of pixels 46A (A surface) and the second group of pixels 46B (B surface).
  • the charge accumulation time adjustment unit 44 sets the charge accumulation times of the first group of pixels 46A and the second group of pixels 46B to be the same in the shooting modes other than the wide DR image shooting mode.
  • the charge accumulation time adjustment unit 44 sets the charge accumulation time of the second group of pixels 46B to be shorter than the charge accumulation time of the first group of pixels 46A in the wide DR image capturing mode. Yes (or vice versa).
  • the first group of pixels 46A are relatively “high sensitivity pixels”
  • the second group of pixels 46B are relatively “low sensitivity pixels”.
  • a highly sensitive image hereinafter referred to as a high sensitivity image
  • a low sensitivity image hereinafter referred to as a low sensitivity image
  • the image processing circuit 43 is basically the same as the image processing circuit 22 of the first embodiment, but generates normal captured image data in the normal shooting mode and in the high sensitivity image shooting mode. High-sensitivity image data is generated, high-resolution image data is generated in the high-resolution image capturing mode, and wide DR image data is generated in the wide-DR image capturing mode.
  • the image processing circuit 43 includes a normal image generation unit 50, a high sensitivity image generation unit (first image generation unit) 51, a high resolution image generation unit (second image generation unit) 52, and a wide DR image generation unit (third image). Generating means) 53.
  • the normal image generating unit 50 generates normal captured image data based on an output signal output from, for example, the first group of pixels 46A (or the second group of pixels 46B) in the normal capturing mode.
  • the high-sensitivity image generation unit 51 outputs the output signal from the first group of pixels 46A that are the same color and are adjacent to each other in the oblique direction (NW direction in the present embodiment) in the high-sensitivity image capturing mode.
  • So-called pixel mixing is performed in which output signals from the two groups of pixels 46B are mixed (added).
  • the first group and second group of pixels 46A and 46B of the same color adjacent in the oblique direction (NW) can be regarded as one pixel for signal processing. Since the sensitivity is equivalent to double by such pixel mixing, high-sensitivity image data can be obtained. Since this high-sensitivity image data is obtained without increasing the gain, noise is reduced.
  • NE oblique direction
  • the high-resolution image generation unit 52 performs high-resolution image data based on output signals respectively output from both the first group of pixels 46A and the second group of pixels 46B in the high-resolution image capturing mode. Is generated. Since the high-resolution image data is generated using twice as many pixels as the normal captured image data is generated, the image data has higher resolution than the normal captured image data.
  • the wide DR image generation unit 53 is based on the output signals of the first and second groups of pixels 46A and 46B having different signal charge accumulation times in the wide DR image shooting mode. Data and low-sensitivity image data are generated. Next, the wide DR image generation unit 53 generates wide DR image data based on the high sensitivity image data and the low sensitivity image data. Since a method for generating wide DR image data using image data having different sensitivities is a well-known technique, a specific description is omitted here.
  • the mechanical shutter 16 is opened and closed at a predetermined shutter speed, and signal charges are accumulated in the pixels 46A and 46B of the color image sensor 41.
  • the charge accumulation time adjustment unit 44 adjusts the charge accumulation time of the first group of pixels 46A and the second group of pixels 46B to be the same in the shooting mode other than the wide DR image shooting mode, thereby obtaining a wide DR image. In the shooting mode, the charge accumulation times of the two are made different. Then, the output signals of the pixels 46 A and 46 B are output to the image processing circuit 43 under the control of the image sensor driver 23.
  • the normal image generating unit 50 When the normal shooting mode is set as the shooting mode, the normal image generating unit 50 operates. The normal image generation unit 50 generates normal captured image data based on the output signal from the first group of pixels 46A, and outputs this to the display unit 32 at a fixed timing. As a result, a through image is displayed on the display unit 32. At the same time, shooting preparation processing such as AF processing and AE processing is performed simultaneously.
  • the normal image generation unit 50 When a shooting instruction is given by the operation unit 12, the normal image generation unit 50 generates normal captured image data for one frame.
  • the normal photographed image data is compressed by the compression / decompression processing circuit 29 and then recorded on the memory card 31 via the media I / F 30.
  • High-sensitivity image, high-resolution image, wide DR image shooting mode When the high-sensitivity image shooting mode is set as the shooting mode, the high-sensitivity image generation unit 51 operates to generate high-sensitivity image data by performing so-called pixel mixing as shown in FIG. .
  • the high-resolution image generation unit 52 When the high-resolution image shooting mode is set as the shooting mode, the high-resolution image generation unit 52 operates and, as shown in FIG. 18, the high-resolution image shooting mode 52 is set based on the output signals from all the pixels 46A and 46B. Resolution image data is generated.
  • the wide DR image generation unit 53 operates and is configured by output signals from all the pixels 46A and 46B as shown in FIG. Wide DR image data is generated based on the high sensitivity and low sensitivity image data.
  • the high-sensitivity image data, the high-resolution image data, and the wide DR image data are respectively compressed and recorded in the memory card 31.
  • the color imaging device 41 Since the color imaging device 41 has the color filter array shown in FIG. 10 and the like, the color moire (false color) is detected in any of the normal photographed image data, high sensitivity image data, high resolution image data, and wide DR image data. ) Is suppressed, and high-quality image data is obtained. In addition, since an optical low-pass filter is not provided, or a weak function for cutting high-frequency components can be applied, the resolution of each image data can be maintained. Thereby, high-resolution image data is obtained. Furthermore, since the basic arrangement pattern P1 is repeatedly arranged in the horizontal direction and the vertical direction in the color filter arrangement, when performing demosaicing processing in the subsequent stage such as an image processing circuit, processing can be performed according to the repetition pattern. The subsequent processing can be simplified as compared with the conventional random arrangement.
  • FIG. 21 is a block diagram of a digital camera (imaging device) 55 of the third embodiment provided with a color imaging device according to the present invention.
  • the digital camera 39 capable of generating a high-sensitivity image, a high-resolution image, and a wide DR image has been described.
  • the digital camera 55 generates a stereoscopically viewable parallax image.
  • the digital camera 55 has a 3D shooting mode for generating a parallax image instead of the above-described high-sensitivity image shooting mode, high-resolution image shooting mode, and wide DR image shooting mode.
  • the digital camera 55 basically includes the second color imaging device 58, the image processing circuit 59, and the display unit 60, which are different from the digital camera 39 of the second embodiment. Components that are the same as those of the embodiment and that are the same in function and configuration as those of the second embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the pixel array and color filter array of the color image sensor 58 are the same as the pixel array and color filter array of the color image sensor 41 of the second embodiment. However, the color image sensor 58 is configured such that the sensitivity of the first group of pixels 46A and the second group of pixels 46B is high with respect to subject light incident from different directions.
  • FIG. 23 showing a cross section taken along the line AA in FIG. 22 and FIG. 24 showing a cross section taken along the line BB
  • the photoelectric conversion element PD constituting each pixel 46A, 46B is formed on the surface layer of the semiconductor substrate (sub) 62.
  • A, is PD B are formed.
  • the semiconductor substrate 62 is provided with various circuits used for driving the pixels 46A and 46B and outputting signals.
  • a light transmissive insulating film 63 made of, for example, silicon oxide is provided on the semiconductor substrate 62.
  • a light shielding film 64 made of, for example, tungsten is provided on the insulating film 63. Shielding film 64 has a first eccentric aperture 64a formed on the photoelectric conversion element PD A, and a second eccentric aperture 64b formed in the photoelectric conversion element on the PD B.
  • the first eccentric aperture 64a is formed in a position shifted in the left direction in the drawing with respect to the center of the photoelectric conversion elements PD A.
  • a light shielding film 64 contrary to Ryakuhidari half region (hereinafter, simply referred to as the left area) and the exposed .
  • the second eccentric aperture 64b is formed at a position shifted rightward in the figure relative to the center of the photoelectric conversion element PD B.
  • the left region of the photoelectric conversion element PD B is covered with the light shielding film 64, the right area conversely is exposed.
  • a light transmissive flattening layer 65 having a flat surface is provided on the light shielding film 64.
  • the filters 34R, 34G, and 34B are provided in the color filter array shown in FIG.
  • Each filter 34R, 34G, On 34B, the photoelectric conversion elements PD A, respectively microlens 66 to a position immediately above the PD B is provided.
  • the symbol O2 in the figure is the optical axis of the microlens 66.
  • the optical axis O2 of the micro lens 66 is located on the center of each of the photoelectric conversion elements PD A and PD B.
  • Subject light 67R incident from the right in the figure obliquely microlens 66 is being focused on the left area of the photoelectric conversion elements PD A through the first eccentric aperture 64a by the micro-lens 66, it is covered with a light shielding film 64 and not focused in the left area of the photoelectric conversion elements PD B are.
  • object light 67L incident from the right in the figure obliquely microlens 66 is being focused on the right area of the photoelectric conversion element PD B via the second eccentric aperture 64b by the microlens 66, the light shielding film 64 The light is not condensed in the right region of the photoelectric conversion element PD A covered with the.
  • the photoelectric conversion element PD A (first group of pixels 46A) is highly sensitive to the subject light 67R
  • the photoelectric conversion element PD B second group of pixels 46B is sensitive to the subject light 67L.
  • the subject lights 67R and 67L pass through a region symmetric with respect to the optical axis O1 of the lens unit 13 (the zoom lens 14 and the focus lens 15) and a region symmetric with respect to the optical axis O2 of the microlens 66, respectively. ing.
  • region symmetrical with respect to the optical axis O1 of the lens unit 13 divides the lens unit 13 by a line segment orthogonal to the optical axis O1 and parallel to the vertical direction of the pixel arrangement (see FIG. 9). (The left and right regions of the lens unit 13).
  • the image processing circuit 59 generates normal captured image data in the normal shooting mode, and generates parallax image data composed of viewpoint images of two viewpoints (R viewpoint and L viewpoint) in the 3D shooting mode. .
  • the image processing circuit 59 is provided with a parallax image generation unit (fourth image generation unit) 69 instead of the high sensitivity image generation unit 51, the high resolution image generation unit 52, and the wide DR image generation unit 53. Is basically the same as the image processing circuit 43 of the second embodiment.
  • the parallax image generation unit 69 displays R viewpoint image data (first image) when the subject is viewed from the R viewpoint side based on an output signal from the first group of pixels 46A in the 3D shooting mode. Based on the output signal from the second group of pixels 46B, L viewpoint image data (second image) when the subject is viewed from the L viewpoint side is generated. Since the parallax occurs between the R viewpoint image data and the L viewpoint image data, stereoscopic vision is possible.
  • the display unit 60 uses various monitors capable of observing a stereoscopic image based on the R viewpoint image data and the L viewpoint image data.
  • various known methods such as a lenticular method, a parallax barrier method, a parallax barrier method, an anaglyph method, a frame sequential method, and a light direction method may be used as a stereoscopic image display method.
  • the parallax image generation unit 69 operates and outputs from each of the first group of pixels 46A and the second group of pixels 46B as shown in FIG. Based on the signal, R viewpoint image data and L viewpoint image data are generated.
  • the parallax image generation unit 69 outputs at least one of the R viewpoint image data and the L viewpoint image data to the display unit 60 at a certain timing. Thereby, a through image is displayed on the display unit 60.
  • the parallax image generation unit 69 When a photographing instruction is given by the operation unit 12, the parallax image generation unit 69 generates one frame of R viewpoint image data and L viewpoint image data. These R viewpoint image data and L viewpoint image data are compressed as parallax image data by the compression / decompression processing circuit 29 and then recorded on the memory card 31 via the media I / F 30. The parallax image data recorded in the memory card 31 is displayed on the display unit 60 so as to be stereoscopically viewable by switching the operation mode of the digital camera 55 to the playback mode.
  • the high sensitivity image data and the high resolution image data are the same as in the second embodiment.
  • Wide DR image data may be generated.
  • the first and second eccentric apertures 64a and 64b formed in the light shielding film 64 allow the first group and the second group of pixels 46A and 46B to receive incident light from different directions.
  • the sensitivity is increased, but another method may be used.
  • the positions of the microlenses on the pixels 46A and 46B in the first group and the second group may be eccentric in different directions.
  • FIG. 27 is a block diagram of a digital camera (imaging device) 71 of the fourth embodiment provided with a color imaging device according to the present invention.
  • the wide DR shooting mode is performed by independently controlling the charge accumulation time of the first group of pixels 46A (A surface) and the second group of pixels 46B (B surface).
  • Image data high sensitivity image data, low sensitivity image data
  • the digital camera 71 generates wide DR image data without changing the charge accumulation time on the A and B surfaces.
  • the digital camera 71 has basically the same configuration as that of the second embodiment except that the digital camera 71 includes a color image sensor 72 and an image processing circuit 73 that are different from those of the digital camera 39 of the second embodiment.
  • the same functions and configurations as those of the second embodiment are denoted by the same reference numerals and description thereof is omitted.
  • the pixel array of the color image sensor 72 is the same as the pixel array of the color image sensor 41 of the second embodiment.
  • the area of the second group of pixels 46B (photoelectric conversion elements PD B ) is smaller than the area of the first group of pixels 46A (photoelectric conversion elements PD A ).
  • the amount of signal charge accumulated in the second group of pixels 46B is smaller than the amount of signal charge accumulated in the first group of pixels 46A.
  • the first group of pixels 46A are relatively “high sensitivity pixels”
  • the second group of pixels 46B are relatively “low sensitivity pixels”.
  • the areas of the R B , G B , and B B filters 34Rs, 34Gs, and 34Bs are also smaller than the areas of the R A , G A , and B A filters 34R, 34G, and 34B. Therefore, the color filter array of the color image sensor 72 is the same as the color filter array of the second embodiment, except that the areas of the R B , G B , and B B filters 34Rs, 34Gs, and 34Bs are small. Basically the same. Therefore, the color filter array of the color image sensor 72 is the same as the characteristics (1), (2), (3), and (4) of the color filter array of the first embodiment, in addition to the second embodiment. The characteristic (7) of the color filter array.
  • a high-sensitivity image is obtained based on the output signal from the first group of pixels 46A without changing the charge accumulation time of the A side and the B side, and from the second group of pixels 46B.
  • a low-sensitivity image is obtained based on the output signal.
  • the wide DR image generation unit 53 of the image processing circuit 73 operates in the wide DR image generation mode, and has high sensitivity based on the output signals of the first and second groups of pixels 46A and 46B. Image data and low-sensitivity image data are generated, and wide DR image data is generated based on these image data.
  • image data with high image quality and high resolution can be obtained as in the second embodiment.
  • demosaicing process in the subsequent stage can be simplified as compared with the conventional random arrangement.
  • the wide DR image data is generated by making the areas of the first and second groups of pixels 46A and 46B different.
  • the amount of subject light incident on the first and second groups of pixels 46A and 46B may be varied.
  • the color image sensor 75 has basically the same configuration as the color image sensor 41 of the second embodiment. However, in the color image sensor 75, the size of the microlens 76 positioned above the second group of pixels 46B (photoelectric conversion elements PD B ) is larger than that of the first group of pixels 46A (photoelectric conversion elements PD A ). It is formed smaller than the size of the microlens 66 positioned.
  • the amount of the subject light collected on the second group of pixels 46B is smaller than the amount of the subject light collected on the first group of pixels 46A.
  • the signal charge accumulation amount of the second group of pixels 46B is smaller than the signal charge accumulation amount of the first group of pixels 46A. Accordingly, as in the fourth embodiment, the first group of pixels 46A are relatively “high sensitivity pixels”, and the second group of pixels 46B are relatively “low sensitivity pixels”.
  • wide DR image data can be obtained as in the fourth embodiment. Since the color filter array is the same as that of the second and third embodiments, wide DR image data with high image quality and high resolution can be obtained, and further demosaicing processing and the like can be simplified. .
  • wide DR image data can be obtained by changing the sizes of the microlenses 66 and 76.
  • the color image sensor 77 shown in FIG. a, R a, G a, B a filter 34R, 34G, and 34B, R B, G B, B B filters 34R, 34G, may have different light transmittance and 34B.
  • the light transmittances of the R B , G B , and B B filters 34R, 34G, and 34B are lower than the light transmittances of the R A , G A , and B A filters 34R, 34G, and 34B.
  • the G filter 34G is shown as a representative example, but the same applies to the other R filters 34R and B filters 34B.
  • the amount of subject light collected on the second group of pixels 46B is collected on the first group of pixels 46A. Less than the amount of subject light. Therefore, as in the fourth embodiment, the first group of pixels 46A are relatively “high sensitivity pixels”, and the second group of pixels 46B are relatively “low sensitivity pixels”.
  • the basic array pattern P1 has an array pattern corresponding to 12 ⁇ 12 pixels (the basic array patterns P A and P B are each 6 ⁇ 6 pixels).
  • the basic array patterns P A and P B are array patterns corresponding to (M / 2) ⁇ (N / 2) pixels.
  • M and N are preferably 20 or less. This is because when M and N exceed 20, signal processing such as demosaicing becomes complicated, but no special effect can be obtained by increasing the size of the basic array pattern.
  • the arrangement of the R filter 34R and the B filter 34B in each of the above embodiments is not limited to the arrangement shown in each of the above-described drawings, and may be appropriately changed within a range that satisfies at least the above-described feature (4).
  • the first group of pixels of the same color and the second group of pixels are arranged adjacent to each other in the oblique direction (NW), but in the oblique direction (NE). You may arrange
  • the G filter of G color has been described as an example of the first filter having the first color of the present invention. However, instead of the G filter or a part of the G filter. A filter that satisfies any of the following conditions (1) to (4) may be used.
  • Condition (1) is that the contribution rate for obtaining the luminance signal is 50% or more. This contribution rate of 50% is a value determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention, and is used to obtain luminance data. Are determined to be included in the “first color” in which the contribution ratio is relatively higher than the R color, the B color, and the like.
  • the color having a contribution ratio of less than 50% is the second color (R color, B color, etc.) of the present invention, and the filter having this color is the second filter of the present invention.
  • Condition (2) is that the peak of the transmittance of the filter is in the range of wavelengths from 480 nm to 570 nm.
  • a value measured with a spectrophotometer is used as the transmittance of the filter.
  • This wavelength range is a range defined for distinguishing between the first color (G color, etc.) and the second color (R, B color, etc.) of the present invention, and the aforementioned contribution ratio is relative. This is a range determined so that peaks such as R color and B color that become lower in general are not included, and peaks such as G color in which the contribution ratio is relatively higher are included.
  • a filter having a transmittance peak within a wavelength range of 480 nm to 570 nm can be used as the first filter.
  • a filter having a transmittance peak outside the wavelength range of 480 nm to 570 nm is the second filter (R filter, B filter) of the present invention.
  • Condition (3) is that the transmittance within the wavelength range of 500 nm to 560 nm is higher than the transmittance of the second filter (R filter or B filter). Also in this condition (3), the value measured with a spectrophotometer, for example, is used as the transmittance of the filter.
  • the wavelength range of the condition (3) is also a range determined to distinguish the first color (G color, etc.) from the second color (R, B color, etc.) of the present invention. This is a range in which the transmittance of a filter having a color whose contribution rate is relatively higher than the color or B color is higher than the transmittance of an RB filter or the like. Therefore, a filter having a relatively high transmittance within a wavelength range of 500 nm to 560 nm can be used as the first filter, and a filter having a relatively low transmittance can be used as the second filter.
  • Condition (4) is that a filter of two or more colors including a color that contributes most to the luminance signal (for example, G color of RGB) among the three primary colors and a color different from the three primary colors is used as the first filter. Is to use. In this case, a filter corresponding to a color other than each color of the first filter is the second filter.
  • the G color G filter as the first filter is not limited to one type.
  • a plurality of types of G filters (G1 filter, G2 filter) can be used as the first filter. That is, the G filter of the color filter (basic array pattern) according to each of the above embodiments may be appropriately replaced with a G1 filter or a G2 filter.
  • the G1 filter transmits G light in the first wavelength band
  • the G2 filter transmits G light in the second wavelength band having a high correlation with the G1 filter (see FIG. 32).
  • an existing G filter for example, the G filter of the first embodiment
  • the G2 filter a filter having a high correlation with the G1 filter
  • the peak value of the spectral sensitivity curve of the light receiving element in which the G2 filter is disposed is, for example, in the wavelength range of 500 nm to 535 nm (near the peak value of the spectral sensitivity curve of the light receiving element in which the existing G filter is disposed). It is desirable to be.
  • a method described in Japanese Patent Application Laid-Open No. 2003-284084 is used as a method for determining the color filters of four colors (R, G1, G2, B).
  • the color of the image acquired by the color imaging device is set to four types, and the color information acquired is increased, so that the color can be more accurately compared with the case where only three types of colors (RGB) are acquired.
  • RGB three types of colors
  • the transmittances of the G1 and G2 filters are basically the same as the transmittance of the G filter of the first embodiment, the contribution rate for obtaining the luminance signal is higher than 50%. Therefore, the G1 and G2 filters satisfy the above condition (1).
  • the transmittance peak (sensitivity peak of each G pixel) of each G1 and G2 filter is in the range of wavelengths from 480 nm to 570 nm.
  • the transmittances of the G1 and G2 filters are higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, each G1 and G2 filter also satisfies the above-mentioned conditions (2) and (3).
  • G1 and G2 filters may be changed as appropriate. Moreover, you may increase the kind of G filter to three or more types.
  • Transparent filter (W filter)>
  • a color filter mainly including color filters corresponding to RGB colors is shown.
  • a part of these color filters may be used as the transparent filter W (white pixel).
  • the transparent filter W is a transparent color (first color) filter.
  • the transparent filter W is a filter that can transmit light corresponding to the wavelength range of visible light, and has a transmittance of 50% or more for each color of RGB, for example. Since the transmittance of the transparent filter W is higher than that of the G filter, the contribution rate for obtaining the luminance signal is also higher than that of the G color (60%), and satisfies the above condition (1).
  • the transmittance peak of the transparent filter W (white pixel sensitivity peak) is in the wavelength range of 480 nm to 570 nm. Moreover, the transmittance of the transparent filter W is higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, the transparent filter W also satisfies the above-described conditions (2) and (3). As with the transparent filter W, the G filter satisfies the above-described conditions (1) to (3).
  • the transparent filter W satisfies the above-mentioned conditions (1) to (3), it can be used as the first filter of the present invention.
  • the color filter array a part of the G filter corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the transparent filter W, so the above condition (4) is also satisfied.
  • E filter a color filter mainly composed of color filters corresponding to RGB colors is shown. However, some of these color filters may be other color filters, for example, corresponding to emerald (E) colors.
  • a filter E emerald pixel
  • an emerald filter (E filter) may be arranged instead of a part of the first filter (G filter).
  • the peak of transmittance of the emerald filter E (peak of sensitivity of the E pixel) is in the wavelength range of 480 nm or more and 570 nm or less. Further, the transmittance of the emerald filter E is higher than the transmittance of the RB filter within a wavelength range of 500 nm to 560 nm. For this reason, the emerald filter E satisfies the above-mentioned conditions (2) and (3). Further, in the color filter array, part of the G filter corresponding to the G color that contributes most to the luminance signal among the three primary colors of RGB is replaced with the emerald filter E, so the above condition (4) is also satisfied.
  • the emerald filter E has a peak on the shorter wavelength side than the G filter, but has a peak on the longer wavelength side than the G filter (it looks a little yellowish). is there.
  • those satisfying the conditions of the present invention can be selected.
  • an emerald filter E that satisfies the condition (1) can be selected.
  • the color filter array including the primary color RGB color filters has been described.
  • G is added to C (cyan), M (magenta), and Y (yellow) which are complementary colors of the primary color RGB.
  • the present invention can also be applied to a color filter array of four complementary color filters.
  • the color filter satisfying any one of the above conditions (1) to (4) is set as the first filter of the present invention, and the other color filter is set as the second filter.
  • Each color filter array of each of the above embodiments includes a basic array pattern in which color filters of each color are two-dimensionally arrayed in the horizontal direction (H) and the vertical direction (V), and this basic array pattern is in the horizontal direction (H ) And the vertical direction (V), but the present invention is not limited to this.
  • the basic arrangement pattern is repeatedly arranged in an oblique direction (NE, NW) using a so-called honeycomb arrangement basic arrangement pattern obtained by rotating the basic arrangement pattern of each of the above-described embodiments by 45 ° around the optical axis.
  • a color filter may be configured by an array pattern.
  • a digital camera has been described as an example of an imaging apparatus including the color imaging element of the present invention.
  • the present invention can be applied to various imaging apparatuses such as an endoscope. .

Abstract

　カラー撮像素子４１の撮像面上に、第１群の画素４６Ａを所定ピッチｐで水平、及び垂直方向にマトリクス状に配列する。第２群の画素４６Ｂを、第１群の画素４６Ａに対して、水平、及び垂直方向にそれぞれ１／２ｐずらした位置に配列する。第１群及び第２群の画素上に、ＲＧＢフィルタ３４Ｒ，３４Ｇ，３４Ｂを同一のカラーフィルタ配列で配列する。カラーフィルタ配列を、フィルタ３４Ｒ，３４Ｇ，３４Ｂが配列されてなる基本配列パターンＰ１を水平方向及び垂直方向に繰り返し配置することにより構成する。Ｇフィルタ３４Ｇをカラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置する。Ｒ、Ｂフィルタ３４Ｒ，３４Ｂを、基本配列パターンＰ１内においてカラーフィルタ配列の水平、垂直方向の各ライン内にそれぞれ１以上配置する。

Description

カラー撮像素子及び撮像装置
　本発明はカラー撮像素子及び撮像装置に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子及び撮像装置に関する。
　ＣＣＤカラー撮像素子やＣＭＯＳカラー撮像素子などのカラー撮像素子を備え、デジタル画像を取得するデジタルカメラ（撮像装置）が普及している。近年、デジタルカメラは、カラー撮像素子の種類に応じて様々な画像データを生成することができる。
　例えば、特許文献１から３に記載のデジタルカメラでは、カラー撮像素子の全画素が所定パターンで配列された第１群のＲＧＢ画素と、第１群のＲＧＢ画素と同一配列パターンを有し、かつ第１群のＲＧＢ画素にそれぞれ隣接するように配置された第２群の画素とにより構成されている。具体的には、第２群のＲＧＢ画素が第１群のＲＧＢ画素に対してそれぞれ水平、垂直方向に１／２画素間隔ずらして配置されている。これにより、第１群又は第２群の一方のＲＧＢ画素により構成される通常撮影画像、第１群及び第２群の両方のＲＧＢ画素により構成される高解像度画像が得られる。また、第１群及び第２群のＲＧＢ画素の信号電荷蓄積時間（電気的な露光時間）を異ならせることにより感度が異なる画像が得られるので、これら感度の異なる２種類の画像に基づきダイナミックレンジ（ＤＲ）が拡張（拡大）された広ＤＲ画像が得られる。
　また、特許文献４から８に記載のデジタルカメラでは、第１群のＲＧＢ画素と第２群のＲＧＢ画素との面積を異ならせることにより感度が異なる画像が得られるので、広ＤＲ画像が得られる。
　さらに、第１群の画素と第２群の画素とをそれぞれ異なる方向からの入射光に対して感度が高くなる位相差画素とすることによって、視差のある２視点の視点画像により構成される立体視可能な視差画像が得られる。
　このような各種のデジタルカメラには、単板式のカラー撮像素子が設けられることが多い。単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はＲＡＷ画像（モザイク画像）となるので、欠落している色の画素を、周囲の画素から補間する処理（デモザイキング処理）により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ（偽色）の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。
　デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。
　単板カラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。
　図３５のＡ部分に示すような白黒の縦縞模様（高周波画像）が、図３５のＢ部分に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図３５のＣ部分からＥ部分に示すようにＲは薄い平坦、Ｂは濃い平坦、Ｇは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、ＲＧＢ間に濃度差（レベル差）は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。
　同様に、図３６のＡ部分に示すような斜めの白黒の高周波画像が、図３６Ｂ部分に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図３６のＣ部分からＥ部分に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となり、仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。
　一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。
　このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む３色と着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献９）。
　また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献１０）。
　さらに、ＲＧＢの３原色のカラー固体撮像素子において、Ｒ、Ｇ、Ｂを水平に配置した３画素のセットを垂直方向にジグザグにずらしながら配置することによって、ＲＧＢそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線（水平、垂直、斜めの直線）が全ての色を通過するようにした色配列が提案されている（特許文献１１）。
　さらにまた、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素置きに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子が提案されている（特許文献１２）。
特開２００４－５５７８６号公報 特開２００４－３３６４６８号公報 特開２００８－１６０６７４号公報 特開２００４－３３６４６８号公報 特開２００５－２８６１０４号公報 特開２００７－３０６０６４号公報 特開２００７－３２５１４５号公報 特開２００８－１９３７１４号公報 特開２０００－３０８０８０号公報 特開２００５－１３６７６６号公報 特開平１１－２８５０１２号公報 特開平８－２３５４３号公報
　特許文献９に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターン毎に最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。
　また、特許文献１０に記載の画像センサは、Ｇ画素（輝度画素）が市松状に配置されているため、限界解像度領域（特に斜め方向）での画素再現精度が良くないという問題がある。
　特許文献１１に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、ＲＧＢの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するＧの画素数の比率が、Ｒ、Ｂそれぞれの画素数の２倍になっている。
　一方、特許文献１２に記載のカラー撮像素子は、Ｒ、Ｂそれぞれの画素数に対するＧの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にＧ画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。
　本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子及び撮像装置を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向にそれぞれ所定画素間隔でマトリクス状に配列された光電変換素子で構成される第１群の画素と、第１群の画素の各光電変換素子に対して水平方向及び垂直方向にそれぞれ所定画素間隔の半分ずらした位置に配列された光電変換素子で構成される第２群の画素と、第１及び第２画素群上にそれぞれ同一の特定のカラーフィルタ配列で配列されてなるカラーフィルタとを備えるカラー撮像素子であって、カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい。
　本発明の一の態様に係る発明によれば、輝度信号を得るための寄与率の高い第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に配置するようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。
　また、カラーフィルタ配列は、基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
　さらに、第１のフィルタに対応する第１の色の画素数と第２のフィルタに対応する２色以上の第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率の高い第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。
　本発明の他の態様に係るカラー撮像素子において、第１群の画素は、撮影光学系の互いに異なる２つの領域の一方を透過した被写体光を選択的に受光し、第２群の画素は、２つの領域の他方を透過した被写体光を選択的に受光する。これにより、立体視可能な視差画像が得られる。
　本発明のさらに他の態様に係るカラー撮像素子において、２つの領域は、撮影光学系の光軸に対して対称な領域であることが好ましい。これにより、立体視可能な視差画像が得られる。
　本発明のさらに他の態様に係るカラー撮像素子において、第２群の画素の感度は、第１群の画素の感度よりも低い。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
　本発明のさらに他の態様に係るカラー撮像素子において、第２群の画素の面積は、第１群の画素の面積よりも小さくなる。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
　本発明のさらに他の態様に係るカラー撮像素子において、第２群の画素上のカラーフィルタの光透過率は、第１群画素上のカラーフィルタの光透過率よりも低くなる。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
　第１及び第２のフィルタの上方にはそれぞれマイクロレンズが設けられており、第２群の画素上に位置するマイクロレンズは、第１群の画素上に位置するマイクロレンズよりも小さくなる。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。
　本発明の一の態様に係る撮像装置において、本発明の一の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、を備える。これにより、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができる。
　本発明の他の態様に係る撮像装置において、互いに斜め右上方向又は斜め右下方向に隣接しかつ同色のカラーフィルタの下方に配置されている第１群及び第２群の画素からそれぞれ出力される出力信号を加算して、画像を生成する第１画像生成手段を備える。これにより、低ノイズの高感度画像が得られる。
　本発明のさらに他の態様に係る撮像装置において、第１群の画素からの出力信号と第２群の画素からの出力信号に基づき、第１群及び第２群の画素のそれぞれの画素数よりも大きい画素数を有する画像を生成する第２画像生成手段を備える。これにより、高解像度画像が得られる。
　本発明のさらに他の態様に係る撮像装置において、第２群の画素の電荷蓄積時間を第１群の画素の電荷蓄積時間よりも短くする電荷蓄積時間調整手段と、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段とを備える。これにより、第１群の画素及び第２群の画素の面積を異ならせることなく、ダイナミックレンジが拡張された画像が得られる。
　本発明のさらに他の態様に係る撮像装置において、撮影光学系の２つ領域をそれぞれ透過した被写体光を選択的に受光する第１群及び第２群の画素を有する本発明の他の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、第１群の画素からの出力信号によって構成される第１画像と、第２群の画素からの出力信号によって構成される第２画像とを含む視差画像を生成する第４画像生成手段と、を備えることを特徴とする。これにより、立体視可能な視差画像が得られる。
　本発明のさらに他の態様に係る撮像装置において、高感度画素及び低感度画素を有する本発明のさらに他の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段と、を備える。
　本発明によれば、輝度信号を得るための寄与率の高い第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に１つ以上配置するとともに、第１のフィルタに対応する第１の色の画素数の比率を、第１の色以外の２色以上の第２のフィルタに対応する第２の色の画素数の比率よりも大きくするようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させ、かつエリアシングを抑制することができる。
　また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタを、基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。
　さらに、本発明に係るカラーフィルタ配列は、基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第１の実施形態を示す図である。 第１の実施形態のデジタルカメラのカラー撮像素子の画素配列を示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するために使用した図である。 カラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図である。 本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第２の実施形態を示す図である。 第２の実施形態のデジタルカメラのカラー撮像素子の画素配列を示す図である。 第２の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 第２の実施形態のカラー撮像素子のＡ面カラーフィルタ配列を示す図である。 第２の実施形態のカラー撮像素子のＢ面カラーフィルタ配列を示す図である。 第２の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 光学ローパスフィルタを配置する必要がある従来のカラーフィルタ配列を示す図である。 は広ＤＲ画像撮影モード時における第２の実施形態のカラー撮像素子の制御を説明するための説明図である。 高感度画像生成部による高感度画像データ生成処理を説明するための図である。 高感度画像データ生成処理（画素混合）を説明するための説明図である。 高解像度画像生成部による高解像度画像データ生成処理を説明するための図である。 広ＤＲ画像生成部による広ＤＲ画像データ生成処理を説明するための図である。 第２の実施形態のデジタルカメラの作用を説明するための図である。 本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第３の実施形態を示す図である。 第３の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 図２２中のＡＡ線に沿う断面を示す図である。 図２２中のＢＢ線に沿う断面を示す図である。 視差画像生成部による視差画像データ（Ｒ，Ｌ視点画像データ）生成処理を説明するための図である。 第３の実施形態のデジタルカメラの作用を説明するための図である。 本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第４の実施形態を示す図である。 第４の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 第４－１の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 図２９中のＣＣ線に沿う断面を示す図である。 第４－２の実施形態のカラー撮像素子の断面を示す図である。 Ｒフィルタ（赤フィルタ）、Ｇ１フィルタ（第１の緑フィルタ）、Ｇ２フィルタ（第２の緑フィルタ）及びＢフィルタ（青フィルタ）が配置される受光素子の分光感度特性を示すグラフである。 Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＷフィルタ（透明フィルタ）が配置される受光素子の分光感度特性を示すグラフである。 Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びエメラルドフィルタＥ（Ｅフィルタ）が配置される受光素子の分光感度特性を示すグラフである。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　［第１の実施形態のデジタルカメラの全体構成］
　図１は本発明に係るカラー撮像素子を備える第１の実施形態のデジタルカメラ（撮像装置）１０のブロック図である。デジタルカメラ１０のＣＰＵ１１は、シャッタボタンや各種操作ボタンを含む操作部１２からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。
　レンズユニット（撮影光学系）１３には、ズームレンズ１４、フォーカスレンズ１５、メカシャッタ１６などが組み込まれている。ズームレンズ１４及びフォーカスレンズ１５は、それぞれズーム機構１７、フォーカス機構１８により駆動され、光軸Ｏ１に沿って前後移動される。
　メカシャッタ１６は、カラー撮像素子２０への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１６は、可動部を各位置に移動させることによって、各レンズ１４，１５からカラー撮像素子２０へと至る光路を開放／遮断する。なお、メカシャッタ１６には、カラー撮像素子２０に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１６，ズーム機構１７、及びフォーカス機構１８は、レンズドライバ２１を介してＣＰＵ１１によって動作制御される。
　レンズユニット１３の背後にはカラー撮像素子２０が配置されている。カラー撮像素子２０は、各レンズ１４，１５からの被写体光を電気的な出力信号に変換して出力する。撮像素子ドライバ２３は、ＣＰＵ１１の制御の下でカラー撮像素子２０の駆動を制御する。
　画像処理回路２２は、カラー撮像素子２０から入力される出力信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して画像データを生成する。以下、通常の撮影モード時（以下、通常撮影モードという）に画像処理回路２２が生成する画像データを通常撮影画像データという。
　圧縮伸長処理回路２９は、画像処理回路２２で処理された各画像データに対して圧縮処理を施す。また、圧縮伸長処理回路２９は、メディアＩ／Ｆ３０を介してメモリカード３１から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３０は、メモリカード３１に対する各画像データの記録及び読み出しなどを行う。表示部３２は、液晶ディスプレイなどが用いられ、スルー画像や再生画像などを表示する。
　なお、図示は省略するが、デジタルカメラ１０にはオートフォーカス用のＡＦ検出回路やＡＥ検出回路などが設けられている。ＣＰＵ１１は、ＡＦ検出回路の検出結果に基づき、レンズドライバ２１を介してフォーカス機構１８を駆動することでＡＦ処理を実行する。また、ＣＰＵ１１は、ＡＥ検出回路の検出結果に基づき、レンズドライバ２１を介してメカシャッタ１６を駆動することでＡＥ処理を実行する。
　［カラー撮像素子の第１の実施形態］
　図２及び図３は本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図であり、図２はカラー撮像素子２０に設けられている画素の画素配列に関して示し、図３はカラーフィルタのカラーフィルタ配列に関して示している。なお、カラー撮像素子２０は、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子であってもよい。
　図２に示すように、カラー撮像素子２０は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子ＰＤを有する複数の画素３３と、各画素の受光面の上方に配置された、図３に示すカラーフィルタ配列のカラーフィルタとから構成されている。各画素の上方には、ＲＧＢの３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）３４Ｒ，３４Ｇ，３４Ｂのうちのいずれかが配置される。以下、Ｒフィルタ３４Ｒが配置された画素を「Ｒ画素」、Ｇフィルタ３４Ｇが配置された画素を「Ｇ画素」、Ｂフィルタ３４Ｂが配置された画素を「Ｂ画素」という。ここで、「上方」とは、カラー撮像素子２０の撮像面に対して被写体光が入射してくる側の方向を指す。
　＜カラーフィルタ配列の特徴＞
　第１の実施形態のカラー撮像素子２０のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。
　〔特徴（１）〕
　図３に示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（図中の太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のＲフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂが周期性をもって配列されている。
　このようにＲフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂが周期性をもって配列されているため、カラー撮像素子２０から読み出されるＲ、Ｇ、Ｂ信号のデモザイキング処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
　また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。
　〔特徴（２）〕
　図３に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタ３４Ｇが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各フィルタライン内に１つ以上配置されている。ここで、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。
　輝度系画素に対応するＧフィルタ３４Ｇが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各フィルタライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。
　〔特徴（３）〕
　図３に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲＧＢフィルタ３４Ｒ，３４Ｇ，３４Ｂに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。
　上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。
　〔特徴（４）〕
　図３に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ３４Ｒ、Ｂフィルタ３４Ｂが、それぞれ基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に１つ以上配置されている。
　Ｒフィルタ３４Ｒ及びＢフィルタ３４Ｂがそれぞれカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　図４は、図３に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
　図４に示すように基本配列パターンＰは、図中の実線の枠で囲んだ３×３画素のＡ配列３５ａと、図中の破線の枠で囲んだ３×３画素のＢ配列３５ｂとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。
　Ａ配列３５ａ及びＢ配列３５ｂは、それぞれ輝度系画素であるＧフィルタ３４Ｇが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列３５ａは、中央のＧフィルタ３４Ｇを挟んでＲフィルタ３４Ｒが水平方向に配列され、Ｂフィルタ３４Ｂが垂直方向に配列されている。一方、Ｂ配列３５ｂは、中央のＧフィルタ３４Ｇを挟んでＢフィルタ３４Ｂが水平方向に配列され、Ｒフィルタ３４Ｒが垂直方向に配列されている。即ち、Ａ配列３５ａとＢ配列３５ｂとは、Ｒフィルタ３４ＲとＢフィルタ３４Ｂとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、Ａ配列３５ａとＢ配列３５ｂの４隅のＧフィルタ３４Ｇは、図５に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタ３４Ｇとなる。
　これは、輝度系画素であるＧフィルタ３４Ｇが、Ａ配列３５ａ又はＢ配列３５ｂにおける３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタ３４Ｇが形成されるためである。なお、このような配列とすることで、前述の特徴（１）、（２）、（３）、及び後述の特徴（５）が満たされる。
　〔特徴（５）〕
　図３に示すカラーフィルタ配列は、Ｇフィルタ３４Ｇが設けられた２×２画素に対応する正方配列３６（以下、単にＧ正方配列３６という、図６参照）を含んでいる。
　図６に示すように、Ｇフィルタ３４Ｇが設けられた２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。
　即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（デモザイキング処理）に使用することができる。これにより、画像処理回路２２によるデモザイキング処理が実行可能となる。
　また、図５に示すように３×３画素のＡ配列３５ａ又はＢ配列３５ｂの画素をデモザイキング処理の対象画素とし、Ａ配列３５ａ又はＢ配列３５ｂを中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値を使用することにより、４方向の相関方向の判別を最小画素間隔のＧ画素の情報を使用して精度よく行うことができる。
　〔特徴（６）〕
　図３に示すカラーフィルタ配列の基本配列パターンＰは、その中心（４つのＧフィルタ３４Ｇの中心）に対して点対称になっている。また、図４に示したように、基本配列パターンＰ内のＡ配列３５ａ及びＢ配列３５ｂも、それぞれ中心のＧフィルタ３４Ｇに対して点対称になっている。
　このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。
　図７に示すように太枠で示した基本配列パターンＰにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第２のラインのカラーフィルタ配列は、ＲＧＲＢＧＢであり、第４及び第６のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第５のラインのカラーフィルタ配列は、ＢＧＢＲＧＲとなっている。
　いま、図７において、基本配列パターンＰを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＰα、それぞれ２画素ずつシフトした基本配列パターンをＰβとすると、これらの基本配列パターンＰα、Ｐβを水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。
　即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図７に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第１の実施形態では、基本配列パターンが点対称になっている基本配列パターンＰを、便宜上、基本配列パターンという。
　なお、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。
　［第２の実施形態のデジタルカメラの全体構成］
　図８は本発明に係るカラー撮像素子を備える第２の実施形態のデジタルカメラ（撮像装置）３９のブロック図である。上記第１の実施形態では、１種類の撮影モード（通常撮影モード）を有するデジタルカメラ１０について説明したが、デジタルカメラ３９は複数種類の撮影モードを有している。
　デジタルカメラ３９は、前述の通常撮影モードの他に、ノイズが少なくかつ高感度撮影された画像（以下、高感度画像という）を生成する高感度画像撮影モードと、通常撮影画像よりも解像度が高い（画素数が大きい）画像（以下、高解像度画像という）を生成する高解像度画像撮影モードと、通常撮影画像よりもダイナミックレンジが拡張（拡大）された画像（以下、広ＤＲ画像という）を生成する広ＤＲ画像撮影モードとを有している。各撮影モードの切り替えは操作部１２で行われる。
　なお、デジタルカメラ３９は、第１の実施形態のデジタルカメラ１０とは異なるカラー撮像素子４１及び画像処理回路４３を有しており、かつＣＰＵ１１が電荷蓄積時間調整部（電荷蓄積時間調整手段）４４として機能する点を除けば、基本的には第１の実施形態と同じ構成である。このため、第１の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　［カラー撮像素子の第２の実施形態］
　図９に示すように、カラー撮像素子４１の撮像面上には、第１群の画素４６Ａと第２群の画素４６Ｂとが設けられている。第１群の画素４６Ａは、水平、及び垂直方向にそれぞれ所定画素間隔ｐでマトリクス状に配列された光電変換素子ＰＤＡにより構成される。また、第２群の画素４６Ｂは、第１群の画素４６Ａと同じく画素間隔ｐでマトリクス状に配列された光電変換素子ＰＤＢにより構成される。
　第１群の画素４６Ａ（光電変換素子ＰＤＡ）は、カラー撮像素子４１の奇数画素ライン上に配列されている。一方、第２群の画素４６Ｂ（光電変換素子ＰＤＢ）は、カラー撮像素子４１の偶数画素ライン上に配列されている。また、各光電変換素子ＰＤＢは、各光電変換素子ＰＤＡに対して、水平、及び垂直方向にそれぞれ１／２ｐ（所定画素間隔の半分）ずらした位置に配列されている。なお、光電変換素子ＰＤＡ，ＰＤＢは配列位置を除けば基本的には同じものである。以下、カラー撮像素子４１の撮像面のうち、第１群の画素４６Ａが配列されている領域を「Ａ面」といい、第２群の画素４６Ｂが配列されている領域を「Ｂ面」という。
　第１群の画素４６Ａ、及び第２群の画素４６Ｂからそれぞれ出力される出力信号は、画像処理回路４３に入力される。
　図１０に示すように、第１群の画素４６Ａ及び第２群の画素４６Ｂの上方には、それぞれ同一のカラーフィルタ配列でＲ、Ｇ、Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂが配列されている。このため、カラー撮像素子４１のカラーフィルタ配列は、同一のカラーフィルタ配列を水平、垂直方向にそれぞれ１／２ｐずらして配置してなる配列パターン（以下、特殊配列パターンという）を有している。
　以下、Ａ面上のＲ、Ｇ、Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂを「ＲＡ、ＧＡ、ＢＡフィルタ３４Ｒ，３４Ｇ，３４Ｂ」、Ｂ面上のＲ、Ｇ、Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂを「ＲＢ、ＧＢ、ＢＢフィルタ３４Ｒ，３４Ｇ，３４Ｂ」という。また、Ａ面上のＲＡ、ＧＡ、ＢＡフィルタ３４Ｒ，３４Ｇ，３４Ｂのカラーフィルタ配列を「Ａ面カラーフィルタ配列」、Ｂ面上のＲＢ、ＧＢ、ＢＢフィルタ３４Ｒ，３４Ｇ，３４Ｂのカラーフィルタ配列を「Ｂ面カラーフィルタ配列」という。
　図１１及び図１２に示すように、Ａ面カラーフィルタ配列とＢ面カラーフィルタ配列は、それぞれ第１の実施形態のカラーフィルタ配列と基本的に同じで配列である。このため、Ａ面カラーフィルタ配列は６×６画素に対応する正方配列パターンである基本配列パターンＰＡを含み、Ｂ面カラーフィルタ配列も同じ正方配列パターンである基本配列パターンＰＢを含む。そして、Ａ面、Ｂ面カラーフィルタ配列は、それぞれ基本配列パターンＰＡ、基本配列パターンＰＢが水平方向及び垂直方向に繰り返し配置されている。
　基本配列パターンＰＡ，ＰＢは、第１の実施形態の基本配列パターンＰと基本的に同じ配列パターンである。このため、第１の実施形態で述べたように、Ａ面及びＢ面カラーフィルタ配列は、それぞれ前述の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。
　図１０に戻って、カラー撮像素子４１のカラーフィルタ配列は、Ａ面カラーフィルタ配列とＢ面カラーフィルタ配列とにより構成される。Ａ面及びＢ面カラーフィルタ配列は前述の特徴（２）及び（３）を有しているので、カラー撮像素子４１のカラーフィルタ配列も同様に前述の特徴（２）及び（３）を有する。
　さらに、Ａ面及びＢ面カラーフィルタ配列は、それぞれ基本配列パターンＰＡ，ＰＢが水平方向及び垂直方向に繰り返し配置されてなる。このため、カラー撮像素子４１のカラーフィルタ配列は、基本配列パターンＰ１を含み、この基本配列パターンＰ１が水平方向及び垂直方向に繰り返し配置されている。このため、カラー撮像素子４１のカラーフィルタ配列も前述の特徴（１）を有する。
　図１３に示すように、基本配列パターンＰ１は、基本配列パターンＰＡと、この基本配列パターンＰＡに対して水平及び垂直方向に１／２ｐずれた位置にある基本配列パターンＰＢとにより構成されている。Ａ面及びＢ面カラーフィルタ配列は前述の特徴（４）を有しているので、カラー撮像素子４１のカラーフィルタ配列も同様に前述の特徴（４）を有する。
　なお、第２の実施形態では、基本配列パターンＰ１はその中心に対して点対称となっていない。
　上記のようにカラー撮像素子４１のカラーフィルタ配列は、第１の実施形態のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）と同じ特徴を有している。
　〔特徴（７）〕
　また、カラー撮像素子４１のカラーフィルタ配列では、斜め（ＮＥ，ＮＷ）方向の各フィルタライン（一部のラインを除く）に、ＲＡ，Ｂフィルタ３４Ｒ、ＧＡ，Ｂフィルタ３４Ｇ、ＢＡ，Ｂフィルタ３４Ｂがそれぞれ１つ以上配置される。このため、斜め（ＮＥ，ＮＷ）方向の解像度が高くなる。
　一方、比較例を示す図１４のように、カラーフィルタ配列が第２の実施形態と同様の「特殊配列パターン」を有するが、Ａ面及びＢ面配列パターンがそれぞれベイヤー配列である場合に、斜め（ＮＥ）方向の解像度が低下する。具体的には、カラーフィルタ配列がＧフィルタ３４Ｇのみの斜め（ＮＷ）方向のラインＬＧと、Ｒ、Ｂフィルタ３４Ｒ，３４Ｂのみの斜め（ＮＷ）方向のラインＬＲＢとが斜め（ＮＥ）方向に交互に配置されたパターンとなるので、例えばＧフィルタ３４Ｇの斜め（ＮＥ）方向の画素間隔が水平、垂直方向の画素間隔よりも拡がってしまう。なお、Ｒ、Ｂフィルタ３４Ｒ，３４Ｂについても同様である。このため、カラーフィルタ配列は斜め（ＮＥ）方向の解像度が低下するので、斜め（ＮＥ）方向に異方性を有する光学ローパスフィルタを別途設けることが好ましい。
　これに対して、カラー撮像素子４１のカラーフィルタ配列では、斜め（ＮＥ，ＮＷ）方向の解像度が高くなるので、斜め（ＮＥ）方向に異方性を有する光学ローパスフィルタを配置しなくとも、斜め方向に高周波成分を有する入力像により発生しうる色モワレ（偽色）を抑えることができる。
　〔特徴（５’）〕
　さらに、カラー撮像素子４１のカラーフィルタ配列は、第１実施形態のＧ正方配列３６の代わりに、ＧＡ、ＧＢフィルタ３４Ｇが水平、垂直、及び斜め方向に最小間隔で４つ配置されてなるＧ配列４８を有している（図１０、図１３参照）。このため、Ｇ配列４８が設けられた４画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（ＮＥ、ＮＷ）のＧ画素の画素値の差分絶対値を求めることにより、差分絶対値の小さい方向に相関があると判断することができる。これにより、カラー撮像素子４１のカラーフィルタ配列は、前述の特徴（５）とほぼ同じ特徴を有している。
　［第２の実施形態のデジタルカメラの各構成］
　電荷蓄積時間調整部４４（図８参照）は、第１群の画素４６Ａ（Ａ面）と第２群の画素４６Ｂ（Ｂ面）との電荷蓄積時間（露光時間）を独立して制御する。電荷蓄積時間調整部４４は、広ＤＲ画像撮影モード以外の撮影モード時には、第１群の画素４６Ａと第２群の画素４６Ｂとの電荷蓄積時間を同じに設定する。
　また、図１５に示すように、電荷蓄積時間調整部４４は、広ＤＲ画像撮影モード時には、第２群の画素４６Ｂの電荷蓄積時間を、第１群の画素４６Ａの電荷蓄積時間よりも短く設定する（逆でも可）。これにより、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。その結果、第１群の画素４６Ａからは感度の高い画像（以下、高感度画像という）が得られ、第２群の画素４６Ｂからは感度の低い画像（以下、低感度画像という）が得られる。
　図８に戻って、画像処理回路４３は、基本的には第１の実施形態の画像処理回路２２と同じであるが、通常撮影モード時には通常撮影画像データを生成し、高感度画像撮影モード時には高感度画像データを生成し、高解像度画像撮影モード時には高解像度画像データを生成し、広ＤＲ画像撮影モード時には広ＤＲ画像データを生成する。この画像処理回路４３は、通常画像生成部５０、高感度画像生成部（第１画像生成手段）５１、高解像度画像生成部（第２画像生成手段）５２、広ＤＲ画像生成部（第３画像生成手段）５３を備える。
　通常画像生成部５０は、通常撮影モード時に例えば第１群の画素４６Ａ（第２群の画素４６Ｂでも可）から出力される出力信号に基づき、通常撮影画像データを生成する。
　図１６に示すように、高感度画像生成部５１は、高感度画像撮影モード時に同色でかつ互いに斜め方向（本実施形態ではＮＷ方向）に隣接する第１群の画素４６Ａからの出力信号と第２群の画素４６Ｂからの出力信号を混合（加算）する、いわゆる画素混合を行う。これにより、図１７に示すように、斜め方向（ＮＷ）に隣接する同色の第１群及び第２群の画素４６Ａ，４６Ｂを１画素とみなして信号処理することができる。このような画素混合により感度が２倍相当となるので、高感度画像データが得られる。この高感度画像データは、ゲインアップすることなく得られるので、ノイズも少なくなる。なお、図示は省略するが同色の第１群の画素４６Ａと第２群の画素４６Ｂとが斜め方向（ＮＥ）に隣接している場合であっても、同様にして高感度画像データが得られる。
　図１８に示すように、高解像度画像生成部５２は、高解像度画像撮影モード時に第１群の画素４６Ａと第２群の画素４６Ｂの両方からそれぞれ出力される出力信号に基づき、高解像度画像データを生成する。高解像度画像データは、通常撮影画像データ生成時の２倍の画素を用いて生成されるので、通常撮影画像データよりも高解像度な画像データとなる。
　図１９に示すように、広ＤＲ画像生成部５３は、広ＤＲ画像撮影モード時に信号電荷蓄積時間が異なる第１群及び第２群の画素４６Ａ，４６Ｂの各々の出力信号に基づき、高感度画像データ、低感度画像データを生成する。次いで、広ＤＲ画像生成部５３は、高感度画像データと低感度画像データとに基づいて広ＤＲ画像データを生成する。なお、感度の異なる画像データを用いて広ＤＲ画像データを生成する方法は周知技術であるので、ここでは具体的な説明は省略する。
　［第２の実施形態のデジタルカメラの作用］
　次に、図２０を用いて上記構成のデジタルカメラ３９の作用について説明する。操作部１２にて撮影モードが通常撮影モード、高感度画像撮影モード、高解像度画像撮影モード、広ＤＲ画像撮影モードのいずれかに設定されると、ＣＰＵ１１はレンズドライバ２１を介してメカシャッタ１６の動作を制御するとともに、撮像素子ドライバ２３を介してカラー撮像素子４１を駆動する。
　所定のシャッタ速度でメカシャッタ１６が開閉され、カラー撮像素子４１の各画素４６Ａ，４６Ｂに信号電荷が蓄積する。この際に、電荷蓄積時間調整部４４は、広ＤＲ画像撮影モード以外の撮影モード時には、第１群の画素４６Ａと第２群の画素４６Ｂとの電荷蓄積時間を同じに調整し、広ＤＲ画像撮影モード時には両者の電荷蓄積時間を異ならせる。そして、撮像素子ドライバ２３の制御の下、各画素４６Ａ，４６Ｂの出力信号が画像処理回路４３へ出力される。
　［通常撮影モード］
　撮影モードとして通常撮影モードが設定されている場合には、通常画像生成部５０が作動する。通常画像生成部５０は、第１群の画素４６Ａからの出力信号に基づき、通常撮影画像データを生成し、これを一定のタイミングで表示部３２へ出力する。これにより、表示部３２にスルー画像が表示される。また、同時にＡＦ処理やＡＥ処理などの撮影準備処理も同時に行われる。
　操作部１２で撮影指示がなされると、通常画像生成部５０にて１フレーム分の通常撮影画像データが生成される。この通常撮影画像データは、圧縮伸長処理回路２９にて圧縮された後、メディアＩ／Ｆ３０を経由してメモリカード３１に記録される。
　［高感度画像、高解像度画像、広ＤＲ画像撮影モード、］
　撮影モードとして高感度画像撮影モードが設定されている場合には、高感度画像生成部５１が作動して、図１６に示したように、いわゆる画素混合を行うことで高感度画像データを生成する。また、撮影モードとして高解像度画像撮影モードが設定されている場合には、高解像度画像生成部５２が作動して、図１８に示したように全画素４６Ａ，４６Ｂからの出力信号に基づき、高解像度画像データが生成される。
　さらに、撮影モードとして広ＤＲ画像撮影モードが設定されている場合には、広ＤＲ画像生成部５３が作動して、図１９に示したように全画素４６Ａ，４６Ｂの各々からの出力信号により構成される高感度、低感度画像データに基づき、広ＤＲ画像データが生成される。以下、通常撮影モード時と同様に、操作部１２で撮影指示がなされたときに、高感度画像データ、高解像度画像データ、及び広ＤＲ画像データがそれぞれ圧縮処理された後にメモリカード３１に記録される。
　カラー撮像素子４１が図１０などに示したカラーフィルタ配列を有しているので、通常撮影画像データ、高感度画像データ、高解像度画像データ、及び広ＤＲ画像データのいずれにおいても色モワレ（偽色）の発生が抑制され、高画質な画像データが得られる。また、光学ローパスフィルタを配置しない、あるいは高周波数成分をカットする働きの弱いものを適用することができるので、各画像データの解像度を損なわないようにすることができる。これにより、高解像度な画像データが得られる。さらに、カラーフィルタ配列は、基本配列パターンＰ１が水平方向及び垂直方向に繰り返して配置されているため、画像処理回路などの後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。
　［第３の実施形態のデジタルカメラの全体構成］
　図２１は本発明に係るカラー撮像素子を備える第３の実施形態のデジタルカメラ（撮像装置）５５のブロック図である。上記第２の実施形態では、高感度画像、高解像度画像、及び広ＤＲ画像を生成可能なデジタルカメラ３９について説明したが、デジタルカメラ５５では立体視可能な視差画像を生成する。
　デジタルカメラ５５は、前述の高感度画像撮影モード、高解像度画像撮影モード、及び広ＤＲ画像撮影モードの代わりに、視差画像を生成する３Ｄ撮影モードを有している。また、デジタルカメラ５５は、第２の実施形態のデジタルカメラ３９とは異なるカラー撮像素子５８、画像処理回路５９、及び表示部６０を有している点を除けば、基本的には第２の実施形態と同じ構成であり、第２の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　［カラー撮像素子の第３の実施形態］
　図２２に示すように、カラー撮像素子５８の画素配列及びカラーフィルタ配列は第２実施形態のカラー撮像素子４１の画素配列、カラーフィルタ配列と同じである。ただし、カラー撮像素子５８では、第１群の画素４６Ａ、第２群の画素４６Ｂがそれぞれ異なる方向から入射する被写体光に対して感度が高くなるように構成されている。
　図２２中のＡＡ線に沿う断面を示す図２３、及びＢＢ線に沿う断面を示す図２４において、半導体基板（ｓｕｂ）６２の表層には、各画素４６Ａ，４６Ｂをそれぞれ構成する光電変換素子ＰＤＡ，ＰＤＢがそれぞれ形成されている。なお、半導体基板６２には、図示は省略するが、各画素４６Ａ，４６Ｂの駆動や信号出力に用いられる各種回路が設けられている。
　半導体基板６２上には、例えば酸化シリコンで形成された光透過性の絶縁膜６３が設けられている。絶縁膜６３上には、例えばタングステンで形成された遮光膜６４が設けられている。遮光膜６４は、光電変換素子ＰＤＡ上に形成された第１偏心開口６４ａと、光電変換素子ＰＤＢ上に形成された第２偏心開口６４ｂとを有している。
　第１偏心開口６４ａは、光電変換素子ＰＤＡの中心に対して図中左方向にずれた位置に形成されている。これにより、光電変換素子ＰＤＡの略右半分の領域（以下、単に右領域という）は遮光膜６４で覆われ、逆に略左半分の領域（以下、単に左領域という）は露呈している。一方、第２偏心開口６４ｂは、光電変換素子ＰＤＢの中心に対して図中右方向にずれた位置に形成されている。これにより、光電変換素子ＰＤＢの左領域は遮光膜６４で覆われ、逆に右領域は露呈している。
　遮光膜６４上には、表面が平坦な光透過性の平坦化層６５が設けられている。平坦化層６５上には、図２２に示したカラーフィルタ配列で各フィルタ３４Ｒ，３４Ｇ，３４Ｂがそれぞれ設けられている。
　各フィルタ３４Ｒ，３４Ｇ，３４Ｂ上には、各光電変換素子ＰＤＡ，ＰＤＢの直上位置にそれぞれマイクロレンズ６６が設けられている。なお、図中の符号Ｏ２は、マイクロレンズ６６の光軸である。マイクロレンズ６６の光軸Ｏ２は、各光電変換素子ＰＤＡ，ＰＤＢの中心上に位置している。
　マイクロレンズ６６に図中右斜め方向から入射した被写体光６７Ｒは、マイクロレンズ６６により第１偏心開口６４ａを介して光電変換素子ＰＤＡの左領域に集光されるが、遮光膜６４で覆われている光電変換素子ＰＤＢの左領域には集光されない。逆に、マイクロレンズ６６に図中右斜め方向から入射した被写体光６７Ｌは、マイクロレンズ６６により第２偏心開口６４ｂを介して光電変換素子ＰＤＢの右領域に集光されるが、遮光膜６４で覆われている光電変換素子ＰＤＡの右領域には集光されない。
　このように、光電変換素子ＰＤＡ（第１群の画素４６Ａ）は被写体光６７Ｒに対して感度が高くなり、光電変換素子ＰＤＢ（第２群の画素４６Ｂ）は被写体光６７Ｌに対して感度が高くなる。なお、被写体光６７Ｒ，６７Ｌは、レンズユニット１３（ズームレンズ１４及びフォーカスレンズ１５）の光軸Ｏ１に対して対称な領域、及びマイクロレンズ６６の光軸Ｏ２に対して対称な領域をそれぞれ通過している。なお、レンズユニット１３の光軸Ｏ１に対して対称な領域とは、レンズユニット１３を、光軸Ｏ１に直交しかつ画素配列の垂直方向（図９参照）に対して平行な線分で分割してなる領域（レンズユニット１３の左右領域）である。
　［第３の実施形態のデジタルカメラの各構成］
　図２１に戻って、画像処理回路５９は、通常撮影モード時には通常撮影画像データを生成し、３Ｄ撮影モード時には２視点（Ｒ視点、Ｌ視点）の視点画像により構成される視差画像データを生成する。この画像処理回路５９は、高感度画像生成部５１、高解像度画像生成部５２、及び広ＤＲ画像生成部５３の代わりに、視差画像生成部（第４画像生成手段）６９が設けられている点を除けば、第２の実施形態の画像処理回路４３と基本的に同じである。
　図２５に示すように、視差画像生成部６９は、３Ｄ撮影モード時に第１群の画素４６Ａからの出力信号に基づき被写体をＲ視点側から見たときのＲ視点画像データ（第１画像）を生成し、第２群の画素４６Ｂからの出力信号に基づき被写体をＬ視点側から見たときのＬ視点画像データ（第２画像）を生成する。Ｒ視点画像データとＬ視点画像データには視差が生じているので立体視が可能である。
　表示部６０（図２１参照）は、Ｒ視点画像データ及びＬ視点画像データに基づき立体画像の観察が可能な各種モニタが用いられる。なお、立体画像の表示方式は、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などの周知の各種方式を用いてよい。
　［第３の実施形態のデジタルカメラの作用］
　次に、図２６を用いて上記構成のデジタルカメラ５５の作用について説明する。なお、撮影モードが通常撮影モードに設定されているときの処理の流れは第２の実施形態と同じであるのでここでは具体的な説明を省略する。
　［３Ｄ撮影モード］
　撮影モードとして３Ｄ撮影モードが設定されている場合には、視差画像生成部６９が作動して、図２５に示したように第１群の画素４６Ａ及び第２群の画素４６Ｂのそれぞれからの出力信号に基づき、Ｒ視点画像データ、Ｌ視点画像データを生成する。視差画像生成部６９は、Ｒ視点画像データ及びＬ視点画像データの少なくとも一方を一定のタイミングで表示部６０へ出力する。これにより、表示部６０にスルー画像が表示される。
　操作部１２で撮影指示がなされると、視差画像生成部６９にて１フレーム分のＲ視点画像データ、Ｌ視点画像データが生成される。これらＲ視点画像データ及びＬ視点画像データは、圧縮伸長処理回路２９にて視差画像データとして圧縮された後、メディアＩ／Ｆ３０を経由してメモリカード３１に記録される。なお、メモリカード３１に記録された視差画像データは、デジタルカメラ５５の動作モードを再生モードに切り替えることにより、表示部６０に立体視可能に表示される。
　前述の構成のカラーフィルタ配列によって、第２の実施形態と同様に高画質でかつ高解像度な画像データが得られる。また、従来のランダム配列に比べて後段のデモザイキング処理などを簡略化することができる。
　なお、メカシャッタ１６に設けられた絞りを絞り込むことにより、Ｒ視点画像データとＬ視点画像データとの視差量が小さくなるので、第２の実施形態と同様に、高感度画像データ、高解像度画像データ、広ＤＲ画像データを生成してもよい。
　また、上記第３の実施形態では、遮光膜６４に形成された第１及び第２偏心開口６４ａ，６４ｂにより第１群及び第２群の画素４６Ａ，４６Ｂがそれぞれ異なる方向から入射する被写体光に対して感度が高くなるようにしているが、別の方法を用いてもよい。例えば遮光膜に偏心開口を形成する代わりに、第１群及び第２群の画素４６Ａ，４６Ｂ上のマイクロレンズの位置をそれぞれ異なる方向に偏心させてもよい。
　［第４の実施形態のデジタルカメラの全体構成］
　図２７は本発明に係るカラー撮像素子を備える第４の実施形態のデジタルカメラ（撮像装置）７１のブロック図である。上記第２の実施形態では、広ＤＲ撮影モード時に第１群の画素４６Ａ（Ａ面）と第２群の画素４６Ｂ（Ｂ面）との電荷蓄積時間を独立して制御することにより、広ＤＲ画像データ（高感度画像データ、低感度画像データ）を生成している。これに対して、デジタルカメラ７１では、Ａ面とＢ面の電荷蓄積時間を変えることなく、広ＤＲ画像データを生成する。
　デジタルカメラ７１は、第２の実施形態のデジタルカメラ３９とは異なるカラー撮像素子７２及び画像処理回路７３を有している点を除けば、基本的には第２の実施形態と同じ構成であり、第２の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
　［カラー撮像素子の第４の実施形態］
　図２８に示すように、カラー撮像素子７２の画素配列は第２実施形態のカラー撮像素子４１の画素配列と同じである。ただし、カラー撮像素子７２では、第２群の画素４６Ｂ（光電変換素子ＰＤＢ）の面積が第１群の画素４６Ａ（光電変換素子ＰＤＡ）の面積よりも小さくなる。このため、第２群の画素４６Ｂの信号電荷の蓄積量は、第１群の画素４６Ａの信号電荷の蓄積量よりも小さくなる。これにより、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。
　また、ＲＢ、ＧＢ、ＢＢフィルタ３４Ｒｓ，３４Ｇｓ，３４Ｂｓの面積についても、ＲＡ、ＧＡ、ＢＡフィルタ３４Ｒ，３４Ｇ，３４Ｂの面積よりも小さくなる。このため、カラー撮像素子７２のカラーフィルタ配列は、ＲＢ、ＧＢ、ＢＢフィルタ３４Ｒｓ，３４Ｇｓ，３４Ｂｓの面積が小さく形成されている点を除けば、第２の実施形態のカラーフィルタ配列と基本的に同じである。従って、カラー撮像素子７２のカラーフィルタ配列は、第１の実施形態のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）と同じ特徴に加えて、第２の実施形態のカラーフィルタ配列の特徴（７）を有する。
　このようにカラー撮像素子７２では、Ａ面とＢ面の電荷蓄積時間を変えることなく、第１群の画素４６Ａからの出力信号に基づき高感度画像が得られるとともに、第２群の画素４６Ｂからの出力信号に基づき低感度画像が得られる。
　図２７に戻って、画像処理回路７３の広ＤＲ画像生成部５３は、広ＤＲ画像生成モード時に作動して、第１及び第２群の画素４６Ａ，４６Ｂの各々の出力信号に基づき、高感度画像データと低感度画像データを生成し、これら両画像データに基づき広ＤＲ画像データを生成する。上記構成のカラーフィルタ配列により、第２の実施形態と同様に高画質でかつ高解像度な画像データが得られる。また、従来のランダム配列に比べて後段のデモザイキング処理などを簡略化することができる。
　なお、デジタルカメラ７１の作用については、第２の実施形態のデジタルカメラ３９と基本的に同じであるので、ここでは説明を省略する。
　［カラー撮像素子の第４－１の実施形態］
　上記第４の実施形態のデジタルカメラ７１では、第１及び第２群の画素４６Ａ，４６Ｂの面積を異ならせることにより広ＤＲ画像データを生成しているが、面積を異ならせる以外の方法で第１及び第２群の画素４６Ａ，４６Ｂに入射する被写体光の光量を異ならせてもよい。
　例えば、図２９、及び図２９中のＣＣ線に沿う断面を示す図３０において、カラー撮像素子７５は、第２の実施形態のカラー撮像素子４１と基本的に同じ構成である。ただし、カラー撮像素子７５では、第２群の画素４６Ｂ（光電変換素子ＰＤＢ）の上方に位置するマイクロレンズ７６の大きさが、第１群の画素４６Ａ（光電変換素子ＰＤＡ）の上方に位置するマイクロレンズ６６の大きさよりも小さく形成されている。
　マイクロレンズ７６を小さく形成することで、第２群の画素４６Ｂに集光される被写体光の光量が第１群の画素４６Ａに集光される被写体光の光量よりも減少する。このため、第２群の画素４６Ｂの信号電荷の蓄積量が第１群の画素４６Ａの信号電荷の蓄積量よりも小さくなる。これにより、第４の実施形態と同様に、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。
　このように、第４の実施形態のカラー撮像素子７２をカラー撮像素子７５に置き換えた場合においても、第４の実施形態と同様に広ＤＲ画像データが得られる。また、カラーフィルタ配列は第２及び第３の実施形態と同じ配列であるので、高画質でかつ高解像度な広ＤＲ画像データが得られ、さらに後段のデモザイキング処理などを簡略化することができる。
　［カラー撮像素子の第４－２の実施形態］
　また、上記第４－１の実施形態のカラー撮像素子７５では、マイクロレンズ６６，７６の大きさを異ならせることにより広ＤＲ画像データが得られるが、例えば図３１に示すカラー撮像素子７７のように、ＲＡ、ＧＡ、ＢＡフィルタ３４Ｒ，３４Ｇ，３４Ｂと、ＲＢ、ＧＢ、ＢＢフィルタ３４Ｒ，３４Ｇ，３４Ｂとの光透過率を異ならせてもよい。
　具体的には、ＲＢ、ＧＢ、ＢＢフィルタ３４Ｒ，３４Ｇ，３４Ｂの光透過率がＲＡ、ＧＡ、ＢＡフィルタ３４Ｒ，３４Ｇ，３４Ｂの光透過率よりも低くなる。なお、図３１中ではＧフィルタ３４Ｇを代表例として図示しているが、他のＲフィルタ３４Ｒ、Ｂフィルタ３４Ｂについても同様である。
　ＲＢ、ＧＢ、ＢＢフィルタ３４Ｒ，３４Ｇ，３４Ｂの光透過率を低くすることで、第２群の画素４６Ｂに集光される被写体光の光量が第１群の画素４６Ａに集光される被写体光の光量よりも減少する。このため、第４－１の実施形態と同様に、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。
　このように、第４の実施形態のカラー撮像素子７２をカラー撮像素子７７に置き換えた場合においても、第４及び第４－１の実施形態と同様に、高画質でかつ高解像度な広ＤＲ画像データが得られ、さらに後段のデモザイキング処理などを簡略化することができる。
　［その他］
　上記第２の実施形態から上記第４－２の実施形態では、基本配列パターンＰ１が１２×１２画素（基本配列パターンＰＡ，ＰＢがそれぞれ６×６画素）に対応する配列パターンを有しているが、カラーフィルタ配列が少なくとも前述の特徴（１）から（４）を満たす範囲内において基本配列パターンＰ１が任意のＭ×Ｎ（Ｍ＝Ｎ、Ｍ≠Ｎのいずれも可）画素に対応する配列パターンを有していてもよい。この場合に、基本配列パターンＰＡ，ＰＢは（Ｍ／２）×（Ｎ／２）画素に対応する配列パターンとなる。
　なお、Ｍ及びＮは２０以下であることが好ましい。これはＭ及びＮが２０を超える場合には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。
　上記各実施形態のＲフィルタ３４Ｒ及びＢフィルタ３４Ｂの配置は、前述の各図に示した配置に限定されず、少なくとも前述の特徴（４）を満たす範囲内で適宜変更してもよい。また、上記各実施形態では、同色の第１群の画素と第２群の画素（同色のカラーフィルタ）とが斜め方向（ＮＷ）に隣接して配置されているが、斜め方向（ＮＥ）に隣接して配置されていてもよい。
　［変形例］
　また、上述の各実施形態では、第１の色として緑（Ｇ）を採用し、第２の色として赤（Ｒ）及び青（Ｂ）を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。
　＜第１のフィルタ（第１の色）の条件＞
　上記各実施形態では、本発明の第１の色を有する第１のフィルタとしてＧ色のＧフィルタを例に挙げて説明を行ったが、Ｇフィルタの代わりに、あるいはＧフィルタの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いてもよい。
　〔条件（１）〕
　条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。
　なお、寄与率が５０％未満となる色は本発明の第２色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが本発明の第２のフィルタとなる。
　〔条件（２）〕
　条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。なお、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが本発明の第２のフィルタ（Ｒフィルタ、Ｂフィルタ）となる。
　〔条件（３）〕
　条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（ＲフィルタやＢフィルタ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。
　〔条件（４）〕
　条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。
　＜複数種類の第１のフィルタ（Ｇフィルタ）＞
　したがって、第１のフィルタとしてのＧ色のＧフィルタは一種類に限定されるものではなく、例えば複数種類のＧフィルタ（Ｇ１フィルタ、Ｇ２フィルタ）を第１のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ（基本配列パターン）のＧフィルタが、Ｇ１フィルタまたはＧ２フィルタに適宜置き換えられてもよい。Ｇ１フィルタは第１の波長帯域のＧ光を透過し、Ｇ２フィルタはＧ１フィルタと相関の高い第２の波長帯域のＧ光を透過する（図３２参照）。
　Ｇ１フィルタとしては、現存のＧフィルタ（例えば第１実施形態のＧフィルタ）を用いることができる。また、Ｇ２フィルタとしては、Ｇ１フィルタと相関の高いフィルタを用いることができる。この場合に、Ｇ２フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタが配置される受光素子の分光感度曲線のピーク値の近傍）にあることが望ましい。なお、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば特開２００３－２８４０８４号に記載されている方法が用いられる。
　このようにカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。
　なお、Ｇ１、Ｇ２フィルタの透過率は、第１実施形態のＧフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。したがって、Ｇ１、Ｇ２フィルタは前述の条件（１）を満たす。
　また、カラーフィルタ配列（受光素子）の分光感度特性を示す図３２において、各Ｇ１、Ｇ２フィルタの透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。各Ｇ１、Ｇ２フィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、各Ｇ１、Ｇ２フィルタは前述の条件（２）、（３）も満たしている。
　なお、各Ｇ１、Ｇ２フィルタの配置や個数は適宜変更してもよい。また、Ｇフィルタの種類を３種類以上に増加してもよい。
　＜透明フィルタ（Ｗフィルタ）＞
　上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタＷ（白色画素）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えて透明フィルタＷを配置することが好ましい。このようにＧ画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
　透明フィルタＷは、透明色（第１の色）のフィルタである。透明フィルタＷは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。透明フィルタＷの透過率は、Ｇフィルタよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。
　カラーフィルタ配列（受光素子）の分光感度特性を示す図３３において、透明フィルタＷの透過率のピーク（白色画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、透明フィルタＷの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、透明フィルタＷは前述の条件（２）、（３）も満たしている。なお、Ｇフィルタについても透明フィルタＷと同様に前述の条件（１）～（３）を満たしている。
　このように透明フィルタＷは、前述の条件（１）～（３）を満たしているので、本発明の第１のフィルタとして用いることができる。なお、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部を透明フィルタＷに置き換えているので、前述の条件（４）も満たしている。
　＜エメラルドフィルタ（Ｅフィルタ）＞
　上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド（Ｅ）色に対応するフィルタＥ（エメラルド画素）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えてエメラルドフィルタ（Ｅフィルタ）を配置しても良い。このようにＧフィルタの一部をＥフィルタで置き換えた４色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
　カラーフィルタ配列（受光素子）の分光感度特性を示す図３４において、エメラルドフィルタＥの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、エメラルドフィルタＥの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、エメラルドフィルタＥは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部をエメラルドフィルタＥに置き換えているので、前述の条件（４）も満たしている。
　なお、図３４に示した分光特性では、エメラルドフィルタＥがＧフィルタよりも短波長側にピークを持つが、Ｇフィルタよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにエメラルドフィルタＥとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件（１）を満たすようなエメラルドフィルタＥを選択することもできる。
　＜他の色の種類＞
　上述の各実施形態では、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）～（４）のいずれかを満たすカラーフィルタを本発明の第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。
　＜ハニカム配置＞
　上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向（Ｈ）及び垂直方向（Ｖ）に２次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されてなるが、本発明はこれに限定されるものではない。
　例えば、上述の各実施形態の基本配列パターンを光軸回りに４５°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向（ＮＥ、ＮＷ）に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。
　上記の各実施形態では、本発明のカラー撮像素子を備える撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば内視鏡などの各種の撮像装置に本発明を適用することができる。
　さらにまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１０，５５，７１…デジタルカメラ、２０，４１，５８，７２，７５，７７…カラー撮像素子、２２，４３，５９，７３…画像処理回路、３３…画素、３４Ｒ，３４Ｇ，３４Ｂ…Ｒ、Ｇ、Ｂフィルタ、４４…電荷蓄積時間調整部、４６Ａ…第１群の画素、４６Ｂ…第２群の画素、５１…高感度画像生成部、５２…高解像度画像生成部、５３…広ＤＲ画像生成部、６６，７６…マイクロレンズ、６９…視差画像生成部、Ｐ，Ｐ１…基本配列パターン

Claims (13)

  1. 　水平方向及び垂直方向にそれぞれ所定画素間隔でマトリクス状に配列された光電変換素子で構成される第１群の画素と、前記第１群の画素の各光電変換素子に対して前記水平方向及び垂直方向にそれぞれ前記所定画素間隔の半分ずらした位置に配列された光電変換素子で構成される第２群の画素と、前記第１及び第２画素群上にそれぞれ同一の特定のカラーフィルタ配列で配列されてなるカラーフィルタとを備えるカラー撮像素子であって、
    　前記カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
    　前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に１つ以上配置され、
    　前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    　前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいカラー撮像素子。
  2. 　前記第１群の画素は、撮影光学系の互いに異なる２つの領域の一方を透過した被写体光を選択的に受光し、前記第２群の画素は、前記２つの領域の他方を透過した被写体光を選択的に受光する請求項１記載のカラー撮像素子。
  3. 　前記２つの領域は、前記撮影光学系の光軸に対して対称な領域である請求項２記載のカラー撮像素子。
  4. 　前記第２群の画素の感度は、前記第１群の画素の感度よりも低い請求項１記載のカラー撮像素子。
  5. 　前記第２群の画素の面積は、前記第１群の画素の面積よりも小さい請求項４記載のカラー撮像素子。
  6. 　前記第２群の画素上の前記カラーフィルタの光透過率は、前記第１群の画素上の前記カラーフィルタの光透過率よりも低い請求項４記載のカラー撮像素子。
  7. 　前記第１及び第２のフィルタの上方にはそれぞれマイクロレンズが設けられており、
    　前記第２群の画素上に位置する前記マイクロレンズは、前記第１群の画素上に位置する前記マイクロレンズよりも小さい請求項４記載のカラー撮像素子。
  8. 　請求項１記載のカラー撮像素子と、
    　前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
    　を備える撮像装置。
  9. 　互いに前記斜め右上方向または斜め右下方向に隣接しかつ同色の前記カラーフィルタの下方に配置されている前記第１及び第２群の画素からそれぞれ出力される出力信号を加算して、画像を生成する第１画像生成手段を備える請求項８に記載の撮像装置。
  10. 　前記第１群の画素からの出力信号と前記第２群の画素からの出力信号に基づき、前記第１及び第２群の画素のそれぞれの画素数よりも大きい画素数を有する画像を生成する第２画像生成手段を備える請求項８または９記載の撮像装置。
  11. 　前記第２群の画素の電荷蓄積時間を前記第１群の画素の電荷蓄積時間よりも短くする電荷蓄積時間調整手段と、
    　前記第１群の画素からの出力信号により構成される画像と、前記第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段とを備える請求項８から１０のいずれか１項に記載の撮像装置。
  12. 　請求項２または３記載のカラー撮像素子と、
    　前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
    　前記第１群の画素からの出力信号によって構成される第１画像と、前記第２群の画素からの出力信号によって構成される第２画像とを含む視差画像を生成する第４画像生成手段と、
    　を備える撮像装置。
  13. 　請求項４から７のいずれか１項に記載のカラー撮像素子と、
    　前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
    　前記第１群の画素からの出力信号により構成される画像と、前記第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段と、
    　を備える撮像装置。
PCT/JP2012/083844 2011-12-27 2012-12-27 カラー撮像素子及び撮像装置 WO2013100039A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280065014.0A CN104025580A (zh) 2011-12-27 2012-12-27 彩色摄像元件及摄像装置
US14/314,782 US9100558B2 (en) 2011-12-27 2014-06-25 Color imaging element and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-286013 2011-12-27
JP2011286013 2011-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/314,782 Continuation US9100558B2 (en) 2011-12-27 2014-06-25 Color imaging element and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2013100039A1 true WO2013100039A1 (ja) 2013-07-04

Family

ID=48697518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/083844 WO2013100039A1 (ja) 2011-12-27 2012-12-27 カラー撮像素子及び撮像装置

Country Status (4)

Country Link
US (1) US9100558B2 (ja)
JP (1) JP5621059B2 (ja)
CN (1) CN104025580A (ja)
WO (1) WO2013100039A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013219551A (ja) * 2012-04-09 2013-10-24 Nikon Corp 撮像素子および撮像装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5702895B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
JP6422500B2 (ja) * 2014-08-28 2018-11-14 株式会社日立国際電気 撮像装置及び撮像方法
CN107251544B (zh) * 2015-03-18 2021-07-20 索尼公司 固态成像装置、驱动方法和电子设备
US10097766B2 (en) 2016-08-31 2018-10-09 Microsoft Technology Licensing, Llc Provision of exposure times for a multi-exposure image
WO2018181358A1 (ja) * 2017-03-27 2018-10-04 株式会社ニコン 撮像装置および撮像素子

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2003116144A (ja) * 2001-10-05 2003-04-18 Fuji Photo Film Co Ltd 固体撮像装置
WO2011118089A1 (ja) * 2010-03-24 2011-09-29 富士フイルム株式会社 立体撮像装置
WO2011132619A1 (ja) * 2010-04-20 2011-10-27 富士フイルム株式会社 固体撮像素子及び撮像装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
JP2003221839A (ja) 2002-01-29 2003-08-08 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械の回路
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP4139641B2 (ja) 2002-07-19 2008-08-27 富士フイルム株式会社 固体撮像素子
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP2004336468A (ja) 2003-05-08 2004-11-25 Fuji Film Microdevices Co Ltd 撮像装置及び画像処理方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4500574B2 (ja) * 2004-03-30 2010-07-14 富士フイルム株式会社 広ダイナミックレンジカラー固体撮像装置及びこの固体撮像装置を搭載したデジタルカメラ
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP2007306064A (ja) 2006-05-08 2007-11-22 Fujifilm Corp 撮像装置
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
JP4717720B2 (ja) 2006-06-05 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP2008160674A (ja) 2006-12-26 2008-07-10 Fujifilm Corp 固体撮像装置及び固体撮像装置の駆動方法
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP4544318B2 (ja) 2008-03-11 2010-09-15 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP4448888B2 (ja) * 2008-04-01 2010-04-14 富士フイルム株式会社 撮像装置及び撮像装置の信号処理方法
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5471117B2 (ja) 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) * 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP2003116144A (ja) * 2001-10-05 2003-04-18 Fuji Photo Film Co Ltd 固体撮像装置
WO2011118089A1 (ja) * 2010-03-24 2011-09-29 富士フイルム株式会社 立体撮像装置
WO2011132619A1 (ja) * 2010-04-20 2011-10-27 富士フイルム株式会社 固体撮像素子及び撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013219551A (ja) * 2012-04-09 2013-10-24 Nikon Corp 撮像素子および撮像装置

Also Published As

Publication number Publication date
CN104025580A (zh) 2014-09-03
US9100558B2 (en) 2015-08-04
JPWO2013100039A1 (ja) 2015-05-11
JP5621059B2 (ja) 2014-11-05
US20140307141A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
JP5621056B2 (ja) カラー撮像素子
JP5621059B2 (ja) カラー撮像素子及び撮像装置
JP5538553B2 (ja) 固体撮像素子及び撮像装置
JP5547349B2 (ja) デジタルカメラ
CN104041009B (zh) 摄像元件及摄像装置
US9325954B2 (en) Color imaging element having phase difference detection pixels and imaging apparatus equipped with the same
JP5702896B2 (ja) カラー撮像素子及び撮像装置
JP5698874B2 (ja) カラー撮像素子及び撮像装置
JP5621054B2 (ja) カラー撮像素子
WO2014007280A1 (ja) カラー撮像素子および撮像装置
JP5702895B2 (ja) カラー撮像素子および撮像装置
JP5621057B2 (ja) カラー撮像素子
WO2014006929A1 (ja) カラー撮像素子および撮像装置
US8976275B2 (en) Color imaging element
WO2013100096A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12861610

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013551785

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12861610

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 12861610

Country of ref document: EP

Kind code of ref document: A1